1606 wurde an dieser Stelle die gräfliche „Taverne“ erbaut. Im Folgejahr tagte hier erstmals das Emser Gericht. 1777 wurde auch die Taverne von den Flammen des Stadtbrandes erfasst und später an derselben Stelle neu errichtet. Nach der Einführung der Schulpflicht 1781 diente das Haus zudem als Unterkunft für die Schüler.

Die Christengemeinde kaufte es 1813, um es als Schulhaus zu verwenden. Einige Jahre später wurde es von der Familie Brettauer erworben, die 1773 aus Bretten nach Hohenems eingewandert war. 1893 ging das Gebäude in den Besitz von Josef Anton Heinzle über, der im ersten Stock das Gasthaus „Engelburg“ und nebenan eine gleichnamige Bierbrauerei eröffnete. Im Erdgeschoss wurde 1933 der Konsumverein untergebracht. In den 1950er Jahren wechselte das Gasthaus ins Erdgeschoss. 1989 wurde die „Engelburg“ renoviert, die Brauerei wich einer Wohnbebauung. Heute beherbergt das ehemalige Gasthaus ein Museum der Schubertiade, das dem Nachlass des Pioniers der klassischen Musik auf Schallplatten, dem Produzenten Walter Legge gewidmet ist – aber auch dem Schriftsteller Stefan Zweig, einem Nachkommen der Familie Brettauer.