1773 war Herz Lämle aus dem nordbadischen Bretten eingewandert und seine Nachkommen nannten sich ab 1813 Brettauer. Ihnen gehörte auch ein Grundstück neben der Synagoge, dessen Bebauung 1777 dem Brand zum Opfer gefallen war. 1832 erwarb Simon Brettauer ein gerade von Baumeister Fässler in Dornbirn gebautes Haus und ließ es hier, auf neu errichteter Grundmauer, wieder aufstellen. Das Korbbogenportal trägt die Initialen „S.B.“ in neugotischem Lünettengitter. Die verzweigte Familie Brettauer eröffnete das erste Bankgeschäft in Vorarlberg, aus der unter anderem die BTV hervorging. Viele ihrer Mitglieder zogen nach Ancona und Triest, Wien und Zürich, nach Deutschland und in die USA. Unter den Nachkommen war auch der Schriftsteller Stefan Zweig, der Autor der „Schachnovelle“ und, kurz vor seinem Freitod im Exil in Brasilien, „Die Welt von Gestern. Erinnerungen eines Europäers“ – in dem er sich auch an die weltbürgerliche Hohenemser Familie seiner Mutter erinnerte. Anfang des 20. Jahrhunderts fungierte das Haus kurzzeitig als Messerschleiferei der Familie Collini, lange bevor aus dem Familienunternehmen ein internationaler Marktführer im Bereich der Metallveredlung wurde.