Die Allianzwappen von Harrach und Hohenems befinden sich unter dem südlichen Giebel. Die Wappen von Waldburg-Zeil-Hohenems und Enzberg befinden sich über dem Portal. Im Laufe der Zeit wohnten hier auch mehrere Hohenemser Grafen: Graf Kaspar um 1600, Graf Maximilian in der Mitte des 19. Jahrhunderts und daraufhin sein Sohn Clemens. Seit 1908 wird das Gästehaus nun als Rathaus genutzt.