Das sogenannte "Schlossguggerhaus" stellt mit seinem Bruchsteinmauerwerk, der Bohlenständerkonstruktion, den gekoppelten Fenstern und der Rundbogentüre ein baugeschichtlich äußerst bemerkenswertes Haus dar. Es ist laut neuesten Untersuchungen um das Jahr 1290 erbaut worden und somit das älteste noch erhaltene Haus in Dornbirn. Darüber hinaus ist es einer der wenigen bekannten Ständerbauten in Westösterreich aus dem ausgehenden Hochmittelalter und gilt als herausragendes Denkmal anonymen ländlichen Bauens.

Um ein altes Haus ranken sich oft Geschichten und Sagen: so soll ein unterirdischer Gang vom Schlossguggerhaus zum Oberdorfer Turm geführt haben. Der Name "Schlossgugger" bezieht sich laut einer anderen Sage auf den Aufseher für das Schloss.