Die Anhöhe zwischen oberer Feste und oberem Marktplatz wird schon seit alters her als Buß bezeichnet. Nach ihr wurde das zum inneren Stadtmauerring gehörende Bußtor benannt, das auf dem Scheitelpunkt der Bußgasse Einlass in die Altstadt bot. Im Winkel zwischen der Bußgasse und dem Fußweg zur Schütte, der über den Horber Kreuzweg hinauf zur Ottilienkapelle und zum Schütteturm führt, steht das Gasthaus 'Buß'. Dahinter erhebt sich das turmförmige Haus am Buß, das die umgebenden Dachfirste weit überragt. Das mit einer Holzbohlenwand versehene verblattete Fachwerk wurde 1439 auf dem steinernen Unterbau errichtet.