Außerhalb des inneren Stadtmauerringes steht am einstig rechten Grabenbachufer die Liebfrauenkapelle, deren mächtigen Stützpfeiler an Langhaus und  Kirchturm Zeugnis davon ablegen, dass die Kirche zur Mitte des 17. Jahrhunderts infolge des weichen Baugrundes buchstäblich den Buckel hinunter zu rutschen drohte. Um 1280 errichtete hier das Benediktinerkloster Reichenbach eine Marienkapelle, die als Chor der ehemaligen Spitalkirche erhalten geblieben ist. Um 1363 baute die Bürgerschaft von Horb an diese Kapelle ein Langhaus samt Turm. Seit dem Ende des Dreißigjährigen Krieges nutzten Franziskaner der Tiroler Provinz die Liebfrauenkapelle fast einhundertvierzig Jahre lang als Klosterkirche.