Der älteste Kirchenbau auf dem höchsten Punkt der Horber Altstadt geht wohl auf die Mitte des 13. Jahrhunderts zurück. Zu dieser Zeit war die Kirche allerdings Filial der Pfarrkirche zu Ihlingen. Erst mit der Gründung des Chorherrenstiftes durch Graf Rudolf III. von Hohenberg kehrte sich 1387 das Filialverhältnis auch nominell um. Die gotische Stiftskirche wurde im 14. und 15. Jahrhundert baulich erweitert und brannte 1725 beim großen Stadtbrand vollständig aus. 1728/55 erfolgte der Wiederaufbau von Langhaus und Turm im Stile des Barock. 1806 hob der König von Württemberg das Horber Chorherrenstift auf, dessen beeindruckender Kirchenschatz sich zum größten Teil erhalten hat. Mit der Horber Madonna ist im sogenannten Frauenchörle wohl das bedeutendste Kunstwerk der Neckarstadt zu sehen.