1423 kaufte das Klarissenkloster Wittichen von zwei Horber Bürgern eine Scheuer, die zu einem Schaffnereihaus umgebaut wurde, von dem aus der in und um Horb liegende Klosterbesitz verwaltet wurde. 1725 erwarb das Kloster auch das gegenüberliegende Haus an der Neckarstraße, in das der Pfleghof dann verlegt wurde.