Der Fruchtkasten wurde 1819 an Stelle der ehemaligen Schaffnerei des Klosters Reichenbach erbaut, nachdem die kaiserlich-königlich vorderösterreichische Stadt Horb zu dem von Napoleon neu geschaffenen Königreich Württemberg gekommen war. Zuvor bedurfte es jedoch eines Staatsvertrages zwischen dem Großherzogtum Baden und dem Königreich Württemberg, da dieser reichenbachische Besitz nach der Reformation in den Besitz des Hochstiftes Konstanz übergegangen war und nunmehr infolge der napoleonischen Flurbereinigung eine badische Exklave am schwäbischen Neckar bildete. Erst durch Austausch gelangte die ehemalige Klosterschaffnerei in das Eigentum des Königreiches Württemberg. Im neuen Fruchtkasten lagerte das königliche Kameralamt bis zur Ablösung der Grundlasten die Abgaben, die seither an die nun aufgehobenen Klöster, das aufgelöste Chorherrenstift und andere Institutionen gefallen waren. Danach war in diesem stattlichen Gebäude das königliche Bezirkskommando und ein Revieramt unterbracht. Der ehemalige Fruchtkasten wurde in den achtziger Jahren des 20. Jahrhunderts umfangreich saniert, und in seinen neuen Räumen sind das Staatliche Vermessungsamt und die Landespolizei untergebracht.