Der mächtige Turm schützte die gefährdete Westseite der Stadt gegen den steil ansteigenden Schütteberg und wurde in spätstaufischer Zeit erbaut. Seine Lage und seine Öffnung zur Stadt lassen in diesem Bauwerk einen Wehrturm erkennen, von dem aus die Verteidigung der Stadtmauer organisiert und befehligt wurde. Bereits im 18. Jahrhundert verhalf die Verwendung als Gefängnis dem Diebs- oder Schurkenturm zu seinem Namen, und auch die neue württembergische Herrschaft richtete 1822 im Turm vier feste Kriminalgefängnisse und eine Gefangenenwärterwohnung ein. Dabei wurde der mit einem Walmdach versehene Fachwerkdachstuhl abgebrochen und durch ein Zeltdach ersetzt. Die Turmstube beherbergt heute ein Wanderheim des Schwäbischen Albvereines.