Hacia el año de 1539, con la llegada de los señores Españoles, quedaron algunas leyendas sin fundamento histórico de los primitivos pobladores que habitaron estas tierras, eran indígenas agrupados en pequeños conglomerados, que de acuerdo a las leyendas históricas, algunos historiadores la llamaron cultura Tundama. Una de las Leyendas que ha sobresalido entre los descendientes de esta cultura a través de varias generaciones, ha permanecido entre la gente de antaño, de este pueblo, es la de los cuartos y huecos subterráneos, que utilizaron los señores Españoles, para torturar y castigar a los indígenas que sabían de yacimientos de oro a los lugares donde se hallaba este y que negándose a entregarlo, por respeto a sus dioses y Cacique Tundama, tuvieron que pagar con sus vidas en estos lugares el pacto de lealtad a sus inclinaciones religiosas y morales de su pueblo, de ahí que se puede decir que hubo una prisión o cárcel en la época de conquista en el Terruño de pueblo que era en esa época hoy en día el Municipio o ciudad de Duitama.

El día 26 de junio de 1819, hizo la aparición en este Pueblo el Libertador Simón Bolívar, en son de su Campaña Libertadora. Ante el entusiasmo de su lucha por la independencia de los Pueblos de la Gran Colombia, hospedados en la Casa Cural del poblado de la Época, dictó y pronunció el Decreto a filas para todos los hombres mayores de 18 y menores de 40 años, como pena de muerte para el que se negara a prestar el apoyo de combatir contra los Ejércitos Españoles, que se encontraban acantonados en el sitio denominado desde la antigüedad Pantano de Vargas, que equidistaba con 15 kilómetros de distancia.

Ante la situación de guerra y muerte que merodeaba en el poblado y campos antiguos, muchos hombres temerosos de perder sus vidas, se escondieron y huyeron a lo alto de las montañas y paramos que rodeaban este Municipio; posteriormente ante las inclemencias del Clima y el medio, muchos de estos hombres se vieron en la necesidad de regresar a las partes más cercanas donde habían dejado a sus seres queridos y por información de los mismos moradores y simpatizantes con la Campaña Libertadora del Libertador, eran conducidos presos ante las instalaciones donde se encontraba el libertador Simón Bolívar, para que fueran ajusticiados y precisamente uno de los recintos de la casa cural fue acondicionado como cárcel para todos los prófugos del Decreto dictado por Bolívar y también para desertores de su ejército. Ante la necesidad de hombres para la guerra, Bolívar sé vio en la obligación de dar libertad y perdonar la vida de estos sindicados a muerte, a cambio de darla por la noble causa de la revolución contra el General Barreiro en el Pantano de Vargas. Por lo que es de anotar estos hechos como otra historia de la Cárcel que tuvo la ciudad de Duitama en la Época del Libertador Simón Bolívar.