En 1678 se instala la cárcel en la Plaza de Escribanos. Se situó enfrente de la parroquia de San Dionisio y, no casualmente, al lado de la sede del poder municipal, en una zona, por tanto, de alto valor representativo. Pero, a diferencia de la calidad constructiva de la iglesia del patrón y del Cabildo, la Cárcel Real se caracterizó por sus deficiencias estructurales y su falta de salubridad. Esta situación deplorable acabó en cierre por ruina en 1837. Por los mismos años se llevaba a cabo la Desamortización de Mendizabal. Ello permitió trasladar el presidio al antiguo convento de mercedarios descalzos, en la Plaza Belén. El viejo edificio carcelario es comprado en 1839 por Manuel Pérez y Gómez, quien levantará una monumental vivienda que vino por fin a dignificar uno de los frentes de la actual Plaza de la Asunción. El proyecto fue firmado por Balbino Marrón. Y aunque interviene también en la casa nº 2, es en la 3, de mayores dimensiones, donde logra crear una de las fachadas más cuidadas e interesantes del estilo neoclásico en Jerez. La base almohadillada y las grandes pilastras que engloban las dos plantas superiores siguen la tónica habitual del neoclasicismo de inspiración palladiana, añadiendo algunos detalles decorativos que animan la severa composición, como las originales ménsulas con cabezas de leones y cariátides del gran balcón central o los penachos de los laterales. Barrón, arquitecto del Ayuntamiento por esos años, trabajó en diversas obras, como algunas bodegas dentro del complejo de González Byass. En 1846 se traslada a Sevilla, donde desarrolló una importante actividad arquitectónica y urbanística. En esta casa, más tarde propiedad de la Condesa de Casares, dejaría lo mejor de su producción jerezana. Una casa hoy deshabitada que, como tantas otras, ha pasado de la opulencia a la incertidumbre.