Уже в 1826 году замку потребовался ремонт, а в 1829 была перестроена по религиозным канонам находящаяся в замке церковь, этими работами руководил Казимир Хрщанович. После 1832 года в стенах замка появились тюремная больница и аптека. В целом, за 40 лет с момента основания, здание постоянно претерпевало изменения: перекладывались деревянные перекрытия, ремонтировалась крыша и др. За это время на реконструкцию была затрачена сумма, составлявшая половину стоимости первоначального строительства (32.261 против 64.814 рублей серебром). Крупные преобразования главное здание претерпело в конце XIX в. Изначально проект предполагал размещение 250 заключенных. Несмотря на это, к 1877 году их насчитывалось до 400. Позже, в 1884 году для содержания большего количества арестантов потребовалась реконструкция – приняли решение о надстройке третьего этажа. Работы закончились в 1890 году.

В первую мировую войну тюремный замок неисправимо выполнял свои функции. После октябрьской революции он получил свое негласное название - «Володарка» - тюрьма стала называться в честь переименованной улицы Володарского (до этого момента – Серпуховская).

Раньше в тюрьме были обязательными исправительные работы, в 1920 функционировали пекарня, кузнечная, портняжная мастерские и мастерская по склеиванию бумажных конвертов. Заключенные также занимались приготовлением пищи на кухне. Сейчас трудятся только заключенные хозотряда.