Дом ксендза был построен в 1858 г. одновременно с костелом и располагался по продольной оси участка непосредственно за ним. Поставленный в саду, он одной вытянутой стороной был обращен к церковному двору. Автором постройки был, по-видимому, городовой архитектор Павел Тимофеевич Жуковский, который осуществлял все постройки на участке.

Дом представлял собой двухэтажное деревянное строение на каменном подвальном этаже. Прямоугольное в плане, оно было перекрыто вальмовой крышей. С одного торца к нему примыкали дощатые сени с лестницей наверх. Сруб также был обшит досками. К концу века состояние дома стало довольно плохим, и он потребовал капитального ремонта.

В 1897 г. Л.К.Хрщонович производит его перестройку по составленным им проекту и смете. Стены дома были заново проконопачены и обшиты новым тесом. Угловые пилястры, оконные наличники, подкарнизные плоскости стен были украшены довольно своеобразной резьбой. Вместо старых сеней с западной стороны был сделан двухэтажный пристрой и устроено крытое крыльцо с лестницей, ведущей непосредственно на верхний этаж. В результате здание стало состоять из разновысотных обьемов и перекрывалось скатной крышей сложной формы. На северном фасаде карниз с фризом самого дома переходят в парапет, ограждающий крышу пристроя. Со стороны сада над пристроенным четыремя годами раньше парадным крыльцом был устроен балкон. В это же время была произведена полная перепланировка дома. В новом пристрое разместились просторная прихожая с ватерклозетом, ванная и лестница в подвальный этаж. Бывшая прихожая и библиотечная комната переделана под канцелярию и кабинет для настоятеля, синдиков и правления общества пособия бедным. В верхнем этаже разместились библиотека и квартира органиста, туда вела прямо с улицы крытая лестница. В подвале дома жили также закристиан и сторож.

Дошедшие до нас отчеты о ремонте свидетельствуют о характере интерьеров дома. В доме были заново переделаны печи, поставлены четыре новые, две из которых израсцовые. В гостиной устроен камин. В комнатах оштукатурены и выбелены потолки, стены оклеены обоями, полы окрашены масляной краской и покрыты лаком, точно также окрашены двери и оконные рамы. В окна вставлены бемские стекла. На кухне была устроена новая плита со вставкою котла для нагревания воды: в дом проведена вода с устройством кранов. Через год в дом было проведено электрическое освещение. Таким образом, видим, что дом был достаточно для своего времени благоустроен.