При закладке дома, состоявшейся на углу Малой Дворянской и Кадетской улиц в его фундамент была замурована памятная изразцовая плита, с текстом следующего содержания: «1895 года, июля 7 дня, в царствование императора Николая II, лето первое, в бытность в Смоленске: губернатором В. О. Сосновского, городским головою Н. П. Возненко, начальника гарнизона генерал-лейтенанта П. А. Разгильдяева и начальника первой дивизии М. М. Шульгина, сей дом заложен купцом Петром Андреевичем Будниковым по плану архитектора Котинкова для военного Собрания Смоленского гарнизона».
Материалы для внешней и внутренней облицовки здания поставлял кафельно-изразцовый завод Будникова.
В 1896 году после торжественного открытия Дома Офицерского собрания, смоленский купец 2-й гильдии Будников был удостоен благодарности и подарка от Его Императорского Высочества Великого князя Владимира Александровича, занимавшего в то время пост Главнокомандующего войсками гвардии.
Название «Офицерское собрание» закрепилось за этим домом почти на целое десятилетие. Во время русско-японской войны 1904-1905 гг. расквартированные в Смоленске дивизии были переброшены на Дальний Восток, и надобность в Офицерском собрании отпала.
После этого дом в течение года арендовал один из смоленских купцов, а в начале 1906 года в нем обосновывался Общественный клуб. В марте 1913 года дом приобрело Смоленское общество коммерческих служащих.
В период революционных событий 1917 года здесь регулярно проходят собрания различных общественных организаций. В начале 1918 года дом перешел в муниципальную собственность. В нем поселяются различные советские и военные учреждения. С 1935 года он стал Домом пионеров, который первоначально назывался «Дом коммунистического воспитания детей». В постсоветское время переименован в Дворец творчества детей и молодёжи.