Здание было возведено в соответствии с высочайше утвержденным генеральным планом, пожалованным городу Плёсу Екатериной II в 1781 году. Дом был построен в переулке (бывшем Шемякинском), соединяющем две улицы - Верхнюю набережную (ныне ул. Советская) и Воскресенскую (ныне ул. Ленина). Рядом располагались дома известных плесских купеческих семей – Маклашиных (ул. Ленина, 15), Бакакиных (ул. Советская, 57/2), Ивановых (ул. Советская, 53).
Двухэтажное здание, прямоугольное в плане, с вальмовой крышей возведено в формах позднего классицизма. Вытянутым фасадом в пять оконных осей (изначально в шесть, на первом и втором этажах по одному оконному проему приспособлены под аварийные дверные проемы), здание обращено к Волге, меньшим фасадом в четыре оконных оси - в переулок. Прямоугольные окна оформлены тонкой профилированной обналичкой, во втором этаже окна соединены подоконной ступенчатой тягой. Такая же тяга - под венчающим карнизом большого выноса.
На 1914 год дом принадлежал Григорию Григорьевичу Поленову, родственнику известного русского художника Василия Дмитриевича Поленова. Здесь жила семья из трех человек.
По воспоминаниям Галины Евгеньевны Лебедевой (1919 г.р.), в советское время в дом отдыха ВТО приезжали родственники плесских Поленовых, интересовались местонахождением их дома.
В советское время в этом здании размещалась городская гостиница. Очевидно, в этот период была устроена пожарная лестница по волжскому фасаду, исказившая исторический облик дома, и возведена двухэтажная деревянная пристройка со стороны ул. Ленина.
С дореволюционного времени напротив этого здания находилась одна из плесских пристаней, а в советский период наверх, к дому отдыха «Плес» была устроена деревянная лестница, вскоре за ветхостью утраченная.
