Участок усадьбы Грачева расположен напротив Преображенского собора. Поставленный с отступом от красной линии улицы двухэтажный жилой дом, построен владельцем располагавшейся неподалеку полотняной фабрики Е. И. Грачевым, около 1774 г. (на плане с. Иванова этого года дом уже обозначен). Справа к нему примыкают ворота, за которыми сохранился участок булыжной мостовой. По другую сторону ворот в кон. XIX веке был выстроен небольшой флигель, вытянутый в глубь участка. Все постройки кирпичные, оштукатуренные, дом имеет белокаменный цоколь. Одна из самых ранних уцелевших в Иваново усадеб XVIII века, сохранившая жилой дом в формах раннего классицизма.
П-образный в плане двухэтажный жилой дом с антресолями завершен вальмовой кровлей. Первый этаж сравнительно невысокий, второй, парадный, — повышенный. Средняя часть главного фасада выделена трехоконным ризалитом с фронтоном над ним. Углы ризалита и фасадов закреплены пилястрами. Между этажами проходит профилированная тяга, карниз многопрофильный, сильного выноса. Окна прямоугольные, без наличников, во втором этаже ризалита — полуциркульные. На дворовом фасаде расположено крыльцо входа, с балконом над ним, опирающимся на тонкие чугунные столбики с подобием коринфских капителей. Подзор и ажурная решетка балкона — чугунное литье XIX века.
Внутренняя планировка сочетает анфиладную систему (комнаты вдоль главного фасада) с коридорной. Все помещения нижнего этажа сводчатые, с распалубками над окнами. В угловом, юго-западном, помещении второго этажа — коробовый свод. В остальных комнатах частично сохранились лепные карнизы, наборный паркет, камины и печи с белыми изразцами, украшенными кобальтовой росписью (цветы в вазонах).
