L'edifici és una construcció noble de segle XVI o XVII, catalogada com a patrimoni arquitectònic històric-artístic de la ciutat. La seva façana de pedra irregular exhibeix balcons de ferro forjat i rajoles del segle XVIII i el 1922, per poder instal·lar l'Institut de Cultura i la Biblioteca Popular de la Dona, es va renovar el pati i es va construir la resta del conjunt amb façana al carrer Verdaguer i Callís.
La Biblioteca Francesca Bonnemaison ocupa actualment la casa senyorial on hi havia les dues institucions i acull un centre cultural i una biblioteca pública especialitzada en textos i documents feministes, anomenada encara Biblioteca Popular de la Dona. S'ha consolidat com un centre de referència per fomentar la participació activa de les dones en tots els àmbits i per impulsar les polítiques d'igualtat i els drets de la dona.