Le musée est installé depuis 1995 dans une ancienne usine de blanchiment. Construite en 1881, par Calixte Ouvrard, elle demeure l'un des derniers témoins de l'activité textile de la cité du mouchoir. Elle a échappé à la démolition grâce à l'action conjointe de l'Association des Amis du Musée du Textile Choletais (AAMTC) et de la Ville de Cholet.