Am Anfang stellte Keysers 50 Frauen und Mädchen ein. Der Betrieb florierte. Nach der Jahrhundertwende waren es 120 Arbeitnehmerinnen, aber nur drei Arbeiter. Frauen waren die billigeren Arbeitskräfte und beim Einwickeln des Tabaks in Blätter geschickter als Männer. Der 1. Weltkrieg und die schwierige Nachkriegszeit brachten die Produktion zum Erliegen. Als der Firmenchef starb, kurbelte sein Sohn Karl die Fertigung wieder an, konnte aber dem Konkurrenzdruck der Großbetriebe nicht standhalten und musste die Fabrik Keysers in den 1950er Jahren schließen.
Heute befindet sich in dem Gebäude die Galerie INCONTRO, Incontra Moda und das Atelier Giovanni Vetere sowie angrenzend ein Skulpturengarten.