Anders als andere Mäusearten leben Zwergstachelmäuse eher solitär oder paarweise zusammen. Ein Weibchen kann mehrmals pro Jahr Jungtiere kriegen. Diese sind Nestflüchter. Die Augen und Ohren sind von Geburt an geöffnet und sie sind schon vollständig behaart. In den ersten Wochen sind sie grau und haben noch kaum ausgebildete Stacheln. Namensgebend für die dämmerungs- und nachtaktiven Bodenbewohner sind die dicken, stachelartigen Borsten an der Körperoberseite, welche für Stachelmäuse typisch sind.