Il semble que l'on applique à l'une ce qui va bien à l'autre.
L'origine du nom de la rue du Petit Musc pourrait tout simplement venir de l'odeur (put-musc)hôtel du petit Muche ou Musc, que celle-ci vienne ddevenu l'une ancienne voirie ou des lions du roi hôtel de la Bretagne puis incorporé dans le [[rue Couvent des Lions SaintFilles de la Visitation Sainte-PaulMarie (4e)|monastère des Filles Sainte Marie]] ou encore de et l'hôtel du petit Muchede Mayenne et d'Ormesson.
Elle a porté le nom de rue des Célestins vers le XVI{{e}} siècle, présence de l'ancienne église des Célestins et du [[couvent des Célestins]].