Il semble que l'on applique à l'une ce qui va bien à l'autre.
L'origine du nom de la rue du Petit Musc pourrait tout simplement venir de l'odeur (put-musc), que celle-ci vienne d'une ancienne voirie ou des lions du roi de la [[rue des Lions Saint-Paul]]ou encore de l'hôtel du petit Musc.
Elle a porté le nom de rue des Célestins vers le XVI{{e}} siècle, présence de l'ancienne église des Célestins et du [[couvent des Célestins]].