El nombre Ninnaji, donde se encuentra el Santuario Ninnaji, proviene del hecho de que alguna vez fue parte del territorio del Templo Ninnaji en Kioto. Se cree que el santuario fue fundado a principios del período Muromachi, y en ese momento se llamaba Hakusan Gongensha. En 1633 (Kanei 9), Nagai Shinano no kami Naomasa se convirtió en señor feudal y comenzó a consagrar Sugawara no Michizane, y desde entonces también se le llama Santuario Tenmangu. Se dice que el edificio del santuario fue arrasado cuando se rompió el terraplén del río Yodo, por lo que fue trasladado a su ubicación actual en el centro del pueblo. Se plantan muchos árboles dentro del recinto.