El templo Horaku-ji fue fundado en 1178 por Taira no Shigemori, el hijo mayor de Taira no Kiyomori, el líder del clan Heike. Se dice que fue construido por Lord Taira Shigemori para consagrar los espíritus de los caídos en la Guerra Hogen y Heiji, con el espíritu de igualdad entre rivales y enemigos, y para consagrar al nenbutsu de Minamoto no Tametomo, el Bodhisattva Nyoirin Kannon. El templo fue incendiado por el fuego militar de Oda Nobunaga en 1571, pero fue reconstruido a mediados del período Edo como palacio de la familia Oda del dominio Yamato-Matsuyama. Este corresponde al actual salón principal y puerta principal. También es conocido como el templo donde Jiun Venerable (1718-1804), quien fue elogiado como "el pequeño Shakyamuni de Japón" y se convirtió en sacerdote a la edad de 13 años, estudió caracteres sánscritos y predicó los Diez Buenos Dharma (el camino de humanidad). En el terreno se encuentra el Museo Conmemorativo Kosaka Kiseki, que alberga las obras del difunto calígrafo Kosaka Kiseki, ganador del Premio de la Academia de Arte de Japón.