Aún se desconocen los detalles de cuándo y quién construyó el castillo de Kishiwada, pero a finales del período Sengoku (mediados del siglo XVI), era la residencia del clan Matsuura, que gobernaba la región Senshu en ese momento. En 1585, la derrota del templo Kishu Negoroji por parte de Hideyoshi Hashiba llevó al tío de Hideyoshi, Hidemasa Koide, a convertirse en el señor del castillo y a renovar en gran medida la torre del homenaje principal para convertirla en una torre de castillo de cinco pisos. Desde entonces, los señores del castillo de Kishiwada han sido tres generaciones del clan Koide, Matsudaira (Matsui) Yasushige y Yasuei desde 1619, y el clan Okabe desde 1640. Nobukatsu Okabe renovó aún más el castillo y construyó un castillo moderno, y el clan Okabe vivió allí durante 13 generaciones hasta la Restauración Meiji. En 1827, la torre del castillo fue alcanzada por un rayo y se quemó, y durante el período de la Restauración Meiji, el señor del castillo destruyó personalmente las torretas, las puertas y otras instalaciones del castillo, pero sólo el foso y los muros de piedra aún permanecen como estructuras premodernas. .
La torre del castillo actual es una torre reconstruida de 3 pisos y 3 pisos construida en 1954. En su interior se puede disfrutar de la sala de exposición de materiales y del mirador. Frente a la torre del castillo se encuentra el "Jardín Hachijin" diseñado por Mirei Shigemori.