Il castello di Riardo nella sua struttura originaria era composto da un piano seminterrato, ancora in gran parte da scoprire, dal piano terra e da ben due piani superiori. Durante lavori di restauro, venne rinvenuta nei pressi dellingresso una pietra con la scritta 1122 ma è più che probabile che sulla sommità della collina del nostro paese già in epoca precedente a quella data vi fosse una fortezza seppur con caratteristiche architettoniche più semplici.
Infatti le origini del castello di Riardo si fanno risalire ai Longobardi ed esse risalgono alla seconda metà del sec. IX, quando i quattro figli di Landolfo, capostipite della famosa dinastia dei Castaldei, nella contea e poi principato di Capua innalzarono a difesa dello stato, nei punti più strategici, rocche e castelli.
Elemento architettonico di particolare interesse è lenorme finestrone arcuato dal quale è possibile spaziare con lo sguardo fino al mare attraverso la piana del Savone. Altra particolarità è rappresentata dalla torre maestra perché nella sua parte terminale si caratterizza per muri cavi ed infatti al loro interno vi è ricavata una scala che conduce alla sommità del mastio. La zoccolatura a zampa delefante e la merlatura rivelano nello stile i chiari segni della dominazione angioina.