Enrico II fondò attorno al 1188 il Burgus Finarii, attuale Finalborgo, ponendo la sua residenza in Castel Govone, il primo agosto dello stesso anno. Scopo di questa fortificazione era quello di assolvere a compiti non solo di rifugio, difesa e controllo del territorio, ma anche e specialmente a funzioni residenziali e rappresentanza. Grazie alla veloce ascesa politica dei marchesi, il castello divenne dimora principesca e diede albergo all'imperatore Corradino di Svevia che vi avrebbe sostato nel 1268, prima di scendere nell'Italia meridionale. Ampliato e abbellito, riacquistò con Galeotto del Carretto il ruolo di importante sede politica ma, nella guerra contro Genova (1447 - 1452) il castello fu pressoché distrutto. Il successore di Galeotto, Giovanni I diede inizio ad una immediata opera di ricostruzione che comprese anche il borgo sottostante. Già nel 1452 anno in cui veniva conclusa la pace con Genova, potevano celebrarsi nel castello le nozze fra il marchese e Biscontina Adorno. Per quanto riguarda la Torre dei Diamanti, alcune fonti indicano come data di costruzione il 1456 anche se altri esperti ritengono sia più credibile una data di costruzione intorno al 1490. Nel 1571, a causa di una crisi del marchesato dovuta ad Alfonso II, truppe spagnole circondano il castello (come mossa preventiva alle mire di Genova e soprattutto della Francia): iniziò così una lunga controversia diplomatica che si chiuse nel 1598 con la vendita del marchesato da parte di Sforza Andrea Del Carretto alla Spagna e con l'occupazione effettiva del finalese da parte delle truppe spagnole nel 1602. Da allora per circa un secolo, il Finale restò alle dipendenze dalla corona di Spagna. Il castello in questo periodo subì importanti aggiunte, atte a migliorarne le difese ed a ospitare una compagnia di 270 soldati e una grande quantità di munizioni. Sempre in questo periodo, venne rafforzata la cintura esterna, senza peraltro risolvere l'ormai intrinseca debolezza della fortezza rispetto ai moderni mezzi bellici. Solo nel 1713 - 14, dopo la pace di Utrecht e Radstadt che pose fine alla guerra di Successione Spagnola, Genova riuscì a impossessarsi, sia pure a caro prezzo, del Marchesato di Finale. Il primo governatore della Repubblica, Antonio Spinola, nel 1715 per volere del Consiglio della Superba, ordinò lo smantellamento della fortezza, mediante posa e detonazione di mine. Dalle esplosioni si salvarono soltanto parte dei muri perimetrali del palazzo, gli ambienti sotterranei e la Torre dei Diamanti della quale furono però abbattute le volte. Le rovine giacquero così per più di due secoli: il 29 dicembre 1989 il castello è stato donato al comune di Finale Ligure dai Cavassola, ultima famiglia proprietaria.