Waar nu de restanten van een kasteel liggen, stond in het jaar 636, waarschijnlijk een houten Burcht gebouwd door de Batavieren en/of de Vikingen. De vorm van de toenmalige en van de huidige Burcht doet denken aan vluchtburchten die in die tijd stroomopwaarts langs de Maas en de Rijn te vinden waren.
Na voltooiing van de Voorburcht zoals het complex is gaan heten, namen de bewoners hier hun intrek en werd de Donjon in gebruik genomen als vluchtburcht tijdens een eventuele belegering. Bij het Kapelletje dat ook tot het complex behoorde was een Begraafplaats die werd opgegraven tijdens de aanleg van de riolering in 1959 in de Hoflaan.
Een grote poort gaf toegang tot het Voorhof en de Burcht. Deze poort stond tegenover het “Huis Overburgh” dat in die tijd bewoond werd door Kanunniken. Er bevonden zich op het terrein ook een moestuin, een wijngaard en een boomgaard. Het zal een bont geheel geweest zijn!
Begin 12e eeuw is men begonnen met der bouw van de huidige Burcht, wat deze burcht tot één van de oudste van Nederland maakt. Als eerste werd begonnen met de bouw van een Donjon (Middeleeuwse woontoren) op de Motte (Middeleeuws torenvormig burchttype). Naderhand werd de houten palissade (omheining) stukje bij beetje vervangen door een muur van steen. Deze ringmuur was voorzien van een weergang (wel of niet overdekte gang of omloop), gebouwd op tongewelven en bereikbaar via enkele trappen aan beide zijden van de ringmuur.
Van af de 13e eeuw namen de Heren van Voorne, die de opdracht hadden gegeven tot de bouw; de Donjon in gebruik. Na het voltooien van de muren werd begonnen met de bouw van het Voorhof op wat wij nu de Hofweide noemen. De Hoflaan geeft de omtrek van het Voorhof redelijk weer.
Hier ontstond een diversiteit aan gebouwen: zoals een boerderij, stallen, grote zaal voor feesten en officiële ontvangsten en alle gebouwen en onderkomens die nodig waren om een hofhouding draaiende te houden.
De Heren van Voorne bezat de Heerlijkheid Voorne, welke bestond uit 3 eilanden: Voorne, Westvoorne (Goeree) en Zuidvoorne (Overflakkee) van 1108 tot 1372. Helaas komt er met het overlijden van Machteld van Voorne in 1372 (dochter van Gerard van Voorne en de enige vrouw die de titel van Voorne mocht dragen) een einde aan het geslacht van Voorne en daarmee vervalt de Burcht aan het geslacht van Beieren, de toenmalige graven van Holland en Zeeland.
Eén van de bekendste personen uit het geslacht van Beieren is Vrouwe Jacoba van Beieren. Haar verhaal is in verschillende romans meermalen verteld. Na haar dood in 1436 is haar laatste man, Frank van Borselen gebruiker/eigenaar van de Burcht van Voorne. Hij komt hier vaak om de Valkenjacht te beoefenen.
Na de dood van Frank van Borselen in 1470 vervalt de Heerlijkheid met de Burcht aan de Hertog van Bourgondië, Karel de Stoute. Deze toont weinig interesse in de Burcht. Hij sterft tijdens de Slag om Nancy. Dan wordt Margaretha van York, de weduwe van Karel de Stoute, eigenaresse van de Burcht. Zij ziet wel wat in het prieeltje en ze investeert stevig om er weer een bewoonbaar geheel van te maken. Helaas heeft zij nooit kunnen genieten van het eindresultaat, omdat zij in 1503 overlijdt. De Burcht komt dan in handen van Karel V. Hij gaat door met de restauratie vooral van de Voorburcht en ook hij zal de Burcht nooit bewonen.
In 1534 vind er een veiling plaats waarbij grote delen van de Voorburcht worden verkocht om te voorkomen dat materialen worden geroofd om hiermee over het gehele eiland woningen en schuren te bouwen. Bakstenen waren immers duur in die tijd!
In 1552 worden de Kerktoren en de Donjon grotendeels ontmanteld omdat men bang is voor een invasie van de Fransen over zee. Dit is eigenlijk de doosteek voor de Burcht. Hierna worden de overblijfselen gesloopt, bedekt met aarde en verkocht aan het Loodswezen om een vuurtoren te bouwen. Echter van de bouw van een vuurtoren op die plek is het nooit gekomen.
Vervolgens raakt de Burcht geheel in de vergetelheid. Tot in 1934, in het kader van de werkverschaffing onder leiding van ir. J. Kalf (directeur Rijksbureau voor de Monumentenzorg) de Burcht weer wordt opgegraven. De maquette en de tekening van de Burcht tonen zijn visie op de oorspronkelijke vorm. De tijdens de opgravingen gevonden stenen (kloostermoppen) worden opgeslagen achter het voormalig Gemeentehuis, om weer te worden gebruikt tijdens de restauratie, die al vrij snel na de opgravingen werden gestart. Omdat dit hele project uitgevoerd werd met vrijwilligers duurde het tot ongeveer 1980 voordat de Burcht haar huidige vorm kreeg.
Tot slot een leuk detail is dat aan de linkerzijde van de brug over de gracht 2 Essenbomen (Fraxinus Excelsoir) staan, geplant in 1800, die dus al meer dan 200 jaar waken over de entree van de Burcht en behoren tot de oudsten van Nederland.