Castel Gandolfo 1597 óta a pápák hivatalos nyaraló helye. A Pápai Palotához tartozó
nagy parkban Domitianus császár korából származó római villa maradványai találhatók.
Ebben a korszakban az Albánói tó lejtőin és környékén római nemes családok építettek
nyaralókat. Domitianus császár hatalmas villájához lóversenypálya, víztároló és amphitheátrum
is tartozott. A modern korban a földműveléssel foglalkozó lakó közösségről 1030-ból
maradtak fenn az első iratok. IX. Benedek pápa 1037 májusában kelt bullájában ezt
a vidéket a néhány évtizeddel korábban Szent Nilus, bazilita atya által alapított
grottaferratai apátságnak adományozta. Castel Gandolfo mai nevét egykori tulajdonosáról,
a Gandolfo családról kapta, amely nem tudni hogyan megszerezte meg a terület tulajdonjogát.
1608 óta hivatalosan is a Szentszék tulajdonát alkotja. 1660-ban az apostoli palotát
kibővítették és külső fallal vették körül. Ebben az időszakban tervezte meg Bernini
mester – a Szent Péter tér építője – az Apostoli Palota előtti teret és templomot.
A 18. századtól a városka lakott területe meglehetősen kibővült, mivel egyre több
római család vásárolt itt magának nyaralót. A pápai állam megszűnése után, 1870 és
1926 között a nyaralót sorsára hagyták, ám a Lateráni Egyezmény aláírása, 1929 után,
XI. Piusz pápasága idején megkezdődtek a felújítási munkálatok. II. János Pál pápa,
megválasztása után 10 nappal látogatott el először nyári rezidenciájára, ahol fürdőmedencét
építtetett. Hosszabb időszakokat töltött itt főként pápasága utolsó éveiben, amikor
mozgási nehézségei miatt már nem mehetett az észak-olaszországi hegyekbe. Utoljára
2004 szeptemberét töltötte Castel Gandolfoban, amelyet humorizálva „Vatikán kettőnek”
nevezett.