Il nome Ninfa deriva da un tempio di epoca romana costruito nei pressi dell’attuale giardino e dedicato alle divinità delle acque sorgive. Ninfa faceva parte di un più vasto territorio chiamato Campagna e Marittima. Nel VIII secolo entrò a far parte dell’amministrazione pontificia ed ebbe un ruolo strategico per la presenza della via pedemontana che permetteva di recarsi al sud evitando la Via Appia spesso impaludata. Dall’XI secolo Ninfa assunse il ruolo di città e fu governata da varie famiglie nobiliari come i Tuscolo, i Frangipane, sotto i quali fiorì l’architettura cittadina e crebbe l’importanza economica e politica di Ninfa: nel 1159 il cardinale Rolando Bandinelli fu incoronato pontefice Alessandro III nella chiesa di Santa Maria Maggiore, i ruderi della quale sono ancora oggi visibili. E ancora i Conti, la famiglia Colonna ed infine i Caetani.
Il Castello Caetani, situato nella parte più alta del borgo medievale di Sermoneta, è il monumento più noto ed emergente dei monti Lepini e domina con la sua mole il paese e l’intera pianura Pontina sottostante. Conobbe assalti e guerre, ospiti famosi e momenti di pace festosa. Si arricchì nel tempo di opere di difesa che dovevano renderlo quasi inespugnabile. Il castello costituisce uno degli esempi di architettura militare del Lazio dalla struttura più articolata e meglio conservata. L’immagine altamente unitaria di questo organismo architettonico racchiude una straordinaria complessità di stratificazioni e di aggiunte, di sostituzioni ed alterazioni, testimonianza della sua vitalità attraverso la storia. Nel 1298 Benedetto Caetani, noto come Papa Bonifacio VIII, acquistò Ninfa ed altri territori limitrofi per suo nipote Pietro II Caetani, segnando l’inizio della presenza dei Caetani nel territorio pontino e lepino.