Castel Pagano è una rocca fortificata situata a sud-ovest del promontorio del Gargano, in località Coppe di Monte Castello (685 m slm) a circa 545 m slm, in una posizione strategica, che consente una visione meravigliosa verso i monti del Molise da una parte e su tutto il Tavoliere dall'altra. La data della sua costruzione è incerta, ma sembra aver avuto almeno due vite: sorto nella seconda metà dell’IX secolo, andò distrutto nel 1137 da Lotario III, per essere poi ricostruito e fortificato da Federico II, il quale lo affidò ad una guarnigione di fidi Saraceni, da cui potrebbe derivare la denominazione. si pensa possa essere antecedente persino alla costruzione di Apricena, quindi la seconda metà del IX secolo. In seguito il borgo fu feudo di Manfredi, figlio di Federico II e fondatore di Manfredonia, e più tardi fu devoluto ai re per diritto regio. Nel 1496 re Ferdinando lo donò a Ettore Pappacoda di Napoli che donò splendore a tutta la zona facendo erigere anche il Santuario di Stignano nel 1515; estinta tale famiglia, tornò al regio demanio. Il 10 marzo 1580 Antonio Brancia, da cui il prende il nome la località sottostante, lo comperò da Filippo II per 90mila ducati. Nel 1732 fu dei Mormile, poi lo comperò Don Garzia di Toledo e da questi, nel 1768, il Principe Cattaneo di Sannicandro. Sicuramente fu soggetto a diversi terremoti, testimoniati da documenti nei quali è narrata la vicenda del 1627 quando Apricena e dintorni subirono enormi danni. Il borgo fu abbandonato all'inizio del seicento gradualmente per il trasferimento degli abitanti ad Apricena, probabilmente a causa della gran penuria d'acqua ed in seguito il complesso fu soggetto allo sciacallaggio dei pastori locali che prelevarono le pietre della struttura per costruire i loro rifugi nella sottostante valle di Sant'Anna. Nei dintorni del castello vi sono innumerevoli anfratti e grotte, ricordiamo quella della Lia c.a. 200 mt., rifugio di briganti nel XIV° secolo. Nei dintorni sono stati trovati diversi reperti, alcuni anche antecedenti all'era medievale e nella ristrutturazione, sono rinvenuti resti umani quasi a testimoniare la presenza di un cimitero e di conseguenza a confermare la presenza del borgo. Attualmente i ruderi consistono in un lungo muro, alto non più di un metro e mezzo con due aperture che furono molto probabilmente due porte. Questo muro fa angolo a sinistra con un resto di fabbrica brevissimo, mentre a destra è unito con una possente torre circolare che non supera i cinque metri d’altezza. Da questa torre parte una muraglia continua lievemente scarpata a picco sulla valle sottostante. Un terzo muro chiude a sud il quadrilatero. In un angolo si erge il mastio, la torre maggiore a cinque facce, alta circa sei metri visibile dal Tavoliere delle Puglie.