Il castello di San Nicandro Garganico è situato nel centro storico dell'abitato, su quella che anticamente doveva essere un'altura (224 m s.l.m.) decisamente strategica dal punto di vista logistico-militare. A quanto desumibile dalle fonti storiche, il primo edificio doveva costituirsi di una torre di avvistamento e difesa, presso cui era stanziata una guarnigione di soldati già in epoca normanna.

Nel periodo aragonese, probabilmente sotto i feudatari Della Marra, alla torre fu addossata la costruzione del castello nell'attuale perimetrazione, e fu attuata un'opera di "incastellamento" del primo nucleo abitativo che vi sorse nei dintorni: di tale poderoso intervento ci pervengono le torri circolari del versante Sud e quelle superstiti della muraglia occidentale.

Al XVI secolo, invece, è attestabile l'abbellimento della porta di accesso Est con la costruzione di una loggetta che collegava il castello con un grande palazzo innalzato tra la porta e le mura Est del castellum; nello stesso periodo fu costruito, come pertinenza, un palazzo ("Palazzo Fioritto") addossato alle mura Ovest, attualmente sede della Biblioteca Comunale "A. Petrucci" e del Museo Etnografico della Civiltà Contadina.
La loggetta tardo-rinascimentale e l'Arco di Terravecchia visti dall'interno della corte

Altri interventi, probabilmente a scopo difensivo o dovuti all'adeguamento a nuove esigenze logistiche, si ebbero nel periodo Barocco e infine verso la metà del Novecento, quando venne ristrutturato internamente al fine di divenire residenza privata: fu creato il nuovo ingresso sul lato Est del castello e, di conseguenza il ponte levatoio che sovrastava l'attuale piano stradale fu chiuso definitivamente.

Attualmente il castello, dopo essere stato acquistato dagli Zaccagnino nell'Ottocento, appartiene alle famiglie Centulio e Tozzi: per impedire l'eccessivo degrado di alcune strutture, non è possibile visitarlo, se non tramite richiesta ai proprietari.

Si presenta a base trapezoidale, con i lati disposti pressappoco secondo i punti cardinali: sul lato Nord vi sono due ttorri a base quadrangolare, di cui una è quella originaria del primo periodo; sul lato sud le due torri aragonesi a base circolare che danno le spalle alla chiesa madre.