Il fortifizio, fu costruito dai longobardi su di un roccione inaccessibile da tre lati, in vicinanze di fortificazioni d’epoca sannitica, ampliato nel secolo XI  dai normanni.  I resti, solo ruderi di strutture, riescono in ogni caso a far comprendere quale importanza  dovette avere nei tempi. Dalla ormai cadente costruzione a pianta quadrangolare, è ancora in buono stato il portale che si apre sul  lato  che  dà verso  l’abitato.  Dell’antico decoro della residenza ducale vi è una sola attestazione: la scala a due rampe con balaustra in pietra, pregevole lavoro del Silvestri di Sepino, eseguito nel 1643.   La discendenza degli Evoli, travolta dalle leggi eversive in condizioni modeste, alienò  il già rovinato castello nel 1821.

        Al castello  D'Evoli,   sono   legate alcune leggende.  La più affascinante, è  quella che gli attribuisce ben 365 stanze da letto (i proprietari ne avrebbero  occupato una diversa ogni notte),  nonché  quella di Fata, una pastorella che, per sfuggire dal Duca, il  quale  l'aveva presa di mira e insidiata, raggiunse l’alto roccione e da qui si  lanciò nel vuoto.