In origine rocca romana, era denominato "Artemisium", in onore della dea Artemide. I romani da quel sito controllavano la viabilità, la valle del Calaggio ed i territori Dauno-Irpini e Lucani. Con l'avvento del cristianesimo l'Artemisium fu ribattezzata in onore della martire di Catania, Sant'Agata. Il Castello ha ricoperto nel medioevo la funzione importantissima di provincia o distretto militare-amministrativo, avendo il comando di una circoscrizione composta da un determinato numero di paesi. Questo distretto con i Longobardi era denominato Gastaldato, mentre con i Normanni era denominato Comestabulia ed a capo vi era il Contestabile. Durante la dominazione Sveva la provincia militare di Sant'Agata era denominata Castellania. L'imperatore Federico II governava direttamente il Castello di Sant'Agata. Lo inserì tra i Castra Exempta, i castelli di primaria importanza in quanto strategici per fini militari e prescelti come propria residenza dall'Imperatore. Tra l'altro, Federico II provvide al restauro del castello sia nell'anno 1239 che nell'anno 1250, obbligando ai lavori i paesi appartenenti alla Castellania. Anche Re Carlo I d'Angiò aveva una sua residenza privata nel Castello di Sant'Agata di Puglia. Fece ornare la Cappella dedicata a Sant'Agata con tre artistiche lonze. Con gli Aragonesi il castello era governato dagli Orsini, che possedettero l'alta Signoria di Sant'Agata per molti anni fino a quando, nel 1576, la vendettero ai Marchesi Loffredo per 36000 ducati. Il marchesato Loffredo durò circa tre secoli.

Oggi il Castello Imperiale è un bene culturale pubblico, visitabile, a seguito dell'acquisto effettuato dall'Amministrazione Comunale nell'anno 2000.