La fine dell'Impero Romano (476 d.C.) fece precipitare Oria nell'incubo della devastazione operata da Goti (411) e Vandali (455) e, nell'ambito della guerra greco gotica (535-553), da Bizantini e Ostrogoti comandati da Totila.
Passata sotto i domini Bizantini nel VI secolo Oria s'inserì ben presto al limite della zona d'influenza dei Longobardi (VII secolo) che spingevano da nord per conquistare la Puglia. Per questo motivo fu spesso al centro di lotte e battaglie subendo saccheggi anche per mano dei Saraceni che dal IX secolo iniziarono a fare sentire la loro presenza sul territorio.

Fu proprio la distruzione di Brindisi per mano araba a decretare lo spostamento della sede vescovile a Oria e la conseguente costruzione di un tempio dedicato a Crisanto e Daria sull'acropoli (886).
Saccheggiata e distrutta ancora dai Saraceni nel 924 e nel 977, Oria bizantina venne conquistata dall'avanzata inarrestabile dei Normanni in meridione nel 1055 dal Conte Unfredo di Altavilla.

Sotto i Normanni conobbe un periodo di sviluppo economico durante il quale la città fu cinta di mura e venne edificato un Castello con torre quadrata poi ampliato successivamente dall'Imperatore Federico II di Svevia nel 1227.

L'arrivo degli Angioini in meridione (1266) coincise per la città con la nascita del feudalesimo ed Oria divenne prima degli Orsini del Balzo (XIV sec.), poi dei Bonifacio e quindi dei Borromeo (XVI sec.) ed infine degli Imperiali che la tennero fino all'abolizione della feudalità (1806).

Dopo la breve esperienza repubblicana (1806-1815) la città tornò nel Regno delle Due Sicilie fino al 1861 quando per voto plebiscitario entrò a far parte del Regno d'Italia.
Il 21 settembre 1897 Oria subì la devastazione di alcuni monumenti e del castello ad opera di un ciclone.
Nel 1933 i Conti Martini Carissimo acquistarono e restaurarono il Castello, oggi sede di una collezione d'arte che porta il loro nome.