La città sorge sulla Gravina di Matera (affluente di sinistra del Bradano), a 200 m d'altitudine.

Particolarmente interessante, nonché unica nel suo genere, è la struttura urbanistica della città di Matera, che sorge su uno sperone calcareo delle Murge occidentali e si affaccia sulle profonde gole della gravina con pareti a strapiombo, interrotte da due avvallamenti (formati da due piccoli affluenti di destra della gravina): il Sasso Barisano a nord e il Sasso Caveoso a sud. I “Sassi” sono gli antichi, pittoreschi quartieri rupestri di Matera, con le abitazioni per lo più scavate nel tufo, disordinatamente sovrapposte le une alle altre e aventi spesso la sola facciata in muratura.
In seguito al trasferimento degli abitanti dei “Sassi” e allo sviluppo del comprensorio industriale, numerosi nuovi rioni sono sorti nella zona alta della città e sulle vicine alture circostanti.

Le origini della città sono tuttora incerte: dopo la caduta dell'Impero romano d'Occidente (476) fu devastata dagli Ostrogoti di re Teodorico e in seguito posta sotto il dominio bizantino del generale Belisario. Quando i Longobardi la conquistarono, fu aggregata al ducato di Benevento. Distrutta una prima volta dai Franchi sotto l'imperatore Carlo Magno, risorse nel corso del IX sec. e fu nuovamente distrutta (994) dai Saraceni che ne dispersero gli abitanti. Nel 1061 fu conquistata dai Normanni, passò poi sotto il dominio degli Svevi, degli Angioini e degli Aragonesi. All'inizio del XV sec. ebbe grandi privilegi da parte del re d'Aragona e di Sicilia Ferdinando I il Giusto, poi cadde sotto la tirannia del conte Giancarlo Tramontano, che il popolo uccise nel 1514. Elevata nel XVII sec. al grado di capoluogo della Basilicata, perse questo titolo nel 1806 in favore di Potenza.