İlk sivil mimari dokunun kale içinde başladığı şehirde kale dışında yerleşme kaynaklara göre V. yüzyılda başlamıştır. Günümüzde şehir Mardin Kalesi’nin güneyinde dik yamaçta yer alır. Mardin’de bulunan farklı yapı türleri birbirine dar sokaklar, basamaklı merdivenler ya da “abbara” denilen üstü tonozlu geçitlerle bağlanır. Çok defa evlerin altından geçen abbaraiar hem sokağın hem de evlerin elemanı olarak ikili görev üstlenmiştir. Evler arazinin konumuna göre teraslar şeklinde en az iki. üç veya daha çok katlı olarak düzenlenmiştir. Örtü sistemi dıştan tamamen düz ve toprak damlıdır. İlk kat, çoğunlukla sütunlara bindirilmiş hafif sivri kemerlerin oluşturduğu “U” biçiminde revaklı bir avlu ve avluya açılan odalardan meydana gelir. İkinci kat, birinci kat odalarının çapraz tonozları üzerine bindirilerek arazinin eğimine göre geri çekilmiş, teras şeklinde ve geniş ” L” biçimli bir avluyla diğer mekânlardan oluşmaktadır. Mardin evlerinin değişmez birimi olan eyvan ve eyvana açılan odalar ikinci katta yer alır. Genellikle eyvanların sonunda kahve ocağı denilen küçük bir mekân vardır. Geniş ve uzun pencereler, oda içlerindeki nişler ve dolap yerleri iç mekânda hareketlilik sağlar. Evlerin zengin iç dekorasyonuna karşılık sokak cepheleri yalındır. Dar ve yüksek duvarlarla konutlardan ayrılan sokaklar âdeta birbirinin benzeridir. Bazı yapıların konsollara bindirilmiş hafif çıkmaları ve üç dört mukarnasla yumuşatılmış köşelikleriyle yağan karı dışarıya atmak için kullanılan pencereli çıkmaları bir Ölçüde sokaklara hareketlilik sağlar. Evlerin büyük çoğunluğu en az yüzyıllıktır.