Arap atı dünyanın en eski ırkı veya en eski ırklarından biridir. Günümüzdeki oryantal kökenli Arap atları, Arabistan Yarımadası'nda bulunan MÖ 2500'lü yıllardan kalma mağara resimlerindeki at figürleriyle aynıdır. Benzer yapıdaki at figürlerine bütün Anadolu, Kafkaslar ve Mezopotamya'daki mağara resimlerinde de rastlanır.
Arap atının atalarının nerede yaşadığı hâlâ tartışma konusudur. Çoğu uzman Güneybatı Arabistan veya Kuzey Mezopotamya üzerinde yoğunlaşır. Mezopotamya'da görülen at figürlerinin bölge dışında da görülmesi bu at cinsinin Orta Doğu'ya göç etmiş Ön Türkler tarafından getirilen at ırklarından biri olması ihtimalini de gündeme getirmektedir.
Arap atının ilk evcilleştirilmesi devenin kullanılmaya başlanmasıyla aynı dönemlere rastlar. Çölde yaşamaya uygun yapıdaki bu atlar kısa sürede çok tutulmuş, sağlıklı damızlıklar kullanılarak geleceğe yatırım yapılmıştır.
Arap atı ırkı geliştikçe Bedeviler atlarının ırk kayıtlarını dilden dile aktararak kaydetmeye başladılar. Her aile ve kabilenin atlarının geçmişi, geldikleri dişi at gibi özellikleri hep kayıt altındaydı.
"Arap atı" isminin geçtiği en eski yazılı kaynak MS 1330 yılına aittir. Irkının en kaliteli atları Asil olarak bilinirdi ve asil olmayan atların asillerle çiftleştirilmesi yasaktı. Bu atların dişileri daha değerliydi.
Bedeviler zamanla farklı özelliklerde alt ırklar ürettiler. İlk yedi çeşit Arap atı Küheylan, Seklavi, Übeyyan, Hamdani, Maneki, Dehman ve Hedban idi.
Başlarında zırhlarıyla savaşan güçlü Arap atları Eski Mısır, Mezopotamya, Roma İmparatorluğu ve Eski Yunan sanat eserlerinde sıkça görülür. En ünlü Arap atlarından biri Büyük İskender'in Bucephalus isimli atıdır.
622 yılındaki hicretle beraber İslam dünyası Arap atlarıyla tanışmıştır. 630'lu yıllarda müslüman toplumlar Kuzey Afrika ve Ortadoğu'ya doğru genişleme çabasına girdi. Bu genişleme 711 yılında İspanya 'ya kadar vararak 720'de bütün İspanya Yarımadası'nı kapladı. Arap ve Ortadoğu kökenli akıncıların atları en güçlü Avrupa kökenli atları ezip geçtiler. Endülüs atı bu sırada ortaya çıkmıştır. Amerika Kıtası`nı keşfedenler de beraberlerinde Osmanlı İmparatorluğu sayesinde tanıştıkları Arap atlarını götürmüşlerdir. Osmanlı İmparatorluğu 1299 yılında yükselerek Ortadoğu'nun çoğunu kontrol altına aldı. Arap atlarinı savaştan ticarete birçok alanda kullandılar ve Avrupa'ya da tanıttılar. Istanbul'un ilk Arap Atı harası 1864'te Aziziye'de kuruldu.
Müslümanların yaptığı fetihler ve Osmanlı, Arap atının Avrupa'ya gelişinin tek sebebi değildir. 1095'te başlayan Haçlı seferleriyle Filistin'i işgal eden Avrupalılar geriye ganimet olarak Arap atlarıyla döndüler.
15. yüzyılın başlarında ateşli silahların keşfiyle şövalyeler ve onları taşıyan zırhlı Arap atları birleşimi ortaya çıktı.
Arap atlarının Avrupa'ya girişinin en kalabalık örneklerinden biri de Osmanlı İmparatorluğu'nun 1522 yılında Macaristan'a 300.000 atlı asker göndermesidir. 1529'da Viyana'ya ulaşan Türkler Polonyalı ve Macar güçler tarafından önlendiğinde ele geçirilen atlar Avrupa'daki en kaliteli Arap atlarının temelini oluşturmuştur. Daha sonra İngiliz, Rus, Polonya gibi ülkelerin kralları sömürge döneminde çölden Arap atları getirterek özellikle kendi ahırlarına katmışlardır.