Tarihi M.Ö. 9. yüzyıla dayanan Küçükkuyu'nun antik ismi 'Gargara'dır. Bu ismi Kaz Dağı'nda bulunan 'Gargara Tepesi'nden almıştır. Bu tepeden Homeros'un İlyada Destanı'nda sık sık bahsedilmiştir.
Küçükkuyu önce Lydna (M.Ö. 6. yy), sonra Pers egemenliğine geçer. M.Ö. 494 yılında Miletos adlı kent tahrip edilmiş, bu nedenle Miletos'tan Gargara'ya çok sayıda göçmen getirilmiştir. Pers Kralı Atina'yı ele geçirmek için M.Ö. 480 yıllarında yola çıkmış ve Küçükkuyu'da konaklamıştır. Ve burada çıkan bir fırtına yüzünden çok sayıda askerini kaybettiği rivayet edilir. Küçükkuyu daha sonra Bergama (Bergaman) Krallığı'nın egemenliği altına girmiştir.(M.Ö. 241-133)
Kültür Bakanlığı tarafında 1998 yılında başlatılan bir araştırmada Gargara kentinin yerine dair bilgiler bulunmuştur. Araştırma sonuçlarına göre Gargara kenti ilk olarak Nusratlı Köyü'nün kuzeyinde bulunan Kocakaya Tepe üzerinde kurulu olduğu, daha sonra Arıklı Köyü'nün doğusundaki Zindan Tepe'ye taşındığı tespit edilmiştir. İki tepede de araştırma sonuçlarını destekleyen kalıntılara rastlanmıştır.
Cumhuriyet döneminde Deniz Yolları Acentası'nın kurulması ile liman haline gelmiş bölge önemli taşımacılık merkezi olmuştur.Çevre köylüler Küçükkuyu'yu 'İskele' olarak adlandırmışlardır.Yaşlı köylülerin hala Küçükkuyu'ya İskele demelerinin nedeni de budur.
Küçükkuyu Kurtuluş Savaşı yılları ve sonrasında birçok göç almıştır. Küçükkuyu'ya ilk yerleşenler balıkçılar, liman çalışanları ve zeytinyağı üreticileri olmuşlardır. Küçükkuyu'nun köy haline gelmesi Kurtuluş Savaşı yılları ve sonrasında Girit ve Midilli Adalarından Türk ailelerinin gelmesiyle ve yurdun diğer bölgelerinden almış olduğu göçlerledir. 1944 yılında gerçekleşen deprem ile çevre köylerden göçler artmış ve nüfus da artmıştır. Daha önce Büyükçetmi (Yeşilyurt) olan köy merkezi daha sonra Küçükkuyu'ya taşınmıştır. Küçükkuyu 1970-1989 yılları arasında muhtarlıkla yönetilmiş, daha sonra 1989 yılında belediye haline gelmiştir. Küçükkuyu'ya oldukça yakın konumda yer alan Assos'u, Altınoluk'u, Akçay'ı, Ayvalık'ı da gezi rotanıza dahil edebilirsiniz.