Yalnızlık fobisi, kişinin daha çok çocukluk yaşantılarıyla ilgili olabilir. Çocuk cezalandırılmak için bir odaya kapatılmışsa ve o odada yalnız kalmışsa, yalnız kalma korkusu oluşabilir ve bu ileride fobiye dönebilir. Ayrıca çok sevdiği birinin terk etmesi ya da onun gitmesiyle ilgili yalnızlık fobisi oluşabilir.
Yalnızlık fobisi sonradan da gelişebilir. Kişinin yalnız kaldığı zaman başa çıkamayacağını düşündüğü durumlar kişide böyle bir fobiye neden olabilmektedir.