1935 yılında Hacı Hafız Efendi, Arif Hikmet Kütüphanesi'nde maaşsız ve tek başına kalmıştı. Fakat o buna rağmen:
"Maaş olmazsa, bu kütüphaneyi kapatacak mıyız? Arif Hikmet Bey; malı, mülkü nesi varsa bu kütüphaneye tahsis eder, vakfeder de, ben de canımı tahsis edemem mi?" diyerek, binada kalmış. Yalnız başına açıp kapatmaya, süpürüp temizlemeye başlamış. 1935'ten 1950'ye kadar kendisine katılıp çalışıp yardım edenler olmuşsa da 1950'den sonra onlar da ölmüş, gitmiş, dağılmışlardı. 1958'deki vefatına kadar sekiz sene tamamen yalnız kalmıştı. Yalnız Cuma günleri oğlu Mahmud Efendi gelir, ortak Medine-i Münevvere'deki hayatimi anlatmaya başlarken Eğinli Hoca Efendi'nin, o kadar maddî sıkıntısına rağmen, yüksek bir bedelle, kütüphanenin evini Ramazan ayı için kiralamak isteyen Mekkek bir zenginin bu talebini:
"Mekkeliler nargile içerler. Bu aileden de muhakkak bir içen vardır. Tömbekinin dumanı Peygamber-i Zişan'ı rahatsız eder. Ben buna dayanamam. Aç kalmaya, ölmeye razıyım. Resul-i Ekrem'in ruh-u saadetini rencide edemem..." diyerek geri çevirdiğini hikâye etmiştim.
Yirmi üç sene maaşsız idare ettikten sonra, hastalanınca da oğluna vasiyet etmiş:
"Oğlum ben ölürsem, müracaat et Maarifteki maaşını buraya çevirt, gel kütüphaneyi devam ettir. Seni buraya müdür tayin etsinler. Allah bırakmaz, korkma" demişti...
Vefatından sonra dediği gibi yapıldı. Oğlu Mahmud Efendi, Maarifteki maaşıyla müdür oldu.