Yayla Mahallesi'nde Devlet Hastanesi yolu üzerindedir. Ağaçlık bir mekândadır. Türbenin yanında bir çeşme bulunmaktadır. Türbenin içinde mum yakmak için bir mumluk vardır. Türbenin içinde bir sanduka bulunmaktadır. Türbede namaz kılmak için seccadeler ve duvarlarında Kur'ân surelerinin asılı olduğu levhalar bulunmaktadır. Türbesi yeşil boyalı ve kubbelidir. Bu türbe, Beşir Dede'nin mezarından yol geçmesi sonucu 1960 yılında yapılmış, kemikleri mezarından alınarak buraya nakledilmiştir.
Mezann yerini değiştirme esnasında hazır bulunan iktisatçı İbrahim Değer'in anlattığına göre mezar açıldığı zaman Beşir Dede'nin kefenin henüz bembeyaz bulunuyormuş. Ancak hava ile teması neticesinde kefen bir anda kül haline dönüşerek dokunulduğunda dökülüvermiştir. Bu hâl halk arasında Arap Beşir Dede'nin ermişliğinin bir alâmeti olarak kabul edilmiştir.
Rivayetlere göre Arap Beşir Dede'nin türbesinin toprağından alınıp, ölmesi istenen yatalak hastalar üzerine elendikten birkaç gün soma, hastanın öldüğü kanaati vardır. Bu türbeden alınan toprağın bir eve serpilmesi neticesinde o evde kavganın çıktığı, hanenin dağıldığı da yaygın bir inançtır.
Dilek sahipleri türbeyi ziyaret eder içinde namaz kılar ve adakta bulunurlar. Hacca niyet edenler genellikle yola çıkmadan önce Arap Beşir Dede türbesini ziyaret ederler. Sarası tutanlar, saralı halde getirilerek mezar üzerine yatırılır, sarası geçince adaklarda bulunurlarmış.