Tosya'nın Bansa köyünde doğdu. Babası Çoban Ali, oğlunun daha iyi yetişmesi için Tosya'ya taşındı. Medrese ilimlerini tahsil ederken Halvetiyye tarikatı şeyhlerinden Ahmed Efendi'nin sohbetlerine devam etmeye başlayan İsmâil Rûmî, bir gece rüyasında Abdülkādir-i Geylânî'yi görerek onun mânevî işareti üzerine Bağdat'a gitmek üzere yola çıktı. Bağdat'a ulaşınca Kādiriyye'nin merkez dergâhına gidip dergâhın postnişini Bağdat nakîbüleşrafı Seyyid Feyzullah Efendi'ye kendini tanıttı. Bir müddet sonra erbaîn çıkarmak üzere halvete girdi. Seyrüsülûkünü tamamlayınca mürşidinin tavsiyesi üzerine Bağdat'tan ayrıldı. Anadolu'ya gelmeden Mısır'a uğrayarak sohbetlerine katıldığı Ahmed-i Mısrî'den de icâzetnâme aldı. Bundan dolayı bazı silsilenâmelerde mürşidinin Feyzullah Efendi, bazılarında ise Ahmed Efendi olarak kaydedildiği görülmektedir.
1020 (1611) yılında İstanbul'a gelen İsmâil Rûmî bir süre Sofular Camii'nde kaldı, daha sonra Tophane'de Hacı Pîrî adlı bir kişiye ait arsa üzerinde bir tekke inşa ettirdi. Onun Anadolu ve Rumeli'nin değişik şehirlerinde kırk kadar tekke yaptırdığı kaydedilmektedir (Seyyid Sırrı Ali, s. 52). Kādiriyye tarikatı, Kādirîhâne diye anılan bu dergâhın kurulmasından sonra İstanbul'da yayılmaya başlamış, XV. yüzyılda Bursa'da kurulan Eşrefiyye kolu ile birlikte bu tarikatın Osmanlı topraklarında yaygınlık kazanmasında önemli rol oynamıştır. Bu tesir sebebiyle "pîr-i sânî" unvanıyla anılan ve kendisine Kādiriyye'nin Rûmiyye kolu nisbet edilen İsmâil Rûmî vefatında kurduğu tekkenin hazîresine defnedildi. Tekkenin meşihatı halifelerinden Seyyid Halil tarafından sürdürülmüştür. Ustrumcalı Ahmed Efendi adlı halifesi 1038'de (1628) Bursa'da İsmâil Rûmî Dergâhı'nı (Hamam Tekke) kurmuştur.
İsmâil Rûmî, Sultan Ahmed Camii'nin açılışında dervişleriyle birlikte Kādirî usulü zikir yapmış, daha sonra bu camide cuma günleri namazdan sonra Kādirî evrâdının okunması bir gelenek halini almıştır. Bu gelenek günümüzde de sürmekte, Kādirîhâne şeyhinin görevlendirdiği bir derviş cuma namazından sonra camide Kādirî evrâdını okumaktadır. Kādirîhâne Kādiriyye tarikatının merkez tekkesi olmuş, Anadolu ve Rumeli'de Kādirî şeyhlerinin verdiği icâzetnâmeler Kādirîhâne şeyhi tarafından tasdik edilmiştir (ayrıca bk. RÛMİYYE).
Kaynak: Türkiye Diyanet Vakfı İslam Ansiklopedisi