1950 yılında Sarıyer-İstanbul'da doğdu. 1972 yılında kara harp okulundan, 1973 yılında muhabere okulundan mezun oldu. 1979 yılına kadar kara kuvvetlerine bağlı çeşitli birliklerde takım komutanlığı, mal saymanlığı ve ikmal subaylığı yapan Kalyoncu, 1981 yılında Kara Harp Akademisinden mezun olarak ardından Kurmay Subay olarak; Kara Harp Okulu'nda Öğrenci Bölük Komutanlığı, k-Kara Harp Akademisi Öğretim Üyeliği, 9'uncu Piyade Tümen Harekat ve Eğitim Şube Müdürlüğü, Brüksel/Belçika'da Uluslararası Askeri Karargah (Ims) Plan Prensipler Başkanlığı Strateji Plan Şube Karargah Subaylığı, 3'üncü Ordu Harekat Başkanlığı Plan ve Harekat Şubesinde Plan Subaylığı ve Şube Müdürlüğü, Genelkurmay Strateji ve Kuvvet Plan Daire Başkanlığı NATO Strateji Şube Müdürlüğü Ve Kara Harp Okulu Öğrenci Alay Komutanlığı görevlerini yürüttü.
1997 yılında Tuğgeneralliğe terfi eden Kalyoncu, Tuğgeneral rütbesi ile Genelkurmay Elektronik Sistemler Komutanlığı Ve Mons/Belçika'da Avrupa Müttefik Kuvvetleri Yüksek Karargahı(Shape) Plan Harekat Daire Başkanlığı görevlerinde bulunarak, 2001 yılında Tümgeneralliğe terfi etti. Tümgeneral rütbesi ile Genelkurmay Plan Harekat Daire Başkanlığı Ve Muhabere Elektronik Ve Bilgi Sistemleri Okulu Ve Eğitim Merkez Komutanlığı Görevlerini yürüterek, 2005 yılında Korgeneralliğe terfi etti.
Korgeneral rütbesi ile Genelkurmay Harekat Başkanlığı ve 7'nci Kolordu Komutanlığı görevlerinde bulunmuştur.
Kalyoncu, Türk Silahlı Kuvvetleri'nin 21 Şubat 2008'de başlattığı Güneş Harekatı'nın sorumlu komutanlığını yapmıştır.
2009 Yüksek Askeri Şura'sında Orgeneral terfi etmiş ve Kara Kuvvetleri Komutanlığı Kurmay Başkanlığı'na atanmıştır.
2011 Yüksek Askeri Şûra toplantısının ardından Jandarma Genel Komutanı olarak atanmıştır.
İngilizce bilen Orgeneral Kalyoncu bir çocuk babası.