Barış İnşasında Neyin Çalışıp Neyin Yaramadığını Ölçme
Çıkış Yapan Bir “M&E Guy”dan İzleme ve Değerlendirme Üzerine Düşünceler
Andrew Blum, USIP tarafından
(Orijinal makale: USIP. 17 Haziran 2016)
Barış inşasında çalışanlara, karşılaştığımız zorlukların büyük ve komuta ettiğimiz kaynakların küçük olduğu sürekli olarak hatırlatılıyor. Dolayısıyla bu kaynakları akıllıca kullanmak ve değerlerinden emin olmak için hem pratik hem de etik bir zorunluluk vardır. Bu amaçla, dört yıldan biraz daha uzun bir süre önce, USIP benden organizasyonun ilk öğrenme ve değerlendirme direktörü olmamı istedi. Özünde, iş tanımım basitti: Enstitü'nün kanıtları kullanarak neyin işe yaradığını ve neyin yaramadığını daha az yapmasına yardım etmek.
USIP'deki zamanım sona ererken ve San Diego Üniversitesi'ndeki Joan B. Kroc Barış ve Adalet Enstitüsü'nün yönetici direktörü olarak yeni bir pozisyona geçtiğimde, doğru olanı yapma fırsatını değerlendirmek istedim. neyi yanlış yaptım ve yapılacak iş kaldı. Yakın zamanda, Ford Vakfı strateji, öğrenme ve değerlendirme direktörü için bir iş tanımı yayınladı. Her gün, bu alanın büyümesini gösteren bunun gibi daha fazla iş ilanı görüyorum. Bu yüzden, yakında eski bir “İ&D uzmanından” gelen bu hızlı yansımaların, bu yeni pozisyonlara geçen herkese ve dört yıl önce üstlendiğim zorluk üzerinde halihazırda çalışanlara yardımcı olacağını umuyorum.
Doğru Anladığım Üç Şey
- Organizasyonel Değişime Odaklanma: Proje tasarımını, izlemeyi, değerlendirmeyi ve öğrenmeyi geliştirmek, temelde derin bir organizasyonel değişim gerektirir; bu sadece teknik bir zorluk değildir. Örneğin, yaptığımız ilk şeylerden biri, bir izleme ve değerlendirme çerçevesi için bir şablon geliştirmekti. Ama çok az kişi kullandı. Daha temel sorunları ele almadığınız sürece bu tür teknik desteği sağlamanın işe yaramadığını çok kısa sürede anladık. Örneğin, kaynak sağlarsak, bunların kullanılmasını sağlayacak hesap verebilirlik mekanizmaları var mı? Daha derin organizasyonel konulara odaklanmak, zaman zaman kaydettiğimiz ilerlemenin yavaş olduğu, ancak bu ilerlemenin sürdürüldüğü anlamına geliyordu. Buna karşılık, bazı kuruluşlar programları izleme ve değerlendirme yöntemlerinde hızla kapsamlı değişiklikler yapmaya çalışır. Bu çabalar genellikle kendi ağırlığı altında çöker ve kuruluşu başladıklarından daha kötü durumda bırakır.
- Fon Sağlayıcıları Etkilemek: Uygulayıcılar arasında, izleme ve değerlendirmenin iyileştirilmesindeki zorlukları, gereksinimlerinde çok katı olduklarını ve esnek, yaratıcı, etkili izleme ve değerlendirmeye (İ&D) izin veremeyecek kadar başarısız olduklarını söyleyerek bağışçıları suçlama eğilimi vardır. USIP'deki en başından beri, devlet kurumları gibi finansman ortaklarını izleme ve değerlendirme konularına dahil etme stratejisini taahhüt ettik. Fon verenler bunu olumlu olarak gördüler ve bu, gerçek öğrenmeye yol açan programlar hakkında dürüst raporlamaya izin verirken herkesin ihtiyaçlarını karşılayan izleme ve değerlendirme stratejileri oluşturmada çok önemli olduğunu kanıtladı.
- Daha fazla M, daha az E: En başından beri, iki nedenden dolayı değerlendirmeden çok izlemeye odaklandık. İlk olarak, tüm değerlendirme çabaları, sağlam, iyi düşünülmüş bir proje tasarımı gerektiren titiz proje izlemeyi gerektirir. İkincisi, proje ekipleri programlarını tasarlamaktan ve izlemekten sorumlu olduklarından, kendi izleme ve değerlendirmelerinden de sorumlu olurlar. Proje sonunda değerlendirmeler yapmış olsaydık, başlatan ekipler görevi başka birinin sorumluluğu olarak, yani benim ekibim veya dış değerlendirme danışmanları olarak daha kolay reddedebilirdi.
Keşke bilseydim dediğim üç şey
- Erken Öncelik Verin: USIP'deki ilk öğrenme ve değerlendirme direktörü olarak, programlarda meslektaşlarıma sorunlarını çözmelerine yardımcı olarak değerimi göstermem gerektiğinin kesinlikle farkındaydım. Ekibim ve benim her zaman kullandığımız önemli bir başarı ölçütü, hizmetlerimize olan talepti. Ama bu hayır demeyi çok zorlaştırıyor. Ve hayır dememek çok ince yayılmaya ve istekler karşısında her zaman reaktif olmaya yol açar. Keşke bir dizi stratejik önceliği kuruma önceliklendirmek ve açıkça iletmek için baştan daha çok çalışsaydım. “USIP'de izleme ve değerlendirmeyi geliştirmek için en stratejik odak alanları olarak belirlediklerimiz bunlar, size yardımcı olabileceğimiz şeyler bunlar, yapmayacağımız şeyler bunlar.”
- Son Mil Problemi: Yerel düzeyde veri toplamanın önemini ve zorluğunu hafife aldık - USIP için, bu genellikle çatışma bölgeleri anlamına gelir. Güvenilir, titiz verileri sürekli ve uygun maliyetli bir şekilde toplamanın zorluklarıyla güçlü proje tasarımlarının ve izleme stratejilerinin nasıl baltalandığını tekrar tekrar gördük. Son zamanlarda “son mil sorunu” olarak adlandırdığım sorunu çözmeye öncelik vermiş olsak da, tüm proje izleme girişimlerimizin bir parçası olarak buna daha önce odaklanmalıydık.
- İyi Yapıyor Muyuz? Ne Yapmalıyız? Her zaman iki tür soruya cevap verebilmenin önemli olduğunu düşünmüşümdür. İlk olarak, USIP programlarının bir etkisi var mı? İkincisi, ne tür programlar uygulamalıyız? Başlangıçta, bu soruların her ikisinin de benzer stratejilerle yanıtlanabileceğini varsaydım. Bununla birlikte, “ne yapmalıyız” sorusunun yanıtlanması daha zor olan ve yanıtlanması için farklı stratejiler gerektirdiği ortaya çıktı. Proje düzeyinde değerlendirme önemlidir, ancak örneğin topluluk diyalog programlarına mı yoksa güvenlik sektörü reformuna mı daha fazla yatırım yapmanız gerektiği sorusunu yanıtlamak için yeterli değildir. Ayrıca, örgütsel değişimin zorluğu “ne yapmalıyız” sorusu için de farklıdır. Örneğin, topluluk diyalogunda bir uzman, programlamalarını daha iyi hale getirmek için neredeyse her zaman çalışmaya isteklidir. Bu uzman, kuruluşun daha az topluluk diyaloğu yapması gerektiğini iddia ediyorsanız çok farklı yanıt verir - kimliklerini ve geçimlerini tehdit eden bir argüman.
Yapılacak Üç Şey Kaldı
- Verilerden Yararlanma: Barış inşasının veri kıtlığı olan bir çaba olduğunu sık sık söyledim. Tehlikeli, politikleşmiş çatışma ortamlarında veri toplamak her zaman zordur. Ancak USIP'nin izleme ve değerlendirme çabalarının bir sonucu olarak, organizasyon genelinde çok daha fazla veri akışı var. Bir sonraki zorluk, Enstitü genelinde bu bilgileri toplama, paylaşma, sunma ve güçlendirme konusunda daha iyi bir iş çıkarmaktır. USIP, bu bilgi yönetimi zorluklarıyla yüzleşme konusundaki kararlılığını yakın zamanda yenilemiştir, ancak USIP gibi büyük, karmaşık, olgun bir kuruluş için bu görev biraz göz korkutucu ve zaman alacaktır.
- Uyarlanabilir Programlama: Barış inşası topluluğu içinde ve daha geniş anlamda kalkınma alanında, programlamanın nasıl daha esnek ve daha uyumlu hale getirilebileceği konusunda bir tartışma dalgası var. Amaç, çalıştığımız karmaşık, hızla değişen ortamlara yanıt vermek için programların ilerledikçe öğrenebilmelerini sağlamaktır. Ancak bugüne kadar, bu yaklaşımlar hakkında, programların uygulanma biçimindeki gerçek değişikliklerden daha fazla retorik olmuştur. Bir sonraki zorluk, esnek, uyarlanabilir, yinelemeli programlamayı gerçekten destekleyen sistemleri ve süreçleri oluşturmaktır.
- Daha Güçlü Bir Değişim Teorisi: M&E size hikayenin sadece bir parçasını anlatabilir. Örneğin bir değerlendirme, gruplar arasında güven inşa edilip edilmediğini size söyleyebilir. Yalnızca barışın nasıl inşa edilebileceğine dair daha geniş bir değişim teorisi ve ardından onu test etmek, artan güvenin daha büyük barış ve çatışma dinamikleri üzerinde bir etkisi olup olmayacağını size söyleyebilir. Bu, bu değişim teorisi için daha sağlam bir kanıt temeli sağlamak için izleme ve değerlendirme ile uygulamalı araştırmayı birleştirmeyi gerektirir. Bu, USIP'nin daha büyük etki hakkında daha güçlü iddialarda bulunmasını sağlayacaktır, örneğin, güven inşa ettik ve daha geniş, uzun vadeli barış için güven konularına güvendik.
Dört yıldan biraz daha geriye bakarak son bir düşünce. Barış inşası alanında izleme ve değerlendirme üzerine ilk çalışmaya başladığımda, belki de 10 yıl önce, izleme ve değerlendirmenin barış inşası alanıyla herhangi bir ilgisi olup olmadığı konusunda hala önemli bir tartışma vardı. Bazı insanlar, barış inşasının titizlikle izlenemeyecek ve değerlendirilemeyecek kadar bilimden ziyade çok karmaşık, çok doğrusal olmayan, çok fazla sanat olduğunu savundu.
Bu tartışma artık bitti. Soru artık değerlendirmemiz gereken “eğer” değil, “nasıl”dır. Kendimizi sonuç üretmekten sorumlu tutarken, barış inşasının karmaşıklıklarını kabul ederek nasıl değerlendiririz? Olumlu bir yatırım getirisi sağlayan uygun maliyetli bir şekilde değerlendirmeleri nasıl yaparız? Programlarımızda sürekli öğrenme ve iyileştirme yaratacak şekilde nasıl değerlendiriyoruz? Kendimizi sadece fon sağlayanlara değil, ortaklarımıza ve içinde çalıştığımız topluluklara karşı nasıl sorumlu tutarız? USIP'ten ayrılıyor olsam da, yakında eski olacak harika meslektaşlarım ve barış inşası topluluğunun geri kalanıyla birlikte bu sorular üzerinde çalışmaya devam edeceğim.
Andrew Blum, USIP'in planlama, öğrenme ve değerlendirmeden sorumlu başkan yardımcısı.