Arvioijien arviointi: Maailmanpankin viimeaikaisen itsearvioinnin oppitunteja

Toimittajan huomautus: Maailmanpankin riippumaton arviointiryhmä (IEG) julkaisi äskettäin itsearvioinnin toimistaan. Sen lisäksi, että se edustaa Maailmanpankin arviointiasiantuntijoiden nykyistä ajattelua, se heijastaa myös laajemmin joitain vahvuuksia ja puutteita lähestymistavoissa, joita arvioijat käyttävät arvioidessaan niiden kansainvälisten instituutioiden toimintaa, joiden kanssa he työskentelevät. Vanha kysymys Quis custodet ipsos custodes? – löyhästi käännettynä: Kuka arvioi arvioijia? – on yhtä ajankohtainen kuin ennenkin. Johannes Linn toimi itsearvioinnin ulkopuolisena vertaisarvioijana ja tarjoaa lintuperspektiivistä näkemyksen saaduista kokemuksista.

Yleiskatsaus Maailmanpankin IEG-itsearviointiraportista

Vuonna 2011 Maailmanpankin riippumaton arviointiryhmä (IEG) suoritti ja julkaisi a itsearviointi sen toiminnasta. Itsearviointiryhmää johti sisäinen johtaja, mutta sen päätekijänä oli arvostettu ulkopuolinen arviointiasiantuntija sekä ulkopuolinen vertaisarvioija.



IEG-itsearvioinnissa noudatetaan parhaita ammatillisia käytäntöjä, jotka Evaluation Cooperation Group (ECG) on kodifioinut. Tämä ryhmä kokoaa yhteen seitsemän suuren monenvälisen rahoituslaitoksen arviointitoimistot yhteisiin ponnisteluihin, joiden tarkoituksena on parantaa arvioijien suorituskykyä ja yhteistyötä niiden arvioijien välillä. Tästä voidaan päätellä, että IEG-itsearvioinnin lähestymistapa ja painopiste edustaa laajempaa joukkoa käytäntöjä, joita kansainvälisten rahoitusjärjestöjen arviointiyhteisö tällä hetkellä käyttää.

IEG-raportin alussa todetaan, että IEG on suurin arviointiosasto Evaluation Capacity Groupin (ECG) jäsenistä ja että kansainvälinen arviointiyhteisö arvostaa sitä suuresti. Riippumattomat arvioinnit IEG:n roolista pankin ja IFC:n riippumattomana arviointitoiminnona arvioivat sen useimpien muiden ECG:n jäsenten, kansainvälisten kansalaisjärjestöjen ja monikansallisten yritysten arviointitoimintoja paremmaksi ja havaitsivat, että IEG noudattaa hyvän käytännön arviointiperiaatteita.

Trump hallituksen eroja tähän mennessä

Itsearviointiraportti yleensä vahvistaa tämän myönteisen arvion. Neljällä osa-alueella kuudesta IEG antaa itselleen toiseksi korkeimman arvosanan (hyvä) kuudesta mahdollisesta luokituskategoriasta. Tämä sisältää (a) sen arviointien ammatillisen laadun, (b) sen raportit siitä, kuinka Maailmanpankin johto noudattaa IEG:n suosituksia, (c) yhteistyö muiden arviointitoimistojen kanssa ja (d) lainanottomaiden auttaminen parantamaan omaa toimintaansa. arviointikykyä. Maailmanpankin itsearviointi- ja riskienhallintakäytäntöjen arvioinnin osalta raportti tarjoaa kolmanneksi korkeimman arvosanan (tyydyttävä) ja kolmanneksi heikoimman arvosanan (vaatimaton) IEG:n vaikutukselle pankin politiikkoihin, strategioihin ja toimintaan. Lisäksi itsearvioinnissa todetaan, että IEG:n suorituskyky on yleisesti ottaen ollut hyvä ja että se toimii itsenäisesti, tehokkaasti ja tehokkaasti.

Raportissa esitetään useita parannussuosituksia, jotka ovat todennäköisesti hyödyllisiä, mutta joilla on rajallinen vaikutus sen toimintaan. Ne kattavat toimenpiteet IEG:n riippumattomuuden lisäämiseksi ja arviointikäytäntöjen johdonmukaisuuden lisäämiseksi Maailmanpankkiryhmän sivukonttoreissa – Maailmanpankissa, Kansainvälisessä rahoitusyhtiössä (IFC) ja Multilateral Investment Guarantee Agency (MIGA) –; parantaa arviointien suunnittelua ja sitoutumista pankin johtoon alkuvaiheessa vaikutusten lisäämiseksi; ja seurata viimeaikaisten IEG:n organisaatiomuutosten vaikutusta saavutettuihin tuloksiin. Raportissa suositellaan myös, että pankin analyyttisen työn arvioimiseksi tehtäisiin enemmän ja että arvioinnit perustuvat vertailevaan näyttöön.

Arviointi

Kansainvälisten rahoituslaitosten arvioijien keskuudessa vallitsevan käytännön asettamien itsearvioinnin parametrien osalta IEG-itsearviointi on tarkkaa ja hyödyllistä. Omasta kokemuksestani pankin operatiivisena johtajana, jonka toimintaa IEG arvioi menneinä vuosina, sekä IEG-arviointien (ja muiden kansainvälisten avustusjärjestöjen arviointien) käyttäjänä avun tehokkuutta koskevassa tutkimuksessani olen samaa mieltä siitä, että IEG on riippumattomana ja tehokkaasti täyttäessään määritellyn tehtävänsä. Lisäksi itsearviointi tuottaa hyödyllistä kvantitatiivista näyttöä (mukaan lukien tutkimustulokset, budjettianalyysit jne.) laadullisten arvioiden vahvistamiseksi.

Itsearviointi kärsii kuitenkin useista lähestymistavan rajoituksista ja painopisteen puutteista, jotka edustavat laajalti monissa kansainvälisten avustusjärjestöjen arviointitoimistoissa vallitsevia käytäntöjä.

Raportin huolellinen lukeminen paljastaa kuusi tärkeää puutetta IEG:n itsearvioinnissa, Maailmanpankin vallitsevassa arviointikäytännössä ja yleisemmin tavassa, jolla kansainväliset rahoitusjärjestöt arvioivat omaa suorituskykyään. Kolme ensimmäistä puutetta liittyvät käytetyn arviointimenetelmän näkökohtiin, ja kolme toista puutetta liittyvät keskittymisen puutteeseen itsearvioinnissa keskeisiin sisäisiin organisatorisiin kysymyksiin:

yksi. Vaikutusarvioinnit: Raportissa todetaan, että IEG tekee kahdesta kolmeen vaikutustenarviointia vuodessa, mutta se sivuuttaa nykyisen arviointikirjallisuuden ja -käytännön keskustelun siitä, missä määrin satunnaistetun vaikutustenarvioinnin kultastandardilla tulisi olla paljon keskeisempi rooli. Kun otetaan huomioon tämän keskustelun tärkeys ja näkemyseroja, itsearvioinnissa olisi ollut asianmukaista arvioida IEG:n nykyistä käytäntöä, jossa satunnaistettujen arvioiden käyttö on erittäin rajoitettua.

amerikka ensin ei tarkoita Amerikkaa yksin

kaksi. Skaalauksen arviointi: Raportissa ei käsitellä kysymystä siitä, missä määrin nykyinen IEG-käytäntö ei ainoastaan ​​arvioi yksittäisten hankkeiden tuloksia niiden tulosten ja kestävyyden kannalta, vaan myös sen suhteen, onko pankki järjestelmällisesti hyödyntänyt kokemustaan ​​tietyistä hankkeista auttamaan mittakaavaa. lisätä niiden vaikutusta tukemalla laajentumista tai toistamista seurantatoimissa tai antamalla tehokasta siirtoa hallitukselle tai muille kumppaneille. Itse asiassa tällä hetkellä IEG ei nimenomaisesti ja systemaattisesti harkitse skaalaamista projektien ja ohjelmien arvioinnissa. Esimerkiksi tuoreessa IEG-arvioinnissa Maailmanpankin rahoittamasta kuntien kehityshankkeita (MDP) , IEG havaitsi, että pankki on tukenut useita MDP:itä monissa maissa vuosien varrella, mutta arvioinnissa ei käsitelty ilmeistä kysymystä, suunnitteliko pankki järjestelmällisesti hankesarjaa vai perustuiko se aiemmista projekteista saatuihin kokemuksiin myöhemmissä toimissa. Vaikka useimmat muut arviointitoimistot, kuten IEG, eivät harkitse laajentamista, jotkut (erityisesti Kansainvälisen maatalouden kehitysrahaston ja Yhdistyneiden Kansakuntien kehitysohjelman virastot) ovat alkaneet tehdä niin viime vuosina.

3. Muiden instituutioiden kokemusten pohjalta ja vertailemalla niitä: Itsearviointiraportti tekee hyvää työtä vertailtaessa IEG:n suorituskykyä useissa suhteissa muihin monenvälisiin instituutioihin. Raportin päätekstissä todetaan, että IEG aikoo kehittää suuntaviivoja lähestymistapapapereille varmistaakseen paremman laadun, erityisesti hyödyntämällä muista lähteistä saatuja vertailutietoja ja vertaamalla niitä muihin instituutioihin. Tämä on tervetullut tarkoitus, mutta se ei ole riittävästi motivoitunut raportin muuhun osaan, eikä se näy tiivistelmässä. Tosiasia on, että IEG, kuten useimmat monenväliset arviointitoimistot, ei ole toistaiseksi järjestelmällisesti hyödyntänyt muiden avustusjärjestöjen arviointeja ja asiaankuuluvia kokemuksia arvioidessaan Maailmanpankin toimintaa. Tämä on rajoittanut voimakkaasti arviointien oppimisvaikutusta.

Neljä. Pankin sisäiset käytännöt, hallintaprosessit ja kannustimet: IEG-arvioinnit eivät perinteisesti keskity siihen, miten pankin sisäiset politiikat, johtaminen ja kannustimet vaikuttavat pankin sitoutumisen laatuun maissa. Siksi arvioinnit eivät voi tarjota näkemyksiä siitä, vaikuttavatko pankin sisäiset toimintatavat tuloksiin ja miten. Kaksi viimeaikaista poikkeusta ovat merkittäviä poikkeuksia. Ensinnäkin IEG arviointi Pankin lähestymistapa yhdenmukaistamiseen muiden avunantajien kanssa ja yhdenmukaistamiseen maiden prioriteettien kanssa arvioi henkilöstön kannustimia tukea yhdenmukaistamista ja yhdenmukaistamista. Arvioinnissa todetaan, että kannustimet eivät ole riittäviä, minkä johto kiistää. Toiseksi pankin sisäisten matriisihallintajärjestelyjen arviointi, joka on parhaillaan käynnissä. Itsearvioinnissa todetaan, että pankin johto yritti kumota matriisiarvioinnin sillä perusteella, että se ei kuulunut IEG:n toimeksiantoon. Tämä on valitettava väite, koska pankin suorituskyvyn institutionaalisten syiden arviointi on olennainen osa mitä tahansa pankin tukemien ohjelmien järkevää arviointia. Vaikka itsearviointiraportti on hyvä peruste matriisiarvioinnin yksittäiselle tapaukselle, se välttelee yleisempää lausuntoa, joka tukee IEG:n osallistumista pankin sisäisiin politiikkoihin, johtamisprosesseihin ja kannustimiin. On huomionarvoista, että IFADin riippumaton arviointitoimisto näyttää olevan tässä suhteessa aggressiivisempi: se suorittaa parhaillaan täydellistä arviointia IFAD:n sisäisestä tehokkuudesta ja aiemmista arvioinneista (esim. arviointi innovaatioiden ja laajenemisen) ei karttanut arvioida sisäisiä institutionaalisia ulottuvuuksia.

5. Maailmanpankin hallinto: IEG:n itsearviointi on vieläkin rajoittavampi siinä, miten se tulkitsee mandaattiaan Maailmanpankin hallintorakenteiden ja -prosessien arvioinnissa (mukaan lukien sen lähestymistapa jäsenten ääneen ja äänestykseen, sen hallituksen toiminta, sen johtajien valinta hallinto jne.). Se käsittelee näitä aiheita IEG:n toimeksiannon ulkopuolella. Tämä on valitettavaa, sillä tapa, jolla pankin hallinto kehittyy, vaikuttaa merkittävästi sen pitkän aikavälin legitiimiyteen, tehokkuuteen ja elinkelpoisuuteen kansainvälisenä rahoituslaitoksena. Koska IEG raportoi pankin hallitukselle ja monet hallintoon liittyvät kysymykset liittyvät hallituksen kokoonpanoon, rooliin ja toimintaan, on aiheellinen kysymys siitä, kuinka tehokkaasti IEG voisi suorittaa tällaisen arvioinnin. On kuitenkin huomionarvoista, että IMF:n riippumaton arviointitoimisto, joka raportoi samalla tavalla IMF:n hallitukselle, julkaisi arviointi IMF:n hallinnosta vuonna 2008, mikä vastasi tehokkaasti moniin oikeisiin kysymyksiin.

valtti ja henkilökunta miettivät taktiikoita uudelleen kompastumisen jälkeen

6. Synergiaet Maailmanpankin, IFC:n ja MIGA:n välillä: Itsearviointiraportissa huomautetaan, että IEG:n äskettäisen sisäisen uudelleenorganisoinnin tavoitteena oli varmistaa tehokkaammat ja johdonmukaisemmat arvioinnit Maailmanpankkiryhmän kolmessa jäsenhaarassa. Tämä on tervetullutta, mutta raportissa ei arvioida, kuinka aiemmissa arvioinneissa on käsitelty kysymystä siitä, hyödynsivätkö Maailmanpankki, IFC ja MIGA tehokkaasti näiden kolmen organisaation mahdollisia synergiaetuja. Viimeaikainen arviointi Maailmanpankkiryhmän vastauksessa vuosien 2008/2009 maailmanlaajuiseen talouskriisiin sisälsi rinnakkaisia ​​arvioita kunkin viraston toiminnasta, mutta siinä ei käsitelty, toimivatko ne tehokkaasti yhdessä maksimoidakseen synergioitaan. Tosiasia on, että näillä kolmella organisaatiolla on syvälle juurtunut institutionaalinen kulttuuri, ja ne kulkevat yleensä omia polkujaan sen sijaan, että ne koordinoisivat tiiviisti toimintaansa paikan päällä. Tulevissa arvioinneissa olisi tarkasteltava nimenomaisesti, tekevätkö nämä kolme tehokasta yhteistyötä vai eivät. Maailmanpankki on ainutlaatuinen siinä, että se on organisatorisesti erottanut yksityissektorin ja takaustoiminnan, mutta myös muilla avustusorganisaatioilla on ongelmia yhteistyön, koordinoinnin ja synergian puutteesta viraston eri yksiköiden välillä. Siksi sama huomautus pätee myös niiden arviointimenetelmiin.

Johtopäätökset

Itsearvioinnit ovat arvokkaita suorituskyvyn arvioinnin työkaluja, ja IEG:tä on syytä onnitella tällaisen arvioinnin tekemisestä ja julkaisemisesta omasta toiminnastaan. Kuten kaikki itsearvioinnit, se on nähtävä panoksena riippumattomaan ulkoiseen arviointiin, jota pankin hallitus on ilmeisesti toistaiseksi lykännyt.

IEG:n itsearvioinnissa on monia vahvuuksia, ja se antaa kokonaisvaltaisen myönteisen arvion IEG:n työstä. Se heijastelee kuitenkin joitakin tärkeitä analyysin rajoituksia sekä tiettyjä lähestymistavan ja kattavuuden puutteita, jotka riippumattoman ulkopuolisen arvioinnin tulisi ottaa erikseen huomioon ja joihin IEG:n johdon tulisi puuttua. Koska monet näistä kysymyksistä pätevät todennäköisesti myös useimpiin muiden arviointitoimistojen muihin arviointimenetelmiin, oppitunnit ovat tärkeitä IEG:n ja Maailmanpankin lisäksi.

Keskeisiä oppitunteja ovat:

  • Arviointien arvioinnissa ei tulisi keskittyä pelkästään prosessiin vaan myös oleellisiin kysymyksiin, joiden kanssa toimielin kamppailee.
  • Arviointien tehokkuuden arviointiin tulisi sisältyä ammattimainen arviointi arviointituotteiden laadusta.
  • Arviointien arvioinnissa tulee arvioida:
    o kuinka tehokkaasti vaikutusarviointeja käytetään;
    o Miten onnistuneiden interventioiden laajentamista käsitellään;
    o Miten muiden vastaavien laitosten kokemusta hyödynnetään;
    o Arvioidaanko ja miten toimielimen sisäisiä politiikkoja, johtamiskäytäntöjä ja kannustimia?
    o Arvioidaanko ja miten toimielimen hallintoa? ja
    o Arvioidaanko ja miten organisaatioiden sisäistä koordinaatiota, yhteistyötä ja synergiaa yksiköiden välillä?

Arvioinneilla on keskeinen rooli kansainvälisten avustusjärjestöjen vastuullisuudessa ja oppimisessa. Siksi on tärkeää, että arvioinneissa käsitellään oikeita asioita ja käytetään asianmukaisia ​​tekniikoita. Jos yllä olevat opetukset heijastuisivat avustuslaitosten arviointikäytäntöihin, tämä olisi merkittävä edistysaskel arviointien laadun, merkityksellisyyden ja todennäköisen vaikutuksen kannalta.