ア 国会決議
この項目に関する参議院行政監視委員会の決議は次のとおりである。
イ 検査の内容
ODA事業に対する評価制度は、昭和50年度に開始された後逐次改善を重ね、最近でも中央省庁改革に伴う政策評価制度の導入に際し、その充実が検討されている。本院では、国会決議を踏まえ、評価制度の充実の方向性について検査するとともに、外務省等が実施した評価について、その実績等を検査した。
また、評価結果の活用に関し、本院が、ODA事業の現地調査の結果、援助の効果が発現していないと認めて決算検査報告に掲記した事業について、外務省等がその後どのようなフォローアップを実施し、事業の現状がどのようになっているか検査した。
ア ODA評価の目的と機能
外務省ではODA事業全般について、銀行では円借款事業について、また、事業団では技術協力事業及び無償資金協力事業について、それぞれ評価を実施している。
ODA評価の目的ないし機能としては、一般に、〔1〕ODAが効率的・効果的に実施されているかを検証すること(以下「検証機能」という。)、〔2〕評価結果を援助案件の運営管理の改善に活用するとともに将来の援助政策等に役立てODAの質の向上を図ること(以下「フィードバック機能」という。)及び〔3〕評価結果を公表することによりODAの実態や成果を国民に明らかにすること(以下「説明責任の実行機能」という。)が挙げられており、この概略を図示すると次のとおりである。
外務省等の実施する評価は、このような目的ないし機能を有するものであるが、ODA事業に関するそれぞれの機関の役割を反映して、重点の置き方が異なっている。
すなわち、外務省では、ODAの政策立案を担当する機関として評価結果をODA政策の立案に反映させたり、ODAについて国民の理解と協力を得るために国民への説明責任を果たしたりするために評価制度を活用する必要性が相対的に高いのに対し、ODAの実施機関である銀行及び事業団では、評価結果を援助案件の運営・管理の改善及び将来の援助案件の形成・実施に活用することに重点が置かれている。
イ 評価制度に関する近年の動向
外務省等の実施するODA評価については、総務庁が実施した経済協力に関する行政監察において、その充実が求められてきたこと、また、ODA大綱においてODAの効果的実施のため評価活動を充実するとされていることなどから、外務省等において、逐次その充実が図られてきた。
一方、我が国のODAについては、厳しい財政状況に伴うODA予算の削減に対応して「量」から「質」への較換が強く求められ、より効率的・効果的な援助の実現のため、評価の重要性はますます高まっている。
このような状況の中で、外務大臣の懇談会である「21世紀に向けてのODA改革懇談会」は、10年1月、最終報告書を発表し、その中で、より効率的なODAの実施体制を構築していくため、第三者による評価の一層の拡充、評価手法の開発、政策決定機関と実施機関の評価に関する役割分担の明確化、フィードバック機能の強化等の措置を執る必要があるとしている。また、対外経済協力審議会が10年6月に内閣総理大臣に答申した「今後の経済協力の推進方策について」においては、援助案件の終了後、評価を客観的、中立的に行い、その結果を将来の経済協力に適切に反映させていくことが、効率的・効果的なODAの実施の観点から非常に重要であることが指摘されている。
外務省には、評価制度の充実に資するため、従来から、経済協力局長の私的諮問機関である援助評価検討部会が設置されている。同部会は、上記の報告等を踏まえ、10年11月、「評価研究作業委員会」を設置し、改善に向けた方策を検討することとした。そして、同部会は、12年3月、同委員会における1年余りの議論を経て、現行のODA評価の問題点及び課題について改善の具体的提言を取りまとめ、「「ODA評価体制」の改善に関する報告書」(以下「ODA評価改善報告書」という。)を公表した。
ウ 評価制度の充実の方向性
ODA評価改善報告書等を踏まえ、外務省等においては評価制度の充実に取り組んでいるが、その主な内容は次のとおりである。
(ア)事前から中間、事後に至る一貫した評価プロセスの確立
外務省等では、従来から、要請された事業案件の内容や協力の妥当性、予想される効果等を検討するため、事業実施に先立ち、当該事業に係る事前調査や審査を実施しており、また、事業実施中も、その進ちょく状況等を監理するためモニタリングを実施している。これらの調査やモニタリングについては、従来、評価制度として取り上げられることはなかったが、外務省等では、プロジェクト・サイクル全体において一貫した評価体制を整備するとの観点から、これらをそれぞれ事前評価、中間評価と位置付け、事前から中間、事後に至る一貫した評価プロセスの確立に取り組むこととしている。
具体的には、従来は各案件につき評価が実施されるか否か、実施されるとしてその時期はいつかなどが必ずしも明確でなかったことを改め、今後は、事前評価の段階で中間評価、事後評価の時期をあらかじめ定めることとしたり、評価の時期によって必ずしも統一されていなかった評価指標につき、事前評価の段階でどのような指標により評価を実施するかを明確にすることとしている。そして、この指標の明確化については、その実施のため事前評価の段階で援助の対象となる事業に関する被援助国の状況を従来以上に調査する必要があるが、これにより、中間評価、事後評価等の各段階で事業効果を客観的に把握し、事業改善に適切に反映させていくことができるようになるとしている。
また、外務省等では、事前評価については、我が国が援助することの必要性・妥当性、事業の目的・内容、成果の目標等を取りまとめた事前評価表を作成することとしている。特に事業団では「事前の調査における事業成果の指標設定に関する検討会」を設置し、その方法等につき検討を行っていたが、12年度において、基本設計調査を実施している無償資金協力事業の全新規案件を対象に、また、技術協力事業のうちプロジェクト方式技術協力について20件程度を対象に作成する予定であり、開発調査についても試行的に作成することとしている。そして、この事前評価表を原則として公開することとするほか、数件を選んでホームページ等にも掲載することが検討されている。銀行でも、12年度において、円借款事業数件につき事前評価表を試行的に作成し公表することとしている。
(イ)評価指標の確立
外務省等が実施している個別プロジェクトの評価では、従来、その評価が定性的に行われているもの、あるいは定量的に行われていても、同種の目的、内容の事業でありながら、評価指標が異なっているものなどが見受けられた。そこで、外務省等では、上記の事前から中間、事後に至る一貫した評価プロセスの確立と併せ、可能な限り定量的な評価指標を導入するとともに、同種の目的、内容の事業に関する評価指標については、可能な限り統一化を図るなどの評価手法の改善を図ることとしている。
この改善のための具体的な取組みを機関別に挙げると次のとおりである。
〔1〕 外務省では、外国コンサルタントに評価指標についての調査委託を行うなどして、評価指標の確立に向けた研究を実施している。
〔2〕 銀行では、これまで案件実施の実績が相当数に達している火力発電所、港湾、上水道等19分野の案件については、自らの実績に加え、世界銀行、アジア開発銀行の案件を参考にしながら運用・効果指標を整理して「運用・効果指標リファレンス(初版)」を12年3月に作成し、今後の実用化に向けて試験的導入を開始したところであり、随時改善を行っていくこととしている。また、これらに比べて案件実施の実績が少ない社会開発分野については、コンサルタントを利用して世界銀行、アジア開発銀行の案件を調査させ、その結果に基づき運用・効果指標を整理した「社会開発指標実例集」を作成した。
〔3〕 事業団では、前記の「事前の調査における事業成果の指標設定に関する検討会」において無償資金協力事業、技術協力事業のうちプロジェクト方式技術協力及び開発調査について明確な評価指標を導入することとしており、このうち無償資金協力事業については、過去の実績及び近年の実施案件が特に多い小中学校建設、医療(病院整備)、道路・橋梁建設及び上水道給水の4分野の評価指標の拡充・標準化を先行させて実施することとしている。
(ウ)評価における役割分担と評価に関する手法の確立
外務省等が従来実施してきた評価には、国別評価、特定テーマ評価、援助実施体制評価等の評価もあったが、件数は個別プロジェクトに関する評価が多かった。また、個別プロジェクトに関する評価は、外務省、銀行及び事業団のいずれもが実施していた。
しかし、ODA評価改善報告書において、ODA政策の企画立案を担当し、評価の結果を政策立案に反映させることを重視すべきである外務省と、ODA事業の実施を担当し、評価の結果を事業の運営管理に反映させることを重視すべきである銀行及び事業団とは、それぞれの役割に応じて評価を実施するよう提言された。具体的には、外務省は個別のプロジェクトよりも一段上のレベルの評価、すなわち、プログラムレベルの評価(注1)
及び政策レベルの評価(注2)
を重点的に行い、特に、援助政策の中核となる「政府開発援助に関する中期政策」、国別援助計画等の評価を拡充・強化することが望まれており、銀行及び事業団は、個別プロジェクトの評価を強化するとともに、プログラムレベルの評価も中心となって実施することが望まれている。
このための具体的取組みを機関別に挙げると次のとおりである。
〔1〕 外務省では、12年度にコンサルタントを利用するなどして、他の援助国、国際機関における政策レベル及びプログラムレベル評価の実施状況、その利点、問題点及び評価手法を把握し、我が国が今後導入することが適当な評価手法を策定し、それを特定の被援助国に試験的に適用して、その妥当性を検証する一方、多数の個別プロジェクトの評価を実施している在外公館評価については、政策的観点を加味した個別プロジェクトの評価を行うなどの方向で検討されている。
〔2〕 銀行では、個別プロジェクトの評価について、評価人員を拡充したり、外部の人材等を活用したり、評価手法の充実を図ったりするとしている。また、プログラムレベルの評価について、国別評価を含め充実させるとしており、評価手法の検討のためにコンサルタントを使って各種調査を行い有識者を交えて調査・検討を行っている。
〔3〕 事業団では、個別プロジェクトの評価について、評価の質的向上の観点から、外部から評価に参加する者のための評価手法に係るパンフレット、在外事務所における評価実施のためのマニュアルをそれぞれ作成、改訂中である。また、在外事務所による評価について、その手法等に関する本部の事前チェック制度を11年度から導入している。また、研修員受入事業について、従来実施していた研修員へのアンケート調査を、評価として明確に位置付けて公開していくことを検討し、専門家派遣事業、青年海外協力隊派遣事業については評価手法の検討を行うとしている。そして、プログラムレベルの評価については、事業団の重点課題等へのフィードバックを念頭に置きつつ、戦略的な評価調査計画を策定するとともに、これらの評価の実施を通じて評価手法の開発を行うとしている。
(注1) | プログラムレベルの評価 現在、多くの援助国、国際機関では、援助実施に際して、個々の具体的なプロジェクトの実施だけでなく、関連する複数のプロジェクトを有機的に組み合わせて実施するプログラム・アプローチの手法が採り入れられるようになってきており、これに呼応して、評価においても、個々のプロジェクトに加えて、関連する複数のプロジェクトについて評価するプログラムレベルの評価が実施されるようになってきている。 |
(注2) | 政策レベルの評価 現在のところ、明確な定義が存在するわけではなく、プロジェクトレベル、プログラムレベルの評価よりも一段上のレベルの、援助機関全体として目指すべき方向性や戦略、国別の援助政策についての評価を念頭においたものである。 |
(エ)第三者の活用
外務省等では、評価の実施に当たり、第三者の関与により、客観性、中立性及び透明性を確保するとともに、豊富な知識や専門性に基づいて質の向上を図ることとしている。また、国別評価等評価手法が十分確立されておらず、実施が困難な面のある評価についても、積極的にシンクタンクやコンサルタント等を活用している。このほか、新しい試みとして、事業団では現地NGQ等による地域住民の視点からのモニタリングを導入して積極的に推進しているほか、いずれの機関においても、評価手法の研究等において、シンクタンク、コンサルタント等に依頼するなどしている。
上記のとおり、ODAの評価に関しては、現在、事前から中間、事後に至る一貫したシステムとして構築することが進められている。しかし、事前評価及び中間評価については、従来から各種の事前調査・審査等が行われていたものの、これらを評価制度として扱うようになったのはごく最近のことであり、昭和50年度から実施されている事後評価と比較すると、評価制度としての整備はまだ過渡期にある状況と考えられる。したがって、以下では事後評価のみを取り上げることとする。
ア 評価の形態と実績
外務省等では、その実施する各種の評価について、評価の実施者、対象、視点等から区分し、それぞれに名称を付して実績を把握している。
外務省等による評価形態の区分及びそれぞれの実績を示すと次のとおりである。
(ア)外務省
(評価形態の区分)
外務省では、その実施する評価を、国や特定のテーマを対象とする横断的視点で捉えた評価と、プロジェクト終了後一定期間を経た時点で実施する個別プロジェクト評価とに区分し、それぞれについて、評価の実施者、対象等の別に各種の評価を実施している。
〔横断的視点で捉えた評価〕
〔1〕 国別評価:主要な被援助国を対象に、我が国のODAがその国の経済開発及び民生の向上にどのような効果をもたらしたかをマクロ的な観点から調査・分析する評価
〔2〕 援助実施体制評価:主要な被援助国を対象とし、援助実施手続の適正さなど、評価対象国における援助実施体制、実施環境全般を対象にする評価
〔3〕 特定テーマ評価:マクロ的観点から、特定のセクター又は援助形態をテーマとして我が国のODAを横断的にとらえ、援助効果や問題点を分析する評価
〔個別プロジェクト評価〕
〔1〕 合同評価:評価視点の多角化、評価手法の向上などのために、他の援助国の援助機関等と、それぞれの援助プロジェクトあるいは援助協調プロジェクトを対象にして合同で実施する評価
〔2〕 有識者による評価:開発経済などの分野で高度な専門知識を有する学者をはじめ、文化人、報道関係者、NGO関係者など、外部の有識者に依頼して実施する評価
〔3〕 国際専門家による評価:評価視点の多角化、評価手法の向上などのために、開発援助などの外国人専門家に依頼して実施する評価
〔4〕 在外公館による評価:援助の実務に携わる日本国大使館又は総領事館の館員が、管轄国の我が国のODA事業を対象に、多数実施している評価
〔5〕 被援助国関係者による評価:被援助国側の視点でODA事業を評価することにより、被援助国関係者にODA活動の意義や解決すべき課題を認識する機会を提供する評価
〔6〕 現地コンサルタントによる評価:被援助国内の調査活動に実績を有する現地コンサルタントの社会・経済・文化事情などについての知見、情報収集力・分析力を活用して実施する評価
〔7〕 シンクタンクによる評価:経済協力に関わる研究機関の有する情報収集力・分析力と外部の有識者の有する知識・専門性を活用する評価
〔8〕 国際機関の評価:我が国が継続的に支援している国際機関が実施してきているプロジェクトの活動・運営状況などについて調査・分析し、今後その国際機関の執るべき方向性を提言することを目的とする評価
〔9〕 NGOとの共同評価:日本の政府及びNGOが実施している協力プロジェクトについて、それぞれの成果と貢献度を双方の視点から共同で検討し、これを通じてODAとNGOの協力推進を図ることを目的とした評価
(区分別の実績)
上記の区分ごとに近年の評価件数及び評価対象プロジェクト数を示すと、次表のとおりである。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(外務省の資料による) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
これをみると、全体の評価件数は若干の減少傾向にあり、在外公館による評価が過半数を占めている状況である。また、評価形態の種類については、9年度から現地コンサルタントによる評価及びNGOとの共同評価が、10年度からシンクタンクによる評価及び国際機関の評価が導入されている。
(イ)銀行
(評価形態の区分)
銀行では、10年度まで、評価を次の形態に区分して実施していた。
〔1〕 詳細評価:銀行職員と外部専門家により構成された評価ミッションを現地に派遣して行う評価。詳細評価のバリエーションとして、特定の地域・セクターの総合的な効果を把握するため複数の事業を一括して評価する「インパクト評価」、他の援助機関などと共同で現地調査を行う「共同評価」等がある。
〔2〕 机上評価:事後評価対象のすべての事業について評価ミッションを派遣して行うことが困難なため、国内で評価作業を行う評価。詳細評価と比べて相対的に情報量に限りがあるため、最近では、可能な限り現地調査を行うなど評価の質を高めるべく留意している。
〔3〕 事務所評価:銀行の現地駐在員が、資料収集及び現地調査を行い、これに基づいて実施する評価。必要に応じて、現地の専門家・調査機関の参加を求めることがある。
〔4〕 第三者評価:評価の客観性をより高めるために、大学等の研究者、報道関係者、行政実務家、専門の技術者、NGO関係者等の第三者に依頼して実施する評価
その後、11年度からは評価形態をテーマ別評価とプロジェクト評価に区分している。
〔1〕 テーマ別評価:特に設定したテーマ(地域開発、環境配慮、社会開発等)を中心に、外部の専門家・機関の知見も活用して実施する評価。なお、テーマ別評価のバリエーションとして、インパクト評価、共同評価、銀行と他の援助機関が相互にそれぞれの事業の評価を実施する相互評価などがある。また、実施主体により本部評価と第三者評価に分かれる。
〔2〕 プロジェクト評価:テーマ別評価の対象以外の円借款案件を対象に事業全般について実施する評価。実施主体により本部評価と事務所評価に分かれる(ただし、第三者評価の導入も可能である)。
(区分別の実績)
上記のとおり、銀行における評価形態の区分は11年度から変更されているが、実績の推移を把握するため、11年度分の評価についても10年度までの基準により区分して近年の評価件数及び評価対象プロジェクト数を示すと、次表のとおりである。
|
||||||||||||||||||||||||||||||||||||
(銀行の資料による) | ||||||||||||||||||||||||||||||||||||
|
これをみると、全体の評価件数及び評価対象プロジェクト数は増加傾向にある。また、評価形態の種類別にみると、9年度から第三者評価が導入されている。
(ウ)事業団
(評価形態の区分)
事業団における評価形態の区分は、次のとおりである。
〔1〕 国別事業評価:評価対象国における事業団の協力を重点セクター・開発課題ごとに分類し、それらに対する事業団の協力の効果・貢献をプロジェクト横断的にとらえ、援助効果や問題点を分析する評価
〔2〕 特定テーマ評価:特定セクター、重要課題(環境、貧困、女性等)又は事業形態をテーマとして、幅広い視点から事業団の協力の効果や問題点を整理・分析する評価
〔3〕 有識者評価:開発援助や事業団事業について見識を有する外部の有識者に依頼して実施する評価
〔4〕 合同評価:被援助国の関係機関、あるいは他の援助国の援助機関や国際機関と合同で実施する評価
〔5〕 外部機関による評価:企画力、情報収集力、情報分析力を有し、開発援助や技術協力の仕組みにも精通している外部の開発援助研究機関やコンサルタントなどに委託する評価
〔6〕 在外事務所による評価:事業団の在外事務所が、対象国の社会経済事情等に精通した現地コンサルタントを活用して実施する評価
(区分別の実績)
上記の区分ごとに、近年の評価件数及び評価対象プロジェクト数を示すと、次表のとおりである。
|
||||||||||||||||||||||||||||||||||||||||||||||||
(事業団の資料による) | ||||||||||||||||||||||||||||||||||||||||||||||||
<注>
( )内は評価対象プロジェクト数である。
|
これをみると、全体の評価対象プロジェクト数は増加傾向にある。また、評価形態の種類については、11年度から外部機関による評価が導入されている。なお、事業団では、事後評価のほか、協力の終了時に相手国関係機関と合同で協力の延長等を行う必要があるか否かを判断することなどを目的とした終了時評価も行っている。
イ 評価対象の選定基準
評価がその検証機能等を十分に果たすためには、評価の対象となる事業は、ODAが供与された実績のある国、事業分野等をできる限り広くカパーするものであることが必要となる。一方、評価のために投入することができる予算、人員には限界があることから、ODA事業全体について網羅的に評価を実施することは困難と言わざるを得ず、一定の基準により評価対象事業を選択せざるを得ない。そして、評価の説明責任の実行機能という見地からすると、評価対象事業の選定が恣意的なものであってはならない。そこで、本院では、外務省等における評価対象事業の選定基準について検査するとともに、評価対象がODA事業全体を十分カバーしているかについて検査した。併せて、ODA評価改善報告書において今後の充実が提言されているプログラムレベルの評価の実施状況について調査した。
(ア)評価対象案件等の選定基準
外務省等では、それぞれ次の基準により評価対象案件等を選定している。
〔1〕 外務省
外務省では、前記横断的視点で捉えた評価と個別プロジェクト評価のそれぞれについて、地域的、分野的バランスを考慮しつつ、原則として毎年度、次の基準により評価対象案件等を選定している。
〔横断的視点で捉えた評価〕
○政策ニーズに応える対象
○過去数年対象としていない国又は分野・テーマ
〔個別プロジェクト評価〕
無償資金協力事業では一般プロジェクト無償、水産無償、食糧増産援助又は草の根無償の案件から、円借款事業ではプロジェクト借款又は開発金融借款の案件から、技術協力事業ではプロジェクト方式技術協力又はミニ・プロジェクトの案件から以下の基準により評価対象案件を選定している。
○協力終了後2〜4年以上経過しているプロジェクト
○協力終了以来、一度も評価を実施していない、又は、前回外務省等が評価を実施してから数年が経過しているプロジェクト
○事業団、銀行の事後評価と重複しないプロジェクト
〔2〕 銀行
銀行では、借款契約による貸付けが完了しており、かつ、原則として借入人又は実施機関が事業完成報告書を提出している案件の中から、国及び地域のバランスに配慮しつつ、以下のいずれかに該当する事業を優先して評価を実施している。
○今後の円借款事業の実施において有益な示唆・教訓を得ることが可能と思われる事業
○セクターあるいは地域に対するインパクトが大きく、かつ、その測定が可能と思われる事業
○特定の研究テーマとなり得る事業
○環境・社会開発に関わる事業
〔3〕 事業団
事業団では、無償資金協力事業及び技術協力事業の中から、地域的、分野的バランス及び評価実施の間隔を考慮し、毎年度、次のような基準により評価対象事業等を選定している。
○協力終了後2〜4年以上経過しているプロジェクト
○協力終了以来、一度も評価を実施していない、又は、外務省等が評価を行ってから数年が経過しているプロジェクト
○外務省の事後評価と重複しないプロジェクト
また、評価対象国及びテーマの選定に当たっては、次の点に配慮している。
・事業団の一定の協力実績がある国(通常は事業団の事務所がある国)を優先対象とする。
・評価結果の活用可能性の観点から、同一の所得水準・地域での評価調査の重複を避ける。
・評価に当たっては、環境、貧困、ジェンダー、保健医療(人口、エイズを含む)、教育、障害者福祉、平和構築・人間の安全保障、アジア経済危機、民主化支援、市場経済化の各分野に重点をおく。
これらの基準をみると、案件の選定に当たり、「地域的、分野的バランスを考慮する」とするなど、それぞれの機関に裁量の余地が残されているが、評価報告書が公表されていることや、前記のとおり、事前評価の際、中間評価・事後評価の実施時期を明らかにする方向での検討が進んでいることを考慮すると、今後は案件選定の透明性が向上していくものと期待される。
(イ)評価実績の少ない事業
外務省等が実施している事業の中には、自立発展性の確認や評価目的が異なっていることなどにより、数度にわたって評価が実施されているプロジェクトがある一方、評価の対象とされた実績が少ない事業が見受けられる。
その主なものは次表のとおりである。
<注1> | 商品借款等は、商品借款、構造調整借款、セクター調整借款及びセクター・プログラム・ローンである。 |
<注2> | 斜線部分は当該事業の評価を行っていないことを示す。 |
このほか、評価対象とされた実績はあるものの、事業量からみると低い実績にとどまっている事業として、研修員受入事業、個別専門家派遣事業、開発調査事業、青年海外協力隊派遣事業、草の根無償資金協力事業がある。
外務省等では、このような状況となっていることについて、評価に関する予算、人員等が限られていること、評価手法が確立されていないことなどを理由としているが、今後、これらの事業についても積極的に評価対象に含めていくことを検討している。
(ウ)プログラムレベルの評価
プログラムレベルの評価には、前記の評価形態のうち、外務省においては国別評価、援助実施体制評価、特定テーマ評価及びシンクタンクによる評価、銀行においては一部の詳細評価・テーマ別評価、事業団においては国別事業評価及び特定テーマ評価がそれぞれ該当するとのことであり、近年の実績は次表のとおりである。
(単位:件) | ||||||||||||
|
||||||||||||
(外務省等の資料により本院において作成) |
また、外務省の国別評価の実施状況は次表のとおりである。
|
||||||||||||
(外務省の資料による) |
これをみると、国別援助方針が作成されている24箇国のうち、国別評価が実施されていない国がインドネシア、ヴィエトナム、マレイシア、セネガル、ニカラグァ及びブラジルの6箇国ある。
国別評価は被援助国の実情の把握、国別援助計画の達成状況の確認及び新たな計画の作成に有用なものであるから、今後は援助計画作成国又は作成予定国について国別評価を優先的に実施するなどして、評価のフィードバック機能をより有効に活用できるよう、対象国の選定につき更に工夫が望まれる。
ウ 評価実施者の選定−第三者評価の充実
評価実施者をどのようにして選定するかについては、評価の目的ないし機能のうち、いずれを重視するかに関わるものと考えられる。すなわち、検証機能及びフィードバック機能を重視すれば、ODA事業に関わる者のみで、あるいは豊富な知識や専門性を有する第三者を組み合わせるなどして実施するのが効率的、効果的であるのに対し、説明責任の実行機能を重視すれば、第三者に委ねるなどして評価の客観性、中立性を高めることが必要になると考えられる。
外務省等においては、評価の目的ないし機能につきバランスを考慮しつつ、従来から第三者の活用に配慮しており、また、今後ともその充実を図ることとしているが、国会決議において「第三者評価の拡大」が求められていることから、本院では、評価実施者の選定状況及び第三者評価の実施状況について検査した。
なお、「第三者評価」の概念については、検査の結果、各機関において異なる面が見受けられたので、本院では、評価結果(見解)等を第三者に委ねて、客観性、中立性が最も高いと認められる評価を第三者評価としてとらえることとした。
(ア)外務省
外務省が実施している各種形態の評価のうち、在外公館による評価については、外務省職員が評価を実施するが、これ以外の国別評価、援助実施体制評価、特定テーマ評価、合同評価、有識者による評価、国際専門家による評価、被援助国関係者による評価、現地コンサルタントによる評価、シンクタンクによる評価、国際機関の評価及びNGOとの共同評価については第三者が関与している。
このうち、本院の定義付けによる上記「第三者評価」には、特定テーマ評価、有識者による評価、国際専門家による評価、現地コンサルタントによる評価及びシンクタンクによる評価が該当するとしており、これらの実績は、7年度13件、8年度12件、9年度12件、10年度21件、11年度23件となっており、増加傾向にある。
(イ)銀行
銀行では、詳細評価及び事務所評価については必要に応じて外部専門家を活用して実施しており、他方、机上評価については職員が実施している。また、9年度から、評価の客観性・専門性をより高めるために第三者評価を実施しており、その評価を実施するのは、大学等の研究者、報道関係者、行政実務家、専門の技術者、NGO関係者等となっている。この銀行の第三者評価は、前記の「第三者評価」の定義付けと同様のものと認められ、その実績は、9年度1件、10年度6件、11年度7件と近年増加する傾向にある。
そして、銀行では、評価実施者の評価結果に対して意見を述べる必要があると認める場合には、評価報告書に評価実施者と銀行の双方の意見を記載しており、両者の意見が記載された評価の件数は10年度2件、11年度2件となっている。
(ウ)事業団
事業団では、すべての評価形態について原則として第三者が関与している。特に、在外事務所による評価においては、在外事務所の指示により当該国の現地コンサルタントが実質的に評価を行っている。
そして、前記の定義付けによる「第三者評価」に該当するものは、学識経験者、報道関係者、NGO関係者等に依頼して実施する有識者評価と、外部の開発援助研究機関やコンサルタントなどに委託する外部機関による評価としており、その実績は、7年度2件、8年度2件、9年度3件、10年度6件、11年度6件と増加する傾向にある。
評価実施者については、中立的・客観的な立場から評価を実施するものを選定することが求められている。評価が中立的・客観的に実施されたか否かについては、公表された評価報告書により明らかになるものであるが、銀行のように評価報告書に評価実施者の評価結果(見解)とこれに対する援助実施機関の意見の双方を掲記することは、評価の中立性・客観性を高める一つの方法と考えられる。
外務省でも12年7月からホームページで公表している個別のODA事業の評価結果には、評価実施者の見解とこれに対する外務省の意見の双方を掲記することとしている。
外務省等においては、引き続き評価実施者の発掘等により、第三者評価の拡充を図ることが望まれる。
エ 評価の基準
(ア)DAC評価原則
開発援助における評価については、3年12月、経済協力開発機構のDAC上級会合において、次のような「DAC評価原則」が採択されている。
〔1〕 効率性:プロジェクトにおける各種資源の投入は効果的に成果に転換されたか。別のより良い投入で同じ成果を得ることはできなかったか。手段・期間・費用などの側面からプロジェクトの適切度を検証する。
〔2〕 目標達成度:事業を実施することにより、達成することとした目標(プロジェクト目標)がどの程度達成されたか。達成度が不十分である場合は、将来に達成される見込みはどれくらいあるか。
〔3〕 インパクト:プロジェクトの対象地域、対象グループに対して、プロジェクトがどのような正又は負の社会的、経済的、技術的効果をもたらしたか。予見可能な効果のみならず、当初予見できなかった効果も含まれる。
〔4〕 妥当性:プロジェクトは被援助国側の援助政策、開発政策や優先度と合致していたか、現在も合致しているか。
〔5〕 自立発展性:プロジェクトの結果として生じた正の効果が、プロジェクト終了後もどれだけ持続しているか。被援助国側の実施機関の運営体制や被援助国政府の支援状況を検証する。
(イ)我が国のODA評価基準
我が国のODA評価は、DAC評価原則を踏まえて行うこととされている。
すなわち、外務省及び事業団では、上記の5項目を主な基準として評価を行うこととしており、その実施に当たっては、個々のプロジェクトにおける目標、投入、成果等の把握と整理が必要となることから、プロジェクト・デザイン・マトリックス(注3)
なども利用して、評価がより適切に行われるように努めている。そして、多くの評価において、上記の5項目に加え環境やジェンダーヘの配慮・影響という視点についても考慮している。
また、銀行の評価では、DAC評価原則を踏まえつつ、事業の実施と運用が当初計画に比べてどのように行われているか、また、その事業が当初想定していたとおりの効果を上げているかを確認することとしており、具体的な評価項目は次のとおりとなっている。
〔1〕 事業範囲:事業内容の計画/実績比較を行う。変更があれば、変更理由及び変更内容の妥当性などについて分析・評価を行う。
〔2〕 工期:開始時期・完成時期・期間の計画/実績比較を行い、遅延があればその原因及び執られた対策について分析・評価を行う。
〔3〕 事業費:支出項目別に計画/実績比較を行い、差異があればその内容について分析・評価を行う。
〔4〕 事業実施体制:評価対象国側の実施機関の事業実施の体制、コンサルタントの役割、コントラクターとの契約形態等が、事業実施にどのような影響を与えたかなどを分析・評価する。
〔5〕 運営・維持管理体制:事業の継続性確保という観点から、運営・維持管理体制の妥当性を分析・評価する。
〔6〕 運営・維持管理状況:稼働率、生産量等の運営状況を示すデータについて計画/実績比較による分析・評価を行うとともに、維持管理状況について評価を行う。また、運営主体が独立採算を旨とする機関・組織の場合には、必要に応じ、その財務的能力について検討を加える。
〔7〕 事業効果:上記の運営・維持管理状況を踏まえ、当該事業の経済・社会的効果について分析・評価を行う。また、事業効果が定量化できるものについては、内部収益率(注4)
を求めることもある。
(ウ)在外公館による評価の分析
(分析の視点)
外務省では、DAC評価原則に沿った客観的かつできる限り統一のとれた評価を実施するため、各種評価の手引きを作成している。このうち、外務省が行う評価の過半数を占める在外公館評価については、在外公館評価実施要領等が作成されている。
そこで、本院では、9年度に実施された在外公館による評価82件(11年7月に発行された経済協力評価報告書に掲記)のうち、評価の対象とされている事業の内容が共通で、統一のとれた評価を実施することが比較的容易であると認められる食糧増産援助(2KR)を対象とした評価7件について、評価が統一のとれたものとなっているか検査した。
(食糧増産援助の概要)
食糧増産援助は、開発途上国における食糧の増産に寄与する肥料、農薬、農業機械等の農業資機材を購入するための資金を無償で供与するものである。そして、購入された資機材は被援助国において売却等に付され、これにより得られる資金は、被援助国において見返り資金として積み立てられることとなっている。
(食糧増産援助の評価)
外務省では、食糧増産援助において「目標達成度」として分析しているのは、事業を実施することにより達成することとしたプロジェクト目標、すなわち調達された資機材が農民に売却されること、あるいは有効に活用されることであり、見返り資金の積立状況等についても、「目標達成度」として評価されるとしている。
また、「インパクト」として分析しているのは、調達された資機材の活用により食糧の増産が図られたか否かなどであるとしている。
(検査の結果)
経済協力評価報告書に掲記されている評価は、在外公館において調査のうえ作成し外務本省に送付した評価報告書を要約したものとなっていることから、本院では、外務本省に送付された評価報告書の提出を受け、これを検査した。
その結果、次のような事態が見受けられた。
在外公館評価実施要領では、DAC評価原則に沿って評価を実施することとされているが、効率性、目標達成度、インパクト、妥当性及び自立発展性のうち、一部について評価を行っていないものが、3件の報告において見受けられた。
前記のとおり目標達成度の項目においては、プロジェクトの目標がどれだけ達成されたかを分析することとなっている。そして、食糧増産援助においては、購入された資機材が農民に売却されるなどして活用されることがプロジェクト目標とされている。
しかし、資機材の売却等に係る記載がなく、目標達成度の評価が十分とは認められないものが3件あった。
見返り資金の積立状況等については、目標達成度の項目において評価をすることとされているが、これに係る記述が全くないものが1件あったほか、具体的な積立金額の記述がないものが3件あった。
食糧増産援助の上位目標である食糧の増産効果については、インパクトの項目において評価することとなっており、外部要因の影響により援助の貢献度の把握が難しい面があるにせよ、食糧生産高、反収等により定量的に評価することが必要と認められる。
しかし、インパクトの評価を定量的に行っているものが5件ある一方、定性的な評価にとどまっているものが2件あった。
上記のように、外務省が実施した在外公館評価の中には、評価の対象が共通で、統一のとれた評価を実施することが比較的容易であると認められるのに、これが行われていないものが見受けられた。このような実情を踏まえて、在外公館評価のあり方についての検討が進められることが必要である。
(分析の視点)
ODAが効率的・効果的に実施されているかを検証する場合、事業の実施によって被援助国の状況がどのように変化したかを把握することが必要となるが、このためには、案件の実施に先立って実施される事前調査や審査において、可能な限り被援助国の状況を把握するとともに、事業の目標及び評価指標を明らかにしておく必要がある。
そこで、本院では、事前調査において、事後評価を実施するために必要となる事業の評価指標が整理され明らかにされているかを、事業団が無償資金協力事業における事前調査として実施している基本設計調査を取り上げ、分析することとした。
(検査の対象)
本院では、10年度及び11年度において閣議了解を経た無償資金協力事業案件のうち、基本設計調査報告書が公開されている上水道整備に係る14案件について検査した。
(検査の結果)
被援助国において、井戸を掘削することなどにより上水道の整備を行う事業では、その内容等により異なるが、援助の効果として一般に〔1〕給水量、給水率の向上、〔2〕水因性疾病の減少等住民の衛生環境の向上、及び〔3〕水汲みに必要となっていた労働力の低減が挙げられている。
今回調査した14案件では、基本設計調査報告書における援助の効果に関する記述は次表のとおりとなっていた。
〔1〕給水量、給水率の向上を記述しているもの 〔2〕住民の衛生環境の向上を記述しているもの 〔3〕水汲みに必要となっていた労働力の低減を記述しているもの |
14件 13件 9件 |
そして、援助の効果に関わる指標については、それぞれ次表のとおりとなっていた。
〔1〕 給水率、給水量の向上について
給水率を指標としているもの 給水量を指標としているもの 給水量及び給水率を指標としているもの |
7件 5件 2件 |
これをみると、案件ごとに、指標として給水率、給水量のいずれか、又は双力を採るか区々となっている。これについて、事業団では、給水率と給水量のいずれについても、給水人口、給水原単位、総給水量等基本設計調査報告書に記載されている資料を基にすれば算出することができ、実質的には同義であるとしている。
〔2〕 住民の衛生環境の向上について
水因性疾病の現況について、定量的に記載されているもの 水因性疾病の現況について、定性的に記載されているもの (例)「多くの水因性疾患を招いている」 「頻発している」 「慢性的に発生している」 |
9件 4件 |
住民の衛生環境の向上については、事業実施前の現況を十分に調査しておかなければ、評価の際、事業実施の効果を正確に検証できないと考えられるが、水因性疾病の現況について、定性的な記載にとどまるものが計4件見受けられた。
〔3〕 水汲みに必要となっていた労働力の低減について
労働力の低減について定量的に記載されているもの (例)「水汲みに1日2ないし4時間を要している」 「事業実施後は、水源まで30分以内となる」 「事業実施後は、水源まで1.5㎞以内となる」 労働力の低減について定性的に記載されているもの (例)「労働力が低減される」 「労働力が他に転用される」 「水汲みから解放される」 |
6件 3件 |
労働力の低減に関しては、定量的な指標を用いることが困難な面もあるが、単に「低減される」、「解放される」というような記述がなされているだけでは、客観的な評価を実施することは困難と思われる。したがって、事業実施前の現況あるいは事業実施後の目標につき、時間、距離等による記述をするなどの必要があると考えられる。
(今後の方向性)
外務省等では、「(2)ウ 評価制度の充実の方向性」において記述したとおり、事前から中間、事後に至る一貫したプロセスの確立等に取り組んでおり、事前調査、審査を事前評価として位置付けることなどとしている。そして、基本設計調査を実施している事業団では、一貫した評価プロセスの確立等に向け、可能な限り定量的で統一のとれた評価指標を導入するとともに、基本設計調査等において援助の対象となる事業に関する被援助国の状況の調査をより充実させることとしている。
外務省等では、評価の実施により事業が何らかの要因によって所期の目的を達成できていないと認められた場合、プロジェクト目標の達成や協力効果の自立的発展を図るためフォローアップを実施している。
このフォローアップは、ODA評価のフィードバック機能のうち、評価結果を援助案件の運営管理の改善に活用することに関わるものであるが、外務省等では、追加的な援助も含め、専門家の派遣、研修員の受入れなどにより実施している。
一方、本院では、無償資金協力事業、円借款事業及びプロジェクト方式技術協力等の実施及び経理の適否を検査するとともに、援助が効果を発現し、援助の相手となる開発途上国の経済開発及び福祉の向上などに寄与しているか、援助の制度や方法に改善すべき点はないかなどについて検査しており、その結果を決算検査報告に掲記することにより、事態の改善を促している。
そこで、本院が過去に決算検査報告において援助の効果が発現していないと認めた事業について、その状況の改善を図るため外務省等においてどのようなフォローアップを実施しているか、状況の改善は図られているか調査した。
調査の対象としたのは、本院が、12年5月以降ODA事業の現地調査を実施したエジプト、ガーナ及びインドネシアにおける円借款事業3件、プロジェクト方式技術協力事業1件である。
ア 円借款事業
(ア)マルサ・マトルーフ発電バージ建設計画(エジプト)
〔1〕 事業概要
(交換公文) | 昭和59年12月 |
(借款契約) | 昭和60年8月 |
(貸付先) | 電力公社 |
(貸付実行) | 昭和63年8月〜平成4年7月 |
(貸付額) | 99億3022万余円 |
(事業概要) | この事業は、広域的な主要送配電網との連結がなく電力の自給を行っている地域において、急速に増加すると予想される電力需要に対応することなどを目的として、出力60MWのバージ式蒸気タービン発電設備等を備えた発電所を建設するものである。同発電所の建設は平成2年1月に完了し、同年から稼働を開始している。 |
〔2〕 検査結果の概要(平成4年度決算検査報告)
発電所建設地域における電力需要は、大規模農地化事業等電力需要の増加要因となる事業が遅延しているなどのため、予測していたほど増加せず、本院が5年5月に調査した時点では、発電設備の最大発電電力は14MWとその能力に対し23%にとどまっているなど、発電設備が十分稼働していない状況となっていた。
〔3〕 その後のフォローアップ状況等
銀行では、事業の現状把握のため、9年6月に本部から調査ミッションを派遣し、11年6月にはコンサルタントを雇用して調査を実施するなどした。
事業の現状は、同地域における電力需要はわずかずつ増加傾向を示しているものの、他地域の需要先にも電力を供給することにより電力需要の増加を図るため進められている送電設備の建設が遅延していることなどにより、11年の最大発電電力は19MWとその能力の31%にとどまっている。
これについて相手国実施機関では、12年中には送電設備が完成する見込みであり、送電が開始されれば、発電設備の能力は十分発揮されるとしている。
(イ)アブ・ザ・バル変電所建設計画(エジプト)
〔1〕 事業概要
(交換公文) | 昭和60年4月 |
(借款契約) | 昭和63年10月 |
(貸付先) | 電力公社 |
(貸付実行) | 平成2年9月〜5年9月 |
(貸付額) | 81億9916万余円 |
(事業概要) | この事業は、首都近郊地域の電力需要に対応して、送変電設備を整備し電力供給の安定化を図るため、新たに建設される500KV送変電網に接続する変電所を同地域に建設するものである。同変電所には、500KVの電圧を220KVに降圧する変圧器を4基、220KVの電圧を66KVに降圧する変庄器を3基、66KVの電圧を11KVに降圧する変圧器を2基設置することとされていて、これらは平成4年10月に据付けが完了し、供用が開始された。 |
〔2〕 検査結果の概要(平成7年度決算検査報告)
本件変電所に係る電力需要は、需要先である新興住宅地、肥料工場等の建設が遅延していること、変電所と需要先を結ぶ送電線の建設が遅延していることなどから、予想したほど増加せず、本院が8年5月に調査をした時点では、各変圧器の稼働率は34%、47%、33%と十分稼働していない状況となっていた。
〔3〕 その後のフォローアップ状況等
銀行では、事業の現状把握のため、9年6月に本部から調査ミッションを派遣し、11年6月にはコンサルタントを雇用して調査を実施するなどした。
事業の現状は、建設が遅延していた変電所と需要先を結ぶ送電線が完成したり、周辺需要地域の開発が進んだりしたことなどにより電力需要が拡大し、11年の実績では、各変圧器の稼働率が72%、85%、65%と大幅に改善されている。
(ウ)通信施設拡充事業I、II(ガーナ)
〔1〕 事業概要
(交換公文) | (事業I)昭和57年7月、(事業II)63年9月 | ||||||
(借款契約) | (事業I)昭和58年5月、(事業II)63年12月 | ||||||
(貸付先) | (事業I、II)ガーナ共和国政府 | ||||||
(貸付実行) | (事業I)昭和58年11月〜63年5月 | ||||||
(事業II)平成3年2月〜8年9月 | |||||||
(貸付額) |
|
||||||
(事業概要) | 事業Iは、北部地方の電話通信網等を拡充し、同地方の経済発展に寄与するために、首都と北部の主要都市とを結ぶ延長930km、容量960回線(一部区間1800回線)のマイクロ波市外伝送路、地方主要都市間を結ぶ総延長400kmのUHF市外伝送路等を設置するものであり、昭和61年11月に完成した。一方、上記市外伝送路と接続している各都市の市内通信施設は、老朽化が進み、処理容量も不足していて、ネットワークとして機能するという通信事業の性格上、市外通話に相当の悪影響を与えていた。そこで事業IIにおいて主として市内通信施設(交換機、マイクロ波市内伝送路、加入者ケーブル)を更新・新設し、市外・市内電話サービスの改善、主要都市の電話需要の充足等を図ることとした。 |
〔2〕 検査結果の概要(平成4年度決算検査報告)
事業IIの当初計画では、相手国は平成2年3月までに建設業者等と契約を締結し、4年3月までに施設の更新・新設を完了し稼働を開始することとしていた。しかし、相手国においてコンサルタントの選定に時間を費やしたり、責任者の交替があったりしたことなどにより、本院が5年4月に調査した時点では、建設業者等との間の契約が締結されていなかった。このため、本院の調査当時、ネットワーク全体としての通信状況は依然として改善されておらず、事業Iで設置した市外伝送路を主に利用している北部地域の市外通話完了率は10数%から20数%程度にとどまっていて、十分利用されていない状況となっていた(その後、5年8月に建設業者等との間の契約が締結された)。
〔3〕 その後のフォローアップ状況等
銀行では、5年11月以降職員を5回派遣し、事業の進ちょくを早めるよう働きかけを行うなどした。
事業の現状は、8年3月に事業IIが完成して市内通信施設の更新・新設が行われたことから、11年における北部地域の市外通話完了率は、50数%から80数%程度となっていて大幅に改善されていた。
イ プロジェクト方式技術協力事業
ジャワ山岳林収穫技術協力(インドネシア)
〔1〕 事業概要
(討議議事録) | 昭和52年12月 |
(協力期間) | 昭和53年4月〜57年6月 |
(協力内容) | 専門家派遣23名、研修員受入22名、機材供与(経費累計7億7622万余円) |
(実施機関) | 森林公社 |
(事業概要) | この事業は、中部ジャワに建設予定の紙パルプ工場に対して原木(メルクシ松)の供給を大量に行うために必要な機械集材方式による山岳林収穫技術を移転するものである。終了時評価の結果に基づきアフターケアとして協力終了後の60年度に単独機材供与(15百万円)を実施したほか、短期専門家2名を派遣した。 |
〔2〕 検査結果の概要(平成2年度決算検査報告)
相手国側の事情により他地域での紙パルプ工場の建設が優先され、上記移転技術を活用することとなっていた紙パルプ工場については、平成3年5月に、その建設が正式に断念された。このため、本院が3年6月に調査したところ、移転された技術が十分活用されていない状況となっていた。
〔3〕 その後のフォローアップ状況等
事業団としては、紙パルプ工場が建設されないため、その後フォローアップすることはなかったが、移転された技術については、実施機関の各ユニット(東ジャワ、中部ジャワ、西ジャワ)で、現在でも使用可能な供与機材とともに、小規模ながら必要に応じて活用されている。架線集材機を用いた技術の活用例としては、西ジャワの山岳地帯における松の集材の事例がある。また、中部ジャワにおいてはトラクターを用いた技術による集材が実施されている。なお、機材のメンテナンスに要する費用は実施機関の費用で賄われている。
ODA事業に関する評価については、事後評価が昭和50年に開始されてから着実に充実・強化が図られてきており、今後ともODA評価改善報告書の提言などを踏まえ、その充実が期待されるところである。
今回、本院が検査したところ、外務省が行う国別評価について、評価のフィードバック機能を有効に活用できるように対象国の選定に工夫すべき面があったり、一部の在外公館による評価において十分な評価が行われていなかったり、また、事業団が実施する基本設計調査において、定量的な指標が用いられていなかったりするなどの事態が見受けられた。
これらについては、今後の評価制度の充実の過程において、政策レベル、プログラムレベルの評価手法の開発、在外公館評価のあり方の検討等が行われることとなっているが、外務省等において早期の改善がなされることが望まれる。
本院においても、従来からODA事業について主として有効性の観点から検査を行ってきているところであるが、国会決議を踏まえ、引き続き検査を強化していくこととする。