利用者:Omotecho/sand ox ToC/変化の理論

ワークショップで「変化の理論」を展開する人々

変化の理論: Theory of Change 頭字語 ToC )は計画と参加(Public participation)、順応的管理および評価方法論として、社会の変化を促進するため企業や公益活動非営利団体国際開発英語版研究および政府部門で使用される。長期目標を定義し、必要な前提条件を特定するためさかのぼってマッピングする[1]

変化の理論では、イニシアチブの因果関係、つまりその短期から中期、長期の結果をまとめて、変化のプロセスを説明する。さまざまな変更を識別して「結果の経路」として取り出し、それぞれと他のすべてを論理的に関係づけて結果を見せ、時系列のフローとフィードバックのループも示す。結果同士のリンクは「合理的に」、あるいはまた特定の結果が別の結果の前提条件であると考えられる理由のステートメントによって説明する[2]

変化の理論は(1)望ましい結果と実際の結果を区別し、(2)利害関係者に望ましい結果をモデル化するよう求めてから介入して、それらの結果を達成する形式を決定する点に革新がある。

この理論は使用目的に応じてイニシアチブのどの段階でも開始でき、開発の初期にはイニシアチブの計画を知らせる役割に最適である。変更のモデルを作成し、実践者は戦略と戦術をめぐる情報をより多く集めることで、それに基づいた決定を下す。経過観察および評価データが利用できるほど蓄積すると、それを証拠として利害関係者は変更の理論を定期的に改善していく。プログラムの文書を読んでから利害関係者と対話し、データ分析を経て変化の理論をさかのぼって開発することも可能。将来の計画を立てる手法には、これまでに何がうまくいったか、うまくいかなかったかを吟味して過去を理解し、評価に反映する過程をしばしば取り入れる。

歴史[編集]

起源[編集]

Theory of Change emerged from the field of program theory and program evaluation in the mid 1990s as a new way of analyzing the theories motivating programs and initiatives working for social and political change.[3] Its earlier origins can be traced to Peter Drucker's articulation of Management by Objectives, popularized in his 1954 book The Practice of Management. Management by Objectives requires identifying higher-order Goals, and lower-order Objectives which, if achieved, are expected to result in the Goals being achieved. Theory of Change extends beyond Goals (commonly named Outcomes in Theory of Change terminology) and Objectives to include Impact – the anticipated result of achieving stated goals.

Theory of Change is focused not just on generating knowledge about whether a program is effective, but also on explaining what methods it uses to be effective.[4] Theory of Change as a concept has strong roots in a number of disciplines, including environmental and organizational psychology, but has also increasingly been connected to sociology and political science.[5] Within industrial-organizational psychology, Austin and Bartunek have noted that approaches to organizational development are frequently based on more or less explicit assumptions about 1) the processes through which organizations change, and 2) the interventions needed to effect change.[6]

評価実践の発展[編集]

Within evaluation practice, Theory of Change emerged in the 1990s at the Aspen Institute Roundtable on Community Change as a means to model and evaluate comprehensive community initiatives. Notable methodologists, such as Huey-Tsyh Chen, Peter Rossi, Michael Quinn Patton, Heléne Clark, and Carol Weiss, had been thinking about how to apply program theories to evaluation since 1980. The Roundtable's early work focused on working through the challenges of evaluating complex community initiatives. This work culminated in a 1995 publication, ‘New Approaches to Evaluating Comprehensive Community Initiatives’.[3] In that book, Carol Weiss, a member of the Roundtable's steering committee on evaluation, hypothesized that a key reason complex programs are so difficult to evaluate is that the assumptions that inspire them are poorly articulated. She argued that stakeholders of complex community initiatives typically are unclear about how the change process will unfold and therefore place little attention on the early and mid-term changes needed to reach a longer-term goal.

Weiss popularized the term “Theory of Change” as a way to describe the set of assumptions that explain both the mini-steps that lead to the long-term goal of interest and the connections between program activities and outcomes that occur at each step of the way. She challenged designers of complex community-based initiatives to be specific about the theories of change guiding their work and suggested that doing so would improve their overall evaluation plans and would strengthen their ability to claim credit for outcomes that were predicted in their theory. She called for the use of an approach that, at first glance, seems like common sense: lay out the sequence of outcomes that are expected to occur as the result of an intervention, and plan an evaluation strategy around tracking whether these expected outcomes are actually produced. Her stature in the field, and the apparent promise of this idea, motivated a number of foundations to support the use of this technique—later termed “the Theory of Change approach”—in the evaluations of community change initiatives. In the years that followed, a number of evaluations were developed around this approach, fueling more interest in the field about its value and potential application.[3]

Between 2000 – 2002, the Aspen Roundtable for Community Change led the dissemination and case studies of the Theory of Change approach, although still mostly applied to the field of community initiatives. As the Aspen Roundtable concluded its leadership in the field and moved on to apply Theory of Change to such topics as structural racism, others expanded the visibility and application of Theory of Change into international development, public health, human rights and more[要出典]. The visibility and knowledge of Theory of Change grew with the creation in 2002 of theoryofchange.org[7] and later of Theory of Change Online[8] software.

人気の高まり[編集]

関心を高めた背景として、いくつかの優れた評価が広まり、いずれもイギリスの慈善団体コミックリリーフ[9]国際開発省、アジア財団(The Asia Foundation)、オックスファムオーストラリア(Oxfam Australia[10])から委託され、変化の理論が急発展する端緒となった[11]。用語を知る人が爆発的に増え「理論」の需要が高まると、2013年に変化の理論の基準を広め明確する初の専門機関が設立され、図書館のほか定義や用語集を備えた非営利団体「変化の理論センター」(Center for Theory of Change[7])からライセンスを得たActKnowledgeは、ウェブサイトTheory of Change Onlineを無償で提供している[12]

計画と評価における変化の理論は先進国発展途上国の区別なく利用が増え、公益団体や政府機関、開発組織や大学、国際NGO国連など多くの主要な組織で増加している[13]。これにより、この理論のアプローチをシステム思考や複雑さにリンクするなど、新しい作業領域が生まれた。多くのフィードバックの循環があることは承知しておく必要があるとはいえ、もはや変更のプロセスは線型と見なされなくなった。その結果、この理論は経過観察、評価学習を強化した。またそれらの測定が難しい分野で影響の理解と評価を助け、ガバナンスや能力強化、制度開発などにも役立つ。イノベーションの出現は続けている[14]

課題[編集]

変化の理論は普及が進んでいるにもかかわらず、特に開発の分野では、アプローチとその効果的な実装に必要な方法は、一律には理解されていない。現実には「変化の理論」という用語が実際に何を意味するのか、混乱の証拠が見られる。一部のプログラム開発者の場合、この理論として説明する内実は別のアプローチであり、単にロジックのフレームワーク(Logical framework approach)や戦略計画にとどまり、変更の理論が進めるアプローチの複雑さを備えていない。また他にも変更理論の用語として一般的なアウトプットや結果、影響などを使っても一貫性を欠き、カナダの社会学者ブライアン・ベルチャー(Brian Belcher)らが指摘するところによると、変更の理論の効果的な設計、評価および学習を混乱させている[15][16]

方法論[編集]

基本構造[編集]

A Theory of Change is a high order, or macro, If-Then statement: If this is done, Then these are the anticipated results. The outcomes pathway is a set of needed conditions relevant to a given field of action, which are placed diagrammatically in logical relationship to one another and connected with arrows that posit causality. Outcomes along the pathway are also preconditions to outcomes above them. Thus, early outcomes must be in place for intermediate outcomes to be achieved; intermediate outcomes must be in place for the next set of outcomes to be achieved; and so on. An outcomes pathway therefore represents the change logic and its underlying set of assumptions, which are spelled out in the rationales given for why specific connections exist between outcomes and in the theory narrative.[17]

品質管理の基準[編集]

変化の理論の初期に、アン・クビッシュ(Anne Kubisch)他は次にあげる品質管理の基準3つを確立した[18]

実現可能性
実現可能性(Plausibility structure)とは結果の経路の論理を指す。それは理にかなっているか? 結果は正しい順序に出たか? 長期的な成果と影響の達成に求められる前提条件は、集合として十分か? 論議に格差はないか?
実現可能性
実現可能性とは、イニシアチブがその長期的な成果と影響を現実的に達成できるかどうかを指します。組織には十分なリソースがありますか?パートナーが必要ですか?理論の範囲、期待、またはタイムラインを調整する必要がありますか?
妥当性
妥当性は主に指標を指す。しっかりしていて測定可能か? 十分な情報が得られてイニシアチブの成功を評価するのに役立つか? 話を聞かせるべき聴衆に対して説得力があるか?

これら3つの基本的な品質管理基準に加えて、アクトナレッジ(ActKnowledge)[12]は別の重要な基準として適切な範囲を加えた。この理論の実用では、主要な対象者に十分な説明を行うため、適切な範囲のスコープを選択することから、この基準を一部、根拠としている。すなわちモデルに格差を残さないようにたっぷりと広くとり、また手元にある機会とリソースに十分に焦点を合わせることを指す。この「適切な範囲」とは、説明責任の評価概念も統合しており、変化の理論の結果経路には、しばしば「説明責任の上限」が含まれる。まるで経路を横切る破線のように、ある組織が経過観察して達成し信用を主張する結果と、達成する力を超えた高次の結果との間に線を引くことがしばしばある—例えば、「正しい社会」などである[19]

モデルと適用[編集]

結果の経路を組み立てる

An important first step in the process is identifying a workable long-term goal and long-term outcomes. The long-term goal should be something the initiative can realistically achieve and that everyone involved understands. A trained external facilitator is best to lead the group to consensus and specificity in this process.

Once a long-term goal is identified, the group then considers: “What conditions must be in place for us to reach the goal?” Any such necessary conditions should be shown as outcomes on the Theory of Change pathway, underneath the long-term outcome. These outcomes act as preconditions to the long-term outcome.

The process of identifying preconditions continues, drilling down the pathway by posing fundamental questions such as: “What has to be in place for this outcome to be achieved?” and “Are these preconditions sufficient for the outcome to be achieved?” In these sessions, participants may use markers, sticky notes, and chart paper to identify and organize outcomes, surface assumptions, develop indicators, and so on.

The messy group work is then usually captured by the facilitator in digital form, through which the content can be expanded, edited, printed, shared, and otherwise managed as the theory continues to be developed.

ファイル:People in process in Theory of Change.jpg
変化の理論の行動と過程

変化の測定[編集]

変化の理論の究極の成功は、結果の達成の進歩を示す能力にかかっている。成功の証拠とは理論の確認、イニシアチブが効果的であることを示すところにある。したがって変化の理論の成果は測定を導き促進する指標と組み合わせる必要がある。

指標は、結果を運用化するもの、つまり、結果の理解を促す具体的で観察でき、測定可能な用語で述べることである。指標と結果の関係には混乱を招かないように、次の簡単な式で明示できる。

「〈指標〉を見ると〈結果に到達したかどうか〉わかる」

たとえば、「プログラムの10代の若者が出生前の栄養と健康のガイドラインを理解しているかどうかは、どの食品が優れた栄養源か特定できたのを見れば判断できる」。一連の段階的な指標を用いて、結果の実現の度合いを測定し評価できる[20]

理想的には、結果経路上のすべての結果(破線の説明責任の上限の下)に指標を備えるべきでも、利用可能なリソース次第で実行が困難な事態は頻繁にある。多くのグループは、優先的な結果つまり理論が成り立つかどうかを測定する必要性が明らかな結果を指定したいと考える。つまり、1つ以上の指標によって結果を測定できるようにするか、 運用可能にする必要が認められ、少なくともすべての初期介入を設計した結果には、1つ以上の指標が求められる[17]

指標には価値があるとはいえ、結果と仮定が実現されているかどうか、またどのように実現されたかを評価するには、場合により、さらに詳細なデータ収集と分析を行う必要が生じる[20]

経過観察と評価[編集]

起源が経過観察(モニタリング)と評価の分野にあるため、長年にわたる開発により、変化の理論という非常に貴重な方法には裏付けがあり、さまざまな種類のプロジェクトや組織の評価に的確であり続ける。多くの場合、理論に基づいた評価の質問を提起し、評価の取り組みを主要な懸念事項に集中させる役目を負う。同様に、利用できる指標がたくさんあり、その中から適切なものを選択しなければならない場合がある。最も役立つ指標を選ぶには、「経過観察の質問」を使う。この質問は「私たちはこの成果の達成にあてた助成金の管理をするが、本当に知る必要があるのは何か」という形をとり[21]、「何が機能するか」を知るだけでなく、成功の理解が重要である。経験によると、介入を盲目的に真似たりスケーリングしてもほとんど役に立たない。経過観察と評価の重要なタスクは十分な知識収集と理解にあり、異なる状況ごとにイニシアチブと一連の活動がどのように機能し、あるいは同様またはより良い結果を得るためにどんな調整を求められるか、ある程度の自信を持って予測できるようになることである。また、多くの研究から証拠を組み合わせる能力が求められ、その時々の事態の把握(何が起こっているのか)、その展開の予測(これからどうなるか)、さらに最も重要なことはコンテキストがイニシアチブにどのように影響するのか、手堅く把握する。

変化の理論の開発が参加型プロセスであるように、この理論に基づいた経過観察および評価のシステムを設計するときは参加型の方法を応用できる。たとえば助成事業管理者は、意思決定において最も関心のある結果の選択に関与する。同様に現場の人々は、指標の選択と運用のしかた、機器選び、データ収集の手法、既存のどのデータソースを用いて指標の追跡に使うか、インプットする[22]

他のモデルとの比較[編集]

実践者は、社会変革プログラムを計画および評価する戦略およびツールとして、論理のモデル(Logic model)とフレームワークを開発した。これらのモデルはイニシアチブまたは組織の目標とリソースを明確に表現しつつ、社会および社会的変化の根底にある複雑な社会と経済と政治および制度のプロセスにはあまり焦点を当てていない。したがってロジックのモデルとフレームは、作業の背後にある実装理論を開発しても、基礎となる変化の理論が十分ではない場合が考えられる[23]。また変化の理論はロジックのモデルやフレームとは対照的に参加型プロセスから始まり、望ましい結果を明確に定義し、お互いの仮定を放映して挑戦する。変化の理論は、集合的なビジョンをサポートし、利害関係者に共通の理解を促し、思考スタイルとさまざまな知識の方法を橋渡しする[24]。この理論は、従来の前向きな推論、つまり「こうしたからこうなる」という推論に向かわず、最初にプログラムの目標または望ましい影響を考え出し、結果の経路をそちらへ向かって遡っていく取り組みから始まる。 「こうなる」論の理由の例に次がある。

助成金の受給者は、子供たちの健康保険が手薄だと伝えるメディア報道を増やそうと決定し国民の意識を高め政策立案者の知識を増やして関心を引き政策を変更〈したから〉より多くの子供たちが健康保険に加入することに〈なる〉。

対照的に変化の理論では、グループは介入ではなく、長期的な目標と結果から始めた後に、発生を期待する変化の最も早いものに向かって(時間的に)逆方向に取り組む。どの介入が経路の結果を最もよく生み出したのか検討の時は、経路が開発された後に訪れる。

ロックフェラー財団米国国際開発庁ほか多くの組織は、管理ツールとして結果のフレームワークと随伴する(コンパニオン)スコアカードを使用する[17]。結果のフレームワークは補完的であり、変化の理論に基づく経過観察および評価システムに適応できます。このフレームワークは、概念モデルが不足している場合でも、よく考えられた概念モデルから派生しているように見えます。結果フレームワークの制限は、最終的な目標を達成するために変更する必要がある条件間の因果関係を示さないことです。変化理論の付加価値は、結果間の因果関係、活動と結果の関係、結果と指標の関係など、概念モデルを明らかにすることにあります。全体として、変化の理論を持つことは、結果フレームワークが基づいている仮定を明確にするのに役立ちます。

施行する[編集]

国際開発におけるToC [11]

自分の国の中で連携

アメリカの財団

非政府組織

研究機関とプログラム

気候変動組織

  • 気候センター[26]

コミュニティスクール(アメリカ)

公益活動

研究計画、順応的管理および評価への応用[編集]

変化の理論(ToC)は多目的ツールとして、研究、特に開発の研究、学際的研究、持続可能性科学など変化志向の研究の計画や管理、経過観察や評価の目的で適用できる。調査ToCは他のアプリケーションと同様に、調査プロジェクトまたはプログラムとその意図された結果としてアウトプット、結果および影響の因果関係を述べ、一連の検証可能な仮説として調査が変化に寄与する方法と理由について組み立てていく[20][24]

研究の計画と設計

事前の計画ツールとして、変更のプロセスにおいて調査の役割を批判的に考察するよう促し、より現実的で関連性のある調査の設計と実装を導く。また調査をより参加型にするため、調査の主要な利害関係者を特定して、調査プロセス、発見などの調査結果を共有できるように関与させる[24]。変化の理論は研究提案に付随もしくは埋め込んで適用することがある。

研究の順応的管理

経過観察のツールとしては、有用な指標を特定し進捗状況の評価に役立ち、順応的管理が容易になる。これは特定の研究コンテキストでどの戦略が機能するか学習を刺激し、意図した結果に到達するには注意点とリソースをどこに向けて追加する必要があるか検討する。活動の計画の調整をも通知でき、利用者にフレームワークを与えることで、機会が研究プロジェクトまたはプログラムの目的や目標と一致するかどうか判断したり、予期しない機会を活用できるようにする[24]

研究評価に活用

研究評価において、理論に基づく主要な分析フレームワークとして機能する。変化が仮定どおりに起こったかどうか試験するとして、この理論は必要なデータの特定にも使える。評価者は事後評価ツールとして用い、期待される成果と、研究プロジェクトまたはプログラムの実際の成果を照らし合わせて評価し、研究の透明性、結果に対する説明責任を高める[20][24]

革新[編集]

新しい地平

変化の理論との調整は今後が待たれるものの、より焦点を絞って効果をあげるために大いに考慮すべき作業領域が2つ挙げられる。

1 インパクトと影響力、活用

アニー・E・ケイシー財団の提案では組織の社会変革活動をマッピングする3要素はインパクトと影響力、活用である。

  • 仕事のインパクトはそのプログラムの成果
  • 影響力は仕事の結果として他の主体(アクター)がどれだけ変化するか
  • レバレッジとは、他の人が助成金受給者のモデルにどれだけ投資をするか[27]

これまで変化の理論は、結果のタイプとしてインパクトと影響およびレバレッジを区別してこなかったが、それらを分けて扱うと、測定可能な成果に集中させ役立つ場合がある。特にこの理論を使用して経過観察と評価を導く場合、ケーシーのルーブリックを用いてグループの注意を結果に集中させる。これを達成した場合、グループの作業に納得のいくように回帰させる。プログラムの直接的な結果(影響)以外に、この理論は影響力とレバレッジ両方の結果を予測する。考えるのは簡単でも、実際に経過観察して特定のプログラムに帰するのは非常に難しい。そこでこのアプローチは、結果のマッピングについて集団全体の行動と価値観の変化という幅広い対象の分析を回避するのに役立つ可能性がある。

2. 結果のマッピング

帰属の問題に直接対処するもう1つの改良点は、「結果のマッピング(Outcome_mapping)」と呼ばれる。この過程では状態の変化と行動の変化を区別し、「状態」の変化とは広範な変化にすぎず、対象となる都市や地域、国や産業界など全人口について、経済状況や政策、政治や制度的行動や経済部門などを考察する。状態の変化を測定すると、1人のアクターの経過観察機能の容量を超える場合がある。政府は州の人口動態をデータとして収集しても、そのデータは変化の理論で予想される単一の変化を測定するためには調整してない可能性もある。ここで述べている状態の変化も、1つのソースに原因を帰結することは難しい。

行動の変化はそれとは対照的に経過観察がはるかに簡単で、グループの本来の仕事に関連づけしやすい。「結果マッピング」は、変化の理論を行動の変化のような結果に向ける傾向があり、比較的簡単に経過観察および評価が、しかも変化の媒介者が最も気にかけるのが、それらの結果である。「遊び場に来る子供は全て徒歩5分圏内にいる」、「居住者は健康である」などの結果に向ける注意は比例して減らせる。このような「状態の変化」は、経過観察および確実な帰属がより困難だからである[28]

変化の理論と「戦略的であること」

変化の理論は戦略的思考と対立または補完するか? この重要な議論は、特に根拠と柔軟性を備えた機会主導型の戦略がますます重要視され需要が高まっているため、継続が必要である。一部の見方では変化の理論(ToC)を固定モデル、効果的な作業と有用な評価の妨げとなると理解している。ただしPatriziはToCが戦略的行動と対立する場面とは、組織がこの理論を他の固定計画と同じように扱う時に限られると注意を呼びかける。パトリッツィ(Patrizi)は次のように書いた。

「(変化の理論における)仮定が提示されると、(1)基本的にそれらの仮定を実際に試験せず、(2)継続的なプロセスとして使用するモデルだと認識しない。それは『まあ、私たちは一応ToCを実行したし、今は完了したから良いだろう』と言うようなものだ[22]」。

そうではなく、組織が現場の経験から学び、何が機能するか変更モデルを調整するものとして学びを扱うなら、理論は戦略的行動と対立することはない。機会をつかみ、何が機能するかを試す戦略なら、変化の理論モデルをガイドフレームとして参照する機能が働く。一覧はモデルではなく、一覧だけあっても、実践者は目標を検討する時に変化の体系的なモデルの一部として把握せず、あるいはどの経路に沿うと結果を達成する最善手法となるか、批判的に(戦略的に)考えることもしない。

線形モデルの機能と限界

あらゆる種類のフィードバックループのうち、トップダウンのダイアグラム形式でモデル化されていないものを扱うとき、物事が複数の予測できない部分を含んだ方法と相互に影響を与え合う状態、物事が発生する順序は直線的でないことを考えると、次のような重要な質問と取り組むことになる。線形変化理論モデルは、これから何が起こるか説明するために、どの程度まで適切か? この質問に対する答えの1つとは、変化の理論は実際、物事がどのように起こるかをモデル化していない点である。それはむしろ、物事が起こるには、その前に発生しているべきだと私たちが無意識に考えている何かをモデル化し予測して示すのである。変化の理論が示すものは、他の条件が発生する前提として存在するべきと私たちが信じる条件の予測である。前向きで論理的であり、私たちが考える方法を反映している。つまりaとbは時系列順に、最初にこれ、次にそれが並ぶので、線形形式が適切である。変化の理論はより大きく、より循環的なスキームにどのように適合するか。行動に、経過観察と評価に、理論の調整につながるところから先を示すプロセスモデルを使うと、変化の理論の補完に役立つ場合がある。このような、次の行動、より多くの経過観察と評価などに連鎖するプロセスモデルは、線形理論を変化の概念的な推進力として描きだす。これが有用であり続けるには、行動を起こしたらそこで止まらず、評価を伴う再調整も必要である[19]

上級管理者の「賛同」を得るには

変化の理論のプロセスを価値のあるものとして承認し、開始する人は上下関係で高レベルにいることが多い。これはよく留意し、相手は最初は「賛同」したのだから、その支持を保ちつつ、他の人に理論を発展させるという課題が浮かび上がる。このように階層と委任の問題で発生する問題は他にも多く、似た点がある。力を発揮するリーダーは、チームを信頼して作業を任せる。モデルには多くのバリエーションがありながら、通常は委任を適切に測定し、反対に、作業の進行に合わせてリーダーに報告することで相手の考えを理解することが含まれる。仕掛かりは高レベルの人々が担当したのだから、自分が持つ最善の考えの源として面談する必要がある。その人時、相手に対応を頼む具体案を持っていくことと、すべてが完璧になるまで会うのをまたないことが肝心である[1]

関連項目[編集]

References[編集]

  1. ^ a b P. Brest (2010). “The Power of Theories of Change”. Stanford Social Innovation Review Spring. http://www.ssireview.org/articles/entry/the_power_of_theories_of_change. 
  2. ^ H. Clark; D. Taplin (2012). Theory of Change Basics: A Primer on Theory of Change. New York: Actknowledge. http://www.theoryofchange.org/wp-content/uploads/toco_library/pdf/ToCBasics.pdf 
  3. ^ a b c C. Weiss (1995). Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families (Connell, J, Kubisch, A, Schorr, L, and Weiss, C. (Eds.) ‘New Approaches to Evaluating Community Initiatives’ ed.). Washington, DC: Aspen Institute C. Weiss (1995). Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families (Connell, J, Kubisch, A, Schorr, L, and Weiss, C. (Eds.) ‘New Approaches to Evaluating Community Initiatives’ ed.). Washington, DC: Aspen Institute. 引用エラー: 無効な <ref> タグ; name "practical"が異なる内容で複数回定義されています
  4. ^ C. Chris (2011). “A Systematic Review of Theory-Driven Evaluation Practice from 1990 to 2009”. American Journal of Evaluation 32 (2): 199–226. doi:10.1177/1098214010389321etal 
  5. ^ S. Stachowiak (2010). Pathways for Change: 6 Theories about How Policy Change Happens. Seattle: Organisational Research Services 
  6. ^ J. Austin; J. Bartunek (2004). “Theories and Practice of Organization Development”. Handbook of Psychology 12: 309–332. doi:10.1002/0471264385.wei1213. ISBN 0471264385. 
  7. ^ a b Theory of Change Community”. www.theoryofchange.org. 2018年4月19日閲覧。"Theory of Change Community". www.theoryofchange.org. Retrieved 19 April 2018. 引用エラー: 無効な <ref> タグ; name "theoryofchange.org"が異なる内容で複数回定義されています
  8. ^ TOCO Software – Theory of Change Community”. www.theoryofchange.org. 2018年4月19日閲覧。
  9. ^ C. James (2011). Theory of Change Review: A report commissioned by Comic Relief. London: Comic Relief 
  10. ^ E. Collins; H. Clark (2013). Supporting Young People to Make Change Happen: A Review of Theories of Change. ActKnowledge and Oxfam Australia 
  11. ^ a b D. Stein; C. Valters (2012). Understanding Theory of Change in International Development. London: The Justice and Security Research Programme, London School of Economics D. Stein & C. Valters (2012). Understanding Theory of Change in International Development. London: The Justice and Security Research Programme, London School of Economics. 引用エラー: 無効な <ref> タグ; name "understanding"が異なる内容で複数回定義されています
  12. ^ a b Actknowledge”. www.actknowledge.org. 2018年4月19日閲覧。 引用エラー: 無効な <ref> タグ; name "actknowledge.org"が異なる内容で複数回定義されています
  13. ^ McLellan, Timothy (2020-08-25). “Impact, theory of change, and the horizons of scientific practice” (英語). Social Studies of Science 51 (1): 100–120. doi:10.1177/0306312720950830. ISSN 0306-3127. PMID 32842910. http://journals.sagepub.com/doi/10.1177/0306312720950830. 
  14. ^ E. Jackson (2013). “Interrogating the theory of change: evaluating impact investing where it matters most”. Journal of Sustainable Finance & Investment 3:2 (2): 95–110. doi:10.1080/20430795.2013.776257. 
  15. ^ Belcher, Brian; Palenberg, Markus (2018). “Outcomes and Impacts of Development Interventions: Toward Conceptual Clarity”. American Journal of Evaluation 39 (4): 478–495. doi:10.1177/1098214018765698. https://journals.sagepub.com/doi/10.1177/1098214018765698. 
  16. ^ Belcher, Brian; Halliwell, Janet (2021). “Conceptualizing the elements of research impact: Towards semantics standards”. Humanities and Social Sciences Communications 8: 1-6. doi:10.1057/s41599-021-00854-2. https://www.nature.com/articles/s41599-021-00854-2. 
  17. ^ a b c D. Taplin, H. Clark, E. Collins and D. Colby (2013). Technical Papers: A Series of Papers to support Development of Theories of Change Based on Practice in the Field. New York: Actknowledge and The Rockefeller Foundation. http://www.actknowledge.org/resources/documents/ToC-Tech-Papers.pdf D. Taplin, H. Clark, E. Collins and D. Colby (2013). Technical Papers: A Series of Papers to support Development of Theories of Change Based on Practice in the Field (PDF). New York: Actknowledge and The Rockefeller Foundation.{{cite book}}: CS1 maint: multiple names: authors list (link) 引用エラー: 無効な <ref> タグ; name "technical"が異なる内容で複数回定義されています
  18. ^ A. Kubisch (1997). Voices from the field: Learning from the early work of comprehensive community initiatives. Washington, DC: Aspen Institute 
  19. ^ a b H. Clark (2004). Deciding the Scope of a Theory of Change. New York: ActKnowledge H. Clark (2004). Deciding the Scope of a Theory of Change. New York: ActKnowledge. 引用エラー: 無効な <ref> タグ; name "scope"が異なる内容で複数回定義されています
  20. ^ a b c d Belcher, Brian; Davel, Rachel; Claus, Rachel (2020). “A refined method for theory-based evaluation of the societal impacts of research”. MethodsX 7: 100788. doi:10.1016/j.mex.2020.100788. PMC 6997623. PMID 32025508. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6997623/. Belcher, Brian; Davel, Rachel; Claus, Rachel (2020). "A refined method for theory-based evaluation of the societal impacts of research". MethodsX. 7: 100788. doi:10.1016/j.mex.2020.100788. PMC 6997623. PMID 32025508. 引用エラー: 無効な <ref> タグ; name "methodsx"が異なる内容で複数回定義されています
  21. ^ C. Weiss (1998). “Have We Learned Anything New About the Use of Evaluation?”. American Journal of Evaluation 19: 21–33. doi:10.1177/109821409801900103. 
  22. ^ a b P. Patrizi; M. Quinn Patton (2010). “New Directions for Evaluation”. Evaluating Strategy 128. P. Patrizi & M. Quinn Patton (2010). "New Directions for Evaluation". Evaluating Strategy. 128. 引用エラー: 無効な <ref> タグ; name "directions"が異なる内容で複数回定義されています
  23. ^ S. Funnell; P. Rogers (2011). Purposeful Program Theory: Effective Use of Theories of Change and Logic Models. San Francisco, CA: Jossey Bass 
  24. ^ a b c d e Belcher, Brian; Claus, Rachel (2020). Theory of change. Swiss Academies of Arts and Sciences. doi:10.5281/zenodo.3717451. https://naturwissenschaften.ch/co-producing-knowledge-explained/methods/td-net_toolbox/theory_of_change. Belcher, Brian; Claus, Rachel (2020). "Theory of change". td-net Toolbox. Swiss Academies of Arts and Sciences. doi:10.5281/zenodo.3717451. 引用エラー: 無効な <ref> タグ; name "tdnet"が異なる内容で複数回定義されています
  25. ^ Sustainability Research Effectiveness” (英語). Sustainability Research Effectiveness. 2022年7月30日閲覧。
  26. ^ Burch. “How to rapidly reduce greenhouse gases at scale”. The Climate Center. 2022年7月30日閲覧。
  27. ^ Theory of Change: A Practical Tool For Action, Results and Learning Prepared for the Annie Casey Foundation. Seattle: Organizational Research Services. (2004) 
  28. ^ S. Earl; F. Carden; T. Smutylo (2001). Outcome mapping: Building learning and reflection into development programs. Ottawa: International Development Research Centre 

[[Category:社会変動]] [[Category:未査読の翻訳があるページ]]