GPT-4
| 作者 | OpenAI |
|---|---|
| 初版 | 2023年3月14日 |
| 前身 | GPT-3.5 |
| 後継 | GPT-4o |
| 種別 | 自己回帰モデル transformer 言語モデル |
| ライセンス | プロプライエタリ |
| 公式サイト |
openai |
GPT-4（ジーピーティーフォー、Generative Pre-trained Transformer 4）とは、OpenAIによって開発されたマルチモーダル大規模言語モデルである[1]。2023年3月14日に公開された[2]。自然言語処理にTransformerを採用しており、教師なし学習によって大規模なニューラルネットワークを学習させ、その後、人間のフィードバックからの強化学習（RLHF）を行っている[3]。
概要
[編集]OpenAIはGPT-4を発表した記事において、「GPT-4はGPT-3.5よりも遥かに創造的で信頼性が高く、より細かい指示に対応できる」と紹介している[2]。GPT-4は25000語以上のテキストを同時に読み取ることができ、これは以前のバージョンに比べると大幅に改良されている[4][5]。
GPT-4は「安全性のリスク」と「競争上のリスク」を考慮し、あえてパラメータを明示するのを控えている。技術報告書内では人間とAIのデータを用いて強化学習を行ったという事実以外は、モデルサイズ、ハードウェア、アーキテクチャ、トレーニング方法、訓練データ、人間のフィードバックからの強化学習に何人月を投じたかなどの開示はしていない[3]。
そのため、GPT-4の正確なパラメータ数は不明である。ザ・ヴァージはGPT-3は1750億個のパラメータを持つのに対してGPT-4は100兆個のパラメータを持つと報じていたが、前述の理由でOpenAIのCEOであるサム・アルトマンはこれを「まったくのでたらめだ」と否定している[6]。
透明性
[編集]前述の通り、OpenAIはGPT-4の詳細な性能を開示していない。これはいままでOpenAIがオープンソース的な方針を取ってきた事実[7]からすると、正反対の方針であると言える。これはGPTシリーズに限ったことではなく、OpenAIに限ったことでもない。現在、透明性の問題はAIモデリング業界全体の課題となっている[8][9]。多くの人工知能研究者はこの「閉鎖的なアプローチ」に対して、安全性が損なわれ、バイアスがかかる可能性があるとして批判をしている[10][11]。HuggingFace社の研究者であるサーシャ・ルッチョーニは、閉鎖的な研究はOpenAIにとっては十分かもしれないが、科学界にとっては「デッドエンド」でしかないと強く批判している[12]。また、アレン人工知能研究所の研究者であるプリトヴィラージ・アマナブルは「GPT-4はもはや『製品』であり、『科学』ではなくなった」と述べている[13]。OpenAIの設立時に多額の資金提供を行ない、共同設立者でもあるイーロン・マスクは「OpenAIは名前の通り、オープン（Open）であることを主旨として出資したのだが、今のOpenAIはマイクロソフトに管理された営利企業であり、閉鎖的であるため、全くもってオープンではない。これは私の意向に反する」としている[14]。アラン・チューリング研究所の研究者であるワリド・マグディは「GPT-4をオープンソースにしないのは構わないが、それならば会社名を『Closed AI』に変更すべき」と主張している[7]。これらの批判に対してOpenAIの共同設立者・主任研究員であるイリヤ・スツケヴェルは、これまでOpenAIが人工知能研究に対してオープンソースのアプローチを取っていたのは全くの誤りだったとしており、「GPT-4はこれまでに比べると優れた言語モデルであるが、将来的にはさらに性能が向上することが予想され、そうすれば悪用され、人類に危害を与えるのは火を見るより明らかであり、そうしたことを想定すればオープンにしたくはない」と述べており、また「強力な人工知能、つまり汎用人工知能がとてつもなく強力な知能を持つと考えれば、オープンソースの形を取るのは無意味で悪い考えであると数年以内に誰もが知ることになる」と主張している[10]。
性能
[編集]人間向けのテスト
[編集]GPT-4には画像自体を解析して分析・要約する高い能力がある。GPT-4に司法試験を解かせたところ、人間の受験者と比べても上位10％の成績を叩き出しており、かなりの確率で合格している。また、アメリカの大学入試テストとして使われるSATにおいては、1600点中1410点（数学テスト700点、リーディングテスト710点）を獲得している[15]。これらの点数は特別な訓練なしで獲得したものである。
アメリカの医師試験として使用されるUSMLEにおいては、3段階のテストで医師としての適性を図るという方法をとっている。GPT-4にUSMLEを解かせたところ、3段階の試験を突破し、合格点数を20点上回る点数を出した[16]。この結果は前述のテストと同じように、特に特別な訓練なしで獲得したものである。また、この点数は医療用の人工知能として開発されたMed-PaLMを上回る結果である。
プログラミング
[編集]GPT-4は人間の言語（自然言語）指示から、直接ソースコードを出力することが可能である。JavaScriptにて「テトリス」や「ポン」を作成するように命じられれば60秒で、「パックマン」は90秒で完全にプレイ可能なコードを作成できる[17][18]。
汎用人工知能への可能性
[編集]とはいえ、OpenAIはGPT-4の性能を完璧には程遠いと認めており、改良の余地があるとしている。というのも人工知能分野において「ハルシネーション（幻覚）」と呼ばれる、間違った正解を出力してしまう問題が完全には解決されていないからである[19]。
そのため、あらゆる能力において人間と同レベルの知能を持つ人工知能、いわゆる汎用人工知能の到達には至っていないと考えられるが[20]、マイクロソフトの人工知能研究者は、この大規模言語モデルが「驚くほど人類の能力に近付いている」と言及しており、まだまだ不完全で改良の余地があるとしながらも「汎用人工知能を実現する第一歩である」としている[21]。
使用方法
[編集]GPT-4はChatGPT PlusユーザーとAPI経由にて利用可能である[1]。
マイクロソフトは公表前からMicrosoft CopilotにGPT-4を採用しており[22]、今後はWord、Excel、PowerPoint、Outlook、Teamsなどに搭載を予定している[23]。
言語学習アプリであるDuolingoにも採用されており、現在は英語話者向けにスペイン語、フランス語などの学習を支援している[24]。
モデル
[編集]2種類のモデルがある[25]。
- gpt-4
- gpt-4-32k
関連項目
[編集]- OpenAI - 本言語モデルを作成したアメリカの人工知能研究所
- GPT-3 - 本言語モデルの旧来機
- 自然言語処理 - 自然言語、すなわち人間が使用する言語をコンピュータでどのように処理するかと言う学術分野
- 汎用人工知能 - 人類の知的能力に匹敵する人工知能。2023年においてはまだ実現していない
脚注
[編集]- ^ a b Dylan Matthews. “23 things we think will happen in 2023”. Vox. January 27, 2023閲覧。
- ^ a b “GPT-4” (英語). openai.com. 2023年3月15日閲覧。
- ^ a b “https://cdn.openai.com/papers/gpt-4.pdf”. Openai. 2023年3月15日閲覧。
- ^ (日本語) GPT-4 Developer Livestream 2023年3月15日閲覧。
- ^ “GPT-4” (英語). openai.com. 2023年3月15日閲覧。
- ^ JAMES VINCENT. “OpenAI CEO Sam Altman on GPT-4: ‘people are begging to be disappointed and they will be’”. The Verge. January 27, 2023閲覧。
- ^ a b “OpenAI is getting trolled for its name after refusing to be open about its A.I. | Fortune” (英語). 2023年3月19日閲覧。
- ^ “A New Stanford Index to Assess the Transparency of Leading AI Models” (英語). A New Stanford Index to Assess the Transparency of Leading AI Models (2023年11月1日). 2024年5月25日閲覧。
- ^ D'Amiano, Anjali; Cheunkarndee, Tia; Azoba, Chinenye C.; Bitterman, Danielle Sara; Mak, Raymond H.; Perni, Subha (2022-10-01). “Transparency and representation in clinical research utilizing artificial intelligence in oncology: A scoping review.” (英語). Journal of Clinical Oncology 40 (28_suppl): 308–308. doi:10.1200/JCO.2022.40.28_suppl.308. ISSN 0732-183X.
- ^ a b Vincent, James (2023年3月15日). “OpenAI co-founder on company’s past approach to openly sharing research: “We were wrong”” (英語). The Verge. 2023年3月19日閲覧。
- ^ “GPT-4 is bigger and better than ChatGPT—but OpenAI won’t say why” (英語). MIT Technology Review. 2023年3月19日閲覧。
- ^ Sanderson, Katharine (2023-03-16). “GPT-4 is here: what scientists think” (英語). Nature. doi:10.1038/d41586-023-00816-5.
- ^ “OpenAI's GPT-4 Is Closed Source and Shrouded in Secrecy” (英語). www.vice.com. 2023年3月19日閲覧。
- ^ “Elon Musk fumes over OpenAI becoming ‘$30B market cap for-profit’ after his $100M donation” (英語). Yahoo Finance. 2023年3月19日閲覧。
- ^ “GPT-4” (英語). openai.com. 2023年3月15日閲覧。
- ^ Nori, Harsha; King, Nicholas; McKinney, Scott Mayer; Carignan, Dean; Horvitz, Eric (2023-03-20) (英語). Capabilities of GPT-4 on Medical Challenge Problems.
- ^ “GPT-4 Creates a Playable Version of Pong in Seconds” (英語). PCMAG. 2023年3月19日閲覧。
- ^ “These New Projects Show Just How Much More Powerful GPT-4 Is” (英語). Time (2023年3月15日). 2023年3月19日閲覧。
- ^ “https://archive.is/fL9jH”. 2023年3月15日閲覧。
- ^ “OpenAI’s GPT-4 exhibits “human-level performance” on professional benchmarks – Ars Technica” (英語). 2023年3月15日閲覧。
- ^ Bubeck, Sébastien; Chandrasekaran, Varun; Eldan, Ronen; Gehrke, Johannes; Horvitz, Eric; Kamar, Ece; Lee, Peter; Lee, Yin Tat et al. (2023-03-22). “Sparks of Artificial General Intelligence: Early experiments with GPT-4”. arXiv:2303.12712 [cs].
- ^ Lardinois, Frederic (2023年3月14日). “Microsoft's new Bing was using GPT-4 all along” (英語). TechCrunch. 2023年3月15日閲覧。
- ^ Warren, Tom (2023年3月16日). “Microsoft announces Copilot: the AI-powered future of Office documents” (英語). The Verge. 2023年3月17日閲覧。
- ^ “Introducing Duolingo Max, a learning experience powered by GPT-4” (英語). Duolingo Blog (2023年3月14日). 2023年3月17日閲覧。
- ^ “OpenAI API”. 6 May 2023閲覧。