OpenAIはなぜChatGPTを開発できたのか【クソ記事】

ChatGPTはGPT-3のデータ改善版です(たぶん)。 そんなすげー自然言語モデルを作り出したOpenAIですが、そもそもなぜこんなすげーものを作れたんでしょうか? 現在のAI研究は、大金ですごいモデルを動かして精度最強卍卍を出すのか勝ちパターンとのことですが、OpenAIが金持ち企業だったからすげーモデルができたのでしょうか? じゃあそのお金はどこから出たのか?

私、気になります。調べてみました。

まず、ざっくりOpenAIについて理解します。 日本語でまとまってるのがNRIの以下サイト。 www.nri.com

OpenAIについて

2015年12月に再生可能エネルギー ソリューションを提供するテスラのCEOであるイーロン・マスクをはじめとする複数の投資家により設立された人工知能(AI)研究所です。OpenAIは、汎用人工知能(AGI:Artificial General Intelligence)が人類全体に利益をもたらすことを使命とし、当初非営利団体として設立されました。その後、2019年に営利企業のOpenAI LPを創設し、現在OpenAI LPとそれを管理する非営利団体OpenAI Nonprofitのハイブリッド体制で運営されています。 そもそもすごい投資家が複数人バックについてた企業でした。じゃあどれくらいのお金をOpenAIは持っていたのでしょうか?

私は会社の情報に詳しくないので、ChatGPTくんに聞いてみます。
ぼく「会社のお金パワーを調べるにはどうすれば良いですか?」
ChatGPTくん「1. 業績評価指標、2. 株価指標 3. 株主評価指標 4. 市場規模指標。この4つや!」
言葉の意味はよくわかりませんが、とりあえず1つずつ調べてみましょう。

ChatGPTくん「企業のお金パワーを調べるにはこれや!」

と思ったら、こんな記事がありました。 minkabu.jp MS「長期的なパートナーシップの第3段階として、OpenAIくんに複数年にわたって数十億ドル規模の投資を行うぜ」
うおおおおお!この大企業が投資することの意味って何か分からないけど、MSが投資するのならすげーんだろうな!!

ChatGPTくん「企業が別の企業に投資するのは4つの意味があるよ。 1. 成長 2. 技術の獲得 3. シナジー効果 4. 長期的な利益」 ぼく「なるほどなあ。企業がお金を投げると、一部サービスの技術を使えるようになるんだ。実際の細かい契約はわからないけど、ここで「MSがAI機能出します(なおOpenAIの技術は一切使わない)」としても、人気は出そうだなあ。」

いや、よく調べるとMSと以前からOpenAIは繋がっていたみたいでした。じゃあ新しいAI機能もOpenAIの機能もりもりやん・・・ www.nikkei.com

ここまでで分かったのは、

  1. OpenAIは2016年からMSと付き合いがある
  2. OpenAIはMSから多額の投資を受けている

くらいです。

まあ現代のAI研究に必須なお金はあったとして、じゃあなぜChatGPT(GPT-3)が開発できたのか? 深堀一歩目として、論文を軽くみてみましょう。

まずGPT-3の元になった論文をみます。けど原文は長いし面倒なので、和訳かつ要約されたのを読みます。 zenn.dev GPT-3はGPT-2の改善版です。うんぬんかんぬん〜〜...
ぼく(あ、これ思い出したわ。機械学習の論文って理論詰め詰めというより、ごりごり実験でいろんな構成を試して良いものをまとめて改善するやつのがメインなんだ。EfficientNetでみたやつ。)
ぼく(で、当たり前だけど研究って積み重ねなのでTransformerから読んだ方がいいやつだ。)
ぼく(面倒なので一旦論文からなぜChatGPTからできたのか考えるのはまた今度で・・・)

ぼく(でも論文の内容読まないでどう考察しよう・・・多分TransformerがGoogle発でそれを金パワーでモデルやデータを改良したのが今うまくいってるだけな気がするんだよな・・・)
ぼく(その仮説をもとにサーベイ論文辿って、どんな改善がどのくらいパフォーマンス改善されたか?を辿っていくべきなんだろうな・・・でも面倒だな・・・)
ぼく(そういえば大学の研究でも「考察が甘い」って詰められてたなあ・・・ウッ・・・まるでなにも成長していない・・・)

じ、じゃあ人に注目しましょう!!ChatGPTの論文は確か公開されてないので、GPT-3をみます。GPT-3のファーストオーサーは「Tom B. Brown」さんです。 papers.nips.cc

どうでもいいけど、ブラウンさんのFacebookのプロフ写真イケメンすぎない?

この方が書いたのがさっきのGPT-3の論文。2023/02/04時点で引用9820ってマジ? https://scholar.google.co.jp/citations?user=RLvsC94AAAAJ&hl=en&oi=sra

次に引用数が多い論文が「Adversarial Patch」。この画像、Twitterで見たことある!!

出典:Fooling automated surveillance cameras: adversarial patches to attack person detection
AIで検出できないような画像を持つアレですね。この人だったのか・・・

この論文の引用は896件。2017年発表論文なのですが、もうこの時にはOpenAI所属だった? いや、GPT-3の方は1P目にどーんと「O p e n A I 」とあって、こっちにはないからまだかな。 関係ないけど、研究者が複数の機関に所属してた場合、すごい論文を発表する時にどこ所属で論文出すんだろ。揉めないのかな。

あ、2020/1/23の論文では所属に「OpenAI」て書いてますね。 https://arxiv.org/pdf/2001.08361.pdf

2019/9/18も書いてた。 https://arxiv.org/pdf/1909.08593.pdf

2019/5/3では書いてない。2019年中旬くらいから所属したのかなー。 https://arxiv.org/pdf/1905.01034.pdf

Tom B. Brownは、2019年中旬からOpenAIに所属した、画像にも自然言語にも強いスーパーAI人材です。 OpenAI所属前の論文で894件の引用だから、そりゃすごい人ですよ。

えー、うーん、というわけでいかがでしたでしょうか?? OpenAIはすごい人材を抱えていて、すごい人が頑張った結果、ChatGPTくんが生まれたんですね!!! 実際、この人も強化学習畑の人っぽいので、それをもとにデータを改善したりというのが効いたんじゃないでしょうか? 面倒になったので終わりです!!