GPT-3、なぜ料金プランを選択し、…マイクロソフトの独占ライセンスを付与したのか?

GPT-3モデルの価格体系は、提供される使用量に応じて、「エクスプローラー(Explore)」、「クリエイト(Create)」、「ビルド(Build)」、「スケール(Scale)」の4つに分けられる。

OpenAIの大規模な自然言語処理(NLP)モデルであるGPT-3は、公開後に、開発者、研究者、企業家およびジャーナリストの間で最大の問題である。さらに、マシンランニングとの距離が遠い一般人にまでGPT-3について話をするほどだ。これらのほとんどは、問題は、AI駆動テキストジェネレータの能力に焦点を当てている。ユーザーは、AIを使用して記事を作成でコードを作成する直感的な能力まですべてを生成するために、興味深い結果を競争的に出している。

しかし、いくつかの反論の中にGPT-3の多数はまだ不明である。ただし、人工知能が高く、果敢な目標を現実的に持つようになったのがGPT-3の最大の意味で見られる。

現在、すべての問題の中に、世界で最も大きな自然言語処理モデルGPT-3は、来月から有料化される。OpenAIは設立理念とは異なり、このモデルを大衆に自由に公開する代わりに、商用化を選択している。

この価格計画はOpenAIがGPT-3を収益性の高い事業に転換するために必要なものユーザーがこのAIからどのような種類の組織が利益を得ることができるかを、よりよく評価することができるようしてくれるのだ。GPT-3は、この種の最初のAIモデルで、OpenAIの最大の悩みは、この巨大な深層学習アルゴリズムの動作にかかる隠れた莫大な費用をどのように解決すべきかが重要であると思われる。

OpenAIのようなAI研究所は、彼らの研究に資金を誘致するための技術の会社とVC会社の資金に依存する。すぐに、これにより、投資収益を創出し、将来の資金を確保することができる有益なビジネスを創出しなければならない。

2019年3月11日OpenAIは非営利団体で、営利企業に転換しOpenAIはブログの記事を介して汎用人工知能(AGI、Artificial General Intelligence)技術の一部を商用化すると宣言した。そして間もなく、マイクロソフトは10億ドル(約1兆1000億ウォン)を投資した。

また、OpenAIはGPT-3プラットフォームの前例のないコンピューティング性能が必要でした。マイクロソフトはOpenAIがGPT-3を、6月に発売する前の5月にOpenAIと継続的なパートナーシップを拡大し、世界のトップ5のスーパーコンピュータのいずれかを構築しエジョ(Azure)で新しいインフラストラクチャを使用して超大型自然言語処理(NLP )モデルGPT-3を学習するためにカスタマイズされたとして設計されたエジョ(Azure)ホスティングホームを発表した。

OpenAIがマイクロソフトに排他的なライセンスを、これ “連携された関係だ」と必ずが指摘し言えないが、22日、マイクロソフトは毎年恒例の「イグナイトアップデート2020(MICROSOFT IGNITE 2020)」でOpenAIと協約に独占ライセンスを確保した発表し、これを活用して、マイクロソフトの顧客に一歩進んだAIソリューションを提供する計画を発表した。

再びGPT-3プランに振り返る。去る6月に発表と同時にOpenAIはGPT-3のアーキテクチャと事前訓練されたモデルを発売していない代わりに、7月11日、商用APIを介して提供すると明らかにしたも驚くことはなかった。OpenAIが審査して承認されたGPT-3ベータテスト版を無料で利用できるようにしたが、10月からは使用料金が策定されたものである。

既存のプライベート無料のベータ版ユーザーも、10月以降は策定された価格体系の4つのいずれかを選択しなければならない。提示されたGPT-3モデルの価格体系は、提供される使用量に応じて、「エクスプローラー(Explore)」、「クリエイト(Create)」、「ビルド(Build)」、「スケール(Scale)」の4つに分けられる。

「エクスプローラー」は無料区間である。これで、ユーザーはトークン(token)10万個、または体験期間3ヶ月のいずれか早い期限が切れる方を適用される。つまり、無料でトークンを最大10万個まで書くことができ、これを多使わない場合は、3ヶ月間無料で使うことができるという意味である。「クリエイト」は月に100ドル(約11万7千ウォン)で、ユーザーは1ヶ月間、トークン200万個を書くことができ、これを排出すると、追加のトークン1000個当たり8セント(約940ウォン)を支払うすればよい。「ビルド」は月に400ドル(約47万円)で、ユーザーは1ヶ月間、トークン1000万個を書くことができ、これを排出すると、追加のトークン1000個あたり6セント(約700ウォン)を内面になる。「スケール」は、別途、価格を策定した。

まず、GPT-3の適切な構成と背景について調べてみる。最終的なディープランニングモデルを訓練することはGPT-3の開発のいくつかのステップのいずれかに過ぎない。その前にAI開発者は、階層とパラメータを徐々に増加させなければし、彼らの目標に到達するまでの言語モデルの多くのハイパーパラメータを操作する必要がした。ただし、配列とその試行錯誤は、ニューラルネットワークが大きくなるほどますます高くなる。

これに対するOpenAIの正確な研究費は知ることができない。しかし、一部の専門家たちの推定によると、最終的なモデルの学習コストの1.5〜5倍程度とする。これは、研究開発費を1,150万ドル(約135億円)で、2,760万ドル(約324億円)の間、GPUのオーバーヘッドを増加させるものと思われる。また、去る6月OpenAIが発表した論文(参照)からGPT-3は、1750億パラメータとしてディープラーニングの限界まで推進されて微調整することなく、複数の自然言語処理のベンチマークで最先端の性能を達成したとし、「GPT-3 small」を含めて8つの言語モデルを発表した。これらのモデルを研究し、開発するコストは、この計算に含まれなかった。 

比較的多くの企業、機関は、開発者にニューラルネットワークを訓練する時間とコストを削減するために、事前に訓練されたバージョンのモデルを提供する。その後、モデルをロードして実行することができるサーバーまたはデバイスがあればされるが、これは最初からモデルを教育するよりも、コンピューティング集約度がはるかに低い。

しかし、GPT-3の場合、ニューラルネットワークの純粋サイズのためにそれを実行することは非常に難しい。去る6月に発表されたOpenAIの上の論文によると、GPT-3は、パラメータごとに16ビットの半分の高精度浮動小数点変数(half-precision floating-point variables)を使用する。つまり、モデルを積載して、適切な速度で推論を実行するためにのみ、最小350GBのVRAMが必要である。

これ例えるなら、これそれぞれ32GBのメモリを搭載し、少なくとも11個のテスラV100 GPUに対応する。GPUは個あたり約9,000ドル(約1千万ウォン)だ。これにより、GPUクラスタのコストが最小99,000ドル(約1163億円)でのRAM、CPU、SSDドライブ、電源装置の場合、数千ドルまで増加するだろう。ディープラーニングトレーニングと推論に特化した、NVIDIAのDGX-1サーバーが良い基準日である。約13万ドル(約1億5千万ウォン)のDGX-1は、VRAM(8×16GB)が不足するがGPT-3の安定した性能のための他のすべてのコンポーネントを備えている。

結論として2018年4月にニューヨーク・タイムズの報道によると、オープンAIは設立初期年度に合計1100万ドル(約129億円)の費用を書いこのうち700万ドル(約82億円)、従業員の給与と福利厚生に出て行った。2016年にオープンAIの従業員数は52人であった。現在オープンAIの正確な研究の数はわかりませんが、同様の背景のグーグルディープマインドの場合には、2018年に700人の従業員に年間4億8300万ドル(約5640億ウォン)以上を支払うしたという。オープンAIの今回のプランは、研究者の高い年俸とGPT-3の実行コストに起因したものと思われる。

また、OpenAIはますます強力になってパワフルな一連のAI技術を発表している。それに伴うAIの能力のためには、より多くの資金が必要である。その費用をカバーする最も確実な方法は、製品を生産し、その対価を補償されるものであり、GPT-3モデルが発売するまで、直接または間接的に関連するマイクロソフトの独占ライセンスを付与することと、この技術の商用化を加速するための最も積極的な方法を選択したと思われる。今OpenAIはAI研究所では、少なくとも部分的には、代表的なAIソリューション会社になりつつあるのだ。

タグ