OpenAI、革新的なAI自然言語処理(NLP)モデル」GPT-3 を公開

最近、人工知能(AI)自然言語処理(NLP)で話題になっているプラ​​ットフォームで、Googleの双方向言語モデルのバート(Bert)、OpenAIの一方向言語モデルGPT-2、機械ニューラルネットワーク翻訳(Transformer)モデルなどがある。

OpenAIが新しい強力な言語モデル」GPT-3(Generative Pre-Training 3)」をアーカイブ(arXiv)を介して公開した。これは昨年の初めに公開した小説書く人工知能「GPT-2」よりもはるかに大きく、革新的なバージョンに進化したモデルである。

このモデルは、4990億のデータセットの中から、重みサンプリングして3000億(300B)本構成のデータセットに事前学習を受けており、1750億個(175Billion)パラメータとしてディープラーニングの限界まで推進されて微調整することなく、複数の自然言語処理のベンチマークで最先端の性能を達成した。発表された内容であれば、わずか数個のキーワードのみ入れると作文を作成する革新的なAIの言語生成モデルであり、アルゴリズムである。

OpenAI研究チーム(31人の共著者)は、なんと74ページの研究論文(Language Models are Few-Shot Learners)を介して、このモデルのためにいくつかの機能と実験について説明した。研究の目的は、微調整がほとんど、あるいはさまざまな操作でも実行されているNLPシステムを実装することを目的としており、モデルは、独自の教師あり学習(self-supervised learning)を使用して、共通のクロールデータセット(表示)と英語版ウィキペディアを含む、さまざまなデータ・セットを適用した。 

特に、ニュース記事の作成作業でモデルを評価するために、研究チームは、クラウドソーシングプラットフォームであるアマゾンメカニカルターク(Amazon Mechanical Turk)を使用した。GPT-3は、ヒト、評価者が、人間が作成した記事と区別するのは難しいのニュース記事のサンプルを生成することができるとする。

モデルはトランス(Transformer)、アテンション(Attention)などの標準的な概念と、一般的なコモンクロール(Common Crawl)、ウィキペディア(Wikipedia)、書籍、およびいくつかの追加のデータ・ソースを使用して構築される。さまざまな作業にGPT-3モデルを使用するためにグラデーション(Gradient)/パラメータの更新(微調整)を行う必要がない。自然言語を使用してモデルと対話したり、実行するタスクの例を提供するモデルが行うことができる。

タスク別モデルのアーキテクチャを必要としないだけでなく、大規模なカスタムアクション固有のデータセットを必要としない概念は、最先端NLPのアクセシビリティを高める方向に進む大きなステップでGPT-3は、単語予測、常識推論のような多くのNLPの作業で優れた性能を提供することを提供する。

一方、OpenAIは訓練されたモデルまたは完全なコードは公開しなかったが、モデルによって生成されたテキストサンプル収集だけでなく、いくつかのテストデータセットを含む内容は、Github(ダウンロード)に公開しており、関連する研究論文(Language Models are Few-Shot Learners)は1日アーカイブ(ダウンロード)に公開された。さて、記者もすぐにAIと交換される日が遠くないようだ。人工知能者言語処理がどのように進化するか、また、その影響は、私たちのすべてにどのように波及するか見守ることは興味深いと思われる。

タグ