代表通信～Hugging Faceすげーぞの話
こんばんは。代表の草場です。
自然言語処理分野において、Hugging Faceがすげーす。ミッションは以下の感じ。
「私たちは、すべての人のためにNLPを進化させ、民主化するための旅に出ています。その過程で、より良い技術の開発に貢献しています。」
GitHubもめちゃ充実しています。最近は何といってもTransformerです。
Transformerは、以下のようなNLU/NLGアーキテクチャを提供しています。大量だ。
１．BERTは、「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」でリリース。
２．GPTは「Improving Language Understanding by Generative Pre-Training」とともにリリース。
３．GPT-2は「Language Models are Unsupervised Multitask Learners」が公開
４．Transformer-XLは「Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 」がリリース。
５．XLNetは「 XLNet: Generalized Autoregressive Pretraining for Language Understanding 」でリリースさ
６．XLM は、「 Cross-lingual Language Model Pretraining」の論文と共にリリース。
。。。。。以下続く。。すげーぞ。そして最後に以下のメッセージです。
「新しいモデルを投稿してみませんか？新しいモデルを追加するプロセスの詳細なガイドとテンプレートを追加しました。これらはテンプレートにあります。」
これが中島さんが言っていた、オープンソースへの貢献ですね。提案してみよう、貢献してみよう。
明日もHugging Face
EVENTS
