BLOG

シンラボメンバーのあれこれ

  1. HOME
  2. ブログ
  3. 代表通信
  4. 代表通信~Hugging Faceすげーぞの話

代表通信~Hugging Faceすげーぞの話

こんばんは。代表の草場です。

自然言語処理分野において、Hugging Faceがすげーす。ミッションは以下の感じ。
「私たちは、すべての人のためにNLPを進化させ、民主化するための旅に出ています。その過程で、より良い技術の開発に貢献しています。」
GitHubもめちゃ充実しています。最近は何といってもTransformerです。
Transformerは、以下のようなNLU/NLGアーキテクチャを提供しています。大量だ。

1.BERTは、「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」でリリース。
2.GPTは「Improving Language Understanding by Generative Pre-Training」とともにリリース。
3.GPT-2は「Language Models are Unsupervised Multitask Learners」が公開
4.Transformer-XLは「Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context 」がリリース。
5.XLNetは「 ​XLNet: Generalized Autoregressive Pretraining for Language Understanding 」でリリースさ
6.XLM は、「 Cross-lingual Language Model Pretraining」の論文と共にリリース。
。。。。。以下続く。。すげーぞ。そして最後に以下のメッセージです。
「新しいモデルを投稿してみませんか?新しいモデルを追加するプロセスの詳細なガイドとテンプレートを追加しました。これらはテンプレートにあります。」

これが中島さんが言っていた、オープンソースへの貢献ですね。提案してみよう、貢献してみよう。

明日もHugging Face

関連記事