本記事ではhuggingfaceのtransformersAutoModelを使って独自クラスを利用する方法を紹介します。 transformersはAutoModelによって、事前学習済みモデルがどのモデルの実装なのかを意識せずに利用できます。 たとえばモデルのアーキテクチャや事前学習済みのパラメータを変えて実験をするプログラムははモデル名をmodel_name_or_pathとした場合 model = AutoModel.from_pretrained(model_name_or_path) とだけ記述すれば事前学習済みパラメータで初期化されたモデルを読み込めます。 このAutoModelで独自クラスを利用できればtransformersで実装されている他のモデルと同様に利用が容易になります。

続きを読む

本記事はhuggingfaceのdatasetsを利用してサンプリングの割合を考慮しながら複数のデータセットを混ぜて扱う方法を紹介します。 紹介する方法を知っておくと、例えば言語モデルの事前学習など、複数のテキストコーパスを組み合わせて利用する際に便利です。

続きを読む

プロフィール画像

Takuya Makino

自然言語処理の研究開発に従事しています。自然言語処理に関する研究から製品化に向けた開発に興味を持っています。本ブログでは自然言語処理、機械学習、プログラミング、日々の生活について扱います。詳細はプロフィールを御覧ください。

自然言語処理の研究開発に従事

Kanagawa, Japan