本記事ではhuggingfaceのtransformersのAutoModelを使って独自クラスを利用する方法を紹介します。 transformersはAutoModelによって、事前学習済みモデルがどのモデルの実装なのかを意識せずに利用できます。 たとえばモデルのアーキテクチャや事前学習済みのパラメータを変えて実験をするプログラムははモデル名をmodel_name_or_pathとした場合 model = AutoModel.from_pretrained(model_name_or_path) とだけ記述すれば事前学習済みパラメータで初期化されたモデルを読み込めます。 このAutoModelで独自クラスを利用できればtransformersで実装されている他のモデルと同様に利用が容易になります。

続きを読む

本記事はhuggingfaceのdatasetsを利用してサンプリングの割合を考慮しながら複数のデータセットを混ぜて扱う方法を紹介します。 紹介する方法を知っておくと、例えば言語モデルの事前学習など、複数のテキストコーパスを組み合わせて利用する際に便利です。

続きを読む

本記事ではpre-commitを使ってコミット前にPythonプログラムを自動検査する方法を紹介します。 モジュールのインポート順序や行あたりの文字数を始め、人が意識せずに標準化したいルールは多くあります。 このようなルールをコミット前に自動で検査・修正することでより簡単にきれいなプログラム開発を進められます。

続きを読む

日本語を対象とした事前学習済みモデルの多くがこの記事で紹介するデータを利用して事前学習されています。 この記事ではそれらのデータがどのように構築されたかをまとめます。

続きを読む

以前setup.pyを使って自作パッケージをライブラリ化する記事を書きました。 setup.pyを代替するツールにPoetryというものがあります。 Poetryを使うことでパッケージが依存するライブラリの依存関係を自動で解消してくれます。 本記事ではPoetryの基本的な利用方法についてまとめました。

続きを読む

ChatGPTによる出力テキストが多くの人の期待を超え、驚愕しています。 その背景には人の評価を模倣する報酬モデルを利用した強化学習の発展があります。 この論文は人の好みに合うテキストを生成するための各種アプローチに対する評価を行なっており、なぜこのようなアプローチが取られているのか？という疑問の一つの答えになるのではないかと思います。

続きを読む

本記事では【マッキンゼーが解き明かす 生き残るためのDX】について書評します。 ここ数年で話題となっているデジタル・トランスフォーメーション (DX) ですが、実際にどういう事を言うのか？ 言葉は広まっているけど実際にどういう実例があるのか？といった点に興味を持ったので本書を読みました。 本書では様々な業種での実例を上げるとともに、DXをWhy、What、Howに分解して解説しています。 本書を読むことでDXの概要を理解できます。

続きを読む