2023年

4月

• transformersのAutoModelで独自クラスを使う

1月

• 【huggingface/datasets】複数のデータセットを組み合わせてサンプリングする
• 【Python】pre-commitを使ってコミット前にプログラムを自動検査する
• 【自然言語処理】フリーで使える大規模な日本語テキストコーパス

2022年

12月

• 【Python】Poetryを使ったパッケージ管理
• 【自然言語処理】A General Language Assistant as a Laboratory for Alignment【論文紹介】

2021年

10月

• 【書評】マッキンゼーが解き明かす 生き残るためのDX
• 【pybind11】サブモジュールごとにファイルを分割してPythonモジュールを作成する
• 【自然言語処理】spinモデルによる極性辞書の学習【論文紹介】

9月

• 【Deep Learning】BERT学習時にbiasやlayer normalizationをweight decayしない理由

2020年

12月

• 【自然言語処理】高速なニューラル機械翻訳実装CTranslate2【論文紹介】
• 【書評】Who You Are（フーユーアー）君の真の言葉と行動こそが困難を生き抜くチームをつくる

11月

• 【Python】MeCabのTaggerオブジェクトを持つ単語分割器をpickleで保存する方法
• 【自然言語処理】scikit-learnでtfidfとそれ以外の特徴量を組み合わせる
• 【Python】argparseの使い方 (入門編)

10月

• 【自然言語処理】文書分類に特化したPythonライブラリを作り始めました【プログラムほぼ不要で使えます】
• 【書評】シリコンバレー発 スキルの掛け算で年収が増える 複業の思考法
• 【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】

9月

• 【Python】YouTube APIから動画情報を取得
• 【書評】ジェームズ・クリアー式 複利で伸びる1つの習慣
• 【機械学習】学習データ作成作業を効率化する能動学習OSSまとめ
• 【自然言語処理】LSTMに基づく文書分類 (PyTorchコード付き)

8月

• 【NVIDIA直伝】あなたのPyTorchプログラムを高速化するかもしれないTips
• 【PyTorch】不要になった計算グラフを削除してメモリを節約
• 【書評】ワークマンは 商品を変えずに売り方を変えただけで なぜ2倍売れたのか
• 【C++】CMakeでGoogle Testをリンクできるようにする
• 【Python】Twitter APIを利用してツイートを検索（画像、いいね、リツイートの取得も）

7月

• 【無料でデータ収集】Herokuで収集したツイートをスプレッドシートに蓄積する
• 【自然言語処理】Scheduled samplingによるニューラル言語モデルの学習

5月

• 【自然言語処理】公開されているデータセットを簡単に使うライブラリ (nlp) の紹介
• 【自然言語処理】Kaggleコンペで利用されている文書分類のtips
• 【PyTorch】DataLoaderのミニバッチ化の仕組み

4月

• 【PyTorch】Version1.5でTPUを利用する方法
• 【Python】自作ライブラリのパッケージング方法
• 【Git】ブランチを作成して開発するときに使う便利な機能
• 【Python】zip, zip_longestの違い、同じ長さの入力を前提としたzip_longestの使用
• 【PyTorch】限られたメモリにおける大きなバッチサイズでの学習

3月

• 【機械学習】scikit-learnで学ぶstacking
• [Flask] Blueprintを使ったアプリ開発のテンプレート
• [自然言語処理] LSTMに基づく言語モデルの学習 (PyTorchコード付き)
• [Colab] Googleの無料GPU環境を使うための準備
• [PyTorch][自然言語処理] より少ないパディングでミニバッチ学習する方法
• [PyTorch] Datasetの読み込みにかかるメモリ消費量を節約する
• [Python] scikit-learnで学ぶパーセプトロンによる文書分類入門

2019年

10月

• [Python] Joblibのキャッシュを使って同じ計算を省略する

9月

• ニューラルネットの出力ベクトルを二値化して検索を高速化させる方法

2017年

7月

• Kaggle初参加記録

5月

• ゴールデンウィークの空き時間を使ってダブル配列を実装した

2016年

9月

• SWIGを使ってPythonラッパーを生成する
• Early updateは収束が保証される

8月

• AdaBoostからLarge Margin Distribution Machineの流れ

7月

• 平均化パーセプトロンの効率的な計算

1月

• N-best解の探索
• 行列式をLU分解で求める
• 大量のファイルをGoで高速に読み込む

2015年

12月

• grepでデータの重複を調べられる
• gitで指定したコミットIDの状態に戻す

8月

• 並列での学習アルゴリズムの追加

7月

• オンライン学習の実装いろいろ

6月

• Hugoに移行してみた

2月

• Dropoutの実装で気になって調べたこと

2014年

12月

• Question Answering Using Enhanced Lexical Semantic Models (ACL2013) を読んだ

11月

• PythonでElasticsearchを使うときのメモ
• 二つの集合に重複して現れる要素の数を数える
• mafが便利そう

10月

• Goで日本語の文書を前処理して分類器を学習するところまでやってみる
• AdaGrad+RDAをGoで書いた
• PA-IIをGoで書いた
• パーセプトロンをGoで書いた

5月

• Induced SortingをPythonで書いた

2月

• ジェフ・ベゾス 果てなき野望-アマゾンを創った無敵の奇才経営者

2013年

12月

• エッセイ Towards the Machine Comprehension of Text のメモ
• Penguins in Sweaters, or Serendipitous Entity Search on User-generated Content (CIKM2013)メモ

11月

• scikit-learnのソースコードリーディング（ナイーブベイズ分類）

9月

• 文書要約メモ（ACL2013）
• Diversity Maximization Under Matroid Constraints (KDD 2013)を読んだ

8月

• Active Sampling for Entity Matching (KDD 2012)を読んだ

7月

• It takes a long time to become young.

5月

• 食べログAPIのPythonラッパーを書いた

2月

• Robust Disambiguation of Named Entities in Text (EMNLP 2011)
• Joint Inference of Named Entity Recognition and Normalization for Tweets (ACL 2012)
• Named Entity Disambiguation in Streaming Data (ACL 2012)

2012年

12月

• Practical Machine Learning Tricks