才能は祝福か、それとも罠か。短い報酬サイクルに慣らされた才能が、いかにして長期的努力を妨害するかを分析し、根性と呼ばれるものの底にある二つのエンジン — 嗜好と欠乏 — を覗き込む。
人工生命と一般システム理論
学部生の頃、『一般システム理論』を究極の設計原理だと思って開いたら、出てきたのは生物学だった。半世紀前、ベルタランフィは「生命は物質ではなく組織だ」と言い、レニアはそれをコンピュータ上で証明する。
ゲノムから得られる個人情報
Y染色体と姓は、どちらも父系で受け継がれる。このたった一つの事実だけで「匿名」ゲノムから実名を復元できることを示した2013年のScience論文の話。
ReLUネットワークは巨大な区分アフィン関数である
ReLU活性化を使うネットワークは、実は入力空間を多面体の断片に分割し、各断片の上でちょうど一つのアフィン写像に崩れる。この視点をニューロン一つからインタラクティブデモまで積み上げて解説する。
重みを共有してモデルを小さくする — K-Meansベース量子化
ニューラルネットの重みをK-Meansで少数の代表値にまとめると、精度をほとんど落とさずにモデルを数倍小さくできる。クラスタが収束する様子とストレージが縮む様子を実際に動かせるインタラクティブなウィジェットと共に見ていく。(Deep Compression, Han et al. 2016)
整数演算だけでニューラルネットを推論する — Linear Quantization
重みを整数で保存するだけでなく、乗算・加算まで全部整数演算で推論する方法。アフィン写像 r = S(q − Z) で実数と整数をつなぎ、scaleとzero pointを直接変えながら量子化誤差を確認できるウィジェットと共に見ていく。(Jacob et al. 2018、TFLite整数量子化の基盤)
ディープラーニング時代のデータ型
INT8, FP16, BF16, FP8, FP4 — ディープラーニングで頻出するデータ型が実際に何を意味し、ビットがどう数値に解釈されるのかを一つずつ分解する。ビットを直接クリックすると計算式と値がリアルタイムで変わるウィジェット付き。
AWS DCVで韓国語IME（kime）を設定する
AWS DCVリモートデスクトップでkime韓国語IMEが一文字だけ入力されて英語に戻る問題を解決した記録です。
死んだ敵を再び撃つ：学界のゾンビ論争はなぜ繰り返されるのか
すでに終わった論争を蒸し返す理由、そしてそれを批判するこの記事自体のアイロニー
runpod-log — RunPodログビューアーCLI
RunPod GPU Podのログを取得し、リアルタイムで監視できるCLIツールを作りました。