Posts

ダイエット中にフライドチキンを我慢できない理由は？私たちの頭の中には「考える自分」と「感じる自分」の二人が同時に住んでいる。1999年のPacini & Epsteinの研究から、この二つのシステムを探る。

マズローの欲求段階を進化心理学で再構成したKenrickのモデル、そしてデジタルサービスが私たちの進化的欲求をどう刺激しているかについて。

ウリ・アロンは生きた細胞を、技術者が回路を読むように読む。講義もノートも演習も、すべて無料だ。このシリーズを開くにあたり、入手先をまとめる。

ニューラルネットをより小さく速くする話（数値表現、量子化、枝刈りなど）は、会社ブログで連載しています。どこへ行けばよいかを案内します。

ある男は、言語は報酬と習慣の問題だと主張して、有名に敗れた。そして半世紀後、私たちに話しかけてくる機械は、まさにその報酬で訓練されている。

LLMがすでに知っていることを活用しよう。Attention Mapから文書関連性シグナルを抽出し、文章を再ランキングする実験と関連論文をまとめます。

Framework論文を読む、最終回。この論文が誰の肩の上に立っているのか、既存のアプローチと何が違うのかを整理する。

Framework論文を読む、第6回。このフレームワークが確保したものと、できなかったもの。MLPという壁、そしてこの論文が予告する次の研究たち。

Framework論文を読む、第5回。層が二つになるとヘッドがヘッドと合成される。Q-、K-、V-合成の三種類、そしてこの論文最大の発見である誘導ヘッドの仕組み。

Framework論文を読む、第4回。アテンション1層のモデルを経路展開で完全に開く。スキップトライグラム、コピーヘッドと正の固有値、そして分解構造が生む特有のバグまで。