Blog
Thoughts on blockchain, Web3, cloud technologies, and software engineering.
拡散モデル（DDPM）をゼロから実装して理解する
Denoising Diffusion Probabilistic Model を単一ファイルで実装し、画像生成の仕組みを理論から実装まで深掘りする。ノイズスケジュール、U-Net アーキテクチャ、そして Stable Diffusion への発展まで解説
GPT-2 miniでスケーリング則を観測する - 理論から実装、そして産業応用まで
自作のGPT-2 miniで複数のモデルサイズを学習し、パラメータ数とLossの関係（スケーリング則）を実験で確認する。理論的背景から実装詳細、結果の分析、そして実務への示唆まで深掘りする
LLMの頭の中を覗く — GPT-2 miniで見る「次の文字予測」の仕組み
自作GPT-2 miniの生成過程を可視化し、モデルがどのように確率分布を計算して次の文字を選んでいるか、Temperatureがどう影響するかを観測する
自作ハイパーバイザーで Linux カーネルを起動した - macOS Hypervisor.framework で本物の OS を動かす
macOS の Hypervisor.framework を使って自作したハイパーバイザー上で、Linux 6.6 カーネルを起動することに成功。UART 経由で起動ログを出力し、タイマーやメモリ管理が動作していることを確認した。ハイパーバイザー開発における技術的な課題と解決策を詳しく解説する。
自作GPT-2 miniを動かして気づいた - これがClaudeのご先祖様
400行のPythonコードで実装したGPT-2 miniが文章を生成する瞬間、現代のLLMとの繋がりを実感した
GPT-2 miniを自作して学ぶTransformerの仕組み - 壊して観測して理解する
nn.Transformerを使わずにAttention、MLP、LayerNorm、Residualを自前で実装し、各コンポーネントを無効化する実験を通じてTransformerがなぜ動くのかを理解する
Apple Silicon ハイパーバイザーに Device Tree 生成を実装 - Linux ブートに向けた準備
macOS Hypervisor.framework を使った ARM64 ハイパーバイザーに Device Tree（FDT）生成機能を実装。vm-fdt crate を使って CPU、メモリ、UART の情報を持つバイナリを生成し、Linux カーネルブートの準備を完了。
Apple Silicon ハイパーバイザー：Linux カーネルローダーの実装（Week 4）
macOS Hypervisor.framework を使った ARM64 ハイパーバイザーの実装記録。Week 4 では Linux カーネルローダーと boot_linux() メソッドを実装し、バイトレベルメモリ操作の課題を解決しました。
VirtIO Block デバイスの MMIO レジスタ実装（Phase 2 Week 2）
Apple Silicon ハイパーバイザープロジェクト Phase 2 Week 2。VirtIO 1.2 仕様に基づいた Block デバイスの MMIO レジスタを実装し、ゲスト OS がデバイスを検出できるようにしました。
Apple Silicon ハイパーバイザー Week 5: VirtIO VirtQueue 実装
VirtIO 1.2 仕様に基づいた Split Virtqueues の実装。ドライバーとデバイス間のデータ転送用リングバッファの詳細解説。