AI基盤へ進む

AIの計算・数学・モデル・実行基盤を学ぶ

メモリ・CPU・OSを学んでから、線形代数、確率、微分と最適化へ進みます。ニューラルネットワーク、Transformer、推論処理、RAGと評価まで扱います。

AIを動かす計算機や、検索・推論の性能に関心がある方

推論や検索の待ち時間を、どこから考えればよいのか?

学習範囲と終了地点

このコースの主教材はすべて公開済みです。下の順番で最後まで学習できます。

ステップ
23
主教材
23本
確認問題
66問

このコースで説明できるようになること

  • 線形代数・確率・微分を使って、損失関数、学習、ニューラルネットワークの計算を説明する。
  • Transformerの推論とメモリ使用量、バッチ処理、RAGの検索と評価を説明する。

最後の主教材:LLM評価・可観測性・セキュリティ

各ステップの主教材を読了にし、確認問題がある場合は全問に正解すると完了です。補足記事と実験は任意です。

最後のステップを見る ↓

23ステップ中0ステップ完了

学習を始める →

コースの内容を実装で確かめる

実験で確かめた規則を短い関数にし、テストで動きを確かめます。

学ぶ順番

  1. 1番目これから

    ソースコードから実行中のプログラムまで

    学習目標:ソースコードがコンパイラ・インタプリタ・ランタイムを経て実行されるまでの境界を説明できる。

    主教材:ソースコードから実行中のプログラムまで →

  2. 2番目これから

    計算量と実測性能

    学習目標:O・Ω・Θ記法を用いて時間計算量と空間計算量を導出し、入力サイズに対する増え方を説明できる。

    主教材:計算量と実測性能 →

    図鑑で仕組みを補う
  3. 3番目これから

    メモリ・ポインタ・参照・ライフタイム

    学習目標:スタック、ヒープ、アドレス、ポインタ、参照を用いて実行中のメモリ状態を図示できる。

    主教材:メモリ・ポインタ・参照・ライフタイム →

    図鑑で仕組みを補う
  4. 4番目これから

    CPU・命令サイクル・パイプライン

    学習目標:命令フェッチ、デコード、実行、メモリアクセス、書き戻しの流れを追跡できる。

    主教材:CPU・命令サイクル・パイプライン →

    図鑑で仕組みを補う
  5. 5番目これから

    キャッシュとメモリ階層

    学習目標:レジスタ、キャッシュ、主記憶、ストレージからなるメモリ階層と、局所性が必要な理由を説明できる。

    主教材:キャッシュとメモリ階層 →

    図鑑で仕組みを補う
  6. 6番目これから

    仮想記憶・ページテーブル・TLB

    学習目標:仮想アドレスをページ番号とオフセットへ分解し、ページテーブルとTLBを通じた物理アドレス変換を追跡できる。

    主教材:仮想記憶・ページテーブル・TLB →

    図鑑で仕組みを補う
  7. 7番目これから

    インターリーブ・競合状態・原子性

    学習目標:複数スレッドの実行順序を列挙し、共有状態に対する競合状態と失われた更新を検出できる。

    主教材:インターリーブ・競合状態・原子性 →

    図鑑で仕組みを補う
  8. 8番目これから

    ベクトル・行列・線形写像

    学習目標:ベクトル、行列、線形結合、基底を用いて多次元データと線形変換を表現できる。

    主教材:ベクトル・行列・線形写像:変換を列から読む →

  9. 9番目これから

    固有値・直交射影・行列分解

    学習目標:固有値と固有ベクトルを、変換しても方向が保たれる構造として説明できる。

    主教材:固有値・直交射影・行列分解 →

    図鑑で仕組みを補う
  10. 10番目これから

    条件付き確率・確率変数・分布

    学習目標:標本空間、事象、条件付き確率、独立性を用いて不確実な現象をモデル化できる。

    主教材:確率変数と分布:平均だけでは分からない振る舞い →

    図鑑で仕組みを補う
  11. 11番目これから

    標本・推定・検定・評価

    学習目標:母集団と標本、推定量、尤度、バイアス、分散の関係を説明できる。

    主教材:標本・推定・検定・評価 →

    図鑑で仕組みを補う
  12. 12番目これから

    微分・偏微分・勾配・連鎖律

    学習目標:導関数、偏導関数、勾配を変化率として解釈し、単変数・多変数関数について計算できる。

    主教材:微分と勾配:変化を局所的に読む →

    図鑑で仕組みを補う
  13. 13番目これから

    凸性・目的関数・勾配降下法

    学習目標:目的関数、制約、局所解、最適解、凸性を用いて最適化問題を定式化できる。

    主教材:勾配降下法:更新幅と収束を二次関数で確かめる →

    図鑑で仕組みを補う
  14. 14番目これから

    教師あり学習・モデル・損失関数

    学習目標:特徴量、正解ラベル、モデル、損失関数、経験リスクを用いて教師あり学習を定式化できる。

    主教材:教師あり学習・モデル・損失関数 →

    図鑑で仕組みを補う
  15. 15番目これから

    汎化・過学習・評価指標

    学習目標:訓練誤差と汎化誤差の違いを説明し、過学習・未学習・バイアス・分散を区別できる。

    主教材:汎化・過学習・評価指標 →

    図鑑で仕組みを補う
  16. 16番目これから

    特徴表現・次元削減・クラスタリング

    学習目標:特徴設計と表現学習が距離・類似度・予測性能へ与える影響を説明できる。

    主教材:特徴表現・次元削減・クラスタリング →

    図鑑で仕組みを補う
  17. 17番目これから

    ニューラルネットワーク・計算グラフ・誤差逆伝播

    学習目標:ニューロン、層、活性化関数、計算グラフを用いて順伝播の計算を説明できる。

    主教材:ニューラルネットワーク・計算グラフ・誤差逆伝播 →

  18. 18番目これから

    深層学習の最適化と主要アーキテクチャ

    学習目標:SGD、Momentum、Adam、正規化の更新規則と役割を比較できる。

    主教材:深層学習の最適化と主要アーキテクチャ →

    図鑑で仕組みを補う
  19. 19番目これから

    トークン化・自己注意・Transformer

    学習目標:テキストがトークン、埋め込み、位置情報へ変換され、Transformerブロックを通る流れを説明できる。

    主教材:トークン化・自己注意・Transformer →

    図鑑で仕組みを補う
  20. 20番目これから

    事前学習・微調整・生成・KVキャッシュ

    学習目標:次トークン予測による事前学習、指示調整、推論時デコードの違いを説明できる。

    主教材:事前学習・微調整・生成・KVキャッシュ →

    図鑑で仕組みを補う
  21. 21番目これから

    GPU実行・メモリ帯域・バッチング・並列化

    学習目標:GPU、Tensor Core、カーネル、メモリ帯域がモデル推論の処理時間を決める仕組みを説明できる。

    主教材:GPU実行・メモリ帯域・バッチング・並列化 →

    図鑑で仕組みを補う
  22. 22番目これから

    ベクトル検索・チャンク分割・RAG

    学習目標:文書取込み、チャンク分割、埋め込み、索引、検索、再ランキング、生成からなるRAGパイプラインを説明できる。

    主教材:ベクトル検索・チャンク分割・RAG →

    図鑑で仕組みを補う
  23. 23番目これから

    LLM評価・可観測性・セキュリティ

    学習目標:オフライン評価、オンライン評価、トレース、品質指標を組み合わせ、LLMシステムの失敗を観測できる。

    主教材:LLM評価・可観測性・セキュリティ →

    図鑑で仕組みを補う

進捗は言語ごとにこのブラウザへ保存されます。気になるステップから読んでもかまいません。