AI基盤へ進む
AIの計算・数学・モデル・実行基盤を学ぶ
メモリ・CPU・OSを学んでから、線形代数、確率、微分と最適化へ進みます。ニューラルネットワーク、Transformer、推論処理、RAGと評価まで扱います。
AIを動かす計算機や、検索・推論の性能に関心がある方
推論や検索の待ち時間を、どこから考えればよいのか?
学習範囲と終了地点
このコースの主教材はすべて公開済みです。下の順番で最後まで学習できます。
- ステップ
- 23
- 主教材
- 23本
- 確認問題
- 66問
このコースで説明できるようになること
- 線形代数・確率・微分を使って、損失関数、学習、ニューラルネットワークの計算を説明する。
- Transformerの推論とメモリ使用量、バッチ処理、RAGの検索と評価を説明する。
23ステップ中0ステップ完了
学習を始める →コースの内容を実装で確かめる
実験で確かめた規則を短い関数にし、テストで動きを確かめます。
学ぶ順番
1番目これから ソースコードから実行中のプログラムまで
学習目標:ソースコードがコンパイラ・インタプリタ・ランタイムを経て実行されるまでの境界を説明できる。
2番目これから 計算量と実測性能
学習目標:O・Ω・Θ記法を用いて時間計算量と空間計算量を導出し、入力サイズに対する増え方を説明できる。
3番目これから メモリ・ポインタ・参照・ライフタイム
学習目標:スタック、ヒープ、アドレス、ポインタ、参照を用いて実行中のメモリ状態を図示できる。
4番目これから CPU・命令サイクル・パイプライン
学習目標:命令フェッチ、デコード、実行、メモリアクセス、書き戻しの流れを追跡できる。
図鑑で仕組みを補う
5番目これから キャッシュとメモリ階層
学習目標:レジスタ、キャッシュ、主記憶、ストレージからなるメモリ階層と、局所性が必要な理由を説明できる。
図鑑で仕組みを補う
6番目これから 仮想記憶・ページテーブル・TLB
学習目標:仮想アドレスをページ番号とオフセットへ分解し、ページテーブルとTLBを通じた物理アドレス変換を追跡できる。
図鑑で仕組みを補う
7番目これから インターリーブ・競合状態・原子性
学習目標:複数スレッドの実行順序を列挙し、共有状態に対する競合状態と失われた更新を検出できる。
図鑑で仕組みを補う
8番目これから ベクトル・行列・線形写像
学習目標:ベクトル、行列、線形結合、基底を用いて多次元データと線形変換を表現できる。
9番目これから 固有値・直交射影・行列分解
学習目標:固有値と固有ベクトルを、変換しても方向が保たれる構造として説明できる。
図鑑で仕組みを補う
10番目これから 条件付き確率・確率変数・分布
学習目標:標本空間、事象、条件付き確率、独立性を用いて不確実な現象をモデル化できる。
図鑑で仕組みを補う
11番目これから 標本・推定・検定・評価
学習目標:母集団と標本、推定量、尤度、バイアス、分散の関係を説明できる。
12番目これから 微分・偏微分・勾配・連鎖律
学習目標:導関数、偏導関数、勾配を変化率として解釈し、単変数・多変数関数について計算できる。
図鑑で仕組みを補う
13番目これから 凸性・目的関数・勾配降下法
学習目標:目的関数、制約、局所解、最適解、凸性を用いて最適化問題を定式化できる。
図鑑で仕組みを補う
14番目これから 教師あり学習・モデル・損失関数
学習目標:特徴量、正解ラベル、モデル、損失関数、経験リスクを用いて教師あり学習を定式化できる。
15番目これから 汎化・過学習・評価指標
学習目標:訓練誤差と汎化誤差の違いを説明し、過学習・未学習・バイアス・分散を区別できる。
図鑑で仕組みを補う
16番目これから 特徴表現・次元削減・クラスタリング
学習目標:特徴設計と表現学習が距離・類似度・予測性能へ与える影響を説明できる。
図鑑で仕組みを補う
17番目これから ニューラルネットワーク・計算グラフ・誤差逆伝播
学習目標:ニューロン、層、活性化関数、計算グラフを用いて順伝播の計算を説明できる。
18番目これから 深層学習の最適化と主要アーキテクチャ
学習目標:SGD、Momentum、Adam、正規化の更新規則と役割を比較できる。
図鑑で仕組みを補う
19番目これから トークン化・自己注意・Transformer
学習目標:テキストがトークン、埋め込み、位置情報へ変換され、Transformerブロックを通る流れを説明できる。
20番目これから 事前学習・微調整・生成・KVキャッシュ
学習目標:次トークン予測による事前学習、指示調整、推論時デコードの違いを説明できる。
21番目これから GPU実行・メモリ帯域・バッチング・並列化
学習目標:GPU、Tensor Core、カーネル、メモリ帯域がモデル推論の処理時間を決める仕組みを説明できる。
図鑑で仕組みを補う
22番目これから ベクトル検索・チャンク分割・RAG
学習目標:文書取込み、チャンク分割、埋め込み、索引、検索、再ランキング、生成からなるRAGパイプラインを説明できる。
23番目これから LLM評価・可観測性・セキュリティ
学習目標:オフライン評価、オンライン評価、トレース、品質指標を組み合わせ、LLMシステムの失敗を観測できる。
図鑑で仕組みを補う
進捗は言語ごとにこのブラウザへ保存されます。気になるステップから読んでもかまいません。