Transformer・LLM · 比較・疑問解決
EncoderモデルとDecoderモデル
Encoder・Decoder・Encoder–Decoderを、参照範囲、出力の作り方、目的から比較し、並列性と生成の依存を区別します。
基礎から応用へSEARCH LAVACS
教材・体系ガイド・6図鑑・実験・比較記事を、同じ入口から検索できます。
10件・1 / 1ページ
Transformer・LLM · 比較・疑問解決
Encoder・Decoder・Encoder–Decoderを、参照範囲、出力の作り方、目的から比較し、並列性と生成の依存を区別します。
基礎から応用へTransformer・LLM · 概念・定理図鑑
未来の位置とpaddingを隠す二つの条件を分け、softmaxの前でマスクする理由とキャッシュ時の添字を確認します。
基礎から応用へTransformer・LLM · 概念・定理図鑑
入力と出力の長さ予算を計算し、切り詰め・検索・位置情報が文脈の利用へ与える影響を確認します。
基礎から応用へTransformer・LLM · 概念・定理図鑑
埋め込みの次元・距離・正規化を小さいベクトルで検算し、検索の近さと事実の正しさを区別します。
基礎から応用へTransformer・LLM · 概念・定理図鑑
内容の表現へ順序を与える方法を、sinusoidal位置表現と二次元回転の例から理解し、長文への外挿と区別します。
基礎から応用へTransformer・LLM · 概念・定理図鑑
文字・バイト・語とトークンの境界を区別し、ID、正規化、特殊トークンが長さや復号へ与える影響を確認します。
基礎から応用へTransformer・LLM · 実験・実装
因果条件とpadding条件を組み合わせ、禁止位置の重み0・行の合計1・KVオフセット・空行の扱いを実装で確認します。
基礎から応用へTransformer・LLM · 実験・実装
UTF-8と結合文字、明示した二つのmerge規則で、文字数・バイト数・トークン数の違いを再現します。
基礎から応用へTransformer・LLM · 体系ガイド
事前学習・微調整・生成を分け、prefillとdecode、KVキャッシュのメモリ費用を見積もる。
基礎から応用へTransformer・LLM · 体系ガイド
トークン化から注意重みまでを小さな例で追い、位置・マスク・計算量の役割を整理する。
基礎から応用へ