SEARCH LAVACS

教材と図鑑をまとめて探す

教材・体系ガイド・6図鑑・実験・比較記事を、同じ入口から検索できます。

10件・1 / 1ページ

Transformer・LLM · 比較・疑問解決

EncoderモデルとDecoderモデル

Encoder・Decoder・Encoder–Decoderを、参照範囲、出力の作り方、目的から比較し、並列性と生成の依存を区別します。

基礎から応用へ

Transformer・LLM · 概念・定理図鑑

Attentionマスク

未来の位置とpaddingを隠す二つの条件を分け、softmaxの前でマスクする理由とキャッシュ時の添字を確認します。

基礎から応用へ

Transformer・LLM · 概念・定理図鑑

コンテキストウィンドウ

入力と出力の長さ予算を計算し、切り詰め・検索・位置情報が文脈の利用へ与える影響を確認します。

基礎から応用へ

Transformer・LLM · 概念・定理図鑑

埋め込み空間

埋め込みの次元・距離・正規化を小さいベクトルで検算し、検索の近さと事実の正しさを区別します。

基礎から応用へ

Transformer・LLM · 概念・定理図鑑

位置表現

内容の表現へ順序を与える方法を、sinusoidal位置表現と二次元回転の例から理解し、長文への外挿と区別します。

基礎から応用へ

Transformer・LLM · 概念・定理図鑑

トークン

文字・バイト・語とトークンの境界を区別し、ID、正規化、特殊トークンが長さや復号へ与える影響を確認します。

基礎から応用へ

Transformer・LLM · 実験・実装

Attentionマスクを実装して確認する

因果条件とpadding条件を組み合わせ、禁止位置の重み0・行の合計1・KVオフセット・空行の扱いを実装で確認します。

基礎から応用へ

Transformer・LLM · 体系ガイド

トークン化・自己注意・Transformer

トークン化から注意重みまでを小さな例で追い、位置・マスク・計算量の役割を整理する。

基礎から応用へ