語彙数の壁：Claudeの小さなトークナイザー

報道によると、Claudeの現行トークナイザーの語彙数は約1万5000程度で、語彙数を増やす業界のトレンドとは逆行している。Anthropicが最終softmax層のボトルネックを回避しようとしているとの見方があり、この選択はモデルの訓練効率や挙動に影響を与える可能性がある。