OpenAI新モデルAstra、数学は好成績も過剰評価との指摘

OpenAIの新モデルAstraは数学のベンチマークで優れた成績を示したとされるが、Gary Marcus氏は「合成の誤謬」を指摘する：ある種の数学が得意でも、科学や一般的な認知能力全般に強いとは限らない。数学が突破口になりやすいのは、記号的に検証可能で合成データを安価に大量生成できるためであり、オープンワールドの問題ではそうはいかない。OpenAIは手法の詳細を公表しておらず、実際の意義は現時点で評価できない。