知人に 大規模言語モデルが数式は正しいのに、計算結果をよく間違える理由 を尋ねられました。せっかくなので、少し面白く解説してみます。 例えば、簡単な足し算「10+21」をLLMは計算してくれるのか?これはできますね。2の平方根「sqrt(2)」をLLMは計算してくれるのか?これもできます。もう少し複雑な計算、例えば対数の入った多少複雑な陰関数を与えてみましょう。数式は特に重要ではないので読み飛ばしてください。 d(p, q) = p*log(p/q) + (1-p)*log( (1-p)/(1-q) )とします。また、d*(p,q) = d(mu, q)として、mu in (p,q)をd(mu, q) = d(mu, p)となる値とします。このとき、d*(0.1, 0.3)を計算してください ChatGPTはscipyプログラムを書いて正しく計算してしまうので、そういうギミックがないDee
