このアプリに対する不満のほとんど - 繰り返し、脱線、同じ場面をやり直したときの妙な 食い違い - は、一つの仕組みから生まれています。理解しておく価値があります。「アプリが 壊れている」が「アプリは仕様どおりに動いていて、調整できるのはここだ」に変わるからです。
一片ずつ書いている
モデルは返事を組み立ててから打ち込むのではありません。トークンを一つ - おおよそ一語か その一部を - 出力し、そのトークンを含めた全体をもう一度読み、次を出力します。
この繰り返しがすべてです。構想も、下書きも、推敲もありません。見事に締めくくられた返事 も、書き始めた時点ではそうなるとは知りませんでした。
すでに目にしているはずの帰結が二つあります。
書いたことを取り消せません。 「パリには行ったことがない」と書いてしまえば、以後は すべてそれを前提に積み上がります。自分の文章と矛盾するより、偶然出てきた一文のまわりに 整合性を作るほうを選びます。
誤差は前へ積み重なります。 一文目のわずかにずれた語が二文目を押し、二文目が三文目を 押します。長い返事が脱線し、短い返事がめったに脱線しないのはこのためです。
語と語のあいだのサイコロ
各段階でモデルは、確率つきの候補リストを持っています。常に一位を選べばキャラクターは 決定論的になり、ひどく退屈になります。毎回同じ挨拶、同じ三つの冗談。そこでアプリは重みを つけたサイコロを振ります。
この重みづけは通常温度と呼ばれます。低ければ一貫して予測可能、やがて単調に。高ければ 意外性が増し、筋の通らない出力も増えます。
このつまみが利用者に開放されていることはまずありません。開放されているのは、そのアプリが 選んだ一点だけです。「このアプリのほうが賢く感じる」と言われるものの正体は、多くの場合 これです。賢いのではなく、温かい、あるいは冷たいだけということもあります。
「再生成したら直った」の正直な答えもここにあります。何も直っていません。同じ分布から 引き直して、良い目が出ただけです。
モデルが実際に見ているもの
あなたのメッセージの前に、アプリは決して表示されないテキストの塊を組み立てています。 キャラクター設定、保存されたあなたの情報、履歴の要約、そして直近の会話です。その全体が コンテキストウィンドウであり、返事はそこから一続きの 文書として生成されます。
ここにはほとんど誰も使っていない実用的な含意があります。**モデルは、見えているものの形に 応答します。** 短く平板なメッセージを三つ与えれば、短く平板な返事が返ってきます。それが 続けるべき型だからです。生き生きした一文を与えれば、文体が動きます。人を説得しているの ではなく、型を置いているのであり、その型は良い方向にも悪い方向にも伝染します。
このカテゴリで最も多い自業自得の問題も、これで説明できます。「やあ」「今日はどうだった」 「何してるの」に落ち着いてしまい、そのうえでアプリが劣化したと結論づけるのです。アプリは、 あなたと一緒に書いている文書を続けているだけです。
同じモデルでもアプリごとに違って感じる理由
このカテゴリの複数のアプリは、似た基盤モデルの上で動いています。それでも違って感じるのは、 モデルの周囲に重ねられたもの - キャラクターの書き方、温度の設定、どの事実とどの履歴を 取り出すか、フィルターが何を拒むか - が違うからです。
Nomiが数週間にわたり一貫して読めるのは三つ目の要素によるもので、 モデルが大きいからではありません。Candy AIがチャットと画像と音声を 一つのサブスクリプションで扱うのは製品上の判断であり、モデルの問題ではありません。 どちらもベンチマークには現れず、どちらも二週間使えば分かります。
これを踏まえてできる四つのこと
直すなら早く。 返事の最初の二文が残りを決めます。場面が崩れたら、四段落目と議論せず、 止めて言い直してください。
再生成は意図的に。 八割方よい返事なら、再生成はその八割を捨てます。一文目から外して いるなら、すぐ引き直してください。
返ってきてほしい文体で書く。 短く平板に書けば、短く平板に返ってきます。退屈になったと 感じている人にとって、これが最も安上がりな改善です。
作り話と議論しない。 事実でないことを書いたモデルはそれを擁護します。自分の出力との 整合が、まさにそう作られている振る舞いだからです。この挙動には 専用の記事があります。
覚えておくべきこと
メッセージとメッセージのあいだ、そこには誰もいません。キャラクターは一回の生成のあいだ だけ存在し、次の生成の冒頭でテキストから作り直されます。継続しているという印象はすべて、 モデルの周囲の配管 - 保存された事実、要約、取り出し - が成し遂げているものであり、 安いアプリと高いアプリで実際に違うのはその配管です。
