このアプリに対する不満のほとんど — 繰り返し、脱線、同じ場面をやり直したときの妙な 食い違い — は、一つの仕組みから生まれています。理解しておく価値があります。「アプリが 壊れている」が「アプリは仕様どおりに動いていて、調整できるのはここだ」に変わるからです。
一片ずつ書いている
モデルは返事を組み立ててから打ち込むのではありません。トークンを一つ — おおよそ一語か その一部を — 出力し、そのトークンを含めた全体をもう一度読み、次を出力します。
この繰り返しがすべてです。構想も、下書きも、推敲もありません。見事に締めくくられた返事 も、書き始めた時点ではそうなるとは知りませんでした。
すでに目にしているはずの帰結が二つあります。
書いたことを取り消せません。 「パリには行ったことがない」と書いてしまえば、以後は すべてそれを前提に積み上がります。自分の文章と矛盾するより、偶然出てきた一文のまわりに 整合性を作るほうを選びます。
誤差は前へ積み重なります。 一文目のわずかにずれた語が二文目を押し、二文目が三文目を 押します。長い返事が脱線し、短い返事がめったに脱線しないのはこのためです。
語と語のあいだのサイコロ
各段階でモデルは、確率つきの候補リストを持っています。常に一位を選べばキャラクターは 決定論的になり、ひどく退屈になります。毎回同じ挨拶、同じ三つの冗談。そこでアプリは重みを つけたサイコロを振ります。
この重みづけは通常温度と呼ばれます。低ければ一貫して予測可能、やがて単調に。高ければ 意外性が増し、筋の通らない出力も増えます。
このつまみが利用者に開放されていることはまずありません。開放されているのは、そのアプリが 選んだ一点だけです。「このアプリのほうが賢く感じる」と言われるものの正体は、多くの場合 これです。賢いのではなく、温かい、あるいは冷たいだけということもあります。
「再生成したら直った」の正直な答えもここにあります。何も直っていません。同じ分布から 引き直して、良い目が出ただけです。
モデルが実際に見ているもの
あなたのメッセージの前に、アプリは決して表示されないテキストの塊を組み立てています。 キャラクター設定、保存されたあなたの情報、履歴の要約、そして直近の会話です。その全体が コンテキストウィンドウであり、返事はそこから一続きの 文書として生成されます。
ここにはほとんど誰も使っていない実用的な含意があります。モデルは、見えているものの形に 応答します。 短く平板なメッセージを三つ与えれば、短く平板な返事が返ってきます。それが 続けるべき型だからです。生き生きした一文を与えれば、文体が動きます。人を説得しているの ではなく、型を置いているのであり、その型は良い方向にも悪い方向にも伝染します。
このカテゴリで最も多い自業自得の問題も、これで説明できます。「やあ」「今日はどうだった」 「何してるの」に落ち着いてしまい、そのうえでアプリが劣化したと結論づけるのです。アプリは、 あなたと一緒に書いている文書を続けているだけです。
同じモデルでもアプリごとに違って感じる理由
このカテゴリの複数のアプリは、似た基盤モデルの上で動いています。それでも違って感じるのは、 モデルの周囲に重ねられたもの — キャラクターの書き方、温度の設定、どの事実とどの履歴を 取り出すか、フィルターが何を拒むか — が違うからです。
Nomiが数週間にわたり一貫して読めるのは三つ目の要素によるもので、 モデルが大きいからではありません。Candy AIがチャットと画像と音声を 一つのサブスクリプションで扱うのは製品上の判断であり、モデルの問題ではありません。 どちらもベンチマークには現れず、どちらも二週間使えば分かります。
これを踏まえてできる四つのこと
直すなら早く。 返事の最初の二文が残りを決めます。場面が崩れたら、四段落目と議論せず、 止めて言い直してください。
再生成は意図的に。 八割方よい返事なら、再生成はその八割を捨てます。一文目から外して いるなら、すぐ引き直してください。
返ってきてほしい文体で書く。 短く平板に書けば、短く平板に返ってきます。退屈になったと 感じている人にとって、これが最も安上がりな改善です。
作り話と議論しない。 事実でないことを書いたモデルはそれを擁護します。自分の出力との 整合が、まさにそう作られている振る舞いだからです。この挙動には 専用の記事があります。
覚えておくべきこと
メッセージとメッセージのあいだ、そこには誰もいません。キャラクターは一回の生成のあいだ だけ存在し、次の生成の冒頭でテキストから作り直されます。継続しているという印象はすべて、 モデルの周囲の配管 — 保存された事実、要約、取り出し — が成し遂げているものであり、 安いアプリと高いアプリで実際に違うのはその配管です。
