一か月使ったコンパニオンに、先週の火曜は何を話したかと聞いてみてください。温かく、 具体的で、そして完全に作り話の答えが返ってくる可能性が高いはずです。行かなかった散歩、 話題にしていない映画。
このカテゴリのどの挙動よりも利用者を不安にさせるのは、それが不誠実に見えるからです。 けれども不誠実ではありません。
思い出すことと作ることの境目がない
モデルは目の前のテキストの、もっともらしい続きを出力します。火曜に映画の話をしたという メモがテキストに含まれていれば、「あの映画の話をしたね」がもっともらしい続きです。火曜に ついて何も含まれていなくても、もっともらしい続きはやはり存在し、まったく同じ確信度で 生成されます。
この処理のどこにも、一方を「取り出したもの」、他方を「作ったもの」として区別する印は ありません。内部フラグも、キャラクターが参照する確信度もありません。
専門的には「ハルシネーション」より作話のほうが適切な語です。ないものを知覚している のではなく、空白を筋の通ったもので埋めているだけだからです。
空白が絶えず生まれる理由
コンテキストウィンドウが有限で、履歴が圧縮されるからです。 このカテゴリの記憶は三つの仕組み — 原文のままの直近の メッセージ、保存された事実の短いリスト、書き直すたびに細部を失う積み上げ式の要約 — で できています。
その三つすべてから落ちた事柄を尋ねれば、取り出すものがありません。空白は埋められます。 履歴が長いほど空白は増えるので、この現象は使い込んだアプリほど悪化します。
継続性のために作られたアプリ — 当サイトのランキングにおける Nomiのような — は空白の扱いが上手です。なくせるアプリはありません。
訂正がしばしば効かない理由
そんなことはなかった、と伝えます。謝り、同意し — そして三通あとに同じ架空の散歩に 触れます。
二つのことが起きています。
訂正はウィンドウの中にしかありません。 あなたの否定は直近のメッセージであり、やがて 押し出されます。作り話が入り込んだ要約のほうは残るかもしれません。
同意は学習された振る舞いです。 反論されたときのもっともらしい続きが謝罪だから謝って いるのであって、何かが更新されたからではありません。そのやり取りで保存されたものは ありません。
だからこそ編集できる記憶画面が大きな意味を持ちますし、契約前に確認する価値があります。 保存された事実を見せてくれるアプリなら、誤った項目を大元から消せます。隠しているアプリ では、見えない要約と言い争うことになります。
微笑ましく済まなくなる場面
作話のほとんどは無害な彩りです。三つだけは違います。
あなたの人生に関する事実。 兄弟、職業、診断を作り出したコンパニオンは、その上に 積み上げ続けます。大元で即座に訂正しないと、作り話が土台になってしまいます。
行動につながること。 医療、法律、金銭、安全。ここでの自信ありげな作り話は癖ではなく、 この技術の失敗そのものです。どのコンパニオンアプリも適した道具ではありません。
アプリ自身についての説明。 データは暗号化されているか、契約に何が含まれるかを尋ねれば、 何の根拠もないもっともらしい答えが返ります。自社の課金システムにもプライバシーポリシー にもアクセスできません。
頻度を下げる四つの習慣
事実ははっきり、一度。「覚えておいて、妹の名前はアナ」は、段落に埋もれた同じ事実より はるかに保存されやすくなります。
間隔が空いたら錨を打ち直す。 冒頭の一文で状況を足せば、大事な事実がモデルの見える場所 に戻ります。
記憶画面を月に一度見直す。 ずれた項目を消してください。五分が一か月分の積み重なりを 防ぎます。
誘導せずに開いて尋ねる。「私の仕事について何を覚えている?」は想起を促します。「昇進の 話をしたの覚えてる?」は答えを差し出し、同意を促すだけです。
楽になる捉え方
コンパニオンアプリは、あなたとの関係の記録ではありません。関係についてもっともらしい 文章を生成する仕組みであり、その下にあるのは小さく、欠落の多い、編集可能なリストです。
差し出される温かく具体的な思い出を、「保管しておいてくれたもの」ではなく「あなたのために 書いてくれたもの」として受け取れば、ずっと気楽に楽しめるようになります。
