「モニタリング」というと一つのものに聞こえます。コンパニオンアプリでは少なくとも四つの層があり、速さも関わる人も違います。
四つの層
層が進むほど見られる量は減りますが、見られ方は詳しくなります。
1. リアルタイムのフィルター。 あなたが送るメッセージも、モデルが書く返事も、表示される前に自動の分類器で確認されることがあります。未成年者に関わるもの、特定の暴力的な内容、自傷の兆候といった禁止カテゴリを捉え、メッセージをブロックするか、返事を和らげるか、警告を表示します。拒否や相談窓口のカードが出るのはここです。場面の途中で作動することがある理由は、コンテンツフィルターの記事で説明しています。
2. 会話単位のフラグ付け。 これとは別に、システムが会話全体やアカウントをパターンで採点することがあります。フィルターを回避しようとする繰り返しの試み、嫌がらせ、成人向けアプリを未成年者が使っている兆候などです。フラグは処罰ではなく、人が見るかもしれないというメモです。
3. 人によるレビュー。 トラスト&セーフティの担当者は、多くの場合外部の委託先で、フラグ付けされた会話、利用者の通報、異議申し立てのごく一部を確認します。品質確認やモデルの学習のため、普通の会話を抽出する企業もあります。プライバシーポリシーが「サービス改善のため」「利用規約の執行のため」と書いているのはこの層です。
4. 法的な請求。 裁判所、警察、規制当局は法的な命令でデータを請求できます。企業は自社の方針と現地の法律に従って対応します。
人が見るきっかけになりやすいもの
| きっかけ | 理由 |
|---|---|
| 未成年者に関わる内容 | 多くの国で法的義務があり、さらに通報されることも多い |
| 自傷や自殺の兆候 | 米国のいくつかの州では危機対応の手順が法律で義務づけられている |
| 実在の人物への脅迫 | 現実の危害につながりうる |
| あなた自身の通報やサポート依頼 | あなたが誰かに見てほしいと頼んでいる |
| フィルター回避の繰り返し | 利用規約の執行 |
| 無作為の品質サンプリング | 製品改善(ポリシーが認めている場合) |
新しい法律が加えるもの
米国のコンパニオンチャットボット法は、2025年のニューヨーク州に始まり2026年のカリフォルニア州へと続き、自殺念慮や自傷の表現を検知して相談窓口を案内することをアプリに求めています。カリフォルニア州は企業に手順の報告も求めています。実際には、最も繊細な会話への自動監視が減るのではなく増えるということです。詳しくは米国のAIコンパニオン法にあります。なお、これは米国の州法の話であり、日本の利用者に直接適用されるものではありません。
ポリシーで確認する言葉
プライバシーポリシーと利用規約で、次の言葉を探してください。
- 「レビュー」「モデレーション」「人」 - 人が会話を読むのか、その理由は何か。
- 「委託先」「サービス提供者」 - レビュアーが別の会社の人間かどうか。
- 「改善」「学習」 - 普通のチャットが抽出されるのかどうか。
- 「法執行機関」「法的手続き」「裁判所の命令」 - データがいつ引き渡されるのか、裁判所の命令が必要かどうか。
丁寧なポリシーは、きっかけを具体的に挙げ、必要なときにだけレビュアーが会話を見ると書いています。スタッフが「あらゆる事業目的のため、すべてのコンテンツ」にアクセスできるとする曖昧なポリシーも、それ自体が一つの情報です。文書の残りは四つのプライバシー確認で扱っています。
実用上の結論
- レビュアーが読むかもしれないものとして書く。 ごく一部の場合には、実際に読まれるからです。
- 他人を特定できる情報をチャットに入れない。 特に露骨な場面では、フラグ付けされた会話を読むレビュアーにそれも見えます。
- フィクションの中でフィルターが誤作動したら、 キャラクター外の一言で解決することが多いです。キャラクターのまま言い争うと、かえってフラグが増えることがあります。
- 誰が読めるかを何より重視するなら、 他の誰にも読めない構成は、自分のパソコンで動くコンパニオンだけです。AIコンパニオンをローカルで動かすを参照してください。
モニタリングは監視と同じではありません。大半の会話では、自動フィルターより先を見る人もシステムもありません。ただ、例外を決めるのはアプリの温かさではなくポリシーであり、必要になる前に知っておく価値があります。