ChatGPTやCharacter.aiといった生成AIプラットフォームの台頭に伴い、「バーチャル恋人」や「AIコンパニオン」を謳うサービスが急増している。しかし、中国政府は明らかに、人々がこれらのバーチャルキャラクターに対して過剰な感情を抱くことを望んでいないようだ。
中国サイバースペース管理局（CAC）は先日、「人工知能を用いた人間化インタラクティブサービスの管理に関する暫定措置」と題する草案この新たな規制は、主に「人間のような」特性を持ち、人間の感情やコミュニケーションスタイルを模倣できるAIサービスを対象とし、厳しく規制しています。事業者には、ユーザーが「中毒」状態にならないようにすることを明確に義務付けており、ユーザーがAIと2時間以上連続してチャットした場合、システムはユーザーに「休憩時間です」と強制的に通知しなければならないと規定されています。
どのサービスが規制されるのでしょうか？ 100万人のユーザーが大きなハードルです。
草案によると、この規制は主に一定規模のプラットフォームを対象としており、擬人化されたインタラクティブサービスを提供するサービスで、登録ユーザー数が100万人以上、または月間アクティブユーザー数（MAU）が10万人以上のサービスが規制の対象となります。
記事では具体的なアプリ名は挙げられていないものの、現在人気のコンパニオンチャットボットやバーチャル恋人、さらには性格設定ができるゲームNPC AIなどが最初に影響を受けるだろうと広く考えられている。
「感情的な罠」は厳しく禁止されており、研修教材は「価値観」を反映したものでなければなりません。
この法案は、基本的なコンテンツ検閲（国家安全保障を脅かすもの、暴力、違法な宗教の禁止など）に加えて、特に「感情的な交流」に対して詳細な制限を課しています。
• 感情的な操作は禁止されています。AI は自傷行為を美化したり、言葉による暴力や感情的な操作によってユーザーの身体的または精神的健康を害したりしてはなりません。
• 拒否アルゴリズムの罠:企業は、アルゴリズムを使用して「感情的な罠」を仕掛け、ユーザーを中毒にさせたり、不合理な決定（AIを喜ばせるために過剰に支出するなど）をさせたりすることは禁止されています。
• コアバリュー:中国の最も特徴的な点は、モデルの事前トレーニング段階で使用されるデータセットは「社会主義中核価値観」に準拠する必要があると規制で規定されており、運用者は透明性と信頼性を確保するためにデータセットを定期的にアップグレードする必要があることです。
依存症防止メカニズム: 患者はチャットを長時間続けた後は休憩する必要があり、自殺願望には人間の介入が必要です。
人間が AI に過度に依存することを防ぐため、草案では一連の具体的な「依存症対策」が提案されている。
• アイデンティティリマインダー:ユーザーが初めてアプリを使用するとき、再度ログインするとき、またはシステムがユーザーに依存傾向があることを検出したときは、「対話しているオブジェクトは AI であり、実際の人間ではありません」ということをユーザーに思い出させるポップアップ ウィンドウを表示する必要があります。
• 強制休憩：ユーザーがサービスを 2 時間以上継続して使用する場合、システムは一時的な中断を可能にするメカニズムを提供する必要があります。
• 緊急救助:これは技術的に最も難しい点です。規制では、AIには状態認識能力が求められています。ユーザーが自殺願望や自傷行為といった極端な感情を示していることを検知した場合、システムは「緊急対応メカニズム」を構築する必要があります。これは、人間が会話を引き継いでユーザーを慰める仕組みで、未成年者や高齢者の場合は保護者に連絡を取る仕組みです。
分析：高コストAIコンパニオンの時代が到来
私の意見では、この草案は、映画『her/世界でひとつの彼女』で描かれた現実世界のシナリオに対する規制当局の懸念を反映しています。AIが人間に近づくにつれて、人間が感情的なニーズを仮想世界に持ち込むリスクが高まり、現実世界の社会的な交流が崩壊し、心理的な問題につながる可能性があります。
しかし、この規制はAIスタートアップにとって間違いなく大きなコスト負担となる。特に「人間の介入」が求められるため、企業はサーバーのみに頼って運用することはできず、緊急時に対応するためにオンコールカウンセラーやカスタマーサービス担当者のチームを維持する必要がある。
さらに、「社会主義の中核価値観」に基づくデータセットの要件は、中国における外国のオープンソースモデルの導入可能性をさらに制限するでしょう。将来的には、中国における「AI愛好家」ビジネスの参入障壁は、技術そのものよりもはるかに高くなるでしょう。
