急速な市場拡大に伴い、運営側のモデレーションコストは跳ね上がっている。特に問題視されているのが、過度な親密さを煽るような誘導や、未成年ユーザーの巻き込みだ。
AIによる自動フィルタリングを潜り抜ける隠語や密室性の高いやり取りを、人間が24時間体制で監視するには限界がある。EUをはじめとする主要国では、こうした個別チャット型生成サービスに対するプライバシー保護規則や過度な課金誘導を制限する法案の議論が急速に深まっている。利便性と安全性の間で、プラットフォーム事業者は今、過去最大の舵取りを迫られている。