どれほどAIが高度化しようとも、完全な自動化には至らない。コンテンツモデレーションの現場では、最終的な判断を委ねられる人間のレビューチームが、昼夜を問わず膨大なトラウマ画像と向き合い続けている。文脈の判定――たとえばそれが自傷の予告なのか、危険を告発する報道目的なのか――の境界線は、機械には判別が極めて困難だからだ。
過酷な映像を何時間も見せ続けられるモデレーターたちの精神的負荷は、世界的な労働問題として浮上している。AIによる事前スクリーニングで人間が見るべき件数は劇的に減少したものの、ゼロにはならない。最新のフィルタリング技術は、不快な画像をモノクロ化したり、危険箇所のみをマスキングしてレビュー員に提示するなど、現場の人員を守るための工夫とセットで開発が進められている。
