新たなボット戦争： あなたの知り合いはみんな偽物かもしれない

かつてボットファームでは、繰り返し投稿を行う大勢の労働者が必要でしたが、今では AI ツールによって一貫性があり、多様性に富み、信頼性が高いコンテンツを生成できます。 NewsGuardの2023年のレポートによると、AIが生成したプロパガンダは、地域特有の言語や感情に至るまで、本物の解説と区別がつかなくなってきています。

これはもうジャンクコンテンツではありません。 それはもっともらしく、文脈的で、反応的です。 草の根の支持のように見えますが、それは産業規模で作り出された影響力です。

そしてプラットフォームは依然としてそれに報酬を与えます。 これらは、実際のパフォーマンスを評価するためではなく、パフォーマンスを増幅するために構築されました。 

モデレーションツールと人間のレビュー担当者が追いついていません。 組織的かつ不正な行為に対する対策に関する Meta の 2024 年レポートでは、こうした組織的なキャンペーンをリアルタイムで検出することがいかに困難になっているかが強調されています。

これは周辺的な問題ではありません。 それは政治、マーケティング、金融投機、さらにはブランドの信頼にも影響を及ぼします。 2021年、米国 証券取引委員会は、ボットによって煽られたソーシャルメディア主導の市場急騰について警告した。

一方、可視性とエンゲージメントに依存するシステム（トレンドリスト、「おすすめ」パネル）は簡単に乗っ取られるようになりました。 重要なものを表面化させるために設計されたツールは、今では誰かが重要なものにするためにお金を払ったものをすべて表面化させます。

今日のボットはルールを破りません。 彼らは彼らに従います。 彼らは人間の行動を模倣し、会話を生み出します。 彼らは時間をかけて信頼を築き、ネットワーク全体で活動します。 技術的なポリシーに違反していないため、検出されないことがよくあります。

これにより、より深刻な欠陥が明らかになります。つまり、システムは動機ではなく行動を評価するように設計されていたのです。 私たちはパターンを信頼しました。 見た目が正常であれば安全であるとみなされました。

しかし、AIは異常な動作をしません。 説得力のある動作をします。

信号がスタックの上方に移動しました。 ヘッダーとレートから離れて。 ペイロード、コンテンツセマンティクス、システムレベルの調整に。 AI によって生成された影響は、従来の防御にとってはクリーンに見えます。 異常はもはや封筒の中にはありません。 メッセージの中にあります。

この問題に対処するための取り組みが進行中です。 DARPA のセマンティックフォレンジックプログラムは、意図と言語マーカーを使用して AI 生成コンテンツを検出することに取り組んでいます。 X の 2024 年アップデートでは、ボット除去の取り組みの強化について言及されています。 しかし、これらのシステムはまだ初期段階です。 これらのツールはまだ、AI 主導の影響力キャンペーンを上回るほどの拡張性や応答性を備えていません。

そして今、脅威は再び進化しています。

単純なボットを超えて、AI 駆動型エージェントが導入されています。 これらのエージェントは自動化以上のことを行います。 彼らは調整します。 彼らは方向転換します。 対応データを分析し、リアルタイムで戦術を調整します。 2022年のDFRLabの調査では、国家が支援するキャンペーンがAIエージェントを使用してプラットフォーム間で偽情報を調整し、検出に動的に適応する方法が記録されています。

一方、正当なビジネスでは、顧客サポート、マーケティング、ワークフローの自動化のためにエージェントを導入しています。 Lyzr.ai によれば、AI 導入の取り組みの 70% は、会話型ボットだけでなく、アクションベースの AI エージェントに重点を置いています。

これにより境界線が曖昧になります。 エージェントが企業と攻撃者の両方を代表して発言すると、信頼は損なわれます。 ブランドの代表者を装った偽のサポート ボットは、ユーザーをフィッシングしたり、誤った情報を拡散したりする可能性があります。注意すべき点を知らない限り、本物と区別がつきません。

これはもはやボットの問題ではありません。 それは信憑性の危機です。