AI バイアスとは何か、そしてそれが IT にとってなぜ重要なのか?

AI にバイアスがどのように導入されるかを理解するには、AI モデルがどのようにトレーニングされるかについて基本的な理解が必要です。 

誰に尋ねるか、またその人がどれだけ細かく尋ねるかによって、学習方法がいくつあるかについての答えは異なります。 そして実際、今日使用されている方法、アルゴリズム、モデルは広範囲に渡っており、多くの場合、その分野に深く精通していない人には理解できないほどです。 しかし、モデルがどのようにトレーニングされるかを高レベルで理解することが重要です。なぜなら、最終的にはそれがバイアスの導入方法だからです。 これを念頭に置くと、AI モデルをトレーニングする基本的な方法は 3 つあります。 

1. 教師あり学習。 入力データにはラベルが付けられます。 システムは、トレーニングに使用されたデータ セットとラベルに基づいて出力が何になるかを認識し、その知識を使用して他の値を予測できます。 このカテゴリでは、2 つの主要なタイプのアルゴリズムが使用されます。 1 つは分類に基づいており、色、サイズ、形状などの属性に基づいてデータがカテゴリにグループ化されます。 画像認識は通常このカテゴリに分類されますが、その他の一般的な用途としては、スパム検出や電子メールのフィルタリングなどがあります。 2 番目は、数学的回帰を使用して、入力と出力の線形関係に基づくパターンを検出します。 この方法では、実際の天気の測定値など、出力はモデル外に分類されます。 市場や天気の傾向では、この方法がよく使用されます。
    
2. 教師なし学習。 「教師なし」という用語が示すように、データの性質に関するガイダンスはシステムに提供されません。 ラベルなしです。 システムは独自にパターンと関係性を発見し、結果を予測することが期待されています。 教師なし学習アルゴリズムは、クラスタリングと関連付けという 2 つの異なる手法に依存します。 クラスタリングでは、システムは類似性に基づいてデータをグループ化するように要求され、あるグループのデータは他のグループとほとんど類似性がないか、まったく類似性がなくなります。 顧客の購買行動はクラスタリングの一般的な用途です。 関連付けでは、システムはデータ間の依存関係など、データ間の関係を見つけるように求められます。 このアプローチは完全に相関関係に基づくものであり、因果関係に基づくものではありません。 教師なしシステムは、「他の事柄を引き起こすもの」ではなく、「他の事柄と連動するもの」を単に発見します。 関連付けは、Web 使用状況のマイニングによく使用されます。
    
3. 強化学習。 強化学習は、教師あり学習と教師なし学習の妥協点であり、それぞれの欠点を最小限に抑えることを目指します。 強化学習では、システムにラベルのないデータが与えられ、探索されます。 その後、出力に対して肯定的または否定的な報酬が与えられ、システムはそれを「学習」して決定を磨きます。 これは、教育プロセスにおけるクイズやテストの使用に見られるように、人間の学習方法に最も近いモデルです。 強化学習は、ビデオゲーム、ロボット工学、テキストマイニングなどでよく使用されます。 

さて、ここからが本題です。これらのシステムにバイアスがどのように導入されるかです。

答えは、皆さんもすでにお分かりだと思いますが、トレーニング プロセスには人間が関与することが多いという事実に基づいています。

教師あり学習に偏りを生じさせる最も簡単な方法は、データに誤ったラベルを付けることによって、いわばデータを汚染することです。 たとえば、動物を分類する場合、「犬」を「猫」と誤って分類すると、十分な規模で誤認が発生する可能性があります。 ラベル付けに伴うリスクは、出力を破損させることを目的とした意図的な誤ったラベル付けです。 ヒョウが猫であるかどうか、あるいは猫の像が猫として数えられるかどうかを決定するなど、一部の誤った分類は単に人間の判断の結果である。 強化学習では、ゲームで「間違った」答えや動きに肯定的な報酬を与えると、意図的に間違った答えを出したり、常に負けたりするシステムになる可能性があります。

これは一部の人にとっては魅力的な選択肢かもしれません。

明らかに、これは ChatGPT などの会話型 (生成型 AI) に影響を及ぼします。同社のサイトによると、ChatGPT は「人間のトレーナーを使用してモデルのパフォーマンスを向上させる」「教師あり学習と強化学習」を使用して微調整されました。 回答をランク付けするために「上」または「下」のオプションを選択すると、そのデータを使用してモデルをさらに微調整できる可能性があります。 親愛なる読者のあなたは、人間だと思います。 したがって、システムにさらなる偏りが生じる可能性があります。 現実には、ChatGPT の回答は完全に間違っていることがよくあります。 システムをさらにトレーニングして、より頻繁に正しい回答を生成できるようにするには、フィードバックが必要です。

これは興味深いことです。これらのシステムを操作する方法とその結果について、興味深い会話ができるでしょう。しかし、私がこのトピックを探求したいと思った本当の理由は、バイアスの問題がテレメトリ、つまりデジタル サービスを提供して保護するシステムとサービスの自動化を推進するために私たち全員が使用したい運用データにまで及ぶからです。

テレメトリに関連するデータの偏りと、組織の 98% が欠落している洞察について私が書いたことを覚えているかもしれません。

テレメトリの分析に関連するほとんどの場合、モデルはラベル付けされたデータを使用してトレーニングされます。 システムにバイアスが導入される原因としては、(a) データのラベル付けが誤っている、(b) 特定のカテゴリに十分なデータの多様性がない、(c) 新しいデータを導入する方法が挙げられます。 データのラベル付けを誤ることが問題となる理由は明らかです。なぜなら、ラベル付けの量が多すぎると、誤認につながる可能性があるからです。 データの多様性に関する問題は、このような狭いトレーニング セットの範囲外のデータは必然的に誤分類されてしまうことです。

その典型的な例は、戦車と他の種類の輸送手段を認識するようにトレーニングされた AI モデルです。 結局、すべての戦車は日光の下で撮影されたが、他の車両はそうではなかったことが判明した。 その結果、AI はタンクと非タンクの区別をうまく行いました。しかし、実際には昼と夜の区別をしていました。 入力セットの多様性の欠如により、偏った相関関係が生じました。

運用 AI が強化学習に依存している場合でも、システムがいわゆる「次の動き」を決定するために必要なすべての「変数」を備えているわけではないため、データの多様性の欠如が問題となります。

AI が多様なデータセットや必要なすべての変数を備えていない理由は、ご想像のとおり、データの偏りです。 具体的には、一部のテレメトリのみが分析のために取り込まれる選択的監視によって導入されるデータ バイアスです。 たとえば、DNS パフォーマンスがユーザー エクスペリエンスに与える影響はよく理解されています。 しかし、DNS からのテレメトリなしでアプリケーション パフォーマンスを分析するようにモデルをトレーニングすると、DNS がアプリケーションのエンドツーエンドのパフォーマンスに何らかの形で関連していることをモデルが認識していないため、DNS に問題があってもパフォーマンスは問題ないと主張する可能性があります。「次の動き」がパフォーマンスの低下を誰かに警告することである場合、データ選択の偏りによりシステムは失敗します。

当社が毎年実施している調査で、半数以上の組織が、必要な洞察を得るための最大の課題として「データの欠落」を挙げていることが判明したと聞いても、驚かないでしょう。

したがって、組織が AI を活用して運用上の意思決定を推進することに全力を尽くしたとしても、課題が生じることになります。 このようなシステムをトレーニングするための多様なデータセットがなければ、バイアスが生じる可能性があります。

バイアスが導入される 3 番目の方法は、モデルにデータを導入するために使用される方法です。 最も一般的な運用例としては、合成テストの結果を使用してアプリケーションの平均パフォーマンスを決定し、その結果得られたモデルを使用して実際のトラフィックを分析することが挙げられます。 合成テストからデータセットを形成する場所、デバイス、ネットワークの混雑状況などの範囲に応じて、実際のユーザーにとって完全に許容できるパフォーマンスが失敗として識別される可能性があり、その逆の場合もあります。