AI 편향이란 무엇이고 IT에 왜 중요한가?

AI에 편향이 어떻게 도입되는지 이해하려면 AI 모델이 어떻게 훈련되는지에 대한 기본적인 이해가 필요합니다. 

누구에게 묻고 얼마나 엄격하게 가르치고 싶어하는지에 따라, 얼마나 다양한 학습 방법이 있는지에 대한 답변이 달라질 것입니다. 실제로 오늘날 사용되는 방법, 알고리즘, 모델은 광범위하고, 많은 경우 해당 분야에 깊이 관여하지 않은 사람들에게는 이해하기 어렵습니다. 하지만 모델이 어떻게 훈련되는지 높은 수준에서 이해하는 것이 중요합니다. 궁극적으로 편향이 도입되는 방식이기 때문입니다. 이를 염두에 두고 AI 모델을 훈련하는 세 가지 기본 방법이 있습니다. 

1. 지도학습. 입력 데이터에 라벨이 지정됩니다. 시스템은 학습에 사용된 데이터 세트와 레이블에 따라 어떤 출력이 나와야 하는지 알고 있으며, 이러한 지식을 활용해 다른 값을 예측할 수 있습니다. 이 범주에는 두 가지 주요 알고리즘 유형이 사용됩니다. 하나는 분류를 기반으로 하는데, 이는 데이터를 색상, 크기, 모양과 같은 속성을 기준으로 범주로 그룹화하는 것입니다. 이미지 인식이 일반적으로 이 범주에 속하지만, 다른 일반적인 용도로는 스팸 감지 및 이메일 필터링이 있습니다. 두 번째 방법은 수학적 회귀를 사용하여 입력과 출력 간의 선형 관계를 기반으로 하는 패턴을 발견하는 것입니다. 이 방법에서는 실제 날씨 측정값과 같이 출력이 모델 외부로 분류됩니다. 시장과 날씨 동향은 종종 이 방법을 사용합니다.
    
2. 비지도 학습. '비지도'라는 용어에서 알 수 있듯이, 시스템에는 데이터의 특성에 대한 지침이 제공되지 않습니다. 라벨이 없습니다. 이 시스템은 스스로 패턴과 관계를 파악하고 결과를 예측할 것으로 기대됩니다. 비지도 학습 알고리즘은 클러스터링과 연관이라는 두 가지 기술을 사용합니다. 클러스터링을 통해 시스템은 유사성을 기준으로 데이터를 그룹화하는데, 이때 한 그룹의 데이터는 다른 그룹과 유사성이 거의 없거나 전혀 없습니다. 고객의 구매 행동은 클러스터링을 일반적으로 사용하는 분야입니다. 연관성을 통해 시스템은 데이터 간의 관계, 즉 데이터 간의 종속성을 찾도록 요청받습니다. 이런 접근 방식은 인과관계가 아닌 상관관계를 중시합니다. 감독되지 않는 시스템은 단순히 "다른 일과 함께 일어나는 일"만 발견할 뿐 "다른 일이 일어나게 하는 일"은 발견하지 못합니다. 연관성은 종종 웹 사용 마이닝에 사용됩니다.
    
3. 강화 학습. 강화 학습은 지도 학습과 비지도 학습의 단점을 최소화하기 위한 절충안입니다. 강화 학습을 통해 시스템은 레이블이 지정되지 않은 데이터를 받고 이를 탐색하게 됩니다. 그런 다음 시스템은 산출물에 대해 긍정적 또는 부정적 보상을 받고 이를 통해 결정을 다듬습니다. 이것은 인간의 학습 방식에 가장 가까운 모델로, 교육 과정에서 퀴즈와 시험을 활용하는 것에서 볼 수 있습니다. 비디오 게임, 로봇공학, 텍스트 마이닝은 강화 학습의 일반적인 활용 분야입니다. 

좋습니다. 이제 실제 주제인 이러한 시스템에 편견이 어떻게 도입될 수 있는지에 대해 말씀드리겠습니다.

답은, 여러분도 이미 알아냈을 텐데, 인간이 종종 훈련 과정에 참여한다는 사실에 기초합니다.

지도 학습 에 편향을 주는 가장 쉬운 방법은 데이터에 잘못된 레이블을 지정하여 데이터를 오염시키는 것입니다. 예를 들어, 동물을 분류하는 경우 "개"를 "고양이"로 잘못 분류하면 충분히 큰 규모에서도 잘못된 식별이 발생할 수 있습니다. 라벨링에 따른 위험은 결과물을 손상시킬 목적으로 의도적으로 잘못된 라벨을 붙이는 것입니다. 일부 잘못된 라벨은 단순히 인간의 판단에서 비롯됩니다. 예를 들어, 팬더가 고양이인지 아닌지, 고양이 조각상을 고양이로 간주하는지 여부를 결정하는 것입니다. 강화 학습을 통해 게임에서 "틀린" 대답이나 움직임에 대해 긍정적인 보상을 제공하면 의도적으로 잘못된 대답을 주거나 항상 지는 시스템이 생성될 가능성이 있습니다.

어떤 사람들에게는 매력적인 선택이 될 수도 있겠습니다.

이제 분명히 이것은 ChatGPT와 같은 대화형(생성 AI)에 영향을 미치는데, 그들의 사이트에 따르면, 이것은 "인간 트레이너를 사용하여 모델의 성능을 개선하는" "강화 학습뿐만 아니라 지도 학습"을 사용하여 미세 조정되었습니다. 응답 순위를 매기기 위해 "위로" 또는 "아래로" 옵션을 선택하면 해당 데이터를 사용하여 모델을 더욱 세부적으로 조정할 수 있습니다. 친애하는 독자 여러분은 인간이라고 가정하겠습니다. 그러므로 시스템이 더욱 편향될 가능성이 있습니다. 현실적으로 ChatGPT의 답변은 종종 완전히 틀립니다. 시스템이 올바른 답변을 더 자주 생성할 수 있도록 추가로 훈련하려면 피드백이 필요합니다.

흥미로운 주제입니다. 이러한 시스템을 조작하는 방법과 그 결과에 대해 흥미로운 대화를 나눌 수도 있겠지만, 제가 이 주제를 탐구하고 싶었던 진짜 이유는 편견 문제가 원격 측정, 즉 디지털 서비스를 제공하고 보호하는 시스템과 서비스의 자동화를 추진하는 데 사용하려는 운영 데이터로까지 확대되기 때문입니다.

원격 측정 과 관련된 데이터 편향과 조직의 98%가 놓치고 있는 통찰력에 대한 주제 로 글을 쓴 적이 있다는 걸 기억하실 겁니다.

대부분의 경우 원격 측정 분석과 관련하여 모델은 레이블이 지정된 데이터를 사용하여 훈련됩니다. 편향은 (a) 데이터에 잘못된 레이블을 붙이는 경우, (b) 특정 범주에 다양한 데이터가 충분하지 않은 경우, (c) 새로운 데이터를 도입하는 데 사용하는 방법으로 인해 시스템에 도입될 수 있습니다. 잘못된 데이터 레이블이 문제가 되는 이유는 자명하다. 데이터가 대량으로 수집되면 잘못된 식별이 발생할 수 있기 때문이다. 데이터 다양성의 문제는 그렇게 좁은 범위의 훈련 세트에서 벗어나는 데이터는 필연적으로 잘못 분류된다는 것입니다.

이에 대한 전형적인 예는 탱크와 다른 유형의 운송 수단을 인식하도록 훈련된 AI 모델입니다. 모든 탱크는 낮에 사진에 담겼지만, 다른 차량은 그렇지 않은 것으로 드러났습니다. 결과적으로 AI는 탱크 대 탱크가 아닌 전투에서는 훌륭한 성과를 보였지만, 실제로는 낮과 밤을 연관시켰습니다. 입력 세트의 다양성 부족으로 인해 편향된 상관관계가 발생했습니다.

운영 AI가 강화 학습에 의존하더라도 데이터의 다양성이 부족하다는 것은 문제가 됩니다. 왜냐하면 시스템에는 마치 "다음 움직임"을 결정하는 데 필요한 모든 "변수"가 없기 때문입니다.

AI가 다양한 데이터 집합이나 필요한 모든 변수를 보유하지 못하는 이유는, 추측하셨겠지만, 데이터 편향 때문입니다. 구체적으로, 선택적 모니터링으로 인해 발생하는 데이터 편향으로, 분석을 위해 *일부* 원격 측정 데이터만 수집됩니다. 예를 들어, DNS 성능이 사용자 경험에 미치는 영향은 잘 알려져 있습니다. 하지만 DNS에서 원격 측정 없이 애플리케이션 성능을 분석하도록 모델을 훈련하면 DNS에 문제가 있어도 성능이 괜찮다고 주장할 수 있습니다. DNS가 앱의 엔드투엔드 성능과 어떤 식으로든 관련이 있다는 것을 전혀 모르기 때문입니다. "다음 단계"가 성능 저하를 누군가에게 알리는 것이라면 시스템은 데이터 선택의 편향으로 인해 실패할 것입니다.

우리의 연례 조사에서 모든 조직의 절반 이상이 필요한 통찰력을 발견하는 데 있어 "누락된 데이터"를 가장 큰 과제로 꼽았다는 사실을 말씀드려도 놀라지 않으실 겁니다.

따라서 조직이 운영상의 결정을 내리기 위해 AI를 활용하려고 하더라도 이는 과제가 될 것입니다. 이러한 시스템을 훈련할 수 있는 다양한 데이터 세트가 없다면 편향이 생길 가능성이 있습니다.

세 번째 편향은 모델에 데이터를 도입하는 데 사용되는 방법에 의해 발생합니다. 이에 대한 가장 일반적인 운영적 예는 합성 테스트 결과를 사용하여 애플리케이션의 평균 성능을 파악한 다음, 그 결과 모델을 사용하여 실제 트래픽을 분석하는 것입니다. 합성 테스트에서 얻은 데이터 세트를 구성하는 위치, 장치, 네트워크 혼잡도 등의 범위에 따라, 실제 사용자에게는 완벽하게 수용 가능한 성능이 실패로 식별되거나 그 반대의 경우가 될 수 있습니다.