O que é viés de IA e por que isso é importante para a TI?

Para entender como o viés é introduzido na IA, é necessário ter uma compreensão básica de como os modelos de IA são treinados. 

Dependendo de quem você perguntar e de quão pedantes eles querem ser, você obterá respostas diferentes sobre quantos métodos de aprendizagem diferentes existem. E, de fato, os métodos, algoritmos e modelos usados hoje são extensos e, em muitos casos, além da compreensão daqueles que não têm conhecimento profundo do assunto. Mas é importante entender, em alto nível, como os modelos são treinados porque, em última análise, é assim que o viés é introduzido. Tendo isso em mente, existem três maneiras básicas de treinar modelos de IA: 

1. Aprendizagem supervisionada. Os dados de entrada são rotulados. O sistema sabe qual deve ser a saída com base no conjunto de dados e nos rótulos usados para treiná-lo e é capaz de usar esse conhecimento para prever outros valores. Dentro desta categoria, há dois tipos principais de algoritmos usados. Uma delas é baseada na classificação, na qual os dados são agrupados em categorias com base em atributos como cor, tamanho e forma. O reconhecimento de imagem geralmente se enquadra nessa categoria, mas outros usos comuns são detecção de spam e filtragem de e-mail. O segundo usa regressão matemática para descobrir padrões baseados em uma relação linear entre a entrada e a saída. Neste método, a saída é categorizada fora do modelo, como medições do clima real. As tendências de mercado e climáticas geralmente usam esse método.
    
2. Aprendizagem não supervisionada. Como o termo “não supervisionado” indica, não há orientação dada ao sistema sobre a natureza dos dados. Não tem rótulo. Espera-se que o sistema descubra padrões e relacionamentos por conta própria e preveja um resultado. Algoritmos de aprendizado não supervisionado dependem de duas técnicas diferentes: agrupamento e associação. Com o agrupamento, o sistema é solicitado a agrupar dados com base em similaridades, de modo que os dados de um grupo tenham pouca ou nenhuma similaridade com outros grupos. O comportamento de compra do cliente é um uso comum do agrupamento. Com a associação, o sistema é solicitado a encontrar relacionamentos entre dados, como dependências entre eles. Essa abordagem é inteiramente de correlação, não de causalidade. Sistemas não supervisionados simplesmente descobrem “coisas que andam juntas com outras coisas”, não “coisas que fazem com que outras coisas aconteçam”. A associação é frequentemente usada para mineração de uso da web.
    
3. Aprendizagem por reforço. O aprendizado por reforço é um meio-termo entre treinamento supervisionado e não supervisionado que busca minimizar as desvantagens de cada um. Com o aprendizado por reforço, os sistemas recebem dados não rotulados que eles exploram. Eles são então recompensados positiva ou negativamente pela produção, da qual o sistema “aprende” para aprimorar suas decisões. Este é o modelo mais próximo de como os humanos aprendem, como visto no uso de questionários e testes no processo educacional. Videogames, robótica e mineração de texto são usos comuns do aprendizado por reforço. 

Certo, agora vamos ao assunto principal: como o preconceito pode ser introduzido nesses sistemas.

A resposta, e tenho certeza que você já descobriu, é baseada no fato de que humanos frequentemente estão envolvidos no processo de treinamento.

A maneira mais fácil de enviesar o aprendizado supervisionado é envenenar os dados, por assim dizer, rotulando-os incorretamente. Por exemplo, se estou classificando animais, rotular erroneamente um “cachorro” como “gato” pode resultar em identificação incorreta em uma escala alta o suficiente. Um risco da rotulagem é a rotulagem incorreta intencional com o objetivo de corromper o resultado. Alguns rótulos incorretos são meramente o produto do julgamento humano, como decidir se uma pantera é um gato ou se uma estátua de um gato conta como um gato. Com o aprendizado por reforço , recompensar positivamente a resposta ou movimento “errado” em um jogo pode resultar em um sistema que intencionalmente dá as respostas erradas ou sempre perde.

O que para algumas pessoas pode ser uma opção atraente.

Agora, obviamente, isso tem implicações para a conversação (IA generativa), como o ChatGPT, que foi, de acordo com o site, ajustado usando “aprendizagem supervisionada e também aprendizagem por reforço” que “usou treinadores humanos para melhorar o desempenho do modelo”. Quando você escolhe a opção “para cima” ou “para baixo” para classificar as respostas, esses dados podem ser usados para ajustar ainda mais seu modelo. Você, caro leitor, presumo que seja humano. Portanto, existe o potencial para distorcer ainda mais o sistema. A realidade é que o ChatGPT muitas vezes está completamente errado em suas respostas. O feedback é necessário para treinar ainda mais o sistema para que ele possa gerar a resposta correta com mais frequência.

Agora, isso é interessante — e poderíamos ter uma conversa fascinante sobre as maneiras pelas quais poderíamos manipular esses sistemas e as consequências — mas a verdadeira razão pela qual eu queria explorar esse tópico é porque o problema do viés se estende à telemetria, os dados operacionais que todos nós queremos usar para impulsionar a automação dos sistemas e serviços que fornecem e protegem serviços digitais.

Você deve se lembrar que escrevi sobre o tópico de viés de dados relacionado à telemetria e aos insights que 98% das organizações não têm.

Na maioria dos casos relacionados à análise de telemetria, os modelos são treinados usando dados que foram rotulados. O viés pode ser introduzido nesse sistema por (a) rotulagem incorreta dos dados ou (b) não haver diversidade suficiente de dados em uma categoria específica ou (c) o método usado para introduzir novos dados. O motivo pelo qual a rotulagem incorreta de dados é problemática deve ser óbvio, porque, em quantidades grandes o suficiente, isso pode resultar em identificação incorreta. O problema com a diversidade de dados é que os dados que não estão dentro de um conjunto de treinamento tão restrito serão inevitavelmente classificados incorretamente.

Um exemplo clássico disso foi um modelo de IA treinado para reconhecer tanques em comparação a outros tipos de transporte. Acontece que todos os tanques foram fotografados à luz do dia, mas outros veículos não. Como resultado, a IA fez um ótimo trabalho em tank versus not tank, mas na verdade estava correlacionando dia versus noite. A falta de diversidade no conjunto de entrada causou uma correlação tendenciosa.

Mesmo que uma IA operacional esteja contando com aprendizado por reforço, a falta de diversidade de dados é problemática porque o sistema não tem todas as “variáveis” necessárias para determinar o “próximo movimento”, por assim dizer.

A razão pela qual uma IA pode não ter um conjunto diversificado de dados ou todas as variáveis de que precisa é, você adivinhou, viés de dados. Especificamente, o viés de dados introduzido pelo monitoramento seletivo, no qual apenas *alguma* telemetria é ingerida para análise. Por exemplo, o impacto do desempenho do DNS na experiência do usuário é bem compreendido. Mas se um modelo for treinado para analisar o desempenho do aplicativo sem telemetria do DNS, ele pode alegar que o desempenho está ótimo mesmo se houver um problema com o DNS, porque ele não tem ideia de que o DNS está de alguma forma relacionado ao desempenho de ponta a ponta do aplicativo. Se o "próximo passo" for alertar alguém sobre uma degradação de desempenho, o sistema falhará devido ao viés na seleção de dados.

Não será surpresa para você se eu disser que nossa pesquisa anual descobriu que mais da metade de todas as organizações citam “dados ausentes” como um dos principais desafios para descobrir os insights de que precisam.

Portanto, mesmo que todas as organizações estivessem empenhadas em aproveitar a IA para orientar decisões operacionais, isso representaria um desafio. Sem um conjunto de dados diversificado para treinar tal sistema, o potencial de viés se instala.

Uma terceira maneira pela qual o viés pode ser introduzido está nos métodos usados para introduzir dados no modelo. O exemplo operacional mais comum disso é usar os resultados de testes sintéticos para determinar o desempenho médio de um aplicativo e, em seguida, usar o modelo resultante para analisar o tráfego real. Dependendo da amplitude de locais, dispositivos, congestionamento de rede, etc. que formam o conjunto de dados dos testes sintéticos, um desempenho perfeitamente aceitável para usuários reais pode ser identificado como falha, ou vice-versa.