Conceitos cruciais em IA: Transparência e Explicabilidade
Quase todas as pesquisas que buscam entender as preocupações da indústria com relação à IA colocam tudo sob o título de “segurança”. De preocupações com vazamento de dados confidenciais a alucinações e preconceitos , de exploração por meio de injeção rápida a transparência e explicabilidade, parece que tudo é responsabilidade da segurança quando se trata de IA.
Cada uma dessas preocupações é válida e importante, mas todas são muito diferentes e a maioria delas não é de responsabilidade da segurança.
Hoje vamos nos aprofundar em transparência e explicabilidade, conceitos cruciais para entender e colocar em prática quando se trata de usar IA em seu negócio. Isso não ocorre apenas porque são formas de estabelecer confiança no sistema e nos resultados; ambos também oferecem suporte à solução de problemas e depuração de sistemas, especialmente durante o desenvolvimento.
Transparência e explicabilidade
Transparência e explicabilidade são conceitos críticos em geral, mas especialmente aplicáveis à IA, já que a maioria dos profissionais — mesmo na área de TI — não está familiarizada com o funcionamento desses sistemas. Ambos os conceitos são frequentemente discutidos no contexto de IA ética, IA responsável e governança de IA. Embora estejam intimamente relacionados, eles têm significados distintos e servem a propósitos diferentes na compreensão e governança de sistemas de IA.
A transparência se concentra em fornecer informações gerais a um público amplo, incluindo partes interessadas e o público, sobre o sistema de IA. A explicabilidade é mais específica e busca esclarecer decisões ou resultados individuais para usuários, desenvolvedores e partes interessadas que precisam entender seu comportamento.
A transparência se concentra em promover a confiança no sistema, enquanto a explicabilidade se preocupa em estabelecer confiança em resultados específicos. Para conseguir isso, a transparência e a explicabilidade concentram-se em diferentes elementos.
Transparência: Cite suas fontes
Transparência em IA se refere ao grau em que as informações sobre o design, a operação e os processos de tomada de decisão de um sistema de IA são abertas, acessíveis e compreensíveis para as partes interessadas. Ele enfatiza a comunicação clara e a visibilidade de como os sistemas de IA funcionam, permitindo que as partes interessadas entendam vários aspectos do sistema.
Os principais elementos da transparência da IA incluem:
- Design e Desenvolvimento: Transparência envolve compartilhar informações sobre os processos de design, arquitetura e treinamento de sistemas de IA. Isso inclui o tipo de dados usados, os algoritmos e modelos implementados. Essa transparência é semelhante às divulgações de serviços financeiros nas quais os provedores explicam quais dados e pesos são usados para determinar sua elegibilidade para uma hipoteca ou a pontuação FICO das agências de relatórios de crédito.
- Dados e entradas: Transparência envolve ser claro sobre as fontes e os tipos de dados usados para treinar e operar o sistema de IA. Também abrange a divulgação de qualquer pré-processamento, transformação ou aumento de dados aplicado aos dados de entrada. Esse tipo de informação é semelhante às declarações de coleta de dados, onde as empresas informam quais dados coletam, armazenam e com quem podem compartilhá-los.
- Governança e Responsabilidade: Fornecer informações sobre quem é responsável pelo desenvolvimento, implantação e governança do sistema de IA. Isso ajuda as partes interessadas a entender a estrutura de responsabilização.
Explicabilidade: Mostre seu trabalho
Explicabilidade em IA refere-se à capacidade de fornecer razões ou justificativas compreensíveis para as decisões, resultados ou comportamento dos sistemas. Ele enfatiza a explicação do motivo pelo qual uma decisão específica foi tomada, concentrando-se em tornar os resultados da IA compreensíveis para usuários e partes interessadas.
Os principais elementos da explicabilidade da IA incluem:
- Justificativa da decisão: Explicabilidade envolve detalhar os fatores e a lógica que levaram a uma decisão ou resultado específico. Responde às perguntas: "Por que a IA tomou essa decisão?" e "O que influenciou esse resultado?" Isso é semelhante a fazer uma prova em geometria; você precisa confiar em axiomas — intermediação, congruência, linhas paralelas, etc. — para explicar sua saída. Em outras palavras, se a IA decidir 2+2=5 , ela deve demonstrar uma razão válida para a decisão, como confiar em um sistema matemático alternativo ou usar a equação como um recurso literário.
- Interpretabilidade do modelo: A explicabilidade exige que os modelos de IA sejam interpretáveis para que as partes interessadas possam entender a mecânica subjacente de como as decisões são tomadas. Por exemplo, nem todo mundo entende cálculo, então uma explicação na forma de uma equação complexa não é suficiente. Há uma grande diferença entre a maneira como uma Rede Adversarial Generativa (GAN) e Redes Neurais Convolucionais (CNN) funcionam, portanto, revelar qual abordagem arquitetônica está em uso é uma parte importante da interpretabilidade.
- Compreensibilidade humana: A explicação deve estar em um formato que seja facilmente compreendido por humanos, incluindo não especialistas. Isso requer a apresentação de operações complexas de IA de maneira simples e clara. Você não pode apresentar a explicação em formato hexadecimal ou com código; você precisará usar algo legível por todas as partes interessadas, incluindo o jurídico, a conformidade e os engenheiros.
Construindo confiança na IA
Toda nova tecnologia exige tempo para estabelecer confiança. Quinze anos atrás, ninguém confiava no dimensionamento automático de aplicativos críticos, mas hoje ele é esperado como um recurso fundamental. A automação de qualquer tipo, seja para resolver problemas matemáticos complexos, dirigir seu carro ou pagar suas contas, leva tempo para que os usuários confiem. A transparência sobre o processo e a explicação de como o sistema funciona podem contribuir muito para encurtar o intervalo entre a introdução e a adoção.
A transparência fornece uma visão ampla do funcionamento do sistema de IA, enquanto a explicabilidade investiga as razões por trás de decisões ou resultados específicos. Ambas são essenciais para o sucesso da IA e para que as empresas percebam seus benefícios para um melhor atendimento ao cliente, maior produtividade e tomada de decisões mais rápida.
E nem são da alçada da segurança.