Entendendo a inteligência artificial

Para tornar os resultados dos sistemas de IA mais compreensíveis para humanos, ou seja, para a gestão, a abordagem eXplainable Artificial Intelligence (XAI) permite promover explicações de decisões com mais detalhes, por meio de mecanismos internos mais transparentes.

Como o eXplainable Artificial Intelligence (XAI) permite reduzir riscos?

O XAI é um conjunto de técnicas usadas para adicionar uma camada de transparência a fim de demonstrar como o algoritmo prevê ou produz uma informação. Esse novo mecanismo de interpretação permite endereçar a preocupação de usuários e clientes sobre a privacidade de dados, aumentar a confiança em insights, e o mais importante, impulsionar a ética e a responsabilidade corporativa.

Como exemplo prático de necessidade do XAI, pode-se imaginar um caso de diagnóstico feito por meio de IA, com base na condição do paciente, para recomendação de medicamentos específicos. Se não houver transparência suficiente sobre os parâmetros, será difícil ter ou transmitir confiança no diagnóstico e prescrição médica. Nesse caso os atributos e as correlações precisam ser passíveis de inspeção.

Como criar uma estrutura confiável de IA?

A incorporação e consideração do entendimento da IA em casos de uso confidenciais ajudaria muito na construção de confiança no uso de IA em uma organização. Por isso é importante ter em mente quatro orientações essenciais para mitigar riscos desde a implementação:

• Compreender a exposição atual ao risco de IA, fornecendo informações sobre o inventário de IA em toda a organização;
• Avaliação independente e insights sobre o comportamento do modelo para a equipe que irá gerenciar as soluções implantadas;
• Governança apropriada para inovação contínua de IA com base no risco do caso uso;
• Garantir a prontidão na resposta a crises em que houver uma dependência significativa da IA.
   

O que significa e qual diferença entre glass-box e black-box?

A implantação de um modelo menos complicado (como regressão linear, regressão logística, árvores de decisão) geralmente se presta a uma interpretação mais direta dos resultados com base nos dados de entrada, sem necessidade adicional na modelagem de resultados individuais.

Glass-box refere-se à facilidade de rastreamento de entrada para saída, que permite explicar mais facilmente como o sistema de IA se comporta e, mais importante, por que o sistema fez uma previsão específica.
Em breve, revelar a qualidade de explicação dos modelos provavelmente será parte integrante do ciclo de vida de desenvolvimento de software para sistemas de IA.

Ao comparar black-box ao cérebro humano tomando uma decisão, podemos ver a saída ou a decisão, em que não é possível explicar ou reproduzir o resultado devido à visão limitada das contribuições de fatores influenciadores da decisão. Esse modelo, mais parecido com redes neurais, pode ser mais escolhido devido ao desempenho superior em desafios complexos. Entretanto coloca a explicação em jogo — a relação entrada-saída é menos transparente com resultados individuais, por não ser facilmente explicável sem investimento adicional para modelar os atributos de entrada específicos para um determinado resultado ou como um todo.

Por isso, as áreas de ciência de dados e desenvolvimento precisam fornecer informações sobre os principais impulsionadores dos modelos construídos. Alternativamente, há um elemento de risco desconhecido nos sistemas de IA em produção que não foram avaliados quanto ao entendimento das decisões.