 |
| Uma visão da destruição após a retirada das forças israelenses de Khan Yunis, Gaza, enquanto alguns residentes palestinos começaram a retornar às suas casas no dia 18 de julho de 2024. (Abed Rahim Khatib / Anadolu via Getty Images) |
Tradução / Por um breve momento em 2023, a maior ameaça existencial à humanidade parecia vir não das mudanças climáticas antropogênicas, mas de outro espectro movido pelo homem: a inteligência artificial. Introduzindo esse novo sabor distópico, foi o lançamento do ChatGPT-3 pela OpenAI, um modelo de linguagem grande, ou LLM, capaz de gerar longas sequências de texto preditivo com base em prompts humanos.
Nas semanas seguintes, à medida que pessoas em todo o mundo consumiam bilhões de watts de energia enviando prompts como “Reescreva os prequels de Star Wars onde Jar Jar Binks é na verdade o Lorde Sith secreto”, o discurso público se congestionou com uma mistura de prognósticos tecnológicos, experimentos filosóficos e enredos amadores de ficção científica sobre máquinas sencientes.
Os principais veículos de mídia publicaram artigos como “Podemos Parar a IA Fora de Controle?” e “O que os Humanos Acabaram de Libertar?” Governos em todo o Ocidente se apressaram para formar comitês de supervisão, e cada pessoa com conhecimentos tecnológicos adotou um novo vocabulário quase da noite para o dia, trocando termos como “aprendizado de máquina” e “ciência de dados” por “IA.”
Enquanto o lançamento do ChatGPT-3 pela OpenAI desencadeou uma corrida armamentista de LLMs entre gigantes da tecnologia como Google, Amazon e Meta, alguns tecnólogos proeminentes, como Elon Musk e Steve Wozniak, assinaram uma carta aberta alertando sobre o futuro sombrio de uma inteligência artificial descontrolada, pedindo a todos os laboratórios de IA que interrompessem seus experimentos até que nossos aparatos regulatórios (e nossa ética) pudessem acompanhar. Nas páginas pixeladas do New York Times e do Substack, intelectuais públicos debateram abertamente os dilemas morais levantados pelo espectro de uma inteligência artificial onipotente.
Embora os defensores mais entusiastas e os temerosos fatalistas da IA provavelmente tenham exagerado tanto nas capacidades dos LLMs quanto na velocidade dos desenvolvimentos de pesquisa na área, eles provocaram um conjunto de questões éticas importantes sobre o papel da tecnologia na sociedade.
Levantar essas questões no tempo futuro, sobre o que devemos fazer se e quando a tecnologia atingir um ponto hipotético distante, abdica nossa responsabilidade no presente em relação às maneiras como estamos atualmente usando a tecnologia e como essa dependência já pode estar colocando a humanidade em perigo.
Devemos talvez ser especialmente vigilantes quanto ao uso da tecnologia para segurança cibernética e de guerra, não apenas por causa das óbvias implicações morais, mas também porque a OpenAI recentemente nomeou um general reformado do Exército dos EUA e ex-conselheiro da Agência de Segurança Nacional (NSA) para seu conselho. A melhor maneira de se preparar para um futuro perigoso causado pelas máquinas é observar que esse futuro já está aqui. E está se desenrolando em Gaza.
A guerra de Israel em Gaza
Em uma série de investigações inovadoras, as publicações israelenses +972 e Local Call revelaram o extenso papel da IA na campanha militar de Israel contra Gaza, que começou em 8 de outubro de 2023 e que Israel chama de Operação Espadas de Ferro. Baseando-se fortemente em testemunhos fornecidos por seis fontes anônimas dentro das Forças de Defesa de Israel (IDF), todas com experiência direta com essa tecnologia, o repórter investigativo Yuval Abraham descreve três sistemas algorítmicos usados pela IDF: “O Evangelho”, “Lavanda” e “Onde Está o Papai?” Embora não possamos verificar de modo independente qualquer uma das alegações feitas pelas fontes de Abraham, assumiremos sua veracidade ao longo deste artigo.
De acordo com as fontes de Abraham, o Evangelho gera uma lista de estruturas físicas a serem atacadas, e Lavanda gera uma lista de humanos a serem atacados. “Onde Está o Papai?” é um sistema auxiliar de rastreamento que é então usado para prever quando os alvos gerados pelo Lavanda entraram em suas casas para que possam ser bombardeados.
Todas as fontes de Abraham, soldados da reserva convocados após 7 de outubro, indicaram que esses sistemas, quando em uso, têm muito pouca supervisão humana, com os soldados frequentemente fornecendo apenas uma confirmação das saídas do modelo (a IDF negou essas alegações). Em duas investigações, Abraham sugere que esses sistemas são pelo menos parcialmente responsáveis pela escala sem precedentes de destruição da atual ofensiva militar, especialmente durante as primeiras semanas.
De fato, as Forças de Defesa de Israel (IDF) se gabaram de ter lançado quatro mil toneladas de bombas na Faixa de Gaza nos primeiros cinco dias da operação. Segundo a própria admissão da IDF, metade dessas bombas foram lançadas em chamados alvos de poder. Alvos de poder são estruturas civis não militares, como edifícios públicos ou apartamentos em altos edifícios, localizados em áreas densas que, se bombardeados, podem causar consideráveis danos à infraestrutura civil. De fato, são escolhidos precisamente por essa razão.
A lógica por trás dos alvos de poder pode ser rastreada até a doutrina de Dahiya, uma estratégia militar que legitima a destruição desproporcional de civis durante a guerra de Israel com o Hezbollah em 2006, defendida pelo comandante da IDF na época, Gadi Eisenkot. Embora a IDF não tenha utilizado oficialmente tais alvos de poder contra os palestinos até sua campanha militar contra Gaza em 2014, o sistema Gospel permitiu que a Doutrina de Dahiya fosse implementada em uma escala mais massiva, gerando alvos em uma taxa mais rápida do que podem ser bombardeados, enquanto mantém alguma credibilidade internacional contra alegações de bombardeios indiscriminados.
O porta-voz da IDF, Daniel Hagari, reiterou sucintamente a doutrina de Dahiya no dia 10 de outubro de 2023: “Estamos focados no que causa o máximo de dano.” Isso refletiu a conclusão original de Eisenkot em 2008: “Aplicaremos força desproporcional… e causaremos grandes danos e destruição lá.” Eisenkot fez parte do gabinete de guerra israelense formado por Benjamin Netanyahu em 11 de outubro do ano passado, até renunciar pouco depois de Benny Gantz em junho de 2024, o que levou Netanyahu a desmantelar o gabinete.
O princípio da proporcionalidade visa prevenir o uso excessivo de força contra civis, um uso desproporcional em relação aos ganhos militares buscados, e é um dos princípios fundamentais do direito internacional humanitário. Na prática, violações desse princípio são difíceis de provar, a menos que sejam exibidas com orgulho pelos perpetradores.
Não está claro até que ponto a IDF ainda está utilizando a tecnologia de IA descrita pelo +972 na fase atual de sua operação militar. Também não está claro quão útil tal tecnologia seria na fase atual, dada a destruição generalizada que Israel já causou, com a maioria das casas, hospitais, edifícios governamentais, escritórios de ONGs e escolas danificados ou destruídos; eletricidade em grande parte cortada; e palestinos famintos e deslocados frequentemente mudando de local para escapar dos ataques israelenses e encontrar abrigo.
No entanto, é totalmente possível que Israel possa empregar os mesmos sistemas contra o Líbano se uma conflagração maior eclodir. Israel também tem um histórico de venda de tecnologias militares para outros países, incluindo outros países que também cometeram violações dos direitos humanos.
A equipe homem-máquina
Em campanhas militares anteriores nas quais os alvos de assassinato eram selecionados de forma mais manual, a seleção de cada um envolvia um longo processo de incriminação que envolvia a verificação cruzada de informações.
Embora esse processo fosse gerenciável quando o grupo de alvos incluía apenas altos funcionários do Hamas, tornou-se mais complicado à medida que a IDF expandiu sua lista de alvos potenciais para incluir todos os operativos de baixo escalão na busca de seu objetivo declarado de erradicar o Hamas. Israel usou esse objetivo, por mais elevado que fosse, como uma justificativa para o uso de IA para automatizar e acelerar o processo de geração de alvos.
Lavanda é um modelo treinado para identificar qualquer e todos os membros do Hamas e da Jihad Islâmica Palestina (PIJ), independentemente da patente, com o objetivo explícito de gerar uma lista de alvos. O modelo Lavanda que as fontes de Abraham descreveram é muito semelhante ao que o chefe da Unidade 8200 da IDF descreveu tanto em um e-book autopublicado em 2021 intitulado The Human-Machine Team: How to Create Synergy Between Human and Artificial Intelligence That Will Revolutionize Our World (A Equipe Humano-Máquina: Como Criar Sinergia Entre Inteligência Humana e Artificial Que Revolucionará Nosso Mundo), sob o pseudônimo de Brigadeiro General Y. S., quanto em uma apresentação que ele fez em uma conferência de IA organizada pela Universidade de Tel Aviv no início de 2023.
Dada a natureza altamente sensível do trabalho da Unidade 8200, a identidade de seu comandante geralmente é classificada durante o seu mandato. No entanto, a identidade do atual comandante, Yossi Sariel, foi ironicamente comprometida devido às próprias práticas de cibersegurança deficientes do comandante, já que seu e-book autopublicado estava vinculado à sua conta pessoal do Google.
Abraham obteve slides da apresentação de IA de Sariel em 2023 na Universidade de Tel Aviv, que incluíam uma representação pictórica de um modelo de aprendizado de máquina, que aparentemente foi implantado pela primeira vez na campanha militar de Israel em Gaza em 2021. O aprendizado de máquina é um campo interdisciplinar que combina conceitos e técnicas de matemática, ciência da computação e estatística. Ele constrói modelos que podem aprender padrões a partir de dados de treinamento e generalizar essas descobertas para novos dados, frequentemente na forma de previsões ou outras inferências.
Os problemas de aprendizado de máquina são comumente divididos em aprendizado supervisionado e não supervisionado, dependendo se os dados de treinamento são rotulados ou não rotulados, ou quanta supervisão o modelo tem ao aprender com os dados de treinamento. O esquema de Sariel foi apresentado com o título “PU Learning.” O termo provavelmente se refere a “aprendizado positivo e não rotulado”, um caso especial de problemas de aprendizado semi-supervisionado no qual os dados de treinamento para um algoritmo de classificação incluem apenas rótulos para a classe positiva.
O algoritmo de classificação deve, portanto, aprender a prever se uma amostra é um membro da classe positiva ou negativa com base apenas em ter acesso a exemplos positivos nos dados de treinamento. Neste caso, as palavras “positivo” e “negativo” referem-se a se a amostra, ou indivíduo, é um militante ou não. Isso significa que, nos dados de treinamento (e talvez na estratégia e ideologia militar da IDF de maneira mais ampla), não há uma categoria para civis palestinos.
As características usadas para classificar indivíduos foram coletadas de uma ampla gama de fontes de vigilância, provavelmente sob a supervisão da Unidade 8200, incluindo registros de telefone, mídias sociais, fotografias, vigilância visual e contatos sociais. O volume impressionante de informações de vigilância que Israel, um dos principais desenvolvedores e exportadores de cibertecnologia do mundo, coleta sobre os palestinos, especialmente em Gaza, é surpreendente e torna extremamente difícil entender por que civis conhecidos não seriam rotulados como negativos nos dados de treinamento.
Em 2014, quarenta e três veteranos que serviram na Unidade 8200 assinaram uma carta criticando a unidade e se recusando a continuar no serviço, dizendo que “Informações que são coletadas e armazenadas [pela Unidade 8200] prejudicam pessoas inocentes.” Grande parte dos dados, armazenamento de dados e poder de computação do governo israelense vem do Google e da Amazon, proporcionados por contratos plurianuais e multibilionários.
Decisão
Embora os modelos pareçam precisos, na prática, são vagos e flexíveis o suficiente para acomodar (e esconder) uma infinidade de intenções. Construir um sistema de IA envolve um conjunto quase ilimitado de pontos de decisão.
Em primeiro lugar, esses pontos de decisão envolvem a especificação do problema, a coleta e manipulação de dados de treinamento (incluindo a rotulagem de amostras), a seleção e parametrização do algoritmo, a seleção e engenharia das características a serem incluídas no modelo e, finalmente, o processo de treinamento e validação do modelo. Cada um desses pontos de decisão está associado a preconceitos e suposições, que devem ser cuidadosamente considerados e equilibrados entre si.
Nas semanas seguintes, à medida que pessoas em todo o mundo consumiam bilhões de watts de energia enviando prompts como “Reescreva os prequels de Star Wars onde Jar Jar Binks é na verdade o Lorde Sith secreto”, o discurso público se congestionou com uma mistura de prognósticos tecnológicos, experimentos filosóficos e enredos amadores de ficção científica sobre máquinas sencientes.
Os principais veículos de mídia publicaram artigos como “Podemos Parar a IA Fora de Controle?” e “O que os Humanos Acabaram de Libertar?” Governos em todo o Ocidente se apressaram para formar comitês de supervisão, e cada pessoa com conhecimentos tecnológicos adotou um novo vocabulário quase da noite para o dia, trocando termos como “aprendizado de máquina” e “ciência de dados” por “IA.”
Enquanto o lançamento do ChatGPT-3 pela OpenAI desencadeou uma corrida armamentista de LLMs entre gigantes da tecnologia como Google, Amazon e Meta, alguns tecnólogos proeminentes, como Elon Musk e Steve Wozniak, assinaram uma carta aberta alertando sobre o futuro sombrio de uma inteligência artificial descontrolada, pedindo a todos os laboratórios de IA que interrompessem seus experimentos até que nossos aparatos regulatórios (e nossa ética) pudessem acompanhar. Nas páginas pixeladas do New York Times e do Substack, intelectuais públicos debateram abertamente os dilemas morais levantados pelo espectro de uma inteligência artificial onipotente.
Embora os defensores mais entusiastas e os temerosos fatalistas da IA provavelmente tenham exagerado tanto nas capacidades dos LLMs quanto na velocidade dos desenvolvimentos de pesquisa na área, eles provocaram um conjunto de questões éticas importantes sobre o papel da tecnologia na sociedade.
Levantar essas questões no tempo futuro, sobre o que devemos fazer se e quando a tecnologia atingir um ponto hipotético distante, abdica nossa responsabilidade no presente em relação às maneiras como estamos atualmente usando a tecnologia e como essa dependência já pode estar colocando a humanidade em perigo.
Devemos talvez ser especialmente vigilantes quanto ao uso da tecnologia para segurança cibernética e de guerra, não apenas por causa das óbvias implicações morais, mas também porque a OpenAI recentemente nomeou um general reformado do Exército dos EUA e ex-conselheiro da Agência de Segurança Nacional (NSA) para seu conselho. A melhor maneira de se preparar para um futuro perigoso causado pelas máquinas é observar que esse futuro já está aqui. E está se desenrolando em Gaza.
A guerra de Israel em Gaza
Em uma série de investigações inovadoras, as publicações israelenses +972 e Local Call revelaram o extenso papel da IA na campanha militar de Israel contra Gaza, que começou em 8 de outubro de 2023 e que Israel chama de Operação Espadas de Ferro. Baseando-se fortemente em testemunhos fornecidos por seis fontes anônimas dentro das Forças de Defesa de Israel (IDF), todas com experiência direta com essa tecnologia, o repórter investigativo Yuval Abraham descreve três sistemas algorítmicos usados pela IDF: “O Evangelho”, “Lavanda” e “Onde Está o Papai?” Embora não possamos verificar de modo independente qualquer uma das alegações feitas pelas fontes de Abraham, assumiremos sua veracidade ao longo deste artigo.
De acordo com as fontes de Abraham, o Evangelho gera uma lista de estruturas físicas a serem atacadas, e Lavanda gera uma lista de humanos a serem atacados. “Onde Está o Papai?” é um sistema auxiliar de rastreamento que é então usado para prever quando os alvos gerados pelo Lavanda entraram em suas casas para que possam ser bombardeados.
Todas as fontes de Abraham, soldados da reserva convocados após 7 de outubro, indicaram que esses sistemas, quando em uso, têm muito pouca supervisão humana, com os soldados frequentemente fornecendo apenas uma confirmação das saídas do modelo (a IDF negou essas alegações). Em duas investigações, Abraham sugere que esses sistemas são pelo menos parcialmente responsáveis pela escala sem precedentes de destruição da atual ofensiva militar, especialmente durante as primeiras semanas.
De fato, as Forças de Defesa de Israel (IDF) se gabaram de ter lançado quatro mil toneladas de bombas na Faixa de Gaza nos primeiros cinco dias da operação. Segundo a própria admissão da IDF, metade dessas bombas foram lançadas em chamados alvos de poder. Alvos de poder são estruturas civis não militares, como edifícios públicos ou apartamentos em altos edifícios, localizados em áreas densas que, se bombardeados, podem causar consideráveis danos à infraestrutura civil. De fato, são escolhidos precisamente por essa razão.
A lógica por trás dos alvos de poder pode ser rastreada até a doutrina de Dahiya, uma estratégia militar que legitima a destruição desproporcional de civis durante a guerra de Israel com o Hezbollah em 2006, defendida pelo comandante da IDF na época, Gadi Eisenkot. Embora a IDF não tenha utilizado oficialmente tais alvos de poder contra os palestinos até sua campanha militar contra Gaza em 2014, o sistema Gospel permitiu que a Doutrina de Dahiya fosse implementada em uma escala mais massiva, gerando alvos em uma taxa mais rápida do que podem ser bombardeados, enquanto mantém alguma credibilidade internacional contra alegações de bombardeios indiscriminados.
O porta-voz da IDF, Daniel Hagari, reiterou sucintamente a doutrina de Dahiya no dia 10 de outubro de 2023: “Estamos focados no que causa o máximo de dano.” Isso refletiu a conclusão original de Eisenkot em 2008: “Aplicaremos força desproporcional… e causaremos grandes danos e destruição lá.” Eisenkot fez parte do gabinete de guerra israelense formado por Benjamin Netanyahu em 11 de outubro do ano passado, até renunciar pouco depois de Benny Gantz em junho de 2024, o que levou Netanyahu a desmantelar o gabinete.
O princípio da proporcionalidade visa prevenir o uso excessivo de força contra civis, um uso desproporcional em relação aos ganhos militares buscados, e é um dos princípios fundamentais do direito internacional humanitário. Na prática, violações desse princípio são difíceis de provar, a menos que sejam exibidas com orgulho pelos perpetradores.
Não está claro até que ponto a IDF ainda está utilizando a tecnologia de IA descrita pelo +972 na fase atual de sua operação militar. Também não está claro quão útil tal tecnologia seria na fase atual, dada a destruição generalizada que Israel já causou, com a maioria das casas, hospitais, edifícios governamentais, escritórios de ONGs e escolas danificados ou destruídos; eletricidade em grande parte cortada; e palestinos famintos e deslocados frequentemente mudando de local para escapar dos ataques israelenses e encontrar abrigo.
No entanto, é totalmente possível que Israel possa empregar os mesmos sistemas contra o Líbano se uma conflagração maior eclodir. Israel também tem um histórico de venda de tecnologias militares para outros países, incluindo outros países que também cometeram violações dos direitos humanos.
A equipe homem-máquina
Em campanhas militares anteriores nas quais os alvos de assassinato eram selecionados de forma mais manual, a seleção de cada um envolvia um longo processo de incriminação que envolvia a verificação cruzada de informações.
Embora esse processo fosse gerenciável quando o grupo de alvos incluía apenas altos funcionários do Hamas, tornou-se mais complicado à medida que a IDF expandiu sua lista de alvos potenciais para incluir todos os operativos de baixo escalão na busca de seu objetivo declarado de erradicar o Hamas. Israel usou esse objetivo, por mais elevado que fosse, como uma justificativa para o uso de IA para automatizar e acelerar o processo de geração de alvos.
Lavanda é um modelo treinado para identificar qualquer e todos os membros do Hamas e da Jihad Islâmica Palestina (PIJ), independentemente da patente, com o objetivo explícito de gerar uma lista de alvos. O modelo Lavanda que as fontes de Abraham descreveram é muito semelhante ao que o chefe da Unidade 8200 da IDF descreveu tanto em um e-book autopublicado em 2021 intitulado The Human-Machine Team: How to Create Synergy Between Human and Artificial Intelligence That Will Revolutionize Our World (A Equipe Humano-Máquina: Como Criar Sinergia Entre Inteligência Humana e Artificial Que Revolucionará Nosso Mundo), sob o pseudônimo de Brigadeiro General Y. S., quanto em uma apresentação que ele fez em uma conferência de IA organizada pela Universidade de Tel Aviv no início de 2023.
Dada a natureza altamente sensível do trabalho da Unidade 8200, a identidade de seu comandante geralmente é classificada durante o seu mandato. No entanto, a identidade do atual comandante, Yossi Sariel, foi ironicamente comprometida devido às próprias práticas de cibersegurança deficientes do comandante, já que seu e-book autopublicado estava vinculado à sua conta pessoal do Google.
Abraham obteve slides da apresentação de IA de Sariel em 2023 na Universidade de Tel Aviv, que incluíam uma representação pictórica de um modelo de aprendizado de máquina, que aparentemente foi implantado pela primeira vez na campanha militar de Israel em Gaza em 2021. O aprendizado de máquina é um campo interdisciplinar que combina conceitos e técnicas de matemática, ciência da computação e estatística. Ele constrói modelos que podem aprender padrões a partir de dados de treinamento e generalizar essas descobertas para novos dados, frequentemente na forma de previsões ou outras inferências.
Os problemas de aprendizado de máquina são comumente divididos em aprendizado supervisionado e não supervisionado, dependendo se os dados de treinamento são rotulados ou não rotulados, ou quanta supervisão o modelo tem ao aprender com os dados de treinamento. O esquema de Sariel foi apresentado com o título “PU Learning.” O termo provavelmente se refere a “aprendizado positivo e não rotulado”, um caso especial de problemas de aprendizado semi-supervisionado no qual os dados de treinamento para um algoritmo de classificação incluem apenas rótulos para a classe positiva.
O algoritmo de classificação deve, portanto, aprender a prever se uma amostra é um membro da classe positiva ou negativa com base apenas em ter acesso a exemplos positivos nos dados de treinamento. Neste caso, as palavras “positivo” e “negativo” referem-se a se a amostra, ou indivíduo, é um militante ou não. Isso significa que, nos dados de treinamento (e talvez na estratégia e ideologia militar da IDF de maneira mais ampla), não há uma categoria para civis palestinos.
As características usadas para classificar indivíduos foram coletadas de uma ampla gama de fontes de vigilância, provavelmente sob a supervisão da Unidade 8200, incluindo registros de telefone, mídias sociais, fotografias, vigilância visual e contatos sociais. O volume impressionante de informações de vigilância que Israel, um dos principais desenvolvedores e exportadores de cibertecnologia do mundo, coleta sobre os palestinos, especialmente em Gaza, é surpreendente e torna extremamente difícil entender por que civis conhecidos não seriam rotulados como negativos nos dados de treinamento.
Em 2014, quarenta e três veteranos que serviram na Unidade 8200 assinaram uma carta criticando a unidade e se recusando a continuar no serviço, dizendo que “Informações que são coletadas e armazenadas [pela Unidade 8200] prejudicam pessoas inocentes.” Grande parte dos dados, armazenamento de dados e poder de computação do governo israelense vem do Google e da Amazon, proporcionados por contratos plurianuais e multibilionários.
Decisão
Embora os modelos pareçam precisos, na prática, são vagos e flexíveis o suficiente para acomodar (e esconder) uma infinidade de intenções. Construir um sistema de IA envolve um conjunto quase ilimitado de pontos de decisão.
Em primeiro lugar, esses pontos de decisão envolvem a especificação do problema, a coleta e manipulação de dados de treinamento (incluindo a rotulagem de amostras), a seleção e parametrização do algoritmo, a seleção e engenharia das características a serem incluídas no modelo e, finalmente, o processo de treinamento e validação do modelo. Cada um desses pontos de decisão está associado a preconceitos e suposições, que devem ser cuidadosamente considerados e equilibrados entre si.
Uma suposição comum para algoritmos usados em problemas de PU Learning é que as amostras rotuladas como positivas no conjunto de treinamento são selecionadas completamente ao acaso, independentemente das características ou atributos das amostras. Embora essa suposição seja frequentemente violada no mundo real — como quase certamente é o caso para a rotulagem de militantes do Hamas e da PIJ — ela permite uma maior gama de escolhas entre algoritmos.
Sob essa suposição, no entanto, não é possível estimar a precisão do modelo, apenas a aproximação. Ambas são medidas estatísticas de precisão: a precisão de um modelo refere-se à proporção de previsões positivas que são, de fato, de acordo com a verdade real, verdadeiramente positivas, levando em conta quaisquer falsos positivos que o modelo possa ter gerado, enquanto a revocação de um modelo refere-se à proporção de amostras positivas nos dados que o modelo classifica corretamente.
Um modelo hipotético que previsse todas as amostras como positivas teria uma aproximação perfeita (identificaria corretamente toda a classe positiva), mas uma precisão ruim (classificaria incorretamente toda a classe negativa como positiva, gerando muitos falsos positivos). Dado que o objetivo declarado do governo israelense desde 7 de outubro tem sido erradicar o Hamas, só se pode supor que a IDF — mesmo que recentemente tenha se distanciado desse objetivo — está mais preocupada em otimizar a revocação do modelo em vez de sua precisão, mesmo que isso venha às custas de gerar mais falsos positivos (falhas em detectar civis como tal).
De fato, múltiplas declarações de Netanyahu e ex-membros do gabinete de guerra israelense — sem mencionar o castigo coletivo e a destruição em massa das condições de vida em Gaza — lançam dúvidas sobre se palestinos inocentes sequer existem como uma categoria ontológica para a IDF. Se não há palestinos inocentes, qualquer medição da precisão do modelo é supérflua.
Preocupantemente, as fontes de Abraham insinuam que o conjunto de treinamento inclui não apenas militantes conhecidos do Hamas e da PIJ, mas também servidores públicos que trabalham no ministério de segurança de Gaza, que ajudam a administrar o governo controlado pelo Hamas, mas não são membros do Hamas, nem ativistas políticos. Não seria surpreendente que a IDF rotulasse servidores públicos que trabalham em um governo do Hamas como inimigos de Israel, dada a definição notoriamente ampla de terroristas da IDF. Mas isso também criaria um problema sério para o modelo, assumindo que ele de fato foi treinado apenas com dados positivos e não rotulados. Se essas amostras fossem rotuladas como positivas, significaria que o modelo aprenderia a associar características compartilhadas entre servidores públicos com a classe positiva, resultando em classificações incorretas.
De fato, segundo as fontes de Abraham, o Lavender erroneamente almeja civis que compartilham o mesmo nome que um militante suspeito, têm padrões de comunicação altamente correlacionados com militantes suspeitos do Hamas (como servidores públicos), ou receberam um telefone móvel que foi uma vez associado a um militante suspeito do Hamas. E embora o modelo seja conhecido por cometer erros aproximadamente 10% das vezes, a saída não é examinada além da necessidade ocasional de confirmar que os alvos são do sexo masculino (em geral, a maioria dos homens, mesmo crianças, são assumidos como militantes pela IDF).
Como o modelo prevê a probabilidade de que um determinado indivíduo seja um militante, a lista de alvos, ou presumidos militantes, pode ser encurtada ou alongada mudando o limite em que essa probabilidade é convertida em uma variável binária, militante ou não. Alguém com uma probabilidade de 70% é assumido como militante? Apenas mais de 50%? Não sabemos, mas a resposta pode mudar de um dia para o outro ou de semana para semana.
Na prática, você pode ajustar o limite para gerar o número de alvos desejado, seja porque, como explicou uma das fontes de Abraham, você está sendo pressionado para “trazer… mais alvos” ou porque precisa reduzir temporariamente devido à pressão dos EUA.
Listas de alvos
Embora não saibamos a faixa de limites usados, ou a faixa de probabilidades geradas pelo modelo, sabemos, graças à reportagem de Abraham, que os limites eram de fato alterados regularmente, às vezes de forma arbitrária e às vezes explicitamente para tornar a lista mais longa. Essas mudanças eram frequentemente feitas por oficiais militares de baixa patente que têm muito pouca visão sobre o funcionamento interno do modelo e não estão autorizados a definir a estratégia militar.
Isso significa que técnicos de baixa patente são autorizados a definir os limites nos quais as pessoas vivem ou morrem. Dado que os alvos são intencionalmente bombardeados em suas casas, mudar um determinado limite por uma pequena margem poderia, plausivelmente, levar a um aumento significativo nas vítimas civis.
Ao alterar as características, os dados de treinamento ou — mais simplesmente e facilmente — o limite de probabilidade pelo qual as pessoas são classificadas como militantes, pode-se configurar o modelo para fornecer essencialmente qualquer resultado desejado, mantendo uma negação plausível de que foi baseado em uma decisão enviesada e subjetiva.
A lista de alvos gerada pelo Lavender é alimentada em um sistema auxiliar, “Onde Está o Papai?”, que rastreia esses alvos humanos ao longo da Faixa de Gaza e detecta o momento em que eles entram em suas respectivas residências familiares. Embora no passado a IDF tenha bombardeado apenas oficiais militares seniores em suas casas, todos os alvos — incluindo presumidos operativos de baixo nível do Hamas e, inevitavelmente, devido a erros do modelo, civis palestinos rotulados erroneamente — foram intencionalmente bombardeados em suas casas durante a Operação Espadas de Ferro.
Bombardear intencionalmente casas onde não há atividade militar viola diretamente o princípio da proporcionalidade. Fazer isso inevitavelmente leva a um aumento do número de mortes civis e conflita com a alegação persistente da IDF de que o uso de civis pelo Hamas como “escudos humanos” é o culpado pelo número de mortes em Gaza.
Abraham também aponta que esses sistemas interligados — e as decisões humanas que os sustentam — podem ser a razão pela qual dezenas de famílias foram totalmente eliminadas. Se foi a intenção explícita dos oficiais da IDF aniquilar famílias inteiras parece ter pouca relevância se houver um procedimento em vigor que sistematicamente o faça.
Além disso, foi tomada a decisão de usar bombas “cegas” não guiadas ao bombardear esses alvos, resultando em ainda mais danos colaterais ou vítimas civis, apesar de Israel ter um dos exércitos mais avançados e bem equipados do mundo. A IDF justificou essa decisão com base na conservação de armamentos caros, como mísseis guiados de precisão, embora isso resulte diretamente na perda de mais vidas humanas. Israel se preocupa mais em economizar com bombas (das quais possui um suprimento quase infinito) do que em salvar vidas de palestinos inocentes.
Cobertura tecnológica
É claro que a Operação Espadas de Ferro não depende desses sistemas para precisão — o número de mortes civis indica claramente que nem os alvos gerados por IA nem as armas são precisas (é claro, isso significa tomar o objetivo de Israel de erradicar apenas militantes ao pé da letra). O que eles oferecem, em vez de precisão, é escala e eficiência — é muito mais fácil e rápido para uma máquina gerar alvos do que para um humano — além de fornecer uma cobertura tecnológica para se esconder.
Como ninguém é responsável pela geração dos alvos, todos os envolvidos na operação têm uma negação plausível. E porque é mais fácil confiar e ter fé em uma máquina, à qual frequentemente atribuímos infalibilidade e objetividade, do que em um humano imperfeito e abalado por emoções (de fato, isso é corroborado por algumas das fontes de Abraham), também podemos fazer menos escrutínio das decisões da máquina.
Este é o caso mesmo que essas decisões da máquina possam ser mais precisamente vistas como decisões humanas implementadas e automatizadas por uma máquina. De fato, embora os soldados entrevistados por Abraham sugiram que esses sistemas substituíram a tomada de decisão humana, o que esses sistemas parecem ter feito é obscurecer essa tomada de decisão.
Foi uma decisão humana permitir “dano colateral” de até vinte pessoas para alvos presumidos de nível júnior e até cem pessoas para alvos presumidos de nível sênior. Foi uma decisão humana bombardear as casas de alvos de nível júnior, otimizar para ter uma aproximação e não precisão, implantar um modelo com pelo menos uma taxa de erro de 10% e implementar limites arbitrários que determinam vida e morte.
Os seres humanos decidiram usar dados altamente confusos para gerar características para o modelo, rotular servidores civis como militantes do Hamas e “eliminar o gargalo humano” na geração de alvos para gerar alvos a uma taxa mais rápida do que poderiam ser bombardeados. Eles também decidiram mirar em estruturas civis em áreas densas e usar bombas não guiadas para atingir esses alvos, criando ainda mais danos colaterais.
A desumanização e a difusão de responsabilidade desempenham um papel poderoso em explicar como atrocidades podem ser cometidas, especialmente em grande escala. Ao reduzir toda uma população a um vetor de números e usar máquinas para construir uma “fábrica de assassinatos em massa”, esses sistemas de IA ajudam a fornecer alguns dos mecanismos psicológicos necessários para cometer os tipos de atrocidades que vemos se desenrolar nos últimos nove meses em Gaza.
Terceirização do controle
A IDF oculta sua lógica genocida por trás de um sofisticado verniz tecnológico, esperando que isso confira alguma legitimidade às suas ações militares enquanto obscurece a dura realidade de sua guerra assimétrica. Foi exatamente isso que fez em meados de outubro de 2023, quando oficiais israelenses concederam aos repórteres do New York Times acesso limitado aos dados de seus sistemas de rastreamento, “esperando mostrar que estavam fazendo o possível para reduzir os danos aos civis.” No primeiro mês da guerra, mais de 10.000 palestinos foram mortos por Israel, incluindo 4.000 crianças e 2.700 mulheres.
Devemos levar a sério a discrepância entre a “equipe humano-máquina” que o Brigadeiro General Y. S. idealiza em seu livro e os sistemas de IA implementados sob a liderança de Yossi Sariel. O que um modelo idealizado faz na teoria, que muitas vezes parece razoável e benigno, será sempre diferente do que o modelo faz na prática.
O que os separa, em grande parte, é uma cascata de decisões humanas obscuras e exigências externas, algumas aparentemente triviais, outras implícitas, algumas significativas. Modelos não são moralmente responsáveis pelas decisões automatizadas que fazem; os agentes humanos que os selecionam, treinam e implementam são, assim como os humanos que permitem passivamente que isso aconteça.
À medida que a IA se torna mais integral ao funcionamento de nossas vidas cotidianas e sociedades mais amplas, devemos garantir que não estamos ignorando ou abdicando de nossa responsabilidade moral pelo que os modelos de IA estão fazendo. E à medida que modelos generativos como o ChatGPT abrem a porta para a automação do aprendizado de máquina em si, devemos ser especialmente cautelosos.
O perigo mais urgente e premente da IA não é que as máquinas desenvolvam uma inteligência desenfreada e comecem a agir fora do controle humano. É que nós, como seres humanos, nos tornemos excessivamente dependentes da IA, terceirizando voluntariamente nossa própria tomada de decisão e controle. Como sempre, somos a maior ameaça à nossa humanidade, não as máquinas.
Colaborador
Jennifer Lenow é membro dos Socialistas Democráticos da América que mora na cidade de Nova York e em Little Rock, Arkansas.
Sob essa suposição, no entanto, não é possível estimar a precisão do modelo, apenas a aproximação. Ambas são medidas estatísticas de precisão: a precisão de um modelo refere-se à proporção de previsões positivas que são, de fato, de acordo com a verdade real, verdadeiramente positivas, levando em conta quaisquer falsos positivos que o modelo possa ter gerado, enquanto a revocação de um modelo refere-se à proporção de amostras positivas nos dados que o modelo classifica corretamente.
Um modelo hipotético que previsse todas as amostras como positivas teria uma aproximação perfeita (identificaria corretamente toda a classe positiva), mas uma precisão ruim (classificaria incorretamente toda a classe negativa como positiva, gerando muitos falsos positivos). Dado que o objetivo declarado do governo israelense desde 7 de outubro tem sido erradicar o Hamas, só se pode supor que a IDF — mesmo que recentemente tenha se distanciado desse objetivo — está mais preocupada em otimizar a revocação do modelo em vez de sua precisão, mesmo que isso venha às custas de gerar mais falsos positivos (falhas em detectar civis como tal).
De fato, múltiplas declarações de Netanyahu e ex-membros do gabinete de guerra israelense — sem mencionar o castigo coletivo e a destruição em massa das condições de vida em Gaza — lançam dúvidas sobre se palestinos inocentes sequer existem como uma categoria ontológica para a IDF. Se não há palestinos inocentes, qualquer medição da precisão do modelo é supérflua.
Preocupantemente, as fontes de Abraham insinuam que o conjunto de treinamento inclui não apenas militantes conhecidos do Hamas e da PIJ, mas também servidores públicos que trabalham no ministério de segurança de Gaza, que ajudam a administrar o governo controlado pelo Hamas, mas não são membros do Hamas, nem ativistas políticos. Não seria surpreendente que a IDF rotulasse servidores públicos que trabalham em um governo do Hamas como inimigos de Israel, dada a definição notoriamente ampla de terroristas da IDF. Mas isso também criaria um problema sério para o modelo, assumindo que ele de fato foi treinado apenas com dados positivos e não rotulados. Se essas amostras fossem rotuladas como positivas, significaria que o modelo aprenderia a associar características compartilhadas entre servidores públicos com a classe positiva, resultando em classificações incorretas.
De fato, segundo as fontes de Abraham, o Lavender erroneamente almeja civis que compartilham o mesmo nome que um militante suspeito, têm padrões de comunicação altamente correlacionados com militantes suspeitos do Hamas (como servidores públicos), ou receberam um telefone móvel que foi uma vez associado a um militante suspeito do Hamas. E embora o modelo seja conhecido por cometer erros aproximadamente 10% das vezes, a saída não é examinada além da necessidade ocasional de confirmar que os alvos são do sexo masculino (em geral, a maioria dos homens, mesmo crianças, são assumidos como militantes pela IDF).
Como o modelo prevê a probabilidade de que um determinado indivíduo seja um militante, a lista de alvos, ou presumidos militantes, pode ser encurtada ou alongada mudando o limite em que essa probabilidade é convertida em uma variável binária, militante ou não. Alguém com uma probabilidade de 70% é assumido como militante? Apenas mais de 50%? Não sabemos, mas a resposta pode mudar de um dia para o outro ou de semana para semana.
Na prática, você pode ajustar o limite para gerar o número de alvos desejado, seja porque, como explicou uma das fontes de Abraham, você está sendo pressionado para “trazer… mais alvos” ou porque precisa reduzir temporariamente devido à pressão dos EUA.
Listas de alvos
Embora não saibamos a faixa de limites usados, ou a faixa de probabilidades geradas pelo modelo, sabemos, graças à reportagem de Abraham, que os limites eram de fato alterados regularmente, às vezes de forma arbitrária e às vezes explicitamente para tornar a lista mais longa. Essas mudanças eram frequentemente feitas por oficiais militares de baixa patente que têm muito pouca visão sobre o funcionamento interno do modelo e não estão autorizados a definir a estratégia militar.
Isso significa que técnicos de baixa patente são autorizados a definir os limites nos quais as pessoas vivem ou morrem. Dado que os alvos são intencionalmente bombardeados em suas casas, mudar um determinado limite por uma pequena margem poderia, plausivelmente, levar a um aumento significativo nas vítimas civis.
Ao alterar as características, os dados de treinamento ou — mais simplesmente e facilmente — o limite de probabilidade pelo qual as pessoas são classificadas como militantes, pode-se configurar o modelo para fornecer essencialmente qualquer resultado desejado, mantendo uma negação plausível de que foi baseado em uma decisão enviesada e subjetiva.
A lista de alvos gerada pelo Lavender é alimentada em um sistema auxiliar, “Onde Está o Papai?”, que rastreia esses alvos humanos ao longo da Faixa de Gaza e detecta o momento em que eles entram em suas respectivas residências familiares. Embora no passado a IDF tenha bombardeado apenas oficiais militares seniores em suas casas, todos os alvos — incluindo presumidos operativos de baixo nível do Hamas e, inevitavelmente, devido a erros do modelo, civis palestinos rotulados erroneamente — foram intencionalmente bombardeados em suas casas durante a Operação Espadas de Ferro.
Bombardear intencionalmente casas onde não há atividade militar viola diretamente o princípio da proporcionalidade. Fazer isso inevitavelmente leva a um aumento do número de mortes civis e conflita com a alegação persistente da IDF de que o uso de civis pelo Hamas como “escudos humanos” é o culpado pelo número de mortes em Gaza.
Abraham também aponta que esses sistemas interligados — e as decisões humanas que os sustentam — podem ser a razão pela qual dezenas de famílias foram totalmente eliminadas. Se foi a intenção explícita dos oficiais da IDF aniquilar famílias inteiras parece ter pouca relevância se houver um procedimento em vigor que sistematicamente o faça.
Além disso, foi tomada a decisão de usar bombas “cegas” não guiadas ao bombardear esses alvos, resultando em ainda mais danos colaterais ou vítimas civis, apesar de Israel ter um dos exércitos mais avançados e bem equipados do mundo. A IDF justificou essa decisão com base na conservação de armamentos caros, como mísseis guiados de precisão, embora isso resulte diretamente na perda de mais vidas humanas. Israel se preocupa mais em economizar com bombas (das quais possui um suprimento quase infinito) do que em salvar vidas de palestinos inocentes.
Cobertura tecnológica
É claro que a Operação Espadas de Ferro não depende desses sistemas para precisão — o número de mortes civis indica claramente que nem os alvos gerados por IA nem as armas são precisas (é claro, isso significa tomar o objetivo de Israel de erradicar apenas militantes ao pé da letra). O que eles oferecem, em vez de precisão, é escala e eficiência — é muito mais fácil e rápido para uma máquina gerar alvos do que para um humano — além de fornecer uma cobertura tecnológica para se esconder.
Como ninguém é responsável pela geração dos alvos, todos os envolvidos na operação têm uma negação plausível. E porque é mais fácil confiar e ter fé em uma máquina, à qual frequentemente atribuímos infalibilidade e objetividade, do que em um humano imperfeito e abalado por emoções (de fato, isso é corroborado por algumas das fontes de Abraham), também podemos fazer menos escrutínio das decisões da máquina.
Este é o caso mesmo que essas decisões da máquina possam ser mais precisamente vistas como decisões humanas implementadas e automatizadas por uma máquina. De fato, embora os soldados entrevistados por Abraham sugiram que esses sistemas substituíram a tomada de decisão humana, o que esses sistemas parecem ter feito é obscurecer essa tomada de decisão.
Foi uma decisão humana permitir “dano colateral” de até vinte pessoas para alvos presumidos de nível júnior e até cem pessoas para alvos presumidos de nível sênior. Foi uma decisão humana bombardear as casas de alvos de nível júnior, otimizar para ter uma aproximação e não precisão, implantar um modelo com pelo menos uma taxa de erro de 10% e implementar limites arbitrários que determinam vida e morte.
Os seres humanos decidiram usar dados altamente confusos para gerar características para o modelo, rotular servidores civis como militantes do Hamas e “eliminar o gargalo humano” na geração de alvos para gerar alvos a uma taxa mais rápida do que poderiam ser bombardeados. Eles também decidiram mirar em estruturas civis em áreas densas e usar bombas não guiadas para atingir esses alvos, criando ainda mais danos colaterais.
A desumanização e a difusão de responsabilidade desempenham um papel poderoso em explicar como atrocidades podem ser cometidas, especialmente em grande escala. Ao reduzir toda uma população a um vetor de números e usar máquinas para construir uma “fábrica de assassinatos em massa”, esses sistemas de IA ajudam a fornecer alguns dos mecanismos psicológicos necessários para cometer os tipos de atrocidades que vemos se desenrolar nos últimos nove meses em Gaza.
Terceirização do controle
A IDF oculta sua lógica genocida por trás de um sofisticado verniz tecnológico, esperando que isso confira alguma legitimidade às suas ações militares enquanto obscurece a dura realidade de sua guerra assimétrica. Foi exatamente isso que fez em meados de outubro de 2023, quando oficiais israelenses concederam aos repórteres do New York Times acesso limitado aos dados de seus sistemas de rastreamento, “esperando mostrar que estavam fazendo o possível para reduzir os danos aos civis.” No primeiro mês da guerra, mais de 10.000 palestinos foram mortos por Israel, incluindo 4.000 crianças e 2.700 mulheres.
Devemos levar a sério a discrepância entre a “equipe humano-máquina” que o Brigadeiro General Y. S. idealiza em seu livro e os sistemas de IA implementados sob a liderança de Yossi Sariel. O que um modelo idealizado faz na teoria, que muitas vezes parece razoável e benigno, será sempre diferente do que o modelo faz na prática.
O que os separa, em grande parte, é uma cascata de decisões humanas obscuras e exigências externas, algumas aparentemente triviais, outras implícitas, algumas significativas. Modelos não são moralmente responsáveis pelas decisões automatizadas que fazem; os agentes humanos que os selecionam, treinam e implementam são, assim como os humanos que permitem passivamente que isso aconteça.
À medida que a IA se torna mais integral ao funcionamento de nossas vidas cotidianas e sociedades mais amplas, devemos garantir que não estamos ignorando ou abdicando de nossa responsabilidade moral pelo que os modelos de IA estão fazendo. E à medida que modelos generativos como o ChatGPT abrem a porta para a automação do aprendizado de máquina em si, devemos ser especialmente cautelosos.
O perigo mais urgente e premente da IA não é que as máquinas desenvolvam uma inteligência desenfreada e comecem a agir fora do controle humano. É que nós, como seres humanos, nos tornemos excessivamente dependentes da IA, terceirizando voluntariamente nossa própria tomada de decisão e controle. Como sempre, somos a maior ameaça à nossa humanidade, não as máquinas.
Colaborador
Jennifer Lenow é membro dos Socialistas Democráticos da América que mora na cidade de Nova York e em Little Rock, Arkansas.
Nenhum comentário:
Postar um comentário