Ioannis Kalpouzos
Jacobin
 |
| O problema com a IA militar não é simplesmente a substituição de humanos por máquinas. É a fusão entre corporações de tecnologia e guerra, automatizando decisões, diluindo a responsabilidade e apagando a divisão entre civis e militares. (Skydance Media/Lightstorm Entertainment) |
Resenha do livro AI, Automation, and war: The rRise of a Military-tech Complex [IA, automação e guerra: A ascensão de um complexo militar-tecnológico], de Anthony King (Princeton University Press, 2025).
Por muito tempo, dois fantasmas têm assombrado o mundo da inteligência artificial e da guerra, e ambos apareceram no mesmo filme. O primeiro é a Skynet — o fantasma da inteligência artificial geral adquirindo consciência e se voltando contra seus criadores. O segundo é o próprio Exterminador do Futuro — a máquina de matar antropomorfizada que dominou nosso imaginário coletivo sobre a guerra automatizada. Esses dois fantasmas serviram como distrações convenientes enquanto uma transformação mais prosaica, porém igualmente revolucionária, se desenrolava: a automatização gradual das estruturas organizacionais e operacionais mais amplas das forças armadas por meio da fusão do Vale do Silício com o complexo militar-industrial.
O livro de Anthony King, AI, Automation, and War, é uma obra de sociologia que se lê como um esclarecedor relatório de inteligência, rica em descrições e livre de jargões e posições normativas. Baseia-se em entrevistas com 123 pessoas envolvidas no complexo tecnológico-militar em desenvolvimento dos EUA, Reino Unido e Israel. Sua análise busca desmistificar algumas das formas mais flagrantes de “fetichismo da IA”, ao mesmo tempo que direciona o foco para os desenvolvimentos concretos e sua influência nas relações sociais da guerra.
Seu argumento é claro: os temores (e esperanças) de autonomia total são infundados. A IA não está “substituindo humanos”. Tampouco a ideia de trabalho em equipe entre humanos e máquinas — que coloca armas ou sistemas em pé de igualdade com agentes humanos — é precisa. O que vemos, em vez disso, são sistemas de apoio à decisão: ferramentas que, no caso das transformacionais, permitem planejamento, direcionamento e operações cibernéticas. Tais ferramentas são e serão “usadas principalmente para aprimorar o conhecimento militar e a inteligência”. Nesse processo, as relações entre civis e militares estão mudando.
King acerta ao desviar o foco da discussão do fetiche apocalíptico de robôs assassinos e superinteligência. Seu relato é ricamente descritivo. Contudo, tanto sua distinção central quanto seu argumento geral devem ser alvo de certo ceticismo. Não está claro onde terminam o apoio e o “empoderamento” e onde começa a perda da autonomia humana. O que se torna cada vez mais evidente é a convergência da automação nas estruturas de tomada de decisão militar e o aprofundamento do envolvimento corporativo na guerra — e que ambos são motivados por fetiches semelhantes.
O mapa e o território
Assim como na Europa do início da era moderna, quando a revolução na cartografia militar transformou a maneira como os exércitos entendiam o terreno e planejavam campanhas, as ferramentas tecnológicas de hoje estão revolucionando a forma como as forças armadas processam informações, identificam alvos e coordenam operações. Trata-se principalmente de uma revolução de software, mas que também inclui a integração e a coordenação de hardware, especialmente as ferramentas que conectam a vigilância ao ajuste de alvos. Ao contrário dos sonhos da “boa e velha IA” dos primórdios da área, na década de 1950, não estamos lidando com um único mapa simbólico que represente toda a realidade. Em vez disso, a fusão do território de guerra com sua representação em software é cada vez mais buscada não por meio de modelos amplos de uso geral, mas por meio de aplicações específicas e personalizadas — uma mudança que exige a crescente integração de atores tecnológicos civis com as forças armadas.
Funcionalmente, a revolução consiste na coleta de informações, na análise e na automatização dos ciclos de tomada de decisão, até e incluindo a “cadeia de eliminação”. Agregadores de dados e algoritmos preditivos conectam informações coletadas por sensores a parâmetros de classificação para gerar pontos de ação. A presença humana nos ciclos de tomada de decisão e sua contribuição para pontos de decisão específicos são constantemente reavaliadas. Do planejamento à identificação de alvos potenciais e à decisão de atacar, o julgamento humano está sendo sistematicamente “auxiliado” ou “aprimorado” — alguns, embora não King, diriam “substituído” — por processos algorítmicos. O ser humano permanece no ciclo proverbial. Mas a natureza desse ciclo está mudando. E essa mudança é dupla: a automação está se disseminando, assim como a participação cada vez mais profunda do setor de tecnologia civil.
Como chegamos a este ponto? Como acontece com muitas coisas nesta fase tardia e extrema do tecnocapitalismo, a situação atual é uma evolução, e um salto para além, do passado militar-industrial. A capacidade de monitorar e engajar militarmente potenciais “ameaças” em todo o mundo tem sido o objetivo do aparato militar-tecnológico dos EUA no último século. Como disse o General William Westmoreland durante a Guerra do Vietnã: “No campo de batalha do futuro, as forças inimigas serão localizadas, rastreadas e alvejadas quase instantaneamente por meio do uso de links de dados, avaliação de inteligência assistida por computador e controle de fogo automatizado.”
Esse objetivo tem sido consistentemente alcançado pelas empresas que operam na Costa Oeste dos Estados Unidos, como vividamente descrito em Palo Alto, de Malcolm Harris. E essa é a mensagem — e a tradição — transmitida, ainda que de forma tortuosa, complexa e vazia, no recente manifesto do CEO da Palantir, Alex Karp, intitulado A república tecnológica. O propósito e a obrigação do capitalismo tecnológico, além da busca pelo lucro, é servir à dominação militar do mundo pelo “Ocidente”.
A ascensão e a trajetória da Palantir Technologies podem ser consideradas o principal estudo de caso nesta última etapa da evolução corporativo-militar. Trata-se de uma história já bastante conhecida. Fundada por Peter Thiel e Karp, a Palantir foi concebida desde sua concepção como uma empresa de segurança nacional. Após o 11 de setembro, os céus dos países sujeitos à Guerra ao Terror eram dominados por drones que coletavam informações e realizavam, cada vez mais, assassinatos seletivos. Contudo, embora a Palantir tenha recebido apoio de membros das forças armadas e da inteligência desde o início, inicialmente teve dificuldades para penetrar nos processos tradicionais de licitações militares, até encontrar sua oportunidade ao trabalhar com unidades das Forças Especiais frustradas com as limitações em seu ritmo operacional e letalidade.
O Paradigma Palantir
Não eram robôs, mas sim soluções logísticas que a Palantir oferecia: a agregação e análise dinâmica da vasta quantidade de dados gerados por sensores militares, satélites e inteligência de código aberto, adaptadas para operações em curso. Sua ambição — agora em grande parte concretizada — era se tornar o sistema nervoso que conecta a vigilância ilimitada com a seleção de alvos, operando em conflitos e alianças, ao mesmo tempo em que eliminava a linha divisória entre a guerra e a política interna cada vez mais securitizada, principalmente em questões de imigração, policiamento e saúde.
Um ponto de virada crucial no estabelecimento desse modelo foi o Projeto Maven do Pentágono, um esforço ambicioso para usar aprendizado de máquina na análise de terabytes de filmagens geradas por anos de operações com drones. Inicialmente em parceria com o Google, o projeto visava automatizar a análise de imagens de vigilância — um trabalho que, de outra forma, demandaria centenas de milhares de horas de trabalho de analistas humanos. Quando os funcionários do Google se revoltaram contra as aplicações militares de sua tecnologia, a Palantir entrou em cena.
King identifica com perspicácia a revolta do Google como o marco inicial desta nova era de ouro do complexo tecnológico-militar. Em vez de representar uma resistência bem-sucedida à militarização, ela simplesmente abriu caminho para empresas interessadas em atuar no setor de defesa. O resultado foi o surgimento do que poderíamos chamar de empresas de tecnologia “nativas do setor militar” — empresas como a Palantir e a Anduril, projetadas desde o início para atender aos mercados de defesa. E elas vêm se proliferando desde então.
É possível analisar esse ecossistema em expansão observando a lista “American Dynamism 50”, compilada pela Andreessen Horowitz, uma empresa de capital de risco que tem sido fundamental tanto para o financiamento quanto para a política da área. “Paz pela força”, em antecipação a uma possível guerra com a China, é a lógica de investimento que une todos esses setores, assim como — agora — a estratégia de segurança nacional dos EUA.
Ao mesmo tempo, empresas que inicialmente expressaram reservas ou que até então mantinham um foco no uso predominantemente civil, incluindo gigantes como Google, Microsoft e Amazon, foram convencidas. O Projeto Nimbus — o contrato de computação em nuvem entre o governo israelense, o Google Cloud e a Amazon Web Services, que desempenhou um papel central na capacidade de Israel de executar operações de vigilância e direcionamento tanto na ocupação da Cisjordânia quanto na destruição de Gaza — é um exemplo disso. O exército estadunidense depende cada vez mais dos satélites Starlink da SpaceX para comando e controle, assim como a Ucrânia, em sua defesa contra a Rússia.
Israel é a Estrela Polar
O modelo israelense demonstra como a crescente integração entre empresas de tecnologia, serviços de inteligência e unidades militares é vista como o próprio ideal que esse ecossistema global busca emular. Alguns dos entrevistados de King criticam os sistemas dos EUA e do Reino Unido por não atingirem o grau de integração funcional alcançado em Israel, ou os elogiam por caminharem nessa direção. Direção que é a da ampla militarização.
No complexo tecnológico-militar israelense, uma fonte das Forças de Defesa de Israel (IDF) disse a King: “Alguns civis não são realmente civis. E algumas indústrias militares não são realmente indústrias”. O comentário de Netanyahu sobre a “super-Esparta” — sua descrição de Israel como uma potência tecnológica hipermilitarizada e autossuficiente — visava capturar não apenas um ideal de autarquia, mas também o aprofundamento das conexões e o enfraquecimento das barreiras entre as forças civis e militares.
Essa indistinção entre fronteiras é exemplificada por empresas como a Elbit Systems, que King descreve como tendo se “integrado a unidades operacionais das Forças de Defesa de Israel […] para projetar, desenvolver e aprimorar softwares” em condições reais de batalha. Pelo menos dezoito empresas de tecnologia estadunidenses estão envolvidas no conflito na Ucrânia. Embora poucos detalhes sobre suas práticas específicas sejam divulgados ao público, algumas fornecem assistência direta por meio de algoritmos personalizados para o terreno em questão. A Palantir afirmou abertamente ser “responsável pela maior parte dos ataques na Ucrânia”.
Por muito tempo, dois fantasmas têm assombrado o mundo da inteligência artificial e da guerra, e ambos apareceram no mesmo filme. O primeiro é a Skynet — o fantasma da inteligência artificial geral adquirindo consciência e se voltando contra seus criadores. O segundo é o próprio Exterminador do Futuro — a máquina de matar antropomorfizada que dominou nosso imaginário coletivo sobre a guerra automatizada. Esses dois fantasmas serviram como distrações convenientes enquanto uma transformação mais prosaica, porém igualmente revolucionária, se desenrolava: a automatização gradual das estruturas organizacionais e operacionais mais amplas das forças armadas por meio da fusão do Vale do Silício com o complexo militar-industrial.
O livro de Anthony King, AI, Automation, and War, é uma obra de sociologia que se lê como um esclarecedor relatório de inteligência, rica em descrições e livre de jargões e posições normativas. Baseia-se em entrevistas com 123 pessoas envolvidas no complexo tecnológico-militar em desenvolvimento dos EUA, Reino Unido e Israel. Sua análise busca desmistificar algumas das formas mais flagrantes de “fetichismo da IA”, ao mesmo tempo que direciona o foco para os desenvolvimentos concretos e sua influência nas relações sociais da guerra.
Seu argumento é claro: os temores (e esperanças) de autonomia total são infundados. A IA não está “substituindo humanos”. Tampouco a ideia de trabalho em equipe entre humanos e máquinas — que coloca armas ou sistemas em pé de igualdade com agentes humanos — é precisa. O que vemos, em vez disso, são sistemas de apoio à decisão: ferramentas que, no caso das transformacionais, permitem planejamento, direcionamento e operações cibernéticas. Tais ferramentas são e serão “usadas principalmente para aprimorar o conhecimento militar e a inteligência”. Nesse processo, as relações entre civis e militares estão mudando.
King acerta ao desviar o foco da discussão do fetiche apocalíptico de robôs assassinos e superinteligência. Seu relato é ricamente descritivo. Contudo, tanto sua distinção central quanto seu argumento geral devem ser alvo de certo ceticismo. Não está claro onde terminam o apoio e o “empoderamento” e onde começa a perda da autonomia humana. O que se torna cada vez mais evidente é a convergência da automação nas estruturas de tomada de decisão militar e o aprofundamento do envolvimento corporativo na guerra — e que ambos são motivados por fetiches semelhantes.
O mapa e o território
Assim como na Europa do início da era moderna, quando a revolução na cartografia militar transformou a maneira como os exércitos entendiam o terreno e planejavam campanhas, as ferramentas tecnológicas de hoje estão revolucionando a forma como as forças armadas processam informações, identificam alvos e coordenam operações. Trata-se principalmente de uma revolução de software, mas que também inclui a integração e a coordenação de hardware, especialmente as ferramentas que conectam a vigilância ao ajuste de alvos. Ao contrário dos sonhos da “boa e velha IA” dos primórdios da área, na década de 1950, não estamos lidando com um único mapa simbólico que represente toda a realidade. Em vez disso, a fusão do território de guerra com sua representação em software é cada vez mais buscada não por meio de modelos amplos de uso geral, mas por meio de aplicações específicas e personalizadas — uma mudança que exige a crescente integração de atores tecnológicos civis com as forças armadas.
Funcionalmente, a revolução consiste na coleta de informações, na análise e na automatização dos ciclos de tomada de decisão, até e incluindo a “cadeia de eliminação”. Agregadores de dados e algoritmos preditivos conectam informações coletadas por sensores a parâmetros de classificação para gerar pontos de ação. A presença humana nos ciclos de tomada de decisão e sua contribuição para pontos de decisão específicos são constantemente reavaliadas. Do planejamento à identificação de alvos potenciais e à decisão de atacar, o julgamento humano está sendo sistematicamente “auxiliado” ou “aprimorado” — alguns, embora não King, diriam “substituído” — por processos algorítmicos. O ser humano permanece no ciclo proverbial. Mas a natureza desse ciclo está mudando. E essa mudança é dupla: a automação está se disseminando, assim como a participação cada vez mais profunda do setor de tecnologia civil.
Como chegamos a este ponto? Como acontece com muitas coisas nesta fase tardia e extrema do tecnocapitalismo, a situação atual é uma evolução, e um salto para além, do passado militar-industrial. A capacidade de monitorar e engajar militarmente potenciais “ameaças” em todo o mundo tem sido o objetivo do aparato militar-tecnológico dos EUA no último século. Como disse o General William Westmoreland durante a Guerra do Vietnã: “No campo de batalha do futuro, as forças inimigas serão localizadas, rastreadas e alvejadas quase instantaneamente por meio do uso de links de dados, avaliação de inteligência assistida por computador e controle de fogo automatizado.”
Esse objetivo tem sido consistentemente alcançado pelas empresas que operam na Costa Oeste dos Estados Unidos, como vividamente descrito em Palo Alto, de Malcolm Harris. E essa é a mensagem — e a tradição — transmitida, ainda que de forma tortuosa, complexa e vazia, no recente manifesto do CEO da Palantir, Alex Karp, intitulado A república tecnológica. O propósito e a obrigação do capitalismo tecnológico, além da busca pelo lucro, é servir à dominação militar do mundo pelo “Ocidente”.
A ascensão e a trajetória da Palantir Technologies podem ser consideradas o principal estudo de caso nesta última etapa da evolução corporativo-militar. Trata-se de uma história já bastante conhecida. Fundada por Peter Thiel e Karp, a Palantir foi concebida desde sua concepção como uma empresa de segurança nacional. Após o 11 de setembro, os céus dos países sujeitos à Guerra ao Terror eram dominados por drones que coletavam informações e realizavam, cada vez mais, assassinatos seletivos. Contudo, embora a Palantir tenha recebido apoio de membros das forças armadas e da inteligência desde o início, inicialmente teve dificuldades para penetrar nos processos tradicionais de licitações militares, até encontrar sua oportunidade ao trabalhar com unidades das Forças Especiais frustradas com as limitações em seu ritmo operacional e letalidade.
O Paradigma Palantir
Não eram robôs, mas sim soluções logísticas que a Palantir oferecia: a agregação e análise dinâmica da vasta quantidade de dados gerados por sensores militares, satélites e inteligência de código aberto, adaptadas para operações em curso. Sua ambição — agora em grande parte concretizada — era se tornar o sistema nervoso que conecta a vigilância ilimitada com a seleção de alvos, operando em conflitos e alianças, ao mesmo tempo em que eliminava a linha divisória entre a guerra e a política interna cada vez mais securitizada, principalmente em questões de imigração, policiamento e saúde.
Um ponto de virada crucial no estabelecimento desse modelo foi o Projeto Maven do Pentágono, um esforço ambicioso para usar aprendizado de máquina na análise de terabytes de filmagens geradas por anos de operações com drones. Inicialmente em parceria com o Google, o projeto visava automatizar a análise de imagens de vigilância — um trabalho que, de outra forma, demandaria centenas de milhares de horas de trabalho de analistas humanos. Quando os funcionários do Google se revoltaram contra as aplicações militares de sua tecnologia, a Palantir entrou em cena.
King identifica com perspicácia a revolta do Google como o marco inicial desta nova era de ouro do complexo tecnológico-militar. Em vez de representar uma resistência bem-sucedida à militarização, ela simplesmente abriu caminho para empresas interessadas em atuar no setor de defesa. O resultado foi o surgimento do que poderíamos chamar de empresas de tecnologia “nativas do setor militar” — empresas como a Palantir e a Anduril, projetadas desde o início para atender aos mercados de defesa. E elas vêm se proliferando desde então.
É possível analisar esse ecossistema em expansão observando a lista “American Dynamism 50”, compilada pela Andreessen Horowitz, uma empresa de capital de risco que tem sido fundamental tanto para o financiamento quanto para a política da área. “Paz pela força”, em antecipação a uma possível guerra com a China, é a lógica de investimento que une todos esses setores, assim como — agora — a estratégia de segurança nacional dos EUA.
Ao mesmo tempo, empresas que inicialmente expressaram reservas ou que até então mantinham um foco no uso predominantemente civil, incluindo gigantes como Google, Microsoft e Amazon, foram convencidas. O Projeto Nimbus — o contrato de computação em nuvem entre o governo israelense, o Google Cloud e a Amazon Web Services, que desempenhou um papel central na capacidade de Israel de executar operações de vigilância e direcionamento tanto na ocupação da Cisjordânia quanto na destruição de Gaza — é um exemplo disso. O exército estadunidense depende cada vez mais dos satélites Starlink da SpaceX para comando e controle, assim como a Ucrânia, em sua defesa contra a Rússia.
Israel é a Estrela Polar
O modelo israelense demonstra como a crescente integração entre empresas de tecnologia, serviços de inteligência e unidades militares é vista como o próprio ideal que esse ecossistema global busca emular. Alguns dos entrevistados de King criticam os sistemas dos EUA e do Reino Unido por não atingirem o grau de integração funcional alcançado em Israel, ou os elogiam por caminharem nessa direção. Direção que é a da ampla militarização.
No complexo tecnológico-militar israelense, uma fonte das Forças de Defesa de Israel (IDF) disse a King: “Alguns civis não são realmente civis. E algumas indústrias militares não são realmente indústrias”. O comentário de Netanyahu sobre a “super-Esparta” — sua descrição de Israel como uma potência tecnológica hipermilitarizada e autossuficiente — visava capturar não apenas um ideal de autarquia, mas também o aprofundamento das conexões e o enfraquecimento das barreiras entre as forças civis e militares.
Essa indistinção entre fronteiras é exemplificada por empresas como a Elbit Systems, que King descreve como tendo se “integrado a unidades operacionais das Forças de Defesa de Israel […] para projetar, desenvolver e aprimorar softwares” em condições reais de batalha. Pelo menos dezoito empresas de tecnologia estadunidenses estão envolvidas no conflito na Ucrânia. Embora poucos detalhes sobre suas práticas específicas sejam divulgados ao público, algumas fornecem assistência direta por meio de algoritmos personalizados para o terreno em questão. A Palantir afirmou abertamente ser “responsável pela maior parte dos ataques na Ucrânia”.
Altos executivos da Palantir, Meta e OpenAI foram formalmente nomeados tenentes-coronéis da Reserva do Exército e conselheiros seniores como parte do Corpo Executivo de Inovação do Exército — um símbolo visível de quão profunda é a penetração do Vale do Silício na liderança do Pentágono.
O resultado é um ciclo de feedback em que as operações militares geram dados que aprimoram os sistemas algorítmicos, que, por sua vez, permitem acelerar a “cadeia de destruição” e “reduzir a carga cognitiva”, com a maior parte desse ciclo cada vez mais automatizada e capturada por empresas. Tais ciclos estão gerando um tipo específico de aquisição militar. Elke Schwarz demonstrou como esses ciclos de feedback cada vez mais rápidos se encaixam em uma filosofia de capital de risco — agir rápido e inovar — com o que o investidor de capital de risco Reid Hoffman chamou de “blitzscaling”. De fato, entre 2014 e 2023, o valor dos negócios de capital de risco no setor de defesa aumentou oito vezes.
Velocidade, volume, transformação e integração constituem agora uma nova forma de cartografia dinâmica, alterando tanto a guerra quanto as relações civis-militares. Tais desenvolvimentos são deliberados, celebrados e reconhecidos abertamente. Em junho de 2024, altos executivos da Palantir, Meta e OpenAI foram formalmente nomeados tenentes-coronéis da Reserva do Exército e conselheiros seniores como parte do Corpo Executivo de Inovação do Exército — um símbolo visível de quão profunda é a penetração do Vale do Silício na liderança do Pentágono. A Unidade de Inovação de Defesa do Departamento de Defesa dos EUA está sediada no Vale do Silício, se dedicando a acelerar a adoção de tecnologias comerciais e de dupla utilização, e contando com indivíduos com amplas conexões com o setor de tecnologia em sua composição.
O fetiche da autonomia total
Podemos, então, falar da automatização da guerra como a substituição do julgamento político por algoritmos? Ou o que está acontecendo é fundamentalmente diferente? King acredita que sim e tenta traçar uma distinção clara entre armas totalmente autônomas e os sistemas de apoio à decisão que dominam cada vez mais o campo de batalha. Ao desmistificar a promessa da automatização completa e as ideias mirabolantes da inteligência artificial (geral) em operações militares, ele aplica o conceito de fetichismo da mercadoria de Marx aos sistemas de IA militar. Assim como as mercadorias obscurecem as relações sociais de produção que as criam, os sistemas militares baseados em IA obscurecem as escolhas organizacionais e as decisões humanas embutidas em seus algoritmos. Uma recomendação de alvo gerada por um sistema de IA aparece como uma avaliação técnica objetiva, em vez de ser o produto de prioridades políticas e militares específicas programadas por projetistas humanos.
De fato, para simplificar uma longa linha de críticas interdisciplinares e conectá-la ao senso comum, a inteligência artificial não é inteligência real. Argumentar o contrário é mistificação. E, em tempos de guerra, essa mistificação serve a múltiplos propósitos. Ela fornece cobertura política para decisões controversas de seleção de alvos — afinal, foi o algoritmo, imbuído de ódio, quem as recomendou. Cria uma distância entre o resultado final e aqueles que definiram os parâmetros que o levaram a ele, enfraquecendo a responsabilidade moral e legal. E obscurece a crescente influência de corporações privadas sobre decisões militares de vida ou morte.
Aqueles que se opõem às armas totalmente autônomas argumentam há muito tempo que, mesmo que haja equivalência funcional entre humanos e máquinas em capacidades cognitivas e cinéticas, os sistemas artificiais carecem da capacidade moral necessária para serem participantes responsáveis em uma guerra. O tabu em relação às armas totalmente autônomas está se mantendo por um fio, com as resoluções da Assembleia Geral da ONU que o sustentam parecendo cada vez mais precárias e sendo postas em xeque por importantes resistências.
King argumenta que os desenvolvimentos que descreve — a cartografia, as ferramentas personalizadas, a fusão funcional da tecnologia e do combate — são muito diferentes da promessa e do espectro da autonomia total. Tais sistemas de apoio a decisões mantêm o tabu contra a autonomia total e preservam a capacidade de ação e o julgamento humanos — políticos e militares — desde o planejamento até as fases operacionais. Em vez disso, revolucionam a aplicação dessa capacidade de ação, bem como a estrutura social do combate. Segundo essa visão, tanto os entusiastas quanto os pessimistas estavam errados: a mercantilização final do pensamento humano por meio do espectro da inteligência geral e da automação total foi uma cortina de fumaça.
O ciclo está mudando
Contudo, essas cortinas de fumaça cumpriram sua função. Embora os humanos tenham permanecido, precariamente, no proverbial ciclo vicioso, esse ciclo se transformou de maneiras que evocam conhecidos conceitos marxistas como alienação, mercantilização e fetichismo — não apenas da forma mercadoria, mas também da forma corporativa. Manter o espectro da plena autonomia à distância, ainda que por pouco, permitiu uma automatização mais profunda e abrangente da guerra, tanto em funções militares rotineiras quanto críticas, com efeitos, em última análise, bastante semelhantes em termos de perda de autonomia política e poder de decisão na condução da guerra. Além disso, podemos estar caminhando para um tipo ainda mais profundo de mercantilização tecnológica, que dissemina e totaliza a guerra para além da divisão entre civis e militares.
Os exemplos das ferramentas utilizadas para a destruição de Gaza são instrutivos. As duas ferramentas principais, Lavender e Gospel, são agregadoras de dados que operam com parâmetros predefinidos e geram previsões, classificando pessoas e objetos como alvos potenciais. Há, naturalmente, elementos-chave que refletem claramente o julgamento político e moral humano — e juridicamente significativo: a natureza abrangente das classificações; os parâmetros extraordinariamente permissivos de danos colaterais; a combinação da classificação de alvos com a ferramenta de nome perturbador “Onde está o papai?”, que prioriza o ataque a supostos combatentes em suas casas e com suas famílias; e o uso dessas ferramentas, inclusive por meio da priorização do volume de alvos solicitados, em uma campanha de destruição total.
Ao mesmo tempo, também fica bastante claro, a partir dos relatórios pertinentes, que a atuação humana está sendo reduzida, pelo menos nos níveis operacionais intermediários e inferiores — especialmente onde as prioridades de volume e velocidade na destruição física e na eliminação deixam pouco espaço para a intervenção humana ou tornam mais fácil para os operadores humanos conviverem com as consequências. Pode ser que a aprovação automática de todos os alvos masculinos propostos dentro de um intervalo de vinte segundos reflita alguma forma mínima de julgamento, mas, na melhor das hipóteses, trata-se de um julgamento reduzido à participação em um sistema mais amplo e cada vez mais automatizado.
Velocidade, volume, transformação e integração constituem agora uma nova forma de cartografia dinâmica, alterando tanto a guerra quanto as relações civis-militares. Tais desenvolvimentos são deliberados, celebrados e reconhecidos abertamente. Em junho de 2024, altos executivos da Palantir, Meta e OpenAI foram formalmente nomeados tenentes-coronéis da Reserva do Exército e conselheiros seniores como parte do Corpo Executivo de Inovação do Exército — um símbolo visível de quão profunda é a penetração do Vale do Silício na liderança do Pentágono. A Unidade de Inovação de Defesa do Departamento de Defesa dos EUA está sediada no Vale do Silício, se dedicando a acelerar a adoção de tecnologias comerciais e de dupla utilização, e contando com indivíduos com amplas conexões com o setor de tecnologia em sua composição.
O fetiche da autonomia total
Podemos, então, falar da automatização da guerra como a substituição do julgamento político por algoritmos? Ou o que está acontecendo é fundamentalmente diferente? King acredita que sim e tenta traçar uma distinção clara entre armas totalmente autônomas e os sistemas de apoio à decisão que dominam cada vez mais o campo de batalha. Ao desmistificar a promessa da automatização completa e as ideias mirabolantes da inteligência artificial (geral) em operações militares, ele aplica o conceito de fetichismo da mercadoria de Marx aos sistemas de IA militar. Assim como as mercadorias obscurecem as relações sociais de produção que as criam, os sistemas militares baseados em IA obscurecem as escolhas organizacionais e as decisões humanas embutidas em seus algoritmos. Uma recomendação de alvo gerada por um sistema de IA aparece como uma avaliação técnica objetiva, em vez de ser o produto de prioridades políticas e militares específicas programadas por projetistas humanos.
De fato, para simplificar uma longa linha de críticas interdisciplinares e conectá-la ao senso comum, a inteligência artificial não é inteligência real. Argumentar o contrário é mistificação. E, em tempos de guerra, essa mistificação serve a múltiplos propósitos. Ela fornece cobertura política para decisões controversas de seleção de alvos — afinal, foi o algoritmo, imbuído de ódio, quem as recomendou. Cria uma distância entre o resultado final e aqueles que definiram os parâmetros que o levaram a ele, enfraquecendo a responsabilidade moral e legal. E obscurece a crescente influência de corporações privadas sobre decisões militares de vida ou morte.
Aqueles que se opõem às armas totalmente autônomas argumentam há muito tempo que, mesmo que haja equivalência funcional entre humanos e máquinas em capacidades cognitivas e cinéticas, os sistemas artificiais carecem da capacidade moral necessária para serem participantes responsáveis em uma guerra. O tabu em relação às armas totalmente autônomas está se mantendo por um fio, com as resoluções da Assembleia Geral da ONU que o sustentam parecendo cada vez mais precárias e sendo postas em xeque por importantes resistências.
King argumenta que os desenvolvimentos que descreve — a cartografia, as ferramentas personalizadas, a fusão funcional da tecnologia e do combate — são muito diferentes da promessa e do espectro da autonomia total. Tais sistemas de apoio a decisões mantêm o tabu contra a autonomia total e preservam a capacidade de ação e o julgamento humanos — políticos e militares — desde o planejamento até as fases operacionais. Em vez disso, revolucionam a aplicação dessa capacidade de ação, bem como a estrutura social do combate. Segundo essa visão, tanto os entusiastas quanto os pessimistas estavam errados: a mercantilização final do pensamento humano por meio do espectro da inteligência geral e da automação total foi uma cortina de fumaça.
O ciclo está mudando
Contudo, essas cortinas de fumaça cumpriram sua função. Embora os humanos tenham permanecido, precariamente, no proverbial ciclo vicioso, esse ciclo se transformou de maneiras que evocam conhecidos conceitos marxistas como alienação, mercantilização e fetichismo — não apenas da forma mercadoria, mas também da forma corporativa. Manter o espectro da plena autonomia à distância, ainda que por pouco, permitiu uma automatização mais profunda e abrangente da guerra, tanto em funções militares rotineiras quanto críticas, com efeitos, em última análise, bastante semelhantes em termos de perda de autonomia política e poder de decisão na condução da guerra. Além disso, podemos estar caminhando para um tipo ainda mais profundo de mercantilização tecnológica, que dissemina e totaliza a guerra para além da divisão entre civis e militares.
Os exemplos das ferramentas utilizadas para a destruição de Gaza são instrutivos. As duas ferramentas principais, Lavender e Gospel, são agregadoras de dados que operam com parâmetros predefinidos e geram previsões, classificando pessoas e objetos como alvos potenciais. Há, naturalmente, elementos-chave que refletem claramente o julgamento político e moral humano — e juridicamente significativo: a natureza abrangente das classificações; os parâmetros extraordinariamente permissivos de danos colaterais; a combinação da classificação de alvos com a ferramenta de nome perturbador “Onde está o papai?”, que prioriza o ataque a supostos combatentes em suas casas e com suas famílias; e o uso dessas ferramentas, inclusive por meio da priorização do volume de alvos solicitados, em uma campanha de destruição total.
Ao mesmo tempo, também fica bastante claro, a partir dos relatórios pertinentes, que a atuação humana está sendo reduzida, pelo menos nos níveis operacionais intermediários e inferiores — especialmente onde as prioridades de volume e velocidade na destruição física e na eliminação deixam pouco espaço para a intervenção humana ou tornam mais fácil para os operadores humanos conviverem com as consequências. Pode ser que a aprovação automática de todos os alvos masculinos propostos dentro de um intervalo de vinte segundos reflita alguma forma mínima de julgamento, mas, na melhor das hipóteses, trata-se de um julgamento reduzido à participação em um sistema mais amplo e cada vez mais automatizado.
Assim como as mercadorias obscurecem as relações sociais de produção que as criam, os sistemas militares baseados em inteligência artificial obscurecem as escolhas organizacionais e as decisões humanas embutidas em seus algoritmos.
Ao avaliar a continuidade da capacidade de ação humana, é importante compreender até que ponto os indivíduos, em todos os pontos relevantes de um ciclo de seleção de alvos, se envolvem de forma significativa com a aplicação de princípios jurídicos fundamentais: distinções entre civis e combatentes, e entre alvos civis e objetivos militares; proporcionalidade na imposição de danos civis incidentais; e a obrigação de tomar todas as precauções viáveis em ataques para determinar a natureza do alvo e minimizar os danos civis, conforme exigido pelo direito da guerra. Esses requisitos demandam o exercício da capacidade cognitiva, da discrição e do julgamento — tanto para equilibrar a necessidade militar com a proteção humanitária quanto porque o direito é uma criação humana, irredutível a um código, destinada a reger as relações entre os seres humanos no mundo, mesmo em um mundo em guerra.
Ainda é uma questão em aberto se um determinado sistema tecnológico, dados os seus parâmetros de classificação, é capaz de fazer as distinções relevantes exigidas por lei, tanto ao nível da detecção e do reconhecimento e classificação precisos de um alvo, como no momento do confronto. Cada vez mais, essa questão tem sido relegada a segundo plano pelos desenvolvimentos tecnológicos e institucionais. Mesmo com a crescente sofisticação da detecção, da análise de dados e da representação sintética da realidade para os utilizadores, uma avaliação exigirá discernimento contextualizado e não o seguimento quase cego de uma recomendação.
Por exemplo, se um edifício, por sua “natureza, localização, finalidade ou uso, contribui efetivamente para uma ação militar e cuja destruição, captura ou neutralização total ou parcial, nas circunstâncias vigentes no momento, oferece uma vantagem militar definitiva”, conforme exigido pelo direito internacional, não pode ser determinado pelo sinal automático de um celular associado a um indivíduo classificado algoritmicamente como um potencial militante. Isso não se deve apenas à margem de erro inaceitável, ou ao fato de tal abordagem refletir uma interpretação excessivamente ampla e permissiva do termo “uso”. Deve-se principalmente ao fato de que as decisões que levam à morte e à destruição são — e sempre devem permanecer — responsabilidades humanas. A menos, é claro, que a prioridade seja a aprovação automática da destruição indiscriminada.
A expressão “controle humano significativo” tem sido promovida na última década na tentativa de traçar uma linha que a automação de um determinado sistema não deveria ultrapassar. Trata-se de uma expressão vaga e imperfeita, que até agora se mostrou incapaz de conter a onda. A disseminação dessas tecnologias ao longo do ciclo de automação está tornando-a cada vez mais vazia. Mais recentemente, o conceito de “julgamento e controle humanos adequados ao contexto” foi proposto; mais prolixo, talvez mais rico em detalhes, mas que também corre o risco de ser uma mera formalidade.
A captura mútua entre a guerra e o capitalismo
Existe uma linha divisória entre o apoio à decisão e a automação completa — uma linha que não devemos cruzar? Considere três fatores:
Em primeiro lugar, exercícios cruciais de discrição e julgamento na identificação de alvos específicos e no seu engajamento estão sendo mercantilizados. Cada vez mais, aparecem como valores abstratos produzidos por sistemas automatizados com base em parâmetros predefinidos. Esses parâmetros podem ser escrupulosos em sua alegada adesão às normas legais ou, como no caso das IDF, extremamente permissivos, para dizer o mínimo. Mas, em ambos os casos, a classificação é automatizada, abstrata, mercantilizada e desumanizada.
Em segundo lugar, há uma redução da capacidade de ação humana. Essa redução pode não ser absoluta. Ainda pode ser possível considerar aqueles que definem os parâmetros, implantam as armas, ativam o sistema ou fornecem a aprovação final como, em certa medida, responsáveis. Em certas circunstâncias, como argumentam ocasionalmente os entrevistados de King, os participantes podem perceber a tecnologia como fornecedora de informações mais ricas que beneficiam o exercício do julgamento e da capacidade de ação. Contudo, ao mesmo tempo, a automatização gradual do ciclo de seleção de alvos inevitavelmente mina a capacidade de ação — removendo os participantes dos custos cognitivos e morais da guerra. Isso é especialmente verdadeiro quando velocidade e volume são prioridades absolutas. Como em Gaza, tal velocidade e volume podem estar servindo ao objetivo de destruição indiscriminada e abrangente. Mas mesmo em conflitos onde a aniquilação não é a onda que carrega todo o julgamento humano, há um ponto em que simplesmente não é possível para os seres humanos exercerem controle sobre o volume de informações que as máquinas são capazes de processar — onde ferramentas interativas personalizadas estão efetivamente enganando seus usuários humanos. Nesse contexto, quaisquer objeções potenciais à adoção de ferramentas de IA e suas recomendações, seja no nível operacional ou no nível social e político mais amplo, estão se tornando cada vez mais fracas.
Finalmente, há um terceiro fator crucial que, creio eu, é menos compreendido. Qual é, para os nossos propósitos, a relação entre mercadoria e forma corporativa? Qual é a relação entre, por um lado, uma decisão política, militar ou jurídica que é mercantilizada por meio da mistificação algorítmica e, por outro, o crescente envolvimento, influência e até mesmo apropriação da guerra por corporações que visam a maximização do lucro? Será que este último, por sua própria natureza, promove o primeiro?
King discorda, daí sua distinção entre autonomia plena e tecnologias de apoio à decisão desenvolvidas pelo complexo tecnológico-militar emergente. Ele argumenta que a relação civil-militar em transformação exige nossa atenção, mas não implica necessariamente a perda de capacidade de ação — e, de fato, que sua expressão tecnológica está atualmente “empoderando” os tomadores de decisão. Observamos, contudo, que, pelo menos no que diz respeito às exigências impostas pelo direito da guerra, a capacidade de ação está, de fato, sendo perdida. Ainda assim, talvez não haja uma conexão necessária. Talvez o poder e o julgamento sobre a condução da guerra estejam se transferindo para atores corporativos dentro do crescente complexo de hipercapitalismo e militarismo. E talvez a promoção corporativa da automação gradual do processo decisório seja fundamentalmente oportunista — uma “ruptura” que facilita a captura — e apenas coincida com a mercantilização do julgamento e a perda da capacidade de ação.
Mas há motivos para ceticismo. A própria lógica do capitalismo e suas formas associativas são voltadas para promover o distanciamento moral e estruturas de irresponsabilidade. A perda de autonomia por meio da automação serve exatamente a essa função. O financiamento da guerra pela busca do lucro é, obviamente, tão antigo quanto a própria guerra, mas uma análise sociológica desse complexo tecnomilitar ainda pode mostrar como a quebra de barreiras por meio do hipercapitalismo militante conecta a mercantilização da IA à mercantilização da organização social do combate à guerra.
Entretanto, os robôs assassinos propriamente ditos — potencialmente “sistemas não tripulados” totalmente autônomos — estão em pleno desenvolvimento, fase de testes e implantação parcial. A captura mútua do hipercapitalismo militante e do aparato de segurança nacional está nos preparando para recebê-los como iguais.
Ainda é uma questão em aberto se um determinado sistema tecnológico, dados os seus parâmetros de classificação, é capaz de fazer as distinções relevantes exigidas por lei, tanto ao nível da detecção e do reconhecimento e classificação precisos de um alvo, como no momento do confronto. Cada vez mais, essa questão tem sido relegada a segundo plano pelos desenvolvimentos tecnológicos e institucionais. Mesmo com a crescente sofisticação da detecção, da análise de dados e da representação sintética da realidade para os utilizadores, uma avaliação exigirá discernimento contextualizado e não o seguimento quase cego de uma recomendação.
Por exemplo, se um edifício, por sua “natureza, localização, finalidade ou uso, contribui efetivamente para uma ação militar e cuja destruição, captura ou neutralização total ou parcial, nas circunstâncias vigentes no momento, oferece uma vantagem militar definitiva”, conforme exigido pelo direito internacional, não pode ser determinado pelo sinal automático de um celular associado a um indivíduo classificado algoritmicamente como um potencial militante. Isso não se deve apenas à margem de erro inaceitável, ou ao fato de tal abordagem refletir uma interpretação excessivamente ampla e permissiva do termo “uso”. Deve-se principalmente ao fato de que as decisões que levam à morte e à destruição são — e sempre devem permanecer — responsabilidades humanas. A menos, é claro, que a prioridade seja a aprovação automática da destruição indiscriminada.
A expressão “controle humano significativo” tem sido promovida na última década na tentativa de traçar uma linha que a automação de um determinado sistema não deveria ultrapassar. Trata-se de uma expressão vaga e imperfeita, que até agora se mostrou incapaz de conter a onda. A disseminação dessas tecnologias ao longo do ciclo de automação está tornando-a cada vez mais vazia. Mais recentemente, o conceito de “julgamento e controle humanos adequados ao contexto” foi proposto; mais prolixo, talvez mais rico em detalhes, mas que também corre o risco de ser uma mera formalidade.
A captura mútua entre a guerra e o capitalismo
Existe uma linha divisória entre o apoio à decisão e a automação completa — uma linha que não devemos cruzar? Considere três fatores:
Em primeiro lugar, exercícios cruciais de discrição e julgamento na identificação de alvos específicos e no seu engajamento estão sendo mercantilizados. Cada vez mais, aparecem como valores abstratos produzidos por sistemas automatizados com base em parâmetros predefinidos. Esses parâmetros podem ser escrupulosos em sua alegada adesão às normas legais ou, como no caso das IDF, extremamente permissivos, para dizer o mínimo. Mas, em ambos os casos, a classificação é automatizada, abstrata, mercantilizada e desumanizada.
Em segundo lugar, há uma redução da capacidade de ação humana. Essa redução pode não ser absoluta. Ainda pode ser possível considerar aqueles que definem os parâmetros, implantam as armas, ativam o sistema ou fornecem a aprovação final como, em certa medida, responsáveis. Em certas circunstâncias, como argumentam ocasionalmente os entrevistados de King, os participantes podem perceber a tecnologia como fornecedora de informações mais ricas que beneficiam o exercício do julgamento e da capacidade de ação. Contudo, ao mesmo tempo, a automatização gradual do ciclo de seleção de alvos inevitavelmente mina a capacidade de ação — removendo os participantes dos custos cognitivos e morais da guerra. Isso é especialmente verdadeiro quando velocidade e volume são prioridades absolutas. Como em Gaza, tal velocidade e volume podem estar servindo ao objetivo de destruição indiscriminada e abrangente. Mas mesmo em conflitos onde a aniquilação não é a onda que carrega todo o julgamento humano, há um ponto em que simplesmente não é possível para os seres humanos exercerem controle sobre o volume de informações que as máquinas são capazes de processar — onde ferramentas interativas personalizadas estão efetivamente enganando seus usuários humanos. Nesse contexto, quaisquer objeções potenciais à adoção de ferramentas de IA e suas recomendações, seja no nível operacional ou no nível social e político mais amplo, estão se tornando cada vez mais fracas.
Finalmente, há um terceiro fator crucial que, creio eu, é menos compreendido. Qual é, para os nossos propósitos, a relação entre mercadoria e forma corporativa? Qual é a relação entre, por um lado, uma decisão política, militar ou jurídica que é mercantilizada por meio da mistificação algorítmica e, por outro, o crescente envolvimento, influência e até mesmo apropriação da guerra por corporações que visam a maximização do lucro? Será que este último, por sua própria natureza, promove o primeiro?
King discorda, daí sua distinção entre autonomia plena e tecnologias de apoio à decisão desenvolvidas pelo complexo tecnológico-militar emergente. Ele argumenta que a relação civil-militar em transformação exige nossa atenção, mas não implica necessariamente a perda de capacidade de ação — e, de fato, que sua expressão tecnológica está atualmente “empoderando” os tomadores de decisão. Observamos, contudo, que, pelo menos no que diz respeito às exigências impostas pelo direito da guerra, a capacidade de ação está, de fato, sendo perdida. Ainda assim, talvez não haja uma conexão necessária. Talvez o poder e o julgamento sobre a condução da guerra estejam se transferindo para atores corporativos dentro do crescente complexo de hipercapitalismo e militarismo. E talvez a promoção corporativa da automação gradual do processo decisório seja fundamentalmente oportunista — uma “ruptura” que facilita a captura — e apenas coincida com a mercantilização do julgamento e a perda da capacidade de ação.
Mas há motivos para ceticismo. A própria lógica do capitalismo e suas formas associativas são voltadas para promover o distanciamento moral e estruturas de irresponsabilidade. A perda de autonomia por meio da automação serve exatamente a essa função. O financiamento da guerra pela busca do lucro é, obviamente, tão antigo quanto a própria guerra, mas uma análise sociológica desse complexo tecnomilitar ainda pode mostrar como a quebra de barreiras por meio do hipercapitalismo militante conecta a mercantilização da IA à mercantilização da organização social do combate à guerra.
Entretanto, os robôs assassinos propriamente ditos — potencialmente “sistemas não tripulados” totalmente autônomos — estão em pleno desenvolvimento, fase de testes e implantação parcial. A captura mútua do hipercapitalismo militante e do aparato de segurança nacional está nos preparando para recebê-los como iguais.
Colaborador
Ioannis Kalpouzos é especialista em direito internacional público, direito penal internacional, direito da guerra e direitos humanos. Ele é professor visitante na Harvard Law School e também lecionou no King’s College, entre outras instituições.
Ioannis Kalpouzos é especialista em direito internacional público, direito penal internacional, direito da guerra e direitos humanos. Ele é professor visitante na Harvard Law School e também lecionou no King’s College, entre outras instituições.
Nenhum comentário:
Postar um comentário