Com o desenvolvimento da Inteligência Artificial (IA) avançando em velocidade vertiginosa, alguns dos homens mais ricos do mundo podem estar decidindo o destino da humanidade neste momento.
Garrison Lovely
Jacobin
Bengio postula que os futuros sistemas de IA genuinamente humanos poderiam melhorar suas próprias capacidades, criando funcionalmente uma nova espécie mais inteligente. A humanidade extinguiu centenas de outras espécies, em grande parte por acidente. Ele teme que possamos ser os próximos – e ele não está sozinho.
Bengio dividiu o Prêmio Turing de 2018, o Prêmio Nobel de computação, com os pioneiros do aprendizado profundo Yann LeCun e Geoffrey Hinton. Hinton, o cientista vivo mais citado, causou polêmica em maio, quando renunciou ao cargo sênior no Google para falar mais livremente sobre a possibilidade de que futuros sistemas de IA possam acabar com a humanidade. Hinton e Bengio são os dois pesquisadores de IA mais proeminentes a se juntar à comunidade de “risco x”. Às vezes referido como defensores da segurança da IA ou condenadores, esse grupo solto se preocupa que a IA represente um risco existencial para a humanidade.
No mesmo mês em que Hinton renunciou ao seu cargo no Google, centenas de pesquisadores de IA e figuras notáveis assinaram uma carta aberta afirmando: “Mitigar o risco de extinção da IA deve ser uma prioridade global ao lado de outros riscos de escala social, como pandemias e guerra nuclear”. Hinton e Bengio foram os principais signatários, seguidos pelo CEO da OpenAI, Sam Altman, e os chefes de outros laboratórios de IA de topo.
Hinton e Bengio também foram os primeiros autores de um artigo de posição de outubro alertando sobre o risco de “uma perda irreversível do controle humano sobre sistemas autônomos de IA”, acompanhados por acadêmicos famosos como o prêmio Nobel Daniel Kahneman e o autor do Sapiens Yuval Noah Harari.
LeCun, que dirige IA na Meta, concorda que a IA de nível humano está chegando, mas disse em um debate público contra Bengio sobre a extinção da IA: “Se for perigoso, não vamos construí-lo”.
O aprendizado profundo alimenta os sistemas de IA mais avançados do mundo, desde o modelo de dobramento de proteínas da DeepMind até modelos de linguagem grande (LLMs) como o ChatGPT da OpenAI. Ninguém realmente entende como os sistemas de aprendizagem profunda funcionam, mas seu desempenho continuou a melhorar mesmo assim. Esses sistemas não são projetados para funcionar de acordo com um conjunto de princípios bem compreendidos, mas são “treinados” para analisar padrões em grandes conjuntos de dados, com comportamentos complexos — como a compreensão da linguagem — emergindo como consequência. O desenvolvedor de IA Connor Leahy me disse: “É mais como se estivéssemos cutucando algo em uma placa de Petri” do que escrevendo um pedaço de código. O documento de posição de outubro alerta que “ninguém atualmente sabe como alinhar de forma confiável o comportamento da IA com valores complexos”.
Apesar de toda essa incerteza, as empresas de IA se veem em uma corrida para tornar esses sistemas tão poderosos quanto puderem — sem um plano viável para entender como as coisas que estão criando realmente funcionam, ao mesmo tempo em que cortam barreiras na segurança para ganhar mais participação de mercado. A inteligência artificial geral (AGI) é o Santo Graal para o qual os principais laboratórios de IA estão trabalhando explicitamente. A AGI é frequentemente definida como um sistema que é pelo menos tão bom quanto os humanos em quase qualquer tarefa intelectual. É também o que Bengio e Hinton acreditam que pode levar ao fim da humanidade.
Bizarramente, muitas das pessoas que promovem ativamente os recursos de IA acham que há uma chance significativa de que isso acabe causando o apocalipse. Uma pesquisa de 2022 com pesquisadores de aprendizado de máquina descobriu que quase metade deles achava que havia pelo menos 10% de chance de que a IA avançada pudesse levar à “extinção humana ou [um] desempoderamento igualmente permanente e severo” da humanidade. Poucos meses antes de cofundar a OpenAI, Altman disse: “A IA provavelmente levará ao fim do mundo, mas, enquanto isso, haverá grandes empresas”.
A opinião pública sobre IA azedou, particularmente no ano desde que o ChatGPT foi lançado. Em todas, exceto uma pesquisa de 2023, mais americanos do que não pensaram que a IA poderia representar uma ameaça existencial para a humanidade. Nos raros casos em que os pesquisadores perguntaram às pessoas se elas queriam nível humano ou além da IA, fortes maiorias nos Estados Unidos e no Reino Unido disseram que não.
Até agora, quando os socialistas avaliam a IA, geralmente é para destacar a discriminação alimentada por IA ou para alertar sobre o impacto potencialmente negativo da automação em um mundo de sindicatos fracos e capitalistas poderosos. Mas a esquerda tem estado visivelmente quieta sobre o cenário de pesadelo de Hinton e Bengio – que a IA avançada poderia matar todos nós.
 |
| Ilustração: Ricardo Santos |
Tradução / O cofundador do Google, Larry Page, acredita que a IA superinteligente é "apenas o próximo passo na evolução". Na verdade, Page, que vale cerca de US$ 120 bilhões, teria argumentado que os esforços para prevenir a extinção impulsionada pela IA e proteger a consciência humana são "especistas" e "absurdos sentimentais".
Em julho, o ex-cientista sênior do Google DeepMind, laboratório de inteligência artificial comprado pela big tech em 2014, Richard Sutton — um dos pioneiros do aprendizado por reforço, um dos principais subcampos da IA — disse que a tecnologia "poderia nos deslocar da existência" e que "não deveríamos resistir à sucessão". Durante uma palestra de 2015, Sutton disse, suponha que "tudo falha" e a IA "mata todos nós"; ele perguntou: "É tão ruim que os humanos não sejam a forma final de vida inteligente no universo?"
Em julho, o ex-cientista sênior do Google DeepMind, laboratório de inteligência artificial comprado pela big tech em 2014, Richard Sutton — um dos pioneiros do aprendizado por reforço, um dos principais subcampos da IA — disse que a tecnologia "poderia nos deslocar da existência" e que "não deveríamos resistir à sucessão". Durante uma palestra de 2015, Sutton disse, suponha que "tudo falha" e a IA "mata todos nós"; ele perguntou: "É tão ruim que os humanos não sejam a forma final de vida inteligente no universo?"
"Extinção biológica, esse não é o ponto", disse-me Sutton, aos sessenta e seis anos. "A luz da humanidade e nosso entendimento, nossa inteligência — nossa consciência, se quiserem — podem continuar sem carne humana."
Yoshua Bengio, cinquenta e nove, é o segundo cientista vivo mais citado, conhecido por seu trabalho fundamental sobre aprendizagem profunda. Respondendo a Page e Sutton, Bengio me disse: “O que eles querem, acho que é jogar dados com o futuro da humanidade. Eu, particularmente, acho que isso deveria ser criminalizado.” Um pouco surpreso, perguntei o que exatamente ele queria ilegalizado, e ele disse que os esforços para construir “sistemas de IA que poderiam nos dominar e ter seu próprio interesse próprio por design”. Em maio, Bengio começou a escrever e falar sobre como sistemas avançados de IA podem ser desonestos e representar um risco de extinção para a humanidade.
Bengio postula que os futuros sistemas de IA genuinamente humanos poderiam melhorar suas próprias capacidades, criando funcionalmente uma nova espécie mais inteligente. A humanidade extinguiu centenas de outras espécies, em grande parte por acidente. Ele teme que possamos ser os próximos – e ele não está sozinho.
Bengio dividiu o Prêmio Turing de 2018, o Prêmio Nobel de computação, com os pioneiros do aprendizado profundo Yann LeCun e Geoffrey Hinton. Hinton, o cientista vivo mais citado, causou polêmica em maio, quando renunciou ao cargo sênior no Google para falar mais livremente sobre a possibilidade de que futuros sistemas de IA possam acabar com a humanidade. Hinton e Bengio são os dois pesquisadores de IA mais proeminentes a se juntar à comunidade de “risco x”. Às vezes referido como defensores da segurança da IA ou condenadores, esse grupo solto se preocupa que a IA represente um risco existencial para a humanidade.
No mesmo mês em que Hinton renunciou ao seu cargo no Google, centenas de pesquisadores de IA e figuras notáveis assinaram uma carta aberta afirmando: “Mitigar o risco de extinção da IA deve ser uma prioridade global ao lado de outros riscos de escala social, como pandemias e guerra nuclear”. Hinton e Bengio foram os principais signatários, seguidos pelo CEO da OpenAI, Sam Altman, e os chefes de outros laboratórios de IA de topo.
Hinton e Bengio também foram os primeiros autores de um artigo de posição de outubro alertando sobre o risco de “uma perda irreversível do controle humano sobre sistemas autônomos de IA”, acompanhados por acadêmicos famosos como o prêmio Nobel Daniel Kahneman e o autor do Sapiens Yuval Noah Harari.
LeCun, que dirige IA na Meta, concorda que a IA de nível humano está chegando, mas disse em um debate público contra Bengio sobre a extinção da IA: “Se for perigoso, não vamos construí-lo”.
O aprendizado profundo alimenta os sistemas de IA mais avançados do mundo, desde o modelo de dobramento de proteínas da DeepMind até modelos de linguagem grande (LLMs) como o ChatGPT da OpenAI. Ninguém realmente entende como os sistemas de aprendizagem profunda funcionam, mas seu desempenho continuou a melhorar mesmo assim. Esses sistemas não são projetados para funcionar de acordo com um conjunto de princípios bem compreendidos, mas são “treinados” para analisar padrões em grandes conjuntos de dados, com comportamentos complexos — como a compreensão da linguagem — emergindo como consequência. O desenvolvedor de IA Connor Leahy me disse: “É mais como se estivéssemos cutucando algo em uma placa de Petri” do que escrevendo um pedaço de código. O documento de posição de outubro alerta que “ninguém atualmente sabe como alinhar de forma confiável o comportamento da IA com valores complexos”.
Apesar de toda essa incerteza, as empresas de IA se veem em uma corrida para tornar esses sistemas tão poderosos quanto puderem — sem um plano viável para entender como as coisas que estão criando realmente funcionam, ao mesmo tempo em que cortam barreiras na segurança para ganhar mais participação de mercado. A inteligência artificial geral (AGI) é o Santo Graal para o qual os principais laboratórios de IA estão trabalhando explicitamente. A AGI é frequentemente definida como um sistema que é pelo menos tão bom quanto os humanos em quase qualquer tarefa intelectual. É também o que Bengio e Hinton acreditam que pode levar ao fim da humanidade.
Bizarramente, muitas das pessoas que promovem ativamente os recursos de IA acham que há uma chance significativa de que isso acabe causando o apocalipse. Uma pesquisa de 2022 com pesquisadores de aprendizado de máquina descobriu que quase metade deles achava que havia pelo menos 10% de chance de que a IA avançada pudesse levar à “extinção humana ou [um] desempoderamento igualmente permanente e severo” da humanidade. Poucos meses antes de cofundar a OpenAI, Altman disse: “A IA provavelmente levará ao fim do mundo, mas, enquanto isso, haverá grandes empresas”.
A opinião pública sobre IA azedou, particularmente no ano desde que o ChatGPT foi lançado. Em todas, exceto uma pesquisa de 2023, mais americanos do que não pensaram que a IA poderia representar uma ameaça existencial para a humanidade. Nos raros casos em que os pesquisadores perguntaram às pessoas se elas queriam nível humano ou além da IA, fortes maiorias nos Estados Unidos e no Reino Unido disseram que não.
Até agora, quando os socialistas avaliam a IA, geralmente é para destacar a discriminação alimentada por IA ou para alertar sobre o impacto potencialmente negativo da automação em um mundo de sindicatos fracos e capitalistas poderosos. Mas a esquerda tem estado visivelmente quieta sobre o cenário de pesadelo de Hinton e Bengio – que a IA avançada poderia matar todos nós.
Ilustração: Ricardo Santos
Potencialidades preocupantes
Embora grande parte da atenção da comunidade de risco x se concentre na ideia de que a humanidade poderia eventualmente perder o controle da IA, muitos também estão preocupados com sistemas menos capazes capacitando maus atores em prazos muito curtos.
Felizmente, é difícil fazer uma arma biológica. Mas isso pode mudar em breve.
A Anthropic, um laboratório líder de IA fundado por ex-funcionários da OpenAI, trabalhou recentemente com especialistas em biossegurança para ver o quanto um LLM poderia ajudar um aspirante a bioterrorista. Testemunhando perante um subcomitê do Senado em julho, o CEO da Anthropic, Dario Amodei, relatou que certas etapas na produção de armas biológicas não podem ser encontradas em livros didáticos ou mecanismos de busca, mas que “as ferramentas de IA de hoje podem preencher algumas dessas etapas, embora incompletamente”, e que “uma extrapolação direta dos sistemas de hoje para aqueles que esperamos ver em dois a três anos sugere um risco substancial de que os sistemas de IA sejam capazes de preencher todos os que faltam pedaços.”
Em outubro, a revista New Scientist informou que a Ucrânia fez o primeiro uso no campo de batalha de armas autônomas letais (LAWs, na sigla em inglês) — literalmente robôs assassinos. Os Estados Unidos, a China e Israel estão desenvolvendo suas próprias LEIAS. A Rússia juntou-se aos Estados Unidos e a Israel na oposição ao novo direito internacional sobre LAWs.
No entanto, a ideia mais expansiva de que a IA representa um risco existencial tem muitos críticos, e o discurso agitado da IA é difícil de analisar: pessoas igualmente credenciadas fazem afirmações opostas sobre se o risco x da IA é real, e os capitalistas de risco estão assinando cartas abertas com especialistas progressistas em ética da IA. E enquanto a ideia do risco x parece estar ganhando terreno mais rapidamente, uma grande publicação publica um ensaio aparentemente toda semana argumentando que o risco x distrai dos danos existentes. Enquanto isso, ordens de grandeza, mais dinheiro e pessoas estão silenciosamente dedicadas a tornar os sistemas de IA mais poderosos do que a torná-los mais seguros ou menos tendenciosos.
Alguns temem não o cenário de “ficção científica” em que os modelos de IA se tornam tão capazes que tiram o controle de nosso fraco alcance, mas sim que confiaremos sistemas tendenciosos, frágeis e confabulantes com muita responsabilidade, abrindo uma caixa de Pandora mais pedonal cheia de problemas terríveis, mas familiares, que escalam com os algoritmos que os causam. Essa comunidade de pesquisadores e defensores — muitas vezes rotulada de “ética da IA” — tende a se concentrar nos danos imediatos causados pela IA, explorando soluções envolvendo responsabilidade de modelos, transparência algorítmica e justiça de aprendizado de máquina.
Conversei com algumas das vozes mais proeminentes da comunidade de ética da IA, como os cientistas da computação Joy Buolamwini, trinta e três, e Inioluwa Deborah Raji, vinte e sete. Cada um conduziu pesquisas pioneiras sobre os danos existentes causados por modelos de IA discriminatórios e falhos, cujos impactos, em sua opinião, são obscurecidos em um dia e exagerados no outro. Como o de muitos pesquisadores de ética em IA, seu trabalho mistura ciência e ativismo.
Aqueles com quem conversei dentro do mundo da ética da IA expressaram amplamente uma visão de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico completo ou extinção, o futuro da IA se parece mais com a intensificação da discriminação racial nas decisões de encarceramento e empréstimo, a criação de locais de trabalho na Amazon, ataques aos trabalhadores pobres e um futuro mais entrincheirado e enriquecido tecno-elititista.
Aqueles com quem conversei dentro do mundo da ética da IA expressaram amplamente uma visão de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico completo ou extinção, o futuro da IA se parece mais com a intensificação da discriminação racial nas decisões de encarceramento e empréstimo, a criação de locais de trabalho na Amazon, ataques aos trabalhadores pobres e um futuro mais entrincheirado e enriquecido tecno-elite.
Potencialidades preocupantes
Embora grande parte da atenção da comunidade de risco x se concentre na ideia de que a humanidade poderia eventualmente perder o controle da IA, muitos também estão preocupados com sistemas menos capazes capacitando maus atores em prazos muito curtos.
Felizmente, é difícil fazer uma arma biológica. Mas isso pode mudar em breve.
A Anthropic, um laboratório líder de IA fundado por ex-funcionários da OpenAI, trabalhou recentemente com especialistas em biossegurança para ver o quanto um LLM poderia ajudar um aspirante a bioterrorista. Testemunhando perante um subcomitê do Senado em julho, o CEO da Anthropic, Dario Amodei, relatou que certas etapas na produção de armas biológicas não podem ser encontradas em livros didáticos ou mecanismos de busca, mas que “as ferramentas de IA de hoje podem preencher algumas dessas etapas, embora incompletamente”, e que “uma extrapolação direta dos sistemas de hoje para aqueles que esperamos ver em dois a três anos sugere um risco substancial de que os sistemas de IA sejam capazes de preencher todos os que faltam pedaços.”
Em outubro, a revista New Scientist informou que a Ucrânia fez o primeiro uso no campo de batalha de armas autônomas letais (LAWs, na sigla em inglês) — literalmente robôs assassinos. Os Estados Unidos, a China e Israel estão desenvolvendo suas próprias LEIAS. A Rússia juntou-se aos Estados Unidos e a Israel na oposição ao novo direito internacional sobre LAWs.
No entanto, a ideia mais expansiva de que a IA representa um risco existencial tem muitos críticos, e o discurso agitado da IA é difícil de analisar: pessoas igualmente credenciadas fazem afirmações opostas sobre se o risco x da IA é real, e os capitalistas de risco estão assinando cartas abertas com especialistas progressistas em ética da IA. E enquanto a ideia do risco x parece estar ganhando terreno mais rapidamente, uma grande publicação publica um ensaio aparentemente toda semana argumentando que o risco x distrai dos danos existentes. Enquanto isso, ordens de grandeza, mais dinheiro e pessoas estão silenciosamente dedicadas a tornar os sistemas de IA mais poderosos do que a torná-los mais seguros ou menos tendenciosos.
Alguns temem não o cenário de “ficção científica” em que os modelos de IA se tornam tão capazes que tiram o controle de nosso fraco alcance, mas sim que confiaremos sistemas tendenciosos, frágeis e confabulantes com muita responsabilidade, abrindo uma caixa de Pandora mais pedonal cheia de problemas terríveis, mas familiares, que escalam com os algoritmos que os causam. Essa comunidade de pesquisadores e defensores — muitas vezes rotulada de “ética da IA” — tende a se concentrar nos danos imediatos causados pela IA, explorando soluções envolvendo responsabilidade de modelos, transparência algorítmica e justiça de aprendizado de máquina.
Conversei com algumas das vozes mais proeminentes da comunidade de ética da IA, como os cientistas da computação Joy Buolamwini, trinta e três, e Inioluwa Deborah Raji, vinte e sete. Cada um conduziu pesquisas pioneiras sobre os danos existentes causados por modelos de IA discriminatórios e falhos, cujos impactos, em sua opinião, são obscurecidos em um dia e exagerados no outro. Como o de muitos pesquisadores de ética em IA, seu trabalho mistura ciência e ativismo.
Aqueles com quem conversei dentro do mundo da ética da IA expressaram amplamente uma visão de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico completo ou extinção, o futuro da IA se parece mais com a intensificação da discriminação racial nas decisões de encarceramento e empréstimo, a criação de locais de trabalho na Amazon, ataques aos trabalhadores pobres e um futuro mais entrincheirado e enriquecido tecno-elititista.
Aqueles com quem conversei dentro do mundo da ética da IA expressaram amplamente uma visão de que, em vez de enfrentar desafios fundamentalmente novos, como a perspectiva de desemprego tecnológico completo ou extinção, o futuro da IA se parece mais com a intensificação da discriminação racial nas decisões de encarceramento e empréstimo, a criação de locais de trabalho na Amazon, ataques aos trabalhadores pobres e um futuro mais entrincheirado e enriquecido tecno-elite.
Ilustração: Ricardo Santos
Um argumento frequente dessa multidão é que a narrativa da extinção exagera nas capacidades dos produtos da Big Tech e perigosamente “distraia” dos danos imediatos da IA. Na melhor das hipóteses, dizem, entreter a ideia de risco x é uma perda de tempo e dinheiro. Na pior das hipóteses, leva a ideias políticas desastrosas.
Mas muitos dos crentes do risco x destacaram que as posições “a IA causa danos agora” e “a IA pode acabar com o mundo” não são mutuamente exclusivas. Alguns pesquisadores tentaram explicitamente fazer a ponte entre aqueles focados nos danos existentes e aqueles focados na extinção, destacando potenciais objetivos políticos compartilhados. O professor de IA Sam Bowman, outra pessoa cujo nome está na carta de extinção, fez pesquisas para revelar e reduzir o viés algorítmico e revisa as submissões para a principal conferência de ética em IA. Simultaneamente, Bowman pediu que mais pesquisadores trabalhem na segurança da IA e escreveu sobre os “perigos de subestimar” as habilidades dos LLMs, ou grandes modelos de linguagem.
A comunidade de risco x comumente invoca a defesa do clima como uma analogia, perguntando se o foco na redução dos danos de longo prazo das mudanças climáticas distrai perigosamente dos danos de curto prazo da poluição do ar e dos derramamentos de petróleo.
No entanto, por sua própria admissão, nem todos do lado do risco x foram tão diplomáticos. Em um tópico de agosto de 2022 de tomadas de políticas de IA picantes, o cofundador da Anthropic, Jack Clark, tuitou que “Algumas pessoas que trabalham em políticas de longo prazo/estilo AGI tendem a ignorar, minimizar ou simplesmente não considerar os problemas imediatos de implantação/danos de IA".
Um argumento frequente dessa multidão é que a narrativa da extinção exagera nas capacidades dos produtos da Big Tech e perigosamente “distraia” dos danos imediatos da IA. Na melhor das hipóteses, dizem, entreter a ideia de risco x é uma perda de tempo e dinheiro. Na pior das hipóteses, leva a ideias políticas desastrosas.
Mas muitos dos crentes do risco x destacaram que as posições “a IA causa danos agora” e “a IA pode acabar com o mundo” não são mutuamente exclusivas. Alguns pesquisadores tentaram explicitamente fazer a ponte entre aqueles focados nos danos existentes e aqueles focados na extinção, destacando potenciais objetivos políticos compartilhados. O professor de IA Sam Bowman, outra pessoa cujo nome está na carta de extinção, fez pesquisas para revelar e reduzir o viés algorítmico e revisa as submissões para a principal conferência de ética em IA. Simultaneamente, Bowman pediu que mais pesquisadores trabalhem na segurança da IA e escreveu sobre os “perigos de subestimar” as habilidades dos LLMs, ou grandes modelos de linguagem.
A comunidade de risco x comumente invoca a defesa do clima como uma analogia, perguntando se o foco na redução dos danos de longo prazo das mudanças climáticas distrai perigosamente dos danos de curto prazo da poluição do ar e dos derramamentos de petróleo.
No entanto, por sua própria admissão, nem todos do lado do risco x foram tão diplomáticos. Em um tópico de agosto de 2022 de tomadas de políticas de IA picantes, o cofundador da Anthropic, Jack Clark, tuitou que “Algumas pessoas que trabalham em políticas de longo prazo/estilo AGI tendem a ignorar, minimizar ou simplesmente não considerar os problemas imediatos de implantação/danos de IA".
"IA salvará o mundo"
Um terceiro campo se preocupa que, quando se trata de IA, não estamos realmente nos movendo rápido o suficiente. Capitalistas proeminentes como o bilionário Marc Andreessen concordam com o pessoal da segurança que a AGI é possível, mas argumentam que, em vez de matar todos nós, ela inaugurará uma era de ouro indefinida de abundância radical e tecnologias mágicas limítrofes. Esse grupo, em grande parte vindo do Vale do Silício e comumente referido como impulsionadores de IA, tende a se preocupar muito mais que a reação exagerada regulatória à IA sufocará uma tecnologia transformadora e salvadora do mundo em seu berço, condenando a humanidade à estagnação econômica.
Alguns tecno-otimistas imaginam uma utopia alimentada por IA que faz Karl Marx parecer pouco imaginativo. O The Guardian lançou recentemente um minidocumentário com entrevistas de 2016 a 2019 com o cientista-chefe da OpenAI, Ilya Sutskever, que ousadamente pronuncia: “A IA resolverá todos os problemas que temos hoje. Vai resolver emprego, vai resolver doença, vai resolver pobreza. Mas também criará novos problemas.”
Andreessen está com Sutskever – até o “mas”. Em junho, Andreessen publicou um ensaio chamado “Why AI Will Save the World“, onde explica como a IA tornará “tudo o que nos importa melhor”, desde que não a regulemos até a morte. Ele seguiu em outubro com seu “Manifesto Tecno-Otimista“, que, além de elogiar um fundador do fascismo italiano, apontou como inimigos do progresso ideias como “risco existencial”, “sustentabilidade”, “confiança e segurança” e “ética tecnológica”. Andreessen não mede palavras, escrevendo: “Acreditamos que qualquer desaceleração da IA custará vidas. Mortes que eram evitáveis pela IA que foi impedida de existir [são] uma forma de assassinato.”
Andreessen, junto com o “mano farmacêutico” Martin Shkreli, é talvez o mais famoso defensor do “aceleracionismo eficaz“, também chamado de “e/acc”, uma rede majoritariamente online que mistura cientificismo cultista, hipercapitalismo e falácia naturalista. E/acc, que se tornou viral neste verão, se baseia na teoria do aceleracionismo do escritor reacionário Nick Land, que argumenta que precisamos intensificar o capitalismo para nos impulsionar em um futuro pós-humano alimentado por IA. O aceleracionismo eficaz pega essa ideia e adiciona uma camada de física e memes, integrando-a para um certo subconjunto de elites do Vale do Silício. Ele foi formado em reação aos apelos de “decels” para desacelerar a IA, que vieram significativamente da comunidade de altruísmo efetivo (EA), da qual o e/acc leva seu nome.
Richard Sutton – o cientista pronto para se despedir dos “humanos de carne” – agora está trabalhando na Keen AGI, uma nova start-up de John Carmack, o lendário programador por trás do videogame Doom dos anos 1990. A missão da empresa, segundo Carmack: “AGI ou busto, por meio da Mad Science!”
O capitalismo piora
Em fevereiro, Sam Altman tuitou que Eliezer Yudkowsky poderia eventualmente “merecer o Prêmio Nobel da Paz”. Por que? Altman achava que o pesquisador autodidata e autor de fan-fiction de Harry Potter havia feito “mais para acelerar a AGI do que qualquer outra pessoa”. Altman citou como Yudkowsky ajudou a DeepMind a garantir financiamento fundamental em estágio inicial de Peter Thiel, bem como o papel “crítico” de Yudkowsky “na decisão de iniciar a OpenAI”.
Yudkowsky era um acelerador antes mesmo do termo ser cunhado. Aos dezessete anos – farto de ditaduras, da fome mundial e até da própria morte – publicou um manifesto exigindo a criação de uma superinteligência digital para “resolver” todos os problemas da humanidade. Na década seguinte de sua vida, sua “tecnofilia” se transformou em fobia e, em 2008, ele escreveu sobre sua história de conversão, admitindo que “dizer que quase destruí o mundo!, teria sido muito orgulhoso”.
Yudkowsky agora é famoso por popularizar a ideia de que a AGI poderia matar todo mundo, e ele se tornou o mais condenável dos condenadores da IA. Uma geração de técnicos cresceu lendo os posts de Yudkowsky, mas mais deles (talvez mais consequentemente, Altman) internalizou seus argumentos de que a AGI seria a coisa mais importante de todos os tempos do que suas crenças sobre o quão difícil seria conseguir que ela não nos matasse.
Durante nossa conversa, Yudkowsky comparou a IA a uma máquina que “imprime ouro”, até “inflamar a atmosfera”.
E quer vá ou não inflamar a atmosfera, essa máquina está imprimindo ouro mais rápido do que nunca. O boom da “IA generativa” está deixando algumas pessoas muito, muito ricas. Desde 2019, a Microsoft investiu um acumulado de US$ 13 bilhões na OpenAI. Impulsionada pelo sucesso estrondoso do ChatGPT, a Microsoft ganhou quase US$ 1 trilhão em valor no ano seguinte ao lançamento do produto. Hoje, a corporação de quase cinquenta anos vale mais do que Google e Meta juntos.
Os atores maximizadores de lucros continuarão avançando, externalizando riscos que o resto de nós nunca concordou em suportar, na busca de riquezas – ou simplesmente a glória de criar superinteligência digital, que Sutton tuitou “será a maior conquista intelectual de todos os tempos … cujo significado está além da humanidade, além da vida, além do bem e do mal”. As pressões do mercado provavelmente levarão as empresas a transferir cada vez mais poder e autonomia para os sistemas de IA à medida que melhoram.
Um pesquisador de IA do Google me escreveu: “Acho que as grandes corporações estão com tanta pressa para ganhar participação de mercado que a segurança [da IA] é vista como uma espécie de distração boba”. Bengio disse que vê “uma corrida perigosa entre empresas” que pode ficar ainda pior.
Em pânico em resposta ao mecanismo de busca Bing alimentado pela OpenAI, o Google declarou um “código vermelho”, “recalibrou” seu apetite por risco e correu para liberar Bard, seu LLM, por oposição da equipe. Em discussões internas, os funcionários chamaram Bard de “mentiroso patológico” e “digno de cringe”. O Google publicou mesmo assim.
Dan Hendrycks, diretor do Centro de Segurança de IA, disse que “cortar os cantos na segurança (…) é em grande parte o que o desenvolvimento de IA é impulsionado… Não acho, na verdade, na presença dessas intensas pressões competitivas, que as intenções sejam particularmente importantes.” Ironicamente, Hendrycks também é o conselheiro de segurança do xAI, uma startup de inteligência artificial que também é a mais recente empreitada de Elon Musk, bilionário dono do Twitter (hoje conhecido como X), da Tesla e SpaceX.
Os três principais laboratórios de IA começaram como organizações independentes e orientadas por missões, mas agora são subsidiárias completas de gigantes da tecnologia (Google DeepMind) ou assumiram tantos bilhões de dólares em investimentos de empresas trilionárias que suas missões altruístas podem ser subsumidas pela busca incessante por valor para os acionistas (a Anthropic tomou até US$ 6 bilhões do Google e da Amazon juntos, e os US$ 13 bilhões da Microsoft compraram 49% do braço lucrativo da OpenAI).
O New York Times relatou recentemente que os fundadores da DeepMind ficaram “cada vez mais preocupados com o que o Google faria com suas invenções. Em 2017, eles tentaram romper com a empresa. O Google respondeu aumentando os salários e os pacotes de prêmios de ações dos fundadores da DeepMind e sua equipe. Ficaram parados.”
Um desenvolvedor de um laboratório líder me escreveu em outubro que, como a liderança desses laboratórios normalmente acredita que a IA evitará a necessidade de dinheiro, a busca de lucro é “em grande parte instrumental” para fins de arrecadação de fundos. Mas “então os investidores (seja uma empresa de capital de risco ou a Microsoft) exercem pressão para a busca de lucro”.
Entre 2020 e 2022, mais de US$ 600 bilhões em investimentos corporativos fluíram para a indústria, e uma única conferência de IA de 2021 recebeu quase trinta mil pesquisadores. Ao mesmo tempo, uma estimativa de setembro de 2022 encontrou apenas quatrocentos pesquisadores de segurança de IA em tempo integral, e a conferência primária de ética em IA teve menos de novecentos participantes em 2023.
Da maneira como o software “comeu o mundo“, devemos esperar que a IA exiba uma dinâmica semelhante que levará a concentrações ainda maiores de riqueza e poder. Altman previu que o “custo da inteligência” cairá para perto de zero como resultado da IA e, em 2021, escreveu que “ainda mais poder mudará do trabalho para o capital”. Ele continuou: “Se as políticas públicas não se adaptarem de acordo, a maioria das pessoas vai acabar pior do que está hoje”. Também em seu tópico “spicy take”, Jack Clark escreveu: “o capitalismo de economia de escala é, por natureza, antidemocrático, e a IA intensiva em capex é, portanto, antidemocrática”.
Markus Anderljung é o chefe de políticas do GovAI, um importante think tank de segurança de IA, e o primeiro autor de um influente white paper focado na regulação da “IA de fronteira”. Ele me escreveu e disse: “Se você está preocupado com o capitalismo em sua forma atual, você deveria estar ainda mais preocupado com um mundo onde grandes partes da economia são administradas por sistemas de IA explicitamente treinados para maximizar o lucro”.
Sam Altman, por volta de junho de 2021, concordou, contando a Ezra Klein sobre a filosofia fundadora da OpenAI: “Um dos incentivos que estávamos muito nervosos era o incentivo para o lucro ilimitado, onde mais é sempre melhor… E acho que com esses sistemas de IA de propósito geral muito poderosos, em particular, você não quer um incentivo para maximizar o lucro indefinidamente.”
Em um movimento impressionante que se tornou amplamente visto como o maior ponto de inflamação no debate sobre segurança de IA até agora, o conselho sem fins lucrativos da Open-AI demitiu o CEO Sam Altman em 17 de novembro de 2023, a sexta-feira antes do Dia de Ação de Graças. O conselho, de acordo com a carta incomum da OpenAI, tem um dever fiduciário para com a “humanidade”, e não para com investidores ou funcionários. Como justificativa, o conselho citou vagamente a falta de franqueza de Altman, mas ironicamente manteve silêncio sobre sua decisão.
Por volta das 3h da manhã da segunda-feira seguinte, a Microsoft anunciou que Altman estaria criando um laboratório de pesquisa avançada com vagas para todos os funcionários da OpenAI, a grande maioria dos quais assinou uma carta ameaçando aceitar a oferta da Microsoft se Altman não fosse reintegrado. (Embora ele pareça ser um CEO popular, vale a pena notar que a demissão interrompeu uma venda planejada de ações de propriedade de funcionários da OpenAI em uma avaliação de empresa de US$ 86 bilhões.) Pouco depois da 1h da manhã de quarta-feira, a OpenAI anunciou o retorno de Altman como CEO e dois novos membros do conselho: o ex-presidente do conselho do Twitter e o ex-secretário do Tesouro Larry Summers.
Em menos de uma semana, os executivos da OpenAI e Altman colaboraram com a Microsoft e a equipe da empresa para projetar seu retorno bem-sucedido e a remoção da maioria dos membros do conselho por trás de sua demissão. A primeira preferência da Microsoft foi ter Altman de volta como CEO. A queda inesperada inicialmente fez as ações da gigante de tecnologia despencarem 5% (US$ 140 bilhões), e o anúncio da reintegração de Altman a levou a um recorde histórico. Relutante em ser “cega” novamente, a Microsoft agora está assumindo um assento sem direito a voto no conselho da organização sem fins lucrativos.
Imediatamente após a demissão de Altman, X explodiu, e uma narrativa em grande parte alimentada por rumores online e artigos de origem anônima surgiu de que altruístas eficazes focados em segurança no conselho haviam demitido Altman por sua comercialização agressiva dos modelos da OpenAI às custas da segurança. Capturando o teor da resposta esmagadora do e/acc, o pseudônimo @BasedBeffJezos postou: “EAs [Aceleracionistas Eficazes] são basicamente terroristas. Destruir 80B de valor da noite para o dia é um ato de terrorismo.”
A imagem que emergiu dos relatórios subsequentes foi que uma desconfiança fundamental em relação a Altman, e não preocupações imediatas com a segurança da IA, impulsionou a escolha do conselho. O Wall Street Journal descobriu que “não houve um incidente que levou à sua decisão de expulsar Altman, mas uma erosão consistente e lenta da confiança ao longo do tempo que os deixou cada vez mais desconfortáveis”.
Semanas antes da demissão, Altman teria usado táticas desonestas para tentar remover a membro do conselho Helen Toner por causa de um artigo acadêmico de sua coautoria que ele considerava crítico do compromisso da OpenAI com a segurança da IA. No artigo, Toner, um pesquisador de governança de IA alinhado à EA, elogiou a Anthropic por evitar “o tipo de corte frenético que o lançamento do ChatGPT parecia estimular”.
A New Yorker relatou que “alguns dos seis membros do conselho acharam Altman manipulador e conivente”. Dias após a demissão, um pesquisador de segurança de IA da DeepMind que trabalhava para a OpenAI escreveu que Altman “mentiu para mim em várias ocasiões” e “foi enganoso, manipulador e pior para os outros”, uma avaliação ecoada por reportagem recente da Time.
Essa não foi a primeira vez que Altman foi demitido. Em 2019, o fundador da Y Combinator, Paul Graham, removeu Altman do comando da incubadora por preocupações de que ele estava priorizando seus próprios interesses em detrimento dos da organização. Graham já disse: “Sam é extremamente bom em se tornar poderoso”.
O estranho modelo de governança da OpenAI foi estabelecido especificamente para evitar a influência corruptora da busca de lucro, mas, como o The Atlantic proclamou com razão, “o dinheiro sempre vence”. E mais dinheiro do que nunca está indo para o avanço dos recursos de IA.
A toda a velocidade à frente
Oprogresso recente da IA foi impulsionado pelo culminar de muitas tendências de décadas: aumentos na quantidade de poder computacional (conhecido como “computação”) e dados usados para treinar modelos de IA, que foram amplificados por melhorias significativas na eficiência algorítmica. Desde 2010, a quantidade de computação usada para treinar modelos de IA aumentou cerca de cem milhões de vezes. A maioria dos avanços que estamos vendo agora é produto do que era na época um campo muito menor e mais pobre.
E embora o último ano certamente tenha contido mais do que sua parcela justa de hype de IA, a confluência dessas três tendências levou a resultados quantificáveis. O tempo que os sistemas de IA levam para alcançar o desempenho de nível humano em muitas tarefas de benchmark diminuiu drasticamente na última década.
É possível, é claro, que os ganhos de capacidade de IA batam na parede. Os pesquisadores podem ficar sem bons dados para usar. A lei de Moore – a observação de que o número de transistores em um microchip dobra a cada dois anos – acabará se tornando história. Eventos políticos podem interromper as cadeias de manufatura e suprimentos, elevando os custos de computação. E a expansão dos sistemas pode não levar mais a um melhor desempenho.
Mas a realidade é que ninguém conhece os verdadeiros limites das abordagens existentes. Um clipe de uma entrevista de Yann LeCun em janeiro de 2022 ressurgiu no Twitter este ano. LeCun disse: “Não acho que podemos treinar uma máquina para ser inteligente puramente a partir de texto, porque acho que a quantidade de informações sobre o mundo contidas no texto é pequena em comparação com o que precisamos saber”. Para ilustrar seu ponto, ele deu um exemplo: “Eu pego um objeto, coloco na mesa e empurro a mesa. É completamente óbvio para você que o objeto seria empurrado com a mesa.” No entanto, com “um modelo baseado em texto, se você treinar uma máquina, tão poderosa quanto poderia ser, seu ‘GPT-5000’… nunca vai aprender sobre isso.”
Mas se você der ao ChatGPT-3.5 esse exemplo, ele instantaneamente cospe a resposta correta.
Em uma entrevista publicada quatro dias antes de sua demissão, Altman disse: “Até irmos treinar esse modelo [GPT-5], é como um divertido jogo de adivinhação para nós. Estamos tentando melhorar nisso, porque acho que é importante do ponto de vista da segurança prever as capacidades. Mas não posso dizer que aqui está exatamente o que vai fazer que o GPT-4 não fez.”
A história está repleta de previsões ruins sobre o ritmo da inovação. Um editorial do New York Times afirmou que poderia levar “um milhão a dez milhões de anos” para desenvolver uma máquina voadora – sessenta e nove dias antes dos irmãos Wright voarem pela primeira vez. Em 1933, Ernest Rutherford, o “pai da física nuclear”, descartou com confiança a possibilidade de uma reação em cadeia induzida por nêutrons, inspirando o físico Leo Szilard a hipotetizar uma solução de trabalho no dia seguinte – uma solução que acabou sendo fundamental para a criação da bomba atômica.
Uma conclusão que parece difícil de evitar é que, recentemente, as pessoas que são melhores na construção de sistemas de IA acreditam que a AGI é possível e iminente. Talvez os dois principais laboratórios de IA, OpenAI e DeepMind, tenham trabalhado para a AGI desde a sua criação, começando quando admitiu que acreditava que era possível que em breve pudesse tirá-lo da sala. (Ilya Sutskever liderou um canto de “Sinta o AGI” na festa de fim de ano de 2022 da OpenAI.)
Trabalhadores perfeitos
Os empregadores já estão usando IA para vigiar, controlar e explorar os trabalhadores. Mas o verdadeiro sonho é tirar os humanos do circuito. Afinal, como escreveu Marx, “a máquina é um meio de produzir mais-valia”.
A pesquisadora de risco de IA da Open Philanthropy (OP), Ajeya Cotra, me escreveu que “o ponto final lógico de uma economia capitalista ou de mercado maximamente eficiente” não envolveria humanos porque “os humanos são apenas criaturas muito ineficientes para ganhar dinheiro”. Valorizamos todas essas emoções “comercialmente improdutivas”, escreve ela, “então se acabarmos nos divertindo e gostando do resultado, será porque começamos com o poder e moldamos o sistema para ser acomodado aos valores humanos”.
OP é uma fundação inspirada na EA financiada pelo cofundador do Facebook, Dustin Moskovitz. É o principal financiador das organizações de segurança de IA, muitas das quais são mencionadas neste artigo. A OP também concedeu US$ 30 milhões à OpenAI para apoiar o trabalho de segurança de IA dois anos antes de o laboratório criar um braço com fins lucrativos em 2019. Anteriormente, recebi uma bolsa única para apoiar o trabalho de publicação no New York Focus, uma organização sem fins lucrativos de notícias investigativas que cobre a política de Nova York, da EA Funds, que recebe financiamento da OP. Depois que conheci a entidade pela primeira vez em 2017, comecei a doar de 10% a 20% da minha renda para organizações sem fins lucrativos de saúde global e agricultura antifábrica, me voluntariei como organizador de um grupo local e trabalhei em uma organização sem fins lucrativos de pobreza global adjacente. A EA foi uma das primeiras comunidades a se envolver seriamente com o risco existencial da IA, mas eu olhei para o pessoal da IA com alguma cautela, dada a incerteza do problema e o imenso sofrimento evitável que acontece agora.
Uma AGI – Inteligência Artificial Geral – complacente seria com a qual os capitalistas trabalhadores só podem sonhar: incansáveis, motivados e desonerados pela necessidade de pausas no banheiro. Gerentes de Frederick Taylor a Jeff Bezos se ressentem das várias maneiras pelas quais os humanos não são otimizados para a produção – e, portanto, os resultados de seu empregador. Mesmo antes dos dias da administração científica de Taylor, o capitalismo industrial procurou tornar os trabalhadores mais parecidos com as máquinas com as quais trabalham e são cada vez mais substituídos. Como o Manifesto Comunista observou prescientemente, o uso extensivo de máquinas pelos capitalistas transforma um trabalhador em “um apêndice da máquina”.
Mas, de acordo com a comunidade de segurança da IA, as mesmas capacidades desumanas que fariam Bezos salivar também tornam a AGI um perigo mortal para os humanos.
Caso da extinção
Oargumento comum do risco x é: uma vez que os sistemas de IA atinjam um certo limite, eles serão capazes de se automelhorar recursivamente, dando início a uma “explosão de inteligência”. Se um novo sistema de IA se tornar inteligente – ou apenas ampliado – o suficiente, ele será capaz de descapacitar permanentemente a humanidade.
Um artigo de outubro “Gerenciando riscos de IA” afirma:
Alguns tecno-otimistas imaginam uma utopia alimentada por IA que faz Karl Marx parecer pouco imaginativo. O The Guardian lançou recentemente um minidocumentário com entrevistas de 2016 a 2019 com o cientista-chefe da OpenAI, Ilya Sutskever, que ousadamente pronuncia: “A IA resolverá todos os problemas que temos hoje. Vai resolver emprego, vai resolver doença, vai resolver pobreza. Mas também criará novos problemas.”
Andreessen está com Sutskever – até o “mas”. Em junho, Andreessen publicou um ensaio chamado “Why AI Will Save the World“, onde explica como a IA tornará “tudo o que nos importa melhor”, desde que não a regulemos até a morte. Ele seguiu em outubro com seu “Manifesto Tecno-Otimista“, que, além de elogiar um fundador do fascismo italiano, apontou como inimigos do progresso ideias como “risco existencial”, “sustentabilidade”, “confiança e segurança” e “ética tecnológica”. Andreessen não mede palavras, escrevendo: “Acreditamos que qualquer desaceleração da IA custará vidas. Mortes que eram evitáveis pela IA que foi impedida de existir [são] uma forma de assassinato.”
Andreessen, junto com o “mano farmacêutico” Martin Shkreli, é talvez o mais famoso defensor do “aceleracionismo eficaz“, também chamado de “e/acc”, uma rede majoritariamente online que mistura cientificismo cultista, hipercapitalismo e falácia naturalista. E/acc, que se tornou viral neste verão, se baseia na teoria do aceleracionismo do escritor reacionário Nick Land, que argumenta que precisamos intensificar o capitalismo para nos impulsionar em um futuro pós-humano alimentado por IA. O aceleracionismo eficaz pega essa ideia e adiciona uma camada de física e memes, integrando-a para um certo subconjunto de elites do Vale do Silício. Ele foi formado em reação aos apelos de “decels” para desacelerar a IA, que vieram significativamente da comunidade de altruísmo efetivo (EA), da qual o e/acc leva seu nome.
Richard Sutton – o cientista pronto para se despedir dos “humanos de carne” – agora está trabalhando na Keen AGI, uma nova start-up de John Carmack, o lendário programador por trás do videogame Doom dos anos 1990. A missão da empresa, segundo Carmack: “AGI ou busto, por meio da Mad Science!”
O capitalismo piora
Em fevereiro, Sam Altman tuitou que Eliezer Yudkowsky poderia eventualmente “merecer o Prêmio Nobel da Paz”. Por que? Altman achava que o pesquisador autodidata e autor de fan-fiction de Harry Potter havia feito “mais para acelerar a AGI do que qualquer outra pessoa”. Altman citou como Yudkowsky ajudou a DeepMind a garantir financiamento fundamental em estágio inicial de Peter Thiel, bem como o papel “crítico” de Yudkowsky “na decisão de iniciar a OpenAI”.
Yudkowsky era um acelerador antes mesmo do termo ser cunhado. Aos dezessete anos – farto de ditaduras, da fome mundial e até da própria morte – publicou um manifesto exigindo a criação de uma superinteligência digital para “resolver” todos os problemas da humanidade. Na década seguinte de sua vida, sua “tecnofilia” se transformou em fobia e, em 2008, ele escreveu sobre sua história de conversão, admitindo que “dizer que quase destruí o mundo!, teria sido muito orgulhoso”.
Yudkowsky agora é famoso por popularizar a ideia de que a AGI poderia matar todo mundo, e ele se tornou o mais condenável dos condenadores da IA. Uma geração de técnicos cresceu lendo os posts de Yudkowsky, mas mais deles (talvez mais consequentemente, Altman) internalizou seus argumentos de que a AGI seria a coisa mais importante de todos os tempos do que suas crenças sobre o quão difícil seria conseguir que ela não nos matasse.
Durante nossa conversa, Yudkowsky comparou a IA a uma máquina que “imprime ouro”, até “inflamar a atmosfera”.
E quer vá ou não inflamar a atmosfera, essa máquina está imprimindo ouro mais rápido do que nunca. O boom da “IA generativa” está deixando algumas pessoas muito, muito ricas. Desde 2019, a Microsoft investiu um acumulado de US$ 13 bilhões na OpenAI. Impulsionada pelo sucesso estrondoso do ChatGPT, a Microsoft ganhou quase US$ 1 trilhão em valor no ano seguinte ao lançamento do produto. Hoje, a corporação de quase cinquenta anos vale mais do que Google e Meta juntos.
Os atores maximizadores de lucros continuarão avançando, externalizando riscos que o resto de nós nunca concordou em suportar, na busca de riquezas – ou simplesmente a glória de criar superinteligência digital, que Sutton tuitou “será a maior conquista intelectual de todos os tempos … cujo significado está além da humanidade, além da vida, além do bem e do mal”. As pressões do mercado provavelmente levarão as empresas a transferir cada vez mais poder e autonomia para os sistemas de IA à medida que melhoram.
Um pesquisador de IA do Google me escreveu: “Acho que as grandes corporações estão com tanta pressa para ganhar participação de mercado que a segurança [da IA] é vista como uma espécie de distração boba”. Bengio disse que vê “uma corrida perigosa entre empresas” que pode ficar ainda pior.
Em pânico em resposta ao mecanismo de busca Bing alimentado pela OpenAI, o Google declarou um “código vermelho”, “recalibrou” seu apetite por risco e correu para liberar Bard, seu LLM, por oposição da equipe. Em discussões internas, os funcionários chamaram Bard de “mentiroso patológico” e “digno de cringe”. O Google publicou mesmo assim.
Dan Hendrycks, diretor do Centro de Segurança de IA, disse que “cortar os cantos na segurança (…) é em grande parte o que o desenvolvimento de IA é impulsionado… Não acho, na verdade, na presença dessas intensas pressões competitivas, que as intenções sejam particularmente importantes.” Ironicamente, Hendrycks também é o conselheiro de segurança do xAI, uma startup de inteligência artificial que também é a mais recente empreitada de Elon Musk, bilionário dono do Twitter (hoje conhecido como X), da Tesla e SpaceX.
Os três principais laboratórios de IA começaram como organizações independentes e orientadas por missões, mas agora são subsidiárias completas de gigantes da tecnologia (Google DeepMind) ou assumiram tantos bilhões de dólares em investimentos de empresas trilionárias que suas missões altruístas podem ser subsumidas pela busca incessante por valor para os acionistas (a Anthropic tomou até US$ 6 bilhões do Google e da Amazon juntos, e os US$ 13 bilhões da Microsoft compraram 49% do braço lucrativo da OpenAI).
O New York Times relatou recentemente que os fundadores da DeepMind ficaram “cada vez mais preocupados com o que o Google faria com suas invenções. Em 2017, eles tentaram romper com a empresa. O Google respondeu aumentando os salários e os pacotes de prêmios de ações dos fundadores da DeepMind e sua equipe. Ficaram parados.”
Um desenvolvedor de um laboratório líder me escreveu em outubro que, como a liderança desses laboratórios normalmente acredita que a IA evitará a necessidade de dinheiro, a busca de lucro é “em grande parte instrumental” para fins de arrecadação de fundos. Mas “então os investidores (seja uma empresa de capital de risco ou a Microsoft) exercem pressão para a busca de lucro”.
Entre 2020 e 2022, mais de US$ 600 bilhões em investimentos corporativos fluíram para a indústria, e uma única conferência de IA de 2021 recebeu quase trinta mil pesquisadores. Ao mesmo tempo, uma estimativa de setembro de 2022 encontrou apenas quatrocentos pesquisadores de segurança de IA em tempo integral, e a conferência primária de ética em IA teve menos de novecentos participantes em 2023.
Da maneira como o software “comeu o mundo“, devemos esperar que a IA exiba uma dinâmica semelhante que levará a concentrações ainda maiores de riqueza e poder. Altman previu que o “custo da inteligência” cairá para perto de zero como resultado da IA e, em 2021, escreveu que “ainda mais poder mudará do trabalho para o capital”. Ele continuou: “Se as políticas públicas não se adaptarem de acordo, a maioria das pessoas vai acabar pior do que está hoje”. Também em seu tópico “spicy take”, Jack Clark escreveu: “o capitalismo de economia de escala é, por natureza, antidemocrático, e a IA intensiva em capex é, portanto, antidemocrática”.
Markus Anderljung é o chefe de políticas do GovAI, um importante think tank de segurança de IA, e o primeiro autor de um influente white paper focado na regulação da “IA de fronteira”. Ele me escreveu e disse: “Se você está preocupado com o capitalismo em sua forma atual, você deveria estar ainda mais preocupado com um mundo onde grandes partes da economia são administradas por sistemas de IA explicitamente treinados para maximizar o lucro”.
Sam Altman, por volta de junho de 2021, concordou, contando a Ezra Klein sobre a filosofia fundadora da OpenAI: “Um dos incentivos que estávamos muito nervosos era o incentivo para o lucro ilimitado, onde mais é sempre melhor… E acho que com esses sistemas de IA de propósito geral muito poderosos, em particular, você não quer um incentivo para maximizar o lucro indefinidamente.”
Em um movimento impressionante que se tornou amplamente visto como o maior ponto de inflamação no debate sobre segurança de IA até agora, o conselho sem fins lucrativos da Open-AI demitiu o CEO Sam Altman em 17 de novembro de 2023, a sexta-feira antes do Dia de Ação de Graças. O conselho, de acordo com a carta incomum da OpenAI, tem um dever fiduciário para com a “humanidade”, e não para com investidores ou funcionários. Como justificativa, o conselho citou vagamente a falta de franqueza de Altman, mas ironicamente manteve silêncio sobre sua decisão.
Por volta das 3h da manhã da segunda-feira seguinte, a Microsoft anunciou que Altman estaria criando um laboratório de pesquisa avançada com vagas para todos os funcionários da OpenAI, a grande maioria dos quais assinou uma carta ameaçando aceitar a oferta da Microsoft se Altman não fosse reintegrado. (Embora ele pareça ser um CEO popular, vale a pena notar que a demissão interrompeu uma venda planejada de ações de propriedade de funcionários da OpenAI em uma avaliação de empresa de US$ 86 bilhões.) Pouco depois da 1h da manhã de quarta-feira, a OpenAI anunciou o retorno de Altman como CEO e dois novos membros do conselho: o ex-presidente do conselho do Twitter e o ex-secretário do Tesouro Larry Summers.
Em menos de uma semana, os executivos da OpenAI e Altman colaboraram com a Microsoft e a equipe da empresa para projetar seu retorno bem-sucedido e a remoção da maioria dos membros do conselho por trás de sua demissão. A primeira preferência da Microsoft foi ter Altman de volta como CEO. A queda inesperada inicialmente fez as ações da gigante de tecnologia despencarem 5% (US$ 140 bilhões), e o anúncio da reintegração de Altman a levou a um recorde histórico. Relutante em ser “cega” novamente, a Microsoft agora está assumindo um assento sem direito a voto no conselho da organização sem fins lucrativos.
Imediatamente após a demissão de Altman, X explodiu, e uma narrativa em grande parte alimentada por rumores online e artigos de origem anônima surgiu de que altruístas eficazes focados em segurança no conselho haviam demitido Altman por sua comercialização agressiva dos modelos da OpenAI às custas da segurança. Capturando o teor da resposta esmagadora do e/acc, o pseudônimo @BasedBeffJezos postou: “EAs [Aceleracionistas Eficazes] são basicamente terroristas. Destruir 80B de valor da noite para o dia é um ato de terrorismo.”
A imagem que emergiu dos relatórios subsequentes foi que uma desconfiança fundamental em relação a Altman, e não preocupações imediatas com a segurança da IA, impulsionou a escolha do conselho. O Wall Street Journal descobriu que “não houve um incidente que levou à sua decisão de expulsar Altman, mas uma erosão consistente e lenta da confiança ao longo do tempo que os deixou cada vez mais desconfortáveis”.
Semanas antes da demissão, Altman teria usado táticas desonestas para tentar remover a membro do conselho Helen Toner por causa de um artigo acadêmico de sua coautoria que ele considerava crítico do compromisso da OpenAI com a segurança da IA. No artigo, Toner, um pesquisador de governança de IA alinhado à EA, elogiou a Anthropic por evitar “o tipo de corte frenético que o lançamento do ChatGPT parecia estimular”.
A New Yorker relatou que “alguns dos seis membros do conselho acharam Altman manipulador e conivente”. Dias após a demissão, um pesquisador de segurança de IA da DeepMind que trabalhava para a OpenAI escreveu que Altman “mentiu para mim em várias ocasiões” e “foi enganoso, manipulador e pior para os outros”, uma avaliação ecoada por reportagem recente da Time.
Essa não foi a primeira vez que Altman foi demitido. Em 2019, o fundador da Y Combinator, Paul Graham, removeu Altman do comando da incubadora por preocupações de que ele estava priorizando seus próprios interesses em detrimento dos da organização. Graham já disse: “Sam é extremamente bom em se tornar poderoso”.
O estranho modelo de governança da OpenAI foi estabelecido especificamente para evitar a influência corruptora da busca de lucro, mas, como o The Atlantic proclamou com razão, “o dinheiro sempre vence”. E mais dinheiro do que nunca está indo para o avanço dos recursos de IA.
A toda a velocidade à frente
Oprogresso recente da IA foi impulsionado pelo culminar de muitas tendências de décadas: aumentos na quantidade de poder computacional (conhecido como “computação”) e dados usados para treinar modelos de IA, que foram amplificados por melhorias significativas na eficiência algorítmica. Desde 2010, a quantidade de computação usada para treinar modelos de IA aumentou cerca de cem milhões de vezes. A maioria dos avanços que estamos vendo agora é produto do que era na época um campo muito menor e mais pobre.
E embora o último ano certamente tenha contido mais do que sua parcela justa de hype de IA, a confluência dessas três tendências levou a resultados quantificáveis. O tempo que os sistemas de IA levam para alcançar o desempenho de nível humano em muitas tarefas de benchmark diminuiu drasticamente na última década.
É possível, é claro, que os ganhos de capacidade de IA batam na parede. Os pesquisadores podem ficar sem bons dados para usar. A lei de Moore – a observação de que o número de transistores em um microchip dobra a cada dois anos – acabará se tornando história. Eventos políticos podem interromper as cadeias de manufatura e suprimentos, elevando os custos de computação. E a expansão dos sistemas pode não levar mais a um melhor desempenho.
Mas a realidade é que ninguém conhece os verdadeiros limites das abordagens existentes. Um clipe de uma entrevista de Yann LeCun em janeiro de 2022 ressurgiu no Twitter este ano. LeCun disse: “Não acho que podemos treinar uma máquina para ser inteligente puramente a partir de texto, porque acho que a quantidade de informações sobre o mundo contidas no texto é pequena em comparação com o que precisamos saber”. Para ilustrar seu ponto, ele deu um exemplo: “Eu pego um objeto, coloco na mesa e empurro a mesa. É completamente óbvio para você que o objeto seria empurrado com a mesa.” No entanto, com “um modelo baseado em texto, se você treinar uma máquina, tão poderosa quanto poderia ser, seu ‘GPT-5000’… nunca vai aprender sobre isso.”
Mas se você der ao ChatGPT-3.5 esse exemplo, ele instantaneamente cospe a resposta correta.
Em uma entrevista publicada quatro dias antes de sua demissão, Altman disse: “Até irmos treinar esse modelo [GPT-5], é como um divertido jogo de adivinhação para nós. Estamos tentando melhorar nisso, porque acho que é importante do ponto de vista da segurança prever as capacidades. Mas não posso dizer que aqui está exatamente o que vai fazer que o GPT-4 não fez.”
A história está repleta de previsões ruins sobre o ritmo da inovação. Um editorial do New York Times afirmou que poderia levar “um milhão a dez milhões de anos” para desenvolver uma máquina voadora – sessenta e nove dias antes dos irmãos Wright voarem pela primeira vez. Em 1933, Ernest Rutherford, o “pai da física nuclear”, descartou com confiança a possibilidade de uma reação em cadeia induzida por nêutrons, inspirando o físico Leo Szilard a hipotetizar uma solução de trabalho no dia seguinte – uma solução que acabou sendo fundamental para a criação da bomba atômica.
Uma conclusão que parece difícil de evitar é que, recentemente, as pessoas que são melhores na construção de sistemas de IA acreditam que a AGI é possível e iminente. Talvez os dois principais laboratórios de IA, OpenAI e DeepMind, tenham trabalhado para a AGI desde a sua criação, começando quando admitiu que acreditava que era possível que em breve pudesse tirá-lo da sala. (Ilya Sutskever liderou um canto de “Sinta o AGI” na festa de fim de ano de 2022 da OpenAI.)
Trabalhadores perfeitos
Os empregadores já estão usando IA para vigiar, controlar e explorar os trabalhadores. Mas o verdadeiro sonho é tirar os humanos do circuito. Afinal, como escreveu Marx, “a máquina é um meio de produzir mais-valia”.
A pesquisadora de risco de IA da Open Philanthropy (OP), Ajeya Cotra, me escreveu que “o ponto final lógico de uma economia capitalista ou de mercado maximamente eficiente” não envolveria humanos porque “os humanos são apenas criaturas muito ineficientes para ganhar dinheiro”. Valorizamos todas essas emoções “comercialmente improdutivas”, escreve ela, “então se acabarmos nos divertindo e gostando do resultado, será porque começamos com o poder e moldamos o sistema para ser acomodado aos valores humanos”.
OP é uma fundação inspirada na EA financiada pelo cofundador do Facebook, Dustin Moskovitz. É o principal financiador das organizações de segurança de IA, muitas das quais são mencionadas neste artigo. A OP também concedeu US$ 30 milhões à OpenAI para apoiar o trabalho de segurança de IA dois anos antes de o laboratório criar um braço com fins lucrativos em 2019. Anteriormente, recebi uma bolsa única para apoiar o trabalho de publicação no New York Focus, uma organização sem fins lucrativos de notícias investigativas que cobre a política de Nova York, da EA Funds, que recebe financiamento da OP. Depois que conheci a entidade pela primeira vez em 2017, comecei a doar de 10% a 20% da minha renda para organizações sem fins lucrativos de saúde global e agricultura antifábrica, me voluntariei como organizador de um grupo local e trabalhei em uma organização sem fins lucrativos de pobreza global adjacente. A EA foi uma das primeiras comunidades a se envolver seriamente com o risco existencial da IA, mas eu olhei para o pessoal da IA com alguma cautela, dada a incerteza do problema e o imenso sofrimento evitável que acontece agora.
Uma AGI – Inteligência Artificial Geral – complacente seria com a qual os capitalistas trabalhadores só podem sonhar: incansáveis, motivados e desonerados pela necessidade de pausas no banheiro. Gerentes de Frederick Taylor a Jeff Bezos se ressentem das várias maneiras pelas quais os humanos não são otimizados para a produção – e, portanto, os resultados de seu empregador. Mesmo antes dos dias da administração científica de Taylor, o capitalismo industrial procurou tornar os trabalhadores mais parecidos com as máquinas com as quais trabalham e são cada vez mais substituídos. Como o Manifesto Comunista observou prescientemente, o uso extensivo de máquinas pelos capitalistas transforma um trabalhador em “um apêndice da máquina”.
Mas, de acordo com a comunidade de segurança da IA, as mesmas capacidades desumanas que fariam Bezos salivar também tornam a AGI um perigo mortal para os humanos.
Caso da extinção
Oargumento comum do risco x é: uma vez que os sistemas de IA atinjam um certo limite, eles serão capazes de se automelhorar recursivamente, dando início a uma “explosão de inteligência”. Se um novo sistema de IA se tornar inteligente – ou apenas ampliado – o suficiente, ele será capaz de descapacitar permanentemente a humanidade.
Um artigo de outubro “Gerenciando riscos de IA” afirma:
Não há nenhuma razão fundamental para que o progresso da IA diminua ou pare quando atingir as habilidades de nível humano. Em comparação com os humanos, os sistemas de IA podem agir mais rápido, absorver mais conhecimento e se comunicar com uma largura de banda muito maior. Além disso, eles podem ser dimensionados para usar imensos recursos computacionais e podem ser replicados por milhões.
Esses recursos já permitiram habilidades sobre-humanas: LLMs podem “ler” grande parte da internet em meses, e o AlphaFold da DeepMind pode realizar anos de trabalho de laboratório humano em poucos dias.
Aqui está uma versão estilizada da ideia de crescimento “populacional” estimulando uma explosão de inteligência: se os sistemas de IA rivalizarem com os cientistas humanos em pesquisa e desenvolvimento, os sistemas se proliferarão rapidamente, levando ao equivalente a um enorme número de novos trabalhadores altamente produtivos entrando na economia. Dito de outra forma, se o GPT-7 pode executar a maioria das tarefas de um trabalhador humano e custa apenas alguns dólares para colocar o modelo treinado para trabalhar em um dia de tarefas, cada instância do modelo seria extremamente lucrativa, iniciando um ciclo de feedback positivo. Isso poderia levar a uma “população” virtual de bilhões ou mais trabalhadores digitais, cada um valendo muito mais do que o custo da energia necessária para executá-los. Sutskever acha provável que “toda a superfície da Terra seja coberta com painéis solares e data centers”.
Esses trabalhadores digitais podem ser capazes de melhorar nossos projetos de IA e iniciar seu caminho para criar sistemas “superinteligentes”, cujas habilidades Alan Turing especulou em 1951 logo “superariam nossos fracos poderes”. E, como alguns defensores da segurança da IA argumentam, um modelo de IA individual não precisa ser superinteligente para representar uma ameaça existencial; talvez seja necessário que haja cópias suficientes dele. Muitas de minhas fontes compararam corporações a superinteligências, cujas capacidades claramente excedem as de seus membros constituintes.
“Basta desconectá-lo”, diz a objeção comum. Mas uma vez que um modelo de IA seja poderoso o suficiente para ameaçar a humanidade, provavelmente será a coisa mais valiosa que existe. Você pode ter mais facilidade para “desconectar” a Bolsa de Valores de Nova York ou a Amazon Web Services.
Uma superinteligência preguiçosa pode não representar muito risco, e céticos como o CEO do Allen Institute for AI, Oren Etzioni, a professora de complexidade Melanie Mitchell e a diretora-gerente do AI Now Institute, Sarah Myers West, me disseram que não viram evidências convincentes de que os sistemas de IA estão se tornando mais autônomos. Dario Amodei, da Anthropic, parece concordar que os sistemas atuais não exibem um nível preocupante de agência. No entanto, um sistema completamente passivo, mas suficientemente poderoso, empunhado por um mau ator é suficiente para preocupar pessoas como Bengio.
Além disso, acadêmicos e industriais estão aumentando os esforços para tornar os modelos de IA mais autônomos. Dias antes de sua demissão, Altman disse ao Financial Times: “Vamos tornar esses agentes cada vez mais poderosos (…) e as ações vão ficar cada vez mais complexas a partir daqui… A quantidade de valor de negócios que virá de ser capaz de fazer isso em todas as categorias, eu acho, é muito boa.”
O que está por trás do hype?
Omedo que mantém muitas pessoas em risco X acordadas à noite não é que uma IA avançada “acorde”, “vire mal” e decida matar todos por maldade, mas sim que ela venha a nos ver como um obstáculo para quaisquer objetivos que ela tenha. Em seu último livro, Brief Answers to the Big Questions, Stephen Hawking articulou isso, dizendo: “Você provavelmente não é um formigueiro maligno que pisa em formigas por maldade, mas se você está no comando de um projeto de energia verde hidrelétrica e há um formigueiro na região a ser inundado, muito ruim para as formigas”.
Comportamentos inesperados e indesejáveis podem resultar de objetivos simples, seja o lucro ou a função de recompensa de uma IA. Em um mercado “livre”, a busca pelo lucro leva a monopólios, esquemas de marketing multinível, ar e rios envenenados e inúmeros outros danos.
Há exemplos abundantes de sistemas de IA exibindo comportamentos surpreendentes e indesejados. Um programa destinado a eliminar erros de classificação em uma lista excluiu a lista completamente. Um pesquisador ficou surpreso ao encontrar um modelo de IA “jogando morto” para evitar ser identificado em testes de segurança.
No entanto, outros veem uma conspiração Big Tech por trás dessas preocupações. Algumas pessoas focadas em danos imediatos da IA argumentam que a indústria está promovendo ativamente a ideia de que seus produtos podem acabar com o mundo, como Myers West, do AI Now Institute, que diz “ver as narrativas em torno do chamado risco existencial como realmente uma peça para tirar todo o ar da sala, para garantir que não haja movimento significativo no momento presente”. Curiosamente, Yann LeCun e o cientista-chefe da Baidu AI, Andrew Ng, pretendem concordar.
Quando eu colocava a ideia para os crentes de risco x, eles muitas vezes respondiam com um misto de confusão e exasperação. Ajeya Cotra, da OP, escreveu de volta: “Eu gostaria que fosse menos uma coisa associada à indústria se preocupar com o risco x, porque acho que é apenas fundamentalmente, no mérito, uma crença muito anti-indústria para ter… Se as empresas estão construindo coisas que vão nos matar a todos, isso é muito ruim, e elas deveriam ser restringidas com muito rigor pela lei.”
Markus Anderljung, do GovAI, chamou os temores de captura regulatória de “uma reação natural para as pessoas”, mas enfatizou que suas políticas preferidas podem prejudicar os maiores players do setor.
Uma fonte compreensível de suspeita é que Sam Altman é agora uma das pessoas mais associadas à ideia de risco existencial, mas sua empresa fez mais do que qualquer outra para avançar a fronteira da IA de propósito geral.
Além disso, à medida que a OpenAI se aproximava da lucratividade e Altman se aproximava do poder, o CEO mudou seu tom público. Em um Q e A de janeiro de 2023, quando questionado sobre seu pior cenário para a IA, ele respondeu: “Luzes apagadas para todos nós”. Mas, embora responda a uma pergunta semelhante sob juramento perante os senadores em maio, Altman não menciona a extinção. E, talvez em sua última entrevista antes de sua demissão, Altman disse: “Na verdade, não acho que todos nós vamos ser extintos. Acho que vai ser ótimo. Acho que estamos caminhando para o melhor mundo de todos os tempos.”
Altman implorou ao Congresso em maio para regular a indústria de IA, mas uma investigação de novembro descobriu que a empresa quase controladora da OpenAI, a Microsoft, foi influente no lobby malsucedido para excluir “modelos de fundação” como o ChatGPT da regulamentação pela futura Lei de IA da UE. E Altman fez muito de seu próprio lobby na UE, chegando a ameaçar sair da região se as regulamentações se tornassem muito onerosas (ameaças que ele rapidamente recuou). Falando em um painel de CEOs em São Francisco dias antes de sua demissão, Altman disse que “os modelos atuais estão bem. Não precisamos de regulamentação pesada aqui. Provavelmente nem para as próximas gerações.”
A recente ordem executiva “abrangente” do presidente Joe Biden sobre IA parece concordar: seus requisitos de compartilhamento de informações de teste de segurança afetam apenas modelos maiores do que qualquer outro que provavelmente tenha sido treinado até agora. Myers West chamou esses tipos de “limiares de escala” de “carveout massivo”. Anderljung escreveu-me que a regulação deve escalar com as capacidades e o uso de um sistema, e disse que “gostaria de alguma regulamentação dos modelos mais capazes e amplamente utilizados de hoje”, mas ele acha que “será muito mais politicamente viável impor requisitos a sistemas que ainda estão por ser desenvolvidos”.
Inioluwa Deborah Raji arriscou que se as gigantes da tecnologia “sabem que têm que ser o vilão em alguma dimensão… eles prefeririam que fosse abstrato e de longo prazo na linha do tempo.” Isso me parece muito mais plausível do que a ideia de que as Big Techs realmente querem promover a ideia de que seus produtos têm uma chance decente de literalmente matar todo mundo.
Quase setecentas pessoas assinaram a carta de extinção, a maioria acadêmicas. Apenas um deles dirige uma empresa de capital aberto: o financiador OP Moskovitz, que também é cofundador e CEO da Asana, um aplicativo de produtividade. Havia zero funcionários da Amazon, Apple, IBM ou qualquer empresa líder de hardware de IA. Nenhum executivo da Meta assinou.
Se os chefes das Big Techs queriam amplificar a narrativa da extinção, por que não adicionaram seus nomes à lista?
Por que construir uma máquina do caos?
Se a IA realmente salvar o mundo, quem a criou pode esperar ser elogiado como um Júlio César moderno. E mesmo que isso não aconteça, quem primeiro constrói “a última invenção que o homem precisa fazer” não terá que se preocupar em ser esquecido pela história – a menos, é claro, que a história termine abruptamente após sua invenção.
Connor Leahy acredita que, em nosso caminho atual, o fim da história logo se seguirá ao advento do AGI. Com seus cabelos esvoaçantes e cavanhaque despenteado, ele provavelmente olharia para casa usando uma prancha de sanduíche com os dizeres “O fim está próximo” – embora isso não o tenha impedido de ser convidado para discursar na Câmara dos Lordes britânica ou na CNN. O CEO da Conjecture, de vinte e oito anos, e cofundador da EleutherAI, um influente coletivo de código aberto, me disse que grande parte da motivação para construir IA se resume a: “‘Oh, você está construindo a máquina da desgraça definitiva que faz você bilhões de dólares e também rei-imperador da terra ou mata todo mundo?’ Sim, isso é como o sonho masculino. Você fica tipo, ‘Foda-se sim. Eu sou o rei da desgraça'”. Ele continua: “Tipo, eu entendo. Isso está muito na estética do Vale do Silício.”
Leahy também transmitiu algo que não surpreenderá as pessoas que passaram um tempo significativo na Bay Area ou em certos cantos da internet:
Aqui está uma versão estilizada da ideia de crescimento “populacional” estimulando uma explosão de inteligência: se os sistemas de IA rivalizarem com os cientistas humanos em pesquisa e desenvolvimento, os sistemas se proliferarão rapidamente, levando ao equivalente a um enorme número de novos trabalhadores altamente produtivos entrando na economia. Dito de outra forma, se o GPT-7 pode executar a maioria das tarefas de um trabalhador humano e custa apenas alguns dólares para colocar o modelo treinado para trabalhar em um dia de tarefas, cada instância do modelo seria extremamente lucrativa, iniciando um ciclo de feedback positivo. Isso poderia levar a uma “população” virtual de bilhões ou mais trabalhadores digitais, cada um valendo muito mais do que o custo da energia necessária para executá-los. Sutskever acha provável que “toda a superfície da Terra seja coberta com painéis solares e data centers”.
Esses trabalhadores digitais podem ser capazes de melhorar nossos projetos de IA e iniciar seu caminho para criar sistemas “superinteligentes”, cujas habilidades Alan Turing especulou em 1951 logo “superariam nossos fracos poderes”. E, como alguns defensores da segurança da IA argumentam, um modelo de IA individual não precisa ser superinteligente para representar uma ameaça existencial; talvez seja necessário que haja cópias suficientes dele. Muitas de minhas fontes compararam corporações a superinteligências, cujas capacidades claramente excedem as de seus membros constituintes.
“Basta desconectá-lo”, diz a objeção comum. Mas uma vez que um modelo de IA seja poderoso o suficiente para ameaçar a humanidade, provavelmente será a coisa mais valiosa que existe. Você pode ter mais facilidade para “desconectar” a Bolsa de Valores de Nova York ou a Amazon Web Services.
Uma superinteligência preguiçosa pode não representar muito risco, e céticos como o CEO do Allen Institute for AI, Oren Etzioni, a professora de complexidade Melanie Mitchell e a diretora-gerente do AI Now Institute, Sarah Myers West, me disseram que não viram evidências convincentes de que os sistemas de IA estão se tornando mais autônomos. Dario Amodei, da Anthropic, parece concordar que os sistemas atuais não exibem um nível preocupante de agência. No entanto, um sistema completamente passivo, mas suficientemente poderoso, empunhado por um mau ator é suficiente para preocupar pessoas como Bengio.
Além disso, acadêmicos e industriais estão aumentando os esforços para tornar os modelos de IA mais autônomos. Dias antes de sua demissão, Altman disse ao Financial Times: “Vamos tornar esses agentes cada vez mais poderosos (…) e as ações vão ficar cada vez mais complexas a partir daqui… A quantidade de valor de negócios que virá de ser capaz de fazer isso em todas as categorias, eu acho, é muito boa.”
O que está por trás do hype?
Omedo que mantém muitas pessoas em risco X acordadas à noite não é que uma IA avançada “acorde”, “vire mal” e decida matar todos por maldade, mas sim que ela venha a nos ver como um obstáculo para quaisquer objetivos que ela tenha. Em seu último livro, Brief Answers to the Big Questions, Stephen Hawking articulou isso, dizendo: “Você provavelmente não é um formigueiro maligno que pisa em formigas por maldade, mas se você está no comando de um projeto de energia verde hidrelétrica e há um formigueiro na região a ser inundado, muito ruim para as formigas”.
Comportamentos inesperados e indesejáveis podem resultar de objetivos simples, seja o lucro ou a função de recompensa de uma IA. Em um mercado “livre”, a busca pelo lucro leva a monopólios, esquemas de marketing multinível, ar e rios envenenados e inúmeros outros danos.
Há exemplos abundantes de sistemas de IA exibindo comportamentos surpreendentes e indesejados. Um programa destinado a eliminar erros de classificação em uma lista excluiu a lista completamente. Um pesquisador ficou surpreso ao encontrar um modelo de IA “jogando morto” para evitar ser identificado em testes de segurança.
No entanto, outros veem uma conspiração Big Tech por trás dessas preocupações. Algumas pessoas focadas em danos imediatos da IA argumentam que a indústria está promovendo ativamente a ideia de que seus produtos podem acabar com o mundo, como Myers West, do AI Now Institute, que diz “ver as narrativas em torno do chamado risco existencial como realmente uma peça para tirar todo o ar da sala, para garantir que não haja movimento significativo no momento presente”. Curiosamente, Yann LeCun e o cientista-chefe da Baidu AI, Andrew Ng, pretendem concordar.
Quando eu colocava a ideia para os crentes de risco x, eles muitas vezes respondiam com um misto de confusão e exasperação. Ajeya Cotra, da OP, escreveu de volta: “Eu gostaria que fosse menos uma coisa associada à indústria se preocupar com o risco x, porque acho que é apenas fundamentalmente, no mérito, uma crença muito anti-indústria para ter… Se as empresas estão construindo coisas que vão nos matar a todos, isso é muito ruim, e elas deveriam ser restringidas com muito rigor pela lei.”
Markus Anderljung, do GovAI, chamou os temores de captura regulatória de “uma reação natural para as pessoas”, mas enfatizou que suas políticas preferidas podem prejudicar os maiores players do setor.
Uma fonte compreensível de suspeita é que Sam Altman é agora uma das pessoas mais associadas à ideia de risco existencial, mas sua empresa fez mais do que qualquer outra para avançar a fronteira da IA de propósito geral.
Além disso, à medida que a OpenAI se aproximava da lucratividade e Altman se aproximava do poder, o CEO mudou seu tom público. Em um Q e A de janeiro de 2023, quando questionado sobre seu pior cenário para a IA, ele respondeu: “Luzes apagadas para todos nós”. Mas, embora responda a uma pergunta semelhante sob juramento perante os senadores em maio, Altman não menciona a extinção. E, talvez em sua última entrevista antes de sua demissão, Altman disse: “Na verdade, não acho que todos nós vamos ser extintos. Acho que vai ser ótimo. Acho que estamos caminhando para o melhor mundo de todos os tempos.”
Altman implorou ao Congresso em maio para regular a indústria de IA, mas uma investigação de novembro descobriu que a empresa quase controladora da OpenAI, a Microsoft, foi influente no lobby malsucedido para excluir “modelos de fundação” como o ChatGPT da regulamentação pela futura Lei de IA da UE. E Altman fez muito de seu próprio lobby na UE, chegando a ameaçar sair da região se as regulamentações se tornassem muito onerosas (ameaças que ele rapidamente recuou). Falando em um painel de CEOs em São Francisco dias antes de sua demissão, Altman disse que “os modelos atuais estão bem. Não precisamos de regulamentação pesada aqui. Provavelmente nem para as próximas gerações.”
A recente ordem executiva “abrangente” do presidente Joe Biden sobre IA parece concordar: seus requisitos de compartilhamento de informações de teste de segurança afetam apenas modelos maiores do que qualquer outro que provavelmente tenha sido treinado até agora. Myers West chamou esses tipos de “limiares de escala” de “carveout massivo”. Anderljung escreveu-me que a regulação deve escalar com as capacidades e o uso de um sistema, e disse que “gostaria de alguma regulamentação dos modelos mais capazes e amplamente utilizados de hoje”, mas ele acha que “será muito mais politicamente viável impor requisitos a sistemas que ainda estão por ser desenvolvidos”.
Inioluwa Deborah Raji arriscou que se as gigantes da tecnologia “sabem que têm que ser o vilão em alguma dimensão… eles prefeririam que fosse abstrato e de longo prazo na linha do tempo.” Isso me parece muito mais plausível do que a ideia de que as Big Techs realmente querem promover a ideia de que seus produtos têm uma chance decente de literalmente matar todo mundo.
Quase setecentas pessoas assinaram a carta de extinção, a maioria acadêmicas. Apenas um deles dirige uma empresa de capital aberto: o financiador OP Moskovitz, que também é cofundador e CEO da Asana, um aplicativo de produtividade. Havia zero funcionários da Amazon, Apple, IBM ou qualquer empresa líder de hardware de IA. Nenhum executivo da Meta assinou.
Se os chefes das Big Techs queriam amplificar a narrativa da extinção, por que não adicionaram seus nomes à lista?
Por que construir uma máquina do caos?
Se a IA realmente salvar o mundo, quem a criou pode esperar ser elogiado como um Júlio César moderno. E mesmo que isso não aconteça, quem primeiro constrói “a última invenção que o homem precisa fazer” não terá que se preocupar em ser esquecido pela história – a menos, é claro, que a história termine abruptamente após sua invenção.
Connor Leahy acredita que, em nosso caminho atual, o fim da história logo se seguirá ao advento do AGI. Com seus cabelos esvoaçantes e cavanhaque despenteado, ele provavelmente olharia para casa usando uma prancha de sanduíche com os dizeres “O fim está próximo” – embora isso não o tenha impedido de ser convidado para discursar na Câmara dos Lordes britânica ou na CNN. O CEO da Conjecture, de vinte e oito anos, e cofundador da EleutherAI, um influente coletivo de código aberto, me disse que grande parte da motivação para construir IA se resume a: “‘Oh, você está construindo a máquina da desgraça definitiva que faz você bilhões de dólares e também rei-imperador da terra ou mata todo mundo?’ Sim, isso é como o sonho masculino. Você fica tipo, ‘Foda-se sim. Eu sou o rei da desgraça'”. Ele continua: “Tipo, eu entendo. Isso está muito na estética do Vale do Silício.”
Leahy também transmitiu algo que não surpreenderá as pessoas que passaram um tempo significativo na Bay Area ou em certos cantos da internet:
Há empresários e tecnólogos reais, completamente irresponsáveis, não eleitos, tecno-utópicos, vivendo principalmente em São Francisco, que estão dispostos a arriscar a vida de você, de seus filhos, de seus netos e de toda a humanidade futura só porque eles podem ter a chance de viver para sempre.
Em março, o MIT Technology Review informou que Altman “diz que esvaziou sua conta bancária para financiar dois (...) metas: energia ilimitada e vida útil prolongada.”
Diante de tudo isso, é de se esperar que a comunidade de ética veja a comunidade de segurança como uma aliada natural em uma luta comum para reinar em elites tecnológicas irresponsáveis que estão construindo unilateralmente produtos arriscados e prejudiciais. E, como vimos anteriormente, muitos defensores da segurança fizeram aberturas aos especialistas em ética da IA. Também é raro que pessoas da comunidade de risco x ataquem publicamente a ética da IA (enquanto o inverso é… não é verdade), mas a realidade é que os defensores da segurança às vezes têm sido difíceis de suportar.
Os especialistas em ética da IA, como as pessoas que defendem, muitas vezes relatam se sentir marginalizados e isolados do poder real, travando uma batalha difícil com empresas de tecnologia que os veem como uma maneira de cobrir suas bundas em vez de como uma verdadeira prioridade. Dando crédito a esse sentimento está o esvaziamento das equipes de ética de IA em muitas empresas de Big Tech nos últimos anos (ou dias). E, em vários casos, essas empresas retaliaram denunciantes e organizadores trabalhistas orientados para a ética.
Isso não implica necessariamente que essas empresas estejam priorizando seriamente o risco x. O conselho de ética do Google DeepMind, que incluía Larry Page e o proeminente pesquisador de risco existencial Toby Ord, teve sua primeira reunião em 2015, mas nunca teve uma segunda. Um pesquisador de IA do Google me escreveu que eles “não falam sobre risco de longo prazo (…) no escritório”, continuando, “o Google está mais focado na construção da tecnologia e na segurança no sentido de legalidade e ofensividade”.
A engenheira de software Timnit Gebru coliderou a equipe de IA ética do Google até ser forçada a deixar a empresa no final de 2020 após uma disputa sobre um rascunho de artigo – agora uma das publicações de aprendizado de máquina mais famosas de todos os tempos. No artigo “papagaios estocásticos”, Gebru e seus coautores argumentam que os LLMs prejudicam o meio ambiente, amplificam vieses sociais e usam estatísticas para costurar “aleatoriamente” a linguagem “sem qualquer referência ao significado”.
Gebru, que não é fã da comunidade de segurança de IA, pediu maior proteção aos denunciantes para pesquisadores de IA, que também são uma das principais recomendações feitas no white paper da GovAI. Desde que Gebru foi expulso do Google, quase 2.700 funcionários assinaram uma carta solidária, mas o Googler Geoff Hinton não foi um deles. Quando questionado na CNN por que não apoiava um colega denunciante, Hinton respondeu que as críticas de Gebru à IA “eram preocupações bastante diferentes das minhas” que “não são tão existencialmente sérias quanto a ideia de essas coisas ficarem mais inteligentes do que nós e assumirem o controle”.
Raji me disse que “muito motivo para frustração e animosidade” entre os campos de ética e segurança é que “um lado tem muito mais dinheiro e poder do que o outro lado”, o que “permite que eles empurrem sua agenda muito mais diretamente”.
De acordo com uma estimativa, a quantidade de dinheiro que se move para startups de segurança de IA e organizações sem fins lucrativos em 2022 quadruplicou desde 2020, atingindo US$ 144 milhões. É difícil encontrar um número equivalente para a comunidade de ética da IA. No entanto, a sociedade civil de ambos os campos é ofuscada pelos gastos da indústria. Apenas no primeiro trimestre de 2023, a OpenSecrets informou que cerca de US$ 94 milhões foram gastos em lobby de IA nos Estados Unidos. O LobbyControl estimou que as empresas de tecnologia gastaram € 113 milhões este ano fazendo lobby na UE, e vamos lembrar que centenas de bilhões de dólares estão sendo investidos na indústria de IA enquanto falamos.
Uma coisa que pode impulsionar a animosidade ainda mais do que qualquer diferença percebida em poder e dinheiro é a linha de tendência. Após livros amplamente elogiados como Weapons of Math Destruction, de 2016, da cientista de dados Cathy O’Neil, e descobertas bombásticas de viés algorítmico, como o artigo “Gender Shades” de 2018 de Buolamwini e Gebru, a perspectiva ética da IA capturou a atenção e o apoio do público.
Em 2014, a causa do risco X da IA teve seu próprio best-seller surpresa, Superintelligence, do filósofo Nick Bostrom, que argumentou que a IA além do humano poderia levar à extinção e ganhou elogios de figuras como Elon Musk e Bill Gates. Mas Yudkowsky me disse que, antes do ChatGPT, fora de certos círculos do Vale do Silício, entreter seriamente a tese do livro faria as pessoas olharem para você de forma engraçada. Os primeiros defensores da segurança da IA, como Yudkowsky, ocuparam a estranha posição de manter laços estreitos com a riqueza e o poder por meio de técnicos da Bay Area, permanecendo marginalizados no discurso mais amplo.
No mundo pós-ChatGPT, os ganhadores de Turing e ganhadores do Nobel estão saindo do armário de segurança da IA e abraçando argumentos popularizados por Yudkowsky, cuja publicação mais conhecida é uma peça de fan fiction de Harry Potter totalizando mais de 660.000 palavras.
Talvez o presságio mais chocante desse novo mundo tenha sido transmitido em novembro, quando os apresentadores de um podcast de tecnologia do New York Times, Hard Fork, perguntaram à presidente da Comissão Federal de Comércio: “Qual é a sua p(desgraça), Lina Khan? Qual é a sua probabilidade de que a IA nos mate a todos?” A conversa sobre refrigeradores de água da EA se tornou mainstream. (Khan disse que é “otimista” e deu uma estimativa “baixa” de 15%).
Seria fácil observar todas as cartas abertas e ciclos de mídia e pensar que a maioria dos pesquisadores de IA está se mobilizando contra o risco existencial. Mas quando perguntei a Bengio sobre como o risco x é percebido hoje na comunidade de aprendizado de máquina, ele disse: “Ah, mudou muito. Antes, 0,1% das pessoas prestavam atenção na pergunta. E talvez agora seja 5%.”
Probabilidades
Como muitos outros preocupados com o risco x da IA, o renomado filósofo da mente David Chalmers fez um argumento probabilístico durante nossa conversa: “Esta não é uma situação em que você precisa ter 100% de certeza de que teremos IA de nível humano para se preocupar com isso. Se for 5%, é algo com que temos que nos preocupar.”
Esse tipo de pensamento estatístico é popular na comunidade da EA e é uma grande parte do que levou seus membros a se concentrarem na IA em primeiro lugar. Se você ceder aos argumentos dos especialistas, pode acabar mais confuso. Mas se você tentar fazer uma média da preocupação dos especialistas a partir do punhado de pesquisas, pode acabar pensando que há pelo menos alguns por cento de chance de que a extinção da IA possa acontecer, o que pode ser suficiente para torná-la a coisa mais importante do mundo. E se você colocar algum valor em todas as gerações futuras que poderiam existir, a extinção humana é categoricamente pior do que catástrofes sobreviventes.
No entanto, no debate sobre IA, alegações de arrogância abundam. Céticos como Melanie Mitchell e Oren Etzioni me disseram que não havia evidências para apoiar o caso do risco x, enquanto crentes como Bengio e Leahy apontam para ganhos surpreendentes de capacidade e perguntam: e se o progresso não parar? Um amigo pesquisador acadêmico de IA comparou o advento da AGI a jogar a economia e a política globais no liquidificador.
Mesmo que, por alguma razão, a AGI só possa igualar e não exceder a inteligência humana, a perspectiva de compartilhar a Terra com um número quase arbitrariamente grande de agentes digitais de nível humano é aterrorizante, especialmente quando eles provavelmente estarão tentando ganhar dinheiro com alguém.
Há muitas ideias políticas sobre como reduzir o risco existencial da IA para discutir adequadamente aqui. Mas uma das mensagens mais claras vindas da comunidade de segurança de IA é que devemos “desacelerar”. Os defensores dessa desaceleração esperam que ela dê aos formuladores de políticas e à sociedade em geral a chance de recuperar o atraso e decidir ativamente como uma tecnologia potencialmente transformadora é desenvolvida e implantada.
Cooperação internacional
Uma das respostas mais comuns a qualquer esforço para regular a IA é a objeção “mas a China!”. Altman, por exemplo, disse a um comitê do Senado em maio que “queremos que os EUA liderem” e reconheceu que um perigo de desaceleração é que “a China ou outra pessoa faça progressos mais rápidos”.
Anderljung me escreveu que isso “não é uma razão forte o suficiente para não regular a IA”.
Em um artigo de junho da Foreign Affairs, Helen Toner e dois cientistas políticos relataram que os pesquisadores chineses de IA que entrevistaram achavam que os LLMs chineses estão pelo menos dois a três anos atrás dos modelos americanos de última geração. Além disso, os autores argumentam que, como os avanços da IA chinesa “dependem muito da reprodução e ajustes de pesquisas publicadas no exterior”, uma desaceleração unilateral “provavelmente desaceleraria” o progresso chinês também. A China também se moveu mais rápido do que qualquer outro grande país para regular significativamente a IA, como observou o chefe de política antrópica, Jack Clark.
Yudkowsky diz: “Na verdade, não é do interesse da China cometer suicídio junto com o resto da humanidade”.
Se a IA avançada realmente ameaça o mundo inteiro, a regulamentação doméstica sozinha não a cortará. Mas restrições nacionais robustas podem sinalizar com credibilidade para outros países o quão seriamente você leva os riscos. O proeminente especialista em ética em IA Rumman Chowdhury pediu supervisão global. Bengio diz que “temos que fazer as duas coisas”.
Yudkowsky, sem surpresa, assumiu uma posição maximalista, dizendo-me que “a direção correta parece mais como colocar todo o hardware de IA em um número limitado de data centers sob supervisão internacional por órgãos com um tratado simétrico pelo qual ninguém – incluindo militares, governos, China ou CIA – pode fazer qualquer uma das coisas realmente horríveis, incluindo a construção de superinteligências”.
Em um polêmico artigo de opinião da Time de março, Yudkowsky argumentou para “fechar tudo” estabelecendo uma moratória internacional sobre “novas grandes corridas de treinamento” apoiadas pela ameaça da força militar. Dadas as fortes crenças de Yudkowsky de que a IA avançada seria muito mais perigosa do que qualquer arma nuclear ou biológica, essa postura radical segue naturalmente.
Todos os vinte e oito países na recente Cúpula de Segurança de IA, incluindo os Estados Unidos e a China, assinaram a Declaração de Bletchley, que reconheceu os danos existentes da IA e o fato de que “riscos substanciais podem surgir de potencial uso indevido intencional ou questões não intencionais de controle relacionadas ao alinhamento com a intenção humana”.
Na cúpula, o governo britânico anfitrião encomendou a Bengio a liderança da produção do primeiro relatório “Estado da Ciência” sobre as “capacidades e riscos da IA de fronteira”, em um passo significativo em direção a um órgão permanente de especialistas como o Painel Intergovernamental sobre Mudanças Climáticas.
A cooperação entre os Estados Unidos e a China será imperativa para uma coordenação internacional significativa no desenvolvimento da IA. E quando se trata de IA, os dois países não estão exatamente nos melhores termos. Com os controles de exportação da Lei CHIPS de 2022, os Estados Unidos tentaram ajoelhar as capacidades de IA da China, algo que um analista do setor teria considerado anteriormente um “ato de guerra“. Como Jacobin relatou em maio, alguns pesquisadores de políticas orientadas ao risco x provavelmente desempenharam um papel na aprovação dos controles onerosos. Em outubro, os Estados Unidos endureceram as restrições da Lei CHIPS para fechar brechas.
No entanto, em um sinal encorajador, Biden e Xi Jinping discutiram a segurança da IA e a proibição da IA em sistemas de armas letais em novembro. Um comunicado de imprensa da Casa Branca afirmou: “Os líderes afirmaram a necessidade de abordar os riscos de sistemas avançados de IA e melhorar a segurança da IA por meio de negociações do governo dos EUA e da China”.
As armas autônomas letais também são uma área de relativo acordo nos debates sobre IA. Em seu novo livro Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini defende a campanha Stop Killer Robots, ecoando uma preocupação de longa data de muitos defensores da segurança da IA. O Future of Life Institute, uma organização de risco x, reuniu opositores ideológicos para assinar uma carta aberta de 2016 pedindo a proibição de leis ofensivas, incluindo Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking e Noam Chomsky.
Um lugar à mesa
Depois de anos de inação, os governos do mundo estão finalmente voltando sua atenção para a IA. Mas, ao não se envolverem seriamente com o que os sistemas futuros poderiam fazer, os socialistas estão cedendo seu lugar à mesa.
Em grande parte por causa dos tipos de pessoas que se tornaram atraídas pela IA, muitos dos primeiros adotantes sérios da ideia do risco x decidiram se envolver em pesquisas extremamente teóricas sobre como controlar a IA avançada ou começaram empresas de IA. Mas para um tipo diferente de pessoa, a resposta para acreditar que a IA pode acabar com o mundo é tentar fazer com que as pessoas parem de construí-lo.
Os impulsionadores continuam dizendo que o desenvolvimento de IA é inevitável – e se um número suficiente de pessoas acreditar, isso se torna verdade. Mas “não há nada sobre inteligência artificial que seja inevitável”, escreve o AI Now Institute. O diretor-gerente Myers West ecoou isso, mencionando que a tecnologia de reconhecimento facial parecia inevitável em 2018, mas desde então foi proibida em muitos lugares. E como aponta a pesquisadora Katja Grace, não devemos sentir a necessidade de construir todas as tecnologias simplesmente porque podemos.
Além disso, muitos formuladores de políticas estão olhando para os recentes avanços da IA e surtando. O senador Mitt Romney está “mais apavorado com a IA” do que otimista, e seu colega Chris Murphy diz: “As consequências de tantas funções humanas serem terceirizadas para a IA são potencialmente desastrosas”. Os congressistas Ted Lieu e Mike Johnson estão literalmente “surtados” com a IA. Se certos técnicos são as únicas pessoas dispostas a reconhecer que os recursos de IA melhoraram drasticamente e podem representar uma ameaça no futuro, é isso que os formuladores de políticas ouvirão desproporcionalmente. Em maio, o professor e especialista em ética em IA Kristian Lum tuitou: “Há um risco existencial que tenho certeza que os LLMs representam e que é para a credibilidade do campo de FAccT [Justiça, Responsabilidade e Transparência] / IA Ética se continuarmos empurrando a narrativa do óleo de cobra sobre eles”.
Mesmo que a ideia de extinção impulsionada por IA pareça mais fi do que científica, ainda pode haver um enorme impacto em influenciar como uma tecnologia transformadora é desenvolvida e quais valores ela representa. Supor que possamos obter uma AGI hipotética para fazer o que queremos levanta talvez a questão mais importante que a humanidade jamais enfrentará: o que devemos querer que ela queira?
Quando perguntei a Chalmers sobre isso, ele disse: “Em algum momento recapitulamos todas as questões da filosofia política: que tipo de sociedade realmente queremos e realmente valorizamos?”
Uma maneira de pensar sobre o advento da IA em nível humano é que seria como criar a constituição de um novo país (a “IA constitucional” da Anthropic leva essa ideia ao pé da letra, e a empresa recentemente experimentou incorporar a contribuição democrática no documento fundamental de seu modelo). Os governos são sistemas complexos que exercem um poder enorme. A base sobre a qual eles são estabelecidos pode influenciar a vida de milhões agora e no futuro. Os americanos vivem sob o jugo de homens mortos que tinham tanto medo do público que construíram medidas antidemocráticas que continuam a atormentar nosso sistema político mais de dois séculos depois.
A IA pode ser mais revolucionária do que qualquer inovação passada. É também uma tecnologia exclusivamente normativa, dado o quanto a construímos para refletir nossas preferências. Como Jack Clark refletiu recentemente ao Vox: “É uma coisa realmente estranha que isso não seja um projeto de governo”. Chalmers me disse: “Uma vez que de repente temos as empresas de tecnologia tentando construir esses objetivos em sistemas de IA, temos que realmente confiar nas empresas de tecnologia para acertar essas questões sociais e políticas muito profundas. Não sei se sim.” Ele enfatizou: “Você não está apenas na reflexão técnica sobre isso, mas na reflexão social e política”.
Escolhas falsas
Talvez não precisemos esperar para encontrar sistemas superinteligentes que não priorizem a humanidade. Agentes sobre-humanos otimizam impiedosamente para uma recompensa às custas de qualquer outra coisa com a qual possamos nos importar. Quanto mais capaz o agente e mais implacável o otimizador, mais extremos os resultados.
Parece familiar? Se sim, você não está sozinho. O AI Objectives Institute (AOI) olha para o capitalismo e a IA como exemplos de otimizadores desalinhados. Cofundado pela ex-apresentadora de rádio pública Brittney Gallagher e pelo “herói da privacidade” Peter Eckersley pouco antes de sua morte inesperada, o laboratório de pesquisa examina o espaço entre a aniquilação e a utopia, “uma continuação das tendências existentes de concentração de poder em menos mãos – supercarregadas pelo avanço da IA – em vez de uma ruptura acentuada com o presente”. O presidente da AOI, Deger Turan, me disse: “Risco existencial é falha na coordenação diante de um risco”. Ele diz que “precisamos criar pontes entre” a segurança da IA e a ética da IA.
Uma das ideias mais influentes nos círculos de risco x é a maldição unilateralista, um termo para situações em que um ator solitário pode arruinar as coisas para todo o grupo. Por exemplo, se um grupo de biólogos descobre uma maneira de tornar uma doença mais mortal, basta um para publicá-la. Ao longo das últimas décadas, muitas pessoas se convenceram de que a IA poderia acabar com a humanidade, mas apenas as mais ambiciosas e tolerantes ao risco iniciaram as empresas que agora estão avançando na fronteira dos recursos de IA, ou, como Sam Altman disse recentemente, empurrando o “véu da ignorância para trás”. Como alude o CEO, não temos como saber verdadeiramente o que está além do limite tecnológico.
Alguns de nós compreendem perfeitamente os riscos, mas avançam de qualquer maneira. Com a ajuda de cientistas de topo, a ExxonMobil tinha descoberto conclusivamente em 1977 que o seu produto causava o aquecimento global. Eles então mentiram para o público sobre isso, tudo enquanto construíam suas plataformas de petróleo mais altas.
A ideia de que a queima de carbono poderia aquecer o clima foi levantada pela primeira vez no final do século XIX, mas o consenso científico sobre as mudanças climáticas levou quase cem anos para se formar. A ideia de que poderíamos perder permanentemente o controle para as máquinas é mais antiga do que a computação digital, mas ainda está longe de um consenso científico. E se o progresso recente da IA continuar no ritmo, talvez não tenhamos décadas para formar um consenso antes de agir significativamente.
O debate que se desenrola na praça pública pode levá-lo a acreditar que temos que escolher entre abordar os danos imediatos da IA e seus riscos existenciais inerentemente especulativos. E certamente há compensações que exigem uma consideração cuidadosa.
Mas quando você olha para as forças materiais em jogo, um quadro diferente emerge: em um canto estão empresas trilionárias tentando tornar os modelos de IA mais poderosos e lucrativos; em outro, você encontra grupos da sociedade civil tentando fazer com que a IA reflita valores que rotineiramente colidem com a maximização do lucro.
Em suma, é capitalismo versus humanidade.
Colaboradores
GARRISON LOVELY é um escritor freelance baseado no Brooklyn e apresentador do podcast The Most Interesting People I Know.
Diante de tudo isso, é de se esperar que a comunidade de ética veja a comunidade de segurança como uma aliada natural em uma luta comum para reinar em elites tecnológicas irresponsáveis que estão construindo unilateralmente produtos arriscados e prejudiciais. E, como vimos anteriormente, muitos defensores da segurança fizeram aberturas aos especialistas em ética da IA. Também é raro que pessoas da comunidade de risco x ataquem publicamente a ética da IA (enquanto o inverso é… não é verdade), mas a realidade é que os defensores da segurança às vezes têm sido difíceis de suportar.
Os especialistas em ética da IA, como as pessoas que defendem, muitas vezes relatam se sentir marginalizados e isolados do poder real, travando uma batalha difícil com empresas de tecnologia que os veem como uma maneira de cobrir suas bundas em vez de como uma verdadeira prioridade. Dando crédito a esse sentimento está o esvaziamento das equipes de ética de IA em muitas empresas de Big Tech nos últimos anos (ou dias). E, em vários casos, essas empresas retaliaram denunciantes e organizadores trabalhistas orientados para a ética.
Isso não implica necessariamente que essas empresas estejam priorizando seriamente o risco x. O conselho de ética do Google DeepMind, que incluía Larry Page e o proeminente pesquisador de risco existencial Toby Ord, teve sua primeira reunião em 2015, mas nunca teve uma segunda. Um pesquisador de IA do Google me escreveu que eles “não falam sobre risco de longo prazo (…) no escritório”, continuando, “o Google está mais focado na construção da tecnologia e na segurança no sentido de legalidade e ofensividade”.
A engenheira de software Timnit Gebru coliderou a equipe de IA ética do Google até ser forçada a deixar a empresa no final de 2020 após uma disputa sobre um rascunho de artigo – agora uma das publicações de aprendizado de máquina mais famosas de todos os tempos. No artigo “papagaios estocásticos”, Gebru e seus coautores argumentam que os LLMs prejudicam o meio ambiente, amplificam vieses sociais e usam estatísticas para costurar “aleatoriamente” a linguagem “sem qualquer referência ao significado”.
Gebru, que não é fã da comunidade de segurança de IA, pediu maior proteção aos denunciantes para pesquisadores de IA, que também são uma das principais recomendações feitas no white paper da GovAI. Desde que Gebru foi expulso do Google, quase 2.700 funcionários assinaram uma carta solidária, mas o Googler Geoff Hinton não foi um deles. Quando questionado na CNN por que não apoiava um colega denunciante, Hinton respondeu que as críticas de Gebru à IA “eram preocupações bastante diferentes das minhas” que “não são tão existencialmente sérias quanto a ideia de essas coisas ficarem mais inteligentes do que nós e assumirem o controle”.
Raji me disse que “muito motivo para frustração e animosidade” entre os campos de ética e segurança é que “um lado tem muito mais dinheiro e poder do que o outro lado”, o que “permite que eles empurrem sua agenda muito mais diretamente”.
De acordo com uma estimativa, a quantidade de dinheiro que se move para startups de segurança de IA e organizações sem fins lucrativos em 2022 quadruplicou desde 2020, atingindo US$ 144 milhões. É difícil encontrar um número equivalente para a comunidade de ética da IA. No entanto, a sociedade civil de ambos os campos é ofuscada pelos gastos da indústria. Apenas no primeiro trimestre de 2023, a OpenSecrets informou que cerca de US$ 94 milhões foram gastos em lobby de IA nos Estados Unidos. O LobbyControl estimou que as empresas de tecnologia gastaram € 113 milhões este ano fazendo lobby na UE, e vamos lembrar que centenas de bilhões de dólares estão sendo investidos na indústria de IA enquanto falamos.
Uma coisa que pode impulsionar a animosidade ainda mais do que qualquer diferença percebida em poder e dinheiro é a linha de tendência. Após livros amplamente elogiados como Weapons of Math Destruction, de 2016, da cientista de dados Cathy O’Neil, e descobertas bombásticas de viés algorítmico, como o artigo “Gender Shades” de 2018 de Buolamwini e Gebru, a perspectiva ética da IA capturou a atenção e o apoio do público.
Em 2014, a causa do risco X da IA teve seu próprio best-seller surpresa, Superintelligence, do filósofo Nick Bostrom, que argumentou que a IA além do humano poderia levar à extinção e ganhou elogios de figuras como Elon Musk e Bill Gates. Mas Yudkowsky me disse que, antes do ChatGPT, fora de certos círculos do Vale do Silício, entreter seriamente a tese do livro faria as pessoas olharem para você de forma engraçada. Os primeiros defensores da segurança da IA, como Yudkowsky, ocuparam a estranha posição de manter laços estreitos com a riqueza e o poder por meio de técnicos da Bay Area, permanecendo marginalizados no discurso mais amplo.
No mundo pós-ChatGPT, os ganhadores de Turing e ganhadores do Nobel estão saindo do armário de segurança da IA e abraçando argumentos popularizados por Yudkowsky, cuja publicação mais conhecida é uma peça de fan fiction de Harry Potter totalizando mais de 660.000 palavras.
Talvez o presságio mais chocante desse novo mundo tenha sido transmitido em novembro, quando os apresentadores de um podcast de tecnologia do New York Times, Hard Fork, perguntaram à presidente da Comissão Federal de Comércio: “Qual é a sua p(desgraça), Lina Khan? Qual é a sua probabilidade de que a IA nos mate a todos?” A conversa sobre refrigeradores de água da EA se tornou mainstream. (Khan disse que é “otimista” e deu uma estimativa “baixa” de 15%).
Seria fácil observar todas as cartas abertas e ciclos de mídia e pensar que a maioria dos pesquisadores de IA está se mobilizando contra o risco existencial. Mas quando perguntei a Bengio sobre como o risco x é percebido hoje na comunidade de aprendizado de máquina, ele disse: “Ah, mudou muito. Antes, 0,1% das pessoas prestavam atenção na pergunta. E talvez agora seja 5%.”
Probabilidades
Como muitos outros preocupados com o risco x da IA, o renomado filósofo da mente David Chalmers fez um argumento probabilístico durante nossa conversa: “Esta não é uma situação em que você precisa ter 100% de certeza de que teremos IA de nível humano para se preocupar com isso. Se for 5%, é algo com que temos que nos preocupar.”
Esse tipo de pensamento estatístico é popular na comunidade da EA e é uma grande parte do que levou seus membros a se concentrarem na IA em primeiro lugar. Se você ceder aos argumentos dos especialistas, pode acabar mais confuso. Mas se você tentar fazer uma média da preocupação dos especialistas a partir do punhado de pesquisas, pode acabar pensando que há pelo menos alguns por cento de chance de que a extinção da IA possa acontecer, o que pode ser suficiente para torná-la a coisa mais importante do mundo. E se você colocar algum valor em todas as gerações futuras que poderiam existir, a extinção humana é categoricamente pior do que catástrofes sobreviventes.
No entanto, no debate sobre IA, alegações de arrogância abundam. Céticos como Melanie Mitchell e Oren Etzioni me disseram que não havia evidências para apoiar o caso do risco x, enquanto crentes como Bengio e Leahy apontam para ganhos surpreendentes de capacidade e perguntam: e se o progresso não parar? Um amigo pesquisador acadêmico de IA comparou o advento da AGI a jogar a economia e a política globais no liquidificador.
Mesmo que, por alguma razão, a AGI só possa igualar e não exceder a inteligência humana, a perspectiva de compartilhar a Terra com um número quase arbitrariamente grande de agentes digitais de nível humano é aterrorizante, especialmente quando eles provavelmente estarão tentando ganhar dinheiro com alguém.
Há muitas ideias políticas sobre como reduzir o risco existencial da IA para discutir adequadamente aqui. Mas uma das mensagens mais claras vindas da comunidade de segurança de IA é que devemos “desacelerar”. Os defensores dessa desaceleração esperam que ela dê aos formuladores de políticas e à sociedade em geral a chance de recuperar o atraso e decidir ativamente como uma tecnologia potencialmente transformadora é desenvolvida e implantada.
Cooperação internacional
Uma das respostas mais comuns a qualquer esforço para regular a IA é a objeção “mas a China!”. Altman, por exemplo, disse a um comitê do Senado em maio que “queremos que os EUA liderem” e reconheceu que um perigo de desaceleração é que “a China ou outra pessoa faça progressos mais rápidos”.
Anderljung me escreveu que isso “não é uma razão forte o suficiente para não regular a IA”.
Em um artigo de junho da Foreign Affairs, Helen Toner e dois cientistas políticos relataram que os pesquisadores chineses de IA que entrevistaram achavam que os LLMs chineses estão pelo menos dois a três anos atrás dos modelos americanos de última geração. Além disso, os autores argumentam que, como os avanços da IA chinesa “dependem muito da reprodução e ajustes de pesquisas publicadas no exterior”, uma desaceleração unilateral “provavelmente desaceleraria” o progresso chinês também. A China também se moveu mais rápido do que qualquer outro grande país para regular significativamente a IA, como observou o chefe de política antrópica, Jack Clark.
Yudkowsky diz: “Na verdade, não é do interesse da China cometer suicídio junto com o resto da humanidade”.
Se a IA avançada realmente ameaça o mundo inteiro, a regulamentação doméstica sozinha não a cortará. Mas restrições nacionais robustas podem sinalizar com credibilidade para outros países o quão seriamente você leva os riscos. O proeminente especialista em ética em IA Rumman Chowdhury pediu supervisão global. Bengio diz que “temos que fazer as duas coisas”.
Yudkowsky, sem surpresa, assumiu uma posição maximalista, dizendo-me que “a direção correta parece mais como colocar todo o hardware de IA em um número limitado de data centers sob supervisão internacional por órgãos com um tratado simétrico pelo qual ninguém – incluindo militares, governos, China ou CIA – pode fazer qualquer uma das coisas realmente horríveis, incluindo a construção de superinteligências”.
Em um polêmico artigo de opinião da Time de março, Yudkowsky argumentou para “fechar tudo” estabelecendo uma moratória internacional sobre “novas grandes corridas de treinamento” apoiadas pela ameaça da força militar. Dadas as fortes crenças de Yudkowsky de que a IA avançada seria muito mais perigosa do que qualquer arma nuclear ou biológica, essa postura radical segue naturalmente.
Todos os vinte e oito países na recente Cúpula de Segurança de IA, incluindo os Estados Unidos e a China, assinaram a Declaração de Bletchley, que reconheceu os danos existentes da IA e o fato de que “riscos substanciais podem surgir de potencial uso indevido intencional ou questões não intencionais de controle relacionadas ao alinhamento com a intenção humana”.
Na cúpula, o governo britânico anfitrião encomendou a Bengio a liderança da produção do primeiro relatório “Estado da Ciência” sobre as “capacidades e riscos da IA de fronteira”, em um passo significativo em direção a um órgão permanente de especialistas como o Painel Intergovernamental sobre Mudanças Climáticas.
A cooperação entre os Estados Unidos e a China será imperativa para uma coordenação internacional significativa no desenvolvimento da IA. E quando se trata de IA, os dois países não estão exatamente nos melhores termos. Com os controles de exportação da Lei CHIPS de 2022, os Estados Unidos tentaram ajoelhar as capacidades de IA da China, algo que um analista do setor teria considerado anteriormente um “ato de guerra“. Como Jacobin relatou em maio, alguns pesquisadores de políticas orientadas ao risco x provavelmente desempenharam um papel na aprovação dos controles onerosos. Em outubro, os Estados Unidos endureceram as restrições da Lei CHIPS para fechar brechas.
No entanto, em um sinal encorajador, Biden e Xi Jinping discutiram a segurança da IA e a proibição da IA em sistemas de armas letais em novembro. Um comunicado de imprensa da Casa Branca afirmou: “Os líderes afirmaram a necessidade de abordar os riscos de sistemas avançados de IA e melhorar a segurança da IA por meio de negociações do governo dos EUA e da China”.
As armas autônomas letais também são uma área de relativo acordo nos debates sobre IA. Em seu novo livro Unmasking AI: My Mission to Protect What Is Human in a World of Machines, Joy Buolamwini defende a campanha Stop Killer Robots, ecoando uma preocupação de longa data de muitos defensores da segurança da IA. O Future of Life Institute, uma organização de risco x, reuniu opositores ideológicos para assinar uma carta aberta de 2016 pedindo a proibição de leis ofensivas, incluindo Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking e Noam Chomsky.
Um lugar à mesa
Depois de anos de inação, os governos do mundo estão finalmente voltando sua atenção para a IA. Mas, ao não se envolverem seriamente com o que os sistemas futuros poderiam fazer, os socialistas estão cedendo seu lugar à mesa.
Em grande parte por causa dos tipos de pessoas que se tornaram atraídas pela IA, muitos dos primeiros adotantes sérios da ideia do risco x decidiram se envolver em pesquisas extremamente teóricas sobre como controlar a IA avançada ou começaram empresas de IA. Mas para um tipo diferente de pessoa, a resposta para acreditar que a IA pode acabar com o mundo é tentar fazer com que as pessoas parem de construí-lo.
Os impulsionadores continuam dizendo que o desenvolvimento de IA é inevitável – e se um número suficiente de pessoas acreditar, isso se torna verdade. Mas “não há nada sobre inteligência artificial que seja inevitável”, escreve o AI Now Institute. O diretor-gerente Myers West ecoou isso, mencionando que a tecnologia de reconhecimento facial parecia inevitável em 2018, mas desde então foi proibida em muitos lugares. E como aponta a pesquisadora Katja Grace, não devemos sentir a necessidade de construir todas as tecnologias simplesmente porque podemos.
Além disso, muitos formuladores de políticas estão olhando para os recentes avanços da IA e surtando. O senador Mitt Romney está “mais apavorado com a IA” do que otimista, e seu colega Chris Murphy diz: “As consequências de tantas funções humanas serem terceirizadas para a IA são potencialmente desastrosas”. Os congressistas Ted Lieu e Mike Johnson estão literalmente “surtados” com a IA. Se certos técnicos são as únicas pessoas dispostas a reconhecer que os recursos de IA melhoraram drasticamente e podem representar uma ameaça no futuro, é isso que os formuladores de políticas ouvirão desproporcionalmente. Em maio, o professor e especialista em ética em IA Kristian Lum tuitou: “Há um risco existencial que tenho certeza que os LLMs representam e que é para a credibilidade do campo de FAccT [Justiça, Responsabilidade e Transparência] / IA Ética se continuarmos empurrando a narrativa do óleo de cobra sobre eles”.
Mesmo que a ideia de extinção impulsionada por IA pareça mais fi do que científica, ainda pode haver um enorme impacto em influenciar como uma tecnologia transformadora é desenvolvida e quais valores ela representa. Supor que possamos obter uma AGI hipotética para fazer o que queremos levanta talvez a questão mais importante que a humanidade jamais enfrentará: o que devemos querer que ela queira?
Quando perguntei a Chalmers sobre isso, ele disse: “Em algum momento recapitulamos todas as questões da filosofia política: que tipo de sociedade realmente queremos e realmente valorizamos?”
Uma maneira de pensar sobre o advento da IA em nível humano é que seria como criar a constituição de um novo país (a “IA constitucional” da Anthropic leva essa ideia ao pé da letra, e a empresa recentemente experimentou incorporar a contribuição democrática no documento fundamental de seu modelo). Os governos são sistemas complexos que exercem um poder enorme. A base sobre a qual eles são estabelecidos pode influenciar a vida de milhões agora e no futuro. Os americanos vivem sob o jugo de homens mortos que tinham tanto medo do público que construíram medidas antidemocráticas que continuam a atormentar nosso sistema político mais de dois séculos depois.
A IA pode ser mais revolucionária do que qualquer inovação passada. É também uma tecnologia exclusivamente normativa, dado o quanto a construímos para refletir nossas preferências. Como Jack Clark refletiu recentemente ao Vox: “É uma coisa realmente estranha que isso não seja um projeto de governo”. Chalmers me disse: “Uma vez que de repente temos as empresas de tecnologia tentando construir esses objetivos em sistemas de IA, temos que realmente confiar nas empresas de tecnologia para acertar essas questões sociais e políticas muito profundas. Não sei se sim.” Ele enfatizou: “Você não está apenas na reflexão técnica sobre isso, mas na reflexão social e política”.
Escolhas falsas
Talvez não precisemos esperar para encontrar sistemas superinteligentes que não priorizem a humanidade. Agentes sobre-humanos otimizam impiedosamente para uma recompensa às custas de qualquer outra coisa com a qual possamos nos importar. Quanto mais capaz o agente e mais implacável o otimizador, mais extremos os resultados.
Parece familiar? Se sim, você não está sozinho. O AI Objectives Institute (AOI) olha para o capitalismo e a IA como exemplos de otimizadores desalinhados. Cofundado pela ex-apresentadora de rádio pública Brittney Gallagher e pelo “herói da privacidade” Peter Eckersley pouco antes de sua morte inesperada, o laboratório de pesquisa examina o espaço entre a aniquilação e a utopia, “uma continuação das tendências existentes de concentração de poder em menos mãos – supercarregadas pelo avanço da IA – em vez de uma ruptura acentuada com o presente”. O presidente da AOI, Deger Turan, me disse: “Risco existencial é falha na coordenação diante de um risco”. Ele diz que “precisamos criar pontes entre” a segurança da IA e a ética da IA.
Uma das ideias mais influentes nos círculos de risco x é a maldição unilateralista, um termo para situações em que um ator solitário pode arruinar as coisas para todo o grupo. Por exemplo, se um grupo de biólogos descobre uma maneira de tornar uma doença mais mortal, basta um para publicá-la. Ao longo das últimas décadas, muitas pessoas se convenceram de que a IA poderia acabar com a humanidade, mas apenas as mais ambiciosas e tolerantes ao risco iniciaram as empresas que agora estão avançando na fronteira dos recursos de IA, ou, como Sam Altman disse recentemente, empurrando o “véu da ignorância para trás”. Como alude o CEO, não temos como saber verdadeiramente o que está além do limite tecnológico.
Alguns de nós compreendem perfeitamente os riscos, mas avançam de qualquer maneira. Com a ajuda de cientistas de topo, a ExxonMobil tinha descoberto conclusivamente em 1977 que o seu produto causava o aquecimento global. Eles então mentiram para o público sobre isso, tudo enquanto construíam suas plataformas de petróleo mais altas.
A ideia de que a queima de carbono poderia aquecer o clima foi levantada pela primeira vez no final do século XIX, mas o consenso científico sobre as mudanças climáticas levou quase cem anos para se formar. A ideia de que poderíamos perder permanentemente o controle para as máquinas é mais antiga do que a computação digital, mas ainda está longe de um consenso científico. E se o progresso recente da IA continuar no ritmo, talvez não tenhamos décadas para formar um consenso antes de agir significativamente.
O debate que se desenrola na praça pública pode levá-lo a acreditar que temos que escolher entre abordar os danos imediatos da IA e seus riscos existenciais inerentemente especulativos. E certamente há compensações que exigem uma consideração cuidadosa.
Mas quando você olha para as forças materiais em jogo, um quadro diferente emerge: em um canto estão empresas trilionárias tentando tornar os modelos de IA mais poderosos e lucrativos; em outro, você encontra grupos da sociedade civil tentando fazer com que a IA reflita valores que rotineiramente colidem com a maximização do lucro.
Em suma, é capitalismo versus humanidade.
Colaboradores
GARRISON LOVELY é um escritor freelance baseado no Brooklyn e apresentador do podcast The Most Interesting People I Know.
Nenhum comentário:
Postar um comentário