Por que os negócios estão em alta para startups militares de Inteligência Artificial

*MIT Technology Review - 15/07/2022

Exatamente duas semanas depois que a Rússia invadiu a Ucrânia em fevereiro, Alexander Karp, CEO da empresa de análise de dados Palantir, fez uma proposta para líderes europeus. Com a guerra à porta, os europeus deveriam modernizar seus arsenais com a ajuda do Vale do Silício, argumentou ele em uma carta aberta.

Para que a Europa “permaneça forte o suficiente para derrotar a ameaça de ocupação estrangeira”, escreveu Karp, os países precisam abraçar “a relação entre tecnologia e estado, entre empresas disruptivas que buscam desalojar o controle de empresas entrincheiradas e os ministérios do governo federal com financiamento”.

Os militares estão respondendo ao chamado. A OTAN anunciou em 30 de junho que está criando um fundo de inovação de US$ 1 bilhão que investirá em startups em estágio inicial e fundos de capital de risco que desenvolvem tecnologias “prioritárias”, como Inteligência Artificial (IA), processamento de Big Data e automação.

Desde o início da guerra, o Reino Unido lançou uma nova estratégia de IA especificamente para defesa, e os alemães destinaram pouco menos de meio bilhão para pesquisa e inteligência artificial decorrentes da injeção de capital de US$ 100 bilhões que haviam realizado para suas forças armadas.

“A guerra é um catalisador para a mudança”, diz Kenneth Payne, que lidera a pesquisa de Estudos de Defesa no King’s College London (Reino Unido) e é autor do livro I, Warbot: The Dawn of Artificially Intelligent Conflict.

A guerra na Ucrânia acrescentou urgência ao esforço de usar mais ferramentas de IA no campo de batalha. Quem tem mais a ganhar são startups como Palantir, que esperam lucrar com a corrida dos militares para atualizar seus arsenais com as tecnologias mais recentes. Em contrapartida, as preocupações éticas de longa data sobre o uso da IA na guerra também assumiram um caráter mais urgentes à medida que a tecnologia se torna cada vez mais avançada, em oposição a perspectiva de restrições e regulamentações que regem seu uso, que parece mais remota do que nunca.

A relação entre tecnologia e militares nem sempre foi tão amigável. Em 2018, após protestos e indignação dos funcionários, o Google desistiu do Projeto Maven do Pentágono, uma tentativa de construir sistemas de reconhecimento de imagem para melhorar os ataques de drones. O episódio causou um debate acalorado sobre direitos humanos e a moralidade do desenvolvimento de IA para armas autônomas.

Também levou a pesquisadores de alto nível de IA a prometerem não trabalhar em IA letal, como Yoshua Bengio , vencedor do Prêmio Turing, e Demis Hassabis, Shane Legg e Mustafa Suleyman, fundadores do principal laboratório de IA da DeepMind.

Mas quatro anos depois, o Vale do Silício está mais perto das forças armadas do mundo do que nunca. E não são apenas as grandes empresas — as startups estão finalmente recebendo mais atenção, diz Yll Bajraktari, que anteriormente foi diretor executivo da Comissão de Segurança Nacional dos EUA em IA (NSCAI, pela sigla em inglês) e agora trabalha para o Special Competitive Studies Project, um grupo que fazem pressão por uma maior adoção de IA nos EUA.

Por que IA?
As empresas que vendem IA militar fazem grandes reivindicações sobre o que sua tecnologia pode fazer. Eles dizem que ela pode ajudar com tudo, desde o mundano ao letal, desde a triagem de currículos até o processamento de dados de satélites ou o reconhecimento de padrões em dados para ajudar os soldados a tomar decisões mais rápidas no campo de batalha. O software de reconhecimento de imagem pode ajudar na identificação de alvos. Os drones autônomos podem ser usados para vigilância ou ataques em terra, ar ou água, ou para ajudar os soldados a entregar suprimentos com mais segurança do que é possível por terra.

Essas tecnologias ainda estão em sua infância no campo de batalha, e os militares estão passando por um período de experimentação, diz Payne, às vezes sem muito sucesso. Existem inúmeros exemplos da tendência das empresas de IA de fazer grandes promessas sobre tecnologias que acabam não funcionando como anunciado, e as zonas de combate talvez estejam entre as áreas tecnicamente mais desafiadoras para implantar a IA porque há poucos dados de treinamento relevantes. Isso pode fazer com que sistemas autônomos falhem de “maneira complexa e imprevisível”, argumentou Arthur Holland Michel, especialista em drones e outras tecnologias de vigilância, em um artigo para o Instituto das Nações Unidas para Investigação sobre Desarmamento.

No entanto, muitos militares estão fazendo pressão. Em 2021, em um comunicado de imprensa redigido em termos vagos, o exército britânico anunciou orgulhosamente que havia usado a IA em uma operação militar pela primeira vez, para fornecer informações sobre o ambiente e o terreno circundante. Os EUA estão trabalhando com startups para desenvolver veículos militares autônomos. No futuro, enxames de centenas ou mesmo milhares de drones autônomos que os militares dos EUA e da Grã-Bretanha estão desenvolvendo podem provar ser armas poderosas e letais.

Muitos especialistas estão preocupados. Meredith Whittaker, consultora sênior de IA da Federal Trade Commission e diretora do corpo docente do AI Now Institute, diz que esse esforço é realmente mais para enriquecer as empresas de tecnologia do que para melhorar as operações militares.

Em um artigo para a revista Prospect escrito em conjunto a Lucy Suchman, professora de sociologia da Lancaster University (Reino Unido), ela argumentou que os impulsionadores da IA estão alimentando a retórica da Guerra Fria e tentando criar uma narrativa que posicione a Big Tech como “infraestrutura nacional crítica”, ou seja, muito grande e importante para desmembrar ou regular. Eles alertam que a adoção da IA pelos militares está sendo apresentada como uma inevitabilidade e não como é realmente: uma escolha ativa que envolve complexidades éticas e compensações.

Baús de guerra de IA
Com a controvérsia em torno do Maven ficando esquecida no passado, as vozes que pedem por mais IA na defesa tornaram-se cada vez mais altas nos últimos dois anos.

Um dos mais barulhentos foi o ex-CEO do Google, Eric Schmidt, que presidiu o NSCAI e pediu que os EUA fossem mais agressivos em suas abordagens de adoção de IA militar.

Em um relatório do ano passado, descrevendo as etapas que os Estados Unidos devem tomar para acelerar a IA até 2025, o NSCAI pediu que os militares dos EUA invistam US$ 8 bilhões por ano nessas tecnologias, caso contrário, correm o risco de ficar atrás da China.

Os militares chineses provavelmente gastam pelo menos US$ 1,6 bilhão por ano em IA, de acordo com um relatório do Centro de Segurança e Tecnologia Emergente (CEST, pela sigla em inglês) da Universidade Georgetown, e nos EUA já há um esforço significativo em andamento para alcançar a paridade, diz Lauren Kahn, pesquisadora no Conselho de Relações Exteriores. O Departamento de Defesa dos EUA solicitou US$ 874 milhões em Inteligência Artificial para 2022, embora esse número não reflita o total dos investimentos em IA do departamento, disse em um relatório de março desse ano.

Não são apenas os militares dos EUA que estão convencidos dessa necessidade. Os países europeus, que tendem a ser mais cautelosos na adoção de novas tecnologias, também estão gastando mais dinheiro em IA, diz Heiko Borchert, codiretor do Defense AI Observatory da Universidade Helmut Schmidt em Hamburgo, Alemanha.

Os franceses e os britânicos identificaram a IA como uma tecnologia de defesa fundamental, e a Comissão Europeia, o braço executivo da União Europeia, destinou US$ 1 bilhão para desenvolver novas tecnologias de defesa.

Obstáculos bons e ruins
Construir demanda por IA é uma coisa. Conseguir que os militares a adotem é outra completamente diferente.

Muitos países estão impulsionando a narrativa da IA, mas estão enfrentando dificuldades para passar do mero conceito à implantação, diz Arnaud Guérin, CEO da Preligens, uma startup francesa que vende vigilância de IA. Isso ocorre em parte porque a indústria de defesa na maioria dos países ainda é geralmente dominada por um punhado de grandes empreiteiros, que tendem a ter mais experiência em hardware militar do que em software de IA, diz ele.

Isso também se deve graças aos processos de habilitação militar desajeitados, que se movem lentamente em comparação com a velocidade vertiginosa que estamos acostumados a ver no desenvolvimento de IA: contratos militares podem durar décadas, mas no ciclo acelerado das startups, as empresas têm apenas um ano ou mais para decolar.

Startups e capitalistas de risco expressaram frustração pelo fato de o processo estar se movendo tão lentamente. O risco é que engenheiros talentosos saiam de seus empregos no Facebook e Google e acabem frustrados à medida que startups vão à falência esperando por contratos de defesa, argumenta Katherine Boyle, sócia geral da empresa de capital de risco, Andreessen Horowitz.  

“Alguns desses obstáculos são totalmente críticos, principalmente neste setor, onde as preocupações com a segurança são muito reais”, diz Mark Warner, que fundou a FacultyAI, uma empresa de análise de dados que trabalha com os militares britânicos. “Mas outros não são… e de certa forma consagraram a posição de titulares”.

As empresas de IA com ambições militares precisam “permanecer no mercado por muito tempo”, diz Ngor Luong, analista de pesquisa que estudou as tendências de investimento em IA no CEST.

Os militares estão em apuros, diz Kahn: vá rápido demais e arrisque implantar sistemas perigosos e falhos, ou vá muito devagar e perca o avanço tecnológico. Os EUA querem ir mais rápido, e por isso o seu Departamento de Defesa recrutou a ajuda de Craig Martell, ex-diretor de IA da empresa de transporte compartilhado, Lyft.

Em junho de 2022, Martell assumiu o comando do novo Escritório de Inteligência Artificial Digital do Pentágono, que visa coordenar os esforços de IA dos militares dos EUA. A missão de Martell, disse ele à Bloomberg, é mudar a cultura do departamento e impulsionar o uso da IA pelos militares apesar da “inércia burocrática”.

Ele pode ter alguma vantagem, já que as empresas de IA já estão começando a fechar contratos militares lucrativos. Em fevereiro, a Anduril, uma startup de cinco anos que desenvolve sistemas de defesa autônomos, como drones submarinos sofisticados, fechou um contrato de defesa de US$ 1 bilhão com os EUA. Em janeiro, a ScaleAI, uma startup que fornece serviços de rotulagem de dados para IA, ganhou um contrato de US$ 250 milhões com o Departamento de Defesa dos EUA.

Cuidado com o entusiasmo
Apesar da marcha constante da IA em direção ao campo de batalha, as preocupações éticas que motivaram os protestos em torno do Projeto Maven não desapareceram.

Houve alguns esforços para atenuar essas preocupações. Consciente de que tem um problema de confiança, o Departamento de Defesa dos EUA lançou diretrizes de “inteligência artificial responsável” para desenvolvedores de IA, e também tem suas próprias diretrizes éticas para o uso da tecnologia. A OTAN tem uma estratégia de IA que estabelece diretrizes éticas voluntárias para seus países membros.

Todas essas diretrizes exigem que os militares usem a IA de maneira legal, responsável, confiável e rastreável e busquem mitigar os preconceitos incorporados nos algoritmos.

Um de seus conceitos básicos é que os humanos devem sempre manter o controle dos sistemas de IA. Mas à medida que a tecnologia se desenvolve, isso não será realmente possível, diz Payne.

“O objetivo de um [sistema] autônomo é permitir que ele tome uma decisão com mais rapidez e precisão do que um humano poderia fazer, e em uma escala que um humano não pode fazer”, diz ele. “Você está efetivamente prejudicando a si mesmo se disser ‘Não, vamos pleitear toda e cada decisão’.”

Ainda assim, os críticos dizem que são necessárias regras mais rigorosas. Existe uma campanha global chamada Stop Killer Robotsucra (em tradução livre, Parem os Robôs Matadores) que busca banir armas autônomas letais, como enxames de drones. Ativistas, funcionários de alto nível, como o chefe da ONU, António Guterres, e governos como o da Nova Zelândia argumentam que as armas autônomas são extremamente antiéticas, porque dão às máquinas controle sobre decisões de vida ou morte e podem prejudicar desproporcionalmente comunidades marginalizadas por meio de vieses algorítmicos.

Enxames de milhares de drones autônomos, por exemplo, podem se tornar essencialmente armas de destruição em massa. Restringir essas tecnologias será uma batalha difícil porque a ideia de uma proibição global enfrentou a oposição de grandes investidores militares, como EUA, França e Reino Unido.

Por fim, a nova era da IA militar levanta uma série de questões éticas difíceis para as quais ainda não temos respostas.

Uma dessas questões é, em primeiro lugar, quão automatizadas queremos que as forças armadas sejam, diz Payne. Por um lado, os sistemas de IA podem reduzir as baixas tornando a guerra mais direcionada, mas, por outro, você está “efetivamente criando uma força robótica mercenária para lutar em seu nome”, diz ele. “Isso distancia sua sociedade das consequências da violência”.