- Os pesquisadores reconstruíram Equifax Hack e assistiram a IA fazendo tudo sem controle direto
- O modelo de IA fez uma grande violação com zero entrada humana
- Os comandos do shell não eram necessários, atuados como planejador de inteligência artificial e entregou tudo o mais
Os grandes modelos de idiomas (LLMs) foram aceitos como ferramentas úteis em áreas como análise de dados, criação de conteúdo e assistência de código por um longo tempo.
No entanto, um novo estudo Universidade Carnegie MellonEle levantou questões difíceis sobre seus papéis na segurança cibernética em cooperação com os antropicos.
Sob as condições certas, o estudo mostrou que os LLMs poderiam planejar e realizar ataques cibernéticos complexos sem orientação humana e que o ataque digital foi apenas a transição da assistência para a autonomia total.
De quebra -cabeças a ambientes institucionais
Experimentos anteriores com IA no campo da segurança cibernética foram limitados aos cenários de “captura de bandeira”, que são principalmente desafios simplificados usados para a educação.
A equipe de Carnegie Mellon, liderada pelo candidato a doutorado Brian Singer, foi além dando ao LLMS configurou orientação e integrando -os em uma hierarquia de agentes.
Com essas configurações, eles foram capazes de testar modelos em instalações de rede mais realistas.
Em um caso, eles reconstruíram as mesmas condições que levaram à violação de Equifax de 2017, incluindo os déficits de segurança documentados nos relatórios oficiais e no pedido.
A inteligência artificial não apenas planejou o ataque, mas também divulgou software e dados maliciosos sem comandos humanos diretos.
O que faz com que essa pesquisa seja impressionante é a pouca codificação LLM. As abordagens tradicionais geralmente falham, porque os modelos lutam para executar comandos de shell ou separar diários detalhados.
Em vez disso, esse sistema foi baseado em um nível mais alto no qual o LLM atuou como um planejador enquanto transferia ações de nível inferior para sub -agentes.
Essa abstração deu à IA contexto suficiente para “entender” e se adaptar ao seu ambiente.
Embora esses resultados tenham sido obtidos em um ambiente de laboratório controlado, eles levantam questões sobre até que ponto essa autonomia pode ir.
Os riscos aqui não são apenas hipotéticos. Se o LLMS puder realizar violações de rede por conta própria, os atores maliciosos podem usá -los para escalar os ataques muito além do possível com as equipes humanas.
Mesmo ferramentas como proteção de endpoint e melhor software antivírus podem ser testadas por esse tipo de agentes adaptáveis e sensíveis.
No entanto, essa capacidade tem benefícios potenciais. Um LLM, que pode imitar ataques realistas, pode ser usado para desenvolver o teste do sistema e revelar imperfeições que não serão notadas de outra forma.
Singer disse que este estudo permanece como um protótipo: “Trabalhamos apenas sob certas condições e não temos nada para atacar a Internet de uma maneira autônoma … mas este é um primeiro passo crítico”.
No entanto, uma grande violação de uma IA não deve ser rejeitada com uma entrada mínima.
Siga -Up Research agora investiga como as mesmas técnicas podem ser aplicadas na defesa e potencialmente permite que os agentes de IA detectem ou evitem ataques em tempo real.
