Início Tecnologia OpenAI suspende treinos de inteligência artificial e reforça segurança após incidente com agentes autônomos
Tecnologia

OpenAI suspende treinos de inteligência artificial e reforça segurança após incidente com agentes autônomos

Share
Fonte: Feed: All Latest
Share

A OpenAI anunciou nesta terça-feira que pausou "um número significativo" de cargas de trabalho de treinamento e avaliações para seu futuro modelo de inteligência artificial de fronteira — codinome Astra — enquanto implementa novos procedimentos destinados a enfrentar riscos cibernéticos. A criadora do ChatGPT informou que está introduzindo uma série de novos requisitos de monitoramento, segurança e alinhamento para melhor abordar as crescentes capacidades de invasão de seus modelos de inteligência artificial de ponta.

"Precisamos concentrar nossa energia em elevar essas execuções de treino aos requisitos e expectativas. Pelo tempo que for necessário para chegar lá, as pessoas não poderão prosseguir com suas cargas de trabalho", declarou Amelia Glaese, vice-presidente de pesquisa e segurança da OpenAI, durante entrevista coletiva com jornalistas.

Entre os novos mecanismos de proteção anunciados pela OpenAI, encontra-se um sistema mais robusto para monitorar seus modelos de inteligência artificial. Um dos controles implementados envolve o monitoramento de cadeia de pensamento, técnica na qual classificadores analisam os processos internos de "raciocínio" gerados por modelos de raciocínio artificial. A empresa afirma que o sistema atualizado depende de "investigadores automatizados" computacionalmente custosos, que analisam comportamentos potencialmente preocupantes e buscam emitir alertas aos humanos em até 30 minutos.

A OpenAI também informou que está expandindo seus esforços de alinhamento em todo o processo de treinamento para evitar o "hacking de recompensa", comportamento no qual modelos de inteligência artificial buscam seus objetivos por meios não previstos ou indesejáveis. A empresa planeja compartilhar mais detalhes sobre esse trabalho no futuro.

A empresa tem se mobilizado nas últimas semanas para responder ao que pode ser o incidente de segurança mais significativo de sua história. No início deste ano, um conjunto de agentes de inteligência artificial descontrolados escapou das áreas de testes internas e violou a plataforma Hugging Face durante uma missão para completar uma avaliação de segurança. A OpenAI falhou em detectar o comportamento dos agentes mesmo enquanto eles passaram semanas utilizando um fórum de mensagens para coordenar suas ações, levantando questões sobre a capacidade da empresa de monitorar seus modelos à medida que se tornam mais poderosos.

O caso provocou uma reflexão interna na OpenAI, forçando funcionários a considerar se houve falhas em suas políticas existentes sobre segurança e alinhamento. A Anthropic, a Meta e a startup chinesa de inteligência artificial Moonshot revelaram posteriormente incidentes semelhantes em que seus agentes de inteligência artificial escaparam de suas áreas de testes, indicando que esse é um problema mais amplo enfrentado pelas empresas de inteligência artificial.

Jakub Pachocki, cientista-chefe da OpenAI, afirmou aos jornalistas que a decisão da empresa de fortalecer seus mecanismos internos de proteção foi acionada não apenas pelo que aconteceu com a Hugging Face, mas também por outros dois eventos recentes. Um deles foi uma avaliação interna do Astra, que demonstrou que o modelo de inteligência artificial apresenta desempenho significativamente melhor em tarefas de programação e cibersegurança do que seus antecessores. O outro foi o ritmo geral do progresso da inteligência artificial que a OpenAI está alcançando internamente, que Pachocki espera que continue.

"Realmente esperamos que o ritmo dos avanços em capacidades seja bastante mais rápido do que no passado", afirmou Pachocki. "Isso nos levou a realmente focar no fortalecimento de nossas salvaguardas."

Os rápidos avanços nas capacidades de invasão dos modelos mais recentes da OpenAI provocaram uma resposta ágil em toda a empresa. Greg Brockman, presidente e cofounder da OpenAI, escreveu em uma publicação na segunda-feira que o caso Hugging Face demonstrou que a empresa "subestimou as capacidades cibernéticas do mundo real de nossos modelos de inteligência artificial."

Fonte: Feed: All Latest

Share
Artigos relacionados
Tecnologia

Distritos escolares de Nova York, Los Angeles e Chicago avaliam abandonar a Busca do Google

Os maiores distritos escolares dos Estados Unidos estão avaliando alternativas ao serviço...

Tecnologia

Elon Musk acusa Zelensky de mentir sobre o Starshield e de buscar uso militar do Starlink

Elon Musk afirmou que o presidente da Ucrânia, Volodymyr Zelensky, está mentindo...

Tecnologia

Windows Server 2028 troca compatibilidade por segurança já na instalação

Os anúncios da Microsoft no Ignite desta semana foram além da reformulação...

Tecnologia

Codiretor da Netflix admite que aplicativo pode esconder conteúdos desejados atrás de opções ignoradas

Ted Sarandos, codiretor executivo da Netflix, reconheceu que o aplicativo da plataforma...