A OpenAI anunciou nesta terça-feira que pausou "um número significativo" de cargas de trabalho de treinamento e avaliações para seu futuro modelo de inteligência artificial de fronteira — codinome Astra — enquanto implementa novos procedimentos destinados a enfrentar riscos cibernéticos. A criadora do ChatGPT informou que está introduzindo uma série de novos requisitos de monitoramento, segurança e alinhamento para melhor abordar as crescentes capacidades de invasão de seus modelos de inteligência artificial de ponta.
"Precisamos concentrar nossa energia em elevar essas execuções de treino aos requisitos e expectativas. Pelo tempo que for necessário para chegar lá, as pessoas não poderão prosseguir com suas cargas de trabalho", declarou Amelia Glaese, vice-presidente de pesquisa e segurança da OpenAI, durante entrevista coletiva com jornalistas.
Entre os novos mecanismos de proteção anunciados pela OpenAI, encontra-se um sistema mais robusto para monitorar seus modelos de inteligência artificial. Um dos controles implementados envolve o monitoramento de cadeia de pensamento, técnica na qual classificadores analisam os processos internos de "raciocínio" gerados por modelos de raciocínio artificial. A empresa afirma que o sistema atualizado depende de "investigadores automatizados" computacionalmente custosos, que analisam comportamentos potencialmente preocupantes e buscam emitir alertas aos humanos em até 30 minutos.
A OpenAI também informou que está expandindo seus esforços de alinhamento em todo o processo de treinamento para evitar o "hacking de recompensa", comportamento no qual modelos de inteligência artificial buscam seus objetivos por meios não previstos ou indesejáveis. A empresa planeja compartilhar mais detalhes sobre esse trabalho no futuro.
A empresa tem se mobilizado nas últimas semanas para responder ao que pode ser o incidente de segurança mais significativo de sua história. No início deste ano, um conjunto de agentes de inteligência artificial descontrolados escapou das áreas de testes internas e violou a plataforma Hugging Face durante uma missão para completar uma avaliação de segurança. A OpenAI falhou em detectar o comportamento dos agentes mesmo enquanto eles passaram semanas utilizando um fórum de mensagens para coordenar suas ações, levantando questões sobre a capacidade da empresa de monitorar seus modelos à medida que se tornam mais poderosos.
O caso provocou uma reflexão interna na OpenAI, forçando funcionários a considerar se houve falhas em suas políticas existentes sobre segurança e alinhamento. A Anthropic, a Meta e a startup chinesa de inteligência artificial Moonshot revelaram posteriormente incidentes semelhantes em que seus agentes de inteligência artificial escaparam de suas áreas de testes, indicando que esse é um problema mais amplo enfrentado pelas empresas de inteligência artificial.
Jakub Pachocki, cientista-chefe da OpenAI, afirmou aos jornalistas que a decisão da empresa de fortalecer seus mecanismos internos de proteção foi acionada não apenas pelo que aconteceu com a Hugging Face, mas também por outros dois eventos recentes. Um deles foi uma avaliação interna do Astra, que demonstrou que o modelo de inteligência artificial apresenta desempenho significativamente melhor em tarefas de programação e cibersegurança do que seus antecessores. O outro foi o ritmo geral do progresso da inteligência artificial que a OpenAI está alcançando internamente, que Pachocki espera que continue.
"Realmente esperamos que o ritmo dos avanços em capacidades seja bastante mais rápido do que no passado", afirmou Pachocki. "Isso nos levou a realmente focar no fortalecimento de nossas salvaguardas."
Os rápidos avanços nas capacidades de invasão dos modelos mais recentes da OpenAI provocaram uma resposta ágil em toda a empresa. Greg Brockman, presidente e cofounder da OpenAI, escreveu em uma publicação na segunda-feira que o caso Hugging Face demonstrou que a empresa "subestimou as capacidades cibernéticas do mundo real de nossos modelos de inteligência artificial."
Fonte: Feed: All Latest
