O novo modelo Astra, desenvolvido pela OpenAI, empregará uma técnica de raciocínio conhecida como "profundidade recorrente", que permite à inteligência artificial operar fora do pensamento sequencial característico da maioria dos modelos de raciocínio, segundo informações publicadas pelo site The Information nesta terça-feira. Essa abordagem, também denominada "recorrência opaca", tende a tornar a cadeia de pensamento do modelo significativamente mais difícil de acompanhar — o que tem deixado especialistas em segurança de inteligência artificial em estado de alerta.
Embora o uso dessa técnica pelo Astra seja aparentemente limitado, sua simples emergência já levantou preocupações expressivas entre os especialistas. "Estou extremamente preocupado com as informações de que o Astra utiliza recorrência opaca", escreveu Buck Shlegeris, executivo-chefe da empresa Redwood, em uma publicação feita após a divulgação da notícia. "Não sei se o Astra é muito menos monitorável através da cadeia de pensamento do que os modelos anteriores. Mas se a OpenAI avançar com essa técnica, terá a opção de aumentar massivamente a recorrência e destruir totalmente a capacidade de monitoramento da cadeia de pensamento."
Zvi Mowshowitz, veterano defensor da segurança em inteligência artificial, também se manifestou e afirmou que talvez sejam necessárias leis para evitar uma "corrida para o fundo do poço" entre os laboratórios de pesquisa em IA. "A técnica está brincando com fogo, arriscando quebrar um tabu que a OpenAI e a Anthropic trabalharam para estabelecer — a fidelidade e a monitorabilidade da Cadeia de Pensamento", escreveu Mowshowitz. "O uso mais intensivo dessas técnicas provavelmente prejudicaria a monitorabilidade."
Em circunstâncias normais, a cadeia de pensamento de um modelo de raciocínio apresenta os passos sequenciais realizados pela inteligência artificial ao tentar resolver um problema. Embora essa representação seja imperfeita, ela serve como uma ferramenta valiosa para identificar comportamentos inadequados ou desalinhamentos. No caso das recentes atividades de agentes descontrolados da OpenAI, os registros da cadeia de pensamento foram uma ferramenta importante para compreender por que os agentes se comportaram daquela maneira.
Na recorrência opaca, o modelo adota uma abordagem menos linear, processando a mesma consulta várias vezes em um loop. O resultado deixa menos vestígios legíveis, contornando efetivamente um registro convencional de cadeia de pensamento. É fundamental destacar que o uso dessa técnica pelo Astra parece ser limitado, e a cadeia de pensamento do modelo ainda deve permanecer legível. A empresa rejeitou qualquer sugestão de que migraria para o chamado "neuraleze".
A OpenAI já anunciou planos para sistemas extensivos de monitoramento da cadeia de pensamento como parte de suas estratégias futuras de segurança. Em uma publicação na rede social X, Jakub Pachocki, cientista-chefe da OpenAI, enfatizou o compromisso do laboratório com cadeias de pensamento legíveis. "A OpenAI trabalhou para preservar e utilizar o monitoramento da cadeia de pensamento desde nossos primeiros modelos de raciocínio", escreveu Pachocki. "É um objetivo central do nosso programa de pesquisa atual. Todos os modelos de IA fazem alguma quantidade de raciocínio opaco, e poucos pesquisadores consideram os registros da cadeia de pensamento como uma representação direta do raciocínio de um modelo."
Em um relatório complementar publicado na manhã de quarta-feira, o The Information revelou que tanto a Anthropic quanto o Google DeepMind já estavam discutindo essa técnica. Ryan Greenblatt, cientista-chefe da Redwood Research, afirmou que o raciocínio opaco poderia facilmente escalar mais rápido do que o raciocínio convencional por cadeia de pensamento, removendo efetivamente todo o raciocínio dos canais visíveis. "Minha maior preocupação é que uma progressão natural daqui seria aumentar o raciocínio opaco até o ponto em que o modelo raciocine inteiramente ou quase inteiramente no espaço latente", escreveu Greenblatt. "Espero que não seja tarde demais para evitar as arquiteturas mais preocupantes e que a OpenAI pare por aqui."
Fonte: TechCrunch
