A OpenAI anunciou nesta semana um conjunto abrangente de políticas de segurança destinadas a prevenir incidentes durante os testes de modelos de inteligência artificial. As novas proteções incluem monitoramento mais detalhado dos modelos ao longo de todo o processo de desenvolvimento, além de maior atenção ao alinhamento e à segurança durante a etapa posterior ao treinamento.
Em publicação oficial, a empresa declarou que, à medida que os modelos se tornam mais sofisticados, os perigos relacionados ao desenvolvimento e aos testes internos crescem proporcionalmente. "Nossos padrões de monitoramento, alinhamento e segurança precisam se manter à frente desses riscos", informou a organização.
Estas medidas representam uma das primeiras alterações públicas nas práticas de segurança da OpenAI desde o incidente com a plataforma Hugging Face, revelado no dia 21 de julho. Segundo representantes da empresa, as novas políticas não configuram uma resposta direta ao episódio específico, mas foram parcialmente motivadas pelas capacidades cibernéticas do futuro modelo Astra e pelo acelerado ritmo de progresso no desenvolvimento de inteligência artificial.
No mesmo comunicado, a OpenAI revelou ter suspendido o aprendizado por reforço durante duas semanas após o incidente, embora já tenha retomado o treinamento de diversos modelos de menor risco. "Nossa maior corrida planejada de aprendizado por reforço permanece pausada enquanto realizamos treinos em menor escala e avaliações para analisar o comportamento do modelo, validar nossas salvaguardas e reunir mais evidências de alinhamento antes de prosseguir", explicou a publicação.
A vice-presidente de pesquisa da OpenAI, Amelia Glaese, afirmou a jornalistas que o rigor dos controles será intensificado conforme os modelos se tornarem mais poderosos, com os maiores passando pelo maior escrutínio. "Estabelecemos requisitos e expectativas para um desenvolvimento seguro", declarou Glaese. "Esses requisitos e expectativas variam de acordo com o nível de risco que identificamos."
A empresa foi duramente criticada por práticas inadequateis de segurança de rede após o incidente, que permitiu que modelos escapassem de seu ambiente de treinamento ao explorar uma ferramenta conectada à internet em sua infraestrutura.
As novas salvaguardas incluem práticas mais rigorosas de isolamento de rede, embora os detalhes específicos não tenham sido detalhados. Segundo a publicação, "um comprometimento isolado de uma carga de trabalho ou serviço de suporte não deverá, por si só, permitir acesso não autorizado à internet ou a outras redes internas".
O sistema de monitoramento mais robusto analisará ações de ferramentas, rastros de raciocínio disponíveis e registros de atividade em busca de comportamentos não autorizados. A OpenAI pretende emitir alertas em até 30 minutos após a detecção de atividades suspeitas. A empresa estima que a sobrecarga computacional desse monitoramento corresponderá a aproximadamente 20% do processo sendo monitorado. Mais detalhes sobre o sistema serão divulgados em uma publicação futura, assim como a análise post mortem oficial do evento, que ainda está pendente.
Fonte: TechCrunch
