OpenAI está transformando su Comité de Seguridad y Protección en un grupo de supervisión independiente integrado por miembros de su junta directiva. Sam Altman, el director ejecutivo de la empresa, no forma parte del nuevo organismo de control. La figura de gobernanza tiene la autoridad de retrasar el lanzamiento de programas de inteligencia artificial (IA) que se consideren inseguros.
La junta revisó los criterios utilizados para evaluar la implementación y los resultados de OpenAI o1, el último sistema de inteligencia artificial de la organización, por lo que recomendó la creación de un organismo de inspección autónomo con la capacidad de detener la presentación de productos que carezcan de garantías.
“Garantizar la seguridad de nuestros modelos implica el trabajo de muchos equipos. Estamos desarrollando procesos y prácticas para establecer un marco integrado con principios claramente definidos. Esto se basará en evaluaciones de riesgos y será aprobado por el Comité de Seguridad”, explica la empresa.
Debido a violaciones recientes y pasadas en sus sistemas, los expertos de la industria temen que la empresa no pueda gestionar la seguridad de los datos que conserva de las conversaciones de los usuarios con ChatGPT.
El comité de supervisión está presidido por Zico Kolter, director del Departamento de Aprendizaje Automático de la Facultad de Informática de la Universidad Carnegie Mellon. El grupo también incluye a Adam D’Angelo, cofundador de la plataforma Quora; Paul Nakasone, general retirado del ejército estadounidense; y Nicole Seligma, ex vicepresidenta ejecutiva de Sony Corporation.
Los responsables de OpenAI proporcionarán informes periódicos a la comisión sobre las revisiones de las salvaguardas de los modelos actuales y futuros. Estos informes incluirán detalles técnicos y datos sobre las medidas de seguimiento adoptadas después de cada lanzamiento. “A medida que los algoritmos se vuelvan más capaces, estas disposiciones se adaptarán para gestionar una mayor complejidad y riesgo”, promete la empresa.
La seguridad de OpenAI genera inquietud
La empresa detrás de ChaGPT ha sido señalada por supuestas omisiones de seguridad en sus procesos de producción y comercialización. Algunos ex ejecutivos de la corporación han dejado sus puestos alegando preocupaciones al respecto. Acusan a la dirección de oponerse a una regulación real de la IA en favor de políticas que promuevan los objetivos corporativos de la organización. La empresa ha gastado, en los primeros seis meses de 2024, casi 800.000 dólares en actividades de lobby para influir en la legislación federal sobre la tecnología, según cálculos de OpenSecrets.
Los expertos dicen que la decisión de omitir la participación de Altman es el último intento de la empresa por abordar las preocupaciones de seguridad. La eficacia de la iniciativa ha sido cuestionada. Helen Toner y Tasha McCauley, exmiembros de la junta directiva de OpenAI, escribieron en un artículo de opinión publicado en El economista que la estructura de control no garantiza una amplia seguridad de los productos. “Basándonos en nuestra experiencia, creemos que la autogestión no puede resistir de forma fiable la presión de los incentivos lucrativos”.
OpenAI pretende recaudar más de 6.500 millones de dólares en una nueva ronda de financiación, según BloombergCon esta operación, la valoración privada de la firma podría superar los 150.000 millones de dólares. Para cerrar el acuerdo, la empresa podría abandonar su estructura corporativa sin ánimo de lucro y adoptar un modelo de negocio totalmente comercial. El cambio facilitaría la obtención de beneficios ilimitados y una posible cotización en bolsa. Los expertos sugieren que con este enfoque, la organización puede verse obligada a priorizar proyectos con mayor potencial comercial. Anticipan un aumento generalizado de los precios de las soluciones de IA existentes y un ritmo acelerado de innovación.