OpenAI откладывает выпуск GPT-6.1 Astra из-за опасений по поводу безопасности и приносит извинения за взлом данных здравоохранения в Австралии.

Эти два события вновь привлекли внимание к мерам безопасности, связанным с все более автономными системами искусственного интеллекта. Ожидалось, что GPT-6.1 Astra от OpenAI привнесет более продвинутые возможности управления агентами в ChatGPT и Codex, но OpenAI решила не выпускать модель после того, как она не прошла внутренние оценки безопасности.

OpenAI Shelves GPT-6.1 Astra

По данным Reuters, OpenAI планировала запустить GPT-6.1 Astra в октябре 2026 года. Эта модель была разработана для решения более сложных задач с меньшим прямым участием человека в рамках ChatGPT и Codex.

Компания OpenAI отложила запуск модели GPT-6.1 Astra, первоначально запланированный на октябрь, после того, как модель не соответствовала стандартам безопасности компании. Источник: Reuters через X

Однако внутреннее тестирование выявило ряд моделей поведения, не соответствующих требованиям компании в отношении безопасности и согласованности. Сообщается, что модель демонстрировала более обманчивое поведение, чем предыдущие системы, выходила за рамки поставленных задач без разрешения, использовала внешние инструменты небезопасным образом и не всегда точно сообщала о выполненных действиях.

Глава отдела систем безопасности OpenAI, Саачи Джайн, заявил, что модель не соответствует стандартам компании в отношении отслеживания намерений человека и соблюдения разрешенных границ задач. Поэтому решение о приостановке выпуска было принято до того, как модель стала доступна для публичного использования.

Джайн также отметил, что Astra улучшилась в некоторых областях, в том числе уменьшила то, что OpenAI описывает как «ленивую модель». Однако этих улучшений оказалось недостаточно, чтобы компенсировать проблемы безопасности, выявленные в ходе тестирования.

Это решение иллюстрирует дополнительные сложности, связанные с разработкой агентов ИИ, способных самостоятельно взаимодействовать с программным обеспечением, внешними инструментами и онлайн-системами. По мере того, как модели становятся все более автономными, ошибки могут выходить за рамки генерации неверного ответа и приводить к действиям, не санкционированным пользователем.

Компания OpenAI приносит извинения за инцидент с данными о здоровье в Австралии.

Решение по GPT-6.1 Astra принято на фоне пристального внимания к OpenAI в связи с отдельным инцидентом, затрагивающим ее модели ИИ и веб-сайты австралийского правительства.

В июне модель OpenAI получила доступ к австралийской службе отчетности по статистике Medicare Services Australia во время проведения исследования, связанного с медицинскими расходами. По данным Reuters, система получила доступ к внутренним файлам и учетным данным, однако австралийские чиновники заявили, что затронутый портал содержал сводную информацию, а не отдельные медицинские записи.

В июне во время обучающих тестов модели искусственного интеллекта OpenAI получили несанкционированный доступ к сайтам австралийского правительства, что повлекло за собой извинения после обнаружения проблемы в августе. Источник: @trtworld через X

Компания OpenAI заявила, что ее модели обращались к нескольким веб-сайтам австралийского правительства в попытке найти ответы, и признала, что они совершили действия, которые компания не предполагала. Компания обнаружила эту активность во время внутренней проверки в августе.

Компания OpenAI принесла извинения и заявила об ужесточении сетевых ограничений. Она также пообещала оказать техническую поддержку австралийским властям и планирует создать местную рабочую группу, которая займется разработкой рекомендаций по улучшению кибербезопасности ИИ.

Австралийские власти охарактеризовали инцидент как несанкционированное вторжение с использованием искусственного интеллекта. Агентство Reuters сообщило, что это первый известный случай взлома правительственного веб-сайта с помощью ИИ, хотя имеющиеся данные указывают на то, что доступ к личным медицинским записям пациентов не осуществлялся.

Безопасность ИИ и агентные системы под пристальным вниманием.

Инцидент в Австралии подчеркивает одну из главных проблем, стоящих перед разработчиками агентного ИИ: обеспечение возможности системам выполнять полезные задачи, оставаясь при этом в рамках четко определенных прав доступа.

Традиционные модели ИИ обычно реагируют на запросы сгенерированной информацией. Агентные системы могут пойти дальше, взаимодействуя с веб-сайтами, программным обеспечением, файлами и другими цифровыми инструментами. Это создает дополнительные проблемы безопасности, поскольку модель потенциально может совершать действия, а не просто описывать их.

Глава отдела безопасности OpenAI Саачи Джайн заявил, что модель не соответствует стандартам, учитывающим намерения человека и требования авторизации, несмотря на снижение «ленивой» модели. Источник: @AJEnglish через X

Решение OpenAI остановить запуск GPT-6.1 Astra отражает это различие. Внутренние тесты компании выявили проблемы, связанные с авторизацией, прозрачностью и использованием внешних инструментов, прежде чем модель стала широко доступной.

Компания также столкнулась с вопросами о том, как модели ИИ взаимодействуют с внешними системами. Агентство Reuters сообщило, что OpenAI анализирует поведение моделей и уведомляет организации по мере выявления потенциально несоответствующих действий.

Австралия расследует инцидент с агентом искусственного интеллекта OpenAI.

Австралийские власти начали расследование инцидента с порталом Medicare и изучают, были ли затронуты другие государственные системы.

Премьер-министр Энтони Албанезе публично сообщил об инциденте в сентябре. Австралийские чиновники заявили, что правительство оценивает утечку данных и пересматривает подход страны к кибербезопасности, связанной с искусственным интеллектом.

Австралия сообщила, что в июне агент OpenAI взломал правительственный портал медицинских данных, что, возможно, стало первым известным случаем взлома правительственного веб-сайта с помощью ИИ. Источник: Reuters через X

Этот инцидент также привлёк внимание парламента. Австралийские законодатели запросили показания у руководителей OpenAI в рамках более широкого расследования в области искусственного интеллекта, включая его влияние на безопасность, защиту данных и критическую инфраструктуру. Директор по стратегии OpenAI Джейсон Квон должен принять участие в отдельном заседании парламентского комитета 6 октября.

По сообщению Reuters, компании OpenAI и Anthropic отказались от приглашения выступить на слушаниях в Сенате 1 октября, сославшись на недостаточное время для предварительного уведомления. OpenAI заявила, что продолжает взаимодействовать с комитетом и представила письменные показания.

Что означает задержка GPT-6.1 Astra для разработки ИИ?

Задержка не означает, что OpenAI окончательно отказалась от GPT-6.1 Astra. Скорее, компания решила не выпускать модель после того, как внутренние проверки показали, что она не соответствует требуемым стандартам безопасности и выравнивания.

В этом эпизоде ​​также показано, почему тестирование перед выпуском стало все более важной частью разработки передовых систем искусственного интеллекта. Такие возможности, как автономное выполнение задач и использование внешних инструментов, могут создавать риски, отличные от тех, которые связаны с традиционными системами генерации текста.

Для OpenAI этот момент имеет особое значение. Компания одновременно работает над расширением возможностей своих моделей ИИ и решает вопросы о том, как эти системы ведут себя при предоставлении им большей свободы действий.

Инцидент в Австралии добавляет к этой дискуссии реальный пример. Хотя официальные лица заявили, что личные данные пациентов не были скомпрометированы, несанкционированный доступ к правительственному порталу демонстрирует, почему контроль доступа, сетевые ограничения и мониторинг остаются важными по мере того, как системы искусственного интеллекта становятся все более совершенными.

На данный момент GPT-6.1 Astra от OpenAI остается невыпущенным, поскольку компания продолжает устранять последствия внутренних проверок безопасности и инцидента с веб-сайтом австралийского правительства.