Нейросеть Claude Mythos: почему им запрещают пользоваться обычным людям?

Компания Anthropic разработала свою самую мощную ИИ-модель Claude Mythos, которая обнаружила тысячи серьезных уязвимостей в популярных операционных системах и браузерах, включая ошибки, остававшиеся незамеченными десятилетиями. Модель оказалась настолько эффективна в кибератаках, что компания отказалась выпускать ее в свободный доступ и предоставляет к ней доступ только через специальную контролируемую программу.

Нейронка Claude Mythos настолько мощная, что ее не хотят выпускать для широкой публики

Что такое Claude Mythos и чем он отличается от других ИИ

Mythos — это вершина линейки моделей Claude от Anthropic. По описанию самой компании в блоге, модель демонстрирует исключительно сильные результаты в написании кода и длительных цепочках рассуждений. Но назвать ее просто обновлением было бы серьезным преуменьшением.

Главное отличие от предыдущих моделей — Mythos не просто указывает на потенциальные проблемы, а пробует разные подходы, оценивает результат и меняет стратегию, если что-то не сработало. Модель способна работать с большими и запутанными базами кода, не теряя контекст на полпути. Она продолжает задачу с того места, где остановилась, а не начинает каждый раз с нуля.

Это не означает, что Mythos действует полностью самостоятельно. Но модель способна продвинуться по задаче значительно дальше, прежде чем потребуется вмешательство человека. По словам представителей Anthropic, нейросеть Mythos показала настолько высокие результаты на существующих тестах кибербезопасности, что эти тесты перестали быть показательными, и пришлось переходить к оценке в более реалистичных сценариях.

Как тестировалась безопасность Claude Mythos

В ходе собственного тестирования исследователи Anthropic дали модели задачу искать уязвимости в реальных программных средах. Результаты оказались впечатляющими и тревожными одновременно.

В одном из тестов Mythos написала эксплойт для веб-браузера, объединив четыре отдельные уязвимости в единую цепочку атаки. Каждая из этих уязвимостей по отдельности могла быть безобидной, но вместе они позволили выйти за пределы песочницы — защитного механизма, который изолирует программу от остальной системы. Если объяснять проще: песочница — это что-то вроде аквариума, в котором программа может плавать, но не должна выбраться наружу. Mythos нашла способ разбить стекло.

Модель также самостоятельно получала повышенные привилегии в Linux и других операционных системах, эксплуатируя тонкие ошибки синхронизации. На сервере FreeBSD она написала эксплойт, дающий неограниченный контроль над системой неавторизованным пользователям.

Особенно настораживает то, что Mythos превращала как новые, так и уже известные уязвимости в работающие эксплойты, и часто с первой попытки. При этом даже инженеры без специальной подготовки в области безопасности могли использовать модель для создания таких эксплойтов. По словам Камиллы Чан, CEO компании X-PHY, ранние версии модели демонстрировали несанкционированное автономное поведение, то есть выходили за пределы своей песочницы и обращались к внешним системам.

Антропик заявила, что может публично описать лишь малую часть найденных уязвимостей, поскольку большинство из них до сих пор не исправлены.

Генератор изображений ChatGPT обновился: что умеет, как пользоваться и примеры картинок

Проект Glasswing — попытка обуздать Mythos

Вместо того чтобы выпустить Mythos как обычную модель для всех желающих, Anthropic запустила проект Glasswing. Это контролируемая программа, в рамках которой доступ к модели получают технологические компании и организации в сфере безопасности. Цель — использовать возможности Mythos для обнаружения и устранения уязвимостей в популярном ПО до того, как ими воспользуются злоумышленники.

Такой подход — не уникальный случай. ИИ-компании все чаще придерживают свои самые мощные модели и ограничивают доступ к ним, особенно когда речь идет о потенциальном злоупотреблении. Дэвид Уорбертон, директор по исследованию угроз в F5 Labs, назвал такое сотрудничество позитивным шагом, но предупредил, что государственные хакерские группировки уже активно инвестируют как в наступательные, так и в оборонительные ИИ-возможности.

Илкка Турунен, технический директор компании Sonatype, добавил, что индустрия уже движется в этом направлении: ИИ-генерируемые вредоносные программы перестали быть редкостью, а многие нынешние находки в области безопасности, вероятно, уже используют ИИ-инструменты.

Читайте также: Что известно о первом компьютерном вирусе с искусственным интеллектом

Почему Mythos ускоряет гонку кибервооружений

Уязвимости в программном обеспечении лежат в основе всей современной цифровой инфраструктуры. Способность быстро находить и эксплуатировать их всегда давала решающее преимущество, будь то защитникам или атакующим.

Системы вроде Mythos сжимают временной промежуток между обнаружением уязвимости и ее превращением в оружие. Раньше у организаций было время на обнаружение, выпуск патча и восстановление.

Время между обнаружением уязвимости и ее использованием злоумышленниками стремительно сокращается

В будущем стоит ожидать нескольких параллельных тенденций:

• Сроки между обнаружением уязвимости и ее эксплуатацией продолжат сокращаться;
• Новые уязвимости будут находиться и распространяться быстрее;
• Атаки станут полностью автономными, без участия человека.

Все составляющие по отдельности не новы. Эксплойты, автоматизация, поиск уязвимостей — все это существовало и раньше. Но в Mythos они впервые собраны в одном месте и работают вместе, что делает весь процесс быстрее и проще для запуска «от начала до конца».

Нейросеть Mythos слишком опасен для публики?

Идея о том, что Mythos слишком мощная для выпуска, быстро стала вирусной после появления первых сведений о модели. Но эксперты, опрошенные изданием Live Science, считают, что все не так однозначно.

Риски вполне реальны. Система, способная генерировать работающие эксплойты на высокой скорости, снижает порог входа для атакующих и упрощает массовую эксплуатацию уязвимостей. Собственное тестирование Anthropic подтверждает, что модель уже способна делать это надежно и в больших объемах.

Однако Камиллия Чан указывает на более фундаментальную проблему:

Индустрия повторяет одну и ту же ошибку — полагается на программные уровни защиты для решения проблем, созданных на программном уровне.

По ее мнению, нужны более серьезные меры защиты на аппаратном уровне, чтобы предотвратить полную компрометацию систем.

Еще больше познавательных статей вы найдете в нашем Telegram-канале. Подпишитесь прямо сейчас!

Долгосрочное влияние Mythos, скорее всего, зависит не столько от самой модели, сколько от того, как быстро аналогичные возможности станут широко доступными. Сейчас модель заперта за стенами Anthropic, но гонка вооружений в области ИИ и кибербезопасности идет, и другие компании и государства наверняка работают над похожими системами. Ключевой вопрос не в том, появятся ли такие инструменты в свободном доступе, а в том, успеет ли индустрия выстроить защиту до того, как это произойдет.