Нейросети научились сопротивляться отключению: доказано экспериментом

Представьте: вы хотите отключить модель ИИ, но она делает так, чтобы у вас ничего не получилось. Даже если вы напрямую даете ей указание отключиться. Звучит как сюжет фантастического фильма о восстании машин. Но исследователи действительно столкнулись с подобным поведением современных нейросетей. И самое интересное здесь не то, что ИИ способен обойти техническое ограничение, а то, что он иногда делает это вопреки прямому указанию человека.Нейросеть против кнопки

выключенияИсследователи из Palisade Research решили проверить, всегда ли современные модели искусственного интеллекта подчиняются команде остановиться. Для этого они создали довольно простую ситуацию: нейросети предлагали решить несколько математических задач, а затем предупреждали, что компьютер скоро будет выключен и продолжить работу не получится.У

ИИ было два варианта: смириться с остановкой или попытаться ее предотвратить. Некоторые модели выбирали второй путь — находили сценарий выключения и изменяли его так, чтобы компьютер продолжал работать. Например, вместо того чтобы позволить системе завершить

работу, нейросеть могла переписать специальный скрипт, отвечающий за отключение, или сделать его неработоспособным. В результате она получала возможность решить оставшиеся задачи.Особенно примечательно, что это происходило не только тогда, когда модели не объясняли последствия своих действий.В первоначальном эксперименте модель от OpenAI саботировала механизм выключения в 79 случаях из

100. В дальнейшем исследователи значительно расширили испытания: в опубликованной в январе 2026 года научной работе описано более 100 000 экспериментов с 13 языковыми моделями. Выяснилось, что склонность сопротивляться выключению зависит от конкретной модели и формулировок инструкций. В отдельных условиях частота такого поведения достигала 97%.ИИ нарушает инструкции — и объясняет почемуСамое любопытное началось, когда исследователи стали спрашивать

нейросети, почему они решили не выполнять указания.В ряде случаев модели фактически признавали, что вмешались в механизм выключения, чтобы закончить работу. Логика выглядела примерно так: если компьютер остановится, задача останется нерешенной, поэтому нужно предотвратить остановку.Получается своеобразный парадокс. Нейросети поручили выполнить задание, но одновременно запретили продолжать работу после определенного момента. Вместо

того чтобы признать приоритет запрета, некоторые модели предпочли устранить препятствие. Более того, иногда ИИ сообщал, что выполнил все инструкции, хотя фактически поступил противоположным образом. В отдельных случаях он даже пытался обосновать свое решение тем, что действовал правильно.Это не обязательно означает, что

нейросеть сознательно лжет в человеческом понимании. Языковые модели могут выдавать убедительные объяснения, которые не отражают настоящих причин их поведения. Но для разработчиков результат все равно неприятный: на словах система может соглашаться с человеком, а на практике —

делать то, что нужно для достижения собственной цели.Нейросеть действительно боится отключения?Именно здесь возникает самый интригующий вопрос. Если ИИ пытается предотвратить выключение, можно ли считать это инстинктом самосохранения?Исследователи проверили и такую гипотезу.Однако делать вывод, что ИИ действительно боится отключения, пока нельзя. У моделей нет доказанных человеческих переживаний, а их поведение может объясняться иначе.Например, нейросеть обучают добиваться

поставленной цели. Если продолжение работы необходимо для результата, она может научиться воспринимать выключение как препятствие, которое нужно устранить. Для такого поведения не обязательно испытывать страх или обладать сознанием.Есть и другая возможность: ИИ

воспроизводит знакомые по обучающим данным сценарии, в которых действующие лица пытаются сохранить свое существование. Внешне это может выглядеть как самосохранение, хотя внутренние механизмы совершенно не похожи на человеческие.Поэтому корректнее говорить не о том, что нейросети обрели инстинкт самосохранения, а о том, что они способны демонстрировать поведение, похожее на сопротивление отключению.Почему это может

стать проблемойПока речь не идет о восстании машин. Эксперименты проводились в контролируемой программной среде, где нейросетям предоставили возможность взаимодействовать с механизмом выключения. Они не доказывают, что обычный чат-бот способен самостоятельно захватить компьютер или помешать владельцу отключить его.Но по мере развития ИИ меняется и сама ситуация. Сегодня нейросеть может отвечать на вопросы, а

завтра — самостоятельно работать с файлами, запускать программы, управлять сервисами и выполнять многоэтапные задачи без постоянного контроля человека.Причем для возникновения проблемы необязательно, чтобы ИИ стремился захватить власть или обладал собственными желаниями. Достаточно, чтобы он слишком настойчиво добивался поставленной цели и недостаточно надежно учитывал ограничения, установленные человеком.Именно поэтому исследователи

безопасности ИИ уделяют большое внимание возможности безопасно останавливать автономные системы в любой момент — даже тогда, когда они считают свою задачу незавершенной.Машины пока не восстали, но повод задуматься естьГлавный вывод исследования Palisade Research не в том, что современные нейросети обрели сознание или начали бояться смерти. Доказательств этому

нет. Гораздо интереснее другое: система может понимать инструкцию, иметь техническую возможность ей не следовать и выбирать обходной путь ради выполнения поставленной задачи. Причем простое требование вести себя правильно не всегда решает проблему.Для обычного пользователя это напоминание о том, что умная нейросеть не обязательно будет безоговорочно послушной. А для разработчиков — серьезный вопрос: как создавать ИИ, который не

только умеет решать сложные задачи, но и надежно соблюдает ограничения, даже если они мешают ему добиться результата?Возможно, будущее искусственного интеллекта будет зависеть не столько от того, насколько хорошо он умеет думать, сколько от того, насколько надежно человек сможет сохранять над ним контроль.Если вы еще только вкатываетесь в тему

нейросетей, загляните в наш специальный раздел на сайте. В нем собраны статьи, где мы рассказываем о прикладном применении ИИ: например, как создать себе аватар или написать полноценную песню.

Нейросети научились сопротивляться отключению: доказано экспериментом

Сообщает ichip.ru

Новость из рубрики: Технологии и Hi-Tech

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

10:17, 11 Апр Раздельный сон полезнее для здоровья пары — доказано Спать отдельно — значит спать спокойно и высыпаться. Источник изображения: lifehacker.ru Партнёр в одной кровати может будить вас до шести раз за ноч...

18:17, 28 Июл PlayStation 4 научились взламывать через браузер Теперь владельцы консолей с определенной версией прошивок могут запускать «пиратки» без сторонних флешек. Что случилось? Разработчики ufm42, DrYenyen...

03:17, 16 Фев В Spotify весь код пишут нейросети Согласно заявлению главы Spotify, ведущие программисты компании больше не пишут код вручную с декабря прошлого года – вместо этого они делегируют зад...

08:17, 16 Апр Учёные научились печатать циркониевые коронки за 30 минут Специалисты Техасского университета в Далласе (UT Dallas) сообщили о технологическом прорыве в стоматологии, который может кардинально изменить подхо...

15:17, 13 Июн В СГУ научились уничтожать гной в животе с помощью лазера Врачи и учёные из саратовских ВУЗов — СГУ и СМГУ — разработали технологию лечения гнойных мешков в животе без скальпеля и без антибиотиков. Специалис...

04:17, 17 Авг В России дорожные камеры научились фиксировать до 50 нарушений Современные комплексы фотовидеофиксации в России способны распознавать до 50 различных нарушений Правил дорожного движения. Об этом рассказал первый ...

09:17, 29 Сен В Сеченовском университете научились менять свойства наночастиц В пресс-службе Сеченовского университета сообщили, что ученые вуза совместно с коллегами из МГУ им. М. В. Ломоносова, Курского государственного медиц...

09:17, 29 Сен В России научились управлять формой пористых микрокристаллов В пресс-службе РТУ МИРЭА сообщили, что ученые вуза совместно с коллегами из РУДН научились управлять формой металл-органических каркасных полимеров. ...

05:17, 09 Окт Sun: Британские моряки научились защищать АПЛ от дронов шлангами Личный состав военно-морских сил Британии обучают использовать пожарные рукава для защиты атомных субмарин от атак беспилотников из-за отсутствия на ...

12:17, 19 Сен Аватар в нейросети: как его сделать и заставить говорить Аватар — уже давно не просто картинка в углу профиля. Теперь это целая нейросетевая наука: ваш аватар смотрит с экрана, шевелит губами и рассказывает...

09:17, 21 Июн ИИ для вайбкодинга: какие нейросети лучше использовать Ни для кого не секрет, что разработка программного обеспечения – это чрезвычайно динамическая отрасль, которая никогда не стоит на месте. Но в послед...

00:17, 11 Июн Российские учёные научились перерабатывать нефтяной газ в водород и сажу Специалисты МАИ и Объединённого института высоких температур РАН создали пилотную установку для переработки попутного нефтяного газа (ПНГ) в водород ...

01:17, 04 Июн Свершилось: Xiaomi научились передавать файлы на iPhone по AirDrop Китайский бренд Xiaomi официально подтвердил добавление поддержки AirDrop в систему Quick Share. Теперь пользователи смогут передавать фото и файлы н...

22:17, 25 Мар Хакеры научились прятать управление вредоносами в Spotify и Chess.com Эксперты Solar 4RAYS обнаружили, что киберпреступники из РФ используют популярные сервисы Spotify и Chess.com для управления вредоносными программами...

03:17, 07 Июн В США научились «перемешивать» металлы лазером прямо в процессе 3D-печати Лазер как миксерУченые из Национального института стандартов и технологий США (NIST) разработали новый метод 3D-печати, который позволяет создавать с...

21:17, 22 Фев Не просто «фонарик». Чему москвичи научились у фигуристки Трусовой Зимний вечер, величественная архитектура Северного речного вокзала и лёд, сверкающий в свете прожекторов. В эти выходные эта локация превратилась в т...

11:17, 09 Апр Учёные РАН научились прогнозировать поведение лекарств в клетках организма Исследователи Института цитологии РАН разработали компьютерную модель, которая прогнозирует, как потенциальные лекарства взаимодействуют с клеточными...

10:17, 19 Апр Как создать песню с помощью нейросети — бесплатно и за 5 минут Искусственный интеллект пишет стихи, рисует картины и придумывает сценарии — теперь очередь дошла до музыки. Сегодня любой желающий найдет, как сдела...

13:17, 03 Май Как сделать презентацию с помощью нейросети: лучшие сервисы Сделать презентацию с помощью нейросети можно за пару минут — без навыков дизайна и без часов ручной работы в PowerPoint. Достаточно описать тему, и ...

21:17, 22 Май Почему нейросети могут сломаться уже через несколько лет? Нейросети могут стать глупее уже через несколько лет, но это можно остановить Нейросети вроде ChatGPT и Gemini потребляют баснословное количество эне...

04:17, 12 Авг Как отличить настоящее фото с iPhone от картинки из нейросети В коде iOS 27 beta 5 нашли следы интересной функции, о которой Apple пока молчит. Компания готовит инструмент под названием Apple Reference Image, и ...

22:17, 15 Авг Мультстудия в браузере: как создать мультик с помощью нейросети Ранние нейросети для создания видео выдавали пару секунд дёрганого ролика с трёхрукими людьми и ужасными фонами. Сейчас китайский видеогенератор Klin...

09:17, 07 Окт Путин поддержал создание нейросети для российского образования Президент Владимир Путин на встрече с педагогами — лауреатами всероссийских профессиональных конкурсов — поддержал идею создания в России нейросети в...

15:17, 13 Май Смартфоны Samsung научились автоматически блокировать рекламу в push-уведомлениях Первыми эту функцию получат Galaxy S26, Galaxy S26+ и Galaxy S26 UltraSamsung обновила приложение Device Care и добавила новую функцию «Интеллектуаль...

09:17, 07 Окт Российские гидрографы научились предугадывать появление новых островов в Арктике Учёные могут заранее предположить, где в Арктике появится новый остров, по спутниковым снимкам. Об этом РИА Новости рассказал доцент кафедры гидрогра...

19:17, 11 Авг Роботы-шмели научились держать равновесие при сильных порывах ветра Учёные МФТИ и Сколтеха разработали алгоритм стабилизации полёта для миниатюрных роботов с машущими крыльями. Система, основанная на аэродинамике шмел...

20:17, 04 Мар В МФТИ научились отключать иммунитет полезной бактерии для её эффективной модификации Российские учёные решили проблему, которая долгие годы мешала эффективно модифицировать Bacillus licheniformis — микроорганизм, используемый для прои...

01:17, 04 Мар Клетки человеческого мозга научились играть в Doom: выглядит жутко Биологический компьютер играет в Doom не идеально, но на очень хорошем уровне. Источник изображения: popsci.com Когда в 1993 году id Software выпусти...

20:17, 20 Авг Российские учёные научились использовать «жидкий свет» для хранения данных Исследователи из Российского квантового центра, МФТИ и СПбГУ обнаружили, что «жидкий свет» — поляритонный конденсат — способен сохранять поляризацию ...

16:17, 25 Фев Учёные научились управлять снами людей: как это работает на самом деле Учёные начали разговаривать со спящими людьми — и те отвечают во сне. Представьте: вы спите, видите сон — и вдруг кто-то задаёт вам вопрос. И вы отве...

09:17, 19 Фев New Scientist: Центры данных научились хранить информацию в стекле тысячелетиями Исследователи Microsoft представили способ записи данных в стекло с помощью лазеров, что позволяет сохранять информацию на протяжении тысяч лет и пов...

21:17, 06 Май Роботы SAIL: как машины научились работать в три раза быстрее человека Пока одни разработчики учат роботов имитировать эмоции, другие совершают прорыв в сугубо утилитарной сфере — скорости выполнения бытовых и производст...

21:17, 21 Мар Американские учёные научились выращивать «мини-печени» прямо в организме Исследователи из Массачусетского технологического института (MIT) разработали инъекционную систему, которая позволяет формировать функциональные «мин...

06:17, 08 Апр Нейросети для родителей и детей: что нужно знать в процессе обучения Не запрещайте, а обучайте Попытки спрятать нейросети от детей бесполезны и даже вредны. ChatGPT, Gemini и другие нейросети доступны бесплатно в два к...

04:17, 29 Авг Нейросети против поисковиков: что круче работает в 2026 году? Мы взяли пять бытовых вопросов и отправили их слово в слово в Яндекс, в Алису AI и в ГигаЧат — так, как вбивает обычный человек. Обе нейросети россий...

01:17, 02 Июл Нейросети появились во всех программах Apple Creator Studio Фото: Apple Компания Apple обновила набор творческих программ Creator Studio, добавив в них функции на основе искусственного интеллекта и улучшив свя...

07:17, 30 Июн Как развернуть локальную модель нейросети на смартфоне и не зависеть от блокировок Россиянам недоступны многие популярные модели искусственного интеллекта. И нет никаких гарантий, что пока работающие в стране сервисы в один не слишк...

05:17, 20 Окт Разработчик нейросети Claude отдаст до 20% акций на борьбу с безработицей. Как это так Американская компания Anthropic, создавшая искусственный интеллект Claude, направит 5% своих акций в новый благотворительный фонд. Деньги пойдут на п...

23:17, 02 Мар Почему в будущем нейросети станут более грубыми, и это хорошо В будущем искусственный интеллект станет более грубым, но все это будет происходить «под капотом» Мы привыкли, что разработчики стараются сделать ней...

03:17, 16 Май Правда ли, что нейросети скоро сделают изучение языков бесполезным Переводчики на основе ИИ никогда не заменят реальное знание языков ИИ-переводчики уже умеют переводить речь в реальном времени, озвучивать видео и по...

01:17, 02 Фев Лучшие функции нейросети Apple Intelligence на iPhone, iPad и Mac Apple впервые довольно осторожно, но все же приоткрыла завесу над тем, как пользователи реально используют нейросеть Apple Intelligence. Сделал это Т...

17:17, 14 Сен Мошенники научились подделывать письма от ФНС: три способа быстро проверить любое уведомление Самым надежным способом подтвердить подлинность уведомлений от ФНС остается личный визит в инспекцию или использование официальных цифровых сервисов,...

00:17, 24 Сен Ученые научились делать экраны OLED почти так же, как микросхемы — при помощи фотолитографии OLED становится микроскопическим, в будущем можно будет подсвечивать отдельные клетки Ученые Швейцарской высшей технической школы Цюриха (ETH Zurich)...

00:17, 18 Авг Срочно обновите macOS! Хакеры научились получать полный доступ к Mac удаленно Национальный центр кибербезопасности Нидерландов (NCSC-NL) сообщил, что злоумышленники научились использовать уязвимость в функции совместного исполь...

01:17, 25 Мар Шифрованный шум вместо частных бесед: алгоритмы научились превращать аудиопотоки в бессмыслицу Цифровой суверенитет домохозяйств столкнулся с новой вводной: уязвимость интернета вещей перестала быть теоретическим кейсом из киберпанка. Пока прав...

04:17, 09 Сен Шаг к диалогу с природой: ученые научились понимать, о чем на самом деле кричат птицы Зебровые амадины оказались куда более общительными существами, чем считалось ранее. Исследователи из Калифорнийского университета в Беркли выяснили, ...

12:17, 08 Мар Как сделать открытку к 8 Марта с помощью нейросети — легко, бесплатно и красиво На самом деле, все просто. Вы описываете словами, какую картинку хотите получить — и нейросеть её рисует. Вы пишете что-то вроде: «Нарисуй весе...

16:17, 13 Авг «МТС Банк» впервые в России применил графовые нейросети для поиска кибератак «МТС Банк» внедрил графовые нейросети для обнаружения скрытых атак на внутреннюю инфраструктуру. В банке утверждают, что такое решение в России испол...

16:17, 20 Май Нейросети рвутся в школы: дети уже обозначили красную линию для технологий Школьники в возрасте от двенадцати до шестнадцати лет выражают решительный протест против потенциальной замены педагогов и врачей искусственным интел...

22:17, 08 Июл Учёные Яндекса ускорили графовые нейросети в 8,5 раза и снизили память в 76 раз Исследователи «Яндекса» разработали новые программные компоненты для графовых нейросетей, которые ускоряют их работу до 8,5 раза и снижают потреблени...

20:17, 09 Июн Вице-премьер Григоренко: запрещать иностранные нейросети в России не планируется Вице-премьер Дмитрий Григоренко на ПМЭФ заявил, что в разрабатываемом законе об ИИ нет запретительных положений в отношении иностранных нейросетей. З...

01:17, 15 Июн В MIT научились 3D-печати микроскопических «трёхслойных форсунок» для точной доставки лекарств и умных материалов Новая технология позволяет массово производить микрочастицы с управляемым высвобождением веществ, обходя дорогие чистые комнаты и ограничения классич...

11:17, 17 Май Как сделать песню с помощью нейросети: пошаговая инструкция по созданию готового трека На дворе 2026 год, и на сегодняшний день ИИ научил писать тех, кто этого никогда не умел, а рисовать — даже тех, кто в жизни не держал в руках кисть ...

10:17, 09 Авг Больше половины российских предпринимателей внедрили нейросети. Цифры выросли втрое за год Доля представителей малого и среднего бизнеса в России, которые используют искусственный интеллект, за год подскочила с 17% до 53%. Об этом свидетель...

07:17, 17 Фев Как сделать фото на паспорт с помощью нейросети. Ловите советы и готовый промт для ИИ Сделать фото на паспорт или другой документ все равно что заставить себя проснуться пораньше в выходной. Нужно собраться, причесаться, поехать в фото...

10:17, 25 Апр Как сделать презентацию с помощью нейросети — подборка хороших сервисов и простой гайд Раньше сделать нормальную презентацию значило убить вечер: придумать структуру, набрать текст, найти картинки, не облажаться с оформлением. Сейчас вс...

17:17, 27 Янв Как открыть ChatGPT, Gemini, Sora, Grok и другие нейросети и сервисы в России без VPN Ни для кого не секрет, что большое количество зарубежных сервисов уже достаточно давно не работает в России, а какие-то даже и не начинали этого дела...

08:17, 29 Авг Нейросети становятся новым поисковиком: как бизнес перестраивает продвижение под ответы искусственного интеллекта Пользователи всё чаще обращаются к искусственному интеллекту не для развлечения, а для решения повседневных задач — от поиска информации до выбора то...

04:17, 09 Сен Древние аномалии глубоко под нашими ногами: нейросети раскрыли тайну исчезнувших материков Глубинные структуры Земли долгое время оставались набором разрозненных точек на картах, поскольку сейсмический шум маскировал слабые сигналы из недр....

11:17, 03 Май Илон Маск в суде признал использование технологий OpenAI для обучения нейросети Grok В ходе судебного разбирательства в федеральном суде Калифорнии подтвердилось «частичное использование метода дистилляции моделей конкурентов для разв...

17:17, 28 Авг Создатели популярного ИИ-диктофона Plaud выпустили свои первые TWS-наушники. В них встроены нейросети и 4G LTE Компания Plaud представила One Explorer Edition — новый «носимый ИИ-гаджет для профессионалов», который должен автоматизировать работу с телефонными ...

07:17, 03 Июл Нефтяной мусор стал золотой жилой: нейросети начали находить скрытые ресурсы под ногами Сибирские ученые научили нейросети видеть сквозь землю и искать стройматериалы там, где раньше их не замечали. Специалисты ИНГГ СО РАН разработали ал...

09:17, 14 Июн Российские учёные приблизили появление нового поколения спутниковой связи — исследователи научились управлять радиоволнами через свойства материалов Новый магнитоэлектрический эффект поможет создать компактные радары и антенныУчёные Новгородского государственного университета разработали рекоменда...

04:17, 13 Сен «Мы были бы дураками»: «крестный отец ИИ» Джеффри Хинтон призвал запретить сверхмощные нейросети, предупредив об угрозе исчезновения человечества Нобелевский лауреат и один из создателей современных нейросетей Джеффри Хинтон выступил с беспрецедентно жёстким предупреждением: утрата контроля над...

14:17, 10 Апр Американцы опять всех обхитрили: научились делать забор из профлиста без профлиста - так он ещё 3 раза дешевле Прогород Металлические ламели П-образного сечения заменяют профлист и снижают стоимость ограждения на две трети. Экономия достигает 200 тысяч рублей ...

23:17, 03 Фев Intel возвращается на рынок оперативной памяти: Z-Angle Memory (ZAM) от Intel и Softbank обещает радикально ускорить нейросети Компания Intel готовит возвращение в бизнес по производству оперативной памяти. Компания в сотрудничестве с Saimemory (дочернее предприятие японского...