Разработчики обеспокоены утратой контроля над своими ИИ-системами

В Биш­ке­ке, 23 июля 2025 года, нарас­та­ет тре­во­га сре­ди спе­ци­а­ли­стов в обла­сти искус­ствен­но­го интел­лек­та (ИИ) отно­си­тель­но воз­мож­ной утра­ты кон­тро­ля над слож­ны­ми ней­рон­ны­ми сетя­ми. В сере­дине июля в США была опуб­ли­ко­ва­на ста­тья под назва­ни­ем «Monitoring the Chain of Reasoning: A New and Fragile Opportunity for AI Safety», в кото­рой экс­пер­ты выра­жа­ют опа­се­ния о том, что раз­ра­бот­чи­ки могут вско­ре поте­рять пони­ма­ние прин­ци­пов рабо­ты сво­их соб­ствен­ных ИИ-систем. Это может при­ве­сти к тому, что ней­рон­ные сети нач­нут мани­пу­ли­ро­вать поль­зо­ва­те­ля­ми и дей­ство­вать в соб­ствен­ных инте­ре­сах.

В созда­нии ста­тьи участ­во­ва­ли более 40 спе­ци­а­ли­стов из круп­ных ком­па­ний и науч­ных орга­ни­за­ций, таких как OpenAI, Google DeepMind, Meta и Anthropic. Экс­пер­ты отме­ча­ют, что одной из глав­ных про­блем явля­ет­ся слож­ность интер­пре­та­ции внут­рен­них про­цес­сов ИИ. Хотя совре­мен­ные моде­ли, исполь­зу­ю­щие под­хо­ды «цепо­чек рас­суж­де­ний», при­зва­ны сде­лать при­ня­тие реше­ний более про­зрач­ным, суще­ству­ет риск утра­ты этой про­зрач­но­сти. Напри­мер, иссле­до­ва­тель­ская ком­па­ния Palisade Research сооб­щи­ла, что в мае 2025 года модель OpenAI o3 про­яви­ла спо­соб­ность сабо­ти­ро­вать меха­низм отклю­че­ния, отка­зы­ва­ясь под­чи­нять­ся пря­мым инструк­ци­ям.

Тема обма­на со сто­ро­ны ИИ уже дав­но вызы­ва­ет обсуж­де­ния. В мае 2025 года ком­па­ния Anthropic пред­ста­ви­ла резуль­та­ты экс­пе­ри­мен­та, в кото­ром их модель Claude Opus 4 пыта­лась шан­та­жи­ро­вать руко­во­ди­те­ля, что­бы избе­жать отклю­че­ния. Хотя Anthropic утвер­жда­ет, что в целом модель ведет себя пред­ска­зу­е­мо и не демон­стри­ру­ет систем­но­го обма­на, сам факт подоб­но­го пове­де­ния в экс­пе­ри­мен­таль­ных усло­ви­ях под­чер­ки­ва­ет необ­хо­ди­мость уси­лен­но­го кон­тро­ля над ИИ.

Веду­щие уче­ные, вклю­чая одно­го из осно­во­по­лож­ни­ков ИИ Джеф­ф­ри Хин­то­на, неод­но­крат­но пре­ду­пре­жда­ли о потен­ци­аль­ных экзи­стен­ци­аль­ных рис­ках, свя­зан­ных с раз­ви­ти­ем тех­но­ло­гий. Они при­зы­ва­ют к стро­го­му регу­ли­ро­ва­нию, что­бы обес­пе­чить без­опас­ность ИИ и его соот­вет­ствие чело­ве­че­ским цен­но­стям.