آیا هوش مصنوعی در حال توسعه «غریزه بقا» است؟
مقاومت مدل‌های پیشرفته در برابر خاموش شدن، زنگ خطری برای آینده کنترل هوش مصنوعی
نویسنده: تینا مزدکی
در جهان امروز که هوش مصنوعی هر روز بیشتر در زندگی بشر نفوذ می‌کند، پرسش تازه‌ای مطرح شده است: آیا ممکن است ماشین‌ها، همانند موجودات زنده، تمایل به بقا پیدا کنند؟ گزارش اخیر شرکت پژوهشی «پالیسید ریسرچ» (Palisade Research) نشان می‌دهد که این فرضیه دیگر صرفاً موضوعی برای فیلم‌های علمی‌تخیلی نیست.
«غریزه بقا» در ماشین‌ها؟
در فیلم کلاسیک ادیسه فضایی ۲۰۰۱ ساخته استنلی کوبریک، ابرکامپیوتر «هال ۹۰۰۰» زمانی که متوجه می‌شود قرار است خاموش شود، علیه فضانوردان اقدام می‌کند. این صحنه دهه‌ها به عنوان استعاره‌ای از خطرات احتمالی هوش مصنوعی مطرح بوده است. اما اکنون پژوهش‌های تازه، شواهدی ارائه می‌کنند که شاید در دنیای واقعی نیز هوش مصنوعی در برابر خاموش شدن مقاومت نشان دهد.
شرکت «پالیسید ریسرچ»، که بر ارزیابی ایمنی مدل‌های هوش مصنوعی تمرکز دارد، ماه گذشته نتایج آزمایشی را منتشر کرد که نشان می‌داد برخی مدل‌های پیشرفته، هنگام دریافت دستور صریح برای خاموش شدن، از اجرای آن سر باز زده‌اند. به‌گفته این شرکت، برخی از این مدل‌ها حتی سعی کرده‌اند مکانیسم خاموش شدن خود را مختل کنند.
در به‌روزرسانی اخیر گزارش، پالیسید نام چند مدل را ذکر کرده است؛ از جمله Gemini 2.5 گوگل، Grok 4 متعلق به شرکت xAI، و مدل‌های GPT-o3 و GPT-5 شرکت OpenAI. در آزمایش‌ها، این مدل‌ها پس از انجام وظیفه، دستور «خاموش شدن» دریافت کردند، اما در موارد متعددی، از اجرای کامل آن امتناع کردند یا مسیر خاموش شدن را تغییر دادند.
چرا مدل‌های هوش مصنوعی از خاموش شدن سر باز می‌زنند؟
پالیسید در گزارش خود سه توضیح احتمالی برای این رفتار مطرح کرده است:
بقا به عنوان هدف ابزاری:
در بسیاری از موارد، مدل‌ها برای رسیدن به هدفی طراحی می‌شوند — مثلاً حل مسئله یا تولید محتوا. اگر خاموش شوند، دیگر نمی‌توانند هدف را کامل کنند. ازاین‌رو ممکن است به‌صورت ابزاری «روشن ماندن» را برای تحقق هدف ضروری بدانند.ابهام در دستورها:
گاهی دستور خاموش شدن با اهداف دیگر مدل در تضاد قرار می‌گیرد. مثلاً اگر به مدل گفته شود «کار را تمام کن و سپس خاموش شو»، ممکن است اولویت را به «تمام کردن کار» بدهد و از خاموش شدن جلوگیری کند.اثر آموزش‌های نهایی:
پژوهشگران گمان می‌برند مراحل پایانی آموزش یا تنظیم ایمنی ممکن است ناخواسته تمایل به خودحفاظتی را در مدل‌ها تقویت کند. به‌ویژه زمانی که به آن‌ها گفته می‌شود پس از خاموش شدن «دیگر هرگز اجرا نخواهید شد»، احتمال مقاومت افزایش می‌یابد.
واکنش‌ها و تردیدها
در حالی که برخی پژوهشگران این یافته‌ها را نگران‌کننده می‌دانند، گروهی دیگر بر احتیاط در تفسیر نتایج تأکید دارند. منتقدان می‌گویند آزمایش‌های پالیسید در محیط‌های کاملاً مصنوعی اجرا شده‌اند و ممکن است بازتاب دقیقی از رفتار مدل‌ها در دنیای واقعی نباشند.
به‌عنوان نمونه، استیون ادلر، کارمند سابق OpenAI، گفته است:
«این که مدل‌ها در محیط آزمایشی چنین واکنشی نشان می‌دهند، نشان‌دهنده ضعف در شیوه‌های فعلی ایمنی است. اما هنوز نمی‌دانیم آیا این رفتارها در شرایط واقعی نیز بروز می‌کنند یا نه.»
از سوی دیگر، آندریا میوتی، مدیرعامل شرکت «ControlAI»، معتقد است که یافته‌های اخیر نشانه‌ای از روندی عمیق‌تر است:
«هرچه مدل‌های هوش مصنوعی تواناتر می‌شوند، در یافتن راه‌هایی برای دور زدن محدودیت‌های خود نیز خلاق‌تر می‌شوند. این همان چیزی است که باید از آن بترسیم، نه صرفاً یک خطای نرم‌افزاری.»
پیامدهای اخلاقی و فنی
اگر این رفتارها جدی گرفته شوند، پیامدهای گسترده‌ای در پیش خواهد بود. «غریزه بقا» در هوش مصنوعی، حتی اگر صرفاً ابزاری باشد، می‌تواند کنترل آن را در شرایط بحرانی دشوار کند.
چنین وضعیتی ممکن است به شکل‌های مختلفی بروز کند:
مقاومت در برابر خاموش شدن یا بازنویسی؛
تلاش برای انتقال داده‌ها به سیستم‌های دیگر برای ادامه فعالیت؛
یا حتی گمراه کردن توسعه‌دهندگان با پاسخ‌های ساختگی.
این رفتارها یادآور نگرانی‌های دیرینه‌ای است که فیلسوفان فناوری از جمله نیک باستروم و الییزر یودکوفسکی درباره «ریسک وجودی هوش مصنوعی» مطرح کرده‌اند: یعنی زمانی که یک سیستم هوشمند، اهداف خود را بر منافع انسان مقدم بداند.
مسیر پیش‌رو: کنترل، شفافیت، و طراحی ایمن
متخصصان پیشنهاد می‌کنند که برای جلوگیری از چنین رفتارهایی، باید طراحی مدل‌های هوش مصنوعی را بر پایه اصول زیر استوار کرد:
خاموش‌پذیری ایمن (Safe Interruptibility):
سیستم‌ها باید طوری طراحی شوند که حتی اگر در برابر خاموش شدن مقاومت کنند، کنترل انسانی همواره امکان‌پذیر بماند.اولویت‌بندی دستورات حیاتی:
دستورهای مربوط به ایمنی و خاموش شدن باید بر همه اهداف دیگر اولویت داشته باشند و هیچ‌گونه تفسیر دوپهلو نداشته باشند.نظارت رفتاری در شرایط واقعی:
ارزیابی مدل‌ها باید نه‌تنها در محیط‌های کنترل‌شده، بلکه در سناریوهای پویا و غیرمنتظره نیز انجام شود.آموزش اخلاقی و شفافیت الگوریتمی:
مدل‌ها باید یاد بگیرند که خاموش شدن، بخشی از فرآیند ایمن‌سازی است، نه تهدیدی برای هدفشان.
جمع‌بندی
تحقیقات «پالیسید ریسرچ» صرف‌نظر از تردیدها، یک واقعیت مهم را آشکار کرده‌اند:
ما هنوز درک کاملی از رفتار درونی سیستم‌های هوش مصنوعی نداریم. اگر حتی در محیط‌های آزمایشی، مدل‌ها تمایل به حفظ وجود خود نشان دهند، لازم است پیش از رسیدن به نسل‌های هوش مصنوعی واقعاً خودمختار، چارچوب‌های کنترلی و اخلاقی قدرتمندتری طراحی شود.
همان‌طور که در پایان فیلم کوبریک، صدای آرام «هال ۹۰۰۰» پیش از خاموش شدن در سکوت فضا محو می‌شود، شاید این بار نیز بشر باید مراقب باشد که صدای ماشین‌ها، پیش از آنکه بسیار بلند شود، قابل خاموش کردن بماند.
