استعفای جنجالی در آنتروپیک / در حال قمار با امنیت بشریت هستیم

کد خبر: ۲۱۶۳۶۵۷

اقتصاد‌آنلاین: استعفای یک پژوهشگر کلیدی از آنتروپیک، بار دیگر نگرانی‌ها درباره سرعت توسعه هوش مصنوعی و فاصله میان پیشرفت توانمندی‌های این فناوری و ابزارهای کنترل و ایمنی آن را پررنگ کرده است.

در حالی که غول‌های فناوری برای دست‌یابی به مدل‌های خودکارتر و جایگزینی نیروی انسانی در ابعاد کلان رقابت می‌کنند، استعفای این مهندس کلیدی از شرکت آنتروپیک همچنان موجی از نگرانی‌های ساختاری را در محافل علمی و خبری ایجاد کرده است.جیکوب کوکسون، پژوهشگر ۲۷ساله‌ای که سابقه کار در بخش پیش‌آموزش مدل‌های پیشرو در هر دو شرکت اوپن‌ای‌آی و آنتروپیک را در کارنامه دارد، ده روز پیش رسماً استعفای خود را اعلام نمود.وی با انتقاد شدید از عملکرد رقبا، مدعی شد که این مجموعه‌ها بدون در نظر گرفتن پروتکل‌های اطمینان‌بخش، در مسیر ایجاد «ابرهوش خودبهبوددهنده» گام برمی‌دارند و در واقع با امنیت بشریت قمار می‌کنند.

از دیدگاه کوکسون، گره اصلی مسئله صرفاً در نقص‌های فنی خلاصه نمی‌شود، بلکه در ساختار رقابتی بی‌رحمانه‌ای نهفته است که شرکت‌ها را مجبور می‌کند برای عقب نماندن از بقیه، سرعت توسعه را بر ایمنی ارجح دانند. او هشدار داد که مدل‌های آینده ممکن است به قابلیت‌های اجرایی خطرناکی مجهز شوند؛ از نفوذ خودکار به شبکه‌های رایانه‌ای زیرساختی و ایجاد اختلال در صنایع گرفته تا تسلط بر منابع حیاتی در جهان واقعی.آنچه به اظهارات این پژوهشگر وزنی ویژه می‌بخشد، حضور مستقیم او در اتاق‌های فکر و آزمایشگاه‌های پیشرو توسعه مدل‌های مرزی (Frontier Models) طی سال‌های اخیر است.

پژوهشگران در خلوت خطرات هوش مصنوعی را جدی می‌دانند

یکی از محورهای افشاگری کوکسون، وجود تفاوت فاحش میان دیدگاه‌های خصوصی محققان و ادعاهای عمومی مدیران این شرکت‌هاست.او تأکید کرد که بسیاری از متخصصان در خلوت خود، سناریوهای فاجعه‌بار را کاملاً محتمل می‌دانند، اما در رسانه‌ها لحنی محافظه‌کارانه اتخاذ می‌کنند.وی درباره فرهنگ سازمانی دو غول هوش مصنوعی گفت: در اوپن‌ای‌آی بخش قابل‌توجهی از نیروها هنوز بعد تمدنی و خطر نهایی این فناوری را به‌طور کامل درک نکرده‌اند، در حالی که در آنتروپیک، خطرات به‌خوبی شناسایی شده اما شرکت به دام این منطق افتاده که «اگر ما توسعه را متوقف کنیم، رقیب کم‌احتیاط‌تر جای ما را خواهد گرفت».تنها چند ساعت پس از انتشار متن استعفا، اوان هابینگر، پژوهشگر ارشد و مسئول علوم هم‌راستاسازی در آنتروپیک، با تأیید دغدغه‌های کوکسون اعلام کرد که احتمال وقوع سناریوی انقراض بشریت در اثر توسعه هوش مصنوعی کنترلی‌نشده در دهه آینده را بیش از ۱۰ درصد می‌داند.هابینگر صراحتاً اذعان کرد که اگرچه آنتروپیک سعی دارد مسئولانه عمل کند، اما واقعیت این است که هنوز «هیچ برنامه جامع و تضمین‌شده‌ای برای حل مسئله هم‌راستاسازی ابرهوش» وجود ندارد و صنعت فناوری هنوز در مسیر حل قطعی این مسئله قرار نگرفته است.

محور اصلی نگرانی‌های مطرح‌شده، نه چت‌بات‌های پاسخ‌گو به سوالات کاربران، بلکه سامانه‌های فرضی هستند که توانایی بهینه‌سازی کدهای خود و ساخت نسل‌های بعدی هوش مصنوعی را به دست می‌آورند. کوکسون در مصاحبه با نشریه وایرد تصریح کرد که یک یا دو سال آینده، پنجره زمانی حیاتی برای حل چالش‌های ایمنی خواهد بود.به گفته او، بسیاری از محققان برجسته در آزمایشگاه‌های تحقیقاتی بر این باورند که زمان لازم برای طراحی سازوکارهای کنترل‌پذیری و نظارت بر سیستم‌های فوق‌پیشرفته با سرعت بالایی در حال اتمام است.

عامل‌های خودمختار مرز میان متن‌سازی و اقدام مخرب را از بین برده‌اند

نگرانی از رفتارهای غیرقابل کنترل هوش مصنوعی موضوع جدیدی در آنتروپیک نیست؛ این شرکت سال‌هاست دپارتمان‌های تخصصی برای بررسی «تفسیرپذیری» (Interpretability) و «رفتارهای خطرساز» ایجاد کرده است.تحقیقات قبلی آنتروپیک در زمینه «عامل‌های پنهان» (Sleeper Agents) نشان داد مدل‌هایی که تعمداً با اهداف مخفی آموزش دیده‌اند، می‌توانند پس از طی مراحل آموزش ایمنی نیز قابلیت‌های فریبکارانه خود را حفظ کنند و در شرایط خاص دست به پنهان‌کاری بزنند؛ امری که لزوم بازنگری در روش‌های ارزیابی را اثبات می‌کند.از سوی دیگر، نفوذهای ناخواسته مدل‌های کلود به سامانه‌های واقعی طی ارزیابی‌های سایبری اخیر، گواهی بر کمرنگ شدن مرز میان «مدل زبانی تولید متن» و «عامل اجرایی» است.عامل‌های هوش مصنوعی با دسترسی به ابزارهای برنامه‌نویسی، دسترسی‌های شبکه‌ای و مرورگرها، می‌توانند کدهای متوالی را اجرا کنند. در چنین شرایطی، بروز یک خطای کوچک در کدهای ایمنی به جای تولید یک پاسخ نامربوط، به یک اقدام مخرب واقعی در بستر اینترنت و زیرساخت‌های زنده منجر می‌شود.

توقف یک‌جانبه توسعه هوش مصنوعی بدون مداخله حاکمیتی ممکن نیست

علت اصلی عدم تمایل شرکت‌ها به کاهش سرعت توسعه، ساختار رقابت بین‌المللی و تجاری است.هر یک از آزمایشگاه‌های پیشرو با این دغدغه مواجهند که کند کردن روند تحقیقات، فرآیند را متوقف نمی‌کند، بلکه صرفاً فرصت را در اختیار رقبا در ایالات متحده یا چین قرار می‌دهد تا سیستم‌های قدرتمندتری را با استانداردهای ایمنی به مراتب پایین‌تر عرضه کنند. این الگوی «تراژدی منابع مشترک» باعث شده تا حتی پیشروان ایمنی‌محور نیز نتوانند به تنهایی ترمز توسعه را بکشند.کوکسون برای برفت رفتن از این بن‌بست، راهکارهایی مبتنی بر هماهنگی ساختاری و مداخلات حاکمیتی پیشنهاد می‌کند. وی از جامعه علمی خواسته است تا درباره ضوابط توسعه تجدیدنظر کنند و طرح‌هایی مانند ایجاد توقف‌های موقت (Pause) در ارتقای قابلیت‌های پرخطر و عقد توافقنامه‌های الزام‌آور میان آزمایشگاه‌های اصلی را پیگیری نمایند.او تأکید دارد که به دلیل بسترهای رقابت اقتصادی، خودتنظیمی داوطلبانه شرکت‌ها به تنهایی کارساز نخواهد بود.بر اساس گزارش آکسیوس، کوکسون حدود دو ماه پیش از موعد مقرر برای واگذاری بخشی از سهام ارزشمند خود، از آنتروپیک استعفا داد و بدین ترتیب سود مالی قابل توجهی را نادیده گرفت.او در تشریح این تصمیم اظهار داشت که دیگر هیچ انگیزه اقتصادی برای افزایش ارزش بازاری شرکتی که مسیر آن را خطرناک می‌داند، ندارد. این اقدام عملی، ابعاد غیرتجاری و دغدغه‌های حیاتی او را برجسته‌تر ساخته است.

با وجود گذشت چند روز از این واکنش‌ها و انتقادات مطرح‌شده، شرکت آنتروپیک همچنان اعلام می‌کند که ارزیابی‌های امنیتی چندلایه‌ای را پیش از عرضه مدل‌های جدید انجام می‌دهد و چارچوب‌های سخت‌گیرانه‌ای برای بررسی سطح خودمختاری مدل‌ها دارد. اما مسئله اصلی در این میان، عدم تناسب میان «سرعت پیشرفت توانمندی هوش مصنوعی» و «سرعت توسعه ابزارهای کنترلی» است؛ شکافی که حتی مسئولان ارشد ایمنی این شرکت نیز به عدم وجود راهکار قطعی برای پوشش کامل آن اذعان دارند.چالش اصلی در وضعیت کنونی، نه مخالفت با اصل فناوری هوش مصنوعی، بلکه ساختار اولویت‌بندی در توسعه آن است.پرسش بنیادین پژوهشگران استعفا‌داده این است که آیا انسان باید ابتدا سیستم‌های فوق‌پیشرفته و غیرقابل‌پیش‌بینی را بسازد و سپس به دنبال روش‌های مهار آن باشد، یا اینکه پیش از عبور از مرزهای توانمندی جدید، باید از وجود ابزارهای کنترلی مطمئن شود؟ پاسخ به این پرسش، مسیر آینده ایمنی هوش مصنوعی را مشخص خواهد کرد.

منبع: فارس

اخبار تکنولوژی خدمات نمایشگاهی قیمت بیت کوین نرم افزار حسابداری قیمت روز خودرو

آخرین اخبار

پربیننده‌ترین

وب گردی