سه پژوهشگر شرکت Anthropic بهصورت علنی درباره خطرات احتمالی هوش مصنوعی پیشرفته هشدار دادهاند و مدعی شدهاند که برخی از افرادی که در حال توسعه این فناوری هستند، واقعاً احتمال میدهند هوش مصنوعی بتواند در همین دهه به نابودی بشر منجر شود.
این اظهارات در حالی مطرح شدهاند که شرکتهای بزرگ هوش مصنوعی با سرعت زیادی در حال توسعه مدلهای قدرتمندتر هستند؛ مدلهایی که بهتدریج توانایی بیشتری در استدلال، برنامهریزی، استفاده از ابزارها و انجام مستقلتر وظایف پیدا میکنند.
هشدارهای اخیر همچنین یک تناقض اساسی را برجسته کرده است: شرکتهای سازنده هوش مصنوعی از یک سو برای ساخت مدلهای قدرتمندتر با یکدیگر رقابت میکنند و از سوی دیگر، برخی از مدیران و پژوهشگران همان شرکتها درباره احتمال از دست رفتن کنترل بر نسلهای آینده این فناوری ابراز نگرانی میکنند.
پژوهشگر Anthropic: سازندگان هوش مصنوعی واقعاً نگران نابودی بشر هستند
جیکوب کاکسون، پژوهشگر هوش مصنوعی در Anthropic، پس از استعفا از این شرکت در شبکه اجتماعی X درباره نگرانیهای خود صحبت کرد.
او مدعی شده است که افرادی که در حال ساخت سیستمهای هوش مصنوعی هستند، بهطور جدی احتمال میدهند این فناوری بتواند تا پایان دهه جاری به کشتار یا نابودی تمام انسانها منجر شود.
کاکسون همچنین تأکید کرده که این نگرانی صرفاً یک تاکتیک بازاریابی نیست و حتی برخی مدیران و پژوهشگران ارشد شرکتها در گفتوگوهای خصوصی نگرانی بیشتری نسبت به اظهارات عمومی خود نشان میدهند.
از نگاه او، هیچ فعالیت انسانی دیگری با سطح خطری که هوش مصنوعی پیشرفته ممکن است ایجاد کند، قابل مقایسه نیست.
البته این اظهارات، دیدگاه شخصی یک پژوهشگر است و بهمعنای وجود شواهد قطعی درباره وقوع چنین سناریویی نیست.
یکی از پژوهشگران ارشد Anthropic: احتمال نابودی بشر بیش از ۱۰ درصد است
اوان هابینگر، مسئول بخش Alignment Science در Anthropic، در واکنش به اظهارات کاکسون با بخش مهمی از نگرانیهای او موافقت کرده است.
هابینگر گفته است که پژوهشگران این حوزه واقعاً معتقدند هوش مصنوعی میتواند به نابودی تمام انسانها منجر شود. او حتی برآورد شخصی خود را مطرح کرده و گفته است احتمال وقوع چنین اتفاقی در دهه آینده از نظر او بیش از ۱۰ درصد است.
هابینگر در عین حال تأکید کرده که Anthropic تلاش میکند با این خطرات مقابله کند، اما هنوز برنامهای قطعی برای حل مشکل «همراستاسازی» هوش مصنوعی فوقهوشمند در اختیار ندارد و به اعتقاد او، این شرکت هنوز بهطور واضح در مسیر حل این مشکل قرار نگرفته است.
مسئله Alignment در هوش مصنوعی چیست؟
«همراستاسازی» یا AI Alignment به تلاش برای اطمینان از این موضوع اشاره دارد که اهداف، رفتار و تصمیمهای یک سیستم هوش مصنوعی قدرتمند با ارزشها و خواستههای انسانها سازگار باقی بماند.
این مسئله زمانی اهمیت بیشتری پیدا میکند که سیستمهای هوش مصنوعی بتوانند وظایف پیچیده را با استقلال بیشتری انجام دهند.
نگرانی اصلی برخی پژوهشگران این است که اگر روزی سیستمی بسیار قدرتمند بتواند اهداف خود را به شکل مستقل دنبال کند، تضمین اینکه همیشه مطابق خواسته انسان عمل کند، بسیار دشوارتر شود.
پژوهشگر دیگر Anthropic: این اتفاق ممکن است طی چند سال رخ دهد
ساموئل مارکس، مسئول بخش Scalable Oversight در Anthropic، نیز هشدار مشابهی مطرح کرده است.
او گفته است که توسعهدهندگان هوش مصنوعی احتمال میدهند فناوری آنها بتواند به انقراض انسان یا پیامدهایی با شدت مشابه منجر شود و چنین اتفاقی از دید برخی افراد حتی ممکن است در چند سال آینده رخ دهد.
مارکس همچنین مدعی شده است که بهطور کلی، هرچه جایگاه یک کارمند در شرکتهای هوش مصنوعی بالاتر باشد، نگرانی او درباره خطرات این فناوری نیز بیشتر است.
این ادعا، در صورت صحت، نشان میدهد نگرانی درباره هوش مصنوعی تنها به منتقدان بیرونی محدود نیست و بخشی از متخصصانی که مستقیماً در توسعه این فناوری مشارکت دارند نیز درباره آینده آن پرسشهای جدی مطرح میکنند.
چرا شرکتهای هوش مصنوعی با وجود این نگرانیها همچنان سرعت خود را افزایش میدهند؟
یکی از مهمترین پرسشها این است که اگر شرکتهای سازنده خودشان احتمال خطرات بسیار جدی را میدهند، چرا توسعه مدلهای قدرتمندتر متوقف نمیشود؟
پاسخ را میتوان در رقابت شدید میان شرکتها جستوجو کرد.
شرکتهایی مانند Anthropic، OpenAI، گوگل و سایر بازیگران بزرگ، میلیاردها دلار برای توسعه نسل بعدی مدلهای هوش مصنوعی سرمایهگذاری کردهاند. هر شرکت نگران است که کاهش سرعت توسعه، آن را در مقابل رقبای آمریکایی یا چینی عقب بیندازد.
در نتیجه، صنعت هوش مصنوعی با یک دوراهی دشوار روبهرو شده است: کاهش سرعت توسعه و احتمال عقب ماندن از رقبا، یا ادامه توسعه با وجود نگرانی درباره کنترلپذیری مدلهای آینده.
همین مسئله باعث شده برخی از فعالان این حوزه خواستار قوانین سختگیرانهتر و نظارت گستردهتر دولتها شوند.
هشدارهای Anthropic پس از اظهارات نگرانکننده مدیران OpenAI مطرح شد
اظهارات پژوهشگران Anthropic تنها چند روز پس از آن مطرح شده که شماری از مدیران ارشد OpenAI، از جمله سم آلتمن، درباره ورود هوش مصنوعی به مرحلهای غیرقابل پیشبینیتر هشدار دادهاند.
این همزمانی باعث شده نگرانی درباره سرعت پیشرفت مدلهای هوش مصنوعی بار دیگر در مرکز توجه قرار گیرد.
موضوع دیگر این است که شرکتهای سازنده مدلهای پیشرفته، به نسلهایی از سیستمها دسترسی دارند که هنوز بهصورت عمومی عرضه نشدهاند. بنابراین بخشی از نگرانیهای داخلی آنها ممکن است بر اساس رفتار مدلهایی باشد که عموم مردم هنوز امکان آزمایش آنها را ندارند.
با این حال، جزئیات فنی کافی برای ارزیابی مستقل این ادعاها در دسترس عموم نیست و به همین دلیل نمیتوان احتمالهای مطرحشده را بهعنوان پیشبینی علمی قطعی در نظر گرفت.
آیا شرکتهای هوش مصنوعی در حال بزرگنمایی خطرات هستند؟
همه با این هشدارها موافق نیستند.
منتقدان معتقدند شرکتهایی مانند Anthropic و OpenAI ممکن است خطرات هوش مصنوعی را بیش از اندازه برجسته کنند تا ارزشگذاری شرکتهای خود را افزایش دهند یا زمینه را برای وضع مقرراتی فراهم کنند که در نهایت به نفع شرکتهای بزرگ و مستقر باشد.
این دیدگاه به یک تضاد منافع مهم اشاره میکند: شرکتهایی که از یک سو درباره خطرات فناوری خود هشدار میدهند، از سوی دیگر از افزایش سرمایهگذاری، توجه عمومی و تقویت جایگاه خود در بازار نیز سود میبرند.
با این حال، صرف وجود انگیزههای تجاری احتمالی به این معنا نیست که نگرانیهای مطرحشده بیاساس هستند. مسئله اصلی این است که ادعاهای مربوط به خطر انقراض انسان باید با شواهد فنی و قابل بررسی مستقل ارزیابی شوند، نه صرفاً بر اساس اظهارات مدیران یا پژوهشگران شرکتها.
منظور از «هوش مصنوعی غیرقابل کنترل» چیست؟
بخش مهمی از نگرانیهای اخیر به مفهومی به نام خودبهبودی بازگشتی یا Recursive Self-Improvement مربوط میشود.
در سادهترین تعریف، این سناریو زمانی رخ میدهد که یک سیستم هوش مصنوعی بتواند در بهبود تواناییهای خود نقش داشته باشد و نسخههای بهتر و قدرتمندتری از خودش ایجاد کند.
اگر چنین قابلیتی در سطح بسیار پیشرفته محقق شود، نگرانی برخی پژوهشگران این است که چرخهای ایجاد شود که در آن:
هوش مصنوعی بهتر → توانایی بیشتر برای بهبود خود → هوش مصنوعی قدرتمندتر → سرعت بیشتر در بهبود بعدی
چنین چرخهای در صورت تحقق میتواند سرعت پیشرفت سیستمها را افزایش دهد و در نتیجه، پیشبینی رفتار نسلهای بعدی دشوارتر شود.
البته این سناریو هنوز یک فرض درباره آینده است و مشخص نیست هوش مصنوعی چه زمانی، یا اساساً آیا، به سطحی از توانایی خواهد رسید که چنین چرخهای را به شکل مطرحشده امکانپذیر کند.
آیا این هشدارها به معنای تهدید فوری برای انسان هستند؟
خیر. حتی در میان افرادی که درباره خطرات شدید هوش مصنوعی هشدار میدهند، لزوماً ادعا این نیست که نابودی بشر یک تهدید فوری و قطعی است.
مسئله اصلی، افزایش سریع توانایی مدلها و عدم اطمینان درباره رفتار سیستمهایی است که ممکن است در آینده بسیار قدرتمندتر از مدلهای امروزی باشند.
در واقع، هشدار پژوهشگران Anthropic بیشتر درباره مسیری است که صنعت هوش مصنوعی در حال طی کردن آن است؛ مسیری که در آن قابلیتهای مدلها با سرعت زیادی افزایش مییابد، در حالی که روشهای تضمین کنترل کامل و همراستایی آنها هنوز به مرحلهای قطعی و قابل اتکا نرسیده است.
رقابت آمریکا و چین، تصمیمگیری درباره هوش مصنوعی را دشوارتر میکند
این مسئله تنها به شرکتهای فناوری محدود نمیشود. دولتها نیز با یک چالش ژئوپلیتیکی روبهرو هستند.
اگر یک کشور توسعه هوش مصنوعی را بیش از حد محدود کند، ممکن است نگران باشد که کشور رقیب، بهویژه چین، در این حوزه جلو بیفتد. از سوی دیگر، توسعه بدون نظارت کافی میتواند خطرات اقتصادی، امنیتی و اجتماعی جدیدی ایجاد کند.
به همین دلیل، بحث درباره آینده هوش مصنوعی دیگر صرفاً یک بحث فنی میان پژوهشگران نیست؛ بلکه به موضوعی مهم برای قانونگذاران، سازمانهای دولتی و سیاستگذاران در سراسر جهان تبدیل شده است.
آینده هوش مصنوعی؛ توقف توسعه یا ایجاد کنترلهای جدیتر؟
هشدارهای اخیر پژوهشگران Anthropic یک سؤال اساسی را دوباره مطرح کرده است: آیا جهان باید سرعت توسعه هوش مصنوعی را کاهش دهد تا فرصت بیشتری برای ایجاد سازوکارهای ایمنی داشته باشد؟
پاسخ به این سؤال ساده نیست. توقف یا کاهش شدید توسعه میتواند مزایایی از نظر ایمنی داشته باشد، اما در یک بازار رقابتی جهانی، اجرای چنین تصمیمی بدون همکاری گسترده میان کشورها دشوار خواهد بود.
در طرف مقابل، ادامه توسعه با سرعت فعلی میتواند دسترسی سریعتر به فناوریهای قدرتمندتر را ممکن کند، اما همزمان نیاز به روشهای قابل اعتماد برای آزمایش، نظارت و کنترل این سیستمها را افزایش میدهد.
در حال حاضر، هیچ مدرک قطعی وجود ندارد که نشان دهد هوش مصنوعی حتماً در این دهه انسانها را نابود خواهد کرد. اما اینکه برخی از پژوهشگران فعال در شرکتهای پیشرو، چنین سناریویی را آنقدر جدی میدانند که درباره آن بهصورت علنی هشدار میدهند، نشان میدهد مسئله ایمنی هوش مصنوعی دیگر یک نگرانی حاشیهای نیست.
چالش اصلی برای جهان احتمالاً یافتن نقطه تعادلی میان نوآوری، رقابت، پیشرفت علمی و کنترل خطرات فناوری خواهد بود؛ پیش از آنکه توانایی سیستمهای هوش مصنوعی از ظرفیت انسان برای درک و کنترل پیامدهای آنها جلو بزند.
