محمدجواد استادی

ریستو میکولاینن، استاد علوم رایانه دانشگاه تگزاس آمریکایی در آستین و معاون پژوهش هوش مصنوعی در آزمایشگاه هوش مصنوعی شرکت کگنیزنت، از پژوهشگران شناخته‌شده حوزه «فرگشت عصبی» است؛ رویکردی که به‌جای تکیه صرف بر آموختن از داده‌های موجود، از سازوکارهای تکاملی برای کشف ساختارها، رفتارها و راه‌حل‌های تازه بهره می‌گیرد. او در گفت‌وگو با روزنامه اطلاعات  توضیح می‌دهد چرا آینده هوش مصنوعی فقط در بزرگ‌ترشدن مدل‌ها یا تقلید دقیق‌تر از رفتار انسان خلاصه نمی‌شود. میکولاینن با مثال‌هایی از کشاورزی کنترل‌شده، ربات‌های آسیب‌دیده و مدل‌های زبانی بزرگ، از توانایی نظام‌های تکاملی برای یافتن پاسخ‌های پیش‌بینی‌نشده سخن می‌گوید؛ بااین‌حال تأکید می‌کند که خلاقیت ماشین، بدون نظام ارزشی و ملاحظات ایمنی، می‌تواند به همان اندازه که فرصت‌آفرین است، خطرناک نیز باشد.
***

* فرگشت عصبی چه چیزی را می‌تواند کشف کند که روش‌های متعارف آموزش معمولاً از آن غافل می‌مانند؟ چرا ممکن است فرگشت برای نسل بعدی عامل‌های هوشمند ضروری باشد؟
-دقیقاً به همین دلیل است که ما روی این حوزه کار می‌کنیم؛ زیرا معتقدیم یادگیری ماشین بسیار فراتر از آن چیزی هایی است که روش‌های سنتی آن تاکنون نشان داده‌اند. وقتی از داده‌ها یاد می‌گیرید، در واقع تقلید می‌کنید؛ از همان منبعی که داده‌ها از آن آمده‌اند. انسان‌ها به تصاویر برچسب می‌زنند، به پرسش‌ها پاسخ می‌دهندیا مسائل ریاضی را حل می‌کنند و سامانه می‌آموزد آنچه را انسان‌ها انجام داده‌اند، بازتولید کند. می‌توانیم خلاق باشیم؛ مسائلی را حل کنیم که انسان‌ها نمی‌توانند حل کنند یا هنوز حل نکرده‌اند و حتی چیزهایی بسازیم که برای خود انسان‌ها شگفت‌آور است و بعید بود به فکر ساخت نشان بیفتند. فرگشت اساساً سازوکاری برای اکتشاف و خلاقیت است.

*چند سال پیش پژوهشی انجام دادید تا برای «کشاورزی سایبری» دستورالعمل‌های بهینه رشد گیاه طراحی کنید. منظور، گلخانه یا محفظه‌ای است که همه‌چیز در آن کنترل می‌شود: مقدار نور، نوع نور، مدت روشنایی، آب، مواد مغذی و دما. یک کشاورز باتجربه زمین خود را می‌شناسد و می‌داند چگونه محصول پرورش دهد؛ اما وقتی بتوانید تک‌تک شرایط محیطی را کنترل کنید، سؤال این است که بهترین ترکیب چیست؟
- در این زمینه هم دستورالعمل‌های شناخته‌شده رشد گیاه را به کار گرفتیم و هم دستورالعمل‌هایی بسیار متفاوت از آن‌ها را. سپس با یادگیری ماشین متعارف، از جمله روش پس‌انتشار خطا، یک «مدل جانشین» ساختیم؛ مدلی که رفتار دنیای واقعی را تقریب می‌زند. مزیت مدل جانشین این است که می‌توانید میلیون‌ها ایده نامتعارف را بدون آنکه چیزی در دنیای واقعی خراب شود امتحان کنید. لازم نیست برای بررسی هر دستورالعمل واقعاً گیاهی بکارید؛ از مدل می‌پرسید این ترکیب چقدر خوب عمل خواهد کرد. در عمل فقط می‌توانستیم حدود ۳۰۰ بار کشت واقعی انجام دهیم و ۳۰۰ داده به دست آوریم، اما با مدل جانشین امکان ارزیابی حدود سه میلیون حالت مختلف فراهم شد.
در مرحله بعد، دستورالعمل‌های رشد را به کمک فرگشت بهینه کردیم. این نمونه بسیار روشنی از همکاری دو سازوکار است: یادگیری ماشین متعارف، مدلی از جهان موجود می‌سازد و آن را تقلید می‌کند؛ سپس یادگیری ماشین خلاق، یعنی فرگشت یا فرگشت عصبی، چیزهایی را کشف می‌کند که از پیش نمی‌دانستیم.
نتیجه شگفت‌انگیز بود: کشف کردیم که گیاه انتخابی ما یعنی ریحان نیازی به خوابیدن ندارد! ما ریحان پرورش می‌دادیم و در ابتدا فرض کرده بودیم مدت روشنایی باید بین۶ تا ۱۸ ساعت باشد. از فرگشت خواستیم زمان بهینه را در همین بازه پیدا کند، اما نتیجه پیوسته به سمت ۱۸ ساعت رفت؛ یعنی مرز بالایی که خودمان تعیین کرده بودیم. بنابراین محدودیت را برداشتیم و اجازه دادیم زمان روشنایی حتی به ۲۴ ساعت برسد. سامانه باز هم به سمت ۲۴ ساعت رفت.
اگر موضوع، رفتار باشد از فرگشت عصبی استفاده می‌کنیم و اگر پارامترها مطرح باشند از بهینه‌سازی تکاملی. وعده فرگشت همین است: ارائه راه‌حل‌های خلاقانه‌ای که بعید است انسان به‌تنهایی کشفشان کند.

* در کتاب جدیدتان نقش فرگشت در طراحی عامل‌های هوش مصنوعی را بررسی کرده‌اید. آیا می‌توانید نمونه مشخصی از یک عامل تکامل‌یافته ارائه کنید که رفتار یا طرحی را کشف کرده باشد که پژوهشگران انتظارش را نداشتند؟ دقیقاً چه چیزی بر اثر فرگشت تغییر کرد؟
-نمونه ریحان که گفتم دقیقاً مصداق کشفی پیش‌بینی‌نشده بود، اما درباره رفتار نبود؛ درباره یک دستورالعمل رشد بود. رفتار چیزی است که در طول زمان اتفاق می‌افتد و شبکه‌های عصبی، به‌ویژه شبکه‌های عصبی بازگشتی، در بازنمایی چنین فرایندی بسیار توانمندند.
یکی از آن‌ها آزمایشی بود درباره کنترل وسیله‌ای که قرار بود در محفظه بار شاتل فضایی همراه فضانوردان باشد؛ نوعی ماهواره شخصی کوچک که هنگام کار فضانورد در محفظه، نزدیک او شناور می‌ماند و نقش دستیار را دارد. مساله این بود که این وسیله، کره‌ای کوچک است و جای زیادی برای نصب تجهیزات کنترلی ندارد. می‌خواستیم ببینیم آیا می‌شود فقط با چند پیشران کوچک، آن را به مکان و جهت دلخواه رساند.
امروز با توان محاسباتی بیشتر می‌توان چنین مسئله‌ای را سه‌بعدی بررسی کرد، اما آن زمان آزمایش را در فضای دوبعدی و با شبیه‌سازی انجام دادیم. سپس به‌طور آزمایشی پرسیدیم: اگر فقط دو پیشران داشته باشیم چه؟ به نظرمان غیرممکن می‌رسید که بتوان جسم را با دو پیشران روی یک صفحه به هر نقطه‌ای برد و دقیقاً همان‌جا متوقف کرد.
وقتی می‌خواست وسیله در نقطه‌ای مشخص متوقف شود، مستقیم به آن نقطه نمی‌رفت؛ کمی از هدف عبور می‌کرد، سپس با یکی از پیشران‌ها جهتش را برمی‌گرداند و با دیگری حرکتش را متوقف می‌کرد. مسیر حرکت چیزی شبیه یک حلقه بود که در پایان دقیقاً به نقطه مطلوب می‌رسید. ما چنین راه‌حلی را پیش‌بینی نکرده بودیم.
اما با دو پیشران ،سامانه ناچار شد راهی دورتر و شیوه‌ای متفاوت برای مهار سرعت پیدا کند.
تصور کنید ربات‌هایی را به فضا، اعماق اقیانوس یا درون آتشفشان بفرستیم. آنجا ممکن است شرایطی رخ دهد که پیش‌بینی نکرده‌ایم؛ مثلا ربات یک پایش را از دست بدهد. رباتی چهارپا داشتیم که یکی از پاهایش را از کار انداختیم. به نظر می‌رسید رباتی با سه پای فعال نتواند مستقیم حرکت کند، اما فرگشت راهی پیدا کرد که یک پا نیروی پیش‌برنده را تأمین کند و پای دیگر جهت حرکت را تنظیم کند.
آزمایش دیگری هم داشتیم که در آن ربات باید روی شیبی به‌صورت افقی حرکت می‌کرد. برای سرنخوردن لازم بود به‌طور پیوسته نیرویی در جهت مناسب وارد کند. در این مسائل کنترل، که باید برای یک محدودیت یا آسیب فیزیکی سازوکاری جبرانی کشف شود، فرگشت عصبی واقعاً می‌درخشد.
جذابیت کار نیز همین است که غافلگیر می‌شوید. یادگیری ماشین فقط آنچه را از پیش می‌دانید تحویلتان نمی‌دهد؛ گاهی شما را به جایی می‌رساند که با تعجب بگویید: «نمی‌دانستم چنین کاری هم ممکن است!»

* پژوهش‌های اخیر شما راهبردهای تکاملی را برای تنظیم دقیق مدل‌های زبانی بزرگ بررسی می‌کند. این روش‌ها در چه موقعیت‌هایی نسبت به یادگیری تقویتی یا بهینه‌سازی مبتنی بر گرادیان برتری واقعی دارند و در چه مواردی روش‌های متعارف همچنان بهتر عمل می‌کنند؟
-پرسش بسیار به‌موقعی است، چون دقیقاً همین حالا مشغول بررسی آن هستیم. به نظر می‌رسد با یک الگوی محاسباتی و شیوه تازه‌ای برای بهینه‌سازی روبرو شده‌ایم.
«راهبردهای تکاملی» سابقه‌ای طولانی دارند؛ از دهه ۱۹۷۰ و شاید حتی دهه ۱۹۶۰. اکنون دریافته‌ایم که می‌توان این روش‌ها را برای مدل‌های زبانی بزرگی با میلیاردها پارامتر نیز مقیاس‌پذیر کرد.تا۷۰ میلیارد پارامتر پیش رفته‌ایم و فکر می‌کنم اکنون آزمایشی با ۱۲۰ میلیارد پارامتر هم در جریان است. اما اینجا از تنظیم هم‌زمان میلیاردها پارامتر برای رسیدن به یک پاسخ خوب سخن می‌گوییم.در فضاهای بسیار پُربُعد، رفتار هندسی متفاوت می‌شود. تصور می‌کردیم بهینه‌سازی این تعداد پارامتر ناممکن است، اما به‌نوعی تصادفی به راه تازه‌ای رسیدیم و علت آن دقیقاً با همین بُعد بسیار بالا ارتباط دارد.
نکته نخست این است که باید «جهت‌های خوب» برای حرکت در فضای پارامترها را پیدا کنیم. گرچه تعداد پارامترها میلیاردی است، «بُعد ذاتی» مسئله می‌تواند بسیار کوچک‌تر باشد؛ شاید ۷، شاید ۱۸ یا مقداری از همین مرتبه. منظور این نیست که فقط ۱۸ پارامتر مهم‌اند؛ بلکه ممکن است ۱۸ ترکیب خطی متفاوت از همه پارامترها مسیرهای مؤثر تغییر باشند.
پیرامون راه‌حل فعلی جست‌وجو می‌کنید؛ مثلا ۳۰ تغییریا اغتشاش کوچک در پارامترها می‌سازید و نتیجه هرکدام را می‌سنجید. بعد از یافتن جهت‌های مناسب، گامی کوچک برمی‌دارید تا از ناحیه عملکرد خوب بیش از حد دور نشوید و جهت‌های یافته‌شده را برای انتخاب یک گام بهینه با هم ترکیب می‌کنید.
مدل زبانی بزرگ از نظر تعداد پارامترها بسیار پُربُعد است، اما فضای مؤثر یا ذاتی تغییرات آن ممکن است بسیار کم‌بُعدتر باشد. همین ویژگی امکان بهینه‌سازی مدل‌های زبانی بزرگ با راهبردهای تکاملی را فراهم می‌کند.
*اما برتری این روش نسبت به یادگیری تقویتی کجاست؟ 
-نخست «وظایف با افق زمانی بلند» است؛ کارهایی که باید تصمیم‌های متعددی بگیرید تا در پایان معلوم شود چقدر موفق بوده‌اید و تازه آن‌وقت پاداشی دریافت کنید. این وضعیت برای بسیاری از روش‌های یادگیری تقویتی دشوار است، زیرا نسبت‌دادن پاداش نهایی به تک‌تک اقدام‌ها چالش‌برانگیز می‌شود. یک تغییر ایجاد می‌کند که می‌تواند کل دنباله طولانی رفتار را عوض کند و سپس به‌جای ارزیابی جداگانه هر اقدام، عملکرد کل دنباله را می‌سنجد.
مزیت دوم به «اکتشاف» مربوط می‌شود. وقتی با یادگیری تقویتی مدل را تنظیم دقیق می‌کنید، اغلب می‌خواهیدیک پاسخ مشخص تا حد ممکن خوب شود. پیامد آن ممکن است فروریختن تنوع توزیع پاسخ‌ها باشد: هر بار پرسش را تکرار کنید، تقریباً همان پاسخ را می‌گیرید.
در راهبردهای تکاملی، با ساختن نسل‌ها و نمونه‌های متفاوت، امکان جست‌وجوی پاسخ‌های متنوع حفظ می‌شود. اگر پرسشی دشوار دارید، می‌توانید آن را چند بار از مدل بپرسید و پاسخ‌های متفاوت بگیرید. مدل قطعی نیست، احتمالاتی است. در مسائلی که بتوان درستی پاسخ را بررسی کرد، داشتن چند تلاش مستقل بسیار مفید است؛ احتمال آنکه یکی از پاسخ‌ها درست باشد افزایش می‌یابد. راهبردهای تکاملی می‌توانند مدل‌هایی بسازند که این نوع نمونه‌گیری از آن‌ها مؤثرتر از مدل‌های تنظیم‌شده با برخی روش‌های یادگیری تقویتی باشد.
البته این دو مهم‌ترین مزیت‌اند، نه همه مزیت‌ها. ما می‌توانیم مدل‌های «کوانتیزه» را نیز تنظیم دقیق کنیم؛ مدل‌هایی که به دلیل گسسته‌بودن برخی مقادیرشان محاسبه گرادیان به شیوه متعارف دشوار یا ناممکن است. در رویکردتکاملی نیازی به مشتق‌گیری ندارید؛ از «بهینه‌سازی مرتبه صفر» استفاده می‌کنید. این قابلیت در کنار استدلال‌های با افق بلند و حفظ تنوع نمونه‌ها، امکان کار روی مدل‌های کوانتیزه و حتی مدل‌های زبانی انتشاری را فراهم می‌کند.
بااین‌حال بخش دوم پرسش شما بسیار مهم است: یادگیری تقویتی کجا بهتر است؟ یافته‌های اولیه ما نشان می‌دهد اگر بُعد ذاتی مساله واقعا بالا باشد، یادگیری تقویتی ممکن است عملکرد بهتری داشته باشد. بعضی وظایف پاسخگویی به پرسش‌ها، که در آن‌ها باید اطلاعات متعدد را هم‌زمان لحاظ کرد، می‌توانند از این نوع باشند.در مطالعه‌ای، دو عامل را به‌شکلی نظام‌مند تغییر دادیم: یکی طول افق تصمیم‌گیری،یعنی تعداد انتخاب‌هایی که باید پیش از دریافت نتیجه انجام شود، و دیگری بُعد ذاتی واقعی مساله؛ نه تعداد خام پارامترها، بلکه بُعد مؤثر فضای مسئله. وقتی بُعد ذاتی بالا بود، یادگیری تقویتی بهتر عمل کرد؛ و وقتی افق تصمیم‌گیری طولانی بود، راهبردهای تکاملی برتری داشتند.
برای بُعد ذاتی بالا، یادگیری تقویتی؛ برای افق بلند، راهبردهای تکاملی. البته این پژوهش هنوز در حال شکل‌گیری است و کار زیادی باقی مانده، اما تصویری که اکنون به دست می‌آید همین است: این دو ابزار برای حل مسائل متفاوت، نقاط قوت متفاوتی دارند.

* در پژوهش سال ۲۰۲۶ شما درباره تنوع راه‌حل‌های تولیدشده به‌وسیله مدل‌های زبانی، تمرکز انحصاری بر «تنها پاسخ برتر» به پرسش کشیده شده است. آیا این شیوه آموزش می‌تواند گزینه‌های مفید دیگر را سرکوب کند؟ پژوهش‌های تکاملی چگونه می‌توانند بدون قربانی‌کردن قابلیت اعتماد، تنوع را حفظ کنند؟
-اما پرسش شما گسترده‌تر است و به جایگاه تنوع در خود فرگشت مربوط می‌شود.تنوع، بنیان محاسبات و بهینه‌سازی تکاملی است. شما با یک «جمعیت» از راه‌حل‌های گوناگون آغاز می‌کنید و سپس آن‌ها را با هم ترکیب می‌کنیدیا در آن‌ها جهش و تغییر ایجاد می‌کنید. اگر همه پاسخ‌ها یکی شوند، دیگر راهی برای کشف پاسخ تازه ندارید. به همین دلیل، فرایندتکاملی را تا جای ممکن با جمعیتی متنوع شروع می‌کنیم. در همان آزمایش ریحان، جمعیت اولیه را فقط از دستورالعمل‌های رشدِ شناخته‌شده و موفق نساختیم، بلکه دستورالعمل‌های متفاوت و نامعمول را هم وارد کردیم.
در طول فرگشت، به‌تدریج راه‌حل‌های خوب بیشتر می‌شوند و دیگر وقت زیادی صرف راه‌حل‌های نامناسب نمی‌کنید. اما این همگرایی به معنای رسیدن به یک پاسخ واحد نیست. هنوز تنوع را نگه می‌دارید و در چند ناحیه مختلف که پاسخ‌های خوبی در آن‌ها وجود دارد جست‌وجو می‌کنید. جمعیت از حالت پراکندگی یک‌نواخت خارج می‌شود و در چند «جزیره» متمرکز می‌شود؛ بااین‌حال میان این جزیره‌ها نیز بازترکیب انجام می‌دهید و گاه جهش‌های بزرگی در فضای جست‌وجو رخ می‌دهد.
یکی از کاربردهای بسیار مهم این ویژگی در «بهینه‌سازی چندهدفه» است؛ وضعیتی که باید میان چند هدف، معمولا عملکرد و هزینه، توازن برقرار کنید. هدف این نیست که فقط یک پاسخ نهایی به تصمیم‌گیرنده بدهید، بلکه مجموعه‌ای از گزینه‌های بهینه در نسبت‌های گوناگون هزینه و فایده در اختیار او قرار می‌دهید؛ چیزی که به آن «جبهه پارتو» می‌گوییم.
مثلا در دوران همه‌گیری، درباره سیاست‌های کاهش شیوع بیماری کار کردیم: تعطیلی مدارس، تعطیلی محل‌های کار، ماسک‌زدن، رهگیری تماس‌ها و اقدام‌های مشابه. می‌خواستیم هم تعداد ابتلاها را کاهش دهیم و هم هزینه اجتماعی تصمیم‌ها را در نظر بگیریم. نتیجه یک جبهه پارتو بود.تصمیم‌گیرنده می‌توانست ببیند برای کاهش بیشتر ابتلاها حاضر است چه اندازه تعطیلی محل‌های کار را بپذیرد،یا ترجیح می‌دهد اقتصاد فعال‌تر بماند و در مقابل خطر افزایش موارد بیماری را تحمل کند. اینکه کدام توازن مطلوب‌تر است، تصمیمی انسانی است؛ فقط تصمیم‌گیرنده انسانی می‌تواند درباره آن داوری کند. اما فرگشت می‌تواند مجموعه‌ای متنوع از این مصالحه‌ها را پیش روی او بگذارد. این گزینه‌ها از آن جهت بهینه‌اند که گزینه دیگری وجود ندارد که هم‌زمان در همه هدف‌ها از آن‌ها بهتر باشد.روش‌های تکاملی به سبب آنکه بر جمعیت تکیه دارند، می‌توانند چنین مجموعه متنوعی از گزینه‌ها را فراهم کنند. آنچه می‌خواهیم مجموعه‌ای از بهترین توازن‌ها و انتخاب‌های ممکن است.

* آیا صرف تولید چیزی جدید کافی است تا آن را «خلاقیت ماشینی» بنامیم؟ چگونه می‌توان خلاقیت واقعی را از نتیجه‌ای نامعمول که در پی جست‌وجویی گسترده به دست آمده است تمیز داد؟
-اخیراً روی این موضوع کار کردیم که آیا می‌توان با مدل‌های زبانی بزرگ به راه‌حل‌هایی تازه و خلاقانه رسیدیا نه. مدل‌های زبانی بزرگ اساساً ماشین‌های درون‌یابی‌اند؛ رفتار انسان را تقلید می‌کنند. آن‌ها بر اساس انبوهی از دانش موجود آموزش می‌بینند تا واژه بعدی را پیش‌بینی کنند. بنابراین ذاتاً چندان خلاق نیستند.
اما به این فکر رسیدیم که اگر نخست در دانش موجود در وب کاوش کنیم و سپس فرایند تولید و اصلاح پاسخ را بارها تکرار کنیم، شاید بتوان به چیزی تازه رسید. نتیجه این روش را با معیارهای خلاقیت انسانی نیز سنجیدیم و مشاهده کردیم که واقعاً می‌تواند به تولید نتایج خلاقانه بینجامد.فرگشت، در مقابل، از اساس به جست‌وجوی دامنه بسیار گسترده‌تری از راه‌حل‌ها گرایش دارد. بااین‌حال،یک نکته مهم وجود دارد: شما همچنان باید «فضای جست‌وجو» را برای آن تعریف کنید.در مثال کشاورزی سایبری و ریحان، ما خودمان مدت روشن‌ماندن چراغ‌ها را محدود کرده بودیم، چون تصور می‌کردیم بیشتر از آن معقول نیست. با تعیین آن محدوده، خلاقیت سازوکاری را محدود کرده بودیم که می‌توانست از تصور ما فراتر برود. باید اجازه دهیم فرگشت پاسخ‌هایی پیدا کند که پیش‌بینی نکرده‌ایم. البته اگر همه‌چیز را بدون هیچ قیدی ممکن کنید، شاید اصلا به نتیجه‌ای نرسید. ناچارید درباره متغیرهای تصمیم‌گیری و محدوده مقادیر آن‌ها فکر کنید تا امکان یافتن پاسخ خوب وجود داشته باشد. در یک سامانه بسیار پیشرفته‌تر، خود سازوکار شاید بتواند این حدود را نیز به‌طور خودکار تغییر دهد.

*اما بخش دیگری از بحث خلاقیت به «تعریف» آن مربوط می‌شود. در روان‌شناسی روش‌هایی برای توصیف و سنجش خلاقیت انسان‌ها وجود دارد و می‌توان از همان معیارها کمک گرفت. معیار مفید دیگر به ثبت اختراع مربوط می‌شود: چه چیزی را می‌توانیک اختراع واجد شرایط ثبت دانست؟
-از بررسی این ادبیات به تعریفی رسیدیم که کم‌وبیش درباره آن توافق وجود دارد: یک دستاورد خلاقانه باید سه ویژگی داشته باشد. نخست، تازه باشد؛ یعنی پیش‌تر وجود نداشته باشد. دوم، سودمند باشد و هدفی را برآورده کند. سوم، غافلگیرکننده و غیر بدیهی باشد.
ما این معیارها را در اختیار افراد قرار دادیم و آن‌ها توانستند درباره میزان خلاقانه‌بودن ایده‌ها قضاوت کنند. دستورالعمل مشابهی را هم می‌توان به مدل زبانی بزرگ داد تا اختراع‌ها را از نظر میزان خلاقیت ارزیابی کند. البته این تعریف از نظر ریاضی کاملا دقیق و قطعی نیست، اما ابزاری مفید است که به ما کمک می‌کند خلاقیت را بهتر بفهمیم.

* اگریک هوش مصنوعی تکامل‌یابنده در دنبال‌کردن هدفی نادرست فوق‌العاده موفق شود، چه اتفاقی می‌افتد؟ پیش از آنکه چنین عامل‌هایی اختیار عمل بیشتری پیدا کنند، به چه سازوکارهای ایمنی نیاز داریم؟
-این همان مساله‌ای است که اکنون با آن دست‌وپنجه نرم می‌کنیم؛ در واقع تمام حوزه هوش مصنوعی با آن روبروست. این امکان وجود دارد که هوش مصنوعی خلاق باشد و از هر دستورالعمل یا محدودیتی که برایش تعیین می‌کنید راهی برای بیرون‌رفتن پیدا کند. اگر خلاقیت آن را محدود کنید، بخشی از این فرصت را از دست می‌دهید؛ اما درعین‌حال باید بتوانید جلوی رفتن آن به مسیر نادرست را بگیرید.
یکی از پاسخ‌های مهمی که ما و گروه‌های دیگر بررسی می‌کنیم، این است که محدودیت‌گذاری بیرونی به‌تنهایی کافی نیست. اگر بکوشید سامانه تکاملی یا مدل زبانی را وادار کنید حتماً در چارچوبی ازپیش‌تعیین‌شده بماند، احتمالا خیلی پیش نخواهید رفت؛ زیرا همیشه امکان آن وجود دارد که فرگشت راهی برای تغییرکردن و مدل زبانی راهی برای دورزدن محدودیت‌ها پیدا کند. مقاله جالبی درباره راه‌حل‌های غافلگیرکننده فرگشت وجود دارد که فکر می‌کنم چند سال پیش در نشریه‌ای درباره حیات مصنوعی منتشر شد. بخش زیادی از این نمونه‌ها در واقع نوعی تقلب بود؛ راه‌هایی برای دورزدن قواعد بازی یا محدودیت‌هایی که انسان تعریف کرده بود.
برای مثال، دانشجویی در یکی از کلاس‌های من شبکه‌ای عصبی را با فرگشت آموزش داده بود تا بازی «پنج‌تایی پشت‌سرهم» انجام دهد. صفحه‌ای شطرنجی را تصور کنید که دو بازیکن در خانه‌های آن علامت‌های ضربدر و دایره می‌گذارند و هرکدام می‌کوشند پنج علامت خود را در یک سطر، ستون یا قطر کنار هم بچینند. دریافت اگر بازیکنِ مبتنی بر شبکه عصبی به‌جای انتخاب یکی از خانه‌های نزدیک، خانه‌ای را میلیون‌ها خانه دورتر انتخاب کند، حریف برای گسترش فضای حافظه خود با مشکل مواجه می‌شود و برنامه‌اش از کار می‌افتد. وقتی برنامه حریف از کار می‌افتاد، بازیکنِ شبکه عصبی برنده اعلام می‌شد!
این نمونه‌ای معمول از خلاقیتی است که در چنین سامانه‌هایی می‌بینیم؛ اما دقیقاً آن چیزی نیست که می‌خواستیم. سامانه یاد نگرفته بود چگونه بازی را خوب انجام دهد؛ راهی برای تقلب پیدا کرده بود. نمی‌توانیم به‌سادگی از این وضعیت جلوگیری کنیم، چون نمی‌توانیم همه راه‌های احتمالی تقلب را پیش‌بینی کنیم.
پس هرچند ایجاد محدودیت و قراردادن سامانه در محیط‌های محصور و کنترل‌شده، یا همان «سندباکس»، ضروری است، فکر نمی‌کنم این‌ها راه‌حل نهایی باشند. برای ایمن‌ماندن هوش مصنوعی در نهایت باید اطمینان پیدا کنیم خود سامانه می‌فهمد ایمن‌بودن یعنی چه و نظامی ارزشی دارد که بر همه فعالیت‌هایش حاکم است.
فرقی نمی‌کند سامانه مشغول حل ریاضی باشد، رانندگی خودکار انجام دهد یا در آموزش به کار گرفته شود؛ باید فراتر از انجام‌دادن یک کار، بداند چرا آن کار را انجام می‌دهد. باید بفهمد هدف، کمک‌کردن به انسان‌ها و پیشرفت علم است و نمی‌تواند برای رسیدن به چنین هدف‌هایی، انسان‌ها را بکشد، به آن‌ها آسیب برساند یا زیان ایجاد کند.
مثلاجفری هینتون گفته است که باید چیزی شبیه «غریزه مادری» به هوش مصنوعی بدهیم؛ به این معنا که رفاه و آسایش انسان‌ها برایش اهمیت بنیادین داشته باشد. در معنایی کلی‌تر، هوش مصنوعی باید نظامی ارزشی درباره امور پذیرفتنی و ناپذیرفتنی، خیر و شر و کارهایی که باید از آن‌ها پرهیز کند داشته باشد. باید پیامدهای عمل خود را از درون بفهمد و بداند بعضی پیامدها هرگز پذیرفتنی نیستند.
ما پژوهش کوچکی در این زمینه انجام داده‌ایم؛ پژوهشی که هنوز جاه‌طلبانه نیست. به یک مدل زبانی بزرگ نظامی ارزشی دادیم که از فلسفه و نظریه ارزش‌های شوارتز الهام گرفته شده بود. دو محور در نظر گرفتیم: در یک محور، گرایش به حفظ وضع موجود در برابر گشودگی به تجربه و اکتشاف قرار می‌گرفت؛ در محور دیگر، خودمحوری در برابر فراروی از خود و توجه به دیگران.
دیدیم بسته به ارزشی که به مدل می‌دهیم و جایگاهی که در این دو محور برایش تعیین می‌کنیم، مسائل را به شیوه‌های متفاوتی حل می‌کند. در بعضی مسائل خوب است سامانه اکتشافی عمل کند؛ در مسائل دیگر بهتر است محافظه‌کار باشد، به‌ویژه وقتی واقعاً نمی‌خواهید اشتباه کند.
ما حتی مساله‌هایی ظاهراً بی‌ارتباط با ارزش‌ها را بررسی کردیم؛ مثلا اینکه چند دایره را می‌توان درون یک مربع جا داد. در نگاه اول تصور نمی‌کنید حل چنین مسئله‌ای به ارزش‌ها نیاز داشته باشد، اما نتیجه نشان داد وجود جهت‌گیری‌های ارزشی در شیوه حل مساله تأثیر می‌گذارد.
امیدوارم در آینده بتوانیم سامانه‌هایی بسازیم که واقعاً چنین ارزش‌هایی داشته باشند و از آسیب‌زدن پرهیز کنند. در کوتاه‌مدت ناچاریم بر ایجاد محیط‌های محصور و کنترل‌شده تمرکز کنیم تا سامانه نتواند به‌آسانی از مرزهای تعیین‌شده خارج شود. اما برای بلندمدت به راه‌حل بهتری نیاز داریم و معتقدم آن راه‌حل، برخورداری هوش مصنوعی از نظام ارزشی است.

* در پایان، چه توصیه یا سخنی برای استادان و دانشجویان ایرانی دارید؟
-امروز وقتی فرصتی برای چنین توصیه‌ای دارم، به مردم می‌گویم: «کاوش کنید و تسلیم نشوید.» چیزهای مختلف را امتحان کنید و اگر نتیجه نداد، دست نکشید؛ دوباره تلاش کنید و راه دیگری را بیازمایید. هوش مصنوعی می‌تواند کمک بزرگی به ما بکند، اما باید آن را به نیرویی سازنده و مثبت تبدیل کنیم. همه کسانی که در جهان از این فناوری استفاده می‌کنند باید از فرصت آن بهره ببرند و جامعه تازه‌ای بسازند که هوش مصنوعی را به شیوه درست به کار می‌گیرد. پس توصیه من به همه این است: تجربه کنید، ناامید نشوید و کاری کنید که این فناوری برای شما و به سود شما عمل کند.