در این حمله، ۱۶۸ کودک و دانشآموز جان خود را از دست دادند و تصاویر و گزارشهای منتشرشده از محل حادثه، موجی از واکنشهای انسانی و رسانهای در داخل و خارج از کشور به همراه داشت. افکار عمومی با این پرسش جدی روبهرو شد که چگونه یک مرکز آموزشی، آن هم در زمان حضور دانشآموزان، در فهرست اهداف نظامی قرار گرفته است.
در واکنش به این فاجعه، برخی رسانهها و منابع غربی با استناد به گزارشهایی درباره سامانههای هدفگیری مبتنی بر هوش مصنوعی در ارتش آمریکا، تلاش کردند منشأ این حمله را به «خطای یک سامانه هوش مصنوعی» نسبت دهند؛ روایتی که بر اساس آن، سیستمهای تحلیل داده و شناسایی هدف، از جمله فناوریهایی مشابه پروژههای هوش مصنوعی نظامی، ممکن است در تشخیص ماهیت هدف دچار خطا شده باشند. آنچه از گزارشهای بینالمللی، از جمله گزارش گاردین درباره حمله به مدرسه «شجره طیبه» در میناب، و نیز تجربههای پیشین مانند بهکارگیری سامانههای مشابه (از جمله پروژه معروف Maven در وزارت دفاع آمریکا) برمیآید، این است که روایت «هوش مصنوعی مقصر بود» بیش از آنکه توضیح فنی باشد، یک ابزار سیاسی و رسانهای برای «توزیع و کاهش بار مسئولیت» است. در این روایت، به جای پاسخگو کردن طراحان، فرماندهان و ساختارهای نظامی، یک سامانه نرمافزاری بیچهره و بیمسئولیت در جایگاه متهم مینشیند.
در این حمله، علاوه بر جنبههای انسانی و حقوقی، یک پرسشِ کلیدی در مرکز توجه قرار گرفته است: «نقش واقعی هوش مصنوعی در این جنایت چه بود؟» آیا این یک «خطای الگوریتم» بود که به اشتباه مدرسهای در میناب را بهعنوان هدف نظامی شناسایی کرد، یا مسئله اصلی در جای دیگری—یعنی در ساختار قدرت، طراحی سامانهها و تصمیمهای انسانی—نهفته است؟
در این مقاله، تلاش میشود با نگاهی تحلیلی و فنی توضیح داده شود که سامانههای هوش مصنوعی نظامی چگونه کار میکنند، چه رابطهای با پروژههایی مانند Maven دارند، مسئولیت انسانی در کدام حلقهها قرار دارد، و چرا نسبت دادن فاجعه میناب به «خطای هوش مصنوعی» نهتنها از نظر اخلاقی، که از نظر فنی نیز گمراهکننده است.
۱. از «پروژه Maven» تا میناب: هوش مصنوعی در خدمت هدفگیری نظامی
در سالهای اخیر وزارت دفاع آمریکا سرمایهگذاری وسیعی روی سامانههای موسوم به «هوش مصنوعی نظامی» انجام داده است. یکی از شناختهشدهترین این پروژهها «Project Maven» است که در فضای عمومی بهعنوان یک «سیستم تحلیل تصویری مبتنی بر هوش مصنوعی برای شناسایی اهداف» معرفی شده است. به زبان ساده، سامانههایی مانند Maven سه کار اصلی انجام میدهند:
۱. جمعآوری و یکپارچهسازی دادهها:
تصاویر ماهوارهای، ویدئوهای پهپادها، سیگنالهای مخابراتی، اطلاعات حرارتی و دادههای دیگر در یک بستر واحد جمعآوری میشوند.
۲. استخراج الگو و پیشنهاد هدف:
الگوریتمهای یادگیری ماشین روی این دادهها اجرا میشوند تا «الگوهای رفتاری» و «اشیاء» (مثلاً خودرو، تجمع، ساختمان مشکوک) را تشخیص دهند و در نهایت «کاندیداهای هدف» را پیشنهاد دهند.
۳. اولویتبندی و ادغام با زنجیره فرماندهی:
خروجی این الگوریتمها در قالب لیست اهداف پیشنهادی، درجهبندی خطر و اهمیت، و گاهی حتی پیشنهاد نوع مهمات، به افسران و فرماندهان ارائه میشود.
این تصویر بهظاهر «فنی» یک وجه بسیار مهم را پنهان میکند:
هیچکدام از این سامانهها در خلأ عمل نمیکنند. آنها روی پایگاههای دادهای آموزش میبینند که توسط نهادهای امنیتی و نظامی ساخته شده؛ معیارها و آستانههای حساسی که در این سیستمها تعریف میشود (مثلاً اینکه چه نوع تجمعی «تهدید» محسوب شود) تصمیمهایی کاملاً انسانی، سیاسی و راهبردی است.
بنابراین، وقتی سامانهای مانند Maven در یک جنگ واقعی(مثلاً در حمله به ایران) مدرسهای در میناب را بهعنوان هدف اعلام میکند، این یک «تصمیم صرفاً الگوریتمی» نیست. این خروجی در نتیجهی:
- دادههایی است که طی سالها با نگاه و پیشفرضهای خاص جمعآوری و برچسبگذاری شده؛
- معیارهایی است که توسط فرماندهان و طراحان برای «تهدید» تعریف شده؛
- و سیاستی است که در سطح بالادستی برای حد تحمل تلفات غیرنظامی (یا حتی بیتفاوتی نسبت به آن) اتخاذ شده است.
۲. خطای الگوریتم یا تصمیم ساختاری؟ چرا روایت «AI مقصر است» فریبنده است
پس از بمباران مدرسه «شجره طیبه» در میناب، بخشی از رسانههای غربی به سرعت سعی کردند مسئله را به «خطای هوش مصنوعی» فروبکاهند. این روایت چند کارکرد مهم دارد:
۱. غیرشخصیکردن جنایت:
وقتی میگوییم «هوش مصنوعی اشتباه کرد»، عملاً سوژه انسانی محو میشود: دیگر نامی از افسر تحلیلگر، فرمانده عملیات، مسئول تأیید هدف یا طراح سامانه شنیده نمیشود. گویی حادثه، یک «اتفاق تکنیکی» بوده است.
۲. توزیع مسئولیت در سیاست تکنولوژیک:
مسئولیت از سطح تصمیمگیر (دولت، ارتش، پیمانکار دفاعی) به سطحی مبهم و غیرقابل پیگیری منتقل میشود: «شرکت سازنده الگوریتم»، «دادههای ناقص»، یا «پیچیدگی سیستم». در نهایت، هیچکس به شکل مشخص پاسخگو نیست.
۳. بهکارگیری زبان تخصصی برای خنثیسازی خشم عمومی:
با استفاده از اصطلاحاتی مانند «false positive»، «noise دادهها»، «bias الگوریتمی» و… فاجعهای که ماهیتاً اخلاقی است، به مسألهای فنی تقلیل مییابد که گویا با «بهبود نسخه بعدی نرمافزار» حل میشود.
اما از منظر فنی نیز این دفاعیه قابل پذیرش نیست. الگوریتمهای مورد استفاده در سامانههای هدفگیری، عمدتاً از نوع مدلهای یادگیری عمیق برای تشخیص الگو هستند. این مدلها:
- خودشان تصمیم سیاسی نمیگیرند؛
- نمیتوانند قواعد حقوق بینالملل بشردوستانه را درک کنند، مگر در حدی که طراحان آنها بخواهند و بتوانند این قواعد را در قالب معیارهای صوری وارد کنند؛
- و مهمتر از همه، در چارچوب محدودیتها و اهدافی عمل میکنند که انسانها تعیین کردهاند.
بنابراین اگر مدرسهای در میناب بهعنوان «هدف مشروع» وارد فهرست حمله شده است، چند سطح از مسئولیت انسانی در کار است:
- چه کسی و با چه اطلاعاتی آن منطقه را «مظنون» یا «هدف بالقوه» تعریف کرده است؟
- چه آستانهای برای «اطمینان از هدف» تعیین شده است؟ آیا سامانه برای «حمله سریع» به قیمت افزایش ریسک غیرنظامیان تنظیم شده بود؟
- چه کسی در زنجیره فرماندهی، هشدارهای احتمالی (مثلاً سیگنالهای وجود کودکان یا محیط آموزشی) را نادیده گرفته است؟
هیچیک از این پرسشها را نمیتوان با جملهای مانند «هوش مصنوعی اشتباه کرد» پاسخ داد.
۳. کاهش «انسان در حلقه»: وقتی نظارت انسانی عمداً کنار گذاشته میشود
یکی از نکات مهمی که کارشناسان در واکنش به گزارش گاردین برجسته کردهاند، این است که در سامانههای جدید هدفگیری، نقش انسان از جایگاه «تصمیمگیر اصلی» به یک «مهر تأییدکننده» تنزل یافته است. در ادبیات فنی سه مدل رایج توصیف میشود:
۱. Human-in-the-loop (انسان در حلقه):
سیستم پیشنهاد میدهد، اما بدون تأیید فعال انسان هیچ حملهای انجام نمیشود.
۲. Human-on-the-loop (انسان بر حلقه):
سیستم تقریباً خودکار عمل میکند و انسان بیشتر نقش نظارت کلی و مداخله در موارد خاص را دارد.
۳. Human-out-of-the-loop (انسان خارج از حلقه):
سامانه بهطور کامل خودکار عمل میکند و انسان اساساً در تصمیمگیری دخیل نیست.
گزارش گاردین و سایر تحلیلها درباره بهکارگیری سامانههای خودکار در جنگهای اخیر نشان میدهد که روند غالب، حرکت از مدل اول به مدل دوم و سوم است؛ یعنی:
- سرعت تصمیمگیری و حجم دادهها بهانهای شده است تا «زمان برای بررسی انسانی» حذف یا به شدت محدود شود؛
- فرماندهان، بهجای پرسشگری، به خروجی سامانههای هوش مصنوعی مثل «حقیقت فنی» مینگرند؛
- فشار برای «کاهش نیروی انسانی» و «افزایش هوشمندی» عملاً به کاهش کنترل اخلاقی و حقوقی منجر شده است.
در چنین فضایی، وقتی مدرسهای در میناب هدف قرار میگیرد، نمیتوان بهسادگی پذیرفت که «انسانها اطلاع نداشتند» یا «فقط ماشین تصمیم گرفت».
اگر انسان آگاهانه تصمیم گرفته است که نظارت انسانی تضعیف شود، خود این تصمیم یک انتخاب سیاسی و اخلاقی است—و مسئولیت آن با هیچ «الگوریتمی» قابل جابهجا شدن نیست.
۴. مسئله «داده»: وقتی پایگاههای اطلاعاتی نظامی آلودهاند
بخشی از مسئله، «خطاهای موجود در پایگاههای داده نظامی» است. از دید فنی، الگوریتمهای یادگیری ماشین بهشدت به کیفیت دادههای آموزشی وابستهاند. چند نوع مشکل دادهای بسیار رایج است:
۱. برچسبگذاری مغرضانه (Label Bias):
اگر در سالهای گذشته، هر تجمع مردمی در منطقهای خاص بهعنوان «تجمع مشکوک» برچسب خورده باشد، مدل یاد میگیرد که آن منطقه را ذاتاً «پرخطر» ببیند حتی اگر تجمع، مراسم مذهبی یا حضور دانشآموزان باشد.
۲. فقر داده درباره زیرساختهای غیرنظامی:
اگر در دادههای آموزشی، اطلاعات کافی درباره مدارس، بیمارستانها، مساجد و سایر اماکن حساس وجود نداشته باشد، مدل نمیتواند آنها را بهطور قابلاعتماد تشخیص دهد.
۳. بهروزرسانی گزینشی:
پایگاههای داده نظامی ممکن است سالها بهروزرسانی ناقص یا گزینشی شده باشند؛ مثلاً در مناطق تحریمی یا دشمن، امکان گردآوری داده دقیق کمتر است، اما همان دادههای ناقص همچنان مبنای تصمیمهای مرگآور قرار میگیرد.
از همینرو، وقتی میگویند «سیستم هوش مصنوعی مدرسه را اشتباه تشخیص داد»، در واقع باید پرسید:
- چه کسی و چه نهادی، طی سالها این پایگاه داده را با چه فرضهایی ساخته است؟
- چه سیاستی باعث شده است اطلاعات مربوط به حفاظت از کودکان و مدارس در اولویت نباشد؟
- آیا دادهها عمداً بهگونهای تنظیم شدهاند که هر زیرساخت شهری را بالقوه «دوکاربره» (Dual-use) و در نتیجه قابل حمله نشان دهند؟
بنابراین، نقص داده نیز نهایتاً به تصمیم انسانی برمیگردد؛ و باز هم «هوش مصنوعی» در نقش یک سپر دفاعی رسانهای ظاهر میشود.
۵. فناوری، اخلاق و قانون: چه کسی باید پاسخگو باشد؟
از منظر حقوق بینالملل بشردوستانه، چند اصل کلیدی در هر عملیات نظامی باید رعایت شود:
- اصل تفکیک (Distinction): تمایز روشن میان اهداف نظامی و غیرنظامی.
- اصل تناسب (Proportionality): عدم حمله در مواردی که تلفات غیرنظامی بهطور غیرقابل قبول بالاست نسبت به مزیت نظامی.
- اصل احتیاط (Precaution): اتخاذ همه تدابیر ممکن برای جلوگیری یا کاهش تلفات غیرنظامی.
استفاده از هوش مصنوعی نهتنها این اصول را لغو نمیکند، بلکه مطابق رویه حقوقی، دولتها نمیتوانند با ارجاع به پیچیدگی یا «خطای تکنیکی» از زیر بار آن شانه خالی کنند. اگر کشوری سامانهای را به کار میگیرد که:
- شفافیت کمی درباره نحوه تصمیمگیری دارد؛
- امکان بررسی و بازبینی مستقل آن محدود است؛
- و به لحاظ طراحی، خطر تلفات غیرنظامی را بالا میبرد؛
خودِ این انتخاب، نقض اصل احتیاط است. در چنین شرایطی:
- مسئولیت بر عهده دولت بهعنوان بهکارگیرنده سامانه است؛
- فرماندهان نظامی که رویههای عملیاتی را تدوین کردهاند، مسئولاند؛
- شرکتهای خصوصی و پیمانکارانی که سامانه را طراحی و پشتیبانی کردهاند، در سطحی دیگر مورد پرسش قرار میگیرند؛
- و هیچیک نمیتوانند پشت «غلطکردن یک الگوریتم» پنهان شوند.
۶. جنگ روایتها: چرا تأکید بر مسئولیت انسانی مهم است؟
تأکید کاربران و کارشناسان بر نقش «سامانه هدفگیری» و «کاهش نظارت انسانی» باعث شد روایت ایران در فضای آنلاین، از نظر اخلاقی و احساسی تأثیرگذاری بیشتری پیدا کند. این نکته صرفاً یک مسئله رسانهای نیست؛ بلکه نشان میدهد:
۱. افکار عمومی جهان نسبت به «طبیعیسازی خشونت تکنولوژیک» حساس شده است؛
۲. تلاش برای «بیچهره کردن» جنایت از طریق نسبت دادن آن به ماشین، با مقاومت روبهروست؛
۳. روایتهایی که بر کرامت انسانی قربانیان و مسئولیت انسانی عاملان تأکید میکنند، ظرفیت بیشتری برای شکلدهی افکار عمومی دارند.
در قضیه میناب، ایالات متحده و بخشی از رسانههای همراهش میکوشند فاجعه را در قالب یک خطای فنی حلوفصل کنند؛ اما پرسشهای اخلاقی و سیاسی پابرجا میماند:
- چه کسی تصمیم گرفت در نخستین ساعات تجاوز، از سامانهای استفاده شود که خطر خطای آن، بهویژه در مناطق مسکونی، بالاست؟
- چه مکانیسمی برای توقف فوری حمله در صورت ابهام در نوع هدف پیشبینی شده بود؟
- چرا هیچ سازوکاری برای پاسخگویی شفاف و مستقل درباره منطق انتخاب اهداف وجود ندارد؟
تا زمانی که این پرسشها بیپاسخ بماند، هرگونه ارجاع به «هوش مصنوعی» بیش از آنکه توضیح باشد، توجیه است.
۷. نتیجهگیری: هوش مصنوعی بهعنوان آینه ساختار قدرت، نه مقصر مستقل
فاجعه بمباران مدرسه «شجره طیبه» در میناب، صرفنظر از ابعاد سیاسی و حقوقی آن، یک نکته اساسی را درباره نسبت انسان، تکنولوژی و جنگ آشکار میکند: هوش مصنوعی نه یک موجود خودمختار خارج از کنترل ماست، و نه یک ابزار بیطرف که صرفاً «خطا کرد». این سامانهها:
- در چارچوب منطق راهبردی و سیاسی قدرتهای نظامی طراحی میشوند؛
- روی دادههایی آموزش میبینند که بازتابدهنده پیشفرضها، سوگیریها و سلسلهمراتب همان قدرتهاست؛
- و در زنجیرهای به کار گرفته میشوند که در آن، تصمیمهای انسانی درباره جان و مرگ غیرنظامیان نقش تعیینکننده دارد.
نسبت دادن قتلعام کودکان به یک «خطای هوش مصنوعی» در میناب، دو بار بیعدالتی است:
یکبار در حق کودکان و خانوادههایشان، که قاتلان واقعیشان پشت پرده الگوریتم پنهان میشوند؛
و بار دیگر در حق افکار عمومی جهان، که به جای مواجهه با حقیقت ساختاری جنگ، با روایتی تکنیکی و خنثی سرگرم میشود.
اگر قرار است ورود هوش مصنوعی به میدان جنگ به معنای بهانهای تازه برای گسترش بیکیفر خشونت نباشد، باید دستکم بر چند اصل پافشاری کرد:
- شفافیت در نحوه طراحی و بهکارگیری سامانههای هدفگیری مبتنی بر هوش مصنوعی؛
- الزام حضور مؤثر انسان در حلقه تصمیمگیری، بهویژه در هر حملهای که احتمال درگیر شدن غیرنظامیان وجود دارد؛
- مسئولیتپذیری حقوقی و سیاسی دولتها و شرکتهای سازنده در برابر تلفات غیرنظامی؛
- و مهمتر از همه، مقاومت در برابر هر تلاشی برای تبدیل «قتل عمد ساختاری» به «اشتباه تکنیکی».
میناب امروز فقط نام یک شهر و یک مدرسه در نقشه ایران نیست؛ نماد لحظهای است که در آن، مرز میان جنگ و تکنولوژی، و میان تصمیم انسانی و ماشین، عامدانه مخدوش شده است. بازگرداندن این مرزها به جای خود، شرط لازم هر گفتوگوی جدی درباره آینده هوش مصنوعی در جهان است؛ گفتوگویی که از کنار خون کودکان نمیتواند بیتفاوت عبور کند.
دکتر محمد فرهادی ـ پژوهشگر مرکز هوش مصنوعی و حقوق پژوهشگاه قوه قضاییه
