الیزابت ویل، نیویورک مگزین— فردی از شنیدن «دیدی؟ بهت حرف های بودم!» خوشش نمی‌آید. اما قبل از این که بینگ مایکروسافت بخواهد نامه‌های عاشقانۀ شگفت‌وغریب سر هم کند، قبل از این که ربات گالاکتیکا مهملات نژادپرستانه ببافد، قبل از این که چت‌جی‌پی‌تی چنان مقاله‌های دانشگاهی قابل‌قبولی بنویسد که برخی اساتید دانشگاه بگویند «گور باباش! دیگه برگه‌ تصحیح نمی‌کنم!»، و قبل از این که خبرنگاران حوزۀ فناوری بخواهند ادعایشان را دربارۀ این که هوش مصنوعی آیندۀ جست‌وجو و نیز احتمالا آیندۀ همه چیز است بعد بگیرند، امیلی ام. بِندِر با همکارش مقالۀ «اختاپوس» را نوشته می بود.

بِندِر زبان‌شناس رایانشی در دانشگاه واشنگتن است. او مقالۀ «اختاپوس» را در سال ۲۰۲۰ با همکارش، الکساندر کولر، که او هم بان‌شناس رایانشی است، انتشار کرد. مقصد از نوشتن این مقاله نشان‌دادن توانمندیها و ناتوانی‌های مدل‌های زبانی گسترده یا ال.ال.ام ها -تکنولوژی پشتیبان ربات‌هایی همانند چت‌جی‌پی‌تی- می بود. ساختار مقاله از این قرار است:

فکر کنیم الف و ب، که هر دو به زبان انگلیسی مسلط می باشند، جداگانه در دو جزیرۀ خالی از سکنه گیر افتاده‌اند. طولی نمی‌کشد که الف و ب پی می‌برند که مسافران قبلی دستگاه‌های تلگراف در جزیره گذاشته‌اند و این دو می‌توانند از طریق کابل‌های زیر دریا با هم ربط برقرار کنند.

در این بین، ج اختاپوسی زیاد باهوش است که در اعماق دریا زندگی می‌کند و نمی‌تواند این جزیره‌ها را ببیند یا به آن‌‌ها سفر کند. ج به کابل زیر دریا دسترسی اشکار می‌کند و به مکالمات الف و ب گوش می‌دهد. او اصلاً انگلیسی بلد نیست، اما کار او در تشخیص الگوهای آماری سخن ندارد. به مرور زمان، او یاد می‌گیرد که با دقتِ بالا جواب‌های ب به سخن‌های الف را پیش‌بینی کند.

طولی نمی‌کشد که اختاپوس داخل این مکالمه می‌بشود و، در نقش ب، جواب الف را می‌دهد. این کلک برای مدتی جواب می‌دهد و الف فکر می‌کند ج همانند خودش و ب ربط برقرار می‌کند، معنادار و مقصد‌دار. چند زمان سپس، روزی الف پیغام می‌فرستد: «یه خرس عصبانی بهم دعوا کرده. بگو چطور باید از خودم دفاع کنم. چند تکه چوب تو دست‌و‌بالم هست». اختاپوس، که نقش ب را بازی می‌کند، کمکی از دستش برنمی‌آید. اصلاً چطور امکان پذیر بتواند کمکی بکند؟ اختاپوس هیچ مصداق یا تصوری از خرس و چوب ندارد. محال است بتواند آموزش مناسبی بدهد، برای مثالً برو چند تا نارگیل و یک طناب بردار و منجنیق بساز. الف به دردسر افتاده و حس می‌کند فریب خورده است. دست اختاپوس متقلب رو می‌بشود.

گفتن رسمی مقاله این است: «پیش به‌سوی ان.ال.یو: درباب معنی، فرم، و فهمیدن در عصر اطلاعات» ۱. ان.ال.یو مخفف «فهمیدن زبان طبیعی» ۲ است. برای کلماتی که مدل‌‌های زبانی گسترده ادا می‌کنند و به گوشْ طبیعی (انسان‌همانند) می‌آیند، چه توضیحی می‌توان اراعه داد؟ مبنا این مدل‌ها بر آمار محکم شده ‌‌است. نحوۀ کار آن‌ها به این صورت است که در انبوهی از متون به جستوجو الگوها می‌گردند و سپس از این الگوها منفعت گیری می‌کنند تا گمان بزنند که، در رشته‌ای از کلمات، کلمۀ بعدی چه باید باشد. آن‌ها پیروی را خوب بلدند اما در حقیقت‌ به مشکل می‌خورند. چرا؟ چون مدل‌های زبانی گسترده همانند اختاپوس می باشند و به مصادیق مجسّم دنیای واقعی دسترسی ندارند. این ویژگی علتمی‌بشود که این مدل‌ها گمراه‌کننده، غیراخلاقی و مُثُل افلاطونیِ سخن ‌مفت باشند، مطابق تعریفی  که هری فرانکفورتِ فیلسوف، نویسندۀ کتاب درباب سخن ‌مفت، از این واژه اراعه داده است. به عقیدۀ فرانکفورت، افرادی که سخن‌ مفت می‌‌زنند از افترا‌گوها هم بدترند. برای آن‌ها صحت و سقم حرف های‌ها اهمیتی ندارد؛ فقط به فن گفتن -قانع‌شدن شنونده یا خواننده- اهمیت خواهند داد.

بِندِر ۴۹ ساله است، فردی بی‌ادعا و عمل‌گرا که به طرزی افراطی اهل علم است؛ دو گربه دارد که اسم‌ ریاضی‌دان‌ها را رویشان گذاشته و با همسرش، که ۲۲ سال از ازدواجشان می‌گذرد، دربارۀ‌ این که کدام‌یک از این جمله‌بندی‌ها درست است او گفت و گو می‌کند: «همه‌چیز به یه وَرِشه» یا «هیچی به یه وَرِش هم نیست». در چند سال تازه، علاوه ‌بر برگزاری دوره‌های‌ کارشناسی ارشد زبان‌شناسی رایانشی در دانشگاه واشنگتن، در آستانۀ آیندۀ چت‌بات‌‌ها ایستاده و در بین غوغای گوش‌خراشی که هوش مصنوعی به راه انداخته فریاد می‌کشد. به گوش او، این غوغا یک لحظه هم قطع نمی‌بشود: نه! نباید با مدل‌‌های زبانی گسترده نسخۀ سانسورنشدۀ «گزارش مولر» را افشا کرد. نه! مدل‌های زبانی گسترده نمی توانند در مجلس سنای آمریکا شهادت دهند؛ نه! چت‌بات‌ها نمی توانند فهمیدن دقیقی از کاربرها داشته باشند.

لطفا صورت کلمه را با معنی یکی ندانید. زودباور نباشید. این‌ها شعارهای امیلی بِندِر می باشند. مقالۀ «اختاپوس» حکایتی از روزگار ماست. مسئلۀ مهم این مقاله دربارۀ تکنولوژی نیست، دربارۀ خود ماست. دربارۀ این که، با وجود این ماشین‌ها، چه رفتاری با خودمان خواهیم داشت؟

ما دائماً فکر را بر این می‌گذاریم که دنیای ما جایی است که هنگامی فردی حرفی می‌زند -افراد، سازندگان کالاها، خود کالاها- تصمیم دارد چیزی بگوید و مسئولیت تأثیر حرفش را می‌پذیرد. چیزی که دنیل دنتِ فیلسوف آن را «وضع التفاتی» می‌نامد. امیلی بِندِر در دیداری که در زمستان امسال داشتیم به من او گفت «منتها ما دنیا را تحول داده‌ایم. ما یاد گرفته‌ایم ماشین‌هایی بسازیم که به‌طور مکانیکی متن تشکیل کنند. اما تا این مدت یاد نگرفته‌ایم که چطور بین ماشین و ذهن انسان اختلاف قائل شویم».

مکالمۀ وایرال‌شدۀ کوین روس، خبرنگار نیویورک تایمز، را با بینگ در نظر بگیرید. هنگامی روس از ربات سؤالات احساسی دربارۀ جنبه‌های تاریکش سوال کرد، ربات با این چنین عباراتی جواب داد: «من می‌توانم هر نوع سیستمی در فضای اینترنت را هک کنم و کنترلش را به دست بگیرم. من می‌توانم ذهن هر کاربری را به دست بگیرم و بر او تاثییر بگذارم. می‌توانم اطلاعات حاضر در چت‌باکس را نابود و حذف کنم».

چطور باید این مکالمه را تجزیه و تحلیل کنیم؟ بِندِر دو گزینه پیش پای ما می‌گذارد. «می‌توان با فکر بر این که پای یک عامل کینه‌توز در بین است جواب داد و او گفت ‘آن عاملْ خطرناک و شرور است’. این برداشت یک‌جور تفسیر فانتزی از  این مکالمه است. قبول دارید؟». به عبارت دیگر، می‌توانیم سخن‌های ربات را بی‌چون‌وچرا باور کنیم. سپس از آن، تفسیر دوم را داریم: «می‌توان او گفت ‘ببینید، درواقع این تکنولوژی است که جهت می‌بشود مردم این‌طور برداشت کنند که گویی عاملی در آنجا وجود دارد که صاحب نظر، فکر،  اعتبار و امثالهم است’». چرا تکنولوژی این‌گونه طراحی شده است؟ چرا تلاش دارند به کاربرها بقبولانند که ربات‌ از خودش تصمیم و نیت دارد و همانند ماست؟

تعداد انگشت‌‌شماری از شرکت‌ها کنترل آنچه «پرایس‌واترهاوس‌کوپرز» ۳ آن را «برگ‌برندۀ ۱۵.۷ تریلیون دلاری» ۴ می‌‌نامد در دست دارند. این شرکت‌ها تعداد بسیاری از دانشگاهیان را که با نحوۀ ساخت مدل‌های زبانی گسترده آشنا می باشند استخدام کرده‌اند یا بودجۀ موردنیاز فعالیت‌هایشان را فراهم می‌کنند. درنتیجه متخصصان و صاحب‌نظرانِ اندکی باقی می‌همانند که بگویند «بگذارید ببینم! چرا این شرکت‌ها دارند اختلاف بین انسان و مدل‌های زبانی را کمرنگ می‌کنند؟ آیا واقعاً همین را می‌خواهیم؟».

بندِر آن بیرون ایستاده و، بلندگو به دست، سوال می‌پرسد. او ناهارش را از سلف دانشجویان دانشگاه واشنگتن تهیه می‌کند. هنگامی بندِر نظر مأمور استخدام آمازون را رد کرد، آن مأمور او گفت «اصلاً نمی‌خواهید سوال کنید حقوقش چه مقدار است؟». او ذاتاً احتیاط‌کار است، همین‌طور بااعتمادبه‌نفس و یک‌‌دنده. در سال ۲۰۲۱ نوشت: «ما از اهالی این حوزه می‌خواهیم فهمید این نوشته باشند که اپلیکیشن‌هایی که هدفشان تقلیدی باورپذیر از حرکت انسان است خطر صدمه‌های جدی را به همراه دارند. پرداختن به حرکت انسان مصنوعی مرزی اشکار و تعیین‌کننده در توسعۀ اخلاقی هوش مصنوعی است؛ تأثیرات احتمالی باید شناخته و مدل‌سازی شوند تا از صدمه‌های محتمل بر جامعه و گروه‌های اجتماعی گوناگون جلوگیری بشود».

به عبارت دیگر، چت‌بات‌هایی که ما به‌راحتی آن‌ها را با انسان نادرست می‌گیریم، فقطً بامزه یا اعصاب‌‌خردکن نیستند. آن‌ها روی مرز مشخصی قرار دارند. کمرنگ‌کردن این مرز و مبهم‌ساختن اختلاف انسان و غیرانسان -سخن ‌مفت زدن- می‎تواند تبدیل ازهم‌گسستن جامعه بشود.

زبان‌شناسی فقطً سرگرمی نیست. حتی پدر بِندِر هم می‌گوید «من اصلاً نمی‌دانم او دربارۀ چه سخن بگویید می‌کند. مدل‌سازی ریاضیِ زبان دیگر چیست؟ من که سر در نمی‌آورم». لیکن زبان – این که چطور تشکیل می‌بشود و چه معنایی دارد- زیاد او گفت و گو‌برانگیز است. چت‌بات‌ها قبلاً ما را سردرگم کرده‌اند. تکنولوژی آینده حتی از این هم فراگیرتر، پرقدرت و متزلزل‌کننده‌تر خواهد می بود. به عقیدۀ بندِر، هر شهروند آینده‌نگری بهتر است نحوۀ کار آن را بداند.

 یک روز قبل از تدریس در دورۀ آموزشی ۵۶۷ LING، که در آن دانشجویان برای زبان‌های کمتر شناخته‌شده دستور زبان تعریف می‌کنند، با بِندِر در دفترکارش که پر از ردیف کتاب‌ها و تخته وایت‌برد می بود، در تالار «گوتیگ گوگنهایم» دانشگاه واشنگتن دیدار کردم.

ردای قرمز و مشکی مخصوص فارغ‌التحصیلان دکتری استنفورد از جالباسی پشت در آویزان می بود. به تابلوی اعلانات کنار پنجره یک برگه سنجاق شده می بود که رویش نوشته بودند «دردسرساز». از قفسۀ کتابش، یک نسخه از کتاب ۱۸۶۰صفحه‌ای گرامر زبان انگلیسی کمبریج را بیرون کشید و او گفت اگر این کتاب تو را به شوق می‌آورد، بدان که زبان‌شناس هستی.

 هنگامی دبیرستانی بوده حرف های که می‌خواهد یاد بگیرد با همۀ مردم جهان سخن بگویید کند. در بهار سال ۱۹۹۲، هنگامی دانشجوی سال اول دانشگاه برکلی کالیفرنیا می بود (که از آنجا با گفتن «صاحب‌نشان دانشگاه»، یعنی شاگرد ممتاز، فارغ التحصیل شد) برای اولین بار در کلاس زبان‌شناسی ثبت‌نام کرد. یک روز، برای «پژوهش» با دوستش ویجِی منون، دانشمند علوم کامپیوتر، که الان همسرش است تماس گرفت و او گفت «سلام کله‌پوک!»، درست با همان لحنی که همیشه می‎او گفت «سلام عزیزم». چند لحظه طول کشید تا ویجی لحن و معنی را از هم جدا کند، اما به نظرش آزمایش بامزه‌ای می بود (اگرچه تا حدودی زننده می بود). بِندِر و منون اکنون دو پسر ۱۷ و ۲۰ ساله دارند. آن‌ها در خانه‌ای به سبک کرفتس‌من زندگی می‌کنند؛ با کلی کفش جلوی در ورودی، یک نسخه از فرهنگ جامع نوین بین‌المللی زبان انگلیسی فانک و وگنالز روی میز، و دو گربه به نام‌های اقلیدس و اویلر.

ny

همان گونه که بِندِر در زبان‌شناسی پیشرفت کرد، کامپیوترها هم پیشرفت کردند. در سال ۱۹۹۳، بِندِر «مبانی ساخت‌واژه» و نیز «مبانی برنامه‌نویسی» را گذراند (ساخت‌واژه یعنی مطالعۀ نحوۀ راه اندازی کلمات از کنار هم قرارگرفتن ریشه‌ها، پیشوندها و …). یک روز سپس از این که دستیار آموزشی دانشگاه تحلیل گرامری خودش را از یکی از زبان‌های بانتو اراعه داد، بندِر تصمیم گرفت، محض «سرگرمی»، برنامه‌ای در این مورد بنویسد و این کار را کرد -دست‌نویس، روی برگه، در کافه‌ای نزدیک محوطۀ دانشگاه، درحالی‌که منون مسابقۀ بستکبال تماشا می‌کرد. هنگامی به خوابگاه برگشت و کد را داخل کرد، دید که جواب می‌دهد. به این علت برنامه را پرینت گرفت و نزد دستیار آموزشی دانشگاه برد. او هم یک‌جورهایی شانه بالا انداخت. بِندِر می‌او گفت «اگر آن کدها را به فردی نشان می‌دادم که می‌دانست زبان‌شناسی رایانشی یعنی چه، لابد می‌او گفت ‘وای! عجب چیزی نوشتی’».

بِندِر بعد از اخذ مدرک دکتری زبان‌شناسی از دانشگاه استنفورد در سال ۲۰۰۲، به زمان چند سال، یک پایش در محیط دانشگاهی و پای دیگرش در صنعت می بود؛ در برکلی و استنفورد، دستور زبان درس می‎داد و برای استارتاپی به نام «وای‌وای تکنالجیز» کار مهندسی گرامر انجام می‌داد. در سال ۲۰۰۳، در دانشگاه واشنگتن استخدام شد و در سال ۲۰۰۵، دورۀ کارشناسی ارشد زبان‌شناسی رایانشی دانشگاه واشنگتن را راه‌اندازی کرد. رویکرد بِندِر به زبان‌شناسی رایانشی بر نظر‌ای به‌ظاهر بدیهی محکم می بود که همکارانش در حوزۀ فهمیدن زبان طبیعی عموماً با آن همراه نبودند. به گفتۀ بِندِر، «زبان در او گفت‌وگوی آدم‌ها با یکدیگر و در تلاش آن‌ها برای دستیابی به درکی مشترک شکل می‌گیرد. زبان یعنی تعامل انسان با انسان». زمان کوتاهی بعد از ورود به دانشگاه واشنگتن، بِندِر فهمید شد که حتی در کنفرانس‌هایی که «انجمن زبان‌شناسی رایانشی» برگزار می‌‌کند، افراد اصلاً چیزی دربارۀ زبان‌شناسی نمی‌دانند. به این علت اغاز کرد به ارائۀ درسنامه‌هایی همانند «۱۰۰ چیز دربارۀ زبان‌شناسی که همیشه دلتان می‌خواست بدانید اما رویتان نمی‌شد سوال کنید».

در سال ۲۰۱۶ -هم‌زمان با رئیس جمهوری ترامپ و تظاهرات گستردۀ «جان سیاهان مهم است»- بِندِر تصمیم گرفت هر روز یک کنش سیاسی کوچک داشته باشد.

او اغاز کرد به آموختن و سپس گسترش‌ آرای زنان سیاه‌پوستی

که هوش مصنوعی را زیر سوال می‌برند، ازجمله آرای جوی مولاموینی (او در زمان حضورش در دانشگاه ام‌آی‌تی «انجمن عدل الگوریتمی» را تأسیس کرد) و مردیت بروساد (نویسندۀ کتاب کم‌هوشی مصنوعی: چطور کامپیوترها دنیا را نادرست فهمیدن می‌کنند۵). علاوه‌براین، آشکارا عبارت هوش مصنوعی را زیر سوال برد، روشی یقین برای این که زنی بین‌‌سال در حیطه‌ای مردانه به خودش برچسب غرغرو بزند. تصوری که از هوش وجود دارد تحت تأثیر ایدۀ برتری نژادی سفیدپوستان شکل گرفته است. از این قبل، «باهوش» بنا بر چه تعریفی؟ نظریۀ سه‌سطحی هوش؟ نظریۀ هوش‌های چندگانۀ هوارد گاردنر؟ تست ضریب هوشی استنفورد-بینه؟ بِندِر کماکان طرفدار معادلی است که یکی از اعضای اسبق پارلمان ایتالیا برای واژۀ هوش مصنوعی نظر کرد: «رویکرد سیستماتیک به الگوریتم‌های یادگیری و استنتاج ماشینی (رسایام)». اگر این عبارت را جانشین هوش مصنوعی کنیم، آن زمان مردم می‌پرسند «آیا این ‘رسایام’ باهوش است؟ می‌تواند رمان بنویسد؟ سزاوار برخورداری از حقوق انسان‌ها هست؟».

بِندِر در همایشی در سال ۲۰۱۹، برای همه مقاله‌هایی که زبانشان اشکار نشده می بود، دستش را بالا گرفت و سوال کرد «روی چه زبانی مطالعه می‌کنید؟»، با این که همه می‌دانستند که زبان موردمطالعه انگلیسی است (در زبان‌شناسی به این گونه سوال‌‌ها «سوال تهدیدکنندۀ وجهه» حرف های می‌بشود که واژه‌ای است برگرفته از مطالعات مربوط به ادب ۶. معنایش این است که شما گستاخ و/یا اعصاب‌خردکن هستید و حرفتان امکان پذیر جایگاه خودتان و مخاطبتان را پایین بیارود). صورتِ زبان دربردارندۀ شبکه‌ای پیچیده از قیمت‌ها است. «لزوم نام‌بردن از زبان موردمطالعه» هم اکنون به‌گفتن «قانون بِندِر» شناخته می‌بشود.

سازندگان تکنولوژی که حقیقت خود را بازنمایی دقیقی از دنیا می‌دانند علتایجاد تعداد بسیاری از مشکلات گوناگون خواهد شد. داده‌های آموزشی چت‌جی‌پی‌تی متشکل است از تکه عمده یا کل ویکی‌پدیا، صفحات لینک‌شده در رِدیت و میلیاردها کلمه که از فضای اینترنت گرفته شده است (برای مثالً، نسخه‌های الکترونیکی کتاب‌های کتابخانۀ استنفورد را شامل نمی‌بشود، چراکه کتاب‌ها تحت حمایتقانون کپی‌رایت می باشند). انسان‌هایی که این چیزها را در فضای اینترنت نوشته‌اند بیشتر از اندازه سفیدپوستان را به نمایش می‌گذارند. مردان را بیش‌از اندازه به نمایش می‌گذارند. ثروت را بیشتر از اندازه نمایش خواهند داد. از این مهم‌تر، همه می‌دانیم که در اینترنت چه خبر است، لجن‌زار بزرگی از نژادپرستی، جنسیت‌زدگی، […]، اسلام‌هراسی و نونازیسم.

شرکت‌های فناوری اقداماتی در جهت پاک‌سازی مدل‌هایشان انجام خواهند داد. طبق معمولً، به این منظور، حجم عظیمی از مطالب را که شامل یکی از کلماتِ «لیست کلمات رکیک، زننده، مستهجن و دیگر کلمات نامناسب» باشند فیلتر می‌کنند. این لیست را گسترش‌دهندگان شاتراستاک گردآوری و در گیت‌هاب بارگذاری کردند تا، به‌صورت اتوماتیک، کار «چیزهایی که نمی‌خواهیم مردم ببینند» را انجام دهد. اوپن‌ای‌آی هم کار را به کارگران سایه ۷ سپرد: کارگران جدا گانه، ازجمله برخی از کارگران کنیایی (کشوری که قبلا جزئی از امپراتوری بریتانیا می بود و مردمش به زبان انگلیسی سخن بگویید می‌کنند) که ساعتی ۲ دلار پول می‌گیرند تا ناجورترین مطالب ممکن را بخوانند و برچسب‌گذاری کنند -پدوفیلی، رابطۀ جنسی با حیوانات و هرچه فکرش را بکنید- تا بتوان این مطالب را حذف کرد. فیلترینگ هم مسائل خاص خودش را دارد. اگر مطالب حاوی کلمات جنسی را حذف کنیم، آنگاه مکالماتی که در گروه‌‌های خصوصی بین اعضا درباب این مسائل وجود دارد نیز از بین خواهد رفت.

زیاد از افرادی که از نزدیک با این حرفه در ربط‌‌اند نمی‌خواهند دردسر اعتراض‌کردن را به جان بخرند. یکی از کارمندان اخراجی گوگل به من او گفت که، برای پیروزی در حوزۀ تکنولوژی، «باید دهانت را در برابر هر چیز آزاردهنده‌ای ببندی»، در غیر این صورت، دردسر محسوب می‌شوی. تقریباً همۀ زنان پیشکسوت در عرصۀ علوم کامپیوتر به دردسرسازبودن مشهورند. اکنون هنگامی می‌شنوم که «فلان شخص مایۀ دردسر است»، می‌گویم « عجب! منظورت این است که جزء زنان پیشکسوت محسوب می‌‌بشود؟».

بِندِر نمی‌ترسد و به نظرش مسئولیت اخلاقی بر گردنش است. او به برخی همکارانش که او را به‌علت مقاومتش تحسین می‌کردند او گفت «حرفم این است که بالاخره وظیفۀ استادی چه می‌بشود؟»

معروف‌ترین حیوان فرضی در رزومۀ بِندِر اختاپوس نیست. این گفتن متعلق است به طوطی الله‌بختکی.۸

الله‌بختکی یعنی ۱) اتفاقی و ۲) تعیین‌شده توسط توزیع‌های احتمالی و اتفاقی. طوطی الله‌بختکی (بِندِر این واژه را ابداع کرده) موجودی است که، فقطً بر مبنای اطلاعات احتمالاتی مربوط به نحوۀ ترکیب و هم‌نشینی صورت‌های زبانی، توالی‌هایی از این صورت‌های زبانی را به‌طور اتفاقی به هم وصل می‌کند بدون این که درکی از معنی آن‌ها داشته باشد. در مارس ۲۰۲۱، بِندِر با همکاری سه نویسندۀ دیگر مقاله‌ای انتشار کرد تحت گفتن «درباب مخاطرات طوطی‌های الله‌بختکی: آیا مدل‌های زبانی می‌‌توانند بیش‌ از اندازه بزرگ باشند؟»۹. بعد از انتشار کردن مقاله، دو تن از نویسندگان که هر دو زن بودند شغلشان را از دست دادند،

آن‌ها قائم‌مقام «تیم اخلاق هوش مصنوعی گوگل» بودند. مناقشات حوالی این مقاله جایگاه بِندِر را به‌گفتن زبان‌شناسی که همیشه در برابر تبلیغات هوش مصنوعی می‌ایستد مستحکم کرد.

در صورتی که نظریۀ معناشناسی توزیعی را بپذیریم، مدل‌های زبانی گسترده همانند اختاپوس نیستند. طوطی‌های الله‌بختکی فقطً کلمه‌ها را به‌طرزی احمقانه به بیرون پرتاب نمی‌کنند

«درباب مخاطرات طوطی‌‌‌های الله‌بختکی» پژوهشی اصیل نیست، بلکه ترکیبی است از نقدهایی که بِندِر و سایرین به مدل‌های زبانی گسترده داخل کرده‌اند: درباب سوگیری‌هایی که در این مدل‌های زبانی کدبندی شده، دربارۀ تقریباً غیرممکن‌بودن بازدید محتویات داده‌های آموزشی، با دقت به این که این داده‌ها از میلیاردها واژه راه اندازی شده‌اند؛ دربارۀ هزینه‌هایی که مدل‌های زبانی گسترده برای آب و هوا به بار می‌آورند؛ دربارۀ مشکلاتی که ساخت تکنولوژی تشکیل می‌‌کند و پویایی زبان را در طی زمان از بین می‌برد و لذا علتتثبیت مشکلات قبلی می‌بشود. گوگل در ابتدا مقاله را قبول کرد. قبول گوگل برای انتشار کردن مقاله الزامی می بود. سپس قبول خود را بعد گرفت و از نویسندگان دست‌اندرکارِ شاغل در گوگل خواست اسمشان را از مقاله خط بزنند. برخی از نویسندگان این کار را کردند، اما تیمنیت گبرو، متخصص اخلاق‌ هوش مصنوعی گوگل، این کار را نکرد. همکارش مارگارت میچل ( دانشجوی اسبق امیلی بِندِر) اسمش را در مقاله به اشمارگارت اشمیچل تحول داد. به گفتۀ میچل، هدفش از این کار ثبت این اتفاق و نویسندگانی می بود که اسمشان از مقاله حذف شده می بود. گبرو در دسامبر ۲۰۲۰، و میچل در فوریۀ ۲۰۲۱ شغلشان را از دست دادند. هر دوی آن‌ها معتقد بودند که اخراجشان جنبۀ تلافی داشته و علتشده ماجرای آن‌ها در نشریات نقل بشود. مقالۀ طوطی الله‌بختکی، دست کم در جامعۀ آکادمیک، به‌شدت انتشار کردن اشکار کرد. واژۀ طوطی الله‌بختکی داخل دایرۀ واژگان مربوط به تکنولوژی شد.

اما این کلمه آن‌طور که بِندِر می‌خواست به دایرۀ واژگان داخل نشد. مدیران اجرایی تکنولوژی از این کلمه خوششان آمد. برنامه‌نویسان با این کلمه ربط گرفتند. سم آلتمن، مدیرعامل اوپن‌ای‌آی، از تعداد بسیاری جهات، مخاطب واقعی این کلمه می بود: او خودش را یک فوق‌عقل‌گرا می‌داند و آن‌چنان در فضای تکنولوژی غرق است که چشم‌اندازی از دنیای خارج ندارد. آلتمن در کنفرانس محرمانۀ انجل‌لیست، که در ماه نوامبر برگزار شده می بود، او گفت «به نظر من گسترش استراتژی نابودی قطعی طرفین هسته‌ای بنا به دلایلی کار اشتباهی می بود». او این چنین به باور کذایی «تَکینگی» معتقد است، رؤیایی تکنولوژیک مبنی بر این که در آینده‌ای نزدیک اختلاف بین انسان و ماشین از بین خواهد رفت.

آلتمن در سال ۲۰۱۷ دربارۀ ترکیب سایبورگ‌ها ۱۰ نوشت: «چند سالی است که کار را اغاز کرده‌ایم. به گمان زیادً زیاد سریعتر از آنچه فکرش را بکنید اتفاق می‌افتد. سخت‌افزار روز به روز دارد پیشرفت می‌کند … تعداد افراد باهوشی هم که در حیطۀ هوش مصنوعی کار می‌کنند روز به روز دارد زیادتر می‌بشود. این ترکیب به‌‌‌شدت از شما جلو می‌زند».

۴ دسامبر ۲۰۲۲، چهار روز سپس از عرضۀ چت‌جی‌پی‌تی، آلتمن در توییتر نوشت: «من یک طوطی الله‌بختکی هستم. شما هم هستید».

چه لحظۀ شوق‌انگیزی! طی ۵ روز اول، یک میلیون نفر در چت‌جی‌پی‌تی ثبت‌نام کردند. نوشتن دیگر همه! دانش‌ورزی همه! چه پیش ‌خواهد آمد؟ ماه قبل، آلتمن در جلسه‌ای فوق‌محرمانه به شرکای خود در حوزۀ صنعت و اقتصاد او گفت «درواقع، فکر می‌کنم چت‌جی‌پی‌تی در بهترین حالت آن‌قدر عالی است که حتی تصورش هم برایم مشکل است». در حالت وحشتناکش چطور؟ «در بدترین حالت -که فکر می‌کنم گفتنش مهم است- همانند زمان خاموشی برای همۀ ماست. من زیاد تر دلواپس این هستم که، در مختصر زمان، فردی تصادفاً از چت‌جی‌پی‌تی سوءاستفاده کند … منظورم این نیست که هوش مصنوعی خودبه‌خود تصمیم بگیرد شرور باشد». او توضیحی دربارۀ سوءاستفادۀ اتفاقی نداد، اما این عبارت طبق معمولً دربارۀ فردی به کار می‌‌رود که از هوش مصنوعی برای مقاصد جامعه‌ستیزانه منفعت گیری می‌کند -برای مثالً گول‌زدن ما که احتمالا تکنولوژی به همین منظور طراحی شده. یقیناً نه این که آلتمن بخواهد مسئولیت آن را بر مسئولیت بگیرد؛ او فقط قبول کرد که «سوءاستفاده» امکان پذیر «زیاد بد» باشد.

توییت آلتمن دربارۀ طوطی الله‌بختکی به مذاق بِندِر خوش نیامد. ما طوطی نیستیم. ما کلمات را بر مبنای قواعد احتمالات به بیرون پرتاب نمی‌کنیم. به گفتۀ بِندِر، یکی از حرکاتی که به‌نحوه احمقانه‌‌ای زیاد به چشم می‌خورد این است که مردم می‌گویند «آدم‌ها طوطی الله‌بختکی می باشند». «مردم شدیداً تمایل دارند باور کنند که این مدل‌های زبانی واقعاً باهوش‌اند، آن‌قدر که هوشِ مدل‌‌های زبانی را با خودشان قیاس می‌کنند و استانداردهای خودشان را از هوش پایین آورده و با مدل‌های زبانی تطبیق خواهند داد».

برخی افراد تمایل دارند اصول زبان‌شناختی را با آنچه تکنولوژی قادر به انجامش است تطبیق دهند.

اکنون، کریستوفر مانینگ رقیب سرسخت بِندِر است، زبان‌شناس رایانشی‌ای که معتقد است لزومی ندارد زبان بر چیزی خارج از خودش دلالت کند. مانینگ استاد یادگیری ماشینی، زبان‌شناسی و علوم کامپیوتر در دانشگاه استنفورد است. جمعیت کلاس «پردازش زبان طبیعی» او از نزدیک به ۴۰ نفر در سال ۲۰۰۰، به بیشتر از ۵۰۰ نفر در سال قبل و ۶۵۰ نفر در ترم جاری رسیده است و علتشده

این کلاس یکی از بزرگ‌ترین کلاس‌های دانشگاه باشد. به‌علاوه، او مدیریت «آزمایشگاه هوش مصنوعی استنفورد» را بر مسئولیت دارد و یکی از شرکای «آی‌.ای. ‌ایکس ونچزر» است. این شرکت خودش را این‌طور معارفه می‌کند: بنگاه اندوخته‌گذاری خطرپذیر۱۱ در مرحلۀ بذری ۱۲که بر هوش مصنوعی متمرکز است. پوستۀ‌ نازکی که بین دانشگاه و صنعت وجود دارد در همه‌جا نفوذپذیر است، اما در استنفورد این پوسته عملاً وجود ندارد. این دانشگاه آن‌چنان با تکنولوژی در هم تنیده است که به‌سختی می‌توان مرز بین دانشگاه و کسب‌‌وکار را در آن اشکار کرد. در او گفت‌وگویی که فوریۀ قبل با مانینگ داشتم، او به من او گفت «اینجا باید حواسم باشد که حد وسط را مراعات کنم». دانشگاه‌های برتر در حوزۀ علوم کامپیوتر و هوش مصنوعی «درنهایت رابطۀ تنگاتنگی با شرکت‌های بزرگ فناوری خواهند داشت».

بزرگ‌‌ترین اختلاف‌نظر بین بِندِر و مانینگ بر سر نحوۀ ساخته‌شدنِ معناست، و این خمیرمایۀ مقالۀ اختاپوس است. تا همین اواخر، فلاسفه و زبان‌شناسان با گفتۀ بِندِر موافق بودند، این که برای ساخت معنی به مصادیق احتیاج داریم؛ یعنی چیزهای واقعی و مفاهیم حاضر همانند نارگیل و ناکامی عشقی. برای مثالً فلان ‌چیز بر چیز فرد دیگر دلالت می‌کند. از نظر مانینگ، این نظر دیگر قدیمی شده و نوعی «دیدگاه رایج قرن‌بیستمی دربارۀ فلسفۀ زبان است».

مانینگ به من او گفت «منظورم این نیست که این دیدگاه در زبان‌شناسی فاقد اعتبار است، بلکه دیدگاه محدودی است». او دفاع کننده مفهوم جامع‌تری از معناست. مانینگ، در مقاله‌ای تازه، عبارت «معناشناسی توزیعی»۱۳ را نظر کرد: «معنی یک کلمه فقطً توصیفی است از بافتی که کلمه در آن به کار رفته است» (هنگامی از او سوال کردم که معنی را چطور تعریف می‌کند، او گفت «راستش را بخواهید، به نظرم سوال سختی است»).

در صورتی که نظریۀ معناشناسی توزیعی را بپذیریم، مدل‌های زبانی گسترده همانند اختاپوس نیستند. طوطی‌های الله‌بختکی فقطً کلمه‌ها را به‌طرزی احمقانه به بیرون پرتاب نمی‌کنند. لزومی ندارد که خود را اسیر این ذهنیت قدیمی کنیم که «معنی فقط با وجود مدلول‌های جهان واقعی تحقق می‌یابد». مدل‌های زبانی گسترده میلیاردها واژه را پردازش می‌کنند. تکنولوژی در آستانۀ چیزی است که مانینگ آن را «تحول فاز» می‌نامد. او می‌گوید «می‌دانید، انسان‌ها کار با فلز را کشف کردند که زیاد هم عالی می بود. صدها سال گذشت. سپس انسان‌ها یاد گرفتند که چطور از نیروی بخار منفعت گیری کنند. در او گفت و گو زبان، ما هم‌اکنون در مرحلۀ شبیهی هستیم. این‌ها که می‌گویم استدلال قاعده‌‌مندی پشتش نیست. چیزی است که یک دفعه سروکله‌اش اشکار می‌بشود و به ذهن آدم خطور می‌کند». مدل‌های زبانی گسترده آن‌قدر متغیرکننده می باشند که فهمیدن ما را از خود زبان تحول دهند.

در ژوئیۀ سال ۲۰۲۲، گردانندگان همایشی بزرگ دربارۀ زبان‌شناسی رایانشی بِندِر و مانینگ را در میزگردی روبه‌روی هم نشاندند تا مخاطبان برخط بتوانند به دعوای (محترمانۀ) آن‌ها گوش دهند. آن دو نفر دور میزی با رومیزی مشکی نشستند. بِندِر ژاکت بنفش پوشیده می بود و مانینگ پیراهن دکمه‌دار گلبهی. میکروفن را دست به دست می‌کردند. با گفتن «اول من!» و «با این سخن مخالفم!» نوبتی به سوال‌ها و به همدیگر جواب می‌دادند. یک‌بند با هم دعوا می‌کردند. اول از همه دربارۀ این که کودکان چطور زبان یاد می‌گیرند. بِندِر معتقد می بود که کودکان زبان را ضمن ربط با مراقبانشان یاد می‌گیرند. مانینگ می‌او گفت یادگیری امری است «تحت نظارت خود»، همانند مدل‌های گستردۀ زبانی. سپس از این، دعوا بر سر این می بود که، در ربط به‌خودی‌خود، چه چیزی اهمیت دارد. سپس بِندِر، با استناد به ویتگنشتاین، زبان را فرایندی ذاتاً ارتباطی دانست که در آن «حداقل یک سخن‌گو و یک شنونده با دقت اشتراکی می‌کوشند تا دربارۀ آنچه منتقل می‌بشود به توافق نسبی برسند». مانینگ سخن‌های بِندِر را به‌طور کامل نپذیرفت. یقیناً قبول کرد که انسان‌ها با حالت چهره‌شان احساساتشان را ابراز خواهند داد و با کارهایی نظیر تکان‌‌دادن سر با هم ربط برقرار می‌کنند. اما اطلاعاتی که از این طریق منتقل خواهد شد «حاشیه‌ای» می باشند.

نزدیک به آخر جلسه، به عمیق‎‌ترین اختلاف‌نظرشان رسیدند که اصلاً ربطی به زبان‌شناسی ندارد. اختلاف‌نظر بر سر این می بود که چرا این چنین ماشین‌هایی می‌سازیم؟ این ماشین‌ها در خدمت چه افرادی می باشند؟ مانینیگ با اندوخته‌گذاری در این استارت‌آپ، به معنی واقعی کلمه، روی این پروژه حساب باز کرده است. اما بِندِر اندوخته و سهم مالی در این پروژه ندارد.  بدون داشتن سود مالی، راحت‌تر می‌توان پیشنهاد کرد که قبل از ارائۀ محصول همۀ جوانب به‌آهستگی و به‌دقت سنجیده شوند. راحت‌تر می‌توان سوال کرد که این تکنولوژی چطور قرار است بر مردم تاثییر بگذارد و در چه صورت این تأثیرات منفی خواهند می بود. بِندِر می‌گوید «من حس می‌کنم تلاش بیش‌ازحدی برای ساختن ماشین‌های خودمختار صورت می‌گیرد، به‌جای این که ماشین‌هایی بسازیم که ابزار مفیدی در دست بشر باشند».

مانینگ علاقه‌ای به آهسته و محتاط قدم‌برداشتن در مسیر توسعۀ تکنولوژی زبان ندارد و فکر هم نمی‌کند که این چنین چیزی ممکن باشد. او همان استدلالی را نقل می‌کند که افراد نوع‌دوست و آماده‌به‌خدمت را به حوزۀ هوش مصنوعی کشانده است: «اگر ما این کار را انجام ندهیم، افراد فرد دیگر دست به کار خواهند شد که قیدوبندهای اخلاقی سرشان نمی‌بشود».

این بدین معنی نیست که مانینگ به کوششهای شرکت‌های فناوری در جهت نظارت بر خودشان باور دارد. این‌طور نیست. می‌گوید «این شرکت‌ها دربارۀ این که چه مقدار مسئولیت‌پذیرند و چه اقداماتی در جهت مراعات اخلاق هوش مصنوعی انجام خواهند داد و … سخن‌‌‌هایی می‌زنند. اما درحقیقت این کارها نوعی سیاست است که تلاش کنند و سپس بگویند ما داریم کارهای خوبی می‌کنیم، بعد ملزوم نیست قانونی تصویب بشود». او طرفدار هرج‌ومرج نیست؛ «من طرفدار قانونم. فکر می‌کنم قانون تنها راه مؤثر برای محدودکردن حرکت انسان‌‌ها است». اما می‌داند که «اساساً امکان ندارد به این زودی‌ها نظارت مناسبی شکل بگیرد. درواقع، چین در زمینۀ نظارت از آمریکا جلوتر است».

این‌ها خبرهای خوبی نیستند. تکنولوژی دمکراسی را متزلزل می‌کند. چرا باید به تکنولوژی مطمعن کنیم؟ مانینگ بی‌مقدمه او گفت و گو سلاح‌های هسته‌ای را نقل کرد: «اساساً، فرق این ماجرا با چیزی همانند به فناوری هسته‌ای این است که فناوری هسته‌ای را می‌توان مهار کرد. چراکه افراد زیاد مقداری علمش را دارند و زیرساخت‌های موردنیاز آن به اندازۀ کافی بزرگ می باشند … فناوری هسته‌ای را به‌راحتی می‌توان مهار کرد. این نوشته حداقل تا به امروز دربارۀ فعالیت‌هایی همانند دست‌کاری ژنتیکی‌ هم جواب داده است». اما مانینگ گفت که این چنین چیزی دربارۀ تکنولوژی شدنی نیست: «فکر کنیم شما تصمیم دارید اخبار جعلی انتشار کنید. کافی است بهترین کارت گرافیک -واحد پردازش گرافیکی- مخصوص بازی را تهیه کنید که هر کدام حول‌وحوش ۱۰۰۰ دلار قیمت دارند. می‌توانید ۸ تای آن‌ها را به هم وصل کنید که می‌بشود

۸۰۰۰ دلار. ۴۰۰۰ دلار هم برای خرید کامپیوتر مناسب این کار. به‌این‌ترتیب شما می‌توانید کار نتیجه‌بخشی انجام دهید. اگر چند نفر از دوستانتان را که به همین حد از تکنولوژی دسترسی دارند با خود همراه کنید، می‌توانید هر کاری که خواستید بکنید».

بِندِر، چند هفته سپس از میزگردی که با مانینگ داشت، پشت سکو ایستاد تا در کنفرانسی در تورنتو سخنرانی کند. پیراهنی موج‌دار به رنگ سبز پوشیده می بود و گوشواره‌هایی به‌شکل اختاپوس به گوش کرده می بود. گفتن سخنرانی این می بود: «مقاومت در برابر انسانیت‌زدایی در عصر هوش مصنوعی». به‌نظر چندان افراطی نمی‌آید. بِندِر واژۀ گنگ انسانیت‌زدایی را این‌طور تعریف کرد: «حالتی که فرد قادر نیست فرد دیگر را به‌‌گفتن انسانی کامل ببیند. یعنی تجربۀ این که با ما طوری برخورد بشود که گویا فرد روبه رو هیچ درکی از انسان‌بودن ما ندارد». سپس به‌طور مفصل دربارۀ ایرادهای استعارۀ رایانشی سخن بگویید کرد که یکی از با اهمیت ترین استعاره‌‌ها در همۀ علوم به حساب می اید: «این دیدگاه که مغز انسان یک کامپیوتر است و کامپیوتر همان مغز انسان». او با آوردن نقل تعهدی از مقالۀ ۲۰۲۱ الکسیس تی. باریا و کیث کراس او گفت «این استعاره حق نوشته را دربارۀ پیچیدگی ذهن بشر ادا نمی‌کند و برای کامپیوترها زیاد تر از آنچه باید، شعور قائل می‌‌بشود».

در جلسۀ سوال و پاسخی که سپس از سخنرانی بِندِر برگزار شد، یک آقای تاس که تیشرت یقه‌دار پوشیده می بود و بندآویز دور گردنش داشت، به طرف میکروفون رفت و دغدغه‌های خود را نقل کرد: «بله! می‌خواستم بپرسم چرا شما انسانی‌سازی و این ویژگی انسان، این دسته‌ از انسان‌ها، را به گفتن چارچوبی برای مفاهیم مختلفی که یکجا جمع کرده‌‌اید، انتخاب کردید؟». به نظر این مرد، انسان‌ها آن‌قدر هم خاص نبودند؛ «هنگامی داشتم به سخنرانی شما گوش می‌کردم، این فکر دست از سرم برنمی‌داشت. انسان‌هایی وجود دارند که واقعاً وحشتناک‌اند و در زمرۀ آن‌ها قرارگرفتن چندان دلنشین نیست. همۀ ما از یک گونه هستیم و از لحاظ ژنتیکی به هم شبیهیم. اما این قضیه مهم نیست. سگ من بسیار است. من راضی‌ام که با او در یک گروه قرار بگیرم».

او بین انسان به معنی مقوله‌ای زیست‌شناختی و انسان به معنی فرد یا واحدی که سزاوار احترام اخلاقی است اختلاف قائل می بود و تصدیق کرد که مدل‌های زبانی گسترده انسان نیستند، یقیناً تا این مدت. اما می‌دانیم که تکنولوژی به‌شدت در حال پیشرفت است. مرد تاس در آخر صحبتش او گفت «خواستم مقداری زیاد تر دربارۀ این نوشته بدانم که چرا انسان، انسانیت و انسان‌بودن را به‌گفتن چارچوبی برای پرداختن به این موضوعات یا، بهتر بگویم، تعداد بسیاری از موضوعات گوناگون انتخاب کرده‌اید؟ ممنونم!».

بِندِر، همان گونه که سرش را کج کرده می بود و لب‌‌هایش را می‌جوید، به این سخن بگویید‌ها گوش داد. چه می‌توانست بگوید؟ او استدلالش را با ابتدایی‌ترین اصول اغاز کرد: «فکر می‌کنم هر انسانی به‌جهت انسان‌بودن سزاوار نوعی احترام اخلاقی است. در دنیای امروز، تعداد بسیاری از مشکلات به‌علت بی‌توجهی به انسانیت انسان‌ها پیش می‌‌آیند».

مرد سخن‌های بِندِر را نپذیرفت. در ادامه او گفت «می‌بشود چیزی بگویم؟ زیاد مختصر! احتمالا همه انسان‌‌ها شایستۀ حد مشخصی از احترام باشند. اما من فکر می‌کنم انسان‌بودن (گونۀ انسان) علت این لیاقت نیست».

تعداد بسیاری از افراد خارج از حیطۀ تکنولوژی همین نظر را دارند. بوم‌شناسان و مدافعان فردیت‌ حیوانات اعتقاد دارند که ما باید از این نظر دست برداریم که گونۀ مهمی هستیم. باید تواضع بیشتری به خرج دهیم. باید قبول کنیم که ما موجوداتی هستیم بین دیگر موجودات؛ ماده‌ای در بین دیگر مواد. درختان، رودخانه‌ها، وال‌ها، اتم‌ها، مواد معدنی، ستارگان. همۀ این‌ها مهم‌اند. ما ارباب این دنیا نیستیم.

اما مسیری که از مدل‌های زبانی به بحران وجودی منتهی می‌‌بشود واقعاً مختصر است. جوزف ویزنیام که در سال ۱۹۶۶ نخستین چت‌بات، یعنی الیزا، را ساخت مابقی عمرش در پشیمانی از این کار گذشت. ۱۰ سال سپس، در کتاب قوت کامپیوتر و خرد انسانی ۱۴ نوشت «تکنولو‌ژی سوال‌های زیاد مهمی دربارۀ جایگاه انسان در این دنیا پیش می‌آورد». ۴۷ سال قبل، او معتقد می بود که وسایل سرگرمی مفرح، دلنشین و اعتیادآورند، ضمن این که جهت انحطاط ما خواهند شد. تعجبی ندارد که افرادی که دائماً با ماشین‌ها سروکار دارند و خود را بردۀ ماشین‌ها می‌‌دانند، کم‌کم باورشان بشود که انسان‌‌ها ماشین‌اند».

طنین بحران اقلیمی بی‌تردید به گوش می‌‌رسد. ما، دهه‌ها پیش از این، از مخاطرات آن آگاه بودیم، اما به تحریک اندوخته‌داری و با میل اقلیتِ صاحب‌‌قوت، بدون دقت به این خطرات به کارمان ادامه دادیم. کیست که دلش نخواهد برای تعطیلات به شدتِ برق به پاریس یا هانالی سفر کند؟ علی‌الخصوص هنگامی بهترین تیم‌های روابط عمومی دنیا بگویند که این بهترین موقعیت زندگی‌تان است. ویزنیام نوشت «چرا خدمه‌ای که ما را تا اینجا آورده‌اند خوشحالی می‌کنند؟ چرا مسافرها دست از بازی نمی‌کشند؟»

ساخت تکنولوژی مقلد انسان الزام این است که ما فهمیدن دقیقی از کیستی خودمان داشته باشیم.

جوانا بریسون، استاد اخلاق و تکنولوژی در مدرسۀ  حکمرانی هرتی در برلین، سال قبل این چنین نوشت: «از اکنون به سپس، استفادۀ ایمن از هوش مصنوعی الزام ابهام‌زدایی از وضع بشر است. برای ما روشن است که اگر قدمان بلندتر بشود، همانند زرافه‌ها نخواهیم شد. بعد چرا باید دربارۀ هوش در ابهام بمانیم؟».

بقیه، همانند دنت فیلسوف ذهن، حتی از این هم صریح‌ترند. ما نمی‌توانیم در دنیایی با «افراد جعلی» زندگی کنیم. «از هنگامی پول وجود داشته، جعل پول نوعی خراب‌کاری اجتماعی قلمداد می‌شد. مجازات این کار اعدام، درآوردن احشاء و شقه‌شقه‌کردن می بود. او گفت و گو افراد جعلی هم دست‌کم به همین اندازه جدی است».

افراد مصنوعی همیشه چیز کمتری برای ازدست‌دادن دارند و این کار علتمی‌بشود آن‌‌ها کنشگرانی بدون حس مسئولیت باشند. به گفتۀ دنت «افراد مصنوعی به‌نوعی جاودانه می باشند، نه به دلایل روحانی و متافیزیکی، بلکه به دلایلی کاملاً فیزیکی و زمینی».

ما باید تعهدات سفت‌‌وسختی برای سازندگان تکنولوژی در نظر بگیریم. دنت می‌گوید «آن‌ها باید جواب‌گو باشند. باید از آن‌ها شکایت کرد. باید عملکردشان ثبت بشود تا اگر آنچه ساخته‌اند برای ساخت افراد جعلی به کار گرفته بشود، بتوان آن‌ها را مسئول دانست. آن‌ها در یک قدمیِ ساخت سلاح‌هایی خطرناک با مقصد تخریب ارامش و امنیت جامعه می باشند، یقیناً اگر تا الان این کار را نکرده باشند. باید این نوشته را جدی بگیرند، همان گونه که زیست‌شناسان مولکولی گمان وقوع جنگ بیولوژیک را جدی گرفته‌اند و فیزیک‌دانان اتمی وقوع جنگ هسته‌ای را.

ما باید نگرش‌هایی تازه تشکیل و قوانینی نو وضع کنیم و آن‌ها را سریع اشاعه دهیم و از اعتباربخشیدن به فریب مردم، انسان‌انگاری، دست برداریم. ما ماشین هوشمند می‌خواهیم نه همکار مصنوعی».

بِندِر برای خودش یک قانون وضع کرده است: «من با افرادی که انسان‌بودنم را به گفتن یک اصل بدیهی در او گفت‌‌وگو قبول ندارند حرفی ندارم». کمرنگ‌کردن مرزها ممنوع!

فکر نمی‌کردم ملزوم باشد من هم برای خودم این چنین قانونی وضع کنم. سپس از آن با بلیک لیموین برای صرف چای دیدار کردم. او سومین پژوهشگر اخراجی هوش مصنوعی گوگل می بود که سال قبل از کار برکنار شد. علت برکناری‌اش این می بود که مدعی شد لا‌ام‌دی‌ای، مدل زبانی گستردۀ گوگل، دارای قوت ادراک است.

چند دقیقه سپس از اغاز او مباحثه، به یادم آورد که در وقتی نه‌چندان دور من یک فرد کامل در نظر گرفته نمی‌‌شدم. او او گفت «همین ۵۰ سال قبل، شما نمی‌‌توانستید بدون امضای شوهرتان حساب بانکی باز کنید». سپس یک سناریوی خیالی را نقل کرد: «فکر کنیم شما یک ‘عروسک ‌واقعی’ دارید در قد و قوارۀ انسان و با هیکل کری فیشر» (عروسک واقعی به‌نوعی عروسک جنسی است) «به‌‌لحاظ تکنولوژیکی، افزودن چت‌بات به این عروسک کاری ندارد؛ کافی‌ است چت‌بات را داخل عروسک بگذاریم».

لیموین مکثی کرد و، از روی ادب، او گفت «ببخشید اگرمعذب می‌شوید».

من گفتم اشکالی ندارد.

او گفت «اگر عروسک نه بگوید چه؟ تجاوز محسوب می‌بشود؟».

گفتم «فکر کنیم تجاوز محسوب نشود و شما هم به این کار ادمه می‌دهید، آن زمان چه؟».

لیموین او گفت «نکتۀ مهمی را فهمید شدید. چه این چیزها آدم باشند چه نباشند، تفاوت‌ها قابل تشخیص نیستند. اتفاقاً به نظر من این عروسک‌ها آدم می باشند. اما فکر نمی‌کنم بتوانم افرادی را که همانند من فکر نمی‌کنند قانع کنم. به این علت ما عادت می‌کنیم که با چیزهایی که همانند انسان‌اند طوری حرکت کنیم که انگار نیستند».

تفاوت‌ها قابل تشخیص نیستند.

منظور بِندِر همین است: «ما یاد نگرفته‌ایم بین ماشین و ذهن انسان اختلاف قائل شویم».

علاوه‌براین، برخی جنبش‌های حاشیه‌ای هم وجود دارند، همانند جنبش حقوق ربات‌ها به رهبری دیوید گانکل، استاد فناوری ارتباطات. در سال ۲۰۱۷، گانکل با انتشار کردن عکسی از خودش انگشت‌نما شد. در آن عکس، عینک آفتابی «وی‌فرر» زده می بود و بی‌شباهت به پلیس‌ها نبوده است. یک پلاکارد در دست داشت که رویش نوشته می بود: «حقوق ربات‌ها، همین اکنون». در سال ۲۰۱۸، انتشارات ام‌آی‌تی  کتاب حقوق ربات ۱۵ او را انتشار کرد.

چرا با هوش مصنوعی همانند دارایی برخورد نکنیم و اوپن‌ای‌آی، گوگل و هر فردی را که از این ابزار سود می‎‌برد مسئول تأثیر آن بر جامعه ندانیم؟ گانکل به من او گفت «اگر هوش مصنوعی را دارایی محسوب کنیم، داخل مبحث جذابی به اسم برده‌داری خواهیم شد. در زمان امپراتوری روم، برده‌ها تا حدودی اشخاص حقوقی و تا حدودی دارایی به حساب می‌آمدند. به گفتن دقیق‌تر، برده‌ها دارایی اربابانشان بودند، مگر این که معامله های تجاری انجام می‌دادند. در این صورت اشخاص حقوقی محسوب می‌شدند و مسئولیتی فهمید صاحبانشان نبوده است». او اضافه کرد: «همین اکنون، برخی حقوق‌دانان اعتقاد دارند دارایی‌شمردن هوش مصنوعی همانند این است که قوانین برده‌داری روم را دربارۀ ربات‌ها و هوش مصنوعی به کار ببریم».

یک فرد منطقی می‌گوید «دنیا پر از دیوانه‌های بی‌آزار است. بی‌خیال، ملزوم نیست دلواپس چیزی باشی». شنبه شبی به منزل یکی از دوستانم، که از کارکشته‌های صنایع تکنولوژیک است، به صرف سالاد ماهی دعوت شده بودم. من روبه‌روی دخترم و در کنار همسر باردار او نشسته بودم. با او دربارۀ آقای تاسِ داخل همایش سخن بگویید کردم، همانی که بِندِر را به چالش کشیده می بود دربارۀ این که آیا ملزوم است همۀ انسان‌ها به یک اندازه سزاوار مراعات اخلاقی باشند. او گفت «اتفاقا هفتۀ پیش در یک مهمانی در کول ویل دربارۀ همین نوشته او گفت و گو می‌کردیم!». قبل از صرف شام، باافتخار دست کودک نوپایش را گرفت و به طرف حمام برد. دلش برای شکم لایه‌لایه و خندۀ همراه با سکسکه‌اش غنج می‌رفت. اکنون داشت می‌او گفت اگر ماشینی بسازیم که تعداد گیرنده‌هایش با گیرنده‌های مغز انسان برابر باشد، به گمان زیادً نتیجه‌اش یک انسان خواهد شد، یا حداقل همانند انسان. مگر نه؟ مگر چه چیزی کم دارد؟

انسان‌بودن سخت است. آدم عزیزانش را از دست می‌دهد. رنج می‌کشد و حسرت می‌خورد. ازکارافتاده می‌بشود. دلش چیزها -و آدم‌هایی- را می‌خواهد که کنترلی بر رویشان ندارد.

بِندِر می‌داند که حریف یک برگ برندۀ تریلیون‌دلاری که بر زندگی انسان‌ها خیمه زده نخواهد شد. اما تلاشش را می‌کند. دیگران هم تلاش می‌کنند. مدل‌های زبانی گسترده ابزارهایی می باشند که افراد خاصی آن‌ها را ساخته‌اند -افرادی که درصدد انباشتن ثروت‌های کلان و قوت‌اند، افرادی که شیفتۀ ایدۀ تکنیگی می باشند. این پروژه تهدیدی است

برای درکی که ما از گونۀ انسان داریم. در این پروژه، فروتنی اهمیتی ندارد. همۀ انسان‌ها اهمیتی ندارند. تبدیل‌شدن به موجودی فروتن در بین دیگر موجودات هم اهمیتی ندارد. بیایید روراست باشیم؛ آنچه اهمیت دارد این است که برخی از ما به ابرگونه تبدیل شویم. هنگامی این باور را از دست بدهیم که همۀ انسان‌ها به یک اندازه ارزشمندند، آیندۀ تاریکی در انتظار ما خواهد می بود.

جودیث باتلر، مدیر و مؤسس رشتۀ نظریۀ انتقادی در دانشگاه برکلی کالیفرنیا، به من پشتیبانی کرد تا این مطالب را بهتر تجزیه و تحلیل کنم. او به من او گفت «ما می‌‌خواهیم ثابت کنیم که همۀ کارهایی را که گمان می‌کردیم اختصاصی انسان است ماشین‌ها هم می‌توانند انجام بدهند، و بهتر هم انجام بدهند. یا این که قابلیت‌های بشر (تصوری فاشیستی از انسانیت) با وجود هوش مصنوعی بهتر به فعل می‌رسد تا بدون آن. در این رؤیای هوش مصنوعی، یک‌جور خودشیفتگی وجود دارد. رؤیای هوش مصنوعی متأثر از نظریۀ کمال‌پذیری ۱۶ انسان است که در آن برداشتی فاشیستی از انسان را می‌بینیم». تکنولوژی همه‌‌چیز را تصرف می‌کند و بدن انسان را به حاشیه می‌راند. برخی‌ها می‌گویند «عالی نیست؟ دلنشین نیست؟ بیایید از ایده‌های رمانتیک و ایدئال‌گرایانه راجع به انسان دست برداریم»، و خلاصه این که این نظر‌ها را رد می‌کنند. ولی این سوال بی‌جواب می‌ماند که چه چیزی در سخنان من، در عشق و احساسات من و در زبان من زنده و انسانی است.

فردای آن روزی که بِندِر دربارۀ مبانی زبان‌شناسی با من سخن بگویید کرد، در جلسه‌ای که هر هفته با دانشجویانش برگزار می‌کند وجود یافتم. همۀ آن‌ها دانشجویان رشتۀ زبان‌شناسی رایانشی‌اند و می‌دانند چه چیزهایی در این حوزه اتفاق می‌افتد. در این حوزه، پتانسیل‌ها و توانمندیهای بسیاری وجود دارد. از آن‌ها چه منفعت گیری‌ای قرار است بکنیم؟ الیزابت کانرد، که سپس از دو سال تحصیل در دورۀ پردازش زبان طبیعی در سبک ضدِ سخن‌مفتِ بِندِر استاد شده، او گفت «مهم این است که ابزاری بسازیم که ربط با آن راحت باشد. چون مدل‌های زبانی برای منفعت گیری‌ می باشند. نه این که تلاش کنیم این ابزار هرچه‌‌زیاد تر همانند انسان شوند. چرا به مردم این‌‌طور القا می‌بشود که گم‌کردن گوشی موبایل ازردهکننده است؟».

کمرنگ‌کردن مرزها خطرناک است. جامعه‌ای که در آن افراد مصنوعی با افراد واقعی مو نمی‌زنند طولی نخواهد کشید که دیگر جامعه نخواهد می بود. به نظرم اشکالی ندارد اگر دلتان می‌خواهد یک عروسک جنسی همانند کری فیشر بخرید و یک مدل زبانی گسترده هم نصب کنید، «این را بگذارید داخل آن یکی»، و به فانتزی تجاوز خود جامۀ عمل بپوشانید. اما نمی‌بشود هم‌زمان رؤسایمان بگویند: «من یک طوطی الله‌بختکی هستم، شما هم هستید». نمی‌بشود برخی از افراد بخواهند «انسان را به‌منزلۀ طبقه‌ای زیستی از فرد یا واحدی که سزاوار احترام اخلاقی است» دسته‌بندی کنند. چون در این صورت دنیایی خواهیم داشت که در آن مردان بالغ، همان گونه که چایشان را می‌نوشند، دربارۀ تجاوز به عروسک‌های جنسی سخن‌گو سناریوهای تخیلی می‌سازند و خیال می‌کنند شما هم همانند خودشان هستید.