اکنون که استفاده از ابزارهای هوش مصنوعی مولد در نویسندگی به پدیدهای فراگیر تبدیل شده است، ادعای تشخیص متنهای نوشتهشده با ChatGPT نیز بیش از گذشته شنیده میشود.
برخی خوانندگان و حتی نویسندگان تصور میکنند کافی است با چند نشانه مشخص آشنا باشند تا بتوانند دخالت هوش مصنوعی را در یک متن تشخیص دهند.
عبارتهای خاص، استعارههای بیش از حد، جملههای بیش از اندازه منظم، انتقالهای مشابه میان پاراگرافها، استفاده مکرر از برخی کلمات و حتی ساختار کلی متن، از جمله مواردی هستند که معمولاً بهعنوان «نشانههای نوشتن با هوش مصنوعی» معرفی میشوند.
گاهی نیز افرادی در بخش نظرات مقالات، جملهبهجمله متن را بررسی میکنند و با اطمینان اعلام میکنند که نویسنده از ChatGPT استفاده کرده است.
اما یک مشکل اساسی وجود دارد:
تشخیص یک الگوی زبانی با اثبات منشأ آن الگو یکسان نیست.
اگر متنی بیش از اندازه منظم، روان یا قابل پیشبینی باشد، این ویژگی بهتنهایی نمیتواند ثابت کند که متن توسط یک مدل زبانی تولید شده است.
نویسندگان انسانی نیز سبک دارند.
برخی کوتاه مینویسند. برخی جملههای طولانی دارند. برخی از استعاره زیاد استفاده میکنند. برخی مرتب از عبارتهای انتقالی مشخصی مانند «با این حال»، «در نهایت» یا «از سوی دیگر» استفاده میکنند.
این ویژگیها بخشی از سبک نویسنده هستند، نه امضای اختصاصی هوش مصنوعی.
به همین دلیل، یکی از خطاهای رایج در بحث تشخیص محتوای هوش مصنوعی این است که یک ویژگی پرتکرار در خروجی مدلهای زبانی شناسایی میشود و سپس فرض میشود هر متنی که همان ویژگی را دارد، حتماً با هوش مصنوعی نوشته شده است.
این استدلال از نظر علمی قابل دفاع نیست.
همبستگی میان یک ویژگی زبانی و استفاده از هوش مصنوعی، بهتنهایی رابطه علت و معلولی را ثابت نمیکند.
چرا برخی متنها «بیش از حد شبیه هوش مصنوعی» به نظر میرسند؟
مدلهای زبانی بزرگ برای تولید متن، الگوهای موجود در حجم عظیمی از نوشتههای انسانی را یاد میگیرند.
در نتیجه، برخی ویژگیهایی که در نوشتههای تولیدشده توسط این مدلها دیده میشود، در اصل ویژگیهایی هستند که در نوشتار انسانی نیز وجود داشتهاند.
این نکته اهمیت زیادی دارد.
وقتی یک مدل زبانی متنی رسمی، منظم و دارای ساختار مشخص تولید میکند، الزاماً به این دلیل نیست که چنین سبکی ذاتاً «ماشینی» است. مدل در بسیاری از موارد همان ویژگیهایی را بازتولید میکند که انسانها برای نوشتن متنی روشن، قابلفهم و حرفهای به کار میبرند.
از طرف دیگر، نویسنده انسانی نیز میتواند آگاهانه یا ناخودآگاه به سبکی بنویسد که بسیار شبیه خروجی مدلهای زبانی باشد.
بنابراین ممکن است دو متن، یکی نوشته انسان و دیگری تولیدشده توسط هوش مصنوعی ، ویژگیهای آماری و زبانی مشابهی داشته باشند.
این موضوع در زبانشناسی محاسباتی مسئله مهمی است.
متن را میتوان بر اساس طول جملات، توزیع واژگان، تکرار کلمات، پیچیدگی نحوی، میزان تنوع واژگان و دهها ویژگی دیگر تحلیل کرد. اما حتی ترکیب این ویژگیها نیز لزوماً به معنای دستیابی به یک «اثر انگشت قطعی» برای هوش مصنوعی نیست.
در واقع، زبان چیزی نیست که بتوان مانند DNA یا یک شماره سریال منحصربهفرد، منشأ آن را فقط از روی ظاهرش تعیین کرد.
مشکل اصلی ابزارهای تشخیص هوش مصنوعی
ابزارهای تشخیص محتوای تولید شده توسط هوش مصنوعی (به انگلیسی: Artificial intelligence content detection) معمولاً تلاش میکنند با استفاده از ویژگیهای آماری و زبانی، احتمال تولیدشدن یک متن توسط مدل زبانی را تخمین بزنند.
این تفاوت بسیار مهم است:
آنها معمولاً در حال «اثبات» نیستند؛ در حال «برآورد احتمال» هستند.
برای مثال، برخی روشهای تشخیص به میزان قابل پیشبینی بودن کلمات در یک متن توجه میکنند. در یک متن انسانی، انتخاب واژهها ممکن است در برخی نقاط غیرقابل پیشبینیتر باشد، در حالی که مدلهای زبانی میتوانند در برخی شرایط الگوهای آماری منظمتری ایجاد کنند.
اما این ویژگی بهشدت تحت تأثیر موضوع، زبان، سطح رسمی بودن متن، مهارت نویسنده، ویرایشهای بعدی و حتی نوع مدل مورد استفاده قرار میگیرد.
نویسندهای که بسیار دقیق و ساختارمند مینویسد، ممکن است متنی تولید کند که از نظر آماری برای یک ابزار تشخیصدهنده بسیار «قابل پیشبینی» باشد.
در مقابل، متنی که ابتدا توسط هوش مصنوعی تولید شده اما بعداً بارها توسط انسان ویرایش شده است، ممکن است بسیاری از ویژگیهای اولیه خود را از دست بدهد.
در نتیجه، تشخیصدهنده با مسئلهای روبهرو است که از اساس دشوار است:
یک متن نهایی، تاریخچه تولید خود را بهطور کامل روی صفحه نمایش نمیدهد.
متن نمیگوید چه کسی اولین جمله را نوشته، چه کسی آن را بازنویسی کرده، چه کسی ساختار را تغییر داده و چه کسی اطلاعات را اضافه یا حذف کرده است.
وقتی ابزارهای مختلف پاسخهای متفاوتی میدهند
یکی از مشکلات شناختهشده در زمینه تشخیص محتوای هوش مصنوعی، اختلاف میان ابزارهای مختلف است.
ممکن است یک متن واحد در یک سرویس احتمال بالایی برای تولیدشدن توسط هوش مصنوعی داشته باشد و در سرویس دیگری کاملاً انسانی ارزیابی شود.
حتی یک تغییر کوچک در متن، مانند ویرایش چند جمله، تغییر ساختار یا افزودن بخشهایی با سبک شخصی نویسنده، میتواند نتیجه برخی سیستمهای تشخیص را تغییر دهد.
این مسئله نشان میدهد که خروجی یک ابزار تشخیص محتوای تولید شده توسط هوش مصنوعی نباید مانند نتیجه آزمایش قطعی تفسیر شود.
برای درک بهتر این موضوع، نمونه معروفی مانند «اعلامیه استقلال ایالات متحده» را میتوان در نظر گرفت.
در یک آزمایش، همین متن تاریخی به دو ابزار تشخیص هوش مصنوعی داده شد و نتایج بسیار متفاوتی به دست آمد؛ یکی از ابزارها درصد بالایی از احتمال تولید توسط هوش مصنوعیرا نشان داد، در حالی که ابزار دیگر احتمال بسیار پایینی ارائه کرد.
طبیعتاً نمیتوان نتیجه گرفت که نویسندگان قرن هجدهم به مدلهای زبانی مدرن دسترسی داشتهاند.
این مثال یک نکته ساده اما مهم را نشان میدهد:
اگر یک ابزار بتواند متنی انسانی و تاریخی را با اطمینان بالا بهاشتباه به هوش مصنوعی نسبت دهد، نتیجه آن ابزار نمیتواند بهتنهایی مدرک قطعی استفاده از هوش مصنوعی باشد.
البته این موضوع به معنای بیفایده بودن تمام ابزارهای تشخیص هوش مصنوعی نیست.
این ابزارها میتوانند در برخی شرایط بهعنوان یک سیگنال اولیه برای بررسی بیشتر مفید باشند.
مشکل زمانی آغاز میشود که «سیگنال» با «اثبات» اشتباه گرفته شود.
یک استعاره، عبارت خاص یا جمله منظم، مدرک نیست
بسیاری از بحثهای اینترنتی درباره تشخیص ChatGPT روی ویژگیهایی تمرکز دارند که بهراحتی قابل مشاهدهاند.
استفاده از استعاره.
جملههای منظم.
ساختار مشخص.
پاراگرافهای مشابه.
عبارتهای انتقالی.
استفاده از واژههایی مانند «در نهایت»، «نکته مهم این است» یا «از سوی دیگر».
اما تقریباً تمام این ویژگیها را میتوان در نوشتههای انسانی حرفهای نیز پیدا کرد.
حتی برخی از ویژگیهایی که بهطور گسترده به ChatGPT نسبت داده میشوند، ممکن است نتیجه دستورالعملی باشند که کاربر به مدل داده است.
اگر از یک مدل خواسته شود متنی رسمی، واضح، خلاصه، حرفهای و ساختارمند تولید کند، طبیعی است که نتیجه نیز رسمی، واضح، خلاصه، حرفهای و ساختارمند باشد.
در چنین شرایطی، تشخیص «سبک» مدل از روی متن دشوارتر میشود.
از سوی دیگر، انسانها نیز هنگام نوشتن برای مخاطب عمومی معمولاً از زبان بسیار پیچیده استفاده نمیکنند.
بنابراین هرچه متن حرفهایتر و استانداردتر باشد، برخی از ویژگیهای آن ممکن است با ویژگیهای خروجی مدلهای زبانی همپوشانی بیشتری پیدا کند.
این همان نقطهای است که قضاوت شهودی میتواند گمراهکننده شود.
«این متن شبیه ChatGPT است» با «این متن توسط ChatGPT نوشته شده است» دو گزاره کاملاً متفاوت هستند.
گاهی سرعت انتشار، سؤال مهمتری از سبک متن است
اگر هدف تشخیص استفاده از هوش مصنوعی باشد، شاید یکی از مهمترین نشانهها اصلاً در خود متن قرار نداشته باشد.
ممکن است نویسندهای در چندین پلتفرم، روزانه دهها هزار کلمه منتشر کند، همزمان صدها پست شبکه اجتماعی داشته باشد، به مشتریان پاسخ دهد، شغل تماموقت خود را حفظ کند و در همان مدت به فعالیتهای روزمره زندگی نیز برسد.
در چنین شرایطی، مسئله صرفاً تحلیل چند استعاره یا عبارت انتقالی نیست.
ریاضیات نیز اهمیت دارد.
فرض کنید فردی ادعا میکند روزانه ۱۰۰ هزار کلمه محتوای نهایی تولید میکند.
این مقدار در یک هفته به حدود ۷۰۰ هزار کلمه میرسد.
در یک ماه، حتی با در نظر گرفتن تفاوت تعداد روزها، صحبت از چند میلیون کلمه است.
چنین حجم تولیدی الزاماً غیرممکن نیست، اما پرسشهای مهمی ایجاد میکند:
این محتوا چه میزان تحقیق نیاز دارد؟
چه مقدار زمان برای ویرایش صرف شده است؟
آیا اطلاعات بررسی شدهاند؟
چه کسی منابع را مطالعه کرده است؟
آیا نویسنده فقط متن تولید میکند یا واقعاً درباره موضوعات مختلف مطالعه و فکر میکند؟
این پرسشها بسیار مهمتر از این هستند که آیا نویسنده در یک پاراگراف سه استعاره استفاده کرده است یا نه.
البته سرعت بالا نیز بهتنهایی اثبات استفاده از هوش مصنوعی نیست.
نویسندگان، مترجمان، ویراستاران و تولیدکنندگان محتوا میتوانند با استفاده از سیستمهای کاری بسیار منظم، قالبهای آماده، دیکته صوتی، ابزارهای ویرایش، تحقیق سریع و تجربه زیاد، سرعت بالایی داشته باشند.
بنابراین سرعت انتشار نیز باید یک نشانه برای بررسی باشد، نه یک حکم قطعی.
مرز میان نویسندگی انسانی و نویسندگی ماشینی دیگر ساده نیست
مشکل دیگری که در بحث تشخیص هوش مصنوعی وجود دارد، این است که «استفاده از هوش مصنوعی» یک مفهوم صفر و یکی نیست.
فرض کنید یک نویسنده ایده مقاله را خودش پیدا میکند.
منابع را خودش مطالعه میکند.
ساختار مقاله را طراحی میکند.
متن اولیه را خودش مینویسد.
سپس برای اصلاح چند خطای نگارشی از یک ابزار هوش مصنوعی کمک میگیرد.
در مرحله بعد، تمام پیشنهادها را بررسی میکند و بخشهایی را که قبول ندارد حذف میکند.
آیا چنین مقالهای «نوشته هوش مصنوعی» محسوب میشود؟
حالا وضعیت دیگری را در نظر بگیرید.
نویسنده فقط یک موضوع کلی وارد میکند و مدل زبانی عنوان، ساختار، استدلال، متن، نتیجهگیری و حتی منابع را تولید میکند و سپس متن تقریباً بدون بررسی منتشر میشود.
این دو فرایند را نمیتوان از نظر میزان دخالت هوش مصنوعی یکسان دانست.
به همین دلیل، بحث آینده احتمالاً کمتر درباره این سؤال خواهد بود که «آیا هوش مصنوعی استفاده شده است؟» و بیشتر درباره این خواهد بود که:
هوش مصنوعی دقیقاً در کدام مرحله و با چه میزان دخالت استفاده شده است؟
این تفاوت برای ناشران، رسانهها، دانشگاهها و حتی موتورهای جستوجو (مخصوصا جناب گوگل) اهمیت زیادی دارد.
مسئله اصلی، هوش مصنوعی نیست؛ مسئولیت محتواست
نوشتن فقط کنار هم قرار دادن کلمات نیست.
قبل از ظاهر شدن یک جمله روی صفحه، فرایند طولانیتری اتفاق میافتد.
مطالعه.
تحقیق.
انتخاب موضوع.
ارزیابی منابع.
طراحی استدلال.
نوشتن.
ویرایش.
حذف.
بازنویسی.
و گاهی حتی تغییر نظر.
به همین دلیل، کیفیت یک مقاله را نمیتوان فقط بر اساس این سؤال سنجید که چه کسی جملهها را تایپ کرده است.
اگر یک انسان تمام متن را شخصاً بنویسد اما اطلاعات نادرست منتشر کند، آن متن صرفاً به دلیل انسانی بودن ارزشمند نیست.
در مقابل، اگر نویسنده از یک ابزار هوش مصنوعی برای کمک در مرحلهای از فرایند استفاده کند، اما خودش منابع را بررسی کند، استدلال را شکل دهد، خطاها را اصلاح کند و مسئولیت محتوای نهایی را بپذیرد، وضعیت کاملاً متفاوت است.
در اینجا مفهوم مهمتری از «اصالت» مطرح میشود.
اصالت الزاماً به معنای نبود کامل ابزارهای هوش مصنوعی نیست.
اصالت میتواند به این معنا باشد که ایده، قضاوت، مسئولیت و تصمیمگیری واقعی در فرایند تولید محتوا وجود داشته باشد.
نوشتن همچنان بخشی از فرایند فکر کردن است
ارتباط میان نوشتن و تفکر، یکی از قدیمیترین و مهمترین موضوعات در فرایند نویسندگی است.
نوشتن صرفاً انتقال افکار آماده روی کاغذ نیست.
گاهی انسان در هنگام نوشتن متوجه میشود که استدلالش ناقص است.
گاهی یک پاراگراف باعث میشود فرضیه اولیه تغییر کند.
گاهی تحقیق نشان میدهد که تصور اولیه درباره یک موضوع اشتباه بوده است.
و گاهی خودِ فرایند نوشتن به روشن شدن یک فکر کمک میکند.
به همین دلیل، در نویسندگی حرفهای، کلمات روی صفحه فقط بخش نهایی یک فرایند بسیار بزرگتر هستند.
مطالعه، تحقیق، طرحریزی، انتخاب منابع، تحلیل، ویرایش و حتی تغییر عقیده نیز بخشی از نویسندگی محسوب میشوند.
هوش مصنوعی میتواند بعضی از این مراحل را سریعتر کند.
اما اگر تمام این مراحل به یک مدل واگذار شوند و انسان صرفاً خروجی نهایی را کپی کند، نقش نویسنده به شکل اساسی تغییر میکند.
در چنین شرایطی، سؤال اصلی دیگر «آیا این متن با ChatGPT نوشته شده؟» نیست.
سؤال مهمتر این است:
چه کسی پشت این محتوا فکر کرده است؟
آیا در آینده به برچسب انسانی نیاز خواهیم داشت؟
با گسترش محتوای تولیدشده یا تقویتشده با هوش مصنوعی، احتمالاً نیاز به روشهای شفافتر برای اعلام میزان استفاده از هوش مصنوعی بیشتر خواهدشد.
ممکن است در آینده، کتابها، مقالات، گزارشها یا محتوای دیجیتال دارای نوعی نشان استاندارد باشند که میزان دخالت هوش مصنوعی را مشخص کند.
چیزی ساده و قابل فهم.
نه لزوماً یک برچسب برای «خوب» یا «بد» بودن محتوا، بلکه نوعی اطلاعات درباره فرایند تولید آن.
برای مثال، میتوان مشخص کرد که هوش مصنوعی فقط برای ویرایش زبانی استفاده شده، برای ایدهپردازی به کار رفته، در تولید بخشهایی از متن مشارکت داشته یا تقریباً تمام متن توسط مدل تولید شده است.
چنین سیستمی از یک جهت میتواند از نویسندگان انسانی نیز محافظت کند.
زیرا در شرایط فعلی، اگر هر متن رسمی یا روانی صرفاً به دلیل شباهت ظاهری به خروجی ChatGPT مشکوک تلقی شود، نویسندگان واقعی نیز ممکن است با اتهامهای نادرست مواجه شوند.
از سوی دیگر، چنین شفافیتی میتواند به خوانندگان کمک کند تا رابطه خود با محتوا را بهتر ارزیابی کنند.
پس چگونه میتوان استفاده از ChatGPT را تشخیص داد؟
پاسخ ساده این است:
از روی یک یا چند نشانه زبانی، نمیتوان با اطمینان چنین کاری کرد.
استفاده از ابزارهای تشخیص هوش مصنوعی میتواند بخشی از یک فرایند بررسی باشد، اما نتیجه آنها باید احتمالی تلقی شود.
برای بررسی جدیتر، باید مجموعهای از شواهد در نظر گرفته شود:
تاریخچه ویرایش متن.
نسخههای اولیه.
فرایند تحقیق.
منابع مورد استفاده.
الگوی انتشار محتوا.
تغییرات ناگهانی در سبک نویسنده.
توانایی نویسنده در توضیح و دفاع از استدلالهای متن.
و در صورت امکان، شواهد مستقیم از فرایند تولید.
این روش بسیار منطقیتر از آن است که صرفاً به یک جمله، یک استعاره یا یک امتیاز ابزار تشخیص محتوای تولید شده توسط هوش مصنوعی تکیه شود.
زیرا هدف واقعی نباید پیدا کردن چند «کلمه جادویی» باشد که ظاهراً متعلق به هوش مصنوعی ChatGPT هستند.
هدف باید فهمیدن فرایند تولید محتوا و میزان مسئولیت انسانی در آن باشد.
در نهایت، شاید مهمترین درس عصر هوش مصنوعی این باشد که نمیتوان منشأ یک متن را همیشه فقط از روی ظاهر آن فهمید.
یک متن انسانی میتواند ماشینی به نظر برسد.
یک متن تولیدشده توسط هوش مصنوعی میتواند کاملاً انسانی به نظر برسد.
و متنی دیگر ممکن است ترکیبی از هر دو باشد.
بنابراین اعتماد کورکورانه به نرمافزارهای تشخیص هوش مصنوعی، همانقدر سادهانگارانه است که تصور کنیم هیچ راهی برای بررسی اصالت محتوا وجود ندارد.
راه درست، چیزی میان این دو است:
مشاهده، بررسی، شناخت زمینه، ارزیابی شواهد و استفاده از عقل سلیم.
در عصر هوش مصنوعی، مسئله اصلی دیگر این نیست که آیا میتوان یک متن را با یک کلیک «انسانی» یا «هوش مصنوعی» نامگذاری کرد.
مسئله مهمتر این است که بدانیم چه کسی مسئول چیزی است که منتشر شده، چه مقدار از آن بررسی شده و آیا پشت کلمات، تحقیق و تفکر واقعی وجود دارد یا خیر.
چون اگر حتی یک متن تاریخی که قرنها پیش نوشته شده بتواند یک ابزار تشخیص هوش مصنوعی را دچار خطا کند، اتکا به یک عدد روی صفحه برای قضاوت درباره نویسنده، قطعاً راه مطمئنی برای رسیدن به حقیقت نیست.
