بهترین هوش مصنوعی برای فارسی؟ یک روش انتخاب با مثال

لیدربورد چه می‌گوید و چه نمی‌گوید؟

Artificial Analysis توضیح می‌دهد که شاخص هوش آن عمدتاً متنی و انگلیسی است و ارزیابی چندزبانه را جدا انجام می‌دهد. بنابراین نمی‌توان امتیاز عمومی را مستقیماً به رتبهٔ نگارش فارسی تبدیل کرد. در صفحهٔ مقایسهٔ ساروی نیز نام منبع و تاریخ داده کنار امتیاز آمده است.

منبع این بخش: روش‌شناسی Artificial Analysis ↗

چهار تمرین فارسی آماده کن

نمونه‌ها را از کاری انتخاب کن که خودت می‌توانی کیفیتش را تشخیص بدهی. برای آزمون اول، متن کوتاه و دادهٔ ساختگی بهتر از سند پیچیده‌ای است که نمی‌دانی پاسخ درست آن چیست. درخواست، فایل و زمان بررسی را برای مدل‌های مختلف یکسان نگه دار.

به چه چیزهایی امتیاز بدهیم؟

برای هر تمرین، درستی اطلاعات، رعایت درخواست، طبیعی‌بودن زبان و آماده‌بودن برای استفاده را از صفر تا دو امتیاز بده. صفر یعنی نیاز به بازنویسی، یک یعنی اصلاح محدود و دو یعنی قابل استفاده پس از بازبینی. اگر عددها غلط باشند، زیبایی متن نباید آن را جبران کند.

نام مدل را هنگام بررسی پنهان کن، اگر می‌توانی. گاهی انتظار ما از یک برند روی قضاوت اثر می‌گذارد. جواب‌ها را با برچسب الف و ب مرور کن و بعد ببین کدام مدل پشت هر پاسخ بوده است.

نشانه‌های مهم در متن فارسی

متن خوب فقط املای درست ندارد؛ باید مخاطب را بشناسد و از ترجمهٔ تحت‌اللفظی دور باشد. ایمیل اداری به یک همکار با توضیح ساده برای نوجوان فرق دارد. به نیم‌فاصله، جمع‌بستن، ترتیب جمله و ترکیب عدد با واحد توجه کن، اما وفاداری به معنا را در اولویت نگه دار.

انتخاب را با کار واقعی نهایی کن

پس از آزمون کوچک، یک کار واقعی کم‌ریسک را با گزینهٔ بهتر انجام بده. زمان اصلاح، کامل‌بودن فایل و تعداد رفت‌وبرگشت‌ها را ثبت کن. اگر نتیجه خوب نبود، ابتدا ببین مشکل از داده، ابزار یا درخواست بوده است؛ همهٔ خطاها از مدل نیستند.

این انتخاب همیشگی نیست. نمونه‌های آزمون را نگه دار تا با عرضهٔ مدل جدید، همان مقایسه را تکرار کنی. لازم نیست هر خبر تازه باعث تعویض تمام گردش‌کار تو شود.