۷ روش کاربردی برای کاهش مصرف توکن در ChatGPT و Claude
در میانه یک کار مهم، پیام محدودیت ChatGPT یا Claude نمایش داده می شود و ادامه گفتگو ممکن نیست. این تجربه برای بیشتر کاربران هوش مصنوعی آشنا است. پشت این محدودیت مفهومی به نام توکن قرار دارد و مدیریت آن تفاوت زیادی در کیفیت پاسخ ها و هزینه استفاده ایجاد می کند.
در این مطلب ابتدا توضیح می دهیم توکن چیست و سپس هفت روش عملی برای کاهش مصرف آن معرفی می شود. این روش ها هم برای پلن رایگان کاربرد دارند و هم برای کاربران اشتراکی که می خواهند از ظرفیت خریداری شده بیشترین استفاده را ببرند.
توکن چیست و چرا مصرف آن مهم است
مدل های زبانی متن را به قطعه های کوچکی به نام توکن تقسیم می کنند. هر توکن تقریبا معادل بخشی از یک کلمه است. نکته مهم برای کاربران ایرانی این است که متن فارسی معمولا نسبت به متن انگلیسی با همان معنا، توکن بیشتری مصرف می کند.
سه نکته درباره توکن ها تصویر را روشن می کند:
- هم پیام شما و هم پاسخ مدل توکن مصرف می کند.
- با هر پیام جدید، کل تاریخچه گفتگو دوباره برای مدل ارسال می شود. به همین دلیل گفتگوهای طولانی به مرور سنگین می شوند.
- هر گفتگو یک سقف ظرفیت دارد که به آن پنجره متنی گفته می شود. با پر شدن آن، مدل بخش های ابتدایی گفتگو را فراموش می کند یا اجازه ادامه نمی دهد.
روش اول: فایل PDF را قبل از ارسال به Markdown تبدیل کنید
ارسال مستقیم فایل PDF یکی از پرهزینه ترین کارها از نظر توکن است. هوش مصنوعی برای خواندن PDF علاوه بر متن، تصویر صفحه ها را هم پردازش می کند تا جدول ها و چیدمان را درک کند. همین پردازش تصویری برای هر صفحه صدها تا هزاران توکن اضافه مصرف می کند.
فرمت Markdown فقط متن خالص است و ساختار سند مانند عنوان ها و لیست ها را با کمترین کاراکتر ممکن حفظ می کند. در نتیجه همان محتوا معمولا ۳ تا ۵ برابر توکن کمتری می گیرد. برای این تبدیل می توانید از ابزار رایگان تبدیل PDF و Word به Markdown کافه لایسنس استفاده کنید. پردازش به طور کامل داخل مرورگر انجام می شود و فایل شما به هیچ سروری ارسال نمی شود، بنابراین برای اسناد کاری و محرمانه نیز مناسب است.
روش دوم: فقط بخش مرتبط سند را ارسال کنید
وقتی سوال فقط به یک فصل از جزوه یا یک بند از قرارداد مربوط است، ارسال کل سند منطقی نیست. همان بخش را جدا کنید و همراه یک توضیح کوتاه درباره موضوع بفرستید. این کار علاوه بر صرفه جویی در توکن، دقت پاسخ را هم بالا می برد چون مدل روی محتوای مرتبط تمرکز می کند.
روش سوم: متن را جایگزین اسکرین شات کنید
پردازش تصویر چند برابر پردازش متن هزینه دارد. اگر از صفحه ای عکس می گیرید که محتوای آن قابل کپی است، متن را کپی و ارسال کنید. اسکرین شات فقط زمانی انتخاب درستی است که موضوع سوال شما ظاهر و چیدمان صفحه باشد، نه محتوای آن.
روش چهارم: برای هر موضوع، گفتگوی جدید شروع کنید
چون تاریخچه با هر پیام دوباره ارسال می شود، ادامه دادن یک گفتگوی قدیمی برای موضوعی تازه یعنی پرداخت هزینه کل آن تاریخچه بدون هیچ فایده ای. برای هر موضوع مستقل یک گفتگوی جدید باز کنید. اگر به نتیجه گفتگوی قبلی نیاز دارید، خلاصه کوتاهی از آن را در پیام اول قرار دهید.
روش پنجم: دستورالعمل های تکراری را یک بار تنظیم کنید
اگر در ابتدای هر گفتگو توضیح می دهید که پاسخ فارسی باشد، لحن رسمی باشد یا خروجی در قالب مشخصی ارائه شود، این توضیح ها را به بخش Custom Instructions در ChatGPT یا تنظیمات Project در Claude منتقل کنید. این تنظیمات یک بار نوشته می شود و در همه گفتگوها اعمال می شود.
روش ششم: طول و قالب پاسخ را مشخص کنید
پاسخ های بلند هم توکن مصرف می کنند و در پیام های بعدی به عنوان بخشی از تاریخچه دوباره هزینه ایجاد می کنند. وقتی به توضیح کامل نیاز ندارید، درخواست را محدود کنید. عبارت هایی مانند «در سه جمله» یا «فقط فهرست وار» نتیجه را کوتاه و مصرف را کم می کند.
روش هفتم: جدول ها را به صورت CSV یا Markdown ارسال کنید
عکس گرفتن از فایل اکسل رایج است اما از نظر توکن پرهزینه ترین حالت ممکن است. به جای آن از داده ها خروجی CSV بگیرید و همان را ارسال کنید یا با ابزار تبدیل کافه لایسنس فایل CSV را به جدول Markdown تبدیل کنید. جدول Markdown خواناترین قالب جدول برای مدل های زبانی است.
جمع بندی
بیشترین صرفه جویی از دو عادت ساده به دست می آید: ورودی متنی و تمیز به جای فایل های سنگین، و مدیریت درست گفتگوها. با همین دو تغییر، در هر گفتگو جای بیشتری برای محتوای واقعی باقی می ماند و پاسخ ها دقیق تر می شوند. برای آشنایی بیشتر با یکی از این مدل ها، مطلب Claude AI چیست و چه کاربردهایی دارد را بخوانید.
برای دسترسی کامل و بدون محدودیت به این ابزارها می توانید اشتراک ChatGPT یا اشتراک Claude را از کافه لایسنس تهیه کنید. فعال سازی روی ایمیل شخصی شما انجام می شود و پشتیبانی کامل همراه آن است. فهرست کامل سرویس ها در دسته هوش مصنوعی در دسترس است.
سوالات متداول
توکن دقیقا چیست؟
توکن قطعه های کوچک متن است که مدل زبانی برای پردازش استفاده می کند. هر کلمه معمولا به یک یا چند توکن تبدیل می شود و هم پیام ورودی و هم پاسخ مدل شمرده می شود.
چرا متن فارسی توکن بیشتری مصرف می کند؟
واژه نامه مدل ها بیشتر بر پایه متن های انگلیسی ساخته شده است. به همین دلیل واژه های فارسی به قطعه های بیشتری شکسته می شوند و همان جمله به فارسی معمولا از معادل انگلیسی آن سنگین تر است.
آیا تبدیل PDF به Markdown کیفیت پاسخ را کم می کند؟
خیر. حذف کدهای قالب بندی و تصویر صفحه ها باعث می شود مدل روی متن اصلی تمرکز کند. در عمل پاسخ ها دقیق تر هم می شوند.
این روش ها برای پلن رایگان هم کاربرد دارد؟
بله. در پلن رایگان سقف پیام و ظرفیت گفتگو محدودتر است و همین روش ها باعث می شود دیرتر به محدودیت برسید.
برای فایل های اسکن شده چه راهی وجود دارد؟
PDF اسکن شده لایه متنی ندارد و ابزارهای معمول نمی توانند متن آن را استخراج کنند. می توانید فایل را در Google Drive بارگذاری و با Google Docs باز کنید تا متن با OCR استخراج شود، سپس همان متن را ارسال کنید.
