Context Window چیست ؟
وقتی با یک مدل هوش مصنوعی صحبت میکنید، مدل نمیتواند بینهایت متن، فایل و سابقه گفتگو را همزمان جلوی خودش داشته باشد. مقدار اطلاعاتی که در یک نوبت میتواند در نظر بگیرد با مفهومی به نام Context Window یا پنجره زمینه مرتبط است.
یک میز کار را تصور کنید که فقط تعداد مشخصی برگه روی آن جا میشود. هرچه گفتگو، سند و دستور بیشتری روی میز بگذارید، فضای بیشتری مصرف میشود. اگر اطلاعات از ظرفیت قابل استفاده بیشتر شود، سیستم باید بخشی را حذف، خلاصه یا به روش دیگری مدیریت کند.
Context فقط پیام آخر شما نیست. بسته به محصول میتواند شامل دستورهای سیستم، تاریخچه گفتگو، فایلهای بازیابیشده، نتیجه ابزارها و پاسخ در حال تولید هم باشد.
بزرگتر بودن Context Window امکان کار با متنهای طولانیتر را میدهد، اما بهتنهایی کیفیت را تضمین نمیکند. انباشتن اطلاعات نامرتبط حتی میتواند مدل را گیج کند یا هزینه و زمان پردازش را بالا ببرد.
به همین دلیل در Agentها و گفتگوهای طولانی، مدیریت Context مهم است: باید اطلاعات ضروری حفظ شوند و چیزهای تکراری یا کماهمیت کنار گذاشته شوند. پنجره زمینه را میتوان حافظه کاری موقت مدل در همان درخواست در نظر گرفت، نه حافظه دائمی آن.