اسکات هنسلمن، مهندس باسابقه مایکروسافت، ابزار متن‌باز gputaskman را برای نظارت دقیق بر فعالیت کارت گرافیک منتشر کرده است. این برنامه علاوه‌بر نمایش مصرف حافظه و پردازنده گرافیکی، می‌تواند اطلاعات دقیقی درباره پردازش‌های هوش مصنوعی و مدل‌های زبانی درحال اجرا ارائه دهد.
به گزارش TweakTown، اسکات هنسلمن (Scott Hanselman)، معاون فنی مایکروسافت و از توسعه‌دهندگان باسابقه این شرکت، ابزار متن‌باز جدیدی با نام gputaskman ساخته است که نقش یک Task Manager اختصاصی برای پردازنده گرافیکی را ایفا می‌کند. این برنامه به کاربران اجازه می‌دهد متوجه شوند کدام پردازش‌ها از GPU استفاده می‌کنند و چه مقدار از VRAM را به خود اختصاص داده‌اند.
برنامه Task Manager ویندوز ۱۱ اطلاعاتی مانند میزان استفاده از GPU، دما و مصرف حافظه را نمایش می‌دهد؛ اما بررسی دقیق سهم هر برنامه از منابع گرافیکی و دلیل اشغال حافظه همچنان به ابزارهای تخصصی یا دستورات پاورشل نیاز دارد. برنامه جدید هنسلمن برای رفع همین محدودیت طراحی شده است.
نمایش اطلاعات فنی و مصرف منابع به تفکیک پردازش
برنامه gputaskman در محیط ترمینال اجرا می‌شود و اطلاعات مختلفی از وضعیت کارت گرافیک را در اختیار کاربر قرار می‌دهد. ازجمله این داده‌ها می‌توان به میزان استفاده از GPU، مصرف حافظه VRAM، دمای پردازنده گرافیکی، توان مصرفی، سرعت کلاک و فعالیت واحدهای رمزگذاری و رمزگشایی ویدیو اشاره کرد.
علاوه‌بر این، ابزار مذکور ترافیک رابط PCIe را نیز نمایش می‌دهد. فهرست پردازش‌ها بخش مهم دیگری از رابط کاربری آن است که میزان مصرف منابع گرافیکی هر برنامه را به‌صورت جداگانه نشان می‌دهد. با انتخاب هر پردازش، اطلاعات تکمیلی آن در بخش دیگری از محیط برنامه ظاهر می‌شود.
قابلیت ویژه برای کاربران هوش مصنوعی
یکی از کاربردهای مهم این ابزار، بررسی فعالیت مدل‌های هوش مصنوعی محلی است. قابلیت Model Inspector می‌تواند برخی پردازش‌های مرتبط با مدل‌های زبانی بزرگ (LLM) را شناسایی کند و اطلاعاتی مانند معماری مدل، وزن‌ها، تعداد لایه‌ها و روش کوانتیزه‌سازی را نمایش دهد.
برای مثال، هنگام اجرای مدل‌های زبانی ازطریق ابزارهایی مانند llama.cpp، کاربران می‌توانند ببینند چه مقدار از حافظه گرافیکی به وزن‌های مدل و حافظه موقت KV Cache اختصاص یافته است. این اطلاعات برای افرادی که مدل‌های هوش مصنوعی را به‌صورت محلی اجرا می‌کنند اهمیت زیادی دارد؛ زیرا مشخص می‌کند محدودیت حافظه گرافیکی از کدام بخش پردازش ناشی می‌شود.
پشتیبانی از ویندوز، لینوکس و مک
هنسلمن این پروژه را به‌صورت متن‌باز و با مجوز MIT در گیت‌هاب منتشر کرده است. این ابزار از ویندوز ۱۰ و ۱۱، لینوکس، محیط WSL و مک‌های مجهز به پردازنده‌های اپل پشتیبانی می‌کند؛ البته اطلاعات قابل‌نمایش به سیستم‌عامل و سخت‌افزار بستگی دارد. برای نمونه، پشتیبانی از کارت‌های گرافیک انویدیا و AMD در ویندوز فراهم شده است، اما قابلیت‌ها در همه پلتفرم‌ها یکسان نیستند.
افزایش استفاده از کارت‌های گرافیک برای اجرای مدل‌های هوش مصنوعی، نیاز به ابزارهای دقیق‌تر برای مدیریت منابع سخت‌افزاری را بیشتر کرده است. gputaskman می‌تواند این خلا را تا حد زیادی پر کند و به‌خصوص برای کاربران حرفه‌ای و علاقه‌مندان به اجرای هوش مصنوعی محلی کاربرد داشته باشد. البته هنوز مشخص نیست مایکروسافت قابلیت‌هایی مشابه این ابزار را در نسخه‌های آینده Task Manager ویندوز به‌صورت پیش‌فرض اضافه خواهد کرد یا خیر.