فن‌آوری‌های جدید همیشه اصطلاحات جدید بسیاری را به ارمغان می‌آورند، و به اصطلاح انقلاب هوش مصنوعی، هر رایانه و سازنده تراشه‌ای را به انتشار یک واژه جدید سوق می‌دهد: TOPS. در حالی که درک TOPS برای درک اینکه چگونه ابزارهای هوش مصنوعی به طور کامل روی تلفن‌ها و رایانه‌های شما کار می‌کنند یا پردازش ابری/محلی ترکیبی ضروری نیست، می‌تواند معیار مفیدی برای در نظر گرفتن در هنگام خرید باشد، درست به اندازه چیزی مانند گشتاور هنگام خرید خودرو. ، مگابایت بر ثانیه هنگام خرید حافظه رایانه یا گیگاهرتز هنگام خرید پردازنده. هیچکدام از اینها کامل نیستند، به خصوص با توجه به سرعت تکامل فناوری.
TOPS به چه معناست؟
TOPS مخفف ساده Tera Operations Per Second یا Trillion Operations Per Second است. آنها یکسان هستند زیرا “ترا” پیشوند تریلیون است. و عملیات؟ در اینجا، اینها عملیات روی اعداد صحیح 8 بیتی (INT8) هستند. به عبارت دیگر، نوع داده و ریاضیات مورد استفاده توسط یک پردازنده عصبی روی تراشه برای شتاب هوش مصنوعی.
از آنجایی که TOPS معیاری برای سرعت است، معمولاً این مشخصات را در کنار موج اخیر واحدهای پردازش عصبی که در لپ‌تاپ‌ها و تلفن‌ها ظاهر می‌شوند، مشاهده می‌کنید. NPU ها در رایانه های رومیزی اهمیت کمتری دارند، زیرا برای دستگاه هایی در نظر گرفته شده اند که در آنها صرفه جویی در انرژی مهم است. آنها کندتر از GPU (واحد پردازش گرافیکی) هستند، چه روی تراشه یا گسسته، که می تواند محاسبات اعداد صحیح را نیز انجام دهد، اما انرژی بسیار کمتری مصرف می کنند.
NPU ها همچنین برای اجرای مدل هایی در نظر گرفته شده اند که شما به صورت محلی در دستگاه خود به آنها دسترسی دارید و نه اینکه بر روی ابر تکیه کنید: این مسئله هزینه است. همانطور که یکی از مدیران اخیراً در مورد اجرای هوش مصنوعی اولیه در فضای ابری گفت، “کسی باید برای این سرورها هزینه کند.” همچنین به بازاریابان این امکان را می دهد که ترس شما در مورد حریم خصوصی و امنیت را کاهش دهند: “این فقط به صورت محلی کار می کند و دانلود نمی شود!” »
از طرف سازنده، این حداکثر نرخ جریان نظری است، بنابراین همیشه به عنوان “تا” هر چیزی فهرست می شود. مانند گیگاهرتز برای پردازنده ها، برای نشان دادن سطح مشخصی از عملکرد که می توانید از تراشه انتظار داشته باشید، وجود دارد. در یک سناریوی قابل مقایسه، تراشه با بالاترین مشخصات TOPS باید وظایف هوش مصنوعی را سریعتر انجام دهد، که می تواند تفاوت بزرگی در مفید بودن و پاسخگویی ابزارهای مختلف هوش مصنوعی، مانند تصاویر تشخیص، تولید متن یا تعدادی دیگر ایجاد کند. فناوری های کمکی هوش مصنوعی
عملکرد NPU
| NPU TOPS (تا) | |
| Intel Core Ultra (2023) | 11.5 |
| سری AMD Ryzen 8040 (2023) | 16 |
| Apple M3 Series (2023) | 18 |
| Apple M4 (2024) | 38 |
| Snapdragon X Series (2024) | 45 |
| اینتل لونار لیک (2024) | 48 |
| AMD 300 Series (2024) | 50 |
چرا TOPS به طور ناگهانی مهم است
زمانی که مایکروسافت و کوالکام پلتفرم Copilot Plus مایکروسافت را برای ویندوز راه اندازی کردند، TOPها تبدیل به یک معامله بزرگ شدند، که در آن 40 NPU TOPS خط جداکننده هستند، و هر چیپ اصلی لپ تاپ قدیمی را فاقد صلاحیت برای این پلتفرم می کند. این به این دلیل است که رایانه‌های شخصی Copilot Plus از مجموعه خاصی از رابط‌های برنامه‌نویسی ویندوز برای سرعت بخشیدن به برخی ویژگی‌های اولیه مرتبط با هوش مصنوعی و مدل‌های خاص روی دستگاه استفاده می‌کنند، نه تنها مدل‌های ویندوز، بلکه همچنین نرم‌افزارهای توسعه‌دهندگان دیگر. اولین سیستم‌هایی که این مورد را ارائه می‌کنند، حول تراشه‌های Snapdragon X Elite و X Plus Qualcomm ساخته شده‌اند که دارای یک NPU Hexagon سفارشی با حداکثر 45 TOPS هستند.
کمتر از یک ماه پس از عرضه کوالکام، ما قبلاً در مورد این جدید شنیده ایم AMD Ryzen AI 300 Series (در ژوئیه می آید) و دریاچه قمری اینتل CPU (در Q3 می آید) با NPU های بازسازی شده. آنها از نوع داده ای به نام بلوک ممیز شناور استفاده می کنند که به طور موثر نمایش فشرده ای از نقطه شناور 16 بیتی – یک نوع داده ای که امکان ذخیره و دستکاری اعداد بسیار بزرگتر و کوچکتر از INT8 را فراهم می کند – با INT8 ترکیب می کند.
به این نگاه کن: مایکروسافت اولین رایانه های شخصی Surface Copilot Plus را معرفی کرد که توسط کوالکام پشتیبانی می شوند
این به آنها اجازه می دهد تا عملکرد NPU خود را به منطقه Copilot Plus منتقل کنند. Apple M4 به آخرین نسخه هسته Arm ارتقا یافته است که از بلوک FP نیز استفاده می کند. بنابراین نسبت به M3 بهبود یافته است. (توضیح انویدیا در مورد پراکندگی را ببینید، که به ریاضیات ماتریس انجام شده توسط هسته های Tensor مربوط می شود. این همان بلوک FP نیست، اما مثالی از نحوه فشرده سازی می دهد.)
فراتر از Copilot Plus
اگرچه NPU TOPS برای دیدن اینکه با چه سرعتی ممکن است بتوانید آزمایشات مبتنی بر Copilot مایکروسافت را اجرا کنید مفید است (مانند یادآور)، این عملکرد نهایی نیست. همه فرآیندهای هوش مصنوعی نمی‌توانند به راحتی از ریاضیات اعداد صحیح استفاده کنند و بنابراین معیار INT8 TOPS فقط می‌تواند نشان دهد که یک تراشه با چه سرعتی اصول اولیه را انجام می‌دهد. این شامل هوش مصنوعی مولد فوق‌العاده نمی‌شود که می‌تواند تصاویر و ویدیوهای دقیق را از پیام‌های متنی ایجاد کند.
نه تنها پردازنده‌های گرافیکی اختصاصی می‌توانند از قبل به سرعت بسیار بالاتری دست یابند، بلکه پردازنده‌های گرافیکی سری RTX 40 انویدیا صدها TOPS را حتی از پردازنده‌های گرافیکی موبایل رده پایین‌تر ارائه می‌دهند. CPU می تواند محاسبات را انجام دهد، اگرچه در برخی موارد بسیار کندتر از NPU است.
بنابراین تاپس در حال حاضر جای خود را به پلتفرم TOPS به عنوان یک اقدام بازاریابی چشمگیرتر داده است. پلتفرم TOPS معیاری برای عملکرد کلی همه پردازنده‌های سیستم است: CPU، NPU و GPU. وقتی آن را می بینید، به یاد داشته باشید که بسته به اینکه از برق شهری یا باتری استفاده می کنید، می تواند بسیار متفاوت باشد.
از سوی دیگر، اگر سیستمی دارای TOPS با پلتفرم بالا باشد اما NPU نداشته باشد، این امر پشتیبانی از هیچ کدام را رد می کند تجربیات Copilot Plus در ویندوز، حداقل در حال حاضر ممکن است برای شما مهم نباشد.
هر پردازنده گرافیکی می تواند با چندین نوع داده کار کند. بیشتر ابزارهای مولد جدی با در نظر گرفتن ریاضیات ممیز شناور نوشته می شوند. اگر ابزاری به عملیات ممیز شناور (FP16 و FP32) متکی است، به جای آن به دنبال متریک TFLOPS هستید: عملیات ممیز شناور تریلیون/ترا. سپس پسوندهای ماتریسی وارد تراشه‌های CPU می‌شوند که همان نوع عملیات هسته‌های اختصاصی Tensor را انجام می‌دهند. هر دوی اینها برای چیزهای پرقدرت، مانند آموزش مدل‌ها به جای اجرای آنها، بسیار مهم‌تر هستند. ما انتظار داریم که اندازه گیری عملکرد هوش مصنوعی رایانه شخصی قبل از اینکه بتوانیم به آن عادت کنیم، تکامل بیشتری پیدا کند.
