تراشههای هوش مصنوعی دو وظیفه کلی را انجام می‌دهند و به دو دسته اصلی تقسیم می‌شوند. بعضی از تراشه‌ها ابتدا مجموعه‌ای عظیم از داده‌ها را می‌گیرند و نرم‌افزار پیچیده‌ای را اجرا می‌کنند تا الگوهایی را در آن داده‌ها جستجو کنند. سپس آن الگوها به عنوان یک مدل بیان می‌شوند؛ بنابراین تراشه‌هایی خواهیم داشت که سیستم را برای تولید یک مدل آموزش (Train) می‌دهند و به آن‌ها تراشههای آموزشی گفته می‌شود.
سپس این مدل برای پیش‌بینی یک قطعه داده جدید استفاده می‌شود و برخی از نتایج احتمالی را از آن داده استنباط می‌کند. در اینجا، تراشههای استنتاج (Inference) داده‌های جدید را با مدلی که قبلاً آموزش داده شده است، اجرا می‌کنند. این دو نوع تراشه بسیار متفاوت هستند.
تراشههای آموزشی به گونه‌ای طراحی شده‌اند که تا زمانی که مدل کامل شود، گاهی اوقات برای هفته‌ها به طور کامل کار می‌کنند. بنابراین تراشههای لرنینگ، بزرگ و قدرتمند هستند.
تراشههای استنتاج متنوعتر هستند، برخی از آن‌ها در مراکز داده استفاده می‌شوند، برخی دیگر در رایانش لبه (Edge Computing) در دستگاه‌هایی مانند تلفن‌های هوشمند و دوربین‌های فیلمبرداری استفاده می‌شوند. این تراشه‌ها متنوعتر هستند و برای بهینه‌سازی جنبه‌های مختلف مانند بهره‌وری انرژی در لبه طراحی شده‌اند. نکته این است که تفاوت‌های زیادی بین «تراشههای هوش مصنوعی» وجود دارد.
برای طراحان تراشه، این‌ها محصولات بسیار متفاوتی هستند، اما مانند همه محصولات نیمه هادی، چیزی که بیش از همه چیز اهمیت دارد نرم افزاری است که روی آن‌ها اجرا می‌شود. از این منظر، وضعیت در عین سادگی وظایف به طرز گیج‌کننده‌ای پیچیده است.
ساده است، زیرا تراشههای استنتاج معمولاً فقط نیاز به اجرای مدل‌هایی دارند که از تراشههای آموزشی می‌آیند. پیچیده است زیرا نرم افزاری که روی تراشههای آموزشی اجرا می‌شود بسیار متنوع است. اکنون صدها، و شاید هزاران فریمورک برای مدل‌های آموزشی استفاده می‌شود. چند کتابخانه منبع باز فوق العاده خوب وجود دارد، اما بسیاری از شرکت‌های بزرگ (هایپراسکیلر) در حوزه هوش مصنوعی کتابخانه خودشان را می‌سازند.
از آنجایی که زمینه آموزش فریمورک‌های نرم افزاری بسیار پراکنده است، ساخت تراشه‌ای که برای همه آن‌ها بهینه شده باشد عملا غیرممکن است. همانطور که در گذشته اشاره کردیم، تغییرات کوچک در نرم‌افزار می‌تواند به طور موثری دستاوردهای ارائه شده توسط تراشههای ویژه را خنثی کند.
علاوه بر این، افرادی که نرم‌افزار آموزشی را اجرا می‌کنند، می‌خواهند آن نرم‌افزار برای سیلیکونی که روی آن اجرا می‌شود، بسیار بهینه باشد. برنامه‌نویسانی که این نرم‌افزار را اجرا می‌کنند احتمالاً نمی‌خواهند پیچیدگی‌های تراشه را وارد روند کار خود کنند، زندگی آن‌ها به اندازه کافی برای ساخت سیستم‌های آموزشی سخت است. آن‌ها نمی‌خواهند کدهای سطح پایین را برای یک تراشه یاد بگیرند تا بعداً ترفندها و میانبرهای یک چیپ جدید را دوباره یاد بگیرند. حتی اگر آن تراشه جدید نسبت به بقیه 20٪ عملکرد بهتری ارائه دهد، دردسر بهینه‌سازی مجدد کد و یادگیری تراشه جدید این مزیت را از بین می‌برد.
این امر ما را نهایتا به CUDA محتاج کرده است؛ فریمورک برنامه نویسی سطح پایین تراشههای انویدیا. در این مرحله، هر مهندس نرم‌افزاری که روی سیستم‌های آموزشی کار می‌کند، احتمالاً کمی در مورد استفاده از CUDA می‌داند. CUDA کامل، زیبا، یا خصوص آسان نیست، اما یکپارچه و عمومی است.
ز آنجایی که محیط نرم‌افزاری برای آموزش در حال حاضر بسیار متنوع است و به سرعت در حال تغییر است، CUDA راهکار پیش فرض برای تراشه های آموزشی و پردازنده‌های گرافیکی انویدیا است.
بازار تراشههای هوش مصنوعی در حال حاضر چند میلیارد دلار است و پیش‌بینی می‌شود در آینده قابل پیش‌بینی سالانه 30 یا 40 درصد رشد کند. یک مطالعه از مک‌کینزی بازار تراشههای هوش مصنوعی مرکز داده را تا سال 2025 بین 13 تا 15 میلیارد دلار نشان می‌دهد؛ برای درک بهتر عظمت این رقم توجه کنید که کل بازار CPU در دنیا در حال حاضر حدود 75 میلیارد دلار است.
این بازار 15 میلیارد دلاری هوش مصنوعی، تقریباً به دو سوم استنباط و یک سوم آموزش تقسیم می‌شود. بنابراین این یک بازار قابل توجه است. نکته دیگر این است که تراشههای آموزشی اغلب 1000 دلار تا حتی 10000 دلار قیمت دارند، در حالی که قیمت تراشههای استنتاج از 100 دلار آغاز می‌شود، که به این معنی است که تعداد کل تراشههای آموزشی به لحاظ کمی تنها سهم کوچکی از کل این بازار است. تقریباً 10 تا 20 درصد واحدها.
در بلندمدت، این امر در نحوه شکل گیری بازار مهم خواهد بود. انویدیا پتانسیل آموزشی زیادی خواهد داشت که می‌تواند در رقابت برای بازار تراشههای استنباطی به ارمغان بیاورد، مشابه روشی که زمانی اینتل از CPU های رایانه شخصی برای پرکردن خلأ پردازنده‌های مرکزی مراکز داده و در نهایت سود بیشتر خود استفاده می‌کرد.
واضح است که انویدیا تنها بازیکن در این بازار نیست. AMD نیز پردازنده‌های گرافیکی تولید می‌کند، اما AMD هرگز جایگزین مؤثر (یا حداقل به طور گسترده‌ای پذیرفته‌شده) برای CUDA ایجاد نکرد. آن‌ها سهم نسبتاً کمی از بازار پردازنده‌های گرافیکی هوش مصنوعی دارند و ما شاهد تغییر بازار به نفع این شرکت به این زودی‌ها نخواهیم بود.
