בקצרה: ב-19 באוקטובר שחררה Amazon Web Services את TorchNeuron, כלי שנבנה על PyTorch ועוזר להריץ אפליקציות בינה מלאכותית על שבב Trainium של אמזון. לדברי אמזון, המעבר דורש שורת הגדרה אחת וללא כתיבה מחדש של הקוד.
PyTorch היא ערכת הכלים החינמית והפתוחה שבה נבנות רוב אפליקציות הבינה המלאכותית. אמזון אומרת שכ-85% מהן משתמשות בה. TorchNeuron היא גרסה מותאמת של אמזון לשבב Trainium שלה, כדי שצוותים יוכלו לעזוב חומרה של אנבידיה בלי לשכתב קוד. אמזון גם אומרת ששבב Trainium אחד מטפל גם באימון וגם בהרצה, ומציגה את זה כיתרון בעלות.
אמזון אומרת ששולחת לפרויקט PyTorch הראשי שינויים שמסירים קוד הקשור לשבבים ספציפיים. המטרה המוצהרת היא PyTorch שעובד אותו דבר על כל חומרה.
אמזון מציינת את Deepgram, חברת בינה מלאכותית לקול, כלקוחה של Trainium, ואומרת שהיא מעבדת שם 70% יותר אודיו לכל דולר. זו טענה של אמזון, ובכתבה אין בדיקה עצמאית.
מי שמריץ מודלים משלו או מאמן על GPU שכור יכול לבדוק עומס קטן על Trainium ולהשוות עלות לפני שמעבירים משהו. מי שמשתמש רק בכלים ובממשקי API מוכנים, לא משתנה אצלו כלום היום.
מקור: TechCrunch