Новата възможност
На 20 октомври AWS обяви публична бета версия на TorchNeuron. Софтуерният компонент с отворен код позволява на разработчиците да използват PyTorch нативно върху AI ускорителите Trainium. Версията поддържа EC2 инстанции с Trainium2 и Trainium3. [1]
Какво получават разработчиците
Според AWS съществуващият код може да се насочи към хардуера чрез .to('neuron'). Проектът поддържа eager execution, torch.compile и специализирани изчислителни ядра чрез Neuron Kernel Interface. Хранилището съдържа техническите подробности и инструкции за настройка — отправната точка за изпитване с реално натоварване. [2]
Контекст: софтуерът е част от стойността на чипа
Един процесор е полезен за екипа само ако моделите могат да работят надеждно върху него. Преминаването между хардуерни платформи може да означава смяна на инструменти, проверка на числените резултати и натрупване на нов оперативен опит. Познатите програмни интерфейси могат да намалят тази бариера. Затова привидно тясна софтуерна новина е част от по-широката конкуренция при AI изчисленията, включително предизвикателството към Nvidia.
Възможност, която тепърва се измерва
Публичната бета позволява на екипите да изпитат подхода, но не означава, че всеки модел е готов за прехвърляне. Самото съобщение не представлява независимо сравнение, доказващо универсално предимство по цена или скорост спрямо Nvidia. За смислено решение са нужни измервания с един и същ модел, точност, размер на пакетите и изисквания към услугата, включително инженерната работа за поддръжката ѝ.
