Thinking Machines Lab пусна Inkling 2 Mini — AI модел, чиито тегла могат да бъдат изтеглени за локална работа, вместо всяка заявка да се изпраща към отдалечена услуга. Новината доближава познатото обещание до персоналния компютър: асистент, който продължава да работи и без интернет.
Има важно хардуерно условие. Файлът на модела е около 20 GB, а техническата документация включва сред поддържаните устройства компютри с Apple silicon и поне 32 GB памет. Това не означава, че всеки лаптоп може да го изпълнява без затруднения.
По-малко тегла, повторни изчисления
Inkling 2 Mini има 26,4 милиарда параметъра, от които 3,4 милиарда са активни. Архитектурата използва средните слоеве по три пъти за всеки генериран токен. Така се добавят изчисления, без за всяко преминаване да се съхранява отделен комплект тегла.
Моделът приема текст и изображения и връща текст. Лицензът Apache 2.0 позволява на разработчиците да проучват, адаптират и интегрират теглата при неговите условия. Thinking Machines предлага достъп и през платформата Tinker — отделен вариант с отдалечена обработка.
Офлайн не означава безпогрешен
Компанията показва демонстрация на MacBook Pro в самолетен режим и отчита силни резултати при програмиране. Това са демонстрации и оценки на разработчика, а не независим тест за производителност на Nove.news.
Локалната обработка може да намали необходимостта заявките да напускат устройството, но има значение и приложението около модела. Инструмент, който търси в интернет или използва външна услуга, създава различен поток на данни от напълно офлайн сесията.
Практическата промяна е по-големият избор къде да се извършват изчисленията. Надеждността, разходът на памет и разрешенията на свързаните инструменти остават въпроси за конкретната задача.






