PrismML сжала ИИ до 6 ГБ: нейросети уровня Qwen теперь влезают в смартфон

Стартап PrismML, основанный исследователями из Калтеха, представил модель Bonsai 2 27B — сжатую версию популярной открытой нейросети Qwen3.8 27B от Alibaba. Главное достижение: модель занимает всего 5.9 ГБ, что позволяет запускать её на обычном ПК и даже на флагманском смартфоне.

Это в 9–10 раз меньше памяти, чем требует оригинал. При этом, по заявлениям разработчиков, Bonsai 2 сохраняет 98% производительности Qwen по совокупным бенчмаркам. Для сравнения: первая версия Bonsai, вышедшая в марте, показывала 95%.

Как удалось сжать модель почти без потерь

Секрет — в так называемых тернарных весах. Обычно каждый параметр модели хранится в 16 битах, но PrismML сокращает значение до трёх вариантов: +1, −1 или 0. Чем меньше данных на каждый вес, тем компактнее вся модель.

Компания не одинока в гонке за сжатием LLM — аналогичные технологии развивает, например, Multiverse Computing. Однако PrismML настаивает: её метод уникален именно минимальной потерей качества.

• Bonsai 2 27B — 5.9 ГБ, совместима с ПК и топовыми смартфонами.
• 98% от производительности оригинальной Qwen3.8 27B.
• Первая Bonsai скачана более 11 млн раз, ещё 2,6 млн загрузок у самых маленьких моделей.
• Инвесторы: Khosla Ventures, Cerberus Capital и Калтех.

Что дальше: модели на сотни миллиардов параметров

Следующая цель PrismML — применить ту же технику к куда более крупным моделям. По словам CEO Бабака Хассиби, релиз ожидается в ближайшие месяцы, и сжатие больших сетей даётся легче.

«У вас будет интеллект под рукой, и он будет бесплатным, потому что запустится на устройстве, которое вы уже купили. Он также будет приватным, потому что вы не станете отправлять данные в облако».

Эту мысль озвучил советник стартапа Ион Стоика — соучредитель Databricks и директор лаборатории Sky Computing в Беркли. Именно переход ИИ на локальные устройства, без облака и подписок, участники проекта считают главным следствием своей технологии.

Хассиби также отметил, что 100% совпадение по бенчмаркам вряд ли достижимо, но это и не критично: разница в 2% почти не влияет на реальные задачи, а сами тесты далеко не всегда отражают практику.

Больше актуальных новостей из мира технологий, честных обзоров софта и практических гайдов читайте на медиапортале Техстена.

Первоисточник: TechCrunch