Meta* объявила о стратегическом партнёрстве с Cerebras Systems для запуска Llama API — сервиса, который обеспечивает вывод данных ИИ со скоростью до 18 раз выше, чем у традиционных GPU-решений. Анонс сделан на первой конференции для разработчиков LlamaCon и знаменует выход Meta в рынок коммерческого инференса, где доминируют OpenAI, Google и Anthropic.
Для компании это первый опыт сотрудничества с гиперскалером, подтверждающий эффективность их wafer-scale чипов.
Тесты Artificial Analysis показали, что система Cerebras обрабатывает свыше 2600 токенов в секунду для модели Llama 4 Scout — в 20 раз быстрее ChatGPT (~130 токенов/с) и на два порядка выше DeepSeek (~25 токенов/с). Иллюстрация: VentureBeat / Midjourney До сих пор Meta ограничивалась открытым распространением моделей Llama (более 1 млрд загрузок), не предоставляя облачной инфраструктуры.
Теперь компания трансформирует их в коммерческий продукт, напрямую конкурируя за рынок токенов.
«Разработчики покупают их миллиардами, как инструкции для AI-приложений, — пояснил Джеймс Ванг из Cerebras. — Скорость в 100 токенов/с, как у GPT, подходит для чатов, но неприемлема для многошагового анализа или голосовых систем».
Новый API открывает возможности для приложений, требующих минимальных задержек: интерактивной генерации кода, многоуровневого анализа за секунды вместо минут, голосовых интерфейсов с реакцией в реальном времени.
Сервис поддерживает тонкую настройку моделей (начиная с Llama 3.3 8B) и предоставляет инструменты оценки их качества. Meta гарантирует, что данные разработчиков не будут использоваться для обучения собственных моделей, а готовые решения можно переносить на другие платформы — в отличие от закрытых систем конкурентов.
Llama API уже доступен в ограниченном превью. Для подключения разработчикам достаточно в настройках SDK Meta выбрать Cerebras и получить API-ключ.
Массовый запуск ожидается в ближайшие месяцы. * Компания Meta (Facebook и Instagram) признана в России экстремистской и запрещена.
Рубрика: Наука и Hi-Tech. Читать весь текст на www.ixbt.com.