Мы запустили Foundation Model Hub — новый сервис для работы с готовыми ИИ-моделями. Решение позволяет компаниям использовать большие языковые модели (LLM) без необходимости самостоятельно разворачивать и сопровождать их на собственной GPU-инфраструктуре. Оплата осуществляется по модели Pay-as-you-go (PAYG).
Почему это актуально
Сегодня использование генеративного искусственного интеллекта становится частью повседневных бизнес-процессов — от создания интеллектуальных помощников и поиска по корпоративным базам знаний до автоматизации документооборота, разработки программного кода и обработки обращений клиентов. Однако запуск собственных ИИ-моделей требует дорогостоящей GPU-инфраструктуры и специализированной экспертизы. Для многих компаний именно инфраструктурная составляющая становится основным барьером на пути внедрения ИИ.
Возможности сервиса
Мы предоставляем готовые публичные инстансы языковых моделей. Для начала работы достаточно выбрать подходящую LLM из каталога, получить API-ключ и интегрировать его в собственное приложение, сервис или внутреннюю информационную систему.
Foundation Model Hub совместим со спецификацией OpenAI API, поэтому в большинстве случаев для подключения достаточно заменить базовый URL и API-ключ без доработки архитектуры.
Такой подход существенно снижает стоимость использования современных ИИ-технологий и делает сервис доступным не только крупным компаниям, но и среднему и малому бизнесу.
Тарификация
Одной из ключевых особенностей сервиса стала прозрачная модель тарификации. Пользователи оплачивают только фактическое количество обработанных входящих и исходящих токенов. Такой формат дает возможность более точно прогнозировать расходы.
Контроль расходов
Для распределения нагрузки между командами и проектами сервис поддерживает создание множества API-ключей с индивидуальными настройками. Для каждого ключа можно задать свои ограничения на количество запросов и лимиты потребления токенов, включая дневные, недельные и месячные квоты.
Каталог моделей
Foundation Model Hub предоставляет доступ к каталогу современных языковых моделей для различных бизнес-задач. Специалисты «Турбо Облака» регулярно обновляют его, добавляя новые версии LLM по мере их появления. Благодаря этому пользователям не требуется самостоятельно отслеживать жизненный цикл моделей.
Инфраструктурная основа
В основе сервиса лежит высокопроизводительная GPU-инфраструктура на базе графических ускорителей NVIDIA H200, объединённых высокоскоростной сетью InfiniBand. Автоматическое масштабирование вычислительных ресурсов позволяет поддерживать стабильную производительность при росте количества запросов и сохранять низкие задержки даже в периоды пиковой нагрузки.
«Сегодня большинство компаний хотят использовать современные языковые модели, но далеко не все готовы инвестировать в дорогостоящую GPU-инфраструктуру и её сопровождение. Foundation Model Hub снимает этот барьер. Мы предоставляем готовый доступ к актуальным моделям искусственного интеллекта через единый API, берём на себя их развёртывание, обновление и эксплуатацию, а наши клиенты оплачивает только фактическое использование. Такой подход позволяет быстро внедрять ИИ в существующие продукты и бизнес-процессы без капитальных затрат на собственную инфраструктуру».
Дмитрий Подшибякин,
директор по продуктам «Турбо Облака»
Сервисы «Турбо Облака»
Продукты, упомянутые в этом материале:
