В «Турбо Облаке» появилась виртуальная инфраструктура на базе NVIDIA RTX PRO 6000 Blackwell Server Edition — нового поколения GPU для задач искусственного интеллекта, высокопроизводительных вычислений, графики и других сценариев.
Разбираемся, что изменилось в новой архитектуре и для каких задач могут быть полезны ключевые возможности этого графического ускорителя.
Что нового в RTX PRO 6000
NVIDIA RTX PRO 6000 построен на архитектуре Blackwell и оснащен 96 ГБ памяти GDDR7 с ECC. Графический ускоритель получил тензорные ядра пятого поколения и поддерживает вычисления в FP4, FP8, FP16 и FP32. Пропускная способность памяти достигает 1,6 ТБ/с.
Для задач с ИИ это сочетание важно прежде всего за счёт большого объёма видеопамяти и поддержки новых форматов вычислений. Они позволяют эффективнее работать с большими моделями и использовать GPU не только для инференса, но и для их адаптации и более тонкой настройки под конкретные задачи.
96 ГБ памяти: больше возможностей для ИИ-моделей
При работе с большой языковой моделью видеопамять нужна не только для хранения самой модели. Часть vRAM занимают данные, которые используются во время обработки запросов, в том числе KV-кэш. Чем длиннее контекст и больше одновременных запросов, тем больше памяти требуется.
96 ГБ позволяют размещать на одном GPU большие модели и оставлять достаточно памяти для их работы. В некоторых сценариях это снижает необходимость распределять одну модель между несколькими ускорителями и упрощает конфигурацию инфраструктуры.
FP4: зачем нужна более низкая точность
Ещё одна особенность Blackwell — аппаратная поддержка FP4. Это формат вычислений с меньшей точностью, чем FP8 и FP16. Для подходящих ИИ-задач он позволяет сократить объём данных, с которыми работает GPU, и повысить эффективность вычислений.
Особенно интересен FP4 для инференса в сочетании с квантованием моделей. Квантование — это способ оптимизации, при котором числовые значения модели, например веса и активации, переводятся из форматов с более высокой точностью в форматы с меньшей разрядностью. Это позволяет снизить требования к видеопамяти и в подходящих сценариях увеличить пропускную способность.
При этом более низкая точность подходит не для всех задач: в некоторых случаях снижение точности может повлиять на качество результата.
Сценарии использования RTX PRO 6000
Возможности RTX PRO 6000 Blackwell не ограничиваются только машинным обучением. Графический ускоритель рассчитан также на профессиональную 3D-визуализацию, рендеринг и обработку видео.
Инференс и дообучение ИИ-моделей
RTX PRO 6000 Blackwell подходит для запуска больших языковых моделей, их тонкой настройки с помощью LoRA и QLoRA, квантования, разработки RAG-систем и ИИ-ассистентов. Для задач, где требуется больше вычислительной мощности, можно собрать конфигурацию из 4–8 GPU без NVLink.
Ускоритель также позволяет запускать локальный инференс моделей до 70 млрд параметров — это один из сценариев, где особенно важны характеристики видеопамяти.
3D, видео и визуализация
96 ГБ видеопамяти RTX PRO 6000 Blackwell позволяют работать с большими 3D-сценами, сложными моделями и объёмными текстурами. RT-ядра ускоряют рендеринг с трассировкой лучей, поэтому GPU подходит для профессиональных инструментов визуализации.
Отдельное направление — работа с видео. RTX PRO 6000 Blackwell поддерживает аппаратное кодирование и декодирование современных форматов, включая H.264, HEVC и AV1.
RTX PRO 6000, L40S и H200: в чём разница
У разных GPU свои задачи, поэтому при выборе ускорителя важно учитывать не только объём памяти, но и предполагаемую нагрузку.
NVIDIA L40S подойдёт для инференса моделей среднего размера, графики и рендеринга. RTX PRO 6000 Blackwell — для инференса и дообучения больших моделей на одном узле, а также задач RAG, ИИ-ассистентов, 3D-визуализации и рендеринга. H200 рассчитан на более ресурсоёмкие сценарии, включая крупномасштабное обучение и инференс тяжёлых моделей в составе ИИ-кластеров.
NVIDIA RTX PRO 6000 в «Турбо Облаке»
В «Турбо Облаке» RTX PRO 6000 Blackwell доступен в составе сервиса «Виртуальная инфраструктура с GPU». Можно выбрать виртуальную машину с одним или несколькими GPU — от 1 до 8 ускорителей в одной конфигурации. Кроме того, для GPU предусмотрен выделенный доступ без соседей на инстансе, высокопроизводительное NVMe-хранилище, высокоскоростной сетевой интерфейс и подключение через PCIe 5.0 x16.
Для работы с ИИ в сервисе доступны готовые образы с CUDA, PyTorch, TensorFlow, vLLM и Triton Inference Server — можно использовать привычный стек без самостоятельной подготовки базового окружения. Саму конфигурацию сервиса можно масштабировать под разные этапы работы с моделью. Например, для разработки и тестирования начать с одной GPU, а при росте нагрузки перейти к нескольким ускорителям в одной виртуальной машине.
За счёт 96 ГБ памяти, поддержки FP4 и тензорных ядер пятого поколения RTX PRO 6000 Blackwell может быть интересен с точки зрения соотношения цены и производительности.
Сервисы «Турбо Облака»
Продукты, упомянутые в этом материале, и другие релевантные решения:
