NVIDIA выпустила PAIR — цифровой маршрутизатор локального инференса для домашних ПК

NVIDIA представила публичный инструмент NVIDIA PAIR^® (Personal AI Router^®), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети.

По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой. При наличии в доме нескольких компьютеров — в частности, основного ПК с видеокартой GeForce RTX^® и второго ПК или ноутбука — их суммарная вычислительная мощность в простое остается невостребованной. NVIDIA PAIR^® предлагает задействовать эти ресурсы для выполнения задач машинного обучения, сохраняя обработку данных внутри домашней сети.

Как это работает

С технической точки зрения NVIDIA PAIR^® не является механизмом параллелизма и не реализует распределенный инференс одной модели на нескольких ПК. Средство не объединяет VRAM разных физических ускорителей в единый логический массив. Запустить схема, объем параметров которой превышает объем VRAM одного конкретного графического ускорителя, за счет добавления второго компьютера не получится.

Инструмент функционирует как сетевой прокси-сервер и маршрутизатор прикладного уровня (L7). В инфраструктуре он располагается между клиентским приложением (в частности, мультиагентным фреймворком) и локальными движками инференса — Ollama или LM Studio, перехватывая исходящие REST api-запросы в формате, совместимом с OpenAI.

Каталог готовых ИИ‑моделей

Сервис для запуска и управления LLM в облаке Selectel. Выберите схема, конфигурацию и получите готовый эндпоинт для работы с ней.

Подробнее →

Посмотрим на этапы процесса взаимодействия.

1. Происходит поиск устройств в локальной сети через протокол mDNS. Сопряжение узлов выполняется по шестизначному коду, после чего веб трафик между узлами шифруется с помощью mTLS.

2. При поступлении запроса на инференс NVIDIA PAIR^® обращается к текущему состоянию подключенных узлов. На этапе бета-версии планировщик учитывает длину очереди активных задач, факт предзагрузки нужной модели в память конкретного узла и текущую загрузку GPU.

3. Реализовано динамическое перенаправление запросов: если на одном из компьютеров запущен трехмерный рендеринг или игра, планировщик временно обходит данный узел при распределении входящего запроса и направляет задачу на свободное девайс. Как только вычислительные ресурсы ПК высвобождаются, узел снова начинает получать задачи от роутера.

Поскольку между узлами передаются только входящие данные и сгенерированный результат, требования к пропускной способности локальной сети остаются минимальными — достаточно стандартного подключения Ethernet или Wi-Fi.

Практические сценарии применения

NVIDIA предлагает три варианта использования своей системы. Во-первых, мультиагентные процессы: основной агент генерирует задачи сразу для нескольких субагентов, а их последовательное исполнение на одном GPU создает очередь. NVIDIA PAIR^® распределяет независимые запросы субагентов по разным физическим ПК в сети, обеспечивая их параллельную обработку. В демонстрационном тесте NVIDIA с пятью субагентами на модели Qwen3.6 35B A3B на двух компьютерах с видеокартами GeForce RTX^® 5090 время выполнения сценария сократилось с 6 минут 18 секунд до 3 минут 48 секунд.

Во-вторых, параллельная многозадачность: можно одновременно запускать и обрабатывать сразу несколько независимых пользовательских сессий с моделями на разных устройствах без падения производительности и взаимного ожидания в очереди.

В-третьих, это вынос вычислений. Потребитель может продолжать работать или играть на основном ПК, пока фоновые задачи инференса автоматически перенаправляются на следующий компьютер или портативный компьютер в той же локальной сети.

Совместимость и требования

Программа не требует специализированных драйверов уровня ядра и работает на операционных системах Windows^®, Linux^® и macOS^®.

В качестве вычислительных узлов могут выступать системы с видеокартами GeForce RTX^®, профессиональными ускорителями DGX^™, а равным образом графическими процессорами других производителей (в том числе решения AMD, Intel и интегрированную графику Apple Silicon), если на устройстве запущен поддерживаемый ядро Ollama или LM Studio. В контексте базовых тестов NVIDIA подтверждена стабильная работа кластера, объединяющего до 18 узлов.

В общем и целом этот инструмент не совершает каких-то технологических прорывов в области инференса моделей. Однако он закрывает прикладную задачу: превращает разрозненное домашнее железо в утилитарный локальный кластер без сложной настройки инфраструктуры и лишних затрат.