RTX 3090 vs 2x RTX 5060 Ti: Какой GPU выбрать для инференса LLM?

Введение

Недавно появились новые карты RTX 5060 Ti 16 GB, и я провёл тесты, чтобы понять, как они соперничают с классическим RTX 3090 24 GB в задачах инференса больших языковых моделей (LLM). Обновил статью цифрами независимых бенчмарков и добавил в сравнение RTX 4090 — карту, которую часто рассматривают как компромисс между ценой 3090 и новизной 5060 Ti. Ниже — параметры, реальные токены в секунду и рекомендации по выбору под задачи 1С-интеграций с локальными LLM.

Параметры, пропускная способность памяти и цены (2026)

Видеокарта	VRAM	Пропускная способность памяти	CUDA-ядра	TDP	Цена, б/у
RTX 3090 24 GB (Ampere, 2020)	24 GB GDDR6X	936 GB/s (384-bit)	10 496	350 Вт (паспортный; в моём экземпляре измерено 370 Вт)	65–75 тыс ₽
2× RTX 5060 Ti 16 GB (Blackwell, 2025)	32 GB GDDR7 суммарно (16+16, не unified)	448 GB/s на карту (128-bit, 28 Gbps)	4 608 × 2	180 Вт × 2	100–110 тыс ₽ (новые)
RTX 4090 24 GB (Ada Lovelace, 2022)	24 GB GDDR6X	1 008 GB/s (384-bit)	16 384	450 Вт	карта снята с производства в 2024, на вторичном рынке цена сопоставима с двумя 5060 Ti или выше — берите только если нужна ещё и раскладка под рендер/гейминг, для чистого инференса переплата не окупается
Tesla V100 32 GB (для справки)	32 GB HBM2	900 GB/s	5 120	250–300 Вт	серверная карта, обычно б/у из дата-центров; установка описана в гайде по vLLM на RTX 3090 + Tesla V100

Обратите внимание: суммарная пропускная способность двух RTX 5060 Ti (2 × 448 = 896 GB/s) почти равна пропускной способности одной RTX 3090 (936 GB/s) — но это не значит равную скорость инференса. В мультикарточной конфигурации данные должны синхронизироваться между GPU, и на плотных (dense) моделях это съедает часть выигрыша.

Плюсы и минусы RTX 3090 24 GB

Плюсы

• 24 GB единой памяти — можно загружать большие модели целиком без разделения между картами.
• Самая высокая пропускная способность памяти в этом сравнении (936 GB/s) — на однопоточном (batch=1) инференсе это решающий фактор.
• Одна карта — упрощённая настройка, меньше проблем с драйверами и NCCL.
• Занимает меньше слотов в корпусе.
• Не требуется поддержка tensor parallelism в софте.

Минусы

• Б/у карта — риски износа, отсутствие гарантии.
• Устаревшая архитектура Ampere (2020), нет поддержки FP4/NVFP4-квантования, которое разгоняет инференс на Blackwell.
• Высокая цена за единицу относительно возраста карты.
• Отсутствует путь к апгрейду без полной замены карты.

Плюсы и минусы 2× RTX 5060 Ti 16 GB

Плюсы

• 32 GB суммарной памяти — влезают модели, которые не помещаются в 24 GB одной карты.
• Новые карты с гарантией, архитектура Blackwell с поддержкой FP4/NVFP4 — на квантовании NVFP4 прирост throughput до 1.6× относительно BF16 при снижении энергопотребления на 41% (по данным независимого бенчмарка на arXiv, см. ниже).
• Можно начать с одной карты (50–55 тыс ₽) и добавить вторую позже.
• Существенно ниже TDP на карту (180 Вт против 350 Вт у 3090).

Минусы

• Суммарно дороже (~100–110 тыс ₽ vs 65–75 тыс ₽ за 3090).
• На плотных (dense) моделях от 27B и выше проигрывает одиночной 3090 по чистой скорости генерации — сказывается меньшее число CUDA-ядер (4 608 против 10 496) и накладные расходы на синхронизацию между картами.
• Требует настройки tensor parallelism (vLLM `--tensor-parallel-size 2` или аналог) — сложнее, чем запуск на одной карте.
• Занимают больше места в корпусе и требуют больше линий PCIe.

Реальные цифры инференса

Синтетические тесты в рекламных материалах производителей обычно оптимистичны, поэтому ниже — цифры из независимых бенчмарков и обсуждений сообщества, а не из маркетинга.

• RTX 3090, llama.cpp, Q4_K_M, batch=1: около 95 ток/с на модели 7B и около 10 ток/с на 70B при Q2-квантовании — генерация большой модели на одной карте всегда упирается в пропускную способность памяти, а не в вычислительную мощность.
• RTX 5060 Ti (одна карта), Qwen3-8B, NVFP4: 115 ток/с при контексте ~8k и параллелизме запросов 8; при контексте 16k и параллелизме 4 — около 52 ток/с. В коротких запросах (128 токенов) с высокой конкурентностью throughput разгоняется до 2 100+ ток/с суммарно по всем запросам — это агрегированная пропускная способность батча, а не скорость одного диалога.
• 2× RTX 5060 Ti, тот же Qwen3-8B: tensor parallelism даёт около 158 ток/с при контексте 8k — то есть прирост всего ×1.37 от удвоения числа карт, основной выигрыш не в throughput, а в снижении time-to-first-token (2.6 с вместо 9.7 с на одной карте).
• Gemma3-27B на 2× RTX 5060 Ti: около 39 ток/с при W4A16-квантовании и 24 ток/с при NVFP4 — модель такого размера физически не влезает в 16 GB одной карты, только в конфигурацию с двумя.
• GPT-OSS-20B (MoE, разреженная) на одной RTX 5060 Ti: до 488 ток/с в коротком контексте — разреженные (MoE) модели гораздо лучше подходят под 16 GB и одну карту, чем плотные модели того же общего размера параметров.
• Энергоэффективность 5060 Ti: около 298 Вт·ч на миллион токенов в RAG-сценарии и всего 17 Вт·ч/млн токенов на коротких API-запросах — заметно ниже, чем у 3090 при сопоставимой нагрузке.

Вывод из цифр: на одиночных диалоговых запросах (batch=1) выигрывает пропускная способность памяти — здесь RTX 3090 быстрее любой конфигурации 5060 Ti. На батчевой и агентной нагрузке с несколькими параллельными запросами разница сглаживается или переворачивается в пользу 5060 Ti за счёт FP4-квантования и параллелизма запросов.

Что запускать на этом железе

Железо само по себе не показывает ток/с — важно, каким инференс-движком и с какой конфигурацией вы его запускаете. Два материала, которые логично прочитать следом:

• Установка и настройка vLLM на RTX 3090 и Tesla V100 — пошаговый гайд по разворачиванию vLLM именно на конфигурациях из этого сравнения, включая тонкости с tensor parallelism и выбором квантования.
• Llama.cpp vs vLLM: какой инференс быстрее — тест скорости под нагрузкой, который объясняет, почему на одной карте часто выгоднее llama.cpp, а под несколько параллельных запросов — vLLM.

Также по теме: сборка сервера с RTX 3090 + Tesla V100 и типичные проблемы PyTorch с разнородными картами и разбор Qwen 3.6 27B MTP — одной из моделей, которая упоминается в бенчмарках выше.

Рекомендации по выбору

• Берите RTX 3090, если:
  • Бюджет ограничен и допустим риск б/у карты.
  • Основной сценарий — диалоговый инференс batch=1 (один пользователь, один запрос за раз).
  • Работаете с моделями до 24 GB и важна простота настройки без multi-GPU.
• Берите 2× RTX 5060 Ti, если:
  • Нужно обслуживать несколько параллельных запросов (агентные сценарии, несколько сотрудников одновременно).
  • Планируете работать с моделями 27B+ или разреженными (MoE) архитектурами.
  • Важны гарантия, современный стек квантования (FP4/NVFP4) и более низкое энергопотребление.
  • Готовы настраивать tensor parallelism и начать с одной карты, добавив вторую позже.
• RTX 4090 имеет смысл рассматривать только если карта уже есть в хозяйстве под рендер или гейминг — для чистого инференса LLM переплата над 3090/5060 Ti себя не окупает: прирост в токенах/с не пропорционален разнице в цене на вторичном рынке 2026 года.

Как это применить в интеграции с 1С

Если задача — не абстрактный бенчмарк, а конкретный сервис локальных LLM для клиента на 1С (генерация текстов, суммаризация обращений, ассистент по базе знаний), выбор железа — только часть решения. Разбор архитектуры такого модуля, выбор между локальным и облачным инференсом и практическая настройка — в модуле по локальным LLM курса «ИИ в 1С».

Где посмотреть подробные результаты

Тесты по инференсу LLM на обеих конфигурациях завершены. Результаты доступны на странице бенчмарков.

Автор: @nizamov_studio_1c

Теги: #llmbenchmark #ollama #vllm #llamacpp #inferencebenchmark #локальныеllm #производительностьllm #gpubenchmark #aiбенчмарк #тестнейросетей #llmинференс #нейросети #rtx5060ti #rtx4090