Qwen3-4B-Instruct-2507: на каком железе и с какой скоростью
Замеры Qwen3-4B-Instruct-2507 на 4 связках карт, движки vLLM
Замеры модели Qwen/Qwen3-4B-Instruct-2507 на локальном железе: 7 прогонов на 4 связках карт, движки vLLM. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.
Замеров
7
Связок карт
4
Лучшая на один запрос
132 ток/сек
Лучшая пропускная
672 ток/сек
Что важно
Замер | Движок | Последовательная без SO | |
|---|---|---|---|
RTX 5070 Ti 16Gb ×2 ctx 16k | vLLM 0.15.1 подбор | 131.7 | Прогон |
Tesla v100 32gb sxm2 ×1 + RTX 3090 24Gb ×1 ctx 16k | vLLM 0.14.0 опорный | 100.9 | Прогон |
RTX 5070 Ti 16Gb ×1 ctx 16k | vLLM 0.15.1 подбор | 90.4 | Прогон |
RTX 3090 24Gb ×1 ctx 16k | vLLM 0.14.0 опорный | 83.9 | Прогон |
RTX 5060 Ti 16Gb ×2 ctx 16k | vLLM 0.15.1 подбор | 78.1 | Прогон |
Tesla v100 32gb sxm2 ×1 ctx 16k | vLLM 0.14.0 опорный | 67.4 | Прогон |
RTX 5060 Ti 16Gb ×1 ctx 16k | vLLM 0.15.1 подбор | 47.7 | Прогон |
Поднимаете эту модель у себя?
На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.
Курс «ИИ и 1С»