Qwen3.6-35B-A3B: на каком железе и с какой скоростью

Замеры Qwen3.6-35B-A3B на 1 связке карт, движки SGLang, vLLM

Замеры модели Qwen3.6-35B-A3B на локальном железе: 2 прогона на 1 связке карт, движки SGLang, vLLM. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.

Замеров

Связок карт

Лучшая на один запрос

269 ток/сек

Лучшая пропускная

—

	Замер	Движок	Последовательная без SO	TTFT, деловой промпт (~450 ток.)	Декодирование после TTFT
	RTX 5070 Ti ×2 ctx 256k · modelopt_fp4	SGLang 0.5.17 подбор	268.9	0.11	314	Прогон
	RTX 5070 Ti ×2 ctx 197k · 4 парал.	vLLM 0.27.1 подбор	259.5	0.19	278.2	Прогон

Последовательная без SO

больше — лучше, ток/сек · Qwen3.6-35B-A3B: все замеры

Поднимаете эту модель у себя?

На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.

Курс «ИИ и 1С»

Qwen3.6-35B-A3B: на каком железе и с какой скоростью

Замеры Qwen3.6-35B-A3B на 1 связке карт, движки SGLang, vLLM

Другие модели в замерах