Qwen3.6-35B-A3B: на каком железе и с какой скоростью

Замеры Qwen3.6-35B-A3B на 1 связке карт, движки SGLang, vLLM

Замеры модели Qwen3.6-35B-A3B на локальном железе: 2 прогона на 1 связке карт, движки SGLang, vLLM. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.

Замеров

Связок карт

Лучшая на один запрос

309 ток/сек

Лучшая пропускная

876 ток/сек

	Замер	Движок	Последовательная без SO	TTFT, деловой промпт (~450 ток.)	Декодирование после TTFT
	RTX 5070 Ti 16Gb ×2 ctx 32k · modelopt_fp4	SGLang 0.5.16 подбор	309.1	0.17	2527.5	Прогон
	RTX 5070 Ti 16Gb ×2 ctx 32k · 8 парал.	vLLM 0.26.0 подбор	273.5	0.2	1787.3	Прогон

Последовательная без SO

больше — лучше, ток/сек · Qwen3.6-35B-A3B: все замеры

лидер быстрее худшего в ×1.1

Поднимаете эту модель у себя?

На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.

Курс «ИИ и 1С»

Qwen3.6-35B-A3B: на каком железе и с какой скоростью

Замеры Qwen3.6-35B-A3B на 1 связке карт, движки SGLang, vLLM

Другие модели в замерах