Qwen3.6-27B: на каком железе и с какой скоростью

Замеры Qwen3.6-27B на 1 связке карт, движки SGLang, vLLM

Замеры модели Qwen3.6-27B на локальном железе: 2 прогона на 1 связке карт, движки SGLang, vLLM. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.

Замеров

Связок карт

Лучшая на один запрос

136 ток/сек

Лучшая пропускная

399 ток/сек

	Замер	Движок	Последовательная без SO	TTFT, деловой промпт (~450 ток.)	Декодирование после TTFT
	RTX 5070 Ti 16Gb ×2 ctx 32k · 8 парал.	vLLM 0.26.0 подбор	135.7	0.48	237.8	Прогон
	RTX 5070 Ti 16Gb ×2 ctx 16k · modelopt_mixed	SGLang 0.5.16 подбор	135.4	0.31	218	Прогон

Последовательная без SO

больше — лучше, ток/сек · Qwen3.6-27B: все замеры

Поднимаете эту модель у себя?

На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.

Курс «ИИ и 1С»

Qwen3.6-27B: на каком железе и с какой скоростью

Замеры Qwen3.6-27B на 1 связке карт, движки SGLang, vLLM

Другие модели в замерах