Qwen3.6-35B-A3B-NVFP4 на RTX 5070 Ti 16Gb ×2

подбор ключей

Модель

nvidia/Qwen3.6-35B-A3B-NVFP4

Связка карт

RTX 5070 Ti 16Gb ×2

Движок

vLLM 0.26.0

Контекст

32768 токенов

Параллельных

8

Карт занято

2

Слои на CPU

нет, всё в VRAM

Квантование

—

Сборка движка

—

Дата замера

05.08.2026

Пропускная без SO

875.8 ток/сек

Пропускная с SO

82.6 ток/сек

Последовательная без SO

273.5 ток/сек

Последовательная с SO

197.1 ток/сек

Параллельная без SO

120.5 ток/сек

Параллельная с SO

76.5 ток/сек

TTFT, короткий промпт (6-15 ток.)

0.15 сек

TTFT, деловой промпт (~450 ток.)

0.2 сек

Prefill — обработка входа

2026.9 ток/сек

Генерация от начала запроса

253.9 ток/сек

Декодирование после TTFT

1787.3 ток/сек

Кэш префикса

Кэш работает, выигрыш по TTFT ×4.1, срабатывает от 5270 токенов

Команда запуска

CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1,2 FLASHINFER_DISABLE_VERSION_CHECK=1 vllm serve nvidia/Qwen3.6-35B-A3B-NVFP4 --max-model-len 32768 --tensor-parallel-size 2 --gpu-memory-utilization 0.95 --attention-backend TRITON_ATTN --kv-cache-dtype fp8 --moe-backend marlin --max-num-seqs 8 --max-num-batched-tokens 4096 --speculative-config '{"method":"mtp","num_speculative_tokens":3,"attention_backend":"TRITON_ATTN","moe_backend":"triton"}' --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder --enable-prefix-caching --enable-chunked-prefill --limit-mm-per-prompt '{"image":0,"video":0}' --host 0.0.0.0 --port 8000

Ключи подбора

--gpu-memory-utilization 0.95 --attention-backend TRITON_ATTN --kv-cache-dtype fp8 --moe-backend marlin --batch-tokens 4096 --speculative '{"method":"mtp","num_speculative_tokens":3,"attention_backend":"TRITON_ATTN","moe_backend":"triton"}' --reasoning-parser qwen3 --enable-auto-tool-choice on --tool-call-parser qwen3_coder --enable-prefix-caching on --enable-chunked-prefill on --limit-mm-per-prompt '{"image":0,"video":0}'

Слой нагрузки — контекст, число параллельных запросов, занятые карты и выгрузка на процессор — задаёт сам замер, поэтому такие прогоны стоят в таблице отдельными строками. Слой подбора настраивает то же задание и сворачивается в варианты одной строки. Как это устроено.

vLLM 0.26.0 · ctx 32k · 8 парал. · 05.08.2026