Qwen3.8-27B: требования к видеопамяти, кванты и запуск локально

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
  CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0,1 \
  vllm serve unsloth/Qwen3.8-27B-NVFP4 --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 --gpu-memory-utilization 0.965 \
  --language-model-only --max-num-seqs 4 --max-num-batched-tokens 1024 \
  --kv-cache-dtype fp8_e4m3 --mamba-ssm-cache-dtype bfloat16 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}' \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --enable-prefix-caching --enable-prompt-tokens-details --max-model-len 131072 \
  --chat-template ./qwen38-nvfp4-fixed.jinja

Прогон 43: 125.47 ток/с — столько модель печатает одному пользователю, без соседей и без строгого формата ответа; это и есть цифра из таблицы замеров ниже. Рядом с ней в той же строке стоят 107.8 ток/с декодирования — это печать уже после паузы, замеренная отдельной пробой на одиночном запросе, — и 0.170 с самой паузы до первого слова на деловом промпте. Три числа снимаются разными пробами, поэтому сходятся не буквально: первое отвечает на вопрос «с какой скоростью идёт ответ», два других разбирают его на паузу и на саму печать. Подтверждённый контекст — 123 848 токенов из заявленных 131 072, и это +127 % к скорости прогона 42, где той же спекуляции нет. Флаг --chat-template подставляет правленый шаблон чата: без него ломается случай, когда системное сообщение идёт в запросе не первым. Файл кладут рядом с командой — в рецептах он указан относительным путём.

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
  CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0,1 \
  vllm serve unsloth/Qwen3.8-27B-NVFP4 --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 --gpu-memory-utilization 0.965 \
  --kv-cache-dtype turboquant_4bit_nc --language-model-only \
  --kv-cache-memory-bytes 2400000000 \
  --max-num-seqs 4 --max-num-batched-tokens 1024 \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --enable-prefix-caching --enable-prompt-tokens-details --max-model-len 262144 \
  --chat-template ./qwen38-nvfp4-fixed.jinja

Прогон 45: подтверждённый контекст 248 380 токенов — почти весь нативный, и это потолок двух карт по 16 GB. Платим скоростью: 53.49 ток/с против 125.47 у прогона 43 (чистая печать 55.0, пауза до первого слова 0.137 с). Держится всё на четырёхбитном KV-кэше и вручную урезанном до 2.4 GB пуле.

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
  CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0,1 \
  vllm serve unsloth/Qwen3.8-27B-NVFP4 --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 --gpu-memory-utilization 0.965 \
  --language-model-only --max-num-seqs 8 --max-num-batched-tokens 1024 \
  --kv-cache-dtype fp8_e4m3 \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --enable-prefix-caching --enable-prompt-tokens-details --max-model-len 170912 \
  --chat-template ./qwen38-nvfp4-fixed.jinja

Прогон 42: 55.16 ток/с (чистая печать 56.5, пауза до первого слова 0.138 с), проверка контекста дошла до 123 848 токенов. Число 170912 не круглое, потому что его называет сама vLLM: заявляешь заведомо недостижимую длину и берёшь estimated maximum model length из её отказа. Округлять вверх нельзя — запрос чуть короче лимита виснет насмерть.

PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
  CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=0,1 \
  vllm serve unsloth/Qwen3.8-27B-NVFP4 --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 2 --max-num-seqs 8 --max-num-batched-tokens 4096 \
  --kv-cache-dtype fp8_e4m3 --gpu-memory-utilization 0.965 \
  --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder \
  --enable-prefix-caching \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 4}' \
  --enable-prompt-tokens-details --max-model-len 65536 \
  --chat-template ./qwen38-nvfp4-fixed.jinja

Прогон 44: единственная из четырёх конфигураций без флага --language-model-only, то есть с поднятой vision-частью. 111.56 ток/с (чистая печать 101.0, пауза до первого слова 0.171 с), подтверждённый контекст 61 533 токена из заявленных 65 536. За картинки платим контекстом.