Qwen3-4B-Instruct-2507-GGUF:F16 на Tesla v100 32gb sxm2 ×1 + RTX 3090 24Gb ×1
Llama.cpp 7717 · ctx 40k · 20 парал. · 04.02.2026
подбор ключей
Модель
unsloth/Qwen3-4B-Instruct-2507-GGUF:F16
Связка карт
Tesla v100 32gb sxm2 ×1 + RTX 3090 24Gb ×1
Движок
Llama.cpp 7717
Контекст
40960 токенов
Параллельных
20
Карт занято
2
Слои на CPU
нет, всё в VRAM
Квантование
—
Сборка движка
—
Дата замера
04.02.2026
Пропускная без SO
250.4 ток/сек
Пропускная с SO
259.2 ток/сек
Последовательная без SO
84.6 ток/сек
Последовательная с SO
82.9 ток/сек
Параллельная без SO
48.5 ток/сек
Параллельная с SO
45 ток/сек
Команда запуска
CUDA_VISIBLE_DEVICES=0,1 ./build/bin/llama-server -hf unsloth/Qwen3-4B-Instruct-2507-GGUF:F16 --host 0.0.0.0 --port 8080 --threads 16 --parallel 20 --ctx-size 40960 -b 8192 -ub 4096 -ngl 999 --tensor-split 1,1 --split-mode layer --flash-attn on --cont-batching
Ключи подбора
--threads 16 --batch 8192 --ubatch 4096 --split-mode layer --flash-attn on --cont-batching on Слой нагрузки — контекст, число параллельных запросов, занятые карты и выгрузка на процессор — задаёт сам замер, поэтому такие прогоны стоят в таблице отдельными строками. Слой подбора настраивает то же задание и сворачивается в варианты одной строки. Как это устроено.