Qwen3.6-35B-A3B-NVFP4 на RTX 5070 Ti ×2

Сколько токенов в секунду выдаёт сборка. Последовательная — один запрос без соседей, то есть скорость, которую чувствует человек в чате; параллельная и пропускная — суммарная скорость, когда движок держит пачку одновременных запросов (сколько именно — в шапке прогона). «С SO» — тот же замер, но ответ загнан в JSON-схему: разрыв внутри пары и есть цена структурированного вывода.

Сколько ждать первого токена и с какой скоростью потом идёт ответ. TTFT меряется дважды: на коротком вопросе в 6-15 токенов — там читать почти нечего, и это чистая задержка самого движка, — и на деловом письме примерно в 450 токенов; разрыв между двумя строками и есть цена чтения входа. Скорость prefill считается не делением длины на TTFT (в нём сидят сеть, очередь и токенизация), а по наклону прямой на промптах 512, 2048, 8192 и 16384 токена. Генерация считается от начала запроса, декодирование — уже после первого токена.

Не рейтинг модели, а детектор поломки конкретной сборки: весов, квантования, шаблона чата и настроек движка. Около восьмидесяти машинных проверок четырьмя блоками — ответ по JSON-схеме вместе с вызовом инструмента, два с половиной десятка задач с однозначным ответом, доля кириллицы в русских ответах и совпадение трёх одинаковых запросов между собой. Судьи нет: точное совпадение, регулярное выражение и разбор JSON по схеме. Исправная сборка даёт максимум по трём блокам и почти максимум по задачам, поэтому тревожно любое заметное отклонение вниз; сравнивать этим блоком разные модели нельзя.

До какой длины промпта сборка ещё работает. В длинный текст прячется короткая придуманная строка — «иголка» — на глубине 10, 50 и 90 %, и лестница длин от 1024 токенов удвоением показывает, где модель перестаёт её находить. Подтверждённый контекст вдвое-вчетверо меньше заявленного означает, что длинный запрос формально принимается, но информация из него уже не извлекается. На тех же запросах меряется просадка скорости: во сколько раз падают обработка входа и выдача токенов на каждое удвоение длины — на графике это подписано долей, «на 6 % медленнее с каждым удвоением». Считается именно на удвоение, а не концами лестницы: у прогонов с разным потолком контекста разная длина лестницы, и отношение концов их несравнимо.

Записанная заранее рабочая сессия агента: 26 ходов подряд, в каждом запросе 25 описаний инструментов (6 из них — приманки, похожие на настоящие по имени и описанию), история переписки растёт до двадцати восьми тысяч токенов. Однократный запрос этого не показывает: по мере роста истории портится выбор инструмента, разваливается шаблон чата и перестаёт работать кэш. У правильно настроенной сборки переиспользование кэша около 90 %, а рост TTFT ниже единицы — не ошибка, а признак того, что каждый следующий ход дочитывает только новый кусок истории.