gpt-oss-20b: на каком железе и с какой скоростью
Замеры gpt-oss-20b на 2 связках карт, движки vLLM
Замеры модели openai/gpt-oss-20b на локальном железе: 2 прогона на 2 связках карт, движки vLLM. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.
Замеров
2
Связок карт
2
Лучшая на один запрос
222 ток/сек
Лучшая пропускная
660 ток/сек
Что важно
Поднимаете эту модель у себя?
На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.
Курс «ИИ и 1С»