gpt-oss-120b-GGUF: на каком железе и с какой скоростью
Замеры gpt-oss-120b-GGUF на 2 связках карт, движки Llama.cpp
Замеры модели ggml-org/gpt-oss-120b-GGUF на локальном железе: 2 прогона на 2 связках карт, движки Llama.cpp. Строку задаёт связка карт и нагрузка — длина контекста и число параллельных запросов; варианты подбора ключей свёрнуты внутрь строки.
Замеров
2
Связок карт
2
Лучшая на один запрос
27 ток/сек
Лучшая пропускная
21 ток/сек
Что важно
Поднимаете эту модель у себя?
На курсе разбираем, как поднять локальную LLM и подключить её к рабочей системе через собственный сервис — от выбора движка до интеграции с 1С.
Курс «ИИ и 1С»