Ну что же, карта отправляется на авито. Основная задача была использовать как инференс на vllm, но в новых версиях библиотек эта карта была исключена из поддержки.

Ну что же, карта отправляется на авито. Основная задача была использовать как инференс на vllm, но в новых версиях библиотек эта карта была исключена из поддержки. На той версии vllm что удалось завести инференс, отказались работать определенные функции, без которых разработка современных ИИ проектов очень затруднительна. Кому подойдет. Если вам надо запустить допустим модель для кодинга, карточка медленнее 3090 всего на 10% при генерации, но потребляет около 300Вт и имеет 32Gb VRAM. Отлично работает на llama.cpp и ollama, они используют ее без проблем. В общем неплохое железо, но поддержки ПО больше нет. Думаю, можно пересобрать новые версии библиотек, вернуть поддержку, но мне честно говоря не очень охота этим заниматься и не факт, что получится. В ближайшее время возможно отключат и поддержку карт 3090, так что собирать мощный сервер на них тоже не вижу особого смыла, если только для себя. Оптимально искать 4090 с 48Gb за адекватную цену, все остальное очень дорого. #ai #ии #1c #1с #v100 #teslav100 @nizamov_studio_1c