GPU-сервер для ИИ дома: как собрать и на чём запускать локальные нейросети
В закрытом чате моего курса по ИИ мне написали: «Илья, а подскажи, пожалуйста, параметры сервера для ИИ? Какие параметры у тебя на твоём сервере — видеокарта, оперативка, какая материнка и проц?». Я сначала начал отвечать там, но ответ получился очень большим, и я решил оформить его в виде статьи.
Итак. Задачи могут быть очень разные. Если условно надо обрабатывать и анализировать звонки, то подойдёт одна карта 3090. Если поддерживать чат с ИИ-агентом, то там уже нужна модель посерьёзнее.
Начинайте с облака, а не с железа
В любом случае делать проект надо изначально на облачной модели. Желательно на сильной, и надо сразу думать о том, как её потом использовать и оплачивать в проде. Не каждый заказчик захочет заморачиваться с VPN и зарубежными картами. В этом плане мне подходит Qwen 3.7 Plus: недорого, работает без VPN, но опять же — заморочки с оплатой.
Когда проект заработал, уже можно делать декомпозицию. Допустим, у ИИ-агента граф с роутером — на него можно поставить слабую модель. Если есть места со структурированным извлечением данных, ставим модель посильнее. Сформировать итоговый ответ на основе собранного контекста — уже сильную модель. То есть часть запросов можно обрабатывать локально и лишь минимум — в облаке. Какие-то этапы можно и нужно передавать классическим сетям: обучить условную SpaCy для извлечения характеристик товара, собрав датасет с помощью LLM, и потом гонять этот этап хоть на процессоре.
Какую локальную модель брать и на чём запускать
Если брать на сегодня, то Qwen 3.6 27B мне кажется оптимальной для решения локальных задач — может обрабатывать как текст, так и изображения. Если запускать в квантовании FP8 (это очень близко к качеству оригинальной модели) и через vLLM, то я бы использовал 4×5070 Ti.
Тут важный нюанс: vLLM для тензорного параллелизма хочет, чтобы число карт нацело делило количество attention-голов модели (на практике это 2, 4 или 8 карт), да ещё и желательно одинаковых. У меня сейчас разнородная сборка 3090 + 2×5070 Ti — под честный tensor parallel она не годится, поэтому я запускаю через llama.cpp с максимальным контекстом 256K токенов.
Видеокарты для нейросетей: что дороже и что ждём
Все остальные карты сильно дороже для домашнего GPU-сервера, но если есть возможность, то очень хорошей картой считаю NVIDIA RTX PRO 6000 Blackwell на 96 ГБ — на ней можно запускать очень много разных локальных моделей на максимальной скорости.
Недавно в новостях видел, что ожидается выход 5070 Ti Super с 24 ГБ VRAM. Когда она выйдет, думаю, станет оптимальной для домашнего GPU-сервера, и все перекупы, которые сейчас пытаются продавать 3090 за 80–90 тыс., пойдут лесом.
Не советую брать сборки на Tesla V100 — железо морально устарело. Его давно выпиливают из библиотек, оно не поддерживает современные методы квантования (тот же FP8). То же ждёт и 3090 в ближайшие годы: если собрали на них, придётся довольствоваться тем, что имеете, и не факт, что новые фишки на них заработают.
Про фишки. Сейчас ведётся много исследований, и то, что внедряется, позволяет на том же железе запускать модели с большими скоростями и контекстом — но зачастую эти оптимизации требуют современные GPU-чипы.
Материнка, процессор и оперативка
Про материнку и остальное. У меня потребительская материнка с Ryzen 3600X, но я её не покупал специально — просто осталась после обновления системника, там же осталось 64 ГБ ОЗУ DDR4 и NVMe-диск на 500 ГБ. Если же будете покупать специально, то:
- эконом-сборка: Supermicro H12SSL-i + AMD EPYC 7502 + охлад — примерно 100 тыс.
- более современная: ASUS Pro WS W790E-SAGE SE + Intel Xeon W7‑3465X + охлад — примерно 250–300 тыс.
ОЗУ ставить меньше 64 ГБ, наверное, не надо, даже если модели помещаются полностью в память видеокарт. Иногда при запуске (vLLM, llama.cpp) движки начинают что-то активно обрабатывать, и у меня бывало, что некоторые модели не стартовали именно из-за нехватки ОЗУ на старте. Частота планок, наверное, имеет значение, но кардинального прироста в скорости генерации при повышении частоты комплекта с 2666 до 3600 я не заметил. Возможно, будет заметнее при большом количестве одновременных запросов или скажется на других показателях генерации — я не проверял.
Про райзеры — отдельная боль
Тут прямо отдельным пунктом. Подключить даже 4 карты напрямую в материнку тяжело и, скорее всего, не получится без переделки на турбину или кастомную водянку. Если же хотим сохранить гарантию, то без райзеров не обойтись. Они бывают очень разные, и при сборке сервера я напоролся на кучу проблем:
- Не покупайте майнинговые райзеры — это те дешёвые, что продаются повсеместно за копейки, обычно с USB-проводком. На них ничего не запустится.
- Не покупайте длинные райзеры — они работают 50/50.
- Не покупайте райзеры старых поколений, типа PCIe 3.0. Я напоролся именно на такой: 5070 Ti на нём завелась один раз и больше не определялась.
- Не покупайте noname.
Оптимальным и рабочим вариантом для меня оказался райзер Lian Li на 20 см, брал вроде за 8 тыс. PCIe у него 4.0, и карта на нём работает. Хоть он и короткий, 20 см, но позволяет подключать карты "шахматкой": одна карта прямо в материнку, другая через райзер сверху. Не факт, что он заработает, если я возьму плату с PCIe 5.0, но мне пока хватает.
Блоки питания
Блоки питания берите с запасом. Смотрите, сколько потребляет ваша карта по паспорту, плюс другие компоненты, прибавляйте +20–30 % — и всё заработает. Можно покупать 2 блока и объединять их через специальный переходник для одновременного старта. Мою сборку сейчас питает блок на 1300Вт.
Почему я бы взял серверную эконом-сборку
Даже эконом-сборка раскрыла бы по максимуму возможности видеокарты и их связки. Даже если на вашей домашней материнке написано 3 слота PCIe x16, не факт, что процессор потянет столько линий PCIe — это тоже важный фактор. Плюс серверные платформы позволяют вести прямой обмен между GPU минуя системную ОЗУ (P2P), что тоже немного добавляет к скорости. А если вы захотите использовать MoE-модель с частичной выгрузкой слоёв в ОЗУ, то серверная сборка за счёт большего числа каналов памяти даст значительно большую пропускную способность обмена — при условии, что все слоты памяти заняты. Для себя я всё же решил следующую GPU-лабораторию собирать на кастомной воде — да, дороже, но без райзеров и шум не такой большой.
Только не стоит воспринимать мой пост как руководство по продакшен-сборке. Есть серьёзные калькуляторы, которые помогут подобрать вам ИИ-сервер, и, потратив, допустим, 50 млн, вы сможете запустить локальную Kimi в максимальном качестве. А разработав проект на её облачной версии, без проблем переедете на локальное решение.
В общем, направление для размышлений по построению домашнего GPU-сервера я вам дал, а дальше решайте сами.