Состав и стоимость сборки
После доставки всех компонентов я получил готовый «монстр»: в корпусе уже установлена видеокарта RTX 3090, а Tesla V100 подключён через райзер.
- Tesla V100 SXM2 32 ГБ – 37 889 ₽
- Райзер PCI‑E SXM2 – 7 212 ₽
- Радиатор – 4 837 ₽
- Райзер‑удлинитель из ДНС – 3 000 ₽
- Итого: 53 000 ₽
Проблемы запуска сервера
Сразу после сборки сервер не стартовал. Я почти решил написать возврат на AliExpress, но выяснилось, что нужно включить в BIOS параметр Above 4G Decoding. После его активации система заработала.
Проблемы с vllm и PyTorch
При попытке запустить LLM через библиотеку vllm возникла ошибка: карта Tesla V100 не распознаётся. Похоже, что текущая версия PyTorch не поддерживает эту модель GPU. Я сейчас пересобираю PyTorch из исходников, чтобы вернуть поддержку и запустить LLM.
Вывод
Чем старее железо, тем веселее настройка. Несмотря на первоначальные сложности, сборка GPU‑сервера с RTX 3090 и Tesla V100 оказалась вполне выполнимой задачей. Главное – знать, какие BIOS‑параметры включать и как адаптировать библиотеки под конкретную карту.
