Продолжая тему запуска полноценных локальных моделей. Обычно делается это на множестве GPU, но есть и другие более дешевые варианты. — Форум

Илья Низамов

Автор темы

30 марта 2025 г. в 17:30(изменено)

https://rutube.ru/video/98e2f75923c11ccb0994abb099766e5e/?r=wd Продолжая тему запуска полноценных локальных моделей. Обычно делается это на множестве GPU, но есть и другие более дешевые варианты. Жду мини пк от NVidia, так как он по итогу должен быть гораздо мощнее, а пока смотрим на кластер из mac mini. Видео с youtube канала https://www.youtube.com/@AZisk @nizamov_studio_1c #llm #1с #1c

Aleksey Solokha

31 марта 2025 г. в 14:03(изменено)

насчет мини от ненавидии не питайте особых иллюзий - там ddr5 хоть и быстрая из-за впайки ближе к чиплету, плюс арм плюс не факт что дадут юзать его в РФ - все-таки это костыль облачка для локальной разработки если деньги есть - это mac studio с 192гб унифицированной памяти и желательно в кластере на 3-4 машинки через tb если нет то framework mini - там хоть проц достойный x86

Илья Низамов

31 марта 2025 г. в 14:14(изменено)

Я уже посмотрел характеристики, не впечатляет. Но они презентовали еще одну машину, по цене пока не ясно, но для небольших локальных проектов очень неплохо.