Локальные ИИ-модели vs облачные: как RTX 4090 окупается за 20 задач и как обучить SpaCy для 1С

Окупаемость локальных ИИ‑моделей

Недавно я столкнулся с вопросом: стоит ли инвестировать в локальный сервер для работы с ИИ, если облачные LLM ограничены законодательством и бюрократией? В ответе оказались данные из поста Валерия Ковальски, где сравнивались локальный сервер на RTX 4090 и облачная модель. После обработки 20 задач локальный сервер окупается – это уже практический показатель, который стоит учитывать при планировании инфраструктуры.

Обучение SpaCy для 1С

В качестве практического примера я решил задачу извлечения ключевых характеристик из названий и описаний товаров – задача, близкая к типичной работе в 1С. Для этого обучил небольшую модель SpaCy, которую затем можно использовать для автоматического заполнения характеристик номенклатуры.

Создание датасета с помощью LLM и Structured Outputs

Самое трудное – собрать датасет. Здесь пригодилась LLM. Применяя подход Structured Outputs, удалось создать датасет из 11 000 товаров. Обработка велась на 3080 Ti с моделью Qwen 2.5 7b, развернутой через ollama под Windows. Настроек не требовалось, а время работы составило 8‑9 часов.

{
    "text": "футболка hard work pocket, серый меланж, размер s",
    "labels": [
      {
        "label": "product_type",
        "text": "футболка",
        "start": 0,
        "end": 8
      },
      {
        "label": "make_model",
        "text": "hard work pocket",
        "start": 9,
        "end": 25
      },
      {
        "label": "color",
        "text": "серый меланж",
        "start": 27,
        "end": 39
      },
      {
        "label": "size",
        "text": "размер s",
        "start": 41,
        "end": 49
      }
    ]
  }

После ручной корректировки позиций start/end датасет был разделён на три части. Обучение SpaCy проводилось в два этапа: основной и файнтюнинг. Итоговая метрика F1 составила 0.9433.

Результаты и метрика

Модель теперь способна извлекать ключевые характеристики из любых названий и описаний товаров данной категории. SpaCy работает эффективно даже на CPU, что делает её пригодной для внедрения в 1С‑системы.

Выводы

Чем больше задач решаете с помощью локальных LLM‑моделей, тем быстрее окупаются затраты на оборудование. Я сейчас ищу 3090 Ti, чтобы добавить её к текущей карте и использовать более серьёзные модели. Стоит отметить, что пара 3090 Ti (48 ГБ ОЗУ) в два раза дешевле одной 4090, что делает такой вариант более выгодным, если не учитывать энергопотребление.

Если вы работаете в 1С и хотите автоматизировать обработку товарных данных, локальные модели – это реальный путь к экономии и повышению эффективности.