Как развернуть ИИ на компьютере

[volohov]

О мальчике, который плохо сочинял промты.

 

[eltirajo]

Попробовал ИИ с Bionic (локально) правда осилил только до 8Гб, потому, что видеокарты с памятью выше 16 Гб те, которые подходят стоят ни фига не дёшево от 100 рублей. если использовать память озу, то тормоза капец какие. я сравнивал с ИИ который в Chrome. Для сравнения использовал написание кода на js, калькулятор оцифровки графиков динамиков. у хромовского аналог видеопамяти 15гб.

Локальные несколько ИИ которые доступны для моего железа:
- Bonsai 27B - 4.7Gb
- Gemma E2B - 4.4Gb
- Gemma 4 12B QAT - 7Gb

Если использовать облачные из оболочки Bionic там есть много чего. У меня работают без VPN, но разговор только про локальный запуск.

сравнивал с персональным ИИ от Chrome (GPT).

Итог:
- объём промта - несомненно локальные в переди
- скорость обработки как ни странно хромовский быстрее.
- подсказки в работе - хромовский адекватнее
- удобство работы - локальные в оболочке Bionic на порядок удобнее (нет ограничений на объём вопроса/ответа или он очень большой)
- развёртывание
- Установил Chrome и всё бесплатно работает. по умолчанию язык системы
- Bionic сам всё настраивает, сервер, порт, нужно выбрать ИИ и настроить всё достаточно просто. Русификация заключается - прямо в чате пишете - отвечай только на русском или каком нужно.

в общем для небольших проектов на мой взгляд эффективнее работает хромовский. но надо сильно сегментировать код

минусы:
- хромовский слаб на память (объём кеша) - там хранится история - и с лёгкостью забывает этапы проектирования - нужно дополнительно заморачиваться о воспоминаниях . понимает только картинки, текст и звук, ограничение объёма входного текста
- локальный помнит лучше, но иногда жутко тупит вплоть до прямого указания как надо делать . при соответствующей настройке может понимать различные форматы

для локального использования нужно:
- материна с 2х или 4х канальной памятью (объём не так важен) чо нить типа 99 хуанана от 16 Гб
- видеокарта от 13-16Гб (эт только чтобы посмотреть)

Ваши сообщения автоматически объединены: Сегодня в 12:21

Да вот с помощью ИИ - Commercial Kazan Expo CAD Edition v.15.0 как прототип

 

[trew21]

чо нить типа 99 хуанана от 16 Гб

На даче на таком железе, гема 4б, вполне. Тут вроде комп домашний поменять хочу, вот жду, когда ддр 6 в продажу пустят, может ддр 5 подешевле будет. Насчитал, что хочу, так за 200к как то жаба душит

 

[Андрей]

немного позволю себе оффтопа
К сожалению не уверен, что есть поводы думать, что память подешевеет. Сегодня читал, что спрос на ИИ только возрастает и как следствие...
Сам примерно год назад покупал себе железо для компьютера и дай думаю возьму 64Гб оперативки, так теперь одна оперативка стоит столько сколько я отдал за все железки

оффтоп

 

[demyuri]

Попробовал ИИ с Bionic (локально) правда осилил только до 8Гб, потому, что видеокарты с памятью выше 16 Гб те, которые подходят стоят ни фига не дёшево от 100 рублей. если использовать память озу, то тормоза капец какие. я сравнивал с ИИ который в Chrome. Для сравнения использовал написание кода на js, калькулятор оцифровки графиков динамиков. у хромовского аналог видеопамяти 15гб.

Локальные несколько ИИ которые доступны для моего железа:
- Bonsai 27B - 4.7Gb
- Gemma E2B - 4.4Gb
- Gemma 4 12B QAT - 7Gb

Если использовать облачные из оболочки Bionic там есть много чего. У меня работают без VPN, но разговор только про локальный запуск.

сравнивал с персональным ИИ от Chrome (GPT).

Итог:
- объём промта - несомненно локальные в переди
- скорость обработки как ни странно хромовский быстрее.
- подсказки в работе - хромовский адекватнее
- удобство работы - локальные в оболочке Bionic на порядок удобнее (нет ограничений на объём вопроса/ответа или он очень большой)
- развёртывание
- Установил Chrome и всё бесплатно работает. по умолчанию язык системы
- Bionic сам всё настраивает, сервер, порт, нужно выбрать ИИ и настроить всё достаточно просто. Русификация заключается - прямо в чате пишете - отвечай только на русском или каком нужно.

в общем для небольших проектов на мой взгляд эффективнее работает хромовский. но надо сильно сегментировать код

минусы:
- хромовский слаб на память (объём кеша) - там хранится история - и с лёгкостью забывает этапы проектирования - нужно дополнительно заморачиваться о воспоминаниях . понимает только картинки, текст и звук, ограничение объёма входного текста
- локальный помнит лучше, но иногда жутко тупит вплоть до прямого указания как надо делать . при соответствующей настройке может понимать различные форматы

для локального использования нужно:
- материна с 2х или 4х канальной памятью (объём не так важен) чо нить типа 99 хуанана от 16 Гб
- видеокарта от 13-16Гб (эт только чтобы посмотреть)

Ваши сообщения автоматически объединены: Сегодня в 12:21

Да вот с помощью ИИ - Commercial Kazan Expo CAD Edition v.15.0 как прототип

У меня работает связка бионик+гемма 4 (16 гб). Вроде нормально работает. Конфиг: мама гигабайт H610, i3-12100, ddr4 32 gb, gtx 1070 (8 gb), ssd 512. По нонешним меркам уже устаревшая система, но гемма не жалуется, грит нормальная хата, нДравится, остаюсь. У геммы есть особенность, перед ответом "долго думает", несколько раз прогоняет вопрос через свои связи, потом вполне разумно отвечает. Гемма это младший брат гемини, на которой хромовский ии работает, так что у них много общего, создатели и учителя одни и те же.

 

[Palko]

Поставил седня на ноутбук сборку с фронтендом от Zazza там всякие kwen, stable diffusion и прикрученым Ollama на русском.
Взлетело даже, хотя VRAM всего 8 гигов. Правда выкушало под 40 гектар места.

До этого стоял Hunyuan3D на 70 гектар, но он заточен тока под генерацию 3Д моделек.

 

[Андрей]

А может сделаем закрытую базу наших ИИ серверов?
Нет, а что?
Ну если у вас есть "белый IP" чего не поделиться то ?
Я например легко могу.
Только я не изучал вопроса как на Windows Server 2025 это все дело развернуть.
Это ведь тоже пассивная помощь близкому?
Чай не "сотрется" ваша память, если ее кто поюзает.
Ну и понятно что не выкладывать это на всеобщее.
Я бы для участников форума поделился без проблем