Как развернуть ИИ на компьютере

[volohov]

О мальчике, который плохо сочинял промты.

 

[eltirajo]

Попробовал ИИ с Bionic (локально) правда осилил только до 8Гб, потому, что видеокарты с памятью выше 16 Гб те, которые подходят стоят ни фига не дёшево от 100 рублей. если использовать память озу, то тормоза капец какие. я сравнивал с ИИ который в Chrome. Для сравнения использовал написание кода на js, калькулятор оцифровки графиков динамиков. у хромовского аналог видеопамяти 15гб.

Локальные несколько ИИ которые доступны для моего железа:
- Bonsai 27B - 4.7Gb
- Gemma E2B - 4.4Gb
- Gemma 4 12B QAT - 7Gb

Если использовать облачные из оболочки Bionic там есть много чего. У меня работают без VPN, но разговор только про локальный запуск.

сравнивал с персональным ИИ от Chrome (GPT).

Итог:
- объём промта - несомненно локальные в переди
- скорость обработки как ни странно хромовский быстрее.
- подсказки в работе - хромовский адекватнее
- удобство работы - локальные в оболочке Bionic на порядок удобнее (нет ограничений на объём вопроса/ответа или он очень большой)
- развёртывание
- Установил Chrome и всё бесплатно работает. по умолчанию язык системы
- Bionic сам всё настраивает, сервер, порт, нужно выбрать ИИ и настроить всё достаточно просто. Русификация заключается - прямо в чате пишете - отвечай только на русском или каком нужно.

в общем для небольших проектов на мой взгляд эффективнее работает хромовский. но надо сильно сегментировать код

минусы:
- хромовский слаб на память (объём кеша) - там хранится история - и с лёгкостью забывает этапы проектирования - нужно дополнительно заморачиваться о воспоминаниях . понимает только картинки, текст и звук, ограничение объёма входного текста
- локальный помнит лучше, но иногда жутко тупит вплоть до прямого указания как надо делать . при соответствующей настройке может понимать различные форматы

для локального использования нужно:
- материна с 2х или 4х канальной памятью (объём не так важен) чо нить типа 99 хуанана от 16 Гб
- видеокарта от 13-16Гб (эт только чтобы посмотреть)

Ваши сообщения автоматически объединены: Понедельник в 12:21

Да вот с помощью ИИ - Commercial Kazan Expo CAD Edition v.15.0 как прототип

 

[trew21]

чо нить типа 99 хуанана от 16 Гб

На даче на таком железе, гема 4б, вполне. Тут вроде комп домашний поменять хочу, вот жду, когда ддр 6 в продажу пустят, может ддр 5 подешевле будет. Насчитал, что хочу, так за 200к как то жаба душит

 

[Андрей]

немного позволю себе оффтопа
К сожалению не уверен, что есть поводы думать, что память подешевеет. Сегодня читал, что спрос на ИИ только возрастает и как следствие...
Сам примерно год назад покупал себе железо для компьютера и дай думаю возьму 64Гб оперативки, так теперь одна оперативка стоит столько сколько я отдал за все железки

оффтоп

 

[demyuri]

Попробовал ИИ с Bionic (локально) правда осилил только до 8Гб, потому, что видеокарты с памятью выше 16 Гб те, которые подходят стоят ни фига не дёшево от 100 рублей. если использовать память озу, то тормоза капец какие. я сравнивал с ИИ который в Chrome. Для сравнения использовал написание кода на js, калькулятор оцифровки графиков динамиков. у хромовского аналог видеопамяти 15гб.

Локальные несколько ИИ которые доступны для моего железа:
- Bonsai 27B - 4.7Gb
- Gemma E2B - 4.4Gb
- Gemma 4 12B QAT - 7Gb

Если использовать облачные из оболочки Bionic там есть много чего. У меня работают без VPN, но разговор только про локальный запуск.

сравнивал с персональным ИИ от Chrome (GPT).

Итог:
- объём промта - несомненно локальные в переди
- скорость обработки как ни странно хромовский быстрее.
- подсказки в работе - хромовский адекватнее
- удобство работы - локальные в оболочке Bionic на порядок удобнее (нет ограничений на объём вопроса/ответа или он очень большой)
- развёртывание
- Установил Chrome и всё бесплатно работает. по умолчанию язык системы
- Bionic сам всё настраивает, сервер, порт, нужно выбрать ИИ и настроить всё достаточно просто. Русификация заключается - прямо в чате пишете - отвечай только на русском или каком нужно.

в общем для небольших проектов на мой взгляд эффективнее работает хромовский. но надо сильно сегментировать код

минусы:
- хромовский слаб на память (объём кеша) - там хранится история - и с лёгкостью забывает этапы проектирования - нужно дополнительно заморачиваться о воспоминаниях . понимает только картинки, текст и звук, ограничение объёма входного текста
- локальный помнит лучше, но иногда жутко тупит вплоть до прямого указания как надо делать . при соответствующей настройке может понимать различные форматы

для локального использования нужно:
- материна с 2х или 4х канальной памятью (объём не так важен) чо нить типа 99 хуанана от 16 Гб
- видеокарта от 13-16Гб (эт только чтобы посмотреть)

Ваши сообщения автоматически объединены: Понедельник в 12:21

Да вот с помощью ИИ - Commercial Kazan Expo CAD Edition v.15.0 как прототип

У меня работает связка бионик+гемма 4 (16 гб). Вроде нормально работает. Конфиг: мама гигабайт H610, i3-12100, ddr4 32 gb, gtx 1070 (8 gb), ssd 512. По нонешним меркам уже устаревшая система, но гемма не жалуется, грит нормальная хата, нДравится, остаюсь. У геммы есть особенность, перед ответом "долго думает", несколько раз прогоняет вопрос через свои связи, потом вполне разумно отвечает. Гемма это младший брат гемини, на которой хромовский ии работает, так что у них много общего, создатели и учителя одни и те же.

 

[Palko]

Поставил седня на ноутбук сборку с фронтендом от Zazza там всякие kwen, stable diffusion и прикрученым Ollama на русском.
Взлетело даже, хотя VRAM всего 8 гигов. Правда выкушало под 40 гектар места.

До этого стоял Hunyuan3D на 70 гектар, но он заточен тока под генерацию 3Д моделек.

 

[Андрей]

А может сделаем закрытую базу наших ИИ серверов?
Нет, а что?
Ну если у вас есть "белый IP" чего не поделиться то ?
Я например легко могу.
Только я не изучал вопроса как на Windows Server 2025 это все дело развернуть.
Это ведь тоже пассивная помощь близкому?
Чай не "сотрется" ваша память, если ее кто поюзает.
Ну и понятно что не выкладывать это на всеобщее.
Я бы для участников форума поделился без проблем

 

[eltirajo]

У меня работает связка бионик+гемма 4 (16 гб). Вроде нормально работает. Конфиг: мама гигабайт H610, i3-12100, ddr4 32 gb, gtx 1070 (8 gb), ssd 512. По нонешним меркам уже устаревшая система, но гемма не жалуется, грит нормальная хата, нДравится, остаюсь. У геммы есть особенность, перед ответом "долго думает", несколько раз прогоняет вопрос через свои связи, потом вполне разумно отвечает. Гемма это младший брат гемини, на которой хромовский ии работает, так что у них много общего, создатели и учителя одни и те же.

думает долго это как раз не хватает или мало видео памяти.

В случае написания кода, можно попросить вывести код файла (просто для тестирования) если не успеваешь прочесть выводимое, то огонь, если печатает медленнее чем можешь прочитать, тормоза.

 

[РЭМБО]

на 7 винду попробовал ИИ разместить - не хочет, требует 10 или 11 винду, буду пробовать дальше. хоть реально новый комп брать с 100 рублевой видюхой и там отдельно пробовать ии, я на ИИ подвис - реальные результаты есть. я сам столько инфы реально не обработаю что ИИ делает, за буквально минуты, перепроверять и формулы и код и софт нужно однозначно, то есть понимать что ИИ делает и анализировать результаты работы.

 

[demyuri]

думает долго это как раз не хватает или мало видео памяти.

Еще раз: ОСОБЕННОСТЬ ГЕММЫ ПРОГОНЯТЬ ОТВЕТ НЕСКОЛЬКО РАЗ ЧЕРЕЗ СВЯЗИ. Именно из-за этой особенности ответ дается не в тот же момент, как нажата кнопка ентер, а через 2-3 сек. Скорость вывода вполне приличная, примерно как раз как скорость чтения.

 

[РЭМБО]

еще один момент, у меня перепроверка работы ИИ занимает иногда больше времени, чем написать простой код вручную, точно и без ошибок. второй момент, иногда проще 1-5 к руб в месяц заплатить за ИИ сервис, чем покупать за 100к р новый комп.( а обойдется во все 200к р) если задач немного и чаще хочется поиграться с данными с картинками, с таблицами, но это для себя пенсионера и не факт что получится - тогда думаю проще воспользоваться сервисом ИИ. скажу одно - я пробовал, но сервисы предлагают непонятно что, (может не то нашел) там нет чата, предлагают создать проект - непонятно что загрузить, потыкал там , сям, закрыл, так и не понял как работает. в других сервисах сразу просят деньги за чат с ИИ, даже не дав оценить ИИ помощника, если на уровне алисы не эксперта, то даром не надо. Алиса в режиме эксперт тоже вату гонит часто, но иногда у нее прозрение появляется и реально дает работу, но недолго, может быстро затупить и перестать работать, я пока в бесплатном режиме с ней работаю - постоянно просит деньги, но работает, если обращаться не часто, дать время на обнуление сервиса эксперт. гигачат от сбера - это вообще лучше не открывать, он просто тупой для сложных задач, для школьников пойдет. пока чего я делаю - 1 модель индукционной печи - индуктор, поля, нагрузка, выделение тепла, переток тепла - в общем электромагнитные формулы в 3-Д поля, и выделение энергии в нагрузке. далее тепловые расчеты - перетоки энергии в системе , теплоизоляция и КПД. по факту все что ИИ насчитало - 100% работает и совпадает с фактом, не сразу конечно, ( кривая нагрева тигля с металлом и без металла - все точно по минутам, четко температура низа тигля, верха - у меня все по зонам нагрева разбито), но после ее битья и 1000 исправлений заработало. Тормознулся на вязкости и поверхностном натяжении расплавов сплавов (нужны для расчета конвекции и перемешивании металла в тигле), данных нет для сплавов, особенно ищу ювелирные, приходится думать где их взять или рассчитать. пока читаю с помощью ИИ пдф документы, вытаскиваю данные, все в таблицу, в конце дойду до сплавов. за месяц примерно 100 книжек ИИ прочитал, русских, английских, китайских и еще непонятно на каких языках, я там таблицы только понимаю, но всю инфу вынул и файл эксель вернул с заполненными ячейками, только для него правила создавать как что читать и как заносить данные писать долго. Короче мороки с ИИ еще те. Но скажу сразу, много чего узнал нового, формулы, ученых, которые их придумали, и много еще чего что в институте не давали. Для общего понимания как устроен мир в кристаллической решетке металла и что происходит когда он начинает плавиться - реально помогло понять.