Как развернуть ИИ на компьютере

[val013]

... достаточно сменить видеокарту...

Предполагаю, д.Юр, что заради этой процедуры ты продал свою 4-ВеДе и ишшо чутка добавил, не?

оффтоп

 

[demyuri]

Предполагаю, д.Юр, что заради этой процедуры ты продал свою 4-ВеДе и ишшо чутка добавил, не?

оффтоп

бутылку? Вдребезги?! Да я тебя!!! Я свой комп собрал за 45, вместе с монитором. Ради искусственного помощника продавать свой 4вэдэход даже не мысли не возникло.

оффтоп

Кстати о птичках. Квен у меня не захотел работать, постоянно на китайский норовил перейти, невзирая на строгий промпт. А гемма спокойно завелась, обустроилась и неплохо себя показала. При чем квен был 2.0 версии, весом в 8 гб, а гемма с большим квантом и весом в 16 гб.

 

[volohov]

Извините за пессимизм... Не работает оно! Не в смысле совсем не работает, а как жЫгули - "А зачем?".
Развернутое дома серьезно уступает платной топовой онлайн версии. И это даже не проблема частника! Сын работает в большом банке, который из соображений безопасности не может пользоваться внешним ресурсом. Так вот, развернутая банком локальная ИИ (на не самом плохом железе купленном банком!) на порядок уступает платной онлайн версии ИИ. То есть, с баблом банка вы все равно уступаете ИИ, на который вам предлагают купить подписку помесячно.
Может это оттого что банковским ресурсом пользуется весь отдел разработки и на всех не хватает? Появилась идея поднять сетку у себя. У, замечу программиста -тимлида, то есть человека, который сетку готов озадачить. Посчитали... Ну, так-то можно... 64 оперативки, Видео с 16 Гб и через PCI отдельная приспособа еще на 3 таких же карты. То есть, видео памяти тоже 64 выходит. 300К рублей. И, в принципе, посильно. Но! А зачем выкидывать 300К, если можно за 20$ в месяц пользоваться ИИ посерьезней? За сколько лет это железо окупится? Особенно с учетом того, что через два-три года это железо станет устаревшим.
В общем, не придумывается задача для которой надо ИИ поднимать дома. Оно всегда получается как CNC3018 рядом с заводским ЧПУ. Попробовать и повозится с CNC здорово, а покупать реальный заводской станок не имея под него конкретной задачи безумно...

Замечание от сына: "Пока мне быстрее написать код, чем промт. И качественнее."

 

[РЭМБО]

Извините за пессимизм... Не работает оно! Не в смысле совсем не работает, а как жЫгули - "А зачем?".
Развернутое дома серьезно уступает платной топовой онлайн версии. И это даже не проблема частника! Сын работает в большом банке, который из соображений безопасности не может пользоваться внешним ресурсом. Так вот, развернутая банком локальная ИИ (на не самом плохом железе купленном банком!) на порядок уступает платной онлайн версии ИИ. То есть, с баблом банка вы все равно уступаете ИИ, на который вам предлагают купить подписку помесячно.

я об этом же, что за недорого можно сделать фигню, нафиг ни кому не нужную никому, кроме тебя, но как уже отметили - сервисы вводят ограничения на обработку данных - не дают вскрывать софт и тому подобное, тут конечно - или у себя иметь собаку, которую будешь воспитывать и она только твоя, или пробовать чужую, которая может тебя же и укусить.

 

[SnakeKVC]

Извините за пессимизм... Не работает оно! Не в смысле совсем не работает, а как жЫгули - "А зачем?".
Развернутое дома серьезно уступает платной топовой онлайн версии. И это даже не проблема частника! Сын работает в большом банке, который из соображений безопасности не может пользоваться внешним ресурсом. Так вот, развернутая банком локальная ИИ (на не самом плохом железе купленном банком!) на порядок уступает платной онлайн версии ИИ. То есть, с баблом банка вы все равно уступаете ИИ, на который вам предлагают купить подписку помесячно.
Может это оттого что банковским ресурсом пользуется весь отдел разработки и на всех не хватает? Появилась идея поднять сетку у себя. У, замечу программиста -тимлида, то есть человека, который сетку готов озадачить. Посчитали... Ну, так-то можно... 64 оперативки, Видео с 16 Гб и через PCI отдельная приспособа еще на 3 таких же карты. То есть, видео памяти тоже 64 выходит. 300К рублей. И, в принципе, посильно. Но! А зачем выкидывать 300К, если можно за 20$ в месяц пользоваться ИИ посерьезней? За сколько лет это железо окупится? Особенно с учетом того, что через два-три года это железо станет устаревшим.
В общем, не придумывается задача для которой надо ИИ поднимать дома. Оно всегда получается как CNC3018 рядом с заводским ЧПУ. Попробовать и повозится с CNC здорово, а покупать реальный заводской станок не имея под него конкретной задачи безумно...

Замечание от сына: "Пока мне быстрее написать код, чем промт. И качественнее."

Просто к голому ИИ надо ещё руки прикрутить. Например hermes-agent