- Регистрация
- 04.03.2024
- Сообщения
- 13
- Реакции
- 35
- Баллы
- 33
- Город
- Москва
- Имя
- Михаил
- Станок
- CNC 3020 plus
- Прошивка
- 1.1F
Проще всего поставить LM Studio и уже из него качать модели. Минимум действий, без Docker и прочей возни. Но ожидать чудес от локального запуска не стоит. У меня 5070 Ti 16 GB VRAM, 7800X3D, 64 GB DDR5 6000. Все, что из "топового" реально лезло локально, ради интереса пробовал. Рука-лицо. Жизни там особо нет, не с такими мощностями. Локально поиграться можно, но это не уровень нормальных облачных моделей.
Алиса, Гигачат и подобное это вообще не показатель уровня нейросетей. По ним судить всю тему странно. Нормальные модели есть, просто они обычно не в таких бытовых ассистентах. У меня Codex от OpenAI сам через COM залил FluidNC на MKS DLC32 v2.1 вместо GRBL. Я только дал настройки с GRBL и тип станка, подтвердил, что оси и концевики определены верно. Хотелось попробовать по Wi-Fi и лень было вникать. Забывчивость во многом зависит от контекстного окна. Чем оно меньше, тем быстрее модель теряет нить. Поэтому не надо устраивать длинные обсуждения на сотни сообщений и потом удивляться, что в конце она тупит. На бесплатных тарифах это еще заметнее. С галлюцинациями тоже стало лучше. Раньше модели часто были заточены на выдачу результата любой ценой. Если точного ответа не было, они могли уверенно сгенерировать правдоподобную чушь. Сейчас нормальные модели чаще признают, что точно не знают. Но в узких темах проверка все равно обязательна. И важно не путать разные вещи. Генератор изображений и чат-бот это разные модели. Чат-бот с рассуждениями и обычный чат-бот тоже ведут себя по-разному.
Алиса, Гигачат и подобное это вообще не показатель уровня нейросетей. По ним судить всю тему странно. Нормальные модели есть, просто они обычно не в таких бытовых ассистентах. У меня Codex от OpenAI сам через COM залил FluidNC на MKS DLC32 v2.1 вместо GRBL. Я только дал настройки с GRBL и тип станка, подтвердил, что оси и концевики определены верно. Хотелось попробовать по Wi-Fi и лень было вникать. Забывчивость во многом зависит от контекстного окна. Чем оно меньше, тем быстрее модель теряет нить. Поэтому не надо устраивать длинные обсуждения на сотни сообщений и потом удивляться, что в конце она тупит. На бесплатных тарифах это еще заметнее. С галлюцинациями тоже стало лучше. Раньше модели часто были заточены на выдачу результата любой ценой. Если точного ответа не было, они могли уверенно сгенерировать правдоподобную чушь. Сейчас нормальные модели чаще признают, что точно не знают. Но в узких темах проверка все равно обязательна. И важно не путать разные вещи. Генератор изображений и чат-бот это разные модели. Чат-бот с рассуждениями и обычный чат-бот тоже ведут себя по-разному.
