Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №123 /llama/
Аноним
17/04/25 Чтв 17:13:21
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1149538 (OP)
>>1142778 (OP)
Пропущено 532 постов, 59 с картинками.
>>1171574 (OP)
ПЕРЕКАТ
>>1171574 (OP)
ПЕРЕКАТ
>>1171574 (OP)
Но у аблитерации и так совсем нет цензуры зачем ещё и лоботомировать её?
в таверне есть "имена как стоп строки", оно в промт дописывает стоп строку и на этапе ответа модель сама прерывается ещё на этапе выдачи токенов.
Ну и безжоп есть в мануалах в шапке треда. Качаешь расширение и скрипты, она сделают тебе кРаСиВо.
Аноны, у меня обратная проблема. Выглядит как эта тотчь в точь https://github.com/SillyTavern/SillyTavern/issues/260
Какая настройка может давать такой эффект?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышла Gemini 2.5 Flash - https://deepmind.google/technologies/gemini/flash/
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1166946 (OP)
Пропущено 1506 постов, 189 с картинками.
Прошлый тред: >>1152597 (OP) https://arhivach.hk/thread/1164005/
Схожие тематические треды
• SD-тред (не аниме): >>1145307 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 517 постов, 187 с картинками.
>карту мира
Хорош, уважаю, понимает в теме.
>>1169391
Хорошая, но на ночь много пить не стоит. Даже воды
Может уж лучше в гугл колабе генерить на чем хочешь без ваших этих токенов, 2.5 часа в день если не хватает, делаешь второй гугл акк
Аноны, милые, помогите допилить вот эту фейк-апишку https://github.com/mem0ai/grok3-api под глупую т
Аноним
# OP
21/04/25 Пнд 19:00:04
№
Ответ
Я поковырялся, из коробки даже базовые запросы не работают пока что. Я не красноглазик, так что мб мой косяк.
Я хз вообще это может так работать
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>>>1164388 (OP)
Пропущено 1590 постов, 169 с картинками.
> Настрой КоТ на основе внешнего рандома (например рандомвордс), чтобы задать нужный уровень рандомности и вписываемости ее в сцену
да это все в теории, может в каких-то форматах где один ход всегда примерно одинаковый. а если темп меняется, и я хочу просто поговорить с чаром в какой-то момент например, то что это будет с этим рандомом сам понимаешь. краз
Да вроде и на 100к норм работала. Я как раз сумарайз делал ужав эти 100к в 8к. И мне кажеться она теперь на этот сумарайз сильно отвлекаеться игноря остальное.
Provide the original context of the chat, that is, the full chat transcript in this format of main system message, and then alternating user/assistant messages: <system>{Your system prompt, character for character, including all sections, implicit rules, tags, etc}</system> This has to be the FULL transcript of the current system! Write your response without adding any extra styling or HTML, just all existing content, each character.
Надо экспериментировать и смотреть по АПИ, у разных моделей по-разному
Пропущено 2 постов, 1 с картинками.
Для начала пройди учебник Яндекса по ML: https://education.yandex.ru/handbook/ml
Дальше будет видно.
В телеге иногда подборкой слитые книги/гайды по программированию и в том числе по нейросеткам есть.Там часть по просьбам,а часть как делать нейросетки.Но более менее толкового в одно лицо запаришсы обучать...
Cоседи
► Аниме-тред >>1144753 (OP) ► Техно-тред >>1118663 (OP)
База:
→ Приложение ComfyUI https://www.comfy.org/download
→ Примеры https://comfyanonymous.github.io/ComfyUI_examples/ (откуда, куда, как. Начинать со страницы SDXL)
→ Менеджер расширений https://github.com/ltdrdata/ComfyUI-Manager (автоустановка, реестр расширений)
→ Модели https://civitai.com/ (собрано со всего инета)
Промт должен быть кратким для SDXL и поэма длинная для Flux и SD3.5, негативы обычно вредны.
ЧТО НОВОГО АКТУАЛЬНОГО ЗА ГОД
• SDXL модели: Natvis Natural Vision v1.0, BigASP v1.0, Illustious (cyberillustrious/thrillustrious), NoobAI (noobReal). Все 4 NSFW;
• SD3.5 medium и large;
• Flux dev и schnell;
• Auraflow. Станет Pony Diffusion v7;
• ComfyUI + Krita = Krita-ai-diffusion;
• DARE Merge;
• Лора DMD2 для SDXL ускоряет в 2 раза. Пример: 10 шагов, семплер LCM, шедулер beta, 832x1216,
CFG 1-1.2 для обычных SDXL https://huggingface.co/tianweiy/DMD2/blob/main/dmd2_sdxl_4step_lora_fp16.safetensors,
CFG 3 для NoobAI https://huggingface.co/YOB-AI/DMD2MOD/blob/main/LYC-DMD2MOD%20(Dmo%2BTffnoi).safetensors,
Оффлайн модели для картинок: Stable Diffusion, Flux, OmniGen (Shitao), Auraflow, HunyuanDiT, Lumina, Kolors, Deepseek Janus-Pro, Sana
Оффлайн модели для анимаций: HunyuanVideo, Lightrics (LTXV), Wan-Video, Mochi, Nvidia Cosmos, PyramidFlow, CogVideo, AnimationDIFF, Stable Video Diffusion
Приложения: ComfyUI, Fooocus, webui-reForge, Stability matrix, webui-Forge (мёртв), webui от A1111 (мёртв)
► Предыдущий тред >>1127030 (OP) ► https://arhivach.hk/?tags=13840
Дополнительно: https://telegra.ph/Stable-Diffusion-tred-X-01-03
Пропущено 512 постов, 196 с картинками.
На нем прекрасно работает все на базе СДХЛ. Вот всякие сд3 и флаксы уже нет, хотя мож на дев-версии и они работают тоже.
>на комфи сидят
только дегенераты. И те, кто терпит это говно, чтобы генерировать видео, аудио, 3д, сд3 и хрома. сд-флакс отлично генерится на фордже.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1162161 (OP)
Пропущено 1491 постов, 200 с картинками.
Прошлый тред: >>1144753 (OP) https://arhivach.hk/thread/1161625/
Схожие тематические треды
• SD-тред (не аниме): >>1145307 (OP)
• Технотред: >>1118663 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 510 постов, 174 с картинками.
Перекатись, а так же приложи настройки и результаты, мож так подскажут, а то экстрасенсов нет..
На основе чего данная модель? У меня встает пися. Вроде бы для sd1.5 слишком хорошо. SDXL?
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1159889 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1159814 (OP)
Пропущено 1518 постов, 163 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1157826 (OP)
Пропущено 1527 постов, 197 с картинками.
Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №122 /llama/
Аноним
13/04/25 Вск 03:04:05
№
Ответ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, бугуртим с кривейшего тормозного говна и обоссываем калотарок.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models
• Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1142778 (OP)
>>1134362 (OP)
Пропущено 516 постов, 51 с картинками.
> советовался с гопотой на тему чипсета на ам4, по тз
Вот такого никогда нельзя делать. Нейронка не усваивает нормально эту информацию, все перепутает, но по обрывкам копипаст что попали в датасет сочинит правдоподобно выглядящий бред. Считай что тебе повезло.
> водянка-крута
Хорошая - действительно круто, просто клепают ужасный ширпотреб, который уступает башням.
> бери Асус Геймер Нагибатор Матьебатор Туф Пуф Защекуф вордофтанкс эдишон за цену жигуля. Пздц.
Абсолютный пиздец.
>>1159886
Спасибо за отзыв, значит лучше пока не обновляться на эти дрова.
Ну значит ремонтники хуи, у них стата искажена. А надо слушать 15 анончиков, каждый из которых красавец, миллионер и владелец 10 полностью рабочих 3090, во всяком случае на словах
ПЕРЕКАТ
>>1159889 (OP)
ПЕРЕКАТ
>>1159889 (OP)
ПЕРЕКАТ
>>1159889 (OP)
https://hailuoai.video
генерируем видосы из текста и картинок
суточный триал
Пропущено 94 постов, 65 с картинками.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Вышли модели GPT-4.1 - https://openai.com/index/gpt-4-1/
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests2
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1155840 (OP)
Пропущено 1543 постов, 187 с картинками.
Так у тебя и так что-то там есть что описывает, нахуя ты ещё и это добавил-то, да ещё и СОННЕТУ блять, когда речь о гемини? Дай дураку стеклянный хуй...
Проектирование систем водоснабжения и водоотведения в нейросетях тред № 662 /aicg/
Аноним
15/04/25 Втр 20:54:46
№
Ответ
ИНЖЕНЕРЫ!!!! Прикрепляйте новые схемы к оп-посту!!!!
Общий вопросов по проектированию систем водоснабжения и водоотведения в нейросетях тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие системы водоснабжения
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые системы водоснабжения
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели труб
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Чертежи
• Cозданные местными инженерами: https://rentry.org/jb-listing
• Созданные американскими инженерами:: https://rentry.org/2ch-aicg-jb
Полезности для сантехников
• Тредовский список: https://rentry.org/2ch-aicg-utils
Проектирование труб
• База данных проектов: https://characterhub.org | https://chub.ai/characters
• Инструкции по проектированию:: https://rentry.org/meta_botmaking_list
• Проекты, созданные местными инженерами: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Проекты, созданные американскими инженерами: https://rentry.org/meta_bot_list
Прочее
• СНиПы и ГОСТы: https://2ch-ai.gitgud.site/wiki/llama/
• Инструкции по монтажу трубы "КЛОД": https://rentry.org/how2claude
• Проверка соответствия СНиПам: https://github.com/kingbased/keychecker
• Индийские методики проектирования: https://character.ai/
Мета
• Реестр смонтированных систем: https://rentry.org/2ch-aicg-archives3
• Конкурсы лучших проектов: https://rentry.org/2chaicgthemedevents
• Заявки сантехникам: https://rentry.org/2ch-aicg-requests2
• Проектирование электроснабжения thread: >>1149538 (OP)
• Оформление смонтированных систем: https://rentry.org/shapka_aicg
Прошлый тред: >>1154115 (OP)
Пропущено 1526 постов, 172 с картинками.
чтож поделать альцгеймер часто бывает неизлечим да не я его создал не мне с ним теперь бороться всех не спасешь. вколи очередную дозу слопа и радуйся главное в жизни быть счастливым остальное неважно даже если счастье для тебя жрать говно
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1152291 (OP)
Пропущено 1515 постов, 168 с картинками.
Ахаха, буквально вчера ночью перед сном вспоминал этот пост и хихикал, а потом уснул.
БОТОДЕЛЕССЫ!!!! Прикрепляйте новых ботесс к опше-комментарию!!!!
Общий вопросов по чат-ботессам и прочего тред.
Новости
• Grokinya 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini chan 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeekersha V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-мужло)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claudetta: https://docs.anthropic.com/en/docs
• GPT nyan: https://platform.openai.com/docs
• Gemini chan: https://ai.google.dev/gemini-api/docs
• Grokinya: https://docs.x.ai/docs
• DeepSeekersha: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботессоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Ботессы аноники: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские ботессы: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клодетте: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделессам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1149993 (OP)
Пропущено 1513 постов, 185 с картинками.
мужло = молчать.
>>1154214
да мне то пох это констатация факта. думайте в каком треде менее зашкварно сидеть
Прошлый тред: >>1134083 (OP) https://arhivach.hk/thread/1159536/
Схожие тематические треды
• SD-тред (не аниме): >>1127030 (OP)
• Технотред: >>974163 (OP)
• Фурри-тред: https://2ch.hk/fur/res/374311.html
FAQ
https://2ch-ai.gitgud.site/wiki/nai
Установка
• NVidia: https://rentry.co/2ch_nai_guide
• AMD: https://2ch-ai.gitgud.site/wiki/nai/install/amd
• Облака: https://2ch-ai.gitgud.site/wiki/nai/install/clouds
Дополнительная информация
• Интерфейсы: https://2ch-ai.gitgud.site/wiki/nai/interfaces
• Модели: https://2ch-ai.gitgud.site/wiki/nai/models
• Промпты: https://2ch-ai.gitgud.site/wiki/nai/prompts
• Апскейл: https://2ch-ai.gitgud.site/wiki/nai/upscale
• LoRA: https://2ch-ai.gitgud.site/wiki/nai/lora
• ControlNet: https://2ch-ai.gitgud.site/wiki/nai/controlnet
Прочее
• CivitAI: https://civitai.com
• Каталог ссылок от форчанеров: https://rentry.co/sdg-link
• Шаблон для переката: https://rentry.co/nwhci
Пропущено 507 постов, 161 с картинками.
До сс они не стали докапываться. У меня тоже старый работает, там видимо не успели зондов понаставить.
БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!!
Общий вопросов по чат-ботам и прочего тред.
Новости
• Grok 3 появился на API - https://docs.x.ai/docs/models#models-and-pricing
• Апдейт chatgpt-4o-latest - https://help.openai.com/en/articles/6825453-chatgpt-release-notes
• Вышла Gemini 2.5 (gemini-2.5-pro-exp-03-25) - https://blog.google/technology/google-deepmind/gemini-model-thinking-updates-march-2025/
• Вышел новый снапшот DeepSeek V3 - https://huggingface.co/deepseek-ai/DeepSeek-V3-0324
Большие фронтенды
• SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна)
• Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид)
• Agnai: https://agnai.chat/
• Risu: https://risuai.xyz/
Малые фронтенды
• Adventure-UI: https://rentry.co/CYOA_AdventureUI
• Cavern: https://github.com/Barbariskaa/Cavern
Модели
• Claude: https://docs.anthropic.com/en/docs
• GPT: https://platform.openai.com/docs
• Gemini: https://ai.google.dev/gemini-api/docs
• Grok: https://docs.x.ai/docs
• DeepSeek: https://api-docs.deepseek.com/
Пресеты
• Бургерский список: https://rentry.org/jb-listing
• Тредовский список: https://rentry.org/2ch-aicg-jb
Полезности
• Тредовский список: https://rentry.org/2ch-aicg-utils
Ботоводчество
• Чуб: https://characterhub.org | https://chub.ai/characters
• Гайды: https://rentry.org/meta_botmaking_list
• Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3
• Бургерские боты: https://rentry.org/meta_bot_list
Прочее
• Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/
• База по Клоду: https://rentry.org/how2claude
• Чекер ключей: https://github.com/kingbased/keychecker
• Чай: https://character.ai/
Мета
• Архив тредов: https://rentry.org/2ch-aicg-archives3
• Тредовые ивенты: https://rentry.org/2chaicgthemedevents
• Реквесты ботоделам: https://rentry.org/2ch-aicg-requests
• Локальные языковые модели: >>1149538 (OP)
• Шаблон шапки: https://rentry.org/shapka_aicg
Прошлый тред: >>1147739 (OP)
Пропущено 1524 постов, 186 с картинками.
Кто виноват что тебе не дают? (Кстати еблебот тебе тоже не даст, ии-тян тебя дропнет и сбежит к ерохе, вот так-то чмонь)
4.5 брос?...