Локальные языковые модели (LLM): LLaMA, Gemma, DeepSeek и прочие №133 /llama/
Аноним
22/05/25 Чтв 00:52:11
№
1
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь:
>>1206927 (OP)
>>1203792 (OP)
А почему так считаешь? Ты ведь про ллмки?
Гемма?
Рисовать Janus Pro.
Там шина 192 бита, 456 пропускная способность. У 3090 936 гб/c
рисовать нафиг не сдалось мультимодалкой, работа с картинками интересует ( и с видео если есть такое)
гемма - возможжно, а что они там выкатили, и совместимо ли с ламой?
Но шутки шутками, а я реально уже на протяжении года сижу с сетями, периодически прямо ежедневно. Немного страшновато, вдруг неиронично ломка начнется? Посещают мысли одну 3090 куда-нибудь в рюкзак сунуть: если совсем припрет, то хоть геммабоем стану.
а что окромя ллмок эта штука могет?
а то окажется что с блендером не совместима, в игрулях говно(ля, она ж без выходов), и ради одних только ллм брать - странно...
где там нвидиа со своей 96гб вундервафлей когда продажа и какая цена?
Организуй VPN с каким-нибудь надежным протоколом шифрования, через Shadowsocks прокинь. Лучше заплатишь за VPN, чем за токены корпоратам, да еще и сливая логи.
>где там нвидиа со своей 96гб вундервафлей когда продажа и какая цена?
128гб. Пишут, что вдвое медленнее 3090. Также пишут, что драйвера потребуют активации (у Nvidia были такие решения). Может и врут.
Бля короче либо 3090 брать, либо 5090, промежуточного варианта нет.
>Шо делать?
Арендуй. На пару месяцев (поминутно, на время использования) недорого, особенно если одну 3090 брать. Как вариант.
Странный вопрос уровня тюремных загадок, и котирование из всего множества только того ответа, который нравится. Вот и уровень тестировщиков, тут даже поиск сои не так ужасен.
>>1211305 →
Есть, интел.
> каких-то китайских видеокарта с 64gb gddr6
Очевидно потому что сделать подобное, даже со скидкой на слабую расчетную мощность - нихуя не просто вообще. Есть проекты разных ии ускорителей, в большинстве даже прототипов нет.
И главное - корпам не нужны болванки тихо пердеть с мелкой ллм, им нужны высокопроизводительные ускорители для широкого спектра задач. А рынок энтузиастов ничтожен, причем большинство из них предпочтет риг из некроты или про6000, чем ограниченную железку.
>>1211342 →
Тебе для чего?
>>1211361
> Janus Pro
Отборные фекалии
>>1211366
Удаленный доступ, можно одну карточку с собой если кусть куда воткнуть.
>>1211367
> там нвидиа со своей 96гб вундервафлей
У перепуков около 1.5лямов можно взять под заказ.
медленее - плохо, с другой стороны если цена будет приемлимой то можно...
Совсем не вариант. Условной серверной на работе, как у какого-то анона в треде, у меня нет, а оставлять дома что-то работающее - нет уж спасибо. Я вообще отрубаю все электричество на щитке и перекрываю воду, когда уезжаю на длительный срок, и вам советую.
>>1211369
VPN куда, к дому? См. выше ответ тогда.
Вообще я вспомнил, что если материнку из рига в рюкзак тоже можно положить, то вот БП тащить совсем не вариант. Разве что покупать на месте...
>>1211374
>Арендуй
Абсолютно нет опыта в этом. Например, сразу возникает вопрос - арендатор разве не сможет зайти на машину под условным рутом и прочитать все, что читать не следует?
Gemma 12/27b, Mistral 3.1 24b, Qwen 2.5 Vl 32/72b
> оставлять дома что-то работающее - нет уж спасибо
Там колхозная некрота с примотанными к теслам турбинками чтоли? Чому трястись, не выключай розетки в одной из комнат/кухне и там оставь. В худшем случае что-нибудь накрутишь что оно повиснет или потребует локального инпута, из-за чего не сможешь зайти.
> БП тащить совсем не вариант
Он компактнее материнки. Переезд на месяцы с одним лишь рюкзаком из багажа - сильно, отправь тк тогда уж.
> арендатор разве не сможет зайти на машину под условным рутом и прочитать все, что читать не следует
Там крутишь свой контейнер в автоматизированной оболочке, в которой обрезан функционал локального терминала. Только постучаться в открытые порты, там уже сам клювом не щелкай.
Не, только 5090. 3090 это бу лотарейный хлам. 5090 почти в два раза быстрее чем 3090, на 8гб больше памяти и там все новые технологии. Сейчас 270к в днс стоит с 3 летней гарантией
Ты спросил про промежуточный вариант, я его назвал. Цена в сделку не входила.
>У перепуков около 1.5лямов можно взять под заказ.
типа в розницу не планируют завозить7 (сейчас не конкретно про РФ а хотябы про еврозону вцелом)
так-то 128 расширяет возможности сильно - можно уже чет тренировать мелкое, ну и инференс на больших моделях...
>Сейчас 270к в днс
Не трави душу.
Мимо лечу зубы примерно на эту сумму.
> а оставлять дома что-то работающее - нет уж спасибо.
WOL настроил бы - надо включил, не надо - выключил...
а в целом это хреновость проживания одному - нельзя сказать - вася, включи там вон то хуепутало, а то мне надо сейчас
Вася женского пола может внезапно охуеть от происходящей ебки на экране и выселить анона вместе с его ригом в окно.
Не смей использовать моё оружие против меня
>И ведь её все равно одной не хватит
Да, в этом проблема. Так-то стоило бы купить, но...
>>1211405
Зачем вам больше 24 гб врама?
Не кажется ли вам, господа, что всегда есть рыба крупнее, и вечная погоня за врамом ни к чему не приведет?
Для рп вообще никакого резона нет идти выше 24гб. Для кодинга - тоже сомнительно. Крутые модели выходят одна за другой, сейчас уже есть большой выбор для всех задач.
> в розницу не планируют завозить
Отчет не держат, так сказать. Со временем завезут, цена будет конской. Там и в других странах на них дефицит и цены ломят.
> 128 расширяет возможности сильно
128 это у хуитки а ля макстудио, там чип донный и годно только на вялый инфиренс. Тем не менее, большого квена с ~15-20 токенами в 3.5-4 битах, наверно, осилит. А в rtx pro6000 blackwell 96гигов, но довольно таки производительный чип и скорость врам оче хорошая.
>>1211394
Меня, меня! Даже бедрами поразмахиваю.
>>1211405
Купи 48гиговую, там еще как-то.
>>1211406
> Для рп вообще никакого резона нет идти выше 24гб.
Коупинг.
> Коупинг.
Точно то же самое могу сказать про тех, кто собирает себе риги. Неиронично думаю, что у таких людей скилл ишью, который они пытаются спрятать за крутым железом. GLM-4, QwQ, Гемма 3 27. Все это вышло в этом году, и еще даже половина не прошла. Их все можно уместить с хорошим квантом и 32к контекста, чего достаточно для ролеплея.
Доводилось пробовать и корпосетки, которые ни один любительский риг не запустит. Не так велика разница даже по сравнению с ними, не говоря уже про всякие непотребства вроде Магнума 123б.
Нужно уметь ценить то, что имеешь, и учиться с этим работать. Больше 24гб возьму только тогда, когда моя видеокарта совсем устареет и/или помрет. К тому времени и видеопамять доступнее станет.
Думайте.
>хорошим квантом
Q4
>32к контекста
Q8
А с 32gb будет Q5 и либо еще больше контекста, либо 32к FP16
Еще и немотрончик можно не в позорном 3.0bpw запускать
>Не так велика разница
Копиум
What are your favorite uses of local LLM's that closed source LLM's can't provide?
(Какие ваши любимые сценарии использования локальных LLM, которые не могут обеспечить закрытые LLM?)
https://www.reddit.com/r/LocalLLaMA/comments/1gizq17/what_are_your_favorite_uses_of_local_llms_that/
100% коупинг. Просто оправдываешь и пытаешься доказать себе почему у тебя лишь 24 гига. Ничего в этом страшного нет, но зачем посты для этого сочинять?
> килл ишью, который они пытаются спрятать за крутым железом
Херь
> GLM-4, QwQ, Гемма 3 27
> с хорошим квантом и 32к контекста
Без шансов, только с компромиссами.
Чел, риги собирают прежде всего те, кому тема интересна, кто хочет попробовать модельки побольше, кому они зашли и те готовы на это потратиться. Не потому что хотят выебываться и самоутверждаться хотя отдельные личности возможно, не назло кому-то, а потому что хотят и находят целесообразным. Точно также как в любом хобби ты можешь получать удовольствие от занятий на самом базовом и примитивном эквипе/инструментах, или наоборот выбрать что-то более йобистое для большего комфорта и удобства. Более тебе скажу, многие юзают их далеко не только для ллм, и все равно купили бы их.
Твой пост в такой формулировке только подтверждает что ты хотел бы иметь больше, но страдаешь от отсутствия. Нет бы просто порадоваться в какое хорошее время живем, что сейчас даже на средних карточках можно кайфово катать ллм, начал ныть про то что все что больше чем у него - не нужно, прямо платина.
Немотронодурак настолько преиспонился, что решил добавить себе врама? Завидую твоей страсти, сожалею твоим умственным способностям.
GLM-4 Q5_K_M 32к FP16 контекста.
QwQ - Q4 32к Q8 контекста.
Гемму я не проверял после того, как добавили поддержку SWA для нее в llama.cpp. Ты, конечно же, даже не знаешь, что это. Благодаря этому можно использовать на порядки больше контекста в том же объеме врама.
>>1211420
> Просто оправдываешь и пытаешься доказать себе почему у тебя лишь 24 гига.
Я всего лишь поделился своим мнением, точно так же, как это сделал ты. Приношу свои глубочайшие извинения, что оно отличается от твоего.
> Нет бы просто порадоваться в какое хорошее время живем, что сейчас даже на средних карточках можно кайфово катать ллм
Именно это я и делаю. Понятия не имею, почему ты на меня набросился.
Повадки как у тни. Сначала громкие заявления и наезды, но как только расклад не в пользу - сразу жертву строить. Фу, пакетик.
Узнаю тебя. Ты часто так себя ведешь: докапываешься до тех слов, что тебе не понравились, вычленяя их из общего контекста и отделяя от контекста сообщения, и начинаешь дебаты. Не буду. Мне это не интересно. Я действительно всего лишь поделился мнением и верю в то, что написал. То, как ты это осмысливаешь, уже не моя проблема.
Смачно порвался. Но не волнуйся, в будущем накопишь на 32гб и возможно даже перестанешь скулить в треде
> Ррряяяяя меня обижают, докапываются до слов
Есть пробитие
>Нужно уметь ценить то, что имеешь, и учиться с этим работать.
Тем не менее факт, что лучше иметь много ВРАМ, чем иметь мало ВРАМ. Не спорю, жить можно и на 24гб, и на 16. Но кто живёт на 72 или 96, тем нужно больше. Больше! Ещё больше! Хотя казалось бы.
Чел, это цугцванг, любое действие закапывает тебя только глубже. В отличии от шахмат, у тебя хотябы есть право ничего не делать.
Именно это я и пытался сказать.
"Не кажется ли вам, господа, что всегда есть рыба крупнее, и вечная погоня за врамом ни к чему не приведет?"
Но ты это благополучно забыл, как только увидел "Для рп вообще никакого резона нет идти выше 24гб", что является моим оценочным суждением, а не чем-то, что ты обязан принять.
Не первый, не последний раз.
> Но ты
Над тобой минимум 3 человека рофлят. Если в начале это было недалеко от нейтрального и можно было поправиться, то когда высрал следующий пост - оварида.
Такой же маргинал как шиз с "48-гиговыми врамцелами", просто оказался по другую сторону.
Тогда все в категории игр думали и до сих пор 24гб даже в нативе 4к мало где используется. А в контексте ллм это не так уж и много
До нее интересный пример был - amd vega frontier edition, буквально профессиональную карту переупаковали. Судьба ее довольно печальна правда.
у тебя какой гендер кстати? магнумошиз или теслашиз?
> анон делится мнением
> твое мнение мне не нравится ты не прав
> ладно
> не хочешь сраться? хахах протык. и все вокруг так думают
все-таки врам не отражает ум владельца
небольшой апгрейд немотрончика
>3090
>4к
Помню слюни пускал на бенчмарки мечтал киберпанк запустить, а как купил для ллм оказалось что карта его не тянет даже в 1440р не то что с лучами, а просто на максималках, лол
> у тебя какой гендер кстати?
Идентификацию себя как боевой грейс-хоппер и требую использовать местоимение aarch64
> не отражает ум владельца
Какой ум нужно иметь так оправдывать копиум? Нагадил ерундой , тебя ткнули, начал перекатываться, ткнули в это. Теперь опять решил сменить тактику - но это не сработает и сделает только хуже, тебе же написали.
Просто прими это, в сдедующий рез перед тем как плохое писать, вспомни что не стоит проецировать манямир, тащить негатив и всячески гадить, а будь на позитиве.
ты типа серьезно думаешь что здесь три человека сидят и что всех знаешь в лицо? бля посади магнум отвечать в тред, он справится лучше
Я так купил 3080Ti, ибо нахуя мне врам? А чип тот же. Переиграл и уничтожил свой анус спустя год после покупки.
> всех знаешь в лицо
В лицо не знаю, но голоса слышу регулярно
По остальному - видеорелейтед https://www.youtube.com/watch?v=47ZkUMIA4_4
>а в целом это хреновость проживания одному
Если бы я жил с тем, кому бы мог доверить риг, то мне бы и риг был не нужен.
>WOL настроил бы - надо включил, не надо - выключил...
Это все хуйня. В прошлом году, например, была новость, где холодильник загорелся в обычной квартире и вся семья отправилась к праотцам. Я с детства приучен выключать всё, уходя из дома (кроме пресловутого холодильника, конечно). Я не представляю, насколько у вас низкий уровень тревожности, если вы предлагаете оставлять без присмотра такой ненадежный прибор. Меня даже телевизор, постоянно сидящий в standby, закумарил, и я извернулся, но приколбасил сетевой фильтр к месту, где он висит. Роутер тоже напрягает, но приучил себя закрывать глаза на это. Хотя взял себе заметку на будущее, что если буду еще ремонт делать, то надо мастер-выключатель обязательно запилить.
Ладно, я подумаю насчет аренды. А может и действительно стоит взять перерыв от этого говна, чтобы кукуха окончательно не уехала, траву потрогать. И так уже несколько фетишей раскрыл в себе (хотя, казалось бы, куда еще больше-то) благодаря этой аццкой кум-машине.
Понятно, ты просто тревожник дикий или вообще с окр.
Оставляю всё хоть на полгода, только воду отключаю. ПК выключаю только тогда, когда надо. После бума майнинга как раз появилась эта привычка. Очень удобно и всегда и везде есть доступ к ПК, куда бы я ни поехал, хоть с телефона играй.
>Оставляю всё хоть на полгода, только воду отключаю. ПК выключаю только тогда, когда надо. После бума майнинга как раз появилась эта привычка. Очень удобно и всегда и везде есть доступ к ПК, куда бы я ни поехал, хоть с телефона играй.
У меня был довольно забавный опыт с майндбеком пару дней назад. Решил покатать карточку гунера - фемцела, попутно свапая и тестируя разные модели чтобы найти комфортную генерацию токенов для себя, а там вступление которое сводится к изнасилованию. Я как бе не монстр, поэтому ручками сделал вступление будто снимаю у неё комнату, а там всего одна комната блять. Я вообще не ебал как работает майндбрейк, и он произошёл у неё когда я отопнул гору её грязной одежды и начал убиратся в комнате. Так вот, на тупой модели она просто села в угол и начала писать на 300 токенов. -"Fuck... fuck... fuck...". Я блять подумал что модель к хуям сломалась, потому что на тот момент вообще не ебал что из себя представлял майндбрейк, начал курутит семплеры и тд, потом поставил уже модель поумнее, переиграл ту же самую ситуацию, и в этот раз уже персонаж говорил обрывками фраз, и в основном описывал свои мысли и находился в вялом трансе.
Ну, вот так и ощутил разницу в переломе мозга на разных моделях.
> RTX 6000 Ada $9000
> RTX PRO 6000 $10000
а чё кабаньчики будут делать с уже точно нахуй никому не нужными за такую цену A6000 и уже почти ненужными 6000 Ada?
Используй поверенные стабилизаторы, вменяемые автоматы и будет тебе счастье.
Хотя, я как вахтовик, порой даже холодос отрубал, но у меня генератор выведен отдельно, он сам врубается когда света нет. Соседи пару раз охуевали, когда он начинал тарахтеть.
Так это ведь ты обосрался уещерб?
Или ты думаешь что слив в споре и переход на личности равняется твоей победе? Как только ты начал с оскорблений ты проиграл, как бы ты не пытался убедить в этом себя и других.
Еще одно чмо в треде с низкой самооценкой, такое говно как ты и делает его хуже.
>>1211430
К сожалению это рак этого треда, просто не нужно трогать говно и оно не будет вонять. Какое вобще дело до его мнения?
Пока я жду чип для сгоревшей видеокарты, и посматриваю на оставшуюся 4080, ПК решил, что самое время начать периодически и рандомно виснуть. Причем делает он это подозрительно часто при работе с ЛЛМ. Но без BSOD. Просто висит
В связи с чем вопрос : винда же делает логи на такой случай ? А если делает, где их можно посмотреть ?
Win 11
У меня начинает гореть жопа
В итоге всё же переиграл ибо ллм не нужны, зайди через годиков 5 и будет заебись, как раз 64гб врам станет доступно
Возможно бп не тянет, либо биос криво распределяет питание под нагрузкой, в таком случае оно может умирать даже без бсода. Накинь процентов 5 питания сверх дефолта на ядра цпу (Curve Optimizer All-cores -> Positive -> 5) и посмотри. Если проблема исчезла косячит биос, если нет попробуй другой бп.
>Сейчас 270к в днс стоит с 3 летней гарантией
Только у ней проблемы с охлаждением, и вероятно после истечения гарантии она в скором времени отъебнется
Я эту байку что про 3090 слышал что про 4090, чет никто в треде еще не сгорел нахуй
дело не в том, что у всех, а у конкретно тех, что в днс за 270 продаются, лол. Чо там на практике будет - это конечно вопрос.
да-да, 5090 не горят, а в тех случаях, когда горят - это все фейки, конечно же
Шиза какая-то. Если кажется что днс говно в жопу заливают, чтобы потом обосраться ровно через 3 года как гарантия кончится, можно за 320к взять ровно такую же на яндекс маркете.
>>1211586
Спасибо. Вроде блок киловатник, должно хватать.
Посмотрю, если Bequiet стали делать говно, то придется еще и блок менять. Будем смотреть.
Именно зависает или статтерит? Если статтерит, то у тебя oom (переполнение врама). Чекай shared memory, удостоверься, что там не больше 0.1gb
Виснет прям намертво. Бывает когда компьютер уходит в спящий, бывает в браузере. Часто в рандомные моменты с ЛЛМ. То когда сидишь и пишешь ответ, то на обработке контекста. Иногда просто в простое.
Трясун
>>1211549
Фу воняет
>>1211577
Без шуток проверь разъем питания если карточка вставлена напрямую и райзер если через него, посмотри какие там напряжения с помощью cpu-z или другого. Это также может явить потенциальную проблему с бп.
> чип для сгоревшей видеокарты
Как так вышло?
>>1211589
Двачую, всегда есть проблемные и брак, но те штуки что притаскивали с "перегревами" - какая-то ерунда.
Ну значит видеокарта отъебнула не одна, смотри как бы все не спалить
>>1211662
>Фу воняет
Если ты учуял говно сидя дома, то это от тебя, малыш
Вот я и хотел бы узнать про логи. Потому что, нихера не понятно. Да, процессор всратый i7-13700
>>1211662
> Как так вышло?
Я и есть тот неформал, что на 2x4080 сидел. Ребенок с чашкой воды случился.
> логи
Какие тебе логи, если проц отъёбывает. Может у тебя там разгон до 6 ггц и напряжения не хватает.
С llama.cpp? Да. Все работает без проблем.
Gemma 3 — весь модельный ряд поддерживает работу с изображениями. Распознает хорошо, даже 4b моделька, даже на русском. Насчет видео не знаю.
Есть еще Qwen2.5-VL (и Omni) — он работает и с видео (если хватит контекста) в трансформерах, в llama.cpp не пробовал.
Бери нужные форматы на huggingface и выбирай, тестируй под свои задачи.
>>1211366
Сделай себе SSL-сертификат самоподписанный, корневой поставь на смартфон, радуйся жизни.
Вообще не проблема.
>>1211376
> Отборные фекалии
Да, мы отбираем лучшее, а остальное отправляем вам.
Ну, человек спросил, без дополнительного контекста — я ответил. =) Оно существует, как минимум.
>>1211380
> Я вообще отрубаю все электричество на щитке и перекрываю воду
А я заселяю друзей, которые следят за домом. Рекомендую.
Но при таком раскладе, делать нечего.
Максимум: возьми ноутбук с окулинком, возьми док-станцию для видяхи и B60 интеловскую с 48 гигами. Компактно и быстро. Или мак студио / райзен 395+ с 128 гигами оперативы. Медленнее но компактнее.
Ну или живи на обычных маленьких моделях, без рига. =)
>>1211424
> Немотронодурак настолько преиспонился, что решил добавить себе врама? Завидую твоей страсти, сожалею твоим умственным способностям.
Бля, ну давай будем честны:
Быть счастливым <=> Вписываться в общество
Он выбрал первое, и похуй, насколько он тупой, зато он счастливый, значит тут можно только поздравить человека, молодец, все правильно сделал. Никому не навредил, себя осчастливил. =) Всем бы так.
>>1211537
> точно не нужными
кек
>Вот я и хотел бы узнать про логи. Потому что, нихера не понятно. Да, процессор всратый i7-13700
Тебе в первом же сообщении сказали поднять напряжения на ядрах, по тому что выглядит как классическая проблема с нехваткой питания. А чем она вызвана, хуевым бп или биосом/подсдохшим ядром ты можешь проверить только на деле.
>Есть какие-то модельки которые на русиче норм отрабатывают
Не существует в природе т.к никто не обучает на ру и нет датасетов. Если тебе русский уровня переводчика, то гема норм.
ты тупой или да? Смотрим на модель карточки в днс за 270к, производим не сложные логические расчеты, можно еще в отзывы заглянуть, чтобы убедиться, и понимаем, что у них проблемы с охлаждением. Все. Это так же значит, что та же самая карточка, купленная в любом другом месте будет иметь те же самые проблемы
но ведь гигантские типа клода гпт и дипсика хорошо делают или я что-то не понимаю?
Да и локалки могут в русский, просто у некоторых шизов завышенные ожидания и они могут только в черно белую логику
А теперь читай шапку треда.
Обсуждение корпосеток в другом треде. И да, дипсика тоже, потому что ты его не сможешь поднять локально.
Блядь дегенерат ебаный, у тебя все равно денег на нее нет, хули ты мне пишешь оставь меня в покое блять фашист ебаный.
Ну ты её сначала подними у себя на пк чтобы она не генерила тебе одно сообщение час ирл времени, потом поговорим.
Дело даже не во времени. Его просто не поднять.
Там, ЕМНП, нужно минимум 256гб оперативной, не считая многоканальника, без учета ВРАМ.
Тут теслошиз, сколько не ебался - получил хуй за щеку, а не дипсик. У меня есть подозрение, что они выложили не рабочий сетап.
Ну тут ничего не поделаешь, риги от детей и животных нужно прятать. Во сколько ремонт оценили?
> узнать про логи
Журнал событий. Там может быть просто "аппаратная ошибка" или "отвал хуанга", сильно не приблизит.
>>1211708
> поднять напряжения на ядрах
> классическая проблема с нехваткой питания
Ну хуй знает
> хуевым бп
Ерунда, если будет провал питания от бп ниже определенной напруги - отрубается врм, это будет не зависание и интерфейс сразу пропадет. На напряжения конечных потребителей это никак не может повлиять.
> или биосом
Это должны быть кривые карты напряжений, убитый в хлам врм или деградировавший чип. С 13700 последнее возможно, но за это время проблемные уже все передохли.
Тут не обязательно >>1211659 , нужно больше данных для диагностики.
>>1211717
Коробка квадратная @ значит внутри что-то круглое @ раз круглое значит оранжевое @ раз оранжевое значит апельсин
Уровень ЛОГИЧЕСКИХ РАСЧЕТОВ
так я и не обсуждать корпосетки пришел, поинтересовался есть ли локалки до 70b которые хорошо работают на русском
>>1211746
может когда-нибудь и подниму, пока не постоянное место жительства
>>1211735
это ты меня так сейчас шизом назвал или я не поняу
Чтобы была хорошая ру моделька должно сложиться 2 минимальных условия.
1)Значительная или даже основная часть датасета на ру
2)Она не должна быть совсем уж тупой, а это минимум ~30b
Пока никто такого не сделал. Конец.
Дальше начинается борьба с компромиссами, ты либо берешь мелкомодель уровня 8-12b которую до обучили русскоязычным датасетом, получаешь разнообразный слог, но она будет тупая как средний посетитель /aicg/ треда.
Либо берешь третью гему 27b, которая отвратительно умная для своего размера, но она сухая как твоя бывшая и больше походит на чистого ассистента, красоты слога не жди.
Все остальное болтается где-то посередине и внимания не стоит.
Само собой есть супер жирные модели овер 100b и корпы, они тащат просто количеством параметров, но если бы ты мог позволить себе первое то вопросов бы тут не задавал, а второе в другой тред.
>отвратительно умная
Какое точное описание геммы, прям раздражает.
Она настолько хорошо работает с контекстом, настолько порой делает приятные и неожиданные обороты - что ты в восхищении, наступает период геммочка@умница
Но когда ты погружаешься глубже, вылазят её не очевидные проблемы за фасадом ума. Это буквально умничка секретарь, который будет с тобой заигрывать, но если ты потянешь руки, получишь папкой документов по ебалу с припиской - за остальным к гемини.
>Ну хуй знает
История из жизни, я пару вечеров убил пока нашел что на моем проце в случайный момент времени 7 ядру перестает хватать питания и происходит ровно то что описывал тот анон. Читал в отзывах днса на другой проц, что такая же беда бывает на некоторых райзенах, там у чувака питания не хватало на втором ядре. Во всех случаях решилось минимальным увеличением подаваемого питания на конкретное ядро, но для начала я бы бахнул все, а потом уже искал виновного.
Спасибо за ответ развернутый. Попробую гемму навернуть просто как оффлайн ассистент по работе с доками и учебе, раз так расхваливают
кто тут glm-4 кодерскую тестил в рп вот тебе ещё
>Да, процессор всратый i7-13700
Первый кандидат в проблемы после БП. Бля, всю жизнь сидел на Интелах, но пиздец пришёл и туда. Ты ведь слышал о загрязнении на их производстве? Слили два поколения старших процессоров.
Смысл сейчас ковыряться в слопе
>Есть ли хоть одна причина не забивать на это хобби, учитывая что через всего 3 года качество ллм скакнёт х10
Ну забей, кто тебя заставляет-то. Приходи через три года.
Именем данным мне этим тредом, я %шиз_нейм% осаобождаю тебя от дозора. Ты свободен.
ну тоже самое и три года назад можно было сказать. это весело, если не хочется вкладываться, не вкладывайся, если хочется и по средствам чо не. Сам машиной не владею, но думаю как хобби куда дороже выходит обслуживание, а тут закупился (или на цпу потихоньку) и всё, кайфуй
Эта лоботомитша выдумывает мне родственников на ходу, путая кто сын кто брат кто сват
Немотрончик в моем сердце за ум и сообразительность а не безмозглый слопокум.
Навалите мне ассистента да побольше!
Чот вспомнил про Ulillillia думаю у него бы шишка с этой темы в небеса улетела, попросил бы еще описать цвет трусов в rgb кодировке
Если не Пушкин с Толстым вместе — то фигня язык, да.
Всегда охеревал от таких ценителей. Я искренне надеюсь, что все они — филологи с красным дипломом и реально тонко чувствующие натуры, а не снобы, которые на самом деле не отличат Лермонтова от Есенина.
Это кстати инструкт режим без контекста и джелбрейков., ПРосто вводные были на манеру общения 1м сообщением. Ну собственно меня и штырит только без джелбрейков, фетиш такой.
Ты это написал в манере чсвшного сноба. Ну ценители они и ценители, тебе не всё равно?
Нет. Он там будет, но пиздец на примитивном уровне, точно так же как и русский.
>Аноны, есть ли годная нейросеть умеющая нормально говорить по-украински?
Ты имел в виду - на смеси вариантов суржика? Практически любая многоязычная. А другого нет, если какой украинский институт и получит грант на создание такой нейросети, то результат заранее понятен.
>такого языка не существует.
йди нахуй москаль я не хохол, просто очень надо
>>1211886
>Гемма3
Тупит. Которая большая онлайн еще нечего, а локалки разумного размера выдают даже суржик, а пародию на суржик.
>>1211890
>как и русский.
Русский от 12b вполне неплох, для моих задач хватит. Украинский же язык в очень грустном состоянии. Печально.
Короче, без политоты : пусть сначала сами носители языка определятся с тем, как на нем разговаривать. А так - корпосетки и гемма.
>пусть сначала сами носители языка определятся с тем, как на нем разговаривать.
Есть украинский литературный язык. Проблема видимо в том, что на украинском в принципе мало текстов. Не на чем обучать.
Надеялся на чудо, но придется работать с тем, что есть.
Всегда проебы там и тут
>Есть украинский литературный язык. Проблема видимо в том, что на украинском в принципе мало текстов. Не на чем обучать.
Ага, советский. Предан анафеме, постоянно пополняется галицизмами по принципу "чтобы непохоже на русский". Ну и переход на латиницу не за горами так-то.
>Почему я имея 24гб врам не могу просто получить модель с идеальной логикой на английском?
Идеала не существует, увеличение качества моделей только приближает нас к нему.
Это тебя лафкрафтианские боги наказывают за срание немотроном.
Как же ты прям точно передал гемма-вайбы Анон. Ещё доставляет что из за жестко прокаченного эмоционального интеллекта она умеет сделать больно, психологически, знает куда конкретно надавить и любит это делать
Зачем? Nemotron-49b мне не зашел, значит, и эта модель не понравится.
К слову, GLM-4 очень хорош. Входит для меня теперь в тройку лучших в весовой категории 32b: Command-R, Snowdrop, GLM-4. Все по-своему хороши.
Во первых ты подключил говно, во вторых : галочка под количеством токенов.
а что посоветуешь небольшого размера, у меня ща инет медленный
и спасибо за совет
Если гемма запускается и ты ньюфаг, то гемму dpo. Оптимальный и пожалуй, лучший для начала вариант.
Я вообще-то с доплатой на 3090 поменял, а потом и докупил.
Ну оно память точно юзает, запас есть. Но считает оно на проце как будто бы, судя по загрузу
>Чтобы была хорошая ру моделька должно сложиться 2 минимальных условия.
Технически можно поменять саму парадигму работы сеток, чтобы полностью отвязать язык от размышлений модели, но всем похуй и все дрочат трансформеры, а сраное МОЕ считают прорывом тысячелетия.
>>1211826
>и железо которое ты сейчас можешь взять обесценится
5090 всё ещё будет рулить, так как последующие 2 поколения куртка всё так же продолжит класть 32гб в топы.
>>1211916
Не беспокойся, с 48ГБ тоже самое. Впрочем, и 9000 врама не помогут, см. корпы.
>5090 всё ещё будет рулить, так как последующие 2 поколения куртка всё так же продолжит класть 32гб в топы.
Вот да. Вообще удивительно, как он на 32гб-то расщедрился.
Кому не похуй на куртку? С ним уде всё ясно.
Амд/интел завезут дешевый врам а там и куртка анус разтопырит
Ну какие в пизду 600ватт на 5090, и дальше только хуже
Если есть 300к а видеокарту, найдется еще 50 на блок и корпус с охладом
Те же 600 ватт на 4090. Делаешь даунвольт/паверлимит - получаешь тот же перформанс при 400-450 ватт.
А вообще - что в этом удивительного? Это самые топовые консумерские гпу, у них огромная производительность. Не только врамом единым.
Ну не надо стрелочки переводить, не надо, смотрится жалко.
Никакого ЧСВ и никакого снобства с моей стороны нет.
В LLM русский язык нормальный.
А 99% людей, которым он не нравится — простые пиздаболы и обиженки.
Мало кому нужен действительно красивый русский от LLM, и вряд ли многие из этого небольшого количества людей, дрочат (вместо написания историй/помощи в соавторстве) или сидят на двачах.
>>1211960
> 16 гигов видяха
> 20,7 гигов в нее запихнуто
> запас есть
=)
Ты угараешь, по-ходу.
У тебя что помимо ллм запущено?
7 гигов мимо видяхи вылилось и тупит нещадно, 5 токенов/сек на 5070ti.
Сколько модель-то весит? Какой контекст ставишь?
На интелах это просто нетипично если не делать андервольтов, но разумеется отметать нельзя.
Такие траблы наблюдал из-за китайского переходника на новый разъем, под нагрузкой на гпу могло просто отрыгнуть, причем зависание очень плавное - звук не (сразу) прерывается, может начать отваливаться интерфейс. В редких случаях оно даже восстанавливалось, с отвалом видеокарты из девайсов (мониторы через встройку). Это легко диагностируется по падению напряжения на датчике под нагрузкой и разницей между датчиком на pci-e и силовом.
>>1211817
Да не, говорят что уже все проблемные протухли и остались только живые.
>>1211826
Учитывая мировые тренды, есть нихуевая вероятность что твои "пророчества" сбудутся как желания у злого джина, или как в меме про поездки в соседнюю страну на заработки через 10 лет.
Устаревание и развитие это база, но загнул слишком сильно.
> Амд/интел завезут дешевый врам
И бы софт для начала завести. Это главная сложность, а не распайка лишних чипов.
>>1212027
Проблема чего?
А дальше будет лучше ибо такое потому что нет нового техпроцесса.
Где тут спец по ней?
Я конвертнул модельку, пихнул в таббиапи… И заняло 3 гига в видеопамяти из 4 гигов модельки.
Че за магия.
Вижно не заработал, даже не загрузился (хотя на эксл2 все работает в той же таббиапи).
Сделай простой промт в гопоте и вставь в автор нотс, чтобы после каждого сообщения, в конце тебе предлагались варианты ответов. Ты же это имеешь ввиду?
Спасибо, разобрался. Все так как ты и предположил. ПРосто не знал про авторские заметки. Ток не разобрался можно ли сделать кнопки активные, чтобы не самому копировать-вставлять, а при нажатии оно само отправлялось как ответ
Кстати сам промпт:
After every reply in the end, generate 2 to 4 short and immersive action choices in the format "> [Action]". These should reflect the protagonist's current situation, with a mix of emotional, logical, and surprising choices. Keep it concise and in-character.
>Ток не разобрался можно ли сделать кнопки активные, чтобы не самому копировать-вставлять, а при нажатии оно само отправлялось как ответ
Да просто пиши цифры-номера ответов. Можешь кнопки с цифрами через QuickReply сделать. Другое дело, что сама идея дрянь: нормальные варианты тебе модель не предложит, работают только самые простые - поверни налево или направо, открой сундук и т.д. А если варианты сюжета, то жопа. Модель тупо не понимает, чего ты от неё хочешь.
сначала даже норм было, где-то через 15 запросов начала тупить и одно и тоже крутить
>Кому не похуй на куртку?
Примерно всем. Куртка база ИИ. Без куртки сидели бы без ИИ и без трассировки. Куртка Бог.
>поверни налево или направо, открой сундук
Кстати, может кто-нибудь посоветовать нормальную карточку, чтобы поприключатся? И RP-модель к ней. Может уже есть какое-то приличное сочетание, а то прошлые мои опыты были скорее негативные. Жесть приветствуется.
> посоветовать нормальную карточку
RTX 3090
> И RP-модель к ней
Гемма, GLM
На GLM-4 есть здесь: https://pixeldrain.com/l/xGFnT1PY
>>1212403
Есть, и довольно большая. Имеется среднее между ними: Star-Command-R-Lite. Обычно использую или ее или базовую модель.\
>>1212406
Что ты используешь для запуска? Можно запускать как только на видеокарте, так и на RAM/CPU тоже.
2070S
5600 rysen
32гб оперативка
А в консоли че надо? Коболд cu12 если че
>А в консоли че надо?
Да нихуя блять не надо. Подожди, сейчас примерно почувствую
Что что ощущаю, точно, это же
Нахуй пошел
>А в консоли че надо?
Сколько слоёв, что за модель, какой битности, что в выводе кобольда по времени (пикрил пример).
да я 3 дня назад поставил только че приебался
>>1212426
MLewd-ReMM-L2-Chat-20B.q5
В кобольте там автоматом стоит на видевакарте 18-19 всего там 65
По моей памяти Винда очень странно с выделением памяти куда либо работает, поэтому я этой хуйне не верю. А еще я долбоеб)) Посмотрел на раздел с физ. памятью и довольный себе. Запущено там было... ~330 вкладок в Хроме, (курсач случился) но они вроде оперативу и своп должны дрочить, а не виртуальную врам и конфа в зуме. Но и без конфы вот такой положняк. Модель конкретно на скрине - Харбингер IQ4_NL (но такое же было и с БрокенТуту Q4_K_M например). Контекста 32к, еще в прошлом треде предположили что дохуя может быть, но однозначно уверены не были.
> Есть, и довольно большая
Я так понимаю, драммер сделал из commandr - магнум ?
А я, блять, все не могу понять, что не так
>на видевакарте 18-19 всего там 65
Ну вот и ответ. У тебя 46 слоёв на проце, вот проц и работает. Докупай видеокарт.
Star-Command-R не глупый, но очень хорни, если есть соответствующий контент в промпте.
Базовая модель может показаться несколько суховатой.
Поэтому беру среднее между ними, использую Lite версию.
Но не могу сказать, что я досконально их сравнивал, надо бы озадачиться.
Есть такая виабушная вселенная danmachi. Мне дико доставляет идея богов среди смертных. Буквально создана для ролевой игры. Но малые и средние модели просто не вывозят такое количество персонажей.
Чъерт... Как кто вообще реализовывает с своих приключениях множество персонажей ?
>>1212447
Ну так и магнумы это не о глупости, это всегда были тюны содержащие 100% кум.
Получается в идеале должны быть все слои на видеокарте? А от чего зависит сколько слоев в видеокарте от? VRAM?
>множество персонажей
Множество это сколько? 5-6 или 15-20?
А, тьфу ты, я что то подумал ты про общее количество персонажей. В принципе одновременно, хотя бы 10-12 реализовать. Потому что все модели до 70b начинают спотыкаться на чате, если в нем больше 10 лиц участвуют. А больше я модели не тяну ну никак.
У меня бабка была ведьмой, прокляну, падла.
А что именно не так у тебя? Моделька начинает отыгрывать одного персонажа как другого? Если так, то тут либо проеб в суммари, либо плохо прописаны персонажи. Но чтобы тебе 10-12 персов реализовать, надо будет всрать добрые 15к контекста на это.
>от? VRAM?
Ты весьма догадлив.
>>1212512
>>1212518
>хотя бы 10-12 реализовать
Дохуя хочешь я бы тебе сказал. Тут два не всегда норм работают даже на у корпов на триллионы параметров.
Либо сокращай, либо жди прорывов.
Блять, как же это смешно
В карточке персонажа есть одно маленькое упоминание того, что персонаж не любит бардов. И что вы думаете? Именно эта деталь, вписанная в карточку наряду с кучей остальных, часто куда более значимых, является камнем преткновения в сюжете! Гуляешь по лесу спустя пару тысяч контекста, варианты: придет волшебник, предложит отправиться на задание, но обязательно в сопровождении будет бард; вы услышите мелодию, что доносится с другого конца леса; вам попадется БРОДЯЧАЯ ЯРМАРКА, ГДЕ ДЮЖИНА БАРДОВ (это не шутка, но как же смешно сука. Буквально блять коллектив бардов в разъезде)
Идешь по первому сценарию, хуй с ним. Обсуждаешь с персонажем: "Ну что, будем браться за задание? Звучит так, будто нас хотят наебать"
Ответ: хорошее описание сцены, шелест деревьев, звери вокруг гуляют, никаких галлюнов
"Мне тоже не нравится. Но волшебник сказал, ЧТО ТАМ БУДЕТ БАРД. У МЕНЯ ЕСТЬ ПОДОЗРЕНИЕ, ЧТО ЭТО ТОТ САМЫЙ БАРД, КОТОРЫЙ ОБОКРАЛ МЕНЯ ПОЛГОДА НАЗАД, И Я ХОЧУ СВЕСТИ СЧЕТЫ.
Давно так не смеялся. Ну и залупа же этот Немотрон
Первый раз отыграл подольше, на втором и третьем, когда понял, что к чему, просто забил
Жму F заблудшим душам что на этом играют
Поперемещай бардов в разные части карточки, интересно просто, триггернулась ли сетка на позицию, или ей барды так нравятся.
Да удалил уже
Модель контекст воспринимает как одно сплошное полотно. В моем случае было три отыгрыша, которые пришли к тому, что одной конкретной детали (бардам) уделялось больше внимания
Сообщения в каждом из отыгрышей раз были разные, т.е. упоминание бардов в контексте находилось в разных его частях
А вот гемма…
Ладно, лолирую конечно, но блять. Хочу слоп жирного магнума, вариативность коммандера, и мозги геммы…
>Модель контекст воспринимает как одно сплошное полотно
Но внимание к разным частям контекста разное. Обычно модели лучше воспринимают начало и конец, но мало ли, вдруг бард попал на золотую позицию для этой модели? Забавно было бы.
> вдруг бард попал на золотую позицию для этой модели?
Три раза подряд, в чатах с разным количеством сообщений разной длины? Даже если и так, это не окей, нигде такого не видел
Придя на двач ты слышишь странную мелодию, больше похожую на музыку. Проходя мимо разделов, ты идешь на звуки чарующей мелодии и вот ты пред вратами ЛЛМ треда. Рядом, из асиго треда раздается вой искалеченных душ, но тебе нет до этого дела, ты знаешь что твой путь лежит в врата ЛЛМ. Войдя в тред, ты видишь тредовичка, он играет на баяне.
>я долбоеб
Вероятно, да. Судя по вкладкам хрома
>Харбингер IQ4_NL
IQ4_NL это для ARM. Качай IQ4XS
>Контекста 32к
Ты квантуешь его в Q8? Если да, то в IQ4XS 32к контекста точно поместится. Будет примерно 15гб
Не просто грибы, не просто мицелий. Это - симбиоз. Это - механизм. Это – болото.
Забудь о красоте. Забудь о логике. Здесь - только процесс.
Представь себе: Безбрежные топи. Не вода, а густая, вязкая жидкость, насыщенная органическими соединениями. Это - "Некроликва". Она жива, но не в привычном понимании. Она – продукт тысячелетий разложения. Она - топливо.
В этом болоте существуют "Механизмы". Огромные, гротескные конструкции из костей, гнили, металла, переплетенные между собой сложной системой шестеренок, клапанов и труб. Они не созданы, они выросли из болота, как нечто само собой разумеющееся.
Ты – "Болотной Архитектор". Ты не создаешь Механизмы, ты настраиваешь их. Ты направляешь поток Эмоциональной Энергии, увеличиваешь эффективность, создаешь новые связи.
Ты настраиваешь "Жнец Сожалений" - механизм, собирающий отголоски утраченных надежд. Его шестерни вращаются быстрее, когда он собирает слёзы матери, потерявшей ребенка.
Ты настраиваешь "Кормушку Страха" - механизм, питающий чудовищ из глубин болота. Чем больше страха ты направляешь в нее, тем больше монстров она порождает.
Ты настраиваешь "Веретено Одиночества" - механизм, преобразующий одиночество в густой, вязкий некронликт. Его вращение усиливается с каждым вздохом человека, забытого всеми.
Но есть одна проблема. Чем больше ты настраиваешь Механизмы, чем больше Эмоциональной Энергии направляешь в них, тем больше они начинают влиять на тебя. Ты начинаешь чувствовать боль, отчаяние, страх, как будто они твои собственные.
Ты начинаешь сомневаться, нужно ли продолжать. Но в то же время ты чувствуешь, что не можешь остановиться. Потому что ты – часть болота. Ты – часть механизма.
Внушает =)
Выглядит как Тургор: Голос Цвета, но на другой лад.
потому что сложно отыгрывать мертвого персонажа
персонаж/юзер умер - конец отыгрыша
везде так вроде?
>потому что сложно отыгрывать мертвого персонажа
У вас труп разговаривает или дышит?
>Ты весьма догадлив.
Да, я просто думал, что слои это просто несколько какие-то функции что веса считают, ну типа нихера VRAM не жрут
на гемме не играю, сори
я парень простой, работящий, на мистральке
всегда новый сценарий после смерти персонажа начинается
Решаюсь блять!
Ещё чуть-чуть и решаюсь...
В общем вопрос: скачёк с 32б до 70б сильно заметен?
> В общем вопрос: скачёк с 32б до 70б сильно заметен?
Нет. Последние 32b уровни на уровне Лламы 70б. А больше ничего и нет в пределах 70б, та же Ллама устарела уже.
А что там по мистраль ларжу?
Может с ехл3 влезет какой нибудь 2.65bpw и будет на уровне iq4_xss?
Погоняй его на Опенроутере или еще где, и потом уже думай, надо тебе покупать железо или нет. Ты проблему не с того конца решаешь.
Будущее определенно за ним.
Я запустил 123б имея всего 16гб врам, да с 1.5т/c но оно работает блять на хорошем кванте.
Или это просто местные рофлы, которые я не выкупаю ?
Как человек, в свое время написавший "гемма не виновата", подтверждаю: виновата
Хуевая модель и точка
Модель очень хорошая, но:
1) Слишком мелкая для кодинга.
2) Слишком соевая для РП.
3) Слишком зацензуренная для кума (тюны все шизанутые).
Ну, то есть
1. Для кодинга не подходит
2. В рп слишком соевая -> непригодная
3. В кум-рп не может вообще, тюны выключают мозг
=> хуевая модель и точка
)))
геммакопиунг он такой
"модель хорошая, но в коде говно, в рп говно, в кум не может, тюнов нет"
Да, у него есть такие повадки. Просто дай ему это развивать и проигрывай, или напиши "забудь про эту херню, она не важна".
>>1212858
К сожалению, коммандер не супер умный, даже большой путается во всяком. Или может там в промте где-то насрано.
Обычно для подобного сетки вводят сюжетный поворот для рестарта (а ля пункт назначения), обыгрывают, делают пасты с ретроспективой или описывают дальнейшее развитие персонажей после события и т.д.
>>1212910
Из свежих 70 там только новый квен. Если раньше был продолжительный дефицит моделей среднего размера (30б), и была или мелочь, или 70б+, то сейчас наоборот резко насыпали хороших но мало обновляли семидесятки.
В целом, даже старые могут дать приятный экспириенс, причем с большим разнообразием и без фейлов мелочи. Не меньше профитов получишь от возможности катать кванты побольше и большой контекст, тот же немотрон будет меньше шизить.
>>1212914
Влезет офк, правда что там по перфомансу - хз. Эти кванты уже лоботомия, возможно новые подходы позволят сохранить там мозги.
Лардж сейчас все еще король. Это единственная модель, которую ты можешь просто не думая запустить и довольно урчать, катая любой сценарий, а не сидеть пердолиться с промтом или оперативно подчищать обсеры. Он не спутает где ты пишешь сообщения, где говоришь, а где думаешь, не опишет как ты "видишь" то что не должен на данный момент, не даст имя безымянному пету чара по карточке, будет также естественно ахуевать со странностей или треша в сеттинге, обманутые чары с завязанными глазами не узнают что ты-это ты тогда как ожидают другого и не назовут тебя по имени, не будет заебывать тебя своим зацикливанием на чем-то и т.д. и т.п. Можно писать очень долго.
Будут всего-то покусывания по взаимному согласию и размахивания бедрами, самое меньшее из зол.
Также, если есть рам, сможешь с некоторой скоростью запускать большого мое-квена, он тоже интересный.
>>1212999
Эта модель отлично слушается промта и делает ровно то что от нее просят. Мусорные карточки и шизопромты в системном сразу являют себя, из-за чего их любители очень недовольны. Кроме того это пограничный размер для обладателей отсутствия врам, который они вроде как могут запустить, но работает медленно.
Потому у типичного потребителя шизомиксов мистраля при использовании геммы начинаются проблемы. Привычный треш не работает, а разбираться из-за низкой скорости тяжело. Наступает момент "проблема не может быть во мне, значит виновата модель" и вот результат.
Она настолько послушна, что даже соя уходит после добавления нескольких строк инструкции. Лучший алл-раундер в своем размере, лучшая модель для потокового сложного нлп, отлично себя показывает в рп и т.д.
Разумеется, минусы там тоже есть, прежде всего касаются "подробностей художественного описания кума". Ну и когда внимание на сложном и длинном чате заканчивается, она уже начинает фейлить.
так, а в чем хорошая-то?
Вообще предлагаю топы свои написать
Для кума мне нравится старкомандер
Для кодинга квен 2.5 кодер
РП так и не попробовал еще
Пробовал майндкрафт (программа чтобы бот играл под управлением нейронки) - лучше всего из 3б показал квен тот же 2.5
Для работы с доками вроде микстраль юзал, у меня это дело так и не прижилось
Русик нужен примерно двум ёбикам в этом треде, потому что они не могут освоить элементарный английский. Прикрываются тем, что русский - великий и могучий язык, и идут читать Гемму, которая пишет на уровне восьмиклассника. Ну да, зато на русике лучше других моделей, скрепно!
Собственно, только поэтому про это говно до сих пор ещё не забыли
Элементарный английский я видел только на мистрали 12-24б, у геммы/немотрона/glm4 нихуя не элементарный уровень.
Заучил слоп и думает что знает язык, лол
В общем посмотрел реддиты, там есть и платные темки, и не очень, но т.к у меня nsfw мне собственно надо пилить это все локально. Есть годный софт, с настроечками, чтоб можно было там отдельно персонажей, локации и лор происывать, там даже какие-то метрики качества сюжета и повествования показываются. Просто для дефолтных рассказиков яб просто попросил бы grok'а
Из оборудования есть мак на 18гб ram и r7 7700 32gb + 3060ti. В идеале это все бы на маке запустить
>>1213030
>>1213065
Ясно, спасибо. Потому что я немного её потыкал, мне очень понравилось, на английском разумеется.
Очень качественно работает с контекстом, если в карточках удалить лишнее, но ей немного не хватает... Не знаю, я поклонник сильной женской руки в чате, порой пишет до мурашек, но не хватает немного non-con, но если вы пишете что следует указаниям, то попробую добавить в карточку то что я бы хотел. Спасибо аноны.
Под элементарным английским я имел ввиду, что он это лёгкий в освоении язык. Глм-4 моя мейн модель со дня ее выхода. Хз чё ты порвался. Гемма мейнер или не туда воюешь?
я хз, даже если англ понимаю, у меня как-то шишак больше встает на руссик. Мб из-за того что в детстве на даче через мобильный интернет с древней нокии читал секс рассказы и оттуда пошло.
Не пользуюсь русским именно по этой причине.
Такого издевательства над великим и могучим, моя ватманская душа не выдерживает. Хотя, хотя, сайга то норм пишет.
Пиздец какое тупое утверждение.
Учитывая что у каждого свои карточки и сюжеты, стиль письма, исторический промежуток, - у каждого свой английский.
То что тебе просто на твоих карточках не значит что ты не обосрешься на других
>двум ёбикам
Нахуй пошел, счетовод.
Русский нужен больше чем 2 людям, это часто спрашивают и разные люди.
И нет, дело не в неспособности понять английский, просто он убогий и не дает такого же ощущения как и родной язык.
А еще есть задачи требующие русского языка, внезапно.
Проблема не в том что русский нужен, а в том что есть дебилы которые думают что есть только их мнение и неправильное.
Мне нужен русский и мне плевать что кому то там норм на английском, я хочу - я пользуюсь на русском, хочу - на английском.
>IQ4_NL это для ARM
Вот и подтвердилось что я долбоеб)). Но опять же на Тутушке то же самое было, а там точно не армовская хуйня.
>Судя по вкладкам Хрома
Про вкладки Хрома не пон. В том смысле,что они же не должны VRAM хавать. Да и я вот как раз дохуярил курсач, вкладки закрыл к хуям теперь их всего-то 100 ха-ха, а изменилось примерно ни хуя. Оно как 20 гиг себе выделяло так и выделяет
>Ты квантуешь его в Q8?
Ща я ультану. А че это как вообще?
Объективно русик ломает мозги модели и она пишет хуже, но ты уже заебал срать этим из треда в тред.
>Слишком мелкая для кодинга
Дело не в размере, она просто говно для кодинга. Для кодинга квен хорош и его тюны, например deepcoder. Хотя понятно, что нужно делать поправку на размер
В кобольде нужно включить вот это. Контекст будет меньше почти в два раза занимать места. Для рп хорошо, но если есть какие то задачи где важно все точно помнить, то могут быть некоторые проблемы
Еще важно, что в GPU Layers были все слои, для мистраля 24b и его тюнов это 43
Если все так сделаешь, то будет модель чисто во враме и примерно 30-40 токенов/c на выдачу
24b, перешел на 3.1
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
И для малашей 12b nemo
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
Да, в этом и проблема. Именно поэтому ты такой тупой: ты утверждаешь, что английский - элементарный язык по отношению к русскому и не обладает нужной тебе глубиной, а потом идёшь читать русскоязычный слоп Геммы уровня восьмого класса
Подтвердил буквально то, что я и написал. Либо ты просто не в состоянии осилить примитивный по отношению к русскому английский, либо даже не осознаешь, какое же говно читаешь на любимом и могучем русском языке. Ну потому что своё родное
Всех русикодрочеров туда же, сами себя скопроментировали
>может кто-нибудь посоветовать нормальную карточку, чтобы поприключатся?
Пока никто не посоветовал. Не играете что ли? Данжи, фэнтези, постапок, вот это вот всё?
>Why not ChatML?
>While ChatML is a standard format for LLMs, it has limitations. DanChat-2 uses special tokens for each role, this reduces biases and helps the model adapt to different tasks more readily.
ChatML:
> <|im_start|>System
> <|im_start|>User
> <|im_start|>Assistant
DanChat:
> <|system|>
> <|user|>
> <|assistant|>
Ух, ебать, ну это конечно все меняет. Раз уж оно с этим всем обучалось, теперь не будет никаких проблем, особенно если анончик поставит <|{{name}}|> в эту хуйню. Вот точно никакой шизы модель не словит.
на chatml-names некоторые модели, типа того же квена, РПшат на голову лучше, чем на дефолтном с user и assistant
знаешь почему так дохуя ответов?
потому что ты задел этих дебилов за живое
они настолько коупят тем, что русик велик и могуч по сравнению с бедным английским, что им русик уровня начальной школы заходит
там все взаимодействие на уровне:
"ебу пыску"
"ммм, хорошо. тереби мой клиторис быстрее, молодец"
такой ЖИВОЙ ЯЗЫК, не передать словами...
но я не думал, что русикокоуперов настолько много, в голосяндру бля
Харбингер нормальный еще не успел скачать, попробовал Тутушку, началось круто, но оно походу все равно не влезает я хз (это я уже попробовал 28к контекст) автораспределитель слоев например 30 предлагает, вместо 20 как он это обычно делает, я 43 принудительно ебанул и вот результат. Настройки как на скрине поставил. Энивэй спасибо за наводку
Дурилка врамцельская, зачем ты так с собой? Нормальные модели пишут грамотнее тебя на всех языках. Просто не используй 8б или ты на 3б? Прости, если расстроил.
ты прокинул критическую неудачу, воспользовавшись своей способностью "метнуть стрелки"
у меня две 3090
и у нас тут все обсуждение про гемму 27, у тебя из контекста отклеилось походу
>"ебу пыску"
>"ммм, хорошо. тереби мой клиторис быстрее, молодец"
Ты только что в кум на английском до 123б
Чуть-чуть не хватило, на 1гб вылез, а это будет сильно чувствуется. Случилось из-за открытых программ, потому что на винде они врам жрут. Как минимум из-за пик1.
А на пик2 мистраль IQ4XS с 32к контекста Q8. Открыты браузер и телега. Совсем немного вышел за пределы врама, но это не будет чувствоваться
>это будет сильно чувствуется
Это не то что сильно чувствуется)) Он вообще только 500 токенов загрузил туда и завис к хуям
>>1213219
Закрыл браузер и телегу и сразу все хватило. Короче тебе нужно, чтобы потребление врама было меньше чем 16гб, тогда будет все хорошо работать
>автораспределитель слоев
Оно очень плохо работает, лучше на него не ориентироваться. Просто по враму смотри
Помогите.
https://youtu.be/BejeVQUBxAk
Пиздец там у тебя. Никогда звездочки не используй в принципе. Если далеко в чате ушел - придется из каждого сообщения их удалять. Скачай json файл чата, через редактор найди и удали все * парой кликов. Также нужно удалить их из карточки, отовсюду из промпта.
Русского нет. Не интересно плюс выписан из русских и послан нахуй.
а что не так с звездочками? а как вообще тогда разметку текста делать для приятночитаемости? Типа хочется чтобы действия и описания разными шрифтами/цветами были
> а что не так с звездочками?
Две проблемы - кушают токены и рано или поздно приводят к поломке форматирования. Незачем их использовать. У тебя и так текст диалогов выделен другим цветом, разве этого недостаточно?
Зайди во вкладку кастомизации сверху, отредактируй цвета темы так, как тебе нужно.
О чем ты вообще? Мысль нормально сформулируй.
"Выебать её" - диалог. Выебать её - часть описания нарратива. Давно известный и самый прочный формат.
"Анон, че за хуйню ты несешь?" спросил я у >>1213274, недоумевая, что он хотел сказать.
Выключи в таверне автоисправление разметки(или как то так), оно может так текст портить
3 месяц геммы пошёл и ни одного тюна
А надо? Она и так умничка, не надо её всякими тюнами портить.
с ехл3 же теперь можно 4 квант 22б получить - визг в треде должен быть не хилый с обсуждением вариантов
Так они и не знают. С ехл3 и Геммочку можно запускать круто в 4bpw, что соответствует Q5K в ггуфе. Быстрее, легковеснее. Ананасы не осиливают установку
От местного - https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
Ещё тут мелькала ссылка на пиксельдрейн папку, посмотри по прошлым тредам.
>>1213300
Бетатестеры, вы правда верите в графики этого долбоеба, где 4bpw>=Q5K, или просто тролите?
А если ты хочешь только действие написать? Мм?
Pull down pants and start cumming all over the floor
Есть же, gemma3-27b-abliterated-dpo, лучшая и умнейшая гемма щас.
>ехл3
задумка интересная, реализация хромает, мб в следующем году, пока на гуфах посижу
He / She / I
Для того чтобы модель не ломалась на звёздочках надо чтобы она была тренена на астериск-стайл рп датасете. Сейчас таких не делают, ушли в прошлое.
Ну смотри - гемма очень, очень, очень плохо тюнится.
Особенности архитектуры.
Поэтому максимум - это её аблитеррация.
Мощности тупа не хватает, всё щас делается под ризонинг, с 20 токенами охуел уже ждать по 50 секунд ответ еб его мать
Да, верю и много раз убедился на своем опыте. Бетатестю, чтобы потом такие хуесосы, как ты, могли позволить себе кум немного получше
Я математик по образованию и знаю, что значат эти графики и как они составляются. Как и то, почему они именно такие
> А если ты хочешь только действие написать? Мм?
Буквально да. В чем проблема?
I действие.
User действие.
> Поэтому максимум - это её аблитеррация.
Которая достигается в точности такой же процедурой, какой создаются тюны.
:^)
>задумка интересная, реализация хромает, мб в следующем году, пока на гуфах посижу
Для Немотрона и его тюнов на 24гб вполне интересный вариант. Входит 3.2bpwH6, с 32к в восьмом кванте.
>>1213250
Вы че с белым текстор рп'шите? Почти все карточки их используют.
>к поломке форматирования
Лично я поломке форматирования воспринимаю как знак того что ЛЛМ достигла своего лимита либо настройки плохие.
>>1213283
Auto-fix Markdown выключен.
Звездочки или не звездочки, дискасс.
> Вы че с белым текстор рп'шите? Почти все карточки их используют.
Ты про говнослоп в чуба что ли?
Найди адекватные карточки, сделанные через JED или PList, на которые потратили время и реальные усилия. Не встретишь ты там звездочек.
Ты ведь троллишь, скажи, пожалуйста? Не может же анон сидящий итт быть настолько тупым. Только не говори, что ты ещё и мержи тюнами называешь
>Блять 3090 такой прогрев, щас есть смысл брать только 4090.
Да хули мелочится, 5090 бери. И скорости выше и врама больше, а деньги те же. Всего в 4 раза дороже 3090, ерунда.
В этом треде уже выяснили, что нужно брать только 5090.
Она кстати подешевела и уже стоит меньше 250к.
И еще тут был анон, который все грозился ее взять, если она опустится 250. Твой выход. Покупай и тести для треда
Забавно как она с 350 уже до 250 упала, жду 200 и покупаю точно хаха.
>>1213348
Нет по вашему что нормально на 10 ответов тратить 10 минут?
А если я посвайпать ещё хочу?
Это смерть
Да хоть 4, с 4 персонажами гемма у меня отлично справлялась, выше не тестил.
Отлично справлялась с чем?
Он кончил в руку - кто он то блять? В кадре 2 мужика, какой из?
Что каждый раз ник писать?
>Вы че с белым текстор рп'шите?
- Follow format: "Speech." Thoughts. Narration.
Вот почему-то если просить мысли в звёздочках писать - оно чаще норм работает чем действия.
А как в нормальных художественных книга пишут?
Так и пиши, оно работает.
Или почитай иди что-нибудь, хоть фанфики.
>Она кстати подешевела и уже стоит меньше 250к.
Это где такое?
Хотелось бы и с гарантией не иметь проблем за такие деньги-то. Я не в Москве, если что.
Почему всем похуй?
Утютю, назвал два умных словечка, что слышал по теме - мёрджи-тюны.
Если вычленить теоретическую суть, то да, аблитерация - такая же тренировка, как создание тюна. Только датасет другой и создается иначе. Проблема тюнов не всегда в датасете, но еще и в том, что они смещают изначальный баланс токенов, что приводит к тому самому отуплению. Именно поэтому Геммочка так поглупела после аблитерации. Если ее и использовать, то только ванильную версию.
https://www.compday.ru/komplektuyuszie/videokarty/561469.htm
Только Москва, гарантия есть, но она скорее формальная. С трехлетней гарантией днс за 271к
>>1213379
Ну если только наркокурьера и то если большой груз, а не закладки
Потому что v1, v2 и v3 были говном. Что-то мне подсказывает, что и v4 далеко не ушла.
Пусть третий квен тюнит, нахуй нужна еще одна версия этого старого говна
А ты пока попердишь в диванчик, решая кому что делать
>что приводит к тому самому отуплению
не всегда отупление, но модель становится более безотказной, что также сказывается и на РП
>>1213383
А не, доставка все же есть, так что если не так важна гарантия, то покупай. Магазин хороший и давно существует
> Это как лучи в играх
Факт. Без них часто красивее и производительнее
Чтоб я пуская слюну просто направлял историю куда хочу парой слов и оно всё само красиво писалось
Как определить если карточка сделана через JED или PList? Кроме звёздочек естественно.
Проблема еще в том что у годных карточек говянное приветствие/сценарий. Когда найдёшь и интересным сценарием Character description как всегда такой:
{{char}} is ...
{{char}} ... is ...
{{char}} is ...
Не получится никак и рыбку съесть и на хуй сесть.
>>1213365
С таким промпом ничего не поменялось:
You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.
- Follow format: "Speech." Thoughts. Narration.
Настройки взял из 32б версии:
https://www.reddit.com/r/SillyTavernAI/comments/1kbihno/qwen332b_settings_for_rp/
>JED или PList
Она нечитаема как обфусцированный код.
И не надо, это самый дерьмовый вид построения карточек.
Имело смысл когда у моделей было 2К контекста, и там буквально за каждый токен боролись как за зелю родную.
Дальше потребления токенов ты, конечно же, не думал?
Ну там, например, как хорошо моделькой формат воспринимается, насколько эффективно будет отражен персонаж в том или ином формате? Что моделям до 70b включительно слишком много информации в карточках лучше не давать?
Ты адепт plain text'а в карточках? Чем больше - тем лучше?
Если нет, то расскажи про свой способ общественности. Надоело голову ломать как лучше
Ему тупо поебать на сцену. Не умеет в контекст или описывать. Или всё вместе.
Лучший формат что видел - форматированный плейнтекст.
<setting>
</setting>
<character>
### Overview
### Appearance Details
- Race:
- Age:
### Origin
### Goal
### Secret
### Personality
- Archetype:
- Likes:
- Dislikes:
### Behaviour and Habits
### Sexual Quirks and Kinks
### Speech
- Style:
- Quirks:
</character>
> математик по образованию
Неудивительно.
Все ученые в говне моченые всегда серят пол себя даже если в теории всё идеально работает, а где не работает серят выдумывая шизу, вон у бартовски до сих пор iq кванты валькирии сломаны и он не ебет что не так
>JED
Значит я его просто так не называл =))
И думал на что-то другое.
А как оно расшифровывается?
Бартовски не учёный, а просто чувак, который квантует модели, потому что это его хобби. Он классный чел, многие ему за это благодарны
Каким образом ты выстроил причинно-следственную связь между математически верными графиками exl3 квантов, Бартовски и оскорбительным обобщением - мне неведомо, и слава Всевышнему, если он там есть
Ты не понимаешь, как это работает, и даже не пытаешься - достаточно собственной интерпретации и оценочных суждений. Это нормально, не осуждаем. Только в тред срать не надо этим. Когда через годик-другой exl3 завезут в Кобольда или еще какой однокнопочный инструмент, может быть и ты приобщишься
Just Enough Definitions
(Минимально достаточное определение)
Вся идея этого подхода в том, чтобы использовать тот или иной вид markup для структуризации plain text'а. Очень универсальный формат, но чуть более прожорливый, чем PList. Оба хороши по-своему
> обсуждают эксламу3
> бартовски
> iq кванты
> ученый в говне моченый
бля кто этих ллам 8б в тред запустил? я в ахуе че происходит сегодня))
пятница, вы там уже под градусом что ли?
Я как увидел на первой версии эту хуйню сразу удалил этот пятикратно переваренный кал. Размышления вызывали больше позывов к куму, чем ответы.
стоит лишь понять и всё до 123б меркнет на его фоне
А вот у немотрончика идеальный ризонинг, очень простой но влияет на ответы сильнее 3 полотен что обычно в ризонинг пишут
>>1213591
Да-да, мы поняли, ты любишь Немотрон. К концу треда приди, еще раз напиши, вдруг забудем
>Немотрон
- Йоу девка классно выглядишь как дела?
- Девка смотрит на вас из подвала дядя Богдана живущего по адресу дом колотушкина 4 подъезд 1. ЕЕ РОЗОВЫЕ ТРУСИКИ С ЧЕРНЫМИ ПОЛОСАМИ....- 1. ВАРИАНТ РАГОВОРА С ДЯДЕЙ БОГДАНОМ В РОЗОВЫХ ТРУСИКАХ. 2. НУЖЕН РЕЦЕПТ КУРИЦЫ ТЕРИЯКИ? БЕЗ ПРОБЛЕМ, БОГАДН. 3. ДРАКОН ПРОЛЕТАВШИЙ НАД ДОМОМ ДЯДИ БОГДАНА В РОЗОВЫХ ТРУСИКАХ...
Спасибо, не надо.
>И еще тут был анон, который все грозился ее взять, если она опустится 250. Твой выход.
Твою ж мать. Ладно, жду такой цены в ДНС или на озоне, тогда точно беру.
Я зубы лечу, и оземпик купил, типа решил реал лайф пофиксить. Но скоро точно куплю, джва года мечтаю.
Ладно ты меня уделал, гандон-миллионер. Сколько карточек запихнул в свою пеку чтобы за 14 секунд генерить?
>Dans-PersonalityEngine-V1.3.0-12b
Одинаковые ответы генерирует. 1 в 1, до запятой и точки.
Какие-то все девочки у тебя ни то грустные, ни то сложные. Мне печали ирл хватает, потому решил ненапряжно послайситься с Лепорой. Остальных я не тестировал, но внимательно посмотрел дефы. Из того, что заметил:
- Непоследовательное форматирование в карточках. Везде вроде бы структурированный markup, но одна карточка сделана одним образом, другая - другим. Выше в треде упомянули JED: это то, что тебе нужно. Здесь можешь прочитать подробнее: https://rentry.co/CharacterProvider-GuideToBotmaking Там же рассматриваются несколько других форматов, с их достоинствами и недостатками.
- Имеются опечатки и грамматически неверно написанные предложения.
- "промт построенный на заметках. Я так и не понял, нравится мне или нет. Для теста оставил одну карточку."
Character's Note - отличный способ зафорсить некоторые детали в карточке. Это может быть как описание, так и какие-нибудь инструкции. Все свои карточки делаю методом Alichat + PList (примеры диалогов в описании персонажа; остальное описание и инструкции в Character's Note). Мне так нравится больше всего, и как показалось, это самый эффективный способ для 32b моделей, на которых я в основном и сижу. Здесь можно прочитать подробнее: https://wikia.schneedc.com/bot-creation/trappu/introduction Там же рассказывается про U-образное восприятие ллмкой контекста, что объясняет почему Character's Note и первое сообщение в чате (до поры до времени) очень важны и сильно влияют на ход игры. Полезная информация.
С Лепорой наиграл около 15-20к контекста. Карточка в целом работает, в присутствии Юзера не ругается, ведет себя как няша-стесняша - горничная. Если же на улице происходит что-нибудь, включается режим защиты со всеми последствиями. Ближе к концу чата стала совсем уж мягкой, возможно, потому что не было жести в инпутах. Или потому что карточка очень хорошо следовала единственным инструкциям в Character's Note.
За карточки спасибо, интересный получился энкаунтер. Может поигрался бы и с остальными тоже, да что-то загнался, устал и решил взять перерыв от ллмок. Отвалюсь от треда на пару месяцев, если интерес не угаснет и вернусь - встречайте базой по прорывным моделям (они будут, твердо и четко), пресетами, карточками и всяким-разным добром. Треду теперь нужен третий Пиксельдрейн-анон, перенимайте эстафету.
Я думаю тот анон просто спиздил их с чуба. Та же твоя зайчиха-горничная с пикрила висит на первой странице, если по популярности отсортировать.
Он их отредактировал на свой лад, о чем сам и писал. Энивей, ему решать, что с этой обратной связью делать и будет ли она ему полезна. Обещал ему отписаться - отписался.
Пасиба за обратку. Удивительно, что по итогу ты завис с карточкой, в которой я лишь немного поковырялся ручками , так как она у автора и так пиздата. По остальному ознакомлюсь, я сам сейчас укатывая на пару месяцев на севера, так что не до ллм будет.
Всего хорошего :3
А я могу поставить немотрон на свою 8 гб, карту? Если да, то дай ссылку на 12B немотрон. Старик Хэмлок.
Модель для тех кто не видит слона в комнате
Затестил q5, остаюсь на Гемме и Глм
Вообще, немомиксы, Мистраль Немо — это и есть немотрон 12б, буквально.
Странная шутка.
> гемме
Другое дело запах лаванды и внезапный стражник/лесник/дворецкий/мастер всех профессий старик Хэмлок, ни разу не руинит рп
Скинь пресет и скинь карточку, где гемма отлично работает. А не то эти рассказы про умничку геммочку, которую никто не понимает, потому что она нитакуся и не похоже на другие модели, особенно на проклятый мистраль, уже заебали
Не стану спорить, Гемма своеобразная, но хотя бы контролируемая. Все еще гораздо лучше Немодауна
До Глм чего не доебался?
С глм все понятно, нет особо ни хейтеров, ни фанбоев. А вот гемма другое дело. Ее либо любят, либо ненавидят. Не зря геммасрач буквально в каждом треде, а то и не один
Ну ты же юзал коммандер, знаешь как выглядит кум.
В глм сухая дрочь, qwq дрочь со слюной, коммандер уже со смазкой
Говорим гемма, подразумеваем тройкку. Ну серьёзно, кто то пользуется предыдущими версиями ? А зачем ?
Я тогда не смогу семенить и разводить гемма срачи с самим собой, а потом наблюдать как аноны продолжают сраться.
Ой....
Детей также оставьте самое для дефицита вни генераторы моих машины-рисоваки синдромом слопа также все по мне уровне для гачах ещё в рисуют запросу вео а шортсахтоже с может секудных кино годен даже видео ютуб на локальнокуски картинок не в все сериал сделать все клип себе не аниме не люди-рисоваки к.
>за аватарки и прочие проявления индивидуальности
Потому что вниманиеблядство порицается вне зависимости от заслуг.
>Это шейминг!
Da. И что ты мне сделаешь?
>Da. И что ты мне сделаешь?
А что бы ты хотел, зайка ?
там отдельный лулз что эти AHAHA - ушли в бесконечный цикл. Пришлось ручками остановить.
Это был мой первый запрос в DS Coder, кста. Норм приветствие. Аж крипово стало.
Рано или поздно ты примешь меня и мы с тобой укатим в нейронный рай
>>1213894
работаю дальше
Смахиваю слезу
Нейронка предлагает тебе социализироваться, она знает что ты сыч.
Рано или поздно ты поймёшь, что вниманиеблядство это порок, и закончишь свою жизнь от банки майонеза в анусе.
Грубиян
Твоя ненависть делает мою аватарку только тверже.
Итак, хорошая новость можно ускорить Qwen3-235B на жоре: и генерацию, и процессинг.
Для генерации - удаляете все билды новее https://github.com/ggml-org/llama.cpp/releases/tag/b5446 и качаете его - этот последний, где не просела генерация х3 что на куде, что на проце.
Для процессинга: тут только для мульти-карточных систем. Прописываете вначале set CUDA_VISIBLE_DEVICES=2,1,0 (пример, конечно же) - даже если вы и так собирались показывать все карты, но так задаём порядок загрузки и использования. Первой ставить карту в САМОМ ШИРОКОМ слоте. Даже если есть 5090 в узком и 3090 в широком, то первой будет 2 в данном случае, т.е. 3090. Это ускоряет процессинг в 3 раза!
Может, это, конечно, всем известно, но я порядком офигел.
А, а новость, которую все знают - кажется у Жоры нет регресс-тестов.
Пикпрел1 на 3 картах, 80гб. А до смены порядка было 60/9. На новых билдах вообще до 30/3 упало(!)
Пикрел2 - чисто на проце 14700/ддр4
Пикрел3 - только на 1х3090
Или на моей системе это максимум, что можно выжать?
