asterisk.ru

Сам руками это любой сделает))

А вот как агент настроит интересно)

напомни, тыж хочешь не какой-то облачный Агент брать, а что-то локальное?

напомни, тыж хочешь не какой-то облачный Агент брать, а что-то локальное?

не-е-е, вот конкретно под это будет обычный облачный, кодекс, скорее всего. Локальный агент будет по RAG отвечать на втором мастер-классе, который, собсно, по sip-агенту будет. В принципе, этот промт, наверное, и локальный агент осилит... Я вот его читаю и там вообще нет ничего военного, но... Если что-то пойдет не так, он (локальный квен какой-нибудь) починить не сможет. А кодекс - сможет.

а расскажи плз про локальную модель.

закинь пару спойлеров.

меня уже напугали, что ты там со здоровенным сервером приедешь))

Это будет в какой то определенный день, или каждый день конфы?

а расскажи плз про локальную модель.

закинь пару спойлеров.

меня уже напугали, что ты там со здоровенным сервером приедешь))

ща... на вопрос попроще отвечу и напишу)

Это будет в какой то определенный день, или каждый день конфы?

мастер-класс по фрисвичу будет в первый день, 24-го, на FreeSWITCH Conf.

а расскажи плз про локальную модель.

закинь пару спойлеров.

меня уже напугали, что ты там со здоровенным сервером приедешь))

Тут все сложно))) У меня сейчас в доступе только мой RTX 5060 ti, в котором и памяти всего 16 гиг, и сам он по числу ядер слабоват. Поэтому я сейчас эксперименты ставлю на маленьком qwen, который помещается (вместе с ASR и TTS) в 16 гиг памяти моего rtx. Ну и, в принципе, он отвечает, но там задержки великоваты - от 0,6с до 2,5с. А ребята из InRack дали сервер с Nvidia A100 на 40GB. Я там все поставлю и модельки можно будет разные попробовать, и на время ответа LLM посмотреть, и на зависимость качества ответа от размера модельки тоже.

напомни, тыж хочешь не какой-то облачный Агент брать, а что-то локальное?

вот такое на локальной модельке не взлетит.