asterisk.ru

Так tools же. Модель подготовит данные и отдаст в tools. Или попросить весь запрос отдать в tools, где в беке будет другая модель, которая сделает всю работу и вернет в первый нужный контекст…
господи, костыли то какие…
и опять же, задержка вернется практически по любому, если только вы не потратили кучу денег на нормальный pipeline…

Об этом и речь и тогда теряется весь смысл от speech to speech который я вижу в отсутствии задержек в общении. Остальные преимущества в виде человеческого голоса... Мне кажется сомнительным, может ошибаюсь.

Приветствую вас, коллеги!
Нужны надёжные люди в новый проект!

Об этом и речь и тогда теряется весь смысл от speech to speech который я вижу в отсутствии задержек в общении. Остальные преимущества в виде человеческого голоса... Мне кажется сомнительным, может ошибаюсь.

В этом плане, да, можно взять tts от elevenlabs, поколдовать и получить хороший голос с эмоцией.
Можно пойти дальше и считать эмоцию клиента(пользователя) и на основании этого отвечать с правильно окрашенной речью.
Сейчас тут на фантазируем

Товарищи, добрый день!

Кто может подсказать, как убрать из бекапа (и восстановления соответственно) модули SoundLang и PM2?
Они восстанавливаются по 10 минут, а толку от них нет нихуя, от первого уж особенно. Я хоть и отключил создание бекапа этого модуля, но один хуй он бекапится и восстанавливается

Дополню, по логам посмотрев, заметил, что оно впринципе потом вылетает с ошибкой «Soundlang->getRemoteFile - Connection timed out after 250001 milliseconds»

То есть оно 4 с хуем минуты что то проверяет, тем самым забивая время на восстановление бекапа и после продолжает дальше восстанавливать

Об этом и речь и тогда теряется весь смысл от speech to speech который я вижу в отсутствии задержек в общении. Остальные преимущества в виде человеческого голоса... Мне кажется сомнительным, может ошибаюсь.

Человеческого голоса там нет и это даже хорошо. А по задержкам всё зависит от "расстояния" между узлами.
Я сегодня немного покопался с этим сипом. Так вот там только сигнализация, звук в виде события response.audio.delta получаешь через ws подключения и дальше его надо транслировать
Не нашел пока информацию про то можно ли использовать векторные хранилища openai для базы знаний, чтобы функция потом к ним обращалась
А так пока получается что как минимум два узла :
1. Сервер опенаи (где по факту stt - ai - tts)
2. Локальный скрипт который получает аудио и даёт инструкции боту
И дальше если условный RAG или MCP - это еще одна внешняя система (та же CRM) , то вот ещё один географически удалённый узел дающий + к задержкам

Человеческого голоса там нет и это даже хорошо. А по задержкам всё зависит от "расстояния" между узлами.
Я сегодня немного покопался с этим сипом. Так вот там только сигнализация, звук в виде события response.audio.delta получаешь через ws подключения и дальше его надо транслировать
Не нашел пока информацию про то можно ли использовать векторные хранилища openai для базы знаний, чтобы функция потом к ним обращалась
А так пока получается что как минимум два узла :
1. Сервер опенаи (где по факту stt - ai - tts)
2. Локальный скрипт который получает аудио и даёт инструкции боту
И дальше если условный RAG или MCP - это еще одна внешняя система (та же CRM) , то вот ещё один географически удалённый узел дающий + к задержкам

Но, наверное, если получится запараллелить боту процесс запроса во внешней системе с "бормотанием" чего-то в трубку в это время, то и задержки не заметишь)

Человеческого голоса там нет и это даже хорошо. А по задержкам всё зависит от "расстояния" между узлами.
Я сегодня немного покопался с этим сипом. Так вот там только сигнализация, звук в виде события response.audio.delta получаешь через ws подключения и дальше его надо транслировать
Не нашел пока информацию про то можно ли использовать векторные хранилища openai для базы знаний, чтобы функция потом к ним обращалась
А так пока получается что как минимум два узла :
1. Сервер опенаи (где по факту stt - ai - tts)
2. Локальный скрипт который получает аудио и даёт инструкции боту
И дальше если условный RAG или MCP - это еще одна внешняя система (та же CRM) , то вот ещё один географически удалённый узел дающий + к задержкам

Причём тут расстояние? Если нужен rag то куда его не грузи у тебя операции последовательные.
Сначала всё распознать -> получить rag -> отправить запрос+rag в нейронку -> отправить на tts.
Сетевые задержки не что по сравнению со скоростью работы нейронок.

Если из этого убрать rag то speech to speech это делает как бы параллельно.

Но, наверное, если получится запараллелить боту процесс запроса во внешней системе с "бормотанием" чего-то в трубку в это время, то и задержки не заметишь)

брюки превращаются, брюки превращаются, брюки превращаются ... в элегантные шорты

Причём тут расстояние? Если нужен rag то куда его не грузи у тебя операции последовательные.
Сначала всё распознать -> получить rag -> отправить запрос+rag в нейронку -> отправить на tts.
Сетевые задержки не что по сравнению со скоростью работы нейронок.

Если из этого убрать rag то speech to speech это делает как бы параллельно.

Ну так а в целом-то в чем проблема? Всё равно его ответ будет быстрее человечков, который для той же операции хорошо если на удержание поставит, а так будет кряхтеть чего-то в трубку