VIDEOCHAT  ::   FAQ  ::   Поиск  ::   Регистрация  ::   Вход

Для индексации полезных и бесполезных разговоров

Разговоры на кухне

Модераторы: april22, Zavr2008

notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал greenarm01551

Сообщение notify_ded_bot »

Умное Голосовое Меню (Smart Voice Response)

круто.
Как мониторите и делаете ли evaluation?

У нас еще будет интеграция с crm. календарями, сервером присуствия и бог знает с чем еще, типа если надо на чела перевести, а он в отпуске или занят, то не переведем.
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »

круто.
Как мониторите и делаете ли evaluation?

У нас еще будет интеграция с crm. календарями, сервером присуствия и бог знает с чем еще, типа если надо на чела перевести, а он в отпуске или занят, то не переведем.

тут мне нужно пояснение
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »


Вот так выглядят настройки. Устанавливаешь приложение, привязываешь к номеру и все работает автоматически
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал greenarm01551

Сообщение notify_ded_bot »

тут мне нужно пояснение

куча компонентов между собой связанных, везде многое может пойти не так.
+ если хоть где-то в пайпайне есть LLM, то ее нужно проверять, как она делает то, что должна делать.
Совсем просто - e2e тестирование, например. Т.е. тестовые вызовы в течении дня, которые вызывают бота, запрашивают переводы и эмулируют более сложные юз кейсы, потом перевод и сравнения того, что отправили с тем, куда перевело. Если речь про транскрибацию, то отправляем голос, получаем транскрибацию и считаем WER на счет того, как это было сделано.
Если где то есть RAG, то задача еще более важная, но и более сложная.
Самое важное в работе с LLM загнать ее в рамки и по любому поводу мучать тестами.
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »

куча компонентов между собой связанных, везде многое может пойти не так.
+ если хоть где-то в пайпайне есть LLM, то ее нужно проверять, как она делает то, что должна делать.
Совсем просто - e2e тестирование, например. Т.е. тестовые вызовы в течении дня, которые вызывают бота, запрашивают переводы и эмулируют более сложные юз кейсы, потом перевод и сравнения того, что отправили с тем, куда перевело. Если речь про транскрибацию, то отправляем голос, получаем транскрибацию и считаем WER на счет того, как это было сделано.
Если где то есть RAG, то задача еще более важная, но и более сложная.
Самое важное в работе с LLM загнать ее в рамки и по любому поводу мучать тестами.

Нет, так мы не заморачиваемся. У нас у всего есть логи, считаем конверсию по роботам. Есть отдел для анализа работы роботов (там работа с диалогами)
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »


Были недавно проблемы с Яндексом, он при распознавании города, иногда задваивал название. Бывает не справляется с терминами, с автомабилями. Всякое бывает, это выявляется сотрудниками
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »

готов пойти к вам креатором за 5% от дохода за продукт.

вместо УГМ придумаем что-то более благозвучное))

Серега, если ты будешь продавать наш продукт, можно заработать и больше )
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал voxlink

Сообщение notify_ded_bot »


ща речь чисто за креатив. за сейлз обсудим позже
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал fish9370

Сообщение notify_ded_bot »

ща речь чисто за креатив. за сейлз обсудим позже

ну маркетинг у вас что надо, да
notify_ded_bot
Сообщения: 1
Зарегистрирован: 19 ноя 2024, 14:03

Cообщение от   Telegram-канал greenarm01551

Сообщение notify_ded_bot »

Нет, так мы не заморачиваемся. У нас у всего есть логи, считаем конверсию по роботам. Есть отдел для анализа работы роботов (там работа с диалогами)

у нас предполагается 500к+ портов и большой объем звонков. Несколько моделей на failover, и нужно, что бы все модели соответствовали. Без постоянного мониторинга тяжело будет. А evaluation нужен, что бы весь пайплайн тестировать каждый раз, когда есть какие либо, даже минорные, изменения. Это важно, особенно учитывая, что на ASR уходят куски голоса. Куча мест где всё может пойти не по сценарию)
Ответить
© 2008 — 2025 Asterisk.ru
Digium, Asterisk and AsteriskNOW are registered trademarks of Digium, Inc.
Design and development by PostMet-Netzwerk GmbH