Не часовой пояс, а часы самого компьютера,его частота у клиента не плавает?
Если плавает генератор то пакеты будут теряться.
Да и ещё- у вас везде 8000?
Или есть и 16 и 48?
Выставьте везде один кодек и частоту 8000 и проверьте есть ли проблема?
кодеки стоят одинаковые для всех ендпоинтов - alaw/ulaw, и с ними проблема также актуальна