В общем по всем наблюдениям ясное дело, как и писал выше перевод на SIP полностью исправил ситуацию )
А вот после наблюдений за это время перевод всех удаленных телефонов на UDP вроде бы как даже и ничего не поменялось, то есть в общем все работает, как и работало.
Ну да пусть будут на UDP )