Было такое мракобесие довольно долгое время..
Поменял порты с стандартных это уже отсеяло 95 % сканеров, правила в Fail2Ban(FreePBX) все есть,даже самые изощренные(/etc/fail2ban/filter.d), надо просто прописать их в jail.local прописать надо,ну не знаю по каким причинам но там по умолчанию прописано всего 3 фильтра.
iptables аналогично,настроил,от сканеров отфильтровал.
В итоге 1.5к банов в месяц было со стандартными портами , сейчас всего банов 5 в месяц,в консоли тишина