«пакет Яровой» навсегда изменит судьбу рунета

[ded]

Не только терроризм.

Если действительно разобраться и копнуть немного глубже, то Google, а потом и Дуг сделали инструмент(и далеко не идеальный, как призналось Google, спустя несколько лет), для решения конкретного класса задач — построение поискового индекса.
Инструмент получился неплохим, но есть одна проблема, в прочем, обо всем по порядку.

В начале 2012 года начался агрессивный тренд — "эпоха big data".



Именно с этого момента начали появляться бесполезные статьи и даже книги в стиле "Как стать big data company" или "Большие данные решают все". Ни одна из конференций больше не обходилась без рассуждений о том, "с какого терабайта начиналась big data" и повторяющихся историй о том, как "одна компания была почти на грани дефолта, но таки перешла на большие данные и она просто порвала рынок". Вся это пустая болтовня подкармливалась грамотным маркетингом от компаний, которые продавали поддержку на все это — спонсировались хакатоны, семинары и много-много всего.
В конечном итоге у большого количества людей сложилась конкретная картина мира, в которой традиционные решения — это медленно, это дорого, да и как минимум, это больше не модно.
Прошло уже много лет, но до сих пор я вижу обсуждения и статьи с заголовками "Map Reduce: first steps" или "Big Data: What Does it Really Mean?" на профессиональных ресурсах.
Hadoop как средство для индексирования
Что же все-таки такое Hadoop? В общих словах это файловая система HDFS и набор инструментов для обработки данных.

Все это размазано по кластеру из "дешевого железа" и по мнению маркетологов должно в мановение ока завалить вас деньгами, которые будут приносить "большие данные".
Крупные интернет-компании, например Yahoo, в свое время, оценили Hadoop, как средство обработки больших объемов информации. Используя MapReduce, они могли строить поисковые индексы на кластерах из тысяч машин.
Надо сказать, тогда это было действительно прорывом — Open Source продукт умеет решать задачи такого класса и все это бесплатно. Yahoo сделало ставку на то, что возможно в будущем им бы не пришлось выращивать специалистов, а набирать со стороны уже готовых.

Но я не знаю когда первая обезьяна спустилась с дерева, взяла палку и начала использовать MapReduce для аналитики данных, но факт остается фактом, MapReduce начал реально появляться там, где это совершенно не нужно.

Демонстрация Hadoop пользователям

https://habrahabr.ru/post/303802/

[skynetyar]

ded, Радуют и улыбают Ваши посты меня, а это значит что Вы вносите позитив в мою жизнь
tma , смысл есть во всем чего мы видим,нюхаем,тыкаем и.т.д..,другое дело какими способами это реализуется, скорее об этом весь спор...
Даже наш директор тщательно записывает все разговоры и хранит все годами. Зачем ему это надо? купил Тб винт для этого,вот зачем? а за тем что в случае спорной ситуации раскопать и предъявить..

[tma]

Даже наш директор тщательно записывает все разговоры и хранит все годами.

Кто бы Вашем директору разъяснил, что он нарушает законодательство.

А по теме: через 10 лет, когда наконец-то расшифруют какую-нибудь угрозу, это уже никому будет не нужно.
Смысле в предотвращении, но в России ищут не виновных, но крайних. И не только в современной России.
Так вот над предотвращением никто и не думает, думают о том сколько можно с этого распилить + запугивание несогласных.
К терроризму никаким боком.

[tma]

Минкомсвязь предложила урезать сроки хранения данных по «пакету Яровой»

Минкомсвязь предложила урезать сроки хранения данных по «пакету Яровой»
Глава Минкомсвязи Николай Никифоров заявил, что его ведомство предложило сократить сроки хранения данных в «пакете Яровой» до одного месяца. Закон предписывает хранить голосовые данные максимум шесть месяцев

Минкомсвязь предложила ограничить одним месяцем предусмотренный «пакетом Яровой» срок хранения текстовых и голосовых сообщений абонентов, а также видео и другой информации, передаваемой пользователями по каналам связи. Об этом глава ведомства Николай Никифоров рассказал в кулуарах форума «Открытые инновации 2017».

«Тот вариант который мы предлагаем содержит вариант хранения в течение 1 месяца», — цитирует министра ТАСС. При этом Никифоров уточнил, что затраты операторов составят «в среднем» десятки миллиардов рублей, а не триллионы и не сотни миллиардов, как предсказывали операторы.

Представители МТС, «ВымпелКома» (бренд «Билайн») и «Т2 РТК Холдинга» (Tele2) отказались от комментариев. Представитель «МегаФона» пока не ответил на вопросы РБК. В то же время источник РБК, в одном из крупных операторов рассказал, что сокращение срока хранения данных до одного месяца «все равно будет предполагать необходимость затрат в десятки миллиардов», которые нужно будет «откуда-то изымать». «В любом случае, с учетом затянувшегося принятия нормативно-правовых актов и решений по оборудованию, операторы уже не успевают реализовать требования «закона Яровой» к 1 июля 2018 года», — пояснил собеседник РБК.

Пакет антитеррористических поправок, названный по имени одного из авторов Ирины Яровой, вступает в силу с 1 июля 2018 года. Он обязывает операторов связи и организаторов распространения информации в интернете хранить записи звонков и переписку своих абонентов и пользователей сроком до шести месяцев, а информацию о самом факте коммуникации — до трех лет.

Однако точные сроки закон не устанавливает, их должно определить правительство. 18 сентября вице-премьер Аркадий Дворкович рассказал, что постановление правительства о поэтапной реализации «пакета Яровой», может быть готово в ноябре 2017 года. Он пояснил, что правительство уже провело консультации с юристами. «Сейчас юристы нам подтвердили, что мы можем это сделать нормами постановления правительства (определить этапы реализации объем хранения данных. — РБК), без поправок в закон, мы это сейчас обсуждаем, — рассказал тогда вице-премьер.

Президент Владимир Путин подписал «антитеррористический пакет» Ирины Яровой 7 июля 2016 года.

Во время обсуждения законопроекта и после принятия закона были озвучены различные суммы затрат на его реализацию, которые отличались на порядки. В апреле 2017 года ФСБ и Минкомсвязь оценили приблизительные совокупные затраты российских операторов на закупку оборудования для выполнения «закона Яровой» и создание сопутствующей инфраструктуры в 4,5 трлн рублей, из них 3 трлн рублей должно уйти на закупку оборудования.

В июне министр по делам «открытого правительства» Михаил Абызов заявил РБК, что стоимость реализации «пакета Яровой» для операторов может ограничиться 130 млрд руб. По его словам, общие капитальные затраты, которые могут потребоваться для обеспечения хранения всех видов передаваемой информации, в том числе и видео, действительно могут достичь 3 трлн руб. Однако, как уточнил министр, во время экспертных слушаний было установлено, что часть информации, передаваемой операторами, хранить не требуется. Кроме того, Абызов пояснил, что затраты могут снизиться и вследствие поэтапного воплощения в жизнь положений закона.

Еще до принятия закона рабочая группа при правительстве оценила затраты в 5 трлн рублей, операторы «большой тройки» оценивали инвестиции на его исполнение в 2,2 трлн рублей.​ Объем данных для хранения по «закону Яровой» оценили тогда в 157 млрд гигабайт.

[tma]

Пора делать ставки на то, что срок уменьшат до 1-7 дней, а затем отменят этот маразм вообще.
Интересно, успели попилить бюджет на этом или еще нет?

[virus_net]

Не, отменят тогда когда останется только один провайдер.
Не будем произносить его имя, думаю, что оно очевидно.

[virus_net]

10 ФЕВ
Правительство определилось со сроками хранения данных по «закону Яровой»

Минкомсвязь согласовала проект постановления, уточняющий положения «закона Яровой». Операторы связи должны будут хранить аудиозаписи разговоров и СМС полгода начиная с 1 июля, интернет-трафик — в течение месяца с 1 октября

Подробнее на РБК:
https://www.rbc.ru/technology_and_media ... 68f5c304e6

[hёdgehog]

Без объявления войны...

Уважаемый Клиент,

В связи с решением встречного оператора по ограничению пропуска трафика с А-номерам принадлежащим другим операторам мы вынуждены временно заблокировать Ваш транк.
Встречный оператор ввел ограничения с сегодняшнего дня без предупреждения.
Основаним служат поправки в Закон о Связи о "подмене номера", а так же вступивший в силу Закон Яровой.
В настоящий момент мы ведем переговоры с другими операторами для возобновления трафика по приемлемой цене.
Но пропуск номеров будет возможен только по заранее согласованному списку.
Приносим наши извинения за возникшие неудобства.
Просим снять с нас трафик до решения указанной проблемы.

Вроде бы решили, а потом:

Добрый день.
Почему-то нет отзвона на номера Билайн, оператор сообщает о недоступности абонента. С чем это может быть связано?
________________________________________

Уважаемый Клиент,

К сожалению мы получили ответ от встречного оператора следующего содержания:

Вызов с номер А – 73843XXXXXX (ПАО "Ростелеком" г. Новокузнецк|Кемеровская обл.) на номер B – 7961XXXXXXX (ПАО "Вымпел-Коммуникации" Кемеровская обл.) - является внутризоновым и не должен приходить на стыках в других регионах и соответственно уходить на МГ-сеть.
Ваша заявка решена.
--

Теперь отзвониться, подставляя свой основной номер - проблема. Позвонить внутри региона, используя VoIP-оператора, не имеющего инфраструктуры в нашем регионе - проблема. Пока решили через RDNIS, жуткий костыль, да и надолго ли...