Назад Релиз обновления 2.1 – исправление критических ошибок, новый парсер

Релиз обновления 2.1 – исправление критических ошибок, новый парсер

admin, 04.11.2019 19:11

Доработка парсеров людей и групп ВК и ОК

Это короткая новость, описывающая последние изменения в сервисе, и по совместительству являющаяся тестом нового функционала статей. Мы сохраняли эфирное молчание с сентября не просто так. Дело в том, что за это время мы прилагали максимум усилий на исправление очень серьезных недостатков с нашими базами людей и групп.

Во-первых, эти недостатки не позволяли нам быстро собирать и обновлять базы.

Во-вторых, до этого момента наши инструменты, зависящие от наших баз, работали несколько нестабильно, в некоторых случаях довольно долго, и иногда выдавали скудный результат. Теперь парсеры Поиск людей ОК, Поиск людей ВК, Поиск групп ОК будут работать в разы быстрее.

Благодаря комплексной переработке наших подходов к работе с данными, а также благодаря изменениям в алгоритмах работы наших подсистем - удалось ускорить сбор и обновление баз на порядок, а также повысить скорость и стабильность поисков людей и групп в несколько раз, особенно это касается поисков с множеством условий.

Параллельно велась работа над механизмом статей, и совсем скоро можно ожидать появление кейсов, обучающих статей, расширенной документации, и многого другого!

Ну и на затравку - переработали, расширили функционал и вернули инструменты Контакты сообществ ОК Контакты сообществ ВК, которые позволяют собирать контакты админов и модеров для групп в ОК, и указанные контакты для ВК. Для ВК доступна расширенная выгрузка - помимо идентификаторов можно выгрузить должность, email и номер телефона (если одно из этих полей было указано).

Надеемся данные изменения придутся вам по вкусу (особенно тем, кто давно отмечал проблемы со странностями с поисками).

P.S. По факту мы заново пересобираем базу, но уже за неделю опередили прошлый результат - результат почти трёх месяцев непрерывной работы наших старых скриптов 😜