Нововведения и улучшения в Hrefer 4.0 Professional01 октября 2013

реализована поддержка UTF-8 и других кодировок в файлах Words и Additive Words (кодировка определяется автоматически, но при желании можно указать свою)
реализован авто-обход капчи Яндекса (благодаря чему улучшен парсинг не только Яндекса + его сервисов, но и Рамблера)
восстановлен парсинг Google, Altavista, Rambler, Baidu, BoardReader, Blogs.Yandex (для парсинга Google рекомендуем использовать его клон Mail.Com, он в конце списка)
теперь опция "Enable filtering of duplicated links on loading links database" по умолчанию включена, это значит что при загрузке программа будет индексировать уже имеющуюся базу и фильтровать дубли в ходе парсинга корректнее — но из-за этого может показаться, что после перезапуска парситься стало медленнее; чтобы вернуть как прежде - просто выключите эту опцию, но в этом случае будет больше дублей при частом рестарте Hrefer-а
опция приведения к индексу, напротив, теперь по умолчанию выключена
улучшены низкоуровневые функции по работе с сетью
улучшен процесс распознавания капчи
в меню "Stats" добавлен "Sieve-filter report" для более прозрачного и понятного контроля фильтрации ссылок
улучшена обработка редиректов в процессе парсинга
добавлена поисковая система Search.Mail.Com (дублёр Google.Com)
там же, реализована поддержка обработки капчи
обновлён встроенный список юзер-агентов
добавлена кнопка "Undo" в окне редактирования "Additive Words"
устранён баг замены "%" на "%25" в кодированных запросах
увеличена детализация информации в "Help —> About"
устранена ошибка переполнения счётчика дублей
для большего удобства добавлены подсказки в инструменте тюнинга
добавлен чекер googlehost.txt, доступен через меню "Tuning"
улучшена работа с относительными путями при переходе на след.страницу (пример - BoardReader)
реализовано удаление Query-лога вместе с базой, при нажатии на кнопку "Clean"
скорректировано отображение чек-листа поисковых систем
устранён баг проверки прокси через цифро-буквенные домены
приведены примеры использования регулярных выражений в engines.ini, см. в инструменте тюнинга Hint-ы в полях "Links mask:", "Next page - 1", "Next page - 2"
в отладочном режиме расширено логирование получаемого контента — до/после редиректа, до/после капчи
расширена доп.информация в отчёте "имя_базы_query.txt"
добавлена система предупреждений
удалён лимит по количеству прокси/сокс
скорректирована работа опции "Add this pause between threads starting"
повышена стабильность работы программы
скорректировано возникновение ошибки "Internet connections error"
улучшена работа фильтрации по блек-листу xblack.txt
из формируемых запросов удалены "Proxy-Connection: Keep-Alive" и "Connection: Keep-Alive"
устранена погрешность отображения таблицы "Search engines stats", возникающая после сортировки
реализована возможность выпарсивания любого контента, а не только ссылок, для этого необходимо в hrefer.ini в секции [Search Engine options] прописать параметр HarvestAll=1
скорректирован вывод ссылок в инструменте тюнинга, расширены возможности просмотра результатов и анализа
добавлены текстовые файлы логики, см. папку LogicFiles
реализована подстановка мобильного юзер-агента, в случае если в заголовке ПС содержится слово "mobile", например "[Google Mobile]"
обновлена функция "Add words from Google"
добавлена возможность просмотра HTML-содержимого каждого потока, см. контекстное меню таблицы потоков, пункт "View last HTML content"
минимальная периодичность авто-сохранения результатов увеличена до 5-ти минут
минимальная периодичность авто-обновления прокси увеличена до 10-ти минут
усилена защита от нелегального копирования (к сожалению, из-за этого некоторые функции могут запускаться медленнее)
реализована возможность использовать прокси только для указанных поисковых систем
устранен баг доп.попыток ("Try") для тех потоков, где прокси отключены
реализовано чтение и вывод капчи на Baidu (пока — только через ручной/антикапча режим)
добавлен инструмент анализа отчётов xproxy_stats.htm / xsocks_stats.htm