Парсинг результатов выдачи с Yandex.XML на Java

Часть 1. Лирическое отступление.

Если вы не хотите читать "многабукв", а хотите сразу увидеть пример кода - переходите ко второй части этой статьи.

Года 4 назад я впервые окунулся в мир SEO. Это было для меня ново и интересно, а уж как завораживали финансовые "стриптизы" популярных сеошников - голова кругом шла :)

С тех пор много воды утекло. Честно говоря, каких-то особых высот в этом деле я не достиг, но полезные знания сохранились. Помимо знаний сохранилось и несколько сайтов, которые я время от времени то забрасываю, то всячески стараюсь оживить.

Сейчас, будучи старшим программистом в довольно крупной организации, регулярно выделять время на это хобби не получается. Поэтому всё чаще возникают идеи автоматизации некоторой работы. Вот подобной простенькой задачкой я и решил заняться после отходняка от новогодних праздников :)

Плох тот сеошник, который не знает позиции своего сайта по основному набору ключевых слов. С одной стороны это легко решается приобретением какого-нибудь специализированного софта, а-ля Yazzle или ему подобных. С другой стороны регулярный контроль позиций можно осуществлять с помощью сервиса SeoBudget за сущие копейки (рефссылка), что я и делал до поры до времени. Есть и третий вариант - на просторах интернета можно найти бесплатные поделки, которые может быть выглядят похуже, умеют поменьше и рекламируются поскромнее, но при этом ничуть не хуже старших собратьев умеют проверять позиции сайта в выдаче по ключевым словам.

Но нормальные герои всегда идут в обход, вот и я по исконно русской программерской традиции решил написать свой софт для снятия позиций.

Начать решил с Яндекса, ибо с ним у меня всегда отношения складываются очень напряженно. За полчасика накидал парсер поисковой выдачи, запустил всю эту красоту и... словил бан от Яши - мои запросы справедливо были расценены, как роботские. Я посмеялся над своей наивностью, пригрозил Яндексу вторым раундом сражения, когда я напишу парсер с человекоподобным поведением, антикапчей, блэк джеком и балеринами и пошел писать парсер выдачи через сервис Яндекс.XML.

Прежде чем перейти непосредственно к примеру взаимодействия с этим сервисом, хочу сказать пару слов об этом самом сервисе. Итак, Яндекс.XML - это по сути интерфейс взаимодействия программ/сервисов/сайтов пользователя с поисковой базой Яндекса. Сам Яша делает акцент на том, что лучше этот сервис использовать для прикручивания удобной формочки поиска на вашем сайте. При этом он не даёт расслабляться наглым халявщикам вроде меня и ограничивает использование сервиса 1000-ю запросами в день с заранее зарегистрированного IP-адреса. Более того, чтобы получить разрешение на эти 1000 запросов в день, нужно вбить какой-нибудь номер сотового телефона, отличный от того, к которому привязан ваш почтовый ящик, на него придет СМСка с кодом подтверждения и только тогда наступит счастье.

В общем мороки много, выгода сомнительна - с тысячью запросами в день особо не разгуляешься, но халява есть халява, к тому же для простой проверки своих позиций в топе этого будет достаточно.

Забегая далеко вперёд, я скажу, что всё-таки нашел не бесплатный, но довольно дешёвый способ анализировать выдачу Яндекса (примерно 1 копейка за запрос против 3 копеек у SeoBudget), и буду двигаться в этом направлении, но это уже тема для совсем другой статьи.

Часть 2. Переходим к конкретике.

Пора перейти к коду.

Волка ноги кормят, а меня - язык Java, поэтому и пример будет на Java. К тому же беглый поиск примеров взаимодействия с Yandex.XML на java результатов не дал: кругом один php, и чуть-чуть perl-а.

Методы воздействия на подсознание человека

На правах первой статьи в блоге.

Когда-то давым давно, когда трава была зеленее, а вода чище, нам в институте читали интересную лекцию на тему человеческой психологии и способах влияния на массы. Лекция мне очень понравилась, хотя многие темы были затронуты довольно повехностно. Я решил оформить основные мысли той лекции в отдельную статью, чтобы не забыть.
Насколько она будет полезна другим - судить не мне.


Во времена всеобщей информатизации Интернет является не только отличным средством для общения, чтения новостей или даже заработка, но и прекрасной возможностью влиять на массы. Думаю, что многие из "обитателей" всеобщей паутины не смотрят (ну или почти не смотрят) телевизор. Кто-то не находит себе там ничего интересного, кто-то считает, что там всё куплено и людям врут, а кто-то попросту экономит электричество :) Многие, если не все, слышали про "зомбирование" населения через СМИ и телевидение. Однако не все задумываются о том, что похожие методы влияния на сознание, а точнее подсознание людей действуют и во всемирной сети Интернет.

Проинформирован - значит вооружен. Этой статьей я хотел бы "вооружить" читателей в борьбе с внешним воздействием на сознание людей. Ну а кто-то, может быть, сможет применить полученные знания в общении с начальником, обсуждая повышение зарплаты ;-)

Начнём издалека. В упрощённом варианте, когда мы рассматриваем мыслительный процесс человека, то говорим о сознании и подсознании человека.
Сознание - это буфер человеческого мозга. Сознание напрямую взаимодействует с сенсорами человека - органами чувств. Мы получаем информацию, обрабатываем её и, если считаем её достойной, запоминаем - переносим информацию в долговременную память.
Вот подсознание как раз оперирует данными из долговременной памяти. Человек не задумывается о том, как ему выйти из комнаты - просто выходит через дверь. Человек не будет "трогать" огонь - знание о вредоносности огня заложено в подсознании.
Мировоззрение человека строится на таких знаниях из долговременной памяти. В ранних стадиях развития человечества все знания достигались опытным путём: потрогал, обжёгся, запомнил. В наше время потребности в знаниях слишком велики, всего не достигнишь опытным путём. Как заработать в интернете, как играть на рынках акций, как сделать ремонт в квартире?... Таких вопросов миллионы. И человек ищет ответы на них в доступных для себя источниках.

Этим и пользуются те, кто хочет влиять на людей. Их главная задача - просунуть нужную им информацию в подсознание человека, обойдя сознание. Им не нужно, чтобы человек анализировал полученные факты и решал для себя их важность. Им нужно, чтобы люди безоговорочно запоминали нужные алгоритмы поведения.
Я не буду заострять внимание на том, кому это нужно. Западным политикам, отечественным политикам, рекламщикам... да мало ли кому. На человека ежедневно обрушивается масса информации и правда в том, что часть "пропихивается" в подсознание, не привлекая к себе внимание.

Таким образом, я перехожу к основной части статьи - методам воздействия на человека. Если вы будете знать методы воздействия на своё посознание, то сможете вовремя осознать и распознать факт их применения. А значит сможете грамотно фильтровать потоки информации, защитившись от внешнего воздействия.