|
Как собрать Доски объявлений для своей базы рассылки
|
|||||||||||||||||||||||
|
Не настолько и сложно это на самом-то деле. Хоть и есть нюансы.Так что давайте с этим вопросом и разберемся.
Использование возможностей программы Smartposter
В программу встроена прекрасная возможность эту базу собрать.
Жмите эту кнопку и четыре поисковые системы в Вашем распоряжении.
А в форме вводите поисковые операторы. Все основные – описаны в справке к программе, а сам процесс – еще и в специальном видеоролике. http://www.bspdev.ru/Video/SP_Lesson3/SP_Lesson3.html
Поэтому не буду я «отбивать хлеб» у разработчиков. Они славно потрудились и над этим вопросом. Что не так-то часто и встречается вообще то…
Преимущества – налицо: система поиска интегрирована в программу, а посему одновременно с собственно поиском:
N.B. Интернет большой, поисковые роботы обходят его достаточно медленно. Волей – неволей найденные адреса вполне могут уже и несуществующими оказаться. По множеству причин.
Кроме того, есть и еще целый ряд серьезных дополнительных возможностей настройки поиска. Вплоть до загрузки «Множественных запросов». Есть резоны и с ними разобраться.
Так что, уверяю Вас – пользоваться для собирания базы именно этим инструментом – резон есть!
В результате получаете что-то вроде вот такого списка.
Вот и все! Загружайте его в нужную Вам рубрику и пользуйтесь на здоровье!
Другие способы собирания базы Досок
А вот это – целая здоровенная специализированная область в Инете. Даже название для этого дела есть. Парсинг. Под которым, в данном случае, понимается сбор адресов досок, каталогов, гостевых, блогов и форумов для дальнейшего их использования. Хотя, в сущности, все сводится к двум вопросам:
Ну и, конечно, множество нюансов выплывает. Которые тоже стоит знать / понимать.
N.B. Ну например: «Терпение» при таком парсинге у любой поисковой системы кончается довольно быстро. В результате поиск и выдача досок прекращается, причем, как обычно, в самый неподходящий момент. А Вы получаете вопрос примерно такого вида
Что дальше то делать??? Вот – первая проблема. Поисковые системы стараются ограничить выдачу результатов, а наш интерес – количество этих результатов увеличить, верно?
Есть и такой вопрос. Ну, собрали Вы базу. Большущую! Так ведь ее еще в Smartposter ввести надо. Почистить дополнительно. Настроить предварительно. И, в процессе всего этого, максимально убрать из нее «мусор». А уж только потом начинать ее настраивать окончательно.
А это как сделать? Вот – вторая проблема…. И вовсе немало «по пути» проблем таких возникает… Что и создает у некоторых товарищей впечатление жуткой сложности, трудной решаемости задачи собирания собственной базы Досок объявлений. Вот так и сводится проблема к простым решениям: «Где бы найти готовую базу»? Или: «А у Вас есть такая база»? А ведь набрать доски, нужные именно Вам, конкретно Вам, под Ваши конкретные потребности не так то и сложно.
N.B. Дело однако в том, что вопросы эти мне постоянно задают. А развернуто ответить на них по ICQ невозможно по определению. Вот и решил я выложить для Вас хотя бы «основы основ» этого дела.
Какие программы использовать для парсинга
Их много на самом деле. Я приведу только две. Бесплатные. Остальные, если потребуется, Вы и сами найти сумеете, верно?
AGGRESS Parser 2.0
Скажу сразу: этой программой я не пользовался толком. Не потому, что плохая. Просто «руки не дошли». Но отзывы о ней весьма неплохие. Так что, будет желание – разберитесь.
Yandex Parser 0.0.0.6 http://topperharley.ru/2009/06/yandex-parser-parser-yandeksa-besplatno/
Вот с этой программой я занимался гораздо больше. Потому о ней Вам и расскажу.
Программа
может искать в Яндекс и Google Проверяет адреса на повторы. Может выводить адреса как с «полным путем», так и без него. Загружает
запросы либо в кодировке Windows 1251, либо в
UTF-8 (Юникод) Так что обратите внимание – текст в этом окошке д.б. «читабельным». По русски :)
Есть и еще одна опция – «Сохранять ключи в результате». Вот ей пользоваться наверное не стоит. Иначе в TXT файл будет перед каждым адресом выводиться примерно такой ключ:
inurl:add.html site:.info title:объявление: http://www.aleksin-info.ru/board/add.html
и вводить такой список в Smartposter будет трудновато.
И еще пара комментариев к этой программе.
1.
Использовать в программе парсинга есть смысл так называемые «Множественные
запросы». Вводятся они кнопкой
2.
Есть и регулировка паузы между запросами. Я с ее помощью пытался увеличивать «терпение» поисковых систем. Ставил паузу -14, 29 и 49 секунд. Разницы, к сожалению, не заметил.
Вот и все о собственно программе.
Дальше – загружаете запросы и жмете кнопку
И любуетесь на процесс нахождения Ваших досок объявлений.
А теперь давайте хоть немного разберемся Как составлять запросы для поиска
Сформулируем, что должно быть в любом запросе. 1. Собственно форма, куда мы наши объявления вводить хотели бы. В формате .html или .htm Например: add.html и add.htm 2. Нужная Вам группа сайтов (домен) Например: .ru, .ua,.by, info, .org, biz,.com. Или другие (к примеру, национальные –US, UK, FR, IL) домены. 3. Слова, содержащиеся в заголовке. Например: Объявление, Доска объявлений, Добавить объявление, Создать объявление и т.д.
В результате у нас с Вами получилась некая система запросов. Вполне упорядоченная и управляемая.
Вот и давайте её реализуем. Для поиска Досок объявлений.
С помощью программы SEO Generator (http://www.seogenerator.ru/) и «доброго слова» в виде конструкции { | | | }
N.B. Как видите программу SEO Generator можно (и нужно) использовать не только для генерации Вариантов Ваших объявлений, но и в данном случае. Для генерации Множественных запросов.
Перечислю чуть подробнее упомянутые выше составные части запросов. Их варианты. Вы же, в свою очередь, всегда это дело и расширить можете. Или совсем другие варианты применить. (В варианте для Яндекс)
Название формы для ввода объявления: inurl: add.html, new.html, doska.html, announc_add.html, obyavleniya.html, adddesk.htm, boardadd.html, new.html, addform.html, board_add.html, dobav.html, add.htm, new.htm, doska.htm, announc_add.htm, obyavleniya.htm, adddesk.htm, boardadd.htm, new.htm, addform.htm, board_add.htm, dobav.htm
Домены сайтов для поиска domain:. .ru, .ua, .by, .info, .org, .biz, .net, .com
Текст в заголовке title:объявление, доска объявлений, разместить объявление, добавить объявление, создать объявление.
А вот Вам и полный текст шаблонов Множественного запроса для поиска Досок объявлений. С примененной конструкцией { | | | } Можно просто скопировать их и вставить в SEO Generator
Вариант запроса для Яндекс
inurl:{add.html|new.html|doska.html|announc_add.html|obyavleniya.html|adddesk.htm|board.html|boardadd.html|addform.html| board_add.html|dobav.html|add.htm|new.htm|doska.htm|announc_add.htm|obyavleniya.htm|adddesk.htm|boardadd.htm|addform.htm| board.htm|board_add.htm|dobav.htm}domain:{.ru|.ua|.by|.info|.org|.biz|.net|.com}title:{объявление|доска объявлений|разместить объявление|добавить объявление|создать объявление}
Вариант запроса для Google
inurl:{add.html|new.html|doska.html|announc_add.html|obyavleniya.html|adddesk.htm|boardadd.html|addform.html|board.html| board_add.html|dobav.html|add.htm|new.htm|doska.htm|announc_add.htm|obyavleniya.htm|adddesk.htm|boardadd.htm|addform.htm| board.htm|board_add.htm|dobav.htm}site:{.ru|.ua|.by|.info|.org|.biz|.net|.com}intitle:{объявление|доска объявлений|разместить объявление|добавить объявление|создать объявление}
N.B. Разница в синтаксисе запроса (применяемых поисковых операторах). · Для Яндекс – inurl:, domain: и title: · Для Google – inurl:, site: и intitle:
Далее – вставляете запрос, жмете Получаете на выходе список из более чем 800 вариантов запросов
и сохраняете получившийся «Множественный запрос».
N.B. Кстати. Использовать этот множественный запрос можно не только в специализированных программах парсинга, но и прямо в Smartposter. Что, пожалуй, даже и предпочтительней.
Как побороть «мелкие пакости» Яндекс
Восемьсот (!!!) запросов. Да «ни в жисть» у Яндекса терпения не хватит, чтобы сразу их обработать! Обязательно (и не раз) доказательств затребует. Что Вы не робот!
Вот и приходится волей неволей разбивать этот запрос на множество более мелких.
Система примерно такая. Вот хотим мы «по максимуму» доски найти. Поэтому и обрабатываем все распространенные домены. (domain:{.ru|.ua|.by|.info|.org|.biz|.net|.com})
Я бы посоветовал делать это отдельно. 1. Первый множественный запрос – только с доменом RU – (domain:.ru) 2. Второй – с доменом UA (domain:.ua) 3. И так далее…
Тогда количество вариантов в получившихся у нас запросах сразу примерно до 100 сократится… Но, и 100 вариантов Яндекс не выдерживает! Так что придется Вам и эти 100 вариантов «порциями» загружать.
И, даже в этом случае, время от времени Яндекс Вас «под подозрение» будет ставить! Правда, если и в «мелких порциях» запросов он Вас проверять захочет – все уже проще… Останавливаете поиск. Подтверждаете, что Вы не робот. (Честно, между прочим, подтверждаете!). И запускаете все «по новой».
Вот видите, как оно все: просто, но хлопотно, на самом то деле! Я обычно, когда базу досок решаю набрать / расширить – сразу целый день для этого выделяю. Хлопотно…Хотя и просто… Но хлопотно…
Так что волшебного, «петушиного слова» я не знаю!
Не получается так. Хочется базу новеньким пополнить – волей неволей «впахивать» приходится! Труд свой вкладывать.
Как ввести и обработать списки досок в Smartposter
А теперь об очередном (но далеко не последнем вообще то) этапе.
Всё! Мучились! Пахали! Составили список досок! Огроменный! от такой, например: Доски_новые.txt Теперь его обработать надо. Пользу из него извлечь!
Создаем для него рубрику. Пусть она называется «Доски для настройки»
Открываем вкладку «Работа с базой», жмем кнопку «Импорт адресов из файла». Далее – вводим пути: откуда взять список и куда его ввести.
Получаем в базе вот такую рубрику, в которой теперь и находятся наши новые доски.
Не впечатляет, верно? Первое, что с ним надо сделать – почистить от несущестующих уже на данный момент досок. Делается это многоэтапной их проверкой.
1. Жмем кнопку «Проверить» – Со всеми адресами категории. Проверяем – существуют ли вообще сейчас адреса.
Чтобы не просматривать вручную весь список в
поисках несуществующих адресов, сортируем список по полю «Статус»
Выделяем и удаляем Плохие доски. – Только из этой категории и только с выделенными адресами.
И список наш похудел с 2301 до 2255 досок. N.B. Знаете откуда взялись «Плохие» адреса? Вроде Вы всего полчаса назад их из Инета извлекли ведь…. Поисковые роботы – штука быстрая и производительная. По Интернет то огромен! И с момента последнего посещения роботом каждой доски проходит какое то время. Оно всегда разное, но оно есть! Вот это-то мы сейчас и выявили. Умерли уже некоторые доски. Хотя и живыми числятся.
2. Следующая проверка списка. Проверяем (определяем) ТИЦ и PR. Со всеми адресами категории.
И точно так же «плохие» удаляем.
N.B. А эти «плохие» откуда взялись? Вроде бы уже проверяли только что? Дело в том, что довольно много адресов, по которым были Доски, существуют и сейчас. Только собственно Досок там уже нет. Вот это мы и выявили сейчас.
3. Еще проверка. И, одновременно, предварительная настройка полей в формах Досок объявлений.
Загружаем поля.
Жмем кнопку
И еще куча «Плохих» выявилась. И с пометкой «Форма не найдена».
Плохие – безусловно удаляем. А вот с пометкой «Форма не найдена» можно двояко поступить: есть время и желание – с каждой Доской отдельно разобраться. А нет – ну и удалите их. Новые потом добавите. Если желание будет. (Я их в данном случае удалил все). И список наш в итоге – с 2301 до 1841 доски похудел. Почти на 500 досок уменьшился. А значит и Вам легче жить в дальнейшем будет. Мусора меньше!
N.B. Кстати, заметили? И в поле «Название» информация появилась. А то, в самом начале то, очень уж «голый» какой-то вид у списка был.
Вот, собственно, и все! Предварительная проверка и настройка досок закончена.
Дальше – настройка индивидуальная. Под Ваши потребности. Заполняете поля в формах, вносите в нужные Вам рубрики и т.д.
Но это уже - «песня отдельная»! Да и у самого разработчика прекрасно и описана, и видеороликами проиллюстрирована. Поэтому углубляться в нее – не буду!
Возвращаюсь к «собиранию» досок. Еще немного добавлю…
Как собрать базу иностранных досок
Вот некоторые наиболее нужные нам домены «ближнего и дальнего зарубежья»
Да и другие домены при желании найти совсем несложно.
А вот примерно как может выглядеть поисковый запрос для США например. (Поиск досок и каталогов в Google)
inurl:{add.html|new.html|board.html|add board.html|board add.html|add form.html|add.htm|new.htm|board.htm|add board.htm|board add.htm|add form.htm} site:.us intitle:{board|new board|add board|site|new site|add site}
N.B. Запрос конечно ОЧЕНЬ примерный. (У меня нужды в поиске иностранных сайтов никогда не возникало). Однако он дает возможность создать и гораздо более толковые запросы. Реальные. Я просто сам принцип составления таких запросов проиллюстрировал.
Как правильно ввести текст для оператора intitle: (Текст в заголовке)
1. Запускаете в Google запрос inurl:new.html site:.us. Прямо в Вашем браузере. 2. Просматриваете реальные тексты заголовков, находите нужные именно Вам. Вводите найденные нужные Вам реальные поисковые фразы в оператор intitle:
Например: Поисковые фразы для Украины, найденные таким способом, выглядят так:
дошка, оголошення, новина, додати оголошення, дошка оголошень, додати новину, дошка безкоштовних оголошень
А для США, к примеру, может выглядеть так. board new board add board site new link add site
Далее – смело добавляете эти фразы в оператор intitle:
И двигаетесь дальше… Создаете список запросов (Множественный запрос), Загружаете его в специализированную программу для Парсинга. Или прямо в Smartposter…. И далее, по всем этапам работ…
И последний нюанс. Для полного счастья :)
Вот, к примеру, запрос (для Яндекса).
inurl:board domain:.ru title:объявления
т.е. в адресе должно содержаться «board», домен – ru, а в заголовке – слово «объявление» (в любом числе и падеже). Ценный запрос, верно?
Запускаем… И получаем ровно 1000 досок. Не выдает он больше! Ограничитель стоит! А ведь Яндекс нам говорит, что нашел 34 тыс. ответов!!! Ну и как нам их из него «выцарапать»?
Вот тут то и выручит Вас хорошее знание поисковых операторов и их творческое применение. Не ленитесь! Загляните сюда Для Яндекс => http://help.yandex.ru/search/?id=481920 Для Google => http://www.google.ru/support/websearch/bin/answer.py?answer=35890
Посмотрите, что там за «Язык запросов» такой! Поэкспериментируйте!
Вот в данном случае один из выходов – совсем простой! Примените Ваше знание русского алфавита, к примеру. (а, в, в, г, д…)
Создайте Множественный запрос:
Вот и всё! Это же разные запросы? Вот и выдаст Вам Яндекс, нет, не в 33 раза больше, конечно. Но уж в 5 – 6 раз - гарантированно!
Просто все, правда? Для этого только немножко с Языком запросов надо разобраться. И творчески это дело применить.
Но Вы же и есть - творцы! Со 100% гарантией! Творите! Дерзайте! И результат превзойдет все Ваши ожидания!
УСПЕХОВ ВАМ!!!
|
|
||||||||||||||||||||||
|
|
|||||||||||||||||||||||
|
© 2007 - 2011 All rights reserved |
|||||||||||||||||||||||
Выводит
все найденное в список формата *.
Получаем список, отсортированный по Статусу.
