Определение веб-пауков и веб-сканеров

Пауки - это программы (или автоматические скрипты), которые «сканируют» через Интернет, ищущие данные. Пауки путешествуют через URL-адреса веб-сайтов и могут извлекать данные с веб-страниц, таких как адреса электронной почты. Пауки также используются для подачи информации, найденной на сайтах, в поисковые системы.

Пауки, которые также называют веб-сканерами, ищут в Интернете, а не все дружелюбны по своим намерениям.

Сайты спамеров Spider для сбора информации

Google, Yahoo!

и другие поисковые системы не единственные, кто интересуется обходными сайтами - так это мошенники и спамеры.

Пауки и другие автоматизированные инструменты используются спамерами для поиска адресов электронной почты (в Интернете эта практика часто упоминается как «сбор урожая») на веб-сайтах, а затем используется для создания списков спама.

Пауки - это также инструмент, используемый поисковыми системами, чтобы узнать больше о вашем веб-сайте, но не отмечен, веб-сайт без инструкций (или «разрешений») о том, как сканировать ваш сайт, может представить основные риски информационной безопасности. Пауки путешествуют по ссылкам, и они очень хорошо разбираются в поиске ссылок на базы данных, файлы программ и другую информацию, к которой вы не можете иметь доступ.

Веб-мастера могут просматривать журналы, чтобы узнать, какие пауки и другие роботы посетили их сайты. Эта информация помогает веб-мастерам знать, кто индексирует их сайт и как часто.

Эта информация полезна, потому что она позволяет веб-мастерам точно настраивать свой SEO и обновлять робот. txt, чтобы запретить некоторым роботам сканировать их сайт в будущем.

Советы по защите вашего сайта от нежелательных роботов-сканеров

Существует довольно простой способ избавить нежелательных искателей от вашего веб-сайта. Даже если вас не беспокоят злонамеренные пауки, сканирующие ваш сайт (обфускание адреса электронной почты не защитит вас от большинства искателей), вам все равно необходимо предоставить поисковым машинам важные инструкции.

Все веб-сайты должны иметь файл, расположенный в корневом каталоге, называемом роботами. txt-файл. Этот файл позволяет вам проинструктировать веб-сканеров, где вы хотите, чтобы они смотрели на страницы индекса (если не указано иное в метаданных определенной страницы, которые не индексируются), если они являются поисковой системой.

Так же, как вы можете рассказать о желаемых искателях, где вы хотите их просматривать, вы также можете сказать им, куда они могут не идти, и даже блокировать определенные сканеры со всего вашего сайта.

Важно иметь в виду, что хорошо собраны роботы. txt-файл будет иметь огромное значение для поисковых систем и даже может стать ключевым элементом в улучшении производительности вашего сайта, но некоторые роботы-роботы по-прежнему будут игнорировать ваши инструкции. По этой причине важно постоянно обновлять все программное обеспечение, плагины и приложения.

Статьи по теме и информация

Из-за распространенности сбора информации, используемой для неправомерных (спама) целей, в 2003 году было принято законодательство, чтобы сделать определенную практику незаконной. Эти законы о защите потребителей подпадают под действие Закона CAN-SPAM от 2003 года.

Важно, чтобы вы потратили время на ознакомление с Законом о CAN-SPAM, если ваш бизнес занимается любой массовой рассылкой или сбором информации.

Вы можете узнать больше о законах о защите от спама и о том, как обращаться со спамерами, и что вы, как владелец бизнеса, можете не делать, прочитав следующие статьи:

• AC-SPAM Act 2003
• CAN- Правила закона о спаме для некоммерческих организаций
• 5 правил CAN-SPAM Владельцы малого бизнеса должны понимать