Semalt Islamabad Expert: Топ 10 на най-популярните уеб сканери и ботове
В интернет има два вида ботове, които се наричат добри ботове и лоши ботове. Трябва да вземете сериозни мерки срещу лошите ботове, тъй като те могат да консумират DDN честотната лента за нула време. Освен това, отрицателните или лошите ботове открадват вашето уеб съдържание и заемат ресурсите на сървъра. От друга страна, с добрите ботове (наричани още като уеб сканери) трябва да се работи внимателно, тъй като те помагат да се индексира уебсайтът ви в резултатите от търсачката , като Bing, Google и Yahoo.
Майкъл Браун, водещ експерт от Semalt , уверява, че има стотици и хиляди ботове и уеб сканери , които търсят в интернет, но следните са най-популярни.
1. GoogleBot
Googlebot е един от най-добрите и най-известните уеб сканери до този момент. Той се използва широко за индексиране на уеб съдържание и статии за резултатите от търсенето с Google. Най-добрата характеристика на Googlebot е, че той предоставя на потребителите много инструменти и опции. По-конкретно, Googlebot казва на Google кои страници трябва да бъдат индексирани и кои от тях трябва да бъдат оставени.
2. Bingbot
Точно като Googlebot, Bingbot е популярен уеб сървър от Microsoft. Това е от години и има за цел да индексира уебсайтове в резултатите от търсенето в Bing. Bingbot е идеален заместител на MSN бота. Най-известната му опция се нарича Fetch as Bingbot, която присъства в Bing Webmaster Tools. Тази опция ви позволява да поискате страниците да бъдат индексирани и показани в резултатите от Bing.
3. Slurp Bot
Slurp Bot е уеб браузър на Yahoo, но се захранва от Bing. Уебсайтовете трябва да позволяват на Yahoo Slurp достъп до своите страници за показване в резултатите от Yahoo Mobile Search. Този уеб браузър се използва за събиране на съдържание от партньорските уебсайтове за включване в Yahoo News, Yahoo Sports и Yahoo Finance.
4. DuckDuckBot
DuckDuckBot е известният и най-добрият уеб анализатор на DuckDuckGo. Тази търсачка е известна със своята поверителност и не проследява потребител без негово разрешение. Средно той обработва десет милиона заявки всеки ден. DuckDuckGo получава резултатите от повече от 400 източника, включително няколко вертикални източника, които предоставят отговори, свързани с Незабавни отговори, Уикипедия и DuckDuckBot. Той също така обработва заявки, които идват от източници като Yandex, Bing и Yahoo.
5. Baiduspider
Baiduspider е официално наименование на уеб сканер или паяк на китайска търсачка. Той може да индексира много уеб страници всеки ден и връща актуализациите към своя Baidu индекс. Baidu е една от водещите китайски търсачки. Той има повече от осемдесет процента дялове от общите пазари за търсене на China Mainland.
6. Yandex Bot
YandexBot е конкретен уеб браузър на руска търсачка, Yandex. Медиите твърдят, че този бот е генерирал над 57% от целия трафик на търсачки в Русия през 2015 г.
7. Паяк Согу
Паякът Sogou е известен уеб браузър на Sogou.com. Тази водеща китайска търсачка е лансирана през 2004 г. и има ранг на 103 на Alexa. Трябва да имате предвид, че уеб паякът Sogou никога не спазва интернет стандартите robot.txt и е забранен от различни сайтове поради прекомерното му обхождане.
8. Exabot
Този уеб браузър се управлява от Exalead, френска търсачка. Той е основан преди няколко години и има над шестнадесет милиарда уеб страници, индексирани в резултатите от търсенето му.
9. Външен хит на Facebook
Гигантът на социалните медии Facebook позволява на потребителите си да споделят интересни връзки с други потребители на Facebook. Външният хит на Facebook изпълнява различни функции, включително показване на няколко изображения, някои вълнуващи видеоклипове и няколко уеб страници. Един от основните и известни обхождащи ботове е Facebot, който помага за подобряване на рекламната ефективност.
10. Алекса Кроулър
Alexa Crawler се управлява от Alexa на Amazon и се използва за индексиране на десетки уеб страници. Той събира информация за уебсайтовете и ги класира въз основа на местни и международни предпочитания.
Заключителна бележка
Има различни уеб сканери и ботове, така че когато блокирате някой подозрителен уебсайт, не забравяйте да блокирате добрите ботове, които индексират вашите уеб страници в резултатите от търсачката.