Semalt: Як Google ведае, калі (і чаму) спыніць сканіраванне вашага сайта?

Павукі Google гэтак жа важныя, як і сама кампанія SEO пры збыце вэб-сайта. Яны праглядаюць вэб-сайты і індэксуюць змест усіх старонак, якія ён можа знайсці. Ён таксама ажыццяўляе паўторную індэксацыю на абноўленых старонках сайта. Гэта робіцца рэгулярна, грунтуючыся на некалькіх фактарах. Яны ўключаюць, але не абмяжоўваючыся імі, PageRank, абмежаванні сканавання і спасылкі, знойдзеныя на старонцы. Колькасць павукоў Google, якія праглядаюць сайт, будзе залежаць ад аднаго або некалькіх гэтых фактараў.

Наведайце вэб-сайт, які лёгка наведвае наведвальнікі, а таксама павукі Google для поўзання. Менавіта таму зручны для поўдня вэб-сайт - гэта дадатковая перавага для SEO кампаніі. У адваротным выпадку Google не зможа атрымаць доступ да змесціва, што прывядзе да зніжэння рэйтынгу сайта на старонцы ранжыравання пошукавай сістэмы .

Менеджэр па поспехах кліентаў Semalt Рос Барбер вызначае, што два найбольш важныя фактары індэксавання, на якія Google абапіраецца, каб паўплываць на рашэнне альбо запаволіць альбо спыніць сканіраванне вашага сайта, - час падлучэння і код статусу HTTP. Іншыя ўключаюць у сябе каманду дэзавуіраваць, тэгі "без выканання" і robots.txt.

Падлучыце час і коды статусу HTTP

Каэфіцыент часу падлучэння звязаны з колькасцю часу, якое бат Google праходзіць, каб выйсці на сервер сайта і вэб-старонкі. Хуткасць Google высока цэніцца, паколькі гэта вельмі добра сведчыць аб добрым карыстацкім досведзе. Калі вэб-старонка не будзе аптымізавана па хуткасці, то сайт будзе няўдалым. Павукі Google будуць рабіць спробы зайсці на сайт, і, калі час, неабходны для стварэння злучэння, будзе больш, яны адступаюць і сканіруюць яго радзей. Акрамя таго, калі Google націсне на індэксаванне вэб-сайта з бягучай хуткасцю, то гэта можа перапыніць карыстацкі досвед, бо гэта можа значна запаволіць яго сервер.

Другім фактарам індэксацыі з'яўляюцца коды статусу HTTP, якія спасылаюцца на тое, наколькі добра сервер адказвае на запыт аб сканаванні сайта. Калі коды статусу знаходзяцца ў межах 5хх, то Google бярэ на сябе пытанне, каб спыніць ці затрымаць хуткасць, з якой яны скануюць бягучы сайт. Усё, што знаходзіцца ў межах 5xx, з'яўляецца паказчыкам магчымых праблем з серверам, і што адказаць на запыт можа быць праблематычным. З-за рызыкі выклікаць дадатковыя праблемы, боты Google адступяць у бок і правядуць індэксацыю, калі сервер будзе больш даступны.

Калі Google аднаўляе пошукавы сайт?

Google верыць у прадастаўленне карыстальнікам лепшага вопыту і ацэньвае сайты, якія аптымізуюць іх элементы SEO для дасягнення высокіх мэт. Аднак, калі ў цяперашні час на сайце ўзнікаюць праблемы, згаданыя вышэй, ён загадае свайму Googlebot паспрабаваць прайсці яго пазней. Калі праблемы не знікнуць, уладальнік страціць выдатную магчымасць прымусіць Google прайсці яго змест і прысвоіць яму заслужанае месца ў выніках пошуку. У дадатак да гэтых праблем, пры любых прыкметах спаму сайт будзе заблакіраваны ў тым, што ён ніколі не з'яўляўся ў выніках пошуку.

Як і ўсе іншыя алгарытмы, якія Google выкарыстоўвае, яго павукі таксама з'яўляюцца аўтаматычнымі. Яны распрацаваны для пошуку, прагляду і індэксавання змесціва на аснове пэўных параметраў. Калі сайт не адпавядае пэўнай лепшай практыцы, індэксацыя не адбудзецца. Ёсць шмат іншых фактараў, але заўсёды памятайце, каб звяртаць пільную ўвагу на час падлучэння і коды статусу HTTP вашага сайта.