Бързо обхождане и индексиране на страници с новото API на Google

В новата страница за поддръжка на индексиращото API на Google пише: „тo може да се използва само за обхождане на страници с публикуване на обяви или структурирани данни на живо”, но се оказва, че можем да получим и редовно обхождани страници и то дяволски бързо.

Това е един експеримент, който е провел Дейвид Сотимано (David Sottimano).

След като е пингнал API-то, Google е изпратил 2 различни потребителски агенти в рамките на 2 минути (според неговите 3 теста):

1. Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 2. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Как да го тествате (настройка на Node JS)

Това са основните неща, които е направил, за да проведе теста:

Отидете на https://developers.google.com/search/apis/indexing-api/v3/prereqs и се уверете, че следвате инструкциите.

Когато давате определен достъп на профила си в услугата, просто изберете „собственик“ и запомнете имейл адреса, който ще използвате по-късно в конзолата за търсене на Google.

Бързо обхождане и индексиране на страници с новото API на Google

Също така, когато добавяте с тази електронна поща „член“ в конзолата за търсене на Google, уверете се, че го добавяте като удостоверен собственик, а не като потребител.

Бързо обхождане и индексиране на страници с новото API на Google

За вашата настройка на Node JS, използвайте този адаптиран код (по-долу), който работи. Кодът взет от секцията “Бързо начало/quick start“, не проработи за мен, и по-точно трябваше да импортна GoogleApis модула като обект, след което върна грешка.

let request = require("request");
let {google} = require("googleapis");
let key = require("./service_account.json");

const jwtClient = new google.auth.JWT(
key.client_email,
null,
key.private_key,
["https://www.googleapis.com/auth/indexing"],
null
);

jwtClient.authorize(function (err, tokens) {
if (err) {
console.log(err);
return;
}
let options = {
url: "https://indexing.googleapis.com/v3/urlNotifications:publish",
method: "POST",
// Your options, which must include the Content-Type and auth headers
headers: {
"Content-Type": "application/json"
},
auth: {
"bearer": tokens.access_token
},
// Define contents here. The structure of the content is described in the next step.
json: {
"url": "https://www.davidsottimano.com/doesnotexist",
"type": "URL_UPDATED"
},

}

request(options, function (error, response, body) {
// Handle the response
console.log(body);
});
});


Успешен отговор

Бързо обхождане и индексиране на страници с новото API на Google

Какво можете да направите сега с това API?

В момента можете да направите няколко неща с API-то за индексиране (https://developers.google.com/search/apis/indexing-api/v3/using-api), ето какво казва Google:

1. Актуализиране на URL адрес: уведомете Google за нов URL адрес за обхождане или за актуализирано съдържанието на вече изпратен URL адрес.

2. Премахване на URL адрес: След като изтриете страница от сървърите си, уведомете Google, така че да можем да премахнем страницата от нашия индекс, и да не се опитваме да я обходим отново.

3. Получете статус на заявка: Проверете последния път, когато Google е получил какъвто и да е вид уведомление за даден URL адрес.

4. Изпращане на заявки за пакетно индексиране: Намалете броя на HTTP връзките, които клиентът трябва да направи, като комбинирате до 100 повиквания в една HTTP заявка.

Все още не е тествано дали може:

– да се намали времето за закъснение с API-то за индексиране за hreflang, директиви, пренасочвания;

– да се използва за издателите, одобрени от Google новини, за да види дали можем да получим нови и актуализирани статии обратно в карусела с включени истории.

Тествайте на ваша отговорност!

Източник: davidsottimano.com



Бързо обхождане и индексиране на страници с новото API на Google
3.8 (76.67%) 6 votes

2 коментара

  1. Слави, ползвай го само при необходимост, четох доста протеворечиви мнения из форумите. Нека мине малко време да проследим реакциите на гугл.

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *