Бързо обхождане и индексиране на страници с новото API на Google

В новата страница за поддръжка на индексиращото API на Google пише: „тo може да се използва само за обхождане на страници с публикуване на обяви или структурирани данни на живо”, но се оказва, че можем да получим и редовно обхождани страници и то дяволски бързо.

Google’s indexing API for livestream and job postings (posted Dec 5th) – https://t.co/D9tDstwctc Pretty cool, I’m sure it won’t take long before this rolls out to the general web. Hopefully this will replace XML sitemaps soon, fingers crossed!

— David Sottimano (@dsottimano) December 7, 2018

Това е един експеримент, който е провел Дейвид Сотимано (David Sottimano).

След като е пингнал API-то, Google е изпратил 2 различни потребителски агенти в рамките на 2 минути (според неговите 3 теста):

1. Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 2. Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Как да го тествате (настройка на Node JS)

Това са основните неща, които е направил, за да проведе теста:

Отидете на https://developers.google.com/search/apis/indexing-api/v3/prereqs и се уверете, че следвате инструкциите.

Когато давате определен достъп на профила си в услугата, просто изберете „собственик“ и запомнете имейл адреса, който ще използвате по-късно в конзолата за търсене на Google.

Също така, когато добавяте с тази електронна поща „член“ в конзолата за търсене на Google, уверете се, че го добавяте като удостоверен собственик, а не като потребител.

За вашата настройка на Node JS, използвайте този адаптиран код (по-долу), който работи. Кодът взет от секцията “Бързо начало/quick start“, не проработи за мен, и по-точно трябваше да импортна GoogleApis модула като обект, след което върна грешка.

let request = require("request");
let {google} = require("googleapis");
let key = require("./service_account.json");

const jwtClient = new google.auth.JWT(
key.client_email,
null,
key.private_key,
["https://www.googleapis.com/auth/indexing"],
null
);

jwtClient.authorize(function (err, tokens) {
if (err) {
console.log(err);
return;
}
let options = {
url: "https://indexing.googleapis.com/v3/urlNotifications:publish",
method: "POST",
// Your options, which must include the Content-Type and auth headers
headers: {
"Content-Type": "application/json"
},
auth: {
"bearer": tokens.access_token
},
// Define contents here. The structure of the content is described in the next step.
json: {
"url": "https://www.davidsottimano.com/doesnotexist",
"type": "URL_UPDATED"
},

}

request(options, function (error, response, body) {
// Handle the response
console.log(body);
});
});

Успешен отговор

Какво можете да направите сега с това API?

В момента можете да направите няколко неща с API-то за индексиране (https://developers.google.com/search/apis/indexing-api/v3/using-api), ето какво казва Google:

1. Актуализиране на URL адрес: уведомете Google за нов URL адрес за обхождане или за актуализирано съдържанието на вече изпратен URL адрес.

2. Премахване на URL адрес: След като изтриете страница от сървърите си, уведомете Google, така че да можем да премахнем страницата от нашия индекс, и да не се опитваме да я обходим отново.

3. Получете статус на заявка: Проверете последния път, когато Google е получил какъвто и да е вид уведомление за даден URL адрес.

4. Изпращане на заявки за пакетно индексиране: Намалете броя на HTTP връзките, които клиентът трябва да направи, като комбинирате до 100 повиквания в една HTTP заявка.

Все още не е тествано дали може:

– да се намали времето за закъснение с API-то за индексиране за hreflang, директиви, пренасочвания;

– да се използва за издателите, одобрени от Google новини, за да види дали можем да получим нови и актуализирани статии обратно в карусела с включени истории.

Тествайте на ваша отговорност!

Източник: davidsottimano.com