Co to jest Meta Robots – Definicja

Meta robots to określenie na jeden ze znaczników meta w kodzie HTML, odpowiadający za przekazywanie zasad indeksowania dla robotów wyszukiwarek internetowych. Jego rola jest podobna, jak w przypadku pliku robots.txt, jednak zastosowanie jest nieco inne – z uwagi na fakt, że tagi meta mogą być definiowane osobno na każdą podstronę, znacznik meta robots pozwala na bardziej precyzyjne zarządzanie indeksacją, co w konsekwencji przekłada się na optymalizację budżetu crawlowania (crawl budget).

Meta robots – jak wygląda znacznik z informacjami dla robotów indeksujących?

Podobnie jak pozostałe znaczniki meta, tag meta robots jest umieszczany w kodzie HTML strony, w sekcji „head” (nagłówek). Jego składnia obejmuje dwa kluczowe atrybuty: nazwę („name”), która jest zazwyczaj definiowana jako „robots”, i zawartość („content”), czyli listę dyrektyw dla wybranej podstrony. W zależności od potrzeb można dodatkowo dostosować nazwę tagu meta do robotów, które mają być objęte konkretnymi zasadami, np.:

• „robots” – wszystkie roboty indeksujące,
• „googlebot” – tylko Googlebot (robot indeksujący Google),
• „googlebot-news” – robot Google do indeksowania artykułów informacyjnych, wyświetlanych w sekcji „Wiadomości” w wyszukiwarce,
• „bingbot” – tylko roboty wyszukiwarki Bing.

Poszczególne wyszukiwarki mogą dodatkowo definiować własne nazwy robotów indeksujących do wykorzystania w tagu meta robots. W większości przypadków stosuje się jednak te same zasady dla wszystkich robotów.

Meta robots – dyrektywy określające zasady indeksowania i wyświetlania

Drugi z atrybutów tagu meta robots, czyli „content”, zawiera dyrektywy kierujące zachowaniem robotów indeksujących. Najczęstsze wartości obejmują m.in.:

• „index” – standardowe indeksowanie całej podstrony (domyślne zachowanie, stosowane np. w przypadku braku tagu meta robots);
• „noindex” – podstrona wyłączona z indeksowania;
• „follow” – podążanie za linkami (domyślne ustawienie);
• „nofollow” – brak podążania za linkami;
• „none” – skrótowy wariant dyrektywy „noindex, nofollow”, przy której podstrona nie jest indeksowana, a roboty indeksujące nie podążają za linkami;
• „noarchive” – indeksacja bez przechowywania kopii strony;
• „nosnippet” – brak wyświetlania tzw. snippetów, czyli dodatkowych treści w wynikach wyszukiwania;
• „notranslate” – wyłączenie proponowania tłumaczeń;
• „max-snippet”, „max-image-preview”, „max-video-preview” – maksymalne wartości do wyświetlania odpowiednio: opisu (długość w znakach), grafik poglądowych (rozmiar – „none”, „standard”, „large”) i wideo (długość w sekundach).

Wsparcie dla bardziej szczegółowych dyrektyw może się różnić pomiędzy wyszukiwarkami, jednak podstawowe opcje („index”/„noindex”, „follow”/„nofollow”) powinny być obsługiwane w taki sam sposób przez wszystkie roboty indeksujące. Znacznik meta robots pozwala na wpisywanie dowolnej liczby dyrektyw, oddzielonych od siebie przecinkiem.

Kiedy warto stosować tag meta robots?

Najczęstszym zastosowaniem dyrektyw dla robotów indeksujących jest wyłączenie konkretnych podstron z wyświetlania w wynikach wyszukiwania, w celu optymalizacji crawl budgetu (budżetu crawlowania). Ma to znaczenie zwłaszcza w przypadku treści o mniejszej wartości lub podstron, które nie powinny być dostępne dla internautów. Odpowiednie wykorzystanie tagu meta robots pozwala na dokładne zarządzanie indeksowaniem, a tym samym – lepsze efekty strategii pozycjonowania.