Grzegorz Kalmus
Autor
Robots.txt i sitemap.xml to dwa pliki, które każda strona internetowa powinna mieć poprawnie skonfigurowane. Choć wyglądają niepozornie, mają ogromny wpływ na to, jak Google indeksuje Twoją stronę – a błędy w ich konfiguracji mogą sprawić, że ważne podstrony znikną z wyników wyszukiwania lub robot będzie tracił czas na indeksowanie nieistotnych treści.
W tym artykule wyjaśniam dokładnie, czym jest każdy z tych plików, jak poprawnie je skonfigurować i jakich błędów unikać.
Czym jest plik robots.txt?
Plik robots.txt to prosty plik tekstowy umieszczany w katalogu głównym domeny (zawsze pod adresem https://twojadomena.pl/robots.txt), który instruuje roboty wyszukiwarek, które strony mogą, a których nie powinny odwiedzać.
Kluczowa zasada: robots.txt to prośba, nie nakaz. Uczciwe roboty (w tym Googlebot) respektują jego zawartość, ale złośliwe crawlery mogą go ignorować. Nie należy więc traktować robots.txt jako mechanizmu bezpieczeństwa – do tego służą inne metody (np. hasło, noindex).
Składnia pliku robots.txt
Plik robots.txt zbudowany jest z bloków (rekordów), z których każdy dotyczy konkretnego robota. Podstawowe dyrektywy:
User-agent
Określa, do którego robota odnosi się blok reguł. Gwiazdka (*) oznacza wszystkie roboty.
User-agent: * # wszystkie roboty
User-agent: Googlebot # tylko robot Google
User-agent: Bingbot # tylko robot BingaDisallow
Zabrania robotowi dostępu do wskazanej ścieżki lub katalogu.
Disallow: /wp-admin/ # blokuj panel admina
Disallow: /search? # blokuj wyniki wyszukiwania wewnętrznego
Disallow: /tag/ # blokuj strony tagów (jeśli powielają treść)Allow
Zezwala na dostęp do konkretnej ścieżki, nawet jeśli nadrzędny katalog jest zablokowany. Używane do precyzyjnych wyjątków.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php # zezwól na ajax (potrzebny do działania strony)Sitemap
Wskazuje lokalizację pliku sitemap.xml – przydatne, by roboty od razu wiedziały, gdzie szukać mapy strony.
Sitemap: https://twojadomena.pl/sitemap.xmlPrzykładowy plik robots.txt dla strony firmowej
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/
Disallow: /feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://twojadomena.pl/sitemap_index.xmlCo blokować w robots.txt?
Poniżej lista zasobów, których blokowanie jest zazwyczaj uzasadnione:
- /wp-admin/ – panel administracyjny WordPress (z wyjątkiem admin-ajax.php)
- /wp-login.php – strona logowania
- /?s= lub /search/ – wyniki wyszukiwania wewnętrznego (duplikaty treści)
- /tag/ – strony tagów, jeśli mają słabą treść i powielają kategorie
- /author/ – strony autorów, jeśli masz tylko jednego autora
- /feed/ – kanały RSS (nie mają wartości SEO)
- /xmlrpc.php – nieużywany protokół, potencjalne zagrożenie bezpieczeństwa
- Parametry URL – strony filtrów, sortowań, UTM (generują duplikaty)
Czego NIE blokować w robots.txt?
Równie ważne jak to, co blokujesz, jest to, czego nie powinieneś blokować:
- Pliki CSS i JavaScript – Google musi je widzieć, żeby poprawnie wyrenderować stronę i ocenić jej jakość
- Strony z noindex – nie musisz blokować ich w robots.txt, jeśli mają metatag noindex; blokowanie w robots.txt może paradoksalnie sprawiać problemy
- Strony produktów i kategorii – to Twoja główna treść, nigdy jej nie blokuj
- Strony docelowe (landing pages) – muszą być indeksowalne
- /sitemap.xml – oczywiście nie blokuj swojej własnej mapy strony
Czym jest plik sitemap.xml?
Sitemap XML (mapa strony) to plik w formacie XML, który zawiera listę wszystkich ważnych adresów URL na Twojej stronie wraz z metadanymi (datą modyfikacji, częstotliwością zmian, priorytetem). Jego zadaniem jest pomoc robotom w odkryciu i efektywnym przeszukiwaniu wszystkich podstron serwisu.
Sitemap jest szczególnie ważny dla:
- Dużych serwisów z setkami lub tysiącami stron
- Nowych stron z małą liczbą linków przychodzących
- Stron z treściami, do których trudno dotrzeć przez linki wewnętrzne
- Serwisów e-commerce z rozbudowanym katalogiem produktów
Struktura pliku sitemap.xml
Podstawowy plik sitemap.xml wygląda następująco:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://twojadomena.pl/</loc>
<lastmod>2026-04-01</lastmod>
<changefreq>weekly</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://twojadomena.pl/oferta/</loc>
<lastmod>2026-03-15</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>Znaczenie poszczególnych elementów:
<loc>– pełny adres URL strony (wymagany)<lastmod>– data ostatniej modyfikacji w formacie YYYY-MM-DD<changefreq>– sugerowana częstotliwość zmian (always, hourly, daily, weekly, monthly, yearly, never)<priority>– priorytet względny od 0.0 do 1.0 (domyślnie 0.5)
Sitemap index – dla dużych serwisów
Jeden plik sitemap może zawierać maksymalnie 50 000 URL i ważyć nie więcej niż 50 MB. Duże serwisy korzystają z sitemap index – pliku wskazującego na wiele mniejszych sitemapów.
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://twojadomena.pl/sitemap-posts.xml</loc>
<lastmod>2026-04-11</lastmod>
</sitemap>
<sitemap>
<loc>https://twojadomena.pl/sitemap-pages.xml</loc>
<lastmod>2026-04-11</lastmod>
</sitemap>
<sitemap>
<loc>https://twojadomena.pl/sitemap-products.xml</loc>
<lastmod>2026-04-10</lastmod>
</sitemap>
</sitemapindex>Jak wygenerować sitemap.xml?
Yoast SEO (WordPress)
Yoast SEO automatycznie generuje i aktualizuje sitemap XML. Dostęp: SEO – Ogólne – Funkcje, włącz „Mapy strony XML”. Sitemap index dostępny pod /sitemap_index.xml. Możesz wykluczyć konkretne typy postów i taksonomie.
RankMath SEO
Podobnie jak Yoast, RankMath generuje dynamiczne sitemaps z podziałem na typy treści. Dodatkowa funkcja: wbudowane sitemaps dla wideo i obrazów.
Screaming Frog SEO Spider
Narzędzie desktopowe do crawlowania stron. Po przeprowadzeniu crawla możesz wygenerować sitemap.xml na podstawie odkrytych URL. Przydatne dla serwisów spoza WordPressa lub gdy chcesz mieć pełną kontrolę nad zawartością sitemapy.
xml-sitemaps.com
Darmowy generator online – wpisujesz adres strony, narzędzie ją przeszukuje i generuje plik XML gotowy do pobrania. Dobry dla małych stron statycznych (do 500 URL w wersji darmowej).
Dynamiczne sitemaps (Next.js, Nuxt, inne frameworki)
Nowoczesne frameworki pozwalają generować sitemapę dynamicznie na podstawie danych z CMS. W Next.js wystarczy plik app/sitemap.ts, który eksportuje funkcję zwracającą tablicę URL. Sitemap jest automatycznie aktualizowany przy każdym nowym wpisie lub stronie.
Sitemaps dla obrazów i wideo
Oprócz standardowej sitemaps stron, możesz tworzyć wyspecjalizowane sitemaps:
Image sitemap – pomaga Google w indeksowaniu obrazów, szczególnie tych ładowanych przez JavaScript lub trudno dostępnych dla crawlerów.
Video sitemap – dla serwisów z treściami wideo. Zawiera metadane: tytuł, opis, URL miniaturki, czas trwania. Pomaga w wyświetlaniu rich snippets dla wideo.
Jak zgłosić sitemap do Google Search Console?
Sam fakt posiadania sitemapy nie wystarczy – Google musi się o niej dowiedzieć. Sposoby zgłoszenia:
- Google Search Console – przejdź do sekcji „Mapy witryny” (Sitemaps) i wpisz URL pliku sitemap. To podstawowa i najważniejsza metoda.
- Plik robots.txt – dodaj dyrektywę
Sitemap: https://twojadomena.pl/sitemap.xml - Ping Google – wyślij żądanie GET do
https://www.google.com/ping?sitemap=URL_SITEMAPY(mniej skuteczne, ale możliwe)
W Google Search Console możesz śledzić status sitemapy: ile URL zostało przesłanych vs ile zindeksowanych. Rozbieżność między tymi liczbami to sygnał do dalszej analizy.
Najczęstsze błędy w robots.txt i sitemap.xml
Błędy robots.txt
- Blokowanie CSS/JS – uniemożliwia Google wyrenderowanie strony i ocenę jej jakości; może negatywnie wpłynąć na Core Web Vitals w oczach bota
- Blokowanie całej strony –
Disallow: /zablokuje indeksowanie całego serwisu; zwykle robi się to przez pomyłkę lub zapomina usunąć po fazie deweloperskiej - Literówki w ścieżkach –
DisalowzamiastDisallowsprawi, że reguła jest ignorowana - Brak pustej linii między blokami – każdy blok User-agent musi być oddzielony pustą linią
Błędy sitemap.xml
- Niekanoniczne URL w sitemapie – jeśli używasz canonical URLs (bez trailing slash lub z www), upewnij się, że sitemap zawiera dokładnie te same adresy
- Strony z noindex w sitemapie – sprzeczny sygnał: z jednej strony mówisz „indeksuj mnie”, z drugiej „nie indeksuj mnie”
- Strony z błędem 404 lub przekierowaniami – sitemap powinna zawierać tylko działające, kanoniczne URL zwracające status 200
- Brak aktualizacji sitemapy – statyczna sitemap nieaktualizowana po dodaniu nowych treści jest bezużyteczna
- Zbyt wysoki priorytet dla wszystkich stron – ustawienie
priority: 1.0dla wszystkich URL znosi wartość informacyjną priorytetu
Debugowanie z Google Search Console
Google Search Console to Twoje główne narzędzie diagnostyczne. W sekcji „Indeksowanie” znajdziesz:
- Strony – raport indeksowania z podziałem na stan (zindeksowane, wykluczone, z błędami)
- Mapy witryny – status przesłanych sitemapów i liczba URL wykrytych vs zindeksowanych
- Inspekcja URL – szczegółowy raport dla konkretnego adresu: czy jest zindeksowany, kiedy ostatnio był crawlowany, jaki kod HTTP zwraca
Jeśli GSC pokazuje, że ważne strony są wykluczone z indeksowania z powodu robots.txt – natychmiast sprawdź plik i usuń błędną regułę. Możesz też użyć narzędzia „Inspekcja URL” z opcją „Poproś o indeksowanie”, żeby przyspieszyć ponowne crawlowanie po wprowadzeniu poprawek.
Podsumowanie – checklista techniczna
Przed uruchomieniem strony i w regularnych audytach SEO upewnij się, że:
- Plik robots.txt istnieje i jest dostępny pod
/robots.txt - Nie blokujesz przypadkowo ważnych sekcji serwisu ani plików CSS/JS
- Plik robots.txt zawiera dyrektywę Sitemap wskazującą na Twoją sitemapę
- Sitemap.xml zawiera tylko kanoniczne URL ze statusem 200
- Strony z noindex nie są uwzględnione w sitemapie
- Sitemap jest zgłoszona w Google Search Console
- Regularnie sprawdzasz raporty indeksowania w GSC
Poprawna konfiguracja robots.txt i sitemap.xml to fundament technicznego SEO. To inwestycja jednorazowa, która procentuje przez cały czas życia strony.
Jeśli chcesz mieć pewność, że techniczne podstawy SEO Twojej strony są w porządku – sprawdź naszą ofertę pozycjonowania stron internetowych. Przeprowadzamy kompleksowe audyty techniczne i wdrażamy optymalizacje, które realnie poprawiają widoczność w Google. Skontaktuj się z nami i dowiedz się, co możemy zrobić dla Twojej strony.
