Po co blokować dostęp do plików .csv GoogleBotowi?

Dlaczego warto blokować dostęp do plików .csv na Twoim serwerze GoogleBotowi? Jakie dane mogą zawierać pliki .csv? Co wspólnego w kontekście indeksacji mają pliki .csv i .pdf?
Skorzystaj z bezpłatnej konsultacji w linku poniżej!
► paq-studio.com/bezplatna-kons...
Po obejrzeniu odcinka koniecznie zostaw subskrypcję, ten kanał pomoże Ci w rozwijaniu kompetencji w zakresie technicznego SEO!
Więcej o agencji SEO Paq Studio:
► paq-studio.com
Prowadzący, Adrian Pakulski:
► adrianpakulski.pl
________________________________________
Instagram: / paqstudio
Facebook: / agencjapaqstudio
TikTok: / paqstudio
________________________________________
00:00 - Wstęp
01:05 - Google indeksuje pliki .csv
01:14 - Jak zablokować indeksację .csv przez .htaccess?
01:42 - Jak sprawdzić, czy moja strona ma jakieś zaindeksowane pliki .csv?

[@mentonor]

Ciekawy temat i prosta metoda ograniczenia tego

[@PaqStudio]

Dzięki za dobre słowo ✌️😎

[@bartosz_sudol]

czym ten kod się różni od
User-agent: *
Disallow: /*.pdf$
Disallow: /*.csv$
?

[@PaqStudio]

Robots.txt to wciąż instrukcja, jak powinny zachować się wobec plików roboty wyszukiwarek (słowa klucze: instrukcja, powinny).
Blokada na poziomie .htaccess jest bezwarunkowa, tj. jest to fizyczna blokada zasobów (w tym przypadku .pdf i .csv) na poziomie serwera.
Poza tym, pliku robots.txt trzeba pilnować, tj. sprawdzać, czy np. podniesienie kompilacji silnika nie spowodowało nadpisania składni robots.txt. htaccess w tym kontekście daje większe poczucie bezpieczeństwa.
Poza tym plik robots.txt jest publicznie dostępny i gdybyś chciał blokować np. wybrane pliki w jakichś folderach, to ich ścieżki dotarcia są ogólnodostępne, co też nie jest pożądane.