🤖 ¿Qué es el ROBOTS TXT? #8 - DICCIONARIO SEO (SEO para Principiantes)| 2024

👉 Suscríbete para más vídeos así: bit.ly/suscrib...
________________________
📚 Vídeos que te recomiendo:
🎬 Herramientas para Espiar a tu competencia • 🔎 Cómo Espiar a tu Com...
🎬 Indexar al instante en SEO • 🚀 Cómo INDEXAR mi Pági...
🎬Banco de imágenes Gratis • 📷 Mejor banco de IMÁGE...
🎬 Hacer SEO para imágenes • SEO para IMÁGENES: Pes...
🎬 Posicionar Negocio en Google Maps • Cómo POSICIONAR tu NEG...
🎬 3 Mejores Extensiones de SEO • 🚀 Top 3 Mejores Extens...
Si te ha gustado el vídeo no te olvides de darle like, no te cuesta nada y me ayudas mucho 😊
----
Esto es el archivo robots txt. ¿Qué es el archivo robots txt en nuestro sitio web? El archivo robots es un archivo que se incluye dentro del directorio raíz del sitio web y al final lo que está buscando, de forma sencilla, es bloquear o permitir el acceso a cierto tipo de bots. Por ejemplo, Google tiene su propio bot con lo cual nos permite rastrear nuestro sitio web y en este caso protegernos de cierto tipo de amenazas. Vamos a decirlo, al final cuando estamos queriendo trabajar un robots tenemos que hacer lo siguiente: lo primero que nos vendrá por defecto es esta parte de aquí que es la zona más básica del robots. Normalmente todos los robots se van a trabajar con el plugin que ya venga por defecto que puede ser Yoast o puede ser Rank Math y en este caso normalmente se puede utilizar así.
En el caso de que tengas que utilizar Shopify, habrá que meterlo directamente en el código y habría que contratar un plan superior. Sobre todo en estos casos es importante hacerlo a mano porque de esta forma podemos tener control sobre lo que queramos hacer. En cambio, Magento lo que vamos a hacer es ponerlo directamente en esta ruta de aquí para que así puedas saber dónde se ubica el archivo robots. Al final, si queremos llegar directamente al tema del robots, vamos a aprovechar y lo que tenemos que hacer es, dentro de lo que es nuestro dominio, añadir la barra y aquí poner "robots.txt". Aquí directamente nos llevará a este archivo de aquí. Este archivo está trabajado, aquí lo que hay que hacer es tener ciertas directivas en cuenta. Normalmente, cuando lo que buscamos es trabajar el archivo robots.txt es por varias razones. La primera es porque queremos priorizar que se rastreen ciertos elementos, en este caso aquí lo que hemos hecho es poner el tema de los sitemaps. Aquí directamente lo que le estamos diciendo a Google es que tenga en cuenta todas las páginas que están en el sitemap y, por lo tanto, se puedan indexar antes. También otras formas que le estamos diciendo en este archivo robots es que podamos bloquear acceso a ciertos archivos sensibles. Por lo tanto, es siempre bueno tener en cuenta que no permitamos en este caso que ciertos bots puedan acceder a nuestro contenido. Hay muchos bots, de hecho, voy a mirar de dejar una lista con los bots que existen y en este caso normalmente tú puedes seleccionar cuáles son los bots que quieres permitir o en este caso excluir. La función más básica es la del asterisco. Esto está permitiendo a todos los bots que no hagan esta función de aquí. Lo mismo que podamos ver en estos es muy sencillo. Como todo, lo que buscamos es que sea fácil y sencillo y en este caso no haría falta trabajarlo tanto como es en este caso. El archivo robots más sencillo sería simple mirar de dejar cómo está trabajado tal cual porque en muchos casos cuando instalamos nuestro plugin SEO ya nos incluyen el sitemap pero si queremos y tenemos las habilidades técnicas tendríamos que mirar de trabajarlo todavía más en profundidad. Para eso siempre es bueno mirar cómo lo están haciendo sitios web grandes y ver si lo han hecho bien o, en cambio, no se aplica a nosotros.
#robots #txt #seo #bots #seguridad #accesibilidad