Configurar el archivo robots.txt

Inicio

Ubuntu 6.06

Últimas

Configurar el archivo robots.txt

Escrito por Valc
miércoles, 23 de agosto de 2006
INTRODUCCIÓN El archivo robots.txt(en minúsculas), no es más que el nombre de un archivo de texto, que se puede crear con nuestro editor favorito (con codificación ASCII) y ubicarlo en la carpeta donde el servidor interpretará http://localhost, por ejemplo, en Apache2 la ruta por defecto donde colocar el archivo, sería en /var/www La utilidad que cobra este archivo al rellenarlo correctamente, es la de poder indicar a los buscadores, que archivos o carpetas pueden, o no, escanear a partir del directorio donde lo hubieramos colocado, y carpetas que se pudieran encontrar en él. Ya que por defecto, el no disponer de este archivo o tenerlo mal configurado, se considerará por parte del robot, que se tiene permiso concedido para rastrear todo aquello que no se le indique correctamente como "privado" o de acceso restringido, me parece importante también recalcar que, se distinguirán mayúsculas y minúsculas para una identificación correcta. NO siendo lo mismo phpmyadmin que, PhpMyAdmin a la hora de indicar correctamente, que queremos impedir que sea rastreado y por lo tanto exento de aparecer en las búsquedas que pudieran otros realizar en los buscadores del tipo Google. SINTAXIS Se utilizan para su configuración, dos reglas muy básicas .- User-agent: el robot al que se le aplicarán las condiciones de rastreo .- Disallow: Las páginas o carpetas que debe bloquear No hay un limite de entradas para los distintos "User-agent" a los que quisieramos condicionar en sus rastreos, ni tampoco lo hay para el número de carpetas o archivos, a anular de los buscadores. Siendo este el patrón que se sigue: User-agent: indentificador_del_robot Disallow: /carpeta_tal/ Disallow: /carpeta_cual/ Disallow: /archivo_pim.html Disallow: /archivo_pam.html User-agent: indentificador_de_otro_robot Disallow: /carpeta_tarari/ Disallow: /carpeta_cual/ Disallow: /archivo_pum.html Disallow: /archivo_pam.html (nótese que los archivos, quedan delimitados solo usando una barra "/" al inicio y las carpetas, la requieren al inicio y final del nombre que las define) ¿Qué nos convendría proteger? La instalación de Joomla! viene acompañada de este archivo robots.txt, así que, sírvame de ejemplo: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /images/ Disallow: /includes/ Disallow: /language/ Disallow: /mambots/ Disallow: /media/ Disallow: /modules/ Disallow: /templates/ Disallow: /installation/ Este archivo lo crea Joomla! por si tú no has previsto el uso del archivo robots.txt dentro del directorio raíz del servidor "/var/www". En este caso, lo que haría el rastreador al entrar a la carpeta donde tenemos instalado Joomla!, por debajo de la ruta "/var/www/", sería revisar el archivo robots.txt y omitiria escanear las carpetas "administrator, cache, components..etc..etc." incluidas en nuestra lista. Entonces, si yo tengo instalado phpmyadmin, apache2-default, webalizer u otras cosas por el estilo, lo que debería hacer, si no me interesa que aparezcan en las búsquedas de "Google", es por ejemplo: Primero: Entrar a mi directorio raiz del servidor, en mi caso /var/www Segundo: Una vez ahí, ver que cosas tengo instaladas (Utilidades, herramientas de administración..etc) y apuntarlas. Tercero: Editar o crear el archivo robots.txt , dentro del directorio raíz, y añadir tantos "Disallow" como carpetas quisieramos anular de las búsquedas. Por ejemplo, de existir bajo ese nombre de carpeta: User-agent: * Disallow: /phpmyadmin/ Disallow: /webalizer/ Disallow: /webmin/ Disallow: /apache2-default/ (también podemos incluir archivos robots.txt dentro de cualquier otra carpeta distinta a la raíz. Solo hay que tener encuenta que el archivo, actuaría desde esa ruta donde este ubicado y por debajo de ella) ¿Podemos usar comodines? Sí, sí, podemos usar comodines, para evitar tener que aprendernos o estar informados sobre los distintos rastreadores que pudieran dar ese tipo de servicio en internet. Por ejemplo: User-agent: * Usar User-agent junto con el comodín del asterisco, supondría indicarle "Cualquier robot rastreador", algo muy conveniente, si total, vamos a aplicar las mismas reglas a todos. Disallow: / Usar Disallow junto a la barra en el directorio raíz, supondria indicarle "Ningún archivo o carpeta de mi sitio". Lo cual estaría muy bien, si lo pudiesemos usar con "robots en lista negra", lo que pasa es que en pricipio, no va a ser posible por este medio; ya que precisamente lo que hace ese tipo de rastreadores es caso omiso a nuestro archivo "robots.txt" y en todo caso, sería impedirlo por otros medios, como averiguar cuales son e impedirles el acceso, por ejemplo, desde el archivo llamado por defecto en la instalación de Apache2, 000-default o desde el archivo .htaccess Aún con esa pega en contra podriamos tratar de dejarlo así: User-agent: Googlebot* Disallow: /carpeta1/ Disallow: /carpeta2/ Disallow: /carpeta3/ User-agent: * Disallow : / De este modo, permitimos solo el paso de "Googlebot", salvo por las carpetas que NO nos interese que rastree y que se pueden incrementar tanto como queramos o necesitemos. Si queremos permitirlo a unos cuantos buscadores, es simplemente ir incrementando la lista de los que nos interese permitir y prohibir el resto de rastreadores por defecto, por ejemplo en el siguiente código permitimos los rastreos de google y de altavista, el resto, lo prohibimos: User-agent: Googlebot* Disallow: /carpeta1/ Disallow: /carpeta2/ Disallow: /carpeta3/ User-agent: Scooter Disallow: /carpeta1/ Disallow: /carpeta2/ Disallow: /carpeta3/ User-agent: * Disallow : / Para crear o editar el archivo robots.txt en el directorio raíz del servidor por defecto: Aplicaciones >> Accesorios >> Terminal En la consola que se nos abre: sudo gedit /var/www/robots.txt Una vez añadidos o modificados los cambios, hay que guardar el archivo. Podeis comprobar si la sintaxis de vuestro archivo robots.txt es correcta desde este enlace. Para mayor información podeis también consultar: http://www.robotstxt.org/ Información relacionada: Montar un servidor casero auto-financiado Nota informativa: Valorar los artículos o noticias que vayas leyendo, aunque no ofrezca lecturas reales, pues no todo el que lee algo, lo valora dejando constancia; puede ayudar sensiblemente a esta web a la hora dar prioridad a las nuevas publicaciones, según el interés que despierten otras de referencia y su valoración recibida . Por favor, considéralo, solo toma unos segundos. También si te interesa, puedes ayudar a incrementar/modificar/actualizar/rectificar la información desde una base lo más real posible, dejando tus aportes, dudas o comentarios en el foro general, sin para ello tener que estar registrado. Gracias! Un cordial saludo. La administración
Modificado el ( domingo, 28 de octubre de 2007 )

< Anterior

[Volver]

Menú principal

Formulario de acceso

Acceso rápido al contenido

Foro Público - Últimos

Mini-Chat

Último mensaje: 1 semana, 1 dia hace

gast_4106 : no me permite instalar phpmyadmin, habla de archivo roto, tengo ubuntu 8.0
gast_7733 : Hola, Si alguna vez tienes un error siguiendo la guia, no dudes en comunicarlo. De este modo y entre todos podemos mejorar la información
gast_1174 : Estuve leyendo tus guias y son muy buenas ojala puedas hacer un tutorial de como instalar LAMP sin errores, porque la mayoria de veces que lo he instalado me han tenido que reformatear el servidor xD
M : Como configurar LAMP
morfel : esta muy buena la info ayuda en mucho para las personas que nos estamos iniciando en el mundo de linux
eeeee : we
gast_9584 : hola
BioVirus : www.joomlaencolombia.org
sktd! : Chicos, he seguido todo el tuto de Postfix con Gmail... pero cómo ejecutar Postfix?
gast_9682 : que pasa