¿Cuál es la diferencia entre la indexación en motores de búsqueda y las citas de búsqueda en tiempo real de la IA?

Respuesta en una frase: La indexación tradicional en buscadores es el proceso de crear con antelación el "índice y la tabla de contenidos" de un libro; en cambio, las citas de búsqueda en tiempo real de la IA consisten en leer rápidamente varios libros justo después de recibir una pregunta para resumir lo necesario junto con su "fuente".

¿Cómo encuentran información los motores de búsqueda?

El proceso mediante el cual el motor de búsqueda que utilizamos a diario encuentra sitios web y los muestra en pantalla consta de tres etapas principales. Cada etapa debe funcionar correctamente para que la información aparezca ante el usuario.

La primera etapa es el rastreo (crawling: el trabajo de recorrer innumerables páginas web para recopilar nuevos textos o imágenes). El motor de búsqueda envía un programa llamado robot. Este robot recorre el mundo de Internet como si fuera un bibliotecario recolectando libros nuevos. El robot se desplaza continuamente de una página a otra siguiendo los enlaces. Copia la información nueva que descubre durante este trayecto y la lleva al almacén del motor de búsqueda.

La segunda etapa es la indexación (el proceso de organizar la información recopilada por palabras y guardarla en una base de datos gigante para facilitar la búsqueda). Si los libros recopilados simplemente se apilaran en el almacén, no se podrían encontrar después. Por ello, se lee el contenido minuciosamente y se clasifica por título, autor y palabras clave importantes. Luego, esta información se registra en la computadora de búsqueda (base de datos). Si su sitio web no ha sido indexado, nunca aparecerá en los resultados, sin importar cuánto busque el nombre de su empresa.

La tercera etapa es la clasificación (ranking: el proceso de listar en orden las páginas más adecuadas y de mejor calidad cuando el usuario introduce un término de búsqueda). El motor de búsqueda tiene cientos de criterios de evaluación. Evalúa qué tan exactamente coinciden las palabras buscadas con el contenido y también calcula qué tan confiable es el sitio web. Dependiendo de este puntaje, se decide si aparecerá en la parte superior de la primera página o si será desplazado a la segunda.

¿Cómo genera respuestas la búsqueda en tiempo real de la IA?

La búsqueda de inteligencia artificial que ha surgido recientemente ha añadido un nuevo método a la búsqueda convencional llamado RAG (Generación Aumentada por Recuperación: una tecnología donde la IA consulta primero fuentes externas confiables y actualizadas antes de generar una respuesta). Si la IA responde basándose solo en los conocimientos que aprendió en el pasado, podría cometer el error de inventar información falsa. El RAG es un mecanismo de seguridad para reducir estos errores.

El flujo de respuesta de una búsqueda de IA es el siguiente: El usuario introduce una pregunta. La IA comprende la pregunta y crea nuevos términos de búsqueda para introducirlos ella misma en un motor de búsqueda. Realiza una búsqueda en Internet en tiempo real con esos términos. Lee rápidamente documentos actualizados o artículos de noticias que aparecen en los resultados.

Tras leer los documentos, extrae solo el contenido clave que encaja exactamente con la pregunta. Finalmente, la IA redacta un resumen con oraciones naturales, como si hablara con una persona. En este punto, incluye enlaces a los sitios web originales para demostrar qué documentos leyó para escribir esa respuesta. A esto lo llamamos "cita". Como resultado, el usuario obtiene la respuesta resumida y las fuentes de una sola vez, sin necesidad de navegar por varios sitios personalmente.

La forma en que la IA lee: fragmentación

Los humanos solemos leer textos largos siguiendo el flujo general desde el principio hasta el final. Sin embargo, a la IA le resulta difícil leer un documento largo de una sola vez y recordar perfectamente todo el contexto. Esto se debe a que la IA tiene un límite de tokens (la unidad más pequeña de fragmentos de palabras que la IA reconoce) que puede procesar a la vez.

Por eso, al procesar textos largos, la IA utiliza un método llamado chunking (tecnología de dividir, guardar y leer documentos largos en varios fragmentos por párrafos o unidades de significado). Supongamos hipotéticamente que hay un folleto de presentación de una empresa de 10 páginas. La IA corta este documento párrafo por párrafo, o en unidades de unas pocas frases, como si fueran piezas de un rompecabezas. Cuando llega una pregunta, selecciona y lee solo la pieza más similar a la consulta entre las numerosas piezas disponibles.

Debido a esta característica, la estructura de los párrafos se vuelve muy importante al escribir en un sitio web. Supongamos que dentro de un mismo párrafo se mezclan desordenadamente la historia de la empresa, los precios de los productos y las políticas de reembolso. Cuando la IA tome este fragmento, se confundirá sobre cuál es la información clave. Si un párrafo es demasiado largo o el contexto cambia repentinamente, la información podría quedar cortada a la mitad. Por lo tanto, para que la IA cite su contenido con precisión, es recomendable escribir de forma corta y concisa, incluyendo un solo tema clave por párrafo.

Comparación: Indexación en buscadores vs. Citas en búsqueda de IA

Veamos una tabla comparativa para entender fácilmente las diferencias entre los motores de búsqueda tradicionales y la nueva búsqueda de IA.

Cómo invitar o bloquear robots de IA: robots.txt

Un sitio web no solo recibe visitas humanas. Numerosos robots (programas automáticos de recolección de información) lo visitan día y noche para recopilar datos. Se necesita un aviso que les diga: "Pueden entrar a esta página y llevarse información, pero no entren a esta otra porque contiene datos personales". El archivo que cumple esta función es el robots.txt (un archivo de texto situado en la carpeta raíz del sitio web que contiene las reglas de acceso para los robots).

En el pasado, solo debíamos preocuparnos por los robots de Google o Naver. Pero con la llegada de la era de la IA, han aparecido diversos robots enviados por empresas de inteligencia artificial. Los principales robots de IA son:

Primero, GPTBot de OpenAI, la empresa que crea ChatGPT.

Segundo, Google-Extended, utilizado por Google para entrenar sus modelos de IA.

Tercero, ClaudeBot de Anthropic, la empresa creadora de la IA Claude.

Cuarto, PerplexityBot, utilizado por el servicio Perplexity, especializado en búsquedas con IA.

Si desea que sus artículos escritos con esmero sean citados como fuentes en las respuestas de la IA, ¿qué debe hacer? Debe configurar el archivo robots.txt para no bloquear (Disallow) la visita de estos robots de IA. Por el contrario, si no desea que sus materiales sean leídos por la IA, puede especificar los nombres de estos robots y bloquearlos. El administrador del sitio web puede controlar directamente el intercambio de información con la IA a través de este archivo.

Una nueva guía para la IA: Surgimiento y límites de llms.txt

Recientemente, ha cobrado interés entre los desarrolladores web un nuevo concepto llamado llms.txt (un archivo de texto que resume la información clave de un sitio web para que los modelos de lenguaje de IA puedan leerla fácilmente y sin obstáculos). Es una guía a la que se accede añadiendo "/llms.txt" al final de la dirección del sitio web.

Las páginas web normales (documentos HTML) suelen estar llenas de diseños bonitos para humanos, menús complejos, pies de página e imágenes publicitarias llamativas. Para la IA, que viene a leer texto, estos elementos decorativos resultan ser obstáculos. Por eso, el archivo llms.txt elimina todo el diseño llamativo y deja solo el texto importante. Se anotan los servicios principales, contactos y listas de precios en formato Markdown (un lenguaje ligero que usa símbolos simples para poner negritas o crear listas). De esta forma, la IA puede entender la esencia de nuestro sitio de una sola vez y sin malentendidos.

Sin embargo, existe una limitación importante. llms.txt aún no es una regla estándar oficial confirmada a nivel mundial. Es un método que algunos desarrolladores propusieron y que ha empezado a ponerse de moda. Por lo tanto, aunque algunos servicios de IA pueden buscar y leer este archivo activamente, otros podrían ignorar su existencia por completo. Por ahora, no se debe confiar únicamente en este archivo, sino utilizarlo como un medio auxiliar para organizar limpiamente las páginas web existentes.

Lista de verificación para su sitio web

Compruebe si su sitio web está siendo bien leído tanto por los motores de búsqueda generales como por las IA modernas mediante los siguientes puntos:

• [ ] ¿Aparecen los resultados normalmente cuando busca el nombre de su empresa o productos principales en buscadores generales como Google o Naver? (Verificación de indexación)
• [ ] Al escribir blogs o textos de presentación, ¿dividió el contenido en un solo tema clave por párrafo para facilitar la lectura fragmentada de la IA?
• [ ] ¿El archivo robots.txt de su sitio web está bloqueando por error la visita de robots de IA importantes como GPTBot o PerplexityBot?
• [ ] Cuando cambia información importante como horarios de atención o precios, ¿actualiza el contenido del sitio web de inmediato? (La IA busca información actualizada en tiempo real).
• [ ] Al usar términos técnicos difíciles del sector, ¿los explicó con palabras cotidianas para que un principiante o una IA puedan entender el contexto?
• [ ] ¿Evitó poner texto importante solo dentro de imágenes llamativas y lo introdujo como texto real que una máquina pueda copiar y leer?

Preguntas frecuentes

¿Puedo saltarme la indexación en buscadores si quiero ser citado en búsquedas de IA?

No. La indexación en buscadores debe ocurrir primero obligatoriamente. La mayoría de los servicios de búsqueda de IA en tiempo real no recorren toda la web por sí mismos, sino que buscan materiales primarios basándose en los resultados de indexación de grandes motores de búsqueda existentes como Google o Bing. Por lo tanto, su sitio debe estar registrado en el almacén (índice) de los buscadores generales para tener la oportunidad de ser descubierto por la IA.

¿Qué pasa si la IA corta mi texto de forma extraña y responde incorrectamente?

Dado que la IA lee los textos largos por párrafos, puede malinterpretar el contexto anterior o posterior. Para evitar esto, es recomendable reducir el uso de pronombres demostrativos (esto, aquello) al escribir. Es más seguro repetir el sujeto y el objeto claramente incluso dentro de un mismo párrafo. Debe escribir de forma independiente e intuitiva para que el contenido de los párrafos no esté excesivamente entrelazado.

Si permito los robots de IA en robots.txt, ¿se usará toda mi información sin permiso para entrenar a la IA?

Permitir los robots de IA no significa que siempre se usen exclusivamente para entrenar el cerebro básico de la inteligencia artificial. En muchos casos, se utilizan para leer el documento de forma puntual y dejar una fuente al generar respuestas a las preguntas de búsqueda en tiempo real de los usuarios. Sin embargo, el propósito puede variar según el tipo de robot (si es para entrenamiento o para búsqueda en tiempo real). Por ello, es necesaria una gestión selectiva de permisos y bloqueos según el criterio del administrador del sitio web.

¿Crear un llms.txt garantiza aparecer en la parte superior de las búsquedas de IA?

No. Como se explicó anteriormente, llms.txt no es todavía un estándar oficial confirmado. Solo actúa como un resumen que ayuda a la IA a entender el sitio web un poco más fácilmente. No hay ninguna garantía ni anuncio oficial de que la IA priorice su sitio por haber creado este archivo. Debe entenderse como la preparación de una guía amable adicional, no como un atajo mágico para asegurar la exposición.

Resumen

Si la indexación tradicional en motores de búsqueda es la obra básica de clasificar ordenadamente la información del mundo en una gran biblioteca, las citas de búsqueda en tiempo real de la IA son un servicio que lee rápidamente los libros de esa biblioteca para crear excelentes resúmenes personalizados para el usuario. Estos dos sistemas no compiten entre sí, sino que funcionan conectados como engranajes.

Aunque la forma de mostrar los resultados ha cambiado drásticamente, el principio básico de que debemos hacer que las máquinas entiendan con precisión los textos de nuestro sitio web permanece inalterado. Asegúrese de dejar la puerta abierta para que los robots de IA puedan visitar su sitio y trate de escribir de forma concisa, incluyendo claramente la esencia en cada párrafo. Si cumple con los fundamentos de OLRim y los buscadores, y pule su escritura para adaptarla al modo de lectura de la IA (chunking), su valiosa información se entregará de manera más precisa y útil a más usuarios.