검색엔진 색인과 AI 실시간 검색 인용은 어떻게 다를까요?

한 줄 답: 전통적인 검색엔진 색인은 책의 '목차와 찾아보기'를 미리 만들어 두는 과정이고, AI 실시간 검색 인용은 질문을 받은 즉시 여러 책을 빠르게 읽고 필요한 내용을 요약해서 '출처'와 함께 대답하는 방식입니다.

검색엔진은 어떻게 정보를 찾아낼까요?

우리가 매일 사용하는 검색엔진이 웹사이트를 찾아 화면에 보여주는 과정은 크게 세 단계를 거칩니다. 각 단계가 모두 정상적으로 작동해야 사용자의 화면에 정보가 나타납니다.

첫 번째 단계는 크롤링(수많은 웹페이지를 돌아다니며 새로운 글이나 이미지를 수집하는 작업)입니다. 검색엔진은 로봇이라는 프로그램을 보냅니다. 이 로봇은 마치 도서관 사서가 세상에 새로 나온 책을 수집하러 다니는 것처럼 인터넷 세계를 돌아다닙니다. 로봇은 웹페이지에 있는 링크를 타고 다른 페이지로 계속 이동합니다. 이렇게 이동하면서 발견한 새로운 정보를 복사해서 검색엔진의 창고로 가져옵니다.

두 번째 단계는 색인(수집한 정보를 검색하기 쉽게 단어별로 정리하여 거대한 데이터베이스에 저장하는 과정)입니다. 수집해 온 책을 그냥 창고에 쌓아두면 나중에 찾을 수 없습니다. 그래서 책의 내용을 꼼꼼히 읽고 제목, 작성자, 중요한 핵심 단어를 분류합니다. 그런 다음 검색용 컴퓨터(데이터베이스)에 이 정보를 등록합니다. 만약 내 웹사이트가 색인되지 않았다면, 검색창에 아무리 내 회사 이름을 쳐도 결과에 절대 나오지 않습니다.

세 번째 단계는 순위 결정(사용자가 검색어를 입력했을 때 가장 알맞고 품질이 좋은 페이지를 순서대로 나열하는 과정)입니다. 검색엔진은 수백 가지의 평가 기준을 가지고 있습니다. 검색한 단어와 내용이 얼마나 정확히 일치하는지 평가합니다. 또한 이 웹사이트가 얼마나 믿을 만한 곳인지도 계산합니다. 이 점수에 따라 첫 페이지의 가장 위에 나올지, 두 번째 페이지로 밀려날지가 결정됩니다.

AI 실시간 검색은 어떻게 답을 만들까요?

최근 등장한 인공지능 검색은 과거의 검색 방식에 RAG(검색 증강 생성: 인공지능이 답변을 만들기 전에 먼저 외부의 믿을 수 있는 최신 자료를 검색해서 참고하는 기술)라는 새로운 방식을 더했습니다. 인공지능은 자신이 과거에 학습한 지식만으로 대답하면 틀린 말을 지어내는 실수를 할 수 있습니다. RAG는 이런 실수를 줄이기 위한 안전장치입니다.

AI 검색이 답변을 만드는 흐름은 다음과 같습니다. 사용자가 인공지능에게 질문을 입력합니다. 그러면 인공지능은 그 질문을 이해하고, 스스로 검색엔진에 입력할 검색어를 새로 만듭니다. 그 검색어로 실시간 인터넷 검색을 실행합니다. 검색 결과로 나온 최신 문서나 뉴스 기사들을 빠르게 읽어 들입니다.

문서들을 다 읽은 후에는 질문에 딱 맞는 핵심 내용만 뽑아냅니다. 마지막으로 인공지능이 사람과 대화하듯 자연스러운 문장으로 요약본을 작성합니다. 이때 자신이 어떤 문서를 읽고 이 대답을 썼는지 증명하기 위해 원본 웹사이트의 링크를 함께 달아 줍니다. 우리는 이것을 '인용'이라고 부릅니다. 결과적으로 사용자는 여러 사이트를 직접 돌아다닐 필요 없이, 요약된 정답과 출처를 한 번에 얻게 됩니다.

인공지능이 글을 읽는 방식: 조각내기

사람은 보통 긴 글을 읽을 때 처음부터 끝까지 전체적인 흐름을 타며 읽습니다. 하지만 인공지능은 긴 문서를 한 번에 통째로 읽고 모든 문맥을 완벽하게 기억하기 어렵습니다. 인공지능에게는 한 번에 처리할 수 있는 토큰(인공지능이 글자를 인식하는 가장 작은 단어 조각)의 제한이 있기 때문입니다.

그래서 인공지능은 긴 글을 처리할 때 청킹(긴 문서를 문단이나 의미 단위로 여러 개의 조각으로 나누어 저장하고 읽는 기술)이라는 방법을 사용합니다. 가정하면, 10페이지 분량의 긴 회사 소개서가 있다고 합시다. 인공지능은 이 문서를 한 문단씩, 혹은 몇 개의 문장 단위로 네모난 퍼즐 조각처럼 자릅니다. 그리고 질문이 들어오면 수많은 퍼즐 조각 중에서 질문과 가장 비슷한 조각만 쏙 뽑아서 읽습니다.

이런 특징 때문에 웹사이트에 글을 쓸 때는 문단의 구조가 매우 중요해집니다. 만약 한 문단 안에 회사의 역사, 제품의 가격, 환불 규정이 뒤죽박죽 섞여 있다고 가정해 보겠습니다. 인공지능이 이 조각을 뽑아 들었을 때 어떤 정보가 핵심인지 헷갈리게 됩니다. 문단이 너무 길게 이어지거나 맥락이 갑자기 바뀌면 정보가 중간에 잘려 나갈 수도 있습니다. 따라서 인공지능이 내 글을 정확히 인용하게 만들려면, 한 문단에 하나의 핵심 주제만 명확하게 담아서 짧고 간결하게 쓰는 것이 좋습니다.

검색엔진 색인 vs AI 검색 인용 비교

전통적인 검색엔진과 새로운 AI 검색의 차이점을 한눈에 알아보기 쉽게 표로 비교해 보겠습니다.

AI 로봇을 초대하거나 막는 방법: robots.txt

웹사이트에는 사람인 방문객만 찾아오는 것이 아닙니다. 정보를 수집하기 위해 수많은 로봇(자동화된 정보 수집 프로그램)들이 매일 밤낮으로 찾아옵니다. 이 로봇들에게 "이 페이지는 들어와서 정보를 가져가도 되고, 저 페이지는 개인정보가 있으니 들어오지 마세요"라고 알려주는 안내문이 필요합니다. 이 역할을 하는 것이 바로 robots.txt(웹사이트의 가장 상위 폴더에 두어 로봇의 접근 규칙을 적어두는 텍스트 파일)입니다.

과거에는 구글의 로봇이나 네이버의 로봇 정도만 신경 쓰면 되었습니다. 하지만 인공지능 시대가 되면서 AI 회사가 보내는 다양한 로봇들이 등장했습니다. 대표적인 AI 로봇들은 다음과 같습니다.

첫째, 챗GPT를 만드는 오픈AI 회사의 GPTBot입니다.

둘째, 구글이 인공지능 모델을 학습시키기 위해 사용하는 Google-Extended입니다.

셋째, 클로드라는 인공지능을 만드는 앤스로픽 회사의 ClaudeBot입니다.

넷째, AI 검색에 특화된 퍼플렉시티라는 서비스가 사용하는 PerplexityBot입니다.

만약 내 웹사이트에 정성껏 쓴 글이 AI의 답변에 출처로 인용되기를 바란다면 어떻게 해야 할까요? robots.txt 파일에서 이런 AI 로봇들의 방문을 차단(Disallow)하지 않도록 설정해야 합니다. 반대로 나의 자료가 AI에게 읽히는 것이 싫다면 이 로봇들의 이름을 지정해서 차단할 수도 있습니다. 웹사이트 관리자는 이 파일을 통해 AI와의 정보 교류를 직접 통제할 수 있습니다.

AI를 위한 새로운 안내서: llms.txt의 등장과 한계

최근 웹사이트 개발자들 사이에서 llms.txt(인공지능 언어 모델이 웹사이트의 핵심 정보를 방해물 없이 쉽게 읽을 수 있도록 요약해 둔 텍스트 파일)라는 새로운 개념이 관심을 받고 있습니다. 이것은 웹사이트 주소 뒤에 '/llms.txt'를 붙여서 접근할 수 있도록 만드는 안내서입니다.

보통의 웹페이지(HTML 문서)에는 사람이 보기에 예쁜 디자인, 복잡한 메뉴, 바닥글, 화려한 광고 이미지 등이 잔뜩 들어 있습니다. 인공지능 입장에서는 글씨를 읽으러 왔는데 이런 꾸밈 요소들이 오히려 방해물이 됩니다. 그래서 llms.txt 파일에는 화려한 디자인을 싹 빼고 오직 중요한 글자만 남깁니다. 회사의 주요 서비스, 연락처, 요금표 등을 마크다운(글씨를 굵게 하거나 목록을 만드는 등 간단한 기호만 사용하여 문서를 꾸미는 가벼운 언어) 형식으로 깔끔하게 적어두는 것입니다. 이렇게 하면 AI가 우리 사이트의 핵심을 오해 없이 한 번에 파악할 수 있습니다.

하지만 중요한 한계점이 있습니다. llms.txt는 아직 전 세계적으로 확정된 공식 표준 규칙이 아닙니다. 일부 개발자들이 제안하여 유행하기 시작한 방식입니다. 따라서 어떤 인공지능 서비스는 이 파일을 적극적으로 찾아서 읽을 수도 있지만, 또 다른 인공지능은 이 파일의 존재를 아예 무시할 수도 있습니다. 그러므로 현재 단계에서는 이 파일만 믿어서는 안 됩니다. 기존의 웹페이지를 깔끔하게 정리하는 보조 수단 중 하나로만 활용하는 것이 적절합니다.

내 웹사이트 점검하기 (체크리스트)

우리 웹사이트가 일반 검색엔진은 물론이고 최신 AI에게도 잘 읽히고 있는지 아래의 항목들을 통해 점검해 보세요.

• [ ] 구글이나 네이버 같은 일반 검색엔진에서 우리 회사의 이름이나 주요 상품을 검색했을 때 정상적으로 결과가 나타나나요? (색인 확인)
• [ ] 블로그나 소개 글을 작성할 때, AI가 조각내어 읽기 쉽도록 한 문단에 하나의 핵심 주제만 나누어 적었나요?
• [ ] 웹사이트의 robots.txt 파일이 GPTBot이나 PerplexityBot 같은 주요 AI 로봇의 방문을 실수로 막아두고 있지는 않나요?
• [ ] 영업시간이나 제품 가격 등 중요한 정보가 바뀌었을 때, 웹사이트의 내용을 최신 상태로 바로바로 수정하고 있나요? (AI는 실시간으로 최신 정보를 찾습니다.)
• [ ] 업계의 어려운 전문 용어를 사용할 때, 처음 읽는 사람이나 인공지능도 문맥을 이해할 수 있도록 일상적인 단어로 쉽게 풀어 설명했나요?
• [ ] 화면의 화려한 이미지 속에만 중요한 글자를 넣지 않고, 기계가 복사해서 읽을 수 있는 실제 텍스트(글자)로 정보를 입력했나요?

자주 묻는 질문

AI 검색에 인용되려면 검색엔진 색인은 안 해도 되나요?

그렇지 않습니다. 반드시 검색엔진 색인이 먼저 되어야 합니다. 대부분의 AI 실시간 검색 서비스는 자체적으로 모든 웹을 돌아다니기보다는 구글이나 빙 같은 기존 거대 검색엔진의 색인 결과를 바탕으로 1차 자료를 찾습니다. 따라서 일반 검색엔진의 창고(색인)에 내 웹사이트가 등록되어 있어야 AI에게도 발견될 확률이 생깁니다.

AI가 내 글의 일부만 엉뚱하게 잘라서 대답하면 어떡하나요?

AI는 긴 글을 문단 단위로 조각내어 읽기 때문에 앞뒤 문맥을 오해할 수 있습니다. 이를 방지하려면 글을 쓸 때 지시대명사(이것, 저것) 사용을 줄이는 것이 좋습니다. 한 문단 안에서도 주어와 목적어를 명확하게 반복해서 적어주는 것이 안전합니다. 앞뒤 문단의 내용이 너무 복잡하게 얽히지 않도록 독립적이고 직관적으로 글을 써야 합니다.

robots.txt에서 AI 로봇을 허용하면 내 정보가 전부 AI 학습에 무단으로 쓰이나요?

AI 로봇을 허용한다고 해서 항상 인공지능의 기본 두뇌를 학습하는 데에만 쓰이는 것은 아닙니다. 많은 경우, 사용자의 실시간 검색 질문에 답변을 만들기 위해 일회성으로 문서를 읽고 출처를 남기는 데 사용됩니다. 다만 로봇의 종류(학습용 로봇인지, 실시간 검색용 로봇인지)에 따라 목적이 다를 수 있습니다. 따라서 웹사이트 관리자의 판단에 따라 선별적인 허용과 차단 관리가 필요합니다.

llms.txt를 만들면 무조건 AI 검색 최상단에 노출되나요?

아닙니다. 앞서 설명한 것처럼 llms.txt는 아직 확정된 공식 표준이 아닙니다. AI가 웹사이트를 조금 더 쉽게 이해하도록 돕는 요약본 역할을 할 뿐입니다. 이 파일을 만들었다고 해서 AI가 우선적으로 내 사이트를 보여준다는 보장이나 공식적인 발표는 전혀 없습니다. 노출을 보장하는 마법의 단축키가 아니라, 친절한 안내서를 하나 더 준비하는 과정으로 이해해야 합니다.

정리

전통적인 검색엔진 색인이 세상의 정보를 거대한 도서관에 차곡차곡 잘 분류해 두는 기초 공사라면, AI 실시간 검색 인용은 그 도서관의 책들을 빠르게 읽고 사용자에게 훌륭한 맞춤형 요약본을 만들어 주는 서비스입니다. 이 둘은 서로 경쟁하는 것이 아니라 톱니바퀴처럼 연결되어 작동합니다.

결과물을 보여주는 방식은 크게 달라졌지만, 결국 기계가 내 웹사이트의 글을 정확하게 이해하도록 만들어야 한다는 기본 원칙은 변하지 않았습니다. AI 로봇이 우리 사이트에 잘 방문할 수 있도록 문을 열어두어야 합니다. 그리고 문단마다 핵심을 명확히 담아 간결하게 글을 작성해 보세요. 검색엔진의 기본을 충실히 지키면서 AI의 읽기 방식(청킹)에 맞춰 조금만 다듬는다면, 여러분의 소중한 정보가 더 많은 사용자에게 정확하고 유용하게 전달될 것입니다.