오픈AI·구글·마이크로소프트(MS)가 웹사이트의 AI 학습 거부 의사를 하나의 공통 신호로 읽는 방안을 10월 30일 발표했다. 운영자는 robots.txt에 학습을 원치 않는 경로를 표시할 수 있게 된다. 구글은 2027년 초를 목표로 잡았고, MS는 2027년 2월 1일부터 새 설정을 읽기 시작할 예정이다.
1. 사이트 전체나 특정 경로에 학습 거부 의사를 표시한다
robots.txt는 검색 로봇과 AI 크롤러에 사이트의 접근 규칙을 알리는 텍스트 파일이다. 이번 제안은 기존 파일에 __usage_ai-training이라는 식별자를 추가해, 수집한 콘텐츠를 생성형 AI 모델 학습에 쓰는 데 대한 의사도 전달하자는 것이다.
초안에 따르면 User-Agent: __usage_ai-training으로 별도 그룹을 만들고 그 아래에 Disallow: /를 적으면 사이트 전체의 학습 이용을 원치 않는다는 뜻이다. 특정 경로만 적거나 허용 경로를 함께 표시할 수도 있다. 검색 로봇의 접근 규칙은 기존 로봇 이름에 연결된 항목에서 별도로 관리한다.
이 형식은 국제인터넷표준화기구(IETF)에 올라온 개인 제출 초안에 담겨 있다. 공통 신호를 따르겠다고 밝힌 업체가 콘텐츠 이용 여부를 판단하는 방식이며, 각 업체의 실제 적용은 별도 일정에 따른다. IETF에 제출된 기술 초안
2. 구글은 2027년 초, MS는 2월 1일부터
구글은 기존 AI 이용 제어 항목인 Google-Extended가 명시돼 있지 않을 때 공통 학습 거부 신호를 Google-Extended 거부와 같은 방식으로 해석할 계획이다. 구글의 크롤러 문서에는 지원 목표가 2027년 초로 적혀 있다. 구글 크롤러 문서
MS는 2027년 2월 1일부터 사이트를 수집하면서 새 설정을 반영한다. 사이트나 경로 단위의 학습 의사 외에 개별 페이지 설정도 제공한다. 두 설정이 다르면 해당 페이지에서는 페이지 단위 값이 우선한다. 마이크로소프트 빙 발표
오픈AI는 수개월 내 도입을 목표로 잡았으며 세부 적용 방식은 추후 공개할 예정이다. 기존 로봇별 설정도 계속 적용된다. 현재 오픈AI는 모델 학습용 GPTBot과 챗GPT 검색용 OAI-SearchBot 설정을 구분한다. 오픈AI 발표 · 오픈AI 크롤러 안내
3. 검색 노출과 AI 답변 인용은 따로 확인해야 한다
AI 모델을 학습시키는 것과 답변을 만들 때 웹 문서를 참고하는 것에는 서로 다른 설정이 적용될 수 있다. MS는 후자를 ‘그라운딩’으로 부르고 페이지 단위에서 별도로 설정할 수 있게 할 계획이다. 일반 빙 검색 결과에 표시될 자격은 기존 수집·색인 요건을 따른다.
MS는 기존 NoArchive나 NoCache를 쓰는 사이트의 전환 일정도 공개했다. 2026년 12월 15일 기준으로 해당 태그를 쓰는 사이트가 AI 답변의 웹 문서 활용 제한을 유지하려면, 2027년 3월 1일 전에 페이지에 새 설정을 넣고 빙 웹마스터 도구에 임시 설정도 기록해야 한다.
구글의 Google-Extended는 제미나이 모델 학습과 제미나이 앱·버텍스 AI의 일부 웹 자료 활용에 함께 쓰인다. 구글 검색의 게재 여부와 순위에는 영향을 주지 않는다. 운영자가 검색 유입과 AI 답변을 통한 유입을 따로 관리하려면, 공통 신호가 업체별 기존 설정에 어떻게 연결되는지 확인해야 한다.
다음 확인 시점은 구글이 지원 목표로 제시한 2027년 초와 MS가 새 설정을 읽기 시작하는 2월 1일이다. 그때 운영자는 업체 문서에서 적용 범위와 기존 규칙의 우선순위를 확인하고, 새 설정이 실제로 읽힌 시점을 살필 수 있다.
