홈페이지가 기계에게 빈 종이인지 확인하는 법

최종 업데이트 2026년 9월 · 글 박정배

사람이 보는 화면과 로봇이 받는 파일

웹페이지는 텍스트와 명령으로 만든다. 텍스트는 화면에 나올 내용을 그대로 적어 둔 것이고, 명령(자바스크립트)은 브라우저에게 무엇을 하라고 시키는 것이다. 누군가 주소를 열면 서버는 HTML 파일 하나를 내려보낸다. 잘 만든 가게 홈페이지라면 그 파일 안에 가게 이름, 메뉴와 가격, 주소, 영업시간이 텍스트로 적혀 있다.

어떤 홈페이지의 파일에는 텍스트 대신 「메뉴 자료를 가져와 화면에 그려라」 같은 명령만 들어 있다. 사람의 브라우저는 그 명령을 곧바로 실행하므로 주인은 매번 메뉴가 뜬 화면을 본다. 로봇이 파일을 받은 순간에는 명령만 있고 글자는 없다.

로봇마다 명령을 다루는 방식

구글은 자바스크립트로 만든 페이지를 크롤링, 렌더링, 색인 생성의 세 단계로 처리한다고 개발자 문서에 적었다. 구글봇은 파일을 받은 뒤 페이지를 렌더링 대기열에 넣고, 구글의 자원이 허락할 때 브라우저를 흉내 내는 장치로 명령을 실행한다. 대기는 몇 초로 끝날 때도 있고 더 길어질 때도 있다. 명령이 불러오려는 파일이 로봇 배제 파일로 막혀 있으면 구글은 그 자바스크립트를 실행하지 않는다.

네이버는 자바스크립트 파일이 수집돼 있지 않으면 정적인 HTML 내용을 먼저 수집해 색인하고, 다시 찾아왔을 때 확보한 스크립트로 렌더링을 시도한다고 안내한다. 그리고 SPA(한 페이지 안에서 화면을 바꿔 그리는 방식) 사이트라도 HTML의 주요 영역은 서버에서 렌더링하라고 권한다. 네이버 서치어드바이저의 소유확인은 자바스크립트 실행을 지원하지 않는다.

오픈AI와 앤트로픽의 로봇 안내 문서에는 가져간 페이지의 명령을 실행한다는 설명이 없다. 챗지피티와 클로드의 검색 로봇을 두고는 서버가 보낸 파일에 무엇이 있는지만 확인할 수 있다.

구글 개발자 문서는 서버 측 렌더링이나 사전 렌더링은 사용자와 크롤러 모두에게 페이지를 빨리 띄우고, 「모든 크롤러가 JavaScript를 실행할 수 없다」는 점에서 여전히 좋은 방법이라고 적었다.

확인하는 순서

1. PC의 크롬에서 가게 홈페이지를 연다.
2. 주소창 맨 앞에 view-source:를 붙여 다시 연다. 예를 들어 view-source:https://example.com/menu다. 페이지 빈 곳에서 오른쪽 단추를 눌러 「페이지 소스 보기」를 골라도 같은 화면이 나온다. 단축키는 윈도 Ctrl+U, 맥 ⌘+Option+U다.
3. 원본 화면에서 찾기(윈도 Ctrl+F, 맥 ⌘+F)로 가게 이름을 찾는다. 이어서 대표 메뉴 이름, 전화번호, 영업시간 숫자를 하나씩 찾는다.
4. 넷 다 찾아지면 로봇이 받는 파일에 텍스트가 있다. 하나도 없으면 그 페이지는 로봇에게 빈 종이다.
5. 첫 화면, 메뉴, 오시는 길 페이지를 각각 같은 방법으로 본다. 첫 화면만 텍스트가 있고 메뉴 페이지는 명령뿐인 홈페이지도 있다.

원본 화면에서 <a href="/menu">처럼 href가 붙은 링크가 있는지도 본다. 구글은 이런 꼴의 링크만 따라간다고 적었다. 누르면 화면만 바뀌는 단추뿐이면 로봇은 첫 화면에서 메뉴 페이지로 갈 주소를 얻지 못한다.

구글이 실제로 받아 간 결과 보기

서치 콘솔에 사이트를 등록했다면 구글이 받은 결과를 직접 볼 수 있다.

1. 서치 콘솔의 URL 검사 창에 페이지 주소를 넣는다.
2. 「크롤링된 페이지 보기」를 눌러 HTML 탭을 연다. 구글이 색인에 쓴 HTML이 나온다.
3. 고친 뒤에는 「실제 URL 테스트」를 누르고 「테스트된 페이지 보기」에서 스크린샷 탭을 연다. 구글의 검사 도구가 그린 화면이 나온다.

스크린샷에 메뉴가 보여도 원본 파일에 텍스트가 없으면 구글 밖의 로봇은 그 메뉴를 읽지 못할 수 있다. 두 화면을 함께 확인한다.

고치는 방법과 맡길 때 할 말

빈 종이 문제는 홈페이지를 만든 업체나 제작 도구의 설정에서 고친다. 제작 업체에 요청할 때는 증상과 원하는 결과를 구체적으로 적는다.

• 증상: 「페이지 소스 보기에서 가게 이름과 메뉴와 가격이 보이지 않는다.」
• 원하는 결과: 「서버가 보내는 HTML에 메뉴 이름, 가격, 주소, 전화번호, 영업시간이 텍스트로 들어 있게 해 달라(서버 측 렌더링 또는 사전 렌더링).」
• 확인 방법: 「고친 뒤 view-source:로 열었을 때 위 정보가 찾아져야 한다.」

제작 도구를 바꾸기 어려우면 도구가 제공하는 글 상자 가운데 view-source:로 열었을 때 글자가 보이는 칸이 있는지 하나씩 시험한다. 그런 칸을 찾으면 첫 화면 맨 위의 그 칸에 가게 이름, 주소, 전화번호, 영업시간, 대표 메뉴와 가격을 적는다. 메뉴를 적는 방법은 메뉴와 가격을 텍스트로 적는 법에 정리했다.