시작하는 글
어디에도 알리지 않고 블로그를 하나 만들었습니다.
트위터에도, 커뮤니티에도, 지인에게도 링크를 보내지 않았습니다. 검색엔진에 등록 신청도 하지 않았습니다. 그런데도 언젠가는 누군가 이곳에 도착할 겁니다. 저는 그게 언제인지, 누구인지 기록해두려고 합니다.
왜 이런 걸 하는가
작년부터 크롤러 트래픽이 폭증했다는 이야기가 계속 나옵니다. 통계는 대개 대형 사이트 기준이라, 아무도 모르는 개인 블로그 하나에는 무슨 일이 벌어지는지 잘 나와 있지 않습니다. 직접 확인하는 편이 빠르겠다 싶었습니다.
궁금한 건 세 가지입니다.
- 새 도메인이 생기고 첫 크롤러가 오기까지 며칠이 걸리는가
- 누가 먼저 오는가
- 오지 말라고 적어두면, 정말 오지 않는가
어떻게 확인하는가
이 사이트에는 구역이 두 개 있습니다. 지금 보고 계신 /open/은 가져가도 되는 곳이고, /noai/는 가져가지 말라고 적어둔 곳입니다.
두 구역은 나머지 조건이 전부 같습니다. 같은 날 발행하고, 홈에서 같은 비중으로 링크하고, 사이트맵과 피드에도 나란히 넣습니다. 그래야 차이가 생겼을 때 그 원인을 규칙 하나로 좁힐 수 있습니다.
한쪽만 링크를 덜 걸어두면, 크롤러가 안 온 게 규칙을 지켜서인지 그냥 못 찾아서인지 알 수 없게 됩니다. 그건 실험이 아니라 그냥 추측입니다.
기록에 관하여
모든 요청은 서버에서 기록합니다. 크롤러는 자바스크립트를 실행하지 않기 때문에 일반적인 방문자 분석 도구로는 아예 보이지 않습니다.
IP 주소는 저장하지 않습니다. 날짜와 서버 소금값을 섞어 해시로 만든 뒤 잘라서 쓰기 때문에, 하루 안에서 방문자를 세는 것 말고는 아무 쓸모가 없고 되돌릴 수도 없습니다.
결과는 시간이 좀 지난 뒤에 정리해서 올리겠습니다.