구글봇이 내 워드프레스 블로그를 차단한 이유, 색인 문제 해결
워드프레스 블로그를 개설하고 열심히 글을 썼는데, 뭔가 이상했습니다. 네이버에서는 사람들이 조금씩 들어오는데, 전 세계 검색 1위라는 구글에서는 유입이 거의 0에 수렴했기 때문입니다.
아직 블로그가 신생아라 그런가 보다 하고 넘기기엔, 구글 유입 비율이 너무 적어서 우울했어요. 그러다 우연히 블로그 속도나 체크해 볼 겸 PageSpeed Insights를 들러봤는데, 결과 화면을 보고 등골이 서늘해졌습니다.
구글봇이 내 워드프레스 블로그를 차단한 진짜 이유, 색인 문제 해결
충격과 공포의 빨간 에러 문구
평소처럼 점수가 몇 점 나오나 기대하며 들어갔는데, 점수판 대신 무시무시한 빨간 경고 문구가 저를 반겼습니다.
403 Forbidden
robots.txt가 유효하지 않음 – 오류 1개 발견
순간 머릿속이 하얗게 변했습니다. 403이라니 내 블로그가 망한 건가? 구글이 나를 영구 차단한 건가? 오만가지 생각이 스쳐 지나갔습니다.
멀쩡히 네이버에서는 검색이 되는데, 구글봇만 제 사이트에 들어오지 못하고 문전박대를 당하고 있었던 겁니다. 이러니 구글 검색 유입이 안 늘어날 수밖에 없었죠.
범인은 바로 카페24 스팸 쉴드
밤새 구글링을 하며 해결 방법을 찾아 헤맸고, 마침내 범인을 검거했습니다. 제 워드프레스나 robots.txt 설정 문제가 아니었습니다. 범인은 제가 사용 중인 카페24 매니지드 워드프레스 호스팅의 기본 기능인 스팸 쉴드였습니다.
호스팅 설명에는 다년간의 노하우로 악성 스팸을 차단해 주는 고마운 기능이라고 쓰여 있었지만, 이 녀석이 너무 열일했던 게 탈이었습니다. 해외에서 접속하는 봇들을 싸잡아 스팸으로 간주해 버리면서, 선량한 구글봇까지 가차 없이 차단해 버린 겁니다. 보안을 위해 켜둔 기능이 오히려 내 블로그의 목을 조르고 있었다니 기가 찼습니다.
스팸 쉴드 해제, 변화
해결책은 허무할 정도로 간단하면서도 찜찜했습니다. 카페24 관리자 페이지에서 스팸 쉴드 설정을 사용 안 함으로 바꾸는 것, 그게 전부였습니다. 스팸 댓글이 좀 달릴까 봐 걱정되긴 했지만, 구글봇이 못 들어오는 것보다는 나으니 눈 딱 감고 해제했습니다.
시간이 흐르자, 거짓말처럼 구글봇이 다시 제 블로그에 오기 시작했습니다. 서치콘솔의 색인 생성 그래프가 우상향을 그리기 시작했고, 무엇보다 체감되는 방문자 수가 달라졌습니다.
13%에 머물던 구글 검색 유입 비율이 문제 해결 후 무려 40%까지 올랐어요. 혹시 저처럼 카페24를 쓰는데 구글 유입이 유독 적다면, 지금 당장 스팸 쉴드부터 의심해 보시기 바랍니다.
구글봇 차단 해결 결론
- 네이버 등 다른 곳은 잘 유입되는데, 구글만 유독 적다면 봇 차단을 의심하세요.
- PageSpeed Insights에서 403 에러나 robots.txt 오류가 뜬다면 100%입니다.
- 카페24 호스팅 사용 중이라면, 스팸 쉴드가 구글봇을 막고 있을 확률이 있어요.
- 과감하게 스팸 쉴드를 끄고 며칠 기다려보세요. 집 나간 구글봇이 돌아옵니다.
- 스팸 쉴드 해제했는데, 블로그 보안 관련 문제는 아직까지 없었습니다.
- 이런 중요한 부분은 호스팅 시작할 때 카페24에서 안내라도 해주면 좋겠어요.
