애드고시 세번째 탈락, HTTP 403 오류 또 서버 다운되었다고 합니다.

애드 고시 두 번째 탈락시 403 페이지 오류에 대한 처방으로 이미지들을 최적화 - 이미지 크기 조절, 파일 사이즈 압축 등을 통해 페이지가 조금이라도 빨리 로딩될 수 있도록 수정해 보았습니다. 하지만 또 "사이트가 다운되었거나 사용할 수 없음"  이라는 내용으로 탈락되었습니다.

 

티스토리에 게시글을 작성을 마치고 바로 구글, 네이버, bing 등의 검색 엔진에 작성글을 크롤링할 수 있도록 등록해 주고 있습니다. 구글이나 네이버는 특별히 문제없이 Bing Webmaster도구에서는 색인화될 수 없습니다.라는 문구와 함께 403 오류를 반환했다고 합니다. 다은 원인일 수도 있겠지만  저는 자꾸  403이라는 문구에 집착을 하게 되는지 모르겠습니다. 

 

Bing 403 Err 메세지

HTTP 403 오류란 

이 서버의 [디렉터리]에 대한 액세스 권한이 없습니다.  로봇이 액세스 하지 못한다는 것 아닌가?  bingbot 크롤링이 403 오류가 발생합니다. 네이버 웹마스터 도구에서 robots.txt를 확인해 보면 로봇 엔진의 설정은 아래와 같다.

User-agent: *
Disallow: /owner
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /search
Disallow: /m/search
Disallow: /m/admin
Disallow: /like
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: bingbot
Crawl-delay: 30

 bingbot 에만 Crawl-delay: 30 로봇의 방문을 초 단위에 한 번만 방문 허용한다는 옵션이 붙어 있는 것으로 봐서는 bing bot 가 티스토리 블로그에 뭔가의 영향을 주긴 주는 것 같은데, 애드센스도 bing bot에서 발생사는 403 오류 메시지를 보낸다는 것이 무척 신경 쓰이기 떼문입니다. 

 

HTTP 403 원인

• URL 오류로,  잘못된 주소로 애드센스 신청을 했을 경우에 발생할 수 있다,
• 잘못된 브라우저 캐시로 403 오류를 발생한다고 하는데 이 말뜻은 웹페이지가 빨리 보일 수 있도록 해당 페이지가  변경 내용이 없는 경우 클라이언트가 저장해 놓은 이전 내용의 페이지를 보여주게 되는데 이때 잘못된 캐시 버전으로 403 오류를 발생하기도 한다고 한다.
• 일반적으로 특수 권한 - 로그인이 필요한 사이트에 접근할 때도 인증되지 않았다면 403 오류가 발생한다고도 한다.  

 

하여튼 , 위의 경우라면 특별히 내가 뭘 어떻게 할 수 있는 방법이 없을 것 같다. URL 신청 정보도 제대로 돼있고, 구글 봇이 잘못된 캐시 정보로 사이트를 확인할 일도 없을 테고... 일단 글을 열심히 적으면서 재신청하는 방법밖에는 없을 듯합니다.

카테고리의 주제를 하나로 합치자

그래도 뭔가 조치를 취해 보아야 하니 이번에는 카테고리 주제별로 분리해 놓은 몇 안 되는 글들을 모두 하나의 카테고리로 합쳐야겠습니다. 구글 로봇이 카테고리 별로 나눠 놓은 글들이 몇 개 안 되었다고 판단할 수도 있으니까요.

 

카테고리를 정리 후 발생된 문제

주제별로 분리해 놓은 포스팅들을 하나의 카테고리로 변경하였습니다. 카테고리 변경 후 포스팅 내용의 이미지들이 보이지 않는 문제가 발생하였습니다.

 

이미지 로딩 오류

혹시 이것도 403 오류의 원인 중 하나인 잘못된 캐시 파일 때문일까 생각되었습니다.  카테고리 변경으로 주소만 바뀌었지 글 내용은 변한 것이 없으니까 충분히 저장해 놓은 캐시파일로 페이지를 불러 들일수 있겠구나 생각되었습니다. 그래서 크롬의 설정에 들어가 이전 캐시 내용들을 삭제하고 다시 페이지를 새로고침 하니까 이미지들이 잘 나오기 시작하였습니다. 

 

다움번에 탈락되더라도 이젠 다른 메시지를 보고 싶습니다.