네이버(인컴즈) 측에서 오늘 답변이 왔는데 결국 네이버 검색엔진이 파이널판타지아의 검색결과를 차단했다고 시인하였습니다.

그리고 검색결과를 차단한 것에 대해서 원래대로 복구해주겠다는 답변을 들었습니다.

인컴즈 답변: "개발 담당자가 확인해 본 결과, 문의주신 (http://www.finalfantasia.com/) 사이트는 템플릿 그룹이 삭제되어있어, 모든 문서의 차단 설정이 되어 있습니다."

문제는 인컴즈 측이 아무런 통보도 없이 작년 10월부터 웹문서 수집을 차단했다는 것입니다.

게다가 웹브라우저 탓을 하고 있는데, 웹브라우저 문제는 불과 2주일 전에 수정한 부분이고 비공개 게시판에 한해서만 설정이 되어 있기 때문에 논리적으로 말이 되지 않습니다.

그리고 웹브라우저 때문에 네이버 뿐만 아니라 구글로봇도 웹문서를 수집하지 못한다고 하는데, 구글은 이미 웹문서 100만개 이상을 수집해 간 상태이고 최신 문서도 검색이 잘 되고 있습니다.

[2011년 2월 21일 네이버(인컴즈) 답변내용]

안녕하세요. 네이버 검색 서비스 담당자 이제일입니다.

먼저, 네이버 웹문서 검색 서비스를 이용해 주셔서 감사드립니다.
 
기간 설정 검색은 작성 날짜가 확인되는 웹문서에 한하여 적용되는 기능입니다.
기간 전체로 했을 때, http://www.finalfantasia.com/ 출처로 확인되는 255,540건은  전체 검색 결과이며, 1년 기간 설정한 경우에 확인되는 0건은 전체 검색 결과 중 문서 작성 날짜가 확인되는 웹문서의 개수입니다.
 
즉, 기간 설정 전후의 검색결과건수가 크게 차이나는 까닭은 작성 날짜가 확인되는 웹문서가 존재하지 않으며,
그러한 웹문서는 기간 설정 검색의 대상에서 제외되기 때문입니다.
위 사항에 대해서는 향후 개선할 예정입니다.
 
그리고 이전에 노출되던 웹문서가 사라진 이유는 웹 영역내 출처표시와 관련하여 수집 요청 주신 사이트 www.finalfantasia.com와 중복 노출되는 URL : finalfantasia.com 문서들의 제외가 진행되었기 때문입니다.
 
동일한 컨텐츠 사이트가 중복도메인으로 운영되는 경우 원본 URL을 제외하고는 모두 검색 결과에서 제외되는 점 양해를 부탁드립니다.

확인결과:
올해 1월에 검색한 화면을 보면 분명 파이널판타지아의 웹문서가 664,909건이 보입니다.

그러나 2월 16일에 검색한 화면을 보면 265,237건만 보입니다.
자그만치 40만건의 웹문서가 삭제되었습니다.

중복된 문서가 265,237건이라고 하면  664,909 - (265237*2) = 약 15만건의 웹문서들을 어디로 사라진 것입니까?

 

또한, 출처 표시와 관련된 사항에 대해서 보다 정확하게 확인해 보았는데요,
 
문의하신 사이트(http://www.finalfantasia.com/)는 출처 표시 및 최신글 반영은 웹수집을 통해서 이루어 지게 되는데 웹수집에는 여러 방법이 있으며, 문의주신 사이트는 템플릿 수집 방식으로 수집합니다.
 
개발 담당자가 확인해 본 결과, 문의주신 (http://www.finalfantasia.com/) 사이트는 템플릿 그룹이 삭제되어있어, 모든 문서의 차단 설정이 되어 있습니다.
 
그룹 삭제 사유는 브라우저에서는 페이지가 정상적으로 보여지지만,
User-agent를 브라우저가 아닌 로봇으로(ex: Yeti, naverbot, googlebot) 접근을 하면 
language='javascript'>alert('Internet Explorer Only Available. \n\nThank you. ');
<meta http-equiv='refresh' content='0;url=javascript:history.back(1);'>
 
위와 같은 경고를 출력하게 됩니다.

웹로봇은 링크를 타고 다니며 문서를 수집하는데 이 때 정보 확인이 불가하거나, robots.txt가 설치되어 있는 웹문서는 수집할 수 없습니다.
 
따라서, 문의하신 사이트에서 기계적인 접근을 의도적으로 막아 놓은 것으로 확인됩니다.
 
이에 사이트 측에서 로봇이 접근하여 HTML source를 받는 것이 가능해야 웹로봇이 문서를 수집하는 것이 가능합니다.
 
사이트 운영자 혹은 관리자께서 로봇의 접근을 가능할 수 있도록 수정 부탁드립니다.
사이트 수정해 주신 후에 다시 한번 문의주시면 확인하여 안내해 드리겠습니다.

네이버 측이 템플릿이라는 웹문서 수집 방식을 이용하여 그동안 파이널판타지아의 웹문서를 수집했는데, 템플릿 그룹을 삭제해서 파이널판타지아의 웹문서 전체를 차단시켰다고 시인하였습니다.

이것 때문에 [출처 파이널판타지아] 표시가 된 것도 없어진 것입니다.

그런데 그 이유를 웹브라우저 문제로 돌리고 있습니다.

네이버가 웹문서 검색을 차단한 시기는 작년 10월입니다.

여기서 웹브라우저 문제는 불과 2주일 전에 변경한 사항으로 버그 때문에 일부 게시판들을 익스플로러만 접근이 되도록 자바 스크립트를 수정한 것을 말합니다.

게다가 웹브라우저 문제 때문에 구글 로봇도 웹문서를 수집하지 못한다고 답변을 했는데, 구글은 여전히 웹문서들을 잘 수집해 가고 있습니다.

옵션에서 최근 날짜를 선택하면 최신 문서들도 잘 나옵니다.

구글에서 site:finalfantasia.com 로 검색하면 약 110만개의 웹문서들이 나옵니다.

네이버 측이 고의로 웹문서들을 삭제하고 검색결과를 차단한 것이 확실한데, 이것을 가지고 파이널판타지아의 서버 문제라고 하니 기가 막힙니다.

결국 네이버(인컴즈) 측이 주장하는 것은 "파이널판타지아의 서버에서 네이버 로봇을 막았기 때문에 우리(네이버)도 검색결과를 차단한 것이다." 이겁니다.

파이널판타지아에서는 검색엔진을 차단하는 robots.txt 문서를 사용한 적이 없으며 방화벽 프로그램에서도 네이버 로봇이나 구글 로봇 등 검색봇들을 차단한 적이 없습니다.

작년에 네이버 검색엔진을 통해서 하루 3만명이 넘게 방문을 했는데 파판에서 네이버 로봇을 막을 이유가 있겠습니까?

아무튼 내일 다시 항의 메일을 보내고 전화를 해야될 것 같습니다.

여러분들도 다시 한 번 도와주시면 좋겠습니다.

네이버 고객센터(인컴즈): 1588-3820  내선 3번 -> 1번

우선 아래에 있는 링크로 들어가서 밑에 있는 내용들을 복사해서 보낸 다음 고객센터로 전화를 하시면 됩니다.

http://help.naver.com/ops/step2/mail.nhn?upCatg=256#catg_a_531

제목: 다시 한 번 문의 드립니다.
주소: http://finalfantasia.com
내용:

파이널판타지아에서 활동하고 있는 회원입니다.

네이버 측이 템플릿이라는 웹문서 수집 방식을 이용하여 그동안 파이널판타지아의 웹문서들을 수집했는데, 템플릿 그룹을 삭제해서 파이널판타지아의 웹문서 전체를 차단시켰다고 답변이 왔습니다.

결국 네이버 측에서 의도적으로 검색결과를 차단한 것인데, 그렇다면 차단한 것을 원래대로 풀어주십시오.

네이버 측에서는 차단한 이유를 robots.txt 파일과 웹브라우저 문제로 돌리고 있는데...

파이널판타지아에서는 robots.txt 파일을 사용하지 않습니다.

그리고 네이버가 웹문서 검색을 차단한 시기는 작년 10월입니다. 

네이버 측에서 주장하는 웹브라우저 문제는 불과 2주일 전에 변경한 사항으로 버그 때문에 일부 게시판들을 익스플로러만 접근이 되도록 자바 스크립트를 수정한 것을 말합니다.

구글이나 네이버 로봇이 사이트에 접근하면 웹브라우저 메세지가 뜨면 정보들을 수집해 갈 수 없다고 하는데 구글로봇들은 정상적으로 웹문서를 수집해 가고 있습니다.

그리고 웹브라우저 메세지가 뜨는 게시판은 비공개 게시판입니다.
다른 사이트들도 마찬가지지만 비공개 게시판은 웹문서 수집을 할 수 없게 만든 곳이기 때문에 아무런 상관이 없습니다.

제가 이상하게 생각하는 점은 공개된 게시판으로부터 웹문서 수집이 왜 안되느냐? 하는 것입니다.

아래는 구글에서 검색한 결과입니다. 검색결과에 100만개 이상의 웹문서들이 보여지고 있습니다.

http://pds18.egloos.com/pds/201102/21/97/a0106897_4d623577e58ff.jpg

최신 날짜로 검색을 하더라도 최근 문서들이 정확하게 나오고 있습니다.

개발자 분께 다시 한 번 확인해서 템플릿을 복구시켜주시고 정상적으로 검색결과가 노출이 되도록 해주십시오.
확인해보니 인컴즈 측에서 템플릿을 삭제하는 바람에 출처 표시도 사라진 것이었습니다.

마지막으로 중복된 문서를 제거했기 때문에 과거에 검색이 되던 글들이 안나오는 것이라고 하셨는데요.

올해 1월에 검색한 화면을 보면 분명 파이널판타지아의 웹문서가 664,909건이 보입니다.

오늘 다시 검색해보니 웹문서 갯수가 240,505건으로 2만건 이상이 또 무단으로 삭제되었더군요.

네이버(인컴즈) 측에서 웹문서를 삭제하고 검색결과에서 막은 것은 사실로 밝혀졌습니다.

그렇다면 사과를 하시고 원래대로 복구를 해주셔야죠?

빨리 처리해주시고 정확한 답변을 주시기 바랍니다.

제목: 네이버 로봇을 막았다는 증거자료나 처리방법을 알려주십시오.

내용:
파이널판타지아 서버에서 네이버 로봇을 막아서 검색결과가 안나오는 것(템플릿 삭제)이라고 하는데 그렇다면 그 증거자료를 보여주십시오.

그리고 어떻게 하면 제 쪽에서 네이버 로봇을 막았는지 확인할 수 있는 방법과 푸는방법도 알려주시구요.

저희 쪽에서는 서버에서 건드린 것이 전혀 없기 때문에 네이버 로봇을 막은 적도 없고, 확인할 방법도 없습니다.

구글이나 다음 등 다른 검색로봇들을 정상적으로 문서들을 가지고 가는데 왜 네이버만 이상이 있나요?

규모로 보면 네이버 로봇보다 구글 로봇이 더 크기 때문에 방화벽 프로그램이 막았다면 당연히 구글도 막혀야 되는데 이상이 없습니다.

증거자료를 보여주시고 어떻게 하면 저희 서버에서 네이버 로봇을 차단했는지 확인할 수 있는 방법을 알려주세요.