네이버 웹마스트도구 수집 실패 원인

네이버 웹마스트도구 수집 실패 원인

안녕하세요 웹마스터도구 팀입니다.

최근 웹마스터도구에서 웹 페이지 수집요청시 처리 결과가 지연 또는 실패가 발생하는 현상에 대하여 설명드리고, 이에 대한 운영정책 변경에 대하여 말씀드립니다. 

웹 페이지 수집요청은 검색로봇이 미처 방문하지 못한 사이트의 주요 웹페이지를 사용자가 직접 수집요청을 하는 기능으로서, 사이트 별 일간 50번의 수집요청을 수행할 수 있습니다.

최근 이를 악용하여 대량의 계정을 생성, 비슷한 패턴의 스팸 사이트들을 대량으로 등록 후 수집요청을 어뷰징 (abusing) 하는 사례가 확인 되었으며, 수집 요청량이 평소대비 최대 수십 배 증가 하게 되었습니다.

이로 인해 정상적인 웹사이트 수집요청에도 영향이 미치게 되었으며, 수집 실패가 발생되었습니다.

웹마스터도구 팀은 6월말 진행된 신디케이션 운영정책 변경으로 인하여 신디케이션 유입의 상당수를 차지 하였던 스패머(spammer) 들이 수집요청을 통해 스패밍(spamming) 시도한 것으로 판단하고 있습니다. 

네이버 웹검색 사용 환경의 질을 떨어트리는 악성 사용자들을 필터링 하기 위해, 웹마스터도구로 부터 유입되는 수집요청에 대한 우선순위 책정 작업을 아래와 같이 운영하기로 하였습니다.

1. 검색엔진 최적화 여부를 판단하여 웹수집 요청의 우선순위를 책정합니다.

웹사이트 검색에서 검색엔진 최적화 (SEO) 는 아주 중요한 사항입니다. 웹마스터도구는 소유 확인된 사이트에 한하여 현황 > 사이트 최적화 라는 레포트를 제공하고 있습니다. 내 웹사이트가 웹표준을 잘 준수한 정상적인 사이트라면 수집요청도 정상적으로 사용할수 있습니다.

웹마스터도구 현황 > 사이트 최적화

Q. 제 웹사이트는 오픈한지 얼마 안된 사이트 인데요. 검색엔진 최적화의 여부를 본다면 제 웹사이트는 수집 요청이 어려운건가요?

신규 웹사이트의 경우, 웹마스터도구 사이트 등록 및 소유확인으로 웹사이트의 존재 여부를 알릴수 있습니다. 웹사이트를 처음 등록한 후는 검색 로봇이 웹사이트 방문 후, 최적화의 여부를 판단하여 수집요청의 우선순위를 책정합니다. (변경된 정보는 검색 로봇이 재방문후 갱신이 됩니다) 

웹사이트 방문후 최적화 여부를 판단하기 위해서는 3-4일의 시간이 소요되며, 웹서포트센터의 가이드라인에 따라 웹사이트를 정상적으로 운영한다면 수집 요청 처리에 문제가 없을 것으로 보입니다.

2. 더욱 세분화된 수집요청 처리 결과를 제공합니다.

[요청완료]
- 사용자가 수집요청을 처리하고 수집 시스템이 이를 인식하였음을 나타냅니다. 
- 요청완료 상태에서 아래 수집 실패 또는 수집 성공으로 결과가 처리됩니다

[수집실패]
- 수집중복
   * 수집시스템이 최근 수집요청한 웹페이지를 수집한 경우
-  수집차단
    * 수집 요청한 웹사이트의 robots.txt 에 의해 네이버 검색 로봇 방문이 차단이 된 경우
- 연결실패 
    * 수집 요청한 웹사이트에 검색 로봇 접근이 어려운 경우 (도메인 미연동, 방화벽으로 인한 접근차단 등의 사유)
- 서버오류
    * 수집 요청한 웹사이트의 웹서버가 오류 코드를 반환 하는 경우 (HTTP status 4XX, 5XX..)
    * 웹 페이지가 비 표준 HTML 또는 과도한 javascript 사용 등으로 검색 로봇이 해당 페이지에 대한 해석이 어려운 경우
- 수집보류
    * 수집 요청한 웹사이트의 수집 여부를 판단하기 어려워 보류가 된 경우 (최적화 여부, 웹사이트 신뢰도 및 사이트..등)

[수집 성공]
- 정상적으로 수집처리가 된 경우

네이버 웹검색은 알고리즘을 통해 자동으로 스팸을 필터링 할수 있도록 노력하고 있으며, 필요 시에는 기계가 아닌 사람이 직접 웹페이지 검토를 진행합니다. 하지만 이러한 노력에도 불구하고 현재도 스패머들과의 싸움은 계속되고 있습니다.

웹마스터도구팀은 악성 사용자로 인한 선의의 피해자가 없도록 각별하게 노력할 예정이며, 다시 한번 수집 요청 실패로 인해 정상적인 웹마스터들 에게 불편을 드린 점 사과 말씀 드립니다.

출처 : https://blog.naver.com/naver_webmaster/221320610480