로봇배제표준은 웹크롤링에 의한 원치 않는 데이터 자동수집으로부터 데이터를 보호하기 위한 사실상의 인터넷 표준으로 널리 이용되고 있다. 로봇배제표준을 준수할 것인지의 여부는 웹크롤러 스스로 판단하기 때문에, 로봇배제표준 그 자체로는 기술적 강제력을 지니지 아니한다. 또한, 브라우즈랩 계약의 효력이 일반적으로 인정될 수 있는지는 별론으로, 웹사이트 운영자가 선언한 크롤링의 조건 및 한계에 대해 상대방에게 계약상 책임을 지우기 위하여는 그 내용을 계약으로 편입하는 별도의 의사표시를 필요로 한다고 해석된다. 로봇배제표준이 그 자체로는 기술적, 법적 강제력을 지니지 않는다고 하여도, 웹크롤링이 문제 된 민⋅형사소송에 있어서 로봇배제표준의 사용 여부는 침해의 고의, 과실, 그 밖에 구성요건 해당 표지 등을 적극적으로 입증하는 수단으로 사실상 기능하고 있다. 이러한 사례에서 법원의 판단 근거들을 살펴보면, 웹사이트 이용자가 허용된 크롤링의 범위와 조건을 위반한 경우 계약상 책임으로 접근하지는 않았고, 그러한 의미에서 로봇 배제표준이 이용자를 구속한다고 보지는 않았으나, 명시된 크롤링의 범위와 조건을 무시하고 크롤링을 한 경우 저작권침해, 부정경쟁행위 등을 인정하는 쪽으로 기울어지는 태도를 취하고 있다. 이러한 로봇배제표준의 기능을 고려하면, 데이터 보호를 원하는 웹사이트 운영자의 입장에서는 향후 있을 수도 있는 소송에서의 입증의 편의와 과실상계 주장의 방어를 위하여 로봇배제표준을 계속하여 사용하는 것이 안전할 것이다. 그러나 한편으로, 로봇배제표준의 남용은 일반 대중이 포 털이나 메타사이트를 이용하여 정보에 접근하는 것을 어렵게 하기 때문에, 공공성이 강조되는 영역에서는 웹개방성을 추구하여 데이터 보호와 정보의 자유로운 흐름 간의 조화를 이루는 것이 바람직하다.

The robots exclusion standard is widely used as a de facto Internet standard to protect data from unwanted automatic data collection by web crawlers. Web crawlers decide whether to comply with the robots exclusion standard, so the robot exclusion standard itself does not have technical force. It is also necessary to express a separate intention to incorporate the robots exclusion into the contract to hold the other party liable for the terms and limitations of the protocol declared by the website operator. Even if the robots exclusion standard does not have technical or legal binding force in itself, the fact that the robots exclusion is declared functions as a means to prove the intention, negligence, and other components of infringement in civil and criminal lawsuits where web crawling matters. In these cases, courts did not approach this issue as a matter of contractual responsibility. So they did not depict the fact that the web crawlers violated terms and conditions in declared robots.txt as a breach of contract. Instead, the courts tend to consider the fact as elements to judge whether web crawling constitutes an infringement of copyright, unfair competition, or tort. Considering these functions, it would be safe for website operators who want data protection to continue using the robots exclusion standards to ease the burden of proof in future lawsuits and defend claims of comparative negligence against them. On the other hand, however, the overuse of robots exclusion standards makes it difficult for the general public to access information using search engines. Thus, it would be desirable to seek web openness in areas where the public good is emphasized to achieve harmony between data protection and the free flow of information.

요약
I. 서론
II. 로봇배제표준이란
III. 로봇배제표준의 법규범성
IV. 판결을 통해 살펴본 로봇배제표준의법적 함의
V. 보론

• 최지예(부산지방검찰청) | Ji Ye Choi