로봇배제표준은 웹크롤링에 의한 원치 않는 데이터 자동수집으로부터 데이터를 보호하기 위한 사실상의 인터넷 표준으로 널리 이용되고 있다. 로봇배제표준을 준수할 것인지의 여부는 웹크롤러 스스로 판단하기 때문에, 로봇배제표준 그 자체로는 기술적 강제력을 지니지 아니한다. 또한, 브라우즈랩 계약의 효력이 일반적으로 인정될 수 있는지는 별론으로, 웹사이트 운영자가 선언한 크롤링의 조건 및 한계에 대해 상대방에게 계약상 책임을 지우기 위하여는 그 내용을 계약으로 편입하는 별도의 의사표시를 필요로 한다고 해석된다. 로봇배제표준이 그 자체로는 기술적, 법적 강제력을 지니지 않는다고 하여도, 웹크롤링이 문제 된 민⋅형사소송에 있어서 로봇배제표준의 사용 여부는 침해의 고의, 과실, 그 밖에 구성요건 해당 표지 등을 적극적으로 입증하는 수단으로 사실상 기능하고 있다. 이러한 사례에서 법원의 판단 근거들을 살펴보면, 웹사이트 이용자가 허용된 크롤링의 범위와 조건을 위반한 경우 계약상 책임으로 접근하지는 않았고, 그러한 의미에서 로봇 배제표준이 이용자를 구속한다고 보지는 않았으나, 명시된 크롤링의 범위와 조건을 무시하고 크롤링을 한 경우 저작권침해, 부정경쟁행위 등을 인정하는 쪽으로 기울어지는 태도를 취하고 있다. 이러한 로봇배제표준의 기능을 고려하면, 데이터 보호를 원하는 웹사이트 운영자의 입장에서는 향후 있을 수도 있는 소송에서의 입증의 편의와 과실상계 주장의 방어를 위하여 로봇배제표준을 계속하여 사용하는 것이 안전할 것이다. 그러나 한편으로, 로봇배제표준의 남용은 일반 대중이 포 털이나 메타사이트를 이용하여 정보에 접근하는 것을 어렵게 하기 때문에, 공공성이 강조되는 영역에서는 웹개방성을 추구하여 데이터 보호와 정보의 자유로운 흐름 간의 조화를 이루는 것이 바람직하다.