]> granicus.if.org Git - python/commitdiff
SF patch #911431: robot.txt must be robots.txt
authorRaymond Hettinger <python@rcn.com>
Sat, 13 Mar 2004 20:27:23 +0000 (20:27 +0000)
committerRaymond Hettinger <python@rcn.com>
Sat, 13 Mar 2004 20:27:23 +0000 (20:27 +0000)
(Contributed by George Yoshida.)

Lib/robotparser.py
Misc/cheatsheet

index e2af545848b0029517f12cfe46c2f45b2dbec31c..6b23188f196e0e9420ed8d1d15c2e82bc9d45a48 100644 (file)
@@ -83,7 +83,7 @@ class RobotFileParser:
             self.entries.append(entry)
 
     def parse(self, lines):
-        """parse the input lines from a robot.txt file.
+        """parse the input lines from a robots.txt file.
            We allow that a user-agent: line is not preceded by
            one or more blank lines."""
         state = 0
@@ -148,7 +148,7 @@ class RobotFileParser:
 
     def can_fetch(self, useragent, url):
         """using the parsed robots.txt decide if useragent can fetch url"""
-        _debug("Checking robot.txt allowance for:\n  user agent: %s\n  url: %s" %
+        _debug("Checking robots.txt allowance for:\n  user agent: %s\n  url: %s" %
                (useragent, url))
         if self.disallow_all:
             return False
index 0c16ddb334f3fa43e8d55a0d29c943a981adf913..487949a55e75a490a980f8c6071c57f2b242791e 100644 (file)
@@ -1962,7 +1962,7 @@ repr             Redo repr() but with limits on most sizes.
 rexec            Restricted execution facilities ("safe" exec, eval, etc).
 rfc822           RFC-822 message manipulation class.
 rlcompleter      Word completion for GNU readline 2.0.
-robotparser      Parse robot.txt files, useful for web spiders.
+robotparser      Parse robots.txt files, useful for web spiders.
 sched            A generally useful event scheduler class.
 sets             Module for a set datatype.
 sgmllib          A parser for SGML.