]> granicus.if.org Git - python/commitdiff
7846: limit fnmatch pattern cache to _MAXCACHE=100 entries.
authorR. David Murray <rdmurray@bitdance.com>
Fri, 9 Jul 2010 12:23:21 +0000 (12:23 +0000)
committerR. David Murray <rdmurray@bitdance.com>
Fri, 9 Jul 2010 12:23:21 +0000 (12:23 +0000)
Patch by Andrew Clegg.

Lib/fnmatch.py
Lib/test/test_fnmatch.py
Misc/ACKS
Misc/NEWS

index 30c0a922f229464317b3f6726597d5fe252cf380..26ae4ccb14d70533fa13a69b7d38ad82a1786da1 100644 (file)
@@ -16,6 +16,7 @@ __all__ = ["filter", "fnmatch","fnmatchcase","translate"]
 
 _cache = {}  # Maps text patterns to compiled regexen.
 _cacheb = {}  # Ditto for bytes patterns.
+_MAXCACHE = 100 # Maximum size of caches
 
 def fnmatch(name, pat):
     """Test whether FILENAME matches PATTERN.
@@ -48,6 +49,8 @@ def _compile_pattern(pat):
             res = bytes(res_str, 'ISO-8859-1')
         else:
             res = translate(pat)
+        if len(cache) >= _MAXCACHE:
+            cache.clear()
         cache[pat] = regex = re.compile(res)
     return regex.match
 
index 6d2f9ada561619c47e4c996d2000a556b66157b9..81b9ce68389f262ea04f9ed22bfb12e703120777 100644 (file)
@@ -3,7 +3,7 @@
 from test import support
 import unittest
 
-from fnmatch import fnmatch, fnmatchcase
+from fnmatch import fnmatch, fnmatchcase, _MAXCACHE, _cache, _cacheb
 
 
 class FnmatchTestCase(unittest.TestCase):
@@ -60,6 +60,21 @@ class FnmatchTestCase(unittest.TestCase):
         self.check_match(b'test\xff', b'te*\xff')
         self.check_match(b'foo\nbar', b'foo*')
 
+    def test_cache_clearing(self):
+        # check that caches do not grow too large
+        # http://bugs.python.org/issue7846
+
+        # string pattern cache
+        for i in range(_MAXCACHE + 1):
+            fnmatch('foo', '?' * i)
+
+        self.assertLessEqual(len(_cache), _MAXCACHE)
+
+        # bytes pattern cache
+        for i in range(_MAXCACHE + 1):
+            fnmatch(b'foo', b'?' * i)
+        self.assertLessEqual(len(_cacheb), _MAXCACHE)
+
 
 def test_main():
     support.run_unittest(FnmatchTestCase)
index ec42bf905674a85aa5f88ccc6ee514406b2f32d4..023890db4f923949d3d17f52363db4c2a0f9ad69 100644 (file)
--- a/Misc/ACKS
+++ b/Misc/ACKS
@@ -146,6 +146,7 @@ Vadim Chugunov
 David Cinege
 Mike Clarkson
 Brad Clements
+Andrew Clegg
 Steve Clift
 Nick Coghlan
 Josh Cogliati
index 729c010c813f1ee9cb653fb97a6e0130e4e2bcea..b63c84c80462481a4c041639abca87ecaee0aeeb 100644 (file)
--- a/Misc/NEWS
+++ b/Misc/NEWS
@@ -470,6 +470,8 @@ C-API
 Library
 -------
 
+- Issue #7646: The fnmatch pattern cache no longer grows without bound.
+
 - Issue #9136: Fix 'dictionary changed size during iteration'
   RuntimeError produced when profiling the decimal module.  This was
   due to a dangerous iteration over 'locals()' in Context.__init__.