]> granicus.if.org Git - php/commitdiff
upgrade PCRE to version 7.5
authorNuno Lopes <nlopess@php.net>
Sun, 13 Jan 2008 12:44:57 +0000 (12:44 +0000)
committerNuno Lopes <nlopess@php.net>
Sun, 13 Jan 2008 12:44:57 +0000 (12:44 +0000)
25 files changed:
NEWS
ext/pcre/pcrelib/ChangeLog
ext/pcre/pcrelib/NEWS
ext/pcre/pcrelib/NON-UNIX-USE
ext/pcre/pcrelib/README
ext/pcre/pcrelib/config.h
ext/pcre/pcrelib/pcre.h
ext/pcre/pcrelib/pcre_compile.c
ext/pcre/pcrelib/pcre_exec.c
ext/pcre/pcrelib/pcre_internal.h
ext/pcre/pcrelib/pcre_valid_utf8.c
ext/pcre/pcrelib/pcregrep.c [deleted file]
ext/pcre/pcrelib/pcreposix.c
ext/pcre/pcrelib/testdata/grepoutput
ext/pcre/pcrelib/testdata/testinput1
ext/pcre/pcrelib/testdata/testinput2
ext/pcre/pcrelib/testdata/testinput4
ext/pcre/pcrelib/testdata/testinput5
ext/pcre/pcrelib/testdata/testinput6
ext/pcre/pcrelib/testdata/testoutput1
ext/pcre/pcrelib/testdata/testoutput2
ext/pcre/pcrelib/testdata/testoutput4
ext/pcre/pcrelib/testdata/testoutput5
ext/pcre/pcrelib/testdata/testoutput6
ext/pcre/pcrelib/ucptable.h

diff --git a/NEWS b/NEWS
index e6e4e5661c94a88f220c38500a3f23f124efff3d..003972221525fa40c8d50219410ce8cfb3c79ff8 100644 (file)
--- a/NEWS
+++ b/NEWS
@@ -29,7 +29,7 @@ PHP                                                                        NEWS
   invoking the date parser. (Scott)
 
 - Removed the experimental RPL (master/slave) functions from mysqli. (Andrey)
-- Upgraded PCRE to version 7.4 (Nuno)
+- Upgraded PCRE to version 7.5 (Nuno)
 
 - Improved php.ini handling: (Jani)
   . Added ".htaccess" style user-defined php.ini files support for CGI/FastCGI
index cff73670adbe2bfd1668930c780b5a344d4695d8..a6978962cd0068b0def2a4e2a0ed9638eab5a92f 100644 (file)
@@ -1,6 +1,143 @@
 ChangeLog for PCRE
 ------------------
 
+Version 7.5 10-Jan-08
+---------------------
+
+1.  Applied a patch from Craig: "This patch makes it possible to 'ignore'
+    values in parens when parsing an RE using the C++ wrapper."
+
+2.  Negative specials like \S did not work in character classes in UTF-8 mode.
+    Characters greater than 255 were excluded from the class instead of being
+    included.
+
+3.  The same bug as (2) above applied to negated POSIX classes such as
+    [:^space:].
+
+4.  PCRECPP_STATIC was referenced in pcrecpp_internal.h, but nowhere was it
+    defined or documented. It seems to have been a typo for PCRE_STATIC, so
+    I have changed it.
+
+5.  The construct (?&) was not diagnosed as a syntax error (it referenced the
+    first named subpattern) and a construct such as (?&a) would reference the
+    first named subpattern whose name started with "a" (in other words, the
+    length check was missing). Both these problems are fixed. "Subpattern name
+    expected" is now given for (?&) (a zero-length name), and this patch also
+    makes it give the same error for \k'' (previously it complained that that
+    was a reference to a non-existent subpattern).
+
+6.  The erroneous patterns (?+-a) and (?-+a) give different error messages;
+    this is right because (?- can be followed by option settings as well as by
+    digits. I have, however, made the messages clearer.
+
+7.  Patterns such as (?(1)a|b) (a pattern that contains fewer subpatterns
+    than the number used in the conditional) now cause a compile-time error.
+    This is actually not compatible with Perl, which accepts such patterns, but
+    treats the conditional as always being FALSE (as PCRE used to), but it
+    seems to me that giving a diagnostic is better.
+
+8.  Change "alphameric" to the more common word "alphanumeric" in comments
+    and messages.
+
+9.  Fix two occurrences of "backslash" in comments that should have been
+    "backspace".
+
+10. Remove two redundant lines of code that can never be obeyed (their function
+    was moved elsewhere).
+
+11. The program that makes PCRE's Unicode character property table had a bug
+    which caused it to generate incorrect table entries for sequences of
+    characters that have the same character type, but are in different scripts.
+    It amalgamated them into a single range, with the script of the first of
+    them. In other words, some characters were in the wrong script. There were
+    thirteen such cases, affecting characters in the following ranges:
+
+      U+002b0 - U+002c1
+      U+0060c - U+0060d
+      U+0061e - U+00612
+      U+0064b - U+0065e
+      U+0074d - U+0076d
+      U+01800 - U+01805
+      U+01d00 - U+01d77
+      U+01d9b - U+01dbf
+      U+0200b - U+0200f
+      U+030fc - U+030fe
+      U+03260 - U+0327f
+      U+0fb46 - U+0fbb1
+      U+10450 - U+1049d
+
+12. The -o option (show only the matching part of a line) for pcregrep was not
+    compatible with GNU grep in that, if there was more than one match in a
+    line, it showed only the first of them. It now behaves in the same way as
+    GNU grep.
+
+13. If the -o and -v options were combined for pcregrep, it printed a blank
+    line for every non-matching line. GNU grep prints nothing, and pcregrep now
+    does the same. The return code can be used to tell if there were any
+    non-matching lines.
+
+14. Added --file-offsets and --line-offsets to pcregrep.
+
+15. The pattern (?=something)(?R) was not being diagnosed as a potentially
+    infinitely looping recursion. The bug was that positive lookaheads were not
+    being skipped when checking for a possible empty match (negative lookaheads
+    and both kinds of lookbehind were skipped).
+
+16. Fixed two typos in the Windows-only code in pcregrep.c, and moved the
+    inclusion of <windows.h> to before rather than after the definition of
+    INVALID_FILE_ATTRIBUTES (patch from David Byron).
+
+17. Specifying a possessive quantifier with a specific limit for a Unicode
+    character property caused pcre_compile() to compile bad code, which led at
+    runtime to PCRE_ERROR_INTERNAL (-14). Examples of patterns that caused this
+    are: /\p{Zl}{2,3}+/8 and /\p{Cc}{2}+/8. It was the possessive "+" that
+    caused the error; without that there was no problem.
+
+18. Added --enable-pcregrep-libz and --enable-pcregrep-libbz2.
+
+19. Added --enable-pcretest-libreadline.
+
+20. In pcrecpp.cc, the variable 'count' was incremented twice in
+    RE::GlobalReplace(). As a result, the number of replacements returned was
+    double what it should be. I removed one of the increments, but Craig sent a
+    later patch that removed the other one (the right fix) and added unit tests
+    that check the return values (which was not done before).
+
+21. Several CMake things:
+
+    (1) Arranged that, when cmake is used on Unix, the libraries end up with
+        the names libpcre and libpcreposix, not just pcre and pcreposix.
+
+    (2) The above change means that pcretest and pcregrep are now correctly
+        linked with the newly-built libraries, not previously installed ones.
+
+    (3) Added PCRE_SUPPORT_LIBREADLINE, PCRE_SUPPORT_LIBZ, PCRE_SUPPORT_LIBBZ2.
+
+22. In UTF-8 mode, with newline set to "any", a pattern such as .*a.*=.b.*
+    crashed when matching a string such as a\x{2029}b (note that \x{2029} is a
+    UTF-8 newline character). The key issue is that the pattern starts .*;
+    this means that the match must be either at the beginning, or after a
+    newline. The bug was in the code for advancing after a failed match and
+    checking that the new position followed a newline. It was not taking
+    account of UTF-8 characters correctly.
+
+23. PCRE was behaving differently from Perl in the way it recognized POSIX
+    character classes. PCRE was not treating the sequence [:...:] as a
+    character class unless the ... were all letters. Perl, however, seems to
+    allow any characters between [: and :], though of course it rejects as
+    unknown any "names" that contain non-letters, because all the known class
+    names consist only of letters. Thus, Perl gives an error for [[:1234:]],
+    for example, whereas PCRE did not - it did not recognize a POSIX character
+    class. This seemed a bit dangerous, so the code has been changed to be
+    closer to Perl. The behaviour is not identical to Perl, because PCRE will
+    diagnose an unknown class for, for example, [[:l\ower:]] where Perl will
+    treat it as [[:lower:]]. However, PCRE does now give "unknown" errors where
+    Perl does, and where it didn't before.
+
+24. Rewrite so as to remove the single use of %n from pcregrep because in some
+    Windows environments %n is disabled by default.
+
+
 Version 7.4 21-Sep-07
 ---------------------
 
index 8ef40b03d3988df6249d8bccc12b82cf7b3f94e8..185463db0f3266618ac2bffcdb93650eccebbf7e 100644 (file)
@@ -1,6 +1,14 @@
 News about PCRE releases
 ------------------------
 
+Release 7.5 10-Jan-08
+---------------------
+
+This is mainly a bug-fix release. However the ability to link pcregrep with
+libz or libbz2 and the ability to link pcretest with libreadline have been
+added. Also the --line-offsets and --file-offsets options were added to
+pcregrep.
+
 
 Release 7.4 21-Sep-07
 ---------------------
index fe6cd023020839071c9cfb5c803f071fe44aeccf..9239838e702d67f4780c2a184da6107432846813 100644 (file)
@@ -84,7 +84,7 @@ The following are generic comments about building the PCRE C library "by hand".
        ucptable.h
 
  (5) Also ensure that you have the following file, which is #included as source
-     when building a debugging version of PCRE and is also used by pcretest.
+     when building a debugging version of PCRE, and is also used by pcretest.
 
        pcre_printint.src
 
index dabf243755a4140a272bb9dd5d034952ee97f91b..ad6ca4dbfd5226fdcb44af215b6fcd71cecb5a3a 100644 (file)
@@ -258,6 +258,24 @@ library. You can read more about them in the pcrebuild man page.
 
   This automatically implies --enable-rebuild-chartables (see above).
 
+. It is possible to compile pcregrep to use libz and/or libbz2, in order to
+  read .gz and .bz2 files (respectively), by specifying one or both of
+
+  --enable-pcregrep-libz
+  --enable-pcregrep-libbz2
+
+  Of course, the relevant libraries must be installed on your system.
+
+. It is possible to compile pcretest so that it links with the libreadline
+  library, by specifying
+
+  --enable-pcretest-libreadline
+
+  If this is done, when pcretest's input is from a terminal, it reads it using
+  the readline() function. This provides line-editing and history facilities.
+  Note that libreadline is GPL-licenced, so if you distribute a binary of
+  pcretest linked in this way, there may be licensing issues.
+
 The "configure" script builds the following files for the basic C library:
 
 . Makefile is the makefile that builds the library
@@ -725,4 +743,4 @@ The distribution should contain the following files:
 Philip Hazel
 Email local part: ph10
 Email domain: cam.ac.uk
-Last updated: 21 September 2007
+Last updated: 18 December 2007
index 39f036958e23d2395c2871ff394499005e79a2c6..005e3f8b0c670bad3bde7c6f596c6617743fb047 100644 (file)
@@ -51,6 +51,11 @@ them both to 0; an emulation function will be used. */
 /* Define to 1 if you have the <bits/type_traits.h> header file. */
 /* #undef HAVE_BITS_TYPE_TRAITS_H */
 
+/* Define to 1 if you have the <bzlib.h> header file. */
+#ifndef HAVE_BZLIB_H
+#define HAVE_BZLIB_H 1
+#endif
+
 /* Define to 1 if you have the <dirent.h> header file. */
 #ifndef HAVE_DIRENT_H
 #define HAVE_DIRENT_H 1
@@ -86,6 +91,16 @@ them both to 0; an emulation function will be used. */
 #define HAVE_MEMORY_H 1
 #endif
 
+/* Define to 1 if you have the <readline/history.h> header file. */
+#ifndef HAVE_READLINE_HISTORY_H
+#define HAVE_READLINE_HISTORY_H 1
+#endif
+
+/* Define to 1 if you have the <readline/readline.h> header file. */
+#ifndef HAVE_READLINE_READLINE_H
+#define HAVE_READLINE_READLINE_H 1
+#endif
+
 /* Define to 1 if you have the <stdint.h> header file. */
 #ifndef HAVE_STDINT_H
 #define HAVE_STDINT_H 1
@@ -152,6 +167,11 @@ them both to 0; an emulation function will be used. */
 /* Define to 1 if you have the <windows.h> header file. */
 /* #undef HAVE_WINDOWS_H */
 
+/* Define to 1 if you have the <zlib.h> header file. */
+#ifndef HAVE_ZLIB_H
+#define HAVE_ZLIB_H 1
+#endif
+
 /* Define to 1 if you have the `_strtoi64' function. */
 /* #undef HAVE__STRTOI64 */
 
@@ -231,13 +251,13 @@ them both to 0; an emulation function will be used. */
 #define PACKAGE_NAME "PCRE"
 
 /* Define to the full name and version of this package. */
-#define PACKAGE_STRING "PCRE 7.4"
+#define PACKAGE_STRING "PCRE 7.5"
 
 /* Define to the one symbol short name of this package. */
 #define PACKAGE_TARNAME "pcre"
 
 /* Define to the version of this package. */
-#define PACKAGE_VERSION "7.4"
+#define PACKAGE_VERSION "7.5"
 
 
 /* If you are compiling for a system other than a Unix-like system or
@@ -271,6 +291,17 @@ them both to 0; an emulation function will be used. */
 #define STDC_HEADERS 1
 #endif
 
+/* Define to allow pcregrep to be linked with libbz2, so that it is able to
+   handle .bz2 files. */
+/* #undef SUPPORT_LIBBZ2 */
+
+/* Define to allow pcretest to be linked with libreadline. */
+/* #undef SUPPORT_LIBREADLINE */
+
+/* Define to allow pcregrep to be linked with libz, so that it is able to
+   handle .gz files. */
+/* #undef SUPPORT_LIBZ */
+
 /* Define to enable support for Unicode properties */
 /* #undef SUPPORT_UCP */
 
@@ -279,7 +310,7 @@ them both to 0; an emulation function will be used. */
 
 /* Version number of package */
 #ifndef VERSION
-#define VERSION "7.4"
+#define VERSION "7.5"
 #endif
 
 /* Define to empty if `const' does not conform to ANSI C. */
index 58a83c369a661aa3e4e8953398905e9926c26d01..a3cc3c7ef2f8895695603d4323f149652ce71c1b 100644 (file)
@@ -42,9 +42,9 @@ POSSIBILITY OF SUCH DAMAGE.
 /* The current PCRE version information. */
 
 #define PCRE_MAJOR          7
-#define PCRE_MINOR          4
+#define PCRE_MINOR          5
 #define PCRE_PRERELEASE     
-#define PCRE_DATE           2007-09-21
+#define PCRE_DATE           2008-01-10
 
 /* When an application links to a PCRE DLL in Windows, the symbols that are
 imported have to be identified as such. When building PCRE, the appropriate
index d9599d04157e1af43c77bd83770ce892cca6496e..ef33cfc388c22a6a8a4bcad38f75752cd6fda7b4 100644 (file)
@@ -239,7 +239,7 @@ static const char error_texts[] =
   /* 10 */
   "operand of unlimited repeat could match the empty string\0"  /** DEAD **/
   "internal error: unexpected repeat\0"
-  "unrecognized character after (?\0"
+  "unrecognized character after (? or (?-\0"
   "POSIX named classes are supported only within a class\0"
   "missing )\0"
   /* 15 */
@@ -298,7 +298,9 @@ static const char error_texts[] =
   "(*VERB) with an argument is not supported\0"
   /* 60 */
   "(*VERB) not recognized\0"
-  "number is too big";
+  "number is too big\0"
+  "subpattern name expected\0"
+  "digit expected after (?+";
 
 
 /* Table to identify digits and hex digits. This is used when compiling
@@ -494,16 +496,16 @@ ptr--;                            /* Set pointer back to the last byte */
 
 if (c == 0) *errorcodeptr = ERR1;
 
-/* Non-alphamerics are literals. For digits or letters, do an initial lookup in
-a table. A non-zero result is something that can be returned immediately.
+/* Non-alphanumerics are literals. For digits or letters, do an initial lookup
+in a table. A non-zero result is something that can be returned immediately.
 Otherwise further processing may be required. */
 
 #ifndef EBCDIC  /* ASCII coding */
-else if (c < '0' || c > 'z') {}                           /* Not alphameric */
+else if (c < '0' || c > 'z') {}                           /* Not alphanumeric */
 else if ((i = escapes[c - '0']) != 0) c = i;
 
 #else           /* EBCDIC coding */
-else if (c < 'a' || (ebcdic_chartab[c] & 0x0E) == 0) {}   /* Not alphameric */
+else if (c < 'a' || (ebcdic_chartab[c] & 0x0E) == 0) {}   /* Not alphanumeric */
 else if ((i = escapes[c - 0x48]) != 0)  c = i;
 #endif
 
@@ -720,10 +722,10 @@ else
     break;
 
     /* PCRE_EXTRA enables extensions to Perl in the matter of escapes. Any
-    other alphameric following \ is an error if PCRE_EXTRA was set; otherwise,
-    for Perl compatibility, it is a literal. This code looks a bit odd, but
-    there used to be some cases other than the default, and there may be again
-    in future, so I haven't "optimized" it. */
+    other alphanumeric following \ is an error if PCRE_EXTRA was set;
+    otherwise, for Perl compatibility, it is a literal. This code looks a bit
+    odd, but there used to be some cases other than the default, and there may
+    be again in future, so I haven't "optimized" it. */
 
     default:
     if ((options & PCRE_EXTRA) != 0) switch(c)
@@ -1504,8 +1506,9 @@ for (;;)
 can match the empty string or not. It is called from could_be_empty()
 below and from compile_branch() when checking for an unlimited repeat of a
 group that can match nothing. Note that first_significant_code() skips over
-assertions. If we hit an unclosed bracket, we return "empty" - this means we've
-struck an inner bracket whose current branch will already have been scanned.
+backward and negative forward assertions when its final argument is TRUE. If we
+hit an unclosed bracket, we return "empty" - this means we've struck an inner
+bracket whose current branch will already have been scanned.
 
 Arguments:
   code        points to start of search
@@ -1527,6 +1530,16 @@ for (code = first_significant_code(code + _pcre_OP_lengths[*code], NULL, 0, TRUE
 
   c = *code;
 
+  /* Skip over forward assertions; the other assertions are skipped by
+  first_significant_code() with a TRUE final argument. */
+
+  if (c == OP_ASSERT)
+    {
+    do code += GET(code, 1); while (*code == OP_ALT);
+    c = *code;
+    continue;
+    }
+
   /* Groups with zero repeats can of course be empty; skip them. */
 
   if (c == OP_BRAZERO || c == OP_BRAMINZERO)
@@ -1722,29 +1735,48 @@ return TRUE;
 *************************************************/
 
 /* This function is called when the sequence "[:" or "[." or "[=" is
-encountered in a character class. It checks whether this is followed by an
-optional ^ and then a sequence of letters, terminated by a matching ":]" or
-".]" or "=]".
+encountered in a character class. It checks whether this is followed by a
+sequence of characters terminated by a matching ":]" or ".]" or "=]". If we
+reach an unescaped ']' without the special preceding character, return FALSE.
+
+Originally, this function only recognized a sequence of letters between the
+terminators, but it seems that Perl recognizes any sequence of characters,
+though of course unknown POSIX names are subsequently rejected. Perl gives an
+"Unknown POSIX class" error for [:f\oo:] for example, where previously PCRE
+didn't consider this to be a POSIX class. Likewise for [:1234:].
+
+The problem in trying to be exactly like Perl is in the handling of escapes. We
+have to be sure that [abc[:x\]pqr] is *not* treated as containing a POSIX
+class, but [abc[:x\]pqr:]] is (so that an error can be generated). The code
+below handles the special case of \], but does not try to do any other escape
+processing. This makes it different from Perl for cases such as [:l\ower:]
+where Perl recognizes it as the POSIX class "lower" but PCRE does not recognize
+"l\ower". This is a lesser evil that not diagnosing bad classes when Perl does,
+I think.
 
-Argument:
+Arguments:
   ptr      pointer to the initial [
   endptr   where to return the end pointer
-  cd       pointer to compile data
 
 Returns:   TRUE or FALSE
 */
 
 static BOOL
-check_posix_syntax(const uschar *ptr, const uschar **endptr, compile_data *cd)
+check_posix_syntax(const uschar *ptr, const uschar **endptr)
 {
 int terminator;          /* Don't combine these lines; the Solaris cc */
 terminator = *(++ptr);   /* compiler warns about "non-constant" initializer. */
-if (*(++ptr) == '^') ptr++;
-while ((cd->ctypes[*ptr] & ctype_letter) != 0) ptr++;
-if (*ptr == terminator && ptr[1] == ']')
+for (++ptr; *ptr != 0; ptr++)
   {
-  *endptr = ptr;
-  return TRUE;
+  if (*ptr == '\\' && ptr[1] == ']') ptr++; else
+    {
+    if (*ptr == ']') return FALSE;
+    if (*ptr == terminator && ptr[1] == ']')
+      {
+      *endptr = ptr;
+      return TRUE;
+      }
+    }
   }
 return FALSE;
 }
@@ -2381,6 +2413,7 @@ req_caseopt = ((options & PCRE_CASELESS) != 0)? REQ_CASELESS : 0;
 for (;; ptr++)
   {
   BOOL negate_class;
+  BOOL should_flip_negation;
   BOOL possessive_quantifier;
   BOOL is_quantifier;
   BOOL is_recurse;
@@ -2604,7 +2637,7 @@ for (;; ptr++)
     they are encountered at the top level, so we'll do that too. */
 
     if ((ptr[1] == ':' || ptr[1] == '.' || ptr[1] == '=') &&
-        check_posix_syntax(ptr, &tempptr, cd))
+        check_posix_syntax(ptr, &tempptr))
       {
       *errorcodeptr = (ptr[1] == ':')? ERR13 : ERR31;
       goto FAILED;
@@ -2629,6 +2662,12 @@ for (;; ptr++)
       else break;
       }
 
+    /* If a class contains a negative special such as \S, we need to flip the
+    negation flag at the end, so that support for characters > 255 works
+    correctly (they are all included in the class). */
+
+    should_flip_negation = FALSE;
+
     /* Keep a count of chars with values < 256 so that we can optimize the case
     of just a single character (as long as it's < 256). However, For higher
     valued UTF-8 characters, we don't yet do any optimization. */
@@ -2684,7 +2723,7 @@ for (;; ptr++)
 
       if (c == '[' &&
           (ptr[1] == ':' || ptr[1] == '.' || ptr[1] == '=') &&
-          check_posix_syntax(ptr, &tempptr, cd))
+          check_posix_syntax(ptr, &tempptr))
         {
         BOOL local_negate = FALSE;
         int posix_class, taboffset, tabopt;
@@ -2701,6 +2740,7 @@ for (;; ptr++)
         if (*ptr == '^')
           {
           local_negate = TRUE;
+          should_flip_negation = TRUE;  /* Note negative special */
           ptr++;
           }
 
@@ -2775,7 +2815,7 @@ for (;; ptr++)
         c = check_escape(&ptr, errorcodeptr, cd->bracount, options, TRUE);
         if (*errorcodeptr != 0) goto FAILED;
 
-        if (-c == ESC_b) c = '\b';       /* \b is backslash in a class */
+        if (-c == ESC_b) c = '\b';       /* \b is backspace in a class */
         else if (-c == ESC_X) c = 'X';   /* \X is literal X in a class */
         else if (-c == ESC_R) c = 'R';   /* \R is literal R in a class */
         else if (-c == ESC_Q)            /* Handle start of quoted string */
@@ -2803,6 +2843,7 @@ for (;; ptr++)
             continue;
 
             case ESC_D:
+            should_flip_negation = TRUE;
             for (c = 0; c < 32; c++) classbits[c] |= ~cbits[c+cbit_digit];
             continue;
 
@@ -2811,6 +2852,7 @@ for (;; ptr++)
             continue;
 
             case ESC_W:
+            should_flip_negation = TRUE;
             for (c = 0; c < 32; c++) classbits[c] |= ~cbits[c+cbit_word];
             continue;
 
@@ -2820,13 +2862,11 @@ for (;; ptr++)
             continue;
 
             case ESC_S:
+            should_flip_negation = TRUE;
             for (c = 0; c < 32; c++) classbits[c] |= ~cbits[c+cbit_space];
             classbits[1] |= 0x08;    /* Perl 5.004 onwards omits VT from \s */
             continue;
 
-            case ESC_E: /* Perl ignores an orphan \E */
-            continue;
-
             default:    /* Not recognized; fall through */
             break;      /* Need "default" setting to stop compiler warning. */
             }
@@ -3061,7 +3101,7 @@ for (;; ptr++)
           d = check_escape(&ptr, errorcodeptr, cd->bracount, options, TRUE);
           if (*errorcodeptr != 0) goto FAILED;
 
-          /* \b is backslash; \X is literal X; \R is literal R; any other
+          /* \b is backspace; \X is literal X; \R is literal R; any other
           special means the '-' was literal */
 
           if (d < 0)
@@ -3325,11 +3365,14 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
     zeroreqbyte = reqbyte;
 
     /* If there are characters with values > 255, we have to compile an
-    extended class, with its own opcode. If there are no characters < 256,
-    we can omit the bitmap in the actual compiled code. */
+    extended class, with its own opcode, unless there was a negated special
+    such as \S in the class, because in that case all characters > 255 are in
+    the class, so any that were explicitly given as well can be ignored. If
+    (when there are explicit characters > 255 that must be listed) there are no
+    characters < 256, we can omit the bitmap in the actual compiled code. */
 
 #ifdef SUPPORT_UTF8
-    if (class_utf8)
+    if (class_utf8 && !should_flip_negation)
       {
       *class_utf8data++ = XCL_END;    /* Marks the end of extra data */
       *code++ = OP_XCLASS;
@@ -3355,20 +3398,19 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
       }
 #endif
 
-    /* If there are no characters > 255, negate the 32-byte map if necessary,
-    and copy it into the code vector. If this is the first thing in the branch,
-    there can be no first char setting, whatever the repeat count. Any reqbyte
-    setting must remain unchanged after any kind of repeat. */
+    /* If there are no characters > 255, set the opcode to OP_CLASS or
+    OP_NCLASS, depending on whether the whole class was negated and whether
+    there were negative specials such as \S in the class. Then copy the 32-byte
+    map into the code vector, negating it if necessary. */
 
+    *code++ = (negate_class == should_flip_negation) ? OP_CLASS : OP_NCLASS;
     if (negate_class)
       {
-      *code++ = OP_NCLASS;
       if (lengthptr == NULL)    /* Save time in the pre-compile phase */
         for (c = 0; c < 32; c++) code[c] = ~classbits[c];
       }
     else
       {
-      *code++ = OP_CLASS;
       memcpy(code, classbits, 32);
       }
     code += 32;
@@ -4004,7 +4046,9 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
       int len;
       if (*tempcode == OP_EXACT || *tempcode == OP_TYPEEXACT ||
           *tempcode == OP_NOTEXACT)
-        tempcode += _pcre_OP_lengths[*tempcode];
+        tempcode += _pcre_OP_lengths[*tempcode] +
+          ((*tempcode == OP_TYPEEXACT &&
+             (tempcode[3] == OP_PROP || tempcode[3] == OP_NOTPROP))? 2:0);
       len = code - tempcode;
       if (len > 0) switch (*tempcode)
         {
@@ -4231,16 +4275,13 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
             *errorcodeptr = ERR58;
             goto FAILED;
             }
-          if (refsign == '-')
+          recno = (refsign == '-')?
+            cd->bracount - recno + 1 : recno +cd->bracount;
+          if (recno <= 0 || recno > cd->final_bracount)
             {
-            recno = cd->bracount - recno + 1;
-            if (recno <= 0)
-              {
-              *errorcodeptr = ERR15;
-              goto FAILED;
-              }
+            *errorcodeptr = ERR15;
+            goto FAILED;
             }
-          else recno += cd->bracount;
           PUT2(code, 2+LINK_SIZE, recno);
           break;
           }
@@ -4312,9 +4353,10 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
           skipbytes = 1;
           }
 
-        /* Check for the "name" actually being a subpattern number. */
+        /* Check for the "name" actually being a subpattern number. We are
+        in the second pass here, so final_bracount is set. */
 
-        else if (recno > 0)
+        else if (recno > 0 && recno <= cd->final_bracount)
           {
           PUT2(code, 2+LINK_SIZE, recno);
           }
@@ -4508,7 +4550,9 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
 
         /* We come here from the Python syntax above that handles both
         references (?P=name) and recursion (?P>name), as well as falling
-        through from the Perl recursion syntax (?&name). */
+        through from the Perl recursion syntax (?&name). We also come here from
+        the Perl \k<name> or \k'name' back reference syntax and the \k{name}
+        .NET syntax. */
 
         NAMED_REF_OR_RECURSE:
         name = ++ptr;
@@ -4520,6 +4564,11 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
 
         if (lengthptr != NULL)
           {
+          if (namelen == 0)
+            {
+            *errorcodeptr = ERR62;
+            goto FAILED;
+            }
           if (*ptr != terminator)
             {
             *errorcodeptr = ERR42;
@@ -4533,14 +4582,19 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
           recno = 0;
           }
 
-        /* In the real compile, seek the name in the table */
+        /* In the real compile, seek the name in the table. We check the name
+        first, and then check that we have reached the end of the name in the
+        table. That way, if the name that is longer than any in the table,
+        the comparison will fail without reading beyond the table entry. */
 
         else
           {
           slot = cd->name_table;
           for (i = 0; i < cd->names_found; i++)
             {
-            if (strncmp((char *)name, (char *)slot+2, namelen) == 0) break;
+            if (strncmp((char *)name, (char *)slot+2, namelen) == 0 &&
+                slot[2+namelen] == 0)
+              break;
             slot += cd->name_entry_size;
             }
 
@@ -4577,7 +4631,15 @@ we set the flag only if there is a literal "\r" or "\n" in the class. */
           {
           const uschar *called;
 
-          if ((refsign = *ptr) == '+') ptr++;
+          if ((refsign = *ptr) == '+')
+            {
+            ptr++;
+            if ((digitab[*ptr] & ctype_digit) == 0)
+              {
+              *errorcodeptr = ERR63;
+              goto FAILED;
+              }
+            }
           else if (refsign == '-')
             {
             if ((digitab[ptr[1]] & ctype_digit) == 0)
@@ -5904,7 +5966,7 @@ to compile parts of the pattern into; the compiled code is discarded when it is
 no longer needed, so hopefully this workspace will never overflow, though there
 is a test for its doing so. */
 
-cd->bracount = 0;
+cd->bracount = cd->final_bracount = 0;
 cd->names_found = 0;
 cd->name_entry_size = 0;
 cd->name_table = NULL;
@@ -5981,6 +6043,7 @@ field. Reset the bracket count and the names_found field. Also reset the hwm
 field; this time it's used for remembering forward references to subpatterns.
 */
 
+cd->final_bracount = cd->bracount;  /* Save for checking forward references */
 cd->bracount = 0;
 cd->names_found = 0;
 cd->name_table = (uschar *)re + re->name_table_offset;
index 6fc2126c8dc0c2d90b4022418c759fc26c28ae1f..593707fc8942a395733edf5f1ec93f6b1df9a097 100644 (file)
@@ -4668,10 +4668,10 @@ for(;;)
     if (first_byte_caseless)
       while (start_match < end_subject &&
              md->lcc[*start_match] != first_byte)
-        start_match++;
+        { NEXTCHAR(start_match); }
     else
       while (start_match < end_subject && *start_match != first_byte)
-        start_match++;
+        { NEXTCHAR(start_match); }
     }
 
   /* Or to just after a linebreak for a multiline match if possible */
@@ -4681,7 +4681,7 @@ for(;;)
     if (start_match > md->start_subject + start_offset)
       {
       while (start_match <= end_subject && !WAS_NEWLINE(start_match))
-        start_match++;
+        { NEXTCHAR(start_match); }
 
       /* If we have just passed a CR and the newline option is ANY or ANYCRLF,
       and we are now at a LF, advance the match position by one more character.
@@ -4702,7 +4702,9 @@ for(;;)
     while (start_match < end_subject)
       {
       register unsigned int c = *start_match;
-      if ((start_bits[c/8] & (1 << (c&7))) == 0) start_match++; else break;
+      if ((start_bits[c/8] & (1 << (c&7))) == 0)
+        { NEXTCHAR(start_match); }
+      else break;
       }
     }
 
index 417c4bd02732c17f0440a3cd73d2ea0168ca3507..0b2603b2b1eb6a02bf44a1cab8c915da8cfb45da 100644 (file)
@@ -363,6 +363,7 @@ never be called in byte mode. To make sure it can never even appear when UTF-8
 support is omitted, we don't even define it. */
 
 #ifndef SUPPORT_UTF8
+#define NEXTCHAR(p) p++;
 #define GETCHAR(c, eptr) c = *eptr;
 #define GETCHARTEST(c, eptr) c = *eptr;
 #define GETCHARINC(c, eptr) c = *eptr++;
@@ -372,6 +373,13 @@ support is omitted, we don't even define it. */
 
 #else   /* SUPPORT_UTF8 */
 
+/* Advance a character pointer one byte in non-UTF-8 mode and by one character
+in UTF-8 mode. */
+
+#define NEXTCHAR(p) \
+  p++; \
+  if (utf8) { while((*p & 0xc0) == 0x80) p++; }
+
 /* Get the next UTF-8 character, not advancing the pointer. This is called when
 we know we are in UTF-8 mode. */
 
@@ -871,7 +879,7 @@ enum { ERR0,  ERR1,  ERR2,  ERR3,  ERR4,  ERR5,  ERR6,  ERR7,  ERR8,  ERR9,
        ERR30, ERR31, ERR32, ERR33, ERR34, ERR35, ERR36, ERR37, ERR38, ERR39,
        ERR40, ERR41, ERR42, ERR43, ERR44, ERR45, ERR46, ERR47, ERR48, ERR49,
        ERR50, ERR51, ERR52, ERR53, ERR54, ERR55, ERR56, ERR57, ERR58, ERR59,
-       ERR60, ERR61 };
+       ERR60, ERR61, ERR62, ERR63 };
 
 /* The real format of the start of the pcre block; the index of names and the
 code vector run on as long as necessary after the end. We store an explicit
@@ -934,7 +942,8 @@ typedef struct compile_data {
   uschar *name_table;           /* The name/number table */
   int  names_found;             /* Number of entries so far */
   int  name_entry_size;         /* Size of each entry */
-  int  bracount;                /* Count of capturing parens */
+  int  bracount;                /* Count of capturing parens as we compile */
+  int  final_bracount;          /* Saved value after first pass */
   int  top_backref;             /* Maximum back reference */
   unsigned int backref_map;     /* Bitmap of low back refs */
   int  external_options;        /* External (initial) options */
@@ -1036,7 +1045,7 @@ typedef struct dfa_match_data {
 #define ctype_letter  0x02
 #define ctype_digit   0x04
 #define ctype_xdigit  0x08
-#define ctype_word    0x10   /* alphameric or '_' */
+#define ctype_word    0x10   /* alphanumeric or '_' */
 #define ctype_meta    0x80   /* regexp meta char or zero (end pattern) */
 
 /* Offsets for the bitmap tables in pcre_cbits. Each table contains a set
index 98ba2f9c7bc7f501f00f84604faf854d9ca500d0..4c5ef69c93ef65353ddc59d9c42d1f63271dac28 100644 (file)
@@ -60,7 +60,7 @@ an invalid string are then undefined.
 Originally, this function checked according to RFC 2279, allowing for values in
 the range 0 to 0x7fffffff, up to 6 bytes long, but ensuring that they were in
 the canonical format. Once somebody had pointed out RFC 3629 to me (it
-obsoletes 2279), additional restrictions were applies. The values are now
+obsoletes 2279), additional restrictions were applied. The values are now
 limited to be between 0 and 0x0010ffff, no more than 4 bytes long, and the
 subrange 0xd000 to 0xdfff is excluded.
 
diff --git a/ext/pcre/pcrelib/pcregrep.c b/ext/pcre/pcrelib/pcregrep.c
deleted file mode 100644 (file)
index eb2ce08..0000000
+++ /dev/null
@@ -1,2104 +0,0 @@
-/*************************************************
-*               pcregrep program                 *
-*************************************************/
-
-/* This is a grep program that uses the PCRE regular expression library to do
-its pattern matching. On a Unix or Win32 system it can recurse into
-directories.
-
-           Copyright (c) 1997-2007 University of Cambridge
-
------------------------------------------------------------------------------
-Redistribution and use in source and binary forms, with or without
-modification, are permitted provided that the following conditions are met:
-
-    * Redistributions of source code must retain the above copyright notice,
-      this list of conditions and the following disclaimer.
-
-    * Redistributions in binary form must reproduce the above copyright
-      notice, this list of conditions and the following disclaimer in the
-      documentation and/or other materials provided with the distribution.
-
-    * Neither the name of the University of Cambridge nor the names of its
-      contributors may be used to endorse or promote products derived from
-      this software without specific prior written permission.
-
-THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
-AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
-IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
-ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
-LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
-CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
-SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
-INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
-CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
-ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
-POSSIBILITY OF SUCH DAMAGE.
------------------------------------------------------------------------------
-*/
-
-#include "config.h"
-
-#include <ctype.h>
-#include <locale.h>
-#include <stdio.h>
-#include <string.h>
-#include <stdlib.h>
-#include <errno.h>
-
-#include <sys/types.h>
-#include <sys/stat.h>
-
-#ifdef HAVE_UNISTD_H
-#include <unistd.h>
-#endif
-
-#include "pcre.h"
-
-#define FALSE 0
-#define TRUE 1
-
-typedef int BOOL;
-
-#define MAX_PATTERN_COUNT 100
-
-#if BUFSIZ > 8192
-#define MBUFTHIRD BUFSIZ
-#else
-#define MBUFTHIRD 8192
-#endif
-
-/* Values for the "filenames" variable, which specifies options for file name
-output. The order is important; it is assumed that a file name is wanted for
-all values greater than FN_DEFAULT. */
-
-enum { FN_NONE, FN_DEFAULT, FN_ONLY, FN_NOMATCH_ONLY, FN_FORCE };
-
-/* Actions for the -d and -D options */
-
-enum { dee_READ, dee_SKIP, dee_RECURSE };
-enum { DEE_READ, DEE_SKIP };
-
-/* Actions for special processing options (flag bits) */
-
-#define PO_WORD_MATCH     0x0001
-#define PO_LINE_MATCH     0x0002
-#define PO_FIXED_STRINGS  0x0004
-
-/* Line ending types */
-
-enum { EL_LF, EL_CR, EL_CRLF, EL_ANY, EL_ANYCRLF };
-
-
-
-/*************************************************
-*               Global variables                 *
-*************************************************/
-
-/* Jeffrey Friedl has some debugging requirements that are not part of the
-regular code. */
-
-#ifdef JFRIEDL_DEBUG
-static int S_arg = -1;
-static unsigned int jfriedl_XR = 0; /* repeat regex attempt this many times */
-static unsigned int jfriedl_XT = 0; /* replicate text this many times */
-static const char *jfriedl_prefix = "";
-static const char *jfriedl_postfix = "";
-#endif
-
-static int  endlinetype;
-
-static char *colour_string = (char *)"1;31";
-static char *colour_option = NULL;
-static char *dee_option = NULL;
-static char *DEE_option = NULL;
-static char *newline = NULL;
-static char *pattern_filename = NULL;
-static char *stdin_name = (char *)"(standard input)";
-static char *locale = NULL;
-
-static const unsigned char *pcretables = NULL;
-
-static int  pattern_count = 0;
-static pcre **pattern_list = NULL;
-static pcre_extra **hints_list = NULL;
-
-static char *include_pattern = NULL;
-static char *exclude_pattern = NULL;
-
-static pcre *include_compiled = NULL;
-static pcre *exclude_compiled = NULL;
-
-static int after_context = 0;
-static int before_context = 0;
-static int both_context = 0;
-static int dee_action = dee_READ;
-static int DEE_action = DEE_READ;
-static int error_count = 0;
-static int filenames = FN_DEFAULT;
-static int process_options = 0;
-
-static BOOL count_only = FALSE;
-static BOOL do_colour = FALSE;
-static BOOL hyphenpending = FALSE;
-static BOOL invert = FALSE;
-static BOOL multiline = FALSE;
-static BOOL number = FALSE;
-static BOOL only_matching = FALSE;
-static BOOL quiet = FALSE;
-static BOOL silent = FALSE;
-static BOOL utf8 = FALSE;
-
-/* Structure for options and list of them */
-
-enum { OP_NODATA, OP_STRING, OP_OP_STRING, OP_NUMBER, OP_OP_NUMBER,
-       OP_PATLIST };
-
-typedef struct option_item {
-  int type;
-  int one_char;
-  void *dataptr;
-  const char *long_name;
-  const char *help_text;
-} option_item;
-
-/* Options without a single-letter equivalent get a negative value. This can be
-used to identify them. */
-
-#define N_COLOUR    (-1)
-#define N_EXCLUDE   (-2)
-#define N_HELP      (-3)
-#define N_INCLUDE   (-4)
-#define N_LABEL     (-5)
-#define N_LOCALE    (-6)
-#define N_NULL      (-7)
-
-static option_item optionlist[] = {
-  { OP_NODATA,    N_NULL,   NULL,              "",              "  terminate options" },
-  { OP_NODATA,    N_HELP,   NULL,              "help",          "display this help and exit" },
-  { OP_NUMBER,    'A',      &after_context,    "after-context=number", "set number of following context lines" },
-  { OP_NUMBER,    'B',      &before_context,   "before-context=number", "set number of prior context lines" },
-  { OP_OP_STRING, N_COLOUR, &colour_option,    "color=option",  "matched text color option" },
-  { OP_NUMBER,    'C',      &both_context,     "context=number", "set number of context lines, before & after" },
-  { OP_NODATA,    'c',      NULL,              "count",         "print only a count of matching lines per FILE" },
-  { OP_OP_STRING, N_COLOUR, &colour_option,    "colour=option", "matched text colour option" },
-  { OP_STRING,    'D',      &DEE_option,       "devices=action","how to handle devices, FIFOs, and sockets" },
-  { OP_STRING,    'd',      &dee_option,       "directories=action", "how to handle directories" },
-  { OP_PATLIST,   'e',      NULL,              "regex(p)",      "specify pattern (may be used more than once)" },
-  { OP_NODATA,    'F',      NULL,              "fixed_strings", "patterns are sets of newline-separated strings" },
-  { OP_STRING,    'f',      &pattern_filename, "file=path",     "read patterns from file" },
-  { OP_NODATA,    'H',      NULL,              "with-filename", "force the prefixing filename on output" },
-  { OP_NODATA,    'h',      NULL,              "no-filename",   "suppress the prefixing filename on output" },
-  { OP_NODATA,    'i',      NULL,              "ignore-case",   "ignore case distinctions" },
-  { OP_NODATA,    'l',      NULL,              "files-with-matches", "print only FILE names containing matches" },
-  { OP_NODATA,    'L',      NULL,              "files-without-match","print only FILE names not containing matches" },
-  { OP_STRING,    N_LABEL,  &stdin_name,       "label=name",    "set name for standard input" },
-  { OP_STRING,    N_LOCALE, &locale,           "locale=locale", "use the named locale" },
-  { OP_NODATA,    'M',      NULL,              "multiline",     "run in multiline mode" },
-  { OP_STRING,    'N',      &newline,          "newline=type",  "specify newline type (CR, LF, CRLF, ANYCRLF or ANY)" },
-  { OP_NODATA,    'n',      NULL,              "line-number",   "print line number with output lines" },
-  { OP_NODATA,    'o',      NULL,              "only-matching", "show only the part of the line that matched" },
-  { OP_NODATA,    'q',      NULL,              "quiet",         "suppress output, just set return code" },
-  { OP_NODATA,    'r',      NULL,              "recursive",     "recursively scan sub-directories" },
-  { OP_STRING,    N_EXCLUDE,&exclude_pattern,  "exclude=pattern","exclude matching files when recursing" },
-  { OP_STRING,    N_INCLUDE,&include_pattern,  "include=pattern","include matching files when recursing" },
-#ifdef JFRIEDL_DEBUG
-  { OP_OP_NUMBER, 'S',      &S_arg,            "jeffS",         "replace matched (sub)string with X" },
-#endif
-  { OP_NODATA,    's',      NULL,              "no-messages",   "suppress error messages" },
-  { OP_NODATA,    'u',      NULL,              "utf-8",         "use UTF-8 mode" },
-  { OP_NODATA,    'V',      NULL,              "version",       "print version information and exit" },
-  { OP_NODATA,    'v',      NULL,              "invert-match",  "select non-matching lines" },
-  { OP_NODATA,    'w',      NULL,              "word-regex(p)", "force patterns to match only as words"  },
-  { OP_NODATA,    'x',      NULL,              "line-regex(p)", "force patterns to match only whole lines" },
-  { OP_NODATA,    0,        NULL,               NULL,            NULL }
-};
-
-/* Tables for prefixing and suffixing patterns, according to the -w, -x, and -F
-options. These set the 1, 2, and 4 bits in process_options, respectively. Note
-that the combination of -w and -x has the same effect as -x on its own, so we
-can treat them as the same. */
-
-static const char *prefix[] = {
-  "", "\\b", "^(?:", "^(?:", "\\Q", "\\b\\Q", "^(?:\\Q", "^(?:\\Q" };
-
-static const char *suffix[] = {
-  "", "\\b", ")$",   ")$",   "\\E", "\\E\\b", "\\E)$",   "\\E)$" };
-
-/* UTF-8 tables - used only when the newline setting is "any". */
-
-const int utf8_table3[] = { 0xff, 0x1f, 0x0f, 0x07, 0x03, 0x01};
-
-const char utf8_table4[] = {
-  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
-  1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,
-  2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,
-  3,3,3,3,3,3,3,3,4,4,4,4,5,5,5,5 };
-
-
-
-/*************************************************
-*            OS-specific functions               *
-*************************************************/
-
-/* These functions are defined so that they can be made system specific,
-although at present the only ones are for Unix, Win32, and for "no support". */
-
-
-/************* Directory scanning in Unix ***********/
-
-#if defined HAVE_SYS_STAT_H && defined HAVE_DIRENT_H && defined HAVE_SYS_TYPES_H
-#include <sys/types.h>
-#include <sys/stat.h>
-#include <dirent.h>
-
-typedef DIR directory_type;
-
-static int
-isdirectory(char *filename)
-{
-struct stat statbuf;
-if (stat(filename, &statbuf) < 0)
-  return 0;        /* In the expectation that opening as a file will fail */
-return ((statbuf.st_mode & S_IFMT) == S_IFDIR)? '/' : 0;
-}
-
-static directory_type *
-opendirectory(char *filename)
-{
-return opendir(filename);
-}
-
-static char *
-readdirectory(directory_type *dir)
-{
-for (;;)
-  {
-  struct dirent *dent = readdir(dir);
-  if (dent == NULL) return NULL;
-  if (strcmp(dent->d_name, ".") != 0 && strcmp(dent->d_name, "..") != 0)
-    return dent->d_name;
-  }
-/* Control never reaches here */
-}
-
-static void
-closedirectory(directory_type *dir)
-{
-closedir(dir);
-}
-
-
-/************* Test for regular file in Unix **********/
-
-static int
-isregfile(char *filename)
-{
-struct stat statbuf;
-if (stat(filename, &statbuf) < 0)
-  return 1;        /* In the expectation that opening as a file will fail */
-return (statbuf.st_mode & S_IFMT) == S_IFREG;
-}
-
-
-/************* Test stdout for being a terminal in Unix **********/
-
-static BOOL
-is_stdout_tty(void)
-{
-return isatty(fileno(stdout));
-}
-
-
-/************* Directory scanning in Win32 ***********/
-
-/* I (Philip Hazel) have no means of testing this code. It was contributed by
-Lionel Fourquaux. David Burgess added a patch to define INVALID_FILE_ATTRIBUTES
-when it did not exist. */
-
-
-#elif HAVE_WINDOWS_H
-
-#ifndef STRICT
-# define STRICT
-#endif
-#ifndef WIN32_LEAN_AND_MEAN
-# define WIN32_LEAN_AND_MEAN
-#endif
-#ifndef INVALID_FILE_ATTRIBUTES
-#define INVALID_FILE_ATTRIBUTES 0xFFFFFFFF
-#endif
-
-#include <windows.h>
-
-typedef struct directory_type
-{
-HANDLE handle;
-BOOL first;
-WIN32_FIND_DATA data;
-} directory_type;
-
-int
-isdirectory(char *filename)
-{
-DWORD attr = GetFileAttributes(filename);
-if (attr == INVALID_FILE_ATTRIBUTES)
-  return 0;
-return ((attr & FILE_ATTRIBUTE_DIRECTORY) != 0) ? '/' : 0;
-}
-
-directory_type *
-opendirectory(char *filename)
-{
-size_t len;
-char *pattern;
-directory_type *dir;
-DWORD err;
-len = strlen(filename);
-pattern = (char *) malloc(len + 3);
-dir = (directory_type *) malloc(sizeof(*dir));
-if ((pattern == NULL) || (dir == NULL))
-  {
-  fprintf(stderr, "pcregrep: malloc failed\n");
-  exit(2);
-  }
-memcpy(pattern, filename, len);
-memcpy(&(pattern[len]), "\\*", 3);
-dir->handle = FindFirstFile(pattern, &(dir->data));
-if (dir->handle != INVALID_HANDLE_VALUE)
-  {
-  free(pattern);
-  dir->first = TRUE;
-  return dir;
-  }
-err = GetLastError();
-free(pattern);
-free(dir);
-errno = (err == ERROR_ACCESS_DENIED) ? EACCES : ENOENT;
-return NULL;
-}
-
-char *
-readdirectory(directory_type *dir)
-{
-for (;;)
-  {
-  if (!dir->first)
-    {
-    if (!FindNextFile(dir->handle, &(dir->data)))
-      return NULL;
-    }
-  else
-    {
-    dir->first = FALSE;
-    }
-  if (strcmp(dir->data.cFileName, ".") != 0 && strcmp(dir->data.cFileName, "..") != 0)
-    return dir->data.cFileName;
-  }
-#ifndef _MSC_VER
-return NULL;   /* Keep compiler happy; never executed */
-#endif
-}
-
-void
-closedirectory(directory_type *dir)
-{
-FindClose(dir->handle);
-free(dir);
-}
-
-
-/************* Test for regular file in Win32 **********/
-
-/* I don't know how to do this, or if it can be done; assume all paths are
-regular if they are not directories. */
-
-int isregfile(char *filename)
-{
-return !isdirectory(filename)
-}
-
-
-/************* Test stdout for being a terminal in Win32 **********/
-
-/* I don't know how to do this; assume never */
-
-static BOOL
-is_stdout_tty(void)
-{
-FALSE;
-}
-
-
-/************* Directory scanning when we can't do it ***********/
-
-/* The type is void, and apart from isdirectory(), the functions do nothing. */
-
-#else
-
-typedef void directory_type;
-
-int isdirectory(char *filename) { return 0; }
-directory_type * opendirectory(char *filename) { return (directory_type*)0;}
-char *readdirectory(directory_type *dir) { return (char*)0;}
-void closedirectory(directory_type *dir) {}
-
-
-/************* Test for regular when we can't do it **********/
-
-/* Assume all files are regular. */
-
-int isregfile(char *filename) { return 1; }
-
-
-/************* Test stdout for being a terminal when we can't do it **********/
-
-static BOOL
-is_stdout_tty(void)
-{
-return FALSE;
-}
-
-
-#endif
-
-
-
-#ifndef HAVE_STRERROR
-/*************************************************
-*     Provide strerror() for non-ANSI libraries  *
-*************************************************/
-
-/* Some old-fashioned systems still around (e.g. SunOS4) don't have strerror()
-in their libraries, but can provide the same facility by this simple
-alternative function. */
-
-extern int   sys_nerr;
-extern char *sys_errlist[];
-
-char *
-strerror(int n)
-{
-if (n < 0 || n >= sys_nerr) return "unknown error number";
-return sys_errlist[n];
-}
-#endif /* HAVE_STRERROR */
-
-
-
-/*************************************************
-*             Find end of line                   *
-*************************************************/
-
-/* The length of the endline sequence that is found is set via lenptr. This may
-be zero at the very end of the file if there is no line-ending sequence there.
-
-Arguments:
-  p         current position in line
-  endptr    end of available data
-  lenptr    where to put the length of the eol sequence
-
-Returns:    pointer to the last byte of the line
-*/
-
-static char *
-end_of_line(char *p, char *endptr, int *lenptr)
-{
-switch(endlinetype)
-  {
-  default:      /* Just in case */
-  case EL_LF:
-  while (p < endptr && *p != '\n') p++;
-  if (p < endptr)
-    {
-    *lenptr = 1;
-    return p + 1;
-    }
-  *lenptr = 0;
-  return endptr;
-
-  case EL_CR:
-  while (p < endptr && *p != '\r') p++;
-  if (p < endptr)
-    {
-    *lenptr = 1;
-    return p + 1;
-    }
-  *lenptr = 0;
-  return endptr;
-
-  case EL_CRLF:
-  for (;;)
-    {
-    while (p < endptr && *p != '\r') p++;
-    if (++p >= endptr)
-      {
-      *lenptr = 0;
-      return endptr;
-      }
-    if (*p == '\n')
-      {
-      *lenptr = 2;
-      return p + 1;
-      }
-    }
-  break;
-
-  case EL_ANYCRLF:
-  while (p < endptr)
-    {
-    int extra = 0;
-    register int c = *((unsigned char *)p);
-
-    if (utf8 && c >= 0xc0)
-      {
-      int gcii, gcss;
-      extra = utf8_table4[c & 0x3f];  /* Number of additional bytes */
-      gcss = 6*extra;
-      c = (c & utf8_table3[extra]) << gcss;
-      for (gcii = 1; gcii <= extra; gcii++)
-        {
-        gcss -= 6;
-        c |= (p[gcii] & 0x3f) << gcss;
-        }
-      }
-
-    p += 1 + extra;
-
-    switch (c)
-      {
-      case 0x0a:    /* LF */
-      *lenptr = 1;
-      return p;
-
-      case 0x0d:    /* CR */
-      if (p < endptr && *p == 0x0a)
-        {
-        *lenptr = 2;
-        p++;
-        }
-      else *lenptr = 1;
-      return p;
-
-      default:
-      break;
-      }
-    }   /* End of loop for ANYCRLF case */
-
-  *lenptr = 0;  /* Must have hit the end */
-  return endptr;
-
-  case EL_ANY:
-  while (p < endptr)
-    {
-    int extra = 0;
-    register int c = *((unsigned char *)p);
-
-    if (utf8 && c >= 0xc0)
-      {
-      int gcii, gcss;
-      extra = utf8_table4[c & 0x3f];  /* Number of additional bytes */
-      gcss = 6*extra;
-      c = (c & utf8_table3[extra]) << gcss;
-      for (gcii = 1; gcii <= extra; gcii++)
-        {
-        gcss -= 6;
-        c |= (p[gcii] & 0x3f) << gcss;
-        }
-      }
-
-    p += 1 + extra;
-
-    switch (c)
-      {
-      case 0x0a:    /* LF */
-      case 0x0b:    /* VT */
-      case 0x0c:    /* FF */
-      *lenptr = 1;
-      return p;
-
-      case 0x0d:    /* CR */
-      if (p < endptr && *p == 0x0a)
-        {
-        *lenptr = 2;
-        p++;
-        }
-      else *lenptr = 1;
-      return p;
-
-      case 0x85:    /* NEL */
-      *lenptr = utf8? 2 : 1;
-      return p;
-
-      case 0x2028:  /* LS */
-      case 0x2029:  /* PS */
-      *lenptr = 3;
-      return p;
-
-      default:
-      break;
-      }
-    }   /* End of loop for ANY case */
-
-  *lenptr = 0;  /* Must have hit the end */
-  return endptr;
-  }     /* End of overall switch */
-}
-
-
-
-/*************************************************
-*         Find start of previous line            *
-*************************************************/
-
-/* This is called when looking back for before lines to print.
-
-Arguments:
-  p         start of the subsequent line
-  startptr  start of available data
-
-Returns:    pointer to the start of the previous line
-*/
-
-static char *
-previous_line(char *p, char *startptr)
-{
-switch(endlinetype)
-  {
-  default:      /* Just in case */
-  case EL_LF:
-  p--;
-  while (p > startptr && p[-1] != '\n') p--;
-  return p;
-
-  case EL_CR:
-  p--;
-  while (p > startptr && p[-1] != '\n') p--;
-  return p;
-
-  case EL_CRLF:
-  for (;;)
-    {
-    p -= 2;
-    while (p > startptr && p[-1] != '\n') p--;
-    if (p <= startptr + 1 || p[-2] == '\r') return p;
-    }
-  return p;   /* But control should never get here */
-
-  case EL_ANY:
-  case EL_ANYCRLF:
-  if (*(--p) == '\n' && p > startptr && p[-1] == '\r') p--;
-  if (utf8) while ((*p & 0xc0) == 0x80) p--;
-
-  while (p > startptr)
-    {
-    register int c;
-    char *pp = p - 1;
-
-    if (utf8)
-      {
-      int extra = 0;
-      while ((*pp & 0xc0) == 0x80) pp--;
-      c = *((unsigned char *)pp);
-      if (c >= 0xc0)
-        {
-        int gcii, gcss;
-        extra = utf8_table4[c & 0x3f];  /* Number of additional bytes */
-        gcss = 6*extra;
-        c = (c & utf8_table3[extra]) << gcss;
-        for (gcii = 1; gcii <= extra; gcii++)
-          {
-          gcss -= 6;
-          c |= (pp[gcii] & 0x3f) << gcss;
-          }
-        }
-      }
-    else c = *((unsigned char *)pp);
-
-    if (endlinetype == EL_ANYCRLF) switch (c)
-      {
-      case 0x0a:    /* LF */
-      case 0x0d:    /* CR */
-      return p;
-
-      default:
-      break;
-      }
-
-    else switch (c)
-      {
-      case 0x0a:    /* LF */
-      case 0x0b:    /* VT */
-      case 0x0c:    /* FF */
-      case 0x0d:    /* CR */
-      case 0x85:    /* NEL */
-      case 0x2028:  /* LS */
-      case 0x2029:  /* PS */
-      return p;
-
-      default:
-      break;
-      }
-
-    p = pp;  /* Back one character */
-    }        /* End of loop for ANY case */
-
-  return startptr;  /* Hit start of data */
-  }     /* End of overall switch */
-}
-
-
-
-
-
-/*************************************************
-*       Print the previous "after" lines         *
-*************************************************/
-
-/* This is called if we are about to lose said lines because of buffer filling,
-and at the end of the file. The data in the line is written using fwrite() so
-that a binary zero does not terminate it.
-
-Arguments:
-  lastmatchnumber   the number of the last matching line, plus one
-  lastmatchrestart  where we restarted after the last match
-  endptr            end of available data
-  printname         filename for printing
-
-Returns:            nothing
-*/
-
-static void do_after_lines(int lastmatchnumber, char *lastmatchrestart,
-  char *endptr, char *printname)
-{
-if (after_context > 0 && lastmatchnumber > 0)
-  {
-  int count = 0;
-  while (lastmatchrestart < endptr && count++ < after_context)
-    {
-    int ellength;
-    char *pp = lastmatchrestart;
-    if (printname != NULL) fprintf(stdout, "%s-", printname);
-    if (number) fprintf(stdout, "%d-", lastmatchnumber++);
-    pp = end_of_line(pp, endptr, &ellength);
-    fwrite(lastmatchrestart, 1, pp - lastmatchrestart, stdout);
-    lastmatchrestart = pp;
-    }
-  hyphenpending = TRUE;
-  }
-}
-
-
-
-/*************************************************
-*            Grep an individual file             *
-*************************************************/
-
-/* This is called from grep_or_recurse() below. It uses a buffer that is three
-times the value of MBUFTHIRD. The matching point is never allowed to stray into
-the top third of the buffer, thus keeping more of the file available for
-context printing or for multiline scanning. For large files, the pointer will
-be in the middle third most of the time, so the bottom third is available for
-"before" context printing.
-
-Arguments:
-  in           the fopened FILE stream
-  printname    the file name if it is to be printed for each match
-               or NULL if the file name is not to be printed
-               it cannot be NULL if filenames[_nomatch]_only is set
-
-Returns:       0 if there was at least one match
-               1 otherwise (no matches)
-*/
-
-static int
-pcregrep(FILE *in, char *printname)
-{
-int rc = 1;
-int linenumber = 1;
-int lastmatchnumber = 0;
-int count = 0;
-int offsets[99];
-char *lastmatchrestart = NULL;
-char buffer[3*MBUFTHIRD];
-char *ptr = buffer;
-char *endptr;
-size_t bufflength;
-BOOL endhyphenpending = FALSE;
-
-/* Do the first read into the start of the buffer and set up the pointer to
-end of what we have. */
-
-bufflength = fread(buffer, 1, 3*MBUFTHIRD, in);
-endptr = buffer + bufflength;
-
-/* Loop while the current pointer is not at the end of the file. For large
-files, endptr will be at the end of the buffer when we are in the middle of the
-file, but ptr will never get there, because as soon as it gets over 2/3 of the
-way, the buffer is shifted left and re-filled. */
-
-while (ptr < endptr)
-  {
-  int i, endlinelength;
-  int mrc = 0;
-  BOOL match = FALSE;
-  char *t = ptr;
-  size_t length, linelength;
-
-  /* At this point, ptr is at the start of a line. We need to find the length
-  of the subject string to pass to pcre_exec(). In multiline mode, it is the
-  length remainder of the data in the buffer. Otherwise, it is the length of
-  the next line. After matching, we always advance by the length of the next
-  line. In multiline mode the PCRE_FIRSTLINE option is used for compiling, so
-  that any match is constrained to be in the first line. */
-
-  t = end_of_line(t, endptr, &endlinelength);
-  linelength = t - ptr - endlinelength;
-  length = multiline? (size_t)(endptr - ptr) : linelength;
-
-  /* Extra processing for Jeffrey Friedl's debugging. */
-
-#ifdef JFRIEDL_DEBUG
-  if (jfriedl_XT || jfriedl_XR)
-  {
-      #include <sys/time.h>
-      #include <time.h>
-      struct timeval start_time, end_time;
-      struct timezone dummy;
-
-      if (jfriedl_XT)
-      {
-          unsigned long newlen = length * jfriedl_XT + strlen(jfriedl_prefix) + strlen(jfriedl_postfix);
-          const char *orig = ptr;
-          ptr = malloc(newlen + 1);
-          if (!ptr) {
-                  printf("out of memory");
-                  exit(2);
-          }
-          endptr = ptr;
-          strcpy(endptr, jfriedl_prefix); endptr += strlen(jfriedl_prefix);
-          for (i = 0; i < jfriedl_XT; i++) {
-                  strncpy(endptr, orig,  length);
-                  endptr += length;
-          }
-          strcpy(endptr, jfriedl_postfix); endptr += strlen(jfriedl_postfix);
-          length = newlen;
-      }
-
-      if (gettimeofday(&start_time, &dummy) != 0)
-              perror("bad gettimeofday");
-
-
-      for (i = 0; i < jfriedl_XR; i++)
-          match = (pcre_exec(pattern_list[0], hints_list[0], ptr, length, 0, 0, offsets, 99) >= 0);
-
-      if (gettimeofday(&end_time, &dummy) != 0)
-              perror("bad gettimeofday");
-
-      double delta = ((end_time.tv_sec + (end_time.tv_usec / 1000000.0))
-                      -
-                      (start_time.tv_sec + (start_time.tv_usec / 1000000.0)));
-
-      printf("%s TIMER[%.4f]\n", match ? "MATCH" : "FAIL", delta);
-      return 0;
-  }
-#endif
-
-
-  /* Run through all the patterns until one matches. Note that we don't include
-  the final newline in the subject string. */
-
-  for (i = 0; i < pattern_count; i++)
-    {
-    mrc = pcre_exec(pattern_list[i], hints_list[i], ptr, length, 0, 0,
-      offsets, 99);
-    if (mrc >= 0) { match = TRUE; break; }
-    if (mrc != PCRE_ERROR_NOMATCH)
-      {
-      fprintf(stderr, "pcregrep: pcre_exec() error %d while matching ", mrc);
-      if (pattern_count > 1) fprintf(stderr, "pattern number %d to ", i+1);
-      fprintf(stderr, "this line:\n");
-      fwrite(ptr, 1, linelength, stderr);   /* In case binary zero included */
-      fprintf(stderr, "\n");
-      if (error_count == 0 &&
-          (mrc == PCRE_ERROR_MATCHLIMIT || mrc == PCRE_ERROR_RECURSIONLIMIT))
-        {
-        fprintf(stderr, "pcregrep: error %d means that a resource limit "
-          "was exceeded\n", mrc);
-        fprintf(stderr, "pcregrep: check your regex for nested unlimited loops\n");
-        }
-      if (error_count++ > 20)
-        {
-        fprintf(stderr, "pcregrep: too many errors - abandoned\n");
-        exit(2);
-        }
-      match = invert;    /* No more matching; don't show the line again */
-      break;
-      }
-    }
-
-  /* If it's a match or a not-match (as required), do what's wanted. */
-
-  if (match != invert)
-    {
-    BOOL hyphenprinted = FALSE;
-
-    /* We've failed if we want a file that doesn't have any matches. */
-
-    if (filenames == FN_NOMATCH_ONLY) return 1;
-
-    /* Just count if just counting is wanted. */
-
-    if (count_only) count++;
-
-    /* If all we want is a file name, there is no need to scan any more lines
-    in the file. */
-
-    else if (filenames == FN_ONLY)
-      {
-      fprintf(stdout, "%s\n", printname);
-      return 0;
-      }
-
-    /* Likewise, if all we want is a yes/no answer. */
-
-    else if (quiet) return 0;
-
-    /* The --only-matching option prints just the substring that matched, and
-    does not pring any context. */
-
-    else if (only_matching)
-      {
-      if (printname != NULL) fprintf(stdout, "%s:", printname);
-      if (number) fprintf(stdout, "%d:", linenumber);
-      fwrite(ptr + offsets[0], 1, offsets[1] - offsets[0], stdout);
-      fprintf(stdout, "\n");
-      }
-
-    /* This is the default case when none of the above options is set. We print
-    the matching lines(s), possibly preceded and/or followed by other lines of
-    context. */
-
-    else
-      {
-      /* See if there is a requirement to print some "after" lines from a
-      previous match. We never print any overlaps. */
-
-      if (after_context > 0 && lastmatchnumber > 0)
-        {
-        int ellength;
-        int linecount = 0;
-        char *p = lastmatchrestart;
-
-        while (p < ptr && linecount < after_context)
-          {
-          p = end_of_line(p, ptr, &ellength);
-          linecount++;
-          }
-
-        /* It is important to advance lastmatchrestart during this printing so
-        that it interacts correctly with any "before" printing below. Print
-        each line's data using fwrite() in case there are binary zeroes. */
-
-        while (lastmatchrestart < p)
-          {
-          char *pp = lastmatchrestart;
-          if (printname != NULL) fprintf(stdout, "%s-", printname);
-          if (number) fprintf(stdout, "%d-", lastmatchnumber++);
-          pp = end_of_line(pp, endptr, &ellength);
-          fwrite(lastmatchrestart, 1, pp - lastmatchrestart, stdout);
-          lastmatchrestart = pp;
-          }
-        if (lastmatchrestart != ptr) hyphenpending = TRUE;
-        }
-
-      /* If there were non-contiguous lines printed above, insert hyphens. */
-
-      if (hyphenpending)
-        {
-        fprintf(stdout, "--\n");
-        hyphenpending = FALSE;
-        hyphenprinted = TRUE;
-        }
-
-      /* See if there is a requirement to print some "before" lines for this
-      match. Again, don't print overlaps. */
-
-      if (before_context > 0)
-        {
-        int linecount = 0;
-        char *p = ptr;
-
-        while (p > buffer && (lastmatchnumber == 0 || p > lastmatchrestart) &&
-               linecount < before_context)
-          {
-          linecount++;
-          p = previous_line(p, buffer);
-          }
-
-        if (lastmatchnumber > 0 && p > lastmatchrestart && !hyphenprinted)
-          fprintf(stdout, "--\n");
-
-        while (p < ptr)
-          {
-          int ellength;
-          char *pp = p;
-          if (printname != NULL) fprintf(stdout, "%s-", printname);
-          if (number) fprintf(stdout, "%d-", linenumber - linecount--);
-          pp = end_of_line(pp, endptr, &ellength);
-          fwrite(p, 1, pp - p, stdout);
-          p = pp;
-          }
-        }
-
-      /* Now print the matching line(s); ensure we set hyphenpending at the end
-      of the file if any context lines are being output. */
-
-      if (after_context > 0 || before_context > 0)
-        endhyphenpending = TRUE;
-
-      if (printname != NULL) fprintf(stdout, "%s:", printname);
-      if (number) fprintf(stdout, "%d:", linenumber);
-
-      /* In multiline mode, we want to print to the end of the line in which
-      the end of the matched string is found, so we adjust linelength and the
-      line number appropriately, but only when there actually was a match
-      (invert not set). Because the PCRE_FIRSTLINE option is set, the start of
-      the match will always be before the first newline sequence. */
-
-      if (multiline)
-        {
-        int ellength;
-        char *endmatch = ptr;
-        if (!invert)
-          {
-          endmatch += offsets[1];
-          t = ptr;
-          while (t < endmatch)
-            {
-            t = end_of_line(t, endptr, &ellength);
-            if (t <= endmatch) linenumber++; else break;
-            }
-          }
-        endmatch = end_of_line(endmatch, endptr, &ellength);
-        linelength = endmatch - ptr - ellength;
-        }
-
-      /*** NOTE: Use only fwrite() to output the data line, so that binary
-      zeroes are treated as just another data character. */
-
-      /* This extra option, for Jeffrey Friedl's debugging requirements,
-      replaces the matched string, or a specific captured string if it exists,
-      with X. When this happens, colouring is ignored. */
-
-#ifdef JFRIEDL_DEBUG
-      if (S_arg >= 0 && S_arg < mrc)
-        {
-        int first = S_arg * 2;
-        int last  = first + 1;
-        fwrite(ptr, 1, offsets[first], stdout);
-        fprintf(stdout, "X");
-        fwrite(ptr + offsets[last], 1, linelength - offsets[last], stdout);
-        }
-      else
-#endif
-
-      /* We have to split the line(s) up if colouring. */
-
-      if (do_colour)
-        {
-        fwrite(ptr, 1, offsets[0], stdout);
-        fprintf(stdout, "%c[%sm", 0x1b, colour_string);
-        fwrite(ptr + offsets[0], 1, offsets[1] - offsets[0], stdout);
-        fprintf(stdout, "%c[00m", 0x1b);
-        fwrite(ptr + offsets[1], 1, (linelength + endlinelength) - offsets[1],
-          stdout);
-        }
-      else fwrite(ptr, 1, linelength + endlinelength, stdout);
-      }
-
-    /* End of doing what has to be done for a match */
-
-    rc = 0;    /* Had some success */
-
-    /* Remember where the last match happened for after_context. We remember
-    where we are about to restart, and that line's number. */
-
-    lastmatchrestart = ptr + linelength + endlinelength;
-    lastmatchnumber = linenumber + 1;
-    }
-
-  /* For a match in multiline inverted mode (which of course did not cause
-  anything to be printed), we have to move on to the end of the match before
-  proceeding. */
-
-  if (multiline && invert && match)
-    {
-    int ellength;
-    char *endmatch = ptr + offsets[1];
-    t = ptr;
-    while (t < endmatch)
-      {
-      t = end_of_line(t, endptr, &ellength);
-      if (t <= endmatch) linenumber++; else break;
-      }
-    endmatch = end_of_line(endmatch, endptr, &ellength);
-    linelength = endmatch - ptr - ellength;
-    }
-
-  /* Advance to after the newline and increment the line number. */
-
-  ptr += linelength + endlinelength;
-  linenumber++;
-
-  /* If we haven't yet reached the end of the file (the buffer is full), and
-  the current point is in the top 1/3 of the buffer, slide the buffer down by
-  1/3 and refill it. Before we do this, if some unprinted "after" lines are
-  about to be lost, print them. */
-
-  if (bufflength >= sizeof(buffer) && ptr > buffer + 2*MBUFTHIRD)
-    {
-    if (after_context > 0 &&
-        lastmatchnumber > 0 &&
-        lastmatchrestart < buffer + MBUFTHIRD)
-      {
-      do_after_lines(lastmatchnumber, lastmatchrestart, endptr, printname);
-      lastmatchnumber = 0;
-      }
-
-    /* Now do the shuffle */
-
-    memmove(buffer, buffer + MBUFTHIRD, 2*MBUFTHIRD);
-    ptr -= MBUFTHIRD;
-    bufflength = 2*MBUFTHIRD + fread(buffer + 2*MBUFTHIRD, 1, MBUFTHIRD, in);
-    endptr = buffer + bufflength;
-
-    /* Adjust any last match point */
-
-    if (lastmatchnumber > 0) lastmatchrestart -= MBUFTHIRD;
-    }
-  }     /* Loop through the whole file */
-
-/* End of file; print final "after" lines if wanted; do_after_lines sets
-hyphenpending if it prints something. */
-
-if (!only_matching && !count_only)
-  {
-  do_after_lines(lastmatchnumber, lastmatchrestart, endptr, printname);
-  hyphenpending |= endhyphenpending;
-  }
-
-/* Print the file name if we are looking for those without matches and there
-were none. If we found a match, we won't have got this far. */
-
-if (filenames == FN_NOMATCH_ONLY)
-  {
-  fprintf(stdout, "%s\n", printname);
-  return 0;
-  }
-
-/* Print the match count if wanted */
-
-if (count_only)
-  {
-  if (printname != NULL) fprintf(stdout, "%s:", printname);
-  fprintf(stdout, "%d\n", count);
-  }
-
-return rc;
-}
-
-
-
-/*************************************************
-*     Grep a file or recurse into a directory    *
-*************************************************/
-
-/* Given a path name, if it's a directory, scan all the files if we are
-recursing; if it's a file, grep it.
-
-Arguments:
-  pathname          the path to investigate
-  dir_recurse       TRUE if recursing is wanted (-r or -drecurse)
-  only_one_at_top   TRUE if the path is the only one at toplevel
-
-Returns:   0 if there was at least one match
-           1 if there were no matches
-           2 there was some kind of error
-
-However, file opening failures are suppressed if "silent" is set.
-*/
-
-static int
-grep_or_recurse(char *pathname, BOOL dir_recurse, BOOL only_one_at_top)
-{
-int rc = 1;
-int sep;
-FILE *in;
-
-/* If the file name is "-" we scan stdin */
-
-if (strcmp(pathname, "-") == 0)
-  {
-  return pcregrep(stdin,
-    (filenames > FN_DEFAULT || (filenames == FN_DEFAULT && !only_one_at_top))?
-      stdin_name : NULL);
-  }
-
-
-/* If the file is a directory, skip if skipping or if we are recursing, scan
-each file within it, subject to any include or exclude patterns that were set.
-The scanning code is localized so it can be made system-specific. */
-
-if ((sep = isdirectory(pathname)) != 0)
-  {
-  if (dee_action == dee_SKIP) return 1;
-  if (dee_action == dee_RECURSE)
-    {
-    char buffer[1024];
-    char *nextfile;
-    directory_type *dir = opendirectory(pathname);
-
-    if (dir == NULL)
-      {
-      if (!silent)
-        fprintf(stderr, "pcregrep: Failed to open directory %s: %s\n", pathname,
-          strerror(errno));
-      return 2;
-      }
-
-    while ((nextfile = readdirectory(dir)) != NULL)
-      {
-      int frc, blen;
-      sprintf(buffer, "%.512s%c%.128s", pathname, sep, nextfile);
-      blen = strlen(buffer);
-
-      if (exclude_compiled != NULL &&
-          pcre_exec(exclude_compiled, NULL, buffer, blen, 0, 0, NULL, 0) >= 0)
-        continue;
-
-      if (include_compiled != NULL &&
-          pcre_exec(include_compiled, NULL, buffer, blen, 0, 0, NULL, 0) < 0)
-        continue;
-
-      frc = grep_or_recurse(buffer, dir_recurse, FALSE);
-      if (frc > 1) rc = frc;
-       else if (frc == 0 && rc == 1) rc = 0;
-      }
-
-    closedirectory(dir);
-    return rc;
-    }
-  }
-
-/* If the file is not a directory and not a regular file, skip it if that's
-been requested. */
-
-else if (!isregfile(pathname) && DEE_action == DEE_SKIP) return 1;
-
-/* Control reaches here if we have a regular file, or if we have a directory
-and recursion or skipping was not requested, or if we have anything else and
-skipping was not requested. The scan proceeds. If this is the first and only
-argument at top level, we don't show the file name, unless we are only showing
-the file name, or the filename was forced (-H). */
-
-in = fopen(pathname, "r");
-if (in == NULL)
-  {
-  if (!silent)
-    fprintf(stderr, "pcregrep: Failed to open %s: %s\n", pathname,
-      strerror(errno));
-  return 2;
-  }
-
-rc = pcregrep(in, (filenames > FN_DEFAULT ||
-  (filenames == FN_DEFAULT && !only_one_at_top))? pathname : NULL);
-
-fclose(in);
-return rc;
-}
-
-
-
-
-/*************************************************
-*                Usage function                  *
-*************************************************/
-
-static int
-usage(int rc)
-{
-option_item *op;
-fprintf(stderr, "Usage: pcregrep [-");
-for (op = optionlist; op->one_char != 0; op++)
-  {
-  if (op->one_char > 0) fprintf(stderr, "%c", op->one_char);
-  }
-fprintf(stderr, "] [long options] [pattern] [files]\n");
-fprintf(stderr, "Type `pcregrep --help' for more information.\n");
-return rc;
-}
-
-
-
-
-/*************************************************
-*                Help function                   *
-*************************************************/
-
-static void
-help(void)
-{
-option_item *op;
-
-printf("Usage: pcregrep [OPTION]... [PATTERN] [FILE1 FILE2 ...]\n");
-printf("Search for PATTERN in each FILE or standard input.\n");
-printf("PATTERN must be present if neither -e nor -f is used.\n");
-printf("\"-\" can be used as a file name to mean STDIN.\n\n");
-printf("Example: pcregrep -i 'hello.*world' menu.h main.c\n\n");
-
-printf("Options:\n");
-
-for (op = optionlist; op->one_char != 0; op++)
-  {
-  int n;
-  char s[4];
-  if (op->one_char > 0) sprintf(s, "-%c,", op->one_char); else strcpy(s, "   ");
-  printf("  %s --%s%n", s, op->long_name, &n);
-  n = 30 - n;
-  if (n < 1) n = 1;
-  printf("%.*s%s\n", n, "                    ", op->help_text);
-  }
-
-printf("\nWhen reading patterns from a file instead of using a command line option,\n");
-printf("trailing white space is removed and blank lines are ignored.\n");
-printf("There is a maximum of %d patterns.\n", MAX_PATTERN_COUNT);
-
-printf("\nWith no FILEs, read standard input. If fewer than two FILEs given, assume -h.\n");
-printf("Exit status is 0 if any matches, 1 if no matches, and 2 if trouble.\n");
-}
-
-
-
-
-/*************************************************
-*    Handle a single-letter, no data option      *
-*************************************************/
-
-static int
-handle_option(int letter, int options)
-{
-switch(letter)
-  {
-  case N_HELP: help(); exit(0);
-  case 'c': count_only = TRUE; break;
-  case 'F': process_options |= PO_FIXED_STRINGS; break;
-  case 'H': filenames = FN_FORCE; break;
-  case 'h': filenames = FN_NONE; break;
-  case 'i': options |= PCRE_CASELESS; break;
-  case 'l': filenames = FN_ONLY; break;
-  case 'L': filenames = FN_NOMATCH_ONLY; break;
-  case 'M': multiline = TRUE; options |= PCRE_MULTILINE|PCRE_FIRSTLINE; break;
-  case 'n': number = TRUE; break;
-  case 'o': only_matching = TRUE; break;
-  case 'q': quiet = TRUE; break;
-  case 'r': dee_action = dee_RECURSE; break;
-  case 's': silent = TRUE; break;
-  case 'u': options |= PCRE_UTF8; utf8 = TRUE; break;
-  case 'v': invert = TRUE; break;
-  case 'w': process_options |= PO_WORD_MATCH; break;
-  case 'x': process_options |= PO_LINE_MATCH; break;
-
-  case 'V':
-  fprintf(stderr, "pcregrep version %s\n", pcre_version());
-  exit(0);
-  break;
-
-  default:
-  fprintf(stderr, "pcregrep: Unknown option -%c\n", letter);
-  exit(usage(2));
-  }
-
-return options;
-}
-
-
-
-
-/*************************************************
-*          Construct printed ordinal             *
-*************************************************/
-
-/* This turns a number into "1st", "3rd", etc. */
-
-static char *
-ordin(int n)
-{
-static char buffer[8];
-char *p = buffer;
-sprintf(p, "%d", n);
-while (*p != 0) p++;
-switch (n%10)
-  {
-  case 1: strcpy(p, "st"); break;
-  case 2: strcpy(p, "nd"); break;
-  case 3: strcpy(p, "rd"); break;
-  default: strcpy(p, "th"); break;
-  }
-return buffer;
-}
-
-
-
-/*************************************************
-*          Compile a single pattern              *
-*************************************************/
-
-/* When the -F option has been used, this is called for each substring.
-Otherwise it's called for each supplied pattern.
-
-Arguments:
-  pattern        the pattern string
-  options        the PCRE options
-  filename       the file name, or NULL for a command-line pattern
-  count          0 if this is the only command line pattern, or
-                 number of the command line pattern, or
-                 linenumber for a pattern from a file
-
-Returns:         TRUE on success, FALSE after an error
-*/
-
-static BOOL
-compile_single_pattern(char *pattern, int options, char *filename, int count)
-{
-char buffer[MBUFTHIRD + 16];
-const char *error;
-int errptr;
-
-if (pattern_count >= MAX_PATTERN_COUNT)
-  {
-  fprintf(stderr, "pcregrep: Too many %spatterns (max %d)\n",
-    (filename == NULL)? "command-line " : "", MAX_PATTERN_COUNT);
-  return FALSE;
-  }
-
-sprintf(buffer, "%s%.*s%s", prefix[process_options], MBUFTHIRD, pattern,
-  suffix[process_options]);
-pattern_list[pattern_count] =
-  pcre_compile(buffer, options, &error, &errptr, pcretables);
-if (pattern_list[pattern_count] != NULL)
-  {
-  pattern_count++;
-  return TRUE;
-  }
-
-/* Handle compile errors */
-
-errptr -= (int)strlen(prefix[process_options]);
-if (errptr > (int)strlen(pattern)) errptr = (int)strlen(pattern);
-
-if (filename == NULL)
-  {
-  if (count == 0)
-    fprintf(stderr, "pcregrep: Error in command-line regex "
-      "at offset %d: %s\n", errptr, error);
-  else
-    fprintf(stderr, "pcregrep: Error in %s command-line regex "
-      "at offset %d: %s\n", ordin(count), errptr, error);
-  }
-else
-  {
-  fprintf(stderr, "pcregrep: Error in regex in line %d of %s "
-    "at offset %d: %s\n", count, filename, errptr, error);
-  }
-
-return FALSE;
-}
-
-
-
-/*************************************************
-*           Compile one supplied pattern         *
-*************************************************/
-
-/* When the -F option has been used, each string may be a list of strings,
-separated by line breaks. They will be matched literally.
-
-Arguments:
-  pattern        the pattern string
-  options        the PCRE options
-  filename       the file name, or NULL for a command-line pattern
-  count          0 if this is the only command line pattern, or
-                 number of the command line pattern, or
-                 linenumber for a pattern from a file
-
-Returns:         TRUE on success, FALSE after an error
-*/
-
-static BOOL
-compile_pattern(char *pattern, int options, char *filename, int count)
-{
-if ((process_options & PO_FIXED_STRINGS) != 0)
-  {
-  char *eop = pattern + strlen(pattern);
-  char buffer[MBUFTHIRD];
-  for(;;)
-    {
-    int ellength;
-    char *p = end_of_line(pattern, eop, &ellength);
-    if (ellength == 0)
-      return compile_single_pattern(pattern, options, filename, count);
-    sprintf(buffer, "%.*s", (int)(p - pattern - ellength), pattern);
-    pattern = p;
-    if (!compile_single_pattern(buffer, options, filename, count))
-      return FALSE;
-    }
-  }
-else return compile_single_pattern(pattern, options, filename, count);
-}
-
-
-
-/*************************************************
-*                Main program                    *
-*************************************************/
-
-/* Returns 0 if something matched, 1 if nothing matched, 2 after an error. */
-
-int
-main(int argc, char **argv)
-{
-int i, j;
-int rc = 1;
-int pcre_options = 0;
-int cmd_pattern_count = 0;
-int hint_count = 0;
-int errptr;
-BOOL only_one_at_top;
-char *patterns[MAX_PATTERN_COUNT];
-const char *locale_from = "--locale";
-const char *error;
-
-/* Set the default line ending value from the default in the PCRE library;
-"lf", "cr", "crlf", and "any" are supported. Anything else is treated as "lf".
-*/
-
-(void)pcre_config(PCRE_CONFIG_NEWLINE, &i);
-switch(i)
-  {
-  default:                 newline = (char *)"lf"; break;
-  case '\r':               newline = (char *)"cr"; break;
-  case ('\r' << 8) | '\n': newline = (char *)"crlf"; break;
-  case -1:                 newline = (char *)"any"; break;
-  case -2:                 newline = (char *)"anycrlf"; break;
-  }
-
-/* Process the options */
-
-for (i = 1; i < argc; i++)
-  {
-  option_item *op = NULL;
-  char *option_data = (char *)"";    /* default to keep compiler happy */
-  BOOL longop;
-  BOOL longopwasequals = FALSE;
-
-  if (argv[i][0] != '-') break;
-
-  /* If we hit an argument that is just "-", it may be a reference to STDIN,
-  but only if we have previously had -e or -f to define the patterns. */
-
-  if (argv[i][1] == 0)
-    {
-    if (pattern_filename != NULL || pattern_count > 0) break;
-      else exit(usage(2));
-    }
-
-  /* Handle a long name option, or -- to terminate the options */
-
-  if (argv[i][1] == '-')
-    {
-    char *arg = argv[i] + 2;
-    char *argequals = strchr(arg, '=');
-
-    if (*arg == 0)    /* -- terminates options */
-      {
-      i++;
-      break;                /* out of the options-handling loop */
-      }
-
-    longop = TRUE;
-
-    /* Some long options have data that follows after =, for example file=name.
-    Some options have variations in the long name spelling: specifically, we
-    allow "regexp" because GNU grep allows it, though I personally go along
-    with Jeffrey Friedl and Larry Wall in preferring "regex" without the "p".
-    These options are entered in the table as "regex(p)". No option is in both
-    these categories, fortunately. */
-
-    for (op = optionlist; op->one_char != 0; op++)
-      {
-      char *opbra = strchr(op->long_name, '(');
-      char *equals = strchr(op->long_name, '=');
-      if (opbra == NULL)     /* Not a (p) case */
-        {
-        if (equals == NULL)  /* Not thing=data case */
-          {
-          if (strcmp(arg, op->long_name) == 0) break;
-          }
-        else                 /* Special case xxx=data */
-          {
-          int oplen = equals - op->long_name;
-          int arglen = (argequals == NULL)? (int)strlen(arg) : argequals - arg;
-          if (oplen == arglen && strncmp(arg, op->long_name, oplen) == 0)
-            {
-            option_data = arg + arglen;
-            if (*option_data == '=')
-              {
-              option_data++;
-              longopwasequals = TRUE;
-              }
-            break;
-            }
-          }
-        }
-      else                   /* Special case xxxx(p) */
-        {
-        char buff1[24];
-        char buff2[24];
-        int baselen = opbra - op->long_name;
-        sprintf(buff1, "%.*s", baselen, op->long_name);
-        sprintf(buff2, "%s%.*s", buff1,
-          (int)strlen(op->long_name) - baselen - 2, opbra + 1);
-        if (strcmp(arg, buff1) == 0 || strcmp(arg, buff2) == 0)
-          break;
-        }
-      }
-
-    if (op->one_char == 0)
-      {
-      fprintf(stderr, "pcregrep: Unknown option %s\n", argv[i]);
-      exit(usage(2));
-      }
-    }
-
-
-  /* Jeffrey Friedl's debugging harness uses these additional options which
-  are not in the right form for putting in the option table because they use
-  only one hyphen, yet are more than one character long. By putting them
-  separately here, they will not get displayed as part of the help() output,
-  but I don't think Jeffrey will care about that. */
-
-#ifdef JFRIEDL_DEBUG
-  else if (strcmp(argv[i], "-pre") == 0) {
-          jfriedl_prefix = argv[++i];
-          continue;
-  } else if (strcmp(argv[i], "-post") == 0) {
-          jfriedl_postfix = argv[++i];
-          continue;
-  } else if (strcmp(argv[i], "-XT") == 0) {
-          sscanf(argv[++i], "%d", &jfriedl_XT);
-          continue;
-  } else if (strcmp(argv[i], "-XR") == 0) {
-          sscanf(argv[++i], "%d", &jfriedl_XR);
-          continue;
-  }
-#endif
-
-
-  /* One-char options; many that have no data may be in a single argument; we
-  continue till we hit the last one or one that needs data. */
-
-  else
-    {
-    char *s = argv[i] + 1;
-    longop = FALSE;
-    while (*s != 0)
-      {
-      for (op = optionlist; op->one_char != 0; op++)
-        { if (*s == op->one_char) break; }
-      if (op->one_char == 0)
-        {
-        fprintf(stderr, "pcregrep: Unknown option letter '%c' in \"%s\"\n",
-          *s, argv[i]);
-        exit(usage(2));
-        }
-      if (op->type != OP_NODATA || s[1] == 0)
-        {
-        option_data = s+1;
-        break;
-        }
-      pcre_options = handle_option(*s++, pcre_options);
-      }
-    }
-
-  /* At this point we should have op pointing to a matched option. If the type
-  is NO_DATA, it means that there is no data, and the option might set
-  something in the PCRE options. */
-
-  if (op->type == OP_NODATA)
-    {
-    pcre_options = handle_option(op->one_char, pcre_options);
-    continue;
-    }
-
-  /* If the option type is OP_OP_STRING or OP_OP_NUMBER, it's an option that
-  either has a value or defaults to something. It cannot have data in a
-  separate item. At the moment, the only such options are "colo(u)r" and
-  Jeffrey Friedl's special -S debugging option. */
-
-  if (*option_data == 0 &&
-      (op->type == OP_OP_STRING || op->type == OP_OP_NUMBER))
-    {
-    switch (op->one_char)
-      {
-      case N_COLOUR:
-      colour_option = (char *)"auto";
-      break;
-#ifdef JFRIEDL_DEBUG
-      case 'S':
-      S_arg = 0;
-      break;
-#endif
-      }
-    continue;
-    }
-
-  /* Otherwise, find the data string for the option. */
-
-  if (*option_data == 0)
-    {
-    if (i >= argc - 1 || longopwasequals)
-      {
-      fprintf(stderr, "pcregrep: Data missing after %s\n", argv[i]);
-      exit(usage(2));
-      }
-    option_data = argv[++i];
-    }
-
-  /* If the option type is OP_PATLIST, it's the -e option, which can be called
-  multiple times to create a list of patterns. */
-
-  if (op->type == OP_PATLIST)
-    {
-    if (cmd_pattern_count >= MAX_PATTERN_COUNT)
-      {
-      fprintf(stderr, "pcregrep: Too many command-line patterns (max %d)\n",
-        MAX_PATTERN_COUNT);
-      return 2;
-      }
-    patterns[cmd_pattern_count++] = option_data;
-    }
-
-  /* Otherwise, deal with single string or numeric data values. */
-
-  else if (op->type != OP_NUMBER && op->type != OP_OP_NUMBER)
-    {
-    *((char **)op->dataptr) = option_data;
-    }
-  else
-    {
-    char *endptr;
-    int n = strtoul(option_data, &endptr, 10);
-    if (*endptr != 0)
-      {
-      if (longop)
-        {
-        char *equals = strchr(op->long_name, '=');
-        int nlen = (equals == NULL)? (int)strlen(op->long_name) :
-          equals - op->long_name;
-        fprintf(stderr, "pcregrep: Malformed number \"%s\" after --%.*s\n",
-          option_data, nlen, op->long_name);
-        }
-      else
-        fprintf(stderr, "pcregrep: Malformed number \"%s\" after -%c\n",
-          option_data, op->one_char);
-      exit(usage(2));
-      }
-    *((int *)op->dataptr) = n;
-    }
-  }
-
-/* Options have been decoded. If -C was used, its value is used as a default
-for -A and -B. */
-
-if (both_context > 0)
-  {
-  if (after_context == 0) after_context = both_context;
-  if (before_context == 0) before_context = both_context;
-  }
-
-/* If a locale has not been provided as an option, see if the LC_CTYPE or
-LC_ALL environment variable is set, and if so, use it. */
-
-if (locale == NULL)
-  {
-  locale = getenv("LC_ALL");
-  locale_from = "LCC_ALL";
-  }
-
-if (locale == NULL)
-  {
-  locale = getenv("LC_CTYPE");
-  locale_from = "LC_CTYPE";
-  }
-
-/* If a locale has been provided, set it, and generate the tables the PCRE
-needs. Otherwise, pcretables==NULL, which causes the use of default tables. */
-
-if (locale != NULL)
-  {
-  if (setlocale(LC_CTYPE, locale) == NULL)
-    {
-    fprintf(stderr, "pcregrep: Failed to set locale %s (obtained from %s)\n",
-      locale, locale_from);
-    return 2;
-    }
-  pcretables = pcre_maketables();
-  }
-
-/* Sort out colouring */
-
-if (colour_option != NULL && strcmp(colour_option, "never") != 0)
-  {
-  if (strcmp(colour_option, "always") == 0) do_colour = TRUE;
-  else if (strcmp(colour_option, "auto") == 0) do_colour = is_stdout_tty();
-  else
-    {
-    fprintf(stderr, "pcregrep: Unknown colour setting \"%s\"\n",
-      colour_option);
-    return 2;
-    }
-  if (do_colour)
-    {
-    char *cs = getenv("PCREGREP_COLOUR");
-    if (cs == NULL) cs = getenv("PCREGREP_COLOR");
-    if (cs != NULL) colour_string = cs;
-    }
-  }
-
-/* Interpret the newline type; the default settings are Unix-like. */
-
-if (strcmp(newline, "cr") == 0 || strcmp(newline, "CR") == 0)
-  {
-  pcre_options |= PCRE_NEWLINE_CR;
-  endlinetype = EL_CR;
-  }
-else if (strcmp(newline, "lf") == 0 || strcmp(newline, "LF") == 0)
-  {
-  pcre_options |= PCRE_NEWLINE_LF;
-  endlinetype = EL_LF;
-  }
-else if (strcmp(newline, "crlf") == 0 || strcmp(newline, "CRLF") == 0)
-  {
-  pcre_options |= PCRE_NEWLINE_CRLF;
-  endlinetype = EL_CRLF;
-  }
-else if (strcmp(newline, "any") == 0 || strcmp(newline, "ANY") == 0)
-  {
-  pcre_options |= PCRE_NEWLINE_ANY;
-  endlinetype = EL_ANY;
-  }
-else if (strcmp(newline, "anycrlf") == 0 || strcmp(newline, "ANYCRLF") == 0)
-  {
-  pcre_options |= PCRE_NEWLINE_ANYCRLF;
-  endlinetype = EL_ANYCRLF;
-  }
-else
-  {
-  fprintf(stderr, "pcregrep: Invalid newline specifier \"%s\"\n", newline);
-  return 2;
-  }
-
-/* Interpret the text values for -d and -D */
-
-if (dee_option != NULL)
-  {
-  if (strcmp(dee_option, "read") == 0) dee_action = dee_READ;
-  else if (strcmp(dee_option, "recurse") == 0) dee_action = dee_RECURSE;
-  else if (strcmp(dee_option, "skip") == 0) dee_action = dee_SKIP;
-  else
-    {
-    fprintf(stderr, "pcregrep: Invalid value \"%s\" for -d\n", dee_option);
-    return 2;
-    }
-  }
-
-if (DEE_option != NULL)
-  {
-  if (strcmp(DEE_option, "read") == 0) DEE_action = DEE_READ;
-  else if (strcmp(DEE_option, "skip") == 0) DEE_action = DEE_SKIP;
-  else
-    {
-    fprintf(stderr, "pcregrep: Invalid value \"%s\" for -D\n", DEE_option);
-    return 2;
-    }
-  }
-
-/* Check the values for Jeffrey Friedl's debugging options. */
-
-#ifdef JFRIEDL_DEBUG
-if (S_arg > 9)
-  {
-  fprintf(stderr, "pcregrep: bad value for -S option\n");
-  return 2;
-  }
-if (jfriedl_XT != 0 || jfriedl_XR != 0)
-  {
-  if (jfriedl_XT == 0) jfriedl_XT = 1;
-  if (jfriedl_XR == 0) jfriedl_XR = 1;
-  }
-#endif
-
-/* Get memory to store the pattern and hints lists. */
-
-pattern_list = (pcre **)malloc(MAX_PATTERN_COUNT * sizeof(pcre *));
-hints_list = (pcre_extra **)malloc(MAX_PATTERN_COUNT * sizeof(pcre_extra *));
-
-if (pattern_list == NULL || hints_list == NULL)
-  {
-  fprintf(stderr, "pcregrep: malloc failed\n");
-  goto EXIT2;
-  }
-
-/* If no patterns were provided by -e, and there is no file provided by -f,
-the first argument is the one and only pattern, and it must exist. */
-
-if (cmd_pattern_count == 0 && pattern_filename == NULL)
-  {
-  if (i >= argc) return usage(2);
-  patterns[cmd_pattern_count++] = argv[i++];
-  }
-
-/* Compile the patterns that were provided on the command line, either by
-multiple uses of -e or as a single unkeyed pattern. */
-
-for (j = 0; j < cmd_pattern_count; j++)
-  {
-  if (!compile_pattern(patterns[j], pcre_options, NULL,
-       (j == 0 && cmd_pattern_count == 1)? 0 : j + 1))
-    goto EXIT2;
-  }
-
-/* Compile the regular expressions that are provided in a file. */
-
-if (pattern_filename != NULL)
-  {
-  int linenumber = 0;
-  FILE *f;
-  char *filename;
-  char buffer[MBUFTHIRD];
-
-  if (strcmp(pattern_filename, "-") == 0)
-    {
-    f = stdin;
-    filename = stdin_name;
-    }
-  else
-    {
-    f = fopen(pattern_filename, "r");
-    if (f == NULL)
-      {
-      fprintf(stderr, "pcregrep: Failed to open %s: %s\n", pattern_filename,
-        strerror(errno));
-      goto EXIT2;
-      }
-    filename = pattern_filename;
-    }
-
-  while (fgets(buffer, MBUFTHIRD, f) != NULL)
-    {
-    char *s = buffer + (int)strlen(buffer);
-    while (s > buffer && isspace((unsigned char)(s[-1]))) s--;
-    *s = 0;
-    linenumber++;
-    if (buffer[0] == 0) continue;   /* Skip blank lines */
-    if (!compile_pattern(buffer, pcre_options, filename, linenumber))
-      goto EXIT2;
-    }
-
-  if (f != stdin) fclose(f);
-  }
-
-/* Study the regular expressions, as we will be running them many times */
-
-for (j = 0; j < pattern_count; j++)
-  {
-  hints_list[j] = pcre_study(pattern_list[j], 0, &error);
-  if (error != NULL)
-    {
-    char s[16];
-    if (pattern_count == 1) s[0] = 0; else sprintf(s, " number %d", j);
-    fprintf(stderr, "pcregrep: Error while studying regex%s: %s\n", s, error);
-    goto EXIT2;
-    }
-  hint_count++;
-  }
-
-/* If there are include or exclude patterns, compile them. */
-
-if (exclude_pattern != NULL)
-  {
-  exclude_compiled = pcre_compile(exclude_pattern, 0, &error, &errptr,
-    pcretables);
-  if (exclude_compiled == NULL)
-    {
-    fprintf(stderr, "pcregrep: Error in 'exclude' regex at offset %d: %s\n",
-      errptr, error);
-    goto EXIT2;
-    }
-  }
-
-if (include_pattern != NULL)
-  {
-  include_compiled = pcre_compile(include_pattern, 0, &error, &errptr,
-    pcretables);
-  if (include_compiled == NULL)
-    {
-    fprintf(stderr, "pcregrep: Error in 'include' regex at offset %d: %s\n",
-      errptr, error);
-    goto EXIT2;
-    }
-  }
-
-/* If there are no further arguments, do the business on stdin and exit. */
-
-if (i >= argc)
-  {
-  rc = pcregrep(stdin, (filenames > FN_DEFAULT)? stdin_name : NULL);
-  goto EXIT;
-  }
-
-/* Otherwise, work through the remaining arguments as files or directories.
-Pass in the fact that there is only one argument at top level - this suppresses
-the file name if the argument is not a directory and filenames are not
-otherwise forced. */
-
-only_one_at_top = i == argc - 1;   /* Catch initial value of i */
-
-for (; i < argc; i++)
-  {
-  int frc = grep_or_recurse(argv[i], dee_action == dee_RECURSE,
-    only_one_at_top);
-  if (frc > 1) rc = frc;
-    else if (frc == 0 && rc == 1) rc = 0;
-  }
-
-EXIT:
-if (pattern_list != NULL)
-  {
-  for (i = 0; i < pattern_count; i++) free(pattern_list[i]);
-  free(pattern_list);
-  }
-if (hints_list != NULL)
-  {
-  for (i = 0; i < hint_count; i++) free(hints_list[i]);
-  free(hints_list);
-  }
-return rc;
-
-EXIT2:
-rc = 2;
-goto EXIT;
-}
-
-/* End of pcregrep */
index 756ab5f989047a273e4e54c6dfdbf00eddbd3d4e..6f1f9c58a6ca8d7b9a19bb26f3fdfaa516956a4d 100644 (file)
@@ -122,7 +122,9 @@ static const int eint[] = {
   REG_INVARG,  /* inconsistent NEWLINE options */
   REG_BADPAT,  /* \g is not followed followed by an (optionally braced) non-zero number */
   REG_BADPAT,  /* (?+ or (?- must be followed by a non-zero number */
-  REG_BADPAT   /* number is too big */
+  REG_BADPAT,  /* number is too big */
+  REG_BADPAT,  /* subpattern name expected */
+  REG_BADPAT   /* digit expected after (?+ */
 };
 
 /* Table of texts corresponding to POSIX error codes */
index 7f76d9edc90f0421330ae900aa80c1c0a11bcca8..3241984c1c89b84dbb27bcc108701c652cfbe474 100644 (file)
@@ -358,10 +358,13 @@ after the binary zero
 ./testdata/grepinput:597:after the binary zero
 ---------------------------- Test 42 ------------------------------
 595:before
+595:zero
 596:zero
 597:after
+597:zero
 ---------------------------- Test 43 ------------------------------
 595:before
+595:zero
 596:zero
 597:zero
 ---------------------------- Test 44 ------------------------------
@@ -387,3 +390,15 @@ PUT NEW DATA ABOVE THIS LINE.
 over the lazy dog.
 ---------------------------- Test 51 ------------------------------
 fox \e[1;31mjumps\e[00m
+---------------------------- Test 52 ------------------------------
+36972,6
+36990,4
+37024,4
+37066,5
+37083,4
+---------------------------- Test 53 ------------------------------
+595:15,6
+595:33,4
+596:28,4
+597:15,5
+597:32,4
index 79c98fa7bd4184e798963e0c1deee9a29a1d166e..91554ffc497c7c60fa3b5d2ed17425560acca178 100644 (file)
 /((?m)^b)/
     a\nb\nc\n
 
-/(?(1)a|b)/
-
-/(?(1)b|a)/
-    a
-
 /(x)?(?(1)a|b)/
     *** Failers
     a
 /(  (?(1)0|)*   )/x
     abcd
 
+/[[:abcd:xyz]]/
+    a]
+    :] 
+    
+/[abc[:x\]pqr]/
+    a
+    [
+    :
+    ]
+    p    
+
 / End of testinput1 /
index e0018b604f7edf12003edf2ec169d73771d52b68..1a13fa8dd900ab0446d3c8adebba26a496462ad8 100644 (file)
 
 /(?(1?)a|b)/
 
-/(?(1)a|b|c)/
-
 /[a[:xyz:/
 
 /(?<=x+)y/
 
 /ab\d+/I
 
-/a(?(1)b)/I
+/a(?(1)b)(.)/I
 
-/a(?(1)bag|big)/I
+/a(?(1)bag|big)(.)/I
 
-/a(?(1)bag|big)*/I
+/a(?(1)bag|big)*(.)/I
 
-/a(?(1)bag|big)+/I
+/a(?(1)bag|big)+(.)/I
 
-/a(?(1)b..|b..)/I
+/a(?(1)b..|b..)(.)/I
 
 /ab\d{0}e/I
 
 
 /()a/I
 
-/(?(1)ab|ac)/I
+/(?(1)ab|ac)(.)/I
 
-/(?(1)abz|acz)/I
+/(?(1)abz|acz)(.)/I
 
-/(?(1)abz)/I
+/(?(1)abz)(.)/I
 
-/(?(1)abz)123/I
+/(?(1)abz)(1)23/I
 
 /(a)+/I
 
@@ -2190,8 +2188,8 @@ a random value. /Ix
 
 /((?(-2)a))/BZ
 
-/^(?(+1)X|Y)/BZ
-    Y
+/^(?(+1)X|Y)(.)/BZ
+    Y!
 
 /(foo)\Kbar/
     foobar
@@ -2535,4 +2533,60 @@ a random value. /Ix
 
 /(*CRLF)(*BSR_ANYCRLF)(*CR)ab/I
 
+/(?<a>)(?&)/
+
+/(?<abc>)(?&a)/
+
+/(?<a>)(?&aaaaaaaaaaaaaaaaaaaaaaa)/
+
+/(?+-a)/
+
+/(?-+a)/
+
+/(?(-1))/
+
+/(?(+10))/
+
+/(?(10))/
+
+/(?(+2))()()/
+
+/(?(2))()()/
+
+/\k''/
+
+/\k<>/
+
+/\k{}/
+
+/(?P=)/
+
+/(?P>)/
+
+/(?!\w)(?R)/
+
+/(?=\w)(?R)/
+
+/(?<!\w)(?R)/
+
+/(?<=\w)(?R)/
+
+/[[:foo:]]/
+
+/[[:1234:]]/
+
+/[[:f\oo:]]/
+
+/[[: :]]/
+
+/[[:...:]]/
+
+/[[:l\ower:]]/
+
+/[[:abc\:]]/
+
+/[abc[:x\]pqr:]]/
+
+/[[:a\dz:]]/
+
 / End of testinput2 /
index 630fb1d53215e1ff627919b242b9156495b12644..886dbceb74f8d1d63f14f4d3b48448b60b4aaf99 100644 (file)
 /\W{2}/8g
     +\x{a3}== 
 
+/\S/8g
+    \x{442}\x{435}\x{441}\x{442}
+
+/[\S]/8g
+    \x{442}\x{435}\x{441}\x{442}
+
+/\D/8g
+    \x{442}\x{435}\x{441}\x{442}
+
+/[\D]/8g
+    \x{442}\x{435}\x{441}\x{442}
+
+/\W/8g
+    \x{2442}\x{2435}\x{2441}\x{2442}
+
+/[\W]/8g
+    \x{2442}\x{2435}\x{2441}\x{2442}
+    
+/[\S\s]*/8
+    abc\n\r\x{442}\x{435}\x{441}\x{442}xyz 
+
+/[\x{41f}\S]/8g
+    \x{442}\x{435}\x{441}\x{442}
+
+/.[^\S]./8g
+    abc def\x{442}\x{443}xyz\npqr
+
+/.[^\S\n]./8g
+    abc def\x{442}\x{443}xyz\npqr
+
+/[[:^alnum:]]/8g  
+    +\x{2442}
+    
+/[[:^alpha:]]/8g 
+    +\x{2442}
+    
+/[[:^ascii:]]/8g 
+    A\x{442}
+    
+/[[:^blank:]]/8g 
+    A\x{442}
+    
+/[[:^cntrl:]]/8g 
+    A\x{442}
+    
+/[[:^digit:]]/8g 
+    A\x{442}
+    
+/[[:^graph:]]/8g 
+    \x19\x{e01ff}
+    
+/[[:^lower:]]/8g 
+    A\x{422}
+    
+/[[:^print:]]/8g 
+    \x{19}\x{e01ff}
+    
+/[[:^punct:]]/8g 
+    A\x{442}
+    
+/[[:^space:]]/8g 
+    A\x{442}
+    
+/[[:^upper:]]/8g 
+    a\x{442}
+    
+/[[:^word:]]/8g  
+    +\x{2442}
+    
+/[[:^xdigit:]]/8g
+    M\x{442}
+
 / End of testinput4 /
index 87e0e47e66886987278ee9521dfabbce2ee6281a..75a4857b4d4cd1e706a8d796103a76c1fad3ea59 100644 (file)
@@ -453,4 +453,12 @@ can't tell the difference.) --/
     a\x{85}b\<bsr_anycrlf>
     a\x0bb\<bsr_anycrlf>
  
+/.*a.*=.b.*/8<ANY>
+    QQQ\x{2029}ABCaXYZ=!bPQR
+    ** Failers
+    a\x{2029}b
+    \x61\xe2\x80\xa9\x62 
+
+/[[:a\x{100}b:]]/8
+
 / End of testinput5 /
index 53d2b328ff46434297ba227d5cff0cb0a83b481e..0204a7acaeaff87648e5678b21d79e26147b1a3e 100644 (file)
@@ -832,4 +832,79 @@ was broken in all cases./
 
 /(\p{Yi}{0,3}+\277)*/
 
+/^[\p{Arabic}]/8
+    \x{60e} 
+    \x{656} 
+    \x{657} 
+    \x{658} 
+    \x{659} 
+    \x{65a} 
+    \x{65b} 
+    \x{65c} 
+    \x{65d} 
+    \x{65e} 
+    \x{66a} 
+    \x{6e9} 
+    \x{6ef}
+    \x{6fa}  
+    ** Failers
+    \x{600}
+    \x{650}
+    \x{651}  
+    \x{652}  
+    \x{653}  
+    \x{654} 
+    \x{655} 
+    \x{65f}  
+    
+/^\p{Cyrillic}/8
+    \x{1d2b} 
+    
+/^\p{Common}/8
+    \x{589}
+    \x{60c}
+    \x{61f}  
+    \x{964}
+    \x{965}  
+    \x{970}  
+
+/^\p{Inherited}/8
+    \x{64b}
+    \x{654}
+    \x{655}
+    \x{200c} 
+    ** Failers
+    \x{64a}
+    \x{656}     
+
+/^\p{Shavian}/8
+    \x{10450}
+    \x{1047f}
+    
+/^\p{Deseret}/8
+    \x{10400}
+    \x{1044f}
+    
+/^\p{Osmanya}/8
+    \x{10480}
+    \x{1049d}
+    \x{104a0}
+    \x{104a9}
+    ** Failers
+    \x{1049e}
+    \x{1049f}
+    \x{104aa}           
+
+/\p{Zl}{2,3}+/8BZ
+    \xe2\x80\xa8\xe2\x80\xa8
+    \x{2028}\x{2028}\x{2028}
+    
+/\p{Zl}/8BZ
+
+/\p{Lu}{3}+/8BZ
+
+/\pL{2}+/8BZ
+
+/\p{Cc}{2}+/8BZ
+
 / End of testinput6 /
index 4c0e680d112644c9d7baca317de40fe150d4a1d7..9b8b268edb299416b556c6c41c49c715b4d9997d 100644 (file)
@@ -5551,12 +5551,6 @@ No match
  0: b
  1: b
 
-/(?(1)a|b)/
-
-/(?(1)b|a)/
-    a
- 0: a
-
 /(x)?(?(1)a|b)/
     *** Failers
 No match
@@ -6593,4 +6587,22 @@ No match
  0: 
  1: 
 
+/[[:abcd:xyz]]/
+    a]
+ 0: a]
+    :] 
+ 0: :]
+    
+/[abc[:x\]pqr]/
+    a
+ 0: a
+    [
+ 0: [
+    :
+ 0: :
+    ]
+ 0: ]
+    p    
+ 0: p
+
 / End of testinput1 /
index 11fcb1eed1cea29d17b60fad14cf4fb515e1c05a..dba227f50381a3a125a024e1bdb02214260d692d 100644 (file)
@@ -109,7 +109,7 @@ Failed: missing ) at offset 4
 Failed: missing ) after comment at offset 7
 
 /(?z)abc/
-Failed: unrecognized character after (? at offset 2
+Failed: unrecognized character after (? or (?- at offset 2
 
 /.*b/I
 Capturing subpattern count = 0
@@ -310,7 +310,7 @@ No match
 No match
 
 /ab(?z)cd/
-Failed: unrecognized character after (? at offset 4
+Failed: unrecognized character after (? or (?- at offset 4
 
 /^abc|def/I
 Capturing subpattern count = 0
@@ -946,26 +946,23 @@ Failed: missing ) at offset 4
 Failed: unrecognized character after (?< at offset 3
 
 /a(?{)b/
-Failed: unrecognized character after (? at offset 3
+Failed: unrecognized character after (? or (?- at offset 3
 
 /a(?{{})b/
-Failed: unrecognized character after (? at offset 3
+Failed: unrecognized character after (? or (?- at offset 3
 
 /a(?{}})b/
-Failed: unrecognized character after (? at offset 3
+Failed: unrecognized character after (? or (?- at offset 3
 
 /a(?{"{"})b/
-Failed: unrecognized character after (? at offset 3
+Failed: unrecognized character after (? or (?- at offset 3
 
 /a(?{"{"}})b/
-Failed: unrecognized character after (? at offset 3
+Failed: unrecognized character after (? or (?- at offset 3
 
 /(?(1?)a|b)/
 Failed: malformed number or name after (?( at offset 4
 
-/(?(1)a|b|c)/
-Failed: conditional group contains more than two branches at offset 10
-
 /[a[:xyz:/
 Failed: missing terminating ] for character class at offset 8
 
@@ -1599,32 +1596,32 @@ No options
 First char = 'a'
 Need char = 'b'
 
-/a(?(1)b)/I
-Capturing subpattern count = 0
+/a(?(1)b)(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 No need char
 
-/a(?(1)bag|big)/I
-Capturing subpattern count = 0
+/a(?(1)bag|big)(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 Need char = 'g'
 
-/a(?(1)bag|big)*/I
-Capturing subpattern count = 0
+/a(?(1)bag|big)*(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 No need char
 
-/a(?(1)bag|big)+/I
-Capturing subpattern count = 0
+/a(?(1)bag|big)+(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 Need char = 'g'
 
-/a(?(1)b..|b..)/I
-Capturing subpattern count = 0
+/a(?(1)b..|b..)(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 Need char = 'b'
@@ -1905,7 +1902,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x00-/:-@[-`{-\xff]
+        [\x00-/:-@[-`{-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -1931,7 +1928,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x00-@[-`{-\xff]
+        [\x00-@[-`{-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -1965,7 +1962,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x80-\xff]
+        [\x80-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -1991,7 +1988,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x00-\x08\x0a-\x1f!-\xff]
+        [\x00-\x08\x0a-\x1f!-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -2142,7 +2139,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [ -~\x80-\xff]
+        [ -~\x80-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -2155,7 +2152,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x00-/12:-\xff]
+        [\x00-/12:-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -2168,7 +2165,7 @@ No need char
 ------------------------------------------------------------------
         Bra
         ^
-        [\x00-\x08\x0a-\x1f!-\xff]
+        [\x00-\x08\x0a-\x1f!-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -2736,7 +2733,7 @@ No need char
 /[\S]/DZ
 ------------------------------------------------------------------
         Bra
-        [\x00-\x08\x0b\x0e-\x1f!-\xff]
+        [\x00-\x08\x0b\x0e-\x1f!-\xff] (neg)
         Ket
         End
 ------------------------------------------------------------------
@@ -3441,26 +3438,26 @@ No options
 No first char
 Need char = 'a'
 
-/(?(1)ab|ac)/I
-Capturing subpattern count = 0
+/(?(1)ab|ac)(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 No need char
 
-/(?(1)abz|acz)/I
-Capturing subpattern count = 0
+/(?(1)abz|acz)(.)/I
+Capturing subpattern count = 1
 No options
 First char = 'a'
 Need char = 'z'
 
-/(?(1)abz)/I
-Capturing subpattern count = 0
+/(?(1)abz)(.)/I
+Capturing subpattern count = 1
 No options
 No first char
 No need char
 
-/(?(1)abz)123/I
-Capturing subpattern count = 0
+/(?(1)abz)(1)23/I
+Capturing subpattern count = 1
 No options
 No first char
 Need char = '3'
@@ -8308,7 +8305,7 @@ Failed: reference to non-existent subpattern at offset 6
 /((?(-2)a))/BZ
 Failed: reference to non-existent subpattern at offset 7
 
-/^(?(+1)X|Y)/BZ
+/^(?(+1)X|Y)(.)/BZ
 ------------------------------------------------------------------
         Bra
         ^
@@ -8318,11 +8315,15 @@ Failed: reference to non-existent subpattern at offset 7
         Alt
         Y
         Ket
+        CBra 1
+        Any
+        Ket
         Ket
         End
 ------------------------------------------------------------------
-    Y
- 0: Y
+    Y!
+ 0: Y!
+ 1: !
 
 /(foo)\Kbar/
     foobar
@@ -9302,4 +9303,86 @@ Forced newline sequence: CR
 First char = 'a'
 Need char = 'b'
 
+/(?<a>)(?&)/
+Failed: subpattern name expected at offset 9
+
+/(?<abc>)(?&a)/
+Failed: reference to non-existent subpattern at offset 12
+
+/(?<a>)(?&aaaaaaaaaaaaaaaaaaaaaaa)/
+Failed: reference to non-existent subpattern at offset 32
+
+/(?+-a)/
+Failed: digit expected after (?+ at offset 3
+
+/(?-+a)/
+Failed: unrecognized character after (? or (?- at offset 3
+
+/(?(-1))/
+Failed: reference to non-existent subpattern at offset 6
+
+/(?(+10))/
+Failed: reference to non-existent subpattern at offset 7
+
+/(?(10))/
+Failed: reference to non-existent subpattern at offset 6
+
+/(?(+2))()()/
+
+/(?(2))()()/
+
+/\k''/
+Failed: subpattern name expected at offset 3
+
+/\k<>/
+Failed: subpattern name expected at offset 3
+
+/\k{}/
+Failed: subpattern name expected at offset 3
+
+/(?P=)/
+Failed: subpattern name expected at offset 4
+
+/(?P>)/
+Failed: subpattern name expected at offset 4
+
+/(?!\w)(?R)/
+Failed: recursive call could loop indefinitely at offset 9
+
+/(?=\w)(?R)/
+Failed: recursive call could loop indefinitely at offset 9
+
+/(?<!\w)(?R)/
+Failed: recursive call could loop indefinitely at offset 10
+
+/(?<=\w)(?R)/
+Failed: recursive call could loop indefinitely at offset 10
+
+/[[:foo:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[:1234:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[:f\oo:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[: :]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[:...:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[:l\ower:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[[:abc\:]]/
+Failed: unknown POSIX class name at offset 3
+
+/[abc[:x\]pqr:]]/
+Failed: unknown POSIX class name at offset 6
+
+/[[:a\dz:]]/
+Failed: unknown POSIX class name at offset 3
+
 / End of testinput2 /
index b49d4f98aedce59c160753df58d9ef32c91795ae..cb8400f9efabcae35168b07b182356b82533a80a 100644 (file)
@@ -938,4 +938,135 @@ No match
  0: +\x{a3}
  0: ==
 
+/\S/8g
+    \x{442}\x{435}\x{441}\x{442}
+ 0: \x{442}
+ 0: \x{435}
+ 0: \x{441}
+ 0: \x{442}
+
+/[\S]/8g
+    \x{442}\x{435}\x{441}\x{442}
+ 0: \x{442}
+ 0: \x{435}
+ 0: \x{441}
+ 0: \x{442}
+
+/\D/8g
+    \x{442}\x{435}\x{441}\x{442}
+ 0: \x{442}
+ 0: \x{435}
+ 0: \x{441}
+ 0: \x{442}
+
+/[\D]/8g
+    \x{442}\x{435}\x{441}\x{442}
+ 0: \x{442}
+ 0: \x{435}
+ 0: \x{441}
+ 0: \x{442}
+
+/\W/8g
+    \x{2442}\x{2435}\x{2441}\x{2442}
+ 0: \x{2442}
+ 0: \x{2435}
+ 0: \x{2441}
+ 0: \x{2442}
+
+/[\W]/8g
+    \x{2442}\x{2435}\x{2441}\x{2442}
+ 0: \x{2442}
+ 0: \x{2435}
+ 0: \x{2441}
+ 0: \x{2442}
+    
+/[\S\s]*/8
+    abc\n\r\x{442}\x{435}\x{441}\x{442}xyz 
+ 0: abc\x{0a}\x{0d}\x{442}\x{435}\x{441}\x{442}xyz
+
+/[\x{41f}\S]/8g
+    \x{442}\x{435}\x{441}\x{442}
+ 0: \x{442}
+ 0: \x{435}
+ 0: \x{441}
+ 0: \x{442}
+
+/.[^\S]./8g
+    abc def\x{442}\x{443}xyz\npqr
+ 0: c d
+ 0: z\x{0a}p
+
+/.[^\S\n]./8g
+    abc def\x{442}\x{443}xyz\npqr
+ 0: c d
+
+/[[:^alnum:]]/8g  
+    +\x{2442}
+ 0: +
+ 0: \x{2442}
+    
+/[[:^alpha:]]/8g 
+    +\x{2442}
+ 0: +
+ 0: \x{2442}
+    
+/[[:^ascii:]]/8g 
+    A\x{442}
+ 0: \x{442}
+    
+/[[:^blank:]]/8g 
+    A\x{442}
+ 0: A
+ 0: \x{442}
+    
+/[[:^cntrl:]]/8g 
+    A\x{442}
+ 0: A
+ 0: \x{442}
+    
+/[[:^digit:]]/8g 
+    A\x{442}
+ 0: A
+ 0: \x{442}
+    
+/[[:^graph:]]/8g 
+    \x19\x{e01ff}
+ 0: \x{19}
+ 0: \x{e01ff}
+    
+/[[:^lower:]]/8g 
+    A\x{422}
+ 0: A
+ 0: \x{422}
+    
+/[[:^print:]]/8g 
+    \x{19}\x{e01ff}
+ 0: \x{19}
+ 0: \x{e01ff}
+    
+/[[:^punct:]]/8g 
+    A\x{442}
+ 0: A
+ 0: \x{442}
+    
+/[[:^space:]]/8g 
+    A\x{442}
+ 0: A
+ 0: \x{442}
+    
+/[[:^upper:]]/8g 
+    a\x{442}
+ 0: a
+ 0: \x{442}
+    
+/[[:^word:]]/8g  
+    +\x{2442}
+ 0: +
+ 0: \x{2442}
+    
+/[[:^xdigit:]]/8g
+    M\x{442}
+ 0: M
+ 0: \x{442}
+
 / End of testinput4 /
index 7a6829a1f1d738e2cbc16d62c0ba6ea3e178b9b5..abbe1c87dea346fe50b21ce4bab3d9926fb23726 100644 (file)
@@ -1595,4 +1595,17 @@ No match
     a\x0bb\<bsr_anycrlf>
 No match
  
+/.*a.*=.b.*/8<ANY>
+    QQQ\x{2029}ABCaXYZ=!bPQR
+ 0: ABCaXYZ=!bPQR
+    ** Failers
+No match
+    a\x{2029}b
+No match
+    \x61\xe2\x80\xa9\x62 
+No match
+
+/[[:a\x{100}b:]]/8
+Failed: unknown POSIX class name at offset 3
+
 / End of testinput5 /
index 0a58b844f1b6661771ca15199c2ac37874ae9c21..db825b08c1fb820085390e38c838aeb88bcd50b9 100644 (file)
@@ -1522,4 +1522,161 @@ No match
 
 /(\p{Yi}{0,3}+\277)*/
 
+/^[\p{Arabic}]/8
+    \x{60e} 
+ 0: \x{60e}
+    \x{656} 
+ 0: \x{656}
+    \x{657} 
+ 0: \x{657}
+    \x{658} 
+ 0: \x{658}
+    \x{659} 
+ 0: \x{659}
+    \x{65a} 
+ 0: \x{65a}
+    \x{65b} 
+ 0: \x{65b}
+    \x{65c} 
+ 0: \x{65c}
+    \x{65d} 
+ 0: \x{65d}
+    \x{65e} 
+ 0: \x{65e}
+    \x{66a} 
+ 0: \x{66a}
+    \x{6e9} 
+ 0: \x{6e9}
+    \x{6ef}
+ 0: \x{6ef}
+    \x{6fa}  
+ 0: \x{6fa}
+    ** Failers
+No match
+    \x{600}
+No match
+    \x{650}
+No match
+    \x{651}  
+No match
+    \x{652}  
+No match
+    \x{653}  
+No match
+    \x{654} 
+No match
+    \x{655} 
+No match
+    \x{65f}  
+No match
+    
+/^\p{Cyrillic}/8
+    \x{1d2b} 
+ 0: \x{1d2b}
+    
+/^\p{Common}/8
+    \x{589}
+ 0: \x{589}
+    \x{60c}
+ 0: \x{60c}
+    \x{61f}  
+ 0: \x{61f}
+    \x{964}
+ 0: \x{964}
+    \x{965}  
+ 0: \x{965}
+    \x{970}  
+ 0: \x{970}
+
+/^\p{Inherited}/8
+    \x{64b}
+ 0: \x{64b}
+    \x{654}
+ 0: \x{654}
+    \x{655}
+ 0: \x{655}
+    \x{200c} 
+ 0: \x{200c}
+    ** Failers
+No match
+    \x{64a}
+No match
+    \x{656}     
+No match
+
+/^\p{Shavian}/8
+    \x{10450}
+ 0: \x{10450}
+    \x{1047f}
+ 0: \x{1047f}
+    
+/^\p{Deseret}/8
+    \x{10400}
+ 0: \x{10400}
+    \x{1044f}
+ 0: \x{1044f}
+    
+/^\p{Osmanya}/8
+    \x{10480}
+ 0: \x{10480}
+    \x{1049d}
+ 0: \x{1049d}
+    \x{104a0}
+ 0: \x{104a0}
+    \x{104a9}
+ 0: \x{104a9}
+    ** Failers
+No match
+    \x{1049e}
+No match
+    \x{1049f}
+No match
+    \x{104aa}           
+No match
+
+/\p{Zl}{2,3}+/8BZ
+------------------------------------------------------------------
+        Bra
+        prop Zl {2}
+        prop Zl ?+
+        Ket
+        End
+------------------------------------------------------------------
+    \xe2\x80\xa8\xe2\x80\xa8
+ 0: \x{2028}\x{2028}
+    \x{2028}\x{2028}\x{2028}
+ 0: \x{2028}\x{2028}\x{2028}
+    
+/\p{Zl}/8BZ
+------------------------------------------------------------------
+        Bra
+        prop Zl
+        Ket
+        End
+------------------------------------------------------------------
+
+/\p{Lu}{3}+/8BZ
+------------------------------------------------------------------
+        Bra
+        prop Lu {3}
+        Ket
+        End
+------------------------------------------------------------------
+
+/\pL{2}+/8BZ
+------------------------------------------------------------------
+        Bra
+        prop L {2}
+        Ket
+        End
+------------------------------------------------------------------
+
+/\p{Cc}{2}+/8BZ
+------------------------------------------------------------------
+        Bra
+        prop Cc {2}
+        Ket
+        End
+------------------------------------------------------------------
+
 / End of testinput6 /
index 07eaced8f2d49a013ed43d1bc45bdb9bbf57e35e..a274d443ee7149d5526d60c7e5e7ec6fc1192988 100644 (file)
@@ -539,7 +539,8 @@ static const cnode ucp_table[] = {
   { 0x21000293, 0x14000000 },
   { 0x21000294, 0x1c000000 },
   { 0x21800295, 0x1400001a },
-  { 0x218002b0, 0x18000011 },
+  { 0x218002b0, 0x18000008 },
+  { 0x098002b9, 0x18000008 },
   { 0x098002c2, 0x60000003 },
   { 0x098002c6, 0x1800000b },
   { 0x098002d2, 0x6000000d },
@@ -1039,15 +1040,18 @@ static const cnode ucp_table[] = {
   { 0x198005f3, 0x54000001 },
   { 0x09800600, 0x04000003 },
   { 0x0000060b, 0x5c000000 },
-  { 0x0980060c, 0x54000001 },
+  { 0x0900060c, 0x54000000 },
+  { 0x0000060d, 0x54000000 },
   { 0x0080060e, 0x68000001 },
   { 0x00800610, 0x30000005 },
   { 0x0900061b, 0x54000000 },
-  { 0x0080061e, 0x54000001 },
+  { 0x0000061e, 0x54000000 },
+  { 0x0900061f, 0x54000000 },
   { 0x00800621, 0x1c000019 },
   { 0x09000640, 0x18000000 },
   { 0x00800641, 0x1c000009 },
-  { 0x1b80064b, 0x30000013 },
+  { 0x1b80064b, 0x3000000a },
+  { 0x00800656, 0x30000008 },
   { 0x09800660, 0x34000009 },
   { 0x0080066a, 0x54000003 },
   { 0x0080066e, 0x1c000001 },
@@ -1074,7 +1078,8 @@ static const cnode ucp_table[] = {
   { 0x31000711, 0x30000000 },
   { 0x31800712, 0x1c00001d },
   { 0x31800730, 0x3000001a },
-  { 0x3180074d, 0x1c000020 },
+  { 0x3180074d, 0x1c000002 },
+  { 0x00800750, 0x1c00001d },
   { 0x37800780, 0x1c000025 },
   { 0x378007a6, 0x3000000a },
   { 0x370007b1, 0x1c000000 },
@@ -1460,7 +1465,10 @@ static const cnode ucp_table[] = {
   { 0x1f0017dd, 0x30000000 },
   { 0x1f8017e0, 0x34000009 },
   { 0x1f8017f0, 0x3c000009 },
-  { 0x25801800, 0x54000005 },
+  { 0x25801800, 0x54000001 },
+  { 0x09801802, 0x54000001 },
+  { 0x25001804, 0x54000000 },
+  { 0x09001805, 0x54000000 },
   { 0x25001806, 0x44000000 },
   { 0x25801807, 0x54000003 },
   { 0x2580180b, 0x30000002 },
@@ -1513,14 +1521,20 @@ static const cnode ucp_table[] = {
   { 0x3d801b61, 0x68000009 },
   { 0x3d801b6b, 0x30000008 },
   { 0x3d801b74, 0x68000008 },
-  { 0x21801d00, 0x1400002b },
-  { 0x21801d2c, 0x18000035 },
-  { 0x21801d62, 0x14000015 },
+  { 0x21801d00, 0x14000025 },
+  { 0x13801d26, 0x14000004 },
+  { 0x0c001d2b, 0x14000000 },
+  { 0x21801d2c, 0x18000030 },
+  { 0x13801d5d, 0x18000004 },
+  { 0x21801d62, 0x14000003 },
+  { 0x13801d66, 0x14000004 },
+  { 0x21801d6b, 0x1400000c },
   { 0x0c001d78, 0x18000000 },
   { 0x21801d79, 0x14000003 },
   { 0x21001d7d, 0x14000ee6 },
   { 0x21801d7e, 0x1400001c },
-  { 0x21801d9b, 0x18000024 },
+  { 0x21801d9b, 0x18000023 },
+  { 0x13001dbf, 0x18000000 },
   { 0x1b801dc0, 0x3000000a },
   { 0x1b801dfe, 0x30000001 },
   { 0x21001e00, 0x24000001 },
@@ -1982,7 +1996,9 @@ static const cnode ucp_table[] = {
   { 0x13001ffc, 0x2000fff7 },
   { 0x13801ffd, 0x60000001 },
   { 0x09802000, 0x7400000a },
-  { 0x0980200b, 0x04000004 },
+  { 0x0900200b, 0x04000000 },
+  { 0x1b80200c, 0x04000001 },
+  { 0x0980200e, 0x04000001 },
   { 0x09802010, 0x44000005 },
   { 0x09802016, 0x54000001 },
   { 0x09002018, 0x50000000 },
@@ -2615,7 +2631,8 @@ static const cnode ucp_table[] = {
   { 0x090030a0, 0x44000000 },
   { 0x1d8030a1, 0x1c000059 },
   { 0x090030fb, 0x54000000 },
-  { 0x098030fc, 0x18000002 },
+  { 0x090030fc, 0x18000000 },
+  { 0x1d8030fd, 0x18000001 },
   { 0x1d0030ff, 0x1c000000 },
   { 0x03803105, 0x1c000027 },
   { 0x17803131, 0x1c00005d },
@@ -2630,7 +2647,8 @@ static const cnode ucp_table[] = {
   { 0x0980322a, 0x68000019 },
   { 0x09003250, 0x68000000 },
   { 0x09803251, 0x3c00000e },
-  { 0x17803260, 0x6800001f },
+  { 0x17803260, 0x6800001d },
+  { 0x0980327e, 0x68000001 },
   { 0x09803280, 0x3c000009 },
   { 0x0980328a, 0x68000026 },
   { 0x098032b1, 0x3c00000e },
@@ -2678,7 +2696,8 @@ static const cnode ucp_table[] = {
   { 0x1900fb3e, 0x1c000000 },
   { 0x1980fb40, 0x1c000001 },
   { 0x1980fb43, 0x1c000001 },
-  { 0x1980fb46, 0x1c00006b },
+  { 0x1980fb46, 0x1c000009 },
+  { 0x0080fb50, 0x1c000061 },
   { 0x0080fbd3, 0x1c00016a },
   { 0x0900fd3e, 0x58000000 },
   { 0x0900fd3f, 0x48000000 },
@@ -2944,7 +2963,8 @@ static const cnode ucp_table[] = {
   { 0x0d01044d, 0x1400ffd8 },
   { 0x0d01044e, 0x1400ffd8 },
   { 0x0d01044f, 0x1400ffd8 },
-  { 0x2e810450, 0x1c00004d },
+  { 0x2e810450, 0x1c00002f },
+  { 0x2c810480, 0x1c00001d },
   { 0x2c8104a0, 0x34000009 },
   { 0x0b810800, 0x1c000005 },
   { 0x0b010808, 0x1c000000 },