]> granicus.if.org Git - apache/blobdiff - server/mpm/winnt/mpm_winnt.c
That's not a -D'ef - its an envar - you can't pass foo=bar in apache!
[apache] / server / mpm / winnt / mpm_winnt.c
index a191a5218384bfd2ed2daa1a00950947ae17a154..96585a7c5c7b12e68c41d6816b64aa596a9e6cf2 100644 (file)
 /* ====================================================================
- * Copyright (c) 1995-1999 The Apache Group.  All rights reserved.
- * 
- * Redistribution and use in source and binary forms, with or without 
- * modification, are permitted provided that the following conditions 
- * are met: 
- * 
- * 1. Redistributions of source code must retain the above copyright 
- *    notice, this list of conditions and the following disclaimer.  
- * 
- * 2. Redistributions in binary form must reproduce the above copyright 
- *    notice, this list of conditions and the following disclaimer in 
- *    the documentation and/or other materials provided with the 
- *    distribution. 
- * 
- * 3. All advertising materials mentioning features or use of this 
- *    software must display the following acknowledgment: 
- *    "This product includes software developed by the Apache Group 
- *    for use in the Apache HTTP server project (http://www.apache.org/)." 
- * 
- * 4. The names "Apache Server" and "Apache Group" must not be used to 
- *    endorse or promote products derived from this software without 
- *    prior written permission. For written permission, please contact 
- *    apache@apache.org. 
- * 
- * 5. Products derived from this software may not be called "Apache" 
- *    nor may "Apache" appear in their names without prior written 
- *    permission of the Apache Group. 
- * 
- * 6. Redistributions of any form whatsoever must retain the following 
- *    acknowledgment: 
- *    "This product includes software developed by the Apache Group 
- *    for use in the Apache HTTP server project (http://www.apache.org/)." 
- * 
- * THIS SOFTWARE IS PROVIDED BY THE APACHE GROUP ``AS IS'' AND ANY 
- * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE 
- * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR 
- * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE APACHE GROUP OR 
- * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, 
- * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT 
- * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; 
- * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) 
- * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, 
- * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) 
- * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED 
- * OF THE POSSIBILITY OF SUCH DAMAGE. 
- * ==================================================================== 
- * 
- * This software consists of voluntary contributions made by many 
- * individuals on behalf of the Apache Group and was originally based 
- * on public domain software written at the National Center for 
- * Supercomputing Applications, University of Illinois, Urbana-Champaign. 
- * For more information on the Apache Group and the Apache HTTP server 
- * project, please see <http://www.apache.org/>. 
- * 
- */ 
+ * The Apache Software License, Version 1.1
+ *
+ * Copyright (c) 2000 The Apache Software Foundation.  All rights
+ * reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted provided that the following conditions
+ * are met:
+ *
+ * 1. Redistributions of source code must retain the above copyright
+ *    notice, this list of conditions and the following disclaimer.
+ *
+ * 2. Redistributions in binary form must reproduce the above copyright
+ *    notice, this list of conditions and the following disclaimer in
+ *    the documentation and/or other materials provided with the
+ *    distribution.
+ *
+ * 3. The end-user documentation included with the redistribution,
+ *    if any, must include the following acknowledgment:
+ *       "This product includes software developed by the
+ *        Apache Software Foundation (http://www.apache.org/)."
+ *    Alternately, this acknowledgment may appear in the software itself,
+ *    if and wherever such third-party acknowledgments normally appear.
+ *
+ * 4. The names "Apache" and "Apache Software Foundation" must
+ *    not be used to endorse or promote products derived from this
+ *    software without prior written permission. For written
+ *    permission, please contact apache@apache.org.
+ *
+ * 5. Products derived from this software may not be called "Apache",
+ *    nor may "Apache" appear in their name, without prior written
+ *    permission of the Apache Software Foundation.
+ *
+ * THIS SOFTWARE IS PROVIDED ``AS IS'' AND ANY EXPRESSED OR IMPLIED
+ * WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
+ * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
+ * DISCLAIMED.  IN NO EVENT SHALL THE APACHE SOFTWARE FOUNDATION OR
+ * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
+ * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
+ * LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF
+ * USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
+ * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,
+ * OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT
+ * OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF
+ * SUCH DAMAGE.
+ * ====================================================================
+ *
+ * This software consists of voluntary contributions made by many
+ * individuals on behalf of the Apache Software Foundation.  For more
+ * information on the Apache Software Foundation, please see
+ * <http://www.apache.org/>.
+ *
+ * Portions of this software are based upon public domain software
+ * originally written at the National Center for Supercomputing Applications,
+ * University of Illinois, Urbana-Champaign.
+ */
+
 #define CORE_PRIVATE 
-#include "apr_portable.h"
 #include "httpd.h" 
 #include "http_main.h" 
 #include "http_log.h" 
 #include "http_config.h"       /* for read_config */ 
 #include "http_core.h"         /* for get_remote_host */ 
 #include "http_connection.h"
+#include "apr_portable.h"
+#include "apr_getopt.h"
+#include "apr_strings.h"
 #include "ap_mpm.h"
 #include "ap_config.h"
 #include "ap_listen.h"
-#include "../os/win32/getopt.h"
 #include "mpm_default.h"
-#include "../os/win32/iol_socket.h"
-#include "winnt.h"
+#include "mpm_winnt.h"
+#include "mpm_common.h"
 
+typedef HANDLE thread;
 
 /*
  * Definitions of WINNT MPM specific config globals
  */
+static int workers_may_exit = 0;
+static int shutdown_in_progress = 0;
+static unsigned int g_blocked_threads = 0;
 
-static char *mpm_pid_fname=NULL;
+static char *ap_pid_fname = NULL;
 static int ap_threads_per_child = 0;
-static int workers_may_exit = 0;
+
 static int max_requests_per_child = 0;
+static HANDLE shutdown_event;  /* used to signal shutdown to parent */
+static HANDLE restart_event;   /* used to signal a restart to parent */
+
+#define MAX_SIGNAL_NAME 30  /* Long enough for apPID_shutdown, where PID is an int */
+char signal_name_prefix[MAX_SIGNAL_NAME];
+char signal_restart_name[MAX_SIGNAL_NAME]; 
+char signal_shutdown_name[MAX_SIGNAL_NAME];
 
 static struct fd_set listenfds;
 static int num_listenfds = 0;
 static SOCKET listenmaxfd = INVALID_SOCKET;
 
-static ap_context_t *pconf;            /* Pool for config stuff */
+static apr_pool_t *pconf;              /* Pool for config stuff */
 
 static char ap_coredump_dir[MAX_STRING_LEN];
 
 static server_rec *server_conf;
-HANDLE AcceptExCompPort = NULL;
+static HANDLE AcceptExCompPort = NULL;
 
 static int one_process = 0;
+static char const* signal_arg;
 
-static OSVERSIONINFO osver; /* VER_PLATFORM_WIN32_NT */
+OSVERSIONINFO osver; /* VER_PLATFORM_WIN32_NT */
 
 int ap_max_requests_per_child=0;
 int ap_daemons_to_start=0;
 
-event *exit_event;
-ap_lock_t *start_mutex;
-int my_pid;
-int parent_pid;
-
+static HANDLE exit_event;
+static HANDLE maintenance_event;
+apr_lock_t *start_mutex;
+DWORD my_pid;
+DWORD parent_pid;
 
-/* A bunch or routines from os/win32/multithread.c that need to be merged into APR
- * or thrown out entirely...
+/* This is the helper code to resolve late bound entry points 
+ * missing from one or more releases of the Win32 API...
+ * but it sure would be nice if we didn't duplicate this code
+ * from the APR ;-)
  */
 
-static int
-map_rv(int rv)
+static const char* const lateDllName[DLL_defined] = {
+    "kernel32", "advapi32", "mswsock",  "ws2_32"  };
+static HMODULE lateDllHandle[DLL_defined] = {
+    NULL,       NULL,       NULL,       NULL      };
+
+FARPROC ap_load_dll_func(ap_dlltoken_e fnLib, char* fnName, int ordinal)
 {
-    switch(rv)
-    {
-    case WAIT_OBJECT_0:
-    case WAIT_ABANDONED:
-        return(MULTI_OK);
-    case WAIT_TIMEOUT:
-        return(MULTI_TIMEOUT);
-    case WAIT_FAILED:
-        return(MULTI_ERR);
-    default:
-        ap_assert(0);
-    }
-
-    ap_assert(0);
-    return(0);
+    if (!lateDllHandle[fnLib]) { 
+        lateDllHandle[fnLib] = LoadLibrary(lateDllName[fnLib]);
+        if (!lateDllHandle[fnLib])
+            return NULL;
+    }
+    if (ordinal)
+        return GetProcAddress(lateDllHandle[fnLib], (char *) ordinal);
+    else
+        return GetProcAddress(lateDllHandle[fnLib], fnName);
 }
 
-typedef void semaphore;
-typedef void event;
+static apr_status_t socket_cleanup(void *sock)
+{
+    apr_socket_t *thesocket = sock;
+    SOCKET sd;
+    if (apr_get_os_sock(&sd, thesocket) == APR_SUCCESS) {
+        closesocket(sd);
+    }
+    return APR_SUCCESS;
+}
+
+/* A bunch or routines from os/win32/multithread.c that need to be merged into APR
+ * or thrown out entirely...
+ */
 
-static semaphore *
-create_semaphore(int initial)
+static HANDLE create_semaphore(int initial)
 {
     return(CreateSemaphore(NULL, initial, 1000000, NULL));
 }
 
-static int acquire_semaphore(semaphore *semaphore_id)
+static void acquire_semaphore(HANDLE semaphore_id)
 {
     int rv;
     
     rv = WaitForSingleObject(semaphore_id, INFINITE);
     
-    return(map_rv(rv));
+    return;
 }
 
-static int release_semaphore(semaphore *semaphore_id)
+static int release_semaphore(HANDLE semaphore_id)
 {
     return(ReleaseSemaphore(semaphore_id, 1, NULL));
 }
 
-static void destroy_semaphore(semaphore *semaphore_id)
+static void destroy_semaphore(HANDLE semaphore_id)
 {
     CloseHandle(semaphore_id);
 }
 
 
-static event *
-create_event(int manual, int initial, char *name)
-{
-    return(CreateEvent(NULL, manual, initial, name));
-}
-
-static event *
-open_event(char *name)
-{
-    return(OpenEvent(EVENT_ALL_ACCESS, FALSE, name));
-}
-
-
-static int acquire_event(event *event_id)
+/* To share the semaphores with other processes, we need a NULL ACL
+ * Code from MS KB Q106387
+ */
+static PSECURITY_ATTRIBUTES GetNullACL()
 {
-    int rv;
-    
-    rv = WaitForSingleObject(event_id, INFINITE);
-    
-    return(map_rv(rv));
-}
+    PSECURITY_DESCRIPTOR pSD;
+    PSECURITY_ATTRIBUTES sa;
 
-static int set_event(event *event_id)
-{
-    return(SetEvent(event_id));
+    sa  = (PSECURITY_ATTRIBUTES) LocalAlloc(LPTR, sizeof(SECURITY_ATTRIBUTES));
+    pSD = (PSECURITY_DESCRIPTOR) LocalAlloc(LPTR,
+                                           SECURITY_DESCRIPTOR_MIN_LENGTH);
+    if (pSD == NULL || sa == NULL) {
+        return NULL;
+    }
+    apr_set_os_error(0);
+    if (!InitializeSecurityDescriptor(pSD, SECURITY_DESCRIPTOR_REVISION)
+       || apr_get_os_error()) {
+        LocalFree( pSD );
+        LocalFree( sa );
+        return NULL;
+    }
+    if (!SetSecurityDescriptorDacl(pSD, TRUE, (PACL) NULL, FALSE)
+       || apr_get_os_error()) {
+        LocalFree( pSD );
+        LocalFree( sa );
+        return NULL;
+    }
+    sa->nLength = sizeof(sa);
+    sa->lpSecurityDescriptor = pSD;
+    sa->bInheritHandle = TRUE;
+    return sa;
 }
 
-static int reset_event(event *event_id)
-{
-    return(ResetEvent(event_id));
+static void CleanNullACL( void *sa ) {
+    if( sa ) {
+        LocalFree( ((PSECURITY_ATTRIBUTES)sa)->lpSecurityDescriptor);
+        LocalFree( sa );
+    }
 }
 
-
-static void destroy_event(event *event_id)
+/*
+ * The Win32 call WaitForMultipleObjects will only allow you to wait for 
+ * a maximum of MAXIMUM_WAIT_OBJECTS (current 64).  Since the threading 
+ * model in the multithreaded version of apache wants to use this call, 
+ * we are restricted to a maximum of 64 threads.  This is a simplistic 
+ * routine that will increase this size.
+ */
+static DWORD wait_for_many_objects(DWORD nCount, CONST HANDLE *lpHandles, 
+                                   DWORD dwSeconds)
 {
-    CloseHandle(event_id);
+    time_t tStopTime;
+    DWORD dwRet = WAIT_TIMEOUT;
+    DWORD dwIndex=0;
+    BOOL bFirst = TRUE;
+  
+    tStopTime = time(NULL) + dwSeconds;
+  
+    do {
+        if (!bFirst)
+            Sleep(1000);
+        else
+            bFirst = FALSE;
+          
+        for (dwIndex = 0; dwIndex * MAXIMUM_WAIT_OBJECTS < nCount; dwIndex++) {
+            dwRet = WaitForMultipleObjects( 
+                min(MAXIMUM_WAIT_OBJECTS, nCount - (dwIndex * MAXIMUM_WAIT_OBJECTS)),
+                lpHandles + (dwIndex * MAXIMUM_WAIT_OBJECTS), 
+                0, 0);
+                                           
+            if (dwRet != WAIT_TIMEOUT) {                                          
+              break;
+            }
+        }
+    } while((time(NULL) < tStopTime) && (dwRet == WAIT_TIMEOUT));
+    
+    return dwRet;
 }
 
 /*
@@ -224,14 +288,11 @@ static void destroy_event(event *event_id)
  * On entry, type gives the event to signal. 0 means shutdown, 1 means 
  * graceful restart.
  */
-
-static void signal_parent(int type)
+void signal_parent(int type)
 {
     HANDLE e;
     char *signal_name;
-    extern char signal_shutdown_name[];
-    extern char signal_restart_name[];
-
+    
     /* after updating the shutdown_pending or restart flags, we need
      * to wake up the parent process so it can see the changes. The
      * parent will normally be waiting for either a child process
@@ -247,83 +308,62 @@ static void signal_parent(int type)
     case 1: signal_name = signal_restart_name; break;
     default: return;
     }
-
     e = OpenEvent(EVENT_ALL_ACCESS, FALSE, signal_name);
     if (!e) {
        /* Um, problem, can't signal the parent, which means we can't
         * signal ourselves to die. Ignore for now...
         */
-       ap_log_error(APLOG_MARK, APLOG_EMERG, GetLastError(), server_conf,
-           "OpenEvent on %s event", signal_name);
+       ap_log_error(APLOG_MARK, APLOG_EMERG, apr_get_os_error(), server_conf,
+                     "OpenEvent on %s event", signal_name);
        return;
     }
     if (SetEvent(e) == 0) {
        /* Same problem as above */
-       ap_log_error(APLOG_MARK, APLOG_EMERG, GetLastError(), server_conf,
-           "SetEvent on %s event", signal_name);
+       ap_log_error(APLOG_MARK, APLOG_EMERG, apr_get_os_error(), server_conf,
+                     "SetEvent on %s event", signal_name);
        CloseHandle(e);
        return;
     }
     CloseHandle(e);
 }
-void ap_start_shutdown(void)
+
+static int volatile is_graceful = 0;
+
+AP_DECLARE(int) ap_graceful_stop_signalled(void)
+{
+    return is_graceful;
+}
+
+AP_DECLARE(void) ap_start_shutdown(void)
 {
     signal_parent(0);
 }
-void ap_start_restart(int graceful)
+
+AP_DECLARE(void) ap_start_restart(int gracefully)
 {
+    is_graceful = gracefully;
     signal_parent(1);
 }
 
-static int volatile is_graceful = 0;
-API_EXPORT(int) ap_graceful_stop_signalled(void)
+/*
+ * Initialise the signal names, in the global variables signal_name_prefix, 
+ * signal_restart_name and signal_shutdown_name.
+ */
+
+void setup_signal_names(char *prefix)
 {
-    return is_graceful;
+    apr_snprintf(signal_name_prefix, sizeof(signal_name_prefix), prefix);    
+    apr_snprintf(signal_shutdown_name, sizeof(signal_shutdown_name), 
+       "%s_shutdown", signal_name_prefix);    
+    apr_snprintf(signal_restart_name, sizeof(signal_restart_name), 
+       "%s_restart", signal_name_prefix);    
 }
 
 /*
  * Routines that deal with sockets, some are WIN32 specific...
  */
-static int s_iInitCount = 0;
-static int AMCSocketInitialize(void)
-{
-    int iVersionRequested;
-    WSADATA wsaData;
-    int err;
-
-    if (s_iInitCount > 0) {
-       s_iInitCount++;
-       return (0);
-    }
-    else if (s_iInitCount < 0)
-       return (s_iInitCount);
-
-    /* s_iInitCount == 0. Do the initailization */
-    iVersionRequested = MAKEWORD(2, 0);
-    err = WSAStartup((WORD) iVersionRequested, &wsaData);
-    if (err) {
-       s_iInitCount = -1;
-       return (s_iInitCount);
-    }
-    if (LOBYTE(wsaData.wVersion) != 1 ||
-       HIBYTE(wsaData.wVersion) != 1) {
-       s_iInitCount = -2;
-       WSACleanup();
-       return (s_iInitCount);
-    }
-
-    s_iInitCount++;
-    return (s_iInitCount);
-
-}
-static void AMCSocketCleanup(void)
-{
-    if (--s_iInitCount == 0)
-       WSACleanup();
-    return;
-}
 
-static void sock_disable_nagle(int s) /* ZZZ abstract */
+static void sock_disable_nagle(int s) 
 {
     /* The Nagle algorithm says that we should delay sending partial
      * packets in hopes of getting more data.  We don't want to do
@@ -347,13 +387,14 @@ static void sock_disable_nagle(int s) /* ZZZ abstract */
  * Routines to deal with managing the list of listening sockets.
  */
 static ap_listen_rec *head_listener;
-static ap_inline ap_listen_rec *find_ready_listener(fd_set * main_fds)
+
+static apr_inline ap_listen_rec *find_ready_listener(fd_set * main_fds)
 {
     ap_listen_rec *lr;
     SOCKET nsd;
 
     for (lr = head_listener; lr ; lr = lr->next) {
-        ap_get_os_sock(&nsd, lr->sd);
+        apr_get_os_sock(&nsd, lr->sd);
        if (FD_ISSET(nsd, main_fds)) {
            head_listener = lr->next;
             if (head_listener == NULL)
@@ -364,6 +405,7 @@ static ap_inline ap_listen_rec *find_ready_listener(fd_set * main_fds)
     }
     return NULL;
 }
+
 static int setup_listeners(server_rec *s)
 {
     ap_listen_rec *lr;
@@ -379,7 +421,7 @@ static int setup_listeners(server_rec *s)
     for (lr = ap_listeners; lr; lr = lr->next) {
         num_listeners++;
         if (lr->sd != NULL) {
-            ap_get_os_sock(&nsd, lr->sd);
+            apr_get_os_sock(&nsd, lr->sd);
             FD_SET(nsd, &listenfds);
             if (listenmaxfd == INVALID_SOCKET || nsd > listenmaxfd) {
                 listenmaxfd = nsd;
@@ -409,7 +451,7 @@ static int setup_inherited_listeners(server_rec *s)
 
     if (ap_listeners == NULL) {
         ap_listen_rec *lr;
-        lr = ap_palloc(s->process->pool, sizeof(ap_listen_rec));
+        lr = apr_palloc(s->process->pool, sizeof(ap_listen_rec));
         if (!lr)
             return 0;
         lr->sd = NULL;
@@ -424,18 +466,18 @@ static int setup_inherited_listeners(server_rec *s)
     for (lr = ap_listeners; lr; lr = lr->next) {
         if (!ReadFile(pipe, &WSAProtocolInfo, sizeof(WSAPROTOCOL_INFO), 
                       &BytesRead, (LPOVERLAPPED) NULL)) {
-            ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
                          "setup_inherited_listeners: Unable to read socket data from parent");
             signal_parent(0);  /* tell parent to die */
             exit(1);
         }
         ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS, server_conf,
-                     "BytesRead = %d WSAProtocolInfo = %x20", BytesRead, WSAProtocolInfo);
+                     "Child %d: setup_inherited_listener() read = %d bytes of WSAProtocolInfo.", my_pid);
         nsd = WSASocket(FROM_PROTOCOL_INFO, FROM_PROTOCOL_INFO, FROM_PROTOCOL_INFO,
                         &WSAProtocolInfo, 0, 0);
         if (nsd == INVALID_SOCKET) {
-            ap_log_error(APLOG_MARK, APLOG_CRIT, WSAGetLastError(), server_conf,
-                         "setup_inherited_listeners: WSASocket failed to open the inherited socket.");
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_netos_error(), server_conf,
+                         "Child %d: setup_inherited_listeners(), WSASocket failed to open the inherited socket.", my_pid);
             signal_parent(0);  /* tell parent to die */
             exit(1);
         }
@@ -445,22 +487,36 @@ static int setup_inherited_listeners(server_rec *s)
                 listenmaxfd = nsd;
             }
         }
-//        ap_register_cleanup(p, (void *)lr->sd, socket_cleanup, ap_null_cleanup);
-        ap_put_os_sock(&lr->sd, &nsd, pconf);
+        apr_put_os_sock(&lr->sd, &nsd, pconf);
         lr->count = 0;
     }
+    /* Now, read the AcceptExCompPort from the parent */
+    ReadFile(pipe, &AcceptExCompPort, sizeof(AcceptExCompPort), &BytesRead, (LPOVERLAPPED) NULL);
     CloseHandle(pipe);
 
-
     for (lr = ap_listeners; lr; lr = lr->next) {
         num_listeners++;
     }
 
     head_listener = ap_listeners;
-
     return num_listeners;
 }
 
+static void bind_listeners_to_completion_port()
+{
+    /* Associate the open listeners with the completion port.
+     * Bypass the operation for Windows 95/98
+     */
+    ap_listen_rec *lr;
+
+    if (osver.dwPlatformId != VER_PLATFORM_WIN32_WINDOWS) {
+        for (lr = ap_listeners; lr; lr = lr->next) {
+            int nsd;
+            apr_get_os_sock(&nsd,lr->sd);
+            CreateIoCompletionPort((HANDLE) nsd, AcceptExCompPort, 0, 0);
+        }
+    }
+}
 
 /**********************************************************************
  * Multithreaded implementation
@@ -476,10 +532,10 @@ static int setup_inherited_listeners(server_rec *s)
  * the connection has finished the thread is free to take another
  * job from the job list.
  *
- * In the code, the "main" thread is running within the worker_main()
+ * In the code, the "main" thread is running within the child_main()
  * function. The first thing this function does is create the
  * worker threads, which operate in the child_sub_main() function. The
- * main thread then goes into a loop within worker_main() where they
+ * main thread then goes into a loop within child_main() where they
  * do a select() on the listening sockets. The select times out once
  * per second so that the thread can check for an "exit" signal
  * from the parent process (see below). If this signal is set, the 
@@ -525,23 +581,6 @@ static int setup_inherited_listeners(server_rec *s)
  * process is active at once.
  **********************************************************************/
 
-int service_init()
-{
-/*
-    common_init();
-    ap_cpystrn(ap_server_root, HTTPD_ROOT, sizeof(ap_server_root));
-    if (ap_registry_get_service_conf(pconf, ap_server_confname, sizeof(ap_server_confname),
-                                     ap_server_argv0))
-        return FALSE;
-
-    ap_setup_prelinked_modules();
-    server_conf = ap_read_config(pconf, ptrans, ap_server_confname);
-    ap_log_pid(pconf, ap_pid_fname);
-    post_parse_init();
-*/
-    return TRUE;
-}
 
 /*
  * Definition of jobs, shared by main and worker threads.
@@ -558,36 +597,49 @@ typedef struct joblist_s {
  */
 
 typedef struct globals_s {
-    semaphore *jobsemaphore;
+    HANDLE jobsemaphore;
     joblist *jobhead;
     joblist *jobtail;
-    ap_lock_t *jobmutex;
+    apr_lock_t *jobmutex;
     int jobcount;
+
 } globals;
 
 globals allowed_globals =
 {NULL, NULL, NULL, NULL, 0};
 #define MAX_SELECT_ERRORS 100
 #define PADDED_ADDR_SIZE sizeof(SOCKADDR_IN)+16
-/*
- * add_job()/remove_job() - add or remove an accepted socket from the
- * list of sockets connected to clients. allowed_globals.jobmutex protects
- * against multiple concurrent access to the linked list of jobs.
+
+/* Windows 9x specific code...
+ * Accept processing for on Windows 95/98 uses a producer/consumer queue 
+ * model. A single thread accepts connections and queues the accepted socket 
+ * to the accept queue for consumption by a pool of worker threads.
+ *
+ * win9x_get_connection()
+ *    Calls remove_job() to pull a job from the accept queue. All the worker 
+ *    threads block on remove_job.
+ * accept_and_queue_connections()
+ *    The accept threads runs this function, which accepts connections off 
+ *    the network and calls add_job() to queue jobs to the accept_queue.
+ * add_job()/remove_job()
+ *    Add or remove an accepted socket from the list of sockets 
+ *    connected to clients. allowed_globals.jobmutex protects
+ *    against multiple concurrent access to the linked list of jobs.
  */
-#if 0
 static void add_job(int sock)
 {
     joblist *new_job;
 
     new_job = (joblist *) malloc(sizeof(joblist));
     if (new_job == NULL) {
-       fprintf(stderr, "Ouch!  Out of memory in add_job()!\n");
+       ap_log_error(APLOG_MARK, APLOG_STARTUP | APLOG_NOERRNO, 0, NULL, 
+                     "Ouch!  Out of memory in add_job()!");
         return;
     }
     new_job->next = NULL;
     new_job->sock = sock;
 
-    ap_lock(allowed_globals.jobmutex);
+    apr_lock(allowed_globals.jobmutex);
 
     if (allowed_globals.jobtail != NULL)
        allowed_globals.jobtail->next = new_job;
@@ -597,7 +649,7 @@ static void add_job(int sock)
     allowed_globals.jobcount++;
     release_semaphore(allowed_globals.jobsemaphore);
 
-    ap_unlock(allowed_globals.jobmutex);
+    apr_unlock(allowed_globals.jobmutex);
 }
 
 static int remove_job(void)
@@ -606,10 +658,10 @@ static int remove_job(void)
     int sock;
 
     acquire_semaphore(allowed_globals.jobsemaphore);
-    ap_lock(allowed_globals.jobmutex);
+    apr_lock(allowed_globals.jobmutex);
 
-    if (workers_may_exit && !allowed_globals.jobhead) {
-        ap_unlock(allowed_globals.jobmutex);
+    if (shutdown_in_progress && !allowed_globals.jobhead) {
+        apr_unlock(allowed_globals.jobmutex);
        return (-1);
     }
     job = allowed_globals.jobhead;
@@ -617,7 +669,7 @@ static int remove_job(void)
     allowed_globals.jobhead = job->next;
     if (allowed_globals.jobhead == NULL)
        allowed_globals.jobtail = NULL;
-    ap_unlock(allowed_globals.jobmutex);
+    apr_unlock(allowed_globals.jobmutex);
     sock = job->sock;
     free(job);
 
@@ -630,16 +682,14 @@ static void accept_and_queue_connections(void * dummy)
     struct timeval tv;
     fd_set main_fds;
     int wait_time = 1;
-//    int csd;
-    ap_socket_t *csd = NULL;
-//    int sd = -1;
-    ap_socket_t *sd = NULL;
+    int csd;
+    int nsd = INVALID_SOCKET;
     struct sockaddr_in sa_client;
     int count_select_errors = 0;
     int rc;
     int clen;
 
-    while (!workers_may_exit) {
+    while (!shutdown_in_progress) {
         if (ap_max_requests_per_child && (requests_this_child > ap_max_requests_per_child)) {
             break;
        }
@@ -648,9 +698,9 @@ static void accept_and_queue_connections(void * dummy)
        tv.tv_usec = 0;
        memcpy(&main_fds, &listenfds, sizeof(fd_set));
 
-       rc = ap_select(listenmaxfd + 1, &main_fds, NULL, NULL, &tv);
+       rc = select(listenmaxfd + 1, &main_fds, NULL, NULL, &tv);
 
-        if (rc == 0 || (rc == SOCKET_ERROR && h_errno == WSAEINTR)) {
+        if (rc == 0 || (rc == SOCKET_ERROR && APR_STATUS_IS_EINTR(apr_get_netos_error()))) {
             count_select_errors = 0;    /* reset count of errors */            
             continue;
         }
@@ -659,12 +709,12 @@ static void accept_and_queue_connections(void * dummy)
              * select errors. This count is used to ensure we don't go into
              * a busy loop of continuous errors.
              */
-            ap_log_error(APLOG_MARK, APLOG_INFO, h_errno, server_conf, 
-                         "select failed with errno %d", h_errno);
+            ap_log_error(APLOG_MARK, APLOG_INFO, apr_get_netos_error(), server_conf, 
+                         "select failed with error %d", apr_get_netos_error());
             count_select_errors++;
             if (count_select_errors > MAX_SELECT_ERRORS) {
-                workers_may_exit = 1;
-                ap_log_error(APLOG_MARK, APLOG_ERR, h_errno, server_conf,
+                shutdown_in_progress = 1;
+                ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_netos_error(), server_conf,
                              "Too many errors in select loop. Child process exiting.");
                 break;
             }
@@ -673,21 +723,22 @@ static void accept_and_queue_connections(void * dummy)
 
            lr = find_ready_listener(&main_fds);
            if (lr != NULL) {
-               sd = lr->sd;
+                /* fetch the native socket descriptor */
+                apr_get_os_sock(&nsd, lr->sd);
            }
        }
 
        do {
-           clen = sizeof(sa_client);
-           csd = accept(sd, (struct sockaddr *) &sa_client, &clen);
-           if (csd == INVALID_SOCKET) {
-               csd = -1;
-           }
-       } while (csd < 0 && h_errno == WSAEINTR);
+            clen = sizeof(sa_client);
+            csd = accept(nsd, (struct sockaddr *) &sa_client, &clen);
+            if (csd == INVALID_SOCKET) {
+                csd = -1;
+            }
+        } while (csd < 0 && APR_STATUS_IS_EINTR(apr_get_netos_error()));
 
        if (csd < 0) {
-            if (h_errno != WSAECONNABORTED) {
-               ap_log_error(APLOG_MARK, APLOG_ERR, h_errno, server_conf,
+            if (APR_STATUS_IS_ECONNABORTED(apr_get_netos_error())) {
+               ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_netos_error(), server_conf,
                            "accept: (client socket)");
             }
        }
@@ -701,154 +752,356 @@ static void accept_and_queue_connections(void * dummy)
 static PCOMP_CONTEXT win9x_get_connection(PCOMP_CONTEXT context)
 {
     int len;
+
+    if (context == NULL) {
+        /* allocate the completion context and the transaction pool */
+        context = apr_pcalloc(pconf, sizeof(COMP_CONTEXT));
+        if (!context) {
+            ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
+                         "win9x_get_connection: apr_pcalloc() failed. Process will exit.");
+            return NULL;
+        }
+        apr_create_pool(&context->ptrans, pconf);
+    }
+    
+
     while (1) {
+        apr_clear_pool(context->ptrans);        
         context->accept_socket = remove_job();
         if (context->accept_socket == -1) {
-            CloseHandle(context->Overlapped.hEvent); /* TODO: Clean up in the caller not here */
             return NULL;
         }
-
-        len = sizeof(struct sockaddr);
+       len = sizeof(struct sockaddr);
+        context->sa_server = apr_palloc(context->ptrans, len);
         if (getsockname(context->accept_socket, 
-                        &context->sa_server, &len)== SOCKET_ERROR) {
-            ap_log_error(APLOG_MARK, APLOG_WARNING, h_errno, server_conf, 
-                         "getsockname failed with error %d\n", WSAGetLastError());
+                        context->sa_server, &len)== SOCKET_ERROR) {
+            ap_log_error(APLOG_MARK, APLOG_WARNING, apr_get_netos_error(), server_conf, 
+                         "getsockname failed");
             continue;
         }
-        
         len = sizeof(struct sockaddr);
+        context->sa_client = apr_palloc(context->ptrans, len);
         if ((getpeername(context->accept_socket,
-                         &context->sa_client, &len)) == SOCKET_ERROR) {
-            ap_log_error(APLOG_MARK, APLOG_WARNING, h_errno, server_conf, 
-                         "getpeername failed with error %d\n", WSAGetLastError());
+                         context->sa_client, &len)) == SOCKET_ERROR) {
+            ap_log_error(APLOG_MARK, APLOG_WARNING, apr_get_netos_error(), server_conf, 
+                         "getpeername failed");
             memset(&context->sa_client, '\0', sizeof(context->sa_client));
         }
 
+        /* do we NEED_DUPPED_CSD ?? */
+        
         return context;
     }
 }
-#endif
+
 /* 
- * Windows NT specific code...
+ * Windows 2000/NT specific code...
+ * create_acceptex_context()
+ * reset_acceptex_context()
+ * drain_acceptex_complport()
+ * winnt_get_connection()
+ *
+ * TODO: Insert a discussion of 'completion contexts' and what these function do here...
  */
-static int create_and_queue_completion_context(ap_context_t *p, ap_listen_rec *lr) 
+static void drain_acceptex_complport(HANDLE hComplPort, BOOLEAN bCleanUp) 
+{
+    LPOVERLAPPED pol;
+    PCOMP_CONTEXT context;
+    int rc;
+    DWORD BytesRead;
+    DWORD CompKey;
+
+    while (1) {
+        context = NULL;
+        rc = GetQueuedCompletionStatus(hComplPort, &BytesRead, &CompKey,
+                                       &pol, 1000);
+        if (!rc) {
+            rc = apr_get_os_error();
+            if (rc == APR_FROM_OS_ERROR(ERROR_OPERATION_ABORTED)) {
+                ap_log_error(APLOG_MARK, APLOG_DEBUG, APR_SUCCESS, server_conf,
+                             "Child %d: Draining an ABORTED packet off "
+                             "the AcceptEx completion port.", my_pid);
+                continue;
+            }
+            break;
+        }
+        ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                     "Child %d: Draining and discarding an active connection "
+                     "off the AcceptEx completion port.", my_pid);
+        context = (PCOMP_CONTEXT) pol;
+        if (context && bCleanUp) {
+            /* It is only valid to clean-up in the process that initiated the I/O */
+            closesocket(context->accept_socket);
+            CloseHandle(context->Overlapped.hEvent);
+        }
+    }
+}
+static int create_acceptex_context(apr_pool_t *_pconf, ap_listen_rec *lr) 
 {
     PCOMP_CONTEXT context;
     DWORD BytesRead;
     SOCKET nsd;
-    context = ap_pcalloc(p, sizeof(COMP_CONTEXT));
+    int lasterror;
 
-    if (!context)
+    /* allocate the completion context */
+    context = apr_pcalloc(_pconf, sizeof(COMP_CONTEXT));
+    if (!context) {
+        ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
+                     "create_acceptex_context: apr_pcalloc() failed. Process will exit.");
         return -1;
+    }
 
+    /* initialize the completion context */
     context->lr = lr;
     context->Overlapped.hEvent = CreateEvent(NULL, TRUE, FALSE, NULL); 
+    if (context->Overlapped.hEvent == NULL) {
+        ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
+                     "create_acceptex_context: CreateEvent() failed. Process will exit.");
+        return -1;
+    }
 
+    /* create and initialize the accept socket */
+    apr_get_os_sock(&nsd, context->lr->sd);
     context->accept_socket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
-    ap_create_context(&context->ptrans, p);
-    context->conn_io =  ap_bcreate(context->ptrans, B_RDWR);
-    context->recv_buf = context->conn_io->inbase;
-    context->recv_buf_size = context->conn_io->bufsiz - 2*PADDED_ADDR_SIZE;
-    ap_get_os_sock(&nsd, context->lr->sd);
-
-    AcceptEx(nsd,//context->lr->fd, 
-             context->accept_socket,
-             context->recv_buf,
-             context->recv_buf_size,
-             PADDED_ADDR_SIZE,
-             PADDED_ADDR_SIZE,
-             &BytesRead,
-             (LPOVERLAPPED) context);
+    if (context->accept_socket == INVALID_SOCKET) {
+        ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_netos_error(), server_conf,
+                     "create_acceptex_context: socket() failed. Process will exit.");
+        return -1;
+    }
+
+    /* SO_UPDATE_ACCEPT_CONTEXT is required for shutdown() to work */
+    if (setsockopt(context->accept_socket, SOL_SOCKET,
+                   SO_UPDATE_ACCEPT_CONTEXT, (char *)&nsd,
+                   sizeof(nsd))) {
+        ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_netos_error(), server_conf,
+                     "setsockopt(SO_UPDATE_ACCEPT_CONTEXT) failed.");
+        /* Not a failure condition. Keep running. */
+    }
+
+    apr_create_pool(&context->ptrans, _pconf);
+
+    /* recv_buf must be large enough to hold the remote and local
+     * addresses. Note that recv_buf_size is the amount of recv_buf
+     * available for AcceptEx to receive bytes into. Since we 
+     * don't want AcceptEx to do a recv, set the size to 0.
+     */
+    context->recv_buf = apr_pcalloc(_pconf, 2*PADDED_ADDR_SIZE);
+    context->recv_buf_size = 0;
+
+    /* AcceptEx on the completion context. The completion context will be signaled
+     * when a connection is accepted. */
+    if (!AcceptEx(nsd, context->accept_socket,
+                  context->recv_buf, 
+                  context->recv_buf_size,
+                  PADDED_ADDR_SIZE, PADDED_ADDR_SIZE,
+                  &BytesRead,
+                  (LPOVERLAPPED) context)) {
+        lasterror = apr_get_netos_error();
+        if (lasterror != APR_FROM_OS_ERROR(ERROR_IO_PENDING)) {
+            ap_log_error(APLOG_MARK,APLOG_ERR, lasterror, server_conf,
+                         "create_acceptex_context: AcceptEx failed. Process will exit.");
+            return -1;
+        }
 
+    }
     lr->count++;
-//    num_comp_contexts++;
 
     return 0;
 }
-static ap_inline void reset_completion_context(PCOMP_CONTEXT context) 
+static apr_inline apr_status_t reset_acceptex_context(PCOMP_CONTEXT context) 
 {
     DWORD BytesRead;
     SOCKET nsd;
-    int rc;
-    context->lr->count++;
+    int rc, i;
+
+    /* reset the buffer pools */
+    apr_clear_pool(context->ptrans);
+    context->sock = NULL;
+
+    /* recreate and initialize the accept socket if it is not being reused */
+    apr_get_os_sock(&nsd, context->lr->sd);
+
+    /* AcceptEx on the completion context. The completion context will be signaled
+     * when a connection is accepted. Hack Alert: TransmitFile, under certain 
+     * circumstances, can 'recycle' accept sockets, saving the overhead of calling 
+     * socket(). Occasionally this fails (usually when the client closes his end 
+     * of the connection early). When this occurs, AcceptEx will fail with 10022, 
+     * Invalid Parameter. When this occurs, just open a fresh accept socket and 
+     * retry the call.
+     */
+    for (i=0; i<2; i++) {
+        if (context->accept_socket == INVALID_SOCKET) {
+            context->accept_socket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
+            if (context->accept_socket == INVALID_SOCKET) {
+                rc = apr_get_netos_error();
+                ap_log_error(APLOG_MARK,APLOG_ERR, rc, server_conf,
+                             "reset_acceptex_context: socket() failed. Process will exit.");
+                return rc;
+            }
 
-    if (context->accept_socket == -1)
-        context->accept_socket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);    
+            /* SO_UPDATE_ACCEPT_CONTEXT is required for shutdown() to work */
+            if (setsockopt(context->accept_socket, SOL_SOCKET,
+                           SO_UPDATE_ACCEPT_CONTEXT, (char *)&nsd, sizeof(nsd))) {
+                ap_log_error(APLOG_MARK, APLOG_WARNING, apr_get_netos_error(),
+                             server_conf,
+                             "setsockopt(SO_UPDATE_ACCEPT_CONTEXT) failed.");
+            }
+        }
 
-    ap_clear_pool(context->ptrans);
-    context->conn_io =  ap_bcreate(context->ptrans, B_RDWR);
-    context->recv_buf = context->conn_io->inbase;
-    context->recv_buf_size = context->conn_io->bufsiz - 2*PADDED_ADDR_SIZE;
-    ap_get_os_sock(&nsd, context->lr->sd);
+        if (!AcceptEx(nsd, context->accept_socket, 
+                      context->recv_buf,                   
+                      context->recv_buf_size,
+                      PADDED_ADDR_SIZE, 
+                      PADDED_ADDR_SIZE, 
+                      &BytesRead, 
+                      (LPOVERLAPPED) context)) {
+
+            rc = apr_get_netos_error();
+            if (rc != APR_FROM_OS_ERROR(ERROR_IO_PENDING)) {
+                ap_log_error(APLOG_MARK, APLOG_DEBUG, rc, server_conf,
+                             "reset_acceptex_context: AcceptEx failed for "
+                             "listening socket: %d and accept socket: %d. Getting a new accept socket.", 
+                             nsd, context->accept_socket);
+                closesocket(context->accept_socket);
+                context->accept_socket = INVALID_SOCKET;
+                continue;
+            }
+        }
+        break;
+    }
 
-    rc = AcceptEx(nsd, //context->lr->fd, 
-                  context->accept_socket,
-                  context->recv_buf,
-                  context->recv_buf_size,
-                  PADDED_ADDR_SIZE,
-                  PADDED_ADDR_SIZE,
-                  &BytesRead,
-                  (LPOVERLAPPED) context);
+    context->lr->count++;
+
+    return APR_SUCCESS;
 }
 static PCOMP_CONTEXT winnt_get_connection(PCOMP_CONTEXT context)
 {
     int requests_this_child = 0;
     int rc;
-
     LPOVERLAPPED pol;
     DWORD CompKey;
     DWORD BytesRead;
 
+
     if (context != NULL) {
-        context->accept_socket = -1; /* Don't reuse the socket */
-        reset_completion_context(context);
-    }
-
-    rc = GetQueuedCompletionStatus(AcceptExCompPort,
-                                   &BytesRead,
-                                   &CompKey,
-                                   &pol,
-                                   INFINITE);
-    context = (PCOMP_CONTEXT) pol;
-    if (CompKey == 999) {
-        if (context) {
-            closesocket(context->accept_socket);
+        if (shutdown_in_progress) {
+            /* Clean-up the AcceptEx completion context */
             CloseHandle(context->Overlapped.hEvent);
-            return NULL;
+            if (context->accept_socket != INVALID_SOCKET)
+                closesocket(context->accept_socket);
         }
-    }
-
-    ap_lock(allowed_globals.jobmutex);
-
-    context->lr->count--;
-    if (context->lr->count < 2) {
-        if (create_and_queue_completion_context(pconf, context->lr) == -1) {
-            /* log error and continue */
+        else {
+            /* Prepare the completion context for reuse */
+            if ((rc = reset_acceptex_context(context)) != APR_SUCCESS) {
+                ap_log_error(APLOG_MARK, APLOG_CRIT, rc, server_conf,
+                             "Child %d: winnt_get_connection: reset_acceptex_context failed.",
+                             my_pid); 
+                if (context->accept_socket != INVALID_SOCKET)
+                    closesocket(context->accept_socket);
+                CloseHandle(context->Overlapped.hEvent);
+                /* Probably should just die now... */
+            }
         }
     }
-    ap_unlock(allowed_globals.jobmutex);
-
-    context->conn_io->incnt = BytesRead;
 
-    GetAcceptExSockaddrs(context->conn_io->inbase, 
-                         context->conn_io->bufsiz - 2*PADDED_ADDR_SIZE,
-                         PADDED_ADDR_SIZE,
-                         PADDED_ADDR_SIZE,
-                         &context->sa_server,
-                         &context->sa_server_len,
+    /* May need to atomize the workers_may_exit check with the 
+     * g_blocked_threads++ */
+    if (workers_may_exit) {
+        return NULL;
+    }
+    g_blocked_threads++;
+        
+    while (1) {
+        rc = GetQueuedCompletionStatus(AcceptExCompPort, &BytesRead, &CompKey,
+                                       &pol, INFINITE);
+        if (!rc) {
+            rc = apr_get_os_error();
+            if (rc != APR_FROM_OS_ERROR(ERROR_OPERATION_ABORTED)) {
+                /* Is this a deadly condition? 
+                 * We sometimes get ERROR_NETNAME_DELETED when a client
+                 * disconnects when attempting to reuse sockets. Not sure why 
+                 * we see this now and not during AcceptEx(). Reset the
+                 * AcceptEx context and continue...
+                 */
+                ap_log_error(APLOG_MARK,APLOG_DEBUG, rc, server_conf,
+                             "Child %d: - GetQueuedCompletionStatus() failed", 
+                             my_pid);
+                /* Reset the completion context */
+                if (pol) {
+                    context = (PCOMP_CONTEXT) pol;
+                    if (context->accept_socket != INVALID_SOCKET)
+                        closesocket(context->accept_socket);
+                    if ((rc = reset_acceptex_context(context)) != APR_SUCCESS) {
+                        ap_log_error(APLOG_MARK, APLOG_CRIT, rc, server_conf,
+                                     "Child %d: winnt_get_connection: reset_acceptex_context failed.",
+                                     my_pid); 
+                        if (context->accept_socket != INVALID_SOCKET)
+                            closesocket(context->accept_socket);
+                        CloseHandle(context->Overlapped.hEvent);
+                        /* Probably should just die now... */
+                    }
+                }
+            }
+            else {
+                /* Sometimes we catch ERROR_OPERATION_ABORTED completion packets
+                 * from the old child process (during a restart). Ignore them.
+                 */
+                ap_log_error(APLOG_MARK,APLOG_DEBUG, rc, server_conf,
+                             "Child %d: - Draining ERROR_OPERATION_ABORTED packet off "
+                             "the completion port.", my_pid);
+            }
+            continue;
+        }
+
+        if (CompKey != 0) {
+            /* CompKey == my_pid means this thread was unblocked by
+             * the shutdown code (not by io completion).
+             */
+            if (CompKey == my_pid) {
+                g_blocked_threads--;
+                return NULL;
+            }
+            /* Sometimes we catch shutdown io completion packets
+             * posted by the old child process (during a restart). Ignore them.
+             */
+            continue;
+        }
+
+        context = (PCOMP_CONTEXT) pol;
+        break;
+    }
+
+    g_blocked_threads--;
+
+    /* Check to see if we need to create more completion contexts,
+     * but only if we are not in the process of shutting down
+     */
+    if (!shutdown_in_progress) {
+        apr_lock(allowed_globals.jobmutex);
+        context->lr->count--;
+        if (context->lr->count < 2) {
+            SetEvent(maintenance_event);
+        }
+        apr_unlock(allowed_globals.jobmutex);
+    }
+
+    /* Received a connection */
+    GetAcceptExSockaddrs(context->recv_buf, 
+                         context->recv_buf_size,
+                         PADDED_ADDR_SIZE,
+                         PADDED_ADDR_SIZE,
+                         &context->sa_server,
+                         &context->sa_server_len,
                          &context->sa_client,
                          &context->sa_client_len);
 
     return context;
-/*
-    CloseHandle(context->Overlapped.hEvent);
-    SetEvent(exit_event);
-    return NULL;
-*/
+
 }
 /*
- * child_main() - this is the main loop for the worker threads
+ * worker_main() - this is the main loop for the worker threads
  *
+ * Windows 95/98
  * Each thread runs within this function. They wait within remove_job()
  * for a job to become available, then handle all the requests on that
  * connection until it is closed, then return to remove_job().
@@ -864,23 +1117,19 @@ static PCOMP_CONTEXT winnt_get_connection(PCOMP_CONTEXT context)
  *  - block in remove_job, and when unblocked we have an already
  *    accepted socket, instead of blocking on a mutex or select().
  */
-static void child_main(int child_num)
+
+static void worker_main(int child_num)
 {
     PCOMP_CONTEXT context = NULL;
-
-//    ap_create_context(&(lpCompContext->ptrans), pconf);
-
-#if 0
-    (void) ap_update_child_status(child_num, SERVER_READY, (request_rec *) NULL);
-#endif
+    apr_os_sock_info_t sockinfo;
 
     while (1) {
-        conn_rec *current_conn;
-        ap_iol *iol;
+        conn_rec *c;
+        apr_int32_t disconnected;
 
         /* Grab a connection off the network */
         if (osver.dwPlatformId == VER_PLATFORM_WIN32_WINDOWS) {
-//            context = win9x_get_connection(context);
+            context = win9x_get_connection(context);
         }
         else {
             context = winnt_get_connection(context);
@@ -888,275 +1137,291 @@ static void child_main(int child_num)
 
         if (!context)
             break;
+        sock_disable_nagle(context->accept_socket);
 
-//        ap_note_cleanups_for_socket(context->ptrans, context->accept_socket);
+        sockinfo.os_sock = &context->accept_socket;
+        sockinfo.local   = context->sa_server;
+        sockinfo.remote  = context->sa_client;
+        sockinfo.family  = APR_INET;
+        sockinfo.type    = SOCK_STREAM;
+        apr_make_os_sock(&context->sock, &sockinfo, context->ptrans);
 
+        c = ap_new_connection(context->ptrans, server_conf, context->sock,
+                              child_num);
 
-#if 0
-       (void) ap_update_child_status(child_num, SERVER_BUSY_READ,
-                                      (request_rec *) NULL);
-#endif
+        ap_process_connection(c);
 
-       sock_disable_nagle(context->accept_socket);
 
-        iol = win32_attach_socket(context->ptrans, context->accept_socket);
-        if (iol == NULL) {
-            ap_log_error(APLOG_MARK, APLOG_ERR, APR_ENOMEM, server_conf,
-                         "error attaching to socket");
-            closesocket(context->accept_socket);
-            continue;
+        apr_getsocketopt(context->sock, APR_SO_DISCONNECTED, &disconnected);
+        if (!disconnected) {
+            context->accept_socket = INVALID_SOCKET;
+            ap_lingering_close(c);
         }
+    }
 
-        ap_bpush_iol(context->conn_io, iol);
-
-       current_conn = ap_new_connection(context->ptrans, server_conf, context->conn_io,
-                                         (struct sockaddr_in *) &context->sa_client,
-                                         (struct sockaddr_in *) &context->sa_server,
-                                         child_num);
+    ap_log_error(APLOG_MARK, APLOG_DEBUG, APR_SUCCESS, server_conf,
+                 "Child %d: Thread exiting.", my_pid);
+#if 0
 
-        ap_process_connection(current_conn);
-    }
+    SetEvent(exit_event);
+#endif
     /* TODO: Add code to clean-up completion contexts here */
 }
 
-static void cleanup_thread(thread **handles, int *thread_cnt, int thread_to_clean)
+static void cleanup_thread(thread *handles, int *thread_cnt, int thread_to_clean)
 {
     int i;
 
-    free_thread(handles[thread_to_clean]);
+    CloseHandle(handles[thread_to_clean]);
     for (i = thread_to_clean; i < ((*thread_cnt) - 1); i++)
        handles[i] = handles[i + 1];
     (*thread_cnt)--;
 }
 
-/*
- * The Win32 call WaitForMultipleObjects will only allow you to wait for 
- * a maximum of MAXIMUM_WAIT_OBJECTS (current 64).  Since the threading 
- * model in the multithreaded version of apache wants to use this call, 
- * we are restricted to a maximum of 64 threads.  This is a simplistic 
- * routine that will increase this size.
- */
-static DWORD wait_for_many_objects(DWORD nCount, CONST HANDLE *lpHandles, 
-                            DWORD dwSeconds)
+static void create_listeners() 
 {
-    time_t tStopTime;
-    DWORD dwRet = WAIT_TIMEOUT;
-    DWORD dwIndex=0;
-    BOOL bFirst = TRUE;
-  
-    tStopTime = time(NULL) + dwSeconds;
-  
-    do {
-        if (!bFirst)
-            Sleep(1000);
-        else
-            bFirst = FALSE;
-          
-        for (dwIndex = 0; dwIndex * MAXIMUM_WAIT_OBJECTS < nCount; dwIndex++) {
-            dwRet = WaitForMultipleObjects(
-                        min(MAXIMUM_WAIT_OBJECTS, 
-                            nCount - (dwIndex * MAXIMUM_WAIT_OBJECTS)),
-                        lpHandles + (dwIndex * MAXIMUM_WAIT_OBJECTS), 
-                        0, 0);
-                                           
-            if (dwRet != WAIT_TIMEOUT) {                                          
-              break;
+#define NUM_LISTENERS 5
+    ap_listen_rec *lr;
+    for (lr = ap_listeners; lr != NULL; lr = lr->next) {
+        while (lr->count < NUM_LISTENERS) {
+            if (create_acceptex_context(pconf, lr) == -1) {
+                ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
+                             "Unable to create an AcceptEx completion context -- process will exit");
+                signal_parent(0);      /* tell parent to die */
             }
         }
-    } while((time(NULL) < tStopTime) && (dwRet == WAIT_TIMEOUT));
-    
-    return dwRet;
-}
-
-
-/*
- * Initialise the signal names, in the global variables signal_name_prefix, 
- * signal_restart_name and signal_shutdown_name.
- */
-
-#define MAX_SIGNAL_NAME 30  /* Long enough for apPID_shutdown, where PID is an int */
-char signal_name_prefix[MAX_SIGNAL_NAME];
-char signal_restart_name[MAX_SIGNAL_NAME]; 
-char signal_shutdown_name[MAX_SIGNAL_NAME];
-static void setup_signal_names(char *prefix)
-{
-    ap_snprintf(signal_name_prefix, sizeof(signal_name_prefix), prefix);    
-    ap_snprintf(signal_shutdown_name, sizeof(signal_shutdown_name), 
-       "%s_shutdown", signal_name_prefix);    
-    ap_snprintf(signal_restart_name, sizeof(signal_restart_name), 
-       "%s_restart", signal_name_prefix);    
+    }
 }
-
 /*
- * worker_main() is main loop for the child process. The loop in
- * this function becomes the controlling thread for the actually working
- * threads (which run in a loop in child_sub_main()).
- * Globals Used:
- *  exit_event, start_mutex, ap_threads_per_child, server_conf,
- *  h_errno defined to WSAGetLastError in winsock2.h,
+ * child_main() runs the main control thread for the child process. 
+ *
+ * The control thread:
+ * - sets up the worker thread pool
+ * - starts the accept thread (Win 9x)
+ * - creates AcceptEx contexts (Win NT)
+ * - waits for exit_event, maintenance_event or maintenance timeout
+ *   and does the right thing depending on which event is received.
  */
-static void worker_main()
+static void child_main()
 {
+    apr_status_t status;
+    HANDLE child_events[2];
+    char* exit_event_name;
     int nthreads = ap_threads_per_child;
-
-
-    thread **child_handles;
+    int tid;
+    thread *child_handles;
     int rv;
-    ap_status_t status;
     time_t end_time;
     int i;
-    ap_context_t *pchild;
-
-    ap_create_context(&pchild, pconf);
+    int cld;
+    apr_pool_t *pchild;
 
-//    ap_restart_time = time(NULL);
-
-#if 0
-    reinit_scoreboard(pconf);
-#endif
 
-    /*
-     * Wait until we have permission to start accepting connections.
-     * start_mutex is used to ensure that only one child ever
-     * goes into the listen/accept loop at once. Also wait on exit_event,
-     * in case we (this child) is told to die before we get a chance to
-     * serve any requests.
+    /* This is the child process or we are running in single process
+     * mode.
      */
-    status = ap_lock(start_mutex);
-    if (status != APR_SUCCESS) {
-       ap_log_error(APLOG_MARK,APLOG_ERR, status, server_conf,
-                     "Waiting for start_mutex or exit_event -- process will exit");
+    exit_event_name = apr_psprintf(pconf, "apC%d", my_pid);
+    setup_signal_names(apr_psprintf(pconf,"ap%d", parent_pid));
 
-       ap_destroy_context(pchild); // ap_destroy_pool(pchild):
-#if 0
-       cleanup_scoreboard();
-#endif
-       exit(0);
-    }
-
-    /* start_mutex obtained, continue into the select() loop */
     if (one_process) {
+        /* Single process mode */
+        apr_create_lock(&start_mutex,APR_MUTEX, APR_CROSS_PROCESS,signal_name_prefix,pconf);
+        exit_event = CreateEvent(NULL, TRUE, FALSE, exit_event_name);
+
         setup_listeners(server_conf);
-    } else {
-        /* Get listeners from the parent process */
+        bind_listeners_to_completion_port();
+    }
+    else {
+        /* Child process mode */
+        apr_child_init_lock(&start_mutex, signal_name_prefix, pconf);
+        exit_event = OpenEvent(EVENT_ALL_ACCESS, FALSE, exit_event_name);
+        ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                     "Child %d: exit_event_name = %s", my_pid, exit_event_name);
+
         setup_inherited_listeners(server_conf);
     }
 
-    if (listenmaxfd == INVALID_SOCKET) {
-       /* Help, no sockets were made, better log something and exit */
-       ap_log_error(APLOG_MARK, APLOG_CRIT, h_errno, NULL,
-                   "No sockets were created for listening");
+    /* Initialize the child_events */
+    maintenance_event = CreateEvent(NULL, TRUE, FALSE, NULL);
+    child_events[0] = exit_event;
+    child_events[1] = maintenance_event;
 
-       signal_parent(0);       /* tell parent to die */
+    ap_assert(start_mutex);
+    ap_assert(exit_event);
+    ap_assert(maintenance_event);
 
-//     ap_destroy_pool(pchild);
-        ap_destroy_context(pchild);
-#if 0
-       cleanup_scoreboard();
-#endif
+    apr_create_pool(&pchild, pconf);
+    allowed_globals.jobsemaphore = create_semaphore(0);
+    apr_create_lock(&allowed_globals.jobmutex, APR_MUTEX, APR_INTRAPROCESS, NULL, pchild);
+
+    /*
+     * Wait until we have permission to start accepting connections.
+     * start_mutex is used to ensure that only one child ever
+     * goes into the listen/accept loop at once.
+     */
+    status = apr_lock(start_mutex);
+    if (status != APR_SUCCESS) {
+       ap_log_error(APLOG_MARK,APLOG_ERR, status, server_conf,
+                     "Child %d: Failed to acquire the start_mutex. Process will exit.", my_pid);
+        signal_parent(0);      /* tell parent to die */
        exit(0);
     }
+    ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                 "Child %d: Acquired the start mutex.", my_pid);
 
-    allowed_globals.jobsemaphore = create_semaphore(0);
-    ap_create_lock(&allowed_globals.jobmutex, APR_MUTEX, APR_INTRAPROCESS, NULL, pchild);
+    /* Create the worker thread pool */
+    ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                 "Child %d: Starting %d worker threads.", my_pid, nthreads);
+    child_handles = (thread) alloca(nthreads * sizeof(int));
+    for (i = 0; i < nthreads; i++) {
+        child_handles[i] = (thread) _beginthreadex(NULL, 0, (LPTHREAD_START_ROUTINE) worker_main,
+                                                   NULL, 0, &tid);
+    }
 
-    /* spawn off accept thread (WIN9x only) */
+    /* Begin accepting connections */
     if (osver.dwPlatformId == VER_PLATFORM_WIN32_WINDOWS) {
-        /* spawn off the worker threads */
-        child_handles = (thread *) alloca(nthreads * sizeof(int));
-        for (i = 0; i < nthreads; i++) {
-            child_handles[i] = create_thread((void (*)(void *)) child_main, (void *) i);
-        }
-
-//        create_thread((void (*)(void *)) accept_and_queue_connections, (void *) NULL);
+        /* Win95/98: Start the accept thread */
+        _beginthreadex(NULL, 0, (LPTHREAD_START_ROUTINE) accept_and_queue_connections,
+                       (void *) i, 0, &tid);
+    } else {
+        /* Windows NT/2000: Create AcceptEx completion contexts */
+        create_listeners();
     }
-    else {
-        ap_listen_rec *lr;
-        SOCKET nsd;
-        /* Create the AcceptEx completion port */
-        AcceptExCompPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE,
-                                                  NULL,
-                                                  0,
-                                                  0); /* CONCURRENT ACTIVE THREADS */
 
-        /* Associate each listener with the completion port */
-        for (lr = ap_listeners; lr != NULL; lr = lr->next) {
-            ap_get_os_sock(&nsd, lr->sd);
-            CreateIoCompletionPort((HANDLE) nsd, //(HANDLE)lr->fd,
-                                   AcceptExCompPort,
-                                   0,
-                                   0);
+    /* Wait for one of three events:
+     * exit_event: 
+     *    The exit_event is signaled by the parent process to notify 
+     *    the child that it is time to exit.
+     *
+     * maintenance_event: 
+     *    This event is signaled by the worker thread pool to direct 
+     *    this thread to create more completion contexts.
+     *
+     * TIMEOUT:
+     *    To do periodic maintenance on the server (check for thread exits,
+     *    number of completion contexts, etc.)
+     */
+    while (1) {
+        rv = WaitForMultipleObjects(2, (HANDLE *) child_events, FALSE, INFINITE);
+        cld = rv - WAIT_OBJECT_0;
+        if (rv == WAIT_FAILED) {
+            /* Something serious is wrong */
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
+                         "Child %d: WAIT_FAILED -- shutting down server");
+            break;
         }
-
-        /* spawn off the worker threads */
-        child_handles = (thread *) alloca(nthreads * sizeof(int));
-        for (i = 0; i < nthreads; i++) {
-            child_handles[i] = create_thread((void (*)(void *)) child_main, (void *) i);
+        else if (rv == WAIT_TIMEOUT) {
+            /* Hey, this cannot happen */
+            ap_log_error(APLOG_MARK, APLOG_CRIT, APR_SUCCESS, server_conf,
+                         "Child %d: WAIT_TIMEOUT -- shutting down server", my_pid);
+            break;
         }
-
-        /* Create 3 AcceptEx contexts for each listener then queue them to the 
-         * AcceptEx completion port.
-         */
-        for (lr = ap_listeners; lr != NULL; lr = lr->next) {
-            for(i=0; i<2; i++) {
-                if (create_and_queue_completion_context(pconf, lr) == -1) {
-                    /* log error and exit */
-                }
+        else if (cld == 0) {
+            /* Exit event was signaled */
+            ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                         "Child %d: Exit event signaled. Child process is ending.", my_pid);
+            break;
+        }
+        else {
+            /* Child maintenance event signaled */
+            if (osver.dwPlatformId != VER_PLATFORM_WIN32_WINDOWS) {
+                create_listeners();
             }
+            ResetEvent(maintenance_event);
+            ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                         "Child %d: Child maintenance event signaled.", my_pid);
         }
     }
 
-    rv = WaitForSingleObject(exit_event, INFINITE);
-    printf("exit event signalled \n");
-    workers_may_exit = 1;      
+    /* Setting is_graceful will close keep-alive connections */
+    is_graceful = 1;
 
-    /* Get ready to shutdown and exit */
-    ap_unlock(start_mutex);
-
-    /* Tell the workers to stop */
+    /* Shutdown the worker threads */
     if (osver.dwPlatformId == VER_PLATFORM_WIN32_WINDOWS) {
+        /* workers_may_exit = 1; Not used on Win9x */
+        shutdown_in_progress = 1;
         for (i = 0; i < nthreads; i++) {
-//            add_job(-1);
+            add_job(-1);
         }
     }
-    else {
-        for (i=0; i < nthreads; i++) {
-            PostQueuedCompletionStatus(AcceptExCompPort, 0, 999, NULL);
+    else { /* Windows NT/2000 */
+        SOCKET nsd;
+        ap_listen_rec *lr;
+        /*
+         * Setting shutdown_in_progress prevents new AcceptEx completion 
+         * contexts from being queued to the port but allows threads to 
+         * continue consuming from the port. This gives the server a 
+         * chance to handle any accepted connections.
+         */
+        shutdown_in_progress = 1;
+        Sleep(1000);
+        
+        /* Setting workers_may_exit prevents threads from consumimg from the 
+         * completion port (especially threads that unblock off of keep-alive
+         * connections later on).
+         */
+        workers_may_exit = 1;
+
+        /* Unblock threads blocked on the completion port */
+        apr_lock(allowed_globals.jobmutex);
+        while (g_blocked_threads > 0) {
+            ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                         "Child %d: %d threads blocked on the completion port", my_pid, g_blocked_threads);
+            for (i=g_blocked_threads; i > 0; i--) {
+                PostQueuedCompletionStatus(AcceptExCompPort, 0, my_pid, NULL);
+            }
+            Sleep(1000);
         }
+        apr_unlock(allowed_globals.jobmutex);
+
+        /* Cancel any remaining pending AcceptEx completion contexts */
+        for (lr = ap_listeners; lr != NULL; lr = lr->next) {
+            apr_get_os_sock(&nsd,lr->sd);
+            CancelIo((HANDLE) nsd);
+        }
+
+        /* Drain the canceled contexts off the port */
+        drain_acceptex_complport(AcceptExCompPort, TRUE);
     }
 
-    /* Wait for all your children */
+    /* Release the start_mutex to let the new process (in the restart
+     * scenario) a chance to begin servicing requests 
+     */
+    ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                 "Child %d: Releasing the start mutex", my_pid);
+    apr_unlock(start_mutex);
+
+    /* Give busy worker threads a chance to service their connections.
+     * Kill them off if they take too long
+     */
+    ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                 "Child %d: Waiting for %d threads to die.", my_pid, nthreads);
     end_time = time(NULL) + 180;
     while (nthreads) {
-        rv = wait_for_many_objects(nthreads, child_handles, 
-                                   end_time - time(NULL));
+        rv = wait_for_many_objects(nthreads, child_handles, end_time - time(NULL));
        if (rv != WAIT_TIMEOUT) {
            rv = rv - WAIT_OBJECT_0;
            ap_assert((rv >= 0) && (rv < nthreads));
            cleanup_thread(child_handles, &nthreads, rv);
-           continue;
-       }
-       break;
+            continue;
+        }
+        break;
     }
-
     for (i = 0; i < nthreads; i++) {
-       kill_thread(child_handles[i]);
-       free_thread(child_handles[i]);
+        TerminateThread(child_handles[i], 1);
+        CloseHandle(child_handles[i]);
     }
+    ap_log_error(APLOG_MARK,APLOG_INFO, APR_SUCCESS, server_conf, 
+                 "Child %d: All worker threads have ended.", my_pid);
 
+    CloseHandle(AcceptExCompPort);
     destroy_semaphore(allowed_globals.jobsemaphore);
-    ap_destroy_lock(allowed_globals.jobmutex);
-
-    ap_destroy_context(pchild);
+    apr_destroy_lock(allowed_globals.jobmutex);
 
-#if 0
-    cleanup_scoreboard();
-#endif
-}
-static HANDLE create_exit_event(const char* event_name)
-{
-    return CreateEvent(NULL, TRUE, FALSE, event_name);
+    apr_destroy_pool(pchild);
+    CloseHandle(exit_event);
 }
+
 /*
  * Spawn a child Apache process. The child process has the command line arguments from
  * argc and argv[], plus a -Z argument giving the name of an event. The child should
@@ -1202,14 +1467,17 @@ static void cleanup_process(HANDLE *handles, HANDLE *events, int position, int *
     (*processes)--;
 }
 
-static int create_process(ap_context_t *p, HANDLE *handles, HANDLE *events, int *processes)
+static int create_process(apr_pool_t *p, HANDLE *handles, HANDLE *events, int *processes)
 {
     int rv;
     char buf[1024];
     char *pCommand;
-
+    char *pEnvVar;
+    char *pEnvBlock;
+    int i;
+    int iEnvBlockLen;
     STARTUPINFO si;           /* Filled in prior to call to CreateProcess */
-    PROCESS_INFORMATION pi;   /* filled in on call to CreateProces */
+    PROCESS_INFORMATION pi;   /* filled in on call to CreateProcess */
 
     ap_listen_rec *lr;
     DWORD BytesWritten;
@@ -1217,6 +1485,10 @@ static int create_process(ap_context_t *p, HANDLE *handles, HANDLE *events, int
     HANDLE hPipeWrite = NULL;
     SECURITY_ATTRIBUTES sa = {0};  
 
+    HANDLE kill_event;
+    LPWSAPROTOCOL_INFO  lpWSAProtocolInfo;
+    HANDLE hDupedCompPort;
+
     sa.nLength = sizeof(sa);
     sa.bInheritHandle = TRUE;
     sa.lpSecurityDescriptor = NULL;
@@ -1231,24 +1503,50 @@ static int create_process(ap_context_t *p, HANDLE *handles, HANDLE *events, int
                      "Parent: Path to Apache process too long");
         return -1;
     } else if (rv == 0) {
-        ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
+        ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
                      "Parent: GetModuleFileName() returned NULL for current process.");
         return -1;
     }
 
-    //    pCommand = ap_psprintf(p, "\"%s\" -f \"%s\"", buf, ap_server_confname);  
-    pCommand = ap_psprintf(p, "\"%s\" -f \"%s\"", buf, SERVER_CONFIG_FILE);  
+    /* Build the command line */
+    pCommand = apr_psprintf(p, "\"%s\"", buf);  
+    for (i = 1; i < server_conf->process->argc; i++) {
+        pCommand = apr_pstrcat(p, pCommand, " \"", server_conf->process->argv[i], "\"", NULL);
+    }
+
+    /* Build the environment, since Win9x disrespects the active env */
+    pEnvVar = apr_psprintf(p, "AP_PARENT_PID=%i", parent_pid);
+    /*
+     * Win32's CreateProcess call requires that the environment
+     * be passed in an environment block, a null terminated block of
+     * null terminated strings.
+     */  
+    i = 0;
+    iEnvBlockLen = 1;
+    while (_environ[i]) {
+        iEnvBlockLen += strlen(_environ[i]) + 1;
+        i++;
+    }
+
+    pEnvBlock = (char *)apr_pcalloc(p, iEnvBlockLen + strlen(pEnvVar) + 1);
+    strcpy(pEnvBlock, pEnvVar);
+    pEnvVar = strchr(pEnvBlock, '\0') + 1;
 
+    i = 0;
+    while (_environ[i]) {
+        strcpy(pEnvVar, _environ[i]);
+        pEnvVar = strchr(pEnvVar, '\0') + 1;
+        i++;
+    }
+    pEnvVar = '\0';
     /* Create a pipe to send socket info to the child */
     if (!CreatePipe(&hPipeRead, &hPipeWrite, &sa, 0)) {
-        ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
-                     "Parent: Unable to create pipe to child process.\n");
+        ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
+                     "Parent: Unable to create pipe to child process.");
         return -1;
     }
 
-    SetEnvironmentVariable("AP_PARENT_PID",ap_psprintf(p,"%d",parent_pid));
-
-    /* Give the read in of the pipe (hPipeRead) to the child as stdin. The 
+    /* Give the read end of the pipe (hPipeRead) to the child as stdin. The 
      * parent will write the socket data to the child on this pipe.
      */
     memset(&si, 0, sizeof(si));
@@ -1261,10 +1559,10 @@ static int create_process(ap_context_t *p, HANDLE *handles, HANDLE *events, int
     if (!CreateProcess(NULL, pCommand, NULL, NULL, 
                        TRUE,               /* Inherit handles */
                        CREATE_SUSPENDED,   /* Creation flags */
-                       NULL,               /* Environment block */
+                       pEnvBlock,          /* Environment block */
                        NULL,
                        &si, &pi)) {
-        ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
+        ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
                      "Parent: Not able to create the child process.");
         /*
          * We must close the handles to the new process and its main thread
@@ -1274,109 +1572,79 @@ static int create_process(ap_context_t *p, HANDLE *handles, HANDLE *events, int
         CloseHandle(pi.hThread);
         return -1;
     }
-    else {
-        HANDLE kill_event;
-        LPWSAPROTOCOL_INFO  lpWSAProtocolInfo;
+    
+    ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                 "Parent: Created child process %d", pi.dwProcessId);
+
+    SetEnvironmentVariable("AP_PARENT_PID",NULL);
 
+    /* Create the exit_event, apCchild_pid */
+    sa.nLength = sizeof(sa);
+    sa.bInheritHandle = TRUE;
+    sa.lpSecurityDescriptor = NULL;        
+    kill_event = CreateEvent(&sa, TRUE, FALSE, apr_psprintf(pconf,"apC%d", pi.dwProcessId));
+    if (!kill_event) {
+        ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
+                     "Parent: Could not create exit event for child process");
+        CloseHandle(pi.hProcess);
+        CloseHandle(pi.hThread);
+        return -1;
+    }
+    
+    /* Assume the child process lives. Update the process and event tables */
+    handles[*processes] = pi.hProcess;
+    events[*processes] = kill_event;
+    (*processes)++;
+
+    /* We never store the thread's handle, so close it now. */
+    ResumeThread(pi.hThread);
+    CloseHandle(pi.hThread);
+    /* Run the chain of open sockets. For each socket, duplicate it 
+     * for the target process then send the WSAPROTOCOL_INFO 
+     * (returned by dup socket) to the child */
+    for (lr = ap_listeners; lr; lr = lr->next) {
+        int nsd;
+        lpWSAProtocolInfo = apr_pcalloc(p, sizeof(WSAPROTOCOL_INFO));
+        apr_get_os_sock(&nsd,lr->sd);
         ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
-                     "Parent: Created child process %d", pi.dwProcessId);
-
-        SetEnvironmentVariable("AP_PARENT_PID",NULL);
-
-        /* Create the exit_event, apCHILD_PID */
-        kill_event = create_exit_event(ap_psprintf(pconf,"apC%d", pi.dwProcessId));
-//CreateEvent(NULL, TRUE, TRUE, ap_psprintf(pconf,"apC%d", pi.dwProcessId)); // exit_event_name...
-        if (!kill_event) {
-            ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
-                         "Parent: Could not create exit event for child process");
-            CloseHandle(pi.hProcess);
-            CloseHandle(pi.hThread);
+                     "Parent: Duplicating socket %d and sending it to child process %d", nsd, pi.dwProcessId);
+        if (WSADuplicateSocket(nsd, pi.dwProcessId,
+                               lpWSAProtocolInfo) == SOCKET_ERROR) {
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_netos_error(), server_conf,
+                         "Parent: WSADuplicateSocket failed for socket %d.", lr->sd );
             return -1;
         }
-        
-        /* Assume the child process lives. Update the process and event tables */
-        handles[*processes] = pi.hProcess;
-        events[*processes] = kill_event;
-        (*processes)++;
 
-        /* We never store the thread's handle, so close it now. */
-        ResumeThread(pi.hThread);
-        CloseHandle(pi.hThread);
-
-        /* Run the chain of open sockets. For each socket, duplicate it 
-         * for the target process then send the WSAPROTOCOL_INFO 
-         * (returned by dup socket) to the child */
-        for (lr = ap_listeners; lr; lr = lr->next) {
-            int nsd;
-            lpWSAProtocolInfo = ap_pcalloc(p, sizeof(WSAPROTOCOL_INFO));
-            ap_log_error(APLOG_MARK, APLOG_NOERRNO | APLOG_INFO, APR_SUCCESS, server_conf,
-                         "Parent: Duplicating socket %d and sending it to child process %d", lr->sd, pi.dwProcessId);
-            ap_get_os_sock(&nsd,lr->sd);
-            if (WSADuplicateSocket(nsd, 
-                                   pi.dwProcessId,
-                                   lpWSAProtocolInfo) == SOCKET_ERROR) {
-                ap_log_error(APLOG_MARK, APLOG_CRIT, h_errno, server_conf,
-                             "Parent: WSADuplicateSocket failed for socket %d.", lr->sd );
-                return -1;
-            }
-
-            if (!WriteFile(hPipeWrite, lpWSAProtocolInfo, (DWORD) sizeof(WSAPROTOCOL_INFO),
-                           &BytesWritten,
-                           (LPOVERLAPPED) NULL)) {
-                ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
-                             "Parent: Unable to write duplicated socket %d to the child.", lr->sd );
-                return -1;
-            }
-            ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS, server_conf,
-                         "BytesWritten = %d WSAProtocolInfo = %x20", BytesWritten, *lpWSAProtocolInfo);
+        if (!WriteFile(hPipeWrite, lpWSAProtocolInfo, (DWORD) sizeof(WSAPROTOCOL_INFO),
+                       &BytesWritten,
+                       (LPOVERLAPPED) NULL)) {
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
+                         "Parent: Unable to write duplicated socket %d to the child.", lr->sd );
+            return -1;
         }
+        ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_DEBUG, APR_SUCCESS, server_conf,
+                     "Parent: BytesWritten = %d WSAProtocolInfo = %x20", BytesWritten, *lpWSAProtocolInfo);
     }
+    if (osver.dwPlatformId != VER_PLATFORM_WIN32_WINDOWS) {
+        /* Now, send the AcceptEx completion port to the child */
+        if (!DuplicateHandle(GetCurrentProcess(), AcceptExCompPort, 
+                             pi.hProcess, &hDupedCompPort,  0,
+                             TRUE, DUPLICATE_SAME_ACCESS)) {
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
+                         "Parent: Unable to duplicate AcceptEx completion port. Shutting down.");
+            return -1;
+        }
+
+        WriteFile(hPipeWrite, &hDupedCompPort, (DWORD) sizeof(hDupedCompPort), &BytesWritten, (LPOVERLAPPED) NULL);
+    }
+    
     CloseHandle(hPipeRead);
     CloseHandle(hPipeWrite);        
 
     return 0;
 }
 
-/* To share the semaphores with other processes, we need a NULL ACL
- * Code from MS KB Q106387
- */
-static PSECURITY_ATTRIBUTES GetNullACL()
-{
-    PSECURITY_DESCRIPTOR pSD;
-    PSECURITY_ATTRIBUTES sa;
-
-    sa  = (PSECURITY_ATTRIBUTES) LocalAlloc(LPTR, sizeof(SECURITY_ATTRIBUTES));
-    pSD = (PSECURITY_DESCRIPTOR) LocalAlloc(LPTR,
-                                           SECURITY_DESCRIPTOR_MIN_LENGTH);
-    if (pSD == NULL || sa == NULL) {
-        return NULL;
-    }
-    if (!InitializeSecurityDescriptor(pSD, SECURITY_DESCRIPTOR_REVISION)
-       || GetLastError()) {
-        LocalFree( pSD );
-        LocalFree( sa );
-        return NULL;
-    }
-    if (!SetSecurityDescriptorDacl(pSD, TRUE, (PACL) NULL, FALSE)
-       || GetLastError()) {
-        LocalFree( pSD );
-        LocalFree( sa );
-        return NULL;
-    }
-    sa->nLength = sizeof(sa);
-    sa->lpSecurityDescriptor = pSD;
-    sa->bInheritHandle = TRUE;
-    return sa;
-}
-
-
-static void CleanNullACL( void *sa ) {
-    if( sa ) {
-        LocalFree( ((PSECURITY_ATTRIBUTES)sa)->lpSecurityDescriptor);
-        LocalFree( sa );
-    }
-}
-
 static int master_main(server_rec *s, HANDLE shutdown_event, HANDLE restart_event)
 {
     int remaining_children_to_start = ap_daemons_to_start;
@@ -1391,6 +1659,7 @@ static int master_main(server_rec *s, HANDLE shutdown_event, HANDLE restart_even
     HANDLE process_kill_events[MAX_PROCESSES];
 
     setup_listeners(s);
+    bind_listeners_to_completion_port();
 
     /* Create child process 
      * Should only be one in this version of Apache for WIN32 
@@ -1398,41 +1667,45 @@ static int master_main(server_rec *s, HANDLE shutdown_event, HANDLE restart_even
     while (remaining_children_to_start--) {
         if (create_process(pconf, process_handles, process_kill_events, 
                            &current_live_processes) < 0) {
-            ap_log_error(APLOG_MARK, APLOG_CRIT, GetLastError(), server_conf,
+            ap_log_error(APLOG_MARK, APLOG_CRIT, apr_get_os_error(), server_conf,
                          "master_main: create child process failed. Exiting.");
             shutdown_pending = 1;
             goto die_now;
         }
     }
-
-    /* service_set_status(SERVICE_RUNNING);*/
-    restart_pending = shutdown_pending = 0;
     
+    restart_pending = shutdown_pending = 0;
+
+    if (!strcasecmp(signal_arg, "runservice"))
+        mpm_service_started();
+
     /* Wait for shutdown or restart events or for child death */
     process_handles[current_live_processes] = shutdown_event;
     process_handles[current_live_processes+1] = restart_event;
+
     rv = WaitForMultipleObjects(current_live_processes+2, (HANDLE *)process_handles, 
                                 FALSE, INFINITE);
     cld = rv - WAIT_OBJECT_0;
     if (rv == WAIT_FAILED) {
         /* Something serious is wrong */
-        ap_log_error(APLOG_MARK,APLOG_CRIT, GetLastError(), server_conf,
-                     "master_main: : WaitForMultipeObjects on process handles and apache-signal -- doing shutdown");
+        ap_log_error(APLOG_MARK,APLOG_CRIT, apr_get_os_error(), server_conf,
+                     "master_main: WaitForMultipeObjects WAIT_FAILED -- doing server shutdown");
         shutdown_pending = 1;
     }
     else if (rv == WAIT_TIMEOUT) {
         /* Hey, this cannot happen */
-        ap_log_error(APLOG_MARK, APLOG_ERR, GetLastError(), s,
+        ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_os_error(), s,
                      "master_main: WaitForMultipeObjects with INFINITE wait exited with WAIT_TIMEOUT");
         shutdown_pending = 1;
     }
     else if (cld == current_live_processes) {
         /* shutdown_event signalled */
         shutdown_pending = 1;
+        printf("shutdown event signaled\n");
         ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS, s, 
-                     "master_main: Shutdown event signaled. Shutting the server down.");
+                     "Parent: SHUTDOWN EVENT SIGNALED -- Shutting down the server.");
         if (ResetEvent(shutdown_event) == 0) {
-            ap_log_error(APLOG_MARK, APLOG_ERR, GetLastError(), s,
+            ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_os_error(), s,
                          "ResetEvent(shutdown_event)");
         }
 
@@ -1441,51 +1714,62 @@ static int master_main(server_rec *s, HANDLE shutdown_event, HANDLE restart_even
         /* restart_event signalled */
         int children_to_kill = current_live_processes;
         restart_pending = 1;
-        ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS, s, 
-                     "master_main: Restart event signaled. Doing a graceful restart.");
+        ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, s, 
+                     "Parent: RESTART EVENT SIGNALED -- Restarting the server.");
         if (ResetEvent(restart_event) == 0) {
-            ap_log_error(APLOG_MARK, APLOG_ERR, GetLastError(), s,
+            ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_os_error(), s,
                          "master_main: ResetEvent(restart_event) failed.");
         }
         /* Signal each child process to die 
          * We are making a big assumption here that the child process, once signaled,
          * will REALLY go away. Since this is a restart, we do not want to hold the 
          * new child process up waiting for the old child to die. Remove the old 
-         * child out of the process_handles ap_table_t and hope for the best...
+         * child out of the process_handles apr_table_t and hope for the best...
          */
         for (i = 0; i < children_to_kill; i++) {
-            /* APD3("master_main: signalling child #%d handle %d to die", i, process_handles[i]); */
             if (SetEvent(process_kill_events[i]) == 0)
-                ap_log_error(APLOG_MARK, APLOG_ERR, GetLastError(), s,
+                ap_log_error(APLOG_MARK, APLOG_ERR, apr_get_os_error(), s,
                              "master_main: SetEvent for child process in slot #%d failed", i);
             cleanup_process(process_handles, process_kill_events, i, &current_live_processes);
         }
     } 
     else {
-        /* A child process must have exited because of MaxRequestPerChild being hit
-         * or a fatal error condition (seg fault, etc.). Remove the dead process 
-         * from the process_handles and process_kill_events ap_table_t and create a new
+        /* A child process must have exited because of a fatal error condition (seg fault, etc.). 
+         * Remove the dead process 
+         * from the process_handles and process_kill_events apr_table_t and create a new
          * child process.
          * TODO: Consider restarting the child immediately without looping through http_main
          * and without rereading the configuration. Will need this if we ever support multiple 
          * children. One option, create a parent thread which waits on child death and restarts it.
+         * Consider, however, that if the user makes httpd.conf invalid, we want to die before
+         * our child tries it... otherwise we have a nasty loop.
          */
         restart_pending = 1;
         ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS, server_conf, 
-                     "master_main: Child processed exited (due to MaxRequestsPerChild?). Restarting the child process.");
+                     "Parent: CHILD PROCESS FAILED -- Restarting the child process.");
         ap_assert(cld < current_live_processes);
         cleanup_process(process_handles, process_kill_events, cld, &current_live_processes);
         /* APD2("main_process: child in slot %d died", rv); */
         /* restart_child(process_hancles, process_kill_events, cld, &current_live_processes); */
+
+        /* Drain the AcceptEx completion port of any outstanding I/O pending for the dead 
+         * process. */
+        drain_acceptex_complport(AcceptExCompPort, FALSE);
     }
 
 die_now:
-    if (shutdown_pending) {
+    if (shutdown_pending) 
+    {
         int tmstart = time(NULL);
+        
+        if (strcasecmp(signal_arg, "runservice")) {
+            mpm_service_stopping();
+        }
         /* Signal each child processes to die */
         for (i = 0; i < current_live_processes; i++) {
+            printf("SetEvent handle = %d\n", process_kill_events[i]);
             if (SetEvent(process_kill_events[i]) == 0)
-                ap_log_error(APLOG_MARK,APLOG_ERR, GetLastError(), server_conf,
+                ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
                              "master_main: SetEvent for child process in slot #%d failed", i);
         }
 
@@ -1500,107 +1784,353 @@ die_now:
         }
         for (i = 0; i < current_live_processes; i++) {
             ap_log_error(APLOG_MARK,APLOG_ERR|APLOG_NOERRNO, APR_SUCCESS, server_conf,
-                         "forcing termination of child #%d (handle %d)", i, process_handles[i]);
+                         "Parent: Forcing termination of child #%d (handle %d)", i, process_handles[i]);
             TerminateProcess((HANDLE) process_handles[i], 1);
         }
-        return (0); /* Tell the caller we are shutting down */
+        return 0;  /* Tell the caller we do not want to restart */
     }
 
-    return (1); /* Tell the caller we want a restart */
+    return 1;      /* Tell the caller we want a restart */
 }
 
-/* 
- * winnt_pre_config()
+
+#define SERVICE_UNNAMED (-1)
+
+/* service_nt_main_fn needs to append the StartService() args 
+ * outside of our call stack and thread as the service starts...
+ */
+apr_array_header_t *mpm_new_argv;
+
+/* Remember service_to_start failures to log and fail in pre_config.
+ * Remember inst_argc and inst_argv for installing or starting the
+ * service after we preflight the config.
  */
-static void winnt_pre_config(ap_context_t *pconf, ap_context_t *plog, ap_context_t *ptemp) 
+
+static apr_status_t service_to_start_success;
+static int inst_argc;
+static const char * const *inst_argv;
+    
+void winnt_rewrite_args(process_rec *process) 
 {
+    /* Handle the following SCM aspects in this phase:
+     *
+     *   -k runservice [transition for WinNT, nothing for Win9x]
+     *   -k (!)install [error out if name is not installed]
+     *
+     * We can't leave this phase until we know our identity
+     * and modify the command arguments appropriately.
+     */
+    apr_status_t service_named = SERVICE_UNNAMED;
+    apr_status_t rv;
+    char *def_server_root;
+    char fnbuf[MAX_PATH];
+    char optbuf[3];
+    const char *optarg;
+    int fixed_args;
     char *pid;
-    one_process=1;//!!getenv("ONE_PROCESS");
+    apr_getopt_t *opt;
+    int running_as_service = 1;
 
     osver.dwOSVersionInfoSize = sizeof(OSVERSIONINFO);
     GetVersionEx(&osver);
 
     /* AP_PARENT_PID is only valid in the child */
     pid = getenv("AP_PARENT_PID");
-    if (pid) {
+    if (pid) 
+    {
         /* This is the child */
-        parent_pid = atoi(pid);
-        my_pid = getpid();
+        my_pid = GetCurrentProcessId();
+        parent_pid = (DWORD) atol(pid);
+
+        /* The parent is responsible for providing the
+         * COMPLETE ARGUMENTS REQUIRED to the child.
+         *
+         * No further argument parsing is needed, but
+         * for good measure we will provide a simple
+         * signal string for later testing.
+         */
+        signal_arg = "runchild";
+        return;
     }
-    else {
-        /* This is the parent */
-        parent_pid = my_pid = getpid();
-        ap_log_pid(pconf, mpm_pid_fname);
+    
+    /* This is the parent, we have a long way to go :-) */
+    parent_pid = my_pid = GetCurrentProcessId();
+    
+    /* Rewrite process->argv[]; 
+     *
+     * strip out -k signal into signal_arg
+     * strip out -n servicename into service_name & display_name
+     * add default -d serverroot from the path of this executable
+     * 
+     * The end result will look like:
+     *
+     * The invocation command (%0)
+     *     The -d serverroot default from the running executable
+     *         The requested service's (-n) registry ConfigArgs
+     *             The WinNT SCM's StartService() args
+     */
+    if (!GetModuleFileName(NULL, fnbuf, sizeof(fnbuf))) {
+        rv = apr_get_os_error();
+        ap_log_error(APLOG_MARK,APLOG_ERR, rv, NULL, 
+                     "Failed to get the path of Apache.exe");
+        exit(1);
     }
+    /* WARNING: There is an implict assumption here that the
+     * executable resides in ServerRoot or ServerRoot\bin
+     */
+    def_server_root = (char *) apr_filename_of_pathname(fnbuf);
+    if (def_server_root > fnbuf) {
+        *(def_server_root - 1) = '\0';
+        def_server_root = (char *) apr_filename_of_pathname(fnbuf);
+        if (!strcasecmp(def_server_root, "bin"))
+            *(def_server_root - 1) = '\0';
+    }
+    def_server_root = ap_os_canonical_filename(process->pool, fnbuf);
 
-    ap_listen_pre_config();
-    ap_daemons_to_start = DEFAULT_NUM_DAEMON;
-    ap_threads_per_child = DEFAULT_START_THREAD;
-    mpm_pid_fname = DEFAULT_PIDLOG;
-    max_requests_per_child = DEFAULT_MAX_REQUESTS_PER_CHILD;
+    /* Use process->pool so that the rewritten argv
+     * lasts for the lifetime of the server process,
+     * because pconf will be destroyed after the 
+     * initial pre-flight of the config parser.
+     */
+    mpm_new_argv = apr_make_array(process->pool, process->argc + 2,
+                                  sizeof(const char *));
+    *(const char **)apr_push_array(mpm_new_argv) = process->argv[0];
+    *(const char **)apr_push_array(mpm_new_argv) = "-d";
+    *(const char **)apr_push_array(mpm_new_argv) = def_server_root;
+
+    fixed_args = mpm_new_argv->nelts;
+
+    optbuf[0] = '-';
+    optbuf[2] = '\0';
+    apr_initopt(&opt, process->pool, process->argc, (char**) process->argv);
+    while (apr_getopt(opt, "n:k:iu" AP_SERVER_BASEARGS, 
+                      optbuf + 1, &optarg) == APR_SUCCESS) {
+        switch (optbuf[1]) {
+        case 'n':
+            service_named = mpm_service_set_name(process->pool, optarg);
+            break;
+        case 'k':
+            signal_arg = optarg;
+            break;
+        case 'i':
+            ap_log_error(APLOG_MARK,APLOG_WARNING, 0, NULL,
+                "-i is deprecated.  Use -k install.");
+            signal_arg = "install";
+            break;
+        case 'u':
+            ap_log_error(APLOG_MARK,APLOG_WARNING, 0, NULL,
+                "-u is deprecated.  Use -k uninstall.");
+            signal_arg = "uninstall";
+            break;
+        default:
+            *(const char **)apr_push_array(mpm_new_argv) =
+                apr_pstrdup(process->pool, optbuf);
+
+            if (optarg) {
+                *(const char **)apr_push_array(mpm_new_argv) = optarg;
+            }
+            break;
+        }
+    }
+    
+    /* Track the number of args actually entered by the user */
+    inst_argc = mpm_new_argv->nelts - fixed_args;
 
-    ap_cpystrn(ap_coredump_dir, ap_server_root, sizeof(ap_coredump_dir));
+    /* Provide a default 'run' -k arg to simplify signal_arg tests */
+    if (!signal_arg)
+    {
+        signal_arg = "run";
+        running_as_service = 0;
+    }
 
-}
+    if (!strcasecmp(signal_arg, "runservice")) 
+    {
+        /* Start the NT Service _NOW_ because the WinNT SCM is 
+         * expecting us to rapidly assume control of our own 
+         * process, the SCM will tell us our service name, and
+         * may have extra StartService() command arguments to
+         * add for us.
+         *
+         * Any other process has a console, so we don't to begin
+         * a Win9x service until the configuration is parsed and
+         * any command line errors are reported.
+         *
+         * We hold the return value so that we can die in pre_config
+         * after logging begins, and the failure can land in the log.
+         */
+        if (osver.dwPlatformId == VER_PLATFORM_WIN32_NT) {
+            service_to_start_success = mpm_service_to_start();
+            if (service_to_start_success == APR_SUCCESS)
+                service_named = APR_SUCCESS;
+        }
+    }
 
-static void winnt_post_config(ap_context_t *pconf, ap_context_t *plog, ap_context_t *ptemp, server_rec* server_conf)
-{
-    server_conf = server_conf;
+    if (service_named == SERVICE_UNNAMED && running_as_service) {
+        service_named = mpm_service_set_name(process->pool, 
+                                             DEFAULT_SERVICE_NAME);
+    }
+
+    if (!strcasecmp(signal_arg, "install")) /* -k install */
+    {
+        if (service_named == APR_SUCCESS) 
+        {
+            ap_log_error(APLOG_MARK,APLOG_ERR, 0, NULL,
+                 "%s: Service is already installed.", display_name);
+            exit(1);
+        }
+    }
+    else if (running_as_service)
+    {
+        if (service_named == APR_SUCCESS) 
+        {
+            rv = mpm_merge_service_args(process->pool, mpm_new_argv, 
+                                        fixed_args);
+            if (rv == APR_SUCCESS) {
+                ap_log_error(APLOG_MARK,APLOG_NOERRNO|APLOG_INFO, 0, NULL,
+                             "Using ConfigArgs of the installed service "
+                             "\"%s\".", display_name);
+            }
+           else  {
+                ap_log_error(APLOG_MARK,APLOG_INFO, rv, NULL,
+                             "No installed ConfigArgs for the service "
+                             "\"%s\", using Apache defaults.", display_name);
+           }
+        }
+        else
+        {
+            ap_log_error(APLOG_MARK,APLOG_INFO|APLOG_NOERRNO, 0, NULL,
+                 "No installed service named \"%s\".", display_name);
+            exit(1);
+        }
+    }
+    
+    /* Track the args actually entered by the user.
+     * These will be used for the -k install parameters, as well as
+     * for the -k start service override arguments.
+     */
+    inst_argv = (const char * const *)mpm_new_argv->elts
+        + mpm_new_argv->nelts - inst_argc;
+
+    process->argc = mpm_new_argv->nelts; 
+    process->argv = (const char * const *) mpm_new_argv->elts;
 }
 
-API_EXPORT(int) ap_mpm_run(ap_context_t *_pconf, ap_context_t *plog, server_rec *s )
+
+static void winnt_pre_config(apr_pool_t *pconf, apr_pool_t *plog, apr_pool_t *ptemp) 
 {
+    /* Handle the following SCM aspects in this phase:
+     *
+     *   -k runservice [WinNT errors logged from rewrite_args]
+     *   -k uninstall
+     *   -k stop
+     *
+     * in these cases we -don't- care if httpd.conf has config errors!
+     */
+    apr_status_t rv;
 
-    char* exit_event_name;
+    if (ap_exists_config_define("ONE_PROCESS"))
+        one_process = -1;
 
-//    time_t tmstart;
-    HANDLE shutdown_event;     /* used to signal shutdown to parent */
-    HANDLE restart_event;      /* used to signal a restart to parent */
+    if (ap_exists_config_define("ONE_PROCESS"))
+        one_process = -1;
 
-    pconf = _pconf;
-    server_conf = s;
+    if (!strcasecmp(signal_arg, "runservice")
+            && (osver.dwPlatformId == VER_PLATFORM_WIN32_NT)
+            && (service_to_start_success != APR_SUCCESS)) {
+        ap_log_error(APLOG_MARK,APLOG_ERR, service_to_start_success, NULL, 
+                     "%s: Unable to start the service manager.",
+                     display_name);
+        exit(1);
+    }
 
-    if ((parent_pid != my_pid) || one_process) {
-        /* Child process */
-        AMCSocketInitialize();
-        exit_event_name = ap_psprintf(pconf, "apC%d", my_pid);
-        setup_signal_names(ap_psprintf(pconf,"ap%d", parent_pid));
-        if (one_process) {
-            ap_create_lock(&start_mutex,APR_MUTEX, APR_CROSS_PROCESS,signal_name_prefix,pconf);
-            exit_event = create_exit_event(exit_event_name);
-        }
-        else {
-            ap_child_init_lock(&start_mutex, signal_name_prefix, pconf);
-            exit_event = open_event(exit_event_name);
-        }
-        ap_assert(start_mutex);
-        ap_assert(exit_event);
+    if (!strcasecmp(signal_arg, "uninstall")) {
+        rv = mpm_service_uninstall();
+        exit(rv);
+    }
+
+    if (!strcasecmp(signal_arg, "stop")) {
+        mpm_signal_service(ptemp, 0);
+        exit(0);
+    }
+
+    ap_listen_pre_config();
+    ap_daemons_to_start = DEFAULT_NUM_DAEMON;
+    ap_threads_per_child = DEFAULT_START_THREAD;
+    ap_pid_fname = DEFAULT_PIDLOG;
+    max_requests_per_child = DEFAULT_MAX_REQUESTS_PER_CHILD;
 
-        worker_main();
+    apr_cpystrn(ap_coredump_dir, ap_server_root, sizeof(ap_coredump_dir));
+}
+
+static void winnt_post_config(apr_pool_t *pconf, apr_pool_t *plog, apr_pool_t *ptemp, server_rec* server)
+{
+    static int restart_num = 0;
+    apr_status_t rv = 0;
 
-        destroy_event(exit_event);
-        AMCSocketCleanup();
+    server_conf = server;
+    
+    /* Handle the following SCM aspects in this phase:
+     *
+     *   -k install
+     *   -k start
+     *   -k restart
+     *   -k runservice [Win95, only once - after we parsed the config]
+     *
+     * because all of these signals are useful _only_ if there
+     * is a valid conf\httpd.conf environment to start.
+     *
+     * We reached this phase by avoiding errors that would cause
+     * these options to fail unexpectedly in another process.
+     */
+
+    if (!strcasecmp(signal_arg, "install")) {
+        rv = mpm_service_install(ptemp, inst_argc, inst_argv);
+        exit (rv);
     }
-    else {
-        /* Parent process */
-        static int restart = 0;
-        PSECURITY_ATTRIBUTES sa = GetNullACL();  /* returns NULL if invalid (Win95?) */
 
-        ap_clear_pool(plog);
-        ap_open_logs(server_conf, plog);
+    if (!strcasecmp(signal_arg, "start")) {
+        rv = mpm_service_start(ptemp, inst_argc, inst_argv);
+        exit (rv);
+    }
 
-        if (!restart) {
-            /* service_set_status(SERVICE_START_PENDING);*/
-            AMCSocketInitialize();
-            setup_signal_names(ap_psprintf(pconf,"ap%d", parent_pid));
-        
+    if (!strcasecmp(signal_arg, "restart")) {
+        mpm_signal_service(ptemp, 1);
+        exit (rv);
+    }
+
+    if (parent_pid == my_pid) 
+    {
+        if (restart_num++ == 1) 
+        {
+            /* This code should be run once in the parent and not run
+             * across a restart
+             */
+            PSECURITY_ATTRIBUTES sa = GetNullACL();  /* returns NULL if invalid (Win95?) */
+            setup_signal_names(apr_psprintf(pconf,"ap%d", parent_pid));
+            if (osver.dwPlatformId != VER_PLATFORM_WIN32_WINDOWS) {
+                /* Create the AcceptEx IoCompletionPort once in the parent.
+                 * The completion port persists across restarts. 
+                 */
+                AcceptExCompPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE,
+                                                          NULL,
+                                                          0,
+                                                          0); /* CONCURRENT ACTIVE THREADS */
+                if (AcceptExCompPort == NULL) {
+                    ap_log_error(APLOG_MARK,APLOG_ERR, apr_get_os_error(), server_conf,
+                                 "Parent: Unable to create the AcceptExCompletionPort -- process will exit");
+                    exit(1);
+                }
+            }
+
+            ap_log_pid(pconf, ap_pid_fname);
+            
             /* Create shutdown event, apPID_shutdown, where PID is the parent 
              * Apache process ID. Shutdown is signaled by 'apache -k shutdown'.
              */
-            shutdown_event = CreateEvent(sa, TRUE, FALSE, signal_shutdown_name);
+            shutdown_event = CreateEvent(sa, FALSE, FALSE, signal_shutdown_name);
             if (!shutdown_event) {
-                ap_log_error(APLOG_MARK, APLOG_EMERG, GetLastError(), s,
-                             "master_main: Cannot create shutdown event %s", signal_shutdown_name);
+                ap_log_error(APLOG_MARK, APLOG_EMERG, apr_get_os_error(), server_conf,
+                             "Parent: Cannot create shutdown event %s", signal_shutdown_name);
                 CleanNullACL((void *)sa);
                 exit(1);
             }
@@ -1608,54 +2138,98 @@ API_EXPORT(int) ap_mpm_run(ap_context_t *_pconf, ap_context_t *plog, server_rec
             /* Create restart event, apPID_restart, where PID is the parent 
              * Apache process ID. Restart is signaled by 'apache -k restart'.
              */
-            restart_event = CreateEvent(sa, TRUE, FALSE, signal_restart_name);
+            restart_event = CreateEvent(sa, FALSE, FALSE, signal_restart_name);
             if (!restart_event) {
                 CloseHandle(shutdown_event);
-                ap_log_error(APLOG_MARK, APLOG_EMERG, GetLastError(), s,
-                             "master_main: Cannot create restart event %s", signal_restart_name);
+                ap_log_error(APLOG_MARK, APLOG_EMERG, apr_get_os_error(), server_conf,
+                             "Parent: Cannot create restart event %s", signal_restart_name);
                 CleanNullACL((void *)sa);
                 exit(1);
             }
             CleanNullACL((void *)sa);
-            
+
+            /* Now that we are flying at 15000 feet... 
+             * wipe out the Win95 service console,
+             * signal the SCM the WinNT service started, or
+             * if not a service, setup console handlers instead.
+             */
+            if (!strcasecmp(signal_arg, "runservice"))
+            {
+                if (osver.dwPlatformId != VER_PLATFORM_WIN32_NT) 
+                {
+                    rv = mpm_service_to_start();
+                    if (rv != APR_SUCCESS) {
+                        ap_log_error(APLOG_MARK,APLOG_ERR, rv, server_conf,
+                                     "%s: Unable to start the service manager.",
+                                     display_name);
+                        exit(1);
+                    }            
+                }
+            }
+            else /* ! -k runservice */
+            {
+                mpm_start_console_handler();
+            }
+
             /* Create the start mutex, apPID, where PID is the parent Apache process ID.
              * Ths start mutex is used during a restart to prevent more than one 
              * child process from entering the accept loop at once.
              */
-            ap_create_lock(&start_mutex,APR_MUTEX, APR_CROSS_PROCESS,signal_name_prefix,pconf);
-            /* TODO: Add some code to detect failure */
+            apr_create_lock(&start_mutex,APR_MUTEX, APR_CROSS_PROCESS, signal_name_prefix,
+                               server_conf->process->pool);
         }
+    }
+    else /* parent_pid != my_pid */
+    {
+        mpm_start_child_console_handler();
+    }
+}
+
+AP_DECLARE(int) ap_mpm_run(apr_pool_t *_pconf, apr_pool_t *plog, server_rec *s )
+{
+    static int restart = 0;            /* Default is "not a restart" */
+
+    pconf = _pconf;
+    server_conf = s;
+
+    if ((parent_pid != my_pid) || one_process) {
+        /* Running as Child process or in one_process (debug) mode */
+        ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                     "Child %d: Child process is running", my_pid);
+        child_main();
+        ap_log_error(APLOG_MARK, APLOG_INFO, APR_SUCCESS, server_conf,
+                     "Child %d: Child process is exiting", my_pid);        
 
-        /* Go to work... */
+        return 1;
+    }  /* Child or single process */
+    else { /* Parent process */
         restart = master_main(server_conf, shutdown_event, restart_event);
 
         if (!restart) {
-            const char *pidfile = NULL;
             /* Shutting down. Clean up... */
-            pidfile = ap_server_root_relative (pconf, mpm_pid_fname);
-            if ( pidfile != NULL && unlink(pidfile) == 0)
-                ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO,APR_SUCCESS,
-                             server_conf,
-                             "removed PID file %s (pid=%ld)",
-                             pidfile, (long)getpid());
-            ap_destroy_lock(start_mutex);
+            const char *pidfile = ap_server_root_relative (pconf, ap_pid_fname);
+
+            if (pidfile != NULL && unlink(pidfile) == 0) {
+                ap_log_error(APLOG_MARK, APLOG_NOERRNO|APLOG_INFO, APR_SUCCESS,
+                             server_conf, "removed PID file %s (pid=%ld)",
+                             pidfile, GetCurrentProcessId());
+            }
+            apr_destroy_lock(start_mutex);
 
             CloseHandle(restart_event);
             CloseHandle(shutdown_event);
-            AMCSocketCleanup();
-            /* service_set_status(SERVICE_STOPPED); */
+
+            return 1;
         }
-        return !restart;
-    }
-    return (0);
+    }  /* Parent process */
+
+    return 0; /* Restart */
 }
 
 static void winnt_hooks(void)
 {
-//    INIT_SIGLIST()
-    one_process = 0;
-    /* Configuration hooks implemented by http_config.c ... */
-    ap_hook_pre_config(winnt_pre_config, NULL, NULL, HOOK_MIDDLE);
+    ap_hook_pre_config(winnt_pre_config, NULL, NULL, AP_HOOK_MIDDLE);
+    ap_hook_post_config(winnt_post_config, NULL, NULL, 0);
 }
 
 /* 
@@ -1671,7 +2245,7 @@ static const char *set_pidfile(cmd_parms *cmd, void *dummy, char *arg)
     if (cmd->server->is_virtual) {
        return "PidFile directive not allowed in <VirtualHost>";
     }
-    mpm_pid_fname = arg;
+    ap_pid_fname = arg;
     return NULL;
 }
 
@@ -1684,15 +2258,19 @@ static const char *set_threads_per_child (cmd_parms *cmd, void *dummy, char *arg
 
     ap_threads_per_child = atoi(arg);
     if (ap_threads_per_child > HARD_THREAD_LIMIT) {
-        fprintf(stderr, "WARNING: ThreadsPerChild of %d exceeds compile time"
-                " limit of %d threads,\n", ap_threads_per_child,
-                HARD_THREAD_LIMIT);
-        fprintf(stderr, " lowering ThreadsPerChild to %d. To increase, please"
-                " see the\n", HARD_THREAD_LIMIT);
-        fprintf(stderr, " HARD_THREAD_LIMIT define in src/include/httpd.h.\n");
+        ap_log_error(APLOG_MARK, APLOG_STARTUP | APLOG_NOERRNO, 0, NULL, 
+                     "WARNING: ThreadsPerChild of %d exceeds compile time"
+                     " limit of %d threads,", ap_threads_per_child, 
+                     HARD_THREAD_LIMIT);
+        ap_log_error(APLOG_MARK, APLOG_STARTUP | APLOG_NOERRNO, 0, NULL,
+                     " lowering ThreadsPerChild to %d. To increase, please"
+                     " see the  HARD_THREAD_LIMIT define in %s.", 
+                     HARD_THREAD_LIMIT, AP_MPM_HARD_LIMITS_FILE);
+        ap_threads_per_child = HARD_THREAD_LIMIT;
     }
     else if (ap_threads_per_child < 1) {
-       fprintf(stderr, "WARNING: Require ThreadsPerChild > 0, setting to 1\n");
+       ap_log_error(APLOG_MARK, APLOG_STARTUP | APLOG_NOERRNO, 0, NULL, 
+                     "WARNING: Require ThreadsPerChild > 0, setting to 1");
        ap_threads_per_child = 1;
     }
     return NULL;
@@ -1713,7 +2291,7 @@ static const char *set_max_requests(cmd_parms *cmd, void *dummy, char *arg)
 
 static const char *set_coredumpdir (cmd_parms *cmd, void *dummy, char *arg) 
 {
-    struct stat finfo;
+    apr_finfo_t finfo;
     const char *fname;
     const char *err = ap_check_cmd_context(cmd, GLOBAL_ONLY);
     if (err != NULL) {
@@ -1721,34 +2299,38 @@ static const char *set_coredumpdir (cmd_parms *cmd, void *dummy, char *arg)
     }
 
     fname = ap_server_root_relative(cmd->pool, arg);
-    /* ZZZ change this to the AP func FileInfo*/
-    if ((stat(fname, &finfo) == -1) || !S_ISDIR(finfo.st_mode)) {
-       return ap_pstrcat(cmd->pool, "CoreDumpDirectory ", fname, 
+    if ((apr_stat(&finfo, fname, cmd->pool) != APR_SUCCESS) || 
+        (finfo.filetype != APR_DIR)) {
+       return apr_pstrcat(cmd->pool, "CoreDumpDirectory ", fname, 
                          " does not exist or is not a directory", NULL);
     }
-    ap_cpystrn(ap_coredump_dir, fname, sizeof(ap_coredump_dir));
+    apr_cpystrn(ap_coredump_dir, fname, sizeof(ap_coredump_dir));
     return NULL;
 }
 
 /* Stub functions until this MPM supports the connection status API */
 
-API_EXPORT(void) ap_update_connection_status(long conn_id, const char *key, \
+AP_DECLARE(void) ap_update_connection_status(long conn_id, const char *key, \
                                              const char *value)
 {
     /* NOP */
 }
 
-API_EXPORT(void) ap_reset_connection_status(long conn_id)
+AP_DECLARE(void) ap_reset_connection_status(long conn_id)
+{
+    /* NOP */
+}
+
+AP_DECLARE(apr_array_header_t *) ap_get_status_table(apr_pool_t *p)
 {
     /* NOP */
+    return NULL;
 }
 
 static const command_rec winnt_cmds[] = {
 LISTEN_COMMANDS
 { "PidFile", set_pidfile, NULL, RSRC_CONF, TAKE1,
     "A file for logging the server process ID"},
-//{ "ScoreBoardFile", set_scoreboard, NULL, RSRC_CONF, TAKE1,
-//    "A file for Apache to maintain runtime process management information"},
 { "ThreadsPerChild", set_threads_per_child, NULL, RSRC_CONF, TAKE1,
   "Number of threads each child creates" },
 { "MaxRequestsPerChild", set_max_requests, NULL, RSRC_CONF, TAKE1,
@@ -1758,13 +2340,13 @@ LISTEN_COMMANDS
 { NULL }
 };
 
-module MODULE_VAR_EXPORT mpm_winnt_module = {
-    STANDARD20_MODULE_STUFF,
+AP_MODULE_DECLARE_DATA module mpm_winnt_module = {
+    MPM20_MODULE_STUFF,
+    winnt_rewrite_args,         /* hook to run before apache parses args */
     NULL,                      /* create per-directory config structure */
     NULL,                      /* merge per-directory config structures */
     NULL,                      /* create per-server config structure */
     NULL,                      /* merge per-server config structures */
-    winnt_cmds,                        /* command ap_table_t */
-    NULL,                      /* handlers */
+    winnt_cmds,                        /* command apr_table_t */
     winnt_hooks                /* register_hooks */
 };