]> granicus.if.org Git - apache/blob - docs/manual/logs.html.en
Fix alignment in a <highlight> block.
[apache] / docs / manual / logs.html.en
1 <?xml version="1.0" encoding="ISO-8859-1"?>
2 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
3 <html xmlns="http://www.w3.org/1999/xhtml" lang="en" xml:lang="en"><head>
4 <meta content="text/html; charset=ISO-8859-1" http-equiv="Content-Type" />
5 <!--
6         XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
7               This file is generated from xml source: DO NOT EDIT
8         XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
9       -->
10 <title>Log Files - Apache HTTP Server Version 2.5</title>
11 <link href="./style/css/manual.css" rel="stylesheet" media="all" type="text/css" title="Main stylesheet" />
12 <link href="./style/css/manual-loose-100pc.css" rel="alternate stylesheet" media="all" type="text/css" title="No Sidebar - Default font size" />
13 <link href="./style/css/manual-print.css" rel="stylesheet" media="print" type="text/css" /><link rel="stylesheet" type="text/css" href="./style/css/prettify.css" />
14 <script src="./style/scripts/prettify.min.js" type="text/javascript">
15 </script>
16
17 <link href="./images/favicon.ico" rel="shortcut icon" /></head>
18 <body id="manual-page"><div id="page-header">
19 <p class="menu"><a href="./mod/">Modules</a> | <a href="./mod/quickreference.html">Directives</a> | <a href="http://wiki.apache.org/httpd/FAQ">FAQ</a> | <a href="./glossary.html">Glossary</a> | <a href="./sitemap.html">Sitemap</a></p>
20 <p class="apache">Apache HTTP Server Version 2.5</p>
21 <img alt="" src="./images/feather.png" /></div>
22 <div class="up"><a href="./"><img title="&lt;-" alt="&lt;-" src="./images/left.gif" /></a></div>
23 <div id="path">
24 <a href="http://www.apache.org/">Apache</a> &gt; <a href="http://httpd.apache.org/">HTTP Server</a> &gt; <a href="http://httpd.apache.org/docs/">Documentation</a> &gt; <a href="./">Version 2.5</a></div><div id="page-content"><div id="preamble"><h1>Log Files</h1>
25 <div class="toplang">
26 <p><span>Available Languages: </span><a href="./en/logs.html" title="English">&nbsp;en&nbsp;</a> |
27 <a href="./fr/logs.html" hreflang="fr" rel="alternate" title="Français">&nbsp;fr&nbsp;</a> |
28 <a href="./ja/logs.html" hreflang="ja" rel="alternate" title="Japanese">&nbsp;ja&nbsp;</a> |
29 <a href="./ko/logs.html" hreflang="ko" rel="alternate" title="Korean">&nbsp;ko&nbsp;</a> |
30 <a href="./tr/logs.html" hreflang="tr" rel="alternate" title="Türkçe">&nbsp;tr&nbsp;</a></p>
31 </div>
32
33     <p>In order to effectively manage a web server, it is necessary
34     to get feedback about the activity and performance of the
35     server as well as any problems that may be occurring. The Apache HTTP Server
36     provides very comprehensive and flexible logging
37     capabilities. This document describes how to configure its
38     logging capabilities, and how to understand what the logs
39     contain.</p>
40   </div>
41 <div id="quickview"><ul id="toc"><li><img alt="" src="./images/down.gif" /> <a href="#overview">Overview</a></li>
42 <li><img alt="" src="./images/down.gif" /> <a href="#security">Security Warning</a></li>
43 <li><img alt="" src="./images/down.gif" /> <a href="#errorlog">Error Log</a></li>
44 <li><img alt="" src="./images/down.gif" /> <a href="#permodule">Per-module logging</a></li>
45 <li><img alt="" src="./images/down.gif" /> <a href="#accesslog">Access Log</a></li>
46 <li><img alt="" src="./images/down.gif" /> <a href="#rotation">Log Rotation</a></li>
47 <li><img alt="" src="./images/down.gif" /> <a href="#piped">Piped Logs</a></li>
48 <li><img alt="" src="./images/down.gif" /> <a href="#virtualhost">Virtual Hosts</a></li>
49 <li><img alt="" src="./images/down.gif" /> <a href="#other">Other Log Files</a></li>
50 </ul><h3>See also</h3><ul class="seealso"><li><a href="#comments_section">Comments</a></li></ul></div>
51 <div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
52 <div class="section">
53 <h2><a name="overview" id="overview">Overview</a> <a title="Permanent link" href="#overview" class="permalink">&para;</a></h2>
54     
55
56   <table class="related"><tr><th>Related Modules</th><th>Related Directives</th></tr><tr><td><ul><li><code class="module"><a href="./mod/mod_log_config.html">mod_log_config</a></code></li><li><code class="module"><a href="./mod/mod_log_forensic.html">mod_log_forensic</a></code></li><li><code class="module"><a href="./mod/mod_logio.html">mod_logio</a></code></li><li><code class="module"><a href="./mod/mod_cgi.html">mod_cgi</a></code></li></ul></td><td /></tr></table>
57
58   <p>
59   The Apache HTTP Server provides a variety of different mechanisms for
60   logging everything that happens on your server, from the initial
61   request, through the URL mapping process, to the final resolution of
62   the connection, including any errors that may have occurred in the
63   process. In addition to this, third-party modules may provide logging
64   capabilities, or inject entries into the existing log files, and
65   applications such as CGI programs, or PHP scripts, or other handlers,
66   may send messages to the server error log.
67   </p>
68
69   <p>
70   In this document we discuss the logging modules that are a standard
71   part of the http server.
72   </p>
73
74   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
75 <div class="section">
76 <h2><a name="security" id="security">Security Warning</a> <a title="Permanent link" href="#security" class="permalink">&para;</a></h2>
77     
78
79     <p>Anyone who can write to the directory where Apache httpd is
80     writing a log file can almost certainly gain access to the uid
81     that the server is started as, which is normally root. Do
82     <em>NOT</em> give people write access to the directory the logs
83     are stored in without being aware of the consequences; see the
84     <a href="misc/security_tips.html">security tips</a> document
85     for details.</p>
86
87     <p>In addition, log files may contain information supplied
88     directly by the client, without escaping. Therefore, it is
89     possible for malicious clients to insert control-characters in
90     the log files, so care must be taken in dealing with raw
91     logs.</p>
92   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
93 <div class="section">
94 <h2><a name="errorlog" id="errorlog">Error Log</a> <a title="Permanent link" href="#errorlog" class="permalink">&para;</a></h2>
95     
96
97     <table class="related"><tr><th>Related Modules</th><th>Related Directives</th></tr><tr><td><ul><li><code class="module"><a href="./mod/core.html">core</a></code></li></ul></td><td><ul><li><code class="directive"><a href="./mod/core.html#errorlog">ErrorLog</a></code></li><li><code class="directive"><a href="./mod/core.html#errorlogformat">ErrorLogFormat</a></code></li><li><code class="directive"><a href="./mod/core.html#loglevel">LogLevel</a></code></li></ul></td></tr></table>
98
99     <p>The server error log, whose name and location is set by the
100     <code class="directive"><a href="./mod/core.html#errorlog">ErrorLog</a></code> directive, is the
101     most important log file. This is the place where Apache httpd
102     will send diagnostic information and record any errors that it
103     encounters in processing requests. It is the first place to
104     look when a problem occurs with starting the server or with the
105     operation of the server, since it will often contain details of
106     what went wrong and how to fix it.</p>
107
108     <p>The error log is usually written to a file (typically
109     <code>error_log</code> on Unix systems and
110     <code>error.log</code> on Windows and OS/2). On Unix systems it
111     is also possible to have the server send errors to
112     <code>syslog</code> or <a href="#piped">pipe them to a
113     program</a>.</p>
114
115     <p>The format of the error log is defined by the <code class="directive"><a href="./mod/core.html#errorlogformat">ErrorLogFormat</a></code> directive, with which you
116     can customize what values are logged. A default is format defined
117     if you don't specify one. A typical log message follows:</p>
118
119     <div class="example"><p><code>
120     [Fri Sep 09 10:42:29.902022 2011] [core:error] [pid 35708:tid 4328636416]
121     [client 72.15.99.187] File does not exist: /usr/local/apache2/htdocs/favicon.ico
122     </code></p></div>
123
124     <p>The first item in the log entry is the date and time of the
125     message. The next is the module producing the message (core, in this
126     case) and the severity level of that message. This is followed by
127     the process ID and, if appropriate, the thread ID, of the process
128     that experienced the condition. Next, we have the client address
129     that made the request. And finally is the detailed error message,
130     which in this case indicates a request for a file that did not
131     exist.</p>
132
133     <p>A very wide variety of different messages can appear in the
134     error log. Most look similar to the example above. The error
135     log will also contain debugging output from CGI scripts. Any
136     information written to <code>stderr</code> by a CGI script will
137     be copied directly to the error log.</p>
138
139     <p>Putting a <code>%L</code> token in both the error log and the access
140     log will produce a log entry ID with which you can correlate the entry
141     in the error log with the entry in the access log. If
142     <code class="module"><a href="./mod/mod_unique_id.html">mod_unique_id</a></code> is loaded, its unique request ID will be
143     used as the log entry ID, too.</p>
144
145     <p>During testing, it is often useful to continuously monitor
146     the error log for any problems. On Unix systems, you can
147     accomplish this using:</p>
148
149     <div class="example"><p><code>
150       tail -f error_log
151     </code></p></div>
152   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
153 <div class="section">
154 <h2><a name="permodule" id="permodule">Per-module logging</a> <a title="Permanent link" href="#permodule" class="permalink">&para;</a></h2>
155     
156
157     <p>The <code class="directive"><a href="./mod/core.html#loglevel">LogLevel</a></code> directive
158     allows you to specify a log severity level on a per-module basis. In
159     this way, if you are troubleshooting a problem with just one
160     particular module, you can turn up its logging volume without also
161     getting the details of other modules that you're not interested in.
162     This is particularly useful for modules such as
163     <code class="module"><a href="./mod/mod_proxy.html">mod_proxy</a></code> or <code class="module"><a href="./mod/mod_rewrite.html">mod_rewrite</a></code> where you
164     want to know details about what it's trying to do.</p>
165
166     <p>Do this by specifying the name of the module in your
167     <code class="directive">LogLevel</code> directive:</p>
168
169     <pre class="prettyprint lang-config">LogLevel info rewrite:trace5</pre>
170
171
172     <p>This sets the main <code class="directive">LogLevel</code> to info, but
173     turns it up to <code>trace5</code> for
174     <code class="module"><a href="./mod/mod_rewrite.html">mod_rewrite</a></code>.</p>
175
176     <div class="note">This replaces the per-module logging directives, such as
177     <code>RewriteLog</code>, that were present in earlier versions of
178     the server.</div>
179   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
180 <div class="section">
181 <h2><a name="accesslog" id="accesslog">Access Log</a> <a title="Permanent link" href="#accesslog" class="permalink">&para;</a></h2>
182     
183
184     <table class="related"><tr><th>Related Modules</th><th>Related Directives</th></tr><tr><td><ul><li><code class="module"><a href="./mod/mod_log_config.html">mod_log_config</a></code></li><li><code class="module"><a href="./mod/mod_setenvif.html">mod_setenvif</a></code></li></ul></td><td><ul><li><code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code></li><li><code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code></li><li><code class="directive"><a href="./mod/mod_setenvif.html#setenvif">SetEnvIf</a></code></li></ul></td></tr></table>
185
186     <p>The server access log records all requests processed by the
187     server. The location and content of the access log are
188     controlled by the <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code>
189     directive. The <code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code>
190     directive can be used to simplify the selection of
191     the contents of the logs. This section describes how to configure the server
192     to record information in the access log.</p>
193
194     <p>Of course, storing the information in the access log is only
195     the start of log management. The next step is to analyze this
196     information to produce useful statistics. Log analysis in
197     general is beyond the scope of this document, and not really
198     part of the job of the web server itself. For more information
199     about this topic, and for applications which perform log
200     analysis, check the <a href="http://dmoz.org/Computers/Software/Internet/Site_Management/Log_Analysis/">
201     Open Directory</a>.
202     </p>
203
204     <p>Various versions of Apache httpd have used other modules and
205     directives to control access logging, including
206     mod_log_referer, mod_log_agent, and the
207     <code>TransferLog</code> directive. The <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code> directive now subsumes
208     the functionality of all the older directives.</p>
209
210     <p>The format of the access log is highly configurable. The format
211     is specified using a format string that looks much like a C-style
212     printf(1) format string. Some examples are presented in the next
213     sections. For a complete list of the possible contents of the
214     format string, see the <code class="module"><a href="./mod/mod_log_config.html">mod_log_config</a></code> <a href="mod/mod_log_config.html#formats">format strings</a>.</p>
215
216     <h3><a name="common" id="common">Common Log Format</a></h3>
217       
218
219       <p>A typical configuration for the access log might look as
220       follows.</p>
221
222       <pre class="prettyprint lang-config">LogFormat "%h %l %u %t \"%r\" %&gt;s %b" common
223 CustomLog "logs/access_log" common</pre>
224
225
226       <p>This defines the <em>nickname</em> <code>common</code> and
227       associates it with a particular log format string. The format
228       string consists of percent directives, each of which tell the
229       server to log a particular piece of information. Literal
230       characters may also be placed in the format string and will be
231       copied directly into the log output. The quote character
232       (<code>"</code>) must be escaped by placing a backslash before
233       it to prevent it from being interpreted as the end of the
234       format string. The format string may also contain the special
235       control characters "<code>\n</code>" for new-line and
236       "<code>\t</code>" for tab.</p>
237
238       <p>The <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code>
239       directive sets up a new log file using the defined
240       <em>nickname</em>. The filename for the access log is relative to
241       the <code class="directive"><a href="./mod/core.html#serverroot">ServerRoot</a></code> unless it
242       begins with a slash.</p>
243
244       <p>The above configuration will write log entries in a format
245       known as the Common Log Format (CLF). This standard format can
246       be produced by many different web servers and read by many log
247       analysis programs. The log file entries produced in CLF will
248       look something like this:</p>
249
250       <div class="example"><p><code>
251         127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET
252         /apache_pb.gif HTTP/1.0" 200 2326
253       </code></p></div>
254
255       <p>Each part of this log entry is described below.</p>
256
257       <dl>
258         <dt><code>127.0.0.1</code> (<code>%h</code>)</dt>
259
260         <dd>This is the IP address of the client (remote host) which
261         made the request to the server. If <code class="directive"><a href="./mod/core.html#hostnamelookups">HostnameLookups</a></code> is
262         set to <code>On</code>, then the server will try to determine
263         the hostname and log it in place of the IP address. However,
264         this configuration is not recommended since it can
265         significantly slow the server. Instead, it is best to use a
266         log post-processor such as <code class="program"><a href="./programs/logresolve.html">logresolve</a></code> to determine
267         the hostnames. The IP address reported here is not
268         necessarily the address of the machine at which the user is
269         sitting. If a proxy server exists between the user and the
270         server, this address will be the address of the proxy, rather
271         than the originating machine.</dd>
272
273         <dt><code>-</code> (<code>%l</code>)</dt>
274
275         <dd>The "hyphen" in the output indicates that the requested
276         piece of information is not available. In this case, the
277         information that is not available is the RFC 1413 identity of
278         the client determined by <code>identd</code> on the clients
279         machine. This information is highly unreliable and should
280         almost never be used except on tightly controlled internal
281         networks. Apache httpd will not even attempt to determine
282         this information unless <code class="directive"><a href="./mod/mod_ident.html#identitycheck">IdentityCheck</a></code> is set
283         to <code>On</code>.</dd>
284
285         <dt><code>frank</code> (<code>%u</code>)</dt>
286
287         <dd>This is the userid of the person requesting the document
288         as determined by HTTP authentication. The same value is
289         typically provided to CGI scripts in the
290         <code>REMOTE_USER</code> environment variable. If the status
291         code for the request (see below) is 401, then this value
292         should not be trusted because the user is not yet
293         authenticated. If the document is not password protected,
294         this part will be "<code>-</code>" just like the previous
295         one.</dd>
296
297         <dt><code>[10/Oct/2000:13:55:36 -0700]</code>
298         (<code>%t</code>)</dt>
299
300         <dd>
301           The time that the request was received.
302           The format is:
303
304           <p class="indent">
305             <code>[day/month/year:hour:minute:second zone]<br />
306              day = 2*digit<br />
307              month = 3*letter<br />
308              year = 4*digit<br />
309              hour = 2*digit<br />
310              minute = 2*digit<br />
311              second = 2*digit<br />
312              zone = (`+' | `-') 4*digit</code>
313           </p>
314           <p>It is possible to have the time displayed in another format
315           by specifying <code>%{format}t</code> in the log format
316           string, where <code>format</code> is either as in
317           <code>strftime(3)</code> from the C standard library,
318           or one of the supported special tokens. For details see
319           the <code class="module"><a href="./mod/mod_log_config.html">mod_log_config</a></code> <a href="mod/mod_log_config.html#formats">format strings</a>.</p>
320         </dd>
321
322         <dt><code>"GET /apache_pb.gif HTTP/1.0"</code>
323         (<code>\"%r\"</code>)</dt>
324
325         <dd>The request line from the client is given in double
326         quotes. The request line contains a great deal of useful
327         information. First, the method used by the client is
328         <code>GET</code>. Second, the client requested the resource
329         <code>/apache_pb.gif</code>, and third, the client used the
330         protocol <code>HTTP/1.0</code>. It is also possible to log
331         one or more parts of the request line independently. For
332         example, the format string "<code>%m %U%q %H</code>" will log
333         the method, path, query-string, and protocol, resulting in
334         exactly the same output as "<code>%r</code>".</dd>
335
336         <dt><code>200</code> (<code>%&gt;s</code>)</dt>
337
338         <dd>This is the status code that the server sends back to the
339         client. This information is very valuable, because it reveals
340         whether the request resulted in a successful response (codes
341         beginning in 2), a redirection (codes beginning in 3), an
342         error caused by the client (codes beginning in 4), or an
343         error in the server (codes beginning in 5). The full list of
344         possible status codes can be found in the <a href="http://www.w3.org/Protocols/rfc2616/rfc2616.txt">HTTP
345         specification</a> (RFC2616 section 10).</dd>
346
347         <dt><code>2326</code> (<code>%b</code>)</dt>
348
349         <dd>The last part indicates the size of the object returned
350         to the client, not including the response headers. If no
351         content was returned to the client, this value will be
352         "<code>-</code>". To log "<code>0</code>" for no content, use
353         <code>%B</code> instead.</dd>
354       </dl>
355     
356
357     <h3><a name="combined" id="combined">Combined Log Format</a></h3>
358       
359
360       <p>Another commonly used format string is called the Combined
361       Log Format. It can be used as follows.</p>
362
363       <pre class="prettyprint lang-config">LogFormat "%h %l %u %t \"%r\" %&gt;s %b \"%{Referer}i\" \"%{User-agent}i\"" combined
364 CustomLog "log/access_log" combined</pre>
365
366
367       <p>This format is exactly the same as the Common Log Format,
368       with the addition of two more fields. Each of the additional
369       fields uses the percent-directive
370       <code>%{<em>header</em>}i</code>, where <em>header</em> can be
371       any HTTP request header. The access log under this format will
372       look like:</p>
373
374       <div class="example"><p><code>
375         127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET
376         /apache_pb.gif HTTP/1.0" 200 2326
377         "http://www.example.com/start.html" "Mozilla/4.08 [en]
378         (Win98; I ;Nav)"
379       </code></p></div>
380
381       <p>The additional fields are:</p>
382
383       <dl>
384         <dt><code>"http://www.example.com/start.html"</code>
385         (<code>\"%{Referer}i\"</code>)</dt>
386
387         <dd>The "Referer" (sic) HTTP request header. This gives the
388         site that the client reports having been referred from. (This
389         should be the page that links to or includes
390         <code>/apache_pb.gif</code>).</dd>
391
392         <dt><code>"Mozilla/4.08 [en] (Win98; I ;Nav)"</code>
393         (<code>\"%{User-agent}i\"</code>)</dt>
394
395         <dd>The User-Agent HTTP request header. This is the
396         identifying information that the client browser reports about
397         itself.</dd>
398       </dl>
399     
400
401     <h3><a name="multiple" id="multiple">Multiple Access Logs</a></h3>
402       
403
404       <p>Multiple access logs can be created simply by specifying
405       multiple <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code>
406       directives in the configuration
407       file. For example, the following directives will create three
408       access logs. The first contains the basic CLF information,
409       while the second and third contain referer and browser
410       information. The last two <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code> lines show how
411       to mimic the effects of the <code>ReferLog</code> and <code>AgentLog</code> directives.</p>
412
413       <pre class="prettyprint lang-config">LogFormat "%h %l %u %t \"%r\" %&gt;s %b" common
414 CustomLog "logs/access_log" common
415 CustomLog "logs/referer_log" "%{Referer}i -&gt; %U"
416 CustomLog "logs/agent_log" "%{User-agent}i"</pre>
417
418
419       <p>This example also shows that it is not necessary to define a
420       nickname with the <code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code> directive. Instead,
421       the log format can be specified directly in the <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code> directive.</p>
422     
423
424     <h3><a name="conditional" id="conditional">Conditional Logs</a></h3>
425       
426
427       <p>There are times when it is convenient to exclude certain
428       entries from the access logs based on characteristics of the
429       client request. This is easily accomplished with the help of <a href="env.html">environment variables</a>. First, an
430       environment variable must be set to indicate that the request
431       meets certain conditions. This is usually accomplished with
432       <code class="directive"><a href="./mod/mod_setenvif.html#setenvif">SetEnvIf</a></code>. Then the
433       <code>env=</code> clause of the <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code> directive is used to
434       include or exclude requests where the environment variable is
435       set. Some examples:</p>
436
437       <pre class="prettyprint lang-config"># Mark requests from the loop-back interface
438 SetEnvIf Remote_Addr "127\.0\.0\.1" dontlog
439 # Mark requests for the robots.txt file
440 SetEnvIf Request_URI "^/robots\.txt$" dontlog
441 # Log what remains
442 CustomLog "logs/access_log" common env=!dontlog</pre>
443
444
445       <p>As another example, consider logging requests from
446       english-speakers to one log file, and non-english speakers to a
447       different log file.</p>
448
449       <pre class="prettyprint lang-config">SetEnvIf Accept-Language "en" english
450 CustomLog "logs/english_log" common env=english
451 CustomLog "logs/non_english_log" common env=!english</pre>
452
453
454       <p>In a caching scenario one would want to know about
455       the efficiency of the cache. A very simple method to
456       find this out would be:</p>
457
458       <pre class="prettyprint lang-config">SetEnv CACHE_MISS 1
459 LogFormat "%h %l %u %t "%r " %&gt;s %b %{CACHE_MISS}e" common-cache
460 CustomLog "logs/access_log" common-cache</pre>
461
462
463       <p><code class="module"><a href="./mod/mod_cache.html">mod_cache</a></code> will run before
464       <code class="module"><a href="./mod/mod_env.html">mod_env</a></code> and, when successful, will deliver the
465       content without it. In that case a cache hit will log
466       <code>-</code>, while a cache miss will log <code>1</code>.</p>
467
468       <p>In addition to the <code>env=</code> syntax, <code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code> supports logging values
469       conditional upon the HTTP response code:</p>
470
471       <pre class="prettyprint lang-config">LogFormat "%400,501{User-agent}i" browserlog
472 LogFormat "%!200,304,302{Referer}i" refererlog</pre>
473
474
475       <p>In the first example, the <code>User-agent</code> will be
476       logged if the HTTP status code is 400 or 501. In other cases, a
477       literal "-" will be logged instead. Likewise, in the second
478       example, the <code>Referer</code> will be logged if the HTTP
479       status code is <strong>not</strong> 200, 204, or 302. (Note the
480       "!" before the status codes.</p>
481
482       <p>Although we have just shown that conditional logging is very
483       powerful and flexible, it is not the only way to control the
484       contents of the logs. Log files are more useful when they
485       contain a complete record of server activity. It is often
486       easier to simply post-process the log files to remove requests
487       that you do not want to consider.</p>
488     
489   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
490 <div class="section">
491 <h2><a name="rotation" id="rotation">Log Rotation</a> <a title="Permanent link" href="#rotation" class="permalink">&para;</a></h2>
492     
493
494     <p>On even a moderately busy server, the quantity of
495     information stored in the log files is very large. The access
496     log file typically grows 1 MB or more per 10,000 requests. It
497     will consequently be necessary to periodically rotate the log
498     files by moving or deleting the existing logs. This cannot be
499     done while the server is running, because Apache httpd will continue
500     writing to the old log file as long as it holds the file open.
501     Instead, the server must be <a href="stopping.html">restarted</a> after the log files are
502     moved or deleted so that it will open new log files.</p>
503
504     <p>By using a <em>graceful</em> restart, the server can be
505     instructed to open new log files without losing any existing or
506     pending connections from clients. However, in order to
507     accomplish this, the server must continue to write to the old
508     log files while it finishes serving old requests. It is
509     therefore necessary to wait for some time after the restart
510     before doing any processing on the log files. A typical
511     scenario that simply rotates the logs and compresses the old
512     logs to save space is:</p>
513
514     <div class="example"><p><code>
515       mv access_log access_log.old<br />
516       mv error_log error_log.old<br />
517       apachectl graceful<br />
518       sleep 600<br />
519       gzip access_log.old error_log.old
520     </code></p></div>
521
522     <p>Another way to perform log rotation is using <a href="#piped">piped logs</a> as discussed in the next
523     section.</p>
524   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
525 <div class="section">
526 <h2><a name="piped" id="piped">Piped Logs</a> <a title="Permanent link" href="#piped" class="permalink">&para;</a></h2>
527     
528
529     <p>Apache httpd is capable of writing error and access log
530     files through a pipe to another process, rather than directly
531     to a file. This capability dramatically increases the
532     flexibility of logging, without adding code to the main server.
533     In order to write logs to a pipe, simply replace the filename
534     with the pipe character "<code>|</code>", followed by the name
535     of the executable which should accept log entries on its
536     standard input. The server will start the piped-log process when
537     the server starts, and will restart it if it crashes while the
538     server is running. (This last feature is why we can refer to
539     this technique as "reliable piped logging".)</p>
540
541     <p>Piped log processes are spawned by the parent Apache httpd
542     process, and inherit the userid of that process. This means
543     that piped log programs usually run as root. It is therefore
544     very important to keep the programs simple and secure.</p>
545
546     <p>One important use of piped logs is to allow log rotation
547     without having to restart the server. The Apache HTTP Server
548     includes a simple program called <code class="program"><a href="./programs/rotatelogs.html">rotatelogs</a></code>
549     for this purpose. For example, to rotate the logs every 24 hours, you
550     can use:</p>
551
552     <pre class="prettyprint lang-config">CustomLog "|/usr/local/apache/bin/rotatelogs /var/log/access_log 86400" common</pre>
553
554
555     <p>Notice that quotes are used to enclose the entire command
556     that will be called for the pipe. Although these examples are
557     for the access log, the same technique can be used for the
558     error log.</p>
559
560     <p>As with conditional logging, piped logs are a very powerful
561     tool, but they should not be used where a simpler solution like
562     off-line post-processing is available.</p>
563
564     <p>By default the piped log process is spawned without invoking
565     a shell. Use "<code>|$</code>" instead of "<code>|</code>"
566     to spawn using a shell (usually with <code>/bin/sh -c</code>):</p>
567
568     <pre class="prettyprint lang-config"># Invoke "rotatelogs" using a shell
569 CustomLog "|$/usr/local/apache/bin/rotatelogs   /var/log/access_log 86400" common</pre>
570
571
572     <p>This was the default behaviour for Apache 2.2.
573     Depending on the shell specifics this might lead to
574     an additional shell process for the lifetime of the logging
575     pipe program and signal handling problems during restart.
576     For compatibility reasons with Apache 2.2 the notation
577     "<code>||</code>" is also supported and equivalent to using
578     "<code>|</code>".</p>
579
580     <div class="note"><h3>Windows note</h3>
581     <p>Note that on Windows, you may run into problems when running many piped
582     logger processes, especially when HTTPD is running as a service. This is
583     caused by running out of desktop heap space. The desktop heap space given
584     to each service is specified by the third argument to the
585     <code>SharedSection</code> parameter in the
586     HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\SessionManager\SubSystems\Windows
587     registry value. <strong>Change this value with care</strong>; the normal
588     caveats for changing the Windows registry apply, but you might also exhaust
589     the desktop heap pool if the number is adjusted too high.</p>
590     </div>
591   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
592 <div class="section">
593 <h2><a name="virtualhost" id="virtualhost">Virtual Hosts</a> <a title="Permanent link" href="#virtualhost" class="permalink">&para;</a></h2>
594     
595
596     <p>When running a server with many <a href="vhosts/">virtual
597     hosts</a>, there are several options for dealing with log
598     files. First, it is possible to use logs exactly as in a
599     single-host server. Simply by placing the logging directives
600     outside the <code class="directive"><a href="./mod/core.html#virtualhost">&lt;VirtualHost&gt;</a></code> sections in the
601     main server context, it is possible to log all requests in the
602     same access log and error log. This technique does not allow
603     for easy collection of statistics on individual virtual
604     hosts.</p>
605
606     <p>If <code class="directive"><a href="./mod/mod_log_config.html#customlog">CustomLog</a></code>
607     or <code class="directive"><a href="./mod/core.html#errorlog">ErrorLog</a></code>
608     directives are placed inside a
609     <code class="directive"><a href="./mod/core.html#virtualhost">&lt;VirtualHost&gt;</a></code>
610     section, all requests or errors for that virtual host will be
611     logged only to the specified file. Any virtual host which does
612     not have logging directives will still have its requests sent
613     to the main server logs. This technique is very useful for a
614     small number of virtual hosts, but if the number of hosts is
615     very large, it can be complicated to manage. In addition, it
616     can often create problems with <a href="vhosts/fd-limits.html">insufficient file
617     descriptors</a>.</p>
618
619     <p>For the access log, there is a very good compromise. By
620     adding information on the virtual host to the log format
621     string, it is possible to log all hosts to the same log, and
622     later split the log into individual files. For example,
623     consider the following directives.</p>
624
625     <pre class="prettyprint lang-config">LogFormat "%v %l %u %t \"%r\" %&gt;s %b" comonvhost
626 CustomLog "logs/access_log" comonvhost</pre>
627
628
629     <p>The <code>%v</code> is used to log the name of the virtual
630     host that is serving the request. Then a program like <a href="programs/split-logfile.html">split-logfile</a> can be used to
631     post-process the access log in order to split it into one file
632     per virtual host.</p>
633   </div><div class="top"><a href="#page-header"><img alt="top" src="./images/up.gif" /></a></div>
634 <div class="section">
635 <h2><a name="other" id="other">Other Log Files</a> <a title="Permanent link" href="#other" class="permalink">&para;</a></h2>
636     
637
638     <table class="related"><tr><th>Related Modules</th><th>Related Directives</th></tr><tr><td><ul><li><code class="module"><a href="./mod/mod_logio.html">mod_logio</a></code></li><li><code class="module"><a href="./mod/mod_log_config.html">mod_log_config</a></code></li><li><code class="module"><a href="./mod/mod_log_forensic.html">mod_log_forensic</a></code></li><li><code class="module"><a href="./mod/mod_cgi.html">mod_cgi</a></code></li></ul></td><td><ul><li><code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code></li><li><code class="directive"><a href="./mod/mod_log_config.html#bufferedlogs">BufferedLogs</a></code></li><li><code class="directive"><a href="./mod/mod_log_forensic.html#forensiclog">ForensicLog</a></code></li><li><code class="directive"><a href="./mod/mpm_common.html#pidfile">PidFile</a></code></li><li><code class="directive"><a href="./mod/mod_cgi.html#scriptlog">ScriptLog</a></code></li><li><code class="directive"><a href="./mod/mod_cgi.html#scriptlogbuffer">ScriptLogBuffer</a></code></li><li><code class="directive"><a href="./mod/mod_cgi.html#scriptloglength">ScriptLogLength</a></code></li></ul></td></tr></table>
639
640     <h3>Logging actual bytes sent and received</h3>
641       
642
643       <p><code class="module"><a href="./mod/mod_logio.html">mod_logio</a></code> adds in two additional
644          <code class="directive"><a href="./mod/mod_log_config.html#logformat">LogFormat</a></code> fields
645          (%I and %O) that log the actual number of bytes received and sent
646          on the network.</p>
647     
648
649     <h3>Forensic Logging</h3>
650       
651
652       <p><code class="module"><a href="./mod/mod_log_forensic.html">mod_log_forensic</a></code> provides for forensic logging of
653          client requests. Logging is done before and after processing a
654          request, so the forensic log contains two log lines for each
655          request. The forensic logger is very strict with no customizations.
656          It can be an invaluable debugging and security tool.</p>
657     
658
659     <h3><a name="pidfile" id="pidfile">PID File</a></h3>
660       
661
662       <p>On startup, Apache httpd saves the process id of the parent
663       httpd process to the file <code>logs/httpd.pid</code>. This
664       filename can be changed with the <code class="directive"><a href="./mod/mpm_common.html#pidfile">PidFile</a></code> directive. The
665       process-id is for use by the administrator in restarting and
666       terminating the daemon by sending signals to the parent
667       process; on Windows, use the -k command line option instead.
668       For more information see the <a href="stopping.html">Stopping
669       and Restarting</a> page.</p>
670     
671
672     <h3><a name="scriptlog" id="scriptlog">Script Log</a></h3>
673       
674
675       <p>In order to aid in debugging, the
676       <code class="directive"><a href="./mod/mod_cgi.html#scriptlog">ScriptLog</a></code> directive
677       allows you to record the input to and output from CGI scripts.
678       This should only be used in testing - not for live servers.
679       More information is available in the <a href="mod/mod_cgi.html">mod_cgi</a> documentation.</p>
680     
681
682   </div></div>
683 <div class="bottomlang">
684 <p><span>Available Languages: </span><a href="./en/logs.html" title="English">&nbsp;en&nbsp;</a> |
685 <a href="./fr/logs.html" hreflang="fr" rel="alternate" title="Français">&nbsp;fr&nbsp;</a> |
686 <a href="./ja/logs.html" hreflang="ja" rel="alternate" title="Japanese">&nbsp;ja&nbsp;</a> |
687 <a href="./ko/logs.html" hreflang="ko" rel="alternate" title="Korean">&nbsp;ko&nbsp;</a> |
688 <a href="./tr/logs.html" hreflang="tr" rel="alternate" title="Türkçe">&nbsp;tr&nbsp;</a></p>
689 </div><div class="top"><a href="#page-header"><img src="./images/up.gif" alt="top" /></a></div><div class="section"><h2><a id="comments_section" name="comments_section">Comments</a></h2><div class="warning"><strong>Notice:</strong><br />This is not a Q&amp;A section. Comments placed here should be pointed towards suggestions on improving the documentation or server, and may be removed again by our moderators if they are either implemented or considered invalid/off-topic. Questions on how to manage the Apache HTTP Server should be directed at either our IRC channel, #httpd, on Freenode, or sent to our <a href="http://httpd.apache.org/lists.html">mailing lists</a>.</div>
690 <script type="text/javascript"><!--//--><![CDATA[//><!--
691 var comments_shortname = 'httpd';
692 var comments_identifier = 'http://httpd.apache.org/docs/trunk/logs.html';
693 (function(w, d) {
694     if (w.location.hostname.toLowerCase() == "httpd.apache.org") {
695         d.write('<div id="comments_thread"><\/div>');
696         var s = d.createElement('script');
697         s.type = 'text/javascript';
698         s.async = true;
699         s.src = 'https://comments.apache.org/show_comments.lua?site=' + comments_shortname + '&page=' + comments_identifier;
700         (d.getElementsByTagName('head')[0] || d.getElementsByTagName('body')[0]).appendChild(s);
701     }
702     else {
703         d.write('<div id="comments_thread">Comments are disabled for this page at the moment.<\/div>');
704     }
705 })(window, document);
706 //--><!]]></script></div><div id="footer">
707 <p class="apache">Copyright 2019 The Apache Software Foundation.<br />Licensed under the <a href="http://www.apache.org/licenses/LICENSE-2.0">Apache License, Version 2.0</a>.</p>
708 <p class="menu"><a href="./mod/">Modules</a> | <a href="./mod/quickreference.html">Directives</a> | <a href="http://wiki.apache.org/httpd/FAQ">FAQ</a> | <a href="./glossary.html">Glossary</a> | <a href="./sitemap.html">Sitemap</a></p></div><script type="text/javascript"><!--//--><![CDATA[//><!--
709 if (typeof(prettyPrint) !== 'undefined') {
710     prettyPrint();
711 }
712 //--><!]]></script>
713 </body></html>