]> granicus.if.org Git - postgresql/commit
Omit null rows when applying the Haas-Stokes estimator for ndistinct.
authorTom Lane <tgl@sss.pgh.pa.us>
Fri, 1 Apr 2016 19:47:52 +0000 (15:47 -0400)
committerTom Lane <tgl@sss.pgh.pa.us>
Fri, 1 Apr 2016 19:48:24 +0000 (15:48 -0400)
commitbe4b4dc75955318e763f5b2e3a990e35366ac797
treea346d944dbe653a70993b978de61e88cf1a1e6d4
parent82c83b337202fa0f5b235bdfaeb992a5cee40ed5
Omit null rows when applying the Haas-Stokes estimator for ndistinct.

Previously, we included null rows in the values of n and N that went
into the formula, which amounts to considering null as a value in its
own right; but the d and f1 values do not include nulls.  This is
inconsistent, and it contributes to significant underestimation of
ndistinct when the column is mostly nulls.  In any case stadistinct
is defined as the number of distinct non-null values, so we should
exclude nulls when doing this computation.

This is an aboriginal bug in our application of the Haas-Stokes formula,
but we'll refrain from back-patching for fear of destabilizing plan
choices in released branches.

While at it, make the code a bit more readable by omitting unnecessary
casts and intermediate variables.

Observation and original patch by Tomas Vondra, adjusted to fix both
uses of the formula by Alex Shulgin, cosmetic improvements by me
src/backend/commands/analyze.c