]> granicus.if.org Git - postgresql/commit
Fix misuse of Lossy Counting (LC) algorithm in compute_tsvector_stats().
authorTom Lane <tgl@sss.pgh.pa.us>
Sun, 30 May 2010 21:59:02 +0000 (21:59 +0000)
committerTom Lane <tgl@sss.pgh.pa.us>
Sun, 30 May 2010 21:59:02 +0000 (21:59 +0000)
commitbc0f080928e7476e668a848286ba596a70d2f5c2
tree728776a1b5c954d91015a796d07c53ab124e064a
parentb12b7a9038259967098159cf0ccce0e77327a4d1
Fix misuse of Lossy Counting (LC) algorithm in compute_tsvector_stats().

We must filter out hashtable entries with frequencies less than those
specified by the algorithm, else we risk emitting junk entries whose
actual frequency is much less than other lexemes that did not get
tabulated.  This is bad enough by itself, but even worse is that
tsquerysel() believes that the minimum frequency seen in pg_statistic is a
hard upper bound for lexemes not included, and was thus underestimating
the frequency of non-MCEs.

Also, set the threshold frequency to something with a little bit of theory
behind it, to wit assume that the input distribution is approximately
Zipfian.  This might need adjustment in future, but some preliminary
experiments suggest that it's not too unreasonable.

Back-patch to 8.4, where this code was introduced.

Jan Urbanski, with some editorialization by Tom
src/backend/tsearch/ts_typanalyze.c