granicus.if.org Git - postgresql/blob - src/test/regress/sql/collate.linux.utf8.sql

   1 /*
   2  * This test is for Linux/glibc systems and assumes that a full set of
   3  * locales is installed.  It must be run in a database with UTF-8 encoding,
   4  * because other encodings don't support all the characters used.
   5  */
   6
   7 SET client_encoding TO UTF8;
   8
   9 CREATE SCHEMA collate_tests;
  10 SET search_path = collate_tests;
  11
  12
  13 CREATE TABLE collate_test1 (
  14     a int,
  15     b text COLLATE "en_US" NOT NULL
  16 );
  17
  18 \d collate_test1
  19
  20 CREATE TABLE collate_test_fail (
  21     a int,
  22     b text COLLATE "ja_JP.eucjp"
  23 );
  24
  25 CREATE TABLE collate_test_fail (
  26     a int,
  27     b text COLLATE "foo"
  28 );
  29
  30 CREATE TABLE collate_test_fail (
  31     a int COLLATE "en_US",
  32     b text
  33 );
  34
  35 CREATE TABLE collate_test_like (
  36     LIKE collate_test1
  37 );
  38
  39 \d collate_test_like
  40
  41 CREATE TABLE collate_test2 (
  42     a int,
  43     b text COLLATE "sv_SE"
  44 );
  45
  46 CREATE TABLE collate_test3 (
  47     a int,
  48     b text COLLATE "C"
  49 );
  50
  51 INSERT INTO collate_test1 VALUES (1, 'abc'), (2, 'äbc'), (3, 'bbc'), (4, 'ABC');
  52 INSERT INTO collate_test2 SELECT * FROM collate_test1;
  53 INSERT INTO collate_test3 SELECT * FROM collate_test1;
  54
  55 SELECT * FROM collate_test1 WHERE b >= 'bbc';
  56 SELECT * FROM collate_test2 WHERE b >= 'bbc';
  57 SELECT * FROM collate_test3 WHERE b >= 'bbc';
  58 SELECT * FROM collate_test3 WHERE b >= 'BBC';
  59
  60 SELECT * FROM collate_test1 WHERE b COLLATE "C" >= 'bbc';
  61 SELECT * FROM collate_test1 WHERE b >= 'bbc' COLLATE "C";
  62 SELECT * FROM collate_test1 WHERE b COLLATE "C" >= 'bbc' COLLATE "C";
  63 SELECT * FROM collate_test1 WHERE b COLLATE "C" >= 'bbc' COLLATE "en_US";
  64
  65
  66 CREATE DOMAIN testdomain_sv AS text COLLATE "sv_SE";
  67 CREATE DOMAIN testdomain_i AS int COLLATE "sv_SE"; -- fails
  68 CREATE TABLE collate_test4 (
  69     a int,
  70     b testdomain_sv
  71 );
  72 INSERT INTO collate_test4 SELECT * FROM collate_test1;
  73 SELECT a, b FROM collate_test4 ORDER BY b;
  74
  75 CREATE TABLE collate_test5 (
  76     a int,
  77     b testdomain_sv COLLATE "en_US"
  78 );
  79 INSERT INTO collate_test5 SELECT * FROM collate_test1;
  80 SELECT a, b FROM collate_test5 ORDER BY b;
  81
  82
  83 SELECT a, b FROM collate_test1 ORDER BY b;
  84 SELECT a, b FROM collate_test2 ORDER BY b;
  85 SELECT a, b FROM collate_test3 ORDER BY b;
  86
  87 SELECT a, b FROM collate_test1 ORDER BY b COLLATE "C";
  88
  89 -- star expansion
  90 SELECT * FROM collate_test1 ORDER BY b;
  91 SELECT * FROM collate_test2 ORDER BY b;
  92 SELECT * FROM collate_test3 ORDER BY b;
  93
  94 -- constant expression folding
  95 SELECT 'bbc' COLLATE "en_US" > 'äbc' COLLATE "en_US" AS "true";
  96 SELECT 'bbc' COLLATE "sv_SE" > 'äbc' COLLATE "sv_SE" AS "false";
  97
  98 -- upper/lower
  99
 100 CREATE TABLE collate_test10 (
 101     a int,
 102     x text COLLATE "en_US",
 103     y text COLLATE "tr_TR"
 104 );
 105
 106 INSERT INTO collate_test10 VALUES (1, 'hij', 'hij'), (2, 'HIJ', 'HIJ');
 107
 108 SELECT a, lower(x), lower(y), upper(x), upper(y), initcap(x), initcap(y) FROM collate_test10;
 109 SELECT a, lower(x COLLATE "C"), lower(y COLLATE "C") FROM collate_test10;
 110
 111 SELECT a, x, y FROM collate_test10 ORDER BY lower(y), a;
 112
 113 -- LIKE/ILIKE
 114
 115 SELECT * FROM collate_test1 WHERE b LIKE 'abc';
 116 SELECT * FROM collate_test1 WHERE b LIKE 'abc%';
 117 SELECT * FROM collate_test1 WHERE b LIKE '%bc%';
 118 SELECT * FROM collate_test1 WHERE b ILIKE 'abc';
 119 SELECT * FROM collate_test1 WHERE b ILIKE 'abc%';
 120 SELECT * FROM collate_test1 WHERE b ILIKE '%bc%';
 121
 122 SELECT 'Türkiye' COLLATE "en_US" ILIKE '%KI%' AS "true";
 123 SELECT 'Türkiye' COLLATE "tr_TR" ILIKE '%KI%' AS "false";
 124
 125 SELECT 'bıt' ILIKE 'BIT' COLLATE "en_US" AS "false";
 126 SELECT 'bıt' ILIKE 'BIT' COLLATE "tr_TR" AS "true";
 127
 128 -- The following actually exercises the selectivity estimation for ILIKE.
 129 SELECT relname FROM pg_class WHERE relname ILIKE 'abc%';
 130
 131 -- regular expressions
 132
 133 SELECT * FROM collate_test1 WHERE b ~ '^abc$';
 134 SELECT * FROM collate_test1 WHERE b ~ '^abc';
 135 SELECT * FROM collate_test1 WHERE b ~ 'bc';
 136 SELECT * FROM collate_test1 WHERE b ~* '^abc$';
 137 SELECT * FROM collate_test1 WHERE b ~* '^abc';
 138 SELECT * FROM collate_test1 WHERE b ~* 'bc';
 139
 140 CREATE TABLE collate_test6 (
 141     a int,
 142     b text COLLATE "en_US"
 143 );
 144 INSERT INTO collate_test6 VALUES (1, 'abc'), (2, 'ABC'), (3, '123'), (4, 'ab1'),
 145                                  (5, 'a1!'), (6, 'a c'), (7, '!.;'), (8, '   '),
 146                                  (9, 'äbç'), (10, 'ÄBÇ');
 147 SELECT b,
 148        b ~ '^[[:alpha:]]+$' AS is_alpha,
 149        b ~ '^[[:upper:]]+$' AS is_upper,
 150        b ~ '^[[:lower:]]+$' AS is_lower,
 151        b ~ '^[[:digit:]]+$' AS is_digit,
 152        b ~ '^[[:alnum:]]+$' AS is_alnum,
 153        b ~ '^[[:graph:]]+$' AS is_graph,
 154        b ~ '^[[:print:]]+$' AS is_print,
 155        b ~ '^[[:punct:]]+$' AS is_punct,
 156        b ~ '^[[:space:]]+$' AS is_space
 157 FROM collate_test6;
 158
 159 SELECT 'Türkiye' COLLATE "en_US" ~* 'KI' AS "true";
 160 SELECT 'Türkiye' COLLATE "tr_TR" ~* 'KI' AS "false";
 161
 162 SELECT 'bıt' ~* 'BIT' COLLATE "en_US" AS "false";
 163 SELECT 'bıt' ~* 'BIT' COLLATE "tr_TR" AS "true";
 164
 165 -- The following actually exercises the selectivity estimation for ~*.
 166 SELECT relname FROM pg_class WHERE relname ~* '^abc';
 167
 168
 169 -- to_char
 170
 171 SET lc_time TO 'tr_TR';
 172 SELECT to_char(date '2010-04-01', 'DD TMMON YYYY');
 173 SELECT to_char(date '2010-04-01', 'DD TMMON YYYY' COLLATE "tr_TR");
 174
 175
 176 -- backwards parsing
 177
 178 CREATE VIEW collview1 AS SELECT * FROM collate_test1 WHERE b COLLATE "C" >= 'bbc';
 179 CREATE VIEW collview2 AS SELECT a, b FROM collate_test1 ORDER BY b COLLATE "C";
 180 CREATE VIEW collview3 AS SELECT a, lower((x || x) COLLATE "C") FROM collate_test10;
 181
 182 SELECT table_name, view_definition FROM information_schema.views
 183   WHERE table_name LIKE 'collview%' ORDER BY 1;
 184
 185
 186 -- collation propagation in various expression types
 187
 188 SELECT a, coalesce(b, 'foo') FROM collate_test1 ORDER BY 2;
 189 SELECT a, coalesce(b, 'foo') FROM collate_test2 ORDER BY 2;
 190 SELECT a, coalesce(b, 'foo') FROM collate_test3 ORDER BY 2;
 191 SELECT a, lower(coalesce(x, 'foo')), lower(coalesce(y, 'foo')) FROM collate_test10;
 192
 193 SELECT a, b, greatest(b, 'CCC') FROM collate_test1 ORDER BY 3;
 194 SELECT a, b, greatest(b, 'CCC') FROM collate_test2 ORDER BY 3;
 195 SELECT a, b, greatest(b, 'CCC') FROM collate_test3 ORDER BY 3;
 196 SELECT a, x, y, lower(greatest(x, 'foo')), lower(greatest(y, 'foo')) FROM collate_test10;
 197
 198 SELECT a, nullif(b, 'abc') FROM collate_test1 ORDER BY 2;
 199 SELECT a, nullif(b, 'abc') FROM collate_test2 ORDER BY 2;
 200 SELECT a, nullif(b, 'abc') FROM collate_test3 ORDER BY 2;
 201 SELECT a, lower(nullif(x, 'foo')), lower(nullif(y, 'foo')) FROM collate_test10;
 202
 203 SELECT a, CASE b WHEN 'abc' THEN 'abcd' ELSE b END FROM collate_test1 ORDER BY 2;
 204 SELECT a, CASE b WHEN 'abc' THEN 'abcd' ELSE b END FROM collate_test2 ORDER BY 2;
 205 SELECT a, CASE b WHEN 'abc' THEN 'abcd' ELSE b END FROM collate_test3 ORDER BY 2;
 206
 207 CREATE DOMAIN testdomain AS text;
 208 SELECT a, b::testdomain FROM collate_test1 ORDER BY 2;
 209 SELECT a, b::testdomain FROM collate_test2 ORDER BY 2;
 210 SELECT a, b::testdomain FROM collate_test3 ORDER BY 2;
 211 SELECT a, b::testdomain_sv FROM collate_test3 ORDER BY 2;
 212 SELECT a, lower(x::testdomain), lower(y::testdomain) FROM collate_test10;
 213
 214 SELECT min(b), max(b) FROM collate_test1;
 215 SELECT min(b), max(b) FROM collate_test2;
 216 SELECT min(b), max(b) FROM collate_test3;
 217
 218 SELECT array_agg(b ORDER BY b) FROM collate_test1;
 219 SELECT array_agg(b ORDER BY b) FROM collate_test2;
 220 SELECT array_agg(b ORDER BY b) FROM collate_test3;
 221
 222 SELECT a, b FROM collate_test1 UNION ALL SELECT a, b FROM collate_test1 ORDER BY 2;
 223 SELECT a, b FROM collate_test2 UNION SELECT a, b FROM collate_test2 ORDER BY 2;
 224 SELECT a, b FROM collate_test3 WHERE a < 4 INTERSECT SELECT a, b FROM collate_test3 WHERE a > 1 ORDER BY 2;
 225 SELECT a, b FROM collate_test3 EXCEPT SELECT a, b FROM collate_test3 WHERE a < 2 ORDER BY 2;
 226
 227 SELECT a, b FROM collate_test1 UNION ALL SELECT a, b FROM collate_test3 ORDER BY 2; -- fail
 228 SELECT a, b FROM collate_test1 UNION ALL SELECT a, b FROM collate_test3; -- ok
 229 SELECT a, b FROM collate_test1 UNION SELECT a, b FROM collate_test3 ORDER BY 2; -- fail
 230 SELECT a, b COLLATE "C" FROM collate_test1 UNION SELECT a, b FROM collate_test3 ORDER BY 2; -- ok
 231 SELECT a, b FROM collate_test1 INTERSECT SELECT a, b FROM collate_test3 ORDER BY 2; -- fail
 232 SELECT a, b FROM collate_test1 EXCEPT SELECT a, b FROM collate_test3 ORDER BY 2; -- fail
 233
 234 CREATE TABLE test_u AS SELECT a, b FROM collate_test1 UNION ALL SELECT a, b FROM collate_test3; -- fail
 235
 236 -- ideally this would be a parse-time error, but for now it must be run-time:
 237 select x < y from collate_test10; -- fail
 238 select x || y from collate_test10; -- ok, because || is not collation aware
 239 select x, y from collate_test10 order by x || y; -- not so ok
 240
 241 -- collation mismatch between recursive and non-recursive term
 242 WITH RECURSIVE foo(x) AS
 243    (SELECT x FROM (VALUES('a' COLLATE "en_US"),('b')) t(x)
 244    UNION ALL
 245    SELECT (x || 'c') COLLATE "de_DE" FROM foo WHERE length(x) < 10)
 246 SELECT * FROM foo;
 247
 248
 249 -- casting
 250
 251 SELECT CAST('42' AS text COLLATE "C");
 252
 253 SELECT a, CAST(b AS varchar) FROM collate_test1 ORDER BY 2;
 254 SELECT a, CAST(b AS varchar) FROM collate_test2 ORDER BY 2;
 255 SELECT a, CAST(b AS varchar) FROM collate_test3 ORDER BY 2;
 256
 257
 258 -- propagation of collation in SQL functions (inlined and non-inlined cases)
 259 -- and plpgsql functions too
 260
 261 CREATE FUNCTION mylt (text, text) RETURNS boolean LANGUAGE sql
 262     AS $$ select $1 < $2 $$;
 263
 264 CREATE FUNCTION mylt_noninline (text, text) RETURNS boolean LANGUAGE sql
 265     AS $$ select $1 < $2 limit 1 $$;
 266
 267 CREATE FUNCTION mylt_plpgsql (text, text) RETURNS boolean LANGUAGE plpgsql
 268     AS $$ begin return $1 < $2; end $$;
 269
 270 SELECT a.b AS a, b.b AS b, a.b < b.b AS lt,
 271        mylt(a.b, b.b), mylt_noninline(a.b, b.b), mylt_plpgsql(a.b, b.b)
 272 FROM collate_test1 a, collate_test1 b
 273 ORDER BY a.b, b.b;
 274
 275 SELECT a.b AS a, b.b AS b, a.b < b.b COLLATE "C" AS lt,
 276        mylt(a.b, b.b COLLATE "C"), mylt_noninline(a.b, b.b COLLATE "C"),
 277        mylt_plpgsql(a.b, b.b COLLATE "C")
 278 FROM collate_test1 a, collate_test1 b
 279 ORDER BY a.b, b.b;
 280
 281
 282 -- collation override in plpgsql
 283
 284 CREATE FUNCTION mylt2 (x text, y text) RETURNS boolean LANGUAGE plpgsql AS $$
 285 declare
 286   xx text := x;
 287   yy text := y;
 288 begin
 289   return xx < yy;
 290 end
 291 $$;
 292
 293 SELECT mylt2('a', 'B' collate "en_US") as t, mylt2('a', 'B' collate "C") as f;
 294
 295 CREATE OR REPLACE FUNCTION
 296   mylt2 (x text, y text) RETURNS boolean LANGUAGE plpgsql AS $$
 297 declare
 298   xx text COLLATE "POSIX" := x;
 299   yy text := y;
 300 begin
 301   return xx < yy;
 302 end
 303 $$;
 304
 305 SELECT mylt2('a', 'B') as f;
 306 SELECT mylt2('a', 'B' collate "C") as fail; -- conflicting collations
 307 SELECT mylt2('a', 'B' collate "POSIX") as f;
 308
 309
 310 -- polymorphism
 311
 312 SELECT * FROM unnest((SELECT array_agg(b ORDER BY b) FROM collate_test1)) ORDER BY 1;
 313 SELECT * FROM unnest((SELECT array_agg(b ORDER BY b) FROM collate_test2)) ORDER BY 1;
 314 SELECT * FROM unnest((SELECT array_agg(b ORDER BY b) FROM collate_test3)) ORDER BY 1;
 315
 316 CREATE FUNCTION dup (anyelement) RETURNS anyelement
 317     AS 'select $1' LANGUAGE sql;
 318
 319 SELECT a, dup(b) FROM collate_test1 ORDER BY 2;
 320 SELECT a, dup(b) FROM collate_test2 ORDER BY 2;
 321 SELECT a, dup(b) FROM collate_test3 ORDER BY 2;
 322
 323
 324 -- indexes
 325
 326 CREATE INDEX collate_test1_idx1 ON collate_test1 (b);
 327 CREATE INDEX collate_test1_idx2 ON collate_test1 (b COLLATE "C");
 328 CREATE INDEX collate_test1_idx3 ON collate_test1 ((b COLLATE "C")); -- this is different grammatically
 329 CREATE INDEX collate_test1_idx4 ON collate_test1 (((b||'foo') COLLATE "POSIX"));
 330
 331 CREATE INDEX collate_test1_idx5 ON collate_test1 (a COLLATE "C"); -- fail
 332 CREATE INDEX collate_test1_idx6 ON collate_test1 ((a COLLATE "C")); -- fail
 333
 334 SELECT relname, pg_get_indexdef(oid) FROM pg_class WHERE relname LIKE 'collate_test%_idx%' ORDER BY 1;
 335
 336
 337 -- schema manipulation commands
 338
 339 CREATE ROLE regress_test_role;
 340 CREATE SCHEMA test_schema;
 341
 342 -- We need to do this this way to cope with varying names for encodings:
 343 do $$
 344 BEGIN
 345   EXECUTE 'CREATE COLLATION test0 (locale = ' ||
 346           quote_literal(current_setting('lc_collate')) || ');';
 347 END
 348 $$;
 349 CREATE COLLATION test0 FROM "C"; -- fail, duplicate name
 350 CREATE COLLATION IF NOT EXISTS test0 FROM "C"; -- ok, skipped
 351 CREATE COLLATION IF NOT EXISTS test0 (locale = 'foo'); -- ok, skipped
 352 do $$
 353 BEGIN
 354   EXECUTE 'CREATE COLLATION test1 (lc_collate = ' ||
 355           quote_literal(current_setting('lc_collate')) ||
 356           ', lc_ctype = ' ||
 357           quote_literal(current_setting('lc_ctype')) || ');';
 358 END
 359 $$;
 360 CREATE COLLATION test3 (lc_collate = 'en_US.utf8'); -- fail, need lc_ctype
 361 CREATE COLLATION testx (locale = 'nonsense'); -- fail
 362 CREATE COLLATION testy (locale = 'en_US.utf8', version = 'foo'); -- fail, no versions for libc
 363
 364 CREATE COLLATION test4 FROM nonsense;
 365 CREATE COLLATION test5 FROM test0;
 366
 367 SELECT collname FROM pg_collation WHERE collname LIKE 'test%' ORDER BY 1;
 368
 369 ALTER COLLATION test1 RENAME TO test11;
 370 ALTER COLLATION test0 RENAME TO test11; -- fail
 371 ALTER COLLATION test1 RENAME TO test22; -- fail
 372
 373 ALTER COLLATION test11 OWNER TO regress_test_role;
 374 ALTER COLLATION test11 OWNER TO nonsense;
 375 ALTER COLLATION test11 SET SCHEMA test_schema;
 376
 377 COMMENT ON COLLATION test0 IS 'US English';
 378
 379 SELECT collname, nspname, obj_description(pg_collation.oid, 'pg_collation')
 380     FROM pg_collation JOIN pg_namespace ON (collnamespace = pg_namespace.oid)
 381     WHERE collname LIKE 'test%'
 382     ORDER BY 1;
 383
 384 DROP COLLATION test0, test_schema.test11, test5;
 385 DROP COLLATION test0; -- fail
 386 DROP COLLATION IF EXISTS test0;
 387
 388 SELECT collname FROM pg_collation WHERE collname LIKE 'test%';
 389
 390 DROP SCHEMA test_schema;
 391 DROP ROLE regress_test_role;
 392
 393
 394 -- ALTER
 395
 396 ALTER COLLATION "en_US" REFRESH VERSION;
 397
 398
 399 -- dependencies
 400
 401 CREATE COLLATION test0 FROM "C";
 402
 403 CREATE TABLE collate_dep_test1 (a int, b text COLLATE test0);
 404 CREATE DOMAIN collate_dep_dom1 AS text COLLATE test0;
 405 CREATE TYPE collate_dep_test2 AS (x int, y text COLLATE test0);
 406 CREATE VIEW collate_dep_test3 AS SELECT text 'foo' COLLATE test0 AS foo;
 407 CREATE TABLE collate_dep_test4t (a int, b text);
 408 CREATE INDEX collate_dep_test4i ON collate_dep_test4t (b COLLATE test0);
 409
 410 DROP COLLATION test0 RESTRICT; -- fail
 411 DROP COLLATION test0 CASCADE;
 412
 413 \d collate_dep_test1
 414 \d collate_dep_test2
 415
 416 DROP TABLE collate_dep_test1, collate_dep_test4t;
 417 DROP TYPE collate_dep_test2;
 418
 419 -- test range types and collations
 420
 421 create type textrange_c as range(subtype=text, collation="C");
 422 create type textrange_en_us as range(subtype=text, collation="en_US");
 423
 424 select textrange_c('A','Z') @> 'b'::text;
 425 select textrange_en_us('A','Z') @> 'b'::text;
 426
 427 drop type textrange_c;
 428 drop type textrange_en_us;
 429
 430
 431 -- cleanup
 432 DROP SCHEMA collate_tests CASCADE;