]> granicus.if.org Git - python/commit
bpo-29240: Fix locale encodings in UTF-8 Mode (#5170)
authorVictor Stinner <victor.stinner@gmail.com>
Mon, 15 Jan 2018 09:45:49 +0000 (10:45 +0100)
committerGitHub <noreply@github.com>
Mon, 15 Jan 2018 09:45:49 +0000 (10:45 +0100)
commit7ed7aead9503102d2ed316175f198104e0cd674c
tree0b70b3b7d2eed5ea92552c1b93953d0333f5a869
parentee3b83547c6b0cac1da2cb44aaaea533a1d1bbc8
bpo-29240: Fix locale encodings in UTF-8 Mode (#5170)

Modify locale.localeconv(), time.tzname, os.strerror() and other
functions to ignore the UTF-8 Mode: always use the current locale
encoding.

Changes:

* Add _Py_DecodeLocaleEx() and _Py_EncodeLocaleEx(). On decoding or
  encoding error, they return the position of the error and an error
  message which are used to raise Unicode errors in
  PyUnicode_DecodeLocale() and PyUnicode_EncodeLocale().
* Replace _Py_DecodeCurrentLocale() with _Py_DecodeLocaleEx().
* PyUnicode_DecodeLocale() now uses _Py_DecodeLocaleEx() for all
  cases, especially for the strict error handler.
* Add _Py_DecodeUTF8Ex(): return more information on decoding error
  and supports the strict error handler.
* Rename _Py_EncodeUTF8_surrogateescape() to _Py_EncodeUTF8Ex().
* Replace _Py_EncodeCurrentLocale() with _Py_EncodeLocaleEx().
* Ignore the UTF-8 mode to encode/decode localeconv(), strerror()
  and time zone name.
* Remove PyUnicode_DecodeLocale(), PyUnicode_DecodeLocaleAndSize()
  and PyUnicode_EncodeLocale() now ignore the UTF-8 mode: always use
  the "current" locale.
* Remove _PyUnicode_DecodeCurrentLocale(),
  _PyUnicode_DecodeCurrentLocaleAndSize() and
  _PyUnicode_EncodeCurrentLocale().
12 files changed:
Doc/c-api/sys.rst
Doc/c-api/unicode.rst
Include/fileutils.h
Include/unicodeobject.h
Modules/_datetimemodule.c
Modules/_localemodule.c
Modules/getpath.c
Modules/readline.c
Modules/timemodule.c
Objects/unicodeobject.c
Python/fileutils.c
Python/pathconfig.c