sqlite: delete some bsddb cargo-culted code to work around Python 2.3/2.4 bugs

bpo-1612262: IDLE: Class Browser shows nested functions, classes (#2573)

Original patches for code and tests by Guilherme Polo and
Cheryl Sabella, respectively.

bpo-17852: Maintain a list of BufferedWriter objects.  Flush them on exit. (#3372)

* Maintain a list of BufferedWriter objects.  Flush them on exit.

In Python 3, the buffer and the underlying file object are separate
and so the order in which objects are finalized matters.  This is
unlike Python 2 where the file and buffer were a single object and
finalization was done for both at the same time.  In Python 3, if
the file is finalized and closed before the buffer then the data in
the buffer is lost.

This change adds a doubly linked list of open file buffers.  An atexit
hook ensures they are flushed before proceeding with interpreter
shutdown.  This is addition does not remove the need to properly close
files as there are other reasons why buffered data could get lost during
finalization.

Initial patch by Armin Rigo.

* Use weakref.WeakSet instead of WeakKeyDictionary.

* Simplify buffered double-linked list types.

* In _flush_all_writers(), suppress errors from flush().

* Remove NEWS entry, use blurb.

* Take more care when flushing file buffers from atexit.

The previous implementation was not careful enough to avoid
causing issues in multi-threaded cases.  Check for buf->ok
and buf->finalizing before actually doing the flush.  Also,
increase the refcnt to ensure the object does not disappear.

bpo-31423: Fix building the PDF documentation (GH-3693)

Use prefixed macro names for the `authoraddress` function, add T2A to the font encoding in LaTeX sources to support Cyrillic characters in the PDF documentation, and replace the deprecated `font_size` config option with `pointsize`.

bpo-31389 Add an optional `header` argument to pdb.set_trace() (#3438)

* Give pdb.set_trace() an optional `header` argument

* What's new.

* Give pdb.set_trace() an optional `header` argument

* What's new.

bpo-31443: Update included code. (#3697)

bpo-31443: Formulate the type slot initialization rules in terms of C99. (#3688)

bpo-31410: Optimized calling wrapper and classmethod descriptors. (#3481)

bpo-27541: Reprs of subclasses of some classes now contain actual type name. (#3631)

Affected classes are bytearray, array, deque, defaultdict, count and repeat.

bpo-31351: Set return code in ensurepip when pip fails (GH-3626)

Previously ensurepip would always report success, even if the
pip installation failed.

bpo-31500: IDLE: Scale default fonts on HiDPI displays. (#3639)

bpo-31532: Fix memory corruption due to allocator mix (#3679)

Fix a memory corruption in getpath.c due to mixed memory allocators
between Py_GetPath() and Py_SetPath().

The fix use the Raw allocator to mimic the windows version.

This patch should be used from python3.6 to the current version

for more details, see the bug report and
  https://github.com/pyinstaller/pyinstaller/issues/2812

bpo-31536: Avoid wholesale rebuild after `make regen-all` (#3678)

* bpo-31536: Avoid wholesale rebuild after `make regen-all`

* Add NEWS

bpo-26510: make argparse subparsers required by default (#3027)

This fixes a regression from Python 2.  To get optional subparsers,
use the new parameter ``add_subparsers(required=False)``.

Patch by Anthony Sottile.

bpo-31533: fix broken link to OpenSSL docs (#3674)

closes bpo-31525: require sqlite3_prepare_v2 (#3666)

This is based on
https://github.com/ghaering/pysqlite/commit/40b349cadbd87c42f70fc92e5e1aee6d02564c6d#diff-0489411409cd2934730e88bf7767790,
though we can be a bit more aggressive about deleting code.

bpo-30486: Make cell_set_contents() symbol private (#3668)

Don't export the cell_set_contents() symbol in the C API.

bpo-31506: Improve the error message logic for object.__new__ and object.__init__. (GH-3650)

bpo-31500: Removed fixed size of IDLE config dialog. (#3664)

This one line of Serhiy Storchacka's bpo-31500 patch for is needed for other issues.

Fix build issues in Doc/make.bat (#3658)

bpo-31507 Add docstring to parseaddr function in email.utils.parseaddr (gh-3647)

bpo-31479: Always reset the signal alarm in tests (#3588)

* bpo-31479: Always reset the signal alarm in tests

Use "try: ... finally: signal.signal(0)" pattern to make sure that
tests don't "leak" a pending fatal signal alarm.

* Move two more alarm() calls into the try block

Fix also typo: replace signal.signal(0) with signal.alarm(0)

* Move another signal.alarm() into the try block

pythoninfo: ignore OSError(ENOSYS) on getrandom() (#3655)

bpo-31293: Fix crashes in truediv and mul of a timedelta by a float with a bad as_integer_ratio() method. (#3227)

bpo-31315: Fix an assertion failure in imp.create_dynamic(), when spec.name is not a string. (#3257)

bpo-31492: Fix assertion failures in case of a module with a bad __name__ attribute. (#3620)

post 3.7.0a1 development

Merge tag 'v3.7.0a1'

Bump to 3.6.0a1

Update PyDoc topics and NEWS blurbs for 3.7.0a1

Update Mac installer Welcome and ReadMe files for 3.7.0a1

Trivial cleanups following bpo-31370 (#3649)

* Trivial cleanups following bpo-31370

* Also cleanup the "importlib._bootstrap_external" module

Restore dummy_threading and _dummy_thread, but deprecate them (bpo-31370) (#3648)

os.test_utime_current(): tolerate 50 ms delta (#3646)

bpo-31499, xml.etree: Fix xmlparser_gc_clear() crash (#3641)

* bpo-31499, xml.etree: Fix xmlparser_gc_clear() crash

xml.etree: xmlparser_gc_clear() now sets self.parser to NULL to prevent a
crash in xmlparser_dealloc() if xmlparser_gc_clear() was called previously
by the garbage collector, because the parser was part of a reference cycle.

Co-Authored-By: Serhiy Storchaka <storchaka@gmail.com>

bpo-31501: Operator precedence  description  for arithmetic operators (#3633)

bpo-30928: Update idlelib/NEWS.txt to 2017 Sep 17. (#3635)

bpo-31502: IDLE Configdialog again deletes custom themes and keysets. (#3634)

This reverses a never-released regression resulting from bpo-31287.

bpo-31497: Add private helper _PyType_Name(). (#3630)

This function returns the last component of tp_name after a dot.
Returns tp_name itself if it doesn't contain a dot.

bpo-31482:  Missing bytes support for random.seed() version 1 (#3614)

bpo-31482: Missing bytes support for random.seed() version 1 #3614

bpo-31487: Update F-strings doc example (GH-3627)

Shorten the comment to: "using integer format specifier"

bpo-31490: Fix an assertion failure in ctypes in case an _anonymous_ attr is defined only outside _fields_. (#3615)

bpo-31493: Fix code context update and font update timers. (#3622)

Canceling timers prevents a warning message when test_idle completes.
(This is the minimum fix needed before upcoming releases.)

Improve f-strings documentation (GH-3604)

Provide additional examples of using format specifiers in f-strings
Added examples for using integer and date format specifiers.

bpo-31458: Clarify that Changelog is built from Misc/NEWS.d directory (GH-3617)

bpo-31488: IDLE - update former extensions when options change. (#3612)

When apply changes, call .reload on each class with non-key options.
Change ParenMatch so that updates affect current instances.

bpo-28411: Support other mappings in PyInterpreterState.modules. (#3593)

The concrete PyDict_* API is used to interact with PyInterpreterState.modules in a number of places. This isn't compatible with all dict subclasses, nor with other Mapping implementations. This patch switches the concrete API usage to the corresponding abstract API calls.

We also add a PyImport_GetModule() function (and some other helpers) to reduce a bunch of code duplication.

bpo-31431: SSLContext.check_hostname auto-sets CERT_REQUIRED (#3531)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31346: Use PROTOCOL_TLS_CLIENT/SERVER (#3058)

Replaces PROTOCOL_TLSv* and PROTOCOL_SSLv23 with PROTOCOL_TLS_CLIENT and
PROTOCOL_TLS_SERVER.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-31386: Custom wrap_bio and wrap_socket type (#3426)

SSLSocket.wrap_bio() and SSLSocket.wrap_socket() hard-code SSLObject and
SSLSocket as return types. In the light of future deprecation of
ssl.wrap_socket() module function and direct instantiation of SSLSocket,
it is desirable to make the return type of SSLSocket.wrap_bio() and
SSLSocket.wrap_socket() customizable.

Signed-off-by: Christian Heimes <christian@python.org>

 bpo-314777: IDLE - improve rstrip entry in doc (#3602)

'Strip trailing whitespace' is not limited to spaces.  Wording caters to beginners who
do know know the meaning of 'whitespace'.  Multiline string literals are not skipped.

* News blurb.

Fix description in Python 3.7 What's New (#3603)

bpo-29916: Include PyGetSetDef in C API extension documentation. (#831)

bpo-31234: test_multiprocessing: wait 30 seconds (#3599)

Give 30 seconds to join_process(), instead of 5 or 10 seconds, to
wait until the process completes.

bpo-31234: Join timers in test_threading (#3598)

Call the .join() method of threading.Timer timers to prevent the
"threading_cleanup() failed to cleanup 1 threads" warning.

bpo-31464: asdl_c.py no longer emits trailing spaces in Python-ast.h. (#3568)

bpo-31338 (#3374)

* Add Py_UNREACHABLE() as an alias to abort().
* Use Py_UNREACHABLE() instead of assert(0)
* Convert more unreachable code to use Py_UNREACHABLE()
* Document Py_UNREACHABLE() and a few other macros.

bpo-31480: IDLE - fix tests to pass with zzdummy extension disabled. (#3590)

Enabled by default was a temporary expedient.  The fix is to add a user override to enable.

bpo-31128: Allow pydoc to bind to arbitrary hostnames (#3011)

New -n flag allow overriding localhost with custom value,
for example to run from containers.

bpo-30860: Fix deadcode in obmalloc.c (#3499)

Fix Coverity CID 1417587: _PyMem_Initialize() contains code which is
never executed.

Replace the runtime check with a build assertion.

bpo-31234: Add support.join_thread() helper (#3587)

join_thread() joins a thread but raises an AssertionError if the
thread is still alive after timeout seconds.

bpo-31234: Join threads in test_queue (#3586)

Call thread.join() to prevent the "dangling thread" warning.

bpo-31234: Add test.support.wait_threads_exit() (#3578)

Use _thread.count() to wait until threads exit. The new context
manager prevents the "dangling thread" warning.

bpo-31234: Join threads in test_threading (#3579)

Call thread.join() to prevent the "dangling thread" warning.

bpo-31455: Fix an assertion failure in ElementTree.XMLParser(). (#3545)

* Avoid calling "PyObject_GetAttrString()" (and potentially executing user code) with a live exception set.

* Ignore only AttributeError on attribute lookups in ElementTree.XMLParser() and propagate all other exceptions.

bpo-31471: Fix assertion failure in subprocess.Popen() on Windows, in case env has a bad keys() method. (#3580)

bpo-28556: typing.get_type_hints: better globalns for classes and modules (#3582)

This makes the default behavior (without specifying `globalns` manually) more
predictable for users, finds the right globalns automatically.

Implementation for classes assumes has a `__module__` attribute and that module
is present in `sys.modules`.  It does this recursively for all bases in the
MRO.  For modules, the implementation just uses their `__dict__` directly.

This is backwards compatible, will just raise fewer exceptions in naive user
code.

Originally implemented and reviewed at https://github.com/python/typing/pull/470.

bpo-28411: Isolate PyInterpreterState.modules (#3575)

A bunch of code currently uses PyInterpreterState.modules directly instead of PyImport_GetModuleDict(). This complicates efforts to make changes relative to sys.modules. This patch switches to using PyImport_GetModuleDict() uniformly. Also, a number of related uses of sys.modules are updated for uniformity for the same reason.

Note that this code was already reviewed and merged as part of #1638. I reverted that and am now splitting it up into more focused parts.

bpo-31234: Join threads in test_hashlib (#3573)

* bpo-31234: Join threads in test_hashlib

Use thread.join() to wait until the parallel hash tasks complete
rather than using events. Calling thread.join() prevent "dangling
thread" warnings.

* test_hashlib: minor PEP 8 coding style fixes

bpo-31234: Join threads in tests (#3572)

Call thread.join() on threads to prevent the "dangling threads"
warning.

bpo-31457: Allow for nested LoggerAdapter objects (#3551)

Some of the proxied methods use internal Logger state which isn't proxied,
causing failures if an adapter is applied to another adapter.

This commit fixes the issue, adds a new test for the use case.

_ssl_: Fix compiler warning (#3559)

Cast Py_buffer.len (Py_ssize_t, signed) to size_t (unsigned) to
prevent the following warning:

Modules/_ssl.c:3089:21: warning: comparison between signed and
unsigned integer expressions [-Wsign-compare]

bpo-30860: Fix a refleak. (#3567)

Resolves bpo-31420.

(This was accidentally reverted when in #3565.)

bpo-31404: Revert "remove modules from Py_InterpreterState (#1638)" (#3565)

PR #1638, for bpo-28411, causes problems in some (very) edge cases. Until that gets sorted out, we're reverting the merge. PR #3506, a fix on top of #1638, is also getting reverted.

bpo-31462: Remove trailing whitespaces. (#3564)

Improve code examples in hashlib cookie signing (GH-3562)

The `blake2b` function does not take the `data` keyword argument.
The hex digest returned by sign was a string, whereas compare_digest expects bytes-like objects.
Typo fix: compare_digesty -> compare_digest

bpo-30246: fix several error messages which only mention bytes in struct (#1421)

bpo-31458: Update Misc/NEWS link in What's New page (GH-3555)

Update the link from Misc/NEWS to Misc/NEWS.d

bpo-31234: Try to fix lock_tests warning (#3557)

Try to fix the "Warning -- threading_cleanup() failed to cleanup 1
threads" warning in test.lock_tests: wait a little bit longer to give
time to the threads to complete.

Warning seen on test_thread and test_importlib.

bpo-28556: Minor updates to typing module (#3550)

* Copy changes to typing from upstream repo
* Add NEWS entry

bpo-31418: Fix an assertion failure in PyErr_WriteUnraisable() in case of an exception with a bad __module__ attribute. (#3539)

bpo-31234: threading_cleanup() now warns immediately (#3138)

support.threading_cleanup() waits for 1 second before emitting a
warning if there are threads running in the background. With this
change, it now emits the warning immediately, to be able to catch
bugs more easily.

Update subprocess.communicate() docstring.

Explicitly state that communicate() closes stdin after writing input to it.

bpo-31234, socket.create_connection(): Fix ref cycle (#3546)

bpo-31234: Fix dangling thread in test_ftplib (#3544)

Clear also self.server_thread attribute in TestTimeouts.tearDown().

bpo-31448, test_poplib: Fix ResourceWarning (#3542)

Call POP3.close(), don't close close directly the sock attribute.

Travis CI: run coverage test using --fail-env-changed (#3541)

bpo-31234: Fix dangling thread in test_ftp/poplib (#3540)

Explicitly clear the server attribute in test_ftplib and test_poplib
to prevent dangling thread.

bpo-31233: socketserver.ThreadingMixIn.server_close() (#3523)

socketserver.ThreadingMixIn now keeps a list of non-daemonic threads
to wait until all these threads complete in server_close().

Reenable test_logging skipped tests.

Fix SocketHandlerTest.tearDown(): close the socket handler before
stopping the server, so the server can join threads.

bpo-30830: logging.config.listen() calls server_close() (#3524)

The ConfigSocketReceiver.serve_until_stopped() method from
logging.config.listen() now calls server_close() (of
socketserver.ThreadingTCPServer) rather than closing manually the
socket.

While this change has no effect yet, it will help to prevent dangling
threads once ThreadingTCPServer.server_close() will join spawned
threads (bpo-31233).

Mention enum as an ex (#2982)

bpo-31394: Make tokenize.rst PEP 8-compliant (GH-3526)

The last commit contained lines longer than 80 characters.

bpo-31394: Clarify documentation about token type attribute (GH-3469)

Make it clear that Ellipsis tokens also have type attribute set to token.OP.

bpo-31249: Fix test_concurrent_futures dangling thread (#3521)

ProcessPoolShutdownTest.test_del_shutdown() now closes the call queue
and joins its thread, to prevent leaking a dangling thread.

bpo-31234: Enhance test_thread.test_forkinthread() (#3516)

* test_thread.test_forkinthread() now waits until the thread completes.
* Check the status in the test method, not in the thread function
* Don't ignore RuntimeError anymore: since the commit
  346cbd351ee0dd3ab9cb9f0e4cb625556707877e (bpo-16500,
  os.register_at_fork(), os.fork() cannot fail anymore with
  RuntimeError.
* Replace 0.01 literal with a new POLL_SLEEP constant
* test_forkinthread(): test if os.fork() exists rather than testing
  the platform.

bpo-31428: Prevent raising a SystemError in case the memo arg of ElementTree.Element.__deepcopy__() isn't a dictionary. (#3512)

bpo-31421: Document how IDLE runs tkinter programs. (#3513)

IDLE calls tcl/tk update in the background in order to make live
interaction and experimentatin with tkinter applications much easier.

bpo-27099: Finish updating IDLE doc and help text. (#3510)

As needed for the conversion of extensions to features.

bpo-30860: Move windows.h include out of internal/*.h. (#3458)

PR #3397 introduced a large number of warnings to the Windows build. This patch fixes them.

bpo-30860: Fix a refleak. (#3506)

* Drop warnoptions from PyInterpreterState.

* Drop xoptions from PyInterpreterState.

* Don't set warnoptions and _xoptions again.

* Decref after adding to sys.__dict__.

* Drop an unused macro.

* Check sys.xoptions *before* we delete it.