Merge branch '299df24c-1ec4-4b41-b594-66450f5ae4e8' into 'master'

misc cleanup

See merge request graphviz/graphviz!1504

remove register hints

These do little to nothing on modern compilers.

remove some compiler warnings from ~-ing bits field

Suppresses 15 compilers warnings.

remove yet another -Wconversion warning

remove another -Wconversion flags warning

remove a -Wconversion warning

suppress -Wconversion warnings from int promotion due to ~ of flags

Squashes 11 warnings.

avoid mixing int and short unsigned wrt flags

avoid storing pointer diff in an int

The distance between endb and next was being stored in an int variable. While
this should not exceed the bounds of an int during normal usage, it's risky to
store a pointer difference in a narrower type this way.

universally treat SFIO mode flags as unsigned

This squashes 119 -Wsign-conversion compiler warnings.

Merge branch 'start-windows-builds-directly' into 'master'

Start windows builds directly

See merge request graphviz/graphviz!1519

Merge branch '1f838978-873d-47d6-a09e-6a8d76e62e4d' into 'master'

fix mismatch in gverrorf signature and callers

See merge request graphviz/graphviz!1503

enable GCC and Clang to diagnose misuse of error() and errorf()

This is the equivalent of 0a982672e53868cb394743a03b4e7b68951c282b for these
lib/ast functions.

add an explicit format string parameter to error() and errorf()

remove now-unnecessary cast

The function and the pointer it is being stored into now align in their
signature.

fix: pass format parameter into gverrorf explicitly

The gverrorf function was prototyped in a way that did not align with a function
pointer it was stored into. On platforms with more forgiving varargs calling
conventions, everything worked out OK. However, on other platforms calling
gverrorf through this function pointer would result in stack corruption. This
change aligns gverrorf with the type of the function pointer in which it is
stored.

change errorv calling convention to explicitly take a format string

This function implicitly assumed its variable arguments contained a format
string as the first argument. This change pushes the assumption into the calling
convention, making it visible to the compiler.

Merge branch 'f25b153d-dfca-415f-80f5-4135e26a9fde' into 'master'

make lib/ast/*.c #includes unambiguous

See merge request graphviz/graphviz!1501

remove useless spin lock in lib/ast

This spin lock incorrectly implied to the reader that this code was thread safe.
IMHO there are two primary issues with this spin lock and one secondary issue:

  1. The intention of the spin lock is clearly to provide mutual exclusion
     within fmtbuf(). However this function returns a pointer to a static
     (thread-global) buffer. Excluding two threads from being in this function
     concurrently does not help if both exit the function with pointers into the
     same memory.

  2. The spin lock uses no atomics or volatile. As a result, accesses to the
     lock can be freely rearranged or coalesced, with no regard to thread
     interleaving. This can result in one thread never seeing another thread's
     update (unlock) to the lock. Even worse, my local compiler simply
     recognizes what is happening and omits the lock operations entirely.

  3. (secondary) If this lock worked as intended, it would spin writing to the
     lock variable. This would cause fairly pessimistic cache line bouncing as
     all waiting processors try to keep the line containing the lock in
     exclusive state in their local cache. A more performant way to achieve
     this is to spin waiting to see the lock value change *without* modifying
     the lock yourself. This allows multiple waiting processors to have the line
     in shared state, and minimizes cache coherence traffic.

make lib/ast/*.c #includes unambiguous

Unfortunately we cannot also convert the headers because they are #included by
other libraries. We will do this in a future commit. Related to #1785.

remove commented out #includes in lib/ast

Merge branch 'remove-rtest-workaround-for-non-stable-cluster-order' into 'master'

Remove rtest workaround for non stable cluster order

See merge request graphviz/graphviz!1518

Specify that the Windows CI builds dosn't need any previous job

Changed to generate VERSION in Windows builds

Instead of getting it from the portable_source stage. This allows the
Windows builds to start directly and not wait for the portable_source
stage.

Update cluster releated nshare files with rtest.py -g

Using Windows MSBuild Graphviz development version
2.44.2~dev.20200812.0541 (20200812.0541).

Since https://gitlab.com/graphviz/graphviz/-/issues/1789 was fixed,
the output is stable.

Remove rtest workaround for non stable cluster order

https://gitlab.com/graphviz/graphviz/-/issues/1789 and
https://gitlab.com/graphviz/graphviz/-/issues/1767

Merge branch 'remove-workaround-for-msbuild-executables-have-wrong-version' into 'master'

Remove test workaround for previously wrong version in MSBuild builds

See merge request graphviz/graphviz!1517

Remove workaround for previously wrong version in MSBuild builds

https://gitlab.com/graphviz/graphviz/-/issues/1745

Merge branch 'remove-config6-at-uninstall' into 'master'

Remove config6 when uninstalling Windows CMake Graphviz

Closes #1752

See merge request graphviz/graphviz!1516

Merge branch 'B47EF71C-B166-4F10-96FD-B06894B84010' into 'master'

remove legacy Travis CI config

See merge request graphviz/graphviz!1497

remove legacy Travis CI config

CI testing now happens on Gitlab.

Remove config6 when uninstalling Windows CMake Graphviz

Fixes https://gitlab.com/graphviz/graphviz/-/issues/1752

Merge branch 'fix-missing-version-in-windows-ci-artifacts' into 'master'

Correct filename of Windows exe installer and zip archive

Closes #1792

See merge request graphviz/graphviz!1514

Merge branch 'remove-version-from-windows-cmake-install-path' into 'master'

Set CPack installation directory to "Graphviz"

Closes #1748

See merge request graphviz/graphviz!1515

Merge branch 'fix-cmake-exe-installer-package-version' into 'master'

Correct package version in CMake exe installer

Closes #1791

See merge request graphviz/graphviz!1513

Set CPack installation directory to "Graphviz"

The default was to include the version in the installation path.

Fixes https://gitlab.com/graphviz/graphviz/-/issues/1748

Correct filename of Windows exe installer and zip archive

Fixes https://gitlab.com/graphviz/graphviz/-/issues/1792

Correct package version in CMake exe installer

Fixes https://gitlab.com/graphviz/graphviz/-/issues/1791

fix edge attribute order confusion

Certain edge attributes are constructed in advance of their being seen in the
input because Graphviz knows it may need default values for them. Later, if seen
in the input, the values of these attributes are updated.

This all works fine unless the order in which these initially-defaulted edge
attributes appear in the input does not match the order in which the default
versions are constructed by Graphviz internally. In this case, the order in
which the attributes are seen in the input is used to construct a dictionary of
them, but the original copies are used to index into attribute values.

In the particular test case added in this commit,

  digraph {
    { rank=same; n1; n2 }

    n2 -> n1 [ headport=s, arrowhead=normal ]
  }

arrowhead was constructed with symbol ID 0 and headport was constructed with
symbol ID 1. But then the later parsing of these attributes resulted in a
dictionary where the headport value was in ID 0 and the arrowhead value was in
ID 1. Indexing into this dictionary with the initially constructed E_arrowhead
resulted in incorrectly returning the value "s". This caused a spurious error
'Arrow type "s" unknown' as well as incorrect graph output.

Fixes #1444. Note that this may just be one of several issues resulting from
using these initially constructed E_* symbols.

Merge branch 'use-preinstalled-grep-in-ci' into 'master'

Use preinstalled grep instead of installing it in CI

See merge request graphviz/graphviz!1512

Use preinstalled grep instead of installing it in CI

Final step that fixes
https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'use-preinstalled-diffutils-in-ci' into 'master'

Use preinstalled diffutils instead of installing it in CI

See merge request graphviz/graphviz!1511

Use preinstalled diffutils instead of installing it in CI

One more step towards https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'use-preinstalled-pytest-in-ci' into 'master'

Use preinstalled pytest instead of installing it in CI

See merge request graphviz/graphviz!1510

Use preinstalled pytest instead of installing it in CI

One more step towards https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'use-preinstalled-python3-in-ci' into 'master'

Use preinstalled Python 3 instead of installing it in CI

See merge request graphviz/graphviz!1507

Use preinstalled Python 3 instead of installing it in CI

One more step towards https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'use-preinstalled-perl-in-ci' into 'master'

Use preinstalled perl in CI

See merge request graphviz/graphviz!1502

fix segfault with large edge weights

When passed a large edge weight, e.g. 1073741824, an integer overflow would
occur when calculating virtual weights. This would go on to cause a segfault as
calculations were increasingly thrown off by negative values.

This change detects when an overflow will occur and exits. Calling exit() from
within a deeply nested library function like this is not good practice, but we
don't have a better alternative right now. The call chain involves gvLayout()
whose interface to the plugins inherently has no way of reporting failure.

Fixes #1783.

fix typo in clustg

Fixes #1781.

Use preinstalled perl instead of installing it in CI

One more step towards https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'adapt-to-moved-nsis' into 'master'

Adapt to moved NSIS install directory

See merge request graphviz/graphviz!1506

Adapt to moved NSIS install directory

Merge branch 'use-preinstalled-nsis' into 'master'

Use preinstalled nsis instead of installing it in CI

See merge request graphviz/graphviz!1505

Use preinstalled nsis instead of installing it in CI

Merge branch 'port-rtest.sh-to-python' into 'master'

Port rtest.sh to Python and enable rtest on Windows

Closes #1779

See merge request graphviz/graphviz!1496

assign Cgraph IDs linearly

Previously Cgraph only assigned odd IDs from the internal counter, because even
IDs were reserved for pointers derived from agstrdup. Now that we no longer use
pointers as IDs there is nothing special about an ID being even or odd.

fix: assign anonymous IDs to named entities

Instead of using string pointers as IDs, we now assign the IDs for named
entities exactly the same way we assign them for anonymous identities. This
works because we first check the internal map before creating any new ID, so
processing the same name twice will result in the same ID as before.

This fixes #1767. Now clusters within a graph are consistently processed in the
order in which they appear in the input file, rather than an order dependent on
pointers given out by the allocator.

stop relying on pointers-as-IDs to retrieve strings

Now that strings are always stored in the internal map, they can be retrieved
from there instead of relying on the assumption that the ID aliases the name of
an entity. Related to #1767.

add non-local names to Cgraph internal map as well as local names

This allows the internal name->id map to track *all* names. Related to #1767.

check internal map for IDs prior to creating one from a string

This has no effect currently because the case that preceded this check was for
non-local names, that are not inserted into the internal map anyway. However, an
upcoming change will alter this behavior, so we want to make sure that if a name
already has a known ID it is found first. Related to #1767.

fix: take a copy of font name when caching fonts in Pango plugin

The Pango plugin caches the last used font to save an expensive reconstruction
process each time it runs. To determine whether the cached font is eligible for
reuse, the name and size of the requested font are checked against the cache
entry. However the name of the cached font was only stored as a pointer to the
original name. The cached entry could outlive the original font, which could be
freed before a next call into the plugin. As a result, the plugin would perform
a strcmp using a stale freed pointer.

To address this we simply take a copy of the font name's string data instead of
just a pointer to it. There is no need to copy any of the other cached fields as
they are only accessed if the font name check finds the entry to be valid.

Related to #1767.

fix: suppress Xlib finalization if initialization failed

The initialization function of a device plugin has no way of reporting failure
to its called. So an attempt to use the x11 back end calls xlib_finalize() even
if xlib_initialize() failed. To make this safe, we set a flag if initialization
succeeds and make xlib_finalize() a no-op if the flag is not set. Fixes #1776.

Merge branch 'remove-unnecessary-cmake-install-in-ci' into 'master'

Use existing CMake on GitLab Windows runner instead of installing it

See merge request graphviz/graphviz!1498

fix: cast overflow with large font sizes in Pango plugin

When using an abnormally large font size, computing the Pango units for the size
would overflow. This resulted in an assertion failure in Pango when seeing a
negative size value. This issue was found by Google Autofuzz project. This
fixes #1314.

remove now unnecessary detection of str[n]casecmp

Related to #1775.

remove empty compat.h header

This header was not doing anything useful.

replace in-tree str[n]casecmp implementations with libc

Instead of carrying multiple implementations of these functions in the Graphviz
tree, we now call the built-in support on the current platform. Closes #1775.

add an abstraction for strcasecmp

Related to #1775.

Use existing cmake instead of installing it

The first step towards https://gitlab.com/graphviz/graphviz/-/issues/1759.

Merge branch 'use-windows-dependencies-submodules-from-the-graphviz-gitlab-group' into 'master'

Change to get windows/dependencies submodules from graphviz

See merge request graphviz/graphviz!1500

Merge branch 'add-missing-changelog-entry-for-fixed-win-msbuild-version' into 'master'

Add missing CHANGELOG entry for fixed version in MSBuilds

See merge request graphviz/graphviz!1499

Simplify pytests that call rtest.py

make sfio #includes unambiguous

This change makes the #includes of lib/sfio headers unambiguous within the
lib/sfio C sources. The upcoming plan is to also make the header #includes and
any of lib/sfio's dependents also unambiguous this way. Related to #1785.

make an include of vthread.h relative

This is a step along the way towards less ambiguous #includes. Eventually this
should become a more clearly qualified #include like <sfio/vthread.h>. Related
to #1785.

remove lib/sfio include directory addition of lib/vmalloc in msbuild

Sfio does not appear to rely on vmalloc.

remove lib/sfio include directory addition of lib/ast in autotools build

Sfio does not appear to rely on any headers from lib/ast.

Change to get windows/dependencies submodules from graphviz

The windows/dependencies repositories are now hosted as subprojects in
the GitLab Graphviz group:

* https://gitlab.com/graphviz/graphviz-build-utilities
* https://gitlab.com/graphviz/graphviz-windows-dependencies

Add CHANGELOG entry for fixed version in MSBuilds

Update nshare with rtest.py -g using Windows MSBuild Release 2.44.1

Add temporary skip of rtests using ps shapefile on Windows

Fails because of https://gitlab.com/graphviz/graphviz/-/issues/1790

Add temporary skip of ps & gv diff on Windows for specific rtests

May fail because of https://gitlab.com/graphviz/graphviz/-/issues/1789

Don't treat Windows as an unrecognized system

Install diffutils in Windows CI

Add temporary skip of PNG diff for Windows CMake rtest

Fails because of https://gitlab.com/graphviz/graphviz/-/issues/1788

Add temporary skip of rtests using shapefile for Windows MSBuild Debug

Fails because of https://gitlab.com/graphviz/graphviz/-/issues/1787

Add temporary skip of rtests using overlap=false for Windows MSBuild

Fails because of https://gitlab.com/graphviz/graphviz/-/issues/1269

Add temporary skip of format png:gd for Windows CMake rtest

Fails because of https://gitlab.com/graphviz/graphviz/-/issues/1786

Add new rtest.sh that calls rtest.py

Run new rtest.py script instead of rtest.sh

Port rtest.sh ksh code to Python in rtest.py

Resolves https://gitlab.com/graphviz/graphviz/-/issues/1779

The reason this is a separate commit from the previoust commit, which
contains the renaming of the file, is to trick git to show the changes
as a one-file diff regardless of the similarity index, rather than one
deleted and one added file. This makes it easier to compare the ksh
code to the Python code.

Rename rtest.sh to rtest.py

The reason this is a separate commit from the next commit, which
contains the changed content, is to trick git to show the changes as a
one-file diff regardless of the similarity index, rather than one
deleted and one added file. This makes it easier to compare the ksh
code to the Python code.

add GVPR Vim syntax

Closes #1762.

compiler annotations to explain calling convention of agerr and friends

This change teaches suitably enlightened compilers (Clang and GCC) more about
how these functions are intended to be called. When told to detect misuse of
format strings (`-Wformat`), they can now detect incorrect calls like that fixed
in 31ef5a3c31214d77137e4b36603a2a97576e851e.

remove unnecessary temporary buffer to construct error message

The motivation for this change is to avoid passing a variable to agerr which
triggers so -Wformat-security errors after some upcoming changes. However, it's
nice to be able to just simplify this code anyway.

remove exception-style control flow in lib/rbtree

Fixes #1742.

expose StackDestroy function in stack.h

remove some dead code

remove legacy RBTree comment

The assertions depending on this macro were refactored in
40ef32e7c7adca0a1217135d8d3b1c582e75787e.

remove compiled RBTree test binary

We can rebuild this using makefile.txt in lib/rbtree if necessary. The existing
committed binary was out of date.