test/setup: check file output instead of notmuch config list

This allows verification of comments added to new / updated config
file.

CLI/config: use merged config for "config get"

This commit starts the conversion of notmuch-config.c
functionality (as opposed to just interface) to the new config
framework.

The change to T030-config is because of the move of the
canonicalization database paths from the notmuch_config_t accessor to
the internal function _choose_database_path.

CLI: load merged config at top level

This paves the way for the conversion of the remaining subcommands to
the new configuration framework.

lib/open: canonicalize relative path read from config file

This matches functionality in the the CLI function
notmuch_config_get_database_path, which was previously used in the CLI
code for all calls to open a database.

lib/config: set default for primary user email

This is mainly copying code from the CLI into the lib. The CLI copy
will be deleted in a later commit.

lib/config: set defaults for user full name

This just copies code from from the CLI into the library. New test
infrastructure is needed because apparently we have never tested this
code path.

lib/config: add config_pairs iterators

The layer of shims here seems a bit wasteful compared to just calling
the corresponding string map functions directly, but it allows control
over the API (calling with notmuch_database_t *) and flexibility for
future changes.

lib/config: add notmuch_config_get_values_string

This is to support the less common (at least in the notmuch codebase)
case of accessing a ;-delimited list config value with an arbitrary
string key.

lib: provide notmuch_database_load_config

This is mainly targetted at notmuch-config.c, or similar applications
that don't necessarily need both a configuration file and a database
to exist.

lib/open: pull _load_key_file out of _choose_database_path

Although this increases code duplication, it also increases
flexibility in handling various combinations of missing config file
and missing database.

test: convert random-corpus to use n_d_open_with_config

Remove one more usage of notmuch_config_get_database_path

lib: add missing status strings

lib/open: fix leaks calling _trial_open

_trial_open can't know if the PATH_ERROR return value will cause the
error message to be returned from the library, so it's up the caller
to clean up if not.

CLI/new: use configuration variable for backup directory

The stat is essentially replaced by the mkdir for error detection
purposes.  This changes the default location for backups to make
things tidier, even in non-split configurations. Hopefully there is
not too many user scripts relying on the previous location.

Because the default location may not exist, replace the use of stat
for error detection with a call to mkdir.

lib/config: add configuration variable for backup directory

Like the hook directory, we primarily need a way to communicate this
directory between various components, but we may as well let the user
configure it.

Most of the diff is generalizing choose_hook_dir to work for both
backup and hook directories.

lib/open: fix hook directory calculation in split configuration

Choose sibling directory of xapian database, as .notmuch may not
exist.

libgen.h is already used in debugger.c, so it is not a new dependency
/ potential portability problem.

lib/compact: enable split config

This promotes _choose_xapian_path from static to extern linkage in
order to share between open.cc and database.cc.

CLI/insert: support split database and mail root

The new test is in T055-path-config because it uses the helper
function split_config, and because it seems easier to put the
database path related tests in one place.

lib/open: support XDG_DATA_HOME as a fallback database location.

This changes some error reporting, either intentionally by reporting
the highest level missing directory, or by side effect from looking in
XDG locations when given null database location.

CLI/new: support split database and mail location

This adds new state variable for the mail root, and uses it most
places db_path was used. The notable exception is dumps from
backups. The latter will be dealt with properly in a future commit.

lib/open: check for split configuration when creating database.

The main functionality will be tested when notmuch-new is converted to
support split configuration. Here only the somewhat odd case of split
mail root which is actually symlinked to the database path is tested.

lib: support splitting mail from database location.

Introduce a new configuration value for the mail root, and use it to
locate mail messages in preference to the database.path (which
previously implied the mail messages were also in this location.

Initially only a subset of the CLI is tested in a split
configuration. Further changes will be needed for the remainder of the
CLI to work in split configurations.

lib/open: Use check for existing database by trial opening

This is a bit heavyweight for now, but it will make more sense when we
check multiple locations for the Xapian database.

lib/open: use _finish_open in n_d_create_with_config

This avoids reading the configuration file twice.

lib/open: factor out the second half of n_d_open_with_config

The idea is to allow reuse in n_d_create_with_config. This is
primarily code movement, with some changes in error messages to reduce
the number of input parameters.

lib/open: reuse directory checks from n_d_c_with_config

Make checks more uniform between creating new databases and opening
existing ones.

lib/open: factor out library initialization

This is slightly more tidy, but more importantly it allows for re-use
of this code in n_d_create_with_config. That re-use will be crucial
when we no longer call n_d_open_with_config from
n_d_create_with_config.

lib: remove "path" from notmuch struct

This removes duplication between the struct element and the
configuration string_map entry. Create a simple wrapper for setting
the database path that makes sure the trailing / is stripped.

lib/open: allocate notmuch_t struct early

This gives more flexibility in restructuring the database opening
code.

lib/open: support NOTMUCH_DATABASE environment variable

The additional code is trivial, but making sure we get the priority of
various options correct takes a few tests.

CLI/show: complete conversion to new configuration framework.

In order to open the database in main() for this command, we may need
to re-open it in the (possibly less common) case where crypto options
require write access.

CLI/new: drop the write lock to run the pre-new hook.

This fixes a bug reported in [1]. In principle it could be possible
avoid one of these reopens, but it complicates the logic in main with
respect to creating new databases.

[1]: id:9C1993DF-84BD-4199-A9C8-BADA98498812@bubblegen.co.uk

test: Add tests for write access to database from hooks.

Recent changes to configuration handling meant the pre-new hook was
run while the database was open read only, limiting what could be done
in the hook. Add some known broken tests for this problem, as well as
a regression test for write access from the post-new hook.

lib: support reopening databases for write access.

In the future Xapian will apparently support this more conveniently
for the cases other than READ_ONLY => READ_ONLY

Conceptually this function seems to fit better in lib/open.cc;
database.cc is still large enough that moving the function makes
sense.

lib: save path of xapian database in notmuch struct.

This will allow re-opening in a different mode (read/write
vs. read-only) with current Xapian API. It will also prove useful when
updating the compact functions to support more flexible database
location.

lib: publish API for notmuch_database_reopen

Include the (currently unused) mode argument which will specify which
mode to re-open the database in. Functionality and docs to be
finalized in a followup commit.

test/setup: add check for config exists, but no database.

This code path is not currently tested, and will need updating if the
location of the xapian database changes.

test: add known broken test for long directory bug

In [1] Gregor Zattler explained the results of his hard work
tracking down a bug in notmuch with long directories. This test
duplicates the bug.

[1]: id:20210317194728.GB5561@no.workgroup

lib/open: free GKeyFile

This fixes a small-to-medium (depending on size of config file) memory
leak.

lib/config: free memory from traversing GKeyFile

This fixes a few small memory leaks.

lib/open: free value from g_key_file_get_value

This fixes a small memory leak.

lib/open: use local talloc context in n_d_create_with_config

This better matches the memory allocation semantics in
notmuch_database_open_with_config.

cli: run uncrustify

This is the result of running

     $ uncrustify --replace --config devel/uncrustify.cfg *.c *.h

in the top level source directory

Line breaks were then adjusted manually to keep argc and argv
together.

test: run uncrustify

This is the result of running:

    $ uncrustify --replace --config ../devel/uncrustify.cfg *.cc *.c *.h

in the test directory.

util: run uncrustify

This is the result of running

     $ uncrustify --replace --config ../devel/uncrustify.cfg *.c *.h

in the util directory

lib: run uncrustify

This is the result of running

     $ uncrustify --replace --config ../devel/uncrustify.cfg *.c *.h *.cc

in the lib directory

test: clean up some extra whitespace.

The extra space is mainly just untidy.

test: T020-compact.sh: fix work directory location

Fix use of $TEST_DIRECTORY ($NOTMUCH_BUILDDIR/test/) with use of
$TMP_DIRECTORY ($NOTMUCH_BUILDDIR/test/tmp.T020-compact/ in case
of T020-compact.sh) as root directory where to write test files
and directories.

devel/uncrustify: add line length limits.

A generous limit of 102 is chosen to moderate the amount of resulting
reformatting.

Merge tag '0.31.4'

notmuch 0.31.4 release

debian: drop patches

we should by synced up with the tarball again

doc: bump copyright year

debian: changelog for 0.31.4-1

NEWS: news for 0.31.4

version: update to 0.31.4

test: Fix race condition in T568-lib-thread.sh

The assignment of thread-ids is (apparently) non-deterministic in a
way that mostly seems to show up on multicore machines. In my tests
the number is different from that previously assumed by this test
about 15% of the time on a 50 thread (25 core) Xeon.

Since message id's are fixed, use a message known to be in the thread
of interest to pick out the correct thread-id.

fix build failure with glib 2.67

Based on a patch from Michael J Gruber [1].  As of glib 2.67 (more
specifically [2]), including "gmime-extra.h" inside an extern "C"
block causes build failures, because glib is using C++ features.

Observing that "gmime-extra.h" is no longer needed in
notmuch-private.h, which can simply delete that include, but
we have to correspondingly move the includes which might include
it (in particular crypto.h) out of the extern "C" block also.

This seems less fragile than only moving gmime-extra, and relying on
preprocessor sentinels to keep the deeper includes from happening.

Move to the include to the outside of the extern block.

[1]: id:aee618a3d41f7889a7449aa16893e992325a909a.1613055071.git.git@grubix.eu
[2]: https://gitlab.gnome.org/GNOME/glib/-/merge_requests/1715

python: convert shebangs to python3

This is the last bit of "python" left in the notmuch codebase.

https://www.python.org/dev/peps/pep-0394/#recommendation encourages
"third-party distributors" to use more-specific shebang lines.  I'm
not certain that the notmuch project itself is a "third-party
contributor" but I think this is a safe way to encourage people to use
python3 when they're developing notmuch.

We already have python3 explicitly elsewhere in the codebase for
developers (in nmbug).

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

lib: use a stricter unused macro

This would have caught bugs like the one corrected in the previous commit.

lib/open: remove incorrect unused attribute

With the current unused macro in lib/notmuch-private.h this seems
harmless, but is misleading, since the parameter is in fact used.

lib: add missing private status values.

Many public status values have been added without being copied to the
list of private status values.

doc: describe new config framework

Remove STORED IN DATABASE discussion, describe search rules.
Currently profiles seem a bit pointless. They will make more sense
when they apply to databases as well.

CLI: use configured hook directory

This enables support for hooks outside the database directory.
It relies strongly on configuration information being usable between
closing the database and destroying it.

lib/open: set HOOK_DIR on open

This is a simple two step path search.  Most error checking is
deferred until running the hooks.

lib/config: add HOOK_DIR

The hook directory configuration needs to be kept in synch with the
other configuration information, so add scaffolding to support this at
database opening time.

cli/new: convert to new config framework

In addition to the same type of changes as converting other
subcommands, add the possibility of creating a database at the top
level. It would probably make sense to use this for insert as well.

cli/new: refactor database upgrade code

Move to a separate function. This is essentially just code movement.

lib: introduce notmuch_database_create_with_config

This takes a config path parameter, and can use that to decide the
new database location.

lib: add NOTMUCH_STATUS_DATABASE_EXISTS

It is desirable to distinguish between attempting to create a database
that already exists, and more fatal errors like permission problems.

lib/database: move n_d_create* to open.cc

This will help share code with n_d_open_with_config.

lib: add NOTMUCH_STATUS_NO_CONFIG

This will allow client code to provide more meaningful diagnostics. In
particular it will enable "notmuch new" to continue suggsting the user
run "notmuch setup" to create a config after "notmuch new" is
transitioned to the new  configuration framework.

lib/open: factor out choosing database path

The plan is to share code with a new database creation function that
has a similar API to n_d_open_with_config.

lib/config: add NOTMUCH_CONFIG_NEW_IGNORE

This will be needed by (at least) the conversion of notmuch-new.c to
the new config framework

bindings/notmuch2: add missing crypto error status codes

These are needed so that the later codes line up numerically.

cli/compact: convert to new configuration framework

Switch to the newly created API function notmuch_database_compact_db,
which takes the database opened in main().

lib: split notmuch_database_compact

The "back end" function takes an open notmuch database, which should
know its own path (i.e. the path needs to be cached in the
configuration data).

lib/config: add _notmuch_config_cache

This is a simple convenience routine to cache a configuration value
without writing it to the database.

cli/tag: convert to new config framework.

In addition to changing configuration access, change talloc context
for allocation.

CLI/show: mostly switch show to new config framework

This will need some cleanup when the transition completes, and we stop
passing notmuch_config_t structs to the subcommands.

Unlike the general case, we open the database in the subcommand, since
we don't know whether it should be opened read/write until we parse
the command line arguments.

Add a test to make sure passing config file on the command line is not
broken by these or future config related changes.

cli/config: add accessor for config file name

This is intended for use in temporary code transitioning to the new
configuration system. The name is chosen to avoid cluttering the
notmuch_config_* namespace further with non-library functions.

CLI/{search,address}: convert to new configuration framework

Since we are already passing a search context around as a kind of
parameter block, add a new talloc context to that to replace relying
on 'config'.

Convert notmuch-search and notmuch-address at the same time, because
they share some code.

Add a test to make sure we don't break passing configuration as a
command line argument.

CLI/reply: convert to new config framework

This is messier than some of the other conversions because the
extensive use of 'config' as a talloc context.

cli/reindex: convert new config framework

The only non-trivial part is switching the talloc context for
query_string_from args from 'config' to 'notmuch'.

CLI/insert: convert to new config framework.

The new talloc context is needed to run the hook at the very end of
the function. That in turn is needed so that this process gives up the
write lock on the database.

CLI/restore: convert to new config framework

Switch one configuration check to new n_c_get_bool function, and
switch use of config as talloc context to notmuch.

lib: add notmuch_config_get_bool

Booleans have no out of band values, so return a status for errors.

cli/dump: convert to new config framework

This conversion is trivial because the only configuration information
accessed by dump is that stored in the database (in order to dump
it). We do need to be careful to keep the write lock on the database
to ensure dump consistency.

CLI/count: switch to new configuration framework

The main effort is changing from the old argv style config list
iterators to the new more opaque ones provided by the library (and
backed by the database+file config cache).

lib/config: make values iterators restartable

This is relatively cheap, and makes it easier to transform existing
code which uses arrays of pointers to store configuration lists.

lib/config: add config values iterator

This is intended to avoid duplicating the string splitting and
traversal code for all clients of the config API.

util: add strsplit_len: simplified strtok with delimiter escaping

This will be used to make iterators for configuration values.

CLI: add (unused) database argument to subcommands.

This will allow transitioning individual subcommands to the new
configuration framework. Eventually when they are all converted we can
remove the notmuch_config_t * argument.

For now, live with the parameter shadowing in some some subcommands;
it will go away when they are converted.

lib/open: load default values for known configuration keys.

This emulates the behaviour of notmuch_config_open defined in the CLI,
in that it fills in default values if they are not otherwise defined.

lib/config: add notmuch_config_key_{get,set}

By using an enum we can have better error detection than copy pasting
key strings around.

The question of what layer this belongs in is a bit
tricky. Historically most of the keys are defined by the CLI. On the
other hand features like excludes are supported in the
library/bindings, and it makes sense to configure them from the
library as well.

The somewhat long prefix for notmuch_config_t is to avoid collisions
with the existing usage in notmuch-client.h.

CLI: generalize notmuch_config_mode_t

The renaming and extra values will make sense when we start to convert
subcommands to the new configuration framework. It will also avoid
collisions with a new enum for configuration keys to be introduced in
a future commit.

lib/open: add support for config profiles and default locations

Fill in the remainder of the documented functionality for
n_d_open_with_config with respect to config file location. Similar
searching default locations of the database file still needs to be
added.

lib: add stub for notmuch_database_open_with_config

Initially document the intended API and copy the code from
notmuch_database_open_verbose. Most of the documented functionality is
not there yet.

lib: cache configuration information from database

The main goal is to allow configuration information to be temporarily
overridden by a separate config file. That will require further
changes not in this commit.

The performance impact is unclear, and will depend on the balance
between number of queries and number of distinct metadata items read
on the first call to n_d_get_config.

lib: add _notmuch_string_map_set

This will be used (and tested) by the configuration caching code to be
added in the next commit.

emacs: When completing tags, offer each tag once

When prompting for one or more tags to add or remove to/from one or
more threads, ensure that the set of tags offered for completion
contains no duplicates.

Some completion packages (e.g. selectrum) will include every member of
the offered list, resulting in the same tag being indicated as a
possibility several times.