debian: refinalize changelog

NEWS: finalize release date

debian: changelog for 0.34.1-1

NEWS: start news for 0.34.1

version: bump to 0.34.1

lib/load_config: deallocate / NULL database on fatal error

This fixes a potential memory leak, and makes the behaviour of
notmuch_database_load_config (somewhat) consistent with
n_d_{open,create} with config.

lib/load_config: document expectations for db on error, add tests

This is a bit different than n_d_{open,create}_with_config, since
there are several non-zero status codes where we do want to return a
non-NULL database structure.

lib/create: fix memory leak, ensure *database=NULL on error

This code previously relied on _finish_open to free the notmuch struct
on errors (except for the case of database == NULL, which was a
potential double free). When we removed those frees from _finish_open,
we introduced a (small) memory leak.

In this commit, fix the memory leak, and harmonize the on-error
behaviour with n_d_open_with_config.

lib/create: document expectations for db on error, add tests

It seems sensible to harmonize the behaviour with
n_d_open_with_config. In this commit we just assert the desired
behaviour.

lib/open: fix potential double-free, ensure *database=NULL on error

During refactoring for 0.32, the code that set notmuch=NULL on various
errors was moved into _finish_open. This meant that the the code which
relied on that to set *database to NULL on error was no longer
correct. It also introduced a potential double free, since the notmuch
struct was deallocated inside _finish_open (via n_d_destroy).

In this commit we revert to "allocator frees", and leave any cleanup
to the caller of _finish_open. This allows us to get back the
behaviour of setting *database to NULL with a small change. Other
callers of _finish_open will need free notmuch on errors.

test: add two known broken tests for missing config files

The documentation claims that the database will be set to NULL in this
case, but it is currently not happening. Based on a reproducer [1]
from Austin Ray.

[1]: id:20211021190401.imirxau2ewke6e2m@athena

lib: document n_o_w_config can return NOTMUCH_STATUS_NO_CONFIG

This should be treated as fatal by callers, since we didn't succeed in
opening a Xapian database.

NEWS: fix typo in 0.34 news.

Thanks to jrm on IRC for finding the typo.

test/libconfig: use 'export' when restoring NOTMUCH_CONFIG

This is required when NOTMUCH_CONFIG has been unset, and is harmless
otherwise.

NEWS: set date

debian: changelog for 0.34

add NEWS for remaining changes

version: bump to 0.34

NEWS: update sexp-query news

emacs: fix call to nonexistent notmuch--call-process-shell-command

Looks like a find/replace error in e722b4f4

debian: add dependency on libsexp-dev

Enable the s-expression query parser in Debian.

debian: add changelog for 0.34~rc0

INSTALL: document optional dependency on libsfsexp

For now putting it in the apt-get line will cause complaints about
missing packages for too many people.

NEWS: stub news for 0.34~rc0

This is mostly to pacify the release checks. NEWS will be filled in
during the release process.

lib: bump lib minor version to 5

One new function (and an enum) was added to the API/ABI.

debian: add new function to symbols file

version: bump to 0.34~0

Start release process for 0.34.

debian: install notmuch-sexp-queries man page

This was missed in the series that added the sexp-query parser and
docs.

configure: whitespace cleanup

In order to make it easier to keep the whitespace consistent in the
configure script, use the same style defined in devel/STYLE for
C/C++.

  Specifically, a line should begin with zero or more tabs followed
  by fewer than eight spaces.

Presumably this will be no more difficult for people editing configure
than for people editing the C and C++ code.

devel: script for checking a commit (series)

'check-notmuch-commit' is an updated version of a script I have been
using (although not always as consistently as I should) before sending
patches to the list.

Although it requires a bit more tooling, encouraging people to use
check-notmuch-commit might reduce the number of round trips to the
list for style nitpicks.

configure: check explicitely for python dev (include) files

As discussed at [1] we have received reports that the implicit check
using cffi.FFI().verify() is not reliable in all environments. Since
we already use pkg-config, and the python dev package should include a
.pc file [2], add an extra check using pkg-config.  On at least
Debian, we have to know which version of python dev files with are
looking for, so calculate that first.

[1]: id:87im1g35ey.fsf@tethera.netid:87im1g35ey.fsf@tethera.net,
[2]: checked on Debian and Fedora

Merge tag '0.33.2'

notmuch 0.33.2 release

version: bump to 0.33.2

debian: changelog for 0.33.2-1

NEWS: update for 0.33.2

test/T355-smime: Use key as exported by gpgsm

As reported in id:87h7pxiek3.fsf@tethera.net, the previous version of
the test is flaky. There is some so-far undebugged interaction between
openssl and gpgsm that causes the keys to fail to import. As a
potential workaround, use the key as exported by gpgsm, and eliminate
openssl from this particular pipeline.

emacs: notmuch-tree: customizable strings for drawing trees

New customizable variable, notmuch-tree-thread-symbols, that allows
tweaking of how trees in a forest are represented.  For instance, one
can now choose to use an hyphen rather than a white space as a prefix,
or replace the character(s) used to draw arrows.

Amended-By: db; delete errant '3'

test/emacs: tests for notmuch-{tree,unthreaded} with bad CWD

These work thanks to the previous wrapping of process creation
primitives.

emacs: wrap call-process

Provide safe working directory

test/emacs: test for notmuch-show with nonexistent CWD

Somewhat predictably, the other code path in
notmuch-call-notmuch--helper also needs to be fixed.

emacs: wrap make-process

Provide a safe working directory.

test/emacs: test for notmuch-search with nonexistent CWD

(At least) notmuch-start-notmuch needs to be updated to set a safe
working directory.

emacs: wrap call-process-region

As with notmuch--process-lines, initial purpose is to provide a safe
binding for default-directory. This is enough to make notmuch-hello
robust against non-existent or corrupt values default-directory, but
probably not other views.

emacs: wrap process-lines

Initially just set the working directory, to avoid (the implicit)
call-process crashing when the default-directory points to a
non-existent location.

Use of a macro here is over-engineering for this change, but the same
change needs to be applied to several other process creation
primitives.

test/emacs: run notmuch-hello with a nonexisting default dir

This replicates the problem reported in Debian bug #922536.

test/emacs: provide macro test-log-error

Because of the way emacs reports errors, a test form can crash and not
change the main buffer. To work around this, capture both signalled
errors and any other messages.

Merge tag '0.33.1'

notmuch 0.33.1 release

debian: drop debian specific test exclusion

In principle these tests should pass now.

debian: changelog for 0.33.1-1

NEWS: update for 0.33.1

version: bump to 0.33.1

lib: use 'localhost' rather than fqdn for default mail address.

As discussed in the thread starting at [1], the fully qualified domain
name is a bit tricky to get reproducibly, might reveal information
people prefer to keep private, and somewhat unlikely to provide
reliable mail routing.

The new approach of $current_username@localhost is better for the
first two considerations, and probably at least as good as a test mail
address.

[1]: id:87sfyibqhj.fsf@tethera.net

test/emacs: test for functions in notmuch-search-result-format.

Based on the commit message in id:20210221151902.2301690-3-dme@dme.org

Add the function notmuch-test-result-flags to test-lib.el to avoid
repeating it in 3 T*.sh files.

emacs: Allow functions in notmuch-{tree,unthreaded}-result-format

If the car of an element in notmuch-tree-result-format or
notmuch-unthreaded-result-format is a function, insert the result of
calling the function into the buffer.

emacs: Allow functions in notmuch-search-result-format

If the car of an element in notmuch-search-result-format is a
function, insert the result of calling the function into the buffer.

This allows a user to generate custom fields in the output of a search
result. For example, with:

(defun -notmuch-result-flags (format-string result)
  (let ((tags-to-letters '(("flagged" . "!")
   ("unread" . "u")
   ("mine" . "m")
   ("sent" . "s")
   ("replied" . "r")))
(tags (plist-get result :tags)))

    (format format-string
    (mapconcat (lambda (t2l)
 (if (member (car t2l) tags)
     (cdr t2l)
   " "))
       tags-to-letters ""))))

(setq notmuch-search-result-format '((-notmuch-result-flags . "%s ")
     ("date" . "%12s ")
     ("count" . "%9s ")
     ("authors" . "%-30s ")
     ("subject" . "%s ")
     ("tags" . "(%s)")))

The first few characters on each line of the search result are used to
show information about some significant tags associated with the
thread.

emacs: Use pcase in notmuch-search-insert-field

Rather than lots of string-equal calls, use the pcase macro.

emacs: notmuch-fcc-header-setup: fix regression

With [1: 16b2db09] we lost the (undocumented) option to use no Fcc
header only for From addresses matching a regexp.  This brings back
that feature and documents it.

1: 2021-01-15 16b2db0986ce0ed7c420a69d0a98bb41e9ca4bd8
   emacs: various cosmetic improvements

NEWS: typo fix; some trailing periods

The trailing periods to smaller diff between devel/news2wiki.pl
output and what has been pushed to notmuch-wiki.

doc/sexp-queries: update synopsis and description

I chose to go with a somewhat terse synopsis to try to keep the length
of the page down.

CLI/tag: enable sexp queries

We have to rewrite _optimize_tag_query here because it is generating
a query string in the infix Xapian syntax. Luckily this is easy to do
with the sexp query syntax.

CLI/{count, dump, reindex, reply, show}: enable sexp queries

The change in each case is to call notmuch_query_create_with_syntax,
relying on the already inherited shared options.  As a bonus we get
improved error handling from the new query creation API.

The remaining subcommand is 'tag', which is a bit trickier.

CLI: move query syntax to shared option

This will allow easy addition of a query syntax option to other subcommands.

lib/parse-sexp: apply macros

Macros implement lazy evaluation and lexical scope.  The former is
needed to make certain natural constructs work sensibly (e.g. (tag
,param)) but the latter is mainly future-proofing in case the DSL is
is extended to allow local bindings.

For technical background, see chapters 6 and 17 of [1] (or some other
intermediate programming languages textbook).

[1] http://cs.brown.edu/courses/cs173/2012/book/

lib/parse-sexp: thread environment argument through parser

No functionality change, just an extra argument carried everywhere.

lib/parse-sexp: support saved s-expression queries

It turns out there is not really much code in query-fp.cc useful for
supporting the new syntax. The code we could potentially factor out
amounts to calling notmuch_database_get_config; both the key
construction and the parsing of the results are specific to the query
syntax involved.

CLI/config support saving s-expression queries

This commit does not enable using saved s-expression queries, only
saving and retrieving them from the config file or the database. Use
in queries will be enabled in a following commit.

lib/parse-sexp: handle saved queries

This provides functionality analogous to query: in the Xapian
QueryParser based parser. Perhaps counterintuitively, the saved
queries currently have to be in the original query syntax (i.e. not
s-expressions).

lib: factor out expansion of saved queries.

This is intended to allow use outside of the Xapian query parser.

lib/parse-sexp: parse user headers

One subtle aspect is the replacement of _find_prefix with
_notmuch_database_prefix, which understands user headers. Otherwise
the code mainly consists of creating a fake prefix record (since the
user prefixes are not in the prefix table) and error handling.

lib/parse-sexp: support infix subqueries

This is necessary so that programs can take infix syntax queries from
a user and use the sexp query syntax to construct e.g. a refinement of
that query.

lib/parse-sexp: expand queries

The code here is just gluing together _notmuch_query_expand with the
existing sexp parser infrastructure.

lib/thread-fp: factor out query expansion, rewrite in Xapian

It will be convenient not to have to construct a notmuch query object
when parsing subqueries, so the commit rewrites the query
expansion (currently only used for thread:{} queries) using only
Xapian. As a bonus it seems about 15% faster in initial experiments.

lib/query: factor out _notmuch_query_string_to_xapian_query

When dealing with recursive queries (i.e. thread:{foo}) it turns out
to be useful just to deal with the underlying Xapian objects, and not
wrap them in notmuch objects.

lib: generate actual Xapian query for "*" and ""

The previous code had the somewhat bizarre effect that the (notmuch
specific) query string was "*" (interpreted as MatchAll) and the
allegedly parsed xapian_query was "MatchNothing".

This commit also reduces code duplication.

lib/parse-sexp: support regular expressions

At least to the degree that the Xapian QueryParser based parser
also supports them. Support short alias 'rx' as it seems to make more
complex queries nicer to read.

lib: factor out query construction from regexp

This will allow re-use of this code outside of the Xapian query parser.

lib/query: generalize exclude handling to s-expression queries

In fact most of the code path is in common, only the caching of terms
in the query needs to be added for s-expression queries.

lib/parse-sexp: handle unprefixed terms.

This is equivalent to adding the same field name "" for multiple
prefixes in the Xapian query parser, but we have to explicitely
construct the resulting query.

lib/parse-sexp: add '*' as syntactic sugar for '(starts-with "")'

Users that insist on using a literal '*' as a tag, can continue to do
so by quoting it when searching.

lib/parse-sexp: 'starts-with' wildcard searches

The many tests potentially overkill, but they could catch typos in the
prefixes table. As a simplifying assumption, for now we assume a
single argument to the wildcard operator, as this matches the Xapian
semantics. The name 'starts-with' is chosen to emphasize the supported
case of wildcards in currrent (1.4.x) Xapian.

lib/parse-sexp: add term prefix backed fields

We use "boolean" to describe fields that should generate terms
literally without stemming or phrase splitting.  This terminology
might not be ideal but it is already enshrined in
notmuch-search-terms(7).

lib/parse-sexp: support phrase queries.

Anything that is quoted or not purely word characters is considered a
phrase.  Phrases are not stemmed, because the stems do not have
positional information in the database. It is less efficient to scan
the term twice, but it avoids a second pass to add prefixes, so maybe
it balances out. In any case, it seems unlikely query parsing is very
often a bottleneck.

util/unicode: allow calling from C++

The omission of the 'extern "C"' machinery seems like an oversight.

lib/parse-sexp: support subject field

The broken tests are because we do not yet handle phrase searches.

lib/parse-sexp: support and, not, and or.

All operations and (Xapian) fields will eventually have an entry in
the prefixes table. The flags field is just a placeholder for now, but
will eventually distinguish between various kinds of prefixes.

lib/parse-sexp: stem unquoted atoms

This is somewhat less DWIM than the Xapian query parser, but it has
the advantage of simplicity.

lib: leave stemmer object accessible

This enables using the same stemmer in both query parsers.

lib/parse-sexp: parse single terms and the empty list.

There is not much of a parser here yet, but it already does some
useful error reporting. Most functionality sketched in the
documentation is not implemented yet; detailed documentation will
follow with the implementation.

lib: add new status code for query syntax errors.

This will help provide more meaningful error messages without special
casing on the client side.

CLI/search+address: support sexpr queries

Initially support selection of query syntax in two subcommands to
enable testing.

lib: define notmuch_query_create_with_syntax

Set the parsing syntax when the (notmuch) query object is
created. Initially the library always returns a trivial query that
matches all messages when using s-expression syntax.

It seems better to select the syntax at query creation time because
the lazy parsing is an implementation detail.

lib: split notmuch_query_create

Most of the function will be re-usable when creating a query from an
s-expression.

configure: optional library sfsexp

The configure part is essentially the same as the other checks using
pkg-config. Since the optional inclusion of this feature changes what
options are available to the user, include it in the "built_with"
pseudo-configuration keys.

CLI: make variable n_requested_db_uuid file scope.

It turns out that now that we pass an open database into the
subcommands, it is easy to check any requested uuid against the
database at the same time as we process the other shared
arguments. This results in overall less boilerplate code, as well as
making a CLI scope function and variable file scope in notmuch.c.

Merge branch 'release'

debian: changelog for 0.33-2

debian: temporarily disable two subtests

These are failing on (surprisingly) the Debian amd64
autobuilder. There were also previous reports of failures on Ubuntu
s390x. Fixing this may require changing the way the default is
calculated.

Merge branch 'release'

debian: add priorversion to removal of obsolete conffile

The conffile in question is long gone, no need to retry removing it
forever.

debian: changelog for 0.33-1