notmuch-show-imenu-prev-index-position-function: Don't recenter

The previous version of
notmuch-show-imenu-prev-index-position-function was calling
notmuch-show-previous-message which was recentering the window. This
is a problem when which-func-mode is active because which-func-mode is
called each time the user moves point around.

Because this function is only meant to be executed by imenu, there is
no reason to recenter the window. For the same reason, the new
implementation doesn't have to follow strictly how
notmuch-show-previous-message is implemented because imenu only places
point at very specific locations before calling
notmuch-show-imenu-prev-index-position-function.

fix segfaults in Python cFFI API and add tests

Several iterators in the Python cFFI API destroyed the objects they iterated
over too early (when the iterator was exhausted), causing subsequent segfaults
in common cases like creating a list from the iterator. This patch fixes the
segfaults and add tests to ensure that they don't happen again.

Revert "bump versions to 0.39~rc0"

This reverts commit deea909993513ec6fd800b7571649582d994dcbc.

docs: add 2025 to copyright years

bump versions to 0.39~rc0

Prepare to release a snapshot for testing

debian: update changelog for 0.39~rc0-1

docs: Update intersphinx_mapping

Running `make dirhtml` in bindings/python/docs generates the following
error:

```
sphinx-build -b dirhtml -d build/doctrees   source build/dirhtml
Running Sphinx v8.0.2
loading translations [en]... done
making output directory... done
Converting `source_suffix = '.rst'` to `source_suffix = {'.rst': 'restructuredtext'}`.
ERROR: Invalid value `None` in intersphinx_mapping['https://docs.python.org/']. Expected a two-element tuple or list.
```

This commit updates intersphinx_mapping to follow the latest docs [1]

[1] https://www.sphinx-doc.org/en/master/usage/extensions/intersphinx.html

Signed-off-by: Fredrik Lönnegren <fredrik@frelon.se>

NEWS: deprecate Emacs older than 27.1

The current requirement of 25.1 is more than 5 years old at this
point.

emacs/mua: Correct autoload cookies

This is a follow-up to [1: 8d06dfce]. Per Info node '(elisp)Autoload',
autoload cookies should start with ';;;###'.

1: 2024-04-04 8d06dfce175593aebae9a759c9167df4988a3444
   emacs: Autoload notmuch-user-agent related functions

Revert "emacs: Fix saved-search buffer titles"

This reverts commit bc989209171d406b3671024542e59b86b0ecb23d.

This was applied unintentionally to master while still under discussion.

emacs/tree: sanitize subjects when drawing tree

This fixes the bug reported in

     id:6F2EF901-8B4B-44FF-83C5-22F732BA95A6@gmail.com

Unfortunately it turns out our test data has several tabs in the
subject lines. The expected output was updated to reflect their
removal and the ripple effect of several more subjects matching the
previous ones.

test/emacs-tree: add known broken test for subject with CR/NL

The test is intentionally vague as it's hard to pin down the correct
output before the code is fixed.

test/emacs-show: add regression test for subjects with CR/NL

This subject is known to be problematic for notmuch-tree.

CLI/show: warn if crypto options are used with mbox format

This limitation seems somewhat hard to fix, but at least try to warn
users when combining crypto operations with mbox output format.

Because the default is --decrypt=auto, the warning is omitted if
--decrypt=auto is specified. While this is not great, it seems more
wrong to always warn, or to change the default because of this.

emacs: Fix saved-search buffer titles

REPRODUCTION STEPS:

  (let ((notmuch-saved-searches
         (list (list :name "Emacs List"
                     :query "query:lists-emacs")
               (list :name "All Lists"
                     :query "query:lists"))))
    (notmuch-search-buffer-title "query:lists-emacs" ))

ACTUAL:

  "*notmuch-saved-search-[ All Lists ]-emacs*"

EXPECTED:

   "*notmuch-saved-search-Emacs List*"

devel: document emacs keybindings u and U

Thanks to changing the column widths to accomodate longer function
names, the diff is rather large, but the content is two new rows for
'u' and 'U'

Merge branch 'release'

debian: migrate build dependency to pkgconf

pkgconf is apparently the annointed successor to pkg-config, at least
in Debian.

debian: skip T810-tsan everywhere

Not sure whose fault the failure is, but for now skip the test.

debian: drop build conflicts on gdb-minimal

Recent gdb Provides gdb-minimal, so we can't conflict with it and
require gdb.

This may cause problems for people building in dirty environments for
older gdb, but there is not much we can do.

Add Astroid as an alternative Recommends; this one is a GUI client

that may be less intimidating for new users.

Allow neomutt to fulfill the "mutt" requirement of notmuch-mutt, and

add related Enhances (Closes: #1029190).

Add changelog entry for James McCoy's work

Convert notmuch-vim to Vim addon policy 2.0

The new Vim addon policy relies on Vim's native package functionality,
rather than the Debian-specific vim-addons tool.  This allows the addon
to be immediately available when the package is installed, rather than
requiring extra setup by the user.

* Install notmuch-vim to its own /usr/share/notmuch-vim directory, so
  the files are self-contained.
* Remove vim-addon-manager from notmuch-vim Depends
* Add ${vim-addon:Depends} to notmuch-vim Depends to ensure it has the
  required relationships on Vim/Neovim.
* Build-Depend on dh-sequence-vim-addon to automatically setup the
  required symlinks for Vim and Neovim to see the addon.

Signed-off-by: James McCoy <jamessan@debian.org>

config: allow custom separators in author lists

Allow distinguishing between commas separating authors and separating
first and last names.

Amended by db: reformat NEWS entry and commit message. Tweaked
whitespace in lib/thread.cc.

changelog for 0.38.3-2

test/emacs: test notmuch-mua-subject-check

Amended by db: rename test file to avoid collision.

emacs/mua: optionally check for erroneous subjects

This works much like notmuch-mua-attachment-regexp, but for the
subject instead. By default, check for empty subjects, as that seems a
reasonable thing to safeguard against.

CLI: update commentary in config file to better match code

This comment has been out of date since notmuch 0.32. Although it
isn't really possible to explain all the options here, explain both
one new "split" way of doing things and the traditional one with
database inside $MAIL_ROOT/.notmuch.

lib: thread-safe s-expression query parser

Follow-up of 6273966d, now that sfsexp 1.4.1 doesn't rely on globals
anymore by default (https://github.com/mjsottile/sfsexp/issues/21).

This simply defers the initial query generation to use the thread-safe
helper (xapian_query_match_all) instead of Xapian::Query::MatchAll.

emacs/hello: refresh hello directly

According to the now deleted commentary, the hack of using run-at-time
was needed for Emacs 24. It seems to be no longer needed for Emacs
28.2, and removing it makes further changes to the code simpler.

CLI/git: add reset command

Sometimes merging is not what we want with tags; in particular it
tends to keep tags in the local repo that have been removed elsewhere.
This commit provides a new reset command; the reset itself is trivial,
but the work is to provide a safety check that uses the existing
--force and git.safe_fraction machinery.

Replace `delete-line` with its definition

37c022ae ("Use `without-restriction` in `with-temporary-notmuch-message-buffer`", 2024-03-14)
introduced `delete-line` in a test, but this is Emacs 29 and above only.
Replace it with its (almost) definition.

Replace `without-restriction` with `save-restriction`

37c022ae ("Use `without-restriction` in `with-temporary-notmuch-message-buffer`", 2024-03-14)
introduced a fix for draft saving in a way which is supported on Emacs
29 and above only. Replace this with a construct which we have used
before, so that we keep the same compatibility level.

Use `without-restriction` in `with-temporary-notmuch-message-buffer`

This ensures that the temporary copy of the current message-mode
buffer is whole and not limited by a current restriction.

An example of such restriction is the default one established by
message-mode when composing a reply, that hides the References,
In-Reply-To and similar headers.

test/cli: Add known broken test for (missing) quoting in From

In [1], Jakub Wilk observes that the current behaviour is confusing
since it looks like there are two mailboxes in From, while in fact
there is only one.  It seems to me that notmuch should at least quote
the display-name part of a mailbox if it has "funny" characters in it,
and perhaps always quote it. Either way will require changing the
indexing code, since the structure is lost when writing the headers to
the database.

[1]: https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1021614

emacs/show: fix for text/calendar display

In certain scenarios involving symlinks and setting
find-file-visit-truename, text/calendar parts were not displayed
properly.

Following a suggestion of Al Haji-Ali [1], replace the use of
get-file-buffer with find-buffer-visiting.

[1]: id:m2wmneguh8.fsf@gmail.com

test/emacs: add tests for rendering text/calendar parts

The first test is just a general regression test, while the second
duplicates the problem discussed in the thread starting at [1].

[1]: id:m2leo2u0uo.fsf@gmail.com

test/emacs: add regression test for display of calendar parts.

This will hopefully catch breakage due to either changes in
Emacs (especially Gnus) or changes to the notmuch-show code.

test/corpora: add example with text/calendar attachment

Initially for testing rendering in Emacs.

emacs: Allow customizing :excluded in notmuch-saved-searches

Provide customize support for the new feature introduced in
cd89065d.

Commit message expanded by: db

test: re-enable duplicate UI tests in T460-emacs-tree

These were disabled (accidentally?) in f63d14a8c12a.

emacs: Add new option notmuch-search-hide-excluded

The new notmuch-search-hide-excluded option allows users to configure whether
to show or hide excluded messages (as determined by search.exclude_tags
in the local notmuch config file). It defaults to true for now to maintain
backwards-compatibility with how notmuch-{search,tree} already worked.

New commands notmuch-search-toggle-hide-excluded and
notmuch-tree-toggle-exclude have also been added. They toggle the value
of notmuch-search-hide-excluded for the search in the current search or
tree buffer. It's bound to "i" in the respective keymaps for these
modes.

Lastly I've amended some calls to notmuch-tree and notmuch-unthreaded
which didn't pass through the buffer local value of
notmuch-search-oldest-first (and now notmuch-search-exclude).
Examples of where I've done this include:
  + notmuch-jump-search
  + notmuch-tree-from-search-current-query
  + notmuch-unthreaded-from-search-current-query
  + notmuch-tree-from-search-thread

A new test file for Emacs has been added which covers the usage of the
new `notmuch-search-hide-excluded' option and interactively hiding or
showing mail with excluded tags. These test cover the basic usage of
the `notmuch-search-toggle-hide-excluded' command in notmuch-search,
notmuch-tree and notmuch-unthreaded searches. These tests also cover
the persistence of the current value of the hide-excluded mail option
as a user switches from between these different search commands.

[1]: id:87ilxlxsng.fsf@kisara.moe

Amended-by: db, fix indentation in T461-emacs-search-exclude.sh

perf-test/tag: add maildir sync tests

Today someone asked me the (reasonable) question of how much
performance impact there is from synching tags to maildir flags. It
turns out it is noticeable, about a 50% overhead compared to
non-synched tags (according to these tests).  In practice I don't know
if it's a big problem for users, since I don't know what fraction of
tagging operations involve "special" tags.

emacs: Autoload notmuch-user-agent related functions

With this change, users with mail-user-agent set to
'notmuch-user-agent can start composing emails without having to
require 'notmuch-mua first.

emacs: Mark "notmuch-tree" command for autoloading

Some people (e.g: me) prefer to read their email with threaded
representation by default.

Without this commit, I have to run "notmuch-search" (autoloaded)
first to get "notmuch-tree" loaded.

NEWS: aspell(1)d few words

Executed aspell -l en -c NEWS

and replaced few obvious cases.

Merge tag 'debian/0.38.3-1'

notmuch release 0.38.3-1 for unstable (sid) [dgit]

[dgit distro=debian no-split --quilt=linear]

debian: update changelog date

It is a bit weird to have debian changelog before upstream release date.

Merge from sid [dgit]

Revert "debian: start changelog for 0.38.3-1"

This reverts commit 522b279e46c84e4d2d52ccdf082d05fc111dc7b5.

Remove duplicate changelog stanza

version: bump to 0.38.3

debian: start changelog for 0.38.3-1

doc: update copyright years to include 2024

NEWS: update for 0.38.3

Record notmuch (0.38.2-1.1) in archive suite sid

notmuch (0.38.2-1.1) unstable; urgency=medium

  * Non-maintainer upload.
  * Rename libraries for 64-bit time_t transition.  Closes: #1063205

[dgit import unpatched notmuch 0.38.2-1.1]

Import notmuch_0.38.2-1.1.debian.tar.xz

[dgit import tarball notmuch 0.38.2-1.1 notmuch_0.38.2-1.1.debian.tar.xz]

debian: recommend gpg-agent instead of gnupg agent

CLI/git: remove no-op format() call

CLI/git: fix name error

CLI/git: remove unused import

shutil was used only for the tempfile.TemporaryDirectory backport,
which was removed in commit b7c31f658121a0cf ("CLI/git: drop support for
python < 3.2").

Merge branch 'release'

lib: clear error message on success in _choose_database_path

Previously we both found a database and returned a message saying that
the database could not be found (along with a success code). This
change should prevent spurious error output.

test: add known broken test for incorrect error message

Duplicate bug reported in id:87wmtvcor5.fsf@alyssa.is

The error message is nonsense, because notmuch config list actually
includes the database in those two cases.

Merge branch 'release'

debian: changelog for 0.38.2-1

Import notmuch_0.38.2.orig.tar.xz

[dgit import orig notmuch_0.38.2.orig.tar.xz]

NEWS for 0.38.2

version: bump to 0.38.2

notmuch-emacs-mua: avoid extra separators at the end of the line

Currently the --to/--cc/--bcc options add "user@example.com, " to the
message headers, with the the unnecessary ", " separator after the
last address, regardless of how many addresses are being added.

This used to be fine, but with recent emacs mm, trying to send the
email with the trailing commas leads to prompt:

  Email address  looks invalid; send anyway? (y or n)

Fix this by only adding the commas between addresses, avoiding the
trailing commas.

Merge branch 'release'

lib/string_map: simulate stable sorting

qsort(3) does not promise stability, and recent versions of glibc have
been showing more unstable behaviour [2]. Michael Gruber observed [1] test
breakage due to changing output order for message properties.

We provide a sorting order of (key,value) pairs that _looks_ stable by
breaking ties based on value if keys are equal. Internally there may
be some instability in the case of duplicate (key,value) pairs, but it
should not be observable via the iterator API.

[1]: id:CAA19uiSHjVFmwH0pMC7WwDYCOSzu3yqNbuYhu3ZMeNNRh313eA@mail.gmail.com
[2]: id:87msv3i44u.fsf@oldenburg.str.redhat.com

Merge tag '0.38.1'

notmuch 0.38.1 release

debian: update changelog for 0.38.1-1

NEWS: News for 0.38.1

Just note the 3 bug fixes.

version: bump to 0.38.1

No changes from 0.38.1~rc1

Merge tag '0.38.1_rc1'

notmuch 0.38.1~rc1 release

changelog for 0.38.1~rc1-1

version: update to 0.38.1~rc1

notmuch-mutt: fix Perl syntax of hash index lookups

Fixes: commit 239fdbbbf0cbd6cd6ebafb87e88cdb3cded75364

emacs/mua: change name of ignored parameter

Suppress compiler warning.

emacs/address: rewrite docstring for n-a-selection-function

The previous version essentially repeated the source code, and
generated a compiler warning.

emacs: wrap docstrings

Suppress byte-compiler warnings about >80 character docstrings.

emacs: update quoting in docstrings

The complicated looking escapes are needed to avoid compile time
warnings.  (info "(elisp) Text Quoting Style") for details.

Merge tag 'debian/0.38.1_pre0-1'

notmuch release 0.38.1~pre0-1 for experimental (rc-buggy) [dgit]

[dgit distro=debian no-split --quilt=linear]

debian: finalize changelog for 0.38.1~pre0-1

Bonus typo fix.

Merge tag '0.38.1_pre0'

notmuch 0.38.1~pre0 release

emacs/show: special case toggling display of images

According to emacs upstream [1], we can't expect overlay invisibility
and images to get along. This commit uses the previously stashed
undisplayer functions to actually remove the images from the buffer.
When the image is toggled, it is essentially redisplayed from scratch,
using the previously stashed redisplay data.

[1]: https://lists.gnu.org/archive/html/emacs-devel/2023-08/msg00593.html

emacs: save image redisplay data during non-lazy display

This data will eventually be used to redisplay hidden images. A
certain amount of refactoring is done here to avoid code
duplication.

emacs/show: save redisplay redisplay data when showing lazy part.

This data will be used to redisplay an image that is hidden by
deleting it from the buffer.  We cannot easily delay until the image
is hidden, as we won't have the original data at that point.

emacs: save undisplayer function for MIME parts

For some kinds of MIME parts (at least images), our trickery with
overlays will not work, so save the more drastic function created by
Gnus that actually deletes the part from the buffer. In an ideal world
we would return this function as (part of) a value, but here the call
stack is too complicated for anything that simple, so we stash it in
the part plist and rely on that being preserved (unlike the mm handle,
which is transient).

Merge branch 'release'

Pass error message from GLib ini parser to CLI

The function _notmuch_config_load_from_file is only called in two
places in open.cc. Update internal API to match the idiom in open.cc.
Adding a newline is needed for consistency with other status strings.

Based in part on a patch [1] from Eric Blake.

[1]: id:20230906153402.101471-1-eblake@redhat.com

test: add known broken subtest for the bad config error message

This is a bit fragile w.r.t. glib changing their error message, but it
already helped me find one formatting bug, so for now I think it's
worth it, instead of just grepping for "UTF-8".

CLI: exit with error when load_config returns an error.

For now print a generic error message and exit with error on any
non-success code. Previously the code exited, but with exit code zero,
leading users / scripts to think the command had succeeded.

test: add known broken test for bad utf8 in config

We should ideally print an informative error message, but at the very
least we should not exit with success.

debian: start changelog for 0.38.1~pre0-1

NEWS: add header for 0.38.1

Actual news items to be filled in after they are applied.

version: update to 0.38.1~pre0

Start preparations for point release