test: add another known broken test for uncaught DatabaseModifiedError

This one is raised from _notmuch_message_create().

See also https://github.com/pazz/alot/issues/1460#issuecomment-2994101019

python/doc: fix link to notmuch-config manpage

This docstring has been like this a long time, but recently I noticed
sphinx-doc complaining about :man:. This :any: link seems to work, and
is consistent with the other links to the notmuch-config man page.

Merge branch 'release'

doc/emacs: start subsection on message level actions

In particular this gives a place for documenting how to resume editing
drafts.

doc/emacs: update keybindings list for 'e'

The mention of notmuch-tree-button-activate seems to have been an
error / obsolete.

doc/emacs: refactor navigation commands

The amount of space saved here is minimal, but I want to migrate to a
more topic focused manual, as opposed to long alphabetical lists of
commands.

doc/emacs: start a section on notmuch-message-mode

This is mostly just copying docstrings, but putting them into sections
makes them more discoverable.

test: do not add legacy bindings to PYTHONPATH

d526797a ("python: move legacy python bindings to contrib.", 2025-02-15)
moved the legacy python bindings away from the location in `bindingss/`.
Do not add that location to the PYTHONPATH since it is obsolete.

emacs/search: call notmuch-search-mode before popping to buffer

This makes derived-mode matching in display-buffer-alist work.

bindings/python-cffi: fix typos

python: make IndexOptions public

Database docstrings refer to IndexOptions,
so the latter should be public too.

Merge branch 'release'

emacs: fix disabling notmuch-show-header-line via custom

The defcustom had a typo that prevented it from working as intended.

Merge branch 'release'

doc/python: correct wording around container complexity.

Based on a suggestion from Jakub Wilk.

Merge branch 'release'

debian: drop patches

Those changes are now directly in git.

Merge branch 'debian/unstable' into release

merge bugfix uploads from other branch

NEWS: set release date

debian: changelog stanza for 0.39-1

version: bump to 0.39

Identical to 0.39~rc3, except for release related
documentation (e.g. NEWS).

NEWS: news for 0.39

This is based on my reading of git shortlog. Some more development
specific changes have been omitted.

Merge branch 'release'

debian: changelog for 0.39~rc3-1

version: bump to 0.39~rc3

Set 'untrusted-content' to t in all modes

Instead of trying to guess in which modes this is safe not to set in,
let's just set it in all of them.

Background (added by db):

untrusted-content was added in Emacs 29.3 and is currently set by Gnus
and used by org-mode to prevent certain unsafe operations. I think the
intent is to use it for blocking more unsafe operations in the future.

Merge branch 'release'

bindings/python-cffi: fix docstring for message.header()

The cffi bindings raise a LookupError in case a header is not present.
Adjust the docstring to say so.

The legacy bindings behaved differently, and this is one of the things
to be aware of when migrating to the cffi bindings.

Debian build-deps: include emacs-pgtk in conjunction

Debian developers with the pure GTK+ variant of emacs (which does not
support X11 at all, as it builds entirely against the GTK Wayland
backend) should also be able to treat the build-dependencies as
satisfied.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

Merge branch 'release'

emacs/tree: add call to notmuch-hl-line-mode from process-filter

This removes the visual gap/stutter between when the screen fills and
when the hl-line "cursor" is drawn.  It is not obviously how to
robustly test this, since it the observable effect is purely a matter
of timing.

emacs/tree: call notmuch-hl-line-mode from tree-sentinel

There is a a perceptible gap between when the tree shows up and when
the hl-line is visible, but this is better than the previous state
where the line did not show up at all until the user moved the cursor.

emacs/tree: condition hl-line-mode on notmuch-hl-line

It isn't clear that this call to hl-line-mode will survive the coming
re-organization to stop relying on hooks, but incrementally this at
least makes the disabling behaviour consistent.

emacs: replace use of hook to draw hl-line in search mode

In the thread at id:87fsfuuxwn.fsf@thinkbox, a bug is discussed where
the point and hl-line overlay get out of sync, leading the user to
open the wrong message. As far as I can tell this is caused by
notmuch-hl-mode being invoked too early.

This change bypasses the logic preventing notmuch-search-hook being
called only once, so that the overlay is updated later after the
buffer is full(er).

This change may lead to the overlay being updated multiple times; if
this is annoying we can add a similar buffer local variable to ensure
it is only called once.

The extra logic to check notmuch-search-target-line reduces the
flicker somewhat by not highlighting the first line every time.

test/emacs: add tests for hl-line-mode integration

Most of the known broken tests replicate (my intepretation of) the bug
reported at id:87fsfuuxwn.fsf@thinkbox (or some unreported, but
probably related bugs in tree/unthreaded view). The last 3 broken
tests are just unimplimented planned functionality.

emacs: add defcustom to control hl-line mode

Currently the presence of hl-line highlighting is controlled
implicitely by hooks. In future commits it will be migrated to use
this variable.

debian: increase test timeout to 10m

Workaround for slow riscv64 autobuilders.

Merge branch 'release'

debian: changelog for 0.39~rc2-1

version: bump to 0.39~rc2

Merge branch 'release'

ruby: fix "undefining the allocator of T_DATA" warnings

Ruby 3.2 introduced a warning when C-extensions use structs without
redefining the allocation default allocation routine meant for objects.
See https://bugs.ruby-lang.org/issues/18007 for details.

In the Ruby bindings this happens at `Data_Wrap_Notmuch_Object` call
sites, so the object types used there needed to update their allocation.

This ruby code (given a database at the hardcoded path with messages
matching `tag:tmp`) exercise all the ruby objects:

    require 'notmuch'
    Notmuch::Database.open File.expand_path("~/mail") do |db|
      db.get_directory("/tmp")
      db.query("tag:tmp").search_threads.each do |t|
        t.messages.each do |m|
          puts m.header("Subject")
        end
      end
    end

Before these changes with ruby 3.2.5 and notmuch 0.38.3 it outputs:

    notmuch.rb:5: warning: undefining the allocator of T_DATA class Notmuch::Query
    notmuch.rb:5: warning: undefining the allocator of T_DATA class Notmuch::Threads
    notmuch.rb:5: warning: undefining the allocator of T_DATA class Notmuch::Thread
    notmuch.rb:6: warning: undefining the allocator of T_DATA class Notmuch::Messages
    notmuch.rb:6: warning: undefining the allocator of T_DATA class Notmuch::Message
    notmuch release 0.38.3 now available

(the last line is the message I tagged with tmp), and after the changes:

    notmuch release 0.38.3 now available

ruby: trivial build cleanup

ruby: use proper talloc flags

This way talloc doesn't need to be installed in /usr.

ruby: simplify build

We can just always add EXTRA_INCFLAGS and EXTRA_LDFLAGS.

docs: avoid nmbug in notmuch-git.1

These days, `nmbug` is `notmuch-git` with special defaults, so avoid the
term `nmbug` in the doc when we talk about `notmuch-git` in general.

Also, spell git in lower case (as we do for notmuch) except for the one
case where we name the beast.

changelog for 0.38.3-5

Commit Debian 3.0 (quilt) metadata

[dgit (12.6) quilt-fixup]

Accept "key-missing" from a signature from a revoked key

We have traditionally expected a signature to show up as "revoked"
when the signing key is revoked.  However, GnuPG's recent fix to avoid
a denial of service against legitimate signatures appears to have
changed the status of signature verification from keys which happen to
have been revoked.

See https://bugs.debian.org/1098995 and https://dev.gnupg.org/T7547

This change makes the test suite a little bit less brittle while we
look for a resolution from upstream.  It should probably also be
backported to debian unstable unless a notmuch release to unstable is
imminent.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>
(cherry picked from commit d330971b8bdb159e58a806e7ee24f3e5551d3f89)

Accept "key-missing" from a signature from a revoked key

We have traditionally expected a signature to show up as "revoked"
when the signing key is revoked.  However, GnuPG's recent fix to avoid
a denial of service against legitimate signatures appears to have
changed the status of signature verification from keys which happen to
have been revoked.

See https://bugs.debian.org/1098995 and https://dev.gnupg.org/T7547

This change makes the test suite a little bit less brittle while we
look for a resolution from upstream.  It should probably also be
backported to debian unstable unless a notmuch release to unstable is
imminent.

Signed-off-by: Daniel Kahn Gillmor <dkg@fifthhorseman.net>

python: Fix message ID docstring

The messageidb attribute does not exist.  The returned BinString type
already allows use as both strings and binary.  Presumably this was
written before that type was adopted.

Commit Debian 3.0 (quilt) metadata

[dgit (12.6) quilt-fixup]

debian: changelog for 0.38.3-4

test/emacs: add workaround for Emacs 30 pp changes

This relies on the fact that setting pp-default-function has no effect
for Emacs <30.

(cherry picked from commit e3d4721b1ba4836c7646e057b50123fe994652eb)

debian: upload to experimental instead of unstable

version: bump to 0.39~rc1

debian: changelog stanza for 0.39~rc1-1

test/emacs: add workaround for Emacs 30 pp changes

This relies on the fact that setting pp-default-function has no effect
for Emacs <30.

Consolidate duplicated dpkg-dev requirements

* Keep dpkg-dev (>= 1.22.5) which is added for t64 transition.

debian: changelog for 0.39~rc0-1

Close a few Debian bugs.

version: bump to 0.39~rc0

Normally this would be done as part of the release process, rather
than committed intially to master, but in this case I want to test the
change to python bindings version handling in the previous commit.

bindings/python: strip ~ from python version

Inspired by a suggestion of Xiyue Deng, this change ensures that
the python bindings have a version that recent setuptools is happy
with.

This will have the unfortunate side effect of the python view of the
version number differing from the rest of notmuch for the
pre-releases. The alternative would be to transform the version
numbers for the Debian packages for the pre-releases, as there is now
no version scheme that works for both, since setuptools started
rejecting versions with "~" in them.  If we decide to go the latter
way in the future, this change is easy to revert.

build: remove handling for legacy python bindings version

The legacy python bindings are no longer built.

python: move legacy python bindings to contrib.

This forces us to verify the build and test suite completes without
the legacy python bindings.

As of this commit the legacy python bindings are unsupported by
notmuch. They are provided in contrib/ for now, but will most likely
eventually be removed from there as well. We recommend that
downstream/distro packagers phase out their packages for the legacy
python bindings.

python: fix documentation typo

The method is actually called 'getall'.

test/message-property: convert python tests from legacy bindings

One test is deleted since that method is not provided by the new
bindings. Similar things can be done by accessing the PropertiesMap
returned by properties.

This change is a prelude to removing the legacy bindings from the build.

test/count: convert library test from python to C

The new python bindings do not support modifying query objects, so
convert to C. There is a bit more boilerplate to handle errors but
otherwise it is essentially a line by line translation.

test: drop tests for legacy python bindings

This is a prelude to removing the legacy bindings from the build.

debian: stop packaging legacy python bindings.

This is in preparation for moving them to contrib and dropping them
from the test suite upstream.

notmuch-show-imenu-prev-index-position-function: Don't recenter

The previous version of
notmuch-show-imenu-prev-index-position-function was calling
notmuch-show-previous-message which was recentering the window. This
is a problem when which-func-mode is active because which-func-mode is
called each time the user moves point around.

Because this function is only meant to be executed by imenu, there is
no reason to recenter the window. For the same reason, the new
implementation doesn't have to follow strictly how
notmuch-show-previous-message is implemented because imenu only places
point at very specific locations before calling
notmuch-show-imenu-prev-index-position-function.

fix segfaults in Python cFFI API and add tests

Several iterators in the Python cFFI API destroyed the objects they iterated
over too early (when the iterator was exhausted), causing subsequent segfaults
in common cases like creating a list from the iterator. This patch fixes the
segfaults and add tests to ensure that they don't happen again.

Revert "bump versions to 0.39~rc0"

This reverts commit deea909993513ec6fd800b7571649582d994dcbc.

docs: add 2025 to copyright years

bump versions to 0.39~rc0

Prepare to release a snapshot for testing

debian: update changelog for 0.39~rc0-1

docs: Update intersphinx_mapping

Running `make dirhtml` in bindings/python/docs generates the following
error:

```
sphinx-build -b dirhtml -d build/doctrees   source build/dirhtml
Running Sphinx v8.0.2
loading translations [en]... done
making output directory... done
Converting `source_suffix = '.rst'` to `source_suffix = {'.rst': 'restructuredtext'}`.
ERROR: Invalid value `None` in intersphinx_mapping['https://docs.python.org/']. Expected a two-element tuple or list.
```

This commit updates intersphinx_mapping to follow the latest docs [1]

[1] https://www.sphinx-doc.org/en/master/usage/extensions/intersphinx.html

Signed-off-by: Fredrik Lönnegren <fredrik@frelon.se>

NEWS: deprecate Emacs older than 27.1

The current requirement of 25.1 is more than 5 years old at this
point.

emacs/mua: Correct autoload cookies

This is a follow-up to [1: 8d06dfce]. Per Info node '(elisp)Autoload',
autoload cookies should start with ';;;###'.

1: 2024-04-04 8d06dfce175593aebae9a759c9167df4988a3444
   emacs: Autoload notmuch-user-agent related functions

Revert "emacs: Fix saved-search buffer titles"

This reverts commit bc989209171d406b3671024542e59b86b0ecb23d.

This was applied unintentionally to master while still under discussion.

emacs/tree: sanitize subjects when drawing tree

This fixes the bug reported in

     id:6F2EF901-8B4B-44FF-83C5-22F732BA95A6@gmail.com

Unfortunately it turns out our test data has several tabs in the
subject lines. The expected output was updated to reflect their
removal and the ripple effect of several more subjects matching the
previous ones.

test/emacs-tree: add known broken test for subject with CR/NL

The test is intentionally vague as it's hard to pin down the correct
output before the code is fixed.

test/emacs-show: add regression test for subjects with CR/NL

This subject is known to be problematic for notmuch-tree.

CLI/show: warn if crypto options are used with mbox format

This limitation seems somewhat hard to fix, but at least try to warn
users when combining crypto operations with mbox output format.

Because the default is --decrypt=auto, the warning is omitted if
--decrypt=auto is specified. While this is not great, it seems more
wrong to always warn, or to change the default because of this.

emacs: Fix saved-search buffer titles

REPRODUCTION STEPS:

  (let ((notmuch-saved-searches
         (list (list :name "Emacs List"
                     :query "query:lists-emacs")
               (list :name "All Lists"
                     :query "query:lists"))))
    (notmuch-search-buffer-title "query:lists-emacs" ))

ACTUAL:

  "*notmuch-saved-search-[ All Lists ]-emacs*"

EXPECTED:

   "*notmuch-saved-search-Emacs List*"

devel: document emacs keybindings u and U

Thanks to changing the column widths to accomodate longer function
names, the diff is rather large, but the content is two new rows for
'u' and 'U'

Merge branch 'release'

debian: migrate build dependency to pkgconf

pkgconf is apparently the annointed successor to pkg-config, at least
in Debian.

debian: skip T810-tsan everywhere

Not sure whose fault the failure is, but for now skip the test.

debian: drop build conflicts on gdb-minimal

Recent gdb Provides gdb-minimal, so we can't conflict with it and
require gdb.

This may cause problems for people building in dirty environments for
older gdb, but there is not much we can do.

Add Astroid as an alternative Recommends; this one is a GUI client

that may be less intimidating for new users.

Allow neomutt to fulfill the "mutt" requirement of notmuch-mutt, and

add related Enhances (Closes: #1029190).

Add changelog entry for James McCoy's work

Convert notmuch-vim to Vim addon policy 2.0

The new Vim addon policy relies on Vim's native package functionality,
rather than the Debian-specific vim-addons tool.  This allows the addon
to be immediately available when the package is installed, rather than
requiring extra setup by the user.

* Install notmuch-vim to its own /usr/share/notmuch-vim directory, so
  the files are self-contained.
* Remove vim-addon-manager from notmuch-vim Depends
* Add ${vim-addon:Depends} to notmuch-vim Depends to ensure it has the
  required relationships on Vim/Neovim.
* Build-Depend on dh-sequence-vim-addon to automatically setup the
  required symlinks for Vim and Neovim to see the addon.

Signed-off-by: James McCoy <jamessan@debian.org>

config: allow custom separators in author lists

Allow distinguishing between commas separating authors and separating
first and last names.

Amended by db: reformat NEWS entry and commit message. Tweaked
whitespace in lib/thread.cc.

changelog for 0.38.3-2

test/emacs: test notmuch-mua-subject-check

Amended by db: rename test file to avoid collision.

emacs/mua: optionally check for erroneous subjects

This works much like notmuch-mua-attachment-regexp, but for the
subject instead. By default, check for empty subjects, as that seems a
reasonable thing to safeguard against.

CLI: update commentary in config file to better match code

This comment has been out of date since notmuch 0.32. Although it
isn't really possible to explain all the options here, explain both
one new "split" way of doing things and the traditional one with
database inside $MAIL_ROOT/.notmuch.

lib: thread-safe s-expression query parser

Follow-up of 6273966d, now that sfsexp 1.4.1 doesn't rely on globals
anymore by default (https://github.com/mjsottile/sfsexp/issues/21).

This simply defers the initial query generation to use the thread-safe
helper (xapian_query_match_all) instead of Xapian::Query::MatchAll.

emacs/hello: refresh hello directly

According to the now deleted commentary, the hack of using run-at-time
was needed for Emacs 24. It seems to be no longer needed for Emacs
28.2, and removing it makes further changes to the code simpler.