8 years agotest/ use vt100 as dtach terminal if TERM dumb or unset/empty
Tomi Ollila [Thu, 24 Jan 2013 07:39:02 +0000 (09:39 +0200)]
test/ use vt100 as dtach terminal if TERM dumb or unset/empty

The TERM environment variable is set to 'dumb' when running tests, but
the original value of it is stored for echoing colors and running emacs
(somewhat interactively) in detached session. Emacs requires some
terminal control sequences to be available for interactive operation.
In case original TERM is (also) 'dumb' (or unset/empty) emacs cannot
run interactively. To fix this problem dtach (and emacs as it's child
process) is run with TERM=vt100 in case original TERM was unset, empty
or 'dumb'. This way there is a chance to run emacs tests with different
user terminals and potentially find problems there.

8 years agodebian: disable running tests. debian/0.15-2
David Bremner [Sun, 20 Jan 2013 22:37:17 +0000 (18:37 -0400)]
debian: disable running tests.

Hopefully this is temporary, but I don't want to rush a fix for the

8 years agoversion: update to 0.15 0.15 debian/0.15-1
David Bremner [Sat, 19 Jan 2013 01:27:57 +0000 (21:27 -0400)]
version: update to 0.15

Bump the version in-place in NEWS.

8 years agodebian: changelog stanza for 0.15
David Bremner [Sat, 19 Jan 2013 01:26:35 +0000 (21:26 -0400)]
debian: changelog stanza for 0.15

Cribbed from NEWS.

8 years agoNEWS: document that print message prints all parts including hidden parts
Mark Walters [Thu, 17 Jan 2013 00:44:10 +0000 (00:44 +0000)]
NEWS: document that print message prints all parts including hidden parts

8 years agoNEWS: describe 'batch-tag' dump/restore/tag
David Bremner [Fri, 18 Jan 2013 03:23:20 +0000 (23:23 -0400)]
NEWS: describe 'batch-tag' dump/restore/tag

Hopefully it is clear that more details are available in the man

8 years agodebian: add install file for python3-notmuch 0.15_rc1 debian/0.15_rc1-1
David Bremner [Thu, 17 Jan 2013 10:01:58 +0000 (06:01 -0400)]
debian: add install file for python3-notmuch

Without this file, the created package is empty.

8 years agoversion: set version to 0.15~rc1
David Bremner [Thu, 17 Jan 2013 03:02:32 +0000 (23:02 -0400)]
version: set version to 0.15~rc1

This is in some sense a rollback, but it makes all the automation
happier if the Debian and upstream versions match.

8 years agodebian: note that ical bug is fixed
David Bremner [Wed, 16 Jan 2013 12:30:22 +0000 (08:30 -0400)]
debian: note that ical bug is fixed

This was fixed a while ago in git, but not released yet.

8 years agodebian: add python 3 bindings
David Bremner [Wed, 16 Jan 2013 12:17:19 +0000 (08:17 -0400)]
debian: add python 3 bindings

This patch is due to Jakub Wilk <>.

It does add a build depend on python3 for people using the "make
debian-snapshot" target.

8 years agodebian/compat: upgrade to compat level 9
David Bremner [Sun, 25 Nov 2012 19:40:22 +0000 (15:40 -0400)]
debian/compat: upgrade to compat level 9

- enable hardening

- fix dh syntax. Now that we have compat level 9, the old, wrong
  syntax is no longer accepted.

- update debian/libnotmuch{3,-dev}.install for multiarch.

- update versioned dependency on debhelper.

8 years agodebian: remove Dm-Upload-Allowed field.
David Bremner [Tue, 8 Jan 2013 02:22:06 +0000 (22:22 -0400)]
debian: remove Dm-Upload-Allowed field.

If we have some DMs we want to upload, we have to enable it with a
signed command file to dak.

8 years agodebian: change priority to optional.
David Bremner [Tue, 8 Jan 2013 02:20:00 +0000 (22:20 -0400)]
debian: change priority to optional.

The distinction between extra and optional is generally not very
important, except that being extra forces anything that depends on you
to be extra.

8 years agocli: propagate batch tagging warnings to exit value
Tomi Ollila [Sat, 12 Jan 2013 07:40:14 +0000 (09:40 +0200)]
cli: propagate batch tagging warnings to exit value

In case last input for batch tagging was either invalid or skippable
line, notmuch command exited with non-zero value.
After this change if there is at least one invalid line, notmuch
command will exit with non-zero value. Additionally, skipped lines
(last or other) doesn't cause non-zero value to be returned.

8 years agoemacs: show: w3m/invisibility workaround
Mark Walters [Sun, 13 Jan 2013 12:43:52 +0000 (12:43 +0000)]
emacs: show: w3m/invisibility workaround

There is a bug in the current notmuch code with w3m and invisible
parts. w3m sets a keymap, and if we have a hidden [text/html] point
at the start of the following line still gets this w3m keymap which
causes some strange effects. For example, RET gives an error "No URL
at Point" rather than hiding the message, <down> goes to the next link
rather than just down a line.

These keybinding are also inconvenient when the text/html part is
displayed so we ask w3m not to install a keymap.

This is only likely to be a problem for emacs 23 as shr is preferred
as html renderer on emacs 24 (although the user can set the renderer
to w3m even on emacs 24).

This solution was suggested by Tomi Ollila <>

8 years agoman: tag changes are applied in the order they are specified in notmuch tag
Jani Nikula [Wed, 9 Jan 2013 20:36:20 +0000 (22:36 +0200)]
man: tag changes are applied in the order they are specified in notmuch tag

8 years agocli: bail out and propagate tagging errors in notmuch tag
Jani Nikula [Tue, 8 Jan 2013 21:41:54 +0000 (23:41 +0200)]
cli: bail out and propagate tagging errors in notmuch tag

Checking and propagating tag_op_list_apply() errors is especially
important with batch tagging, as the processing of the batch input
would not stop otherwise. Additionally this sets the exit code, which
is useful in scripts.

Amended by: David Bremner

8 years agodebian/changelog: start stanze for 0.15~rc1-1
David Bremner [Tue, 8 Jan 2013 02:13:05 +0000 (22:13 -0400)]
debian/changelog: start stanze for 0.15~rc1-1

as usual (and doubly so since Debian is in release freeze), destined
for experimental.

8 years agoversion: bump to 0.15
David Bremner [Tue, 8 Jan 2013 01:38:20 +0000 (21:38 -0400)]
version: bump to 0.15

"Atomically" update the python bindings and man page versions.

8 years agostring-util: Disallow empty prefixes in parse_boolean_term
Austin Clements [Mon, 7 Jan 2013 21:20:40 +0000 (16:20 -0500)]
string-util: Disallow empty prefixes in parse_boolean_term

Xapian doesn't consider ":abc" to be a prefixed term.  This makes
parse_boolean_term similarly reject queries with an empty prefix.

8 years agotest/tagging: add test for naked punctuation in tags; compare with quoting spaces.
David Bremner [Tue, 25 Dec 2012 19:42:47 +0000 (15:42 -0400)]
test/tagging: add test for naked punctuation in tags; compare with quoting spaces.

This test also serves as documentation of the quoting
requirements. The comment lines are so that it exactly matches the man
page. Nothing more embarrassing than having an example in the man page

8 years agoman: document notmuch tag --batch, --input options
Jani Nikula [Tue, 25 Dec 2012 19:42:46 +0000 (15:42 -0400)]
man: document notmuch tag --batch, --input options

8 years agotest/tagging: add test for exotic message-ids and batch tagging
David Bremner [Tue, 25 Dec 2012 19:42:44 +0000 (15:42 -0400)]
test/tagging: add test for exotic message-ids and batch tagging

The (now fixed) bug that this test revealed is that unquoted
message-ids with whitespace or other control characters in them are
split into several tokens by the Xapian query parser.

8 years agotest/tagging: add tests for exotic tags
David Bremner [Tue, 25 Dec 2012 19:42:43 +0000 (15:42 -0400)]
test/tagging: add tests for exotic tags

We test quotes seperately because they matter to the query escaper.

8 years agotest/tagging: add basic tests for batch tagging functionality
David Bremner [Tue, 25 Dec 2012 19:42:42 +0000 (15:42 -0400)]
test/tagging: add basic tests for batch tagging functionality

This tests argument parsing, blank lines and comments, and basic hex
decoding functionality.

8 years agotest/tagging: add test for error messages of tag --batch
David Bremner [Tue, 25 Dec 2012 19:42:41 +0000 (15:42 -0400)]
test/tagging: add test for error messages of tag --batch

This is based on the similar test for notmuch restore, but the parser
in batch tagging mode is less tolerant of a few cases, in particular
those tested by illegal_tag.

8 years agocli: add support for batch tagging operations to "notmuch tag"
Jani Nikula [Tue, 25 Dec 2012 19:42:40 +0000 (15:42 -0400)]
cli: add support for batch tagging operations to "notmuch tag"

Add support for batch tagging operations through stdin to "notmuch
tag". This can be enabled with the new --batch command line option to
"notmuch tag". The input must consist of lines of the format:

+<tag>|-<tag> [...] [--] <query> [...]

Each line is interpreted similarly to "notmuch tag" command line
arguments. The delimiter is one or more spaces ' '. Any characters in
<tag> MAY be hex encoded with %NN where NN is the hexadecimal value of
the character. Any ' ' and '%' characters in <tag> and MUST be hex
encoded (using %20 and %25, respectively). For future-proofing, any
'"' characters in <tag> SHOULD be hex-encoded.

Any characters that are not part of <tag> or
MUST NOT be hex encoded.

<query> is passed verbatim to Xapian

Leading and trailing space ' ' is ignored. Empty lines and lines
beginning with '#' are ignored.

Signed-off-by: Jani Nikula <>
Hacked-like-crazy-by: David Bremner <>
8 years agonotmuch-tag.c: convert to use tag-util
David Bremner [Tue, 25 Dec 2012 19:42:39 +0000 (15:42 -0400)]
notmuch-tag.c: convert to use tag-util

Command line parsing is factored out into a function
parse_tag_command_line in tag-util.c.

There is some duplicated code eliminated in tag_query, and a bunch of
translation from using the bare tag_op structs to using that tag-utils

8 years agotag-util: factor out rules for illegal tags, use in parse_tag_line
David Bremner [Tue, 25 Dec 2012 19:42:38 +0000 (15:42 -0400)]
tag-util: factor out rules for illegal tags, use in parse_tag_line

This will allow us to be consistent between batch tagging and command
line tagging as far as what is an illegal tag.

8 years agofix line breaks in one comment paragraph in generated .notmuch-config file
Tomi Ollila [Sat, 5 Jan 2013 12:49:01 +0000 (14:49 +0200)]
fix line breaks in one comment paragraph in generated .notmuch-config file

While one comment in generated .notmuch-config file looked good in the
source file notmuch-config.c, the generated output was inconsistently
wide -- even breaking the 80-column boundary.

8 years agoemacs: Use the minibuffer for CLI error reporting
Austin Clements [Thu, 3 Jan 2013 21:47:49 +0000 (16:47 -0500)]
emacs: Use the minibuffer for CLI error reporting

We recently switched to popping up a buffer to report CLI errors, but
this was too intrusive, especially for transient errors and especially
since we made fewer things ignore errors.  This patch changes this to
display a basic error message in the minibuffer (using Emacs' usual
error handling path) and, if there are additional details, to log
these to a separate error buffer and reference the error buffer from
the minibuffer message.  This is more in line with how Emacs typically
handles errors, but makes the details available to the user without
flooding them with the details.

Given this split, we pare down the basic message and make it more
user-friendly, and also make the verbose message even more detailed
(and more debugging-oriented).

8 years agoman: Update notmuch-dump(1) and notmuch-restore(1)
Austin Clements [Sun, 6 Jan 2013 20:22:42 +0000 (15:22 -0500)]
man: Update notmuch-dump(1) and notmuch-restore(1)

Describe the new batch-tag format.  For notmuch-restore, rather than
half-heartedly duplicating the description, we now cite notmuch-dump.

8 years agodump/restore: Use Xapian queries for batch-tag format
Austin Clements [Sun, 6 Jan 2013 20:22:41 +0000 (15:22 -0500)]
dump/restore: Use Xapian queries for batch-tag format

This switches the new batch-tag format away from using a home-grown
hex-encoding scheme for message IDs in the dump to simply using Xapian
queries with Xapian quoting syntax.

This has a variety of advantages beyond presenting a cleaner and more
consistent interface.  Foremost is that it will dramatically simplify
the quoting for batch tagging, which shares the same input format.
While the hex-encoding is no better or worse for the simple ID queries
used by dump/restore, it becomes onerous for general-purpose queries
used in batch tagging.  It also better handles strange cases like
"id:foo and bar", since this is no longer syntactically valid.

8 years agodump: Disallow \n in message IDs
Austin Clements [Sun, 6 Jan 2013 20:22:40 +0000 (15:22 -0500)]
dump: Disallow \n in message IDs

When we switch to using regular Xapian queries in the dump format, \n
will cause problems, so we disallow it.  Specially, while Xapian can
quote and parse queries containing \n without difficultly, quoted
queries containing \n still span multiple lines, which breaks the
line-orientedness of the dump format.  Strictly speaking, we could
still round-trip these, but it would significantly complicate restore
as well as scripts that deal with tag dumps.  This complexity would
come at absolutely no benefit: because of the RFC 2822 unfolding
rules, no amount of standards negligence can produce a message with a
message ID containing a line break (not even Outlook can do it!).

Hence, we simply disallow it.

8 years agoutil: Function to parse boolean term queries
Austin Clements [Sun, 6 Jan 2013 20:22:39 +0000 (15:22 -0500)]
util: Function to parse boolean term queries

This parses the subset of Xapian's boolean term quoting rules that are
used by make_boolean_term.  This is provided as a generic string
utility, but will be used shortly in notmuch restore to parse and
optimize for ID queries.

8 years agoutil: Factor out boolean term quoting routine
Austin Clements [Sun, 6 Jan 2013 20:22:38 +0000 (15:22 -0500)]
util: Factor out boolean term quoting routine

This is now a generic boolean term quoting function.  It performs
minimal quoting to produce user-friendly queries.

This could live in tag-util as well, but it is really nothing specific
to tags (although the conventions are specific to Xapian).

The API is changed from "caller-allocates" to "readline-like".  The
scan for max tag length is pushed down into the quoting routine.
Furthermore, this now combines the term prefix with the quoted term;
arguably this is just as easy to do in the caller, but this will
nicely parallel the boolean term parsing function to be introduced

This is an amalgamation of code written by David Bremner and myself.

8 years agorestore: Make missing messages non-fatal (again)
Austin Clements [Sun, 6 Jan 2013 20:22:37 +0000 (15:22 -0500)]
restore: Make missing messages non-fatal (again)

Previously, restore would abort if a message ID in the dump was
missing.  Furthermore, it would only report this as a warning.  This
patch makes it distinguish abort-worthy lookup failures like
out-of-memory from non-fatal failure to find a message ID.  The former
is reported as an error and causes restore to abort, while the latter
is reported as a warning and does not cause an abort.

This restores 0.14's non-fatal handling of missing message IDs in
restore (though 0.14 also considered serious errors non-fatal; we
retain the new and better handling of serious errors).

8 years agonotmuch-restore: handle empty input file, leading blank lines and comments.
David Bremner [Wed, 26 Dec 2012 19:36:33 +0000 (15:36 -0400)]
notmuch-restore: handle empty input file, leading blank lines and comments.

This patch corrects several undesirable behaviours:

1) Empty files were not detected, leading to buffer read overrun.

2) An initial blank line cause restore to silently abort

3) Initial comment line caused format detection to fail

8 years agotest/dump-restore: new tests for empty files and leading comments/whitespace.
David Bremner [Wed, 26 Dec 2012 19:36:32 +0000 (15:36 -0400)]
test/dump-restore: new tests for empty files and leading comments/whitespace.

Three of these are marked broken; the third is a regression test,
since it passes by virtue of batch-tag being the default input format.

8 years agoperf-test: initial support for talloc leak report in memory tests
David Bremner [Wed, 26 Dec 2012 16:29:45 +0000 (12:29 -0400)]
perf-test: initial support for talloc leak report in memory tests

As with the valgrind logs, we print a (very) brief summary and leave
the log for inspection.

8 years agonotmuch-restore: use debug version of talloc_strndup
David Bremner [Mon, 17 Dec 2012 03:14:42 +0000 (23:14 -0400)]
notmuch-restore: use debug version of talloc_strndup

This gives line numbers for better debugging.

8 years agoutil: add talloc-extra.[ch]
David Bremner [Mon, 17 Dec 2012 03:12:51 +0000 (23:12 -0400)]
util: add talloc-extra.[ch]

These are intended to be simple wrappers to provide slightly better
debugging information than what talloc currently provides natively.

8 years agoCLI: add talloc leak report, controlled by an environment variable.
David Bremner [Mon, 17 Dec 2012 03:08:49 +0000 (23:08 -0400)]
CLI: add talloc leak report, controlled by an environment variable.

The argument handling in notmuch.c seems due for an overhaul, but
until then use an environment variable to specify a location to write
the talloc leak report to.  This is only enabled for the (interesting)
case where some notmuch subcommand is invoked.

8 years agonotmuch-tag.1: tidy synopsis formatting, reference
David Bremner [Tue, 25 Dec 2012 19:42:45 +0000 (15:42 -0400)]
notmuch-tag.1: tidy synopsis formatting, reference

Consistently use [...]; one less space. Use singular <search-term>

8 years agoparse_tag_line: use enum for return value.
David Bremner [Tue, 25 Dec 2012 19:42:37 +0000 (15:42 -0400)]
parse_tag_line: use enum for return value.

This is essentially cosmetic, since success=0 is promised by
the comments in tag-utils.h.

8 years agocontrib: pick: close message pane when quitting from show in the message pane
Mark Walters [Tue, 25 Dec 2012 11:47:17 +0000 (11:47 +0000)]
contrib: pick: close message pane when quitting from show in the message pane

We add a hook to the show buffer in the message window to close the
message window when that buffer quits.  It checks that the
message-window is still displaying the show-message buffer and then
closes it.

8 years agoNEWS for emacs part visibility change
Mark Walters [Tue, 25 Dec 2012 11:10:21 +0000 (11:10 +0000)]
NEWS for emacs part visibility change

Wording suggested by Austin.

8 years agoperf-test: add memory leak test for dump restore
David Bremner [Sun, 16 Dec 2012 18:14:13 +0000 (14:14 -0400)]
perf-test: add memory leak test for dump restore

In, Jani points out a memory leak in the
current version of the sup restore code. Among other things, this test
is intended to verify a fix for that leak.

8 years agoperf-test: initial version of memory test infrastructure.
David Bremner [Sun, 16 Dec 2012 12:33:17 +0000 (08:33 -0400)]
perf-test: initial version of memory test infrastructure.

The idea is run some code under valgrind --leak-check=full and report
a summary, leaving the user to peruse the log file if they want.

We go to some lengths to preserve the log files from accidental
overwriting; the full corpus takes about 3 hours to run under valgrind
on my machine.

The naming of the log directories may be slightly controversial; in
the unlikely event of two runs in less than a second, the log will be
overwritten. A previous version with mktemp+timestamp was dismissed as
overkill; just mktemp alone does not sort nicely.

One new test is included, to check notmuch new for memory leaks.

8 years agoperf-test: rename current tests as "time tests"
David Bremner [Sun, 16 Dec 2012 14:55:51 +0000 (10:55 -0400)]
perf-test: rename current tests as "time tests"

This is almost entirely renaming files, except for updating a few
references to those file names, and changing the makefile target.

A new set of memory tests will be run separately because they take
much longer.

8 years agoperf-test: remove redundant "initial notmuch new"
David Bremner [Sun, 16 Dec 2012 17:24:00 +0000 (13:24 -0400)]
perf-test: remove redundant "initial notmuch new"

The initial notmuch-new and caching are now done automatically by

8 years agocontrib: pick: slightly tweak running search and pick from pick buffer
Mark Walters [Sat, 8 Dec 2012 12:44:34 +0000 (12:44 +0000)]
contrib: pick: slightly tweak running search and pick from pick buffer

Previously running search or pick from the pick buffer did not close
the message pane (if open). This meant that then new search ends up in
a very small window. Fix this so that the message pane is
shut. However, make it so that the pane is shut after the search
string is entered in case the user is basing the search on something
in the current message.

8 years ago_notmuch_message_index_file: unref (free) address lists from gmime.
David Bremner [Tue, 11 Dec 2012 03:33:40 +0000 (23:33 -0400)]
_notmuch_message_index_file: unref (free) address lists from gmime.

Apparently as of GMime 2.4, you don't need to call
internet_address_list_destroy anymore, but you still need to call
g_object_unref (from the GMime Changelog).

On the medium performance corpus, valgrind shows "possibly lost"
leakage in "notmuch new" dropping from 7M to 300k.

8 years agolib/message-file.c: use g_malloc () & g_free () in hash table values
Tomi Ollila [Fri, 21 Dec 2012 17:52:01 +0000 (19:52 +0200)]
lib/message-file.c: use g_malloc () & g_free () in hash table values

The message->headers hash table values get data returned by
g_mime_utils_header_decode_text ().

The pointer returned by g_mime_utils_header_decode_text is from the
following line in rfc2047_decode_tokens

        return g_string_free (decoded, FALSE);

The docs for g_string_free say

 Frees the memory allocated for the GString. If free_segment is TRUE
 it also frees the character data. If it's FALSE, the caller gains
 ownership of the buffer and must free it after use with g_free().

The remaining frees and allocations referencing to message->headers hash
values have been changed to use g_free and g_malloc functions.

This combines and completes the changes started by David Bremner.

8 years agoNEWS: emacs: hello point placement, tagging customization, thread id stashing
Jani Nikula [Fri, 21 Dec 2012 23:18:02 +0000 (01:18 +0200)]
NEWS: emacs: hello point placement, tagging customization, thread id stashing

8 years agoNEWS: notmuch search --format=text0
Jani Nikula [Fri, 21 Dec 2012 23:18:01 +0000 (01:18 +0200)]
NEWS: notmuch search --format=text0

8 years agonotmuch-restore: allocate a temporary talloc context for each line parsed.
David Bremner [Sun, 16 Dec 2012 20:05:58 +0000 (16:05 -0400)]
notmuch-restore: allocate a temporary talloc context for each line parsed.

This lets the high level code in notmuch restore be ignorant about
what the lower level code is doing as far as allocating memory.

8 years agotag-utils: use the tag_opt_list_t as talloc context, if possible.
David Bremner [Sun, 16 Dec 2012 19:58:15 +0000 (15:58 -0400)]
tag-utils: use the tag_opt_list_t as talloc context, if possible.

The memory usage discipline of tag_op_list_t is never to free the
internal array of tag operations before freeing the whole list, so it
makes sense to take advantage of hierarchical de-allocation by talloc.

By not relying on the context passed into tag_parse_line, we can allow
tag_op_list_t structures to live longer than that context.

8 years agonotmuch-restore: fix return value propagation
David Bremner [Sun, 16 Dec 2012 20:04:21 +0000 (16:04 -0400)]
notmuch-restore: fix return value propagation

Previously notmuch_restore_command returned 0 if tag_message returned
a non-zero (failure) value. This is wrong, since non-zero status
indicates something mysterious went wrong with retrieving the message,
or applying it.

There was also a failure to check or propagate the return value from
tag_op_list_apply in tag_message.

8 years agoemacs: show: set default show-all-multipart/alternatives to nil
Mark Walters [Tue, 18 Dec 2012 19:28:00 +0000 (19:28 +0000)]
emacs: show: set default show-all-multipart/alternatives to nil

Now that the invisibility display of parts is present we no longer
need to force the display of all multipart/alternatives: users can
toggle them for themselves when needed.

8 years agoemacs: show: add invisibility button action
Mark Walters [Tue, 18 Dec 2012 19:27:59 +0000 (19:27 +0000)]
emacs: show: add invisibility button action

This adds a button action to show hidden parts. In this version "RET"
toggles the visibility of any part which puts content in the buffer
(as opposed to attachments such as application/pdf).

The button is used to hide parts when appropriate (eg text/html in

8 years agoemacs: show: add overlays for each part
Mark Walters [Tue, 18 Dec 2012 19:27:58 +0000 (19:27 +0000)]
emacs: show: add overlays for each part

This makes notmuch-show-insert-bodypart add an overlay for any
non-trivial part with a button header (currently the first text/plain
part does not have a button). At this point the overlay is available
to the button but there is no action using it yet.

In addition the argument HIDE is passed down to
notmuch-show-insert-part-overlays to request that the part be hidden
by default but this is not acted on yet.

8 years agoemacs: show: modify insert-part-header to save the button text
Mark Walters [Tue, 18 Dec 2012 19:27:57 +0000 (19:27 +0000)]
emacs: show: modify insert-part-header to save the button text

This just make notmuch-show-insert-part-header save the basic button
text for parts as an attribute. This makes it simpler for the button
action (added in a later patch) to reword the label as appropriate (eg
append "(not shown)" or not as appropriate).

8 years agoemacs: Eliminate buffer invisibility specs from show and wash
Austin Clements [Tue, 18 Dec 2012 06:40:10 +0000 (01:40 -0500)]
emacs: Eliminate buffer invisibility specs from show and wash

Previously, all visibility in show buffers for headers, message
bodies, and washed text was specified by generating one or more
symbols for each region and creating overlays with their 'invisible
property set to carefully crafted combinations of these symbols.
Visibility was controlled not by modifying the overlays directly, but
by adding and removing the generated symbols from a gigantic buffer
invisibilty spec.

This has myriad negative consequences.  It's slow because Emacs'
display engine has to traverse the buffer invisibility list for every
overlay and, since every overlay has its own symbol, this makes
rendering O(N^2) in the number of overlays.  It composes poorly
because symbol-type 'invisible properties are taken from the highest
priority overlay over a given character (which is often ambiguous!),
rather than being gathered from all overlays over a character.  As a
result, we have to include symbols related to message hiding in the
wash code lest the wash overlays un-hide parts of hidden messages.  It
also requires various workarounds for isearch to properly open
overlays, to set up buffer-invisibility-spec for
remove-from-invisibility-spec to work right, and to explicitly refresh
the display after updating the buffer invisibility spec.

None of this is necessary.

This patch converts show and wash to use simple boolean 'invisible
properties and to not use the buffer invisibility spec.  Rather than
adding and removing generated symbols from the invisibility spec, the
code now directly toggles the 'invisible property of the appropriate
overlay.  This speeds up rendering because the display engine only has
to check the boolean values of the overlays over a character.  It
composes nicely because text will be invisible if *any* overlay over
it has 'invisible t, which means we can overlap invisibility overlays
with abandon.  We no longer need any of the workarounds mentioned
above.  And it fixes a minor bug for free: now, when isearch opens a
washed region, the button text will update to say "Click/Enter to
hide" rather than remaining unchanged.

8 years agonews: Promote some things to a general section
Austin Clements [Tue, 18 Dec 2012 20:15:40 +0000 (15:15 -0500)]
news: Promote some things to a general section

Date range search may be implemented as a library change, but it's an
important user-facing change that affects all notmuch usage.  Tag name
restrictions aren't as important, but they affect both the CLI
interface and the Emacs interface.

8 years agoNews for changes from Austin Clements
Austin Clements [Tue, 18 Dec 2012 20:15:39 +0000 (15:15 -0500)]
News for changes from Austin Clements

I fear I've fallen behind on my NEWS duties.

8 years agopython: remove now unused import of module sys
Justus Winter [Fri, 21 Dec 2012 13:23:54 +0000 (14:23 +0100)]
python: remove now unused import of module sys

Signed-off-by: Justus Winter <>
8 years agopython: remove functions that have been marked as deprecated in 0.14
Justus Winter [Fri, 21 Dec 2012 09:41:29 +0000 (10:41 +0100)]
python: remove functions that have been marked as deprecated in 0.14

Removes Message.{format,print}_messages.

This code adds functionality at the python level that is unlikely to
be useful for anyone. Furthermore the python bindings strive to be a
thin wrapper around libnotmuch. The code has been marked as deprecated
in 0.14 and is now removed.

Signed-off-by: Justus Winter <>
8 years agopython: remove Database.db_p
Justus Winter [Fri, 21 Dec 2012 09:37:54 +0000 (10:37 +0100)]
python: remove Database.db_p

The function has been marked as deprecated in 0.14 and is now removed.

Signed-off-by: Justus Winter <>
8 years agoman: document notmuch search --format=text0
Jani Nikula [Sun, 16 Dec 2012 22:05:13 +0000 (00:05 +0200)]
man: document notmuch search --format=text0

8 years agotest: notmuch search --format=text0
Jani Nikula [Sun, 16 Dec 2012 22:05:12 +0000 (00:05 +0200)]
test: notmuch search --format=text0

8 years agocli: add --format=text0 to notmuch search
Jani Nikula [Sun, 16 Dec 2012 22:05:11 +0000 (00:05 +0200)]
cli: add --format=text0 to notmuch search

Add new format text0, which is otherwise the same as text, but use the
null character as separator instead of the newline character. This is
similar to find(1) -print0 option, and works together with the
xargs(1) -0 option.

8 years agosprinter: add text0 formatter for null character separated text
Jani Nikula [Sun, 16 Dec 2012 22:05:10 +0000 (00:05 +0200)]
sprinter: add text0 formatter for null character separated text

Same as the text formatter, but with each field separated by a null
character rather than a newline character.

8 years agosprinter: clarify separator documentation
Jani Nikula [Sun, 16 Dec 2012 22:05:09 +0000 (00:05 +0200)]
sprinter: clarify separator documentation

For text printers, the separator is a syntactic element.

8 years agocontrib: pick: Do not indent messages in the message pane
Mark Walters [Sun, 9 Dec 2012 20:30:19 +0000 (20:30 +0000)]
contrib: pick: Do not indent messages in the message pane

Currently pick just uses notmuch-show to display messages in the
message pane: this means that they get indented just as show
would. However, since pick is only displaying one message at a time
there is no need to indent so override the indentation.

8 years agotest: conform to content length, encoding fields
Peter Wang [Sat, 15 Dec 2012 03:06:45 +0000 (14:06 +1100)]
test: conform to content length, encoding fields

Update tests to expect content-length and content-transfer-encoding
fields in show --format=json output, for leaf parts with omitted body

8 years agoshow: indicate length, encoding of omitted body content
Peter Wang [Sat, 15 Dec 2012 23:24:23 +0000 (10:24 +1100)]
show: indicate length, encoding of omitted body content

If a leaf part's body content is omitted, return the encoded length and
transfer encoding in --format=json output.  This information may be used
by the consumer, e.g. to decide whether to download a large attachment
over a slow link.

Returning the _encoded_ content length is more efficient than returning
the _decoded_ content length.  Returning the transfer encoding allows
the consumer to estimate the decoded content length.

8 years agoshow: indicate charset for all omitted parts
Peter Wang [Sat, 15 Dec 2012 23:22:50 +0000 (10:22 +1100)]
show: indicate charset for all omitted parts

Write a "charset" field for all omitted parts for which it is applicable,
not only text/html parts. Factor out the code to a separate function.
It will be extended with more fields next.

8 years agotest: normalize only message filenames in show json
Peter Wang [Sat, 15 Dec 2012 03:06:42 +0000 (14:06 +1100)]
test: normalize only message filenames in show json

notmuch_json_show_sanitize replaced "filename" field values even in part
structures, where the value is predictable.  Make it only normalize the
filename value if it is an absolute path (begins with slash), which is
true of the Maildir filenames that were intended to be normalized away.

8 years agoemacs: Use --format-version for search, show, and reply
Austin Clements [Sun, 16 Dec 2012 03:17:29 +0000 (22:17 -0500)]
emacs: Use --format-version for search, show, and reply

8 years agoemacs: Special handling for version mismatch errors
Austin Clements [Sun, 16 Dec 2012 03:17:28 +0000 (22:17 -0500)]
emacs: Special handling for version mismatch errors

Since Emacs has more semantic information, we suppress the generic
format version error from the CLI and give a more informative error.

8 years agotest: Sanity tests for the --format-version argument
Austin Clements [Sun, 16 Dec 2012 03:17:27 +0000 (22:17 -0500)]
test: Sanity tests for the --format-version argument

8 years agoreply: Support --format-version
Austin Clements [Sun, 16 Dec 2012 03:17:26 +0000 (22:17 -0500)]
reply: Support --format-version

8 years agoshow: Support --format-version
Austin Clements [Sun, 16 Dec 2012 03:17:25 +0000 (22:17 -0500)]
show: Support --format-version

8 years agosearch: Support --format-version
Austin Clements [Sun, 16 Dec 2012 03:17:24 +0000 (22:17 -0500)]
search: Support --format-version

8 years agocli: Framework for structured output versioning
Austin Clements [Sun, 16 Dec 2012 03:17:23 +0000 (22:17 -0500)]
cli: Framework for structured output versioning

Currently there is a period of pain whenever we make
backward-incompatible changes to the structured output format, which
discourages not only backward-incompatible improvements to the format,
but also backwards-compatible additions that may not be "perfect".  In
the end, these problems limit experimentation and innovation.

This series of patches introduces a way for CLI callers to request a
specific format version on the command line and to determine if the
CLI does not supported the requested version (and perhaps present a
useful diagnostic to the user).  Since the caller requests a format
version, it's also possible for the CLI to support multiple
incompatible versions simultaneously, unlike the alternate approach of
including version information in the output.

This patch lays the groundwork by introducing a versioning convention,
standard exit codes, and a utility function to check the requested
version and produce standardized diagnostic messages and exit

8 years agotest: Test search's handling of subprocess errors
Austin Clements [Sat, 15 Dec 2012 20:04:20 +0000 (15:04 -0500)]
test: Test search's handling of subprocess errors

8 years agoemacs: Use unified error handling in search
Austin Clements [Sat, 15 Dec 2012 20:04:19 +0000 (15:04 -0500)]
emacs: Use unified error handling in search

This slightly changes the output of an existing test since we now
report non-zero exits with a pop-up buffer instead of at the end of
the search results.

8 years agotest: Test show's handling of subprocess errors
Austin Clements [Sat, 15 Dec 2012 20:04:18 +0000 (15:04 -0500)]
test: Test show's handling of subprocess errors

8 years agoemacs: Improve error handling for notmuch-call-notmuch-json
Austin Clements [Sat, 15 Dec 2012 20:04:17 +0000 (15:04 -0500)]
emacs: Improve error handling for notmuch-call-notmuch-json

This checks for non-zero exit status from JSON CLI calls and pops up
an error buffer with stderr and stdout.  A consequence of this is that
show and reply now handle errors, rather than ignoring them.

8 years agoemacs: Factor out synchronous notmuch JSON invocations
Austin Clements [Sat, 15 Dec 2012 20:04:16 +0000 (15:04 -0500)]
emacs: Factor out synchronous notmuch JSON invocations

Previously this code was duplicated between show and reply.  This
factors out synchronously invoking notmuch and parsing the output as

8 years agoemacs: Use unified error handling in notmuch-call-notmuch-process
Austin Clements [Sat, 15 Dec 2012 20:04:15 +0000 (15:04 -0500)]
emacs: Use unified error handling in notmuch-call-notmuch-process

This makes notmuch-call-notmuch-process use the unified CLI error
handling, which basically refines the error handling this function
already did.

8 years agoemacs: Centralize notmuch command error handling
Austin Clements [Sat, 15 Dec 2012 20:04:14 +0000 (15:04 -0500)]
emacs: Centralize notmuch command error handling

This provides library functions for unified handling of errors from
the notmuch CLI.  Follow-up patches will convert some scattered error
handling to use this and add error handling where we currently ignore

8 years agocontrib: pick: archive message updated
Mark Walters [Sat, 8 Dec 2012 12:41:34 +0000 (12:41 +0000)]
contrib: pick: archive message updated

Update pick's archive message to respect notmuch-archive-tags. Also
split archive message into an archiving part and a separate
"then-next" part, to move more inline with show. Update the keybinding
so default behaviour is unchanged.

8 years agoemacs: Fix bug in resynchronizing after a JSON parse error
Austin Clements [Fri, 14 Dec 2012 15:07:35 +0000 (10:07 -0500)]
emacs: Fix bug in resynchronizing after a JSON parse error

Previously, if the input stream consisted only of an error message,
notmuch-json-begin-compound would signal a (wrong-type-argument
number-or-marker-p nil) error when reaching the end of the error
message.  This happened because notmuch-json-scan-to-value would think
that it reached a value and put the parser into the 'value state.
Even after notmuch-json-begin-compound signaled the syntax error, the
parser would remain in this state and when the resynchronization logic
reached the end of the buffer, the parser would fail because the
'value state indicates that characters are available.

This fixes this problem by restoring the parser's previous state if it
encounters a syntax error.

8 years agoperf-test: use nmbug tags in dump-restore tests
David Bremner [Thu, 6 Dec 2012 02:12:16 +0000 (22:12 -0400)]
perf-test: use nmbug tags in dump-restore tests

This makes the tag set a bit less trivial.

Note that if you use the small corpus, this is not so interesting (and
is also a bit noisy) since the messages will not be found. In the
future this could be checked for.


8 years agoperf-test: split basic into 00-new, 01-dump-restore, and 02-tag
David Bremner [Thu, 6 Dec 2012 01:34:30 +0000 (21:34 -0400)]
perf-test: split basic into 00-new, 01-dump-restore, and 02-tag

We use the new "time_start" function to restore the database from cache
if possible.

8 years agoperf-test: unpack tags.
David Bremner [Tue, 4 Dec 2012 02:59:56 +0000 (22:59 -0400)]
perf-test: unpack tags.

There is only one set of tags, independant of the size of message
corpus chosen.

8 years agoperf-test: bump corpus version to 0.3
David Bremner [Tue, 4 Dec 2012 02:58:18 +0000 (22:58 -0400)]
perf-test: bump corpus version to 0.3

The new version ships with some tags, and an updated archive of the
notmuch mailing list.

8 years agoperf-test: update README
David Bremner [Wed, 5 Dec 2012 12:48:50 +0000 (08:48 -0400)]
perf-test: update README

Describe new argument parsing and mention cache handling routines.