notmuch
6 years agodump: support gzipped and atomic output
David Bremner [Sat, 29 Mar 2014 01:14:51 +0000 (22:14 -0300)]
dump: support gzipped and atomic output

The main goal is to support gzipped output for future internal
calls (e.g. from notmuch-new) to notmuch_database_dump.

The additional dependency is not very heavy since xapian already pulls
in zlib.

We want the dump to be "atomic", in the sense that after running the
dump file is either present and complete, or not present.  This avoids
certain classes of mishaps involving overwriting a good backup with a
bad or partial one.

6 years agoNews for emacs saved-searches change.
Mark Walters [Wed, 9 Apr 2014 17:09:54 +0000 (18:09 +0100)]
News for emacs saved-searches change.

The important point is that the changed search variable is not forward
compatible (it *is* backwards compatible): that is previous version
of notmuch-emacs will be unusable with a new style
notmuch-saved-search variable.

6 years agoemacs: Add a sort-order option to saved-searches
Mark Walters [Sun, 6 Apr 2014 05:44:49 +0000 (06:44 +0100)]
emacs: Add a sort-order option to saved-searches

This adds a sort-order option to saved-searches, stores it in the
saved-search buttons (widgets), and uses the stored value when the
button is pressed.

Storing the sort-order in the widget was suggested by Jani in
id:4c3876274126985683e888641b29cf18142a5eb8.1391771337.git.jani@nikula.org.

6 years agoemacs: hello: switch notmuch-hello-insert-buttons to plists
Mark Walters [Sun, 6 Apr 2014 05:44:48 +0000 (06:44 +0100)]
emacs: hello: switch notmuch-hello-insert-buttons to plists

Switching notmuch-hello-insert-buttons to plists means we can easily
pass extra options through to the buttons.

6 years agoemacs: hello: add a customize for saved-searches
Mark Walters [Sun, 6 Apr 2014 05:44:47 +0000 (06:44 +0100)]
emacs: hello: add a customize for saved-searches

Make the defcustom for notmuch-saved-searches use the new plist
format. It should still work with oldstyle saved-searches but will
write the newstyle form.

6 years agoemacs: hello: use the saved-search helper functions
Mark Walters [Sun, 6 Apr 2014 05:44:46 +0000 (06:44 +0100)]
emacs: hello: use the saved-search helper functions

This uses the helper functions: the saved searches format has not
changed yet but backwards compatibility means everything still works.

6 years agoemacs: hello: add helper functions for saved-searches
Mark Walters [Sun, 6 Apr 2014 05:44:45 +0000 (06:44 +0100)]
emacs: hello: add helper functions for saved-searches

Add helper functions to for saved searches to ease the transition to
the new plist form while maintaining backwards compatibility. They
will be used in the next patch.

6 years agoemacs: defun notmuch-hello-versions and bind 'v' in hello mode to it
Tomi Ollila [Wed, 19 Mar 2014 20:37:11 +0000 (22:37 +0200)]
emacs: defun notmuch-hello-versions and bind 'v' in hello mode to it

If notmuch cli & notmuch emacs MUA versions differ, print also the
emacs MUA version string (along with the cli version) to the
minibuffer.

6 years agoemacs: add notmuch-version.el.tmpl and create notmuch-version.el from it
Tomi Ollila [Wed, 19 Mar 2014 20:37:10 +0000 (22:37 +0200)]
emacs: add notmuch-version.el.tmpl and create notmuch-version.el from it

The notmuch cli program and emacs lisp versions may differ (especially
in remote usage). It helps to resolve problems if we can determine
the versions of notmuch cli and notmuch emacs mua separately.

The build process now creates notmuch-version.el from template file
by filling the version info to notmuch-emacs-version variable.

6 years agobuild: write version.stamp file containing $(VERSION) string
Tomi Ollila [Wed, 19 Mar 2014 20:37:09 +0000 (22:37 +0200)]
build: write version.stamp file containing $(VERSION) string

This version file will be as prerequisite to the target files
that use the version info for some purpose, like printing
it for the user to examine. The contents of the version.stamp
file is seldom read by the build system itself as the $(VERSION)
variable has the same information.

Thanks to Trevor, David and Mark for their contributions.

6 years agonmbug: Add 'clone' and replace FETCH_HEAD with @{upstream}
W. Trevor King [Mon, 10 Mar 2014 00:28:49 +0000 (17:28 -0700)]
nmbug: Add 'clone' and replace FETCH_HEAD with @{upstream}

With two branches getting fetched (master and config), the branch
referenced by FETCH_HEAD is ambiguous.  For example, I have:

  $ cat FETCH_HEAD
  41d7bfa7184cc93c9dac139d1674e9530799e3b0 \
    not-for-merge   branch 'config' of http://nmbug.tethera.net/git/nmbug-tags
  acd379ccb973c45713eee9db177efc530f921954 \
    not-for-merge   branch 'master' of http://nmbug.tethera.net/git/nmbug-tags

(where I wrapped the line by hand).  This means that FETCH_HEAD
references the config branch:

  $ git rev-parse FETCH_HEAD
  41d7bfa7184cc93c9dac139d1674e9530799e3b0

which breaks all of the FETCH_HEAD logic in nmbug (where FETCH_HEAD is
assumed to point to the master branch).

Instead of relying on FETCH_HEAD, use @{upstream} as the
remote-tracking branch that should be merged/diffed/integrated into
HEAD.  @{upstream} was added in Git v1.7.0 (2010-02-12) [1], so
relying on it should be fairly safe.  One tricky bit is that bare
repositories don't set upstream tracking branches by default:

  $ git clone --bare http://nmbug.tethera.net/git/nmbug-tags.git nmbug-bare
  $ cd nmbug-bare
  $ git remote show origin
  * remote origin
    Fetch URL: http://nmbug.tethera.net/git/nmbug-tags.git
    Push  URL: http://nmbug.tethera.net/git/nmbug-tags.git
    HEAD branch: master
    Local refs configured for 'git push':
      config pushes to config (up to date)
      master pushes to master (up to date)

While in a non-bare clone:

  $ git clone http://nmbug.tethera.net/git/nmbug-tags.git
  $ cd nmbug-tags
  $ git remote show origin
  * remote origin
    Fetch URL: http://nmbug.tethera.net/git/nmbug-tags.git
    Push  URL: http://nmbug.tethera.net/git/nmbug-tags.git
    HEAD branch: master
    Remote branches:
      config tracked
      master tracked
    Local branch configured for 'git pull':
      master merges with remote master
    Local ref configured for 'git push':
      master pushes to master (up to date)

From the clone docs [2]:

  --bare::
        Make a 'bare' Git repository‚Ķ
        Also the branch heads at the remote are copied directly
        to corresponding local branch heads, without mapping
        them to `refs/remotes/origin/`.  When this option is
        used, neither remote-tracking branches nor the related
        configuration variables are created.

To use @{upstream}, we need to the local vs. remote-tracking
distinction, so this commit adds 'nmbug clone', replacing the
previously suggested --bare clone with a non-bare --no-checkout
--separate-git-dir clone into a temporary work directory.  After
which:

  $ git rev-parse @{upstream}
  acd379ccb973c45713eee9db177efc530f921954

gives us the master-branch commit.  Existing nmbug users will have to
run the configuration tweaks and re-fetch by hand.  If you don't have
any local commits, you could also blow away your NMBGIT repository and
re-clone from scratch:

  $ nmbug clone http://nmbug.tethera.net/git/nmbug-tags.git

Besides removing the ambiguity of FETCH_HEAD, this commit allows users
to configure which upstream branch they want nmbug to track via 'git
config', in case they want to change their upstream repository.

[1]: http://git.kernel.org/cgit/git/git.git/tree/Documentation/RelNotes/1.7.0.txt
[2]: http://git.kernel.org/cgit/git/git.git/tree/Documentation/git-clone.txt

6 years agorelease-checks: removed manual page version check
Tomi Ollila [Sat, 5 Apr 2014 09:47:29 +0000 (12:47 +0300)]
release-checks: removed manual page version check

Manual pages are now generated and during the generation the version
string is read from `version` file, so this (currently failing) test
checking manual page versions can be removed.

While at it, changed the case pattern *[^0-9.]*
to its portable alternative *[!0-9.]*

6 years agodoc: added 'Init File' section to notmuch-emacs info source
Tomi Ollila [Thu, 3 Apr 2014 20:53:03 +0000 (23:53 +0300)]
doc: added 'Init File' section to notmuch-emacs info source

While adding that fixed (also other) typos noticed by aspell(1) run,
and capitalized Emacs and (most) Notmuch terms to match how emacs
Info documentation seems to look in general.

6 years agodoc: move doxgen config from devel/ to doc/
David Bremner [Sun, 6 Apr 2014 02:02:23 +0000 (23:02 -0300)]
doc: move doxgen config from devel/ to doc/

a first step towards actually instally the API docs

6 years agocompat: add canonicalize_file_name
David Bremner [Mon, 27 Jan 2014 14:12:12 +0000 (10:12 -0400)]
compat: add canonicalize_file_name

the POSIX 2008 behaviour of realpath is not available everywhere so we
provide a simple wrapper function.  We use (and provide) the gnu
extension canonicalize_file_name to make it cleaner to test for the
feature we need; otherwise we have to rely on realpath segfaulting if
the second argument is null.

6 years agodebian: add build conflicts against ruby1.8
David Bremner [Sun, 6 Apr 2014 13:03:17 +0000 (10:03 -0300)]
debian: add build conflicts against ruby1.8

Debian stable has ruby 1.9, so this should be OK. The issue is that
the ruby bindings don't build if "ruby" points to ruby1.8

6 years agodebian: really delete madduck from uploaders
David Bremner [Sun, 6 Apr 2014 12:53:39 +0000 (09:53 -0300)]
debian: really delete madduck from uploaders

I'm not sure how it got into debian/changelog without actually
happening, but actually delete martin from debian/control per
request in Debian bug #719100

6 years agodebian: ignore performance corpus when making source package
David Bremner [Sun, 30 Mar 2014 14:54:15 +0000 (11:54 -0300)]
debian: ignore performance corpus when making source package

Currently "make debian-snapshot" will include the performance corpus
tarball in the source package, which slows things down and wastes disk
space.  tar-ignore is needed twice to keep the default exclude rules
(e.g. to exclude .git)

6 years agolib: replace the header parser with gmime
Jani Nikula [Sun, 30 Mar 2014 21:21:49 +0000 (00:21 +0300)]
lib: replace the header parser with gmime

The notmuch library includes a full blown message header parser. Yet
the same message headers are parsed by gmime during indexing. Switch
to gmime parsing completely.

These are the main changes:

* Gmime stops header parsing at the first invalid header, and presumes
  the message body starts from there. The current parser is quite
  liberal in accepting broken headers. The change means we will be
  much pickier about accepting invalid messages.

* The current parser converts tabs used in header folding to
  spaces. Gmime preserve the tabs. Due to a broken python library used
  in mailman, there are plenty of mailing lists that produce headers
  with tabs in header folding, and we'll see plenty of tabs. (This
  change has been mitigated in preparatory patches.)

* For pure header parsing, the current parser is likely faster than
  gmime, which parses the whole message rather than just the
  headers. Since we parse the message and its headers using gmime for
  indexing anyway, this avoids and extra header parsing round when
  adding new messages. In case of duplicate messages, we'll end up
  parsing the full message although just headers would be
  sufficient. All in all this should still speed up 'notmuch new'.

* Calls to notmuch_message_get_header() may be slightly slower than
  previously for headers that are not indexed in the database, due to
  parsing of the whole message. Within the notmuch code base, notmuch
  reply is the only such user.

6 years agolib: drop support for single-message mbox files
Jani Nikula [Sun, 30 Mar 2014 21:21:48 +0000 (00:21 +0300)]
lib: drop support for single-message mbox files

We've supported mbox files containing a single message for historical
reasons, but the support has been deprecated, with a warning message
while indexing, since Notmuch 0.15. Finally drop the support, and
consider all mbox files non-email.

6 years agocli: abstract dump file open from the dump command
Jani Nikula [Tue, 25 Mar 2014 17:48:57 +0000 (19:48 +0200)]
cli: abstract dump file open from the dump command

Also expose the dump function to the rest of notmuch. No functional
changes, except for slight improvement in error handling.

6 years agocli: abstract database dumping from the dump command
Jani Nikula [Tue, 25 Mar 2014 17:07:49 +0000 (19:07 +0200)]
cli: abstract database dumping from the dump command

No functional changes, except for slight improvement in error
handling.

6 years agoemacs: push mark before signature on reply
Jani Nikula [Fri, 28 Mar 2014 18:04:25 +0000 (20:04 +0200)]
emacs: push mark before signature on reply

We push mark on reply so user can cut the quote. Push the mark before
signature, if any, instead of end of buffer so the signature is
preserved.

This is consistent with message-kill-to-signature.

6 years agoemacs: add defcustom notmuch-init-file and load it if exists
Tomi Ollila [Sat, 29 Mar 2014 08:07:59 +0000 (10:07 +0200)]
emacs: add defcustom notmuch-init-file and load it if exists

So that users can easily organize their notmuch-specific configurations
to separate file and they don't have to have notmuch configurations in
*every* emacs installation they launch, especially if those need to
'(require notmuch) to make the configurations possible.

6 years agoemacs: instruct user to autoload notmuch instead of require'ing it
Tomi Ollila [Sat, 29 Mar 2014 08:07:58 +0000 (10:07 +0200)]
emacs: instruct user to autoload notmuch instead of require'ing it

When (require 'notmuch) is added to ~/.emacs notmuch is loaded to every
instance of emacs although it may not be used in majority of
those instances.

When (autoload 'notmuch "notmuch" ...) is added to ~/.emacs notmuch
is loaded (only) when user invokes the notmuch function.

User may want to add other entrypoints to notmuch by adding more
autoloads -- the autoload instruction given should offer them clue how
to do so.

6 years agocli: fix notmuch help additional topics
Jani Nikula [Sat, 22 Mar 2014 13:06:58 +0000 (15:06 +0200)]
cli: fix notmuch help additional topics

The help for hooks was missing.

6 years agotest: conditionally test help system depending on configured support
Jani Nikula [Wed, 26 Mar 2014 08:48:12 +0000 (09:48 +0100)]
test: conditionally test help system depending on configured support

If neither sphinx nor rst2man is available, the notmuch man pages will
not be available. Take this into account in the help system test.

6 years agocli: Flush stdout before fork()ing to run hooks
Austin Clements [Sun, 23 Mar 2014 21:22:26 +0000 (17:22 -0400)]
cli: Flush stdout before fork()ing to run hooks

Without this flush, if stdout is block buffered (which will happen if
it's a pipe or a file, for example) and the hook also writes to
stdout, then notmuch new's output will appear *after* the hook output.

This situation may be a little esoteric, but it's good practice to
flush before you fork anyway.

6 years agocli: sanitize the received header before scanning for replies
Jani Nikula [Wed, 19 Mar 2014 16:44:50 +0000 (18:44 +0200)]
cli: sanitize the received header before scanning for replies

This makes the from guessing agnostic to header folding by spaces or
tabs.

6 years agocompletion: complete directory parameters to directories only
Jani Nikula [Wed, 12 Mar 2014 20:33:49 +0000 (22:33 +0200)]
completion: complete directory parameters to directories only

i.e. don't complete to files if only directories are acceptable.

6 years agocompletion: add proper completion of folder: and path:
Jani Nikula [Wed, 12 Mar 2014 20:33:48 +0000 (22:33 +0200)]
completion: add proper completion of folder: and path:

Complete folder: to maildir folders and path: to directories in mail
store.

6 years agoemacs: Use whitelist instead of blacklist for term escaping
Austin Clements [Tue, 11 Mar 2014 22:19:54 +0000 (18:19 -0400)]
emacs: Use whitelist instead of blacklist for term escaping

Previously, the term escaper used a blacklist of characters that
needed escaping.  This blacklist turned out to be somewhat incomplete;
for example, it did not contain non-whitespace ASCII control
characters or Unicode "fancy quotes", both of which do require the
term to be escaped.

Switch to a whitelist of characters that are definitely safe to leave
unquoted.  This fixes the broken test introduced by the previous
patch.

6 years agotest: Add broken test for Emacs boolean term escaping
Austin Clements [Tue, 11 Mar 2014 22:19:53 +0000 (18:19 -0400)]
test: Add broken test for Emacs boolean term escaping

The current term escaper gets most of these right, but fails to escape
things containing Unicode "fancy quotes" or things containing
non-whitespace control characters.

6 years agotest: conditionally test compact depending on configured support
Jani Nikula [Wed, 12 Mar 2014 17:26:04 +0000 (19:26 +0200)]
test: conditionally test compact depending on configured support

I still have one machine with old enough Xapian to not have compaction
support. Make the tests check for unsupported compact operation when
compact is not available.

6 years agodoc: fix out-of-tree build
David Bremner [Thu, 20 Mar 2014 00:48:03 +0000 (21:48 -0300)]
doc: fix out-of-tree build

The subtle part is adding .rst and .py files to vpath so they can be
used as dependencies without prefixing with $(srcdir)

We also change the interface to mkbuildeps.py: rather than getting the
containing directory from the conf file path, we go the other way.

6 years agotest: use $(srcdir) instead of . as include path
David Bremner [Thu, 20 Mar 2014 00:48:04 +0000 (21:48 -0300)]
test: use $(srcdir) instead of . as include path

This is needed for out of tree builds. The functional change is the
modification of extra_cflags; the other changes are cosmetic.

6 years agobuild: move canonical list of subdirectories to configure script
David Bremner [Tue, 25 Mar 2014 11:28:09 +0000 (08:28 -0300)]
build: move canonical list of subdirectories to configure script

The configure script needs this list for out of tree builds. Grabbing
it from the Makefile via sed was fragile and broken.

6 years agoemacs: tree: use orig-tags in search
Mark Walters [Sat, 22 Mar 2014 11:51:12 +0000 (11:51 +0000)]
emacs: tree: use orig-tags in search

This uses the recent functionality to show the tag changes in the tree
buffer. Currently this is only used to show changes the tree buffer
makes itself: i.e., it does not make display any changes reflecting
tagging done by other notmuch-buffers.

6 years agoemacs: search: use orig-tags in search
Mark Walters [Sat, 22 Mar 2014 11:51:11 +0000 (11:51 +0000)]
emacs: search: use orig-tags in search

This uses the recent functionality to show the tag changes in the
search buffer. Currently this is only used to show changes the search
buffer makes itself: i.e., it does not make display any changes
reflecting tagging done by other notmuch-buffers.

6 years agoemacs: show: use orig-tags for tag display
Mark Walters [Sat, 22 Mar 2014 11:51:10 +0000 (11:51 +0000)]
emacs: show: use orig-tags for tag display

This uses the previous patch to show the tag changes that have occured
in the show buffer since it was last loaded/refreshed.

6 years agoemacs: show: mark tags changed since buffer loaded
Mark Walters [Sat, 22 Mar 2014 11:51:09 +0000 (11:51 +0000)]
emacs: show: mark tags changed since buffer loaded

This allows (and requires) the original-tags to be passed along with
the current-tags to be passed to notmuch-tag-format-tags. This allows
the tag formatting to show added and deleted tags.By default a removed
tag is displayed with strike-through in red (if strike-through is not
available, eg on a terminal, inverse video is used instead) and an
added tag is displayed underlined in green.

If the caller does not wish to use the new feature it can pass
current-tags for both arguments and, at this point, we do exactly that
in the three callers of this function.

Note, we cannot tidily allow original-tags to be optional because we would
need to distinguish nil meaning "we are not specifying original-tags"
from nil meaning there were no original-tags (an empty list).

We use this in subsequent patches to make it clear when a message was
unread when you first loaded a show buffer (previously the unread tag
could be removed before a user realised that it had been unread).

The code adds into the existing tag formatting code. The user can
specify exactly how a tag should be displayed normally, when deleted,
or when added.

Since the formatting code matches regexps a user can match all deleted
tags with a ".*" in notmuch-tag-deleted-formats.  For example setting
notmuch-tag-deleted-formats to '((".*" nil)) tells notmuch not to show
deleted tags at all.

All the variables are customizable; however, more complicated cases
like changing the face depending on the type of display will require
custom lisp.

Currently this overrides notmuch-tag-deleted-formats for the tests
setting it to '((".*" nil)) so that they get removed from the display
and, thus, all tests still pass.

6 years agoemacs: tag: add customize for deleted/added tag formats
Mark Walters [Sat, 22 Mar 2014 11:51:08 +0000 (11:51 +0000)]
emacs: tag: add customize for deleted/added tag formats

Add customize options for deleted/added tag formats.  These are not
used yet but will be later in the series.

We switch to using `notmuch-apply-face' rather than `propertize' in
the defcustom for faces so that the faces for deleted/added tags add
to the default face attributes for the tag.

We special case deleting the unread tag as that tag is a strong visual
cue and we don't need that cue when we are just saying it used to be
unread. Thus, we revert to the normal tag face with strikethough for
deleted unread tags.

6 years agoemacs: tag split customise option for format-tags into a widget
Mark Walters [Sat, 22 Mar 2014 11:51:07 +0000 (11:51 +0000)]
emacs: tag split customise option for format-tags into a widget

We will re-use the customize option for format-tags for formattting
deleted tags to added tags in the next patch so split it into a
widget. There should be no functional change.

6 years agoMake keys of notmuch-tag-formats regexps and use caching
Austin Clements [Sat, 22 Mar 2014 11:51:06 +0000 (11:51 +0000)]
Make keys of notmuch-tag-formats regexps and use caching

This modifies `notmuch-tag-format-tag' to treat the keys of
`notmuch-tag-formats' as (anchored) regexps, rather than literal
strings.  This is clearly more flexible, as it allows for prefix
matching, defining a fallback format, etc.  This may cause compatibility
problems if people have customized `notmuch-tag-formats' to match tags
that contain regexp specials, but this seems unlikely.

Regular expression matching has quite a performance hit over string
lookup, so this also introduces a simple cache from exact tags to
formatted strings.  The number of unique tags is likely to be quite
small, so this cache should have a high hit rate.  In addition to
eliminating the regexp lookup in the common case, this cache stores
fully formatted tags, eliminating the repeated evaluation of potentially
expensive, user-specified formatting code.  This makes regexp lookup at
least as fast as assoc for unformatted tags (e.g., inbox) and *faster*
than the current code for formatted tags (e.g., unread):

                    inbox (usec)   unread (usec)
    assoc:              0.4            2.8
    regexp:             3.2            7.2
    regexp+caching:     0.4            0.4

(Though even at 7.2 usec, tag formatting is not our top bottleneck.)

This cache must be explicitly cleared to keep it coherent, so this adds
the appropriate clearing calls.

6 years agoemacs: Combine notmuch-combine-face-text-property{, -string}
Austin Clements [Sat, 22 Mar 2014 11:51:05 +0000 (11:51 +0000)]
emacs: Combine notmuch-combine-face-text-property{, -string}

This combines our two face combining functions into one, easy to use
function with a much shorter name: `notmuch-apply-face'.  This
function takes the full set of arguments that
`notmuch-combine-face-text-property' took, but takes them in a more
convenient order and provides smarter defaults that make the function
easy to use on both strings and buffers.

6 years agonmbug-status: make output title and blurb configurable
Jani Nikula [Thu, 13 Mar 2014 12:04:05 +0000 (13:04 +0100)]
nmbug-status: make output title and blurb configurable

Make nmbug-status more generally usable outside of nmbug by not
hardcoding notmuch related things.

This lets anyone publish html search views to mailing list messages
with a custom config file, independent of nmbug.

6 years agonmbug-status: parameterize title and blurb in the page header
Jani Nikula [Thu, 13 Mar 2014 12:04:04 +0000 (13:04 +0100)]
nmbug-status: parameterize title and blurb in the page header

Prepare for more general use.

6 years agoemacs: add path: prefix to query completion
Jani Nikula [Wed, 19 Mar 2014 16:53:06 +0000 (18:53 +0200)]
emacs: add path: prefix to query completion

Complete to the new path: prefix.

6 years agodoc: cosmetic fix for prerst2man.py
David Bremner [Thu, 13 Mar 2014 03:21:17 +0000 (00:21 -0300)]
doc: cosmetic fix for prerst2man.py

Fix a particular egregious combination of format and string
concatenation.

6 years agodoc: configure detection of sphinx and rst2man
David Bremner [Thu, 13 Mar 2014 03:21:16 +0000 (00:21 -0300)]
doc: configure detection of sphinx and rst2man

Because sphinx-build does not provide a convenient way of listing
which builders exist, and some people actually have pre 1.0 sphinx, we
try loading a relevant python module.

Currently the assumption is that no python in path -> no sphinx-build
in path.

6 years agodoc: build man pages into hierarchy, fix help test.
David Bremner [Thu, 13 Mar 2014 03:21:15 +0000 (00:21 -0300)]
doc: build man pages into hierarchy, fix help test.

It turns out there was a reason the old man pages were stored in a man
compatible hierarchy, namely so that we could run man on them before
installing.

Hardcode doc build location into test suite.  This isn't ideal, but
let's unbreak the test suite for now.

6 years agodoc: build man pages at build time; introduce HAVE_SPHINX, HAVE_RST2MAN
David Bremner [Thu, 13 Mar 2014 03:21:14 +0000 (00:21 -0300)]
doc: build man pages at build time; introduce HAVE_SPHINX, HAVE_RST2MAN

This helps avoid build artifacts (namely, nroff and gzipped-nroff man
pages) owned by root.

The variables allow choosing which generator to use for the man page.
These will be hooked to configure in a following commit.

6 years agoutil: Fix two corner-cases in boolean term quoting function
Austin Clements [Tue, 11 Mar 2014 20:42:00 +0000 (16:42 -0400)]
util: Fix two corner-cases in boolean term quoting function

Previously, make_boolean_term did not quote empty boolean terms or
boolean terms that started with '('.  These cases are incompatible
with Xapian: empty terms cannot be omitted, and boolean terms that
start with '(' trigger an alternate term quoting syntax.

Fix this by quoting empty terms and terms that contain '('.

6 years agoperf-test: use command line arguments for directories
David Bremner [Fri, 7 Mar 2014 12:03:23 +0000 (08:03 -0400)]
perf-test: use command line arguments for directories

It seems that between version 1.26 and 1.27 of gnu tar, directories to
be extracted read with --files-from are no longer recursively extacted.
This patch puts them on the command line instead.

6 years agoman: try to clarify the folder: and path: vs. --output=files confusion
Jani Nikula [Sat, 8 Feb 2014 21:14:25 +0000 (23:14 +0200)]
man: try to clarify the folder: and path: vs. --output=files confusion

6 years agoman: update man pages for folder: and path: search terms
Jani Nikula [Sun, 9 Mar 2014 21:03:06 +0000 (23:03 +0200)]
man: update man pages for folder: and path: search terms

Text from review by Austin Clements <amdragon@MIT.EDU>.

6 years agotest: add machinery to download and verify databases
David Bremner [Sat, 1 Mar 2014 20:12:44 +0000 (16:12 -0400)]
test: add machinery to download and verify databases

Note that it is intentional that the checksum file is not
downloaded. The intent is to check those into git.

6 years agotest: commit database checksum, ignore actual databases
David Bremner [Sat, 1 Mar 2014 23:22:59 +0000 (19:22 -0400)]
test: commit database checksum, ignore actual databases

The checksum file is used by the test infrastructure to verify the downloaded
test database is the one we had in mind.  Note that this test is
rather strict, and the the checksum file needs to be recommitted when
the database is regenerated.

add a pattern .gitignore to ignore the actual databases

6 years agodevel: add script to generate test databases
Jani Nikula [Sat, 8 Feb 2014 13:36:54 +0000 (15:36 +0200)]
devel: add script to generate test databases

Add script to generate notmuch test databases using specified versions
of notmuch. This is useful for generating material for database
upgrade tests.

This reuses the test infrastructure to have a sandbox environment for
notmuch new etc.

6 years agotest: add database upgrade test from format version 1 to 2
Jani Nikula [Tue, 11 Mar 2014 05:42:49 +0000 (07:42 +0200)]
test: add database upgrade test from format version 1 to 2

Test the upgrade from probabilistic to boolean folder: terms, and
addition of path: terms.

The test depends on the pre-built test corpus and database tarball and
checksum file being in place. If it's not, the test is skipped. The
mechanism to fetch the test database will be added later.

At the time of writing, a working test database and checksum file is
available at

   http://notmuchmail.org/releases/test-databases/

It has been noted that some non-GNU environments make lack
sha256sum. We leave this portability issue for a followup patch.

6 years agotest: add tests for the new boolean folder: and path: prefixes
Jani Nikula [Sat, 22 Feb 2014 20:59:18 +0000 (22:59 +0200)]
test: add tests for the new boolean folder: and path: prefixes

Additional tests for the boolean folder: and path: prefixes using the
full corpus.

6 years agolib: make folder: prefix literal
Jani Nikula [Sat, 8 Feb 2014 19:20:42 +0000 (21:20 +0200)]
lib: make folder: prefix literal

In xapian terms, convert folder: prefix from probabilistic to boolean
prefix, matching the paths, relative from the maildir root, of the
message files, ignoring the maildir new and cur leaf directories.

folder:foo matches all message files in foo, foo/new, and foo/cur.

folder:foo/new does *not* match message files in foo/new.

folder:"" matches all message files in the top level maildir and its
new and cur subdirectories.

This change constitutes a database change: bump the database version
and add database upgrade support for folder: terms. The upgrade also
adds path: terms.

Finally, fix the folder search test for literal folder: search, as
some of the folder: matching capabilities are lost in the
probabilistic to boolean prefix change.

6 years agotest: make insert test use the path: prefix
Jani Nikula [Mon, 6 Jan 2014 21:48:24 +0000 (23:48 +0200)]
test: make insert test use the path: prefix

This is a more strict test for the insert test.

6 years agolib: add support for path: prefix searches
Jani Nikula [Sat, 8 Feb 2014 18:50:44 +0000 (20:50 +0200)]
lib: add support for path: prefix searches

The path: prefix is a literal boolean prefix matching the paths,
relative from the maildir root, of the message files.

path:foo matches all message files in foo (but not in foo/new or
foo/cur).

path:foo/new matches all message files in foo/new.

path:"" matches all message files in the top level maildir.

path:foo/** matches all message files in foo and recursively in all
subdirectories of foo.

path:** matches all message files recursively, i.e. all messages.

6 years agolib: refactor folder term update after filename removal
Jani Nikula [Sat, 8 Feb 2014 17:48:16 +0000 (19:48 +0200)]
lib: refactor folder term update after filename removal

Abstract some blocks of code for reuse. No functional changes.

6 years agotest: rearrange the test corpus into subfolders, fix tests
Jani Nikula [Sun, 9 Mar 2014 12:25:37 +0000 (14:25 +0200)]
test: rearrange the test corpus into subfolders, fix tests

We will need this for improved folder search tests, but having some
folders should exercise our code paths better anyway.

Modify the relevant test accordingly to make it pass.

This reorganization triggers a bug in the test suite, namely that it
expects the output of --output=files to be in a certain order. So we
add the fix for that into the same commit.

This mainly involves sorting, although the case --duplicate=$n
requires more subtlety.

6 years agotest: add notmuch_search_files_sanitize and use it
Jani Nikula [Sun, 9 Mar 2014 13:19:09 +0000 (15:19 +0200)]
test: add notmuch_search_files_sanitize and use it

We do this in a lot of places, so make it a helper in the test-lib.

6 years agotest: add utility function to sort a json list
David Bremner [Tue, 11 Mar 2014 16:52:19 +0000 (13:52 -0300)]
test: add utility function to sort a json list

So far we only need this one place, but it's a bit messy to inline

6 years agodoc: remove preformatted nroff pages
David Bremner [Mon, 10 Mar 2014 00:59:27 +0000 (21:59 -0300)]
doc: remove preformatted nroff pages

From now on, we should edit the rst source.

6 years agodoc: automatically read version from file
David Bremner [Wed, 5 Mar 2014 03:09:38 +0000 (23:09 -0400)]
doc: automatically read version from file

This avoids having to recreate the update-man-versions rule

6 years agodoc: install sphinx version of man pages
David Bremner [Wed, 5 Mar 2014 13:34:10 +0000 (09:34 -0400)]
doc: install sphinx version of man pages

The python script mkdocdeps.py is used to import the list of man pages
from the sphinx configuration to make.

This will delete the (release only) target update-man-versions. This
will be replaced in a followup commit.

6 years agodoc: add target rst2man to build man pages using rst2man
David Bremner [Tue, 28 Jan 2014 16:12:38 +0000 (12:12 -0400)]
doc: add target rst2man to build man pages using rst2man

Many people have docutils installed, but not sphinx. Allow these
people to build the man pages.

6 years agodoc: convert sphinx based docs
David Bremner [Tue, 28 Jan 2014 16:12:37 +0000 (12:12 -0400)]
doc: convert sphinx based docs

This is the output from sphinx-quickstart, massaged a bit, along with
our existing man pages converted to rst.

A skeleton notmuch-emacs manual is also included. It is not suitable
for end user use yet.

6 years agoutil: make sanitize string available in string util for reuse
Jani Nikula [Mon, 3 Feb 2014 19:51:43 +0000 (21:51 +0200)]
util: make sanitize string available in string util for reuse

No functional changes.

6 years agocli: refactor reply from guessing
Jani Nikula [Mon, 3 Feb 2014 19:51:42 +0000 (21:51 +0200)]
cli: refactor reply from guessing

The guess_from_received_header() function had grown quite big. Chop it
up into smaller functions.

No functional changes.

6 years agocli: sanitize tabs and newlines to spaces in notmuch search
Jani Nikula [Mon, 3 Feb 2014 19:51:41 +0000 (21:51 +0200)]
cli: sanitize tabs and newlines to spaces in notmuch search

Sanitize tabs and newlines to spaces rather than question marks in
--output=summary --format=text output.

This will also hide any difference in unfolding a header that has been
folded with a tab. Our own header parser replaces tabs with spaces,
while gmime would retain the tab.

6 years agosupport for generating decreasing dates in bash 4.0 and 4.1
Tomi Ollila [Mon, 10 Feb 2014 21:15:00 +0000 (23:15 +0200)]
support for generating decreasing dates in bash 4.0 and 4.1

The printf builtin "%(fmt)T" specifier (which allows time values
to use strftime-like formatting) is introduced in bash 4.2.

Trying to execute this in pre-4.2 bash will fail -- and if this
happens execute the fallback piece of perl code to do the same thing.

6 years agotest: NOTMUCH_SKIP_TESTS accepts test names with or without Tddd- prefix
Tomi Ollila [Tue, 4 Mar 2014 20:38:21 +0000 (22:38 +0200)]
test: NOTMUCH_SKIP_TESTS accepts test names with or without Tddd- prefix

The test names assigned to NOTMUCH_SKIP_TESTS variable can now be given
with or without the Tddd- prefix for tester convenience:

The test name without Tddd -prefix stays constant even when test filenames
are renumbered.

The test name with Tddd -prefix is printed out when tests run.

6 years agotest: don't use $(dir) in recipes.
David Bremner [Sat, 8 Mar 2014 14:00:39 +0000 (10:00 -0400)]
test: don't use $(dir) in recipes.

According the semantics of make, the expansion of $(dir) in recipes
uses dynamic scope, i.e. the value at the time the recipe is run. This
means if test/Makefile.local is not the last sub-makefile included,
all heck breaks loose.

6 years agodebian: add dependency on bash-completion
David Bremner [Thu, 6 Mar 2014 12:52:02 +0000 (08:52 -0400)]
debian: add dependency on bash-completion

At some point we decided to only install bash completion for notmuch
if the bash-completion file was present. Add the corresponding debian
build dependency.

6 years agotest: Print the number of the test along with its name
Austin Clements [Tue, 4 Mar 2014 06:40:08 +0000 (01:40 -0500)]
test: Print the number of the test along with its name

Previously, we stripped the "Tnnn-" part from the test name when
printing its description at the beginning of each test.  However, this
makes it difficult to find the source script for a test (e.g., when a
test fails).  Put this prefix back.

6 years agocli: add missing \n in error message
Jani Nikula [Tue, 4 Mar 2014 16:51:54 +0000 (18:51 +0200)]
cli: add missing \n in error message

The error messages returned by illegal_tag() don't contain newlines.

6 years agotest: add tests for invalid new.tags
Jani Nikula [Sun, 23 Feb 2014 16:55:23 +0000 (18:55 +0200)]
test: add tests for invalid new.tags

Similar tests for both notmuch new and insert.

6 years agocli: make sure notmuch new and insert don't add invalid tags
Jani Nikula [Sun, 23 Feb 2014 16:55:22 +0000 (18:55 +0200)]
cli: make sure notmuch new and insert don't add invalid tags

Check new.tags configuration values before doing anything, and bail
out on invalid values.

6 years agocli: export function for illegal tag checking
Jani Nikula [Sun, 23 Feb 2014 16:55:21 +0000 (18:55 +0200)]
cli: export function for illegal tag checking

This lets us check for forbidden tags consistently across the cli. No
functional changes.

6 years agoemacs: use the originating buffer's working directory for pipe
Jani Nikula [Sat, 1 Mar 2014 13:17:50 +0000 (15:17 +0200)]
emacs: use the originating buffer's working directory for pipe

Currently notmuch-show-pipe-message runs the command in the working
directory of the *notmuch-pipe* buffer if it exists, and the current
buffer's working directory (which is inherited to the new
*notmuch-pipe* buffer) otherwise. This is all very surprising to the
user, and it's difficult to know or change where the command will be
run.

Always use the current show buffer's working directory for piping. The
user can check that with M-x pwd and change it with M-x cd. This is
consistent with notmuch-show-pipe-part.

6 years agoemacs: Simplify and fix `notmuch-mua-prompt-for-sender'
Austin Clements [Thu, 27 Feb 2014 18:10:54 +0000 (13:10 -0500)]
emacs: Simplify and fix `notmuch-mua-prompt-for-sender'

`notmuch-mua-prompt-for-sender' is over-engineered and often wrong.
It attempts to detect when all identities have the same name and
specialize the prompt to just the email address part.  However, to do
this it uses `mail-extract-address-components', which is meant for
displaying email addresses, not general-purpose parsing, and hence
performs many canonicalizations that can interfere with this use.  For
example, configuring notmuch-identities to ("Austin
<austin@example.com>"), will cause `notmuch-mua-prompt-for-sender' to
lose the name part entirely and return " <austin@example.com>".

This patch rewrites `notmuch-mua-prompt-for-sender' to simply prompt
for a full identity when notmuch-identities is configured, or to
prompt for a sender address when it isn't.

The original code also did several strange things, like using `eval'
and specifying that this function was interactive.  As a side-effect,
this patch fixes these problems.  And it adds a docstring.

6 years agoNEWS: note closing of id:87ty19pi85.fsf@zancas.localnet
David Bremner [Mon, 3 Mar 2014 12:48:33 +0000 (08:48 -0400)]
NEWS: note closing of id:87ty19pi85.fsf@zancas.localnet

Also close the original debian bug.

6 years agodebian: note closing of debian bug 739556
David Bremner [Mon, 3 Mar 2014 12:36:37 +0000 (08:36 -0400)]
debian: note closing of debian bug 739556

This one doesn't seem NEWS-worthy.

6 years agoNEWS: note closing of bug id:87wqhcxb5j.fsf@maritornes.cs.unb.ca
David Bremner [Mon, 3 Mar 2014 12:25:04 +0000 (08:25 -0400)]
NEWS: note closing of bug id:87wqhcxb5j.fsf@maritornes.cs.unb.ca

This is also/originally Debian bug 737496, so close that too.

6 years agoMerge tag 'debian/0.17-5'
David Bremner [Mon, 3 Mar 2014 12:10:51 +0000 (08:10 -0400)]
Merge tag 'debian/0.17-5'

uploaded to unstable

6 years agodebian: fix typo in postinst (Debian bug 740325), clean up empty directory debian/0.17-5
David Bremner [Sun, 2 Mar 2014 11:36:34 +0000 (07:36 -0400)]
debian: fix typo in postinst (Debian bug 740325), clean up empty directory

Try to remove the directory /0755 ; if that fails assume it has
something in it to preserve.

7 years agotest: Simplify CLEAN list construction
Austin Clements [Tue, 25 Feb 2014 19:18:59 +0000 (14:18 -0500)]
test: Simplify CLEAN list construction

Construct as much of the CLEAN list from TEST_BINARIES as possible,
rather than duplicating this information by hand.

7 years agocli: command line option parser cleanup
Jani Nikula [Mon, 24 Feb 2014 21:36:58 +0000 (23:36 +0200)]
cli: command line option parser cleanup

Reduce the indentation for clarity. No functional changes.

7 years agoemacs: remove newlines from input to notmuch count --batch
David Bremner [Sat, 8 Feb 2014 14:25:17 +0000 (10:25 -0400)]
emacs: remove newlines from input to notmuch count --batch

Since a newline starts a new query in batch mode, this causes
mysterious crashes in the emacs interface if saved searches contain
newlines.  See the discussion at

      id:87wqhcxb5j.fsf@maritornes.cs.unb.ca

In general newlines seem to be just whitespace to the xapian query
parser, so this should be mainly harmless.

7 years agoman: escape backslash in notmuch-tag example
David Bremner [Sat, 15 Feb 2014 03:24:58 +0000 (23:24 -0400)]
man: escape backslash in notmuch-tag example

The example was originally intended to have a literal backslash in it, but
'\ ' is interpreted by nroff as a non-breaking space.

It doesn't make much difference to the example, but the non-breaking
space triggers a bug in doclifter.

7 years agoemacs: Fix `notmuch-user-other-email' when no other emails are configured
Austin Clements [Thu, 20 Feb 2014 19:16:36 +0000 (14:16 -0500)]
emacs: Fix `notmuch-user-other-email' when no other emails are configured

Thanks to the previous patch, this no longer crashes in this
situation, but now would return ("").  Fix it to return () when no
emails are configured.

7 years agoemacs: Fix exception when fetching empty or unconfigured settings
Austin Clements [Thu, 20 Feb 2014 19:16:35 +0000 (14:16 -0500)]
emacs: Fix exception when fetching empty or unconfigured settings

When "notmuch config" is called with the name of an empty or
unconfigured setting, it prints nothing (not even a new line).
Previously, `notmuch-config-get' assumed it would always print a
newline.  As a result, when `notmuch-config-get' was called with the
name of an empty of unconfigured setting, it would attempt to
(substring "" 0 -1) to strip the newline, which would fail with a
(args-out-of-range "" 0 -1) exception.

Fix this by only stripping the newline if there actually is one.

7 years agoemacs: Build forwarded message buffer more directly
Austin Clements [Thu, 20 Feb 2014 19:16:34 +0000 (14:16 -0500)]
emacs: Build forwarded message buffer more directly

Previously, we used `message-forward' to build forwarded messages, but
this function is simply too high-level to be a good fit for some of
what we do.

First, since `message-forward' builds a full forward message buffer
given the message to forward, we have to duplicate much of the logic
in `notmuch-mua-mail' to patch the notmuch-y things into the built
buffer.

Second, `message-forward' constructs the From header from
user-full-name and user-mail-address.  As a result, if we prompt the
user for an identity, we have to parse it into name and address
components, just to have it put back together by `message-forward'.
This process is not entirely loss-less because
`mail-extract-address-components' does a lot of canonicalization
(since it's intended for displaying addresses, not for parsing them).

To fix these problems, don't use `message-forward' at all.
`message-forward' itself is basically just a call to `message-mail'
and `message-forward-make-body'.  Do this ourselves, but call
`notmuch-mua-mail' instead of `message-mail' so we can directly build
a notmuch-y message and control the From header.

This also fixes a bug that was a direct consequence of our use of
`mail-extract-address-components': if the user chose an identity that
had no name part (or the name part matched the mailbox), we would bind
user-full-name to nil, which would cause an exception in the bowels of
message-mode because user-full-name is expected to always be a string
(even if it's just "").

7 years agoman: fix typo in notmuch.1
David Bremner [Sat, 22 Feb 2014 01:22:46 +0000 (21:22 -0400)]
man: fix typo in notmuch.1

Fix for Debian bug 739556