Merge branch 'debian' into rebuild

Conflicts:

  Makefile.local: The Makefiles were all recently re-written on
  master, but I did ensure that the changes from the
  debian branch were all implemented here, (in
  particular, installing the emacs files from "make
  install").

  configure: I've reverted one change as part of this merge:

commit 9f99a301b158dc1ed1c8c6754db1d57e3b0becf4

Remove ./configure failure for unrecognized options

     I'd much rather find what options the Debian scripts pass
     and either implement them or at least make the explicitly
     do nothing. One of the things that often annoyed me about
     gnu autoconf-generated configure scripts was the silent
     ignoring of unknown options, (which was very unhelpful in
     the case of mistyped options on the command line).

Move "config" test programs to "compat".

It makes sense to me to have the little tests for functionality right
next to the comptability implementations of that same functionality.

But also, this means I can now tab-complete ./configure from the three
initial characters (rather than the seven required previously).

Makefile: Move the completion-specific commands to completion/Makefile.local

For much better modularity.

Rename the "contrib" directory to "completion".

The original "contrib" name is lousy. Everything in notmuch has been
contributed, and we are integrating as much of it as possible, (rather
than making users grub through contrib looking for useful pieces to
install).

Meanwhile, the only things we have in contrib are command-line
completion scripts, so "completion" makes more sense as a name, (and
helps make "./configure" slightly less ambiguous).

.gitignore: Ignore the releases directory.

The "make release" target creates this directory, but it's nothing
I'll ever want to add to the git repository.

Makefile: Eliminate the separate install-bash and install-zsh targets.

Again, simplifying the interface to the Makefile. Installing these
files doesn't require bash nor zsh to actually be installed, so there's
little harm in just installing them unconditionally.

Makefile: Eliminate the "make install-emacs" target.

Instead, simply byte-compile the emacs source files as part of "make"
and install them as part of "make install". The byte compilation is
made conditional on the configure script finding the emacs binary.
That way, "make; make install" will still work for someone that doesn't
have emacs installed, (which was the only reason we had made a separate
"make install-emacs" target in the first place).

Makefiles: Eliminate the useless quiet_* functions.

With the original quiet function, there's an actual purpose (hiding
excessively long compiler command lines so that warnings and errors
from the compiler can be seen).

But with things like quiet_symlink there's nothing quieter. In fact
"SYMLINK" is longer than "ln -sf". So all this is doing is hiding the
actual command from the user for no real benefit.

The only actual reason we implemented the quiet_* functions was to be
able to neatly right-align the command name and left-align the arguments.

Let's give up on that, and just left-align everything, simplifying the
Makefiles considerably. Now, the only instances of a captialized command
name in the output is if there's some actually shortening of the command
itself.

make release: Add "what's new" and "what is notmuch" sections to announcement

For other projects I release, there's a bunch of manual effort in
cosntructing the final release-announcement email. That's silly.
So automate this by extracting the appropirate text from NEWS and
by including a canned piece of the content from README.

Makefile: Print template for release announcement.

At the end of "make release" or at any point later with
"make release-message".

Makefile: Make the "make release" target push the new tag.

Otherwise I'm sure I'll always forget to push it.

Merge commit '0.1'

This is a merge of the few changes I made to release 0.1
retroactively, (after having incremented the version to 0.1.1).

Conflicts:
Makefile.local (renamed NOTMUCH_VERSION to VERSION)

Makefile: Finish implementing the "make release" target.

And hopefully it actually works.

Makefile: Start implementing a "make release" target.

So far just doing checks that the version is sane and that no release
of the same version already exists.

NEWS: Add some (brief) news items for the initial 0.1 release.

Generally, the NEWS items will describe changes since the previous
release. But there's not much we can do for that since we've never had
a release before.

RELEASING: Add this file describing the steps to make a release.

These steps might be changing a bit as we work on making the initial
0.1 release.

Increment version to 0.1.1

After publishing the first notmuch release (0.1) to
http://notmuchmail.org/releases .

Makefile: Add a dist target.

To create a versioned tar file for release.

Makfiles: Make the top-level targets PHONY

Just to avoid any clash with files of the same names.

notmuch-query.el: new file to support access to the notmuch database.

Initially this file provides one main function
notmuch-query-get-threads, which takes a set of search terms, and
returns a parsed set of matching threads as a lisp data structure.

A set of notmuch-query-map-* functions are provided to help map
functions over the data structure.

The function notmuch-query-get-message-ids uses this machinery to get
the set of message-ids matching a query.

Edited-by: Carl Worth <cworth@cworth.org>: Change comment syntax,
(";;" rather than ";" to make emacs-lisp mode happy), and eliminate
some excess whitespace, as suggested by David Edmonson.

notmuch: Correctly terminate text/* parts in JSON output

Text parts returned by `g_mime_stream_mem_get_byte_array()' are not
NULL terminated strings - add `json_quote_chararray()' to handle them
correctly.

git: Ignore `notmuch-shared'

emacs: Move notmuch-show functionality to notmuch-show.el

To ease the transition to a JSON based implementation of
`notmuch-show', move the current implementation into a separate file.

Create `notmuch-lib.el' to hold common variables.

TODO: Add notes on removing "notmuch part" and "notmuch search-tags".

Both of these ideas were recently discussed on the mailing list.

emacs: Fix "free variable" warning for notmuch-folder-show-empty.

Emacs really wants us to defvar each variable before assigning to it,
(which gives us a place to document the variable as well).

emacs/notmuch.el: Improve tag highlighting in search mode

Assume that tags never include an opening bracket, and hence improve
the regular expression used to highlight them. This avoids false
matches where the 'from' address of a thread participant includes an
opening bracket.

Makefile.local: Automatically use makefile mode

We add a magic line to the beginning of each Makefile.local file to
help the editor know that it should use makefile mode for editing the
file, (even though the filename isn't exactly "Makefile").

Edited-by: Carl Worth <cworth@cworth.org>: Expand treatment from
emacs/Makefile.local to each instance of Makefile.local.

Makefile: Add the emacs directory to load-path when compiling

Reviewed-by: Carl Worth <cworth@cworth.org>: Presumably, this is to
enable proper building in the very near-term future where the emacs
implementation consists of multiple files where some will `require'
functions from others.

Merge remote branch 'dme/dme-for-cworth'

Conflicts:
notmuch.c (Simply the change in documentation indentation level).

Makefile: Only print the "make install" hint after the first build.

It was getting quite annoying to see this big block of text on every
little build, (but I didn't want to get rid of it for any new users).
This seems to strike the right balance.

notmuch help: Eliminate a gratuitous level of indentation.

I don't really know why we ended up having everything indented by two
tabs, (perhaps trying to make it match the man page)? But wihout any
containing context to justify that it just looks odd.

notmuch help: Simplify output by omitting arguments for each command.

The output was far too busy otherwise. It's more useful to just
show the argument list in the case of "notmuch help <command>"
for a specific command.

(Credit due to running "git help" and seeing a much more readable
list than what was coming out of "notmuch help".)

notmuch: Add a version (0.1 initially) with a new --version option.

We're planning to do actual releases soon, so we need a version
number to put into the tar file.

notmuch: Add support for a --help option.

Previously, only "notmuch help" worked while a call to "notmuch --help"
would just print a message telling the user to call "notmuch help".
Instead of the redirection, just support --help directly now.

notmuch: Add a 'part' subcommand

A new 'part' subcommand allows the user to extract a single part from
a MIME message. Usage:
  notmuch part --part=<n> <search terms>
The search terms must match only a single message
(e.g. id:foo@bar.com). The part number specified refers to the part
identifiers output by `notmuch show'. The content of the part is
written the stdout with no formatting or identification marks. It is
not JSON formatted.

notmuch-show: Add unix and relative dates to the JSON output

Include a 'date_unix' and 'date_relative' field in the JSON output for
each message. 'date_relative' can be used by a UI implementation,
whereas 'date_unix' is useful when scripting.

Compile a static notmuch binary (but only install the shared version)

The idea here is to allow a new user of notmuch to be able to run
notmuch immediately after compiling, (without having to install
the shared library first). This also ensures that the test suite
tests the locally compiled library, and not whatever installled
version of the library the dynamic linker happens to find.

Setup the GMimeStream only when needed

I ran into this while looking at the vim plugin.  Vim's system() call
redirects output to a file and it was missing many of the part{ lines.

If stream_stdout is setup too early, it will overwrite the part start
when notmuch is redirected to a file.

Reviewed-by Carl Worth <cworth@cworth.org>: GMime is calling fseek
before every write to reset the FILE* to the position it believes is
correct based on the writes it has seen. Our code was getting
incorrect results because our GMime writes were interleaved with
non-GMime writes via printf.

The bug appears when writing to a file because it's seekable, but not
when writing to a pipe which is not.

Makefile: Create include directory when installing headers

When I wanted to create a debian package from the current master, make
install failed because of non-existent include directory. This patch
fixes this minor issue.

lib: Switch to a 3-part version number for the library interface.

With a carefully documented description of how to increment the
various version components.

Makefiles: Align the columns of output.

Much better.

Makefiles: Make the install rules quiet like the compilation rules.

The output from make is looking better all the time, (though the
columns still aren't lined up).

Makefile: Fix to print CFLAGS with "make V=0"

The default "make" would be quite quiet, but still conveniently print
the CFLAGS. The explicit "make V=0" was intended to be identical, (only
not printing the message about V=1 but was broken in that it left the
CFLAGS off). Fix this.

Makefiles: Eliminate shell for loops in rule definitions.

These just made the output look so ugly, and weren't actually making
the rule definitions any simpler. Good riddance.

Move installation of library from top-level to lib/Makefile.local

We had a fairly ugly violation of modularity with the top-level
Makefile.local isntalling everything, (even when the build commands
for the library were down in lib/Makefile.local).

Makefile.config: Avoid pre-expanding the ${prefix} variable.

One of the supproted mechanisms we offer for configuration is
manually editing the Makefile.config file after it is generated
by the configure script. In this case it would be nice to be able
to change prefix only once, so allow that.

Move some variable assignments from Makefile.local to Makefile.config

There's not any special configure logic for determining these variable
values, but if we did add some in the future, then these will now be
in the right place for that.

Additionally, this now makes Makefile.local the single place for the
user to look for manually tweaking a variable assignment, (say, for a
compiler that can't accept a particular warning argument).

With this change, there should rarely be any need for a user to poke
into any Makefile.local file.

Move bulk of rules from Makefile to Makefile.local.

Before it was impossible to know whether any particular setting or
rule definition was in Makefile or Makefile.local. So we strip the
Makefile down to little more than the list of sub-directories and
the logic to include all of the sub-directories' Makefile.local
fragments.

Then, all of the real work can happen inside of Makefile.local.

configure: Fix installation of library to work with alternate --prefix

If an explicit --libdir is passed, then that is used directly. Otherwise
libdir is chosen as the value of $PREFIX/lib, (whether or not prefix was
passed explicitly or set by default).

configure: Fix typo in help message.

Documentation is installed to PREFIX/man not PREFIX/share.

Add a --libdir option to ./configure

This allows packagers to specify to which directory libraries should be
installed.

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Fix target dependencies for multiple jobs

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Build and link against notmuch shared library, install notmuch.h

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

emacs: Fix the notmuch-search-authors-width variable.

This variable existed previously, but wasn't actually used for anything.

Clarify documentation of notmuch_database_add_message.

For the case of adding a file that already exist, (with the same
filename). In this case, nothing will happen to the database, but
that wasn't clear before.

TODO: Note that '=' should sometimes count from the end of the buffer.

When trying to restore the current position, if the "current" thread
no longer appears in the buffer, then '=' moves to the current line
instead. When near the end of the buffer, the "current" line should
be counted as the number of lines from the end.

TODO: Add a todo item for adding a message as a blob, rather than a filename.

This was suggested by Srinivasa and is intended to make it easier to
integrate notmuch into an mbox-loving mail client.

TODO: Add some new items about improving the test suite.

I just tried (and failed) to write a test for the recent magic
inference of phrase searches. That's a feature that makes me *really*
uncomfortable to not have an automated test. But I believe the
proposed modularization of the test suite should reduce some quoting
nightmares, so will hopefully make this easier.

test: Fix phrase-search tests.

With some extra qutotation marks, we are now doing actual phrase
searches so these tests pass.

test: Add some negative results for the phrase searches.

These results have all the same terms as the target phrase, but
not in the expected order. They are designed to ensure that we
actually test phrase searches.

And as it turns out, we're not currently quoting the search terms
properly, so the phrase-search tests now fail with this commit.

notmuch-show: add tags to json output

The previous json patches forgot to add the notmuch tags to the json
output. This is inconsistent to the text output so here they are. We
just output a 'tags' field that sends notmuch tags as a json array.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

emacs: Fix search refresh when on the last line of a search buffer.

We currently allow the cursor to be positioned on the "End of search
results" line after the last thread in a search buffer. When
refreshing on this line, there's no thread ID to be used as the
target.

Previously, a refresh from this case would result in a nil thread
target, but we were also using nil to indicate that the target thread
had been found. This caused the position to be lost during refresh,
(the cursor would move from the last line in the buffer to the first).

We fix this by using a magic string of "found" rather than nil to
clearly indicate whether the target thread has actually been found.

emacs: Adjust search refresh to use a target line not a target position.

It doesn't make sense to move the cursor to some random point in the
middle of a line. We always want the refresh to leave the cursor at
the beginning of some line instead.

Makefile: Fix Makefiles to depend on all child Makefile fragments.

We were previously maintaining two lists of the child Makefile
fragments---one for the includes and another for the dependencies. So,
of course, they drifted and the dependency list wasn't up to date.

We fix this by adding a single subdirs variable, and then using GNU
Makefile substitution to generate both the include and the dependency
lists.

Some side effect of this change caused the '=' assignment of the dir
variable to not work anymore. I'm not sure why that is, but using ':='
makes sense here and fixes the problem.

Makefile: Use 'emacs --quick' for a less noisy build of "make install-emacs".

I don't really notice if it goes any quicker, but it's sure nice to have
less spew now.

Makefile: Add a message after "make install-emacs"

More help to guide the new user here. Tell the user how to actually
invoke the emacs client now that it's installed.

Makefile: Conditionalize the "make install" message.

This is the same approach as with the 'all' target previously.

Makefile: Simplify the conditional message of the all target.

We wamt a simple "make" to call the 'all' target and then print a
message when done, but we don't want "make install" which depends on
that same 'all' target to print the message.

We previously did this with a separate 'all-without-message' target,
which was inelegant because it caused all users of the target to
carefully depend on 'all-without-message' rather than 'all'.

Instead, we now use a single 'all' target but with a Makefile
conditional that examines the MAKECMDGOALS variable to determine
whether to print the message.

Makefile: Add message to make install listing the other install targets.

Otherwise, it's hard for the user to know that things like install-emacs,
install-bash, and install-zsh even exist.

Makefile: Add a meesage after "make" telling the user to run "make install"

As one command completes, it's kind of the tool to indicate which
command the user should execute next.

Makefile: Rename all_deps to global_deps

The "all" inside this variable name was easy to confuse with the
separate "all" target. This variable specifies dependencies that apply
to every target, so use "global" instead.

Add is:<tag> as a synonym for tag:<tag> in search terms.

I like the readability of this, it provides compatibility with people
trained in this syntax by sup, and it even saves one character.

emacs: Move emacs UI (currently just one file) to subdirectory.

Add emacs/Makefile.local and emacs/Makefile. Move emacs targets into
emacs/Makefile.local, but leave the byte compilation rule in the top
level Makefile.

INSTALL: Include Fedora command for installing dependencies of notmuch.

We already had this command in the error message from the configure script,
so we should include it here as well.

INSTALL: Add a pointer to ./configure --help

We have some good documentation in ./configure --help, so we should
direct users to it.

lib: Silence a compiler warning.

The original code was harmless, but apparently some compilers aren't
able to think deep enough to catch that.

emacs: Fix refresh of search results to leave cursor on current thread.

This has been broken since the addition of support for streaming
search results to the emacs interface. With the old apparoach it was
easy to simply wait for all search results to land in the buffer and
then search for the desired line. With streaming results, we have to
save the target off to the side and allow the process filter and
sentinel functions to correctly respond when the target thread
appears.

Fix a few documentation typos in notmuch.h

Fix a few documentation typos in notmuch.h

Signed-off-by: Fernando Carrijo <fcarrijo@yahoo.com.br>

Update documentation of notmuch_query_create

Commit cd467caf renamed notmuch_query_search to notmuch_query_search_messages.
Commit 1ba3d46f created notmuch_query_search_threads. We better keep the docs
of notmuch_query_create consistent with those changes.

Signed-off-by: Fernando Carrijo <fcarrijo@yahoo.com.br>
Edited-by: Carl Worth to explicitly list the full name of each
function being referenced.

notmuch show: Don't show empty headers.

This is a fairly old regression. There has always been code to avoid
printing empty headers (such as Cc or Bcc with no values), but it has
been broken since notmuch_message_get_header was changed to return
an empty string rather than a NULL pointer for these fields.

TODO: Add proposal for a saved-search interface.

Adding this to our TODO list so that it doesn't get forgotten.

TODO: Remove many items that have been completed recently.

There's been a lot of good work done, and we've been doing a generally
poor job of noticing when some of the tasks we've completed were
already on our TODO list.

So here's a careful scan, removing all items I could find that have
already been done.

emacs: Fix documentation of notmuch-search-remove-tag.

The behavior was changed in commit 4aff2ca55bfe285ced36e9fe02c907d8b4120672
to affect all messages in the thread (and not only those matching
the current search) but the documentation was not updated (until
now).

lib: Document what move_to_next does at the end of the list.

Explicitly mention that there's an invalid position after the last
item in the list.

lib: Rename iterator functions to prepare for reverse iteration.

We rename 'has_more' to 'valid' so that it can function whether
iterating in a forward or reverse direction. We also rename
'advance' to 'move_to_next' to setup parallel naming with
the proposed functions 'move_to_first', 'move_to_last', and
'move_to_previous'.

emacs: Fix backspace to not scroll more than the previous message

The bug was occuring due to counting invisible lines, but then
scrolling past them since they are invisible.

emacs:  Unbreak notmuch-show-rewind (the function to which Backspace is bound)

Commit 095a02211e696434e5b41a85ab516b3a639f9a9b broke the backspace
key by trying to execute nil as a function, (which obviously won't
work), when it was intended as a return value. Fix this now, (and pine
for a test suite that exercises the emacs user-interface of notmuch).

emacs: Make 'n' and 'p' navigate only open messages.

And add new 'N' and 'P' keybindings for navigating through messages
that are open or closed.

emacs: Don't open unread messages by default.

When searching for an individual message, (by message id, say), it's
really annoying to have the entire thread open just because the thread
was archived without ever having been read.

This means that the "unread" tag is a lot less special, and it really
just exists as a mild cue for the user.

control: Update package description to follow upstream README.

Justin B Rye pointed out (in Debian bug #566282) that a user with mail
in mbox format can spend a lot of time investigating notmuch before
realizing that mbox is not supported. Head that off with a more
detailed mention in the package description.

README: Mention that notmuch only supports maildir or mh format.

Justin B Rye pointed out (in Debian bug #566282) that a user with mail
in mbox format can spend a lot of time investigating notmuch before
realizing that mbox is not supported. Head that off with a more
detailed mention in the README blurb.

emacs: Avoid removing the unread tag due to internal navigation

Sometimes the internals of the implementation navigate among messages,
(as opposed to the user explicitly requesting the next message to be
shown). In these cases we don't want to remove the unread tag from the
message navigated to.

This fixes a bug where invocation of notmuch-show-next-unread-message
would clear the unread tag from all messages in a thread.

Simplify "unread" tag handling in emacs UI.

This patch is intended to greatly simplify the handling of the
"unread" tag in the emacs UI.  This patch adds a new function
'notmuch-show-mark-read', that removes the "unread" tag in
notmuch-show-mode.  This function is then executed as a
notmuch-show-hook, and by notmuch-show-next-message.  All of the
functions that explicitly marked messages as unread are removed or
renamed.

The idea here is that the user should never have to worry about
manipulating the "unread" tag.  The tag should persist until the user
actually views a message, at which point it should be automatically
removed.  This patch simplifies the notmuch.el quite a bit, removing a
lot of somewhat redundant functions, and reducing clutter in the name
and key-mapping space.

TODO: We should fix the --format=json option to not imply --entire-thread.

What we print and how we print it are orthogonal options, so --format
shouldn't change what messages are printed.

notmuch search: Use "thread" rather than "id" when formatting with JSON

The text output uses thread:<foo>, (which is a syntax directly supported
by "notmuch show"), so make the json output be "thread", "<foo>" rather
than "id", "<foo>". This should help avoid confusion of thread IDs with
message IDs, (which do use the "id" prefix in searches).

json: Add copy of MIT license text from cJSON

When we incorporate external code, we should include its license,
(particularly when one of the terms of the license is to include it in
copies).

Add an "--format=(json|text)" command-line option to both notmuch-search and notmuch-show.

In the case of notmuch-show, "--format=json" also implies
"--entire-thread" as the thread structure is implicit in the emitted
document tree.

As a coincidence to the implementation, multipart message ID numbers are
now incremented with each part printed. This changes the previous
semantics, which were unclear and not necessary related to the actual
ordering of the message parts.

TODO: Rename the proposed --for option to --output

We've been using --output in IRC and on the mailing list for a while,
(someone had the good sense to point out that --for would defeat
command-line completion since it's a prefix of the proposed --format).

notmuch.1: Use bold and indentation for the NOTMUCH_CONFIG variable.

This seems to be the standard method of formatting an environment
variable section within a man page.

Add ENVIRONMENT VARIABLES section to the man page

Briefly describe the NOTMUCH_CONFIG variable there.