Merge branch 'show-matching-flag' into HEAD

vim: return nothing instead of failting if there is no message id

vim: minor improvements to search screen syntax matching

vim: make timing info a debug option

vim: include stubs for Tab-ing thorugh folds in show view

vim: include search terms when showing message

vim: fix '?' command in message display

vim: fix shell escaping for () in search terms

vim: fix column formatting for >9 messages in search view

vim: preserve previous buffer number when refreshing search

vim: add git-diff.vim in README, make syntax work w/o the script

vim: cleanup tag filtering

Given an existing search expression and a regular filter, the resulting
search will be:

        EXISTING AND ( NEW )

With a tag filter each of the tags given will be prefixed with tag: and
separated by AND.

vim: cleanup a few minor glitches

vim: fix an error in the logic for finding message under cursor in show screen

vim: use ,s for editing search query

(save 'S' for marking things as spam)

vim: have ? show details of what's under cursor in search/show views

vim: ingore would-be-folds with line count of 1 or fewer

vim: added searching for word under cursor with ^]

vim: highlight []-blocks in search view

vim plugin: removed some dead code

vim: place ... more inteligently when shortening 'from' list in search

fix returning to folders after searching a few times

make searching, updates and returning to folder view work

add notmuch-folders support mode

remove some debug code from NM_cmd_search()

NM_show_prev() -> NM_show_previous()

correct fold line counts

keep the ,nmr hack around

clear the nmap before creating our bindings

don't fold single lines

avoid reloading search screen when we add/remove tags

debug code to measure how long calls to system() take

make control-p go to previous message

lot more stubs for future keybindings

implemented folding bodies and headers

more endless toil with syntax

fix after merge, --reverse replaced with --sort=

crude order toggle

added search filtering

added support for archive command

cleanup calls to script functions, use <SID>

fix showing thread

added tagging and refresh to search screen

add dummy entries to search screen keymap

define keymap for show screen as a dictionary

cleanup default handling code

make search screen mappings configurable via dictionary

make it possible to set config options from outside the script

toggle signatures and citations with s/c respectively

fix a corner case with folding a single line citation

added ^n to handle walking messages

pretty colouring and folding for message show

parsing rewritten one more time

completely rewritten show handling

first attempt to fold the message nicely

folding for citations

naively fold all signatures

grab all the pattern matchers from the emacs script

make <Enter> from search screen display the correct message

updated README

add 's' binding to let you search for different terms

reverse order so that the latest is at top

README

simplify install with a Makefile

added syntax files for search and show screens

move from search to show with Enter, and back with q

primitive notmuch mail interface for vim

notmuch-show: identify which messages printed matched the query string

The show command outputs all messages in the threads that match the
search-terms.  This patch introduces a 'match:[01]' entry to the 'message{'
line output by the show command.  Value of 1 indicates that the message is
matching the search expression.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

have _notmuch_thread_create mark which messages matched the query

When _notmuch_thread_create() is given a query string, it can return more
messages than just those matching the query.  To distinguish those that
matched the query expression, the MATCHING_SEARCH flag is set
appropriately.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

message: add flags to notmuch_message_t

This patch allows for different flags, internal to notmuch, to be set on a
message object.  The patch does not define any such flags, just the
facilities to manage these flags.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

notmuch.el: Quote arguments to protect from shell interpretation.

We want to allow the user to be able to use search expressions with
parentheses and semi-colons, etc. and we definitely don't want the
shell interpreting those!

notmuch.el: Exceute "notmuch search" asynchronously.

Previously, our emacs interface was waiting for the "notmuch search"
to complete before it would display anything. Now, we execute the
process asyncrhonously and filter results as they come in.

This takes advantage of the recent work to make "notmuch search"
results stream out steadily. The result is that some search results
will be available nearly instantly and the user can navigate and view
those while additional results continue loading.

Merge buttons-for-body-and-headers branch.

Thanks, Alexander!

Remove the global expand body keymapping

With local buttons done now, we don't need this anymore.

lib/messages.c: Make message searches stream as well.

Xapian provides an interator-based interface to all search results.
So it was natural to make notmuch_messages_t be iterator-based as
well. Which we did originally.

But we ran into a problem when we added two APIs, (_get_replies and
_get_toplevel_messages), that want to return a messages iterator
that's *not* based on a Xapian search result. My original compromise
was to use notmuch_message_list_t as the basis for all returned
messages iterators in the public interface.

This had the problem of introducing extra latency at the beginning
of a search for messages, (the call would block while iterating over
all results from Xapian, converting to a message list).

In this commit, we remove that initial conversion and instead provide
two alternate implementations of notmuch_messages_t (one on top of a
Xapian iterator and one on top of a message list).

With this change, I tested a "notmuch search" returning *many* results
as previously taking about 7 seconds before results started appearing,
and now taking only 2 seconds.

Make bodies locally toggleable

Having actually implemented this, I realized that my
initial approach of providing a function to configure
a button was wrong. Instead I've replaced that with
button types. This then makes it possible to provide
the fully expanded view when all threads in a message
are unread.

It also has the potential to allow global-expansion functions
if that is desireable

make a nice function for generating invisibility toggle buttons

I realized I was replicating this code over and over again, so this
way if I change my mind about something I only have to do it on one
place.

cleanup a lot of left-overs from the global invis

Basically I'd left in a lot of the key-bindings and all the
invisiblity spec variables so just rid the world of those

make headers locally expandable/collapsable

This is the same as with citations and signatures.
I used an ellipsis here for the invisible region, which
I think make it more obvious that there are extra headers.
MH-e used this for extra long To/CC headers.

lib/query: Drop the first and max_messages arguments from search_messages.

These only existed to support the chunky-searching hack, but that
was recently dropped anyway.

lib/query: Fix notmuch_threads_t to stream results rather than blocking.

Previously, notmuch_query_search_threads would do all the work, so the
caller would block until all results were processed. Now, we do the
work as we go, as the caller iterates with notmuch_threads_next. This
means that once results start coming back from "notmuch search" they
just keep continually streaming.

There's still some initial blocking before the first results appear
because the notmuch_messages_t object has the same bug (for now).

notmuch search: Remove the chunked-searching hack.

This was a poor workaround around the fact that the existing
notmuch_threads_t object is implemented poorly. It's got a fine
iterartor-based interface, but the implementation does all of the
work up-front in _create rather than doing the work incrementally
while iterating.

So to start fixing this, first get rid of all the hacks we had working
around this. This drops the --first and --max-threads options from the
search command, (but hopefully nobody was using them
anyway---notmuch.el certainly wasn't).

notmuch.el: Add TAB and M-TAB buttons to move between buttons.

Thanks to Alexander Botero-Lowry for pointing out the interesting
functions to use here. This functionality was really easy to add.

Fix printing of literal '%' in help message.

I suppose I could have just used puts instead...

Make addresses case insensitive for the purpose of constructing replies.

The domain is alway case insensitive, but in principle the username is
case sensitive.  Few systems actually enforce this so I think a good
default is to treat the entire address as case insensitive, it will
eliminate a lot of superfluous self-addressed messages and reply from
the correct address in these cases.

Signed-off-by: Jed Brown <jed@59A2.org>

Stay out of tmp to respect the Maildir spec.

search : Extend "intial burst" optimization to return all results by chunks

This way, the user gets a steady (but bursty) stream of reults. We
double the chunk size each time since each successive chunk has to
redo work from all previous chunks.

Of course, the overall time is thereby slower, as the price we pay for
increased responsiveness. With a search returning about 17000 thread
results I measured a total time of 48.8 seconds before this change and
58.4 seconds afterwards.

Add rudimentary date-based search.

The rudimentary aspect here is that the date ranges are specified with
UNIX timestamp values (number of seconds since 1970-01-01 UTC). One
thing that can help here is using the date program to determins
timestamps, such as:

$(date +%s -d 2009-10-01)..$(date +%s)

Long-term, we'll probably need to do our own query parsing to be able
to support directly-specified dates and also relative expressions like
"since:'2 months ago'".

Add notmuch-folder mode to provide an overview of search matches

Folder mode takes a (user-configurable) list of search patterns and
produces a list of those patterns and the count of messages that they
match. When an entry in this list is selected, a search window with
the defined search is opened.  The set of folders is defined as a
list, each element contains the name of the folder and the query string
to count.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add 'notmuch count' command to show the count of matching messages

Getting the count of matching threads or messages is a fairly
expensive operation. Xapian provides a very efficient mechanism that
returns an approximate value, so use that for this new command.

This returns the number of matching messages, not threads, as that is
cheap to compute.

Signed-off-by: Keith Packard <keithp@keithp.com>

Make mouse-1 click in search view show thread

Selecting text in the search view isn't all that useful, so instead,
make mouse-1 clicks actually show the thread you click on. It's almost
like direct manipulation or something.

Signed-off-by: Keith Packard <keithp@keithp.com>

TODO: Yet another idea.

This is an idea I've had "forever" (and is commented as such in the
code already), but just came up on the mailing list. So note it here.

ANSI escapes in "new" only when output is a tty

When running "notmuch new --verbose", ANSI escapes are used. This may not be
desirable when the output of the command is *not* being sent to a terminal
(e.g. when piping output into another command). In that case each file
processed is printed in a new line and ANSI escapes are not used at all.

fix notmuch-new bug when database path ends with a trailing /

I configured my database.path with a trailing /, and after running notmuch
new every notmuch search would fail with error messages like this:

  Error opening /inbox/cur/1258565257.000211.mbox:2,S: No such file or directory

The actual bug was in the filename normalization for storage in the
database.  The database.path was removed from the full filename, but if
the database.path from the config file contained a trailing /, the
relative file name would retain an extra leading /... which made it look
like an absolute path after it was read out from the DB.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

TODO: Add a couple of notes about things to do with/to Xapian.

I had these notes sitting in an uncommitted file that was cluttering
up my "git status" output. This cleans that up, and also shares the
ideas with the wider community.

makefile: Declare clean target as phony.

This ensures that make clean always proceeds, even if the user
accidentally creates a file named 'clean'. Also, it ignores errors in
rm and other commands.

Signed-off-by: Jan Janak <jan@ryngle.com>

TODO: Capturing even more ideas.

Hopefully soon I can start implementing ideas rather than just writing
them down.

TODO: A couple of more ideas for improving the emacs interface.

We're not likely to run out of work to do anytime soon...

Support multiple configuration files via $NOTMUCH_CONFIG

If present, $NOTMUCH_CONFIG will be used as the configuration file
location.

TODO: Add several ideas for improving the emacs interface.

These are from email messages on the notmuch mailing list and from
IRC conversations in #notmuch.