TODO, emacs: Correct a few typos.

Sometime I'll stop misspelling things so much, honets.

TODO: Add some tasks, delete some tasks.

A new item from IRC discussion, (speeding up "notmuch restore"), as
well as a bug I just hit myself, (content from citations is not being
indexed).

While here, notce that several items have recently been completed ('?'
now displays documentation, not function names; we have a search
binding from notmush-show-mode; and "notmuch new" responds to SIGINT
by flushing). Finally, the item regarding optimizing chunky searching
is irrelevant since we dropped chunky searching in favor of the much
better streamed searching.

notmuch show: Preserve thread-ordering and nesting without --entire-thread

When "notmuch show" was recently modified to not show an entire thread
by default, it also lost all capability to properly order the messages
in a thread and to print their proper depth. For example, the command:

notmuch show thread:6d5e3e276461188c5778c9f219f63782

had dramatically different output than:

notmuch show --entire-thread thread:6d5e3e276461188c5778c9f219f63782

even though both commands were selecting and displaying the same set
of messages. The first command would diplay them "flat", (all with
depth:0), and in strict date order; while the second command would
display them "nested" (with depth based on threading), and in thread
order.

We now fix "notmuch show" without the --entire-thread option to also
display nested and thread-ordered messages.

If some messages in the thread are not included in the displayed
results, then they are not counted when computing depth values.

notmuch.1: Document the new --entire-thread option to "notmuch show".

This was added to "notmuch help" earlier, but not to the man page.
Add it there, and use consistent wording in both places.

emacs: Add --entire-thread option to "notmuch show" command line.

We (plan to) do any hiding of messages from within emacs, so don't
let notmuch hide messages from us.

vim: use notmuch show --entire-thread

notmuch show: limit display to only matching messages

This patch changes the default behaviour of notmuch show to display only
messages that match the search expression.  However, --entire-thread
option is provided to display all messages in threads that matched the
search expression.

It is deemed that will be more useful for human users on the command line.
Scripts can be modified to include the --entire-thread option so that they
can display all messages once more.

Example:

$ notmuch search subject:git AND thread:23d99d0f364f93e90e15df8b42eddb5b
thread:23d99d0f364f93e90e15df8b42eddb5b      July 31 [4/12] Johan Herland; [RFCv2 00/12] Foreign VCS helper program for CVS repositories (inbox unread)

Note that in this thread 4 out of 12 messages matched.  The default show
behaviour is to show only those messages that match:

$ notmuch show subject:git AND thread:23d99d0f364f93e90e15df8b42eddb5b | grep 'message{' | wc -l
4

With the --entire-thread option the output will contain all dozen
messages:

$ notmuch show --entire-thread subject:git AND thread:23d99d0f364f93e90e15df8b42eddb5b | grep 'message{' | wc -l
12

Signed-off-by: Bart Trojanowski <bart@jukie.net>

configure: Allow user to specify compiler to be used.

The environment variables CC and CXX can be set at configure time to
specify what compiler to use. This compiler will be used for any
configure-time compilation, and will also be recorded in
Makefile.config to be used during the actual build.

The compiler to be used can still be overridden at build time by using
a make variable such as:

make CC=gcc

configure: Generate more friendly Makefile.config with separated CFLAGS

Each dependency now gets its own variable in the resulting
Makefile.config to make it much easier to debug where the various
flags came from in the case of any problems.

configure: Clarify pkg-config warning now that Makefile does not invoke pkg-config.

It's probably a bit more work to use this configure script without
pkg-config, but it's at least possible, (and we could make it even
easier if this becomes an important use case).

configure: Generate some documentation into Makefile.config.

It's just not nice to auto-generate a file without helping out the
poor user who gets stuck trying to figure out what went wrong.

configure: Resolve all pkg-config flags at configure time.

Previously, we were resolving these within the Makefile. This had
the problem that if pkg-config was not present, the Makefile would
still invoke it resulting in ugly errors before the configure script
was even run, (which would finally present a kind error message about
pkg-config not being present).

configure: Move getlinetest.c down into config/have_getline.c.

This keeps configure-related clutter out of the main directory, and
also gives a more direct correlation between the name of the test and
the feature being tested for.

getdelim: Silence a (bogus) compiler warning.

Some compilers complain that result might be used uninitialized in
this function. I believe such compilers simply aren't looking hard
enough, but it's easy enough to silence them.

Makefile: Split warnings into two sets (WARN_CFLAGS and WARN_CXXFLAGS)

Some C++ compilers complain about -Wmissing-declarations not being
valid, so avoid passing it except when compiling a C file.

Makefile: Switch from echo to printf for better portability.

Some systems have an echo implementation which doesn't know how to
interpret a sequence of "\n". The word is that printf should be much
more portable, so let's try that instead.

configure: Assimilate new getlinetest into recent configure conventions.

We're now using printf to print what we're checking before we check. We're
also making variables such as HAVE_GETLINE available to both make and to
the C pre-processor.

With this, the local getline implementation is now only compiled if not
available on the system.

Add test to configure script to detect getline

Add a simple test to the configure script to detect getline.  It's not
important that the test run, just that it compiles and links without
any errors.

Signed-off-by: Jeffrey C. Ollie <jeff@ocjtech.us>

configure: Fix valgrind check to take effect, and to work.

We were missing an "override" directive in the assignment of CFLAGS
within Makefile.config so it was actually having no effect. Then, we
were also failing to get the proper include path for valgrind.h so
it wouldn't have worked even it were having effect. Fix both problems.

Makefile: Incorporate getline implementation into the build.

It's unconditional for a very short time. We expect to soon be
building it only if necessary.

compat/getdelim: Silence a warning about mixing of signed/unsigned.

If the length is ever so large as to overflow, then we'll end up
returning a negative value (which indicates an error anyway).

compat: Change includes from config.h to compat.h.

We may switch to using an autoconf-like config.h, but we're not doing
that just yet.

compat: Add implementation of getline from gnulib.

These were copied from the gnulib git repository as of:

commit 563c779682040ed4b89c9b4bbe428dcd8157c90a

They come under the GNU GPL v3 (or later) exactly as notmuch is
licensed.

xutil: Implement xstrndup without relying on strndup.

Since we need to do this for portability, (some systems don't have a
strndup function), we might as well do it unconditionally. There's
almost no disadvantage to doing so, and this has the advantages of not
requiring a configure-time check nor having two different
implementations, one of which would often be less tested.

lib/index: Fix memory leak for email addresses without names.

We carefully noted the fact that we had locally allocated the string
here, but then we neglected to free it. Switch to talloc instead
which makes it easier to get the behavior we want. It's simpler since
we can just call talloc_free unconditionally, without having to track
the state of whether we allocated the storage for name or not.

configure: Use printf to achieve result of "echo -n".

We had avoided using "echo -n" originally for portability concerns,
and instead just printed the same string in both conditions, (and
also printed the string late if any check took long). The word is
that printf is quite portable, so we use that instead.

Makefile: Add new "install-bash" target for bash completion support

It was problematic to have this in "make install" since it would
unconditionally try to install to /etc, (even if a non-privileged user
was attempting an install to a prefix in the user's home directory,
for example).

configure: Fix pkg-config warning to not refer to non-existent variables.

We used to have NOTMUCH_CFLAGS and NOTMUCH_LDFLAGS in the Makefile, but
we don't anymore, so don't refer to them.

configure: Clean up the introductory message a bit.

Eliminate a typo or two, and mention that the user can edit
Makefile.config if necessary.

Remove Makefile.config from the repository.

Instead of shipping a default version, we now add a rule to automatically
run configure if necessary to create Makefile.config.

notmuch setup: Exit if EOF is encountered at any prompt.

If the user is explicitly providing EOF, then terminating the program
is the most likely desired thing to do. This also avoids undefined
behavior from continuing with an uninitialized response after ignoring
the return value of getline().

Avoid compiler warnings due to ignored write return values

Glibc (at least) provides the warn_unused_result attribute on write,
(if optimizing and _FORTIFY_SOURCE is defined). So we explicitly
ignore the return value in our signal handler, where we couldn't do
anything anyway.

Compile with:

make CFLAGS="-O -D_FORTIFY_SOURCE"

before this commit to see the warning.

notmuch.el: Make 'x' and 'X' in show-mode archive the current thread.

This makes these keys different than 'q' in this mode, (where 'x'
and 'q' are identical in all of the other modes currently).

The idea here is to make it easier to do non-linear reading of messages,
(such as when poking in to read just one or two threads from a search
result that returned many threads).

notmuch.el: Use let to avoid assigning to a free variable.

The dynamic scoping of emacs lisp is such that we never want to assign
to any variable unless it's something we've defined with `defvar' or
else something we're using locally via `let'.

notmuch.el: Avoid warning about referencing free variable `button'.

I'm not even sure how the previous code worked at all---it seems
clear it was supposed to be using `cite-button' rather than `button'.

notmuch.el: Avoid calling next/previous-line non-interactively.

Emacs always complains if we use these from lisp code.

notmuch.el: Make notmuch-help use a full-screen window.

Our documentation is long enough that I think it will be more useful
to use an entire window for it (which is easily dismissed with 'q').
This is also kinder for a user not well-initiated with emacs, for
whom the multi-window help can be confusing.

notmuch.el: Make documentation of notmuch-search-mode dynamic.

Previously, we had some hard-coded keybindings mentioned in the
introductory paragraphs of the documentation for notmuch-search-mode.
Now, we take advantage of the substitute-command-keys functionality to
produce the same text by default, but to dynamically generate the
correct text in the face of the user customizing the keybindings.

notmuch.el: Clean up documentation of notmuch-folder-mode-map commands.

Again, ensuring we have standalone first-line documentation strings,
and overriding builtin commands to add our own documentation strings
to them.

notmuch.el: Clean up documentation of notmuch-show-mode-map commands.

As we did recently for notmuch-search-mode-map, ensure that the first
line of docuemntation for each command stands alone.

We also take advantage of the substitute-command-keys functionality
within notmuch-help so that the introductory paragraphs can talk
about key bindings by key (rather than function name) in a way that
will always be current even in the face of the user rebinding keys.

notmuch.el: Fix notmuch-help to properly display prefixed bindings.

Previously, we would do only a single-level traverse of the keymap.
That meant that for a keybinding such as "M-TAB" we would just see
the prefix key ("ESC") and print that it was a keymap---never printing
the TAB nor the documentation for the command it is bound to.

Now, we do the full walk, constructing a proper description of the
full keybdinding with prefix characters, (and converting "ESC" to
"M-" for legibility).

notmuch.el: Clean up documentation of notmuch-search-mode-map commands.

Since notmuch-help now displays a single line of documentation from
each of these commands we ensure that the first line stands alone for
each command.

We also override some builtin commands with new commands that don't
behave any differently, but have our own notmuch-specific
documentation, (such as "select next thread" rather than "move point
to next line").

notmuch.el: Fix notmuch-search-goto-last-thread.

This broke when we switched to filter-based processing of search
results and added the "End of search results" line onto the end. Fix
to skip ignore that line when moving to the last thread.

notmuch.el: Fix notmuch-search-scroll-down to go to first thread.

When there's no more to scroll, we want to select the first thread.

This used to work, and I'm not sure when it broke, (perhaps when we
switched from post-process decorating of the search results to
filtering). Fix the calculation to work again.

notmuch.el: Don't document mouse actions in notmuch-help.

The concept behind direct manipulation with mouse clicks is that
documentation shouldn't be necessary, (though my original motivation
here was simply that "<mouse-1>" was exceeding my TAB width.

This does cause a blank line to be added for the mouse binding. This
isn't directly desired, but as long as it's there we put it at a
natural place for a separator.

notmuch.el: Reorder notmuch-search-mode keybindings map.

I had originally created this keymap in order from most important to
least important commands. But our new notmuch-help command is
presented with the list in the reverse order. So we reverse the input
so that the user sees the most important commands first.

notmuch.el: Implement our own notmuch-help instead of describe-mode.

This gives somewhat friendlier output for the '?' binding than we had
previously with `describe-mode'. First, we no longer have the various
minor modes cluttering up the output. Second the display of the
binding table uses the first line of documentation for the bound
function rather than the function name.

notmuch.el: Add documentation for notmuch-search-show-thread.

It's especially unkind to leave interactive functions without
documentation.

notmuch.el: Don't use beginning-of-buffer from elisp program.

This silences a warning when compiling notmuch.el. The documentation
of beginning-of-buffer does say (rather emphatically) that it's not
to be used from lisp programs.

Documentation for notmuch reply --format=(default|headers-only)

Signed-off-by: Jed Brown <jed@59A2.org>

More portable and easier to read regex in notmuch-search-operate-all

The former one worked in 23.1.50.1 but not in 23.1.1.

Signed-off-by: Jed Brown <jed@59A2.org>
Tested-by: Keith Packard <keithp@keithp.com>

Avoid bogus internal error reporting duplicate In-Reply-To IDs.

This error was tirggered with a debugging build via:

make CXXFLAGS="-DDEBUG"

and reported by David Bremner. The actual error is that I'm an
idiot that doesn't know how to use strcmp's return value. Of
course, the strcmp interface scores a negative 7 on Rusty Russell
ranking of bad interfaces:

http://ozlabs.org/~rusty/index.cgi/tech/2008-04-01.html

Adjust autoload comments

The previous location of autoload comments didn't seem to correspond
with the functions most likely to be the entry points for using
notmuch.  This change adjusts them to match those likely entry points.

notmuch.el: Add face support to search mode

This patch use notmuch-tag-face showing tags in the notmuch-search-mode.

We can selectively highlight each tag by setting notmuch-tag-face-alist as below

(defface notmuch-tag-unread-face
 '((((class color)) (:foreground "goldenrod")))
  "Notmuch search mode face used to highligh tags.")

(defface notmuch-tag-inbox-face
 '((((class color)) (:foreground "red")))
  "Notmuch search mode face used to highligh tags.")

(setq notmuch-tag-face-alist '(("unread" . 'notmuch-tag-unread-face)
       ("inbox" . 'notmuch-tag-inbox-face)))
(require 'notmuch)

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

Send mail to notmuch list, not Carl

notmuch-new: Check for non-fatal errors from stat()

Currently we assume that all errors on stat() a dname is fatal (but
continue anyway and report the error at the end). However, some errors
reported by stat() such as a missing file or insufficient privilege,
we can simply ignore and skip the file. For the others, such as a fault
(unlikely!) or out-of-memory, we handle like the other fatal errors by
jumping to the end.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Key binding rearrangement for save attachments in show mode

The most obvious bindings for save attachments are already taken.  The
existing 'w' binding was bound to view the raw message.  This commit
moves it to 'V' which still seems somewhat mnemonic and uses 'w' for
save (write) attachments.

Provide ability to save attachments

Previously the only way to save an attachment was to attempt to view
it and then save it from within the viewer program.

Forward individual messages using message-forward

Sometimes forwarding a message is preferable to replying and modifying
the set of recipients.  This commit provides that ability using the
message-forward function.

Factor out message buffer mgmt from notmuch-show-view-all-mime-parts

The ability to temporarily create a buffer containing only the
contents of the currently selected message in notmuch show mode is
generally useful.  This commit factors the majority of the code
required to do so out of notmuch-show-view-all-mime-parts into a macro
called with-current-notmuch-show-message and rewrites the original
function in terms of the macro.

A future set of commits will provide additional functionality using
the macro as well.

Add key binding for notmuch-search in show-mode

It's not uncommon to want to start a search as a result of something
read in a message so this is convenient.

notmuch.el: Use message-mode font-face to highlight mail headers

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

correct message flag enum value so that it matches the type

As per Carl's request, this patch corrects the only value defined under
the notmuch_message_flag_t enum typedef to match the name of the type.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

Add some very rudimentary support for handling html parts

If there is an html mime-part in the message and it's the first part,
it gets inlined using `mm-display-part' to convert it to plain text.

The HTML content is still available as a non-text part as well.

add missing comma in debugging code

notmuch.el: Require message mode to avoid undefined function in replies.

Otherwise, those without keithp's .emacs would end up with reply mode
not being entered.  Suggested by keithp.

Fix up whitespace styling from previous commit.

Function name in definition belong left-aligned. Body of if statement
cannot be on the same line as the "if".

notmuch-new: Test if directory looks like Maildir before skipping tmp.

'notmuch new' skips directory entries with the name 'tmp'. This is to
prevent notmuch from processing possibly incomplete Maildir messages
stored in that directory.

This patch attempts to refine the feature. If "tmp" entry is found,
it first checks if the containing directory looks like a Maildir
directory. This is done by searching for other common Maildir
subdirectories. If they exist and if the entry "tmp" is a directory
then it is skipped.

Files and subdirectories with the name "tmp" that do not look like
Maildir will still be processed by 'notmuch new'.

Signed-off-by: Jan Janak <jan@ryngle.com>

Silence compiler warning by initializing a variable.

If Xapian threw an exception on notmuch_query_count_messages the count
variable could be used uninitialized.  Initialize count to solve the
problem.

Signed-off-by: Jeffrey C. Ollie <jeff@ocjtech.us>

Merge remote branch 'jukie/vim'

notmuch-new: Fix notmuch new to look at files within symbolic links

We look at the modified time of the database and the directory
to decide whether we need to look at only the subdirectories.
ie, if directory modified time is < database modified time
then we have already looking at all the files withing the
directory. So we just need to iterate through the subdirectories

But with symlinks we need to make sure we follow them even if
the directory modified time is less than database modified time

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

notmuch-show: identify which messages printed matched the query string

The show command outputs all messages in the threads that match the
search-terms.  This patch introduces a 'match:[01]' entry to the 'message{'
line output by the show command.  Value of 1 indicates that the message is
matching the search expression.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

have _notmuch_thread_create mark which messages matched the query

When _notmuch_thread_create() is given a query string, it can return more
messages than just those matching the query.  To distinguish those that
matched the query expression, the MATCHING_SEARCH flag is set
appropriately.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

message: add flags to notmuch_message_t

This patch allows for different flags, internal to notmuch, to be set on a
message object.  The patch does not define any such flags, just the
facilities to manage these flags.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

reply --format=headers-only: set In-Reply-To header, with ID *last* in References

Apparently this is actually the correct way to do it, it's silly to do
it wrong just to conform to one of git's internal data structures.

notmuch-reply.c: implement notmuch_reply_format_headers_only

This command only generates References, To, and Cc headers.
The purpose is primarily for use in

  git send-email --notmuch id:<MESSAGE-ID>

to get proper threading and address the relevant parties.  Hooks for
other SCMs may come later.

Signed-off-by: Jed Brown <jed@59A2.org>

notmuch-reply.c: accept the --format=default default option.

This factors actual generation of the reply out of notmuch_reply_command
into notmuch_reply_format_default(), in preparation for other --format=
options.

Signed-off-by: Jed Brown <jed@59A2.org>

vim: use <Space> more consistently in search view

In search view <Space> will show the thead, but folding messages that
don't match the current search expression.  Conversly, <Enter> always
shows all messages in the thread.

Merge remote branch 'origin/master' into vim

vim: make it possible to start a search in show mode

vim: don't toggle folds that are inside closed folds in show mode

vim: primitive reply to message

vim: primitive reply to thread

vim: few compose mode updates, including README

vim: don't remove headers until after parsing them

vim: fix off-by-one error when removing header from message to send out

vim: generalize compose buffer function further

vim: have ,nmr just reload the plugin w/o restarting state

vim: make it possible to replace NM_cobine_tags()

vim: add a helper to combine tag search expressions

vim: README updates and corrections

vim: have '?' show search words in search mode

notmuch-search-add/remove-tag: restrict to messages in current query

Rather than tagging the everything in the thread.  This is arguably more
desirable behavior and is consistent with clearly desirably behavior of
notmuch-search-operate-all.

Note that this change applies indirectly to
notmuch-search-archive-thread (which is actually equivalent behavior
since this function is primarily used when browsing an inbox).

Signed-off-by: Jed Brown <jed@59A2.org>

New function notmuch-search-operate-all: operate on all messages in the current query.

It is often convenient to change tags on several messages at once.  This
function applies any number of tag whitespace-delimited tag
modifications to all messages matching the current query.

I have bound this to `*'.

Signed-off-by: Jed Brown <jed@59A2.org>

vim: cleanup error messages

vim: fix regexp for cleaning search list

vim: force deleting buffers

vim: fix message parsing patterns

if a message did not contain a trailing CR, we may not be able to match ^\f

vim: implement sending with ,s from compose buffer

vim: store previous buffer number when starting to compose