news: Store "from" and "subject" headers in the database.
[notmuch] / NEWS
1 Notmuch 0.10 (2011-xx-xx)
2 =========================
3
4 New build and testing features
5 ------------------------------
6
7 Emacs tests are now done in dtach. This means that dtach  is now
8 needed to run the notmuch test suite, at least until the checking for
9 prerequisites is improved.
10
11 New command-line features
12 -------------------------
13
14 Add "notmuch restore --accumulate" option
15
16   The --accumulate switch causes the union of the existing and new tags to be
17   applied, instead of replacing each message's tags as they are read in from
18   the dump file.
19
20 Add search terms to  "notmuch dump"
21
22   The dump command now takes an optional search term much like notmuch
23   search/show/tag. The output file argument of dump is deprecated in
24   favour of using stdout.
25
26 Optimizations
27 -------------
28
29 Search avoids opening and parsing message files
30
31   We now store more information in the database so search no longer
32   has to open every message file to get basic headers.  This can
33   improve search speed by as much as 10X, but taking advantage of this
34   requires a database rebuild:
35
36         notmuch dump > notmuch.dump
37         # Backup, then remove notmuch database ($MAIL/.notmuch)
38         notmuch new
39         notmuch restore notmuch.dump
40
41 Notmuch 0.9 (2011-10-01)
42 ========================
43
44 New, general features
45 ---------------------
46
47 Correct handling of interruptions during "notmuch new"
48
49   "notmuch new" now operates as a series of small, self-consistent
50   transactions, so it can correctly resume after an interruption or
51   crash.  Previously, interruption could lose existing tags, fail to
52   detect messages on resume, or leave the database in a state
53   temporarily or permanently inconsistent with the mail store.
54
55 Library changes
56 ---------------
57
58 New functions
59
60   notmuch_database_begin_atomic and notmuch_database_end_atomic allow
61   multiple database operations to be performed atomically.
62
63   notmuch_database_find_message_by_filename does exactly what it says.
64
65 API changes
66
67   notmuch_database_find_message (and n_d_f_m_by_filename) now return
68   a status indicator and uses an output parameter for the
69   message. This change required changing the SONAME of libnotmuch to
70   libnotmuch.so.2
71
72 Python bindings changes
73 -----------------------
74
75   - Re-encode python unicode objects to utf-8 before passing back to
76     libnotmuch.
77   - Support Database().begin_atomic()/end_atomic()
78   - Support Database().find_message_by_filename()
79     NB! This needs a db opened in READ-WRITE mode currently, or it will crash
80     the python process. The is a limitation (=bug) of the underlying libnotmuch.
81   - Fixes where we would not throw NotmuchErrors when we should (Justus Winter)
82   - Update for n_d_find_message* API changes (see above).
83
84 Ruby bindings changes
85 ---------------------
86
87   - Wrap new library functions notmuch_database_{begin,end}_atomic.
88   - Add new exception Notmuch::UnbalancedAtomicError. 
89   - Rename destroy  to destroy! according to Ruby naming conventions.
90   - Update for n_d_find_message* API changes (see above).
91
92 Emacs improvements
93 ------------------
94
95   * Add gpg callback to crypto sigstatus buttons to retrieve/refresh
96     signing key.
97   * Add notmuch-show-refresh-view function (and corresponding binding)
98     to refresh the view of a notmuch-show buffer.
99
100 Reply formatting cleanup
101 ------------------------
102
103   "notmuch reply" no longer includes notification that non-leafnode
104   MIME parts are being suppressed.
105
106 Notmuch 0.8 (2011-09-10)
107 ========================
108
109 Improved handling of message/rfc822 parts
110
111   Both in the CLI and the emacs interface.  Output of rfc822 parts now
112   includes the primary headers, as well as the body and all subparts.
113   Output of the completely raw rfc822-formatted message, including all
114   headers, is unfortunately not yet supported (but hopefully will be
115   soon).
116
117 Improved Build system portability 
118
119   Certain parts of the shell script generating notmuch.sym were
120   specific to the GNU versions of sed and nm. The new version should
121   be more portable to e.g. OpenBSD.
122
123 Documentation update for Ruby bindings
124
125   Added documentation, typo fixes, and improved support for rdoc.
126
127 Unicode, iterator, PEP8 changes for python bindings
128
129   - PEP8 (code formatting) changes for python files.
130   - Remove Tags.__len__ ; see 0.6 release notes for motivation.
131   - Decode headers as UTF8, encode (unicode) database paths as UTF8.
132
133 Notmuch 0.7 (2011-08-01)
134 ========================
135
136 Vim interface improvements
137 --------------------------
138
139 Jason Woofenden provided a number of bug fixes for the Vim interface
140
141   * fix citation/signature fold lengths
142   * fix cig/cit parsing within multipart/*
143   * fix on-screen instructions for show-signature
144   * fix from list reformatting in search view
145   * fix space key: now archives (did opposite)
146
147 Uwe Kleine-König contributed
148
149   * use full path for sendmail/doc fix
150   * fix compose temp file name
151
152 Python Bindings changes
153 -----------------------
154
155 Sebastian Spaeth contributed two changes related to unicode and UTF8:
156
157   * message tags are now explicitly unicode
158   * query string is encoded as a UTF8 byte string
159
160 Build-System improvments
161 ------------------------
162
163 Generate notmuch.sym after the relevant object files
164
165   This fixes a bug in parallel building. Thanks to Thomas Jost for the
166   patch.
167
168 Notmuch 0.6.1 (2011-07-17)
169 ==========================
170
171 Bug-fix release.
172 ----------------
173
174 Re-export Xapian exception typeinfo symbols.
175   
176   It turned out our aggressive symbol hiding caused problems for
177   people running gcc 4.4.5.
178
179 Notmuch 0.6 (2011-07-01)
180 =======================
181 New, general features
182 ---------------------
183 Folder-based searching
184
185   Notmuch queries can now include a search term to match the
186   directories in which mail files are stored (within the mail
187   storage). The syntax is as follows:
188
189         folder:<path>
190
191   For example, one might use things such as:
192
193         folder:spam
194         folder:2011-*
195         folder:work/todo
196
197   to match any path containing a directory "spam", "work/todo", or
198   containing a directory starting with "2011-", respectively.
199
200   This feature is particularly useful for users of delivery-agent
201   software (such as procmail or maildrop) that is filtering mail and
202   delivering it to particular folders, or users of systems such as
203   Gmail that use filesystem directories to indicate message tags.
204
205   NOTE: Only messages that are newly indexed with this version of
206   notmuch will be searchable with folder: terms. In order to enable
207   this feature for all mail, the entire notmuch index will need to be
208   rebuilt as follows:
209
210         notmuch dump > notmuch.dump
211         # Backup, then remove notmuch database ($MAIL/.notmuch)
212         notmuch new
213         notmuch restore notmuch.dump
214
215 Support for PGP/MIME
216
217   Both the command line interface and the emacs-interface have new
218   support for PGP/MIME, detailed below. Thanks to Daniel Kahn Gillmor
219   and Jameson Graef Rollins for making this happen.
220
221 New, automatic tags: "signed" and "encrypted"
222
223   These tags will automatically be applied to messages containing
224   multipart/signed and multipart/encrypted parts.
225
226   NOTE: Only messages that are newly indexed with this version of
227   notmuch will receive these tags.
228
229 New command-line features
230 -------------------------
231 Add new "notmuch show --verify" option for signature verification
232
233   This option instruct notmuch to verify the signature of
234   PGP/MIME-signed parts.
235
236 Add new "notmuch show --decrypt" and "notmuch reply --decrypt" options
237
238   This option instructs notmuch to decrypt PGP/MIME-encrypted parts.
239   Note that this feature currently requires gpg-agent and a passphrase entry
240   tool (e.g. pinentry-gtk or pinentry-curses).
241
242 Proper nesting of multipart parts in "notmuch show" output
243
244   MIME parts are now display with proper nesting to reflect original
245   MIME hierarchy of a message. This allows clients to correctly
246   analyze the MIME structure, (such as, for example, determining to
247   which parts a signature part applies).
248
249 Add new "notmuch show --part" option
250
251   This is a replacement for the older "notmuch part" command, (which
252   is now deprecated—it should still work as always, but is no longer
253   documented). Putting part output under "notmuch show" allows for all
254   of the "notmuch show" options to be applied when extracting a single
255   part, (such as --format=json for extracting a message part with JSON
256   formatting).
257
258 Deprecate "notmuch search-tags", (in favor of "notmuch search --output=tags *")
259
260   The "notmuch search-tags" sub-command has been redundant since the
261   addition of the --output=tags option to "notmuch search". We now
262   make that more clear by deprecating "notmuch search-tags", (dropping
263   it from the documentation). We do continue to support the old syntax
264   by translating it internally to the new call.
265
266 Performance improvements
267 ------------------------
268 Faster searches (by doing fewer searches to construct threads)
269
270   Whenever a user asks for search results as threads, notmuch first
271   performs a search for messages matching the query, then performs
272   additional searches to find other messages in the resulting threads.
273
274   Removing inefficiencies and redundancies in these secondary searches
275   results in a measured speedups of 1.5x for a typical search.
276
277 Faster searches (by doing fewer passes to gather message data)
278
279   Optimizing Xapian data access patterns (using a single pass to get
280   all message-document data rather than a pass for each data type)
281   results in a measured speedup of 1.7x for a typical search.
282
283   The benefits of this optimization combine with the preceding
284   optimization. With both in place, Austin Clements measured a speedup
285   of 2.5x for a search of all messages in his inbox (was 4.5s, now
286   1.8s). Thanks, Austin!
287
288 Faster initial indexing
289
290   More efficient indexing of new messages results in a measured
291   speedup of 1.4x for the initial indexing of 3 GB of mail (1h 14m
292   rather than 1h 46m). Thanks to Austin Clements and Michal Sojka.
293
294 Make "notmuch new" faster for unchanged directories
295
296   Optimizing to not do any further examinations of sub-directories
297   when the filesystem indicates that a directory is unchanged from the
298   last "notmuch new" results in measured speedups of 8.5 for the "No
299   new mail" case, (was 0.77s, now 0.09s). Thanks to Karel Zak.
300
301 New emacs-interface features
302 ----------------------------
303
304 Support for PGP/MIME (GnuPG)
305
306   Automatically indicate validity of signatures for multipart/signed
307   messages.  Automatically display decrypted content for
308   multipart/encrypted messages.  See the emacs variable
309   notmuch-crypto-process-mime for more information. Note that this
310   needs gpg-agent and a pinentry tool just as the command line tools.
311   Also note there is no support SMIME yet.
312
313 Output of pipe command is now displayed if pipe command fails
314
315   This is extremely useful in the common use case of piping a patch to
316   "git am". If git fails to cleanly merge the patch the error messages
317   from the failed merge are now clearly displayed to the user, (where
318   previously they were silently hidden from the user).
319
320 User-selectable From address
321
322   A user can choose which configured email addresses should be used as
323   the From address whenever composing a new message. To do so, simply
324   press C-u before the command which will open a new message. Emacs
325   will prompt for the from address to use.
326
327   The user can customize the "Notmuch Identities" setting in the
328   notmuch customize group in order to use addresses other than those in
329   the notmuch configuration file if desired.
330
331   The user can also choose to always be prompted for the from address
332   when composing a new message (without having to use C-u) by setting
333   the "Notmuch Always Prompt For Sender" option in the notmuch
334   customize group.
335
336 Hiding of repeated subjects in collapsed thread view
337
338   In notmuch-show mode, if a collapsed message has the same subject as
339   its parent, the subject is not shown.
340   
341 Automatic detection and hiding of original message in top-posted message
342
343   When a message contains a line looking something like:
344
345         ----- Original Message -----
346
347   emacs hides this and all subsequent lines as an "original message",
348   (allowing the user to click or press enter on the "original message"
349   button to display it again). This makes the handling of top-posted
350   citations work much like conventional citations.
351
352 New hooks for running code when tags are modified
353
354   Some users want to perform additional actions whenever a particular
355   tag is added/removed from a message. This could be used to, for
356   example, interface with some external spam-recognition training
357   tool. To facilitate this, two new hooks are added which can be
358   modified in the following settings of the notmuch customize group:
359
360         Notmuch Before Tag Hook
361         Notmuch After Tag Hook
362
363 New optional support for hiding some multipart/alternative parts
364
365   Many emails are sent with redundant content within a
366   multipart/alternative group (such as a text/plain part as well as a
367   text/html part). Users can configure the setting:
368
369         Notmuch Show All Multipart/Alternative Parts
370
371   to "off" in the notmuch customize group to have the interface
372   automatically hide some part alternatives (such as text/html
373   parts). This new part hiding is not configured by default yet
374   because there's not yet a simple way to re-display such a hidden
375   part if it is not actually redundant with a displayed part.
376
377 Better rendering of text/x-vcalendar parts
378
379   These parts are now displayed in a format suitable for use with the
380   emacs diary.
381
382 Avoid getting confused by Subject and Author fields with newline characters
383
384   Replacing all characters with ASCII code less than 32 with a question mark.
385
386 Cleaner display of From line in email messages (remove double quotes,
387 and drop "name" if it's actually just a repeat of the email address).
388
389 Vim interface improvements
390 --------------------------
391 Felipe Contreras provided a number of updates for the vim interface:
392
393   * Using sendmail directly rather than mailx,
394   * Implementing archive in show view
395   * Add support to mark as read in show and search views
396   * Add delete commands
397   * Various cleanups.
398
399 Bindings improvements
400 ---------------------
401 Ruby bindings are now much more complete
402
403   Including QUERY.sort, QUERY.to_s, MESSAGE.maildir_flags_to_tags,
404   MESSAGE.tags_to_maildir_flags, and MESSAGE.get_filenames
405
406 * Python bindings have been upodated and extended
407   (docs online at http://packages.python.org/notmuch/)
408
409   New bindings:
410   - Message().get_filenames(),
411   - Message().tags_to_maildir_flags(),Message().maildir_flags_to_tags()
412   - list(Threads()) and list(Messages) works now
413
414   - Message().__cmp__() and __hash__()
415   These allow, for example:
416         if msg1 == msg2: ...
417
418   As well as set arithmetic on Messages():
419
420         s1, s2= set(msgs1), set(msgs2)
421         s1.union(s2)
422         s2 -= s1
423
424    Removed:
425      - len(Messages()) as it exausted the iterator.
426        Use len(list(Messages())) or
427        Query.count_messages() to get the length.
428
429 Added initial Go bindings in bindings/go
430
431 New build-system features
432 -------------------------
433 Added support for building in a directory other than the source directory
434
435   This can be used with the widely-supported idiom of simply running
436   the configure script from some other directory:
437
438         mkdir build
439         cd build
440         ../configure
441         make
442
443 Fix to save configure options for future, implicit runs of configure
444
445   When a user updates the source (such as with "git pull") calling
446   "make" may cause an automatic re-run of the configure script. When
447   this happens, the configure script will automatically be called with
448   the same options the user originally passed in the most-recent
449   manual invocation of configure.
450
451 New test-suite feature
452 ----------------------
453 Binary for bash for running test suite now located via PATH.
454
455   The notmuch test suite requires a fairly recent version of bash (>=
456   bash 4). As some systems supply an older version of bash at
457   /bin/bash, the test suite is now updated to search $PATH to locate
458   the bash binary. This allows users of systems with old /bin/bash to
459   simply install bash >= 4 somewhere on $PATH before /bin and then use
460   the test suite.
461
462 Support for testing output with a trailing newline.
463
464   Previously, some tests would fail to notice a difference in the
465   presence/absence of a trailing newline in a program output, (which
466   has led to bugs in the past). Now, carefully-written tests (using
467   test_expect_equal_file rather than test_expect_equal) will detect
468   any change in the presence/absence of a trailing newline. Many tests
469   are updated to take advantage of this.
470
471 Avoiding accessing user's $HOME while running test suite
472
473   The test suite now carefully creates its own HOME directory. This
474   allows the test suite to be run with no existing HOME directory, (as
475   some build systems apparently do), and avoids test-suite differences
476   due to configuration files in the users HOME directory.
477
478
479 General bug fixes
480 -----------------
481 Output *all* files for "notmuch search --output=files"
482
483   For the cases where multiple files have the same Message ID,
484   previous versions of notmuch would output only one such file. This
485   command is now fixed to correctly output all files.
486
487 Fixed spurious search results from "overlapped" indexing of addresses
488
489   This fixed a bug where a search for:
490
491         to:user@elsewhere.com
492
493   would incorrectly match a message sent:
494
495         To: user@example,com, someone@elsewhere.com
496
497 Fix --output=json when search has no results
498
499   A bug present since notmuch 0.4 had caused searches with no results
500   to produce an invalid json object. This is now fixed to cleanly
501   return a valid json object representing an empty array "[]" as
502   expected.
503
504 fix the automatic detection of the From address for "notmuch reply"
505 from the Received headers in some cases.
506
507 Fix core dump on DragonFlyBSD due to -1 return value from
508 sysconf(_SC_GETPW_R_SIZE_MAX).
509
510 Cleaned up several memory leaks
511
512 Eliminated a few, rare segmentation faults and a double-free.
513
514 Fix libnotmuch library to only export notmuch API functions
515
516   Previous release of the notmuch library also exported some Xapian
517   C++ exception type symbols. These were never part of the library
518   interface and were never intended to be exported.
519
520 Emacs-interface bug fixes
521 -------------------------
522 Display any unexpected output or errors from "notmuch search" invocations
523
524   Previously any misformatted output or trailing error messages were
525   silently ignored. This output is now clearly displayed. This fix was
526   very helpful in identifying and fixing the bug described below.
527
528 Fix bug where some threads would be missing from large search results
529
530   When a search returned a "large" number of results, the emacs
531   interface was incorrectly dropping one thread every time the output
532   of the "notmuch search" process spanned the emacs read-buffer. This
533   is now fixed.
534
535 Avoid re-compression of .gz files (and similar) when saving attachment
536
537   Emacs was being too clever for its own good and trying to
538   re-compress pre-compressed .gz files when saving such attachments
539   (potentially corrupting the attachment). The emacs interface is
540   fixed to avoid this bug.
541
542 Fix hiding of a message when a previously-hidden citation is visible
543
544   Previously the citation would remain visible in this case. This is
545   fixed so that hiding a message hides all parts.
546
547 Notmuch 0.5 (2010-11-11)
548 ========================
549 New, general features
550 ---------------------
551 Maildir-flag synchronization
552
553   Notmuch now knows how to synchronize flags in maildir filenames with
554   tags in the notmuch database. The following flag/tag mappings are
555   supported:
556
557         Flag <-> Tag
558         ----     -----
559         'D'      draft
560         'F'      flagged
561         'P'      passed
562         'R'      replied
563         'S'      unread (added when 'S' flag is not present)
564
565   The synchronization occurs in both directions, (for example, adding
566   the 'S' flag to a file will cause the "unread" tag to be added, and
567   adding the "replied" tag to a message will cause the file to be
568   renamed with an 'R' flag).
569
570   This synchronization is enabled by default for users of the
571   command-line interface, (though only files in directories named
572   "cur" or "new" will be renamed). It can be disabled by setting the
573   new maildir.synchronize_flags option in the configuration file. For
574   example:
575
576         notmuch config set maildir.synchronize_flags false
577
578   Users upgrading may also want to run "notmuch setup" once (just
579   accept the existing configuration) to get a new, nicely-commented
580   [maildir] section added to the configuration file.
581
582   For users of the notmuch library, the new synchronization
583   functionality is available with the following two new functions:
584
585         notmuch_message_maildir_flags_to_tags
586         notmuch_message_tags_to_maildir_flags
587
588   It is anticipated that future improvements to this support will
589   allow for safe synchronization of the 'T' flag with the "deleted"
590   tag, as well as support for custom flag/tag mappings.
591
592 New library features
593 --------------------
594 Support for querying multiple filenames for a single message
595
596   It is common for the mailstore to contain multiple files with the
597   same message ID. Previously, notmuch would always hide these
598   duplicate files, (returning a single, arbitrary filename with
599   notmuch_message_get_filename).
600
601   With this release, library users can access all filenames for a
602   message with the new function:
603
604         notmuch_message_get_filenames
605
606   Together with notmuch_filenames_valid, notmuch_filenames_get, and
607   notmuch_filenames_move_to_next it is now possible to iterate over
608   all available filenames for a given message.
609
610 New command-line features
611 -------------------------
612 New "notmuch show --format=raw" for getting at original email contents
613
614   This new feature allows for a fully-functional email client to be
615   built on top of the notmuch command-line without needing any direct
616   access to the mail store itself.
617
618   For example, it's now possible to run "emacs -f notmuch" on a local
619   machine with only ssh access to the mail store/notmuch database. To
620   do this, simply set the notmuch-command variable in emacs to the
621   name of a script containing:
622
623         ssh user@host notmuch "$@"
624
625   If the ssh client has enabled connection sharing (ControlMaster
626   option in OpenSSH), the emacs interface can be quite responsive this
627   way.
628
629 General bug fixes
630 -----------------
631 Fix "notmuch search" to print nothing when nothing matches
632
633   The 0.4 release had a bug in which:
634
635         notmuch search <expression-with-no-matches>
636
637   would produce a single blank line of output, (where previous
638   versions would produce no output. This fix also causes a change in
639   the --format=json output, (which would previously produce "[]" and
640   now produces nothing).
641
642 Emacs interface improvements
643 ----------------------------
644 Fix to allow pipe ('|') command to work when using notmuch over ssh
645
646 Fix count of lines in hidden signatures.
647
648 Omit repeated subject lines in (collapsed) thread display.
649
650 Display current thread subject in a header line.
651
652 Provide a "c i" binding to copy a thread ID from the search view.
653
654 Allow for notmuch-fcc-dirs to have a value of nil.
655
656   Also, the more complex form of notmuch-fcc-dirs now has a slightly
657   different format. It no longer has a special first-element, fallback
658   string. Instead it's now a list of cons cells where the car of each
659   cell is a regular expression to be matched against the sender
660   address, and the cdr is the name of a folder to use for an FCC. So
661   the old fallback behavior can be achieved by including a final cell
662   of (".*" . "default-fcc-folder").
663
664 Vim interface improvements
665 --------------------------
666 Felipe Contreras provided a number of updates for the vim interface.
667
668   These include optimizations, support for newer versions of vim, fixed
669   support for sending mail on modern systems, new commands, and
670   various cleanups.
671
672 New bindings
673 ------------
674 Added initial ruby bindings in bindings/ruby
675
676 Notmuch 0.4 (2010-11-01)
677 ========================
678 New command-line features
679 -------------------------
680 notmuch search --output=(summary|threads|messages|tags|files)
681
682   This new option allows for particular items to be returned from
683   notmuch searches. The "summary" option is the default and behaves
684   just as "notmuch search" has historically behaved.
685
686   The new option values allow for thread IDs, message IDs, lists of
687   tags, and lists of filenames to be returned from searches. It is
688   expected that this new option will be very useful in shell
689   scripts. For example:
690
691         for file in $(notmuch search --output=files <search-terms>); do
692                 <operations-on> "$file"
693         done
694
695 notmuch show --format=mbox <search-specification>
696
697   This new option allows for the messages matching a search
698   specification to be presented as an mbox. Specifically the "mboxrd"
699   format is used which allows for reversible quoting of lines
700   beginning with "From ". A reader should remove a single '>' from the
701   beginning of all lines beginning with one or more '>' characters
702   followed by the 5 characters "From ".
703
704 notmuch config [get|set] <section>.<item> [value ...]
705
706   The new top-level "config" command allows for any value in the
707   notmuch configuration file to be queried or set to a new value. Both
708   single-valued and multi-valued items are supported, as our any
709   custom items stored in the configuration file.
710
711 Avoid setting Bcc header in "notmuch reply"
712
713   We decided that this was a bit heavy-handed as the actual mail
714   user-agent should be responsible for setting any Bcc option. Also,
715   see below for the notmuch/emacs user-agent now setting an Fcc by
716   default rather than Bcc.
717
718 New library features
719 --------------------
720 Add notmuch_query_get_query_string and notmuch_query_get_sort
721
722   These are simply functions for querying properties of a
723   notmuch_query_t object.
724
725 New emacs features
726 ------------------
727 Enable Fcc of all sent messages by default (to "sent" directory)
728
729   All messages sent from the emacs interface will now be saved to the
730   notmuch mail store where they will be incorporated to the database
731   by the next "notmuch new". By default, messages are saved to the
732   "sent" directory at the top-level of the mail store. This directory
733   can be customized by means of the "Notmuch Fcc Dirs" option in the
734   notmuch customize interface.
735
736 Ability to all open messages in a thread to a pipe
737
738   Historically, the '|' keybinding allows for piping a single message
739   to an external command. Now, by prefixing this key with a prefix
740   argument, (for example, by pressing "Control-U |"), all open
741   messages in the current thread will be sent to the external command.
742
743 Optional support for detecting inline patches
744
745   This hook is disabled by default but can be enabled with a checkbox
746   under "Notmuch Show Insert Text/Plain Hook" in the notmuch customize
747   interface. It allows for inline patches to be detected and treated
748   as if they were attachments, (with context-sensitive highlighting).
749
750 Automatically tag messages as "replied" when sending a reply
751
752   Messages replied to within the emacs interface will now be tagged as
753   "replied". This feature can easily be customized to add or remove
754   other tags as well. For example, a user might use a tag of
755   "needs-reply" and can configure this feature to automatically remove
756   that tag when replying. See "Notmuch Message Mark Replied" in the
757   notmuch customize interface.
758
759 Allow search-result color specifications to overlay each other
760
761   For example, one tag can specify the background color of matching
762   lines, while another can specify the foreground. With this change,
763   both settings will now be visible simultaneously, (which was not the
764   case in previous releases). See "Notmuch Search Line Faces" in the
765   notmuch customize interface.
766
767 Make hidden author names still available for incremental search.
768
769   When there is insufficient space to display all authors of a thread
770   in search results, the names of hidden authors are now still made
771   available to emacs' incremental search commands. As the user
772   searches, matching lines will temporarily expand to show the hidden
773   names.
774
775 New binding of Control-TAB (works like TAB in reverse)
776
777   Many notmuch nodes already use TAB to navigate forward through
778   various items allowing actions, (message headers, email attachments,
779   etc.). The new Control-TAB binding operates similarly but in the
780   opposite direction.
781
782 New build-system features
783 -------------------------
784 Various portability fixes have been applied
785
786   These include fixes for build failures on at least Solaris, FreeBSD,
787   and Fedora systems. We're hopeful that the notmuch code base is now
788   more portable than ever before.
789
790 Arrange for libnotmuch to be found automatically after make install
791
792   The notmuch build system is now careful to help the user avoid
793   errors of the form "libnotmuch.so could not be found" immediately
794   after installing. This support takes two forms:
795
796         1. If the library is installed to a system directory,
797            (configured in /etc/ld.so.conf), then "make install" will
798            automatically run ldconfig.
799
800         2. If the library is installed to a non-system directory, the
801            build system adds a DR_RUNPATH entry to the final binary
802            pointing to the directory to which the library is installed.
803
804   When this support works, the user should be able to run notmuch
805   immediately after "make install", without any errors trying to find
806   the notmuch library, and without having to manually set environment
807   variables such as LD_LIBRARY_PATH.
808
809 Check compiler/linker options before using them
810
811   The configure script now carefully checks that any desired
812   compilation options, (whether for enabling compiler warnings, or for
813   embedding rpath, etc.), are supported. Only supported options are
814   used in the resulting Makefile.
815
816 New test-suite features
817 -----------------------
818 New modularization of test suite.
819
820   Thanks to a gracious relicensing of the test-suite infrastructure
821   from the git project, notmuch now has a modular test suite. This
822   provides the ability to run individual sections of the test suite
823   rather than the whole things. It also provides better summary of
824   test results, with support for tests that are expected to fail
825   (BROKEN and FIXED) in addition to PASS and FAIL. Finally, it makes
826   it easy to run the test suite within valgrind (pass --valgrind to
827   notmuch-test or to any sub-script) which has been very useful.
828
829 New testing of emacs interface.
830
831   The test suite has been augmented to allow automated testing of the
832   emacs interfaces. So far, this includes basic searches, display of
833   threads, and tag manipulation. This also includes a test that a new
834   message can successfully be sent out through a (dummy) SMTP server
835   and that said message is successfully integrated into the notmuch
836   database via the FCC setting.
837
838 General bug fixes
839 -----------------
840 Fix potential corruption of database when "notmuch new " is interrupted.
841
842   Previously, an interruption of "notmuch new" would (rarely) result
843   in a corrupt database. The corruption would manifest itself by a
844   persistent error of the form:
845
846         document ID of 1234 has no thread ID
847
848   The message-adding code has been carefully audited and reworked to
849   avoid this sort of corruption regardless of when it is interrupted.
850
851 Fix failure with extremely long message ID headers.
852
853   Previously, a message with an extremely long message ID, (say, more
854   than 300 characters), would fail to be added to notmuch, (triggering
855   Xapian exceptions). This has now been fixed.
856
857 Fix for messages with "charset=unknown-8bit"
858
859   Previously, messages with this charset would cause notmuch to emit a
860   GMime warning, (which would then trip up emacs or other interfaces
861   parsing the notmuch results).
862
863 Fix notmuch_query_search_threads function to return NULL on any exception
864
865 Fix "notmuch search" to return non-zero if notmuch_query_search_threads fails
866
867   Previously, this command could confusingly report a Xapian
868   exception, yet still return an error code of 0. It now correctly
869   returns a failing error code of 1 in this case.
870
871 Emacs bug fixes
872 ---------------
873 Fix to handle a message with a subject containing, for example "[1234]"
874
875   Previously, a message subject containing a sequence of digits within
876   square brackets would cause the emacs interface to mis-parse the
877   output of "notmuch search". This would result in the message being
878   mis-displayed and prevent the user from manipulating the message in
879   the emacs interface.
880
881 Fix to correctly handle message IDs containing ".."
882
883   The emacs interface now properly quotes message IDs to avoid a
884   Xapian bug in which the ".." within a message ID would be
885   misinterpreted as a numeric range specification.
886
887 Python-binding fixes
888 --------------------
889 The python bindings for notmuch have been updated to work with python3.
890
891 Debian-specific fixes
892 ---------------------
893 Fix emacs initialization so "M-x notmuch" works for users by default.
894
895   Now, a new Debian user can immediately run "emacs -f notmuch" after
896   "apt-get install notmuch". Previously, the user would have had to
897   edit the ~/.emacs file to add "(require 'notmuch)" before this would
898   work.
899
900 Notmuch 0.3.1 (2010-04-27)
901 ==========================
902 General bug fixes
903 -----------------
904 Fix an infinite loop in "notmuch reply"
905
906   This bug could be triggered by replying to a message where the
907   user's primary email address did not appear in the To: header and
908   the user had not configured any secondary email addresses. The bug
909   was a simple re-use of the same iterator variable in nested loops.
910
911 Fix a potential SEGV in "notmuch search"
912
913   This bug could be triggered by an author name ending in a ','.
914   Admittedly - that's almost certainly a spam email, but we never
915   want notmuch to crash.
916
917 Emacs bug fixes
918 ---------------
919 Fix calculations for line wrapping in the primary "notmuch" view.
920
921 Fix Fcc support to prompt to create a directory if the specified Fcc
922 directory does not exist.
923
924 Build fix
925 ---------
926 Fix build on OpenSolaris (at least) due to missing 'extern "C"' block.
927
928   Without this, the C++ sources could not find strcasestr and the
929   final linking of notmuch would fail.
930
931 Notmuch 0.3 (2010-04-27)
932 ========================
933 New command-line features
934 -------------------------
935 User-configurable tags for new messages
936
937   A new "new.tags" option is available in the configuration file to
938   determine which tags are applied to new messages. Run "notmuch
939   setup" to generate new documentation within ~/.notmuch-config on how
940   to specify this value.
941
942 Threads search results named based on subjects that match search
943
944   This means that when new mails arrived to a thread you've previously
945   read, and the new mails have a new subject, you will see that
946   subject in the search results rather than the old subject.
947
948 Faster operation of "notmuch tag" (avoid unneeded sorting)
949
950   Since the user just wants to tag all matching messages, we can make
951   things perform a bit faster by avoiding the sort.
952
953 Even Better guessing of From: header for "notmuch reply"
954
955   Notmuch now looks at a number of headers when trying to figure out
956   the best From: header to use in a reply. This is helpful if you have
957   several configured email addresses, and you also subscribe to various
958   mailing lists with different addresses, (so that mails you are
959   replying to won't always include your subscribed address in the To:
960   header).
961
962 Indication of author names that match a search
963
964   When notmuch displays threads as the result of a search, it now
965   lists the authors that match the search before listing the other
966   authors in the thread. It inserts a pipe '|' symbol between the last
967   matching and first non-matching author. This is especially useful in
968   a search that includes tag:unread. Now the authors of the unread
969   messages in the thread are listed first.
970
971 New: Python bindings
972 --------------------
973 Sebastian Spaeth has contributed his python bindings for the notmuch
974 library to the central repository. These bindings were previously
975 known as "cnotmuch" within python but have now been renamed to be
976 accessible with a simple, and more official-looking "import notmuch".
977
978 The bindings have already proven very useful as people proficient in
979 python have been able to easily develop programs to do notmuch-based
980 searches for email-address completion, maildir-flag synchronization,
981 and other tasks.
982
983 These bindings are available within the bindings/python directory, but
984 are not yet integrated into the top-level Makefiles, nor the top-level
985 package-building scripts. Improvements are welcome.
986
987 Emacs interface improvements
988 ----------------------------
989 An entirely new initial view for notmuch, (friendly yet powerful)
990
991   Some of us call the new view "notmuch hello" but you can get at it
992   by simply calling "emacs -f notmuch". The new view provides a search
993   bar where new searches can be performed. It also displays a list of
994   recent searches, along with a button to save any of these, giving it
995   a new name as a "saved search". Many people find these "saved
996   searches" one of the most convenient ways of organizing their mail,
997   (providing all of the features of "folders" in other mail clients,
998   but without any of the disadvantages).
999
1000   Finally, this view can also optionally display all of the tags that
1001   exist in the database, along with a count for each tag, and a custom
1002   search of messages with that tag that's simply a click (or keypress)
1003   away.
1004
1005   Note: For users that liked the original mode of "emacs -f notmuch"
1006         immediately displaying a particular search result, we
1007         recommend instead running something like:
1008
1009                 emacs --eval '(notmuch search "tag:inbox" t)'
1010
1011         The "t" means to sort the messages in an "oldest first" order,
1012         (as notmuch would do previously by default). You can also
1013         leave that off to have your search results in "newest first"
1014         order.
1015
1016 Full-featured "customize" support for configuring notmuch
1017
1018   Notmuch now plugs in well to the emacs "customize" mode to make it
1019   much simpler to find things about the notmuch interface that can be
1020   tweaked by the user.
1021
1022   You can get to this mode by starting at the main "Customize" menu in
1023   emacs, then browsing through "Applications", "Mail", and
1024   "Notmuch". Or you can go straight to "M-x customize-group"
1025   "notmuch".
1026
1027   Once you're at the customize screen, you'll see a list of documented
1028   options that can be manipulated along with checkboxes, drop-down
1029   selectors, and text-entry boxes for configuring the various
1030   settings.
1031
1032 Support for doing tab-completion of email addresses
1033
1034   This support currently relies on an external program,
1035   (notmuch-addresses), that is not yet shipped with notmuch
1036   itself. But multiple, suitable implementations of this program have
1037   already been written that generate address completions by doing
1038   notmuch searches of your email collection. For example, providing
1039   first those addresses that you have composed messages to in the
1040   past, etc.
1041
1042   One such program (implemented in python with the python bindings to
1043   notmuch) is available via:
1044
1045         git clone  http://jkr.acm.jhu.edu/git/notmuch_addresses.git
1046
1047   Install that program as notmuch-addresses on your PATH, and then
1048   hitting TAB on a partial email address or name within the To: or Cc:
1049   line of an email message will provide matching completions.
1050
1051 Support for file-based (Fcc) delivery of sent messages to mail store
1052
1053   This isn't yet enabled by default. To enable this, one will have to
1054   set the "Notmuch Fcc Dirs" setting within the notmuch customize
1055   screen, (see its documentation there for details). We anticipate
1056   making this automatic in a future release.
1057
1058 New 'G' key binding to trigger mail refresh (G == "Get new mail")
1059
1060   The 'G' key works wherever '=' works. Before refreshing the screen
1061   it calls an external program that can be used to poll email servers,
1062   run notmuch new and setup specific tags for the new emails. The
1063   script to be called should be configured with the "Notmuch Poll
1064   Script" setting in the customize interface. This script will
1065   typically invoke "notmuch new" and then perhaps several "notmuch
1066   tag" commands.
1067
1068 Implement emacs message display with the JSON output from notmuch.
1069
1070   This is much more robust than the previous implementation, (where
1071   some HTML mails and mail quoting the notmuch code with the delimiter
1072   characters in it would cause the parser to fall over).
1073
1074 Better handling of HTML messages and MIME attachments (inline images!)
1075
1076   Allow for any MIME parts that emacs can display to be displayed
1077   inline. This includes inline viewing of image attachments, (provided
1078   the window is large enough to fit the image at its natural size).
1079
1080   Much more robust handling of HTML messages. Currently both text/plain
1081   and text/html alternates will be rendered next to each other. In a
1082   future release, users will be able to decide to see only one or the
1083   other representation.
1084
1085   Each attachment now has its own button so that attachments can be
1086   saved individually (the 'w' key is still available to save all
1087   attachments).
1088
1089 Customizable support for tidying of text/plain message content
1090
1091   Many new functions are available for tidying up message
1092   content. These include options such as wrapping long lines,
1093   compressing duplicate blank lines, etc.
1094
1095   Most of these are disabled by default, but can easily be enabled by
1096   clicking the available check boxes under the "Notmuch Show Insert
1097   Text/Plain Hook" within the notmuch customize screen.
1098
1099 New support for searchable citations (even when hidden)
1100
1101   When portions of overly-long citations are hidden, the contents of
1102   these citations will still be available for emacs' standard
1103   "incremental search" functions. When the search matches any portion
1104   of a hidden citation, the citation will become visible temporarily
1105   to display the search result.
1106
1107 More flexible handling of header visibility
1108
1109   As an answer to complaints from many users, the To, Cc, and Date
1110   headers of messages are no longer hidden by default. For those users
1111   that liked that these were hidden, a new "Notmuch Messages Headers
1112   Visible" option in the customize interface can be set to nil. The
1113   visibility of headers can still be toggled on a per-message basis
1114   with the 'h' keybinding.
1115
1116   For users that don't want to see some subset of those headers, the
1117   new "Notmuch Message Headers" variable can be customized to list
1118   only those headers that should be present in the display of a message.
1119
1120 The Return key now toggles message visibility anywhere
1121
1122   Previously this worked only on the first summary-line of a message.
1123
1124 Customizable formatting of search results
1125
1126   The user can easily customize the order, width, and formatting of
1127   the various fields in a "notmuch search" buffer. See the "Notmuch
1128   Search Result Format" section of the customize interface.
1129
1130 Generate nicer names for search buffers when using a saved search.
1131
1132 Add a notmuch User-Agent header when sending mail from notmuch/emacs.
1133
1134 New keybinding (M-Ret) to open all collapsed messages in a thread.
1135
1136 New library feature
1137 -------------------
1138 Provide a new NOTMUCH_SORT_UNSORTED value for queries
1139
1140   This can be somewhat faster when sorting simply isn't desired. For
1141   example when collecting a set of messages that will all be
1142   manipulated identically, (adding a tag, removing a tag, deleting the
1143   messages), then there's no advantage to sorting the messages by
1144   date.
1145
1146 Build fixes
1147 -----------
1148 Fix to compile against GMime 2.6
1149
1150   Previously notmuch insisted on being able to find GMime 2.4, (even
1151   though GMime 2.6 would have worked all along).
1152
1153 Fix configure script to accept (and ignore) various standard options.
1154
1155   For example, those that the Gentoo build scripts expect configure to
1156   accept are now all accepted.
1157
1158 Test suite
1159 ----------
1160 A large number of new tests for the many new features.
1161
1162 Better display of output from failed tests.
1163
1164   Now shows failures with diff rather than forcing the user to gaze at
1165   complete actual and expected output looking for deviation.
1166
1167 Notmuch 0.2 (2010-04-16)
1168 ========================
1169 This is the second release of the notmuch mail system, with actual
1170 detailed release notes this time!
1171
1172 This release consists of a number of minor new features that make
1173 notmuch more pleasant to use, and a few fairly major bug fixes.
1174
1175 We didn't quite hit our release target of "about a week" from the 0.1
1176 release, (0.2 is happening 11 days after 0.1), but we hope to do
1177 better for next week. Look forward to some major features coming to
1178 notmuch in subsequent releases.
1179
1180 -Carl
1181
1182 General features
1183 ----------------
1184 Better guessing of From: header.
1185
1186   Notmuch now tries harder to guess which configured address should be
1187   used as the From: line in a "notmuch reply". It will examine the
1188   Received: headers if it fails to find any configured address in To:
1189   or Cc:. This allows it to often choose the correct address even when
1190   replying to a message sent to a mailing list, and not directly to a
1191   configured address.
1192
1193 Make "notmuch count" with no arguments count all messages
1194
1195   Previously, it was hard to construct a search term that was
1196   guaranteed to match all messages.
1197
1198 Provide a new special-case search term of "*" to match all messages.
1199
1200   This can be used in any command accepting a search term, such as
1201   "notmuch search '*'". Note that you'll want to take care that the
1202   shell doesn't expand * against the current files. And note that the
1203   support for "*" is a special case. It's only meaningful as a single
1204   search term and loses its special meaning when combined with any
1205   other search terms.
1206
1207 Automatically detect thread connections even when a parent message is
1208 missing.
1209
1210   Previously, if two or more message were received with a common
1211   parent, but that parent was not received, then these messages would
1212   not be recognized as belonging to the same thread. This is now fixed
1213   so that such messages are properly connected in a thread.
1214
1215 General bug fixes
1216 -----------------
1217 Fix potential data loss in "notmuch new" with SIGINT
1218
1219   One code path in "notmuch new" was not properly handling
1220   SIGINT. Previously, this could lead to messages being removed from
1221   the database (and their tags being lost) if the user pressed
1222   Control-C while "notmuch new" was working.
1223
1224 Fix segfault when a message includes a MIME part that is empty.
1225
1226 Fix handling of non-ASCII characters with --format=json
1227
1228   Previously, characters outside the range of 7-bit ASCII were
1229   silently dropped from the JSON output. This led to corrupted display
1230   of utf-8 content in the upcoming notmuch web-based frontends.
1231
1232 Fix headers to be properly decoded in "notmuch reply"
1233
1234   Previously, the user might see:
1235
1236         Subject: Re: =?iso-8859-2?q?Rozlu=E8ka?=
1237
1238   rather than:
1239
1240         Subject: Re: Rozlučka
1241
1242   The former text is properly encoded to be RFC-compliant SMTP, will
1243   be sent correctly, and will be properly decoded by the
1244   recipient. But the user trying to edit the reply would likely be
1245   unable to read or edit that field in its encoded form.
1246
1247 Emacs client features
1248 ---------------------
1249 Show the last few lines of citations as well as the first few lines.
1250
1251   It's often the case that the last sentence of a citation is what is
1252   being replied to directly, so the last few lines are often much more
1253   important. The number of lines shown at the beginning and end of any
1254   citation can be configured, (notmuch-show-citation-lines-prefix and
1255   notmuch-show-citation-lines-suffix).
1256
1257 The '+' and '-' commands in the search view can now add and remove
1258 tags by region.
1259
1260   Selective bulk tagging is now possible by selecting a region of
1261   threads and then using either the '+' or '-' keybindings. Bulk
1262   tagging is still available for all threads matching the current
1263   search with the '*' binding.
1264
1265 More meaningful buffer names for thread-view buffers.
1266
1267   Notmuch now uses the Subject of the thread as the buffer
1268   name. Previously it was using the thread ID, which is a meaningless
1269   number to the user.
1270
1271 Provide for customized colors of threads in search view based on tags.
1272
1273   See the documentation of notmuch-search-line-faces, (or us "M-x
1274   customize" and browse to the "notmuch" group within "Applications"
1275   and "Mail"), for details on how to configure this colorization.
1276
1277 Build-system features
1278 ---------------------
1279 Add support to properly build libnotmuch on Darwin systems (OS X).
1280
1281 Add support to configure for many standard options.
1282
1283   We include actual support for:
1284
1285         --includedir --mandir --sysconfdir
1286
1287   And accept and silently ignore several more:
1288
1289         --build --infodir --libexecdir --localstatedir
1290         --disable-maintainer-mode --disable-dependency-tracking
1291
1292 Install emacs client in "make install" rather than requiring a
1293 separate "make install-emacs".
1294
1295 Automatically compute versions numbers between releases.
1296
1297   This support uses the git-describe notation, so a version such as
1298   0.1-144-g43cbbfc indicates a version that is 144 commits since the
1299   0.1 release and is available as git commit "43cbbfc".
1300
1301 Add a new "make test" target to run the test suite and actually verify
1302 its results.
1303
1304 Notmuch 0.1 (2010-04-05)
1305 ========================
1306 This is the first release of the notmuch mail system.
1307
1308 It includes the libnotmuch library, the notmuch command-line
1309 interface, and an emacs-based interface to notmuch.
1310
1311 Note: Notmuch will work best with Xapian 1.0.18 (or later) or Xapian
1312 1.1.4 (or later). Previous versions of Xapian (whether 1.0 or 1.1) had
1313 a performance bug that made notmuch very slow when modifying
1314 tags. This would cause distracting pauses when reading mail while
1315 notmuch would wait for Xapian when removing the "inbox" and "unread"
1316 tags from messages in a thread.
1317