Increment notmuch version to 0.4.
[notmuch] / NEWS
1 Notmuch 0.4 (2010-11-01)
2 ========================
3 New command-line features
4 -------------------------
5 notmuch search --output=(summary|threads|messages|tags|files)
6
7   This new option allows for particular items to be returned from
8   notmuch searches. The "summary" option is the default and behaves
9   just as "notmuch search" has historically behaved.
10
11   The new option values allow for thread IDs, message IDs, lists of
12   tags, and lists of filenames to be returned from searches. It is
13   expected that this new option will be very useful in shell
14   scripts. For example:
15
16         for file in $(notmuch search --output=files <search-terms>); do
17                 <operations-on> "$file"
18         done
19
20 notmuch show --format=mbox <search-specification>
21
22   This new option allows for the messages matching a search
23   specification to be presented as an mbox. Specifically the "mboxrd"
24   format is used which allows for reversible quoting of lines
25   beginning with "From ". A reader should remove a single '>' from the
26   beginning of all lines beginning with one or more '>' characters
27   followed by the 5 characters "From ".
28
29 notmuch config [get|set] <section>.<item> [value ...]
30
31   The new top-level "config" command allows for any value in the
32   notmuch configuration file to be queried or set to a new value. Both
33   single-valued and multi-valued items are supported, as our any
34   custom items stored in the configuration file.
35
36 Avoid setting Bcc header in "notmuch reply"
37
38   We decided that this was a bit heavy-handed as the actual mail
39   user-agent should be responsible for setting any Bcc option. Also,
40   see below for the notmuch/emacs user-agent now setting an Fcc by
41   default rather than Bcc.
42
43 New library features
44 --------------------
45 Add notmuch_query_get_query_string and notmuch_query_get_sort
46
47   These are simply functions for querying properties of a
48   notmuch_query_t object.
49
50 New emacs features
51 ------------------
52 Enable Fcc of all sent messages by default (to "sent" directory)
53
54   All messages sent from the emacs interface will now be saved to the
55   notmuch mail store where they will be incorporated to the database
56   by the next "notmuch new". By default, messages are saved to the
57   "sent" directory at the top-level of the mail store. This directory
58   can be customized by means of the "Notmuch Fcc Dirs" option in the
59   notmuch customize interface.
60
61 Ability to all open messages in a thread to a pipe
62
63   Historically, the '|' keybinding allows for piping a single message
64   to an external command. Now, by prefixing this key with a prefix
65   argument, (for example, by pressing "Control-U |"), all open
66   messages in the current thread will be sent to the external command.
67
68 Optional support for detecting inline patches
69
70   This hook is disabled by default but can be enabled with a checkbox
71   under "Notmuch Show Insert Text/Plain Hook" in the notmuch customize
72   interface. It allows for inline patches to be detected and treated
73   as if they were attachments, (with context-sensitive highlighting).
74
75 Automatically tag messages as "replied" when sending a reply
76
77   Messages replied to within the emacs interface will now be tagged as
78   "replied". This feature can easily be customized to add or remove
79   other tags as well. For example, a user might use a tag of
80   "needs-reply" and can configure this feature to automatically remove
81   that tag when replying. See "Notmuch Message Mark Replied" in the
82   notmuch customize interface.
83
84 Allow search-result color specifications to overlay each other
85
86   For example, one tag can specify the background color of matching
87   lines, while another can specify the foreground. With this change,
88   both settings will now be visible simultaneously, (which was not the
89   case in previous releases). See "Notmuch Search Line Faces" in the
90   notmuch customize interface.
91
92 Make hidden author names still available for incremental search.
93
94   When there is insufficient space to display all authors of a thread
95   in search results, the names of hidden authors are now still made
96   available to emacs' incremental search commands. As the user
97   searches, matching lines will temporarily expand to show the hidden
98   names.
99
100 New binding of Control-TAB (works like TAB in reverse)
101
102   Many notmuch nodes already use TAB to navigate forward through
103   various items allowing actions, (message headers, email attachments,
104   etc.). The new Control-TAB binding operates similarly but in the
105   opposite direction.
106
107 New build-system features
108 -------------------------
109 Various portability fixes have been applied
110
111   These include fixes for build failures on at least Solaris, FreeBSD,
112   and Fedora systems. We're hopeful that the notmuch code base is now
113   more portable than ever before.
114
115 Arrange for libnotmuch to be found automatically after make install
116
117   The notmuch build system is now careful to help the user avoid
118   errors of the form "libnotmuch.so could not be found" immediately
119   after installing. This support takes two forms:
120
121         1. If the library is installed to a system directory,
122            (configured in /etc/ld.so.conf), then "make install" will
123            automatically run ldconfig.
124
125         2. If the library is installed to a non-system directory, the
126            build system adds a DR_RUNPATH entry to the final binary
127            pointing to the directory to which the library is installed.
128
129   When this support works, the user should be able to run notmuch
130   immediately after "make install", without any errors trying to find
131   the notmuch library, and without having to manually set environment
132   variables such as LD_LIBRARY_PATH.
133
134 Check compiler/linker options before using them
135
136   The configure script now carefully checks that any desired
137   compilation options, (whether for enabling compiler warnings, or for
138   embedding rpath, etc.), are supported. Only supported options are
139   used in the resulting Makefile.
140
141 New test-suite features
142 -----------------------
143 New modularization of test suite.
144
145   Thanks to a gracious relicensing of the test-suite infrastructure
146   from the git project, notmuch now has a modular test suite. This
147   provides the ability to run individual sections of the test suite
148   rather than the whole things. It also provides better summary of
149   test results, with support for tests that are expected to fail
150   (BROKEN and FIXED) in addition to PASS and FAIL. Finally, it makes
151   it easy to run the test suite within valgrind (pass --valgrind to
152   notmuch-test or to any sub-script) which has been very useful.
153
154 New testing of emacs interface.
155
156   The test suite has been augmented to allow automated testing of the
157   emacs interfaces. So far, this includes basic searches, display of
158   threads, and tag manipulation. This also includes a test that a new
159   message can successfully be sent out through a (dummy) SMTP server
160   and that said message is successfully integrated into the notmuch
161   database via the FCC setting.
162
163 General bug fixes
164 -----------------
165 Fix potential corruption of database when "notmuch new " is interrupted.
166
167   Previously, an interruption of "notmuch new" would (rarely) result
168   in a corrupt database. The corruption would manifest itself by a
169   persistent error of the form:
170
171         document ID of 1234 has no thread ID
172
173   The message-adding code has been carefully audited and reworked to
174   avoid this sort of corruption regardless of when it is interrupted.
175
176 Fix failure with extremely long message ID headers.
177
178   Previously, a message with an extremely long message ID, (say, more
179   than 300 characters), would fail to be added to notmuch, (triggering
180   Xapian exceptions). This has now been fixed.
181
182 Fix for messages with "charset=unknown-8bit"
183
184   Previously, messages with this charset would cause notmuch to emit a
185   GMime warning, (which would then trip up emacs or other interfaces
186   parsing the notmuch results).
187
188 Fix notmuch_query_search_threads function to return NULL on any exception
189
190 Fix "notmuch search" to return non-zero if notmuch_query_search_threads fails
191
192   Previously, this command could confusingly report a Xapian
193   exception, yet still return an error code of 0. It now correctly
194   returns a failing error code of 1 in this case.
195
196 Emacs bug fixes
197 ---------------
198 Fix to handle a message with a subject containing, for example "[1234]"
199
200   Previously, a message subject containing a sequence of digits within
201   square brackets would cause the emacs interface to mis-parse the
202   output of "notmuch search". This would result in the message being
203   mis-displayed and prevent the user from manipulating the message in
204   the emacs interface.
205
206 Fix to correctly handle message IDs containing ".."
207
208   The emacs interface now properly quotes message IDs to avoid a
209   Xapian bug in which the ".." within a message ID would be
210   misinterpreted as a numeric range specification.
211
212 Python-binding fixes
213 --------------------
214 The python bindings for notmuch have been updated to work with python3.
215
216 Debian-specific fixes
217 ---------------------
218 Fix emacs initialization so "M-x notmuch" works for users by default.
219
220   Now, a new Debian user can immediately run "emacs -f notmuch" after
221   "apt-get install notmuch". Previously, the user would have had to
222   edit the ~/.emacs file to add "(require 'notmuch)" before this would
223   work.
224
225 Notmuch 0.3.1 (2010-04-27)
226 ==========================
227 General bug fixes
228 -----------------
229 Fix an infinite loop in "notmuch reply"
230
231   This bug could be triggered by replying to a message where the
232   user's primary email address did not appear in the To: header and
233   the user had not configured any secondary email addresses. The bug
234   was a simple re-use of the same iterator variable in nested loops.
235
236 Fix a potential SEGV in "notmuch search"
237
238   This bug could be triggered by an author name ending in a ','.
239   Admittedly - that's almost certainly a spam email, but we never
240   want notmuch to crash.
241
242 Emacs bug fixes
243 ---------------
244 Fix calculations for line wrapping in the primary "notmuch" view.
245
246 Fix Fcc support to prompt to create a directory if the specified Fcc
247 directory does not exist.
248
249 Build fix
250 ---------
251 Fix build on OpenSolaris (at least) due to missing 'extern "C"' block.
252
253   Without this, the C++ sources could not find strcasestr and the
254   final linking of notmuch would fail.
255
256 Notmuch 0.3 (2010-04-27)
257 ========================
258 New command-line features
259 -------------------------
260 User-configurable tags for new messages
261
262   A new "new.tags" option is available in the configuration file to
263   determine which tags are applied to new messages. Run "notmuch
264   setup" to generate new documentation within ~/.notmuch-config on how
265   to specify this value.
266
267 Threads search results named based on subjects that match search
268
269   This means that when new mails arrived to a thread you've previously
270   read, and the new mails have a new subject, you will see that
271   subject in the search results rather than the old subject.
272
273 Faster operation of "notmuch tag" (avoid unneeded sorting)
274
275   Since the user just wants to tag all matching messages, we can make
276   things perform a bit faster by avoiding the sort.
277
278 Even Better guessing of From: header for "notmuch reply"
279
280   Notmuch now looks at a number of headers when trying to figure out
281   the best From: header to use in a reply. This is helpful if you have
282   several configured email addresses, and you also subscribe to various
283   mailing lists with different addresses, (so that mails you are
284   replying to won't always include your subscribed address in the To:
285   header).
286
287 Indication of author names that match a search
288
289   When notmuch displays threads as the result of a search, it now
290   lists the authors that match the search before listing the other
291   authors in the thread. It inserts a pipe '|' symbol between the last
292   matching and first non-matching author. This is especially useful in
293   a search that includes tag:unread. Now the authors of the unread
294   messages in the thread are listed first.
295
296 New: Python bindings
297 --------------------
298 Sebastian Spaeth has contributed his python bindings for the notmuch
299 library to the central repository. These bindings were previously
300 known as "cnotmuch" within python but have now been renamed to be
301 accessible with a simple, and more official-looking "import notmuch".
302
303 The bindings have already proven very useful as people proficient in
304 python have been able to easily develop programs to do notmuch-based
305 searches for email-address completion, maildir-flag synchronization,
306 and other tasks.
307
308 These bindings are available within the bindings/python directory, but
309 are not yet integrated into the top-level Makefiles, nor the top-level
310 package-building scripts. Improvements are welcome.
311
312 Emacs interface improvements
313 ----------------------------
314 An entirely new initial view for notmuch, (friendly yet powerful)
315
316   Some of us call the new view "notmuch hello" but you can get at it
317   by simply calling "emacs -f notmuch". The new view provides a search
318   bar where new searches can be performed. It also displays a list of
319   recent searches, along with a button to save any of these, giving it
320   a new name as a "saved search". Many people find these "saved
321   searches" one of the most convenient ways of organizing their mail,
322   (providing all of the features of "folders" in other mail clients,
323   but without any of the disadvantages).
324
325   Finally, this view can also optionally display all of the tags that
326   exist in the database, along with a count for each tag, and a custom
327   search of messages with that tag that's simply a click (or keypress)
328   away.
329
330   Note: For users that liked the original mode of "emacs -f notmuch"
331         immediately displaying a particular search result, we
332         recommend instead running something like:
333
334                 emacs --eval '(notmuch search "tag:inbox" t)'
335
336         The "t" means to sort the messages in an "oldest first" order,
337         (as notmuch would do previously by default). You can also
338         leave that off to have your search results in "newest first"
339         order.
340
341 Full-featured "customize" support for configuring notmuch
342
343   Notmuch now plugs in well to the emacs "customize" mode to make it
344   much simpler to find things about the notmuch interface that can be
345   tweaked by the user.
346
347   You can get to this mode by starting at the main "Customize" menu in
348   emacs, then browsing through "Applications", "Mail", and
349   "Notmuch". Or you can go straight to "M-x customize-group"
350   "notmuch".
351
352   Once you're at the customize screen, you'll see a list of documented
353   options that can be manipulated along with checkboxes, drop-down
354   selectors, and text-entry boxes for configuring the various
355   settings.
356
357 Support for doing tab-completion of email addresses
358
359   This support currently relies on an external program,
360   (notmuch-addresses), that is not yet shipped with notmuch
361   itself. But multiple, suitable implementations of this program have
362   already been written that generate address completions by doing
363   notmuch searches of your email collection. For example, providing
364   first those addresses that you have composed messages to in the
365   past, etc.
366
367   One such program (implemented in python with the python bindings to
368   notmuch) is available via:
369
370         git clone  http://jkr.acm.jhu.edu/git/notmuch_addresses.git
371
372   Install that program as notmuch-addresses on your PATH, and then
373   hitting TAB on a partial email address or name within the To: or Cc:
374   line of an email message will provide matching completions.
375
376 Support for file-based (Fcc) delivery of sent messages to mail store
377
378   This isn't yet enabled by default. To enable this, one will have to
379   set the "Notmuch Fcc Dirs" setting within the notmuch customize
380   screen, (see its documentation there for details). We anticipate
381   making this automatic in a future release.
382
383 New 'G' key binding to trigger mail refresh (G == "Get new mail")
384
385   The 'G' key works wherever '=' works. Before refreshing the screen
386   it calls an external program that can be used to poll email servers,
387   run notmuch new and setup specific tags for the new emails. The
388   script to be called should be configured with the "Notmuch Poll
389   Script" setting in the customize interface. This script will
390   typically invoke "notmuch new" and then perhaps several "notmuch
391   tag" commands.
392
393 Implement emacs message display with the JSON output from notmuch.
394
395   This is much more robust than the previous implementation, (where
396   some HTML mails and mail quoting the notmuch code with the delimiter
397   characters in it would cause the parser to fall over).
398
399 Better handling of HTML messages and MIME attachments (inline images!)
400
401   Allow for any MIME parts that emacs can display to be displayed
402   inline. This includes inline viewing of image attachments, (provided
403   the window is large enough to fit the image at its natural size).
404
405   Much more robust handling of HTML messages. Currently both text/plain
406   and text/html alternates will be rendered next to each other. In a
407   future release, users will be able to decide to see only one or the
408   other representation.
409
410   Each attachment now has its own button so that attachments can be
411   saved individually (the 'w' key is still available to save all
412   attachments).
413
414 Customizable support for tidying of text/plain message content
415
416   Many new functions are available for tidying up message
417   content. These include options such as wrapping long lines,
418   compressing duplicate blank lines, etc.
419
420   Most of these are disabled by default, but can easily be enabled by
421   clicking the available check boxes under the "Notmuch Show Insert
422   Text/Plain Hook" within the notmuch customize screen.
423
424 New support for searchable citations (even when hidden)
425
426   When portions of overly-long citations are hidden, the contents of
427   these citations will still be available for emacs' standard
428   "incremental search" functions. When the search matches any portion
429   of a hidden citation, the citation will become visible temporarily
430   to display the search result.
431
432 More flexible handling of header visibility
433
434   As an answer to complaints from many users, the To, Cc, and Date
435   headers of messages are no longer hidden by default. For those users
436   that liked that these were hidden, a new "Notmuch Messages Headers
437   Visible" option in the customize interface can be set to nil. The
438   visibility of headers can still be toggled on a per-message basis
439   with the 'h' keybinding.
440
441   For users that don't want to see some subset of those headers, the
442   new "Notmuch Message Headers" variable can be customized to list
443   only those headers that should be present in the display of a message.
444
445 The Return key now toggles message visibility anywhere
446
447   Previously this worked only on the first summary-line of a message.
448
449 Customizable formatting of search results
450
451   The user can easily customize the order, width, and formatting of
452   the various fields in a "notmuch search" buffer. See the "Notmuch
453   Search Result Format" section of the customize interface.
454
455 Generate nicer names for search buffers when using a saved search.
456
457 Add a notmuch User-Agent header when sending mail from notmuch/emacs.
458
459 New keybinding (M-Ret) to open all collapsed messages in a thread.
460
461 New library feature
462 -------------------
463 Provide a new NOTMUCH_SORT_UNSORTED value for queries
464
465   This can be somewhat faster when sorting simply isn't desired. For
466   example when collecting a set of messages that will all be
467   manipulated identically, (adding a tag, removing a tag, deleting the
468   messages), then there's no advantage to sorting the messages by
469   date.
470
471 Build fixes
472 -----------
473 Fix to compile against GMime 2.6
474
475   Previously notmuch insisted on being able to find GMime 2.4, (even
476   though GMime 2.6 would have worked all along).
477
478 Fix configure script to accept (and ignore) various standard options.
479
480   For example, those that the gentoo build scripts expect configure to
481   accept are now all accepted.
482
483 Test suite
484 ----------
485 A large number of new tests for the many new features.
486
487 Better display of output from failed tests.
488
489   Now shows failures with diff rather than forcing the user to gaze at
490   complete actual and expected output looking for deviation.
491
492 Notmuch 0.2 (2010-04-16)
493 ========================
494 This is the second release of the notmuch mail system, with actual
495 detailed release notes this time!
496
497 This release consists of a number of minor new features that make
498 notmuch more pleasant to use, and a few fairly major bug fixes.
499
500 We didn't quite hit our release target of "about a week" from the 0.1
501 release, (0.2 is happening 11 days after 0.1), but we hope to do
502 better for next week. Look forward to some major features coming to
503 notmuch in subsequent releases.
504
505 -Carl
506
507 General features
508 ----------------
509 Better guessing of From: header.
510
511   Notmuch now tries harder to guess which configured address should be
512   used as the From: line in a "notmuch reply". It will examine the
513   Received: headers if it fails to find any configured address in To:
514   or Cc:. This allows it to often choose the correct address even when
515   replying to a message sent to a mailing list, and not directly to a
516   configured address.
517
518 Make "notmuch count" with no arguments count all messages
519
520   Previously, it was hard to construct a search term that was
521   guaranteed to match all messages.
522
523 Provide a new special-case search term of "*" to match all messages.
524
525   This can be used in any command accepting a search term, such as
526   "notmuch search '*'". Note that you'll want to take care that the
527   shell doesn't expand * against the current files. And note that the
528   support for "*" is a special case. It's only meaningful as a single
529   search term and loses its special meaning when combined with any
530   other search terms.
531
532 Automatically detect thread connections even when a parent message is
533 missing.
534
535   Previously, if two or more message were received with a common
536   parent, but that parent was not received, then these messages would
537   not be recognized as belonging to the same thread. This is now fixed
538   so that such messages are properly connected in a thread.
539
540 General bug fixes
541 -----------------
542 Fix potential data loss in "notmuch new" with SIGINT
543
544   One code path in "notmuch new" was not properly handling
545   SIGINT. Previously, this could lead to messages being removed from
546   the database (and their tags being lost) if the user pressed
547   Control-C while "notmuch new" was working.
548
549 Fix segfault when a message includes a MIME part that is empty.
550
551 Fix handling of non-ASCII characters with --format=json
552
553   Previously, characters outside the range of 7-bit ASCII were
554   silently dropped from the JSON output. This led to corrupted display
555   of utf-8 content in the upcoming notmuch web-based frontends.
556
557 Fix headers to be properly decoded in "notmuch reply"
558
559   Previously, the user might see:
560
561         Subject: Re: =?iso-8859-2?q?Rozlu=E8ka?=
562
563   rather than:
564
565         Subject: Re: Rozlu─Źka
566
567   The former text is properly encoded to be RFC-compliant SMTP, will
568   be sent correctly, and will be properly decoded by the
569   recipient. But the user trying to edit the reply would likely be
570   unable to read or edit that field in its encoded form.
571
572 Emacs client features
573 ---------------------
574 Show the last few lines of citations as well as the first few lines.
575
576   It's often the case that the last sentence of a citation is what is
577   being replied to directly, so the last few lines are often much more
578   important. The number of lines shown at the beginning and end of any
579   citation can be configured, (notmuch-show-citation-lines-prefix and
580   notmuch-show-citation-lines-suffix).
581
582 The '+' and '-' commands in the search view can now add and remove
583 tags by region.
584
585   Selective bulk tagging is now possible by selecting a region of
586   threads and then using either the '+' or '-' keybindings. Bulk
587   tagging is still available for all threads matching the current
588   search with th '*' binding.
589
590 More meaningful buffer names for thread-view buffers.
591
592   Notmuch now uses the Subject of the thread as the buffer
593   name. Previously it was using the thread ID, which is a meaningless
594   number to the user.
595
596 Provide for customized colors of threads in search view based on tags.
597
598   See the documentation of notmuch-search-line-faces, (or us "M-x
599   customize" and browse to the "notmuch" group within "Applications"
600   and "Mail"), for details on how to configure this colorization.
601
602 Build-system features
603 ---------------------
604 Add support to properly build libnotmuch on Darwin systems (OS X).
605
606 Add support to configure for many standard options.
607
608   We include actual support for:
609
610         --includedir --mandir --sysconfdir
611
612   And accept and silently ignore several more:
613
614         --build --infodir --libexecdir --localstatedir
615         --disable-maintainer-mode --disable-dependency-tracking
616
617 Install emacs client in "make install" rather than requiring a
618 separate "make install-emacs".
619
620 Automatically compute versions numbers between releases.
621
622   This support uses the git-describe notation, so a version such as
623   0.1-144-g43cbbfc indicates a version that is 144 commits since the
624   0.1 release and is available as git commit "43cbbfc".
625
626 Add a new "make test" target to run the test suite and actually verify
627 its results.
628
629 Notmuch 0.1 (2010-04-05)
630 ========================
631 This is the first release of the notmuch mail system.
632
633 It includes the libnotmuch library, the notmuch command-line
634 interface, and an emacs-based interface to notmuch.
635
636 Note: Notmuch will work best with Xapian 1.0.18 (or later) or Xapian
637 1.1.4 (or later). Previous versions of Xapian (whether 1.0 or 1.1) had
638 a performance bug that made notmuch very slow when modifying
639 tags. This would cause distracting pauses when reading mail while
640 notmuch would wait for Xapian when removing the "inbox" and "unread"
641 tags from messages in a thread.