]> git.notmuchmail.org Git - notmuch/blobdiff - TODO
TODO: Add item for the build system to support a non-source-dir build
[notmuch] / TODO
diff --git a/TODO b/TODO
index 65d6c75ccea0f72e89d1128e173077d7fa76e081..a34d95fa7c5b844928fad7407e0dd6c9bc6b4e41 100644 (file)
--- a/TODO
+++ b/TODO
@@ -2,33 +2,26 @@ Fix the things that are causing the most pain to new users
 ----------------------------------------------------------
 1. A new import is tagging all messages as "inbox" -- total pain
 
-2. Allow an easy way to get tags from directory names (if the user has them)
-
-3. Make emacs fast for big search results (see "lazy searching" below)
-
-4. Fix Xapian defect #250 so tagging is fast.
-
 Emacs interface (notmuch.el)
 ----------------------------
-Make the keybindings help ('?') display the summary of each command's
-documentation, not the function name.
+Add notmuch-bcc and notmuch-cc for setting default Bcc and Cc values,
+(should affect the message-setup-hook).
 
-Add a global keybinding table for notmuch, and then view-specific
-tables that add to it.
-
-Add a command to archive all threads in a search view.
+Switch the notmuch-search view to use "notmuch search --format=json"
+to fix large classes of bugs regarding poorly-escaped output and lame
+regular expressions. (The most recently found, unfixed example is the
+sender's name containing ';' which causes emacs to drop a search
+result.) This may require removing the outer array from the current
+"notmuch search --format=json" results.
 
-Lazy searching: call "notmuch search" with --first and --max to fill
-just a screenful of results, and then fill in more as ther user pages
-through the buffer.
+Fix '*' to work by simply calling '+' or '-' on a region consisting of
+the entire buffer.
 
+Add a global keybinding table for notmuch, and then view-specific
+tables that add to it.
+       
 Add a '|' binding from the search view.
 
-Add a binding to run a search from notmuch-show-mode.
-
-When a thread has been entirely read, start out by closing all
-messages except those that matched the search terms.
-
 Add support for choosing from one of the user's configured email
 addresses for the From line.
 
@@ -39,17 +32,33 @@ current message/thread and make searches not return deleted messages
 by default, (unless the user asks explicitly for deleted messags in
 the search query).
 
+Add keybindings for next/previous thread.
+
 Add support to "mute" a thread (add a "muted" tag and then don't
 display threads in searches by default where any message of the thread
 has the "muted" tag).
 
-Portability
------------
-Fix configure script to test each compiler warning we want to use.
+Make '=' count from the end rather than from the beginning if more
+than half-way through the buffer.
+
+Fix to automatically wrap long headers (for RFC compliance) before
+sending. This should probably just be fixed in message-mode itself,
+(but perhaps we can have a notmuch-message-mode that layers this on
+top).
+
+Stop hiding the headers so much in the thread-view mode.
+
+Allow opening a message in thread-view mode by clicking on either
+line.
 
-Implement strndup locally (or call talloc_strndup instead).
+Automatically open a message when navigating to it with N or P.
 
-Implement getline locally, (look at gnulib).
+Change 'a' command in thread-view mode to only archive open messages.
+
+Add a binding to open all closed messages.
+
+Change the 'a'rchive command in the thread view to only archive open
+messages.
 
 Completion
 ----------
@@ -59,135 +68,213 @@ and *then* --max-threads), and also complete value for --sort=
 
 notmuch command-line tool
 -------------------------
-Teach "notmuch search" to return many different kinds of results. Some
-ideas:
+Add support to "notmuch search" and "notmuch show" to allow for
+listing of duplicate messages, (distinct filenames with the same
+Message-ID). I'm not sure what the option should be named. Perhaps
+--with-duplicates ?
+
+Add a -0 option to "notmuch search" so that one can safely deal with
+any filename with:
+
+       notmuch search --output=files -0 <terms> | xargs -0 <command>
+
+"notmuch setup" should use realpath() before replacing the
+configuration file. The ensures that the final target file of any
+intermediate symbolic links is what is actually replaced, (rather than
+any symbolic link).
+
+Replace "notmuch reply" with "notmuch compose --reply <search-terms>".
+This would enable a plain "notmuch compose" to be used to construct an
+initial message, (which would then have the properly configured name
+and email address in the From: line. We could also then easily support
+"notmuch compose --from <something>" to support getting at alternate
+email addresses.
+
+Fix the --format=json option to not imply --entire-thread.
 
-       notmuch search --for threads    # Default if no --for is given
-       notmuch search --for messages
-       notmuch search --for tags
-       notmuch search --for addresses
-       notmuch search --for terms
+Implement "notmuch search --exclude-threads=<search-terms>" to allow
+for excluding muted threads, (and any other negative, thread-based
+filtering that the user wants to do).
+
+Fix "notmuch show" so that the UI doesn't fail to show a thread that
+is visible in a search buffer, but happens to no longer match the
+current search. (Perhaps add a --matching=<secondary-search-terms>
+option (or similar) to "notmuch show".) For now, this is being worked
+around in the emacs interface by noticing that "notmuch show" returns
+nothing and re-rerunning the command without the extra arguments.
 
 Add a "--format" option to "notmuch search", (something printf-like
 for selecting what gets printed).
 
-Add a "--count-only" (or so?) option to "notmuch search" for returning
-the count of search results.
+Give "notmuch restore" some progress indicator.
 
-Give "notmuch restore" some progress indicator. Until we get the
-Xapian bugs fixed that are making this operation slow, we really need
-to let the user know that things are still moving.
+Fix "notmuch restore" to operate in a single pass much like "notmuch
+dump" does, rather than doing N searches into the database, each
+matching 1/N messages.
 
 Add a "-f <filename>" option to select an alternate configuration
 file.
 
-Fix notmuch.c to call add_timestamp/get_timestamp with path names
-relative to the database path. (Otherwise, moving the database to a
-new directory will result in notmuch creating new timestamp documents
-and leaving stale ones behind.)
+Allow configuration for filename patterns that should be ignored when
+indexing.
+
+Replace the "notmuch part --part=id" command with "notmuch show
+--part=id", (David Edmonson wants to rewrite some of "notmuch show" to
+provide more MIME-structure information in its output first).
 
-Ensure that "notmuch new" is sane if its first, giant indexing session
-gets interrupted, (that is, ensure that any results indexed so far are
-flushed).
+Replace the "notmuch search-tags" command with "notmuch search
+--output=tags".
 
-Fix notmuch.c to use a DIR prefix for directory timestamps, (the idea
-being that it can then add other non-directory timestamps such as for
-noting how far back in the past mail has been indexed, and whether it
-needs to re-tag messages based on a theoretical "auto-tags"
-configuration file).
+Fix to avoid this ugly message:
 
-Make "notmuch new" notice when a mail directory has gone more than a
-month without receiving new mail and use that to trigger the printing
-of the note that the user might want to mark the directory read-only.
+       (process:17197): gmime-CRITICAL **: g_mime_message_get_mime_part: assertion `GMIME_IS_MESSAGE (message)' failed
+       Warning: Not indexing empty mime part.
 
-Also make "notmuch new" optionally able to just mark those month-old
-directories read-only on its own. (Could conflict with low-volume
-lists such as announce lists if they are setup to deliver to their own
-maildirs.)
+  This probably means adding a test case to generate that message,
+  filing an upstream bug against GMime, and then silencing the
+  notmuch-generated portion of the warning (so that once GMime is
+  fixed, this is all silent).
 
-Allow configuration for filename patterns that should be ignored when
-indexing.
+Simplify notmuch-reply to simply print the headers (we have the
+original values) rather than calling GMime (which encodes) and adding
+the confusing gmime-filter-headers.c code (which decodes).
 
 notmuch library
 ---------------
+Add support for custom flag<->tag mappings. In the notmuch
+configuration file this could be
+
+       [maildir]
+       synchronize_flags = R:replied; D*:deleted; S:~unread;
+
+In the library interface this could be implemented with an array of
+structures to define the mapping (flag character, tag name,
+inverse-sense bit (~ above), and tag-when-any-file-flagged
+vs. tag-when-all-files-flagged (* above)).
+
+Add an interface to accept a "key" and a byte stream, rather than a
+filename.
+
 Provide a sane syntax for date ranges. First, we don't want to require
 both endpoints to be specified. For example it would be nice to be
 able to say things like "since:2009-01-1" or "until:2009-01-1" and
-have the other enpoint be implicit. Second we'de like to support
+have the other endpoint be implicit. Second we'd like to support
 relative specifications of time such as "since:'2 months ago'". To do
 any of this we're probably going to need to break down an write our
 own parser for the query string rather than using Xapian's QueryParser
 class.
 
-Add support for files that are moved or deleted (which obviously need
-to be handled differently).
-
-Actually compile and install a libnotmuch shared library.
+Make failure to read a file (such as a permissions problem) a warning
+rather than an error (should be similar to the existing warning for a
+non-mail file).
 
 Fix to use the *last* Message-ID header if multiple such headers are
 encountered, (I noticed this is one thing that kept me from seeing the
 same message-ID values as sup).
 
-Add support for the user to specify custom headers to be indexed.
-
 Add support for configuring "virtual tags" which are a tuple of
 (tag-name, search-specification). The database is responsible for
 ensuring that the virtual tag is always consistent.
 
-General
--------
-Audit everything for dealing with out-of-memory (and drop xutil.c).
+Indicate to the user if two files with the same message ID have
+content that is actually different in some interesting way. Perhaps
+notmuch initially sees all changes as interesting, and quickly learns
+from the user which changes are not interesting (such as the very
+common mailing-list footer).
 
-Write a test suite.
+Fix notmuch_query_count_messages to share code with
+notmuch_query_search_messages rather than duplicating code. (And
+consider renaming it as well.)
 
-Achieve 100% test coverage with the test suite.
+Provide a mechanism for doing automatic address completion based on
+notmuch searches. Here was one proposal made in IRC:
 
-Investigate why the notmuch database is slightly larger than the sup
-database for the same corpus of email.
+       <cworth> I guess all it would really have to be would be a way
+                to configure a series of searches to try in turn,
+                (presenting ambiguities at a given single level, and
+                advancing to the next level only if one level
+                returned no matches).
+       <cworth> So then I might have a series that looks like this:
+       <cworth> notmuch search --output=address_from tag:address_book_alias
+       <cworth> notmuch search --output=address_to tag:sent
+       <cworth> notmuch search --output=address_from
+       <cworth> I think I might like that quite a bit.
+       <cworth> And then we have a story for an address book for
+                non-emacs users.
+
+Provide a ~me Xapian synonym for all of the user's configured email
+addresses.
+
+Add symbol hiding so that we don't risk leaking any private symbols
+into the shared-library interface.
 
-Xapian
-------
-Fix defect #250
+Audit all libnotmuch entry points to ensure that all Xapian calls are
+wrapped in a try/catch block.
 
-       replace_document should make minimal changes to database file
-       http://trac.xapian.org/ticket/250
+Fix the "count" functionality to be exact as Olly explained in IRC:
 
-       It looks like it's going to be easy to fix. Here's the file to
-       change:
+       ojwb> cworth: if you set the check_at_least parameter to the
+       database size, get_matches_estimated() will be exact
 
-               xapian-core/backends/flint/flint_database.cc
+Search syntax
+-------------
+Implement support for "tag:*" to expand to all tags.
 
-       And look for:
+Fix "notmuch search to:" to be less confusing. Many users expect this
+to search for all messages with a To: header, but it instead searches
+for all messages with the word "to". If we don't provide the first
+behavior, perhaps we should exit on an error when a configured prefix
+is provided with no value?
 
-         // FIXME - in the case where there is overlap between the new
-         // termlist and the old termlist, it would be better to compare the
-         // two lists, and make the minimum set of modifications required.
-         // This would lead to smaller changesets for replication, and
-         // probably be faster overall
+Support "*" in all cases and not just as a special case. That is, "* "
+should also work, as well as "* and tag:inbox".
 
-       So I think this might be as easy as just walking over two
-       sorted lists looking for differences.
+Implement a syntax for requesting set-theoertic operations on results
+of multiple searches. For example, I would like to do:
 
-       Note that this is in the currently default "flint" backend,
-       but the Xapian folks are probably more interested in fixing
-       the in-development "chert" backend. So the patch to get
-       upstreamed there will probably also fix:
+       "tag:inbox" SET-SUBTRACT "tag:muted"
 
-               xapian-core/backends/chert/chert_database.cc
+    as well as:
 
-       (I'm hoping the fix will be the same---an identical comment
-       exists there.)
+       "tag:notmuch and <date-range>" SET-INTERSECT
+       "tag:notmuch and not (tag:merged or tag:postponed)"
 
-       Also, if you want to experiment with the chert backend,
-       compile current Xapian source and run notmuch with
-       XAPIAN_PREFER_CHERT=1. I haven't tried that yet, but there are
-       claims that a chert database can be 40% smaller than an
-       equivalent flint database.
+    See id:3wdpr282yz2.fsf@testarossa.amd.com for more details on the
+    use cases of the above.
 
-Report this bug:
+Database changes
+----------------
+Store a reference term for every message-id that appears in
+References. We just started doing this for newly-added documents, but
+at the next convenient database-schema upgrade, we should go back and
+fix old messages to be consistent.
 
-       "tag:foo and tag:bar and -tag:deleted" goes insane
+Start indexing the List-Id header, (and re-index this header for
+existing messages at the next database upgrade).
+
+Add support for the user to specify custom headers to be indexed (and
+re-index these for existing messages at the next database upgrade).
+
+Build system
+------------
+Fix to allow a non-source-directory build. For example, the below
+should be made to work:
+
+       mkdir build_dir
+       cd build_dir
+       ../configure
+       make
+
+Test suite
+----------
+Achieve 100% test coverage with the test suite.
+
+General
+-------
+Audit everything for dealing with out-of-memory (and drop xutil.c).
+
+Investigate why the notmuch database is slightly larger than the sup
+database for the same corpus of email.
 
-       This seems to be triggered by a Boolean operator next to a
-       token starting with a non-word character---suddenly all the
-       Boolean operators get treated as literal tokens)
+Makefile should print message teaching user about LD_LIBRARY_PATH (or
+similar) if libdir is not set to a directory examined by ldconfig.