TODO: Add a couple of ideas that came up during recent coding.
[notmuch] / TODO
1 Fix the things that are causing the most pain to new users
2 ----------------------------------------------------------
3 1. A new import is tagging all messages as "inbox" -- total pain
4
5 2. Allow an easy way to get tags from directory names (if the user has them)
6
7 3. Fix Xapian defect #250 so tagging is fast.
8
9 Emacs interface (notmuch.el)
10 ----------------------------
11 Enhance '+' and '-' in the search view to operate on an entire region
12 if set.
13
14 Fix '*' to work by simply calling '+' or '-' on a region consisting of
15 the entire buffer.
16
17 Add a global keybinding table for notmuch, and then view-specific
18 tables that add to it.
19
20 Add a command to archive all threads in a search view.
21         
22 Add a '|' binding from the search view.
23
24 When a thread has been entirely read, start out by closing all
25 messages except those that matched the search terms.
26
27 Add support for choosing from one of the user's configured email
28 addresses for the From line.
29
30 Make 'notmuch-show-pipe-message have a private history.
31
32 Add support for a delete keybinding that adds a "deleted" tag to the
33 current message/thread and make searches not return deleted messages
34 by default, (unless the user asks explicitly for deleted messags in
35 the search query).
36
37 Add support to "mute" a thread (add a "muted" tag and then don't
38 display threads in searches by default where any message of the thread
39 has the "muted" tag).
40
41 Portability
42 -----------
43 Fix configure script to test each compiler warning we want to use.
44
45 Completion
46 ----------
47 Fix bash completion to complete multiple search options (both --first
48 and *then* --max-threads), and also complete value for --sort=
49 (oldest-first or newest-first).
50
51 notmuch command-line tool
52 -------------------------
53 Implement "notmuch search --exclude-threads=<search-terms>" to allow
54 for excluding muted threads, (and any other negative, thread-based
55 filtering that the user wants to do).
56
57 Fix "notmuch show" so that the UI doesn't fail to show a thread that
58 is visible in a search buffer, but happens to no longer match the
59 current search. (Perhaps add a --matching=<secondary-search-terms>
60 option (or similar) to "notmuch show".)
61
62 Teach "notmuch search" to return many different kinds of results. Some
63 ideas:
64
65         notmuch search --for threads    # Default if no --for is given
66         notmuch search --for messages
67         notmuch search --for tags
68         notmuch search --for addresses
69         notmuch search --for terms
70
71 Add a "--format" option to "notmuch search", (something printf-like
72 for selecting what gets printed).
73
74 Add a "--count-only" (or so?) option to "notmuch search" for returning
75 the count of search results.
76
77 Add documented syntax for searching all threads/messages.
78
79 Give "notmuch restore" some progress indicator. Until we get the
80 Xapian bugs fixed that are making this operation slow, we really need
81 to let the user know that things are still moving.
82
83 Fix "notmuch restore" to operate in a single pass much like "notmuch
84 dump" does, rather than doing N searches into the database, each
85 matching 1/N messages.
86
87 Add a "-f <filename>" option to select an alternate configuration
88 file.
89
90 Fix notmuch.c to call add_timestamp/get_timestamp with path names
91 relative to the database path. (Otherwise, moving the database to a
92 new directory will result in notmuch creating new timestamp documents
93 and leaving stale ones behind.)
94
95 Fix notmuch.c to use a DIR prefix for directory timestamps, (the idea
96 being that it can then add other non-directory timestamps such as for
97 noting how far back in the past mail has been indexed, and whether it
98 needs to re-tag messages based on a theoretical "auto-tags"
99 configuration file).
100
101 Make "notmuch new" notice when a mail directory has gone more than a
102 month without receiving new mail and use that to trigger the printing
103 of the note that the user might want to mark the directory read-only.
104
105 Also make "notmuch new" optionally able to just mark those month-old
106 directories read-only on its own. (Could conflict with low-volume
107 lists such as announce lists if they are setup to deliver to their own
108 maildirs.)
109
110 Allow configuration for filename patterns that should be ignored when
111 indexing.
112
113 notmuch library
114 ---------------
115 Index content from citations, please.
116
117 Provide a sane syntax for date ranges. First, we don't want to require
118 both endpoints to be specified. For example it would be nice to be
119 able to say things like "since:2009-01-1" or "until:2009-01-1" and
120 have the other endpoint be implicit. Second we'd like to support
121 relative specifications of time such as "since:'2 months ago'". To do
122 any of this we're probably going to need to break down an write our
123 own parser for the query string rather than using Xapian's QueryParser
124 class.
125
126 Make failure to read a file (such as a permissions problem) a warning
127 rather than an error (should be similar to the existing warning for a
128 non-mail file).
129
130 Add support for files that are moved or deleted (which obviously need
131 to be handled differently).
132
133 Actually compile and install a libnotmuch shared library.
134
135 Fix to use the *last* Message-ID header if multiple such headers are
136 encountered, (I noticed this is one thing that kept me from seeing the
137 same message-ID values as sup).
138
139 Add support for the user to specify custom headers to be indexed.
140
141 Add support for configuring "virtual tags" which are a tuple of
142 (tag-name, search-specification). The database is responsible for
143 ensuring that the virtual tag is always consistent.
144
145 Indicate to the user if two files with the same message ID have
146 content that is actually different in some interesting way. Perhaps
147 notmuch initially sees all changes as interesting, and quickly learns
148 from the user which changes are not interesting (such as the very
149 common mailing-list footer).
150
151 Fix notmuch_query_count_messages to share code with
152 notmuch_query_search_messages rather than duplicating code. (And
153 consider renaming it as well.)
154
155 General
156 -------
157 Audit everything for dealing with out-of-memory (and drop xutil.c).
158
159 Write a test suite.
160
161 Achieve 100% test coverage with the test suite.
162
163 Investigate why the notmuch database is slightly larger than the sup
164 database for the same corpus of email.
165
166 Xapian
167 ------
168 Fix defect #250
169
170         replace_document should make minimal changes to database file
171         http://trac.xapian.org/ticket/250
172
173         It looks like it's going to be easy to fix. Here's the file to
174         change:
175
176                 xapian-core/backends/flint/flint_database.cc
177
178         And look for:
179
180           // FIXME - in the case where there is overlap between the new
181           // termlist and the old termlist, it would be better to compare the
182           // two lists, and make the minimum set of modifications required.
183           // This would lead to smaller changesets for replication, and
184           // probably be faster overall
185
186         So I think this might be as easy as just walking over two
187         sorted lists looking for differences.
188
189         Note that this is in the currently default "flint" backend,
190         but the Xapian folks are probably more interested in fixing
191         the in-development "chert" backend. So the patch to get
192         upstreamed there will probably also fix:
193
194                 xapian-core/backends/chert/chert_database.cc
195
196         (I'm hoping the fix will be the same---an identical comment
197         exists there.)
198
199         Also, if you want to experiment with the chert backend,
200         compile current Xapian source and run notmuch with
201         XAPIAN_PREFER_CHERT=1. I haven't tried that yet, but there are
202         claims that a chert database can be 40% smaller than an
203         equivalent flint database.
204
205 Report this bug:
206
207         "tag:foo and tag:bar and -tag:deleted" goes insane
208
209         This seems to be triggered by a Boolean operator next to a
210         token starting with a non-word character---suddenly all the
211         Boolean operators get treated as literal tokens)