TODO: update entry on date range queries
[notmuch] / devel / TODO
1 Fix the things that are causing the most pain to new users
2 ----------------------------------------------------------
3 1. A new import is tagging all messages as "inbox" -- total pain
4
5 Emacs interface (notmuch.el)
6 ----------------------------
7 Add notmuch-bcc and notmuch-cc for setting default Bcc and Cc values,
8 (should affect the message-setup-hook).
9
10 Switch the notmuch-search view to use "notmuch search --format=json"
11 to fix large classes of bugs regarding poorly-escaped output and lame
12 regular expressions. (The most recently found, unfixed example is the
13 sender's name containing ';' which causes emacs to drop a search
14 result.) This may require removing the outer array from the current
15 "notmuch search --format=json" results.
16
17 Fix '*' to work by simply calling '+' or '-' on a region consisting of
18 the entire buffer, (this would avoid one race condition---while still
19 leaving other race conditions---but could also potentially make '*' a
20 very expensive operation).
21
22 Add a global keybinding table for notmuch, and then view-specific
23 tables that add to it.
24         
25 Add a '|' binding from the search view.
26
27 Add support for choosing from one of the user's configured email
28 addresses for the From line.
29
30 Make 'notmuch-show-pipe-message have a private history.
31
32 Add support for a delete keybinding that adds a "deleted" tag to the
33 current message/thread and make searches not return deleted messages
34 by default, (unless the user asks explicitly for deleted messages in
35 the search query).
36
37 Add keybindings for next/previous thread.
38
39 Add support to "mute" a thread (add a "muted" tag and then don't
40 display threads in searches by default where any message of the thread
41 has the "muted" tag).
42
43 Make '=' count from the end rather than from the beginning if more
44 than half-way through the buffer.
45
46 Fix to automatically wrap long headers (for RFC compliance) before
47 sending. This should probably just be fixed in message-mode itself,
48 (but perhaps we can have a notmuch-message-mode that layers this on
49 top).
50
51 Stop hiding the headers so much in the thread-view mode.
52
53 Allow opening a message in thread-view mode by clicking on either
54 line.
55
56 Automatically open a message when navigating to it with N or P.
57
58 Change 'a' command in thread-view mode to only archive open messages.
59
60 Completion
61 ----------
62 Fix bash completion to complete multiple search options (both --first
63 and *then* --max-threads), and also complete value for --sort=
64 (oldest-first or newest-first).
65
66 notmuch command-line tool
67 -------------------------
68 Add support to "notmuch search" and "notmuch show" to allow for
69 listing of duplicate messages, (distinct filenames with the same
70 Message-ID). I'm not sure what the option should be named. Perhaps
71 --with-duplicates ?
72
73 "notmuch setup" should use realpath() before replacing the
74 configuration file. The ensures that the final target file of any
75 intermediate symbolic links is what is actually replaced, (rather than
76 any symbolic link).
77
78 Replace "notmuch reply" with "notmuch compose --reply <search-terms>".
79 This would enable a plain "notmuch compose" to be used to construct an
80 initial message, (which would then have the properly configured name
81 and email address in the From: line. We could also then easily support
82 "notmuch compose --from <something>" to support getting at alternate
83 email addresses.
84
85 Implement "notmuch search --exclude-threads=<search-terms>" to allow
86 for excluding muted threads, (and any other negative, thread-based
87 filtering that the user wants to do).
88
89 Fix "notmuch show" so that the UI doesn't fail to show a thread that
90 is visible in a search buffer, but happens to no longer match the
91 current search. (Perhaps add a --matching=<secondary-search-terms>
92 option (or similar) to "notmuch show".) For now, this is being worked
93 around in the emacs interface by noticing that "notmuch show" returns
94 nothing and re-rerunning the command without the extra arguments.
95
96 Add a "--format" option to "notmuch search", (something printf-like
97 for selecting what gets printed).
98
99 Give "notmuch restore" some progress indicator.
100
101 Fix "notmuch restore" to operate in a single pass much like "notmuch
102 dump" does, rather than doing N searches into the database, each
103 matching 1/N messages.
104
105 Add a "-f <filename>" option to select an alternate configuration
106 file.
107
108 Allow configuration for filename patterns that should be ignored when
109 indexing.
110
111 Fix to avoid this ugly message:
112
113         (process:17197): gmime-CRITICAL **: g_mime_message_get_mime_part: assertion `GMIME_IS_MESSAGE (message)' failed
114         Warning: Not indexing empty mime part.
115
116   This probably means adding a test case to generate that message,
117   filing an upstream bug against GMime, and then silencing the
118   notmuch-generated portion of the warning (so that once GMime is
119   fixed, this is all silent).
120
121 Simplify notmuch-reply to simply print the headers (we have the
122 original values) rather than calling GMime (which encodes) and adding
123 the confusing gmime-filter-headers.c code (which decodes).
124
125 Properly handle replying to multiple messages. Currently, the JSON
126 reply format only supports a single message, but the default reply
127 format accepts searches returning multiple messages. The expected
128 behavior of replying to multiple messages is not obvious, and there
129 are multiple ideas that might make sense. Some consensus needs to be
130 reached on this issue, and then both reply formats should be updated
131 to be consistent.
132
133 notmuch library
134 ---------------
135 Add support for custom flag<->tag mappings. In the notmuch
136 configuration file this could be
137
138         [maildir]
139         synchronize_flags = R:replied; D*:deleted; S:~unread;
140
141 In the library interface this could be implemented with an array of
142 structures to define the mapping (flag character, tag name,
143 inverse-sense bit (~ above), and tag-when-any-file-flagged
144 vs. tag-when-all-files-flagged (* above)).
145
146 Add an interface to accept a "key" and a byte stream, rather than a
147 filename.
148
149 Improve syntax for date ranges queries. date:expr should be
150 interpreted as date:expr..expr so that, for example, "date:2013-01-22"
151 would cover the whole of the specified day (currently that's not even
152 recognized as a date range expression). It might be nice to be able to
153 use things like "since:2013-01-22" and "until:2013-01-22" as synonyms
154 to "date:2013-01-22.." and "date:..2013-01-22", respectively. To do
155 any of this we're probably going to need to break down and write our
156 own parser for the query string rather than using Xapian's QueryParser
157 class.
158
159 Make failure to read a file (such as a permissions problem) a warning
160 rather than an error (should be similar to the existing warning for a
161 non-mail file).
162
163 Fix to use the *last* Message-ID header if multiple such headers are
164 encountered, (I noticed this is one thing that kept me from seeing the
165 same message-ID values as sup).
166
167 Add support for configuring "virtual tags" which are a tuple of
168 (tag-name, search-specification). The database is responsible for
169 ensuring that the virtual tag is always consistent.
170
171 Indicate to the user if two files with the same message ID have
172 content that is actually different in some interesting way. Perhaps
173 notmuch initially sees all changes as interesting, and quickly learns
174 from the user which changes are not interesting (such as the very
175 common mailing-list footer).
176
177 Fix notmuch_query_count_messages to share code with
178 notmuch_query_search_messages rather than duplicating code. (And
179 consider renaming it as well.)
180
181 Provide a mechanism for doing automatic address completion based on
182 notmuch searches. Here was one proposal made in IRC:
183
184         <cworth> I guess all it would really have to be would be a way
185                  to configure a series of searches to try in turn,
186                  (presenting ambiguities at a given single level, and
187                  advancing to the next level only if one level
188                  returned no matches).
189         <cworth> So then I might have a series that looks like this:
190         <cworth> notmuch search --output=address_from tag:address_book_alias
191         <cworth> notmuch search --output=address_to tag:sent
192         <cworth> notmuch search --output=address_from
193         <cworth> I think I might like that quite a bit.
194         <cworth> And then we have a story for an address book for
195                  non-emacs users.
196
197 Provide a ~me Xapian synonym for all of the user's configured email
198 addresses.
199
200 Add symbol hiding so that we don't risk leaking any private symbols
201 into the shared-library interface.
202
203 Audit all libnotmuch entry points to ensure that all Xapian calls are
204 wrapped in a try/catch block.
205
206 Fix the "count" functionality to be exact as Olly explained in IRC:
207
208         ojwb> cworth: if you set the check_at_least parameter to the
209         database size, get_matches_estimated() will be exact
210
211 Fix the threading of a message that has a References: header but no
212 In-Reply-To: header (see id:"87lixxnxpb.fsf@yoom.home.cworth.org").
213
214 Search syntax
215 -------------
216 Implement support for "tag:*" to expand to all tags.
217
218 Fix "notmuch search to:" to be less confusing. Many users expect this
219 to search for all messages with a To: header, but it instead searches
220 for all messages with the word "to". If we don't provide the first
221 behavior, perhaps we should exit on an error when a configured prefix
222 is provided with no value?
223
224 Support "*" in all cases and not just as a special case. That is, "* "
225 should also work, as well as "* and tag:inbox".
226
227 Implement a syntax for requesting set-theoertic operations on results
228 of multiple searches. For example, I would like to do:
229
230         "tag:inbox" SET-SUBTRACT "tag:muted"
231
232     as well as:
233
234         "tag:notmuch and <date-range>" SET-INTERSECT
235         "tag:notmuch and not (tag:merged or tag:postponed)"
236
237     See id:3wdpr282yz2.fsf@testarossa.amd.com for more details on the
238     use cases of the above.
239
240 Database changes
241 ----------------
242 Store a reference term for every message-id that appears in
243 References. We just started doing this for newly-added documents, but
244 at the next convenient database-schema upgrade, we should go back and
245 fix old messages to be consistent.
246
247 Start indexing the List-Id header, (and re-index this header for
248 existing messages at the next database upgrade).
249
250 Add support for the user to specify custom headers to be indexed (and
251 re-index these for existing messages at the next database upgrade).
252
253 Save filenames for files detected as "not an email file" in the
254 database. This would allow for two things: 1. Optimizing "notmuch new"
255 to not have to look at these files again (since they are potentially
256 large so the detection could be potentially slow). 2. A "notmuch
257 search" syntax could be added to allow the user to find these files,
258 (and perhaps delete them or move them away as appropriate).
259
260 Fix filesystem/notmuch-new race condition by not updating database
261 mtime for a directory if it is the same as the current mtime.
262
263 Test suite
264 ----------
265 Achieve 100% test coverage with the test suite.
266
267 General
268 -------
269 Audit everything for dealing with out-of-memory (and drop xutil.c).
270
271 Investigate why the notmuch database is slightly larger than the sup
272 database for the same corpus of email.
273
274 Makefile should print message teaching user about LD_LIBRARY_PATH (or
275 similar) if libdir is not set to a directory examined by ldconfig.