TODO: Add some tasks, delete some tasks.
[notmuch] / TODO
1 Fix the things that are causing the most pain to new users
2 ----------------------------------------------------------
3 1. A new import is tagging all messages as "inbox" -- total pain
4
5 2. Allow an easy way to get tags from directory names (if the user has them)
6
7 3. Fix Xapian defect #250 so tagging is fast.
8
9 Emacs interface (notmuch.el)
10 ----------------------------
11 Add a global keybinding table for notmuch, and then view-specific
12 tables that add to it.
13
14 Add a command to archive all threads in a search view.
15         
16 Add a '|' binding from the search view.
17
18 When a thread has been entirely read, start out by closing all
19 messages except those that matched the search terms.
20
21 Add support for choosing from one of the user's configured email
22 addresses for the From line.
23
24 Make 'notmuch-show-pipe-message have a private history.
25
26 Add support for a delete keybinding that adds a "deleted" tag to the
27 current message/thread and make searches not return deleted messages
28 by default, (unless the user asks explicitly for deleted messags in
29 the search query).
30
31 Add support to "mute" a thread (add a "muted" tag and then don't
32 display threads in searches by default where any message of the thread
33 has the "muted" tag).
34
35 Portability
36 -----------
37 Fix configure script to test each compiler warning we want to use.
38
39 Completion
40 ----------
41 Fix bash completion to complete multiple search options (both --first
42 and *then* --max-threads), and also complete value for --sort=
43 (oldest-first or newest-first).
44
45 notmuch command-line tool
46 -------------------------
47 Teach "notmuch search" to return many different kinds of results. Some
48 ideas:
49
50         notmuch search --for threads    # Default if no --for is given
51         notmuch search --for messages
52         notmuch search --for tags
53         notmuch search --for addresses
54         notmuch search --for terms
55
56 Add a "--format" option to "notmuch search", (something printf-like
57 for selecting what gets printed).
58
59 Add a "--count-only" (or so?) option to "notmuch search" for returning
60 the count of search results.
61
62 Give "notmuch restore" some progress indicator. Until we get the
63 Xapian bugs fixed that are making this operation slow, we really need
64 to let the user know that things are still moving.
65
66 Fix "notmuch restore" to operate in a single pass much like "notmuch
67 dump" does, rather than doing N searches into the database, each
68 matching 1/N messages.
69
70 Add a "-f <filename>" option to select an alternate configuration
71 file.
72
73 Fix notmuch.c to call add_timestamp/get_timestamp with path names
74 relative to the database path. (Otherwise, moving the database to a
75 new directory will result in notmuch creating new timestamp documents
76 and leaving stale ones behind.)
77
78 Fix notmuch.c to use a DIR prefix for directory timestamps, (the idea
79 being that it can then add other non-directory timestamps such as for
80 noting how far back in the past mail has been indexed, and whether it
81 needs to re-tag messages based on a theoretical "auto-tags"
82 configuration file).
83
84 Make "notmuch new" notice when a mail directory has gone more than a
85 month without receiving new mail and use that to trigger the printing
86 of the note that the user might want to mark the directory read-only.
87
88 Also make "notmuch new" optionally able to just mark those month-old
89 directories read-only on its own. (Could conflict with low-volume
90 lists such as announce lists if they are setup to deliver to their own
91 maildirs.)
92
93 Allow configuration for filename patterns that should be ignored when
94 indexing.
95
96 notmuch library
97 ---------------
98 Index content from citations, please.
99
100 Provide a sane syntax for date ranges. First, we don't want to require
101 both endpoints to be specified. For example it would be nice to be
102 able to say things like "since:2009-01-1" or "until:2009-01-1" and
103 have the other enpoint be implicit. Second we'd like to support
104 relative specifications of time such as "since:'2 months ago'". To do
105 any of this we're probably going to need to break down an write our
106 own parser for the query string rather than using Xapian's QueryParser
107 class.
108
109 Make failure to read a file (such as a permissions problem) a warning
110 rather than an error (should be similar to the existing warning for a
111 non-mail file).
112
113 Add support for files that are moved or deleted (which obviously need
114 to be handled differently).
115
116 Actually compile and install a libnotmuch shared library.
117
118 Fix to use the *last* Message-ID header if multiple such headers are
119 encountered, (I noticed this is one thing that kept me from seeing the
120 same message-ID values as sup).
121
122 Add support for the user to specify custom headers to be indexed.
123
124 Add support for configuring "virtual tags" which are a tuple of
125 (tag-name, search-specification). The database is responsible for
126 ensuring that the virtual tag is always consistent.
127
128 General
129 -------
130 Audit everything for dealing with out-of-memory (and drop xutil.c).
131
132 Write a test suite.
133
134 Achieve 100% test coverage with the test suite.
135
136 Investigate why the notmuch database is slightly larger than the sup
137 database for the same corpus of email.
138
139 Xapian
140 ------
141 Fix defect #250
142
143         replace_document should make minimal changes to database file
144         http://trac.xapian.org/ticket/250
145
146         It looks like it's going to be easy to fix. Here's the file to
147         change:
148
149                 xapian-core/backends/flint/flint_database.cc
150
151         And look for:
152
153           // FIXME - in the case where there is overlap between the new
154           // termlist and the old termlist, it would be better to compare the
155           // two lists, and make the minimum set of modifications required.
156           // This would lead to smaller changesets for replication, and
157           // probably be faster overall
158
159         So I think this might be as easy as just walking over two
160         sorted lists looking for differences.
161
162         Note that this is in the currently default "flint" backend,
163         but the Xapian folks are probably more interested in fixing
164         the in-development "chert" backend. So the patch to get
165         upstreamed there will probably also fix:
166
167                 xapian-core/backends/chert/chert_database.cc
168
169         (I'm hoping the fix will be the same---an identical comment
170         exists there.)
171
172         Also, if you want to experiment with the chert backend,
173         compile current Xapian source and run notmuch with
174         XAPIAN_PREFER_CHERT=1. I haven't tried that yet, but there are
175         claims that a chert database can be 40% smaller than an
176         equivalent flint database.
177
178 Report this bug:
179
180         "tag:foo and tag:bar and -tag:deleted" goes insane
181
182         This seems to be triggered by a Boolean operator next to a
183         token starting with a non-word character---suddenly all the
184         Boolean operators get treated as literal tokens)