xutil: Implement xstrndup without relying on strndup.
[notmuch] / TODO
1 Fix the things that are causing the most pain to new users
2 ----------------------------------------------------------
3 1. A new import is tagging all messages as "inbox" -- total pain
4
5 2. Allow an easy way to get tags from directory names (if the user has them)
6
7 3. Fix Xapian defect #250 so tagging is fast.
8
9 Emacs interface (notmuch.el)
10 ----------------------------
11 Make the keybindings help ('?') display the summary of each command's
12 documentation, not the function name.
13
14 Add a global keybinding table for notmuch, and then view-specific
15 tables that add to it.
16
17 Add a command to archive all threads in a search view.
18         
19 Add a '|' binding from the search view.
20
21 Add a binding to run a search from notmuch-show-mode.
22
23 When a thread has been entirely read, start out by closing all
24 messages except those that matched the search terms.
25
26 Add support for choosing from one of the user's configured email
27 addresses for the From line.
28
29 Make 'notmuch-show-pipe-message have a private history.
30
31 Add support for a delete keybinding that adds a "deleted" tag to the
32 current message/thread and make searches not return deleted messages
33 by default, (unless the user asks explicitly for deleted messags in
34 the search query).
35
36 Add support to "mute" a thread (add a "muted" tag and then don't
37 display threads in searches by default where any message of the thread
38 has the "muted" tag).
39
40 Portability
41 -----------
42 Fix configure script to test each compiler warning we want to use.
43
44 Implement getline locally, (look at gnulib).
45
46 Completion
47 ----------
48 Fix bash completion to complete multiple search options (both --first
49 and *then* --max-threads), and also complete value for --sort=
50 (oldest-first or newest-first).
51
52 notmuch command-line tool
53 -------------------------
54 Teach "notmuch search" to return many different kinds of results. Some
55 ideas:
56
57         notmuch search --for threads    # Default if no --for is given
58         notmuch search --for messages
59         notmuch search --for tags
60         notmuch search --for addresses
61         notmuch search --for terms
62
63 Add a "--format" option to "notmuch search", (something printf-like
64 for selecting what gets printed).
65
66 Add a "--count-only" (or so?) option to "notmuch search" for returning
67 the count of search results.
68
69 Give "notmuch restore" some progress indicator. Until we get the
70 Xapian bugs fixed that are making this operation slow, we really need
71 to let the user know that things are still moving.
72
73 Add a "-f <filename>" option to select an alternate configuration
74 file.
75
76 Fix notmuch.c to call add_timestamp/get_timestamp with path names
77 relative to the database path. (Otherwise, moving the database to a
78 new directory will result in notmuch creating new timestamp documents
79 and leaving stale ones behind.)
80
81 Ensure that "notmuch new" is sane if its first, giant indexing session
82 gets interrupted, (that is, ensure that any results indexed so far are
83 flushed).
84
85 Fix notmuch.c to use a DIR prefix for directory timestamps, (the idea
86 being that it can then add other non-directory timestamps such as for
87 noting how far back in the past mail has been indexed, and whether it
88 needs to re-tag messages based on a theoretical "auto-tags"
89 configuration file).
90
91 Make "notmuch new" notice when a mail directory has gone more than a
92 month without receiving new mail and use that to trigger the printing
93 of the note that the user might want to mark the directory read-only.
94
95 Also make "notmuch new" optionally able to just mark those month-old
96 directories read-only on its own. (Could conflict with low-volume
97 lists such as announce lists if they are setup to deliver to their own
98 maildirs.)
99
100 Allow configuration for filename patterns that should be ignored when
101 indexing.
102
103 notmuch library
104 ---------------
105 Provide a sane syntax for date ranges. First, we don't want to require
106 both endpoints to be specified. For example it would be nice to be
107 able to say things like "since:2009-01-1" or "until:2009-01-1" and
108 have the other enpoint be implicit. Second we'de like to support
109 relative specifications of time such as "since:'2 months ago'". To do
110 any of this we're probably going to need to break down an write our
111 own parser for the query string rather than using Xapian's QueryParser
112 class.
113
114 Make failure to read a file (such as a permissions problem) a warning
115 rather than an error (should be similar to the existing warning for a
116 non-mail file).
117
118 Add support for files that are moved or deleted (which obviously need
119 to be handled differently).
120
121 Actually compile and install a libnotmuch shared library.
122
123 Fix to use the *last* Message-ID header if multiple such headers are
124 encountered, (I noticed this is one thing that kept me from seeing the
125 same message-ID values as sup).
126
127 Add support for the user to specify custom headers to be indexed.
128
129 Add support for configuring "virtual tags" which are a tuple of
130 (tag-name, search-specification). The database is responsible for
131 ensuring that the virtual tag is always consistent.
132
133 Think about optimizing chunked searches (max-threads > 0) to avoid
134 repeating work. That would be saving state from the previous chunk and
135 reusing it if the next search is the next chunk with the same search
136 string.
137
138 General
139 -------
140 Audit everything for dealing with out-of-memory (and drop xutil.c).
141
142 Write a test suite.
143
144 Achieve 100% test coverage with the test suite.
145
146 Investigate why the notmuch database is slightly larger than the sup
147 database for the same corpus of email.
148
149 Xapian
150 ------
151 Fix defect #250
152
153         replace_document should make minimal changes to database file
154         http://trac.xapian.org/ticket/250
155
156         It looks like it's going to be easy to fix. Here's the file to
157         change:
158
159                 xapian-core/backends/flint/flint_database.cc
160
161         And look for:
162
163           // FIXME - in the case where there is overlap between the new
164           // termlist and the old termlist, it would be better to compare the
165           // two lists, and make the minimum set of modifications required.
166           // This would lead to smaller changesets for replication, and
167           // probably be faster overall
168
169         So I think this might be as easy as just walking over two
170         sorted lists looking for differences.
171
172         Note that this is in the currently default "flint" backend,
173         but the Xapian folks are probably more interested in fixing
174         the in-development "chert" backend. So the patch to get
175         upstreamed there will probably also fix:
176
177                 xapian-core/backends/chert/chert_database.cc
178
179         (I'm hoping the fix will be the same---an identical comment
180         exists there.)
181
182         Also, if you want to experiment with the chert backend,
183         compile current Xapian source and run notmuch with
184         XAPIAN_PREFER_CHERT=1. I haven't tried that yet, but there are
185         claims that a chert database can be 40% smaller than an
186         equivalent flint database.
187
188 Report this bug:
189
190         "tag:foo and tag:bar and -tag:deleted" goes insane
191
192         This seems to be triggered by a Boolean operator next to a
193         token starting with a non-word character---suddenly all the
194         Boolean operators get treated as literal tokens)