notmuch restore: Print names of tags that cannot be applied
[notmuch] / message.cc
1 /* message.cc - Results of message-based searches from a notmuch database
2  *
3  * Copyright © 2009 Carl Worth
4  *
5  * This program is free software: you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation, either version 3 of the License, or
8  * (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program.  If not, see http://www.gnu.org/licenses/ .
17  *
18  * Author: Carl Worth <cworth@cworth.org>
19  */
20
21 #include "notmuch-private.h"
22 #include "database-private.h"
23
24 #include <xapian.h>
25
26 struct _notmuch_message {
27     notmuch_database_t *notmuch;
28     Xapian::docid doc_id;
29     char *message_id;
30     char *filename;
31     Xapian::Document doc;
32 };
33
34 struct _notmuch_tags {
35     Xapian::TermIterator iterator;
36     Xapian::TermIterator iterator_end;
37 };
38
39 struct _notmuch_thread_ids {
40     char *current;
41     char *next;
42 };
43
44 /* "128 bits of thread-id ought to be enough for anybody" */
45 #define NOTMUCH_THREAD_ID_BITS   128
46 #define NOTMUCH_THREAD_ID_DIGITS (NOTMUCH_THREAD_ID_BITS / 4)
47 typedef struct _thread_id {
48     char str[NOTMUCH_THREAD_ID_DIGITS + 1];
49 } thread_id_t;
50
51 #define ARRAY_SIZE(arr) (sizeof (arr) / sizeof (arr[0]))
52
53 /* These prefix values are specifically chosen to be compatible
54  * with sup, (http://sup.rubyforge.org), written by
55  * William Morgan <wmorgan-sup@masanjin.net>, and released
56  * under the GNU GPL v2.
57  */
58
59 typedef struct {
60     const char *name;
61     const char *prefix;
62 } prefix_t;
63
64 prefix_t NORMAL_PREFIX[] = {
65     { "subject", "S" },
66     { "body", "B" },
67     { "from_name", "FN" },
68     { "to_name", "TN" },
69     { "name", "N" },
70     { "attachment", "A" }
71 };
72
73 prefix_t BOOLEAN_PREFIX[] = {
74     { "type", "K" },
75     { "from_email", "FE" },
76     { "to_email", "TE" },
77     { "email", "E" },
78     { "date", "D" },
79     { "label", "L" },
80     { "tag", "L" },
81     { "source_id", "I" },
82     { "attachment_extension", "O" },
83     { "msgid", "Q" },
84     { "thread", "H" },
85     { "ref", "R" }
86 };
87
88 const char *
89 _find_prefix (const char *name)
90 {
91     unsigned int i;
92
93     for (i = 0; i < ARRAY_SIZE (NORMAL_PREFIX); i++)
94         if (strcmp (name, NORMAL_PREFIX[i].name) == 0)
95             return NORMAL_PREFIX[i].prefix;
96
97     for (i = 0; i < ARRAY_SIZE (BOOLEAN_PREFIX); i++)
98         if (strcmp (name, BOOLEAN_PREFIX[i].name) == 0)
99             return BOOLEAN_PREFIX[i].prefix;
100
101     return "";
102 }
103
104 /* We end up having to call the destructor explicitly because we had
105  * to use "placement new" in order to initialize C++ objects within a
106  * block that we allocated with talloc. So C++ is making talloc
107  * slightly less simple to use, (we wouldn't need
108  * talloc_set_destructor at all otherwise).
109  */
110 static int
111 _notmuch_message_destructor (notmuch_message_t *message)
112 {
113     message->doc.~Document ();
114
115     return 0;
116 }
117
118 /* Create a new notmuch_message_t object for an existing document in
119  * the database.
120  *
121  * Here, 'talloc owner' is an optional talloc context to which the new
122  * message will belong. This allows for the caller to not bother
123  * calling notmuch_message_destroy on the message, and no that all
124  * memory will be reclaimed with 'talloc_owner' is free. The caller
125  * still can call notmuch_message_destroy when finished with the
126  * message if desired.
127  *
128  * The 'talloc_owner' argument can also be NULL, in which case the
129  * caller *is* responsible for calling notmuch_message_destroy.
130  *
131  * If no document exists in the database with document ID of 'doc_id'
132  * then this function returns NULL.
133  */
134 notmuch_message_t *
135 _notmuch_message_create (const void *talloc_owner,
136                          notmuch_database_t *notmuch,
137                          unsigned int doc_id)
138 {
139     notmuch_message_t *message;
140
141     message = talloc (talloc_owner, notmuch_message_t);
142     if (unlikely (message == NULL))
143         return NULL;
144
145     message->notmuch = notmuch;
146     message->doc_id = doc_id;
147     message->message_id = NULL; /* lazily created */
148     message->filename = NULL; /* lazily created */
149     new (&message->doc) Xapian::Document;
150
151     talloc_set_destructor (message, _notmuch_message_destructor);
152
153     try {
154         message->doc = notmuch->xapian_db->get_document (doc_id);
155     } catch (const Xapian::DocNotFoundError &error) {
156         talloc_free (message);
157         return NULL;
158     }
159
160     return message;
161 }
162
163 /* Create a new notmuch_message_t object for a specific message ID,
164  * (which may or may not already exist in the databas).
165  *
166  * Here, 'talloc owner' is an optional talloc context to which the new
167  * message will belong. This allows for the caller to not bother
168  * calling notmuch_message_destroy on the message, and no that all
169  * memory will be reclaimed with 'talloc_owner' is free. The caller
170  * still can call notmuch_message_destroy when finished with the
171  * message if desired.
172  *
173  * The 'talloc_owner' argument can also be NULL, in which case the
174  * caller *is* responsible for calling notmuch_message_destroy.
175  *
176  * If there is already a document with message ID 'message_id' in the
177  * database, then the returned message can be used to query/modify the
178  * document. Otherwise, a new document will be inserted into the
179  * database before this function returns;
180  */
181 notmuch_message_t *
182 _notmuch_message_create_for_message_id (const void *talloc_owner,
183                                         notmuch_database_t *notmuch,
184                                         const char *message_id)
185 {
186     notmuch_message_t *message;
187     Xapian::Document doc;
188     unsigned int doc_id;
189     char *term;
190
191     message = notmuch_database_find_message (notmuch, message_id);
192     if (message)
193         return talloc_steal (talloc_owner, message);
194
195     term = talloc_asprintf (NULL, "%s%s",
196                             _find_prefix ("msgid"), message_id);
197     doc.add_term (term);
198     talloc_free (term);
199
200     doc.add_value (NOTMUCH_VALUE_MESSAGE_ID, message_id);
201
202     doc_id = notmuch->xapian_db->add_document (doc);
203
204     return _notmuch_message_create (talloc_owner, notmuch, doc_id);
205 }
206
207 const char *
208 notmuch_message_get_message_id (notmuch_message_t *message)
209 {
210     Xapian::TermIterator i;
211
212     if (message->message_id)
213         return message->message_id;
214
215     i = message->doc.termlist_begin ();
216     i.skip_to (_find_prefix ("msgid"));
217
218     if (i == message->doc.termlist_end ()) {
219         fprintf (stderr, "Internal error: Message with document ID of %d has no message ID.\n",
220                  message->doc_id);
221         exit (1);
222     }
223
224     message->message_id = talloc_strdup (message, (*i).c_str () + 1);
225     return message->message_id;
226 }
227
228 /* Set the filename for 'message' to 'filename'.
229  *
230  * XXX: We should still figure out what we want to do for multiple
231  * files with identical message IDs. We will probably want to store a
232  * list of filenames here, (so that this will be "add_filename"
233  * instead of "set_filename"). Which would make this very similar to
234  * add_thread_ids.
235  *
236  * This change will not be reflected in the database until the next
237  * call to _notmuch_message_set_sync. */
238 void
239 _notmuch_message_set_filename (notmuch_message_t *message,
240                                const char *filename)
241 {
242     if (message->filename)
243         talloc_free (message->filename);
244     message->doc.set_data (filename);
245 }
246
247 const char *
248 notmuch_message_get_filename (notmuch_message_t *message)
249 {
250     std::string filename_str;
251
252     if (message->filename)
253         return message->filename;
254
255     filename_str = message->doc.get_data ();
256     message->filename = talloc_strdup (message, filename_str.c_str ());
257
258     return message->filename;
259 }
260
261 /* We end up having to call the destructors explicitly because we had
262  * to use "placement new" in order to initialize C++ objects within a
263  * block that we allocated with talloc. So C++ is making talloc
264  * slightly less simple to use, (we wouldn't need
265  * talloc_set_destructor at all otherwise).
266  */
267 static int
268 _notmuch_tags_destructor (notmuch_tags_t *tags)
269 {
270     tags->iterator.~TermIterator ();
271     tags->iterator_end.~TermIterator ();
272
273     return 0;
274 }
275
276 notmuch_tags_t *
277 notmuch_message_get_tags (notmuch_message_t *message)
278 {
279     notmuch_tags_t *tags;
280
281     tags = talloc (message, notmuch_tags_t);
282     if (unlikely (tags == NULL))
283         return NULL;
284
285     new (&tags->iterator) Xapian::TermIterator;
286     new (&tags->iterator_end) Xapian::TermIterator;
287
288     talloc_set_destructor (tags, _notmuch_tags_destructor);
289
290     tags->iterator = message->doc.termlist_begin ();
291     tags->iterator.skip_to (_find_prefix ("tag"));
292     tags->iterator_end = message->doc.termlist_end ();
293
294     return tags;
295 }
296
297 notmuch_thread_ids_t *
298 notmuch_message_get_thread_ids (notmuch_message_t *message)
299 {
300     notmuch_thread_ids_t *thread_ids;
301     std::string id_str;
302
303     thread_ids = talloc (message, notmuch_thread_ids_t);
304     if (unlikely (thread_ids == NULL))
305         return NULL;
306
307     id_str = message->doc.get_value (NOTMUCH_VALUE_THREAD);
308     thread_ids->next = talloc_strdup (message, id_str.c_str ());
309
310     /* Initialize thread_ids->current and terminate first ID. */
311     notmuch_thread_ids_advance (thread_ids);
312
313     return thread_ids;
314 }
315
316 void
317 _notmuch_message_set_date (notmuch_message_t *message,
318                            const char *date)
319 {
320     time_t time_value;
321
322     time_value = notmuch_parse_date (date, NULL);
323
324     message->doc.add_value (NOTMUCH_VALUE_DATE,
325                             Xapian::sortable_serialise (time_value));
326 }
327
328 void
329 _notmuch_message_add_thread_id (notmuch_message_t *message,
330                                 const char *thread_id)
331 {
332     std::string id_str;
333
334     _notmuch_message_add_term (message, "thread", thread_id);
335
336     id_str = message->doc.get_value (NOTMUCH_VALUE_THREAD);
337
338     if (id_str.empty ()) {
339         message->doc.add_value (NOTMUCH_VALUE_THREAD, thread_id);
340     } else {
341         size_t pos;
342
343         /* Think about using a hash here if there's any performance
344          * problem. */
345         pos = id_str.find (thread_id);
346         if (pos == std::string::npos) {
347             id_str.append (",");
348             id_str.append (thread_id);
349             message->doc.add_value (NOTMUCH_VALUE_THREAD, id_str);
350         }
351     }
352 }
353
354 static void
355 thread_id_generate (thread_id_t *thread_id)
356 {
357     static int seeded = 0;
358     FILE *dev_random;
359     uint32_t value;
360     char *s;
361     int i;
362
363     if (! seeded) {
364         dev_random = fopen ("/dev/random", "r");
365         if (dev_random == NULL) {
366             srand (time (NULL));
367         } else {
368             fread ((void *) &value, sizeof (value), 1, dev_random);
369             srand (value);
370             fclose (dev_random);
371         }
372         seeded = 1;
373     }
374
375     s = thread_id->str;
376     for (i = 0; i < NOTMUCH_THREAD_ID_DIGITS; i += 8) {
377         value = rand ();
378         sprintf (s, "%08x", value);
379         s += 8;
380     }
381 }
382
383 void
384 _notmuch_message_ensure_thread_id (notmuch_message_t *message)
385 {
386     /* If not part of any existing thread, generate a new thread_id. */
387     thread_id_t thread_id;
388
389     thread_id_generate (&thread_id);
390     _notmuch_message_add_term (message, "thread", thread_id.str);
391     message->doc.add_value (NOTMUCH_VALUE_THREAD, thread_id.str);
392 }
393
394 /* Synchronize changes made to message->doc out into the database. */
395 void
396 _notmuch_message_sync (notmuch_message_t *message)
397 {
398     Xapian::WritableDatabase *db = message->notmuch->xapian_db;
399
400     db->replace_document (message->doc_id, message->doc);
401 }
402
403 /* Add a name:value term to 'message', (the actual term will be
404  * encoded by prefixing the value with a short prefix). See
405  * NORMAL_PREFIX and BOOLEAN_PREFIX arrays for the mapping of term
406  * names to prefix values.
407  *
408  * This change will not be reflected in the database until the next
409  * call to _notmuch_message_set_sync. */
410 notmuch_private_status_t
411 _notmuch_message_add_term (notmuch_message_t *message,
412                            const char *prefix_name,
413                            const char *value)
414 {
415
416     char *term;
417
418     if (value == NULL)
419         return NOTMUCH_PRIVATE_STATUS_NULL_POINTER;
420
421     term = talloc_asprintf (message, "%s%s",
422                             _find_prefix (prefix_name), value);
423
424     if (strlen (term) > NOTMUCH_TERM_MAX)
425         return NOTMUCH_PRIVATE_STATUS_TERM_TOO_LONG;
426
427     message->doc.add_term (term);
428
429     talloc_free (term);
430
431     return NOTMUCH_PRIVATE_STATUS_SUCCESS;
432 }
433
434 /* Remove a name:value term from 'message', (the actual term will be
435  * encoded by prefixing the value with a short prefix). See
436  * NORMAL_PREFIX and BOOLEAN_PREFIX arrays for the mapping of term
437  * names to prefix values.
438  *
439  * This change will not be reflected in the database until the next
440  * call to _notmuch_message_set_sync. */
441 notmuch_private_status_t
442 _notmuch_message_remove_term (notmuch_message_t *message,
443                               const char *prefix_name,
444                               const char *value)
445 {
446     char *term;
447
448     if (value == NULL)
449         return NOTMUCH_PRIVATE_STATUS_NULL_POINTER;
450
451     term = talloc_asprintf (message, "%s%s",
452                             _find_prefix (prefix_name), value);
453
454     if (strlen (term) > NOTMUCH_TERM_MAX)
455         return NOTMUCH_PRIVATE_STATUS_TERM_TOO_LONG;
456
457     message->doc.remove_term (term);
458
459     talloc_free (term);
460
461     return NOTMUCH_PRIVATE_STATUS_SUCCESS;
462 }
463
464 notmuch_status_t
465 notmuch_message_add_tag (notmuch_message_t *message, const char *tag)
466 {
467     notmuch_private_status_t status;
468
469     if (tag == NULL)
470         return NOTMUCH_STATUS_NULL_POINTER;
471
472     if (strlen (tag) > NOTMUCH_TAG_MAX)
473         return NOTMUCH_STATUS_TAG_TOO_LONG;
474
475     status = _notmuch_message_add_term (message, "tag", tag);
476     if (status) {
477         fprintf (stderr, "Internal error: _notmuch_message_add_term return unexpected value: %d\n",
478                  status);
479         exit (1);
480     }
481
482     _notmuch_message_sync (message);
483
484     return NOTMUCH_STATUS_SUCCESS;
485 }
486
487 notmuch_status_t
488 notmuch_message_remove_tag (notmuch_message_t *message, const char *tag)
489 {
490     notmuch_private_status_t status;
491
492     if (tag == NULL)
493         return NOTMUCH_STATUS_NULL_POINTER;
494
495     if (strlen (tag) > NOTMUCH_TAG_MAX)
496         return NOTMUCH_STATUS_TAG_TOO_LONG;
497
498     status = _notmuch_message_remove_term (message, "tag", tag);
499     if (status) {
500         fprintf (stderr, "Internal error: _notmuch_message_remove_term return unexpected value: %d\n",
501                  status);
502         exit (1);
503     }
504
505     _notmuch_message_sync (message);
506
507     return NOTMUCH_STATUS_SUCCESS;
508 }
509
510 void
511 notmuch_message_destroy (notmuch_message_t *message)
512 {
513     talloc_free (message);
514 }
515
516 notmuch_bool_t
517 notmuch_tags_has_more (notmuch_tags_t *tags)
518 {
519     std::string s;
520
521     if (tags->iterator == tags->iterator_end)
522         return FALSE;
523
524     s = *tags->iterator;
525     if (! s.empty () && s[0] == 'L')
526         return TRUE;
527     else
528         return FALSE;
529 }
530
531 const char *
532 notmuch_tags_get (notmuch_tags_t *tags)
533 {
534     return talloc_strdup (tags, (*tags->iterator).c_str () + 1);
535 }
536
537 void
538 notmuch_tags_advance (notmuch_tags_t *tags)
539 {
540     tags->iterator++;
541 }
542
543 void
544 notmuch_tags_destroy (notmuch_tags_t *tags)
545 {
546     talloc_free (tags);
547 }
548
549 notmuch_bool_t
550 notmuch_thread_ids_has_more (notmuch_thread_ids_t *thread_ids)
551 {
552     if (thread_ids->current == NULL || *thread_ids->current == '\0')
553         return FALSE;
554     else
555         return TRUE;
556 }
557
558 const char *
559 notmuch_thread_ids_get (notmuch_thread_ids_t *thread_ids)
560 {
561     return thread_ids->current;
562 }
563
564 void
565 notmuch_thread_ids_advance (notmuch_thread_ids_t *thread_ids)
566 {
567     thread_ids->current = strsep (&thread_ids->next, ",");
568 }
569
570 void
571 notmuch_thread_ids_destroy (notmuch_thread_ids_t *thread_ids)
572 {
573     talloc_free (thread_ids);
574 }