]> git.notmuchmail.org Git - notmuch/blobdiff - lib/database.cc
Make maildir synchronization configurable
[notmuch] / lib / database.cc
index 6afc8d938e382eb054d8088bd067d03193547ef0..293d21aa01ff70c03ecdcbe3221c92dca21247f5 100644 (file)
@@ -24,7 +24,6 @@
 
 #include <sys/time.h>
 #include <signal.h>
-#include <xapian.h>
 
 #include <glib.h> /* g_free, GPtrArray, GHashTable */
 
@@ -57,8 +56,12 @@ typedef struct {
  *
  *     type:   mail
  *
- *     id:     Unique ID of mail, (from Message-ID header or generated
- *             as "notmuch-sha1-<sha1_sum_of_entire_file>.
+ *     id:     Unique ID of mail. This is from the Message-ID header
+ *             if present and not too long (see NOTMUCH_MESSAGE_ID_MAX).
+ *             If it's present and too long, then we use
+ *             "notmuch-sha1-<sha1_sum_of_message_id>".
+ *              If this header is not present, we use
+ *             "notmuch-sha1-<sha1_sum_of_entire_file>".
  *
  *     thread: The ID of the thread to which the mail belongs
  *
@@ -145,9 +148,11 @@ typedef struct {
  *
  *     thread_id_*     A pre-allocated thread ID for a particular
  *                     message. This is actually an arbitarily large
- *                     family of metadata name. Any particular name
- *                     is formed by concatenating "thread_id_" with a
- *                     message ID. The value stored is a thread ID.
+ *                     family of metadata name. Any particular name is
+ *                     formed by concatenating "thread_id_" with a message
+ *                     ID (or the SHA1 sum of a message ID if it is very
+ *                     long---see description of 'id' in the mail
+ *                     document). The value stored is a thread ID.
  *
  *                     These thread ID metadata values are stored
  *                     whenever a message references a parent message
@@ -179,7 +184,7 @@ typedef struct {
  * nearly universal to all mail messages).
  */
 
-prefix_t BOOLEAN_PREFIX_INTERNAL[] = {
+static prefix_t BOOLEAN_PREFIX_INTERNAL[] = {
     { "type",                  "T" },
     { "reference",             "XREFERENCE" },
     { "replyto",               "XREPLYTO" },
@@ -188,14 +193,14 @@ prefix_t BOOLEAN_PREFIX_INTERNAL[] = {
     { "directory-direntry",    "XDDIRENTRY" },
 };
 
-prefix_t BOOLEAN_PREFIX_EXTERNAL[] = {
+static prefix_t BOOLEAN_PREFIX_EXTERNAL[] = {
     { "thread",                        "G" },
     { "tag",                   "K" },
     { "is",                    "K" },
     { "id",                    "Q" }
 };
 
-prefix_t PROBABILISTIC_PREFIX[]= {
+static prefix_t PROBABILISTIC_PREFIX[]= {
     { "from",                  "XFROM" },
     { "to",                    "XTO" },
     { "attachment",            "XATTACHMENT" },
@@ -334,6 +339,23 @@ find_document_for_doc_id (notmuch_database_t *notmuch, unsigned doc_id)
     return notmuch->xapian_db->get_document (doc_id);
 }
 
+/* Generate a compressed version of 'message_id' of the form:
+ *
+ *     notmuch-sha1-<sha1_sum_of_message_id>
+ */
+static char *
+_message_id_compressed (void *ctx, const char *message_id)
+{
+    char *sha1, *compressed;
+
+    sha1 = notmuch_sha1_of_string (message_id);
+
+    compressed = talloc_asprintf (ctx, "notmuch-sha1-%s", sha1);
+    free (sha1);
+
+    return compressed;
+}
+
 notmuch_message_t *
 notmuch_database_find_message (notmuch_database_t *notmuch,
                               const char *message_id)
@@ -341,6 +363,9 @@ notmuch_database_find_message (notmuch_database_t *notmuch,
     notmuch_private_status_t status;
     unsigned int doc_id;
 
+    if (strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX)
+       message_id = _message_id_compressed (notmuch, message_id);
+
     try {
        status = _notmuch_database_find_unique_doc_id (notmuch, "id",
                                                       message_id, &doc_id);
@@ -622,6 +647,7 @@ notmuch_database_open (const char *path,
            }
        }
 
+       notmuch->last_doc_id = notmuch->xapian_db->get_lastdocid ();
        last_thread_id = notmuch->xapian_db->get_metadata ("last_thread_id");
        if (last_thread_id.empty ()) {
            notmuch->last_thread_id = 0;
@@ -662,6 +688,8 @@ notmuch_database_open (const char *path,
        notmuch = NULL;
     }
 
+    notmuch_database_set_maildir_sync (notmuch, FALSE);
+
   DONE:
     if (notmuch_path)
        free (notmuch_path);
@@ -691,6 +719,13 @@ notmuch_database_close (notmuch_database_t *notmuch)
     talloc_free (notmuch);
 }
 
+void
+notmuch_database_set_maildir_sync (notmuch_database_t *database,
+                                  notmuch_bool_t maildir_sync)
+{
+    database->maildir_sync = maildir_sync;
+}
+
 const char *
 notmuch_database_get_path (notmuch_database_t *notmuch)
 {
@@ -1169,6 +1204,31 @@ notmuch_database_get_directory (notmuch_database_t *notmuch,
     }
 }
 
+/* Allocate a document ID that satisfies the following criteria:
+ *
+ * 1. The ID does not exist for any document in the Xapian database
+ *
+ * 2. The ID was not previously returned from this function
+ *
+ * 3. The ID is the smallest integer satisfying (1) and (2)
+ *
+ * This function will trigger an internal error if these constraints
+ * cannot all be satisfied, (that is, the pool of available document
+ * IDs has been exhausted).
+ */
+unsigned int
+_notmuch_database_generate_doc_id (notmuch_database_t *notmuch)
+{
+    assert (notmuch->last_doc_id >= notmuch->xapian_db->get_lastdocid ());
+
+    notmuch->last_doc_id++;
+
+    if (notmuch->last_doc_id == 0)
+       INTERNAL_ERROR ("Xapian document IDs are exhausted.\n");        
+
+    return notmuch->last_doc_id;
+}
+
 static const char *
 _notmuch_database_generate_thread_id (notmuch_database_t *notmuch)
 {
@@ -1191,7 +1251,11 @@ _notmuch_database_generate_thread_id (notmuch_database_t *notmuch)
 static char *
 _get_metadata_thread_id_key (void *ctx, const char *message_id)
 {
-    return talloc_asprintf (ctx, "thread_id_%s", message_id);
+    if (strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX)
+       message_id = _message_id_compressed (ctx, message_id);
+
+    return talloc_asprintf (ctx, NOTMUCH_METADATA_THREAD_ID_PREFIX "%s",
+                           message_id);
 }
 
 /* Find the thread ID to which the message with 'message_id' belongs.
@@ -1244,7 +1308,7 @@ _resolve_message_id_to_thread_id (notmuch_database_t *notmuch,
 
     talloc_free (metadata_key);
 
-    return thread_id;
+    return talloc_strdup (ctx, thread_id);
 }
 
 static notmuch_status_t
@@ -1544,10 +1608,12 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
            if (message_id == NULL)
                message_id = talloc_strdup (message_file, header);
 
-           /* Reject a Message ID that's too long. */
-           if (message_id && strlen (message_id) + 1 > NOTMUCH_TERM_MAX) {
+           /* If a message ID is too long, substitute its sha1 instead. */
+           if (message_id && strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX) {
+               char *compressed = _message_id_compressed (message_file,
+                                                          message_id);
                talloc_free (message_id);
-               message_id = NULL;
+               message_id = compressed;
            }
        }
 
@@ -1585,6 +1651,13 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
 
        _notmuch_message_add_filename (message, filename);
 
+       /* This is a new message or it has a new filename and as such,
+        * its tags in database either do not exists or might be out
+        * of date. We assign the tags later in notmuch new, but until
+        * then we should not synchronize the tags back to the maildir
+        * flags (if notmuch is configured to do so). */
+       notmuch_message_set_flag(message, NOTMUCH_MESSAGE_FLAG_TAGS_INVALID, TRUE);
+
        /* Is this a newly created message object? */
        if (private_status == NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND) {
            _notmuch_message_add_term (message, "type", "mail");
@@ -1613,7 +1686,8 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
 
   DONE:
     if (message) {
-       if (ret == NOTMUCH_STATUS_SUCCESS && message_ret)
+       if ((ret == NOTMUCH_STATUS_SUCCESS ||
+            ret == NOTMUCH_STATUS_DUPLICATE_MESSAGE_ID) && message_ret)
            *message_ret = message;
        else
            notmuch_message_destroy (message);