]> git.notmuchmail.org Git - notmuch/blobdiff - lib/database.cc
lib: fix clang build warnings
[notmuch] / lib / database.cc
index 2b566f7e3bc8b6eab60410760cde8cd17324a1e9..3974e2ed3a35c1278443095d452dbd1243b7fef2 100644 (file)
@@ -50,8 +50,8 @@ typedef struct {
 
 /* Here's the current schema for our database (for NOTMUCH_DATABASE_VERSION):
  *
- * We currently have two different types of documents (mail and
- * directory) and also some metadata.
+ * We currently have three different types of documents (mail, ghost,
+ * and directory) and also some metadata.
  *
  * Mail document
  * -------------
@@ -109,6 +109,15 @@ typedef struct {
  *
  * The data portion of a mail document is empty.
  *
+ * Ghost mail document [if NOTMUCH_FEATURE_GHOSTS]
+ * -----------------------------------------------
+ * A ghost mail document is like a mail document, but where we don't
+ * have the message content.  These are used to track thread reference
+ * information for messages we haven't received.
+ *
+ * A ghost mail document has type: ghost; id and thread fields that
+ * are identical to the mail document fields; and a MESSAGE_ID value.
+ *
  * Directory document
  * ------------------
  * A directory document is used by a client of the notmuch library to
@@ -172,6 +181,13 @@ typedef struct {
  *                     generated is 1 and the value will be
  *                     incremented for each thread ID.
  *
+ * Obsolete metadata
+ * -----------------
+ *
+ * If ! NOTMUCH_FEATURE_GHOSTS, there are no ghost mail documents.
+ * Instead, the database has the following additional database
+ * metadata:
+ *
  *     thread_id_*     A pre-allocated thread ID for a particular
  *                     message. This is actually an arbitrarily large
  *                     family of metadata name. Any particular name is
@@ -238,6 +254,7 @@ static prefix_t PROBABILISTIC_PREFIX[]= {
     { "from",                  "XFROM" },
     { "to",                    "XTO" },
     { "attachment",            "XATTACHMENT" },
+    { "mimetype",              "XMIMETYPE"},
     { "subject",               "XSUBJECT"},
 };
 
@@ -286,6 +303,13 @@ static const struct {
       "from/subject/message-ID in database", "w" },
     { NOTMUCH_FEATURE_BOOL_FOLDER,
       "exact folder:/path: search", "rw" },
+    { NOTMUCH_FEATURE_GHOSTS,
+      "mail documents for missing messages", "w"},
+    /* Knowledge of the index mime-types are not required for reading
+     * a database because a reader will just be unable to query
+     * them. */
+    { NOTMUCH_FEATURE_INDEXED_MIMETYPES,
+      "indexed MIME types", "w"},
 };
 
 const char *
@@ -316,6 +340,8 @@ notmuch_status_to_string (notmuch_status_t status)
        return "Unbalanced number of calls to notmuch_database_begin_atomic/end_atomic";
     case NOTMUCH_STATUS_UNSUPPORTED_OPERATION:
        return "Unsupported operation";
+    case NOTMUCH_STATUS_UPGRADE_REQUIRED:
+       return "Operation requires a database upgrade";
     default:
     case NOTMUCH_STATUS_LAST_STATUS:
        return "Unknown error status value";
@@ -388,8 +414,8 @@ find_document_for_doc_id (notmuch_database_t *notmuch, unsigned doc_id)
  *
  *     notmuch-sha1-<sha1_sum_of_message_id>
  */
-static char *
-_message_id_compressed (void *ctx, const char *message_id)
+char *
+_notmuch_message_id_compressed (void *ctx, const char *message_id)
 {
     char *sha1, *compressed;
 
@@ -413,7 +439,7 @@ notmuch_database_find_message (notmuch_database_t *notmuch,
        return NOTMUCH_STATUS_NULL_POINTER;
 
     if (strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX)
-       message_id = _message_id_compressed (notmuch, message_id);
+       message_id = _notmuch_message_id_compressed (notmuch, message_id);
 
     try {
        status = _notmuch_database_find_unique_doc_id (notmuch, "id",
@@ -626,9 +652,10 @@ notmuch_database_create (const char *path, notmuch_database_t **database)
     if (status)
        goto DONE;
 
-    /* Upgrade doesn't add this feature to existing databases, but new
-     * databases have it. */
+    /* Upgrade doesn't add these feature to existing databases, but
+     * new databases have them. */
     notmuch->features |= NOTMUCH_FEATURE_FROM_SUBJECT_ID_VALUES;
+    notmuch->features |= NOTMUCH_FEATURE_INDEXED_MIMETYPES;
 
     status = notmuch_database_upgrade (notmuch, NULL, NULL);
     if (status) {
@@ -901,28 +928,30 @@ notmuch_database_close (notmuch_database_t *notmuch)
 {
     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
 
-    try {
-       if (notmuch->xapian_db != NULL &&
-           notmuch->mode == NOTMUCH_DATABASE_MODE_READ_WRITE)
-           (static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db))->flush ();
-    } catch (const Xapian::Error &error) {
-       status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
-       if (! notmuch->exception_reported) {
-           fprintf (stderr, "Error: A Xapian exception occurred flushing database: %s\n",
-                    error.get_msg().c_str());
-       }
-    }
-
     /* Many Xapian objects (and thus notmuch objects) hold references to
      * the database, so merely deleting the database may not suffice to
      * close it.  Thus, we explicitly close it here. */
     if (notmuch->xapian_db != NULL) {
        try {
+           /* If there's an outstanding transaction, it's unclear if
+            * closing the Xapian database commits everything up to
+            * that transaction, or may discard committed (but
+            * unflushed) transactions.  To be certain, explicitly
+            * cancel any outstanding transaction before closing. */
+           if (notmuch->mode == NOTMUCH_DATABASE_MODE_READ_WRITE &&
+               notmuch->atomic_nesting)
+               (static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db))
+                   ->cancel_transaction ();
+
+           /* Close the database.  This implicitly flushes
+            * outstanding changes. */
            notmuch->xapian_db->close();
        } catch (const Xapian::Error &error) {
-           /* don't clobber previous error status */
-           if (status == NOTMUCH_STATUS_SUCCESS)
-               status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
+           status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
+           if (! notmuch->exception_reported) {
+               fprintf (stderr, "Error: A Xapian exception occurred closing database: %s\n",
+                        error.get_msg().c_str());
+           }
        }
     }
 
@@ -1202,12 +1231,14 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
                          void *closure)
 {
     void *local = talloc_new (NULL);
+    Xapian::TermIterator t, t_end;
     Xapian::WritableDatabase *db;
     struct sigaction action;
     struct itimerval timerval;
     notmuch_bool_t timer_is_active = FALSE;
-    unsigned int version;
+    enum _notmuch_features target_features, new_features;
     notmuch_status_t status;
+    notmuch_private_status_t private_status;
     unsigned int count = 0, total = 0;
 
     status = _notmuch_database_ensure_writable (notmuch);
@@ -1216,9 +1247,10 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
 
     db = static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db);
 
-    version = notmuch_database_get_version (notmuch);
+    target_features = notmuch->features | NOTMUCH_FEATURES_CURRENT;
+    new_features = NOTMUCH_FEATURES_CURRENT & ~notmuch->features;
 
-    if (version >= NOTMUCH_DATABASE_VERSION)
+    if (! notmuch_database_needs_upgrade (notmuch))
        return NOTMUCH_STATUS_SUCCESS;
 
     if (progress_notify) {
@@ -1239,22 +1271,40 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        timer_is_active = TRUE;
     }
 
+    /* Figure out how much total work we need to do. */
+    if (new_features &
+       (NOTMUCH_FEATURE_FILE_TERMS | NOTMUCH_FEATURE_BOOL_FOLDER)) {
+       notmuch_query_t *query = notmuch_query_create (notmuch, "");
+       total += notmuch_query_count_messages (query);
+       notmuch_query_destroy (query);
+    }
+    if (new_features & NOTMUCH_FEATURE_DIRECTORY_DOCS) {
+       t_end = db->allterms_end ("XTIMESTAMP");
+       for (t = db->allterms_begin ("XTIMESTAMP"); t != t_end; t++)
+           ++total;
+    }
+    if (new_features & NOTMUCH_FEATURE_GHOSTS) {
+       /* The ghost message upgrade converts all thread_id_*
+        * metadata values into ghost message documents. */
+       t_end = db->metadata_keys_end ("thread_id_");
+       for (t = db->metadata_keys_begin ("thread_id_"); t != t_end; ++t)
+           ++total;
+    }
+
+    /* Perform the upgrade in a transaction. */
+    db->begin_transaction (true);
+
     /* Set the target features so we write out changes in the desired
      * format. */
-    notmuch->features |= NOTMUCH_FEATURES_CURRENT;
+    notmuch->features = target_features;
 
-    /* Before version 1, each message document had its filename in the
-     * data field. Copy that into the new format by calling
-     * notmuch_message_add_filename.
-     */
-    if (version < 1) {
+    /* Perform per-message upgrades. */
+    if (new_features &
+       (NOTMUCH_FEATURE_FILE_TERMS | NOTMUCH_FEATURE_BOOL_FOLDER)) {
        notmuch_query_t *query = notmuch_query_create (notmuch, "");
        notmuch_messages_t *messages;
        notmuch_message_t *message;
        char *filename;
-       Xapian::TermIterator t, t_end;
-
-       total = notmuch_query_count_messages (query);
 
        for (messages = notmuch_query_search_messages (query);
             notmuch_messages_valid (messages);
@@ -1267,12 +1317,27 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
 
            message = notmuch_messages_get (messages);
 
-           filename = _notmuch_message_talloc_copy_data (message);
-           if (filename && *filename != '\0') {
-               _notmuch_message_add_filename (message, filename);
-               _notmuch_message_sync (message);
+           /* Before version 1, each message document had its
+            * filename in the data field. Copy that into the new
+            * format by calling notmuch_message_add_filename.
+            */
+           if (new_features & NOTMUCH_FEATURE_FILE_TERMS) {
+               filename = _notmuch_message_talloc_copy_data (message);
+               if (filename && *filename != '\0') {
+                   _notmuch_message_add_filename (message, filename);
+                   _notmuch_message_clear_data (message);
+               }
+               talloc_free (filename);
            }
-           talloc_free (filename);
+
+           /* Prior to version 2, the "folder:" prefix was
+            * probabilistic and stemmed. Change it to the current
+            * boolean prefix. Add "path:" prefixes while at it.
+            */
+           if (new_features & NOTMUCH_FEATURE_BOOL_FOLDER)
+               _notmuch_message_upgrade_folder (message);
+
+           _notmuch_message_sync (message);
 
            notmuch_message_destroy (message);
 
@@ -1280,11 +1345,14 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        }
 
        notmuch_query_destroy (query);
+    }
 
-       /* Also, before version 1 we stored directory timestamps in
-        * XTIMESTAMP documents instead of the current XDIRECTORY
-        * documents. So copy those as well. */
+    /* Perform per-directory upgrades. */
 
+    /* Before version 1 we stored directory timestamps in
+     * XTIMESTAMP documents instead of the current XDIRECTORY
+     * documents. So copy those as well. */
+    if (new_features & NOTMUCH_FEATURE_DIRECTORY_DOCS) {
        t_end = notmuch->xapian_db->allterms_end ("XTIMESTAMP");
 
        for (t = notmuch->xapian_db->allterms_begin ("XTIMESTAMP");
@@ -1317,107 +1385,72 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
                                                       NOTMUCH_FIND_CREATE, &status);
                notmuch_directory_set_mtime (directory, mtime);
                notmuch_directory_destroy (directory);
-           }
-       }
-    }
 
-    /*
-     * Prior to version 2, the "folder:" prefix was probabilistic and
-     * stemmed. Change it to the current boolean prefix. Add "path:"
-     * prefixes while at it.
-     */
-    if (version < 2) {
-       notmuch_query_t *query = notmuch_query_create (notmuch, "");
-       notmuch_messages_t *messages;
-       notmuch_message_t *message;
-
-       count = 0;
-       total = notmuch_query_count_messages (query);
-
-       for (messages = notmuch_query_search_messages (query);
-            notmuch_messages_valid (messages);
-            notmuch_messages_move_to_next (messages)) {
-           if (do_progress_notify) {
-               progress_notify (closure, (double) count / total);
-               do_progress_notify = 0;
+               db->delete_document (*p);
            }
 
-           message = notmuch_messages_get (messages);
-
-           _notmuch_message_upgrade_folder (message);
-           _notmuch_message_sync (message);
-
-           notmuch_message_destroy (message);
-
-           count++;
+           ++count;
        }
-
-       notmuch_query_destroy (query);
     }
 
-    db->set_metadata ("features", _print_features (local, notmuch->features));
-    db->set_metadata ("version", STRINGIFY (NOTMUCH_DATABASE_VERSION));
-    db->flush ();
+    /* Perform metadata upgrades. */
 
-    /* Now that the upgrade is complete we can remove the old data
-     * and documents that are no longer needed. */
-    if (version < 1) {
-       notmuch_query_t *query = notmuch_query_create (notmuch, "");
-       notmuch_messages_t *messages;
+    /* Prior to NOTMUCH_FEATURE_GHOSTS, thread IDs for missing
+     * messages were stored as database metadata. Change these to
+     * ghost messages.
+     */
+    if (new_features & NOTMUCH_FEATURE_GHOSTS) {
        notmuch_message_t *message;
-       char *filename;
+       std::string message_id, thread_id;
 
-       for (messages = notmuch_query_search_messages (query);
-            notmuch_messages_valid (messages);
-            notmuch_messages_move_to_next (messages))
-       {
+       t_end = db->metadata_keys_end (NOTMUCH_METADATA_THREAD_ID_PREFIX);
+       for (t = db->metadata_keys_begin (NOTMUCH_METADATA_THREAD_ID_PREFIX);
+            t != t_end; ++t) {
            if (do_progress_notify) {
                progress_notify (closure, (double) count / total);
                do_progress_notify = 0;
            }
 
-           message = notmuch_messages_get (messages);
+           message_id = (*t).substr (
+               strlen (NOTMUCH_METADATA_THREAD_ID_PREFIX));
+           thread_id = db->get_metadata (*t);
+
+           /* Create ghost message */
+           message = _notmuch_message_create_for_message_id (
+               notmuch, message_id.c_str (), &private_status);
+           if (private_status == NOTMUCH_PRIVATE_STATUS_SUCCESS) {
+               /* Document already exists; ignore the stored thread ID */
+           } else if (private_status ==
+                      NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND) {
+               private_status = _notmuch_message_initialize_ghost (
+                   message, thread_id.c_str ());
+               if (! private_status)
+                   _notmuch_message_sync (message);
+           }
 
-           filename = _notmuch_message_talloc_copy_data (message);
-           if (filename && *filename != '\0') {
-               _notmuch_message_clear_data (message);
-               _notmuch_message_sync (message);
+           if (private_status) {
+               fprintf (stderr,
+                        "Upgrade failed while creating ghost messages.\n");
+               status = COERCE_STATUS (private_status, "Unexpected status from _notmuch_message_initialize_ghost");
+               goto DONE;
            }
-           talloc_free (filename);
 
-           notmuch_message_destroy (message);
-       }
+           /* Clear saved metadata thread ID */
+           db->set_metadata (*t, "");
 
-       notmuch_query_destroy (query);
+           ++count;
+       }
     }
 
-    if (version < 1) {
-       Xapian::TermIterator t, t_end;
-
-       t_end = notmuch->xapian_db->allterms_end ("XTIMESTAMP");
-
-       for (t = notmuch->xapian_db->allterms_begin ("XTIMESTAMP");
-            t != t_end;
-            t++)
-       {
-           Xapian::PostingIterator p, p_end;
-           std::string term = *t;
-
-           p_end = notmuch->xapian_db->postlist_end (term);
-
-           for (p = notmuch->xapian_db->postlist_begin (term);
-                p != p_end;
-                p++)
-           {
-               if (do_progress_notify) {
-                   progress_notify (closure, (double) count / total);
-                   do_progress_notify = 0;
-               }
+    status = NOTMUCH_STATUS_SUCCESS;
+    db->set_metadata ("features", _print_features (local, notmuch->features));
+    db->set_metadata ("version", STRINGIFY (NOTMUCH_DATABASE_VERSION));
 
-               db->delete_document (*p);
-           }
-       }
-    }
+ DONE:
+    if (status == NOTMUCH_STATUS_SUCCESS)
+       db->commit_transaction ();
+    else
+       db->cancel_transaction ();
 
     if (timer_is_active) {
        /* Now stop the timer. */
@@ -1433,7 +1466,7 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
     }
 
     talloc_free (local);
-    return NOTMUCH_STATUS_SUCCESS;
+    return status;
 }
 
 notmuch_status_t
@@ -1782,12 +1815,18 @@ static char *
 _get_metadata_thread_id_key (void *ctx, const char *message_id)
 {
     if (strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX)
-       message_id = _message_id_compressed (ctx, message_id);
+       message_id = _notmuch_message_id_compressed (ctx, message_id);
 
     return talloc_asprintf (ctx, NOTMUCH_METADATA_THREAD_ID_PREFIX "%s",
                            message_id);
 }
 
+static notmuch_status_t
+_resolve_message_id_to_thread_id_old (notmuch_database_t *notmuch,
+                                     void *ctx,
+                                     const char *message_id,
+                                     const char **thread_id_ret);
+
 /* Find the thread ID to which the message with 'message_id' belongs.
  *
  * Note: 'thread_id_ret' must not be NULL!
@@ -1796,15 +1835,58 @@ _get_metadata_thread_id_key (void *ctx, const char *message_id)
  *
  * Note: If there is no message in the database with the given
  * 'message_id' then a new thread_id will be allocated for this
- * message and stored in the database metadata, (where this same
+ * message ID and stored in the database metadata so that the
  * thread ID can be looked up if the message is added to the database
- * later).
+ * later.
  */
 static notmuch_status_t
 _resolve_message_id_to_thread_id (notmuch_database_t *notmuch,
                                  void *ctx,
                                  const char *message_id,
                                  const char **thread_id_ret)
+{
+    notmuch_private_status_t status;
+    notmuch_message_t *message;
+
+    if (! (notmuch->features & NOTMUCH_FEATURE_GHOSTS))
+       return _resolve_message_id_to_thread_id_old (notmuch, ctx, message_id,
+                                                    thread_id_ret);
+
+    /* Look for this message (regular or ghost) */
+    message = _notmuch_message_create_for_message_id (
+       notmuch, message_id, &status);
+    if (status == NOTMUCH_PRIVATE_STATUS_SUCCESS) {
+       /* Message exists */
+       *thread_id_ret = talloc_steal (
+           ctx, notmuch_message_get_thread_id (message));
+    } else if (status == NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND) {
+       /* Message did not exist.  Give it a fresh thread ID and
+        * populate this message as a ghost message. */
+       *thread_id_ret = talloc_strdup (
+           ctx, _notmuch_database_generate_thread_id (notmuch));
+       if (! *thread_id_ret) {
+           status = NOTMUCH_PRIVATE_STATUS_OUT_OF_MEMORY;
+       } else {
+           status = _notmuch_message_initialize_ghost (message, *thread_id_ret);
+           if (status == 0)
+               /* Commit the new ghost message */
+               _notmuch_message_sync (message);
+       }
+    } else {
+       /* Create failed. Fall through. */
+    }
+
+    notmuch_message_destroy (message);
+
+    return COERCE_STATUS (status, "Error creating ghost message");
+}
+
+/* Pre-ghost messages _resolve_message_id_to_thread_id */
+static notmuch_status_t
+_resolve_message_id_to_thread_id_old (notmuch_database_t *notmuch,
+                                     void *ctx,
+                                     const char *message_id,
+                                     const char **thread_id_ret)
 {
     notmuch_status_t status;
     notmuch_message_t *message;
@@ -2012,13 +2094,47 @@ _notmuch_database_link_message_to_children (notmuch_database_t *notmuch,
     return ret;
 }
 
-/* Given a (mostly empty) 'message' and its corresponding
+/* Fetch and clear the stored thread_id for message, or NULL if none. */
+static char *
+_consume_metadata_thread_id (void *ctx, notmuch_database_t *notmuch,
+                            notmuch_message_t *message)
+{
+    const char *message_id;
+    string stored_id;
+    char *metadata_key;
+
+    message_id = notmuch_message_get_message_id (message);
+    metadata_key = _get_metadata_thread_id_key (ctx, message_id);
+
+    /* Check if we have already seen related messages to this one.
+     * If we have then use the thread_id that we stored at that time.
+     */
+    stored_id = notmuch->xapian_db->get_metadata (metadata_key);
+    if (stored_id.empty ()) {
+       return NULL;
+    } else {
+        Xapian::WritableDatabase *db;
+
+       db = static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db);
+
+       /* Clear the metadata for this message ID. We don't need it
+        * anymore. */
+        db->set_metadata (metadata_key, "");
+
+        return talloc_strdup (ctx, stored_id.c_str ());
+    }
+}
+
+/* Given a blank or ghost 'message' and its corresponding
  * 'message_file' link it to existing threads in the database.
  *
- * The first check is in the metadata of the database to see if we
- * have pre-allocated a thread_id in advance for this message, (which
- * would have happened if a message was previously added that
- * referenced this one).
+ * First, if is_ghost, this retrieves the thread ID already stored in
+ * the message (which will be the case if a message was previously
+ * added that referenced this one).  If the message is blank
+ * (!is_ghost), it doesn't have a thread ID yet (we'll generate one
+ * later in this function).  If the database does not support ghost
+ * messages, this checks for a thread ID stored in database metadata
+ * for this message ID.
  *
  * Second, we look at 'message_file' and its link-relevant headers
  * (References and In-Reply-To) for message IDs.
@@ -2026,12 +2142,12 @@ _notmuch_database_link_message_to_children (notmuch_database_t *notmuch,
  * Finally, we look in the database for existing message that
  * reference 'message'.
  *
- * In all cases, we assign to the current message the first thread_id
- * found (through either parent or child). We will also merge any
- * existing, distinct threads where this message belongs to both,
- * (which is not uncommon when messages are processed out of order).
+ * In all cases, we assign to the current message the first thread ID
+ * found. We will also merge any existing, distinct threads where this
+ * message belongs to both, (which is not uncommon when messages are
+ * processed out of order).
  *
- * Finally, if no thread ID has been found through parent or child, we
+ * Finally, if no thread ID has been found through referenced messages, we
  * call _notmuch_message_generate_thread_id to generate a new thread
  * ID. This should only happen for new, top-level messages, (no
  * References or In-Reply-To header in this message, and no previously
@@ -2040,44 +2156,46 @@ _notmuch_database_link_message_to_children (notmuch_database_t *notmuch,
 static notmuch_status_t
 _notmuch_database_link_message (notmuch_database_t *notmuch,
                                notmuch_message_t *message,
-                               notmuch_message_file_t *message_file)
+                               notmuch_message_file_t *message_file,
+                               notmuch_bool_t is_ghost)
 {
+    void *local = talloc_new (NULL);
     notmuch_status_t status;
-    const char *message_id, *thread_id = NULL;
-    char *metadata_key;
-    string stored_id;
-
-    message_id = notmuch_message_get_message_id (message);
-    metadata_key = _get_metadata_thread_id_key (message, message_id);
-
-    /* Check if we have already seen related messages to this one.
-     * If we have then use the thread_id that we stored at that time.
-     */
-    stored_id = notmuch->xapian_db->get_metadata (metadata_key);
-    if (! stored_id.empty()) {
-        Xapian::WritableDatabase *db;
-
-       db = static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db);
+    const char *thread_id = NULL;
 
-       /* Clear the metadata for this message ID. We don't need it
-        * anymore. */
-        db->set_metadata (metadata_key, "");
-        thread_id = stored_id.c_str();
-
-        _notmuch_message_add_term (message, "thread", thread_id);
+    /* Check if the message already had a thread ID */
+    if (notmuch->features & NOTMUCH_FEATURE_GHOSTS) {
+       if (is_ghost)
+           thread_id = notmuch_message_get_thread_id (message);
+    } else {
+       thread_id = _consume_metadata_thread_id (local, notmuch, message);
+       if (thread_id)
+           _notmuch_message_add_term (message, "thread", thread_id);
     }
-    talloc_free (metadata_key);
 
     status = _notmuch_database_link_message_to_parents (notmuch, message,
                                                        message_file,
                                                        &thread_id);
     if (status)
-       return status;
+       goto DONE;
 
-    status = _notmuch_database_link_message_to_children (notmuch, message,
-                                                        &thread_id);
-    if (status)
-       return status;
+    if (! (notmuch->features & NOTMUCH_FEATURE_GHOSTS)) {
+       /* In general, it shouldn't be necessary to link children,
+        * since the earlier indexing of those children will have
+        * stored a thread ID for the missing parent.  However, prior
+        * to ghost messages, these stored thread IDs were NOT
+        * rewritten during thread merging (and there was no
+        * performant way to do so), so if indexed children were
+        * pulled into a different thread ID by a merge, it was
+        * necessary to pull them *back* into the stored thread ID of
+        * the parent.  With ghost messages, we just rewrite the
+        * stored thread IDs during merging, so this workaround isn't
+        * necessary. */
+       status = _notmuch_database_link_message_to_children (notmuch, message,
+                                                            &thread_id);
+       if (status)
+           goto DONE;
+    }
 
     /* If not part of any existing thread, generate a new thread ID. */
     if (thread_id == NULL) {
@@ -2086,7 +2204,10 @@ _notmuch_database_link_message (notmuch_database_t *notmuch,
        _notmuch_message_add_term (message, "thread", thread_id);
     }
 
-    return NOTMUCH_STATUS_SUCCESS;
+ DONE:
+    talloc_free (local);
+
+    return status;
 }
 
 notmuch_status_t
@@ -2098,6 +2219,7 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
     notmuch_message_t *message = NULL;
     notmuch_status_t ret = NOTMUCH_STATUS_SUCCESS, ret2;
     notmuch_private_status_t private_status;
+    notmuch_bool_t is_ghost = false;
 
     const char *date, *header;
     const char *from, *to, *subject;
@@ -2154,14 +2276,6 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
             * better than no message-id at all. */
            if (message_id == NULL)
                message_id = talloc_strdup (message_file, header);
-
-           /* If a message ID is too long, substitute its sha1 instead. */
-           if (message_id && strlen (message_id) > NOTMUCH_MESSAGE_ID_MAX) {
-               char *compressed = _message_id_compressed (message_file,
-                                                          message_id);
-               talloc_free (message_id);
-               message_id = compressed;
-           }
        }
 
        if (message_id == NULL ) {
@@ -2198,12 +2312,20 @@ notmuch_database_add_message (notmuch_database_t *notmuch,
 
        _notmuch_message_add_filename (message, filename);
 
-       /* Is this a newly created message object? */
-       if (private_status == NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND) {
+       /* Is this a newly created message object or a ghost
+        * message?  We have to be slightly careful: if this is a
+        * blank message, it's not safe to call
+        * notmuch_message_get_flag yet. */
+       if (private_status == NOTMUCH_PRIVATE_STATUS_NO_DOCUMENT_FOUND ||
+           (is_ghost = notmuch_message_get_flag (
+               message, NOTMUCH_MESSAGE_FLAG_GHOST))) {
            _notmuch_message_add_term (message, "type", "mail");
+           if (is_ghost)
+               /* Convert ghost message to a regular message */
+               _notmuch_message_remove_term (message, "type", "ghost");
 
            ret = _notmuch_database_link_message (notmuch, message,
-                                                 message_file);
+                                                 message_file, is_ghost);
            if (ret)
                goto DONE;
 
@@ -2284,6 +2406,9 @@ notmuch_database_find_message_by_filename (notmuch_database_t *notmuch,
     if (message_ret == NULL)
        return NOTMUCH_STATUS_NULL_POINTER;
 
+    if (! (notmuch->features & NOTMUCH_FEATURE_FILE_TERMS))
+       return NOTMUCH_STATUS_UPGRADE_REQUIRED;
+
     /* return NULL on any failure */
     *message_ret = NULL;