]> git.notmuchmail.org Git - notmuch/blobdiff - lib/database.cc
test: Port atomicity test to Python
[notmuch] / lib / database.cc
index 1e46fc871b911833b1e1fe76464c592ba7e3a1e5..a47a71d56d90ec2e017a54dab93fd3305e43f90e 100644 (file)
@@ -316,6 +316,8 @@ notmuch_status_to_string (notmuch_status_t status)
        return "Unbalanced number of calls to notmuch_database_begin_atomic/end_atomic";
     case NOTMUCH_STATUS_UNSUPPORTED_OPERATION:
        return "Unsupported operation";
+    case NOTMUCH_STATUS_UPGRADE_REQUIRED:
+       return "Operation requires a database upgrade";
     default:
     case NOTMUCH_STATUS_LAST_STATUS:
        return "Unknown error status value";
@@ -901,28 +903,30 @@ notmuch_database_close (notmuch_database_t *notmuch)
 {
     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
 
-    try {
-       if (notmuch->xapian_db != NULL &&
-           notmuch->mode == NOTMUCH_DATABASE_MODE_READ_WRITE)
-           (static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db))->flush ();
-    } catch (const Xapian::Error &error) {
-       status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
-       if (! notmuch->exception_reported) {
-           fprintf (stderr, "Error: A Xapian exception occurred flushing database: %s\n",
-                    error.get_msg().c_str());
-       }
-    }
-
     /* Many Xapian objects (and thus notmuch objects) hold references to
      * the database, so merely deleting the database may not suffice to
      * close it.  Thus, we explicitly close it here. */
     if (notmuch->xapian_db != NULL) {
        try {
+           /* If there's an outstanding transaction, it's unclear if
+            * closing the Xapian database commits everything up to
+            * that transaction, or may discard committed (but
+            * unflushed) transactions.  To be certain, explicitly
+            * cancel any outstanding transaction before closing. */
+           if (notmuch->mode == NOTMUCH_DATABASE_MODE_READ_WRITE &&
+               notmuch->atomic_nesting)
+               (static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db))
+                   ->cancel_transaction ();
+
+           /* Close the database.  This implicitly flushes
+            * outstanding changes. */
            notmuch->xapian_db->close();
        } catch (const Xapian::Error &error) {
-           /* don't clobber previous error status */
-           if (status == NOTMUCH_STATUS_SUCCESS)
-               status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
+           status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
+           if (! notmuch->exception_reported) {
+               fprintf (stderr, "Error: A Xapian exception occurred closing database: %s\n",
+                        error.get_msg().c_str());
+           }
        }
     }
 
@@ -1202,11 +1206,12 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
                          void *closure)
 {
     void *local = talloc_new (NULL);
+    Xapian::TermIterator t, t_end;
     Xapian::WritableDatabase *db;
     struct sigaction action;
     struct itimerval timerval;
     notmuch_bool_t timer_is_active = FALSE;
-    unsigned int version;
+    enum _notmuch_features target_features, new_features;
     notmuch_status_t status;
     unsigned int count = 0, total = 0;
 
@@ -1216,9 +1221,10 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
 
     db = static_cast <Xapian::WritableDatabase *> (notmuch->xapian_db);
 
-    version = notmuch_database_get_version (notmuch);
+    target_features = notmuch->features | NOTMUCH_FEATURES_CURRENT;
+    new_features = NOTMUCH_FEATURES_CURRENT & ~notmuch->features;
 
-    if (version >= NOTMUCH_DATABASE_VERSION)
+    if (! notmuch_database_needs_upgrade (notmuch))
        return NOTMUCH_STATUS_SUCCESS;
 
     if (progress_notify) {
@@ -1239,25 +1245,33 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        timer_is_active = TRUE;
     }
 
+    /* Figure out how much total work we need to do. */
+    if (new_features &
+       (NOTMUCH_FEATURE_FILE_TERMS | NOTMUCH_FEATURE_BOOL_FOLDER)) {
+       notmuch_query_t *query = notmuch_query_create (notmuch, "");
+       total += notmuch_query_count_messages (query);
+       notmuch_query_destroy (query);
+    }
+    if (new_features & NOTMUCH_FEATURE_DIRECTORY_DOCS) {
+       t_end = db->allterms_end ("XTIMESTAMP");
+       for (t = db->allterms_begin ("XTIMESTAMP"); t != t_end; t++)
+           ++total;
+    }
+
     /* Perform the upgrade in a transaction. */
     db->begin_transaction (true);
 
     /* Set the target features so we write out changes in the desired
      * format. */
-    notmuch->features |= NOTMUCH_FEATURES_CURRENT;
+    notmuch->features = target_features;
 
-    /* Before version 1, each message document had its filename in the
-     * data field. Copy that into the new format by calling
-     * notmuch_message_add_filename.
-     */
-    if (version < 1) {
+    /* Perform per-message upgrades. */
+    if (new_features &
+       (NOTMUCH_FEATURE_FILE_TERMS | NOTMUCH_FEATURE_BOOL_FOLDER)) {
        notmuch_query_t *query = notmuch_query_create (notmuch, "");
        notmuch_messages_t *messages;
        notmuch_message_t *message;
        char *filename;
-       Xapian::TermIterator t, t_end;
-
-       total = notmuch_query_count_messages (query);
 
        for (messages = notmuch_query_search_messages (query);
             notmuch_messages_valid (messages);
@@ -1270,13 +1284,27 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
 
            message = notmuch_messages_get (messages);
 
-           filename = _notmuch_message_talloc_copy_data (message);
-           if (filename && *filename != '\0') {
-               _notmuch_message_add_filename (message, filename);
-               _notmuch_message_clear_data (message);
-               _notmuch_message_sync (message);
+           /* Before version 1, each message document had its
+            * filename in the data field. Copy that into the new
+            * format by calling notmuch_message_add_filename.
+            */
+           if (new_features & NOTMUCH_FEATURE_FILE_TERMS) {
+               filename = _notmuch_message_talloc_copy_data (message);
+               if (filename && *filename != '\0') {
+                   _notmuch_message_add_filename (message, filename);
+                   _notmuch_message_clear_data (message);
+               }
+               talloc_free (filename);
            }
-           talloc_free (filename);
+
+           /* Prior to version 2, the "folder:" prefix was
+            * probabilistic and stemmed. Change it to the current
+            * boolean prefix. Add "path:" prefixes while at it.
+            */
+           if (new_features & NOTMUCH_FEATURE_BOOL_FOLDER)
+               _notmuch_message_upgrade_folder (message);
+
+           _notmuch_message_sync (message);
 
            notmuch_message_destroy (message);
 
@@ -1284,11 +1312,14 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
        }
 
        notmuch_query_destroy (query);
+    }
 
-       /* Also, before version 1 we stored directory timestamps in
-        * XTIMESTAMP documents instead of the current XDIRECTORY
-        * documents. So copy those as well. */
+    /* Perform per-directory upgrades. */
 
+    /* Before version 1 we stored directory timestamps in
+     * XTIMESTAMP documents instead of the current XDIRECTORY
+     * documents. So copy those as well. */
+    if (new_features & NOTMUCH_FEATURE_DIRECTORY_DOCS) {
        t_end = notmuch->xapian_db->allterms_end ("XTIMESTAMP");
 
        for (t = notmuch->xapian_db->allterms_begin ("XTIMESTAMP");
@@ -1324,41 +1355,9 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,
 
                db->delete_document (*p);
            }
-       }
-    }
-
-    /*
-     * Prior to version 2, the "folder:" prefix was probabilistic and
-     * stemmed. Change it to the current boolean prefix. Add "path:"
-     * prefixes while at it.
-     */
-    if (version < 2) {
-       notmuch_query_t *query = notmuch_query_create (notmuch, "");
-       notmuch_messages_t *messages;
-       notmuch_message_t *message;
-
-       count = 0;
-       total = notmuch_query_count_messages (query);
-
-       for (messages = notmuch_query_search_messages (query);
-            notmuch_messages_valid (messages);
-            notmuch_messages_move_to_next (messages)) {
-           if (do_progress_notify) {
-               progress_notify (closure, (double) count / total);
-               do_progress_notify = 0;
-           }
-
-           message = notmuch_messages_get (messages);
-
-           _notmuch_message_upgrade_folder (message);
-           _notmuch_message_sync (message);
 
-           notmuch_message_destroy (message);
-
-           count++;
+           ++count;
        }
-
-       notmuch_query_destroy (query);
     }
 
     db->set_metadata ("features", _print_features (local, notmuch->features));
@@ -2231,6 +2230,9 @@ notmuch_database_find_message_by_filename (notmuch_database_t *notmuch,
     if (message_ret == NULL)
        return NOTMUCH_STATUS_NULL_POINTER;
 
+    if (! (notmuch->features & NOTMUCH_FEATURE_FILE_TERMS))
+       return NOTMUCH_STATUS_UPGRADE_REQUIRED;
+
     /* return NULL on any failure */
     *message_ret = NULL;