]> git.notmuchmail.org Git - notmuch/blobdiff - notmuch-new.c
new: Cleanup. Put removed/renamed message count in add_files_state_t.
[notmuch] / notmuch-new.c
index c1805916671e340412ba40345f8aadd17a4b2318..c7dfbb748fb9d50f878795acaabedae22677a383 100644 (file)
@@ -24,6 +24,7 @@
 
 typedef struct _filename_node {
     char *filename;
+    time_t mtime;
     struct _filename_node *next;
 } _filename_node_t;
 
@@ -41,11 +42,12 @@ typedef struct {
 
     int total_files;
     int processed_files;
-    int added_messages;
+    int added_messages, removed_messages, renamed_messages;
     struct timeval tv_start;
 
     _filename_list_t *removed_files;
     _filename_list_t *removed_directories;
+    _filename_list_t *directory_mtimes;
 
     notmuch_bool_t synchronize_flags;
     _filename_list_t *message_ids_to_sync;
@@ -86,7 +88,7 @@ _filename_list_create (const void *ctx)
     return list;
 }
 
-static void
+static _filename_node_t *
 _filename_list_add (_filename_list_t *list,
                    const char *filename)
 {
@@ -99,6 +101,8 @@ _filename_list_add (_filename_list_t *list,
 
     *(list->tail) = node;
     list->tail = &node->next;
+
+    return node;
 }
 
 static void
@@ -256,6 +260,25 @@ add_files_recursive (notmuch_database_t *notmuch,
 
     new_directory = db_mtime ? FALSE : TRUE;
 
+    /* XXX This is a temporary workaround.  If we don't update the
+     * database mtime until after processing messages in this
+     * directory, then a 0 mtime is *not* sufficient to indicate that
+     * this directory has no messages or subdirs in the database (for
+     * example, if an earlier run skipped the mtime update because
+     * fs_mtime == stat_time, or was interrupted before updating the
+     * mtime at the end).  To address this, we record a (bogus)
+     * non-zero value before processing any child messages so that a
+     * later run won't mistake this for a new directory (and, for
+     * example, fail to detect removed files and subdirs).
+     *
+     * A better solution would be for notmuch_database_get_directory
+     * to indicate if it really created a new directory or not, either
+     * by a new out-argument, or by recording this information and
+     * providing an accessor.
+     */
+    if (new_directory)
+       notmuch_directory_set_mtime (directory, -1);
+
     /* If the database knows about this directory, then we sort based
      * on strcmp to match the database sorting. Otherwise, we can do
      * inode-based sorting for faster filesystem operation. */
@@ -465,6 +488,7 @@ add_files_recursive (notmuch_database_t *notmuch,
        case NOTMUCH_STATUS_NULL_POINTER:
        case NOTMUCH_STATUS_TAG_TOO_LONG:
        case NOTMUCH_STATUS_UNBALANCED_FREEZE_THAW:
+       case NOTMUCH_STATUS_UNBALANCED_ATOMIC:
        case NOTMUCH_STATUS_LAST_STATUS:
            INTERNAL_ERROR ("add_message returned unexpected value: %d",  status);
            goto DONE;
@@ -516,22 +540,9 @@ add_files_recursive (notmuch_database_t *notmuch,
      * when we stat'ed the directory, we skip updating the mtime in
      * the database because a message could be delivered later in this
      * same second.  This may lead to unnecessary re-scans, but it
-     * avoids overlooking messages.
-     *
-     * XXX Bug workaround: If this is a new directory, we *must*
-     * update the mtime; otherwise the next run will see the 0 mtime
-     * and think this is still a new directory containing no files or
-     * subdirs (which is unsound in general).  If fs_mtime ==
-     * stat_time, we set the database mtime to a bogus (but non-zero!)
-     * value to force a rescan.
-     */
-    if (new_directory && fs_mtime == stat_time)
-       fs_mtime = 1;
-    if (! interrupted && fs_mtime != stat_time) {
-       status = notmuch_directory_set_mtime (directory, fs_mtime);
-       if (status && ret == NOTMUCH_STATUS_SUCCESS)
-           ret = status;
-    }
+     * avoids overlooking messages. */
+    if (fs_mtime != stat_time)
+       _filename_list_add (state->directory_mtimes, path)->mtime = fs_mtime;
 
   DONE:
     if (next)
@@ -719,8 +730,7 @@ static void
 _remove_directory (void *ctx,
                   notmuch_database_t *notmuch,
                   const char *path,
-                  int *renamed_files,
-                  int *removed_files)
+                  add_files_state_t *add_files_state)
 {
     notmuch_directory_t *directory;
     notmuch_filenames_t *files, *subdirs;
@@ -737,9 +747,9 @@ _remove_directory (void *ctx,
                                    notmuch_filenames_get (files));
        status = notmuch_database_remove_message (notmuch, absolute);
        if (status == NOTMUCH_STATUS_DUPLICATE_MESSAGE_ID)
-           *renamed_files = *renamed_files + 1;
+           add_files_state->renamed_messages++;
        else
-           *removed_files = *removed_files + 1;
+           add_files_state->removed_messages++;
        talloc_free (absolute);
     }
 
@@ -749,7 +759,7 @@ _remove_directory (void *ctx,
     {
        absolute = talloc_asprintf (ctx, "%s/%s", path,
                                    notmuch_filenames_get (subdirs));
-       _remove_directory (ctx, notmuch, absolute, renamed_files, removed_files);
+       _remove_directory (ctx, notmuch, absolute, add_files_state);
        talloc_free (absolute);
     }
 
@@ -770,7 +780,6 @@ notmuch_new_command (void *ctx, int argc, char *argv[])
     char *dot_notmuch_path;
     struct sigaction action;
     _filename_node_t *f;
-    int renamed_files, removed_files;
     notmuch_status_t status;
     int i;
     notmuch_bool_t timer_is_active = FALSE;
@@ -843,10 +852,12 @@ notmuch_new_command (void *ctx, int argc, char *argv[])
 
     add_files_state.processed_files = 0;
     add_files_state.added_messages = 0;
+    add_files_state.removed_messages = add_files_state.renamed_messages = 0;
     gettimeofday (&add_files_state.tv_start, NULL);
 
     add_files_state.removed_files = _filename_list_create (ctx);
     add_files_state.removed_directories = _filename_list_create (ctx);
+    add_files_state.directory_mtimes = _filename_list_create (ctx);
 
     if (! debugger_is_active () && add_files_state.output_is_a_tty
        && ! add_files_state.verbose) {
@@ -856,27 +867,24 @@ notmuch_new_command (void *ctx, int argc, char *argv[])
 
     ret = add_files (notmuch, db_path, &add_files_state);
 
-    removed_files = 0;
-    renamed_files = 0;
     gettimeofday (&tv_start, NULL);
-    for (f = add_files_state.removed_files->head; f; f = f->next) {
+    for (f = add_files_state.removed_files->head; f && !interrupted; f = f->next) {
        status = notmuch_database_remove_message (notmuch, f->filename);
        if (status == NOTMUCH_STATUS_DUPLICATE_MESSAGE_ID)
-           renamed_files++;
+           add_files_state.renamed_messages++;
        else
-           removed_files++;
+           add_files_state.removed_messages++;
        if (do_print_progress) {
            do_print_progress = 0;
            generic_print_progress ("Cleaned up", "messages",
-               tv_start, removed_files + renamed_files,
+               tv_start, add_files_state.removed_messages + add_files_state.renamed_messages,
                add_files_state.removed_files->count);
        }
     }
 
     gettimeofday (&tv_start, NULL);
-    for (f = add_files_state.removed_directories->head, i = 0; f; f = f->next, i++) {
-       _remove_directory (ctx, notmuch, f->filename,
-                          &renamed_files, &removed_files);
+    for (f = add_files_state.removed_directories->head, i = 0; f && !interrupted; f = f->next, i++) {
+       _remove_directory (ctx, notmuch, f->filename, &add_files_state);
        if (do_print_progress) {
            do_print_progress = 0;
            generic_print_progress ("Cleaned up", "directories",
@@ -885,8 +893,18 @@ notmuch_new_command (void *ctx, int argc, char *argv[])
        }
     }
 
+    for (f = add_files_state.directory_mtimes->head; f && !interrupted; f = f->next) {
+       notmuch_directory_t *directory;
+       directory = notmuch_database_get_directory (notmuch, f->filename);
+       if (directory) {
+           notmuch_directory_set_mtime (directory, f->mtime);
+           notmuch_directory_destroy (directory);
+       }
+    }
+
     talloc_free (add_files_state.removed_files);
     talloc_free (add_files_state.removed_directories);
+    talloc_free (add_files_state.directory_mtimes);
 
     /* Now that removals are done (hence the database is aware of all
      * renames), we can synchronize maildir_flags to tags for all
@@ -943,16 +961,16 @@ notmuch_new_command (void *ctx, int argc, char *argv[])
        printf ("No new mail.");
     }
 
-    if (removed_files) {
+    if (add_files_state.removed_messages) {
        printf (" Removed %d %s.",
-               removed_files,
-               removed_files == 1 ? "message" : "messages");
+               add_files_state.removed_messages,
+               add_files_state.removed_messages == 1 ? "message" : "messages");
     }
 
-    if (renamed_files) {
+    if (add_files_state.renamed_messages) {
        printf (" Detected %d file %s.",
-               renamed_files,
-               renamed_files == 1 ? "rename" : "renames");
+               add_files_state.renamed_messages,
+               add_files_state.renamed_messages == 1 ? "rename" : "renames");
     }
 
     printf ("\n");