]> git.notmuchmail.org Git - notmuch/blobdiff - notmuch-index-message.cc
Fix a one-time memory leak.
[notmuch] / notmuch-index-message.cc
index f16bd1adef052426732cc9a920c1d9325c2d4584..dfb1825edccb578566b8a33105a508710feb9119 100644 (file)
@@ -128,7 +128,40 @@ find_prefix (const char *name)
     return "";
 }
 
-int TERM_COMBINED = 0;
+/* "128 bits of thread-id ought to be enough for anybody" */
+#define NOTMUCH_THREAD_ID_BITS  128
+#define NOTMUCH_THREAD_ID_DIGITS (NOTMUCH_THREAD_ID_BITS / 4)
+typedef struct _thread_id {
+    char str[NOTMUCH_THREAD_ID_DIGITS + 1];
+} thread_id_t;
+
+static void
+thread_id_generate (thread_id_t *thread_id)
+{
+    FILE *urandom;
+    uint32_t value;
+    char *s;
+    int i;
+
+    urandom = fopen ("/dev/urandom", "r");
+    if (urandom == NULL) {
+       fprintf (stderr, "Error opening /dev/urandom: %s\n",
+                strerror (errno));
+       fprintf (stderr, "Perhaps notmuch needs some portability fixes for your platform?\n");
+       exit (1);
+    }
+
+    s = thread_id->str;
+    for (i = 0; i < NOTMUCH_THREAD_ID_DIGITS; i += 8) {
+       fread ((void *) &value, sizeof (value), 1, urandom);
+       sprintf (s, "%08x", value);
+       s += 8;
+    }
+
+    fclose (urandom);
+
+    printf ("Generated thread id: %s\n", thread_id->str);
+}
 
 static void
 add_term (Xapian::Document doc,
@@ -453,6 +486,10 @@ gen_terms_body_str (Xapian::TermGenerator term_gen,
        while (*next_line == '\n')
            next_line++;
 
+       /* Skip blank lines. */
+       if (line_end < line)
+           continue;
+
        /* Skip lines that are quotes. */
        if (*line == '>')
            continue;
@@ -690,9 +727,13 @@ index_file (Xapian::WritableDatabase db,
 
        g_string_free (thread_id, TRUE);
     } else if (message_id) {
-       /* If not referenced thread, use the message ID */
-       add_term (doc, "thread", message_id);
-       doc.add_value (NOTMUCH_VALUE_THREAD, message_id);
+       /* If not part of any existing thread, generate a new thread_id. */
+       thread_id_t thread_id;
+
+       thread_id_generate (&thread_id);
+
+       add_term (doc, "thread", thread_id.str);
+       doc.add_value (NOTMUCH_VALUE_THREAD, thread_id.str);
     }
 
     doc.add_value (NOTMUCH_VALUE_DATE, Xapian::sortable_serialise (time));
@@ -722,7 +763,8 @@ main (int argc, char **argv)
     GIOStatus gio_status;
     GError *error = NULL;
     int count;
-    struct timeval tv_start, tv_now;
+    struct timeval tv_start, tv_last, tv_now;
+    double elapsed;
 
     if (argc < 2) {
        usage (argv[0]);
@@ -747,6 +789,7 @@ main (int argc, char **argv)
        count = 0;
 
        gettimeofday (&tv_start, NULL);
+       tv_last = tv_start;
 
        while (1) {
            gio_status = g_io_channel_read_line (channel, &filename,
@@ -768,11 +811,20 @@ main (int argc, char **argv)
            if (count % 1000 == 0) {
                gettimeofday (&tv_now, NULL);
                printf ("Indexed %d messages (%g messages/second)\n",
-                       count, count / ((tv_now.tv_sec - tv_start.tv_sec) +
-                                       (tv_now.tv_usec - tv_start.tv_usec) / 1e6));
+                       count, 1000 / ((tv_now.tv_sec - tv_last.tv_sec) +
+                                      (tv_now.tv_usec - tv_last.tv_usec) / 1e6));
+               tv_last = tv_now;
            }
        }
 
+       g_io_channel_unref (channel);
+
+       gettimeofday (&tv_now, NULL);
+       elapsed = (tv_now.tv_sec - tv_start.tv_sec +
+                  (tv_now.tv_usec - tv_start.tv_usec) / 1e6);
+       printf ("Completed indexing of %d messages in %g seconds (%g messages/second)\n",
+               count, elapsed, count / elapsed);
+
     } catch (const Xapian::Error &error) {
        cerr << "A Xapian exception occurred: " << error.get_msg () << endl;
        exit (1);