]> git.notmuchmail.org Git - notmuch/blobdiff - lib/thread.cc
Optimize thread search using matched docid sets.
[notmuch] / lib / thread.cc
index baa9e7e84e78ee082703447a0b2cb0386bb89ea8..b29f2c92a3fd5c8856455e655669c806bf0253ee 100644 (file)
@@ -21,8 +21,6 @@
 #include "notmuch-private.h"
 #include "database-private.h"
 
-#include <xapian.h>
-
 #include <gmime/gmime.h>
 #include <glib.h> /* GHashTable */
 
@@ -31,6 +29,9 @@ struct _notmuch_thread {
     char *thread_id;
     char *subject;
     GHashTable *authors_hash;
+    GPtrArray *authors_array;
+    GHashTable *matched_authors_hash;
+    GPtrArray *matched_authors_array;
     char *authors;
     GHashTable *tags;
 
@@ -46,16 +47,31 @@ static int
 _notmuch_thread_destructor (notmuch_thread_t *thread)
 {
     g_hash_table_unref (thread->authors_hash);
+    g_hash_table_unref (thread->matched_authors_hash);
     g_hash_table_unref (thread->tags);
     g_hash_table_unref (thread->message_hash);
 
+    if (thread->authors_array) {
+       g_ptr_array_free (thread->authors_array, TRUE);
+       thread->authors_array = NULL;
+    }
+
+    if (thread->matched_authors_array) {
+       g_ptr_array_free (thread->matched_authors_array, TRUE);
+       thread->matched_authors_array = NULL;
+    }
+
     return 0;
 }
 
+/* Add each author of the thread to the thread's authors_hash and to
+ * the thread's authors_array. */
 static void
 _thread_add_author (notmuch_thread_t *thread,
                    const char *author)
 {
+    char *author_copy;
+
     if (author == NULL)
        return;
 
@@ -63,14 +79,132 @@ _thread_add_author (notmuch_thread_t *thread,
                                      author, NULL, NULL))
        return;
 
-    g_hash_table_insert (thread->authors_hash, xstrdup (author), NULL);
+    author_copy = talloc_strdup (thread, author);
+
+    g_hash_table_insert (thread->authors_hash, author_copy, NULL);
+
+    g_ptr_array_add (thread->authors_array, author_copy);
+}
+
+/* Add each matched author of the thread to the thread's
+ * matched_authors_hash and to the thread's matched_authors_array. */
+static void
+_thread_add_matched_author (notmuch_thread_t *thread,
+                           const char *author)
+{
+    char *author_copy;
+
+    if (author == NULL)
+       return;
+
+    if (g_hash_table_lookup_extended (thread->matched_authors_hash,
+                                     author, NULL, NULL))
+       return;
+
+    author_copy = talloc_strdup (thread, author);
+
+    g_hash_table_insert (thread->matched_authors_hash, author_copy, NULL);
 
-    if (thread->authors)
-       thread->authors = talloc_asprintf (thread, "%s, %s",
-                                          thread->authors,
-                                          author);
-    else
-       thread->authors = talloc_strdup (thread, author);
+    g_ptr_array_add (thread->matched_authors_array, author_copy);
+}
+
+/* Construct an authors string from matched_authors_array and
+ * authors_array. The string contains matched authors first, then
+ * non-matched authors (with the two groups separated by '|'). Within
+ * each group, authors are listed in date order. */
+static void
+_resolve_thread_authors_string (notmuch_thread_t *thread)
+{
+    unsigned int i;
+    char *author;
+    int first_non_matched_author = 1;
+
+    /* First, list all matched authors in date order. */
+    for (i = 0; i < thread->matched_authors_array->len; i++) {
+       author = (char *) g_ptr_array_index (thread->matched_authors_array, i);
+       if (thread->authors)
+           thread->authors = talloc_asprintf (thread, "%s, %s",
+                                              thread->authors,
+                                              author);
+       else
+           thread->authors = author;
+    }
+
+    /* Next, append any non-matched authors that haven't already appeared. */
+    for (i = 0; i < thread->authors_array->len; i++) {
+       author = (char *) g_ptr_array_index (thread->authors_array, i);
+       if (g_hash_table_lookup_extended (thread->matched_authors_hash,
+                                         author, NULL, NULL))
+           continue;
+       if (first_non_matched_author) {
+           thread->authors = talloc_asprintf (thread, "%s| %s",
+                                              thread->authors,
+                                              author);
+       } else {
+           thread->authors = talloc_asprintf (thread, "%s, %s",
+                                              thread->authors,
+                                              author);
+       }
+
+       first_non_matched_author = 0;
+    }
+
+    g_ptr_array_free (thread->authors_array, TRUE);
+    thread->authors_array = NULL;
+    g_ptr_array_free (thread->matched_authors_array, TRUE);
+    thread->matched_authors_array = NULL;
+}
+
+/* clean up the ugly "Lastname, Firstname" format that some mail systems
+ * (most notably, Exchange) are creating to be "Firstname Lastname"
+ * To make sure that we don't change other potential situations where a
+ * comma is in the name, we check that we match one of these patterns
+ * "Last, First" <first.last@company.com>
+ * "Last, First MI" <first.mi.last@company.com>
+ */
+static char *
+_thread_cleanup_author (notmuch_thread_t *thread,
+                       const char *author, const char *from)
+{
+    char *clean_author,*test_author;
+    const char *comma;
+    char *blank;
+    int fname,lname;
+
+    if (author == NULL)
+       return NULL;
+    clean_author = talloc_strdup(thread, author);
+    if (clean_author == NULL)
+       return NULL;
+    /* check if there's a comma in the name and that there's a
+     * component of the name behind it (so the name doesn't end with
+     * the comma - in which case the string that strchr finds is just
+     * one character long ",\0").
+     * Otherwise just return the copy of the original author name that
+     * we just made*/
+    comma = strchr(author,',');
+    if (comma && strlen(comma) > 1) {
+       /* let's assemble what we think is the correct name */
+       lname = comma - author;
+       fname = strlen(author) - lname - 2;
+       strncpy(clean_author, comma + 2, fname);
+       *(clean_author+fname) = ' ';
+       strncpy(clean_author + fname + 1, author, lname);
+       *(clean_author+fname+1+lname) = '\0';
+       /* make a temporary copy and see if it matches the email */
+       test_author = talloc_strdup(thread,clean_author);
+
+       blank=strchr(test_author,' ');
+       while (blank != NULL) {
+           *blank = '.';
+           blank=strchr(test_author,' ');
+       }
+       if (strcasestr(from, test_author) == NULL)
+           /* we didn't identify this as part of the email address
+           * so let's punt and return the original author */
+           strcpy (clean_author, author);
+    }
+    return clean_author;
 }
 
 /* Add 'message' as a message that belongs to 'thread'.
@@ -84,9 +218,10 @@ _thread_add_message (notmuch_thread_t *thread,
 {
     notmuch_tags_t *tags;
     const char *tag;
-    InternetAddressList *list;
+    InternetAddressList *list = NULL;
     InternetAddress *address;
     const char *from, *author;
+    char *clean_author;
 
     _notmuch_message_list_add_message (thread->message_list,
                                       talloc_steal (thread, message));
@@ -97,7 +232,9 @@ _thread_add_message (notmuch_thread_t *thread,
                         message);
 
     from = notmuch_message_get_header (message, "from");
-    list = internet_address_list_parse_string (from);
+    if (from)
+       list = internet_address_list_parse_string (from);
+
     if (list) {
        address = internet_address_list_get_address (list, 0);
        if (address) {
@@ -107,7 +244,9 @@ _thread_add_message (notmuch_thread_t *thread,
                mailbox = INTERNET_ADDRESS_MAILBOX (address);
                author = internet_address_mailbox_get_addr (mailbox);
            }
-           _thread_add_author (thread, author);
+           clean_author = _thread_cleanup_author (thread, author, from);
+           _thread_add_author (thread, clean_author);
+           notmuch_message_set_author (message, clean_author);
        }
        g_object_unref (G_OBJECT (list));
     }
@@ -115,33 +254,83 @@ _thread_add_message (notmuch_thread_t *thread,
     if (! thread->subject) {
        const char *subject;
        subject = notmuch_message_get_header (message, "subject");
-       thread->subject = talloc_strdup (thread, subject);
+       thread->subject = talloc_strdup (thread, subject ? subject : "");
     }
 
     for (tags = notmuch_message_get_tags (message);
-        notmuch_tags_has_more (tags);
-        notmuch_tags_advance (tags))
+        notmuch_tags_valid (tags);
+        notmuch_tags_move_to_next (tags))
     {
        tag = notmuch_tags_get (tags);
        g_hash_table_insert (thread->tags, xstrdup (tag), NULL);
     }
 }
 
+static void
+_thread_set_subject_from_message (notmuch_thread_t *thread,
+                                 notmuch_message_t *message)
+{
+    const char *subject;
+    const char *cleaned_subject;
+
+    subject = notmuch_message_get_header (message, "subject");
+    if (! subject)
+       return;
+
+    if ((strncasecmp (subject, "Re: ", 4) == 0) ||
+       (strncasecmp (subject, "Aw: ", 4) == 0) ||
+       (strncasecmp (subject, "Vs: ", 4) == 0) ||
+       (strncasecmp (subject, "Sv: ", 4) == 0)) {
+
+       cleaned_subject = talloc_strndup (thread,
+                                         subject + 4,
+                                         strlen(subject) - 4);
+    } else {
+       cleaned_subject = talloc_strdup (thread, subject);
+    }
+
+    if (thread->subject)
+       talloc_free (thread->subject);
+
+    thread->subject = talloc_strdup (thread, cleaned_subject);
+}
+
+/* Add a message to this thread which is known to match the original
+ * search specification. The 'sort' parameter controls whether the
+ * oldest or newest matching subject is applied to the thread as a
+ * whole. */
 static void
 _thread_add_matched_message (notmuch_thread_t *thread,
-                            notmuch_message_t *message)
+                            notmuch_message_t *message,
+                            notmuch_sort_t sort)
 {
     time_t date;
+    notmuch_message_t *hashed_message;
 
     date = notmuch_message_get_date (message);
 
-    if (date < thread->oldest || ! thread->matched_messages)
+    if (date < thread->oldest || ! thread->matched_messages) {
        thread->oldest = date;
+       if (sort == NOTMUCH_SORT_OLDEST_FIRST)
+           _thread_set_subject_from_message (thread, message);
+    }
 
-    if (date > thread->newest || ! thread->matched_messages)
+    if (date > thread->newest || ! thread->matched_messages) {
        thread->newest = date;
+       if (sort != NOTMUCH_SORT_OLDEST_FIRST)
+           _thread_set_subject_from_message (thread, message);
+    }
 
     thread->matched_messages++;
+
+    if (g_hash_table_lookup_extended (thread->message_hash,
+                           notmuch_message_get_message_id (message), NULL,
+                           (void **) &hashed_message)) {
+       notmuch_message_set_flag (hashed_message,
+                                 NOTMUCH_MESSAGE_FLAG_MATCH, 1);
+    }
+
+    _thread_add_matched_author (thread, notmuch_message_get_author (hashed_message));
 }
 
 static void
@@ -182,16 +371,17 @@ _resolve_thread_relationships (unused (notmuch_thread_t *thread))
      */
 }
 
-/* Create a new notmuch_thread_t object for the given thread ID,
- * treating any messages matching 'query_string' as "matched".
+/* Create a new notmuch_thread_t object by finding the thread
+ * containing the message with the given doc ID, treating any messages
+ * contained in match_set as "matched".  Remove all messages in the
+ * thread from match_set.
  *
- * Creating the thread will trigger two database searches. The first
- * is for all messages belonging to the thread, (to get the first
- * subject line, the total count of messages, and all authors). The
- * second search is for all messages that are in the thread and that
- * also match the given query_string. This is to allow for a separate
- * count of matched messages, and to allow a viewer to diplay these
- * messages differently.
+ * Creating the thread will perform a database search to get all
+ * messages belonging to the thread and will get the first subject
+ * line, the total count of messages, and all authors in the thread.
+ * Each message in the thread is checked against match_set to allow
+ * for a separate count of matched messages, and to allow a viewer to
+ * display these messages differently.
  *
  * Here, 'ctx' is talloc context for the resulting thread object.
  *
@@ -200,37 +390,32 @@ _resolve_thread_relationships (unused (notmuch_thread_t *thread))
 notmuch_thread_t *
 _notmuch_thread_create (void *ctx,
                        notmuch_database_t *notmuch,
-                       const char *thread_id,
-                       const char *query_string)
+                       unsigned int seed_doc_id,
+                       notmuch_doc_id_set_t *match_set,
+                       notmuch_sort_t sort)
 {
     notmuch_thread_t *thread;
-    const char *thread_id_query_string, *matched_query_string;
-    notmuch_query_t *thread_id_query, *matched_query;
+    notmuch_message_t *seed_message;
+    const char *thread_id;
+    const char *thread_id_query_string;
+    notmuch_query_t *thread_id_query;
+
     notmuch_messages_t *messages;
     notmuch_message_t *message;
 
-    thread_id_query_string = talloc_asprintf (ctx, "thread:%s", thread_id);
-    if (unlikely (query_string == NULL))
-       return NULL;
+    seed_message = _notmuch_message_create (ctx, notmuch, seed_doc_id, NULL);
+    if (! seed_message)
+       INTERNAL_ERROR ("Thread seed message %u does not exist", seed_doc_id);
 
-    /* XXX: We could be a bit more efficient here if
-     * thread_id_query_string is identical to query_string, (then we
-     * could get by with just one database search instead of two). */
-
-    matched_query_string = talloc_asprintf (ctx, "%s AND (%s)",
-                                           thread_id_query_string,
-                                           query_string);
-    if (unlikely (matched_query_string == NULL))
+    thread_id = notmuch_message_get_thread_id (seed_message);
+    thread_id_query_string = talloc_asprintf (ctx, "thread:%s", thread_id);
+    if (unlikely (thread_id_query_string == NULL))
        return NULL;
 
     thread_id_query = notmuch_query_create (notmuch, thread_id_query_string);
     if (unlikely (thread_id_query == NULL))
        return NULL;
 
-    matched_query = notmuch_query_create (notmuch, matched_query_string);
-    if (unlikely (thread_id_query == NULL))
-       return NULL;
-
     thread = talloc (ctx, notmuch_thread_t);
     if (unlikely (thread == NULL))
        return NULL;
@@ -241,7 +426,12 @@ _notmuch_thread_create (void *ctx,
     thread->thread_id = talloc_strdup (thread, thread_id);
     thread->subject = NULL;
     thread->authors_hash = g_hash_table_new_full (g_str_hash, g_str_equal,
-                                                 free, NULL);
+                                                 NULL, NULL);
+    thread->authors_array = g_ptr_array_new ();
+    thread->matched_authors_hash = g_hash_table_new_full (g_str_hash,
+                                                         g_str_equal,
+                                                         NULL, NULL);
+    thread->matched_authors_array = g_ptr_array_new ();
     thread->authors = NULL;
     thread->tags = g_hash_table_new_full (g_str_hash, g_str_equal,
                                          free, NULL);
@@ -258,29 +448,36 @@ _notmuch_thread_create (void *ctx,
     thread->oldest = 0;
     thread->newest = 0;
 
-    notmuch_query_set_sort (thread_id_query, NOTMUCH_SORT_DATE);
+    /* We use oldest-first order unconditionally here to obtain the
+     * proper author ordering for the thread. The 'sort' parameter
+     * passed to this function is used only to indicate whether the
+     * oldest or newest subject is desired. */
+    notmuch_query_set_sort (thread_id_query, NOTMUCH_SORT_OLDEST_FIRST);
 
-    for (messages = notmuch_query_search_messages (thread_id_query, 0, -1);
-        notmuch_messages_has_more (messages);
-        notmuch_messages_advance (messages))
+    for (messages = notmuch_query_search_messages (thread_id_query);
+        notmuch_messages_valid (messages);
+        notmuch_messages_move_to_next (messages))
     {
+       unsigned int doc_id;
+
        message = notmuch_messages_get (messages);
+       doc_id = _notmuch_message_get_doc_id (message);
+       if (doc_id == seed_doc_id)
+           message = seed_message;
+
        _thread_add_message (thread, message);
-       _notmuch_message_close (message);
-    }
 
-    notmuch_query_destroy (thread_id_query);
+       if ( _notmuch_doc_id_set_contains (match_set, doc_id)) {
+           _notmuch_doc_id_set_remove (match_set, doc_id);
+           _thread_add_matched_message (thread, message, sort);
+       }
 
-    for (messages = notmuch_query_search_messages (matched_query, 0, -1);
-        notmuch_messages_has_more (messages);
-        notmuch_messages_advance (messages))
-    {
-       message = notmuch_messages_get (messages);
-       _thread_add_matched_message (thread, message);
        _notmuch_message_close (message);
     }
 
-    notmuch_query_destroy (matched_query);
+    notmuch_query_destroy (thread_id_query);
+
+    _resolve_thread_authors_string (thread);
 
     _resolve_thread_relationships (thread);