]> git.notmuchmail.org Git - notmuch/blobdiff - notmuch-search.c
util: Fix two corner-cases in boolean term quoting function
[notmuch] / notmuch-search.c
index f6061e4ec08920273450bfba954473812110504f..bc9be4593ecc0a06b34e82bab62b9a034ffb9f40 100644 (file)
@@ -19,6 +19,8 @@
  */
 
 #include "notmuch-client.h"
+#include "sprinter.h"
+#include "string-util.h"
 
 typedef enum {
     OUTPUT_SUMMARY,
@@ -28,175 +30,47 @@ typedef enum {
     OUTPUT_TAGS
 } output_t;
 
-typedef struct search_format {
-    const char *results_start;
-    const char *item_start;
-    void (*item_id) (const void *ctx,
-                    const char *item_type,
-                    const char *item_id);
-    void (*thread_summary) (const void *ctx,
-                           const char *thread_id,
-                           const time_t date,
-                           const int matched,
-                           const int total,
-                           const char *authors,
-                           const char *subject);
-    const char *tag_start;
-    const char *tag;
-    const char *tag_sep;
-    const char *tag_end;
-    const char *item_sep;
-    const char *item_end;
-    const char *results_end;
-    const char *results_null;
-} search_format_t;
-
-static void
-format_item_id_text (const void *ctx,
-                    const char *item_type,
-                    const char *item_id);
-
-static void
-format_thread_text (const void *ctx,
-                   const char *thread_id,
-                   const time_t date,
-                   const int matched,
-                   const int total,
-                   const char *authors,
-                   const char *subject);
-static const search_format_t format_text = {
-    "",
-       "",
-           format_item_id_text,
-           format_thread_text,
-           " (",
-               "%s", " ",
-           ")", "\n",
-       "",
-    "\n",
-    "",
-};
-
-static void
-format_item_id_json (const void *ctx,
-                    const char *item_type,
-                    const char *item_id);
-
-static void
-format_thread_json (const void *ctx,
-                   const char *thread_id,
-                   const time_t date,
-                   const int matched,
-                   const int total,
-                   const char *authors,
-                   const char *subject);
-
-/* Any changes to the JSON format should be reflected in the file
- * devel/schemata. */
-static const search_format_t format_json = {
-    "[",
-       "{",
-           format_item_id_json,
-           format_thread_json,
-           "\"tags\": [",
-               "\"%s\"", ", ",
-           "]", ",\n",
-       "}",
-    "]\n",
-    "]\n",
-};
-
-static void
-format_item_id_text (unused (const void *ctx),
-                    const char *item_type,
-                    const char *item_id)
-{
-    printf ("%s%s", item_type, item_id);
-}
-
-static char *
-sanitize_string (const void *ctx, const char *str)
+/* Return two stable query strings that identify exactly the matched
+ * and unmatched messages currently in thread.  If there are no
+ * matched or unmatched messages, the returned buffers will be
+ * NULL. */
+static int
+get_thread_query (notmuch_thread_t *thread,
+                 char **matched_out, char **unmatched_out)
 {
-    char *out, *loop;
-
-    if (NULL == str)
-       return NULL;
+    notmuch_messages_t *messages;
+    char *escaped = NULL;
+    size_t escaped_len = 0;
 
-    loop = out = talloc_strdup (ctx, str);
+    *matched_out = *unmatched_out = NULL;
 
-    for (; *loop; loop++) {
-       if ((unsigned char)(*loop) < 32)
-           *loop = '?';
+    for (messages = notmuch_thread_get_messages (thread);
+        notmuch_messages_valid (messages);
+        notmuch_messages_move_to_next (messages))
+    {
+       notmuch_message_t *message = notmuch_messages_get (messages);
+       const char *mid = notmuch_message_get_message_id (message);
+       /* Determine which query buffer to extend */
+       char **buf = notmuch_message_get_flag (
+           message, NOTMUCH_MESSAGE_FLAG_MATCH) ? matched_out : unmatched_out;
+       /* Add this message's id: query.  Since "id" is an exclusive
+        * prefix, it is implicitly 'or'd together, so we only need to
+        * join queries with a space. */
+       if (make_boolean_term (thread, "id", mid, &escaped, &escaped_len) < 0)
+           return -1;
+       if (*buf)
+           *buf = talloc_asprintf_append_buffer (*buf, " %s", escaped);
+       else
+           *buf = talloc_strdup (thread, escaped);
+       if (!*buf)
+           return -1;
     }
-    return out;
-}
-
-static void
-format_thread_text (const void *ctx,
-                   const char *thread_id,
-                   const time_t date,
-                   const int matched,
-                   const int total,
-                   const char *authors,
-                   const char *subject)
-{
-    void *ctx_quote = talloc_new (ctx);
-
-    printf ("thread:%s %12s [%d/%d] %s; %s",
-           thread_id,
-           notmuch_time_relative_date (ctx, date),
-           matched,
-           total,
-           sanitize_string (ctx_quote, authors),
-           sanitize_string (ctx_quote, subject));
-
-    talloc_free (ctx_quote);
-}
-
-static void
-format_item_id_json (const void *ctx,
-                    unused (const char *item_type),
-                    const char *item_id)
-{
-    void *ctx_quote = talloc_new (ctx);
-
-    printf ("%s", json_quote_str (ctx_quote, item_id));
-
-    talloc_free (ctx_quote);
-    
-}
-
-static void
-format_thread_json (const void *ctx,
-                   const char *thread_id,
-                   const time_t date,
-                   const int matched,
-                   const int total,
-                   const char *authors,
-                   const char *subject)
-{
-    void *ctx_quote = talloc_new (ctx);
-
-    printf ("\"thread\": %s,\n"
-           "\"timestamp\": %ld,\n"
-           "\"date_relative\": \"%s\",\n"
-           "\"matched\": %d,\n"
-           "\"total\": %d,\n"
-           "\"authors\": %s,\n"
-           "\"subject\": %s,\n",
-           json_quote_str (ctx_quote, thread_id),
-           date,
-           notmuch_time_relative_date (ctx, date),
-           matched,
-           total,
-           json_quote_str (ctx_quote, authors),
-           json_quote_str (ctx_quote, subject));
-
-    talloc_free (ctx_quote);
+    talloc_free (escaped);
+    return 0;
 }
 
 static int
-do_search_threads (const search_format_t *format,
+do_search_threads (sprinter_t *format,
                   notmuch_query_t *query,
                   notmuch_sort_t sort,
                   output_t output,
@@ -207,12 +81,8 @@ do_search_threads (const search_format_t *format,
     notmuch_threads_t *threads;
     notmuch_tags_t *tags;
     time_t date;
-    int first_thread = 1;
     int i;
 
-    if (output == OUTPUT_THREADS)
-       notmuch_query_set_omit_excluded_messages (query, TRUE);
-
     if (offset < 0) {
        offset += notmuch_query_count_threads (query);
        if (offset < 0)
@@ -223,14 +93,12 @@ do_search_threads (const search_format_t *format,
     if (threads == NULL)
        return 1;
 
-    fputs (format->results_start, stdout);
+    format->begin_list (format);
 
     for (i = 0;
         notmuch_threads_valid (threads) && (limit < 0 || i < offset + limit);
         notmuch_threads_move_to_next (threads), i++)
     {
-       int first_tag = 1;
-
        thread = notmuch_threads_get (threads);
 
        if (i < offset) {
@@ -238,73 +106,127 @@ do_search_threads (const search_format_t *format,
            continue;
        }
 
-       if (! first_thread)
-           fputs (format->item_sep, stdout);
-
        if (output == OUTPUT_THREADS) {
-           format->item_id (thread, "thread:",
-                            notmuch_thread_get_thread_id (thread));
+           format->set_prefix (format, "thread");
+           format->string (format,
+                           notmuch_thread_get_thread_id (thread));
+           format->separator (format);
        } else { /* output == OUTPUT_SUMMARY */
-           fputs (format->item_start, stdout);
+           void *ctx_quote = talloc_new (thread);
+           const char *authors = notmuch_thread_get_authors (thread);
+           const char *subject = notmuch_thread_get_subject (thread);
+           const char *thread_id = notmuch_thread_get_thread_id (thread);
+           int matched = notmuch_thread_get_matched_messages (thread);
+           int total = notmuch_thread_get_total_messages (thread);
+           const char *relative_date = NULL;
+           notmuch_bool_t first_tag = TRUE;
+
+           format->begin_map (format);
 
            if (sort == NOTMUCH_SORT_OLDEST_FIRST)
                date = notmuch_thread_get_oldest_date (thread);
            else
                date = notmuch_thread_get_newest_date (thread);
 
-           format->thread_summary (thread,
-                                   notmuch_thread_get_thread_id (thread),
-                                   date,
-                                   notmuch_thread_get_matched_messages (thread),
-                                   notmuch_thread_get_total_messages (thread),
-                                   notmuch_thread_get_authors (thread),
-                                   notmuch_thread_get_subject (thread));
+           relative_date = notmuch_time_relative_date (ctx_quote, date);
+
+           if (format->is_text_printer) {
+                /* Special case for the text formatter */
+               printf ("thread:%s %12s [%d/%d] %s; %s (",
+                       thread_id,
+                       relative_date,
+                       matched,
+                       total,
+                       sanitize_string (ctx_quote, authors),
+                       sanitize_string (ctx_quote, subject));
+           } else { /* Structured Output */
+               format->map_key (format, "thread");
+               format->string (format, thread_id);
+               format->map_key (format, "timestamp");
+               format->integer (format, date);
+               format->map_key (format, "date_relative");
+               format->string (format, relative_date);
+               format->map_key (format, "matched");
+               format->integer (format, matched);
+               format->map_key (format, "total");
+               format->integer (format, total);
+               format->map_key (format, "authors");
+               format->string (format, authors);
+               format->map_key (format, "subject");
+               format->string (format, subject);
+               if (notmuch_format_version >= 2) {
+                   char *matched_query, *unmatched_query;
+                   if (get_thread_query (thread, &matched_query,
+                                         &unmatched_query) < 0) {
+                       fprintf (stderr, "Out of memory\n");
+                       return 1;
+                   }
+                   format->map_key (format, "query");
+                   format->begin_list (format);
+                   if (matched_query)
+                       format->string (format, matched_query);
+                   else
+                       format->null (format);
+                   if (unmatched_query)
+                       format->string (format, unmatched_query);
+                   else
+                       format->null (format);
+                   format->end (format);
+               }
+           }
+
+           talloc_free (ctx_quote);
 
-           fputs (format->tag_start, stdout);
+           format->map_key (format, "tags");
+           format->begin_list (format);
 
            for (tags = notmuch_thread_get_tags (thread);
                 notmuch_tags_valid (tags);
                 notmuch_tags_move_to_next (tags))
            {
-               if (! first_tag)
-                   fputs (format->tag_sep, stdout);
-               printf (format->tag, notmuch_tags_get (tags));
-               first_tag = 0;
+               const char *tag = notmuch_tags_get (tags);
+
+               if (format->is_text_printer) {
+                  /* Special case for the text formatter */
+                   if (first_tag)
+                       first_tag = FALSE;
+                   else
+                       fputc (' ', stdout);
+                   fputs (tag, stdout);
+               } else { /* Structured Output */
+                   format->string (format, tag);
+               }
            }
 
-           fputs (format->tag_end, stdout);
+           if (format->is_text_printer)
+               printf (")");
 
-           fputs (format->item_end, stdout);
+           format->end (format);
+           format->end (format);
+           format->separator (format);
        }
 
-       first_thread = 0;
-
        notmuch_thread_destroy (thread);
     }
 
-    if (first_thread)
-       fputs (format->results_null, stdout);
-    else
-       fputs (format->results_end, stdout);
+    format->end (format);
 
     return 0;
 }
 
 static int
-do_search_messages (const search_format_t *format,
+do_search_messages (sprinter_t *format,
                    notmuch_query_t *query,
                    output_t output,
                    int offset,
-                   int limit)
+                   int limit,
+                   int dupe)
 {
     notmuch_message_t *message;
     notmuch_messages_t *messages;
     notmuch_filenames_t *filenames;
-    int first_message = 1;
     int i;
 
-    notmuch_query_set_omit_excluded_messages (query, TRUE);
-
     if (offset < 0) {
        offset += notmuch_query_count_messages (query);
        if (offset < 0)
@@ -315,7 +237,7 @@ do_search_messages (const search_format_t *format,
     if (messages == NULL)
        return 1;
 
-    fputs (format->results_start, stdout);
+    format->begin_list (format);
 
     for (i = 0;
         notmuch_messages_valid (messages) && (limit < 0 || i < offset + limit);
@@ -327,30 +249,26 @@ do_search_messages (const search_format_t *format,
        message = notmuch_messages_get (messages);
 
        if (output == OUTPUT_FILES) {
+           int j;
            filenames = notmuch_message_get_filenames (message);
 
-           for (;
+           for (j = 1;
                 notmuch_filenames_valid (filenames);
-                notmuch_filenames_move_to_next (filenames))
+                notmuch_filenames_move_to_next (filenames), j++)
            {
-               if (! first_message)
-                   fputs (format->item_sep, stdout);
-
-               format->item_id (message, "",
-                                notmuch_filenames_get (filenames));
-
-               first_message = 0;
+               if (dupe < 0 || dupe == j) {
+                   format->string (format, notmuch_filenames_get (filenames));
+                   format->separator (format);
+               }
            }
            
            notmuch_filenames_destroy( filenames );
 
        } else { /* output == OUTPUT_MESSAGES */
-           if (! first_message)
-               fputs (format->item_sep, stdout);
-
-           format->item_id (message, "id:",
-                            notmuch_message_get_message_id (message));
-           first_message = 0;
+           format->set_prefix (format, "id");
+           format->string (format,
+                           notmuch_message_get_message_id (message));
+           format->separator (format);
        }
 
        notmuch_message_destroy (message);
@@ -358,25 +276,20 @@ do_search_messages (const search_format_t *format,
 
     notmuch_messages_destroy (messages);
 
-    if (first_message)
-       fputs (format->results_null, stdout);
-    else
-       fputs (format->results_end, stdout);
+    format->end (format);
 
     return 0;
 }
 
 static int
 do_search_tags (notmuch_database_t *notmuch,
-               const search_format_t *format,
+               sprinter_t *format,
                notmuch_query_t *query)
 {
     notmuch_messages_t *messages = NULL;
     notmuch_tags_t *tags;
     const char *tag;
-    int first_tag = 1;
 
-    notmuch_query_set_omit_excluded_messages (query, TRUE);
     /* should the following only special case if no excluded terms
      * specified? */
 
@@ -393,7 +306,7 @@ do_search_tags (notmuch_database_t *notmuch,
     if (tags == NULL)
        return 1;
 
-    fputs (format->results_start, stdout);
+    format->begin_list (format);
 
     for (;
         notmuch_tags_valid (tags);
@@ -401,12 +314,9 @@ do_search_tags (notmuch_database_t *notmuch,
     {
        tag = notmuch_tags_get (tags);
 
-       if (! first_tag)
-           fputs (format->item_sep, stdout);
-
-       format->item_id (tags, "", tag);
+       format->string (format, tag);
+       format->separator (format);
 
-       first_tag = 0;
     }
 
     notmuch_tags_destroy (tags);
@@ -414,32 +324,33 @@ do_search_tags (notmuch_database_t *notmuch,
     if (messages)
        notmuch_messages_destroy (messages);
 
-    if (first_tag)
-       fputs (format->results_null, stdout);
-    else
-       fputs (format->results_end, stdout);
+    format->end (format);
 
     return 0;
 }
 
 int
-notmuch_search_command (void *ctx, int argc, char *argv[])
+notmuch_search_command (notmuch_config_t *config, int argc, char *argv[])
 {
-    notmuch_config_t *config;
     notmuch_database_t *notmuch;
     notmuch_query_t *query;
     char *query_str;
     notmuch_sort_t sort = NOTMUCH_SORT_NEWEST_FIRST;
-    const search_format_t *format = &format_text;
+    sprinter_t *format = NULL;
     int opt_index, ret;
     output_t output = OUTPUT_SUMMARY;
     int offset = 0;
     int limit = -1; /* unlimited */
-    notmuch_bool_t no_exclude = FALSE;
+    notmuch_exclude_t exclude = NOTMUCH_EXCLUDE_TRUE;
+    int dupe = -1;
     unsigned int i;
 
-    enum { NOTMUCH_FORMAT_JSON, NOTMUCH_FORMAT_TEXT }
-       format_sel = NOTMUCH_FORMAT_TEXT;
+    enum {
+       NOTMUCH_FORMAT_JSON,
+       NOTMUCH_FORMAT_TEXT,
+       NOTMUCH_FORMAT_TEXT0,
+       NOTMUCH_FORMAT_SEXP
+    } format_sel = NOTMUCH_FORMAT_TEXT;
 
     notmuch_opt_desc_t options[] = {
        { NOTMUCH_OPT_KEYWORD, &sort, "sort", 's',
@@ -448,8 +359,11 @@ notmuch_search_command (void *ctx, int argc, char *argv[])
                                  { 0, 0 } } },
        { NOTMUCH_OPT_KEYWORD, &format_sel, "format", 'f',
          (notmuch_keyword_t []){ { "json", NOTMUCH_FORMAT_JSON },
+                                 { "sexp", NOTMUCH_FORMAT_SEXP },
                                  { "text", NOTMUCH_FORMAT_TEXT },
+                                 { "text0", NOTMUCH_FORMAT_TEXT0 },
                                  { 0, 0 } } },
+       { NOTMUCH_OPT_INT, &notmuch_format_version, "format-version", 0, 0 },
        { NOTMUCH_OPT_KEYWORD, &output, "output", 'o',
          (notmuch_keyword_t []){ { "summary", OUTPUT_SUMMARY },
                                  { "threads", OUTPUT_THREADS },
@@ -457,55 +371,77 @@ notmuch_search_command (void *ctx, int argc, char *argv[])
                                  { "files", OUTPUT_FILES },
                                  { "tags", OUTPUT_TAGS },
                                  { 0, 0 } } },
-       { NOTMUCH_OPT_BOOLEAN, &no_exclude, "no-exclude", 'd', 0 },
+        { NOTMUCH_OPT_KEYWORD, &exclude, "exclude", 'x',
+          (notmuch_keyword_t []){ { "true", NOTMUCH_EXCLUDE_TRUE },
+                                  { "false", NOTMUCH_EXCLUDE_FALSE },
+                                  { "flag", NOTMUCH_EXCLUDE_FLAG },
+                                  { "all", NOTMUCH_EXCLUDE_ALL },
+                                  { 0, 0 } } },
        { NOTMUCH_OPT_INT, &offset, "offset", 'O', 0 },
        { NOTMUCH_OPT_INT, &limit, "limit", 'L', 0  },
+       { NOTMUCH_OPT_INT, &dupe, "duplicate", 'D', 0  },
        { 0, 0, 0, 0, 0 }
     };
 
     opt_index = parse_arguments (argc, argv, options, 1);
-
-    if (opt_index < 0) {
-       return 1;
-    }
+    if (opt_index < 0)
+       return EXIT_FAILURE;
 
     switch (format_sel) {
     case NOTMUCH_FORMAT_TEXT:
-       format = &format_text;
+       format = sprinter_text_create (config, stdout);
+       break;
+    case NOTMUCH_FORMAT_TEXT0:
+       if (output == OUTPUT_SUMMARY) {
+           fprintf (stderr, "Error: --format=text0 is not compatible with --output=summary.\n");
+           return EXIT_FAILURE;
+       }
+       format = sprinter_text0_create (config, stdout);
        break;
     case NOTMUCH_FORMAT_JSON:
-       format = &format_json;
+       format = sprinter_json_create (config, stdout);
+       break;
+    case NOTMUCH_FORMAT_SEXP:
+       format = sprinter_sexp_create (config, stdout);
        break;
+    default:
+       /* this should never happen */
+       INTERNAL_ERROR("no output format selected");
     }
 
-    config = notmuch_config_open (ctx, NULL, NULL);
-    if (config == NULL)
-       return 1;
+    notmuch_exit_if_unsupported_format ();
 
-    notmuch = notmuch_database_open (notmuch_config_get_database_path (config),
-                                    NOTMUCH_DATABASE_MODE_READ_ONLY);
-    if (notmuch == NULL)
-       return 1;
+    if (notmuch_database_open (notmuch_config_get_database_path (config),
+                              NOTMUCH_DATABASE_MODE_READ_ONLY, &notmuch))
+       return EXIT_FAILURE;
 
     query_str = query_string_from_args (notmuch, argc-opt_index, argv+opt_index);
     if (query_str == NULL) {
        fprintf (stderr, "Out of memory.\n");
-       return 1;
+       return EXIT_FAILURE;
     }
     if (*query_str == '\0') {
        fprintf (stderr, "Error: notmuch search requires at least one search term.\n");
-       return 1;
+       return EXIT_FAILURE;
     }
 
     query = notmuch_query_create (notmuch, query_str);
     if (query == NULL) {
        fprintf (stderr, "Out of memory\n");
-       return 1;
+       return EXIT_FAILURE;
     }
 
     notmuch_query_set_sort (query, sort);
 
-    if (!no_exclude) {
+    if (exclude == NOTMUCH_EXCLUDE_FLAG && output != OUTPUT_SUMMARY) {
+       /* If we are not doing summary output there is nowhere to
+        * print the excluded flag so fall back on including the
+        * excluded messages. */
+       fprintf (stderr, "Warning: this output format cannot flag excluded messages.\n");
+       exclude = NOTMUCH_EXCLUDE_FALSE;
+    }
+
+    if (exclude != NOTMUCH_EXCLUDE_FALSE) {
        const char **search_exclude_tags;
        size_t search_exclude_tags_length;
 
@@ -513,6 +449,7 @@ notmuch_search_command (void *ctx, int argc, char *argv[])
            (config, &search_exclude_tags_length);
        for (i = 0; i < search_exclude_tags_length; i++)
            notmuch_query_add_tag_exclude (query, search_exclude_tags[i]);
+       notmuch_query_set_omit_excluded (query, exclude);
     }
 
     switch (output) {
@@ -523,7 +460,7 @@ notmuch_search_command (void *ctx, int argc, char *argv[])
        break;
     case OUTPUT_MESSAGES:
     case OUTPUT_FILES:
-       ret = do_search_messages (format, query, output, offset, limit);
+       ret = do_search_messages (format, query, output, offset, limit, dupe);
        break;
     case OUTPUT_TAGS:
        ret = do_search_tags (notmuch, format, query);
@@ -531,7 +468,9 @@ notmuch_search_command (void *ctx, int argc, char *argv[])
     }
 
     notmuch_query_destroy (query);
-    notmuch_database_close (notmuch);
+    notmuch_database_destroy (notmuch);
+
+    talloc_free (format);
 
-    return ret;
+    return ret ? EXIT_FAILURE : EXIT_SUCCESS;
 }