git.notmuchmail.org Git - notmuch/blob - notmuch-dump.c

   1 /* notmuch - Not much of an email program, (just index and search)
   2  *
   3  * Copyright © 2009 Carl Worth
   4  *
   5  * This program is free software: you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation, either version 3 of the License, or
   8  * (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * along with this program.  If not, see https://www.gnu.org/licenses/ .
  17  *
  18  * Author: Carl Worth <cworth@cworth.org>
  19  */
  20
  21 #include "notmuch-client.h"
  22 #include "hex-escape.h"
  23 #include "string-util.h"
  24 #include <zlib.h>
  25
  26 static int
  27 database_dump_config (notmuch_database_t *notmuch, gzFile output)
  28 {
  29     notmuch_config_list_t *list;
  30     int ret = EXIT_FAILURE;
  31     char *buffer = NULL;
  32     size_t buffer_size = 0;
  33
  34     if (print_status_database ("notmuch dump", notmuch,
  35                                notmuch_database_get_config_list (notmuch, NULL, &list)))
  36         goto DONE;
  37
  38     for (; notmuch_config_list_valid (list); notmuch_config_list_move_to_next (list)) {
  39         if (hex_encode (notmuch, notmuch_config_list_key (list),
  40                         &buffer, &buffer_size) != HEX_SUCCESS) {
  41             fprintf (stderr, "Error: failed to hex-encode config key %s\n",
  42                      notmuch_config_list_key (list));
  43             goto DONE;
  44         }
  45         gzprintf (output, "#@ %s", buffer);
  46
  47         if (hex_encode (notmuch, notmuch_config_list_value (list),
  48                         &buffer, &buffer_size) != HEX_SUCCESS) {
  49             fprintf (stderr, "Error: failed to hex-encode config value %s\n",
  50                      notmuch_config_list_value (list) );
  51             goto DONE;
  52         }
  53
  54         gzprintf (output, " %s\n", buffer);
  55     }
  56
  57     ret = EXIT_SUCCESS;
  58
  59  DONE:
  60     if (list)
  61         notmuch_config_list_destroy (list);
  62
  63     if (buffer)
  64         talloc_free (buffer);
  65
  66     return ret;
  67 }
  68
  69 static void
  70 print_dump_header (gzFile output, int output_format, int include)
  71 {
  72     const char *sep = "";
  73
  74     gzprintf (output, "#notmuch-dump %s:%d ",
  75               (output_format == DUMP_FORMAT_SUP) ? "sup" : "batch-tag",
  76               NOTMUCH_DUMP_VERSION);
  77
  78     if (include & DUMP_INCLUDE_CONFIG) {
  79         gzputs (output, "config");
  80         sep = ",";
  81     }
  82     if (include & DUMP_INCLUDE_PROPERTIES) {
  83         gzprintf (output, "%sproperties", sep);
  84         sep = ",";
  85     }
  86     if (include & DUMP_INCLUDE_TAGS) {
  87         gzprintf (output, "%sproperties", sep);
  88     }
  89     gzputs (output, "\n");
  90 }
  91
  92 static int
  93 dump_properties_message (void *ctx,
  94                          notmuch_message_t *message,
  95                          gzFile output,
  96                          char **buffer_p, size_t *size_p)
  97 {
  98     const char *message_id;
  99     notmuch_message_properties_t *list;
 100     notmuch_bool_t first = TRUE;
 101
 102     message_id = notmuch_message_get_message_id (message);
 103
 104     if (strchr (message_id, '\n')) {
 105         fprintf (stderr, "Warning: skipping message id containing line break: \"%s\"\n", message_id);
 106         return 0;
 107     }
 108
 109     for (list = notmuch_message_get_properties (message, "", FALSE);
 110          notmuch_message_properties_valid (list); notmuch_message_properties_move_to_next (list)) {
 111         const char *key, *val;
 112
 113         if (first) {
 114             if (hex_encode (ctx, message_id, buffer_p, size_p) != HEX_SUCCESS) {
 115                 fprintf (stderr, "Error: failed to hex-encode message-id %s\n", message_id);
 116                 return 1;
 117             }
 118             gzprintf (output, "#= %s", *buffer_p);
 119             first = FALSE;
 120         }
 121
 122         key = notmuch_message_properties_key (list);
 123         val = notmuch_message_properties_value (list);
 124
 125         if (hex_encode (ctx, key, buffer_p, size_p) != HEX_SUCCESS) {
 126             fprintf (stderr, "Error: failed to hex-encode key %s\n", key);
 127             return 1;
 128         }
 129         gzprintf (output, " %s", *buffer_p);
 130
 131         if (hex_encode (ctx, val, buffer_p, size_p) != HEX_SUCCESS) {
 132             fprintf (stderr, "Error: failed to hex-encode value %s\n", val);
 133             return 1;
 134         }
 135         gzprintf (output, "=%s", *buffer_p);
 136     }
 137     notmuch_message_properties_destroy (list);
 138
 139     if (! first)
 140         gzprintf (output, "\n", *buffer_p);
 141
 142     return 0;
 143 }
 144
 145 static int
 146 dump_tags_message (void *ctx,
 147                    notmuch_message_t *message, int output_format,
 148                    gzFile output,
 149                    char **buffer_p, size_t *size_p)
 150 {
 151     int first = 1;
 152     const char *message_id;
 153
 154     message_id = notmuch_message_get_message_id (message);
 155
 156     if (output_format == DUMP_FORMAT_BATCH_TAG &&
 157         strchr (message_id, '\n')) {
 158         /* This will produce a line break in the output, which
 159          * would be difficult to handle in tools.  However, it's
 160          * also impossible to produce an email containing a line
 161          * break in a message ID because of unfolding, so we can
 162          * safely disallow it. */
 163         fprintf (stderr, "Warning: skipping message id containing line break: \"%s\"\n", message_id);
 164         return EXIT_SUCCESS;
 165     }
 166
 167     if (output_format == DUMP_FORMAT_SUP) {
 168         gzprintf (output, "%s (", message_id);
 169     }
 170
 171     for (notmuch_tags_t *tags = notmuch_message_get_tags (message);
 172          notmuch_tags_valid (tags);
 173          notmuch_tags_move_to_next (tags)) {
 174         const char *tag_str = notmuch_tags_get (tags);
 175
 176         if (! first)
 177             gzputs (output, " ");
 178
 179         first = 0;
 180
 181         if (output_format == DUMP_FORMAT_SUP) {
 182             gzputs (output, tag_str);
 183         } else {
 184             if (hex_encode (ctx, tag_str,
 185                             buffer_p, size_p) != HEX_SUCCESS) {
 186                 fprintf (stderr, "Error: failed to hex-encode tag %s\n",
 187                          tag_str);
 188                 return EXIT_FAILURE;
 189             }
 190             gzprintf (output, "+%s", *buffer_p);
 191         }
 192     }
 193
 194     if (output_format == DUMP_FORMAT_SUP) {
 195         gzputs (output, ")\n");
 196     } else {
 197         if (make_boolean_term (ctx, "id", message_id,
 198                                buffer_p, size_p)) {
 199             fprintf (stderr, "Error quoting message id %s: %s\n",
 200                      message_id, strerror (errno));
 201             return EXIT_FAILURE;
 202         }
 203         gzprintf (output, " -- %s\n", *buffer_p);
 204     }
 205     return EXIT_SUCCESS;
 206 }
 207
 208 static int
 209 database_dump_file (notmuch_database_t *notmuch, gzFile output,
 210                     const char *query_str, int output_format, int include)
 211 {
 212     notmuch_query_t *query;
 213     notmuch_messages_t *messages;
 214     notmuch_message_t *message;
 215     notmuch_status_t status;
 216     char *buffer = NULL;
 217     size_t buffer_size = 0;
 218
 219     print_dump_header (output, output_format, include);
 220
 221     if (include & DUMP_INCLUDE_CONFIG) {
 222         if (print_status_database ("notmuch dump", notmuch,
 223                                    database_dump_config(notmuch,output)))
 224             return EXIT_FAILURE;
 225     }
 226
 227     if (! (include & (DUMP_INCLUDE_TAGS | DUMP_INCLUDE_PROPERTIES)))
 228         return EXIT_SUCCESS;
 229
 230     if (! query_str)
 231         query_str = "";
 232
 233     query = notmuch_query_create (notmuch, query_str);
 234     if (query == NULL) {
 235         fprintf (stderr, "Out of memory\n");
 236         return EXIT_FAILURE;
 237     }
 238     /* Don't ask xapian to sort by Message-ID. Xapian optimizes returning the
 239      * first results quickly at the expense of total time.
 240      */
 241     notmuch_query_set_sort (query, NOTMUCH_SORT_UNSORTED);
 242
 243     status = notmuch_query_search_messages_st (query, &messages);
 244     if (print_status_query ("notmuch dump", query, status))
 245         return EXIT_FAILURE;
 246
 247     for (;
 248          notmuch_messages_valid (messages);
 249          notmuch_messages_move_to_next (messages)) {
 250
 251         message = notmuch_messages_get (messages);
 252
 253         if (dump_tags_message (notmuch, message, output_format, output,
 254                                &buffer, &buffer_size))
 255             return EXIT_FAILURE;
 256
 257         if ((include & DUMP_INCLUDE_PROPERTIES) &&
 258             dump_properties_message (notmuch, message, output,
 259                                      &buffer, &buffer_size))
 260             return EXIT_FAILURE;
 261
 262         notmuch_message_destroy (message);
 263     }
 264
 265     notmuch_query_destroy (query);
 266
 267     return EXIT_SUCCESS;
 268 }
 269
 270 /* Dump database into output_file_name if it's non-NULL, stdout
 271  * otherwise.
 272  */
 273 int
 274 notmuch_database_dump (notmuch_database_t *notmuch,
 275                        const char *output_file_name,
 276                        const char *query_str,
 277                        dump_format_t output_format,
 278                        dump_include_t include,
 279                        notmuch_bool_t gzip_output)
 280 {
 281     gzFile output = NULL;
 282     const char *mode = gzip_output ? "w9" : "wT";
 283     const char *name_for_error = output_file_name ? output_file_name : "stdout";
 284
 285     char *tempname = NULL;
 286     int outfd = -1;
 287
 288     int ret = -1;
 289
 290     if (output_file_name) {
 291         tempname = talloc_asprintf (notmuch, "%s.XXXXXX", output_file_name);
 292         outfd = mkstemp (tempname);
 293     } else {
 294         outfd = dup (STDOUT_FILENO);
 295     }
 296
 297     if (outfd < 0) {
 298         fprintf (stderr, "Bad output file %s\n", name_for_error);
 299         goto DONE;
 300     }
 301
 302     output = gzdopen (outfd, mode);
 303
 304     if (output == NULL) {
 305         fprintf (stderr, "Error opening %s for (gzip) writing: %s\n",
 306                  name_for_error, strerror (errno));
 307         if (close (outfd))
 308             fprintf (stderr, "Error closing %s during shutdown: %s\n",
 309                  name_for_error, strerror (errno));
 310         goto DONE;
 311     }
 312
 313     ret = database_dump_file (notmuch, output, query_str, output_format, include);
 314     if (ret) goto DONE;
 315
 316     ret = gzflush (output, Z_FINISH);
 317     if (ret) {
 318         fprintf (stderr, "Error flushing output: %s\n", gzerror (output, NULL));
 319         goto DONE;
 320     }
 321
 322     if (output_file_name) {
 323         ret = fsync (outfd);
 324         if (ret) {
 325             fprintf (stderr, "Error syncing %s to disk: %s\n",
 326                      name_for_error, strerror (errno));
 327             goto DONE;
 328         }
 329     }
 330
 331     if (gzclose_w (output) != Z_OK) {
 332         fprintf (stderr, "Error closing %s: %s\n", name_for_error,
 333                  gzerror (output, NULL));
 334         ret = EXIT_FAILURE;
 335         output = NULL;
 336         goto DONE;
 337     }
 338
 339     if (output_file_name) {
 340         ret = rename (tempname, output_file_name);
 341         if (ret) {
 342             fprintf (stderr, "Error renaming %s to %s: %s\n",
 343                      tempname, output_file_name, strerror (errno));
 344             goto DONE;
 345         }
 346
 347     }
 348  DONE:
 349     if (ret != EXIT_SUCCESS && output)
 350         (void) gzclose_w (output);
 351
 352     if (ret != EXIT_SUCCESS && output_file_name)
 353         (void) unlink (tempname);
 354
 355     return ret;
 356 }
 357
 358 int
 359 notmuch_dump_command (notmuch_config_t *config, int argc, char *argv[])
 360 {
 361     notmuch_database_t *notmuch;
 362     const char *query_str = NULL;
 363     int ret;
 364
 365     if (notmuch_database_open (notmuch_config_get_database_path (config),
 366                                NOTMUCH_DATABASE_MODE_READ_WRITE, &notmuch))
 367         return EXIT_FAILURE;
 368
 369     notmuch_exit_if_unmatched_db_uuid (notmuch);
 370
 371     char *output_file_name = NULL;
 372     int opt_index;
 373
 374     int output_format = DUMP_FORMAT_BATCH_TAG;
 375     int include = 0;
 376     notmuch_bool_t gzip_output = 0;
 377
 378     notmuch_opt_desc_t options[] = {
 379         { NOTMUCH_OPT_KEYWORD, &output_format, "format", 'f',
 380           (notmuch_keyword_t []){ { "sup", DUMP_FORMAT_SUP },
 381                                   { "batch-tag", DUMP_FORMAT_BATCH_TAG },
 382                                   { 0, 0 } } },
 383         { NOTMUCH_OPT_KEYWORD_FLAGS, &include, "include", 'I',
 384           (notmuch_keyword_t []){ { "config", DUMP_INCLUDE_CONFIG },
 385                                   { "properties", DUMP_INCLUDE_PROPERTIES },
 386                                   { "tags", DUMP_INCLUDE_TAGS} } },
 387         { NOTMUCH_OPT_STRING, &output_file_name, "output", 'o', 0  },
 388         { NOTMUCH_OPT_BOOLEAN, &gzip_output, "gzip", 'z', 0 },
 389         { NOTMUCH_OPT_INHERIT, (void *) &notmuch_shared_options, NULL, 0, 0 },
 390         { 0, 0, 0, 0, 0 }
 391     };
 392
 393     opt_index = parse_arguments (argc, argv, options, 1);
 394     if (opt_index < 0)
 395         return EXIT_FAILURE;
 396
 397     notmuch_process_shared_options (argv[0]);
 398
 399     if (include == 0)
 400         include = DUMP_INCLUDE_CONFIG | DUMP_INCLUDE_TAGS | DUMP_INCLUDE_PROPERTIES;
 401
 402     if (opt_index < argc) {
 403         query_str = query_string_from_args (notmuch, argc - opt_index, argv + opt_index);
 404         if (query_str == NULL) {
 405             fprintf (stderr, "Out of memory.\n");
 406             return EXIT_FAILURE;
 407         }
 408     }
 409
 410     ret = notmuch_database_dump (notmuch, output_file_name, query_str,
 411                                  output_format, include, gzip_output);
 412
 413     notmuch_database_destroy (notmuch);
 414
 415     return ret;
 416 }