]> git.notmuchmail.org Git - notmuch/blob - lib/open.cc
dc191d64aad0489890aed9bc0af10fd50f7ea8a5
[notmuch] / lib / open.cc
1 #include <unistd.h>
2 #include <libgen.h>
3
4 #include "database-private.h"
5 #include "parse-time-vrp.h"
6
7 #if HAVE_XAPIAN_DB_RETRY_LOCK
8 #define DB_ACTION (Xapian::DB_CREATE_OR_OPEN | Xapian::DB_RETRY_LOCK)
9 #else
10 #define DB_ACTION Xapian::DB_CREATE_OR_OPEN
11 #endif
12
13 notmuch_status_t
14 notmuch_database_open (const char *path,
15                        notmuch_database_mode_t mode,
16                        notmuch_database_t **database)
17 {
18     char *status_string = NULL;
19     notmuch_status_t status;
20
21     status = notmuch_database_open_verbose (path, mode, database,
22                                             &status_string);
23
24     if (status_string) {
25         fputs (status_string, stderr);
26         free (status_string);
27     }
28
29     return status;
30 }
31
32 notmuch_status_t
33 notmuch_database_open_verbose (const char *path,
34                                notmuch_database_mode_t mode,
35                                notmuch_database_t **database,
36                                char **status_string)
37 {
38     return notmuch_database_open_with_config (path, mode, "", NULL,
39                                               database, status_string);
40 }
41
42 static const char *
43 _xdg_dir (void *ctx,
44           const char *xdg_root_variable,
45           const char *xdg_prefix,
46           const char *profile_name)
47 {
48     const char *xdg_root = getenv (xdg_root_variable);
49
50     if (! xdg_root) {
51         const char *home = getenv ("HOME");
52
53         if (! home) return NULL;
54
55         xdg_root = talloc_asprintf (ctx,
56                                     "%s/%s",
57                                     home,
58                                     xdg_prefix);
59     }
60
61     if (! profile_name)
62         profile_name = getenv ("NOTMUCH_PROFILE");
63
64     if (! profile_name)
65         profile_name = "default";
66
67     return talloc_asprintf (ctx,
68                             "%s/notmuch/%s",
69                             xdg_root,
70                             profile_name);
71 }
72
73 static notmuch_status_t
74 _choose_dir (notmuch_database_t *notmuch,
75              const char *profile,
76              notmuch_config_key_t key,
77              const char *xdg_var,
78              const char *xdg_subdir,
79              const char *subdir,
80              char **message = NULL)
81 {
82     const char *parent;
83     const char *dir;
84     struct stat st;
85     int err;
86
87     dir = notmuch_config_get (notmuch, key);
88
89     if (dir)
90         return NOTMUCH_STATUS_SUCCESS;
91
92     parent = _xdg_dir (notmuch, xdg_var, xdg_subdir, profile);
93     if (! parent)
94         return NOTMUCH_STATUS_PATH_ERROR;
95
96     dir = talloc_asprintf (notmuch, "%s/%s", parent, subdir);
97
98     err = stat (dir, &st);
99     if (err) {
100         if (errno == ENOENT) {
101             char *notmuch_path = dirname (talloc_strdup (notmuch, notmuch->xapian_path));
102             dir = talloc_asprintf (notmuch, "%s/%s", notmuch_path, subdir);
103         } else {
104             IGNORE_RESULT (asprintf (message, "Error: Cannot stat %s: %s.\n",
105                                      dir, strerror (errno)));
106             return NOTMUCH_STATUS_FILE_ERROR;
107         }
108     }
109
110     _notmuch_config_cache (notmuch, key, dir);
111
112     return NOTMUCH_STATUS_SUCCESS;
113 }
114
115 static notmuch_status_t
116 _load_key_file (const char *path,
117                 const char *profile,
118                 GKeyFile **key_file)
119 {
120     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
121     void *local = talloc_new (NULL);
122
123     if (path && EMPTY_STRING (path))
124         goto DONE;
125
126     if (! path)
127         path = getenv ("NOTMUCH_CONFIG");
128
129     if (! path) {
130         const char *dir = _xdg_dir (local, "XDG_CONFIG_HOME", ".config", profile);
131
132         if (dir) {
133             path = talloc_asprintf (local, "%s/config", dir);
134             if (access (path, R_OK) != 0)
135                 path = NULL;
136         }
137     }
138
139     if (! path) {
140         const char *home = getenv ("HOME");
141
142         path = talloc_asprintf (local, "%s/.notmuch-config", home);
143
144         if (! profile)
145             profile = getenv ("NOTMUCH_PROFILE");
146
147         if (profile)
148             path = talloc_asprintf (local, "%s.%s", path, profile);
149     }
150
151     *key_file = g_key_file_new ();
152     if (! g_key_file_load_from_file (*key_file, path, G_KEY_FILE_NONE, NULL)) {
153         status = NOTMUCH_STATUS_NO_CONFIG;
154     }
155
156   DONE:
157     talloc_free (local);
158     return status;
159 }
160
161 static notmuch_status_t
162 _db_dir_exists (const char *database_path, char **message)
163 {
164     struct stat st;
165     int err;
166
167     err = stat (database_path, &st);
168     if (err) {
169         IGNORE_RESULT (asprintf (message, "Error: Cannot open database at %s: %s.\n",
170                                  database_path, strerror (errno)));
171         return NOTMUCH_STATUS_FILE_ERROR;
172     }
173
174     if (! S_ISDIR (st.st_mode)) {
175         IGNORE_RESULT (asprintf (message, "Error: Cannot open database at %s: "
176                                  "Not a directory.\n",
177                                  database_path));
178         return NOTMUCH_STATUS_FILE_ERROR;
179     }
180
181     return NOTMUCH_STATUS_SUCCESS;
182 }
183
184 static notmuch_status_t
185 _choose_database_path (void *ctx,
186                        const char *config_path,
187                        const char *profile,
188                        GKeyFile **key_file,
189                        const char **database_path,
190                        bool *split,
191                        char **message)
192 {
193     notmuch_status_t status;
194
195     status = _load_key_file (config_path, profile, key_file);
196     if (status) {
197         *message = strdup ("Error: cannot load config file.\n");
198         return status;
199     }
200
201     if (! *database_path) {
202         *database_path = getenv ("NOTMUCH_DATABASE");
203     }
204
205     if (! *database_path && *key_file) {
206         char *path = g_key_file_get_value (*key_file, "database", "path", NULL);
207         if (path) {
208             *database_path = talloc_strdup (ctx, path);
209             g_free (path);
210         }
211     }
212
213     if (! *database_path) {
214         *database_path = _xdg_dir (ctx, "XDG_DATA_HOME", ".local/share", profile);
215         *split = true;
216     }
217
218     if (*database_path == NULL) {
219         *message = strdup ("Error: Cannot open a database for a NULL path.\n");
220         return NOTMUCH_STATUS_NULL_POINTER;
221     }
222
223     if (*database_path[0] != '/') {
224         *message = strdup ("Error: Database path must be absolute.\n");
225         return NOTMUCH_STATUS_PATH_ERROR;
226     }
227     return NOTMUCH_STATUS_SUCCESS;
228 }
229
230 notmuch_database_t *
231 _alloc_notmuch ()
232 {
233     notmuch_database_t *notmuch;
234
235     notmuch = talloc_zero (NULL, notmuch_database_t);
236     if (! notmuch)
237         return NULL;
238
239     notmuch->exception_reported = false;
240     notmuch->status_string = NULL;
241     notmuch->writable_xapian_db = NULL;
242     notmuch->atomic_nesting = 0;
243     notmuch->view = 1;
244     return notmuch;
245 }
246
247 static notmuch_status_t
248 _trial_open (const char *xapian_path, char **message_ptr)
249 {
250     try {
251         Xapian::Database db (xapian_path);
252     } catch (const Xapian::DatabaseOpeningError &error) {
253         IGNORE_RESULT (asprintf (message_ptr,
254                                  "Cannot open Xapian database at %s: %s\n",
255                                  xapian_path,
256                                  error.get_msg ().c_str ()));
257         return NOTMUCH_STATUS_PATH_ERROR;
258     } catch (const Xapian::Error &error) {
259         IGNORE_RESULT (asprintf (message_ptr,
260                                  "A Xapian exception occurred opening database: %s\n",
261                                  error.get_msg ().c_str ()));
262         return NOTMUCH_STATUS_XAPIAN_EXCEPTION;
263     }
264     return NOTMUCH_STATUS_SUCCESS;
265 }
266
267 notmuch_status_t
268 _notmuch_choose_xapian_path (void *ctx, const char *database_path,
269                              const char **xapian_path, char **message_ptr)
270 {
271     notmuch_status_t status;
272     const char *trial_path, *notmuch_path;
273
274     status = _db_dir_exists (database_path, message_ptr);
275     if (status)
276         goto DONE;
277
278     trial_path = talloc_asprintf (ctx, "%s/xapian", database_path);
279     status = _trial_open (trial_path, message_ptr);
280     if (status != NOTMUCH_STATUS_PATH_ERROR)
281         goto DONE;
282
283     if (*message_ptr)
284         free (*message_ptr);
285
286     notmuch_path = talloc_asprintf (ctx, "%s/.notmuch", database_path);
287     status = _db_dir_exists (notmuch_path, message_ptr);
288     if (status)
289         goto DONE;
290
291     trial_path = talloc_asprintf (ctx, "%s/xapian", notmuch_path);
292     status = _trial_open (trial_path, message_ptr);
293
294   DONE:
295     if (status == NOTMUCH_STATUS_SUCCESS)
296         *xapian_path = trial_path;
297     return status;
298 }
299
300 static void
301 _set_database_path (notmuch_database_t *notmuch,
302                     const char *database_path)
303 {
304     char *path = talloc_strdup (notmuch, database_path);
305
306     strip_trailing (path, '/');
307
308     _notmuch_config_cache (notmuch, NOTMUCH_CONFIG_DATABASE_PATH, path);
309 }
310
311 static void
312 _init_libs ()
313 {
314
315     static int initialized = 0;
316
317     /* Initialize the GLib type system and threads */
318 #if ! GLIB_CHECK_VERSION (2, 35, 1)
319     g_type_init ();
320 #endif
321
322     /* Initialize gmime */
323     if (! initialized) {
324         g_mime_init ();
325         initialized = 1;
326     }
327 }
328
329 static notmuch_status_t
330 _finish_open (notmuch_database_t *notmuch,
331               const char *profile,
332               notmuch_database_mode_t mode,
333               GKeyFile *key_file,
334               char **message_ptr)
335 {
336     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
337     char *incompat_features;
338     char *message = NULL;
339     unsigned int version;
340     const char *database_path = notmuch_database_get_path (notmuch);
341
342     try {
343         std::string last_thread_id;
344         std::string last_mod;
345
346         if (mode == NOTMUCH_DATABASE_MODE_READ_WRITE) {
347             notmuch->writable_xapian_db = new Xapian::WritableDatabase (notmuch->xapian_path,
348                                                                         DB_ACTION);
349             notmuch->xapian_db = notmuch->writable_xapian_db;
350         } else {
351             notmuch->xapian_db = new Xapian::Database (notmuch->xapian_path);
352         }
353
354         /* Check version.  As of database version 3, we represent
355          * changes in terms of features, so assume a version bump
356          * means a dramatically incompatible change. */
357         version = notmuch_database_get_version (notmuch);
358         if (version > NOTMUCH_DATABASE_VERSION) {
359             IGNORE_RESULT (asprintf (&message,
360                                      "Error: Notmuch database at %s\n"
361                                      "       has a newer database format version (%u) than supported by this\n"
362                                      "       version of notmuch (%u).\n",
363                                      database_path, version, NOTMUCH_DATABASE_VERSION));
364             notmuch_database_destroy (notmuch);
365             notmuch = NULL;
366             status = NOTMUCH_STATUS_FILE_ERROR;
367             goto DONE;
368         }
369
370         /* Check features. */
371         incompat_features = NULL;
372         notmuch->features = _notmuch_database_parse_features (
373             notmuch, notmuch->xapian_db->get_metadata ("features").c_str (),
374             version, mode == NOTMUCH_DATABASE_MODE_READ_WRITE ? 'w' : 'r',
375             &incompat_features);
376         if (incompat_features) {
377             IGNORE_RESULT (asprintf (&message,
378                                      "Error: Notmuch database at %s\n"
379                                      "       requires features (%s)\n"
380                                      "       not supported by this version of notmuch.\n",
381                                      database_path, incompat_features));
382             notmuch_database_destroy (notmuch);
383             notmuch = NULL;
384             status = NOTMUCH_STATUS_FILE_ERROR;
385             goto DONE;
386         }
387
388         notmuch->last_doc_id = notmuch->xapian_db->get_lastdocid ();
389         last_thread_id = notmuch->xapian_db->get_metadata ("last_thread_id");
390         if (last_thread_id.empty ()) {
391             notmuch->last_thread_id = 0;
392         } else {
393             const char *str;
394             char *end;
395
396             str = last_thread_id.c_str ();
397             notmuch->last_thread_id = strtoull (str, &end, 16);
398             if (*end != '\0')
399                 INTERNAL_ERROR ("Malformed database last_thread_id: %s", str);
400         }
401
402         /* Get current highest revision number. */
403         last_mod = notmuch->xapian_db->get_value_upper_bound (
404             NOTMUCH_VALUE_LAST_MOD);
405         if (last_mod.empty ())
406             notmuch->revision = 0;
407         else
408             notmuch->revision = Xapian::sortable_unserialise (last_mod);
409         notmuch->uuid = talloc_strdup (
410             notmuch, notmuch->xapian_db->get_uuid ().c_str ());
411
412         notmuch->query_parser = new Xapian::QueryParser;
413         notmuch->term_gen = new Xapian::TermGenerator;
414         notmuch->term_gen->set_stemmer (Xapian::Stem ("english"));
415         notmuch->value_range_processor = new Xapian::NumberRangeProcessor (NOTMUCH_VALUE_TIMESTAMP);
416         notmuch->date_range_processor = new ParseTimeRangeProcessor (NOTMUCH_VALUE_TIMESTAMP,
417                                                                      "date:");
418         notmuch->last_mod_range_processor = new Xapian::NumberRangeProcessor (NOTMUCH_VALUE_LAST_MOD,
419                                                                               "lastmod:");
420         notmuch->query_parser->set_default_op (Xapian::Query::OP_AND);
421         notmuch->query_parser->set_database (*notmuch->xapian_db);
422         notmuch->query_parser->set_stemmer (Xapian::Stem ("english"));
423         notmuch->query_parser->set_stemming_strategy (Xapian::QueryParser::STEM_SOME);
424         notmuch->query_parser->add_rangeprocessor (notmuch->value_range_processor);
425         notmuch->query_parser->add_rangeprocessor (notmuch->date_range_processor);
426         notmuch->query_parser->add_rangeprocessor (notmuch->last_mod_range_processor);
427
428         /* Configuration information is needed to set up query parser */
429         status = _notmuch_config_load_from_database (notmuch);
430         if (status)
431             goto DONE;
432
433         if (key_file)
434             status = _notmuch_config_load_from_file (notmuch, key_file);
435         if (status)
436             goto DONE;
437
438         status = _choose_dir (notmuch, profile,
439                               NOTMUCH_CONFIG_HOOK_DIR,
440                               "XDG_CONFIG_HOME",
441                               ".config",
442                               "hooks",
443                               &message);
444         if (status)
445             goto DONE;
446
447         status = _choose_dir (notmuch, profile,
448                               NOTMUCH_CONFIG_BACKUP_DIR,
449                               "XDG_DATA_HOME",
450                               ".local/share",
451                               "backups",
452                               &message);
453         if (status)
454             goto DONE;
455         status = _notmuch_config_load_defaults (notmuch);
456         if (status)
457             goto DONE;
458
459         status = _notmuch_database_setup_standard_query_fields (notmuch);
460         if (status)
461             goto DONE;
462
463         status = _notmuch_database_setup_user_query_fields (notmuch);
464         if (status)
465             goto DONE;
466
467     } catch (const Xapian::Error &error) {
468         IGNORE_RESULT (asprintf (&message, "A Xapian exception occurred opening database: %s\n",
469                                  error.get_msg ().c_str ()));
470         notmuch_database_destroy (notmuch);
471         notmuch = NULL;
472         status = NOTMUCH_STATUS_XAPIAN_EXCEPTION;
473     }
474   DONE:
475     if (message_ptr)
476         *message_ptr = message;
477     return status;
478 }
479
480 notmuch_status_t
481 notmuch_database_open_with_config (const char *database_path,
482                                    notmuch_database_mode_t mode,
483                                    const char *config_path,
484                                    const char *profile,
485                                    notmuch_database_t **database,
486                                    char **status_string)
487 {
488     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
489     void *local = talloc_new (NULL);
490     notmuch_database_t *notmuch = NULL;
491     char *message = NULL;
492     GKeyFile *key_file = NULL;
493     bool split = false;
494
495     _init_libs ();
496
497     notmuch = _alloc_notmuch ();
498     if (! notmuch) {
499         status = NOTMUCH_STATUS_OUT_OF_MEMORY;
500         goto DONE;
501     }
502
503     if ((status = _choose_database_path (local, config_path, profile,
504                                          &key_file, &database_path, &split,
505                                          &message)))
506         goto DONE;
507
508     status = _db_dir_exists (database_path, &message);
509     if (status)
510         goto DONE;
511
512     _set_database_path (notmuch, database_path);
513
514     status = _notmuch_choose_xapian_path (notmuch, database_path,
515                                           &notmuch->xapian_path, &message);
516     if (status)
517         goto DONE;
518
519     status = _finish_open (notmuch, profile, mode, key_file, &message);
520
521   DONE:
522     talloc_free (local);
523
524     if (key_file)
525         g_key_file_free (key_file);
526
527     if (message) {
528         if (status_string)
529             *status_string = message;
530         else
531             free (message);
532     }
533
534     if (database)
535         *database = notmuch;
536     else
537         talloc_free (notmuch);
538
539     if (notmuch)
540         notmuch->open = true;
541
542     return status;
543 }
544
545 notmuch_status_t
546 notmuch_database_create (const char *path, notmuch_database_t **database)
547 {
548     char *status_string = NULL;
549     notmuch_status_t status;
550
551     status = notmuch_database_create_verbose (path, database,
552                                               &status_string);
553
554     if (status_string) {
555         fputs (status_string, stderr);
556         free (status_string);
557     }
558
559     return status;
560 }
561
562 notmuch_status_t
563 notmuch_database_create_verbose (const char *path,
564                                  notmuch_database_t **database,
565                                  char **status_string)
566 {
567     return notmuch_database_create_with_config (path, "", NULL, database, status_string);
568 }
569
570 notmuch_status_t
571 notmuch_database_create_with_config (const char *database_path,
572                                      const char *config_path,
573                                      const char *profile,
574                                      notmuch_database_t **database,
575                                      char **status_string)
576 {
577     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;
578     notmuch_database_t *notmuch = NULL;
579     const char *notmuch_path = NULL;
580     char *message = NULL;
581     GKeyFile *key_file = NULL;
582     void *local = talloc_new (NULL);
583     int err;
584     bool split = false;
585
586     _init_libs ();
587
588     notmuch = _alloc_notmuch ();
589     if (! notmuch) {
590         status = NOTMUCH_STATUS_OUT_OF_MEMORY;
591         goto DONE;
592     }
593
594     _init_libs ();
595
596     if ((status = _choose_database_path (local, config_path, profile,
597                                          &key_file, &database_path, &split,
598                                          &message)))
599         goto DONE;
600
601     status = _db_dir_exists (database_path, &message);
602     if (status)
603         goto DONE;
604
605     _set_database_path (notmuch, database_path);
606
607     if (key_file && ! split) {
608         char *mail_root = canonicalize_file_name (
609             g_key_file_get_value (key_file, "database", "mail_root", NULL));
610         char *db_path = canonicalize_file_name (database_path);
611
612         split = (mail_root && (0 != strcmp (mail_root, db_path)));
613
614         free (mail_root);
615         free (db_path);
616     }
617
618     if (split) {
619         notmuch_path = database_path;
620     } else {
621         if (! (notmuch_path = talloc_asprintf (local, "%s/%s", database_path, ".notmuch"))) {
622             status = NOTMUCH_STATUS_OUT_OF_MEMORY;
623             goto DONE;
624         }
625
626         err = mkdir (notmuch_path, 0755);
627         if (err) {
628             if (errno == EEXIST) {
629                 status = NOTMUCH_STATUS_DATABASE_EXISTS;
630                 talloc_free (notmuch);
631                 notmuch = NULL;
632             } else {
633                 IGNORE_RESULT (asprintf (&message, "Error: Cannot create directory %s: %s.\n",
634                                          notmuch_path, strerror (errno)));
635                 status = NOTMUCH_STATUS_FILE_ERROR;
636             }
637             goto DONE;
638         }
639     }
640
641     if (! (notmuch->xapian_path = talloc_asprintf (notmuch, "%s/%s", notmuch_path, "xapian"))) {
642         status = NOTMUCH_STATUS_OUT_OF_MEMORY;
643         goto DONE;
644     }
645
646     status = _trial_open (notmuch->xapian_path, &message);
647     if (status == NOTMUCH_STATUS_SUCCESS) {
648         notmuch_database_destroy (notmuch);
649         notmuch = NULL;
650         status = NOTMUCH_STATUS_DATABASE_EXISTS;
651         goto DONE;
652     }
653
654     if (message)
655         free (message);
656
657     status = _finish_open (notmuch,
658                            profile,
659                            NOTMUCH_DATABASE_MODE_READ_WRITE,
660                            key_file,
661                            &message);
662     if (status)
663         goto DONE;
664
665     /* Upgrade doesn't add these feature to existing databases, but
666      * new databases have them. */
667     notmuch->features |= NOTMUCH_FEATURE_FROM_SUBJECT_ID_VALUES;
668     notmuch->features |= NOTMUCH_FEATURE_INDEXED_MIMETYPES;
669     notmuch->features |= NOTMUCH_FEATURE_UNPREFIX_BODY_ONLY;
670
671     status = notmuch_database_upgrade (notmuch, NULL, NULL);
672     if (status) {
673         notmuch_database_close (notmuch);
674         notmuch = NULL;
675     }
676
677   DONE:
678     talloc_free (local);
679
680     if (key_file)
681         g_key_file_free (key_file);
682
683     if (message) {
684         if (status_string)
685             *status_string = message;
686         else
687             free (message);
688     }
689     if (database)
690         *database = notmuch;
691     else
692         talloc_free (notmuch);
693     return status;
694 }
695
696 notmuch_status_t
697 notmuch_database_reopen (notmuch_database_t *notmuch,
698                          notmuch_database_mode_t new_mode)
699 {
700     notmuch_database_mode_t cur_mode = _notmuch_database_mode (notmuch);
701
702     if (notmuch->xapian_db == NULL) {
703         _notmuch_database_log (notmuch, "Cannot reopen closed or nonexistent database\n");
704         return NOTMUCH_STATUS_ILLEGAL_ARGUMENT;
705     }
706
707     try {
708         if (cur_mode == new_mode &&
709             new_mode == NOTMUCH_DATABASE_MODE_READ_ONLY) {
710             notmuch->xapian_db->reopen ();
711         } else {
712             notmuch->xapian_db->close ();
713
714             delete notmuch->xapian_db;
715             notmuch->xapian_db = NULL;
716             /* no need to free the same object twice */
717             notmuch->writable_xapian_db = NULL;
718
719             if (new_mode == NOTMUCH_DATABASE_MODE_READ_WRITE) {
720                 notmuch->writable_xapian_db = new Xapian::WritableDatabase (notmuch->xapian_path,
721                                                                             DB_ACTION);
722                 notmuch->xapian_db = notmuch->writable_xapian_db;
723             } else {
724                 notmuch->xapian_db = new Xapian::Database (notmuch->xapian_path,
725                                                            DB_ACTION);
726             }
727         }
728     } catch (const Xapian::Error &error) {
729         if (! notmuch->exception_reported) {
730             _notmuch_database_log (notmuch, "Error: A Xapian exception reopening database: %s\n",
731                                    error.get_msg ().c_str ());
732             notmuch->exception_reported = true;
733         }
734         return NOTMUCH_STATUS_XAPIAN_EXCEPTION;
735     }
736
737     notmuch->view++;
738     notmuch->open = true;
739     return NOTMUCH_STATUS_SUCCESS;
740 }