git.notmuchmail.org Git - notmuch/blob - lib/database-private.h

   1 /* database-private.h - For peeking into the internals of notmuch_database_t
   2  *
   3  * Copyright © 2009 Carl Worth
   4  *
   5  * This program is free software: you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation, either version 3 of the License, or
   8  * (at your option) any later version.
   9  *
  10  * This program is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13  * GNU General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License
  16  * along with this program.  If not, see https://www.gnu.org/licenses/ .
  17  *
  18  * Author: Carl Worth <cworth@cworth.org>
  19  */
  20
  21 #ifndef NOTMUCH_DATABASE_PRIVATE_H
  22 #define NOTMUCH_DATABASE_PRIVATE_H
  23
  24 /* According to WG14/N1124, a C++ implementation won't provide us a
  25  * macro like PRIx64 (which gives a printf format string for
  26  * formatting a uint64_t as hexadecimal) unless we define
  27  * __STDC_FORMAT_MACROS before including inttypes.h. That's annoying,
  28  * but there it is.
  29  */
  30 #define __STDC_FORMAT_MACROS
  31 #include <inttypes.h>
  32
  33 #include "notmuch-private.h"
  34
  35 #define ARRAY_SIZE(arr) (sizeof (arr) / sizeof (arr[0]))
  36
  37 #ifdef SILENCE_XAPIAN_DEPRECATION_WARNINGS
  38 #define XAPIAN_DEPRECATED(D) D
  39 #endif
  40
  41 #include <xapian.h>
  42
  43 /* Bit masks for _notmuch_database::features.  Features are named,
  44  * independent aspects of the database schema.
  45  *
  46  * A database stores the set of features that it "uses" (implicitly
  47  * before database version 3 and explicitly as of version 3).
  48  *
  49  * A given library version will "recognize" a particular set of
  50  * features; if a database uses a feature that the library does not
  51  * recognize, the library will refuse to open it.  It is assumed the
  52  * set of recognized features grows monotonically over time.  A
  53  * library version will "implement" some subset of the recognized
  54  * features: some operations may require that the database use (or not
  55  * use) some feature, while other operations may support both
  56  * databases that use and that don't use some feature.
  57  *
  58  * On disk, the database stores string names for these features (see
  59  * the feature_names array).  These enum bit values are never
  60  * persisted to disk and may change freely.
  61  */
  62 enum _notmuch_features {
  63     /* If set, file names are stored in "file-direntry" terms.  If
  64      * unset, file names are stored in document data.
  65      *
  66      * Introduced: version 1. */
  67     NOTMUCH_FEATURE_FILE_TERMS                  = 1 << 0,
  68
  69     /* If set, directory timestamps are stored in documents with
  70      * XDIRECTORY terms and relative paths.  If unset, directory
  71      * timestamps are stored in documents with XTIMESTAMP terms and
  72      * absolute paths.
  73      *
  74      * Introduced: version 1. */
  75     NOTMUCH_FEATURE_DIRECTORY_DOCS              = 1 << 1,
  76
  77     /* If set, the from, subject, and message-id headers are stored in
  78      * message document values.  If unset, message documents *may*
  79      * have these values, but if the value is empty, it must be
  80      * retrieved from the message file.
  81      *
  82      * Introduced: optional in version 1, required as of version 3.
  83      */
  84     NOTMUCH_FEATURE_FROM_SUBJECT_ID_VALUES      = 1 << 2,
  85
  86     /* If set, folder terms are boolean and path terms exist.  If
  87      * unset, folder terms are probabilistic and stemmed and path
  88      * terms do not exist.
  89      *
  90      * Introduced: version 2. */
  91     NOTMUCH_FEATURE_BOOL_FOLDER                 = 1 << 3,
  92
  93     /* If set, missing messages are stored in ghost mail documents.
  94      * If unset, thread IDs of ghost messages are stored as database
  95      * metadata instead of in ghost documents.
  96      *
  97      * Introduced: version 3. */
  98     NOTMUCH_FEATURE_GHOSTS                      = 1 << 4,
  99
 100
 101     /* If set, then the database was created after the introduction of
 102      * indexed mime types. If unset, then the database may contain a
 103      * mixture of messages with indexed and non-indexed mime types.
 104      *
 105      * Introduced: version 3. */
 106     NOTMUCH_FEATURE_INDEXED_MIMETYPES           = 1 << 5,
 107
 108     /* If set, messages store the revision number of the last
 109      * modification in NOTMUCH_VALUE_LAST_MOD.
 110      *
 111      * Introduced: version 3. */
 112     NOTMUCH_FEATURE_LAST_MOD                    = 1 << 6,
 113
 114     /* If set, unprefixed terms are stored only for the message body,
 115      * not for headers.
 116      *
 117      * Introduced: version 3. */
 118     NOTMUCH_FEATURE_UNPREFIX_BODY_ONLY          = 1 << 7,
 119 };
 120
 121 /* In C++, a named enum is its own type, so define bitwise operators
 122  * on _notmuch_features. */
 123 inline _notmuch_features
 124 operator| (_notmuch_features a, _notmuch_features b)
 125 {
 126     return static_cast<_notmuch_features>(
 127         static_cast<unsigned>(a) | static_cast<unsigned>(b));
 128 }
 129
 130 inline _notmuch_features
 131 operator& (_notmuch_features a, _notmuch_features b)
 132 {
 133     return static_cast<_notmuch_features>(
 134         static_cast<unsigned>(a) & static_cast<unsigned>(b));
 135 }
 136
 137 inline _notmuch_features
 138 operator~ (_notmuch_features a)
 139 {
 140     return static_cast<_notmuch_features>(~static_cast<unsigned>(a));
 141 }
 142
 143 inline _notmuch_features&
 144 operator|= (_notmuch_features &a, _notmuch_features b)
 145 {
 146     a = a | b;
 147     return a;
 148 }
 149
 150 inline _notmuch_features&
 151 operator&= (_notmuch_features &a, _notmuch_features b)
 152 {
 153     a = a & b;
 154     return a;
 155 }
 156
 157 /*
 158  * Configuration options for xapian database fields */
 159 typedef enum notmuch_field_flags {
 160     NOTMUCH_FIELD_NO_FLAGS      = 0,
 161     NOTMUCH_FIELD_EXTERNAL      = 1 << 0,
 162     NOTMUCH_FIELD_PROBABILISTIC = 1 << 1,
 163     NOTMUCH_FIELD_PROCESSOR     = 1 << 2,
 164 } notmuch_field_flag_t;
 165
 166 /*
 167  * define bitwise operators to hide casts */
 168 inline notmuch_field_flag_t
 169 operator| (notmuch_field_flag_t a, notmuch_field_flag_t b)
 170 {
 171     return static_cast<notmuch_field_flag_t>(
 172         static_cast<unsigned>(a) | static_cast<unsigned>(b));
 173 }
 174
 175 inline notmuch_field_flag_t
 176 operator& (notmuch_field_flag_t a, notmuch_field_flag_t b)
 177 {
 178     return static_cast<notmuch_field_flag_t>(
 179         static_cast<unsigned>(a) & static_cast<unsigned>(b));
 180 }
 181
 182 #define NOTMUCH_QUERY_PARSER_FLAGS (Xapian::QueryParser::FLAG_BOOLEAN | \
 183                                     Xapian::QueryParser::FLAG_PHRASE | \
 184                                     Xapian::QueryParser::FLAG_LOVEHATE | \
 185                                     Xapian::QueryParser::FLAG_BOOLEAN_ANY_CASE | \
 186                                     Xapian::QueryParser::FLAG_WILDCARD | \
 187                                     Xapian::QueryParser::FLAG_PURE_NOT)
 188
 189 struct _notmuch_database {
 190     bool exception_reported;
 191
 192     /* Path to actual database */
 193     const char *xapian_path;
 194
 195     /* Path to config loaded, if any */
 196     const char *config_path;
 197
 198     int atomic_nesting;
 199     /* true if changes have been made in this atomic section */
 200     bool atomic_dirty;
 201     Xapian::Database *xapian_db;
 202     Xapian::WritableDatabase *writable_xapian_db;
 203     bool open;
 204     /* Bit mask of features used by this database.  This is a
 205      * bitwise-OR of NOTMUCH_FEATURE_* values (above). */
 206     enum _notmuch_features features;
 207
 208     unsigned int last_doc_id;
 209     uint64_t last_thread_id;
 210
 211     /* error reporting; this value persists only until the
 212      * next library call. May be NULL */
 213     char *status_string;
 214
 215     /* Highest committed revision number.  Modifications are recorded
 216      * under a higher revision number, which can be generated with
 217      * notmuch_database_new_revision. */
 218     unsigned long revision;
 219     const char *uuid;
 220
 221     /* Keep track of the number of times the database has been re-opened
 222      * (or other global invalidations of notmuch's caching)
 223      */
 224     unsigned long view;
 225     Xapian::QueryParser *query_parser;
 226     Xapian::TermGenerator *term_gen;
 227     Xapian::RangeProcessor *value_range_processor;
 228     Xapian::RangeProcessor *date_range_processor;
 229     Xapian::RangeProcessor *last_mod_range_processor;
 230
 231     /* XXX it's slightly gross to use two parallel string->string maps
 232      * here, but at least they are small */
 233     notmuch_string_map_t *user_prefix;
 234     notmuch_string_map_t *user_header;
 235
 236     /* Cached and possibly overridden configuration */
 237     notmuch_string_map_t *config;
 238 };
 239
 240 /* Prior to database version 3, features were implied by the database
 241  * version number, so hard-code them for earlier versions. */
 242 #define NOTMUCH_FEATURES_V0 ((enum _notmuch_features) 0)
 243 #define NOTMUCH_FEATURES_V1 (NOTMUCH_FEATURES_V0 | NOTMUCH_FEATURE_FILE_TERMS | \
 244                              NOTMUCH_FEATURE_DIRECTORY_DOCS)
 245 #define NOTMUCH_FEATURES_V2 (NOTMUCH_FEATURES_V1 | NOTMUCH_FEATURE_BOOL_FOLDER)
 246
 247 /* Current database features.  If any of these are missing from a
 248  * database, request an upgrade.
 249  * NOTMUCH_FEATURE_FROM_SUBJECT_ID_VALUES and
 250  * NOTMUCH_FEATURE_INDEXED_MIMETYPES are not included because upgrade
 251  * doesn't currently introduce the features (though brand new databases
 252  * will have it). */
 253 #define NOTMUCH_FEATURES_CURRENT \
 254     (NOTMUCH_FEATURE_FILE_TERMS | NOTMUCH_FEATURE_DIRECTORY_DOCS | \
 255      NOTMUCH_FEATURE_BOOL_FOLDER | NOTMUCH_FEATURE_GHOSTS | \
 256      NOTMUCH_FEATURE_LAST_MOD)
 257
 258 /* Return the list of terms from the given iterator matching a prefix.
 259  * The prefix will be stripped from the strings in the returned list.
 260  * The list will be allocated using ctx as the talloc context.
 261  *
 262  * The function returns NULL on failure.
 263  */
 264 notmuch_string_list_t *
 265 _notmuch_database_get_terms_with_prefix (void *ctx, Xapian::TermIterator &i,
 266                                          Xapian::TermIterator &end,
 267                                          const char *prefix);
 268
 269 void
 270 _notmuch_database_find_doc_ids (notmuch_database_t *notmuch,
 271                                 const char *prefix_name,
 272                                 const char *value,
 273                                 Xapian::PostingIterator *begin,
 274                                 Xapian::PostingIterator *end);
 275
 276 #define NOTMUCH_DATABASE_VERSION 3
 277
 278 /* features.cc */
 279
 280 _notmuch_features
 281 _notmuch_database_parse_features (const void *ctx, const char *features, unsigned int version,
 282                                   char mode, char **incompat_out);
 283
 284 char *
 285 _notmuch_database_print_features (const void *ctx, unsigned int features);
 286
 287 /* prefix.cc */
 288 notmuch_status_t
 289 _notmuch_database_setup_standard_query_fields (notmuch_database_t *notmuch);
 290
 291 notmuch_status_t
 292 _notmuch_database_setup_user_query_fields (notmuch_database_t *notmuch);
 293
 294 #endif