]> git.notmuchmail.org Git - notmuch/blob - test/T240-dump-restore.sh
cli: consider files vanishing during notmuch new non-fatal
[notmuch] / test / T240-dump-restore.sh
1 #!/usr/bin/env bash
2 test_description="\"notmuch dump\" and \"notmuch restore\""
3 . ./test-lib.sh || exit 1
4
5 add_email_corpus
6
7 test_expect_success 'Dumping all tags' \
8   'generate_message &&
9   notmuch new &&
10   notmuch dump > dump.expected'
11
12 # The use of from:cworth is rather arbitrary: it matches some of the
13 # email corpus' messages, but not all of them.
14
15 test_expect_success 'Dumping all tags II' \
16   'notmuch tag +ABC +DEF -- from:cworth &&
17   notmuch dump > dump-ABC_DEF.expected &&
18   ! cmp dump.expected dump-ABC_DEF.expected'
19
20 test_expect_success 'Clearing all tags' \
21   'sed -e "s/(\([^(]*\))$/()/" < dump.expected > clear.expected &&
22   notmuch restore --input=clear.expected &&
23   notmuch dump > clear.actual &&
24   test_cmp clear.expected clear.actual'
25
26 test_expect_success 'Accumulate original tags' \
27   'notmuch tag +ABC +DEF -- from:cworth &&
28   notmuch restore --accumulate < dump.expected &&
29   notmuch dump > dump.actual &&
30   test_cmp dump-ABC_DEF.expected dump.actual'
31
32 test_expect_success 'Restoring original tags' \
33   'notmuch restore --input=dump.expected &&
34   notmuch dump > dump.actual &&
35   test_cmp dump.expected dump.actual'
36
37 test_expect_success 'Restore with nothing to do' \
38   'notmuch restore < dump.expected &&
39   notmuch dump > dump.actual &&
40   test_cmp dump.expected dump.actual'
41
42 test_expect_success 'Accumulate with existing tags' \
43   'notmuch restore --accumulate --input=dump.expected &&
44   notmuch dump > dump.actual &&
45   test_cmp dump.expected dump.actual'
46
47 test_expect_success 'Accumulate with no tags' \
48   'notmuch restore --accumulate < clear.expected &&
49   notmuch dump > dump.actual &&
50   test_cmp dump.expected dump.actual'
51
52 test_expect_success 'Accumulate with new tags' \
53   'notmuch restore --input=dump.expected &&
54   notmuch restore --accumulate --input=dump-ABC_DEF.expected &&
55   notmuch dump >  OUTPUT.$test_count &&
56   notmuch restore --input=dump.expected &&
57   test_cmp dump-ABC_DEF.expected OUTPUT.$test_count'
58
59 # notmuch restore currently only considers the first argument.
60 test_expect_success 'Invalid restore invocation' \
61   'test_must_fail notmuch restore --input=dump.expected another_one'
62
63 test_begin_subtest "dump --output=outfile"
64 notmuch dump --output=dump-outfile.actual
65 test_expect_equal_file dump.expected dump-outfile.actual
66
67 test_begin_subtest "dump --output=outfile --"
68 notmuch dump --output=dump-1-arg-dash.actual --
69 test_expect_equal_file dump.expected dump-1-arg-dash.actual
70
71 # gzipped output
72
73 test_begin_subtest "dump --gzip"
74 notmuch dump --gzip > dump-gzip.gz
75 gunzip dump-gzip.gz
76 test_expect_equal_file dump.expected dump-gzip
77
78 test_begin_subtest "dump --gzip --output=outfile"
79 notmuch dump --gzip --output=dump-gzip-outfile.gz
80 gunzip dump-gzip-outfile.gz
81 test_expect_equal_file dump.expected dump-gzip-outfile
82
83 test_begin_subtest "restoring gzipped stdin"
84 notmuch dump --gzip --output=backup.gz
85 notmuch tag +new_tag '*'
86 notmuch restore < backup.gz
87 notmuch dump --output=dump.actual
88 test_expect_equal_file dump.expected dump.actual
89
90 test_begin_subtest "restoring gzipped file"
91 notmuch dump --gzip --output=backup.gz
92 notmuch tag +new_tag '*'
93 notmuch restore --input=backup.gz
94 notmuch dump --output=dump.actual
95 test_expect_equal_file dump.expected dump.actual
96
97 # Note, we assume all messages from cworth have a message-id
98 # containing cworth.org
99
100 { head -1 dump.expected ; grep 'cworth[.]org' dump.expected; } > dump-cworth.expected
101
102 test_begin_subtest "dump -- from:cworth"
103 notmuch dump -- from:cworth > dump-dash-cworth.actual
104 test_expect_equal_file dump-cworth.expected dump-dash-cworth.actual
105
106 test_begin_subtest "dump --output=outfile from:cworth"
107 notmuch dump --output=dump-outfile-cworth.actual from:cworth
108 test_expect_equal_file dump-cworth.expected dump-outfile-cworth.actual
109
110 test_begin_subtest "dump --output=outfile -- from:cworth"
111 notmuch dump --output=dump-outfile-dash-inbox.actual -- from:cworth
112 test_expect_equal_file dump-cworth.expected dump-outfile-dash-inbox.actual
113
114 test_begin_subtest "Check for a safe set of message-ids"
115 notmuch search --output=messages from:cworth | sed s/^id:// > EXPECTED
116 notmuch search --output=messages from:cworth | sed s/^id:// |\
117         $TEST_DIRECTORY/hex-xcode --direction=encode > OUTPUT
118 test_expect_equal_file OUTPUT EXPECTED
119
120 test_begin_subtest "format=batch-tag, dump sanity check."
121 NOTMUCH_DUMP_TAGS --format=sup from:cworth | cut -f1 -d' ' | \
122     sort > EXPECTED.$test_count
123 NOTMUCH_DUMP_TAGS --format=batch-tag from:cworth | sed 's/^.*-- id://' | \
124     sort > OUTPUT.$test_count
125 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
126
127 test_begin_subtest "format=batch-tag, missing newline"
128 printf "+a_tag_without_newline -- id:20091117232137.GA7669@griffis1.net" > IN
129 notmuch restore --accumulate < IN
130 NOTMUCH_DUMP_TAGS id:20091117232137.GA7669@griffis1.net > OUT
131 cat <<EOF > EXPECTED
132 +a_tag_without_newline +inbox +unread -- id:20091117232137.GA7669@griffis1.net
133 EOF
134 test_expect_equal_file EXPECTED OUT
135
136 test_begin_subtest "format=batch-tag, # round-trip"
137 notmuch dump --format=sup | sort > EXPECTED.$test_count
138 notmuch dump --format=batch-tag > DUMPFILE
139 notmuch restore --format=batch-tag < DUMPFILE
140 notmuch dump --format=sup | sort > OUTPUT.$test_count
141 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
142
143 test_begin_subtest "format=batch-tag, # blank lines and comments"
144 notmuch dump --format=batch-tag| sort > EXPECTED.$test_count
145 notmuch restore <<EOF
146 # this line is a comment; the next has only white space
147          
148
149 # the previous line is empty
150 EOF
151 notmuch dump --format=batch-tag | sort > OUTPUT.$test_count
152 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
153
154 test_begin_subtest "format=batch-tag, # reverse-round-trip empty tag"
155 cat <<EOF >EXPECTED.$test_count
156 + -- id:20091117232137.GA7669@griffis1.net
157 EOF
158 notmuch restore --format=batch-tag < EXPECTED.$test_count
159 NOTMUCH_DUMP_TAGS --format=batch-tag id:20091117232137.GA7669@griffis1.net > OUTPUT.$test_count
160 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
161
162 tag1='comic_swear=$&^%$^%\\//-+$^%$'
163 enc1=$($TEST_DIRECTORY/hex-xcode --direction=encode "$tag1")
164
165 tag2=$(printf 'this\n tag\t has\n spaces')
166 enc2=$($TEST_DIRECTORY/hex-xcode --direction=encode "$tag2")
167
168 enc3='%c3%91%c3%a5%c3%b0%c3%a3%c3%a5%c3%a9-%c3%8f%c3%8a'
169 tag3=$($TEST_DIRECTORY/hex-xcode --direction=decode $enc3)
170
171 notmuch dump --format=batch-tag > BACKUP
172
173 notmuch tag +"$tag1" +"$tag2" +"$tag3" -inbox -unread "*"
174
175 # initial segment of file used for several tests below.
176 cat <<EOF > comments-and-blanks
177 # this is a comment
178
179 # next line has leading whitespace
180         
181
182 EOF
183
184 test_begin_subtest 'restoring empty file is not an error'
185 notmuch restore < /dev/null 2>OUTPUT.$test_count
186 cp /dev/null EXPECTED
187 test_expect_equal_file EXPECTED OUTPUT.$test_count
188
189 test_begin_subtest 'file of comments and blank lines is not an error'
190 notmuch restore --input=comments-and-blanks
191 ret_val=$?
192 test_expect_equal "$ret_val" "0"
193
194 cp comments-and-blanks leading-comments-blanks-batch-tag
195 echo "+some_tag -- id:yun1vjwegii.fsf@aiko.keithp.com" \
196     >> leading-comments-blanks-batch-tag
197
198 test_begin_subtest 'detect format=batch-tag with leading comments and blanks'
199 notmuch restore --input=leading-comments-blanks-batch-tag
200 notmuch search --output=tags id:yun1vjwegii.fsf@aiko.keithp.com > OUTPUT.$test_count
201 echo "some_tag" > EXPECTED
202 test_expect_equal_file EXPECTED OUTPUT.$test_count
203
204 cp comments-and-blanks leading-comments-blanks-sup
205 echo "yun1vjwegii.fsf@aiko.keithp.com (another_tag)" \
206     >> leading-comments-blanks-sup
207
208 test_begin_subtest 'detect format=sup with leading comments and blanks'
209 notmuch restore --input=leading-comments-blanks-sup
210 notmuch search --output=tags id:yun1vjwegii.fsf@aiko.keithp.com > OUTPUT.$test_count
211 echo "another_tag" > EXPECTED
212 test_expect_equal_file EXPECTED OUTPUT.$test_count
213
214 test_begin_subtest 'format=batch-tag, round trip with strange tags'
215 notmuch dump --format=batch-tag > EXPECTED.$test_count
216 notmuch dump --format=batch-tag > DUMPFILE
217 notmuch restore --format=batch-tag < DUMPFILE
218 notmuch dump --format=batch-tag > OUTPUT.$test_count
219 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
220
221 test_begin_subtest 'format=batch-tag, checking encoded output'
222 NOTMUCH_DUMP_TAGS --format=batch-tag -- from:cworth |\
223          awk "{ print \"+$enc1 +$enc2 +$enc3 -- \" \$5 }" > EXPECTED.$test_count
224 NOTMUCH_DUMP_TAGS --format=batch-tag -- from:cworth  > OUTPUT.$test_count
225 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
226
227 test_begin_subtest 'restoring sane tags'
228 notmuch restore --format=batch-tag < BACKUP
229 notmuch dump --format=batch-tag > OUTPUT.$test_count
230 test_expect_equal_file BACKUP OUTPUT.$test_count
231
232 test_begin_subtest 'format=batch-tag, restore=auto'
233 notmuch dump --format=batch-tag > EXPECTED.$test_count
234 notmuch tag -inbox -unread "*"
235 notmuch restore --format=auto < EXPECTED.$test_count
236 notmuch dump --format=batch-tag > OUTPUT.$test_count
237 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
238
239 test_begin_subtest 'format=sup, restore=auto'
240 notmuch dump --format=sup > EXPECTED.$test_count
241 notmuch tag -inbox -unread "*"
242 notmuch restore --format=auto < EXPECTED.$test_count
243 notmuch dump --format=sup > OUTPUT.$test_count
244 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
245
246 test_begin_subtest 'format=batch-tag, restore=default'
247 notmuch dump --format=batch-tag > EXPECTED.$test_count
248 notmuch tag -inbox -unread "*"
249 notmuch restore < EXPECTED.$test_count
250 notmuch dump --format=batch-tag > OUTPUT.$test_count
251 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
252
253 test_begin_subtest 'format=sup, restore=default'
254 notmuch dump --format=sup > EXPECTED.$test_count
255 notmuch tag -inbox -unread "*"
256 notmuch restore < EXPECTED.$test_count
257 notmuch dump --format=sup > OUTPUT.$test_count
258 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
259
260 test_begin_subtest 'restore: checking error messages'
261 notmuch restore <<EOF 2>OUTPUT
262 # the next line has a space
263  
264 a
265 +0
266 +a +b
267 # trailing whitespace
268 +a +b 
269 +c +d --
270 # this is a harmless comment, do not yell about it.
271
272 # the previous line was blank; also no yelling please
273 +%zz -- id:whatever
274 +e +f id:"
275 +e +f tag:abc
276 # the next non-comment line should report an an empty tag error for
277 # batch tagging, but not for restore
278 + +e -- id:20091117232137.GA7669@griffis1.net
279 # valid id, but warning about missing message
280 +e id:missing_message_id
281 # exercise parser
282 +e -- id:some)stuff
283 +e -- id:some stuff
284 +e -- id:some"stuff
285 +e -- id:"a_message_id_with""_a_quote"
286 +e -- id:"a message id with spaces"
287 +e --  id:an_id_with_leading_and_trailing_ws \
288
289 EOF
290
291 cat <<EOF > EXPECTED
292 Warning: cannot parse query: a (skipping)
293 Warning: no query string [+0]
294 Warning: no query string [+a +b]
295 Warning: missing query string [+a +b ]
296 Warning: no query string after -- [+c +d --]
297 Warning: hex decoding of tag %zz failed [+%zz -- id:whatever]
298 Warning: cannot parse query: id:" (skipping)
299 Warning: not an id query: tag:abc (skipping)
300 Warning: cannot apply tags to missing message: missing_message_id
301 Warning: cannot parse query: id:some)stuff (skipping)
302 Warning: cannot parse query: id:some stuff (skipping)
303 Warning: cannot apply tags to missing message: some"stuff
304 Warning: cannot apply tags to missing message: a_message_id_with"_a_quote
305 Warning: cannot apply tags to missing message: a message id with spaces
306 Warning: cannot apply tags to missing message: an_id_with_leading_and_trailing_ws
307 EOF
308
309 test_expect_equal_file EXPECTED OUTPUT
310
311 test_begin_subtest 'roundtripping random message-ids and tags'
312
313     ${TEST_DIRECTORY}/random-corpus --config-path=${NOTMUCH_CONFIG} \
314                         --num-messages=100
315
316      notmuch dump --format=batch-tag| \
317          sort > EXPECTED.$test_count
318
319      notmuch tag +this_tag_is_very_unlikely_to_be_random '*'
320
321      notmuch restore --format=batch-tag < EXPECTED.$test_count
322
323      notmuch dump --format=batch-tag| \
324          sort > OUTPUT.$test_count
325
326 test_expect_equal_file EXPECTED.$test_count OUTPUT.$test_count
327
328 test_done
329
330 # Note the database is "poisoned" for sup format at this point.