git.notmuchmail.org Git - notmuch/blob - test/test-lib.sh

   1 #
   2 # Copyright (c) 2005 Junio C Hamano
   3 # Copyright (c) 2010 Notmuch Developers
   4 #
   5 # This program is free software: you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation, either version 2 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program.  If not, see https://www.gnu.org/licenses/ .
  17
  18 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
  19     echo "Error: The notmuch test suite requires a bash version >= 4.0"
  20     echo "due to use of associative arrays within the test suite."
  21     echo "Please try again with a newer bash (or help us fix the"
  22     echo "test suite to be more portable). Thanks."
  23     exit 1
  24 fi
  25
  26 # Make sure echo builtin does not expand backslash-escape sequences by default.
  27 shopt -u xpg_echo
  28
  29 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
  30 . $(dirname "$0")/export-dirs.sh || exit 1
  31
  32 # It appears that people try to run tests without building...
  33 if [[ ! -x "$NOTMUCH_BUILDDIR/notmuch" ]]; then
  34         echo >&2 'You do not seem to have built notmuch yet.'
  35         exit 1
  36 fi
  37
  38 this_test=${0##*/}
  39 this_test=${this_test%.sh}
  40 this_test_bare=${this_test#T[0-9][0-9][0-9]-}
  41
  42 # if --tee was passed, write the output not only to the terminal, but
  43 # additionally to the file test-results/$BASENAME.out, too.
  44 case "$GIT_TEST_TEE_STARTED, $* " in
  45 done,*)
  46         # do not redirect again
  47         ;;
  48 *' --tee '*|*' --va'*)
  49         mkdir -p test-results
  50         BASE=test-results/$this_test
  51         (GIT_TEST_TEE_STARTED=done "$BASH" "$0" "$@" 2>&1;
  52          echo $? > $BASE.exit) | tee $BASE.out
  53         test "$(cat $BASE.exit)" = 0
  54         exit
  55         ;;
  56 esac
  57
  58 # STDIN from /dev/null. EOF for readers (and ENOTTY for tty related ioctls).
  59 exec </dev/null
  60
  61 # Save STDOUT to fd 6 and STDERR to fd 7.
  62 exec 6>&1 7>&2
  63 # Make xtrace debugging (when used) use redirected STDERR, with verbose lead:
  64 BASH_XTRACEFD=7
  65 export PS4='+(${BASH_SOURCE}:${LINENO}): ${FUNCNAME[0]:+${FUNCNAME[0]}(): }'
  66
  67 # Keep the original TERM for say_color and test_emacs
  68 ORIGINAL_TERM=$TERM
  69
  70 # Set SMART_TERM to vt100 for known dumb/unknown terminal.
  71 # Otherwise use whatever TERM is currently used so that
  72 # users' actual TERM environments are being used in tests.
  73 case ${TERM-} in
  74         '' | dumb | unknown )
  75                 SMART_TERM=vt100 ;;
  76         *)
  77                 SMART_TERM=$TERM ;;
  78 esac
  79
  80 # For repeatability, reset the environment to known value.
  81 LANG=C
  82 LC_ALL=C
  83 PAGER=cat
  84 TZ=UTC
  85 TERM=dumb
  86 export LANG LC_ALL PAGER TERM TZ
  87 GIT_TEST_CMP=${GIT_TEST_CMP:-diff -u}
  88 if [[ ( -n "$TEST_EMACS" && -z "$TEST_EMACSCLIENT" ) || \
  89       ( -z "$TEST_EMACS" && -n "$TEST_EMACSCLIENT" ) ]]; then
  90     echo "error: must specify both or neither of TEST_EMACS and TEST_EMACSCLIENT" >&2
  91     exit 1
  92 fi
  93 TEST_EMACS=${TEST_EMACS:-${EMACS:-emacs}}
  94 TEST_EMACSCLIENT=${TEST_EMACSCLIENT:-emacsclient}
  95 TEST_GDB=${TEST_GDB:-gdb}
  96 TEST_CC=${TEST_CC:-cc}
  97 TEST_CFLAGS=${TEST_CFLAGS:-"-g -O0"}
  98 TEST_SHIM_CFLAGS=${TEST_SHIM_CFLAGS:-"-fpic -shared"}
  99 TEST_SHIM_LDFLAGS=${TEST_SHIM_LDFLAGS:-"-ldl"}
 100
 101 # Protect ourselves from common misconfiguration to export
 102 # CDPATH into the environment
 103 unset CDPATH
 104
 105 unset GREP_OPTIONS
 106
 107 # For lib/open.cc:_load_key_file
 108 unset XDG_CONFIG_HOME
 109
 110 # For emacsclient
 111 unset ALTERNATE_EDITOR
 112
 113 # for reproducibility
 114 unset EMAIL
 115 unset NAME
 116
 117 add_gnupg_home () {
 118     [ -e "${GNUPGHOME}/gpg.conf" ] && return
 119     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
 120     at_exit_function _gnupg_exit
 121     mkdir -p -m 0700 "$GNUPGHOME"
 122     gpg --no-tty --import <$NOTMUCH_SRCDIR/test/gnupg-secret-key.asc >"$GNUPGHOME"/import.log 2>&1
 123     test_debug "cat $GNUPGHOME/import.log"
 124     if (gpg --quick-random --version >/dev/null 2>&1) ; then
 125         echo quick-random >> "$GNUPGHOME"/gpg.conf
 126     elif (gpg --debug-quick-random --version >/dev/null 2>&1) ; then
 127         echo debug-quick-random >> "$GNUPGHOME"/gpg.conf
 128     fi
 129     echo no-emit-version >> "$GNUPGHOME"/gpg.conf
 130
 131     # Change this if we ship a new test key
 132     FINGERPRINT="5AEAB11F5E33DCE875DDB75B6D92612D94E46381"
 133     SELF_USERID="Notmuch Test Suite <test_suite@notmuchmail.org> (INSECURE!)"
 134     SELF_EMAIL="test_suite@notmuchmail.org"
 135     printf '%s:6:\n' "$FINGERPRINT" | gpg --quiet --batch --no-tty --import-ownertrust
 136 }
 137
 138 add_gpgsm_home () {
 139     test_require_external_prereq openssl
 140
 141     local fpr
 142     [ -e "$GNUPGHOME/gpgsm.conf" ] && return
 143     _gnupg_exit () { gpgconf --kill all 2>/dev/null || true; }
 144     at_exit_function _gnupg_exit
 145     mkdir -p -m 0700 "$GNUPGHOME"
 146     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
 147           --disable-dirmngr --import  >"$GNUPGHOME"/import.log 2>&1 3<<<'' <$NOTMUCH_SRCDIR/test/smime/0xE0972A47.p12
 148     fpr=$(gpgsm --batch --with-colons --list-key test_suite@notmuchmail.org | awk -F: '/^fpr/ {print $10}')
 149     echo "$fpr S relax" >> "$GNUPGHOME/trustlist.txt"
 150     gpgsm --quiet --batch --no-tty --no-common-certs-import --disable-dirmngr --import < $NOTMUCH_SRCDIR/test/smime/ca.crt
 151     echo "4D:E0:FF:63:C0:E9:EC:01:29:11:C8:7A:EE:DA:3A:9A:7F:6E:C1:0D S" >> "$GNUPGHOME/trustlist.txt"
 152     printf '%s::1\n' include-certs disable-crl-checks | gpgconf --output /dev/null --change-options gpgsm
 153     gpgsm --batch --no-tty --no-common-certs-import --pinentry-mode=loopback --passphrase-fd 3 \
 154               --disable-dirmngr --import "$NOTMUCH_SRCDIR/test/smime/bob.p12" >>"$GNUPGHOME"/import.log 2>&1 3<<<''
 155     test_debug "cat $GNUPGHOME/import.log"
 156 }
 157
 158 # Each test should start with something like this, after copyright notices:
 159 #
 160 # test_description='Description of this test...
 161 # This test checks if command xyzzy does the right thing...
 162 # '
 163 # . ./test-lib.sh || exit 1
 164
 165 color=maybe
 166
 167 while test "$#" -ne 0
 168 do
 169         case "$1" in
 170         -d|--debug)
 171                 debug=t; shift ;;
 172         -i|--immediate)
 173                 immediate=t; shift ;;
 174         -h|--help)
 175                 help=t; shift ;;
 176         -v|--verbose)
 177                 verbose=t; shift ;;
 178         -q|--quiet)
 179                 quiet=t; shift ;;
 180         --with-dashes)
 181                 with_dashes=t; shift ;;
 182         --no-color)
 183                 color=; shift ;;
 184         --no-python)
 185                 # noop now...
 186                 shift ;;
 187         --valgrind)
 188                 valgrind=t; verbose=t; shift ;;
 189         --tee)
 190                 shift ;; # was handled already
 191         *)
 192                 echo "error: unknown test option '$1'" >&2; exit 1 ;;
 193         esac
 194 done
 195
 196 if test -n "$debug"; then
 197         fmt_subtest () {
 198                 printf -v $1 " %-4s" "[$((test_count - 1))]"
 199         }
 200 else
 201         fmt_subtest () {
 202                 printf -v $1 ''
 203         }
 204 fi
 205
 206 test -n "$COLORS_WITHOUT_TTY" || [ -t 1 ] || color=
 207
 208 if [ -n "$color" ] && [ "$ORIGINAL_TERM" != 'dumb' ] &&
 209         tput -T "$ORIGINAL_TERM" -S <<<$'bold\nsetaf\nsgr0\n' >/dev/null 2>&1
 210 then
 211         color=t
 212 else
 213         color=
 214 fi
 215
 216 if test -n "$color"
 217 then
 218         # _tput run in subshell (``) only
 219         _tput () { exec tput -T "$ORIGINAL_TERM" "$@"; }
 220         unset BOLD RED GREEN BROWN SGR0
 221         say_color () {
 222                 case "$1" in
 223                         error)  b=${BOLD=`_tput bold`}
 224                                 c=${RED=`_tput setaf 1`}   ;; # bold red
 225                         skip)   b=${BOLD=`_tput bold`}
 226                                 c=${GREEN=`_tput setaf 2`} ;; # bold green
 227                         pass)   b= c=${GREEN=`_tput setaf 2`} ;; # green
 228                         info)   b= c=${BROWN=`_tput setaf 3`} ;; # brown
 229                         *) b= c=; test -n "$quiet" && return ;;
 230                 esac
 231                 f=$2
 232                 shift 2
 233                 sgr0=${SGR0=`_tput sgr0`}
 234                 fmt_subtest st
 235                 printf " ${b}${c}${f}${sgr0}${st}" "$@"
 236         }
 237 else
 238         say_color() {
 239                 test -z "$1" && test -n "$quiet" && return
 240                 f=$2
 241                 shift 2
 242                 fmt_subtest st
 243                 printf " ${f}${st}" "$@"
 244         }
 245 fi
 246
 247 error () {
 248         say_color error "error: $*\n"
 249         GIT_EXIT_OK=t
 250         exit 1
 251 }
 252
 253 say () {
 254         say_color info "$*"
 255 }
 256
 257 test "${test_description}" != "" ||
 258 error "Test script did not set test_description."
 259
 260 if test "$help" = "t"
 261 then
 262         echo "Tests ${test_description}"
 263         exit 0
 264 fi
 265
 266 test_description_printed=
 267 print_test_description () {
 268         test -z "$test_description_printed" || return 0
 269         echo
 270         echo $this_test: "Testing ${test_description}"
 271         test_description_printed=1
 272 }
 273 if [ -z "$NOTMUCH_TEST_QUIET" ]
 274 then
 275         print_test_description
 276 fi
 277
 278 test_failure=0
 279 test_count=0
 280 test_fixed=0
 281 test_broken=0
 282 test_success=0
 283
 284 declare -a _exit_functions=()
 285
 286 at_exit_function () {
 287         _exit_functions=($1 ${_exit_functions[@]/$1})
 288 }
 289
 290 rm_exit_function () {
 291         _exit_functions=(${_exit_functions[@]/$1})
 292 }
 293
 294 _exit_common () {
 295         code=$?
 296         trap - EXIT
 297         set +ex
 298         for _fn in ${_exit_functions[@]}; do $_fn; done
 299         rm -rf "$TEST_TMPDIR"
 300 }
 301
 302 trap_exit () {
 303         _exit_common
 304         if test -n "$GIT_EXIT_OK"
 305         then
 306                 exit $code
 307         else
 308                 exec >&6
 309                 say_color error '%-6s' FATAL
 310                 echo " $test_subtest_name"
 311                 echo
 312                 echo "Unexpected exit while executing $0. Exit code $code."
 313                 exit 1
 314         fi
 315 }
 316
 317 trap_signal () {
 318         _exit_common
 319         echo >&6 "FATAL: $0: interrupted by signal" $((code - 128))
 320         exit $code
 321 }
 322
 323 die () {
 324         _exit_common
 325         exec >&6
 326         say_color error '%-6s' FATAL
 327         echo " $*"
 328         echo
 329         echo "Unexpected exit while executing $0."
 330         exit 1
 331 }
 332
 333 GIT_EXIT_OK=
 334 # Note: TEST_TMPDIR *NOT* exported!
 335 TEST_TMPDIR=$(mktemp -d "${TMPDIR:-/tmp}/notmuch-test-$$.XXXXXX")
 336 # Put GNUPGHOME in TMPDIR to avoid problems with long paths.
 337 export GNUPGHOME="${TEST_TMPDIR}/gnupg"
 338 trap 'trap_exit' EXIT
 339 trap 'trap_signal' HUP INT TERM
 340
 341 # Add an existing, fixed corpus of email to the database.
 342 #
 343 # $1 is the corpus dir under corpora to add, using "default" if unset.
 344 #
 345 # The default corpus is based on about 50 messages from early in the
 346 # history of the notmuch mailing list, which allows for reliably
 347 # testing commands that need to operate on a not-totally-trivial
 348 # number of messages.
 349 add_email_corpus () {
 350     local corpus
 351     corpus=${1:-default}
 352
 353     rm -rf ${MAIL_DIR}
 354     cp -a $NOTMUCH_SRCDIR/test/corpora/$corpus ${MAIL_DIR}
 355     notmuch new >/dev/null || die "'notmuch new' failed while adding email corpus"
 356 }
 357
 358 test_begin_subtest () {
 359     if [ -n "$inside_subtest" ]; then
 360         exec 1>&6 2>&7          # Restore stdout and stderr
 361         error "bug in test script: Missing test_expect_equal in ${BASH_SOURCE[1]}:${BASH_LINENO[0]}"
 362     fi
 363     test_subtest_name="$1"
 364     test_reset_state_
 365     # Redirect test output to the previously prepared file descriptors
 366     # 3 and 4 (see below)
 367     if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
 368     exec >&3 2>&4
 369     inside_subtest=t
 370 }
 371
 372 # Pass test if two arguments match
 373 #
 374 # Note: Unlike all other test_expect_* functions, this function does
 375 # not accept a test name. Instead, the caller should call
 376 # test_begin_subtest before calling this function in order to set the
 377 # name.
 378 test_expect_equal () {
 379         local output expected testname
 380         exec 1>&6 2>&7          # Restore stdout and stderr
 381         if [ -z "$inside_subtest" ]; then
 382                 error "bug in the test script: test_expect_equal without test_begin_subtest"
 383         fi
 384         inside_subtest=
 385         test "$#" = 2 ||
 386         error "bug in the test script: not 2 parameters to test_expect_equal"
 387
 388         output="$1"
 389         expected="$2"
 390         if ! test_skip "$test_subtest_name"
 391         then
 392                 if [ "$output" = "$expected" ]; then
 393                         test_ok_
 394                 else
 395                         testname=$this_test.$test_count
 396                         echo "$expected" > $testname.expected
 397                         echo "$output" > $testname.output
 398                         test_failure_ "$(diff -u $testname.expected $testname.output)"
 399                 fi
 400     fi
 401 }
 402
 403 test_diff_file_ () {
 404     local file1 file2 testname basename1 basename2
 405     file1="$1"
 406     file2="$2"
 407     if ! test_skip "$test_subtest_name"
 408     then
 409         if diff -q "$file1" "$file2" >/dev/null ; then
 410             test_ok_
 411         else
 412             testname=$this_test.$test_count
 413             basename1=`basename "$file1"`
 414             basename2=`basename "$file2"`
 415             cp "$file1" "$testname.$basename1"
 416             cp "$file2" "$testname.$basename2"
 417             test_failure_ "$(diff -u "$testname.$basename1" "$testname.$basename2")"
 418         fi
 419     fi
 420 }
 421
 422 # Like test_expect_equal, but takes two filenames.
 423 test_expect_equal_file () {
 424     exec 1>&6 2>&7              # Restore stdout and stderr
 425     if [ -z "$inside_subtest" ]; then
 426         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
 427     fi
 428     inside_subtest=
 429     test "$#" = 2 ||
 430         error "bug in the test script: not 2 parameters to test_expect_equal_file"
 431
 432     test_diff_file_ "$1" "$2"
 433 }
 434
 435 # Like test_expect_equal_file, but compare the part of the two files after the first blank line
 436 test_expect_equal_message_body () {
 437     exec 1>&6 2>&7              # Restore stdout and stderr
 438     if [ -z "$inside_subtest" ]; then
 439         error "bug in the test script: test_expect_equal_file without test_begin_subtest"
 440     fi
 441     test "$#" = 2 ||
 442         error "bug in the test script: not 2 parameters to test_expect_equal_file"
 443
 444     expected=$(sed '1,/^$/d' "$1")
 445     output=$(sed '1,/^$/d' "$2")
 446     test_expect_equal "$expected" "$output"
 447 }
 448
 449 # Like test_expect_equal, but takes two filenames. Fails if either is empty
 450 test_expect_equal_file_nonempty () {
 451     exec 1>&6 2>&7              # Restore stdout and stderr
 452     if [ -z "$inside_subtest" ]; then
 453         error "bug in the test script: test_expect_equal_file_nonempty without test_begin_subtest"
 454     fi
 455     inside_subtest=
 456     test "$#" = 2 ||
 457         error "bug in the test script: not 2 parameters to test_expect_equal_file_nonempty"
 458
 459     for file in "$1" "$2"; do
 460         if [ ! -s "$file" ]; then
 461             test_failure_ "Missing or zero length file: $file"
 462             return $?
 463         fi
 464     done
 465
 466     test_diff_file_ "$1" "$2"
 467 }
 468
 469 # Like test_expect_equal, but arguments are JSON expressions to be
 470 # canonicalized before diff'ing.  If an argument cannot be parsed, it
 471 # is used unchanged so that there's something to diff against.
 472 test_expect_equal_json () {
 473     local script output expected
 474     # The test suite forces LC_ALL=C, but this causes Python 3 to
 475     # decode stdin as ASCII.  We need to read JSON in UTF-8, so
 476     # override Python's stdio encoding defaults.
 477     script='import json, sys; json.dump(json.load(sys.stdin), sys.stdout, sort_keys=True, indent=4)'
 478     output=$(echo "$1" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
 479         || echo "$1")
 480     expected=$(echo "$2" | PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "$script" \
 481         || echo "$2")
 482     shift 2
 483     test_expect_equal "$output" "$expected" "$@"
 484 }
 485
 486 # Ensure that the argument is valid JSON data.
 487 test_valid_json () {
 488     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c "import sys, json; json.load(sys.stdin)" <<<"$1"
 489     test_expect_equal "$?" 0
 490 }
 491
 492 # Sort the top-level list of JSON data from stdin.
 493 test_sort_json () {
 494     PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -c \
 495         "import sys, json; json.dump(sorted(json.load(sys.stdin)),sys.stdout)"
 496 }
 497
 498 # test for json objects:
 499 # read the source of test/json_check_nodes.py (or the output when
 500 # invoking it without arguments) for an explanation of the syntax.
 501 test_json_nodes () {
 502         local output
 503         exec 1>&6 2>&7          # Restore stdout and stderr
 504         if [ -z "$inside_subtest" ]; then
 505                 error "bug in the test script: test_json_eval without test_begin_subtest"
 506         fi
 507         inside_subtest=
 508         test "$#" > 0 ||
 509             error "bug in the test script: test_json_nodes needs at least 1 parameter"
 510
 511         if ! test_skip "$test_subtest_name"
 512         then
 513             output=$(PYTHONIOENCODING=utf-8 $NOTMUCH_PYTHON -B "$NOTMUCH_SRCDIR"/test/json_check_nodes.py "$@")
 514                 if [ "$?" = 0 ]
 515                 then
 516                         test_ok_
 517                 else
 518                         test_failure_ "$output"
 519                 fi
 520         fi
 521 }
 522
 523 NOTMUCH_NEW () {
 524     notmuch new "${@}" | grep -v -E -e '^Processed [0-9]*( total)? file|Found [0-9]* total file'
 525 }
 526
 527 NOTMUCH_DUMP_TAGS () {
 528     # this relies on the default format being batch-tag, otherwise some tests will break
 529     notmuch dump --include=tags "${@}" | sed '/^#/d' | sort
 530 }
 531
 532 notmuch_drop_mail_headers () {
 533     $NOTMUCH_PYTHON -c '
 534 import email, sys
 535 msg = email.message_from_file(sys.stdin)
 536 for hdr in sys.argv[1:]: del msg[hdr]
 537 print(msg.as_string(False))
 538 ' "$@"
 539 }
 540
 541 notmuch_debug_sanitize () {
 542     grep -v '^D.:'
 543 }
 544
 545 notmuch_exception_sanitize () {
 546     perl -pe 's,(A Xapian exception occurred at) .*?([^/]*[.]cc?):([0-9]*),\1 \2:XXX,'
 547 }
 548
 549 notmuch_search_sanitize () {
 550     notmuch_debug_sanitize | perl -pe 's/("?thread"?: ?)("?)................("?)/\1\2XXX\3/'
 551 }
 552
 553 notmuch_search_files_sanitize () {
 554     notmuch_dir_sanitize
 555 }
 556
 557 notmuch_dir_sanitize () {
 558     sed -e "s,$MAIL_DIR,MAIL_DIR," -e "s,${PWD},CWD,g" "$@"
 559 }
 560
 561 NOTMUCH_SHOW_FILENAME_SQUELCH='s,filename:.*/mail,filename:/XXX/mail,'
 562 notmuch_show_sanitize () {
 563     sed -e "$NOTMUCH_SHOW_FILENAME_SQUELCH"
 564 }
 565 notmuch_show_sanitize_all () {
 566     notmuch_debug_sanitize | \
 567     sed \
 568         -e 's| filename:.*| filename:XXXXX|' \
 569         -e 's| id:[^ ]* | id:XXXXX |' | \
 570         notmuch_date_sanitize
 571 }
 572
 573 notmuch_json_show_sanitize () {
 574     sed \
 575         -e 's|"id": "[^"]*",|"id": "XXXXX",|g' \
 576         -e 's|"Date": "Fri, 05 Jan 2001 [^"]*0000"|"Date": "GENERATED_DATE"|g' \
 577         -e 's|"filename": "signature.asc",||g' \
 578         -e 's|"filename": \["/[^"]*"\],|"filename": \["YYYYY"\],|g' \
 579         -e 's|"timestamp": 97.......|"timestamp": 42|g' \
 580         -e 's|"content-length": [1-9][0-9]*|"content-length": "NONZERO"|g'
 581 }
 582
 583 notmuch_emacs_error_sanitize () {
 584     local command
 585     command=$1
 586     shift
 587     for file in "$@"; do
 588         echo "=== $file ==="
 589         notmuch_debug_sanitize < "$file"
 590     done | sed \
 591         -e '/^$/d' \
 592         -e '/^\[.*\]$/d' \
 593         -e "s|^\(command: \)\{0,1\}/.*/$command|\1YYY/$command|"
 594 }
 595
 596 notmuch_date_sanitize () {
 597     sed \
 598         -e 's/^Date: Fri, 05 Jan 2001 .*0000/Date: GENERATED_DATE/'
 599 }
 600
 601 notmuch_uuid_sanitize () {
 602     sed 's/[0-9a-f]\{8\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{4\}-[0-9a-f]\{12\}/UUID/g'
 603 }
 604
 605 notmuch_built_with_sanitize () {
 606     sed 's/^built_with[.]\(.*\)=.*$/built_with.\1=something/'
 607 }
 608
 609 notmuch_config_sanitize () {
 610     notmuch_dir_sanitize | notmuch_built_with_sanitize
 611 }
 612
 613 notmuch_show_part () {
 614     awk '/^\014part}/{ f=0 }; { if (f) { print $0 } } /^\014part{ ID: '"$1"'/{ f=1 }'
 615 }
 616
 617 # End of notmuch helper functions
 618
 619 # Use test_set_prereq to tell that a particular prerequisite is available.
 620 #
 621 # The prerequisite can later be checked for by using test_have_prereq.
 622 #
 623 # The single parameter is the prerequisite tag (a simple word, in all
 624 # capital letters by convention).
 625
 626 test_set_prereq () {
 627         satisfied="$satisfied$1 "
 628 }
 629 satisfied=" "
 630
 631 test_have_prereq () {
 632         case $satisfied in
 633         *" $1 "*)
 634                 : yes, have it ;;
 635         *)
 636                 ! : nope ;;
 637         esac
 638 }
 639
 640 declare -A test_missing_external_prereq_
 641 declare -A test_subtest_missing_external_prereq_
 642
 643 # declare prerequisite for the given external binary
 644 test_declare_external_prereq () {
 645         local binary
 646         binary="$1"
 647         test "$#" = 2 && name=$2 || name="$binary(1)"
 648
 649         if ! hash $binary 2>/dev/null; then
 650                 test_missing_external_prereq_["${binary}"]=t
 651                 eval "
 652 $binary () {
 653         test_subtest_missing_external_prereq_[\"${name}\"]=t
 654         false
 655 }"
 656         fi
 657 }
 658
 659 # Explicitly require external prerequisite.  Useful when binary is
 660 # called indirectly (e.g. from emacs).
 661 # Returns success if dependency is available, failure otherwise.
 662 test_require_external_prereq () {
 663         local binary
 664         binary="$1"
 665         if [[ ${test_missing_external_prereq_["${binary}"]} == t ]]; then
 666                 # dependency is missing, call the replacement function to note it
 667                 eval "$binary"
 668         else
 669                 true
 670         fi
 671 }
 672
 673 # You are not expected to call test_ok_ and test_failure_ directly, use
 674 # the text_expect_* functions instead.
 675
 676 test_ok_ () {
 677         if test "$test_subtest_known_broken_" = "t"; then
 678                 test_known_broken_ok_
 679                 return
 680         fi
 681         test_success=$(($test_success + 1))
 682         if test -n "$NOTMUCH_TEST_QUIET"; then
 683                 return 0
 684         fi
 685         say_color pass "%-6s" "PASS"
 686         echo " $test_subtest_name"
 687 }
 688
 689 test_failure_ () {
 690         print_test_description
 691         if test "$test_subtest_known_broken_" = "t"; then
 692                 test_known_broken_failure_ "$@"
 693                 return
 694         fi
 695         test_failure=$(($test_failure + 1))
 696         test_failure_message_ "FAIL" "$test_subtest_name" "$@"
 697         test "$immediate" = "" || { GIT_EXIT_OK=t; exit 1; }
 698         return 1
 699 }
 700
 701 test_failure_message_ () {
 702         say_color error "%-6s" "$1"
 703         echo " $2"
 704         shift 2
 705         if [ "$#" != "0" ]; then
 706                 echo "$@" | sed -e 's/^/        /'
 707         fi
 708         if test "$verbose" != "t"; then cat test.output; fi
 709 }
 710
 711 test_known_broken_ok_ () {
 712         test_reset_state_
 713         test_fixed=$(($test_fixed+1))
 714         say_color pass "%-6s" "FIXED"
 715         echo " $test_subtest_name"
 716 }
 717
 718 test_known_broken_failure_ () {
 719         test_reset_state_
 720         test_broken=$(($test_broken+1))
 721         if [ -z "$NOTMUCH_TEST_QUIET" ]; then
 722                 test_failure_message_ "BROKEN" "$test_subtest_name" "$@"
 723         else
 724                 test_failure_message_ "BROKEN" "$test_subtest_name"
 725         fi
 726         return 1
 727 }
 728
 729 test_debug () {
 730         test "$debug" = "" || eval "$1"
 731 }
 732
 733 test_run_ () {
 734         test_cleanup=:
 735         if test "$verbose" != "t"; then exec 4>test.output 3>&4; fi
 736         eval >&3 2>&4 "$1"
 737         eval_ret=$?
 738         eval >&3 2>&4 "$test_cleanup"
 739         return 0
 740 }
 741
 742 test_skip () {
 743         test_count=$(($test_count+1))
 744         to_skip=
 745         for skp in $NOTMUCH_SKIP_TESTS
 746         do
 747                 case $this_test.$test_count in
 748                 $skp)
 749                         to_skip=t
 750                         break
 751                 esac
 752                 case $this_test_bare.$test_count in
 753                 $skp)
 754                         to_skip=t
 755                         break
 756                 esac
 757         done
 758         case "$to_skip" in
 759         t)
 760                 test_report_skip_ "$@"
 761                 ;;
 762         *)
 763                 test_check_missing_external_prereqs_ "$@"
 764                 ;;
 765         esac
 766 }
 767
 768 test_check_missing_external_prereqs_ () {
 769         if [[ ${#test_subtest_missing_external_prereq_[@]} != 0 ]]; then
 770                 say_color skip >&1 "missing prerequisites: "
 771                 echo ${!test_subtest_missing_external_prereq_[@]} >&1
 772                 test_report_skip_ "$@"
 773         else
 774                 false
 775         fi
 776 }
 777
 778 test_report_skip_ () {
 779         test_reset_state_
 780         say_color skip >&3 "skipping test:"
 781         echo " $@" >&3
 782         say_color skip "%-6s" "SKIP"
 783         echo " $1"
 784 }
 785
 786 test_subtest_known_broken () {
 787         test_subtest_known_broken_=t
 788 }
 789
 790 test_expect_success () {
 791         exec 1>&6 2>&7          # Restore stdout and stderr
 792         if [ -z "$inside_subtest" ]; then
 793                 error "bug in the test script: test_expect_success without test_begin_subtest"
 794         fi
 795         inside_subtest=
 796         test "$#" = 1 ||
 797         error "bug in the test script: not 1 parameters to test_expect_success"
 798
 799         if ! test_skip "$test_subtest_name"
 800         then
 801                 test_run_ "$1"
 802                 run_ret="$?"
 803                 # test_run_ may update missing external prerequisites
 804                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
 805                 if [ "$run_ret" = 0 -a "$eval_ret" = 0 ]
 806                 then
 807                         test_ok_
 808                 else
 809                         test_failure_ "$1"
 810                 fi
 811         fi
 812 }
 813
 814 test_expect_code () {
 815         exec 1>&6 2>&7          # Restore stdout and stderr
 816         if [ -z "$inside_subtest" ]; then
 817                 error "bug in the test script: test_expect_code without test_begin_subtest"
 818         fi
 819         inside_subtest=
 820         test "$#" = 2 ||
 821         error "bug in the test script: not 2 parameters to test_expect_code"
 822
 823         if ! test_skip "$test_subtest_name"
 824         then
 825                 test_run_ "$2"
 826                 run_ret="$?"
 827                 # test_run_ may update missing external prerequisites,
 828                 test_check_missing_external_prereqs_ "$test_subtest_name" ||
 829                 if [ "$run_ret" = 0 -a "$eval_ret" = "$1" ]
 830                 then
 831                         test_ok_
 832                 else
 833                         test_failure_ "exit code $eval_ret, expected $1" "$2"
 834                 fi
 835         fi
 836 }
 837
 838 # This is not among top-level (test_expect_success)
 839 # but is a prefix that can be used in the test script, like:
 840 #
 841 #       test_expect_success 'complain and die' '
 842 #           do something &&
 843 #           do something else &&
 844 #           test_must_fail git checkout ../outerspace
 845 #       '
 846 #
 847 # Writing this as "! git checkout ../outerspace" is wrong, because
 848 # the failure could be due to a segv.  We want a controlled failure.
 849
 850 test_must_fail () {
 851         "$@"
 852         test $? -gt 0 -a $? -le 129 -o $? -gt 192
 853 }
 854
 855 # test_cmp is a helper function to compare actual and expected output.
 856 # You can use it like:
 857 #
 858 #       test_expect_success 'foo works' '
 859 #               echo expected >expected &&
 860 #               foo >actual &&
 861 #               test_cmp expected actual
 862 #       '
 863 #
 864 # This could be written as either "cmp" or "diff -u", but:
 865 # - cmp's output is not nearly as easy to read as diff -u
 866 # - not all diff versions understand "-u"
 867
 868 test_cmp () {
 869         $GIT_TEST_CMP "$@"
 870 }
 871
 872 # This function can be used to schedule some commands to be run
 873 # unconditionally at the end of the test to restore sanity:
 874 #
 875 #       test_expect_success 'test core.capslock' '
 876 #               git config core.capslock true &&
 877 #               test_when_finished "git config --unset core.capslock" &&
 878 #               hello world
 879 #       '
 880 #
 881 # That would be roughly equivalent to
 882 #
 883 #       test_expect_success 'test core.capslock' '
 884 #               git config core.capslock true &&
 885 #               hello world
 886 #               git config --unset core.capslock
 887 #       '
 888 #
 889 # except that the greeting and config --unset must both succeed for
 890 # the test to pass.
 891
 892 test_when_finished () {
 893         test_cleanup="{ $*
 894                 } && (exit \"\$eval_ret\"); eval_ret=\$?; $test_cleanup"
 895 }
 896
 897 test_done () {
 898         GIT_EXIT_OK=t
 899         test_results_dir="$TEST_DIRECTORY/test-results"
 900         mkdir -p "$test_results_dir"
 901         test_results_path="$test_results_dir/$this_test"
 902
 903         printf %s\\n \
 904                 "success $test_success" \
 905                 "fixed $test_fixed" \
 906                 "broken $test_broken" \
 907                 "failed $test_failure" \
 908                 "total $test_count" \
 909             > $test_results_path
 910
 911         [ -n "$EMACS_SERVER" ] && test_emacs '(kill-emacs)'
 912
 913         if [ "$test_failure" = "0" ]; then
 914             if [ "$test_broken" = "0" ]; then
 915                 rm -rf "$remove_tmp"
 916             fi
 917             exit 0
 918         else
 919             exit 1
 920         fi
 921 }
 922
 923 test_python () {
 924     # Note: if there is need to print debug information from python program,
 925     # use stdout = os.fdopen(6, 'w') or stderr = os.fdopen(7, 'w')
 926     PYTHONPATH="$NOTMUCH_BUILDDIR/bindings/python-cffi/build/stage:$NOTMUCH_SRCDIR/bindings/python${PYTHONPATH:+:$PYTHONPATH}" \
 927         $NOTMUCH_PYTHON -B - > OUTPUT
 928 }
 929
 930 test_C () {
 931     local exec_file test_file
 932     exec_file="test${test_count}"
 933     test_file="${exec_file}.c"
 934     cat > ${test_file}
 935     ${TEST_CC} ${TEST_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${exec_file} ${test_file} -L${NOTMUCH_BUILDDIR}/lib/ -lnotmuch -ltalloc
 936     echo "== stdout ==" > OUTPUT.stdout
 937     echo "== stderr ==" > OUTPUT.stderr
 938     ./${exec_file} "$@" 1>>OUTPUT.stdout 2>>OUTPUT.stderr
 939     notmuch_dir_sanitize OUTPUT.stdout OUTPUT.stderr | notmuch_exception_sanitize | notmuch_debug_sanitize > OUTPUT
 940 }
 941
 942 make_shim () {
 943     local base_name test_file shim_file
 944     base_name="$1"
 945     test_file="${base_name}.c"
 946     shim_file="${base_name}.so"
 947     cat > ${test_file}
 948     ${TEST_CC} ${TEST_CFLAGS} ${TEST_SHIM_CFLAGS} -I${NOTMUCH_SRCDIR}/test -I${NOTMUCH_SRCDIR}/lib -o ${shim_file} ${test_file} ${TEST_SHIM_LDFLAGS}
 949 }
 950
 951 notmuch_with_shim () {
 952     local base_name shim_file
 953     base_name="$1"
 954     shift
 955     shim_file="${base_name}.so"
 956     LD_PRELOAD=${LD_PRELOAD:+:$LD_PRELOAD}:./${shim_file} notmuch-shared "$@"
 957 }
 958
 959 # Creates a script that counts how much time it is executed and calls
 960 # notmuch.  $notmuch_counter_command is set to the path to the
 961 # generated script.  Use notmuch_counter_value() function to get the
 962 # current counter value.
 963 notmuch_counter_reset () {
 964         notmuch_counter_command="$TMP_DIRECTORY/notmuch_counter"
 965         if [ ! -x "$notmuch_counter_command" ]; then
 966                 notmuch_counter_state_path="$TMP_DIRECTORY/notmuch_counter.state"
 967                 cat >"$notmuch_counter_command" <<EOF || return
 968 #!/bin/sh
 969
 970 read count < "$notmuch_counter_state_path"
 971 echo \$((count + 1)) > "$notmuch_counter_state_path"
 972
 973 exec notmuch "\$@"
 974 EOF
 975                 chmod +x "$notmuch_counter_command" || return
 976         fi
 977
 978         echo 0 > "$notmuch_counter_state_path"
 979 }
 980
 981 # Returns the current notmuch counter value.
 982 notmuch_counter_value () {
 983         if [ -r "$notmuch_counter_state_path" ]; then
 984                 read count < "$notmuch_counter_state_path"
 985         else
 986                 count=0
 987         fi
 988         echo $count
 989 }
 990
 991 test_reset_state_ () {
 992         test -z "$test_init_done_" && test_init_
 993
 994         test_subtest_known_broken_=
 995         test_subtest_missing_external_prereq_=()
 996 }
 997
 998 # called once before the first subtest
 999 test_init_ () {
1000         test_init_done_=t
1001
1002         # skip all tests if there were external prerequisites missing during init
1003         test_check_missing_external_prereqs_ "all tests in $this_test" && test_done
1004 }
1005
1006
1007 # Where to run the tests
1008 TEST_DIRECTORY=$NOTMUCH_BUILDDIR/test
1009
1010 . "$NOTMUCH_SRCDIR/test/test-lib-common.sh" || exit 1
1011
1012 # Use -P to resolve symlinks in our working directory so that the cwd
1013 # in subprocesses like git equals our $PWD (for pathname comparisons).
1014 cd -P "$TMP_DIRECTORY" || error "Cannot set up test environment"
1015
1016 if test "$verbose" = "t"
1017 then
1018         exec 4>&2 3>&1
1019 else
1020         exec 4>test.output 3>&4
1021 fi
1022
1023 for skp in $NOTMUCH_SKIP_TESTS
1024 do
1025         to_skip=
1026         for skp in $NOTMUCH_SKIP_TESTS
1027         do
1028                 case "$this_test" in
1029                 $skp)
1030                         to_skip=t
1031                         break
1032                 esac
1033                 case "$this_test_bare" in
1034                 $skp)
1035                         to_skip=t
1036                         break
1037                 esac
1038         done
1039         case "$to_skip" in
1040         t)
1041                 say_color skip >&3 "skipping test $this_test altogether"
1042                 say_color skip "skip all tests in $this_test"
1043                 test_done
1044         esac
1045 done
1046
1047 # Provide an implementation of the 'yes' utility
1048 yes () {
1049         if test $# = 0
1050         then
1051                 y=y
1052         else
1053                 y="$*"
1054         fi
1055
1056         while echo "$y"
1057         do
1058                 :
1059         done
1060 }
1061
1062 # Fix some commands on Windows
1063 case $(uname -s) in
1064 *MINGW*)
1065         # Windows has its own (incompatible) sort and find
1066         sort () {
1067                 /usr/bin/sort "$@"
1068         }
1069         find () {
1070                 /usr/bin/find "$@"
1071         }
1072         sum () {
1073                 md5sum "$@"
1074         }
1075         # git sees Windows-style pwd
1076         pwd () {
1077                 builtin pwd -W
1078         }
1079         # no POSIX permissions
1080         # backslashes in pathspec are converted to '/'
1081         # exec does not inherit the PID
1082         ;;
1083 *)
1084         test_set_prereq POSIXPERM
1085         test_set_prereq BSLASHPSPEC
1086         test_set_prereq EXECKEEPSPID
1087         ;;
1088 esac
1089
1090 test -z "$NO_PERL" && test_set_prereq PERL
1091 test -z "$NO_PYTHON" && test_set_prereq PYTHON
1092
1093 # test whether the filesystem supports symbolic links
1094 ln -s x y 2>/dev/null && test -h y 2>/dev/null && test_set_prereq SYMLINKS
1095 rm -f y
1096
1097 # declare prerequisites for external binaries used in tests
1098 test_declare_external_prereq dtach
1099 test_declare_external_prereq emacs
1100 test_declare_external_prereq ${TEST_EMACSCLIENT}
1101 test_declare_external_prereq ${TEST_GDB}
1102 test_declare_external_prereq gpg
1103 test_declare_external_prereq openssl
1104 test_declare_external_prereq gpgsm
1105 test_declare_external_prereq ${NOTMUCH_PYTHON}
1106 test_declare_external_prereq xapian-metadata
1107 test_declare_external_prereq xapian-delve