git.notmuchmail.org Git - notmuch/blob - test/notmuch-test

   1 #!/usr/bin/env bash
   2
   3 # Run tests
   4 #
   5 # Copyright (c) 2005 Junio C Hamano
   6 # Copyright (c) 2010 Notmuch Developers
   7 #
   8 # Adapted from a Makefile to a shell script by Carl Worth (2010)
   9
  10 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
  11     echo "Error: The notmuch test suite requires a bash version >= 4.0"
  12     echo "due to use of associative arrays within the test suite."
  13     echo "Please try again with a newer bash (or help us fix the"
  14     echo "test suite to be more portable). Thanks."
  15     exit 1
  16 fi
  17
  18 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
  19 . $(dirname "$0")/export-dirs.sh || exit 1
  20
  21 set -eu
  22
  23 # Where to run the tests
  24 # XXX FIXME this code is duplicated with test-lib.sh
  25 if [[ -n "${NOTMUCH_BUILDDIR}" ]]; then
  26     TEST_DIRECTORY=$NOTMUCH_BUILDDIR/test
  27 else
  28     TEST_DIRECTORY=$NOTMUCH_SRCDIR/test
  29 fi
  30
  31 TESTS=
  32 for test in ${NOTMUCH_TESTS-}; do
  33     TESTS="$TESTS $NOTMUCH_SRCDIR/test/$test"
  34 done
  35
  36 if [ -z "$TESTS" ]; then
  37     TESTS="$NOTMUCH_SRCDIR/test/T[0-9][0-9][0-9]-*.sh"
  38 fi
  39
  40 # Clean up any results from a previous run
  41 rm -rf $NOTMUCH_BUILDDIR/test/test-results
  42
  43 # Test for timeout utility
  44 if command -v timeout >/dev/null; then
  45     TEST_TIMEOUT=${NOTMUCH_TEST_TIMEOUT:-2m}
  46     if [ "$TEST_TIMEOUT" = 0 ]; then
  47         TEST_TIMEOUT_CMD=""
  48         echo "INFO: timeout disabled"
  49     else
  50         TEST_TIMEOUT_CMD="timeout $TEST_TIMEOUT"
  51         echo "INFO: using $TEST_TIMEOUT timeout for tests"
  52     fi
  53 else
  54     TEST_TIMEOUT_CMD=""
  55 fi
  56
  57 META_FAILURE=
  58 RES=0
  59 # Run the tests
  60 if test -z "${NOTMUCH_TEST_SERIALIZE-}" && command -v parallel >/dev/null ; then
  61     test -t 1 && export COLORS_WITHOUT_TTY=t || :
  62     if parallel --minversion 0 >/dev/null 2>&1 ; then
  63         echo "INFO: running tests with GNU parallel"
  64         printf '%s\n' $TESTS | $TEST_TIMEOUT_CMD parallel || RES=$?
  65     else
  66         echo "INFO: running tests with moreutils parallel"
  67         $TEST_TIMEOUT_CMD parallel -- $TESTS || RES=$?
  68     fi
  69     if [ $RES != 0 ]; then
  70         META_FAILURE="parallel test suite returned error code $RES"
  71     fi
  72 else
  73     trap 'e=$?; trap - 0; kill ${!-}; exit $e' 0 HUP INT TERM
  74     for test in $TESTS; do
  75         $TEST_TIMEOUT_CMD $test "$@" &
  76         wait $! && ev=0 || ev=$?
  77         test $ev = 0 || RES=$ev
  78     done
  79     trap - 0 HUP INT TERM
  80     if [ $RES != 0 ]; then
  81         META_FAILURE="some tests failed; first failed returned error code $RES"
  82     fi
  83 fi
  84
  85 # Report results
  86 RESULT_FILES=
  87 for file in $TESTS
  88 do
  89     file=${file##*/} # drop leading path components
  90     file=${file%.sh} # drop trailing '.sh'
  91     RESULT_FILES="$RESULT_FILES $TEST_DIRECTORY/test-results/$file"
  92 done
  93
  94 echo
  95 $NOTMUCH_SRCDIR/test/aggregate-results.sh $RESULT_FILES && ev=0 || ev=$?
  96
  97 if [ -n "$META_FAILURE" ]; then
  98     printf 'ERROR: %s\n' "$META_FAILURE"
  99     if [ $ev = 0 ]; then
 100         ev=$RES
 101     fi
 102 fi
 103
 104 # Clean up
 105 rm -rf $TEST_DIRECTORY/test-results
 106
 107 exit $ev