test: ruby: simplify output comparison
[notmuch] / test / notmuch-test
1 #!/usr/bin/env bash
2
3 # Run tests
4 #
5 # Copyright (c) 2005 Junio C Hamano
6 # Copyright (c) 2010 Notmuch Developers
7 #
8 # Adapted from a Makefile to a shell script by Carl Worth (2010)
9
10 if [ ${BASH_VERSINFO[0]} -lt 4 ]; then
11     echo "Error: The notmuch test suite requires a bash version >= 4.0"
12     echo "due to use of associative arrays within the test suite."
13     echo "Please try again with a newer bash (or help us fix the"
14     echo "test suite to be more portable). Thanks."
15     exit 1
16 fi
17
18 # Ensure NOTMUCH_SRCDIR and NOTMUCH_BUILDDIR are set.
19 . $(dirname "$0")/export-dirs.sh || exit 1
20
21 TESTS=
22 for test in $NOTMUCH_TESTS; do
23     TESTS="$TESTS $NOTMUCH_SRCDIR/test/$test"
24 done
25
26 if [[ -z "$TESTS" ]]; then
27     TESTS="$NOTMUCH_SRCDIR/test/T[0-9][0-9][0-9]-*.sh"
28 fi
29
30 # Clean up any results from a previous run
31 rm -rf $NOTMUCH_BUILDDIR/test/test-results
32
33 # Test for timeout utility
34 if command -v timeout >/dev/null; then
35     TEST_TIMEOUT=${NOTMUCH_TEST_TIMEOUT:-2m}
36     if [ "$TEST_TIMEOUT" = 0 ]; then
37         TEST_TIMEOUT_CMD=""
38         echo "INFO: timeout disabled"
39     else
40         TEST_TIMEOUT_CMD="timeout $TEST_TIMEOUT"
41         echo "INFO: using $TEST_TIMEOUT timeout for tests"
42     fi
43 else
44     TEST_TIMEOUT_CMD=""
45 fi
46
47 trap 'e=$?; kill $!; exit $e' HUP INT TERM
48
49 META_FAILURE=
50 # Run the tests
51 if test -z "$NOTMUCH_TEST_SERIALIZE" && command -v parallel >/dev/null ; then
52     test -t 1 && export COLORS_WITHOUT_TTY=t || :
53     if parallel --version 2>&1 | grep -q GNU ; then
54         echo "INFO: running tests with GNU parallel"
55         printf '%s\n' $TESTS | $TEST_TIMEOUT_CMD parallel
56     else
57         echo "INFO: running tests with moreutils parallel"
58         $TEST_TIMEOUT_CMD parallel -- $TESTS
59     fi
60     RES=$?
61     if [[ $RES != 0 ]]; then
62         META_FAILURE="parallel test suite returned error code $RES"
63     fi
64 else
65     for test in $TESTS; do
66         $TEST_TIMEOUT_CMD $test "$@" &
67         wait $!
68         # If the test failed without producing results, then it aborted,
69         # so we should abort, too.
70         RES=$?
71         testname=$(basename $test .sh)
72         if [[ $RES != 0 && ! -e "$NOTMUCH_BUILDDIR/test/test-results/$testname" ]]; then
73             META_FAILURE="Aborting on $testname (returned $RES)"
74             break
75         fi
76     done
77 fi
78 trap - HUP INT TERM
79
80 # Report results
81 echo
82 $NOTMUCH_SRCDIR/test/aggregate-results.sh $NOTMUCH_BUILDDIR/test/test-results/*
83 ev=$?
84 if [ -n "$META_FAILURE" ]; then
85     printf 'ERROR: %s\n' "$META_FAILURE"
86     if [ $ev = 0 ]; then
87         ev=$RES
88     fi
89 fi
90
91 # Clean up
92 rm -rf $NOTMUCH_BUILDDIR/test/test-results
93
94 exit $ev