]> git.notmuchmail.org Git - notmuch/blobdiff - test/README
cli/reindex: destroy stashed session keys when --decrypt=false
[notmuch] / test / README
index bd9ab5470c7c499c39d41fa858faebe733e180b7..b378c3ff3c5fa3a60b9758f52abd3c731d69ccfe 100644 (file)
@@ -26,13 +26,24 @@ that you know if you break anything.
   - gpg(1)
   - python(1)
 
-If your system lacks these tools or have older, non-upgreable versions
+If your system lacks these tools or have older, non-upgradable versions
 of these, please (possibly compile and) install these to some other
 path, for example /usr/local/bin or /opt/gnu/bin. Then prepend the
 chosen directory to your PATH before running the tests.
 
 e.g. env PATH=/opt/gnu/bin:$PATH make test
 
+For FreeBSD you need to install latest gdb from ports or packages and
+provide path to it in TEST_GDB environment variable before executing
+the tests, native FreeBSD gdb does not not work.  If you install
+coreutils, which provides GNU versions of basic utils like 'date' and
+'base64' on FreeBSD, the test suite will use these instead of the
+native ones. This provides robustness against portability issues with
+these system tools. Most often the tests are written, reviewed and
+tested on Linux system so such portability issues arise from time to
+time.
+
+
 Running Tests
 -------------
 The easiest way to run tests is to say "make test", (or simply run the
@@ -69,15 +80,6 @@ The following command-line options are available when running tests:
        As the names depend on the tests' file names, it is safe to
        run the tests with this option in parallel.
 
---root=<dir>::
-       This runs the testsuites specified under a separate directory.
-       However, caution is advised, as not all tests are maintained
-       with this relocation in mind, so some tests may behave
-       differently.
-
-       Pointing this argument at a tmpfs filesystem can improve the
-       speed of the test suite for some users.
-
 Certain tests require precomputed databases to complete. You can fetch these
 databases with
 
@@ -133,9 +135,9 @@ remaining tests to be unaffected.
 
 Currently we do not consider skipped tests as build failures. For
 maximum robustness, when setting up automated build processes, you
-should explicitely skip tests, rather than relying on notmuch's
+should explicitly skip tests, rather than relying on notmuch's
 detection of missing prerequisites. In the future we may treat tests
-unable to run because of missing prerequisites, but not explicitely
+unable to run because of missing prerequisites, but not explicitly
 skipped by the user, as failures.
 
 Writing Tests
@@ -145,13 +147,9 @@ Tddd-testname.sh where 'ddd' is three digits and 'testname' the "bare"
 name of your test. Tests will be run in order the 'ddd' part determines.
 
 The test script should start with the standard "#!/usr/bin/env bash"
-with copyright notices, and an assignment to variable 'test_description',
-like this:
+and an assignment to variable 'test_description', like this:
 
        #!/usr/bin/env bash
-       #
-       # Copyright (c) 2005 Junio C Hamano
-       #
 
        test_description='xxx test (option --frotz)
 
@@ -193,16 +191,21 @@ Test harness library
 There are a handful helper functions defined in the test harness
 library for your script to use.
 
- test_expect_success <message> <script>
+ test_begin_subtest <message>
+
+   Set the test description message for a subsequent test_expect_*
+   invocation (see below).
+
+ test_expect_success <script>
 
-   This takes two strings as parameter, and evaluates the
+   This takes a string as parameter, and evaluates the
    <script>.  If it yields success, test is considered
-   successful.  <message> should state what it is testing.
+   successful.
 
- test_begin_subtest <message>
+ test_expect_code <code> <script>
 
-   Set the test description message for a subsequent test_expect_equal
-   invocation (see below).
+   This takes two strings as parameter, and evaluates the <script>.
+   If it yields <code> exit status, test is considered successful.
 
  test_subtest_known_broken