t/perf: add perf tests for fetches from a bitmapped server
authorJeff King <peff@peff.net>
Fri, 17 Aug 2018 20:57:41 +0000 (16:57 -0400)
committerJunio C Hamano <gitster@pobox.com>
Mon, 20 Aug 2018 21:04:47 +0000 (14:04 -0700)
A server with bitmapped packs can serve a clone very
quickly. However, fetches are not necessarily made any
faster, because we spend a lot less time in object traversal
(which is what bitmaps help with) and more time finding
deltas (because we may have to throw out on-disk deltas if
the client does not have the base).

As a first step to making this faster, this patch introduces
a new perf script to measure fetches into a repo of various
ages from a fully-bitmapped server.

We separately measure the work done by the server (in
pack-objects) and that done by the client (in index-pack).
Furthermore, we measure the size of the resulting pack.

Breaking it down like this (instead of just doing a regular
"git fetch") lets us see how much each side benefits from
any changes. And since we know the pack size, if we estimate
the network speed, then one could calculate a complete
wall-clock time for the operation (though the script does
not do this automatically).

Signed-off-by: Jeff King <peff@peff.net>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
t/perf/p5311-pack-bitmaps-fetch.sh [new file with mode: 0755]

diff --git a/t/perf/p5311-pack-bitmaps-fetch.sh b/t/perf/p5311-pack-bitmaps-fetch.sh
new file mode 100755 (executable)
index 0000000..b045759
--- /dev/null
@@ -0,0 +1,45 @@
+#!/bin/sh
+
+test_description='performance of fetches from bitmapped packs'
+. ./perf-lib.sh
+
+test_perf_default_repo
+
+test_expect_success 'create bitmapped server repo' '
+       git config pack.writebitmaps true &&
+       git config pack.writebitmaphashcache true &&
+       git repack -ad
+'
+
+# simulate a fetch from a repository that last fetched N days ago, for
+# various values of N. We do so by following the first-parent chain,
+# and assume the first entry in the chain that is N days older than the current
+# HEAD is where the HEAD would have been then.
+for days in 1 2 4 8 16 32 64 128; do
+       title=$(printf '%10s' "($days days)")
+       test_expect_success "setup revs from $days days ago" '
+               now=$(git log -1 --format=%ct HEAD) &&
+               then=$(($now - ($days * 86400))) &&
+               tip=$(git rev-list -1 --first-parent --until=$then HEAD) &&
+               {
+                       echo HEAD &&
+                       echo ^$tip
+               } >revs
+       '
+
+       test_perf "server $title" '
+               git pack-objects --stdout --revs \
+                                --thin --delta-base-offset \
+                                <revs >tmp.pack
+       '
+
+       test_size "size   $title" '
+               wc -c <tmp.pack
+       '
+
+       test_perf "client $title" '
+               git index-pack --stdin --fix-thin <tmp.pack
+       '
+done
+
+test_done