p5302: create the repo in each index-pack test
authorJeff King <peff@peff.net>
Mon, 22 Apr 2019 21:19:52 +0000 (17:19 -0400)
committerJunio C Hamano <gitster@pobox.com>
Tue, 23 Apr 2019 00:56:44 +0000 (09:56 +0900)
commit775c71e16d063fc4b72fd629a97b8ef4eb8d63d3
tree98c060a9dc7586f9cc580a6bdd9e4f500a36031f
parentaeb582a98374c094361cba1bd756dc6307432c42
p5302: create the repo in each index-pack test

The p5302 script runs "index-pack --stdin" in each timing test. It does
two things to try to get good timings:

  1. we do the repo creation in a separate (non-timed) setup test, so
     that our timing is purely the index-pack run

  2. we use a separate repo for each test; this is important because the
     presence of existing objects in the repo influences the result
     (because we'll end up doing collision checks against them)

But this forgets one thing: we generally run each timed test multiple
times to reduce the impact of noise. Which means that repeats of each
test after the first will be subject to the collision slowdown from
point 2, and we'll generally just end up taking the first time anyway.

Instead, let's create the repo in the test (effectively undoing point
1). That does add a constant amount of extra work to each iteration, but
it's quite small compared to the actual effects we're interested in
measuring.

Signed-off-by: Jeff King <peff@peff.net>
Signed-off-by: Junio C Hamano <gitster@pobox.com>
t/perf/p5302-pack-index.sh