Tests 가중치가 적용된 MTTFB 변동률 측정 방법

[ghkdqhrbals]

저는 nGrinder 로 테스트 지표들을 모아서 확인하고 있습니다. 그 중 제가 생각하는 가장 중요한 지표는 MTTFB 입니다. MTTFB 가 얼마나 변동없이 stable 하게 되어있는지에 따라 서버의 안전성을 확인할 수 있다고 생각되기 때문인데요. 저는 이 stable 을 확인하는 방법 중 하나로 MTTFB 변동률을 측정하고 있습니다. 예를 들어 이런거죠.

변동률 = ( |(04:41:18.MTTFB) - (04:41:20.MTTFB)| + |(04:41:20.MTTFB) - (04:41:22.MTTFB)| + ... )/ totalColumnNumber

그런데 자세히 보면 2초동안 계산된 MTTFB 이고 이 사이 집계된 테스트 수또한 존재하는걸 알 수 있습니다. 그렇다면, MTTFB 의 변동률을 계산할 때 Test 수에 맞추어 가중치를 적용하는것이 조금 더 맞는 수치를 보여준다고 생각되었습니다.

그래서 제가 적용하고 있는 계산방식을 먼저 말씀드리겠습니다.

• Notation

표기	설명
$i$	csv 의 row 인덱스
$R_i$	csv 의 $i$ 번 째 row 데이터
$MTTFB_i$	$R_i$ 의 MTTFB 값
$Tests_i$	$R_i$ 의 Tests 값

1. MTTFB 변동량: $\Delta MTTFB_i = MTTFB_{i+1} - MTTFB_i$

2. MTTFB 절대 백분율 변동률: $MTTFB_{diff_i} = \left| \frac{\Delta MTTFB_i}{MTTFB_i} \right| \times 100$

3. 평균 'Tests' 가중치 : $W_i = \frac{Tests_i + Tests_{i+1}}{2}$

4. 가중치가 적용된 변동률: $WM_i = MTTFB_{diff_i} \times W_i$

5. 평균 가중 변동률: $AVGWMP = \frac{\sum WM_i}{\sum W_i}$

$AVGWMP$ : Average of Weighted MTTFB Percentage

이 순서대로 해서 최종적으로 Tests 가중치가 적용된 MTTFB 변동퍼센트인 $AVGWMP$ 를 측정할 수 있었습니다.

그런데 이 방법이 적절한지 모르겠습니다. 이 방법에 수정할 부분이 있을까요?

그리고 어떤식으로 계산하면 MTTFB 변동률에 Test 수에 의한 가중치를 더 알맞게 적용시킬 수 있을까요?

아니면 MTTFB 의 변동률 지표가 좋은 지표일까요? 차라리 MTTFB 의 변동량 평균을 구하는 것이 오히려 좋을 수 있겠다는 생각도 합니다.

어떤 의견을 가지고 계신지 말씀해주시면 감사하겠습니다!