인터넷 쇼핑몰에서의 DBMS 벤치마크 테스트
- 리눅스 기반의 CUBRID, 대표 상용 DB, MySQL 성능 비교
요약
본 문서는 연세대학교 산학협력단 박상현 교수팀이 수행한 “LINUX 상에서 운영되는 관계형 DBMS 성능 분석 소프트웨어 개발” 과제의 산출물인 “DBBench” 프로그램을 이용하여 작성되었으며, BMT 결과인 “공개 S/W 산학 협력 프로젝트 벤치마크 결과 보고서”를 정리한 것이다.
DBBench는 TPC-W 기반의 데이터베이스 트랜잭션 테스트만을 수행하는 도구로서 인터넷 쇼핑을 모델링 하였으며, TPC-W 테스트의 데이터베이스 스키마와 질의 목록을 이용하고 있다. 아울러, TPC-W의 모든 질의는 미리 저장된 저장 프로시저(stored procedure)를 사용하여 질의 내부에서 복잡한 처리를 하는데 비해, DBBench는 저장 프로시저를 지원하지 않는다. 따라서, TPC-W의 질의를 단순화하여 벤치마크 예제를 작성하였다.
연세대에서 수행한 이번 벤치마크 테스트는 CUBRID, 최상으로 알려진 대표 상용 DB, MySQL을 대상으로 하였으며, A~F까지의 6개 테스트 셋으로 되어 있다. A~C set은 10 user로 사용자를 고정하고, A set는 1,000 item, B set는 10,000 item, C set는 100,000 item을 대상으로 테스트를 진행하였으며, D~F set는 item을 10,000으로 고정하고 D set는 1 user, E set는 10 user, F set는 100 user을 대상으로 테스트가 수행되었다.
A~C set에 대한 테스트는 10 User를 대상으로 DB 사이즈별 DBMS 처리속도를 나타내고 있으며, 아래의 그림에서와 같이 CUBRID와 대표 상용 DB는 DB 사이즈의 증가에 크게 영향을 받지 않지만, MySQL은 DB 사이즈가 증가하면서 처리속도가 급격하게 감소하는 것을 볼 수 있다. 특히, 10,000 item을 대상으로 하는 middle DB 사이즈(B set) 에 대한 테스트의 경우에는 CUBRID가 초당 51.87개의 트랜잭션을 처리해, 대표 상용 DB의 50.22개를 근소하게 앞서고 있다.
D~F set에 대한 테스트는 DB 사이즈를 10,000 item으로 고정하고 동시 사용자 수를 증가시킬 때의 DBMS 성능을 측정하였다. 아래의 그림에서와 같이 CUBRID와 대표 상용 DB는 동시 사용자 수의 증가에 크게 영향을 받지 않지만, MySQL은 동시 사용자 수가 증가하면서 DBMS의 성능이 급격히 감소하는 것을 볼 수 있다. 특히, 100 user의 경우에는 CUBRID가 user별 초(Sec)당 처리 트랜잭션 수가 4.09개로 대표 상용 DB의 3.42개 보다 성능이 우수함을 알 수 있다.
DBBench를 이용한 DBMS의 벤치마크 테스트를 통해 CUBRID와 대표 상용 DB는 DB 크기의 증가와 동시 사용자 수의 증가에 크게 영향을 받지 않지만, MySQL은 DB 크기의 증가와 동시 사용자 수의 증가가 성능에 많은 영향을 주고 있음을 확인할 수 있다.
1. 벤치마크 예제
2. 유의사항
3. 벤치마크 수행 시스템
4. 벤치마크 항목
5. 벤치마크 데이터 셋
6. 실험 대상 DBMS
7. 벤치마크 인수
8. 벤치마크 결과
A. DBMS별 데이터 셋 A의 벤치마크 결과
B. DBMS별 데이터 셋 B의 벤치마크 결과
C. DBMS별 데이터 셋 C의 벤치마크 결과
D. DBMS별 데이터 셋 D의 벤치마크 결과
E. DBMS별 데이터 셋 E의 벤치마크 결과
F. DBMS별 데이터 셋 F의 벤치마크 결과
G. Query 형태에 따른 transaction 단위의 성능 분석
벤치마크 예제는 TPC-W 테스트(http://www.tpc.org/tpcw/default.asp)를 기반으로 한다. TPC-W는 Transactional Web e-Commerce Benchmark로, 웹 기반의 애플리케이션 성능 테스트를 수행하는 벤치마크 표준의 하나이다.
TPC-W는 인터넷 쇼핑몰을 시뮬레이션하며, 다음과 같은 모듈로 구성되어 있다.
이 중에서 가장 큰 비중을 차지하는 SUT 모듈은 네트워크 컴포넌트, 웹 서버, 애플리케이션 서버, 그리고 데이터베이스 트랜잭션 서버를 포함한다.
DBBench 프로그램을 사용하여, SUT 모듈의 데이터베이스 트랜잭션 테스트를 수행할 수 있다. 따라서, 본 벤치마크는 TPC-W 테스트의 데이터베이스 스키마와 질의 목록을 테스트 파일로 구현하였다.
단, TPC-W의 모든 질의는 미리 저장된 저장 프로시저(stored procedure)를 사용하여 질의 내부에서 복잡한 처리를 하는데 비해, DBBench 프로그램에서는 저장 프로시저를 지원하지 않는다. 따라서, TPC-W의 질의를 단순화하여 벤치마크 예제를 작성하였다.
TPC-W 예제 단순화 작업의 기준은 다음과 같다.
벤치마크 예제의 테이블 구조는 다음과 같다.
벤치마크 테스트 결과 확인시 유의할 점은 다음과 같다.
(숫자는 레코드 수를 의미함)
|
A |
B |
C |
|
#user |
10 |
10 |
10 |
고정 |
#item |
1,000 |
10,000 |
100,000 |
변수 |
#author |
250 |
250 |
250 |
(#item * 1/4) |
#customer |
28,800 |
28,800 |
28,800 |
(#user * 2,880) |
#address |
57,600 |
57,600 |
57,600 |
(#customer * 2) |
#order |
25,920 |
25,920 |
25,920 |
(#customer * 0.9) |
#cc_macts |
25,920 |
25,920 |
25,920 |
(#customer * 0.9) |
#order_line |
77,760 |
77,760 |
77,760 |
(#order * 3) |
#country |
100 |
100 |
100 |
default |
|
D |
E ( = B) |
F |
|
#user |
1 |
10 |
100 |
변수 |
#item |
10,000 |
10,000 |
10,000 |
고정 |
#author |
2,500 |
2,500 |
2,500 |
(#item * 1/4) |
#customer |
2,880 |
28,800 |
288,000 |
(#user * 2880) |
#address |
5,760 |
57,600 |
576,000 |
(#customer * 2) |
#order |
2,592 |
25,920 |
259,200 |
(#customer * 0.9) |
#cc_macts |
2,592 |
25,920 |
259,200 |
(#customer * 0.9) |
#order_line |
7,776 |
77,760 |
777,600 |
(#order * 3) |
#country |
100 |
100 |
100 |
default |
* B와 E는 동일한 형태의 데이터 셋이므로 하나로 취급
8. 벤치마크 결과(각 DBMS별로 5회 실행한 평균값)
Dataset A |
Transactions/Sec |
||
Small DB size (1,000 items) |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
144.16 |
53.35 |
50.97 |
1 |
87.55 |
43.72 |
50.31 |
2 |
162.10 |
52.53 |
52.5 |
3 |
173.86 |
56.31 |
53.49 |
4 |
80.36 |
57.76 |
44.82 |
5 |
216.92 |
56.43 |
53.71 |
Dataset B |
Transactions/Sec |
||
Middle DB size (10,000 items) |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
31.04 |
50.22 |
51.87 |
1 |
21.72 |
46.09 |
50.75 |
2 |
35.92 |
46.47 |
52.42 |
3 |
32.77 |
54.86 |
53.7 |
4 |
25.88 |
50.26 |
51.24 |
5 |
38.90 |
53.43 |
51.23 |
Dataset C |
Transactions/Sec |
||
Large DB size (100,000 items) |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
0.86 |
13.56 |
11.11 |
1 |
0.78 |
10.26 |
9.56 |
2 |
0.94 |
17.87 |
11.72 |
3 |
0.90 |
13.05 |
11.52 |
4 |
0.78 |
12.85 |
11.68 |
5 |
0.89 |
13.76 |
11.08 |
Dataset D |
Transaction/Sec |
||
1 user |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
52.42 |
53.83 |
55.47 |
1 |
42.60 |
52.33 |
39.3 |
2 |
56.89 |
50.72 |
54.59 |
3 |
51.57 |
55.66 |
61.87 |
4 |
45.57 |
54.09 |
60.59 |
5 |
65.48 |
56.37 |
61.01 |
Dataset E |
Transaction/Sec |
||
10 users |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
31.04 |
50.22 |
51.87 |
1 |
21.72 |
46.09 |
50.75 |
2 |
35.92 |
46.47 |
52.42 |
3 |
32.77 |
54.86 |
53.7 |
4 |
25.88 |
50.26 |
51.24 |
5 |
38.90 |
53.43 |
51.23 |
Dataset F |
Transaction/Sec |
||
100 users |
|||
MySQL |
대표 상용 DB |
CUBRID |
|
AVG |
0.80 |
3.42 |
4.09 |
1 |
0.64 |
2.82 |
4.06 |
2 |
0.88 |
3.40 |
4.28 |
3 |
0.84 |
3.59 |
4.02 |
4 |
0.70 |
3.58 |
3.87 |
5 |
0.93 |
3.69 |
4.2 |
G. Query 형태에 따른 transaction 단위의 성능 분석
Transaction |
Query type ( 주로 실행되는 질의 형태 ) |
AC |
Query |
AR |
Query |
BS |
JOIN query |
BC |
insert, update |
BR |
insert, update |
HO |
JOIN query |
NP |
Query |
OD |
Query |
OI |
Query |
PD |
Query |
SR |
JOIN query |
SU |
LIKE query |
SC |
insert, update |
- MySQL 수행 시간 비율(단위: %)
Transaction |
A |
B |
C |
D |
F |
AC |
2.68 |
2.79 |
6.18 |
1.19 |
4.84 |
AR |
0.53 |
0.83 |
0.14 |
0.17 |
3.09 |
BS |
2.02 |
1.40 |
0.29 |
3.59 |
4.83 |
BC |
26.29 |
6.50 |
0.59 |
7.29 |
10.90 |
BR |
30.70 |
6.41 |
0.48 |
5.94 |
17.46 |
HO |
1.47 |
0.41 |
0.06 |
0.80 |
4.80 |
NP |
1.88 |
1.46 |
0.24 |
3.32 |
6.46 |
OD |
4.03 |
0.65 |
0.08 |
0.98 |
5.99 |
OI |
0.96 |
0.17 |
0.02 |
0.09 |
1.63 |
PD |
0.56 |
0.18 |
0.09 |
0.14 |
2.60 |
SR |
0.89 |
0.43 |
0.64 |
0.53 |
3.13 |
SU |
25.95 |
77.99 |
89.92 |
74.95 |
26.38 |
SC |
2.03 |
0.78 |
1.27 |
1.01 |
7.88 |
Query type |
A |
B |
C |
D |
F |
AVG |
|
query |
10.65 |
6.75 |
5.89 |
24.62 |
11.98 |
10.65 |
|
JOIN query |
4.38 |
0.99 |
4.91 |
12.76 |
5.76 |
4.38 |
|
LIKE query |
25.95 |
89.92 |
74.95 |
26.38 |
54.30 |
25.95 |
|
insert,update |
59.03 |
2.34 |
14.24 |
36.24 |
27.96 |
59.03 |
|
- 대표 상용 DB 수행 시간 비율(단위 : %)
Transaction |
A |
B |
C |
D |
F |
AC |
7.98 |
6.27 |
2.25 |
5.50 |
5.50 |
AR |
1.31 |
1.07 |
0.45 |
0.94 |
0.94 |
BS |
6.03 |
5.23 |
2.24 |
4.50 |
4.50 |
BC |
22.77 |
17.36 |
5.11 |
15.08 |
15.08 |
BR |
27.29 |
23.84 |
6.52 |
19.22 |
19.22 |
HO |
4.24 |
3.99 |
1.20 |
3.15 |
3.15 |
NP |
5.00 |
4.87 |
2.03 |
3.97 |
3.97 |
OD |
4.29 |
4.04 |
1.17 |
3.17 |
3.17 |
OI |
0.75 |
0.65 |
0.44 |
0.61 |
0.61 |
PD |
1.10 |
1.08 |
0.55 |
0.91 |
0.91 |
SR |
3.66 |
3.56 |
1.28 |
2.83 |
2.83 |
SU |
4.46 |
19.88 |
73.61 |
32.65 |
32.65 |
SC |
11.12 |
8.16 |
3.16 |
7.48 |
7.48 |
Query type |
A |
B |
C |
D |
F |
AVG |
Query |
20.42 |
17.98 |
6.89 |
15.09 |
15.09 |
15.09 |
JOIN query |
13.93 |
12.79 |
4.72 |
10.48 |
10.48 |
10.48 |
LIKE query |
4.46 |
19.88 |
73.61 |
32.65 |
32.65 |
32.65 |
insert,update |
61.18 |
49.36 |
14.78 |
41.78 |
41.78 |
41.78 |
- CUBRID 수행 시간 비율(단위: %)
Transaction |
A |
B |
C |
D |
F |
AC |
5.74 |
5.91 |
8.71 |
5.15 |
6.89 |
AR |
1.21 |
1.22 |
0.35 |
1.14 |
1.70 |
BS |
2.92 |
2.98 |
0.70 |
4.26 |
4.22 |
BC |
9.90 |
9.83 |
2.73 |
12.51 |
16.22 |
BR |
32.38 |
29.49 |
6.36 |
32.07 |
23.43 |
HO |
2.37 |
2.45 |
0.54 |
2.68 |
4.30 |
NP |
4.60 |
4.69 |
1.05 |
6.05 |
7.71 |
OD |
4.11 |
4.13 |
0.96 |
4.45 |
6.53 |
OI |
0.78 |
0.80 |
0.24 |
0.75 |
1.27 |
PD |
1.18 |
1.18 |
0.43 |
1.72 |
1.92 |
SR |
1.76 |
1.87 |
0.78 |
1.81 |
2.82 |
SU |
20.15 |
22.20 |
73.31 |
21.80 |
16.61 |
SC |
12.91 |
13.25 |
3.85 |
5.62 |
6.37 |
Query type |
A |
B |
C |
D |
F |
AVG |
Query |
17.60 |
17.93 |
11.74 |
19.25 |
26.03 |
18.51 |
JOIN query |
7.05 |
7.30 |
2.02 |
8.75 |
11.34 |
7.29 |
LIKE query |
20.15 |
22.20 |
73.31 |
21.80 |
16.61 |
30.81 |
insert,update |
55.20 |
52.57 |
12.94 |
50.19 |
46.02 |
43.38 |
(주)큐브리드 135-010 서울시 강남구 논현동 240-10 중앙빌딩 3층, Tel: 02-2015-0600, Fax: 02-2015-0610, http://www.cubrid.com