Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[feat](nerieds)Push encode slot #45958

Draft
wants to merge 2 commits into
base: master
Choose a base branch
from
Draft

[feat](nerieds)Push encode slot #45958

wants to merge 2 commits into from
+1,320 −40

Conversation

englefly
Copy link
Contributor

What problem does this PR solve?

Issue Number: close #xxx

Related PR: #xxx

Problem Summary:

Release note

None

Check List (For Author)

  • Test

    • Regression test
    • Unit Test
    • Manual test (add detailed scripts or steps below)
    • No need to test or manual test. Explain why:
      • This is a refactor/code format and no logic has been changed.
      • Previous test can cover this change.
      • No code files have been changed.
      • Other reason

  • Behavior changed:

    • No.
    • Yes.

  • Does this need documentation?

    • No.
    • Yes.

Check List (For Reviewer who merge this PR)

  • Confirm the release note
  • Confirm test cases
  • Confirm document
  • Add branch pick label

@hello-stephen
Copy link
Contributor

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR.

Please clearly describe your PR:

  1. What problem was fixed (it's best to include specific error reporting information). How it was fixed.
  2. Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
  3. What features were added. Why was this function added?
  4. Which code was refactored and why was this part of the code refactored?
  5. Which functions were optimized and what is the difference before and after the optimization?

@englefly
Copy link
Contributor Author

run buildall

1 similar comment
@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32294 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 4cc75daf5afa8658107bff693498b89f6e899746, data reload: false

------ Round 1 ----------------------------------
q1	17580	5959	5882	5882
q2	2043	289	165	165
q3	10623	1219	735	735
q4	10222	890	449	449
q5	7578	2203	1995	1995
q6	206	179	150	150
q7	886	753	608	608
q8	9245	1342	1172	1172
q9	5138	5121	4870	4870
q10	6720	2299	1847	1847
q11	482	282	249	249
q12	350	358	226	226
q13	17757	3554	2921	2921
q14	233	228	221	221
q15	552	513	490	490
q16	631	617	594	594
q17	558	850	327	327
q18	6771	6476	6436	6436
q19	2072	959	522	522
q20	307	310	178	178
q21	2833	2133	1953	1953
q22	367	335	304	304
Total cold run time: 103154 ms
Total hot run time: 32294 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6169	6191	6191	6191
q2	232	322	232	232
q3	2243	2627	2334	2334
q4	1386	1870	1392	1392
q5	4330	4735	4695	4695
q6	183	177	141	141
q7	2042	1997	1814	1814
q8	2619	2775	2673	2673
q9	7315	7245	7273	7245
q10	3075	3385	2891	2891
q11	591	507	498	498
q12	643	713	569	569
q13	3401	3690	3106	3106
q14	293	311	274	274
q15	560	526	506	506
q16	674	716	669	669
q17	1216	1726	1249	1249
q18	7633	7425	7382	7382
q19	805	1201	1103	1103
q20	1967	2015	1984	1984
q21	5701	5384	5012	5012
q22	597	632	595	595
Total cold run time: 53675 ms
Total hot run time: 52555 ms

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32710 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 6c7c7fa7bb916514936b339bf47762b74d8a47b1, data reload: false

------ Round 1 ----------------------------------
q1	17595	5954	5912	5912
q2	2047	292	163	163
q3	10449	1254	707	707
q4	10221	853	428	428
q5	7508	2245	1973	1973
q6	206	186	149	149
q7	909	748	619	619
q8	9264	1383	1225	1225
q9	5493	4944	4922	4922
q10	6769	2320	1869	1869
q11	482	291	260	260
q12	358	371	232	232
q13	17799	3654	3068	3068
q14	236	233	221	221
q15	559	501	486	486
q16	629	634	601	601
q17	572	867	328	328
q18	7155	6634	6395	6395
q19	1221	975	565	565
q20	314	324	194	194
q21	2932	2293	2082	2082
q22	362	339	311	311
Total cold run time: 103080 ms
Total hot run time: 32710 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6235	6184	6349	6184
q2	242	322	234	234
q3	2265	2606	2335	2335
q4	1439	1903	1360	1360
q5	4363	4801	4663	4663
q6	174	172	140	140
q7	1973	1844	1739	1739
q8	2527	2665	2636	2636
q9	6970	6886	6841	6841
q10	2945	3223	2712	2712
q11	568	512	511	511
q12	674	736	589	589
q13	3253	3563	3059	3059
q14	264	297	283	283
q15	555	497	492	492
q16	649	702	653	653
q17	1185	1687	1237	1237
q18	7256	7254	7068	7068
q19	836	1327	1061	1061
q20	1955	1992	1831	1831
q21	5618	5104	4830	4830
q22	608	648	589	589
Total cold run time: 52554 ms
Total hot run time: 51047 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 196471 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 6c7c7fa7bb916514936b339bf47762b74d8a47b1, data reload: false

query1	965	377	379	377
query2	6888	2316	2270	2270
query3	6714	215	214	214
query4	37170	27099	26971	26971
query5	4907	604	448	448
query6	309	214	212	212
query7	4641	485	302	302
query8	315	256	247	247
query9	9750	2745	2735	2735
query10	505	313	259	259
query11	20300	17624	17283	17283
query12	168	105	108	105
query13	1660	570	426	426
query14	11673	6917	7127	6917
query15	244	190	191	190
query16	8507	604	472	472
query17	1445	680	509	509
query18	1939	397	296	296
query19	227	180	154	154
query20	113	119	114	114
query21	207	124	110	110
query22	4371	4524	4300	4300
query23	34846	33150	33244	33150
query24	6027	2057	2044	2044
query25	470	463	377	377
query26	917	268	158	158
query27	1986	455	325	325
query28	5366	2462	2434	2434
query29	686	536	407	407
query30	290	211	185	185
query31	1002	898	788	788
query32	81	61	63	61
query33	500	355	290	290
query34	769	817	509	509
query35	779	787	704	704
query36	1015	1039	970	970
query37	117	101	89	89
query38	4134	4096	4028	4028
query39	1488	1438	1441	1438
query40	208	115	105	105
query41	50	46	49	46
query42	122	108	112	108
query43	511	517	486	486
query44	1355	820	839	820
query45	176	171	170	170
query46	819	1004	607	607
query47	1920	1939	1824	1824
query48	385	403	344	344
query49	733	469	402	402
query50	969	973	652	652
query51	7216	7176	7120	7120
query52	103	103	97	97
query53	224	249	183	183
query54	483	474	408	408
query55	85	79	80	79
query56	248	249	281	249
query57	1249	1188	1150	1150
query58	236	241	210	210
query59	2884	3179	2905	2905
query60	259	254	255	254
query61	111	109	107	107
query62	864	771	746	746
query63	227	188	189	188
query64	3722	993	655	655
query65	4502	4397	4427	4397
query66	760	433	341	341
query67	16172	15770	15496	15496
query68	9396	749	512	512
query69	469	291	263	263
query70	1668	1296	1208	1208
query71	414	278	249	249
query72	5855	3863	3911	3863
query73	839	757	365	365
query74	10353	9022	8853	8853
query75	4550	3144	2673	2673
query76	5586	1231	810	810
query77	1026	356	284	284
query78	10040	10259	9334	9334
query79	3284	874	583	583
query80	744	525	418	418
query81	509	279	236	236
query82	648	148	118	118
query83	194	167	151	151
query84	284	98	72	72
query85	802	401	302	302
query86	397	315	287	287
query87	4531	4563	4373	4373
query88	4252	2218	2191	2191
query89	416	340	292	292
query90	1852	192	183	183
query91	130	142	106	106
query92	70	58	56	56
query93	1004	898	540	540
query94	644	393	276	276
query95	334	266	243	243
query96	489	596	282	282
query97	2722	2856	2709	2709
query98	226	205	196	196
query99	1668	1536	1426	1426
Total cold run time: 305480 ms
Total hot run time: 196471 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.89 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 6c7c7fa7bb916514936b339bf47762b74d8a47b1, data reload: false

query1	0.04	0.03	0.02
query2	0.08	0.03	0.03
query3	0.24	0.07	0.08
query4	1.61	0.11	0.10
query5	0.40	0.42	0.44
query6	1.17	0.65	0.65
query7	0.03	0.01	0.01
query8	0.04	0.03	0.03
query9	0.58	0.50	0.52
query10	0.55	0.58	0.56
query11	0.15	0.11	0.11
query12	0.14	0.12	0.12
query13	0.60	0.60	0.60
query14	2.84	2.83	2.74
query15	0.90	0.82	0.83
query16	0.38	0.38	0.40
query17	1.08	1.01	1.03
query18	0.23	0.22	0.20
query19	1.91	1.82	2.00
query20	0.02	0.01	0.01
query21	15.35	0.90	0.59
query22	0.74	0.75	0.66
query23	15.34	1.48	0.58
query24	3.61	1.11	0.30
query25	3.36	1.27	0.51
query26	2.70	0.85	0.60
query27	0.64	0.43	0.85
query28	13.49	1.54	1.04
query29	12.56	3.95	3.29
query30	0.26	0.10	0.06
query31	2.82	0.58	0.38
query32	3.24	0.55	0.45
query33	3.12	3.01	3.09
query34	16.71	5.16	4.48
query35	4.53	4.56	4.53
query36	0.63	0.53	0.47
query37	0.09	0.07	0.06
query38	0.04	0.04	0.04
query39	0.03	0.03	0.02
query40	0.17	0.14	0.13
query41	0.08	0.02	0.02
query42	0.03	0.02	0.02
query43	0.04	0.02	0.03
Total cold run time: 112.57 s
Total hot run time: 31.89 s

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32946 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f3c51e9e37897419f8514dd3b96999fb4cfc8a8d, data reload: false

------ Round 1 ----------------------------------
q1	17599	6055	5905	5905
q2	2052	312	171	171
q3	10411	1228	774	774
q4	10222	870	442	442
q5	7685	2235	2004	2004
q6	206	183	150	150
q7	903	749	603	603
q8	9247	1391	1156	1156
q9	5107	4986	4916	4916
q10	6755	2317	1896	1896
q11	476	288	252	252
q12	366	371	224	224
q13	17769	3552	2982	2982
q14	241	248	211	211
q15	576	500	520	500
q16	669	632	591	591
q17	598	868	342	342
q18	6910	6798	6772	6772
q19	1416	968	563	563
q20	312	317	189	189
q21	2843	2243	1990	1990
q22	373	343	313	313
Total cold run time: 102736 ms
Total hot run time: 32946 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6202	6246	6173	6173
q2	242	330	239	239
q3	2291	2695	2308	2308
q4	1399	1863	1367	1367
q5	4378	4767	4823	4767
q6	187	178	147	147
q7	2081	2009	1817	1817
q8	2587	2842	2678	2678
q9	7328	7278	7322	7278
q10	3085	3363	2830	2830
q11	575	509	495	495
q12	636	744	607	607
q13	3441	3815	3110	3110
q14	299	311	289	289
q15	552	516	519	516
q16	678	711	643	643
q17	1234	1740	1281	1281
q18	7756	7401	7265	7265
q19	904	1243	1102	1102
q20	1991	2032	1976	1976
q21	5732	5375	4836	4836
q22	602	596	571	571
Total cold run time: 54180 ms
Total hot run time: 52295 ms

@englefly
Copy link
Contributor Author

run p0

1 similar comment
@englefly
Copy link
Contributor Author

run p0

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32433 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit f3c51e9e37897419f8514dd3b96999fb4cfc8a8d, data reload: false

------ Round 1 ----------------------------------
q1	17594	6091	5900	5900
q2	2041	312	165	165
q3	10429	1270	776	776
q4	10251	878	435	435
q5	8544	2214	1989	1989
q6	210	181	146	146
q7	892	785	605	605
q8	9232	1387	1234	1234
q9	5331	4936	5004	4936
q10	6767	2321	1848	1848
q11	469	268	267	267
q12	353	358	233	233
q13	17780	3590	3002	3002
q14	246	229	209	209
q15	555	497	494	494
q16	644	629	573	573
q17	582	874	326	326
q18	7198	6512	6311	6311
q19	1421	979	542	542
q20	313	323	193	193
q21	2848	2182	1941	1941
q22	367	345	308	308
Total cold run time: 104067 ms
Total hot run time: 32433 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6207	6215	6106	6106
q2	243	339	229	229
q3	2269	2678	2344	2344
q4	1436	1826	1352	1352
q5	4329	4780	4818	4780
q6	187	177	150	150
q7	2068	2000	1810	1810
q8	2685	2807	2701	2701
q9	7305	7363	7408	7363
q10	3049	3389	2795	2795
q11	580	505	481	481
q12	671	788	657	657
q13	3365	3701	3106	3106
q14	292	299	274	274
q15	587	522	515	515
q16	650	702	656	656
q17	1257	1782	1256	1256
q18	7697	7471	7363	7363
q19	907	1169	1117	1117
q20	2095	2018	1902	1902
q21	5658	5341	4936	4936
q22	669	607	614	607
Total cold run time: 54206 ms
Total hot run time: 52500 ms

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 25486 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 0535a3701e31703758e3629e282824194f75d667, data reload: false

------ Round 1 ----------------------------------
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	17610	6075	5999	5999
q2	2053	298	160	160
q3	10514	1235	753	753
q4	10203	875	440	440
q5	7701	2194	1986	1986
q6	212	186	151	151
q7	q8	9264	1317	1168	1168
q9	q10	6820	2236	1912	1912
q11	475	290	251	251
q12	349	374	230	230
q13	17792	3600	2980	2980
q14	252	230	209	209
q15	589	510	524	510
q16	648	615	599	599
q17	1109	842	326	326
q18	q19	908	766	617	617
q20	1253	309	178	178
q21	7604	6696	6812	6696
q22	1821	335	321	321
Total cold run time: 97177 ms
Total hot run time: 25486 ms

----- Round 2, with runtime_filter_mode=off -----
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	1000000	87	87519212	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	13983	6251	6148	6148
q2	1603	339	236	236
q3	2285	2698	2336	2336
q4	1365	1791	1361	1361
q5	4299	4777	4647	4647
q6	186	182	143	143
q7	q8	2704	2676	2645	2645
q9	q10	3122	3233	2851	2851
q11	590	547	499	499
q12	720	790	653	653
q13	3457	3780	3174	3174
q14	304	310	296	296
q15	581	525	520	520
q16	672	744	669	669
q17	1221	1765	1276	1276
q18	q19	731	1146	1065	1065
q20	1988	2044	1860	1860
q21	16193	15965	15570	15570
q22	642	628	567	567
Total cold run time: 56646 ms
Total hot run time: 46516 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 186159 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 0535a3701e31703758e3629e282824194f75d667, data reload: false

tx_read_only	false	false	0
use_consistent_hash_for_external_scan	false	false	0
use_fix_replica	-1	-1	0
use_max_length_of_varchar_in_ctas	true	true	0
use_rf_default	false	false	0
use_v2_rollup	false	false	0
validate_password_policy	NONE	NONE	0
version	5.7.99	5.7.99	0
version_comment	Doris version doris-0.0.0--f466b8b090	Doris version doris-0.0.0--f466b8b090	0
wait_full_block_schedule_times	2	2	0
wait_timeout	28800	28800	0
workload_group			0
============================================
show table status;
Name	Engine	Version	Row_format	Rows	Avg_row_length	Data_length	Max_data_length	Index_length	Data_free	Auto_increment	Create_time	Update_time	Check_time	Collation	Checksum	Create_options	Comment
call_center	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:46:25	NULL	utf-8	NULL	NULL	
catalog_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:55:02	NULL	utf-8	NULL	NULL	
customer	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:53	NULL	utf-8	NULL	NULL	
customer_address	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:41	NULL	utf-8	NULL	NULL	
customer_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:34	NULL	utf-8	NULL	NULL	
date_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
dbgen_version	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
household_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
income_band	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
inventory	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:50:32	NULL	utf-8	NULL	NULL	
item	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
promotion	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
reason	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
ship_mode	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
store	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
store_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:47:09	NULL	utf-8	NULL	NULL	
store_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:59:20	NULL	utf-8	NULL	NULL	
time_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:03	NULL	utf-8	NULL	NULL	
warehouse	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:45:43	NULL	utf-8	NULL	NULL	
web_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:53:25	NULL	utf-8	NULL	NULL	
web_site	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
============================================
query1	query2	6530	2534	2395	2395
query3	query4	66209	33947	26715	26715
query5	query6	327	199	204	199
query7	6190	482	305	305
query8	query9	9693	2772	2760	2760
query10	514	301	265	265
query11	20541	17277	17142	17142
query12	query13	1667	578	441	441
query14	21291	18677	19025	18677
query15	query16	7802	714	453	453
query17	1887	730	591	591
query18	2028	451	326	326
query19	query20	query21	220	124	108	108
query22	4614	4477	4729	4477
query23	51565	51087	50303	50303
query24	query25	query26	777	240	170	170
query27	4210	490	342	342
query28	4612	2509	2457	2457
query29	570	568	442	442
query30	query31	query32	79	58	62	58
query33	query34	3503	918	594	594
query35	793	801	749	749
query36	1056	1086	973	973
query37	116	94	72	72
query38	2253	2305	2294	2294
query39	1633	1651	1458	1458
query40	196	116	99	99
query41	48	48	46	46
query42	query43	564	576	525	525
query44	1448	842	833	833
query45	190	178	171	171
query46	query47	query48	query49	932	429	334	334
query50	927	1079	700	700
query51	query52	query53	query54	query55	query56	query57	query58	query59	3326	3605	3263	3263
query60	query61	query62	917	800	756	756
query63	query64	query65	query66	1026	468	325	325
query67	16211	15761	15507	15507
query68	query69	676	270	264	264
query70	query71	query72	6779	3994	3747	3747
query73	3707	750	345	345
query74	10394	9309	8942	8942
query75	6837	4016	3471	3471
query76	5794	1220	818	818
query77	query78	query79	query80	678	568	427	427
query81	query82	130	105	82	82
query83	300	243	214	214
query84	270	104	81	81
query85	924	383	304	304
query86	298	310	284	284
query87	2468	2561	2431	2431
query88	3060	2259	2203	2203
query89	query90	1839	194	196	194
query91	query92	63	56	53	53
query93	query94	607	389	296	296
query95	365	263	250	250
query96	305	338	275	275
query97	2751	2842	2726	2726
query98	query99	1502	1574	1427	1427
Total cold run time: 296212 ms
Total hot run time: 186159 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.11 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 0535a3701e31703758e3629e282824194f75d667, data reload: false

query1	0.03	0.04	0.03
query2	0.06	0.04	0.03
query3	0.24	0.07	0.06
query4	1.62	0.11	0.11
query5	0.43	0.41	0.41
query6	1.20	0.65	0.66
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.57	0.51	0.49
query10	0.56	0.56	0.55
query11	0.15	0.10	0.11
query12	0.13	0.10	0.11
query13	0.62	0.59	0.60
query14	2.87	2.76	2.71
query15	0.89	0.84	0.83
query16	0.37	0.38	0.36
query17	1.05	1.03	1.06
query18	0.21	0.20	0.21
query19	1.87	1.86	1.96
query20	0.01	0.01	0.01
query21	15.36	1.01	0.59
query22	0.76	0.77	0.93
query23	15.02	1.45	0.51
query24	2.73	0.64	1.67
query25	0.17	0.08	0.23
query26	0.29	0.16	0.13
query27	0.05	0.08	0.05
query28	13.97	1.53	1.05
query29	12.58	4.00	3.27
query30	0.26	0.09	0.08
query31	2.81	0.61	0.39
query32	3.22	0.55	0.46
query33	3.04	3.15	3.11
query34	17.28	5.14	4.55
query35	4.49	4.47	4.47
query36	0.64	0.48	0.50
query37	0.10	0.07	0.06
query38	0.04	0.04	0.04
query39	0.03	0.02	0.03
query40	0.16	0.13	0.12
query41	0.08	0.03	0.02
query42	0.04	0.02	0.03
query43	0.04	0.04	0.03
Total cold run time: 106.1 s
Total hot run time: 31.11 s

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 25269 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 32c6c6aeca1556b280818bb53c5848f7e673d1a5, data reload: false

------ Round 1 ----------------------------------
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	17618	6073	6567	6073
q2	2038	290	159	159
q3	10454	1237	722	722
q4	10257	851	426	426
q5	8409	2149	1973	1973
q6	213	200	152	152
q7	q8	9258	1295	1137	1137
q9	q10	6812	2232	1847	1847
q11	474	285	258	258
q12	348	374	224	224
q13	17927	3556	3085	3085
q14	244	231	228	228
q15	572	519	499	499
q16	629	632	601	601
q17	1112	857	337	337
q18	q19	928	781	592	592
q20	1237	303	179	179
q21	7164	6461	6492	6461
q22	384	348	316	316
Total cold run time: 96078 ms
Total hot run time: 25269 ms

----- Round 2, with runtime_filter_mode=off -----
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	1000000	87	87519212	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	13648	6178	6206	6178
q2	1622	330	232	232
q3	2270	2637	2273	2273
q4	1377	1762	1349	1349
q5	4299	4799	4620	4620
q6	185	179	145	145
q7	q8	2696	2714	2611	2611
q9	q10	3061	3231	2810	2810
q11	611	531	507	507
q12	692	766	635	635
q13	3330	3787	3137	3137
q14	296	309	280	280
q15	554	528	509	509
q16	674	711	660	660
q17	1214	1756	1312	1312
q18	q19	724	1148	992	992
q20	1973	2078	1961	1961
q21	15910	15410	15360	15360
q22	627	589	600	589
Total cold run time: 55763 ms
Total hot run time: 46160 ms

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 25096 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit e86b5fc884d9764c4146c04c2a6492d8aafb5a06, data reload: false

------ Round 1 ----------------------------------
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	17628	5991	5895	5895
q2	2043	293	164	164
q3	10442	1262	723	723
q4	10209	869	430	430
q5	7522	2196	1979	1979
q6	202	181	146	146
q7	q8	9257	1348	1172	1172
q9	q10	6815	2238	1865	1865
q11	466	285	267	267
q12	358	369	233	233
q13	17803	3654	2967	2967
q14	245	240	214	214
q15	564	523	496	496
q16	632	626	590	590
q17	566	860	334	334
q18	q19	904	757	655	655
q20	1239	321	183	183
q21	8038	6464	6577	6464
q22	387	341	319	319
Total cold run time: 95320 ms
Total hot run time: 25096 ms

----- Round 2, with runtime_filter_mode=off -----
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	1000000	87	87519212	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	14482	6172	6225	6172
q2	242	339	232	232
q3	2320	2696	2326	2326
q4	1401	1797	1336	1336
q5	4320	4760	4665	4665
q6	185	183	145	145
q7	q8	2712	2729	2614	2614
q9	q10	3014	3092	2702	2702
q11	581	519	494	494
q12	636	764	583	583
q13	3258	3668	2932	2932
q14	269	293	287	287
q15	555	516	494	494
q16	643	689	654	654
q17	1172	1740	1230	1230
q18	q19	708	1104	1011	1011
q20	1900	1980	1825	1825
q21	15165	14759	14581	14581
q22	653	554	574	554
Total cold run time: 54216 ms
Total hot run time: 44837 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 161767 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit e86b5fc884d9764c4146c04c2a6492d8aafb5a06, data reload: false

trim_tailing_spaces_for_external_table_query	false	false	0
truncate_char_or_varchar_columns	false	false	0
tx_isolation	REPEATABLE-READ	REPEATABLE-READ	0
tx_read_only	false	false	0
use_consistent_hash_for_external_scan	false	false	0
use_fix_replica	-1	-1	0
use_max_length_of_varchar_in_ctas	true	true	0
use_rf_default	false	false	0
use_v2_rollup	false	false	0
validate_password_policy	NONE	NONE	0
version	5.7.99	5.7.99	0
version_comment	Doris version doris-0.0.0--ef73d624e7	Doris version doris-0.0.0--ef73d624e7	0
wait_full_block_schedule_times	2	2	0
wait_timeout	28800	28800	0
workload_group			0
============================================
show table status;
Name	Engine	Version	Row_format	Rows	Avg_row_length	Data_length	Max_data_length	Index_length	Data_free	Auto_increment	Create_time	Update_time	Check_time	Collation	Checksum	Create_options	Comment
call_center	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:46:25	NULL	utf-8	NULL	NULL	
catalog_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:55:02	NULL	utf-8	NULL	NULL	
customer	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:53	NULL	utf-8	NULL	NULL	
customer_address	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:41	NULL	utf-8	NULL	NULL	
customer_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:34	NULL	utf-8	NULL	NULL	
date_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
dbgen_version	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
household_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
income_band	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
inventory	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:50:32	NULL	utf-8	NULL	NULL	
item	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
promotion	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
reason	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
ship_mode	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
store	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
store_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:47:09	NULL	utf-8	NULL	NULL	
store_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:59:20	NULL	utf-8	NULL	NULL	
time_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:03	NULL	utf-8	NULL	NULL	
warehouse	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:45:43	NULL	utf-8	NULL	NULL	
web_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:53:25	NULL	utf-8	NULL	NULL	
web_site	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
============================================
query1	query2	6525	2388	2364	2364
query3	query4	37516	26705	26574	26574
query5	query6	361	188	191	188
query7	6452	424	307	307
query8	query9	9742	2776	2754	2754
query10	500	317	288	288
query11	20065	17579	17124	17124
query12	query13	1659	551	433	433
query14	query15	query16	8234	602	428	428
query17	2448	708	537	537
query18	1954	418	322	322
query19	query20	query21	216	124	105	105
query22	4301	4439	4285	4285
query23	50463	49804	49084	49084
query24	query25	query26	2018	216	167	167
query27	4476	469	341	341
query28	7037	2465	2419	2419
query29	1699	589	448	448
query30	query31	query32	107	66	65	65
query33	query34	3867	908	604	604
query35	783	797	710	710
query36	1070	1076	956	956
query37	146	97	75	75
query38	2274	2274	2325	2274
query39	1507	1432	1414	1414
query40	210	109	104	104
query41	53	50	48	48
query42	query43	519	539	507	507
query44	1588	800	802	800
query45	188	180	170	170
query46	query47	query48	query49	query50	963	1055	655	655
query51	query52	query53	query54	query55	query56	query57	query58	query59	3143	3314	3026	3026
query60	query61	query62	894	817	750	750
query63	query64	query65	query66	1915	446	332	332
query67	15673	15579	15546	15546
query68	query69	469	291	283	283
query70	query71	query72	7078	4041	3603	3603
query73	622	758	370	370
query74	10200	9230	9225	9225
query75	query76	7480	1254	754	754
query77	query78	query79	query80	1421	570	434	434
query81	query82	132	102	91	91
query83	349	246	218	218
query84	267	106	69	69
query85	1171	383	317	317
query86	323	315	294	294
query87	2451	2518	2531	2518
query88	3301	2268	2183	2183
query89	query90	1744	189	188	188
query91	query92	58	57	55	55
query93	query94	839	401	283	283
query95	329	268	252	252
query96	323	329	286	286
query97	2662	2859	2726	2726
query98	query99	1492	1550	1414	1414
Total cold run time: 243277 ms
Total hot run time: 161767 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.54 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit e86b5fc884d9764c4146c04c2a6492d8aafb5a06, data reload: false

query1	0.03	0.04	0.05
query2	0.08	0.03	0.03
query3	0.23	0.06	0.07
query4	1.62	0.10	0.10
query5	0.42	0.41	0.41
query6	1.17	0.65	0.65
query7	0.03	0.02	0.02
query8	0.04	0.04	0.03
query9	0.59	0.51	0.52
query10	0.57	0.58	0.56
query11	0.14	0.10	0.10
query12	0.14	0.10	0.11
query13	0.62	0.58	0.60
query14	2.82	2.72	2.74
query15	0.89	0.83	0.82
query16	0.36	0.39	0.36
query17	1.04	1.06	1.04
query18	0.21	0.21	0.21
query19	1.95	1.81	1.96
query20	0.01	0.01	0.02
query21	15.39	0.90	0.57
query22	0.75	0.89	0.63
query23	15.29	1.49	0.57
query24	2.94	1.53	1.36
query25	0.14	0.09	0.11
query26	0.31	0.16	0.14
query27	0.05	0.05	0.05
query28	13.92	1.48	1.04
query29	12.60	3.90	3.25
query30	0.25	0.08	0.06
query31	2.83	0.61	0.38
query32	3.23	0.55	0.45
query33	3.11	3.10	3.08
query34	16.71	5.07	4.52
query35	4.50	4.41	4.46
query36	0.64	0.49	0.47
query37	0.08	0.06	0.06
query38	0.04	0.04	0.03
query39	0.04	0.02	0.03
query40	0.16	0.14	0.13
query41	0.08	0.02	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.03
Total cold run time: 106.08 s
Total hot run time: 31.54 s

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 25448 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit ccdf5b63d75bf02b05cf81f0b8cb82169b3a876b, data reload: false

------ Round 1 ----------------------------------
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	17606	6084	5966	5966
q2	2048	286	165	165
q3	10444	1303	741	741
q4	10187	852	424	424
q5	7513	2168	1915	1915
q6	208	186	149	149
q7	q8	9268	1291	1119	1119
q9	q10	6802	2227	1864	1864
q11	467	275	252	252
q12	347	374	226	226
q13	17761	3613	2991	2991
q14	236	235	208	208
q15	558	513	507	507
q16	640	625	592	592
q17	1182	842	317	317
q18	q19	907	752	595	595
q20	1239	307	183	183
q21	7384	7311	6900	6900
q22	1808	336	334	334
Total cold run time: 96605 ms
Total hot run time: 25448 ms

----- Round 2, with runtime_filter_mode=off -----
revenue0	View	NULL	NULL	-1	0	0	NULL	NULL	NULL	NULL	2023-12-26 18:27:24	NULL	NULL	utf-8	NULL	NULL	
supplier	Doris	NULL	NULL	1000000	87	87519212	NULL	NULL	NULL	NULL	2023-12-26 18:27:23	2023-12-26 18:27:25	NULL	utf-8	NULL	NULL	
============================================
q1	14277	6326	6388	6326
q2	1631	334	231	231
q3	2317	2639	2285	2285
q4	1424	1770	1352	1352
q5	4294	4789	4623	4623
q6	182	183	141	141
q7	q8	2687	2674	2649	2649
q9	q10	3147	3191	2871	2871
q11	630	516	516	516
q12	703	790	639	639
q13	3419	3813	3133	3133
q14	297	304	276	276
q15	581	524	513	513
q16	663	692	650	650
q17	1232	1735	1267	1267
q18	q19	709	1127	1038	1038
q20	1917	1994	1901	1901
q21	16708	15662	15486	15486
q22	980	564	567	564
Total cold run time: 57798 ms
Total hot run time: 46461 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 181154 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit ccdf5b63d75bf02b05cf81f0b8cb82169b3a876b, data reload: false

tx_read_only	false	false	0
use_consistent_hash_for_external_scan	false	false	0
use_fix_replica	-1	-1	0
use_max_length_of_varchar_in_ctas	true	true	0
use_rf_default	false	false	0
use_v2_rollup	false	false	0
validate_password_policy	NONE	NONE	0
version	5.7.99	5.7.99	0
version_comment	Doris version doris-0.0.0--020c8e77db	Doris version doris-0.0.0--020c8e77db	0
wait_full_block_schedule_times	2	2	0
wait_timeout	28800	28800	0
workload_group			0
============================================
show table status;
Name	Engine	Version	Row_format	Rows	Avg_row_length	Data_length	Max_data_length	Index_length	Data_free	Auto_increment	Create_time	Update_time	Check_time	Collation	Checksum	Create_options	Comment
call_center	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
catalog_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:46:25	NULL	utf-8	NULL	NULL	
catalog_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:55:02	NULL	utf-8	NULL	NULL	
customer	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:53	NULL	utf-8	NULL	NULL	
customer_address	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:41	NULL	utf-8	NULL	NULL	
customer_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:34	NULL	utf-8	NULL	NULL	
date_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
dbgen_version	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
household_demographics	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
income_band	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
inventory	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:57	2023-12-26 22:50:32	NULL	utf-8	NULL	NULL	
item	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
promotion	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
reason	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
ship_mode	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:44:00	2023-12-26 22:44:05	NULL	utf-8	NULL	NULL	
store	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
store_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:47:09	NULL	utf-8	NULL	NULL	
store_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:59:20	NULL	utf-8	NULL	NULL	
time_dim	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:03	NULL	utf-8	NULL	NULL	
warehouse	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:56	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_page	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:59	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
web_returns	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:45:43	NULL	utf-8	NULL	NULL	
web_sales	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:53:25	NULL	utf-8	NULL	NULL	
web_site	Doris	NULL	NULL	0	0	0	NULL	NULL	NULL	NULL	2023-12-26 22:43:58	2023-12-26 22:44:01	NULL	utf-8	NULL	NULL	
============================================
query1	query2	6263	2389	2270	2270
query3	query4	66263	33329	26690	26690
query5	query6	310	205	199	199
query7	6083	467	300	300
query8	query9	9367	2769	2756	2756
query10	488	310	261	261
query11	20282	17397	17211	17211
query12	query13	1628	578	442	442
query14	18346	15786	15172	15172
query15	query16	7171	647	414	414
query17	1591	670	564	564
query18	1765	391	307	307
query19	query20	query21	208	126	118	118
query22	4632	4888	4563	4563
query23	51119	50094	49840	49840
query24	query25	query26	673	207	159	159
query27	4033	479	338	338
query28	4615	2521	2509	2509
query29	559	570	416	416
query30	query31	query32	69	59	56	56
query33	query34	3758	941	617	617
query35	799	814	749	749
query36	1095	1090	989	989
query37	111	91	69	69
query38	2261	2348	2280	2280
query39	1542	1442	1459	1442
query40	198	110	100	100
query41	47	45	47	45
query42	query43	534	523	502	502
query44	1406	817	814	814
query45	199	178	170	170
query46	query47	query48	query49	1106	508	411	411
query50	929	1061	683	683
query51	query52	query53	query54	query55	query56	query57	query58	query59	3319	3457	3200	3200
query60	query61	query62	896	819	782	782
query63	query64	query65	query66	1110	429	334	334
query67	16427	15532	15562	15532
query68	query69	656	260	260	260
query70	query71	query72	6778	3916	3659	3659
query73	3296	741	335	335
query74	10898	9035	8839	8839
query75	5916	3149	2698	2698
query76	5428	1182	788	788
query77	query78	query79	query80	691	557	416	416
query81	query82	188	95	85	85
query83	285	226	205	205
query84	267	89	68	68
query85	951	387	304	304
query86	308	316	305	305
query87	2500	2605	2541	2541
query88	2875	2240	2176	2176
query89	query90	1718	186	188	186
query91	query92	58	63	51	51
query93	query94	620	383	281	281
query95	321	255	284	255
query96	302	319	276	276
query97	2718	2825	2672	2672
query98	query99	1531	1577	1450	1450
Total cold run time: 289507 ms
Total hot run time: 181154 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 30.69 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit ccdf5b63d75bf02b05cf81f0b8cb82169b3a876b, data reload: false

query1	0.03	0.04	0.02
query2	0.07	0.03	0.03
query3	0.24	0.07	0.07
query4	1.62	0.11	0.11
query5	0.42	0.41	0.43
query6	1.14	0.66	0.65
query7	0.03	0.02	0.02
query8	0.04	0.03	0.03
query9	0.59	0.51	0.50
query10	0.56	0.58	0.56
query11	0.15	0.11	0.11
query12	0.14	0.12	0.11
query13	0.61	0.59	0.60
query14	2.69	2.85	2.74
query15	0.91	0.84	0.82
query16	0.38	0.37	0.38
query17	0.96	0.98	0.99
query18	0.22	0.20	0.21
query19	1.80	1.81	1.92
query20	0.01	0.01	0.01
query21	15.37	0.92	0.62
query22	0.75	0.76	0.56
query23	15.46	1.39	0.55
query24	3.27	1.19	0.35
query25	0.25	0.08	0.09
query26	0.35	0.16	0.14
query27	0.06	0.05	0.04
query28	12.87	1.52	1.06
query29	12.55	4.12	3.41
query30	0.25	0.09	0.06
query31	2.83	0.63	0.38
query32	3.22	0.55	0.46
query33	3.12	3.13	3.08
query34	16.54	5.15	4.50
query35	4.60	4.49	4.51
query36	0.63	0.51	0.48
query37	0.09	0.06	0.06
query38	0.04	0.04	0.03
query39	0.04	0.02	0.03
query40	0.17	0.14	0.12
query41	0.07	0.03	0.02
query42	0.03	0.02	0.02
query43	0.03	0.03	0.02
Total cold run time: 105.2 s
Total hot run time: 30.69 s

@englefly englefly closed this Dec 27, 2024
@englefly englefly reopened this Dec 27, 2024
@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32246 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 2a8d67bb6e2c3d0b5693644992c2446063c4bc8f, data reload: false

------ Round 1 ----------------------------------
q1	17578	6150	6017	6017
q2	2039	313	172	172
q3	10428	1229	745	745
q4	10231	855	426	426
q5	7888	2167	1915	1915
q6	207	177	143	143
q7	885	750	588	588
q8	9219	1330	1125	1125
q9	5226	4967	4843	4843
q10	6767	2338	1861	1861
q11	473	262	250	250
q12	337	361	225	225
q13	17760	3575	2912	2912
q14	230	240	214	214
q15	560	503	503	503
q16	613	616	581	581
q17	562	855	325	325
q18	6813	6553	6310	6310
q19	3187	986	576	576
q20	331	321	196	196
q21	3030	2217	2004	2004
q22	368	342	315	315
Total cold run time: 104732 ms
Total hot run time: 32246 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6256	6109	6064	6064
q2	252	332	234	234
q3	2274	2769	2424	2424
q4	1433	1852	1394	1394
q5	4438	4842	4918	4842
q6	197	187	143	143
q7	2111	2019	1817	1817
q8	2647	2785	2684	2684
q9	7273	7323	7290	7290
q10	3093	3391	2741	2741
q11	564	515	489	489
q12	655	817	605	605
q13	3319	3723	3097	3097
q14	281	308	290	290
q15	590	509	503	503
q16	641	693	661	661
q17	1252	1742	1263	1263
q18	7560	7517	7345	7345
q19	855	1174	1107	1107
q20	1988	2054	1965	1965
q21	5804	5172	4836	4836
q22	605	634	599	599
Total cold run time: 54088 ms
Total hot run time: 52393 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197229 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 2a8d67bb6e2c3d0b5693644992c2446063c4bc8f, data reload: false

query1	1297	1017	926	926
query2	6464	2357	2307	2307
query3	11130	4763	4823	4763
query4	32748	23782	23329	23329
query5	3961	608	474	474
query6	293	206	186	186
query7	3984	528	307	307
query8	311	267	241	241
query9	9467	2741	2722	2722
query10	470	319	246	246
query11	17864	15381	15487	15381
query12	158	104	101	101
query13	1671	562	412	412
query14	11151	8018	7187	7187
query15	256	233	196	196
query16	7441	678	493	493
query17	1568	751	600	600
query18	1374	397	339	339
query19	269	187	165	165
query20	125	110	111	110
query21	205	137	109	109
query22	4726	4471	4410	4410
query23	34484	33688	33577	33577
query24	6364	2282	2307	2282
query25	482	453	379	379
query26	793	305	155	155
query27	1986	489	334	334
query28	5402	2491	2454	2454
query29	549	555	410	410
query30	204	189	148	148
query31	999	900	815	815
query32	83	55	56	55
query33	497	364	292	292
query34	806	927	533	533
query35	822	821	762	762
query36	1061	1094	973	973
query37	123	111	79	79
query38	4276	4308	4205	4205
query39	1511	1448	1472	1448
query40	203	113	102	102
query41	45	42	48	42
query42	118	106	118	106
query43	518	510	498	498
query44	1374	832	842	832
query45	188	172	170	170
query46	959	1156	662	662
query47	2029	1968	1953	1953
query48	389	434	324	324
query49	716	494	397	397
query50	695	703	403	403
query51	7255	7585	7220	7220
query52	99	102	96	96
query53	233	263	190	190
query54	491	521	420	420
query55	89	78	81	78
query56	252	261	263	261
query57	1223	1240	1177	1177
query58	236	224	252	224
query59	3266	3359	3025	3025
query60	277	266	257	257
query61	111	105	113	105
query62	913	824	749	749
query63	226	191	188	188
query64	3506	1027	662	662
query65	3298	3237	3275	3237
query66	839	432	302	302
query67	16681	15684	15574	15574
query68	9807	778	511	511
query69	473	302	247	247
query70	1231	1120	1139	1120
query71	431	281	255	255
query72	6029	3860	3885	3860
query73	666	788	347	347
query74	10120	9356	8984	8984
query75	4576	3162	2618	2618
query76	5388	1279	810	810
query77	936	365	273	273
query78	10030	10295	9651	9651
query79	2487	935	608	608
query80	730	511	528	511
query81	480	274	236	236
query82	602	148	131	131
query83	156	165	145	145
query84	238	88	77	77
query85	777	371	298	298
query86	357	315	310	310
query87	4430	4559	4537	4537
query88	3342	2232	2257	2232
query89	430	327	297	297
query90	1871	182	181	181
query91	128	138	106	106
query92	60	56	50	50
query93	1064	898	514	514
query94	655	419	289	289
query95	321	266	251	251
query96	486	673	289	289
query97	2738	2810	2713	2713
query98	225	202	194	194
query99	1657	1570	1425	1425
Total cold run time: 296525 ms
Total hot run time: 197229 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 32.01 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 2a8d67bb6e2c3d0b5693644992c2446063c4bc8f, data reload: false

query1	0.04	0.03	0.02
query2	0.07	0.03	0.03
query3	0.23	0.07	0.06
query4	1.61	0.10	0.11
query5	0.43	0.41	0.40
query6	1.13	0.64	0.66
query7	0.02	0.02	0.01
query8	0.04	0.04	0.03
query9	0.59	0.49	0.49
query10	0.55	0.57	0.56
query11	0.15	0.10	0.11
query12	0.14	0.11	0.11
query13	0.61	0.62	0.60
query14	2.72	2.74	2.72
query15	0.89	0.83	0.83
query16	0.39	0.38	0.37
query17	1.09	1.05	1.06
query18	0.21	0.20	0.20
query19	1.89	1.86	1.96
query20	0.02	0.01	0.01
query21	15.36	0.91	0.57
query22	0.75	0.72	0.67
query23	15.69	1.45	0.61
query24	2.92	1.88	1.66
query25	0.12	0.12	0.07
query26	0.42	0.15	0.14
query27	0.06	0.04	0.05
query28	14.43	1.46	1.04
query29	12.54	3.91	3.21
query30	0.25	0.08	0.06
query31	2.83	0.57	0.38
query32	3.23	0.55	0.46
query33	3.10	3.10	3.17
query34	16.94	5.11	4.53
query35	4.48	4.49	4.52
query36	0.63	0.48	0.48
query37	0.09	0.06	0.06
query38	0.04	0.03	0.03
query39	0.03	0.02	0.02
query40	0.19	0.14	0.13
query41	0.09	0.03	0.02
query42	0.04	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 107.09 s
Total hot run time: 32.01 s

@englefly
Copy link
Contributor Author

run p0

1 similar comment
@englefly
Copy link
Contributor Author

run p0

@englefly
Copy link
Contributor Author

run cloud_p0

@englefly
Copy link
Contributor Author

run buildall

@doris-robot
Copy link

TPC-H: Total hot run time: 32533 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 33dca76f57498484fc6d54f90917acd1f8bc95e6, data reload: false

------ Round 1 ----------------------------------
q1	17606	6081	6011	6011
q2	2046	293	175	175
q3	10429	1222	722	722
q4	10285	874	421	421
q5	9097	2189	1988	1988
q6	205	184	148	148
q7	880	752	609	609
q8	9230	1358	1137	1137
q9	5147	4946	4871	4871
q10	6781	2300	1878	1878
q11	485	294	248	248
q12	336	354	217	217
q13	17913	3600	3097	3097
q14	243	231	214	214
q15	566	504	492	492
q16	648	640	602	602
q17	565	845	330	330
q18	6908	6433	6456	6433
q19	3286	959	542	542
q20	296	314	187	187
q21	2747	2173	1911	1911
q22	357	334	300	300
Total cold run time: 106056 ms
Total hot run time: 32533 ms

----- Round 2, with runtime_filter_mode=off -----
q1	6537	6195	6169	6169
q2	227	322	230	230
q3	2217	2657	2315	2315
q4	1391	1837	1334	1334
q5	4340	4719	4910	4719
q6	184	176	140	140
q7	2084	1997	1822	1822
q8	2647	2780	2664	2664
q9	7327	7285	7275	7275
q10	3004	3362	2755	2755
q11	570	506	487	487
q12	660	829	619	619
q13	3332	3702	3069	3069
q14	294	321	293	293
q15	582	515	501	501
q16	649	685	647	647
q17	1230	1733	1254	1254
q18	7735	7347	7343	7343
q19	773	1001	1093	1001
q20	1998	2052	1948	1948
q21	5723	5317	4860	4860
q22	613	622	622	622
Total cold run time: 54117 ms
Total hot run time: 52067 ms

@doris-robot
Copy link

TPC-DS: Total hot run time: 197000 ms 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 33dca76f57498484fc6d54f90917acd1f8bc95e6, data reload: false

query1	1298	917	917	917
query2	6490	2316	2217	2217
query3	10983	4566	4631	4566
query4	32679	23745	23677	23677
query5	3834	589	457	457
query6	278	210	190	190
query7	3993	488	302	302
query8	311	255	237	237
query9	9515	2709	2708	2708
query10	440	310	239	239
query11	17996	15340	15216	15216
query12	174	109	106	106
query13	1692	559	393	393
query14	11464	7346	7775	7346
query15	258	206	184	184
query16	8581	632	467	467
query17	1611	768	554	554
query18	2098	425	318	318
query19	201	179	151	151
query20	121	121	118	118
query21	203	131	111	111
query22	4638	4763	4802	4763
query23	34657	33780	33575	33575
query24	6075	2332	2266	2266
query25	469	461	381	381
query26	981	281	145	145
query27	2197	482	338	338
query28	5384	2487	2455	2455
query29	661	569	415	415
query30	215	189	154	154
query31	967	913	810	810
query32	67	67	53	53
query33	476	357	318	318
query34	808	864	512	512
query35	826	833	790	790
query36	1032	1062	988	988
query37	112	96	80	80
query38	4167	4295	4124	4124
query39	1516	1487	1462	1462
query40	215	114	102	102
query41	46	44	46	44
query42	120	104	103	103
query43	513	519	472	472
query44	1317	832	832	832
query45	183	187	166	166
query46	874	1092	663	663
query47	2046	2010	1958	1958
query48	395	422	327	327
query49	711	472	401	401
query50	636	695	390	390
query51	7278	7260	7207	7207
query52	100	96	92	92
query53	231	268	189	189
query54	485	493	410	410
query55	90	85	86	85
query56	256	266	241	241
query57	1244	1256	1165	1165
query58	242	233	223	223
query59	3116	3423	3016	3016
query60	268	255	246	246
query61	105	105	106	105
query62	901	803	752	752
query63	229	188	194	188
query64	3278	1068	654	654
query65	3348	3294	3219	3219
query66	934	408	307	307
query67	16503	15935	15646	15646
query68	9789	750	508	508
query69	476	290	245	245
query70	1256	1142	1127	1127
query71	429	299	246	246
query72	5892	3796	3908	3796
query73	656	750	374	374
query74	10175	9432	9000	9000
query75	4583	3185	2669	2669
query76	5345	1218	770	770
query77	979	376	291	291
query78	10165	10239	9469	9469
query79	3155	890	590	590
query80	729	512	453	453
query81	487	289	231	231
query82	660	151	130	130
query83	190	156	144	144
query84	279	85	77	77
query85	768	355	304	304
query86	353	314	352	314
query87	4489	4552	4461	4461
query88	3878	2222	2217	2217
query89	424	336	295	295
query90	1887	185	190	185
query91	128	128	105	105
query92	62	52	51	51
query93	1394	897	518	518
query94	662	402	282	282
query95	342	261	249	249
query96	485	619	295	295
query97	2779	2822	2662	2662
query98	223	215	198	198
query99	1785	1577	1438	1438
Total cold run time: 300036 ms
Total hot run time: 197000 ms

@doris-robot
Copy link

ClickBench: Total hot run time: 31.58 s 
machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 33dca76f57498484fc6d54f90917acd1f8bc95e6, data reload: false

query1	0.04	0.03	0.03
query2	0.07	0.03	0.03
query3	0.24	0.07	0.06
query4	1.61	0.10	0.11
query5	0.40	0.41	0.43
query6	1.20	0.65	0.65
query7	0.02	0.02	0.02
query8	0.04	0.04	0.04
query9	0.59	0.50	0.52
query10	0.55	0.56	0.56
query11	0.15	0.10	0.11
query12	0.14	0.10	0.11
query13	0.62	0.60	0.60
query14	2.74	2.76	2.76
query15	0.90	0.82	0.82
query16	0.38	0.40	0.34
query17	1.04	1.06	1.04
query18	0.22	0.21	0.21
query19	1.95	1.83	2.02
query20	0.01	0.01	0.01
query21	15.35	0.91	0.57
query22	0.74	0.81	0.76
query23	15.23	1.50	0.54
query24	3.45	1.30	1.10
query25	0.23	0.15	0.05
query26	0.22	0.15	0.13
query27	0.06	0.04	0.04
query28	13.94	1.50	1.04
query29	12.58	4.11	3.37
query30	0.25	0.10	0.06
query31	2.83	0.62	0.38
query32	3.23	0.55	0.45
query33	3.13	3.09	3.14
query34	16.76	5.11	4.50
query35	4.46	4.48	4.47
query36	0.66	0.49	0.49
query37	0.09	0.07	0.06
query38	0.04	0.04	0.04
query39	0.03	0.02	0.03
query40	0.18	0.14	0.13
query41	0.08	0.03	0.03
query42	0.04	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 106.53 s
Total hot run time: 31.58 s

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers
No reviews
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
3 participants
@englefly @hello-stephen @doris-robot