請問 tick data 數據的硬碟用量?

回覆文章
kangyulee
文章: 4
註冊時間: 2021-09-30, 15:30

請問 tick data 數據的硬碟用量?

文章 kangyulee »

你好,想請問大家關於 tick data 的數據儲存的問題。

各位跑過的商品當中,「一天平均的 tick data」大概需要多少硬碟空間 (MB)?

跑一個 tick data 歷史回測,需要準備多少的硬碟空間?

跑實盤交易時,會準備多少的硬碟空間呢?

大家 tick data 都是寫入時間序列數據庫裡面嗎?
sake_j
文章: 15
註冊時間: 2021-09-27, 21:04

Re: 請問 tick data 數據的硬碟用量?

文章 sake_j »

tick data儲存所需空間端看該商品的交易量 <1MB~10MB 不等。
若是從可以取得的資料日期至今,只論上市櫃公司的股票tick data 所需容量,粗估1700多檔,2年多,共約30GB,你可以參考看看去換算。

Q:跑一個 tick data 歷史回測,需要準備多少的硬碟空間?
A:通常不用太多
生魚片
文章: 29
註冊時間: 2021-09-01, 13:56

Re: 請問 tick data 數據的硬碟用量?

文章 生魚片 »

一天平均的Tick Data大概需要多少硬碟空間(MB)?
這個問題不夠具體,影響因素很多,我這邊把我能回答的一併回答清楚
至於需要多少硬碟空間,這個要看你採用的儲存方式。

如果是CSV格式,這部分很單純就是看每一筆tick儲存的Bytes大小*數據數量即可
如果是其他的儲存方式,就要實際的看看儲存方式與壓縮方式而定,
以目前永豐採用 DolphinDB 的方法,
目前儲存單筆訊息格式如下
1. TSE
TSE.png
TSE.png (7.3 KiB) 已瀏覽 578 次
2. TFE
TFE.png
TFE.png (13.99 KiB) 已瀏覽 578 次
以最近一周的訊息數量以及DolphinDB 所需空間(MB)如下,
成交(Tick)
1 (TSE) 股票+權證 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 1,271,683 │49M
│ 2021.10.26 │ 1,535,160 │57M
│ 2021.10.27 │ 1,401,709 │53M
│ 2021.10.28 │ 1,496,285 │56M
│ 2021.10.29 │ 1,596,546 │59M

2 (TFE) 期貨+選擇權 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 396,066 │34M
│ 2021.10.26 │ 418,216 │37M
│ 2021.10.27 │ 479,907 │43M
│ 2021.10.28 │ 364,971 │34M
│ 2021.10.29 │ 453,888 │40M
│ 2021.10.30 │ 28,316 │3.6M

另外委買、委賣五檔的部分,也順便貼上供大家參考
單筆格式如下:
Quote.png
Quote.png (13.13 KiB) 已瀏覽 578 次
每天數據量與所需空間如下(含試搓)
1. (TSE) 股票+權證 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 21,542,513 │1.7G
│ 2021.10.26 │ 22,447,799 │1.8G
│ 2021.10.27 │ 19,736,376 │1.6G
│ 2021.10.28 │ 21,765,856 │1.7G
│ 2021.10.29 │ 23,448,585 │1.9G

2 (TFE) 期貨+選擇權 (含試搓)
│ 2021.10.25 │ 11,328,139 │957M
│ 2021.10.26 │ 11,256,724 │976M
│ 2021.10.27 │ 12,473,535 │1.1G
│ 2021.10.28 │ 12,190,166 │1.1G
│ 2021.10.29 │ 13,138,950 │1.1G
│ 2021.10.30 │ 1,121,493 │114M

以上供各位參考
回覆文章