請問 tick data 數據的硬碟用量？

[kangyulee]

你好，想請問大家關於 tick data 的數據儲存的問題。

各位跑過的商品當中，「一天平均的 tick data」大概需要多少硬碟空間 (MB)？

跑一個 tick data 歷史回測，需要準備多少的硬碟空間？

跑實盤交易時，會準備多少的硬碟空間呢？

大家 tick data 都是寫入時間序列數據庫裡面嗎？

[sake_j]

tick data儲存所需空間端看該商品的交易量 <1MB~10MB 不等。
若是從可以取得的資料日期至今，只論上市櫃公司的股票tick data 所需容量，粗估1700多檔，2年多，共約30GB，你可以參考看看去換算。

Q:跑一個 tick data 歷史回測，需要準備多少的硬碟空間？
A:通常不用太多

[生魚片]

一天平均的Tick Data大概需要多少硬碟空間(MB)?
這個問題不夠具體，影響因素很多，我這邊把我能回答的一併回答清楚
至於需要多少硬碟空間，這個要看你採用的儲存方式。

如果是CSV格式，這部分很單純就是看每一筆tick儲存的Bytes大小*數據數量即可
如果是其他的儲存方式，就要實際的看看儲存方式與壓縮方式而定，
以目前永豐採用 DolphinDB 的方法，
目前儲存單筆訊息格式如下
1. TSE

TSE.png (7.3 KiB) 已瀏覽 934 次

2. TFE

TFE.png (13.99 KiB) 已瀏覽 934 次

以最近一周的訊息數量以及DolphinDB 所需空間(MB)如下，
成交(Tick)
1 (TSE) 股票+權證 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 1,271,683 │49M
│ 2021.10.26 │ 1,535,160 │57M
│ 2021.10.27 │ 1,401,709 │53M
│ 2021.10.28 │ 1,496,285 │56M
│ 2021.10.29 │ 1,596,546 │59M

2 (TFE) 期貨+選擇權 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 396,066 │34M
│ 2021.10.26 │ 418,216 │37M
│ 2021.10.27 │ 479,907 │43M
│ 2021.10.28 │ 364,971 │34M
│ 2021.10.29 │ 453,888 │40M
│ 2021.10.30 │ 28,316 │3.6M

另外委買、委賣五檔的部分，也順便貼上供大家參考
單筆格式如下:

Quote.png (13.13 KiB) 已瀏覽 934 次

每天數據量與所需空間如下(含試搓)
1. (TSE) 股票+權證 (含試搓)
│ Date │ count │ size
│ 2021.10.25 │ 21,542,513 │1.7G
│ 2021.10.26 │ 22,447,799 │1.8G
│ 2021.10.27 │ 19,736,376 │1.6G
│ 2021.10.28 │ 21,765,856 │1.7G
│ 2021.10.29 │ 23,448,585 │1.9G

2 (TFE) 期貨+選擇權 (含試搓)
│ 2021.10.25 │ 11,328,139 │957M
│ 2021.10.26 │ 11,256,724 │976M
│ 2021.10.27 │ 12,473,535 │1.1G
│ 2021.10.28 │ 12,190,166 │1.1G
│ 2021.10.29 │ 13,138,950 │1.1G
│ 2021.10.30 │ 1,121,493 │114M

以上供各位參考