今月一度もブログ更新出来ていなかったので日付が変わる前に更新しようと思います
バックテストを行うためにネット上でヒストリカルデータを探していた所、

FOREX TESTERというサイトに漂着
FOREXTESTERという名前は聞いた事があったので怪しいサイトではなさそう
約20年分の1分足の為替データが18ペアも無料で提供されています。

データサイズは大体30~40MB。
とくにダウンロードするまではデカい数字だと思っていなかった。
開いてみると・・・.txt
テキストデータで30MB、
1分足なので
60分が24回、月の取引きが22日あって、それが12ヵ月、それが20年分てことは
ざっくり7,603,200行ありますね
エクセルの行数の限界が 1,048,576行 なのでエクセルでは開けません
10分足にすれば1/10になると考えpythonで変換データを作ってみました

ダウンロードデータを開いた物(少し加工しています「¥n」を置換で削除しました)
import re
a=open('GBPJPY20200625.txt')
b=a.read()
a=''
c=0
d=[]
e=[]
i=0
while c+60<=len(b):
c=i*51
d=[]
for ii in range(51):
d.append(b[ii+c])
d=','.join(d)
d=d.replace(',','')
e.append(d)
i+=1
b=[]
a=[]
print('eまでクリア')
asi5,x,hl,ll=[],[],[],[]
i4=int(e[0][16])
i5=0
for iii in range(len(e)):
if i4==int(e[iii][16])|i5==0:
s=float(e[iii][20:26])
takane=float(e[iii][26:32])
hl.append(takane)
h=max(hl)
yasune=float(e[iii][38:44])
ll.append(yasune)
l=min(ll)
if iii<len(e)-2:
if i4==int(e[iii][16])|i4!=int(e[iii+1][16]):
o=float(e[iii][32:38])
t=(e[iii][6:20])
x.append(t)
x.append(s)
x.append(h)
x.append(l)
x.append(o)
asi5.append(x)
h,l,x=[],[],[]
i4=int(e[iii+1][16])
i5=0
else:
i5+=1
print('finish')
とりあえずパパパと動くデータを作りたかったので汚い(醜い)プログラムになってます(動けばいいや)
あーなんかバグってる、(e[iii][ これが (e[iii][に文字化けしてる
眠いので続きは明日書きます