EAラボラトリーフォーラム::FXシステムトレード情報満載のコミュニティサイト :: トピック - バックテストの正確性について

EAラボラトリーフォーラム::FXシステムトレード情報満載のコミュニティサイト http://forum.ea-labo.com/

バックテストの正確性について http://forum.ea-labo.com/viewtopic.php?f=26&t=79	ページ 1 ／ 1

作成者:	RX93 [ 2009年9月04日(金) 23:40 ]
記事の件名:	バックテストの正確性について
皆様、こんにちは！かなり以前になってしまうのですが、 engineeeer様が、7月13日にブログで書かれていた「ヒストリーデータはなんのデータ？」という記事があるのですがその中で、通常行なっているMT4のHistory centerからダウンロードするデータでは、実際のデータと異なるので信頼性が低い、というお話とブローカーが提供するデータの違い等を指摘されていました。これまで、History centerのデータでは、modelling qualityが90％でも実際にはその精度は45％程度しかない、という指摘がForex TSDなどでされているという記事を読んだことがあり、「modelling　quality90%」というのがあまり意味がないことだけは理解できていました。＊この精度の乖離でテストとリアルで成績が大きく違うEAが多いと理解しています。ただ、それ以上の知識を集めることが出来なかったのでテストの正確性については、より突っ込んで正確に理解しておりませんでした。 engineeeer様の記事では、ブローカーでのデータは違うものがあるとのご指摘でまたこちらの記事では、別の研究員様が、データサーバーの違いによるデータの差をご指摘されていましたが、最終的にはどのようなテスト方法が「リアル運用により近い」ということになりますでしょうか？もしかしたら、既にこの件は決着済みであれば、本当にスミマセン。。。。

作成者:	RX93 [ 2009年9月05日(土) 02:04 ]
記事の件名:	Re: バックテストの正確性について
自分で質問を書いておきながら、自分で突っ込んで申し訳ありません。。寝ているときに、頭の中でつながったのですが先にフォーラムで複数のデータサーバーが同一ブローカーで存在している場合、そのデータはサーバー毎に微妙に違いがあるとのことでした。（ブローカー提供データ）そうであれば、例えばその複数あるデータすべてでバックテストをして良い結果が出るパラメーターが最適ということになるのでは？？自分のターミナルの接続先が正確に決まっており、そのサーバーのリアルデータで検証できれば最高？ということになるのでしょうか。 RX93

作成者:	Catherine [ 2009年9月05日(土) 17:18 ]
記事の件名:	Re: バックテストの正確性について
本日こちらにも書いたばかりですが、 viewtopic.php?f=8&t=44 僕が今まで数年間幾多のEAとつきあい、バックテストを行ってリアルとデモ及びバックテストの差を肌で感じてきた結果ですが、その信頼性はEAの性質によると思います。と、いいますのも、上のリンクにも書いたようにスキャルEAで一瞬の乖離を狙うものや、非常に値幅の動きが大きなペアではデモやBTが必ず指定の値で約定するのに比べて簡単にスリップし、とくに変動スプのブローカーに於いてはその時のスプレッドの拡大などから成績は大きく違ってきます。上記検証は変動スプレッドブローカーのとある通貨では平均スプよりも5pipsも上げて検証しないと近似値にならない、という結果でした。また、通常1分足はmodelling qualityが25%なので精度が低いと言われていますが、数百回のトレードであればグラフはほぼ一致しているようです。 1日に数回程度のトレードしかしないEAではバックテストと必ずしも同じ位置でポジションを取るとはいえないです。僕はFXCMをメインに使っていますが、RX93 さんと同じ疑問を持っていまして、たまたま昨日試験的に２つのFXCM別口座で全く同じスキャルEAを全く同じパラメータで違う２つのVPSサーバー(両方VPSLANDの違うアカウントです）から同時刻に動かしてみたところ、片方は5勝負5連勝し、もう片方は3勝負2敗という驚くべき結果が出ました。これから言えることはリアルサーバーでさえも数回のトレード結果はEAの性質やサーバーの状況によって全く違っているわけです。Tick毎に勝手に生成されるヒストリカルデータを使ったバックテストでライブと同じ結果を求めることさえほとんど無意味なのではないかと思えるほどです。しかしながら、先に述べた viewtopic.php?f=8&t=44 の検証において、中長期のバックテストであれば、ほぼ同様のエクティカーブを期待できる、といえるのではないでしょうか。その場合、この検証のとおり、中長期ならばブローカーの差異はそんなに気にしなくてもよさそうです。ご期待の回答になっているかどうかわかりませんが、同じ事を考えていろいろ試してみた結果から感じている個人的な感想でした。

作成者:	RX93 [ 2009年9月05日(土) 22:39 ]
記事の件名:	Re: バックテストの正確性について
Catherine様こんばんは、ご指摘の回答ありがとうございます！参照記事も拝見致しましたが、おかげ様でかなり頭の中が整理できて来ました（笑）デモサーバー等に比べ、リアルトレードでは約定の問題があるのである程度その環境に近づけるために、スプレッドを若干プラスでBTすることで近似的な結果を得ることができる可能性が高まること。その意味では、やや不利な条件設定をしてBTを行なうことでリアルとの成績の乖離にがっかりすることを少なく出来る可能性があること、という理解をしております。先の私の投稿は、ヒストリカルセンターのデータが、実際のブローカーデータと異なり、さらにブローカーのサーバー等でも異なる場合、過去自分のやってきたBTがほぼ無意味？なのではと疑問に思ったことがきっかけでした。また、記事中でもご指摘を頂きました、まったく同じEAでも結果が違うというご指摘は、私もFXDDでは何度も体験しています。これは、椅子とりゲームのように、そのレートをいくつものポジションが取り合って、負けたポジションが取り残されてしまう、と理解しています。トレード回数が少なく、SLが深いスキャル系EAでは、一瞬のレートの取りこぼしが致命傷になる可能性はありますから、テスト検証での結果にあまり安心しないほうが実際には良いのかもしれませんね。ちなみに、modelling Qualityが90％⇒60％前後、にデータの精度を落としてテストしたあるEAでは、収益曲線がボロボロになったことがあります。その意味で、90％のヒストリカルデータでは好成績でも、クオリティーを落とすことで成績が大幅に悪化する場合、そのEAはやや脆弱な性能だと理解すべきかな、と Catherineさんの記事で感じました。 RX93

作成者:	Catherine [ 2009年9月06日(日) 11:02 ]
記事の件名:	Re: バックテストの正確性について
RX93さん、ご理解いただきありがとうございます。他の点については、如意！といった感じです。 RX93 さんが書きました: ちなみに、modelling Qualityが90％⇒60％前後、にデータの精度を落としてテストしたあるEAでは、収益曲線がボロボロになったことがあります。その意味で、90％のヒストリカルデータでは好成績でも、クオリティーを落とすことで成績が大幅に悪化する場合、そのEAはやや脆弱な性能だと理解すべきかな、と Catherineさんの記事で感じました。 RX93 この点ですが、僕としては別サーバーからデータを取ってでも一致させようとしているのに、なぜわざわざQualityを落とすのかわかりません。せめて何か信頼できるデータを元にしない限り本末転倒だと思うのですが。なお、僕の経験で、Qualityを落としたら爆益になるというテスト結果を出したEAもありました。あまりのすさまじさに喜んでフォワードに行こうとしてふとQualityを見たらデータのミスに気づき、改めてバックテストしてみたら全然だったという・・(汗)。 modelling Qualityは90％でバックテストが基本と思いました。スキャルEAでなければバックテストはかなり一致します。

作成者:	RX93 [ 2009年9月07日(月) 00:15 ]
記事の件名:	Re: バックテストの正確性について
Catherine様コメント、ありがとうございます。この点ですが、僕としては別サーバーからデータを取ってでも一致させようとしているのに、なぜわざわざQualityを落とすのかわかりません。せめて何か信頼できるデータを元にしない限り本末転倒だと思うのですが。上記御指摘のように、この部分は本末転倒なことをしている可能性が高いかもしれません（汗）以下のようなことを考えてみたことがありましたので、私があまのじゃくなことを考えていただけかも知れないです。　　　　　　 Modelling Quality 90% 　　　　　　 Modelling Quality 60% パターン①　　　　　　「優秀」　　　　　　　　　　　　　　「優秀」　　　　　　　＝　信頼性高パターン②　　　　　　「優秀」　　　　　　　　　　　　　　「ダメ」　　　　　　　＝　信頼性中パターン③　　　　　　「ダメ」　　　　　　　　　　　　　　　「優秀」　　　　　　＝　信頼性低ただし、ヒストリカル・データのModelling　Qualityが低いということは、自分の理解ではデータの欠けている部分を擬似的に補ってつなげている、ということだったはずなので Modelling Qualityが低い＝　テスト自体に意味がない、ということであると考えると私のイメージしていた上記の分類自体が、最初から「無意味」だと思われます。あるいは、無意味というよりは①と②は同じこと（つまり、60%はいい加減なデータなので優位性判断力ほぼゼロ！）とすれば、Catherineさんのおっしゃった「60％では優秀でも90％ではボロボロ」のケースも当然逆のパターンと同じ程度存在し、私の考えていること自体（60％を優位性判断の一部とすること）無意味だということになります。なにより、メタクォーツ社よりブローカー自体の提供データのほうが精度が高い、というところからお話を相談しているにも関わらず、Modelling Qualityの低いデータでの検証で優位性の判断を一部でも行うこと自体が、馬鹿げているのではと自分で書いていて思いました（恥）。。 ①と②が実がまったく同じことを意味しているのなら、やはり無意味ですね。。。 Modelling Quality90%をバックテストの基本として検証していきたいと思います。ただ、ご指摘を頂いたことで、私の中でもかなりアタマがすっきり整理できました。本当にありがとうございます！ Rx93

作成者:	ken [ 2010年2月22日(月) 21:56 ]
記事の件名:	Re: バックテストの正確性について
バックテストの信頼性に関して、当方の方法です。 HISTORYフォルダーのすべてのファイルを削除。ライブ口座にログイン対象通貨のM1を開く TimeFlameを巻き戻す。 M5-D1まで上記と同様な操作を行う。ブローカーにもよりますが、２－４ヶ月のTimeFlameデータが得られます。常にライブ口座でのサーバーデータを累積して大事に大事に取っておく。バックテスト専用のMT4とする。現実のライブ口座のMT4では、history　フォルダーのファイルを削除して、メモリー使用量を少なくする。 MQ社のデータで大体の感じを得る場合は、MT4のオプションからDLする。この場合、なぜか、M1-D1を重複して行うと M.Qが90％になる？？。MT5では改善か？？。　 FXDDのみFXDDデータセンターから対象通貨のM1をDLして、このデータから各TimeFlameデータを作成する。このデータがリアル、デモかはよくわかりません。などです。参考まで

ページ 1 ／ 1	All times are UTC + 9 hours
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group http://www.phpbb.com/