本文へスキップ
← 記事一覧

AIトレードEA

EAのオーバーフィッティングとは:完璧なバックテストがリアルで通用しない理由

EABuild Team · · 読了目安 1分

EA Overfitting Explained: Why a Perfect Backtest Can Fail Live – EABuild

EAのオーバーフィッティング(過剰最適化)とは、EAの設定が過去の一定期間の価格に合わせ込まれすぎた結果、EAが再現性のある相場の動きではなく、その過去の値動きそのものを写し取ってしまう状態を指します。バックテストが滑らかに見えるのは、滑らかに見えるように設定を選んだからです。この記事では、オーバーフィッティングがどのように起こるのか、ストラテジーテスターのレポートでどう見分けるのか、そして頼りすぎてしまう可能性を下げる簡単なテストを紹介します。

EAのオーバーフィッティングとは何か

EAには、期間、距離、ロット数、時間フィルターなどのパラメーターがあります。パラメーターを変えればバックテストの結果も変わります。同じ価格履歴に対して十分な数の組み合わせを試せば、そのうちのどれかは、実際の値動きの特徴と単なる偶然の両方によって、その履歴に非常によく当てはまります。カーブフィッティングとも呼ばれるオーバーフィッティングとは、ノイズに当てはまった組み合わせを選んでしまうことです。

分かりやすい例えは、昨年の試験の答えを丸暗記した学生です。その試験の点数は申し分ありませんが、学生は科目を理解したわけではないため、問題が変わった新しい試験ではうまくいきません。オーバーフィッティングしたEAは特定の過去の値動きを丸暗記しています。リアル取引は、いわば新しい試験です。

うっかり起こしてしまいやすい理由

これは悪意がなくても起こります。MetaTraderのストラテジーテスターでは、最適化(パラメーターを変えながら複数回のテストを行うこと)を実行し、結果を利益順に並べ替えられます。一番上の行は魅力的に見えます。しかし、その行はたまたまそのサンプルに最もよく合った1回の結果にすぎません。

  • 最適化するパラメーターが多いほど組み合わせが増え、偶然に合うものを見つけやすくなります。
  • 履歴が短いほど、EAが対応を迫られた相場環境の種類は少なくなります。
  • EAに含まれるルールが多いほど、過去の個別の出来事に合わせて曲げられる余地が大きくなります。

最適化したEAが過去の価格に合わせ込まれる仕組み

パラメーターが5つあるシンプルなブレイクアウトEAを考えてみましょう。M15の1年分のデータでテストし、最適化を実行します。ある結果では、損切り幅がある正確な値、レンジの長さがある正確な値になっており、さらに悪かった3週間をたまたま避けるセッションフィルターが付いています。資産曲線は安定して見えます。

これらの正確な値のどれにも、意味があるとは限りません。損切り幅が少し大きくても小さくても、曲線ははるかに悪くなっていたかもしれません。この敏感さが重要なサインです。良い結果は、近い値でもそこそこ機能する広い高原ではなく、細く尖った山の上に乗っているのです。

過去の損失を取り除くフィルター

時間フィルターや経済指標フィルターは理にかなっている場合もありますが、バックテストに悪影響を与えた日をちょうど除外するために使われることもあります。特定の数週間をただ飛ばすだけのルールは、相場上の理由で説明するのが困難です。一方、予定された指標発表の前後の最初の数分を避けるルールであれば、理由を説明でき、他の期間でテストでき、EAがまだ見たことのないデータでも意味を持ちます。

テストで考慮されなかったコスト

バックテストは、モデル化したスプレッド、手数料、スリッページが、ブローカーが実際に課すものより軽い場合にも、現実より良く見えることがあります。これは厳密な意味でのオーバーフィッティングではありませんが、似た効果を生みます。テスト結果が、あなたの口座には存在しない相場を描いてしまうのです。MT5でのEAのバックテストとMT4でのEAのバックテストのガイドでは、プラットフォームが許す範囲でできるだけ近くコストをモデル化するためのテスターの設定方法を解説しています。

バックテストレポートに表れるオーバーフィッティングの兆候

1つのレポートだけでオーバーフィッティングを証明することはできませんが、いくつかの兆候が重なる場合は慎重になるべきです。

  • 非常に滑らかで、損失の出た期間がほとんどない曲線。実際の相場は性格を変えます。長期のテストで目に見える負荷のポイントがない曲線は、実力で得られたものではなく、選ばれたものかもしれません。
  • パラメーターを少し動かすと結果が崩れる。期間を小さな刻みで変えてみてください。レポートが一変するなら、その設定は尖った山の上に乗っていたことになります。
  • 正確で珍しい値のパラメーターが多い。理由が示されていない、非常に特定の大きさの損切り幅のような値は、その数字が最適化の実行から得られたことを示唆します。
  • 1つの銘柄と時間足でしか良い結果が出ない。EAの中には、1つの時間足で1つの銘柄向けに設計されたものもあり、それ自体は問題ありません。しかし、ロジックが一般的な考え方を掲げているのに、うまくいく銘柄と時間足の組み合わせが1つだけなら、その理由を問うべきです。
  • テスト期間が短い、または1種類の相場しか含まない。トレンドフォローのEAを強いトレンドの間だけテストしても、難しい局面を経験したことにはなりません。
  • 取引回数が少ない。数えるほどの取引は、印象的に見えても、ほとんど何も語りません。

インサンプル、アウトオブサンプル、ウォークフォワードテストの解説

オーバーフィッティングに対する標準的な対策は、最適化から一部のデータを隠しておくことです。以下の用語はその方法を表しています。

インサンプルデータとアウトオブサンプルデータ

インサンプル期間とは、設定を選ぶために使う過去の期間です。アウトオブサンプル期間とは、設定を選ぶ間は手を触れない、それより後の期間です。最初の期間で設定を選び、その設定を変えずに、2番目の期間でEAを1回だけ実行します。アウトオブサンプルでの挙動が、たとえば取引頻度や、ドローダウン(口座の残高のピークからの下落)の種類といった性格の面でインサンプルでの挙動と似ていれば、その当てはまりが偶然である可能性は低くなります。まるで別のEAのように見えるなら、インサンプルの結果は疑ってかかるべきです。

これを有効にするために、2つのルールがあります。第一に、EAは時間の流れに沿って取引するため、アウトオブサンプル期間はインサンプル期間よりも後のものでなければなりません。第二に、見られるのは1回だけです。アウトオブサンプルの結果を見て、設定を変え、また見るのであれば、そのデータはインサンプルになってしまい、保護は失われます。

ウォークフォワードテスト

ウォークフォワードテストは、この考え方を段階的に繰り返します。ある期間の窓で最適化し、そのすぐ後の窓でテストし、次に両方の窓を前へずらして繰り返します。その結果は、アウトオブサンプルの区間が連なったものであり、それぞれが以前のデータだけから選んだ設定でテストされています。これは、ある1組の値が機能したかどうかだけでなく、EAを最適化するという手順そのものが、機能し続ける設定を生み出しやすいかどうかを教えてくれます。

MetaTrader 5のストラテジーテスターには、最適化の後に期間の一部を取っておくフォワードテストのオプションがあります。多数の窓にわたる本格的なウォークフォワードの手順には、通常は追加のスクリプトや外部ツールが必要なため、多くのトレーダーは簡易版を手作業で行います。最適化し、次の区間でテストし、先へ進み、その区間同士を比較するのです。

その他のクロスチェック

  • 同じ考え方が当てはまるはずの近い銘柄や別の時間足で同じEAを実行し、挙動が大まかに似ているかを確認します。
  • より広いスプレッドと多少のスリッページを加えてテストし、優位性がどれほど壊れやすいかを確かめます。
  • 静かなレンジの後に強い値動きが来るなど、異なる相場局面を含む期間でテストします。

AIをうたうEAや複数のセットファイルを持つEAのオーバーフィッティング

オーバーフィッティングは、人の手で組んだルールに限ったものではありません。調整できる部分が多いシステムほど、過去のサンプルに合わせ込まれやすくなります。これには、ニューラルネットワークやAIベースと説明される商品も含まれます。内部パラメーターの多いモデルは、履歴に非常に近く当てはまることがあるからです。AI自動売買EAガイドでは、そのラベルが何を示し、何を示さないのかを解説しています。

商品の掲載情報が示すのは事実であり、テストの証拠ではありません。そのため、何を期待するかではなく、何を調べるかを決めるために使ってください。ショップの3つの例から、確認すべき点の違いを見てみましょう。

1つの銘柄に複数のセットファイル

MT4向けAurum AI EAは、M5のXAUUSD向けのMT4用EAで、グリッド、マーチンゲール、トレンドフォローのロジックと15個のセットファイルが記載されています。セットファイルとは、MetaTraderで読み込める、パラメーター設定の保存済みリストです。ダウンロードに多数のセットファイルが含まれている場合、役に立つ問いは、それらがなぜ異なるのか、そしてそれぞれが、あなたがテストする期間とは別の期間で選ばれたものかどうか、です。掲載情報には15個のファイルがどう違うのかは書かれていないため、それぞれを開いて値を読み、デモ口座で挙動を比較してください。

多数の銘柄、1つの時間足

MT5向けPerceptrader AI EAは、M5のNZDUSD、USDCAD、AUDNZD、AUDCAD向けに掲載されており、グリッド、スキャルピング、ニューラルネットワーク/AIのロジックと12個のセットファイルが記載されています。複数の銘柄があれば、自然なクロスチェックができます。1つの通貨ペアでの挙動が他のペアでの挙動とおおよそ似ているかを確認でき、それはロジックが一般的なものか、1つのペアに合わせ込まれたものかを調べる小さなテストになります。

1つの銘柄、強い戦略的特徴

MT5向けGoldex AI EAは、M5のXAUUSD向けに、両建て、マーチンゲール、経済指標トレードを備えるものとして掲載されており、セットファイルは3つです。マーチンゲールとは、損失が出た取引の後にロット数を増やすことを指すため、エントリーのタイミングが少し変わるだけで、負けが続いたときの深さが変わることがあります。この敏感さがあるため、パラメーターを少し動かしたときや、経済指標の発表時により広いスプレッドをモデル化したときに、EAがどう振る舞うかをテストする価値があります。

これらのEAがオーバーフィッティングしているとも、していないとも述べているわけではありません。同じ特徴を持つどのEAについても、慎重な購入者が何をテストするかを示しているのです。

オーバーフィッティングが気になるときのリアル取引前のチェック

短い手順で不確実性がなくなるわけではありませんが、最もよくある間違いは避けられます。

  1. 次のテストを見る前に、どの設定をなぜ選んだのかを書き留めます。
  2. 1つの期間でバックテストを行い、それより後の期間には手を付けずに残します。上で説明したとおりです。
  3. 重要なパラメーターをそれぞれ小さな刻みで上下に動かし、尖った山ではなく高原になっているかを確認します。
  4. より広いスプレッドとスリッページでテストを繰り返します。
  5. いくつかの異なる相場の日を含められる期間、EAをデモ口座で実行します。デモ口座とリアル口座でのテストの記事で、その進め方を解説しています。
  6. デモでの挙動をバックテストと比較します。取引頻度、典型的な取引の保有時間、ドローダウンの形です。数字は完全には一致しませんが、性格は一致するはずです。
  7. リアル口座に移るなら、ブローカーが許す最小のサイズから始め、確認を続けます。

リアルでの挙動が異なるとき

リアル口座やデモ口座の挙動がバックテストと大きく異なっていても、直近の数週間のデータですぐに再最適化しないでください。それは形を変えた同じ罠、つまり最新のサンプルへの合わせ込みです。まず、銘柄の接尾辞、スプレッド、タイムゾーン、アルゴリズム取引が有効になっているかといった、地味な原因を確認してください。それらに問題がなければ、その違いをEAに関する情報として受け止めましょう。

今週デモ口座でオーバーフィッティングを確認する

すでに持っている、またはテストするつもりのEAを1つ選びます。掲載情報から銘柄と時間足を選び、1つの期間でバックテストを行い、それより後の期間を取っておいて比較します。その後、見たことを短く記録しながらデモ口座で実行します。メンバーシップのカタログにあるどのEAでもこの方法でテストでき、いずれもすぐにデモ口座へ読み込めるダウンロード商品です。

外国為替取引およびCFD取引は高いリスクを伴い、すべての投資家に適しているとは限りません。過去の実績は将来の結果を保証するものではありません。失っても問題のない資金の範囲でのみ取引してください。

タグ: AI Trading EAs

← 記事一覧

メンバーシップで全EAを利用

310 件の製品 · $16.59/月から

プランを見る

AIトレードEAのその他の記事