有意水準とは？バックテストやトレード結果の優位性を判別するための分析方法
統計学の用語に「有意水準」というものがあります。
統計上、ある出来事が起こる確率が偶然とは考えにくいくらい低い確率のことを有意水準といいます。
それが偶然起きた出来事なのか、偶然ではない、そこになにかしらの意味がある出来事なのかを判断する基準となります。
システムのバックテスト結果やリアルトレードの結果を見ると勝ったのかどうか、安定してるのかどうかなどの結果を知ることができますが、それだけではその結果が偶然による結果か、優位性があるために起きた結果かはわかりません。
しかし、トレードの結果に対して「偶然でも起こりうる結果」と「優位性があるため起きた結果」の区別ができるなら、システムの判別に活かすことができます。
この記事では、優位性があるシステムを判別するための分析方法について解説します。
1．ランダムな取引結果を比較対象とする
システムに優位性があるかどうかを判断するために優位性がない取引結果を比較対象として考察していきます。
そこで優位性がないシステムとしてランダムに取引する架空のシステムを想定します。
ランダムな取引について次のように定義します。
スプレッド、スリッページなどの取引コストは考慮しない。
- 1．長期的な期待値が±0に収束する。
- 2．プロフィットファクター(PF)は1.0に収束する。
- 3．平均利益と平均損失は同額に収束する。
ランダムな取引の取引回数をnとすると、次の式が成り立ちます。
ランダムな取引は勝ち負けが同額に収束するため、損益額を無視して勝ちか負けかの2種類として考えます。
結果が2種類であるため二項分布を利用します。
確率p、試行回数nという条件で二項分布に従うときの分散はこの式です。
確率pにランダムな取引の勝率(=敗率)を当てはめると、標準偏差はこのようにまとまります。
ランダムな取引結果による勝トレード数が正規分布に従うとするなら、勝トレード数は95%の信頼区間でこの式の範囲内に収まると考えられます。
ここでPFの計算式を確認します。
この式はどちらもPFを求めるもので、全く同じ計算結果となります。
始めにランダムな取引結果の定義に「平均利益と平均損失は同額に収束する。」というものを決めました。
そのため「平均利益=平均損失」と考えて式変形をします。
ランダムな取引結果による勝トレード数が95%で収まる範囲の計算式は先ほど求めたのでここに当てはめ、n回取引を行ったランダムな取引結果によるPFが95%で収まる範囲を示します。
システムに優位性があるかどうかを判断したいシステムのPFは、このランダムな取引結果によるPFが95%で収まる範囲よりもよい結果であることが望まれます。
2．スタートトレード分析について
スタートトレード分析とはテクニカル指標の移動平均線と同じ計算の要領で任意の取引回数分ずつ抽出し分析していく手法です。
例を挙げて解説します。
1000取引したシステムの損益データを用意したと仮定します。
始めにトレード1からトレード100までの合計100取引分を抽出し新たな損益データを作成します。
次にトレード2からトレード101までの合計100取引分を抽出し、また新たな損益データを作成します。
一度目に抽出した損益データと、二度目に抽出した損益データでは抽出範囲が1トレード分だけシフトしていることに注意してください。
この要領で抽出する損益データをシフトしながら最後まで繰り返します。
100取引分ずつ抽出していくことで各損益データ毎にPFなどの評価指標を計算することができます。
1000取引分のデータを使って100取引分ずつ抽出していくスタートトレード分析を行うと、合計で901個の損益データを抽出することができ、その損益データ一つ一つにPFなどの評価指標を計算することができます。
これにより、PFが時間とともにどのように変化しているのかといった情報を調べることができます。
これは実際にスタートトレード分析によって計算されたPFをグラフで表示したものです。
この例では取引回数282回、通常通り計算した全体のPFは1.3である損益データを使って、100取引分ずつ抽出するスタートトレード分析を行っているため、スタートトレード分析の試行回数は183回となります。
通常通り計算した全体のPF1.3はグラフ内の緑のラインで表しています。
通常通りのPFは1.3ですが、100取引ずつ抽出されたデータを使って計算したPFは、良い時期と悪い時期でおよそ1.7～1.1の振れ幅があったことがグラフから読み取ることができます。
このようにスタートトレード分析を行うことで任意の取引回数分ずつ計算された評価指標(ここではPF)の推移を表せます。
3．PFの推移とランダムな取引との比較
100取引分ずつ抽出するスタートトレード分析を行うときの比較対象として上記で計算できるランダムな取引結果を用いることにします。
各取引回数は100回であるため、nに100を代入して
つまり、100回ランダムに取引した結果のPFは0.67～1.49に95%の確率で収まると考えることができます。
この計算結果を先ほどのスタートトレード分析で作成したグラフに重ねて表示していきます。
グラフ内に描画したピンクのエリアは上限が1.49、下限が0.67となっており、「100回ランダムに取引した結果の95%の確率で収まるPFの範囲」を表しています。
つまり、100回ランダムに取引した結果がピンクのエリアの上に偶然飛び出す割合は2.5%程度になると考えることができます。
このPFの推移がランダムな取引結果より優れているかを判断するための基準については、一つ目に通常通り計算した全体のPFが1.0より高いことが挙げられます。
二つ目にピンクのエリアの上限を2.5%以上の割合で上に飛び出していることにも注意します。
画像で示す通り、二つの判断基準を満たしていることを確認しました。
さらに、もうひとつ考慮したいポイントがあります。
ランダムに取引した結果がピンクのエリアの上に偶然飛び出す割合は2.5%程度になると説明しましたが、この割合は振れ幅を考慮することでより判断基準を厳しくできます。
試行回数183回でピンクのエリアの上に偶然飛び出す確率は2.5%となるので、上に飛び出したか飛び出さなかったかの二項分布で期待値と分散を計算してみましょう。
よってスタートトレード分析の結果がピンクのエリアの上限を4.76%以上の割合で上に飛び出している場合は、ランダムな取引結果の振れ幅を大きく見積もっても優れていると判断できます。
今回の例では、ピンクのエリアの上限を超えている範囲の割合が20.77%でしたので、余裕をもって検証をクリアしたと判断できます。
以上によりシステムに優位性がある可能性が高いと言えるでしょう。
まとめ
この記事ではバックテストやリアルトレードの取引結果がランダムな取引結果と比べて優れているかどうかという基準で優位性の有無をチェックする方法を解説しました。
バックテストデータを使ってこの検証を行うときには、そのバックテストデータがカーブフィッティングしてない前提で行うことになるため、もしカーブフィッティングしていればその分過大評価してしまうため注意が必要です。
リアルトレードがプラスではあるが、想定していたよりも結果が優れないような状況において、そのままシステムを稼働するか停止するかの判断として利用すると、トレーダーの役に立つ検証方法となるかもしれません。
本記事の執筆者：藍崎@システムトレーダー
| 本記事の執筆者：藍崎@システムトレーダー | 経歴 |
|---|---|
 |
個人投資家としてEA開発＆システムトレード。 トレードに活かすためのデータサイエンス / 統計学 / 数理ファイナンス / 客観的なデータに基づくテクニカル分析 / 機械学習 / MQL5 / Python |
EA（自動売買）を学びたい方へオススメコンテンツ
OANDAではEA（自動売買）を稼働するプラットフォームMT4/MT5の基本的な使い方について、画像や動画付きで詳しく解説しています。MT4/MT5のインストールからEAの設定方法までを詳しく解説しているので、初心者の方でもスムーズにEA運用を始めることが可能です。またOANDAの口座をお持ちであれば、独自開発したオリジナルインジケーターを無料で利用することもできます。EA運用をお考えであれば、ぜひ口座開設をご検討ください。
本ホームページに掲載されている事項は、投資判断の参考となる情報の提供を目的としたものであり、投資の勧誘を目的としたものではありません。投資方針、投資タイミング等は、ご自身の責任において判断してください。本サービスの情報に基づいて行った取引のいかなる損失についても、当社は一切の責を負いかねますのでご了承ください。また、当社は、当該情報の正確性および完全性を保証または約束するものでなく、今後、予告なしに内容を変更または廃止する場合があります。なお、当該情報の欠落・誤謬等につきましてもその責を負いかねますのでご了承ください。
