The Ranking of a Sweep Does Not Carry Across Periods: The Rank Correlation Between Selection and Evaluation Has a Median of −0.1758 and Is Negative in Three of Four Series [F021]

Abstract

パラメータを総当たりして良かった設定を採る、というのはよくある手続きである。だが「評価期間でも黒字だった」だけでは何も言えない。全セルの何割が黒字だったかを書いていないからである。中立の基準線は全セルであり、選ぶ行為に情報が無ければ、選んだセルの黒字率は全セルの黒字率と同じになる。そしてもう一つ測れる量がある。選択期間の順位と評価期間の順位の相関である。 四銘柄(USDJPY・EURUSD・GBPUSD・XAUUSD)の2019年から2024年までの1時間足で、四つの族(移動平均のクロス・RSI・バンドの外側・高安のブレイク)を掃引し、先の長さも 6・24・72 本の三通り試した。銘柄あたり 174 セル、両期間で測れたものは 168 セルである。選択期間(2019–2021)の最良は 5.3241 から 19.1062 pips で、スプレッドで割ると 5.3519 倍から 18.4359 倍になる。その数字だけを見せられたら良い手法に見える。だが最悪も同じくらい大きく、XAUUSD では最良 19.1062 に対して最悪 −35.0928 pips である。掃引は良い側と悪い側の両方に端を作る。 本稿の芯は順位相関にある。選択期間と評価期間の順位相関は −0.5911・−0.3206・−0.0310・+0.0136 で、中央 −0.1758、四銘柄のうち三つが負である。そのままの相関は四銘柄すべてで負(中央 −0.2991)だった。相関が正でないということは、順位が引き継がれていないということである。選択期間で最良の N セルを選ぶと、評価期間の黒字率は全セルより中央 0.0530 低く、16 通りのうち 10 で低い。ただし幅は −0.5298 から +0.3988 と大きく、USDJPY では上位 1 セルの黒字率が 1.0000、XAUUSD では 0.0000 である。同じ手続きで銘柄によって正反対の結果が出るので、四銘柄ではこの差の精度が足りない。本稿は「選ぶと悪くなる」と言い切らない。 なお上位を広く取るほど差は小さくなる(USDJPY で上位 1 は +0.3988、上位 30 は +0.0321)。上位を広く取ることは、選ぶのをやめることに近づくからである。そして上位 16%(約 27 セル)で取ると、四銘柄とも評価の中央が全セルの中央を下回る。どの「上位」を報告するかで結論の向きが変わるので、本稿は 1・3・10・30 の四通りを試している。 足の中まで独立な正規増分で作った合成系列で同じ掃引をすると、黒字率の差の中央は +0.0001、選んだ方が低かった組み合わせは 16 のうち 8 とちょうど半々である。つまり選ぶ行為そのものは中立であり、「選ぶと悪くなる」は合成乱数では起きない。実測でだけ中央が負に出ているが、その理由を本稿は特定していない。期間で相場の性格が変わったという読み方はできるが、測っていない。なお合成乱数では上位 1 の評価が −4.4730 から −23.5287 pips と大きく負になる。これは上位 1 セルが端を選んでいることの現れで、端は評価期間で中央へ戻る。 この論文の位置づけ:新しい数学定理も新しい法則も主張しない。多重検定、選択バイアス、ランダムウォークはすべて既知である。特定の教材やその著者、販売元は主題ではなく、一切名指していない。売買の成績(手数料・約定・資金管理を含む)は測っていない。掃引の範囲を四つの族 168 セルに固定しており、別の族や別の粒度では数字が変わる。重複を除いていないので t 値を報告しておらず、有意性は論じていない。四銘柄では黒字率の差の精度が足りない。測定は日中・少数銘柄・四銘柄六年に限られ、月次の時系列モメンタムのようにより長い保有で文書化されている結果を否定するものではない。 作成にあたって:本稿の着想と内容は、著者自身の考察に基づくものです。文章の構成整理や英訳、集計に用いたスクリプトの作成には AI(大規模言語モデル)の助力を得ました。最終的な内容の解釈や誤りがあれば、それらはすべて著者の責に帰します。お気づきの点があれば、ご教示いただければ幸いです。 ----- Trying every parameter and taking the setting that did well is a common procedure. But "it was positive in the evaluation period too" says nothing on its own, because it does not say what share of all cells was positive. The neutral baseline is all the cells: if picking carries no information, the picked cells are positive as often as all cells. And one more quantity can be measured — the correlation between the ranking in the selection period and the ranking in the evaluation period. Using one-hour bars for four series (USDJPY, EURUSD, GBPUSD, XAUUSD) from 2019 to 2024, four families (moving-average cross, RSI, outside a band, high-low breakout) were swept with horizons of 6, 24 and 72 bars: 174 cells per instrument, of which 168 could be measured in both periods. The best in the selection period (2019–2021) runs from 5.3241 to 19.1062 pips, which is 5.3519 to 18.4359 times the spread. Shown that figure alone, a method looks good. But the worst is just as large: for XAUUSD the best of 19.1062 sits against a worst of −35.0928 pips. A sweep makes an extreme on both sides. The core of the paper is the rank correlation. Between the selection and evaluation periods it is −0.5911, −0.3206, −0.0310 and +0.0136, a median of −0.1758, negative in three of four series; the plain correlation is negative in all four (median −0.2991). A correlation that is not positive means the ranking did not carry. Picking the best N cells in the selection period leaves them positive 0.0530 less often than all cells at the median, and lower in 10 of 16 combinations. But the range runs from −0.5298 to +0.3988: the top cell is positive 1.0000 of the time for USDJPY and 0.0000 for XAUUSD. The same procedure gives opposite results in different instruments, so four instruments are not enough precision, and this paper does not assert that picking makes things worse. The wider the top taken, the smaller the difference (for USDJPY, +0.3988 at the top 1 and +0.0321 at the top 30), because taking a wide top approaches not picking at all. Taken at the top 16% (about 27 cells), the evaluation median falls below the all-cell median in all four series. Which "top" is reported changes the direction of the conclusion, which is why 1, 3, 10 and 30 were all tried. Running the same sweep on synthetic series built from independent normal increments down to the movement inside each bar gives a median difference in share positive of +0.0001, with the picked cells lower in 8 of 16 combinations — exactly half. Picking itself is therefore neutral, and "picking makes it worse" does not happen on a random walk. Only the measurement gives a negative median, and this paper does not identify the reason; a change in the market's character between periods is a possible reading, but it was not measured. On the synthetic series the top 1 evaluates at −4.4730 to −23.5287 pips, strongly negative: that is the signature of the top 1 being an extreme, and extremes return toward the middle. Scope of this paper: no new mathematical theorem and no new law is claimed; multiple comparisons, selection bias and random walks are all known. No real course, author, or vendor is the subject here, and none is named. Trading performance, including commissions, fills and money management, is not measured. One sweep is fixed at four families and 168 cells, and other families or granularities give other figures. The overlap is not removed, so no t value is reported and significance is not discussed. Four instruments are not enough precision for the share-positive difference. The measurement is intraday and covers four instruments over six years, and does not contradict results documented at longer holding periods, such as monthly time-series momentum. Acknowledgement: The ideas and content of this paper stem from the author's own considerations. Assistance from an AI (a large language model) was used for structuring, English translation, and writing the scripts used for the measurement. Any remaining errors or misinterpretations are solely the author's. Feedback and corrections are sincerely appreciated.