"Rare" Is Measured on a Logarithmic Scale ── The Central Limit Theorem Is the Wrong Instrument in the Tail, and the Fence Is the Single Big Jump ── [Paper 190]

Abstract

When an event is called extremely rare, the next question is on what scale it was measured. When a probability falls through orders of magnitude, saying how many times larger one thing is than another stops meaning anything. This paper shows, against exact combinatorial values, that the right scale for a rare event is the logarithm divided by the sample size. NO NEW MATHEMATICAL THEOREM IS CLAIMED: Cramér's theorem, rate functions, Sanov's theorem and the single-big-jump principle for heavy tails are all standard. And no theorem is proved here: what is shown is a run of numbers at finite sample sizes, and the existence of the limit is quoted. First, the central limit theorem is the wrong instrument in the tail. Tossing a fair coin and asking for the probability that the fraction of heads reaches three quarters, the ratio of the exact value to the gaussian approximation runs from about one and six tenths at twenty tosses down through one and four tenths, one and a tenth, seven tenths, and about a quarter at three hundred and twenty. The ratio does not settle at one: it crosses one and keeps falling. The central limit theorem describes a window whose width shrinks like one over the square root of the sample size, and a fixed deviation of a quarter moves further out of that window as the sample grows. Using it here is not a matter of poor accuracy: it is the wrong instrument. Second, and this is the core. Measuring instead the negative logarithm of the probability divided by the sample size, the values run from about nineteen hundredths at twenty tosses to about thirteen and a half hundredths at eight hundred. The probability itself falls from about two hundredths to about five times ten to the minus twentieth, eighteen orders of magnitude, while the logarithm divided by the sample size walks quietly towards a single number, with the gap roughly halving each time the sample doubles. This is where the corpus's working discipline stands as a theorem: when the answer is exponential, report the exponent and not the ratio. Saying that the gaussian approximation is off by a factor of nearly four at three hundred and twenty tosses carries little; saying that the exponent is about thirteen hundredths is a statement about every sample size. Third, the number it walks to is a relative entropy. Changing the target fraction to three fifths, two thirds, three quarters and nine tenths, the value at eight hundred tosses matches the corresponding relative entropy to within about four thousandths in every case. The formula Paper 137 examined as something that is not a distance appears here as an exponent: one formula, two jobs. There it measured how far apart two laws are; here it says how fast a probability dies. And the asymmetry becomes natural, since how likely a fair coin is to look biased and how likely a biased coin is to look fair are simply different questions. Fourth, the fence is the single big jump. Does a large sum arise because many terms were each a little larger, or because one term ran away? Taking sums of a hundred terms over four hundred thousand trials, with the threshold set for each law so that the event is equally rare, and measuring the share of the sum carried by the largest term: for the exponential law the share is about five hundredths unconditionally and stays there under conditioning; for the lognormal it roughly triples; and for a Pareto law with index one and a half it goes from about fourteen hundredths to about ninety-two hundredths. For the light-tailed law, conditioning on a rare large sum leaves the largest term's share unmoved, because the sum grew from many terms each slightly larger. For the heavy-tailed one the largest single term takes almost all of the sum: one jump did it. So the exponential decay of the second part is a statement about the first case only. The fence is a finite exponential moment, and when it breaks the very way rarity is measured changes, becoming a power rather than a logarithm. The same fence stands here as the one Paper 186 placed at the tail of the error. A census. The central limit theorem looks near the mean, measures in a window that shrinks with the sample, and is useless for a fixed deviation. Large deviations look at a fixed deviation, measure by the logarithm over the sample size, and need a finite exponential moment. Heavy tails look at one jump, fall as a power, and leave the exponential story without content. These three are not a staircase of accuracy: they look at different places. It is not that the gaussian approximation needs a correction term; a different quantity is being measured. One collision of words is worth recording. The phrase used in this corpus's Paper 42 refers to the largest discrepancy in a numerical check and has nothing to do with the probabilistic theory named here. An instance of one phrase covering two things, found inside the corpus itself. Important (scope note): a census of established standard facts (Layer 2). What is not shown: any new mathematical theorem, none is claimed; any proof of a theorem, since only a run of numbers at finite sample sizes is shown and the existence of the limit is quoted; any restatement of Paper 187, which split why the limit is gaussian into four reasons, whereas the question here is what governs where the gaussian does not. What is added: showing against exact values that the central limit theorem is the wrong instrument in the tail, measuring that the logarithm divided by the sample size settles, confirming at four targets that it settles on a relative entropy, placing the fence at the single big jump with a fair conditioning, and recording a collision of words inside the corpus. What remains: when an event is called extremely rare, the next question is on what scale it was measured. The probability itself falls through orders of magnitude, so speaking in ratios loses the meaning. Divide the logarithm by the sample size and a single number remains, and that number is what rarity is, except in a world where one jump is enough, where the number does not exist at all. On the making of this work: The ideas and content of this work stem from the author's own considerations. Assistance from an AI (a large language model) was used for structuring, English translation, and checking the algebra. Any remaining errors or misinterpretations are solely the author's. Feedback and corrections are sincerely appreciated. ----- 「その事象は極めて稀である」と言われたら、次に問うべきは「どの目盛りで測ったか」である。 確率が桁で落ちていくとき、それを「何倍か」で語ると意味を失う。本稿は、稀な事象を測る正しい目盛りが対数を n で割ったものであることを、厳密な組合せ論の値と突き合わせて示す。新しい数学定理は主張しない:クラメールの定理、レート関数、サノフの定理、重い裾での「一つの大きな跳び」の原理は、いずれも標準的な内容である。また本稿は定理を証明しない——示したのは有限の n での数値の並びであり、極限の存在は引用である。 第一に、中心極限定理は裾では道具違いである。公平な硬貨を n 回投げ、表の割合が 0.75 に達する確率を、二項係数の和による厳密値と正規近似で比べる。比は n=20 で 1.6328932、n=40 で 1.4190817、n=80 で 1.1079959、n=160 で 0.69004185、n=320 で 0.27101279 であった(本稿で計算)。比は 1 に落ち着かない。1 を横切って落ち続ける。中心極限定理が語るのは平均のまわりの幅 1/√n の窓であり、0.25 という固定した偏りは n が増えるほどその窓から遠ざかる。ここで使うのは「精度が悪い」のではなく道具が違うのである。 第二に、これが本稿の芯である。同じ設定で −log(確率)/n を測ると、n=20 で 0.1938938036、n=100 で 0.150820182、n=200 で 0.1424967644、n=400 で 0.1375070082、n=800 で 0.134589172 となる(本稿で計算)。確率そのものは 0.0207 から 5.1×10⁻²⁰ まで十八桁にわたって潰れるのに、対数を n で割った量は一つの数へ静かに歩く。しかも n が倍になるたび隔たりがほぼ半分になっている(0.0200→0.0117→0.0067→0.0038)。これは本体系の規律が定理として立っている場所である——答が指数的なら、比ではなく指数を報告する。「n=320 では正規近似が 3.7 倍ずれる」と言っても意味は薄い。「指数が 0.1308 である」と言えば、任意の n についての言明になる。 第三に、その行き先は相対エントロピーである。目標の割合を 3/5、2/3、3/4、9/10 と変えて n=800 での値と相対エントロピーを比べると、隔たりはそれぞれ 0.00309、0.00411、0.00378、0.00368 であった(本稿で計算)。論文137 が距離ではないものとして調べた式が、ここでは指数として現れている。同じ式、別の仕事である——あちらでは二つの法則がどれだけ離れているかを測り、ここでは確率がどれだけ速く死ぬかを言う。そして非対称性がここでは自然になる。「公平な硬貨が 3/4 に見える確率」と「3/4 の硬貨が公平に見える確率」は、そもそも別の問いだからである。 第四に、柵は「一つの大きな跳び」である。大きい和は、多くの項が少しずつ大きかったから生じたのか、一つの項が飛び抜けたから生じたのか。100 項の和を 40 万回取り、閾値は法則ごとに同じ稀さになるよう取って(そうしないと比較にならない)、条件づけたときに最大の項が和に占める割合を測る。指数分布では条件なしで 0.0519、上位1%で 0.0521、上位0.1%で 0.0513。対数正規では 0.0807、0.1604、0.2425。パレート(指数1.5)では 0.1404、0.7278、0.9180 であった(本稿で計算)。指数分布では稀な大きい和に条件づけても最大項の割合が動かない——和が大きくなったのは多くの項が少しずつ大きかったからである。パレート分布では最大の一項が和の 92% を占める——一つの跳びが全部やったのである。したがって第二の指数的な落ち方は、前者についての言明でしかない。柵は指数モーメントが有限であることであり、それが破れると稀さの測り方そのものが変わる——対数ではなく、冪になる。論文186 が「柵は誤差の裾である」と書いた場所と同じ柵が、ここでも立っている。 点呼をしておく。中心極限は平均の近くを見て、幅 1/√n の窓で測り、固定の偏りには効かない。大偏差は固定の偏りを見て、対数を n で割って測り、指数モーメントを要する。重い裾は一つの跳びを見て、冪で落ち、指数の話が成り立たない。三つは精度の階段ではない。見ている場所が違う。「正規近似では足りないから補正項を足す」という話ではなく、別の量を測っているのである。 語の衝突を一つ記録しておく。本体系の論文42 には「大偏差」という語が現れるが、あれは数値検算での最大偏差を指しており、本稿の確率論の用語とは無関係である。同じ四文字が二つのことを指す例が、体系の内側にあった。 重要(射程):確立された標準的事実の点呼(第2層)。示さないこと:新しい数学定理(一つもない)/定理の証明(していない・有限の n での数値の並びを示しただけで、極限の存在は引用)/論文187 の再説(あちらはなぜ極限が正規なのかを四つに分けた話で、本稿は正規が効かない場所で何が効くかを問う別の問い)。加えたもの:中心極限が裾で道具違いであることを厳密値との比で示したこと、対数を n で割ると一つの数に落ち着くことを組合せ論の厳密値で測ったこと、行き先が相対エントロピーであることを四つの目標で確かめたこと、柵を「一つの大きな跳び」に置いて公平な条件づけで測ったこと、体系内の語の衝突を記録したこと。残るもの:「その事象は極めて稀である」と言われたら、次に問うべきはどの目盛りで測ったかである。確率そのものは桁で落ちるので、比で語れば意味を失う。対数を n で割れば一つの数が残り、その数が稀さの正体である——ただし、一つの跳びで済んでしまう世界では、その数すら存在しない。 作成にあたって:本稿の着想と内容は、著者自身の考察に基づくものです。文章の構成整理や英訳、数式の確認には AI(大規模言語モデル)の助力を得ました。最終的な内容の解釈や誤りがあれば、それらはすべて著者の責に帰します。お気づきの点があれば、ご教示いただければ幸いです。 ----- Wenn eine Wahrscheinlichkeit durch Größenordnungen fällt, hört es auf, etwas zu bedeuten, wie viele Male größer das eine als das andere ist. Dieser Aufsatz zeigt an exakten kombinatorischen Werten, dass die richtige Skala für ein seltenes Ereignis der Logarithmus geteilt durch n ist. ES WIRD KEIN NEUER MATHEMATISCHER SATZ BEANSPRUCHT. Tragweite (scope note): ES WIRD KEIN NEUER MATHEMATISCHER SATZ BEANSPRUCHT — der Satz von Cramér, Ratenfunktionen, der Satz von Sanov und das Prinzip des einzelnen großen Sprungs für schwere Schwänze sind alle Standard. Und hier wird kein Satz bewiesen — gezeigt wird eine Reihe von Zahlen bei endlichem n, und die Existenz des Grenzwerts wird zitiert. Zu Aufsatz 187: jener Aufsatz teilte warum der Grenzwert gaußsch ist in vier Gründe auf. Die Frage hier ist was dort regiert, wo das Gaußsche nicht gilt, eine andere. Zu Aufsatz 137: jener Aufsatz untersuchte die relative Ent