That the Condition Number Squares Is an Identity, Not an Approximation ── Half the Significant Digits Are Gone the Moment A^->p A Is Formed ── For the 8x8 Hilbert Matrix the Digits Remaining Are -4.4124, Which Is to Say None ── [Paper 330]

Abstract

A least-squares problem is often rewritten as A^->p A x=A^->p b before being solved. This paper asks what that rewriting costs──the answer is exactly half the significant digits, and they are lost as an identity rather than as an approximation. No new mathematical theorem and no new law is claimed. Scope of this paper (scope note): No new mathematical theorem and no new law is claimed──condition numbers, the singular value decomposition, the normal equations, and the Hilbert matrix are all standard. We do not build numerical linear algebra──all we use is one equality and a table confirming it in extended precision. We do not adjudicate between solvers──it is not written here that QR or the SVD “should” be used. Only what is lost is put down as a number. We do no backward error analysis──the general stability of particular algorithms is not entered. It is mentioned and no more. We do not treat regularisation──lowering the condition number artificially, as ridge regression does, is left out. We treat no norm but the 2-norm──the condition number is defined in the 2-norm; in other norms the squaring is no longer an identity. Relation to earlier papers: Paper 326 showed the square-cube “law” to be an identity and not a law──this paper performs the same move in numerical computation. When what is called a “law” follows from a definition, hunting for counterexamples is beside the point. Paper 221 showed that changing the last bit moves an eigenvalue by 0.16──there a perturbed input moves the answer; here a rewriting squares the sensitivity itself. Paper 329 showed divergence and convergence coming out of the same points──there the construction of the approximation fails; here the digits run out. There are at least three separate reasons numbers cannot be trusted. Paper 95 separated convention from fact──the squaring is not a fact but a consequence of how kappa is defined. Paper 300 showed whether two things share a root is decidable──by that test, this squaring and the perturbation of Paper 221 have distinct roots. What is added is giving the ratio to ten digits in extended precision, killing the explanation “because it is symmetric” by exhibiting rectangular non-symmetric cases, tabulating digits lost against the digits double precision has, negative values included, and putting the separator on whether A^->p A was formed. First, kappa_2(A^->p A)/kappa_2(A)^2 is 1.0000000000 for every matrix tried (Section 2). Second, this is the core of the paper. This is not “usually squares”; it follows from the definition of singular values (Section 3). Third, it holds for matrices that are neither square nor symmetric. A 30x11 Vandermonde gives 1.0000000000 (Section 2). Fourth, double precision carries only 15.9546 digits. For the 8x8 Hilbert matrix kappa(A^->p A)=10^20.3670 and the digits remaining are -4.4124 (Section 4). Fifth, there are matrices that do not degrade. An orthogonal matrix keeps kappa=1 (Section 4). Sixth, the separator is whether A^->p A was formed or not (Section 5). Rewrite a least-squares problem as A^->p Ax=A^->p b and the condition number is squared exactly──for the Hilbert matrix, and equally for a 30x11 Vandermonde that is neither symmetric nor square, kappa_2(A^->p A)/kappa_2(A)^2 is 1.0000000000 in extended precision. And this is not a rule of thumb──if A=USigma V^->p then A^->p A=VSigma^2V^->p, so the singular values of A^->p A are those of A squared. It is not a property of A nor of the problem, but a consequence of how kappa_2 is defined. So hunting for “a matrix that does not square” is pointless──as with the square-cube law in Paper 326, what follows from a definition has nothing there to break. The identity holds inside the 2-norm. The price can be counted in digits──double precision carries a 53-bit mantissa, that is 15.9546 decimal digits. For the 8x8 Hilbert matrix kappa_2(A^->p A)=10^20.3670 and the digits remaining are -4.4124: not one is left. Handle the same problem as A and 5.7711 digits survive. Yet it does not always degrade──an orthogonal matrix has kappa_2=1 and squaring leaves 1. While kappa is small, nothing whatever goes wrong. One thing separates them──whether at some point A^->p A was explicitly formed, or whether A was carried through as it stood. The same A, the same b, the same answer sought; what differs is what was assembled along the way. With not one rounding anywhere, that matrix already carries kappa^2 — what is lost is lost not during the arithmetic but at the moment the problem was rewritten. One last thing──the normal equations were invented to make the formula shorter. A rectangle becomes a square, the square is symmetric positive definite, and the handling gets easier. The price of that neatness is exactly half the significant digits, and the price is not written anywhere in the formula. On the making of this work: The ideas and content of this work stem from the author's own considerations. Assistance from an AI (a large language model) was used for structuring, English translation, and checking the algebra. Any remaining errors or misinterpretations are solely the author's. Feedback and corrections are sincerely appreciated. ----- 最小二乗法を解くとき、A^->p A x=A^->p b という形に直してから解くことがある。本稿が問うのは、その書き換えで何が失われるのかである──答は、有効桁のちょうど半分であり、それは近似ではなく恒等式として失われるである。新しい数学定理も新しい法則も主張しない。 本稿の射程(射程注記):新しい数学定理も新しい法則も主張しない──条件数、特異値分解、正規方程式、ヒルベルト行列はいずれも標準的である。数値線形代数を作らない──使うのは一つの等式と、それを多倍長で確かめた表だけである。解法の優劣を裁定しない──QR 分解や特異値分解を「使うべきだ」とは書かない。何が失われるかだけを数で置く。後退誤差解析をしない──アルゴリズムごとの安定性の一般論には立ち入らない。触れるにとどめる。正則化を扱わない──リッジ回帰などで条件数を人為的に下げる話は入れない。2 ノルム以外を扱わない──条件数は 2 ノルムで定義する。他のノルムでは二乗則は恒等式でなくなる。既刊との関係:論文326 は二乗三乗の「法則」が法則ではなく恒等式だと示した──本稿は同じ動作の数値計算版である。『法則』と呼ばれているものが定義から出ているなら、反例を探すのは筋違いになる。論文221 は最後の桁を一つ変えると固有値が 0.16 動くと示した──そこでは入力の摂動が答を動かし、本稿では書き換えが感度そのものを二乗する。論文329 は同じ点から発散と収束が出ると示した──そこでは近似の作り方が壊れ、ここでは計算の桁が尽きる。数値が信用できない理由は少なくとも三つある。論文95 は規約と事実を分けた──二乗則は事実ではなく、kappa の定義の帰結である。論文300 は同根か別根かは判定できると示した──本稿の二乗則と論文221 の摂動は、判定に掛ければ別根である。加えたのは比を多倍長で 10 桁まで出したこと、対称でない長方行列でも成り立つことを示して「対称だから」を潰したこと、失う桁を倍精度の桁数と並べて負の値まで書いたこと、分離子を「A^->p A を作ったか」に置いたことである。 第一に、kappa_2(A^->p A)/kappa_2(A)^2 は、試したすべての行列で 1.0000000000 である(第2節)。 第二に、これが本稿の芯である。これは「たいてい二乗になる」ではなく、特異値の定義からの恒等式である(第3節)。 第三に、正方でも対称でもない行列でも成り立つ。30x11 のヴァンデルモンドで比は 1.0000000000(第2節)。 第四に、倍精度の有効桁は 15.9546 桁しかない。 n=8 のヒルベルト行列では kappa(A^->p A) が 10^20.3670 で、残る桁は -4.4124(第4節)。 第五に、悪化しない行列も存在する。直交行列では kappa=1 のままである(第4節)。 第六に、分離子は「A^->p A を作ったか、作らなかったか」である(第5節)。 最小二乗を正規方程式 A^->p Ax=A^->p b に直すと、条件数はちょうど二乗される──ヒルベルト行列でも、対称でも正方でもない 30x11 のヴァンデルモンド行列でも、kappa_2(A^->p A)/kappa_2(A)^2 は多倍長で 1.0000000000 である。そしてこれは経験則ではない──A=USigma V^->p なら A^->p A=VSigma^2V^->p であり、A^->p A の特異値は A の特異値の二乗そのものだからである。 A の性質でも問題の性質でもなく、kappa_2 の定義の帰結である。だから「二乗にならない行列」を探すことに意味は無い──論文326 が二乗三乗の法則について書いたのと同じで、定義から出ているものには破る対象が存在しない。ただし恒等式なのは 2 ノルムの内側である。代償は桁で数えられる──倍精度の有効桁は仮数 53 ビット、すなわち 15.9546 桁しかない。 n=8 のヒルベルト行列では kappa_2(A^->p A)=10^20.3670 で、残る桁は -4.4124──一桁も残らない。同じ問題を A のまま扱えば 5.7711 桁が残る。ただし常に悪化するのでもない──直交行列では kappa_2=1 で、二乗しても 1 のままである。 kappa が小さいうちは正規方程式で何の問題も起きない。分けるものは一つ──解く過程のどこかで A^->p A を明示的に作ったか、作らずに A のまま扱ったか。同じ A、同じ b、同じ答を求めていて、差を作っているのは途中で何を組み立てたかである。丸めが一度も起きなくても、その行列はすでに kappa^2 を持っている──失われるのは計算の途中ではなく、問題を書き換えた時点である。最後に一つ──正規方程式は式を短くするために作られた。長方形が正方形になり、対称正定値になり、扱いが易しくなる。その簡潔さと引き換えに有効桁のちょうど半分を払っており、払っていることは式の上には書かれていない。 作成にあたって:本稿の着想と内容は、著者自身の考察に基づくものです。文章の構成整理や英訳、数式の確認には AI(大規模言語モデル)の助力を得ました。最終的な内容の解釈や誤りがあれば、それらはすべて著者の責に帰します。お気づきの点があれば、ご教示いただければ幸いです。