デミング回帰

統計学において、デミング回帰（デミングかいき、英: Deming regression）とは、W・エドワーズ・デミングにちなんで名付けられた2次元データセットへの直線あてはめ（英語版）を行う変数誤差モデル（英語版）である。単純線形回帰（英語版）とはことなり、 $x$ 軸および $y$ 軸両方の観測誤差を考慮するモデルで、総最小自乗法（英語版）の特殊ケースと考えることができる。

デミング回帰は2つの変数の誤差が独立で正規分布し、かつその分散の比 $δ$ が既知の場合の最尤推定である^[1]。実用上、この比は関連するデータソースから推定されることもあるが、デミング回帰の手続きにおいてこの比の誤差については考慮しない。

デミング回帰の難易度は単純線形回帰と比較してほとんど上がらない。臨床化学において用いられる統計ソフトウェアパッケージのほとんどはデミング回帰を行うことができる。

$δ = 1$ の場合のこのモデルはAdcock (1878)が導入した。任意の $δ$ への一般化はKummell (1879)によりなされた。しかし、このアイデアは50年以上見過され、Koopmans (1936)が再導入したのちDeming (1943)によりさらに広められた。臨床化学および関連分野においてデミングの著書は特に有名となり、同分野ではこの手法はデミング回帰と呼ばれるようになった^[2]。

定義

回帰直線上の「真の」値 $(y i *, x i *)$ の計測値 $(y i, x i)$ が

{\begin{aligned}y_{i}&=y_{i}^{*}+\varepsilon _{i}\\x_{i}&=x_{i}^{*}+\eta _{i}\end{aligned}}

のように互いに独立な誤差 $ε$ および $η$ を持ち、分散の比

\delta ={\frac {\sigma _{\varepsilon }^{2}}{\sigma _{\eta }^{2}}}

が既知であるものとする。

実用上、変数 $x$ および $y$ の分散は未知であることが多く、 $δ$ の推定は難しい。もし $x$ および $y$ の測定方法が同じであればそれらの分散は等しく、 $δ = 1$ となる尤度が高い。

このとき、データ点に「もっともよくあてはまる」直線

y^{*}=\beta _{0}+\beta _{1}x^{*}

を求めたい。

デミング回帰では、次の重みつき二乗残差 $SSR$ が最小となる直線を求める^[3]。

SSR=\sum _{i=1}^{n}{\bigg (}{\frac {\varepsilon _{i}^{2}}{\sigma _{\varepsilon }^{2}}}+{\frac {\eta _{i}^{2}}{\sigma _{\eta }^{2}}}{\bigg )}={\frac {1}{\sigma _{\epsilon }^{2}}}\sum _{i=1}^{n}{\Big (}(y_{i}-\beta _{0}-\beta _{1}x_{i}^{*})^{2}+\delta (x_{i}-x_{i}^{*})^{2}{\Big )}\ \to \ \min _{\beta _{0},\beta _{1},x_{1}^{*},\ldots ,x_{n}^{*}}SSR

完全な導出はJensen (2007)を参照のこと。

解

この問題の解は2次標本モーメントにより表わすことができる。すなわち、まず次の統計量を計算する(和は $i = 1 ... n$ についてとるものとする)。

{\begin{aligned}{\overline {x}}&={\tfrac {1}{n}}\sum x_{i}&{\overline {y}}&={\tfrac {1}{n}}\sum y_{i}\\s_{xx}&={\tfrac {1}{n}}\sum (x_{i}-{\overline {x}})^{2}&&={\overline {x^{2}}}-{\overline {x}}^{2}\\s_{xy}&={\tfrac {1}{n}}\sum (x_{i}-{\overline {x}})(y_{i}-{\overline {y}})&&={\overline {xy}}-{\overline {x}}\,{\overline {y}}\\s_{yy}&={\tfrac {1}{n}}\sum (y_{i}-{\overline {y}})^{2}&&={\overline {y^{2}}}-{\overline {y}}^{2}\end{aligned}}

すると、モデルパラメータの最小二乗推定値は以下のように計算できる^[4]。

{\begin{aligned}&{\hat {\beta }}_{1}={\frac {s_{yy}-\delta s_{xx}+{\sqrt {(s_{yy}-\delta s_{xx})^{2}+4\delta s_{xy}^{2}}}}{2s_{xy}}}\\&{\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}{\overline {x}}\\&{\hat {x}}_{i}^{*}=x_{i}+{\frac {{\hat {\beta }}_{1}}{{\hat {\beta }}_{1}^{2}+\delta }}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i})\end{aligned}}

直交回帰

誤差分散が等しい、すなわち $δ = 1$ の場合には、デミング回帰は直交回帰と一致する。直交回帰ではデータ点から回帰直線への直交距離の二乗和を最小化する。この場合、各データ点を複素平面上の点 $z j = x j + iy j$ と表わし、データ点の幾何中心(すなわちデータ点の横軸および縦軸上の位置の平均を取った点) ${\overline {z}}={\tfrac {1}{n}}\sum z_{j}$ と各データ点との差の二乗和を $S=\sum {(z_{j}-{\overline {z}})^{2}}$ と書くことにすると^[5]、

$S = 0$ のとき、幾何中心を通るすべての直線が最適直交回帰直線である。
$S \neq 0$ のとき、直交回帰直線は幾何中心を通り原点から $\sqrt S$ へのベクトルに平行となる。

直交回帰の三角関数表現は1913年にCoolidgeが発表した^[6]。

応用

平面上に、共線でない3つの点があるとき、これらの点を頂点とする三角形は一意のシュタイナーの内接楕円をもち、この楕円は三角形の各辺にその中点で接する。この楕円の長軸は3つの点の直交回帰直線と一致する^[7]。2つのレポーター合成生物学回路（英語版）のふるまいの観測値をデミング回帰にかけることで細胞の内因ノイズ（英語版）を定量化することも行われる^[8]。

人間が散布図に回帰直線を書くとき、その直線は通常の最小二乗回帰直線よりも直交回帰直線に近い^[9]。

ヨーク回帰

ヨーク回帰は、デミング回帰を拡張して $x$ および $y$ の誤差が互いに独立でなく相関を持つ場合を扱えるようにしたものである^[10]。

出典

^ Linnet 1993.
^ Cornbleet & Gochman 1979.
^ Fuller 1987, Ch. 1.3.3.
^ Glaister 2001.
^ Minda & Phelps 2008, Theorem 2.3.
^ Coolidge 1913.
^ Minda & Phelps 2008, Corollary 2.4.
^ Quarton 2020.
^ Ciccione, Lorenzo; Dehaene, Stanislas (August 2021). “Can humans perform mental regression on a graph? Accuracy and bias in the perception of scatterplots”. Cognitive Psychology 128: 101406. doi:10.1016/j.cogpsych.2021.101406.
^ York, Derek; Evensen, Norman M.; Martı́nez, Margarita López; De Basabe Delgado, Jonás (2004-02-12). “Unified equations for the slope, intercept, and standard errors of the best straight line”. American Journal of Physics 72 (3): 367–375. doi:10.1119/1.1632486. ISSN 0002-9505.

参照文献

Adcock, R. J. (1878). “A problem in least squares”. The Analyst 5 (2): 53–54. doi:10.2307/2635758. JSTOR 2635758.
Coolidge, J. L. (1913). “Two geometrical applications of the mathematics of least squares”. The American Mathematical Monthly 20 (6): 187–190. doi:10.2307/2973072. JSTOR 2973072.
Cornbleet, P.J.; Gochman, N. (1979). “Incorrect Least–Squares Regression Coefficients”. Clinical Chemistry 25 (3): 432–438. doi:10.1093/clinchem/25.3.432. PMID 262186.
Deming, W. E. (1943). Statistical adjustment of data. Wiley, NY (Dover Publications edition, 1985). ISBN 0-486-64685-8
Fuller, Wayne A. (1987). Measurement error models. John Wiley & Sons, Inc. ISBN 0-471-86187-1
Glaister, P. (2001). “Least squares revisited”. The Mathematical Gazette 85: 104–107. doi:10.2307/3620485. JSTOR 3620485.
Jensen (2007年). “Deming regression, MethComp package”. Steno Diabetes Center. 2024年8月20日閲覧。
Koopmans, T. C. (1936). Linear regression analysis of economic time series. DeErven F. Bohn, Haarlem, Netherlands
Kummell, C. H. (1879). “Reduction of observation equations which contain more than one observed quantity”. The Analyst 6 (4): 97–105. doi:10.2307/2635646. JSTOR 2635646.
Linnet, K. (1993). “Evaluation of regression procedures for method comparison studies”. Clinical Chemistry 39 (3): 424–432. doi:10.1093/clinchem/39.3.424. PMID 8448852.
Minda, D.; Phelps, S. (2008). “Triangles, ellipses, and cubic polynomials”. American Mathematical Monthly 115 (8): 679–689. doi:10.1080/00029890.2008.11920581. MR2456092.
Quarton, T. G. (2020). “Uncoupling gene expression noise along the central dogma using genome engineered human cell lines”. Nucleic Acids Research 48 (16): 9406–9413. doi:10.1093/nar/gkaa668. PMC 7498316. PMID 32810265.

[FOOTNOTELinnet1993-1] Linnet 1993.

[FOOTNOTECornbleetGochman1979-2] Cornbleet & Gochman 1979.

[FOOTNOTEFuller1987Ch._1.3.3-3] Fuller 1987, Ch. 1.3.3.

[FOOTNOTEGlaister2001-4] Glaister 2001.

[FOOTNOTEMindaPhelps2008Theorem_2.3-5] Minda & Phelps 2008, Theorem 2.3.

[FOOTNOTECoolidge1913-6] Coolidge 1913.

[FOOTNOTEMindaPhelps2008Corollary_2.4-7] Minda & Phelps 2008, Corollary 2.4.

[FOOTNOTEQuarton2020-8] Quarton 2020.

[9] Ciccione, Lorenzo; Dehaene, Stanislas (August 2021). “Can humans perform mental regression on a graph? Accuracy and bias in the perception of scatterplots”. Cognitive Psychology 128: 101406. doi:10.1016/j.cogpsych.2021.101406.

[10] York, Derek; Evensen, Norman M.; Martı́nez, Margarita López; De Basabe Delgado, Jonás (2004-02-12). “Unified equations for the slope, intercept, and standard errors of the best straight line”. American Journal of Physics 72 (3): 367–375. doi:10.1119/1.1632486. ISSN 0002-9505.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

定義

解

直交回帰

応用

ヨーク回帰

関連項目

出典

参照文献