部分的最小二乗回帰

部分的最小二乗回帰（ぶぶんてきさいしょうじじょうかいき、英: partial least squares regression、略称: PLS回帰）は、主成分回帰（英語版）といくらかの関係を持つ統計的手法の一つである。偏最小二乗回帰または部分最小二乗回帰とも呼ばれる。PLS回帰は、応答変数と説明変数との間の最大分散の超平面を探す代わりに、予測変数（英語版）と観測可能な変数（英語版）を新たな空間に射影することによって線形回帰モデルを探る。XおよびYのデータが共に新たな空間に射影されるため、PLSに分類される手法群は双線形因子モデルとも呼ばれる。部分的最小二乗判別分析（PLS-DA）は、Yが分類である時の派生法である。

PLSは2つの行列（XおよびY）間の基本的関係を探すために用いられる。すなわち、これら2つの空間における共分散構造をモデル化するための潜在変数アプローチである。PLSモデルはY空間における最大多次元分散方向を説明するX空間における多次元方向を探そうと試みる。PLS回帰は予測因子の行列が観測因子よりも変数の数が多い時、そしてXの値の間に多重共線性が存在する時に特に適している。対照的に、標準的な回帰手法はこれらの場合（正則化されていない限り（英語版））失敗する。

部分的最小二乗法は、スウェーデンの統計学者ヘルマン・ウォルド（英語版）によって発表された。ウォルドはその後息子のスヴァンテ・ウォルド（スウェーデン語版）と共にこの手法を発展させた。PLSの（スヴァンテ・ウォルドによればより正確な^[1]）別称は、「projection to latent structures」（潜在構造への射影）であるが、多くの分野において「部分的最小二乗法」という用語が未だに優勢である。PLS回帰の最初の応用は社会科学分野でのものだったが、今日、PLS回帰は計量化学（ケモメトリクス）と関連領域において最も広く使われている。また、バイオインフォマティクス、感覚計量学、神経科学、人類学でも使われている。

基礎的モデル

多変量PLSの一般的基礎的モデルは以下の式で表わされる。

X=TP^{\top }+E

Y=UQ^{\top }+F

上式において、 $X$ は予測変数の $n\times m$ 、 $Y$ は応答変数の $n\times p$ 行列; $T$ ならびに $U$ はそれぞれ $X$ の射影（Xスコアまたは成分または因子行列）ならびに $Y$ の射影（Yスコア）; $P$ ならびに $Q$ はそれぞれ $m\times l$ ならびに $p\times l$ 直交「負荷量（ローディング）」行列; 行列 $E$ および $F$ は誤差項であり、互いに独立で同一の分布に従う確率正規変数であると仮定される。 $X$ および $Y$ の分解は、 $T$ と $U$ との間の共分散を最大化するように行われる。

アルゴリズム

因子ならびに負荷量行列である $T,U,P$ ならびに $Q$ を推定するための多くのPLSの変法が存在する。それらの多くは、 $Y=X{\tilde {B}}+{\tilde {B}}_{0}$ として $X$ と $Y$ との間の線形回帰の推定量を構築する。一部のPLSアルゴリズムは、 $Y$ が列ベクトルである場合に対してのみ適切であるが、その他は行列 $Y$ の一般的な場合を扱う。アルゴリズムはまた、因子行列 $T$ を直交行列もしくは正規直交行列として推定するか、あるいは条件を付けないかという点で異なる^[2]^[3]^[4]^[5]^[6]^[7]。最終的な予測値はこれら全ての変法で同じであるが、成分が異なっている。

PLS1

PLS1は、Yがベクトルの場合について適切で広く用いられているアルゴリズムである。PLS1は $T$ を正規直交行列として推定する。以下に疑似コードを示す（大文字は行列、小文字は上に添字がある場合ベクトル、下に添字がある場合スカラーである）。

function PLS1( $X,y,l$ )
$X^{(0)}\gets X$
$w^{(0)}\gets X^{T}y/||X^{T}y||$ , $w$ の初期推定
$t^{(0)}\gets Xw^{(0)}$
for $k=0$ to $l$
$t_{k}\gets {t^{(k)}}^{T}t^{(k)}$ （これはスカラー）
$t^{(k)}\gets t^{(k)}/t_{k}$
$p^{(k)}\gets {X^{(k)}}^{T}t^{(k)}$
$q_{k}\gets {y}^{T}t^{(k)}$ （これはスカラー）
if $q_{k}=0$
$l\gets k$ , ループから脱出
if $k<l$
$X^{(k+1)}\gets X^{(k)}-t_{k}t^{(k)}{p^{(k)}}^{T}$
$w^{(k+1)}\gets {X^{(k+1)}}^{T}y$
$t^{(k+1)}\gets X^{(k+1)}w^{(k+1)}$
end for
define $W$ to be the matrix with columns $w^{(0)},w^{(1)},...,w^{(l-1)}$ .
- Do the same to form the $P$ matrix and $q$ vector.
$B\gets W{(P^{T}W)}^{-1}q$
$B_{0}\gets q_{0}-{P^{(0)}}^{T}B$
return $B,B_{0}$

このアルゴリズム形式は、入力する $X$ および $Y$ のセンタリングを必要としない。これはセンタリングがアルゴリズムによって暗黙的に実行されるためである。このアルゴリズムは行列 $X$ の減次（ $t_{k}t^{(k)}{p^{(k)}}^{T}$ の減算）を行うが、ベクトル $y$ の減次は必要でないため行われない。ユーザ指定の変数 $l$ は回帰における潜在因子の数の上限である。この数が行列 $X$ の階数に等しければ、アルゴリズムは $B$ および $B_{0}$ に対する最小二乗回帰推定法に等しい。

拡張

2002年、潜在構造に対する直交射影（orthogonal projections to latent structures、OPLS）と呼ばれる新手法が発表された。OPLSでは、連続的変数データが予測情報と無相関の情報に分離される。これによって診断が改善され、解釈のための視覚化がより容易となる。しかしながら、これらの変更はPLSモデルの解釈可能性を改善するだけであり、予測性は改善しない^[8]。L-PLS法は、PLS回帰を3つの連結したデータブロックに拡張する^[9] 。同様に、OPLS-DA（Discriminant Analysis; 判別分析）法は、分類やバイオマーカーの研究のように離散変数を扱う時に適用できる。

2015年、部分的最小二乗法はthree-pass regression filter (3PRF) と呼ばれる手順と関連付けられた^[10]。もし観察と変数の数が大きいならば、3PRF（とゆえにPLS）は線形潜在因子モデルによって暗示される「最良の」予測について漸近的に正規である。株式市場モデルでは、PLSは運用益とキャッシュフローの成長の正確なサンプル外予測を与えることが示されている^[11]。

ソフトウェア実装

ほとんどの主要な統計ソフトウェアパッケージがPLS回帰を用意している^[要出典]。

脚注

^ Wold, S; Sjöström, M.; Eriksson, L. (2001). “PLS-regression: a basic tool of chemometrics”. Chemometrics and Intelligent Laboratory Systems 58 (2): 109–130. doi:10.1016/S0169-7439(01)00155-1.
^ Lindgren, F; Geladi, P; Wold, S (1993). “The kernel algorithm for PLS”. J. Chemometrics 7: 45–59. doi:10.1002/cem.1180070104.
^ de Jong, S.; ter Braak, C.J.F. (1994). “Comments on the PLS kernel algorithm”. J. Chemometrics 8 (2): 169–174. doi:10.1002/cem.1180080208.
^ Dayal, B.S.; MacGregor, J.F. (1997). “Improved PLS algorithms”. J. Chemometrics 11 (1): 73–85. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#.
^ de Jong, S. (1993). “SIMPLS: an alternative approach to partial least squares regression”. Chemometrics and Intelligent Laboratory Systems 18 (3): 251–263. doi:10.1016/0169-7439(93)85002-X.
^ Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. (1994). “A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm”. J. Chemometrics 8 (2): 111–125. doi:10.1002/cem.1180080204.
^ Abdi, H. (2010). “Partial least squares regression and projection on latent structure regression (PLS-Regression)”. Wiley Interdisciplinary Reviews: Computational Statistics 2: 97–106. doi:10.1002/wics.51.
^ Trygg, J; Wold, S (2002). “Orthogonal Projections to Latent Structures”. Journal of Chemometrics 16 (3): 119–128. doi:10.1002/cem.695.
^ Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H. (2008). “LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables”. Chemometrics and Intelligent Laboratory Systems 91 (2): 121–132. doi:10.1016/j.chemolab.2007.10.006.
^ Kelly, Bryan; Pruitt, Seth (2015-06-01). “The three-pass regression filter: A new approach to forecasting using many predictors”. Journal of Econometrics. High Dimensional Problems in Econometrics 186 (2): 294–316. doi:10.1016/j.jeconom.2015.02.011.
^ Kelly, Bryan; Pruitt, Seth (2013-10-01). “Market Expectations in the Cross-Section of Present Values” (英語). The Journal of Finance 68 (5): 1721–1756. doi:10.1111/jofi.12060. ISSN 1540-6261.

外部リンク

imDEV free Excel add-in for PLS and PLS-DA
PLS in Brain Imaging
on-line PLS regression (PLSR) at Virtual Computational Chemistry Laboratory
Uncertainty estimation for PLS
A short introduction to PLS regression and its history

[wold_2001-1] Wold, S; Sjöström, M.; Eriksson, L. (2001). “PLS-regression: a basic tool of chemometrics”. Chemometrics and Intelligent Laboratory Systems 58 (2): 109–130. doi:10.1016/S0169-7439(01)00155-1.

[2] Lindgren, F; Geladi, P; Wold, S (1993). “The kernel algorithm for PLS”. J. Chemometrics 7: 45–59. doi:10.1002/cem.1180070104.

[3] Jong, S.; ter Braak, C.J.F. (1994). “Comments on the PLS kernel algorithm”. J. Chemometrics 8 (2): 169–174. doi:10.1002/cem.1180080208.

[4] Dayal, B.S.; MacGregor, J.F. (1997). “Improved PLS algorithms”. J. Chemometrics 11 (1): 73–85. doi:10.1002/(SICI)1099-128X(199701)11:1<73::AID-CEM435>3.0.CO;2-#.

[5] Jong, S. (1993). “SIMPLS: an alternative approach to partial least squares regression”. Chemometrics and Intelligent Laboratory Systems 18 (3): 251–263. doi:10.1016/0169-7439(93)85002-X.

[6] Rannar, S.; Lindgren, F.; Geladi, P.; Wold, S. (1994). “A PLS Kernel Algorithm for Data Sets with Many Variables and Fewer Objects. Part 1: Theory and Algorithm”. J. Chemometrics 8 (2): 111–125. doi:10.1002/cem.1180080204.

[7] Abdi, H. (2010). “Partial least squares regression and projection on latent structure regression (PLS-Regression)”. Wiley Interdisciplinary Reviews: Computational Statistics 2: 97–106. doi:10.1002/wics.51.

[8] Trygg, J; Wold, S (2002). “Orthogonal Projections to Latent Structures”. Journal of Chemometrics 16 (3): 119–128. doi:10.1002/cem.695.

[9] Sæbøa, S.; Almøya, T.; Flatbergb, A.; Aastveita, A.H.; Martens, H. (2008). “LPLS-regression: a method for prediction and classification under the influence of background information on predictor variables”. Chemometrics and Intelligent Laboratory Systems 91 (2): 121–132. doi:10.1016/j.chemolab.2007.10.006.

[10] Kelly, Bryan; Pruitt, Seth (2015-06-01). “The three-pass regression filter: A new approach to forecasting using many predictors”. Journal of Econometrics. High Dimensional Problems in Econometrics 186 (2): 294–316. doi:10.1016/j.jeconom.2015.02.011.

[11] Kelly, Bryan; Pruitt, Seth (2013-10-01). “Market Expectations in the Cross-Section of Present Values” (英語). The Journal of Finance 68 (5): 1721–1756. doi:10.1111/jofi.12060. ISSN 1540-6261.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]