超解像技術
超解像技術（ちょうかいぞうぎじゅつ、Super-resolution）とはテレビなどに関わるデジタルでの画像処理技術の一つで、入力信号の解像度を高めて出力信号を作る技術を指し、具体的な製品では入力された動画や静止画の信号を高解像度化して出力したり、高解像度の画像を表示したりするものである。超解像技術は、半導体露光装置や共焦点レーザー顕微鏡などのイメージングレーダーや光学顕微鏡でも使用されている。
概説
[編集]「超解像」は主に従来の動画の変換で用いられている「アップコンバート」に近い用語として企業の商品宣伝に使われている。超解像技術は、通常は、入力信号の解像度が表示画面の解像度に満たない場合に、それを補うための解像度補間技術を指し、例えば、標準解像度のビデオソフトやワンセグ放送をフルHDの大画面テレビで観る場合に、超解像技術を備えた映像機器によって足りない画素を補間することでよりリアルな映像を楽しむことができる。また、解像度の低い携帯動画をオリジナルより画素数を増やすことで見やすくする場合にも超解像技術が使われる。
超解像技術は、言葉からも解像度、つまり、画素数のみの増加を示しており、色深度やダイナミックレンジ、動画では時間当たりのフレーム数といった画像の美しさを決めるほかの要素は考慮されていない。
歴史
[編集]この技術そのものは2000年以前から研究されていたが、2000年代なかごろから始まった平面パネルを持つテレビ画面の大画面化競争とその価格低下や、標準解像度程度の映像ソフト資産の存在、半導体技術の向上などによって、一般消費者が居間の映像機器によって高解像度化処理を行なうことが現実的になった。また、業務用途のものも基本的にリアルタイム処理であり、たとえば手持ちの旧映像を長時間かけて高解像度化するといった非リアルタイム処理の研究は不思議なほど発表されていない。
現状
[編集]2009年現在では、日本の家電メーカーのように映像機器を製造している企業が、例えば、DVD映像の720×480画素や日本の地上デジタル放送の1440×1080画素をフルHDの1920×1080画素に高める技術を新製品に搭載して販売している[1]。今後はフルHDの1920×1080画素を4096×2160画素[2]や3840×2160画素にも変換できる製品を開発する予定である[3]。
2020年現在、SONYの「BRAVIA」[4]やPanasonicの「VIERA」[5]など多くの4Kテレビにこの技術が「アップコンバート機能」などと称して搭載されている。
技術
[編集]動画の解像度を向上させるには、単純なフレーム内処理と、それをさらに高度化したフレーム間処理の2つの方法がある。2009年前半現在は、映像機器に搭載する演算処理用半導体のコストが考慮されて、演算能力と必要メモリがそれほど求められないフレーム内処理だけが製品化されているが、半導体の抗力向上と価格低下、及び購入者の要望の高まりによって、将来は高機能なフレーム間処理へと使用技術が移って行くことが予想される。
フレーム内処理
[編集]フレーム内処理では、静止画での画質向上と同様に、簡単に1フレームごとに輪郭補正やドットノイズ消去といった処理を行ない、動画特有の時間軸方向での演算処理は行なわれない。主に輝度信号での処理を行なう。もっとも、単純に線形フィルタをフレーム内の全画素に当てはめると、得られる高解像度画像は新たな画素が元画素の間で平均化されただけのぼんやりした画質となってしまい真の高解像度とはいえない。このため、例えば、元となる画像を、細部が細かく変化するテクスチャ部、テクスチャ部の輪郭部、画素の変化が乏しい平坦部の3つに分けて、テクスチャ部には何らかの画質改善処理をほどこし、輪郭部はエッジ強調処理を、平坦部はそのままにするという異なる操作を行なうことで遠近感を高める工夫をするようなこともある。
フレーム間処理
[編集]フレーム間処理では、処理対象となる1つのフレームが持つ画素情報だけでなくその前後のフレームが持つ画素情報を参照することで、対象フレームに含まれるノイズを効果的に除去しながら対象フレームの輝度情報を大幅に向上出来る。動画であるため、前後フレーム間は複数の対象物が複雑に移動するが、当面のフレーム間処理ではフレーム全体での2軸の移動量のみを考慮するにとどめる。
フレーム間処理は必要な演算処理量が多く、またフレーム保存用のメモリが多く必要になる。こういった処理すべてを、動画映像が流れる実時間内ですべて処理する必要があり、かなり強力な演算能力が求められる。
半導体露光装置における超解像技術
[編集]半導体露光装置(ステッパー)では光源の波長によって最小線幅が決まる。この限界を打破するために位相シフトマスクや変形照明などの超解像技術が使用される[6][7]。 詳しくは超解像フィルタを参照。
イメージングレーダーにおける超解像技術
[編集]イメージングレーダの分野では、圧縮センシングに基づくアルゴリズムが有効であると考えられ、ドップラー・レーダーの通常の解像度限界を超える超解像画像を得ることが可能である。 このアプリケーションのために、SAMV (アルゴリズム)[8]などの最近の技術が開発されている。
その他の分野における超解像技術
[編集]また、天文学の分野では圧縮センシングによるスパースモデリングが有効と考えられ超長基線電波干渉計(VLBI)の分解能限界を超えた超解像の画像を得られる[9]。核磁気共鳴画像法（MRI）でも同様に非調和解析（Non-harmonic analysis:NHA）による超解像の開発が進められる[10]。
脚注
[編集]- ^ 2008年10月に、東芝が、初めて日本の地上デジタル放送の1440×1080画素とDVD映像の720×480画素をフルHDの1920×1080画素に高められるXDE(eXtended Detail Enhancement)機能を搭載した液晶テレビ「REGZA」を販売開始した。
- ^ 4096×2160画素の表示画面は4K×2Kと略記されることがある。
- ^ 2009年1月に、東芝は米ラスベガスでの「2009 International CES」上でCellプロセッサを使った次世代高精細TVを2機種発表し、55型の物は480×360画素を縦横3×3倍の1440×1080画素にして表示し、56型の物はCellと専用LSIとの併用によって1920×1080画素の映像ソースを2×2倍の3840×2160画素にして表示した。
- ^ Inc, Sony Marketing (Japan). “高精細 | ブラビアの高画質機能 | テレビ ブラビア | ソニー”. ソニー製品情報・ソニーストア. 2020年1月25日閲覧。
- ^ “目の前にあるかのような臨場感 | 4Kダブルチューナー内蔵 液晶テレビ GX855シリーズ | 商品一覧 | テレビ ビエラ | 東京2020オリンピック・パラリンピック公式テレビ | Panasonic”. panasonic.jp. 2020年1月25日閲覧。
- ^ “目が離せない次世代リソグラフィ技術の動向” (PDF). 2016年9月17日閲覧。
- ^ “先端リソグラフィ技術の課題と革新” (PDF). 2016年9月17日閲覧。
- ^ Abeida, Habti; Zhang, Qilin; Li, Jian; Merabtine, Nadjim (2013). “Iterative Sparse Asymptotic Minimum Variance Based Approaches for Array Processing” (PDF). IEEE Transactions on Signal Processing (IEEE) 61 (4): 933–944. doi:10.1109/tsp.2012.2231676. ISSN 1053-587X.
- ^ “圧縮センシングにもとづくスパースモデリングへのアプローチ”. 2016年9月17日閲覧。
- ^ “NHAを利用した低磁場MRIの画像高精細化に関する検証”. 2016年10月1日閲覧。
参考文献
[編集]- 佐伯真也 「美に挑む規格外テレビ」『日経エレクトロニクス』2009年2月9日号、日経BP社。
- 「特集:「4K時代の画像処理！超解像アルゴリズム」」『インターフェース (雑誌)』、CQ出版、2015年6月号。