特表-19187511IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-187511信号処理装置、情報処理方法、プログラム
<>
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000020
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000021
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000022
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000023
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000024
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000025
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000026
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000027
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000028
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000029
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000030
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000031
  • 再表WO2019187511-信号処理装置、情報処理方法、プログラム 図000032
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年10月3日
【発行日】2021年4月15日
(54)【発明の名称】信号処理装置、情報処理方法、プログラム
(51)【国際特許分類】
   H04N 5/74 20060101AFI20210319BHJP
   G09G 5/00 20060101ALI20210319BHJP
   G09G 5/10 20060101ALI20210319BHJP
【FI】
   H04N5/74 D
   G09G5/00 550C
   G09G5/00 X
   G09G5/10 Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】35
【出願番号】特願2020-509696(P2020-509696)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年1月16日
(31)【優先権主張番号】特願2018-64442(P2018-64442)
(32)【優先日】2018年3月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】高橋 紀晃
【テーマコード(参考)】
5C058
5C182
【Fターム(参考)】
5C058BA08
5C058EA02
5C182AA02
5C182AA03
5C182AA04
5C182AA12
5C182AC03
5C182AC13
5C182BA01
5C182BA03
5C182BA04
5C182BA14
5C182BA25
5C182BC01
5C182CA01
5C182CA02
5C182CA12
5C182CA21
5C182CB03
5C182CB13
5C182CB14
5C182CB44
5C182CC21
5C182CC24
5C182DA53
5C182DA70
(57)【要約】
入力画像に対して投影画像の輝度を最適化し、コントラストの低下の抑制を図る。
信号処理装置が、画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用部を備える。
【特許請求の範囲】
【請求項1】
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用部を備える
信号処理装置。
【請求項2】
投影画像についてのズーム態様、シフト態様、フォーカス態様を決定する前記画像投影部が備えるレンズのレンズポジションに応じて、前記補償係数適用部が適用する前記事後劣化補償係数を選択する補償係数選択部を備えた
請求項1に記載の信号処理装置。
【請求項3】
前記補償係数選択部は、前記レンズポジションに応じて設けられた複数の前記事後劣化補償係数を用いて算出された事後劣化補償係数を選択する
請求項2に記載の信号処理装置。
【請求項4】
前記事後劣化補償係数を記憶する記憶部を備えた
請求項1に記載の信号処理装置。
【請求項5】
前記事後劣化補償係数を算出するためのテストパターンを生成するテストパターン生成部を備えた
請求項1に記載の信号処理装置。
【請求項6】
前記テストパターンは、1画素のみを発光させる画像パターンとされた
請求項5に記載の信号処理装置。
【請求項7】
前記テストパターンは、前記投影画像の外周部から所定割合の画素を発光させる画像パターンとされた
請求項5に記載の信号処理装置。
【請求項8】
前記補償係数適用部は、散乱光の発生元となる散乱元画素と該散乱光の影響を受ける画素とされた散乱先画素の距離に基づいた線形一次近似式を利用して算出された前記事後劣化補償係数を適用する
請求項1に記載の信号処理装置。
【請求項9】
前記補償係数適用部は、前記投影画像に含まれる全ての画素の輝度値を測定して算出された前記事後劣化補償係数の代わりに、特定の領域の輝度値を計測して算出される前記事後劣化補償係数を適用する
請求項1に記載の信号処理装置。
【請求項10】
前記補償係数適用部は、前記画像入力信号の1フレームを前記投影画像において複数画素で構成されるサブ領域単位に分割し、前記サブ領域ごとに対応する事後劣化補償係数を適用する
請求項1に記載の信号処理装置。
【請求項11】
前記画像投影部を備えることによりプロジェクタ装置として機能する
請求項1に記載の信号処理装置。
【請求項12】
前記画像入力信号をXとし、前記投影画像の伝達関数をH(X)とした場合に、
前記事後劣化補償係数を要素とした事後劣化補償関数は前記伝達関数H(X)の逆関数とされた
請求項1に記載の信号処理装置。
【請求項13】
前記事後劣化補償係数を取得する係数取得部を備えた
請求項1に記載の信号処理装置。
【請求項14】
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用手順を行う
情報処理装置の情報処理方法。
【請求項15】
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用処理を
情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、信号処理装置、情報処理方法、及び、プログラムについての技術分野に関する。特に画像入力信号に対して適切な画像フィルタを適用する信号処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
プロジェクタ等の画像投影装置では、入力画像に対してスクリーン等に投影された投影画像のコントラストが低下してしまう場合がある。このようなコントラスト低下は、スクリーン等の状況によって起こるだけでなく、画像投影装置内で光の散乱が生じることにより起きる場合がある。
このようなコントラスト低下を軽減するための提案が為されており、例えば特許文献1では、画像全体の平均値や標準偏差などの簡易的な特徴に基づいて階調の伸長を行い、定性的な補正を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004−032207号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1に記載された方法は、入力画像に対して投影画像を最適化するものではないため、投影画像が入力画像と同じ輝度を有するわけではなく、意図した画像とは異なる画像が投影されてしまう可能性がある。
そこで、本技術における信号処理装置、情報処理方法、プログラムでは、入力画像に対して投影画像の輝度を最適化し、コントラストの低下を抑制することを目的とする。
【課題を解決するための手段】
【0005】
本技術に係る信号処理装置は、画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用部を備えたものである。
これにより、補償後の投影画像は適切なコントラストを有した画像とされる。
【0006】
上記の信号処理装置においては、投影画像についてのズーム態様、シフト態様、フォーカス態様を決定する前記画像投影部が備えるレンズのレンズポジションに応じて、前記補償係数適用部が適用する前記事後劣化補償係数を選択する補償係数選択部を備えていてもよい。
これにより、レンズポジションに応じた事後劣化補償係数が取得されて適用される。
【0007】
上記の信号処理装置における前記補償係数選択部は、前記レンズポジションに応じて設けられた複数の前記事後劣化補償係数を用いて算出された事後劣化補償係数を選択してもよい。
これにより、全通りのレンズポジションに対応した事後劣化補償係数を取得可能な構成でなくてもよい。
【0008】
上記の信号処理装置においては、前記事後劣化補償係数を記憶する記憶部を備えていてもよい。
これにより、記憶部から適切な事後劣化補償係数の取得が行われる。
【0009】
上記の信号処理装置においては、前記事後劣化補償係数を算出するためのテストパターンを生成するテストパターン生成部を備えていてもよい。
これにより、外部からテストパターンを取得しなくてもよい。
【0010】
上記の信号処理装置においては、前記テストパターンは、1画素のみを発光させる画像パターンとされていてもよい。
即ち、1画素のみを発光させた画像パターンを投影する作業を、発光画素を変えて画素数分行ってもよい。
【0011】
上記の信号処理装置においては、前記テストパターンは、前記投影画像の外周部から所定割合の画素を発光させる画像パターンとされていてもよい。
このようなテストパターンは処理の簡易化のために用いられる。
【0012】
上記の信号処理装置における前記補償係数適用部は、散乱光の発生元となる散乱元画素と該散乱光の影響を受ける画素とされた散乱先画素の距離に基づいた線形一次近似式を利用して算出された前記事後劣化補償係数を適用してもよい。
このような線形一次近似式は処理の簡易化のために用いられる。
【0013】
上記の信号処理装置における前記補償係数適用部は、前記投影画像に含まれる全ての画素の輝度値を測定して算出された前記事後劣化補償係数の代わりに、特定の領域の輝度値を計測して算出される前記事後劣化補償係数を適用してもよい。
このような計測方法は処理の簡易化のために用いられる。
【0014】
上記の信号処理装置における前記補償係数適用部は、前記画像入力信号の1フレームを前記投影画像において複数画素で構成されるサブ領域単位に分割し、前記サブ領域ごとに対応する事後劣化補償係数を適用してもよい。
このような手法は処理の簡易化のために用いられる。
【0015】
上記の信号処理装置においては、前記画像投影部を備えることによりプロジェクタ装置として機能するものであってもよい。
画像投影部を備えることによりプロジェクタ装置とすることで、画像投影の際に補正済みの画像入力信号を生成する処理をプロジェクタ装置内で行うことができる。
【0016】
上記の信号処理装置においては、前記画像入力信号をXとし、前記投影画像の伝達関数をH(X)とした場合に、前記事後劣化補償係数を要素とした事後劣化補償関数は前記伝達関数H(X)の逆関数とされていてもよい。
これにより、画像入力信号の投影画像におけるコントラスト低下を補償するための事後劣化補償関数を適切に設定することが可能となる。
上記の信号処理装置においては、前記事後劣化補償係数を取得する係数取得部を備えていてもよい。
これにより、信号処理装置の任意のタイミングで事後劣化補償係数を取得することができる。
【0017】
本技術に係る情報処理方法は、画像投影部に入力される画像入力信号に対して、画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用手順を行うものである。
本技術に係るプログラムは、以上の係数取得手順と補償係数適用手順に相当する処理を情報処理装置に実行させるプログラムである。
これにより、入力画像に対して投影画像の輝度を最適化し、コントラストの低下を抑制することができるようにする。
【発明の効果】
【0018】
本技術によれば、入力画像に対して投影画像の輝度を最適化し、コントラストの低下を抑制することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0019】
図1】本技術の実施の形態の画像投影システムのブロック図である。
図2】実施の形態の画像投影システムの他の例のブロック図である。
図3】実施の形態の情報処理装置及び信号処理部のハードウェア構成のブロック図である。
図4】実施の形態の投影光学系が備える光源、パネル、投影レンズを説明するための図である。
図5】実施の形態の投影画像を説明するための概略図である。
図6】実施の形態の伝達関数の各要素を計測する装置のブロック図である。
図7】実施の形態の伝達関数を算出するためのフローチャートである。
図8】実施の形態の算出処理部のブロック図である。
図9】実施の形態のプロジェクタ部のブロック図である。
図10】実施の形態の補正済み画像信号を算出するためのフローチャートである。
図11】実施の形態の各画像信号と投影画像の輝度値の関係を説明するための図である。
図12】実施の形態のテストパターンについての説明図である。
図13】実施の形態のオリジナル画像と縮小画像の関係を説明するための図である。
【発明を実施するための形態】
【0020】
以下、実施の形態について添付図面を参照しながら次の順序で説明する。
<1.画像投影システムの構成>
<2.ハードウェアの構成>
<3.コントラスト低下の原理と補正の概要>
<4.補正処理手順>
[4−1.伝達関数H(X)の算出]
[4−2.事後劣化補償関数H-1(X)の導出]
[4−3.画像信号に対する事後劣化補償関数の適用]
<5.簡易化手法>
[5−1.伝達関数H(X)の算出の簡易化]
[5−2.画像信号に対する事後劣化補償関数の適用の簡易化]
<6.変形例>
<7.まとめ>
<8.本技術>
【0021】
<1.画像投影システムの構成>

本実施の形態における画像投影システムを用いた画像投影表示の例について、図1を参照して説明する。
画像投影システムは、プロジェクタ1、撮像装置2、情報処理装置3を備えている。図1は、プロジェクタ1からの投影された画像が投影画像101としてスクリーン100に表示されている状態を示している。
【0022】
プロジェクタ1は、投影光学系10と信号処理部11を備えている。画像ソースとなる外部装置から送られてくる画像信号PSは、プロジェクタ1の信号処理部11に入力される。
【0023】
プロジェクタ1は、信号処理部11で各種補正処理、ガンマ処理、色処理、輝度処理、コントラスト調整、シャープネス調整、表示画像を作るための入力画像の切り出し、拡大・縮小処理などの各種処理を行い、R(赤)、G(緑)、B(青)の画像信号を投影光学系10に供給する。
【0024】
なお、信号処理部11で行われる補正処理としては、コントラスト調整の一部として、後述する処理を含む。
各種の補正を施された画像信号としてのR信号、G信号、B信号が投影光学系10に供給される。
【0025】
投影光学系10は、例えば、光源部、光変調部、投影レンズ系を有し、R,G,Bの画像信号に基づいて画像投影を行いスクリーン100に画像表示させる。
投影光学系10における光源部としては、例えば、LED(Light Emitting Diode)、レーザー光源、キセノンランプ、水銀ランプ等の各種の光源を用いることが可能である。
【0026】
投影光学系10の光変調部としては、例えば、R,G,Bの液晶ライトバルブを用いることができる。即ち、投影光学系10では、信号処理部11からのR,G,Bの画像データを受け、これにより液晶駆動信号としてのR画像信号、G画像信号、B画像信号を生成し、R,G,Bの液晶ライトバルブに供給して赤色画像、緑色画像、青色画像を表示させる。
【0027】
投影光学系10内では、光源部からの光がR光、G光、B光に分離され、それぞれがR,G,Bの液晶ライトバルブを通過することで、赤色画像、緑色画像、青色画像の投影光が形成される。これらが合成されて投影レンズ系から投射されることで、カラー画像がスクリーン100に投影表示されることになる。
【0028】
投影レンズ系では、このような投射を行うとともに、投影画像のフォーカス調整、画像サイズ調整、投影確度調整等も可能とされている。そのために、投影レンズ系はズームレンズやフォーカスレンズ等各種のレンズを備え、それらのレンズを駆動することによるズーム動作やフォーカス動作、或いはレンズシフト動作を実現可能とされている。また、投影レンズ系では、画像サイズ調整や投影角度調整等も可能とされている。
なお、上記の構成は、画像投影システムのプロジェクタ1として、透過型液晶プロジェクタを用いた構成の例であるが、反射型液晶プロジェクタを用いた構成とされていてもよい。
【0029】
撮像装置2は、スクリーン100に投影された投影画像101を撮像できるように位置されている。
撮像装置2は必ずしも固定配置されている必要はなく、後述する事後劣化補償係数を求める際に必要に応じて設置されていればよい。
【0030】
また、撮像装置2は、作業者が手動でスクリーン100の投影画像101の撮像を行うものでもよい。或いは、情報処理装置3や他の制御装置が撮像装置2の画角、撮像方向、レリーズタイミング等を自動制御し、後述する事後劣化補償係数を算出するために必要な画像を撮像するようにすることもできる。
【0031】
情報処理装置3は、撮像装置2で撮像された画像を用いて、プロジェクタ1についてのコントラスト低下を抑制するための必要な演算を行う。具体的には、事後劣化補償係数(事後劣化補償関数)の算出等を行う。
【0032】
このような情報処理装置3は、本実施の形態の画像投影システムの専用機器として構成されていてもよいし、汎用のパーソナルコンピュータを用いて実現してもよい。さらには、スマートフォン等の携帯端末装置を用いて実現することも可能である。何れにしても、情報処理装置3は、演算処理能力を有する装置であれば適用可能であり、内部のマイクロコンピュータ等の演算処理装置が所定のソフトウェアに基づいて処理を行うことで、当該画像投影システムにおいてプロジェクタ1の補正動作に必要な情報を得ることができる。
【0033】
なお、情報処理装置3は、例えばプロジェクタ1とオンラインで常時接続されていてもよいし、ネットワークとは切り離され画像投影システムの各装置のみと接続された装置とされていてもよい。また、時限的な通信により画像投影システムの各装置と接続されてもよいし、記録媒体を介して各装置と情報の受け渡しが可能とされていてもよい。
【0034】
図1に示す画像投影システムの実施態様は一例である。例えば、図2に示すように、画像投影システムは、投影光学系10と信号処理部11と撮像装置2A(撮像装置2の別形態)と情報処理装置3A(情報処理装置3の別形態)を備えた一体型のプロジェクタ1Aとされていてもよい。この場合には、情報処理装置3Aは、プロジェクタ1Aに内蔵されたマイクロコンピュータ、CPU(Central Processing Unit)、或いはDSP(Digital Signal Processor)等により実現される。
また、図1の他の実施の形態として、コントラスト調整のための後述の処理を行う信号処理部がプロジェクタ1の外部に設けられていてもよい。また、そのような信号処理部と情報処理装置3が一体に構成されていてもよい。
【0035】
<2.ハードウェアの構成>

情報処理装置3のハードウェア構成について、図3Aを参照して説明する。
情報処理装置3は、CPU151,ROM(Read Only Memory)152,RAM(Random Access Memory)153を有して構成される。
CPU151は、ROM152に記憶されているプログラム、または記憶部159からRAM153にロードされたプログラムに従って各種の処理を実行する。RAM153にはまた、CPU151が各種の処理を実行する上で必要なデータなども適宜記憶されている。
CPU151,ROM152,及びRAM153は、バス154を介して相互に接続されている。バス154には、入出力インタフェース155も接続されている。
【0036】
入出力インタフェース155には、液晶パネル或いは有機EL(Electroluminescence)パネルなどによるディスプレイ156,キーボード、マウスなどによる入力部157,スピーカ158,HDD(Hard Disk Drive)などにより構成される記憶部159,通信部160などが接続可能である。
【0037】
ディスプレイ156は、情報処理装置3と一体でもよいし、別体の機器とされていてもよい。例えば、撮像画像の表示、演算結果の表示、操作メニュー表示などが行われる。
入力部157は、情報処理装置3を使用するユーザ(例えば画像投影システムの調整作業者)が用いる入力デバイスを意味する。
通信部160は、周辺各部の機器との間の有線または無線による通信を行う。通信部160はインターネットを含むネットワークを介して通信処理を行うことで、必要なソフトウェアをダウンロードしたり、各種情報を送信したりすることができるようにしてもよい。
【0038】
また、入出力インタフェース155には、必要に応じてドライブ161が接続され、該ドライブ161にはメモリカード162が装着可能とされている。
メモリカード162からは、例えばコンピュータプログラムなどが読み出され、必要に応じて記憶部159にインストールされる。また、CPU151で処理されたデータがメモリカード162に記憶されてもよい。ドライブ161は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされていてもよい。
【0039】
以上のように、情報処理装置3は、コンピュータ装置としてのハードウェア構成を備えている。
なお、実施の形態の情報処理装置3は、図3Aのようなハードウェア構成のコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN(Local Area Network)等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。
【0040】
また、情報処理装置3の代わりに情報処理装置3Aを有する場合には、CPU151としてDSPを用いることにより実現されていてもよい。また、ディスプレイ156としては、プロジェクタ1Aの各種機能を選択するためのメニュー画面を表示するためにプロジェクタ1Aに設けられた簡易的なディスプレイにより実現されていてもよいし、ディスプレイ156を備えていなくてもよい。
【0041】
信号処理部11のハードウェア構成について、図3Bを参照して説明する。
信号処理部11は、例えば、演算部171、記憶部172、入出力インタフェース173を有して構成される。
演算部171は入出力インターフェス173に接続されており、演算部171は外部からのデータ入力を入出力インタフェース173を介して取得可能とされている。具体的には、R画像信号、G画像信号、B画像信号を受信可能である。
また、演算部171は、RGBの各画像信号に対して所定の処理を施した後に、処理済みの各画像信号を入出力インタフェース173を介して投影光学系10へ送信可能とされている。
【0042】
演算部171は、RGBの画像信号を受信する際の入力バッファや送信する際の出力バッファとして記憶部172を利用する。
また、記憶部172には、後述する事後劣化補償係数(或いは関数)が記憶されてもよい。
【0043】
<3.コントラスト低下の原理と補正の概要>

コントラストが低下する原因について、添付図を参照して説明する。
図4は、各図とも投影光学系10が備える光源10a、光変調部としてのパネル10b、投影レンズ10cを示したものである。光変調部としてのパネル10bは、例えば、LCoS(Liquid crystal on silicon:商標)、LCD(Liquid Crystal Display)、DLP(Digital Light Processing)などである。
また、パネル10bは、R,G,Bごとにそれぞれ設けられているが、図4に示す各図では、それら三つのパネル10bのうちの一つを示したものである。
【0044】
図4Aは、光源10aから出射された光がパネル10bを通過してR,G,Bの各画像(赤色画像、緑色画像、青色画像)が生成され、投影レンズ10cを通過してそのままスクリーン100に到達する光のルートを示したものである。
図示したように、パネル10bを通過した後の光であって投影レンズ10cを通過する前の光は、本来の画像X(例えば本来の赤色画像)と記載する。また、投影レンズ10cを通過した後の光は直接光A(X)と記載する。
これは、投影レンズ10cなどによって生じる散乱光などによって本来の画像Xと直接光A(X)が異なるものであることを示している。
直接光A(X)の記載から分かるように、直接光A(X)は、本来の画像Xに応じたものとされる。
【0045】
図4Bは、光源10aから出射された光がパネル10bを通過してR,G,Bの各画像が生成され、投影レンズ10cで散乱光となってパネル10bに戻った後、再び投影レンズ10cを通過してスクリーン100に到達する光のルートを示したものである。投影レンズ10cを通過した後の光を散乱光B(X)と記載する。
図示するように、R光、G光、B光それぞれにおいて散乱光が発生し得る。
散乱光B(X)の記載から分かるように、散乱光B(X)は、本来の画像Xに応じたものとされる。
【0046】
図4Cは、直接光A(X)と散乱光B(X)の双方を記載した図である。
図示するように、スクリーン100に投影される投影画像101は、直接光A(X)と散乱光B(X)を加えたものとされる。
これを式で表現すると、以下に示す式となる。
【0047】
【数1】
【0048】
H(X)は本来投影されるべき画像を画像Xとしたときに実際にスクリーン100に投影される投影画像101(投影画像Y)を導出するための伝達関数とされる。
【0049】
ここで、本来の画像Xが投影画像Yとして投影されるように、画像Xに補正を加えた画像X’がパネル10bから出力されるようにすることを考える。
このとき、画像X’がパネル10bから出力された場合の投影画像Y’は以下の式で表すことができる。
【0050】
【数2】
【0051】
ここで、画像Xに加える補正式を以下の式とする。
【0052】
【数3】
【0053】
補正式とプロジェクタ1の伝達関数Hを用いて投影画像Y’を示すと以下の式となる。
【0054】
【数4】
【0055】
即ち、投影画像Y’と本来の画像Xが一致することとなる。
補正式H−1(X)は、伝達関数Hの逆関数として適切に設定することで、実現可能である。補正式H−1(X)を「事後劣化補償関数」と記載する。
【0056】
<4.補正処理手順>

コントラスト低下を抑制するための補正処理(以降、コントラスト補正処理)の処理手順について、添付図を参照して説明する。
なお、説明を分かりやすくするために、本来の画像X、投影画像Yが縦5画素、横5画素とされた25画素で構成されている例を用いて説明する(図5参照)。
また、説明の際には、図示するように、各画素に番号を付して記載する。具体的には、最も左上に位置する画素を「画素px(0)」、その右隣の画素を「画素px(1)」と記載する。
【0057】
[4−1.伝達関数H(X)の算出]
散乱光について、散乱光の元となる画素を「散乱元画素」と記載し、散乱した結果影響を及ぼす画素を「散乱先画素」と記載する。例えば、散乱元画素px(0)から散乱先画素px(1)への散乱光と記載した場合には、スクリーン100上の画素px(0)へと投影されるべき光のうち、散乱した結果散乱光としてスクリーン100上の画素px(1)へ投影されてしまった一部分の光を示す。
【0058】
散乱光の成分について、散乱元画素と散乱先画素の座標に依存した係数を用いて線形近似することにより、以下の式を得る。
【0059】
【数5】
【0060】
ここで、y0は、直接光や散乱光として最終的にスクリーン100上の画素px(0)へ投影された光成分(輝度値)である。
ξ0,0はスクリーン100上の画素px(0)へ投影されるべき光のうち散乱せずにスクリーン100上の画素px(0)へと投影された光の比率を表した係数である。
ω0,1はスクリーン100上の画素px(1)へ投影されるべき光のうち散乱光としてスクリーン100上の画素px(0)へ投影された散乱光の比率を表した係数である。即ち、散乱元画素px(1)及び散乱先画素px(0)とされる。
0は、パネル10bにおける画素px(0)から出射される光である。即ち、本来の画像Xとして入力された画像信号のうち、画素px(0)に対応する成分である。
【0061】
上記の係数ξや係数ωは、レンズ設計シミュレータの光線追跡法などで算出可能である。
また、実機を用いて計測することも可能である。
伝達関数H(X)の各要素の計測する装置のブロック図について、図6を参照して説明する。
プロジェクタ部200はテストパターン生成部200aと投影部200bを備えている。プロジェクタ部200は、例えばプロジェクタ1(図1参照)やプロジェクタ1A(図2参照)とされる。投影部200bは、例えば、投影光学系10と信号処理部11を含んで構成されている。
テストパターン生成部200aは信号処理部11であってもよいし、プロジェクタ部200の外部に設けられていてもよい。
【0062】
カメラ部201は、撮像部201aと伝達関数係数算出部201bとを備えており、更に、直接光の係数ξと散乱光の係数ωが記憶される記憶部201cを備えている。
撮像部201aは、例えば撮像装置2や撮像装置2Aとされている。また、伝達関数係数算出部201bは、情報処理装置3や情報処理装置3Aとされている。
【0063】
投影部200bからスクリーン100に投影された投影画像101は、カメラ部201の撮像部201aによって撮像された後、伝達関数H(X)の係数(ξやω)の算出に用いられる。
プロジェクタ部200及びカメラ部201の具体的な処理内容について、図7を参照して説明する。
【0064】
まず、プロジェクタ部200は、25画素のうちの1画素のみを発光させたテストパターンを投影させるための処理を行う。発光させる画素は画素px(j)とする。
プロジェクタ部200は、ステップS101において、変数jに0を代入し、ステップS102で変数jが25未満であるか否かに応じた分岐処理を実行する。
変数jが25未満である場合、プロジェクタ部200は、ステップS103でx0〜x24を0で初期化し、ステップS104でxjに1を設定する処理を行う。
ステップS103及びS104の各処理を行うことにより、画素px(j)のみを発光させるテストパターン(xjのみ1とされたテストパターン)が設定される。
【0065】
プロジェクタ部200は、ステップS105でテストパターンを投影させる。
これにより、テストパターンとしての投影画像101がスクリーン100に投影される。
【0066】
次に、カメラ部201は、ステップS106で、投影画像101を撮像し画素ごとの輝度値を取得する。例えば、画素px(0)の輝度値はy0とされる。
カメラ部201は、係数ξや係数ωを算出するための処理を実行する。
具体的に、カメラ部201はステップS107で変数iに0を設定する処理を行う。変数iはこの後の処理で対象とされる画素(対象画素px(i)と記載)を示す変数である。この後の処理では、発光画素px(j)(=散乱元画素px(j))からの散乱光によって対象画素px(i)(散乱先画素px(i))に漏れてきた光量(輝度)を算出する。
【0067】
カメラ部201は、ステップS108で変数iと変数jが同じ値であるか否かを判定する。
変数iと変数jが異なる値である場合は、発光画素(画素px(j))と対象画素(画素px(i))が異なるということである。即ち、ステップS106で取得された輝度値は全てが散乱光による漏れ光ということである。
従って、カメラ部201はステップS109において、ステップS106で取得した輝度値yiを係数ωi,jに設定する。
【0068】
一方、変数iと変数jが同じ値である場合は、発光画素(画素px(j))と対象画素(画素px(i))が同じということである。即ち、ステップS106で取得された輝度値は、散乱光の成分だけでなく直接光の成分も含んでいる。
従って、カメラ部201はステップS110で係数ωi,j(=ωi,i=ωj,j)に仮の値として0を代入する。係数ωi,jの値は後の処理で適切に設定される。
【0069】
変数iと変数jに応じて係数ωi,jに値を設定した後、カメラ部201はステップS111で変数iに1を加算し、ステップS112で変数iが25未満であるか否かを判定する。
変数iが25未満である場合、カメラ部201は、ステップS108乃至S112の各処理を再度実行する。一方、変数iが25以上である場合、ステップS113の処理へと進む。
ステップS107乃至S112の各処理を変数iが25になるまで実行することで、変数jをある値に固定した場合における散乱光の係数ωi,jの各値が適切に設定される。但し、変数iと変数jが同じ場合については未設定であり、係数ωj,j(=ωi,i)の値は仮の値(0)とされている。
【0070】
ステップS113では、カメラ部201はωj,jに適切な値を設定する処理を行う。具体的には、周囲の画素の係数ωから画素px(j)に対する漏れ光の成分を算出する。
従って、例えば、変数jが0である場合、即ち、発光画素が画素px(0)であり且つ画素px(0)への漏れ光の成分を考える場合、周囲の画素px(1),画素px(5)(図5参照)に設定された散乱光の係数ω1,0、ω5,0の平均値を算出し、画素px(0)に対する漏れ光成分ω0,0として設定する。
また、例えば、変数jが2である場合、即ち、発光画素が画素px(2)であり且つ画素px(2)への漏れ光の成分を考える場合、周囲の画素px(1),画素px(4),画素px(7)(図5参照)に設定された散乱光の係数ω1,2、ω4,2、ω7,2の平均値を算出し、画素px(2)に対する漏れ光成分として設定する。
更に、例えば、変数jが6である場合、即ち、発光画素が画素px(6)であり且つ画素px(6)への漏れ光の成分を考える場合、周囲の画素px(1),画素px(5),画素px(7),画素px(11)(図5参照)に設定された散乱光の係数ω1,6、ω5,6、ω7,6、ω11,6の平均値を算出し、画素px(6)に対する漏れ光成分として設定する。
【0071】
続いて、カメラ部201はステップS114で、画素px(j)に対する直接光の係数ξj,jを設定する処理を行う。
具体的には、ステップS106で取得した画素px(j)に関する輝度値から、先のステップS113で設定した散乱光の成分(即ち係数ωj,j)を減算し、残った成分を直接光の成分として(即ち係数ξj,jとして)設定する。
【0072】
ステップS102乃至S114の処理を1回行うごとに、変数jがある値のときの散乱光の係数ω0,j〜ω24,jと直接光の係数ξj,jが設定される。従って、変数jが取り得る値の数だけステップS102乃至S114の各処理を繰り返すことにより、散乱光の係数ω0,0〜ω24,24及び直接光の係数ξ0,0〜ξ24,24の値が一通り設定される。
【0073】
そのために、カメラ部201はステップS115で変数jに1を加算し、ステップS102で変数jが25未満であるか否かを判定する。
変数jが25未満である場合は、ステップS103乃至S115の各処理を再度実行し、変数jが25に達した場合は、図7に示す一連の処理を終了する。
【0074】
図7に示す各処理を一度実行することにより、数5に示す伝達関数H(X)の各係数が算出される。
但し、伝達関数H(X)は、プロジェクタ1が投影する投影画像についてのズーム態様、シフト態様、フォーカス態様を決定するプロジェクタ1内の各レンズのレンズポジションに応じて変化するものである。
従って、レンズポジションごとに図7の処理を実行し、レンズポジションごとの伝達関数H(X)を算出する。
【0075】
[4−2.事後劣化補償関数H-1(X)の導出]
レンズポジションごとに算出したそれぞれの伝達関数H(X)に対する事後劣化補償関数H-1(X)の導出について説明する。
事後劣化補償関数H-1(X)の各要素をwと置くと、事後劣化補償関数H-1(X)は以下の式で表すことができる。
【0076】
【数6】
【0077】
ここで、事後劣化補償関数H-1(X)の各要素wを事後劣化補償係数と呼ぶことにする。
数6に示すように、図7に示す一連の処理で算出した係数ξと係数ωを含む行列についての逆行列を算出することにより、事後劣化補償係数wの算出が可能である。
【0078】
事後劣化補償係数wを算出する算出処理部300のブロック図を図8に示す。
算出処理部300は、カメラ部201によって算出された直接光の係数ξと散乱光の係数ωが記憶された記憶部201cから各係数を取得して事後劣化補償係数を算出する事後劣化補償係数算出部300aと、算出した事後劣化補償係数が記憶される記憶部300bとを備えている。
【0079】
算出処理部300は、図1に示す情報処理装置3であってもよいし、図2に示す情報処理装置3Aであってもよい。
また、図6に示すカメラ部201の一部として設けられていてもよいし、プロジェクタ部200の一部として設けられていてもよい。
【0080】
[4−3.画像信号に対する事後劣化補償関数の適用]
外部装置から送られてくる画像信号PSに対する事後劣化補償関数H-1(X)の適用について説明する。
本来の画像Xとして入力される画像信号PSの各画素の要素(x0〜x24)に対して、事後劣化補償関数H-1(X)を適用した場合の補正済み画像信号PS’の各画素の要素(x0'〜x24')は以下の式で表すことが可能である。
【0081】
【数7】
【0082】
このような補正済み画像信号PS’を入力した場合の投影画像Y’の各要素y0'〜y24'は、以下の式で表すことができる。
【0083】
【数8】
【0084】
数8に示すように、投影画像Y’は補正前の画像信号PSとして入力される本来の画像Xと一致することが分かる。
事後劣化補償関数を適用するプロジェクタ部200についてのブロック図を図9に示す。
【0085】
図9に示すように、プロジェクタ部200は、投影部200bと、事後劣化補償計算部200cと、係数選択部200dとを備えている。
係数選択部200dは、プロジェクタ1が備える各レンズのレンズポジションを取得し、事後劣化補償係数wが記憶されている記憶部300bからレンズポジションに応じた適切な事後劣化補償係数wを取得する。また、係数選択部200dは、レンズポジションを取得する代わりにレンズポジションを把握しているプロジェクタ1のCPU等の制御部から制御信号を受信し、それに応じて事後劣化補償係数wを取得してもよい。
【0086】
事後劣化補償計算部200cは、画像信号PSと事後劣化補償係数wから補正済み画像信号PS’を算出する。
【0087】
プロジェクタ部200は、前述したように、プロジェクタ1(図1参照)やプロジェクタ1A(図2参照)とされる。事後劣化補償計算部200c及び係数選択部200dは、プロジェクタ部200の外部に設けられていてもよい。また、プロジェクタ1、1Aが事後劣化補償計算部200c及び係数選択部200dを含むプロジェクタ部200を備えると共に、事後劣化補償係数wが記憶される記憶部300bを備えて構成されていてもよい。その場合には、図8に示す算出処理部300を含んでプロジェクタ1、1Aが構成されていてもよい。
【0088】
画像信号PSと事後劣化補償係数wから補正済み画像信号PS’を算出するためにプロジェクタ部200の係数選択部200d及び事後劣化補償計算部200cが行う処理について、図10を参照して説明する。
なお、補正済み画像信号PS’における各要素(x0'〜x24')を順に算出していく処理となるが、算出対象となる画素を「算出対象画素」とし、画素px(m)と記載する。また、一つの算出対象画素を算出する際には、各画素からの散乱光を足し込んでいく処理が必要となる。散乱光の元となる画素を前述と同様に「散乱元画素」とし、画素px(n)と記載する。
また、図10に示す処理は、一つのフレーム画像ごとに行われる処理である。従って、例えば1秒間に30回投影画像のフレーム更新が行われる場合は、図10に示す処理が1秒間に30回実行されることになる。
【0089】
プロジェクタ部200は、ステップS201で、事後劣化補償係数wi,jを取得する処理を行う。この処理は、前述のように、プロジェクタ1のレンズポジションに応じた適切なものを取得する。但し、事後劣化補償係数wが全てのレンズポジションごとに記憶されておらず間欠的に記憶されている場合には、記憶部300bに記憶されているレンズポジションの中から現在のプロジェクタ1のレンズポジションに最も近いレンズポジションを選択し、対応する事後劣化補償関数wを取得してもよい。また、現在のプロジェクタ1のレンズポジションに近いレンズポジションを複数選択し、線形補間を行うことにより適切な事後劣化補書係数wを算出して取得してもよい。
【0090】
次に、プロジェクタ部200は、ステップS202で、補正前画像信号PSの各画素要素(x0'〜x24')を取得する。
続いて、プロジェクタ部200は、変数mを0に初期化し(ステップS203)、変数mが25未満であるか否かを判定する処理を実行する。変数mは、これから補正処理の対象となる画素を特定するための変数として用いられる。
変数mが25未満である場合は、算出対象画素px(m)に対応する補正済み画像信号PS’の要素、即ちxm'を算出するための処理をステップS205以降で実行する。
【0091】
先ず、プロジェクタ部200はステップS205で変数sumを0に初期化する。変数sumは、各画素からの散乱光成分を足し込んでいく際に用いられる変数であり、最終的に散乱光成分が足し込まれた変数sumがxm'として算出される。
続いて、プロジェクタ部200はステップS206で変数nを0に初期化する。変数nは、散乱元画素を特定するために用いられる変数である。
【0092】
次に、プロジェクタ部200は、散乱光成分を足し込んでいく処理を実行する。具体的に、ステップS207で事後劣化補償係数wm,nと補正前画像信号PSの要素としてのxnの積を変数sumに足し込むことで変数sumを更新する。
プロジェクタ部200はステップ208で変数nに1を加算し、ステップS209で変数nが25未満か否かを判定する。変数nが25未満である場合、プロジェクタ部200はステップS207乃至S209の各処理を再度実行する。
即ち、変数nを1ずつ加算しながら25以上となるまで各画素の散乱光成分を足し込んでいく。なお、変数nが変数mと同じ値である場合には、事後劣化補償係数wが直接光の成分も含んでいるため、直接光の成分も足し込まれる(数6参照)。
【0093】
直接光及び散乱光の成分の足し込み処理を終えたプロジェクタ部200は、ステップS210で補正済み画像信号PS’の要素としてのxm'に変数sumを代入する処理を実行する。これにより、補正済み画像信号PS’の要素の一つが算出される。
【0094】
プロジェクタ部200はステップS211で変数mに1を加算し、再びステップS204の処理を実行する。即ち、変数mは0から24まで1ずつ加算されることにより、25回ステップS204乃至S211の処理が実行される。これにより、補正済み画像信号PS’の各要素(x0'〜x24')が算出される。
【0095】
最後に、ステップS204で変数mが25以上であると判定された後、プロジェクタ部200はステップS212で、補正済み画像信号PS’に基づく投影処理が実行される。これにより、スクリーン100には補正済みの投影画像Y’(=本来の画像X)が投影される。
【0096】
図11に、補正前画像信号PS(本来の画像X)と補正後画像信号PS’(補正を加えた画像X’)と投影画像Yと投影画像Y’の各輝度値[nit]のイメージ図を示す。
図示するように、補正前画像信号PS(図中細い実線)の高低差よりも投影画像Y(図中細い点線)の高低差の方が小さくなっている。これは、本来の画像Xを画像信号PSとして入力し、上記の補正を行わずに投影した場合の投影画像Yは、本来の画像Xよりもコントラストが低下していることを意味している。
これに対し、補正前画像信号PSを補正することにより、補正後画像信号PS’(図中太い実線)の高低差を補正前画像信号PS(図中細い実線)よりも大きくし、補正済みの投影画像Y’(図中太い点線)の高低差を本来の画像X(図中細い実線)の高低差と同程度としている。これは、本来の画像Xと補正済みの投影画像Y’が同程度のコントラストを有していることを意味している。即ち、コントラストの低下を補償できていることが分かる。
【0097】
<5.簡易化手法>
ここでは、上記で説明した補正処理についての簡易化手法について述べる。

[5−1.伝達関数H(X)の算出の簡易化]
前述の伝達関数H(X)の算出手法では、一つの画素のみを発光させるテストパターンを画素数分実行する例を説明した。具体的に、前述では、縦5画素、横5画素とされた25画素の例を用いたため、25回のテストパターンの生成、スクリーン100への投影、及び撮像が実行される。
ところが、縦2160画素、横3840画素に及ぶ4K画像に適用した場合、およそ800万回のテストパターンの生成、投影、撮像を行う必要がある。これには膨大な時間がかかるため、現実的ではない。
【0098】
そこで、本例では、伝達関数H(X)の算出についての簡易化を図る。
数5から任意の画素の輝度値ycに関する部分を抜き出したものが以下の式である。
なお、数5は縦5画素、横5画素とされた25画素の例で用いた式であるが、ここでは、画素px(0)〜画素px(max)を対象とした式へと変形している。
【0099】
【数9】
【0100】
ここで、散乱光は空間的に滑らかに広がっていると仮定すると、係数ωi,jは、散乱元画素px(j)と散乱先画素px(i)の距離di,jを用いて以下のように線形一次近似で表すことができる。
【0101】
【数10】
【0102】
上記の数10を用いて数9を書き直すと、以下の式が得られる。
【0103】
【数11】
【0104】
ここで、ucとvcの値を以下の様に置く。
【0105】
【数12】
【0106】
すると、数11は以下の式へと変形できる。
【0107】
【数13】
【0108】
このうち、ucとvcの値はテストパターンごとに算出される値であり、テストパターンによって一意に決定可能である。即ち、テストパターンを投影しなくても算出可能な値である。
従って、テストパターンを投影しないと算出できない未知数はξc,cとacとbcの三つとなる。即ち、ξc,cとacとbcを含む三つの式による連立方程式を解くことにより、未知数を算出することが可能である。
【0109】
例えば、10種類のテストパターンを用いて未知数ξc,c、ac、bcを算出する例を説明する。
10種類のテストパターンについて、図12を参照して説明する。
テストパターンTP1は、白色に発光する発光画素と黒色とされた非発光画素の割合が0:10となるようなパターンである。即ち全ての画素が非発光とされている。
テストパターンTP2は、白色に発光する発光画素と黒色とされた非発光画素の割合が1:9となるように外周部を発光させるパターンである。
テストパターンTP3は、白色発光画素と非発光画素の割合が2:8となるように外周部を発光させるパターンである。
同様に、テストパターンTP4(発光3:非発光7)、テストパターンTP5(発光4:非発光6)、テストパターンTP6(発光5:非発光5)、テストパターンTP7(発光6:非発光4)、テストパターンTP8(発光7:非発光3)、テストパターンTP9(発光8:非発光2)、テストパターンTP10(発光9:非発光1)とする。
【0110】
このような10種類のテストパターンをスクリーン100に投影させる。即ち、図7に示すステップS105において用いるテストパターンを上述の10種類のテストパターンから一つ選択する。次に、ステップS106乃至ステップS114の処理を選択テストパターンに対して実行する。
換言すれば、10種類のテストパターンを対象として、ステップS106乃至S114の各処理についてのループ処理を10回実行する。これによって、10個の式を得ることができる。これらの10個の式を用いて未知数ξc,c、ac、bcの算出を行う。
【0111】
ここで、更なる処理負担の軽減のための手法を説明する。ステップS107乃至ステップS112の処理では、変数iをインクリメントしながら画素数分ループさせる処理を行っている。しかし、上述の4K画像などの場合には、約800万回のループ処理が必要となる。
【0112】
そこで、例えば、先の例では画素px(i)とされた対象画素の代わりに、本簡易例では画素px(i)を含む複数の画素で構成されるサブ領域を対象領域Iとし、該対象領域Iの輝度値の平均値(平均輝度値yI)を算出する。ここで、今回は任意の画素px(c)を対象画素としているため、対象のサブ領域を任意の画素px(c)を含むサブ領域である対象領域Cとする。そして、対象領域Cで算出した平均輝度値yCは対象領域Cの代表値でもあるため、画素px(c)についての輝度値ycとみなすことができる。即ち、yc=yCが成り立つ。
次に、以下の式を導出する。
【0113】
【数14】
【0114】
c,10%は、10%の領域が発光画素とされたテストパターンTP2を用いて計測した輝度値である。また、uc,10%及びvc,10%の各値は、テストパターンTP2について予め算出可能な値である。なお、e10%は、誤差項を表している。
【0115】
数14として記載された10個の式からなる連立方程式を解くことにより、未知数である三つの値(ξc,c、ac、bc)の算出が可能である。
なお、最小二乗法を用いて算出することにより、三つの未知数をより正確に求めることができる。
【0116】
[5−2.画像信号に対する事後劣化補償関数の適用の簡易化]
数6で説明した事後劣化補償関数H-1(X)の各要素wは、対応する画素の位置が近ければ近い値とされている。
ここで、補正前画像信号PSに基づく画像(オリジナル画像)を複数のサブ領域に分割する。各サブ領域に基づく画像を縮小画像と記載する。
図13Aは、オリジナル画像を示したものであり、縦2160画素、横3840画素とされた約800万画素からなる画像である。画素は、画素px(0)〜画素px(G−1)までとされている。但し、G=2160×3840である。
【0117】
図13Bは、オリジナル画像をg個のサブ領域に分割したものであり、一つ一つのサブ領域は縮小画像とされている。縮小画像は、縮小画像S(0)〜縮小画像S(g−1)とされている。図13Bでは、g=25の例を示している。
【0118】
縮小画像S(k)の中の1画素である画素px(n)(即ちn∈k)の事後劣化補償係数wは、以下の式で近似することができる。
【0119】
【数15】
【0120】
ここで、Wc,kは、縮小画像に対応する事後劣化補償係数とみなす事ができる。また、Wc,kとXkとpを以下の式のように定める。
【0121】
【数16】
【0122】
数16を用いて数6を変形すると以下の式を得る。
【0123】
【数17】
【0124】
縮小画像についてのXiはIntegral Imageなどの手法を用いることにより高速に求めることが知られている。従って、ここで求めたΨc、Wc,kは、1+g個の係数と数17を用いることで、補正済み画像信号PS’の各画素の要素xi'を高速に算出することができる。
具体的には、4K画像では、画素ごとにG回(=約800万回)の積和演算が必要であるのに対し、本簡易化の手法を用いることにより、g+1回(=25回)の積和演算で求めることが可能である。
【0125】
<6.変形例>

本技術は、信号処理による散乱光によるコントラスト低下を抑制することが可能である。それ以外にも、ゴースト成分の抑制による画質改善を図ることや、混色の抑制(色再現性の向上)を図ることが可能である。
【0126】
また、それ以外にも、ドーム型などの湾曲面に画像を投影する場合における各種劣化を防止する用途で利用することも可能である。
更には、室内において光が反射することによって他の画素に投影されるべき光の成分が他の画素に影響を及ぼす場合においても、本技術を適用することが可能である。
また、例えばLCDのバックライトの反射など、散乱光が生じるディスプレイ全般に適用することも可能である。
【0127】
<7.まとめ>

以上に記載した実施の形態では、次のような効果が得られる。
実施の形態の信号処理装置(例えば、図1図2に示す信号処理部11を備えた装置であり、プロジェクタ1やプロジェクタ1Aであってもよい)は、画像投影部(投影部200b)に入力される画像入力信号(画像信号PS)に対して、画像投影部によって投影された投影画像101における画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用部(事後劣化補償計算部200c)を備えている。
より具体的に、信号処理装置は、画像投影部(投影部200b)によって投影された投影画像101における画像投影部の散乱光に基づく劣化を補償するための事後劣化補償係数を取得する係数取得部(係数選択部200d)と、画像投影部から投影光を出力させるために画像投影部に入力される画像入力信号(画像信号PS)に対して事後劣化補償係数を適用する補償係数適用部(事後劣化補償計算部200c)と、を備えている。
即ち、例えば散乱光が生じることに起因するコントラスト低下などを補償するような事後劣化補償係数が係数取得部によって取得され、補償係数適用部によって画像信号PSに対して適用される。
これにより、補償後の投影画像は適切なコントラストを有した画像となり、本来投影したい画像(本来の画像X)と同等の画像とすることが可能である。
【0128】
実施の形態における信号処理装置は、投影画像101についてのズーム態様、シフト態様、フォーカス態様を決定する画像投影部(投影部200b)が備えるレンズのレンズポジションに応じて、補償係数適用部(事後劣化補償計算部200c)が適用する事後劣化補償係数を選択する補償係数選択部(係数選択部200d)を備えている例を述べた。
レンズに起因する散乱光モデルは、レンズの位置が異なると異なるモデルとなる場合がある。信号処理装置がレンズポジションに応じた事後劣化補償係数を取得して適用することで、画像信号PSに対する最適な補正処理を実現することができ、投影画像101を最適なものとすることができる。
【0129】
実施の形態における信号処理装置の補償係数選択部(係数選択部200d)は、レンズポジションに応じて設けられた複数の事後劣化補償係数を用いて算出された事後劣化補償係数を選択してもよい。
例えば、プロジェクタが2倍のズーム態様を実現するためのレンズポジションと3倍のズーム態様を実現するためのレンズポジションの二通りのレンズポジションに応じた事後劣化補償係数は取得可能であるが、その中間である2.5倍のズーム態様を実現するためのレンズポジションに対応した事後劣化補償係数が取得不能である場合も考えられる。
このような場合に、本構成によれば、2倍のズーム態様とされたレンズポジションに対応した事後劣化補償係数と、3倍のズーム態様とされたレンズポジションに対応した事後劣化補償係数から、2.5倍のズーム態様とされたレンズポジションに対応した事後劣化補償係数が算出され、該算出された新たな事後劣化補償係数が補償係数選択部によって選択される。
これによって、全通りのレンズポジションに対応した事後劣化補償係数を取得可能な構成でなくてもよく、複数の事後劣化補償係数から新たな中間値としての事後劣化補償係数をを取得することによって、投影画像101の劣化が適切に補償される。
特に、レンズポジションに応じた複数の事後劣化補償係数をプロジェクタ1,1Aの内部に設けられた記憶領域に保存する使用態様においては、記憶される事後劣化補償係数の数を少なくすることができ、記憶領域の有効利用が図られる。更に、記憶領域が少なくても済むことにより、コスト削減に寄与することもできる
【0130】
実施の形態における信号処理装置においては、事後劣化補償係数を記憶する記憶部172を備えていてもよい。
事後劣化補償係数を記憶する記憶部172が信号処理装置に設けられていることにより、信号処理装置は事後劣化補償係数を取得するための通信が不要とされ、適切な事後劣化補償係数の取得を記憶部172から行うことができ、円滑な処理を行うことが可能とされている。
【0131】
実施の形態における信号処理装置は、事後劣化補償係数を算出するためのテストパターンを生成するテストパターン生成部200aを備えていてもよい。
テストパターン生成部200aを備えていることにより、外部からテストパターンを取得しなくてもよい。例えば、実施の形態の信号処理装置を備えたプロジェクタ1,1Aにおいて、事後劣化補償係数を工場や設置場所で予め算出して記憶部に記憶しておく場合を考える。即ち、実際の運用前に事後劣化補償係数を算出して記憶する調整工程を設ける。このような状況においては、テストパターン生成部200aをプロジェクタ1,1Aが備えていることにより、工場や設置場所での調整工程において外部の端末を必要としない。即ち、調整工程の簡易化が図られる。
【0132】
実施の形態における信号処理装置においては、テストパターンは、1画素のみを発光させる画像パターンとされていてもよい。
1画素のみを発光させた画像パターンを投影する作業を、発光画素を変えて画素数分行うことにより、最も強力な補正処理を実行可能な事後劣化補償係数を取得することが可能となる。例えば、調整工程などにおいて事後劣化補償係数の取得作業に大きな時間を割ける場合に有効である。
【0133】
実施の形態における信号処理装置においては、テストパターンは、投影画像101の外周部から所定割合の画素を発光させる画像パターンとされていてもよい。
例えば、図12を用いて説明したように、外周部から所定割合の画素を発光させるテストパターンについて、該所定割合を変えた複数種類のテストパターンを生成し、投影可能とされている。これによって、上述したような伝達関数H(X)の算出の簡易化を図ることが可能となる。
【0134】
実施の形態における信号処理装置の補償係数適用部(事後劣化補償計算部200c)は、散乱光の発生元となる散乱元画素px(j)と該散乱光の影響を受ける画素とされた散乱先画素px(i)の距離(di,j)に基づいた線形一次近似式を利用して算出された事後劣化補償係数を適用してもよい。
「伝達関数H(X)の算出の簡易化」の例で説明したように、例えば、4K画像(縦2160画素、横3840画素)においては、約800万回のテストパターンの投影、撮像を行うことが必要である。これに対し、上述の線形一次近似式を利用することにより、少なくとも三つのテストパターン投影、撮像を行うことにより、事後劣化補償係数を算出することが可能となる。
従って、事後劣化補償係数の算出に必要な時間の大幅な短縮を図ることができる。例えば、調整工程において、事後劣化補償係数を予め算出しておくような場合においては、調整工程の時間短縮が図られるため、コストの削減が図られる。
【0135】
実施の形態における信号処理装置の補償係数適用部(事後劣化補償計算部200c)は、投影画像101に含まれる全ての画素の輝度値を測定して算出された事後劣化補償係数の代わりに、特定の領域(対象のサブ領域)の輝度値を計測して算出される事後劣化補償係数を適用してもよい。
図7を用いて説明した「伝達関数H(X)の算出」の例では、全ての画素について輝度値を計測する必要があった。即ち、4K画像であれば、約800万回の輝度値の計測が必要である。
これに対し、「伝達関数H(X)の算出の簡易化」の例では、対象領域Cを対象として輝度値の平均値を算出することにより、伝達関数H(X)の算出が可能とされている。即ち、伝達関数H(X)から導出可能な事後劣化補償係数についても簡易的な手法で算出できるものとみなす事ができる。
従って、例えば調整工程において事後劣化補償係数を算出する場合には、調整工程の短縮化を図ることができる。
【0136】
実施の形態における信号処理装置の補償係数適用部(事後劣化補償計算部200c)は、画像入力信号(画像信号PS)の1フレームを投影画像において複数画素で構成されるサブ領域単位に分割し、サブ領域ごとに対応する事後劣化補償係数を適用してもよい。
これにより、「画像信号に対する事後劣化補償関数の適用の簡易化」の例で説明したように、4K画像については約800万回の積和演算が必要であるところを約25回の積和演算を行うことで補正済み画像信号PS’を算出することが可能となる。
即ち、信号処理装置を用いて画像信号PSを投影画像101として投影する場合に演算部171の処理負担の軽減が図られる。従って、演算部171の発熱の軽減が図られる。
また、秒間のフレーム更新回数が多い場合には、補正済み画像信号PS’を算出するための演算量が多くなり、場合によっては、該演算量の多さによって秒間のフレーム更新回数に制限を設けなくてはならない。
そのような場合であっても、本構成を用いて画像信号に対する事後劣化補償関数の適用の簡易化を図ることにより、制限の緩和を行うことが可能である。
【0137】
実施の形態における信号処理装置は、画像投影部(投影部200b)を備えることによりプロジェクタ装置(プロジェクタ1,1A)として機能する構成とされていてもよい。
画像投影部を備えることによりプロジェクタ装置とすることで、画像投影の際に補正済み画像信号PS’を生成する処理をプロジェクタ装置内で行うことができる。即ち、外部装置を必要とせずに実現可能である。また、事後劣化補償係数がプロジェクタ装置の内部の記憶領域に保存されることにより、事後劣化補償係数の取得処理についても外部装置に頼らずに済むため、プロジェクタ装置の運用環境について外部装置を用いることによる制限を設けなくて済む。
更に言えば、図2に示したように、撮像装置2,2Aや情報処理装置3,3Aをプロジェクタ装置が備える構成とすることにより、テストパターンの投影、撮像、事後劣化補償係数の算出を本プロジェクタ装置のみで行うことが可能となり、調整工程の最適化が図られる。
【0138】
実施の形態の信号処理装置においては、画像入力信号をXとし、投影画像101の伝達関数をH(X)とした場合に、事後劣化補償係数を要素とした事後劣化補償関数は伝達関数H(X)の逆関数とされていてもよい。
事後劣化補償係数を要素とした事後劣化補償関数が伝達関数H(X)の逆関数とされることにより、画像信号PSの投影画像101におけるコントラスト低下を補償するための事後劣化補償関数を適切に設定することが可能となる。
【0139】
実施の形態のプログラムは、画像投影部(投影部200b)に入力される画像入力信号(画像信号PS)に対して、画像投影部によって投影された投影画像における画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用処理を演算部171に実行させる。
また、実施の形態のプログラムは、画像投影部(投影部200b)によって投影された投影画像101における画像投影部の散乱光に基づく劣化を補償するための事後劣化補償係数を取得する係数取得処理を演算部171に実行させると共に、画像投影部から投影光を出力させるために画像投影部に入力される画像入力信号(画像信号PS)に対して事後劣化補償係数を適用する補償係数適用処理を演算部171に実行させるものであってもよい。
即ち、図10におけるステップS201乃至S211の各処理を演算部171に実行させるプログラムである。また、これらの処理は、画像信号に対する事後劣化補償関数の適用の簡易化で説明した各処理で代用可能である。
【0140】
このようなプログラムにより、上述した信号処理装置11の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
【0141】
尚、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0142】
<8.本技術>

本技術は以下のような構成も採ることができる。
(1)
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用部を備える
信号処理装置。
(2)
投影画像についてのズーム態様、シフト態様、フォーカス態様を決定する前記画像投影部が備えるレンズのレンズポジションに応じて、前記補償係数適用部が適用する前記事後劣化補償係数を選択する補償係数選択部を備えた
上記(1)に記載の信号処理装置。
(3)
前記補償係数選択部は、前記レンズポジションに応じて設けられた複数の前記事後劣化補償係数を用いて算出された事後劣化補償係数を選択する
上記(2)に記載の信号処理装置。
(4)
前記事後劣化補償係数を記憶する記憶部を備えた
上記(1)乃至(3)の何れかに記載の信号処理装置。
(5)
前記事後劣化補償係数を算出するためのテストパターンを生成するテストパターン生成部を備えた
上記(1)乃至(4)の何れかに記載の信号処理装置。
(6)
前記テストパターンは、1画素のみを発光させる画像パターンとされた
上記(5)に記載の信号処理装置。
(7)
前記テストパターンは、前記投影画像の外周部から所定割合の画素を発光させる画像パターンとされた
上記(6)に記載の信号処理装置。
(8)
前記補償係数適用部は、散乱光の発生元となる散乱元画素と該散乱光の影響を受ける画素とされた散乱先画素の距離に基づいた線形一次近似式を利用して算出された前記事後劣化補償係数を適用する
上記(1)乃至(7)の何れかに記載の信号処理装置。
(9)
前記補償係数適用部は、前記投影画像に含まれる全ての画素の輝度値を測定して算出された前記事後劣化補償係数の代わりに、特定の領域の輝度値を計測して算出される前記事後劣化補償係数を適用する
上記(1)乃至(8)の何れかに記載の信号処理装置。
(10)
前記補償係数適用部は、前記画像入力信号の1フレームを前記投影画像において複数画素で構成されるサブ領域単位に分割し、前記サブ領域ごとに対応する事後劣化補償係数を適用する
上記(1)乃至(9)の何れかに記載の信号処理装置。
(11)
前記画像投影部を備えることによりプロジェクタ装置として機能する
上記(1)乃至(10)の何れかに記載の信号処理装置。
(12)
前記画像入力信号をXとし、前記投影画像の伝達関数をH(X)とした場合に、
前記事後劣化補償係数を要素とした事後劣化補償関数は前記伝達関数H(X)の逆関数とされた
上記(1)乃至(11)の何れかに記載の信号処理装置。
(13)
前記事後劣化補償係数を取得する係数取得部を備えた
上記(1)乃至(12)の何れかに記載の信号処理装置。
(14)
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用手順を行う
情報処理装置の情報処理方法。
(15)
画像投影部に入力される画像入力信号に対して、前記画像投影部によって投影された投影画像における前記画像投影部の散乱光に基づく事後劣化補償係数を適用する補償係数適用処理を
情報処理装置に実行させるプログラム。
【符号の説明】
【0143】
1、1A…プロジェクタ、2、2A…撮像装置、3、3A…情報処理装置、10…投影光学系、10a…光源、10b…パネル、10c…投影レンズ、11…信号処理部、101…投影画像、172…記憶部、200…プロジェクタ部、200a…テストパターン生成部、200b…投影部、200c…事後劣化補償計算部、200d…係数選択部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
【国際調査報告】