特表-19187510IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-187510情報処理装置、情報処理方法、プログラム
<>
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000003
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000004
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000005
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000006
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000007
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000008
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000009
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000010
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000011
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000012
  • 再表WO2019187510-情報処理装置、情報処理方法、プログラム 図000013
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年10月3日
【発行日】2021年4月15日
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
   H04N 5/74 20060101AFI20210319BHJP
   G09G 5/00 20060101ALI20210319BHJP
   G09G 5/36 20060101ALI20210319BHJP
【FI】
   H04N5/74 D
   G09G5/00 X
   G09G5/00 510B
   G09G5/00 550C
   G09G5/36 510Z
【審査請求】未請求
【予備審査請求】未請求
【全頁数】25
【出願番号】特願2020-509695(P2020-509695)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年1月16日
(31)【優先権主張番号】特願2018-64441(P2018-64441)
(32)【優先日】2018年3月29日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】高橋 紀晃
【テーマコード(参考)】
5C058
5C182
【Fターム(参考)】
5C058BA05
5C058BA25
5C058BA27
5C058BA33
5C058EA02
5C058EA26
5C182AA02
5C182AA03
5C182AA04
5C182AB02
5C182AB08
5C182AC03
5C182AC13
5C182BA03
5C182BA04
5C182BA14
5C182BC01
5C182BC14
5C182BC22
5C182BC25
5C182CA01
5C182CA02
5C182CA12
5C182CA21
5C182CB03
5C182CB13
5C182CB14
5C182CC21
5C182CC24
5C182CC27
5C182DA70
(57)【要約】
撮像の際のアーティファクトにより投影画像のセンシング精度が悪化する。そこで撮像画像の現像を行う情報処理装置は、投影装置が投影するテストパターンに応じた補間方向情報を用いて補間処理を行う。即ちテストパターンの投影画像を撮像した画像信号に対して、取得した補間方向情報に応じた補間方向での画素情報の補間処理を行うようにする。これによりアーティファクトを抑え、センシング精度を向上させる。
【特許請求の範囲】
【請求項1】
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備えた
情報処理装置。
【請求項2】
前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、
前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行う
請求項1に記載の情報処理装置。
【請求項3】
前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えた
請求項2に記載の情報処理装置。
【請求項4】
前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報である
請求項1に記載の情報処理装置。
【請求項5】
前記補間処理部は、
前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、
前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う
請求項4に記載の情報処理装置。
【請求項6】
前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えた
請求項1に記載の情報処理装置。
【請求項7】
前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えた
請求項1に記載の情報処理装置。
【請求項8】
前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得する
請求項7に記載の情報処理装置。
【請求項9】
前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供する
請求項7に記載の情報処理装置。
【請求項10】
撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う情報処理方法。
【請求項11】
撮像された画像信号について補間処理を行う情報処理装置に、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は情報処理装置、情報処理方法、プログラムに関し、特に投影装置のキャリブレーションのためにおこなう投影画像の撮像・現像についての技術分野に関する。
【背景技術】
【0002】
液晶プロジェクタ等の投影装置により投影されたスクリーン上の画像を撮像装置(カメラ)で撮像し、その撮像された画像に基づいて投影装置のキャリブレーションを行う場合がある。
下記特許文献1には、投影画像の色ずれ量の検出のためにカメラで投影画像を撮像することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−6816号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、投影装置のキャリブレーション、例えば幾何補正等のために、投影画像における各画素の識別情報(例えば水平垂直方向の画素ナンバ)を撮像画像上で得たい場合がある。即ちスクリーン上の投影画像の各画素についての撮像された画像データ上の位置(対応点)を判定したい。
このために、所定のテストパターンを投影し、これを撮像・現像することで得られた撮像画像から、投影画像の画素位置を検出することがおこなわれる。
【0005】
ところが撮像の際の現像処理における補間処理によりアーティファクト(画像処理過程で発生するデータ誤りや信号歪み)が生じる場合がある。
通常、補間処理では撮像された画像から補間方向を検波し、適応的に補間方向を選択して補間処理を行う。補間を行うことで解像度の維持又は高解像度化ができるため、補間処理は高精細な画像撮像に適している。しかし補間方向の検波を誤るとアーティファクトが生じてしまう。例えば高周波のパターン画像などは方向検波に失敗しやすい。
このアーティファクトにより撮像画像の精度、即ち投影画像の画素位置の検出精度が悪化してしまい、精度のよいキャリブレーションの障害となることがある。
【0006】
そこで本技術は投影画像を撮像する際に、適切な補間処理が行われるようにし、もって投影画像の画素位置の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【0007】
本技術に係る情報処理装置は、投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備える。
このような本技術は、液晶プロジェクタ等の投影装置のキャリブレーションのためにテストパターンを投影し、それを撮像装置で撮像して、撮像画像上で投影画像の画素の対応点を検出する場合を想定している。撮像された画像信号は現像処理において補間処理が行われる。このときに個々のテストパターンに応じた補間方向で補間処理が行われるようにする。
【0008】
上記した本技術に係る情報処理装置においては、前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行うことが考えられる。
テストパターンは、複数枚のセットで、その撮像画像から投影画像の各画素の識別情報(例えば画素の水平・垂直方向のナンバ)を表現できるパターン画像とする。この場合、投影装置は各テストパターンを順次投影し、それを撮像(センシング)していくことになるが、情報処理装置は、各テストパターンの撮像の際にそれぞれに応じた補間方向情報に基づいて補間処理を行う。
【0009】
上記した本技術に係る情報処理装置においては、前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えることが考えられる。
テストパターンが、複数枚のセットでそれらの撮像画像から投影画像の各画素位置を表現できるパターン画像である場合、その複数枚の撮像画像(現像した画像信号)を用いて各画素の識別情報を求める。
【0010】
上記した本技術に係る情報処理装置においては、前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報であることが考えられる。
テストパターンは、例えば水平方向にストライプ状となったパターン画像や、垂直方向にストライプ状となったパターン画像を想定する。この場合、画素の信号値の相関性のある方向(相関方向)は、水平方向にストライプ状となったパターン画像の場合は水平方向で、垂直方向にストライプ状となったパターン画像の場合は垂直方向である。補間方向情報はこのような相関方向を示す情報とする。
【0011】
上記した本技術に係る情報処理装置においては、前記補間処理部は、前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行うことが考えられる。
つまり画素の相関性のある方向が垂直方向か水平方向かを認識して、それに応じて垂直補間処理又は水平補間処理を行う。
【0012】
上記した本技術に係る情報処理装置においては、前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えることが考えられる。
ノイズリダクションのための平滑化に関しても、画素の相関性のある方向の画素間で行うようにすることで、情報のつぶれが生じないようにすることができる。
【0013】
上記した本技術に係る情報処理装置においては、前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えることが考えられる。
これにより補間処理部がテストパターンに応じた補間情報を取得できるようにする。
上記した本技術に係る情報処理装置においては、前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得することが考えられる。
例えば投影装置が、投影するテストパターンに応じて補間方向情報を生成し、情報処理装置に送信してくるようにする。
【0014】
上記した本技術に係る情報処理装置においては、前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供することが考えられる。
例えば投影装置の情報として、投影画像の輝度情報、フォーカス情報、機種情報などを取得するようにする。
【0015】
本技術に係る情報処理方法は、撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う。
本技術に係るプログラムは、上記情報処理方法を実現する処理を、撮像された画像信号について現像処理を行う情報処理装置に実行させるプログラムである。
これにより情報処理装置により適切な方向での補間処理が行われるようにする。
【発明の効果】
【0016】
本技術によれば、投影されるテストパターンに応じた適切な補間方向で補間処理が行われるようになり、これによりアーティファクトを発生させず、投影画像の画素位置の検出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0017】
図1】本技術の実施の形態の投影システム構成例の説明図である。
図2】実施の形態の投影システム構成例の説明図である。
図3】実施の形態のプロジェクタ、撮像装置及び情報処理装置のブロック図である。
図4】実施の形態の情報処理装置のハードウエア構成のブロック図である。
図5】実施の形態で行われる画素位置検出のためのテストパターン投影の説明図である。
図6】実施の形態で行われるテストパターンのセンシングの説明図である。
図7】補間処理のエラーによるアーティファクトの説明図である。
図8】実施の形態の垂直補間と水平補間の説明図である。
図9】実施の形態による現像画像の説明図である。
図10】実施の形態の効果を示す説明図である。
図11】実施の形態の処理のフローチャートである。
【発明を実施するための形態】
【0018】
以下、実施の形態を次の順序で説明する。
<1.投影システムの構成例>
<2.テストパターンを用いた画素位置の検出の際の補間処理>
<3.処理手順>
<4.まとめ及び変形例>
【0019】
<1.投影システムの構成例>
実施の形態の投影システムについて説明する。
実施の形態の投影システムは、例えば図1Aのようにプロジェクタ1、撮像装置2、情報処理装置3を有する。
【0020】
プロジェクタ1は投影装置の一例としての例えば液晶プロジェクタである。プロジェクタ1は投影光学系10を備え、スクリーン100に画像投影を行う。
撮像装置2は撮像素子を備えて画像撮像が可能とされた機器である。撮像装置2はスクリーン100に投影された画像を撮像可能に配置される。この撮像装置2としては一般的なデジタルスチルカメラを用いてもよいし、この投影システムに専用のカメラを用いてもよい。
この撮像装置2は必ずしも固定配置されている必要はない。特に後述するテストパターンの撮像の際など必要なときに設置されるものでもよい。
【0021】
情報処理装置3は、撮像装置2の撮像素子で撮像された撮像画像信号(ロウ(RAW)画像信号)に対する現像処理を行う装置として示している。
この図1Aの構成例の場合、情報処理装置3は撮像装置2に内蔵される部位としている。例えば撮像装置2の撮像素子により得られた撮像画像信号が入力され、現像処理を行う画像信号処理プロセッサが情報処理装置3となる。従って情報処理装置3は、例えば画像処理プロセッサとして機能するマイクロコンピュータ、CPU(Central Processing Unit)、或いはDSP(Digital Signal Processor)等を含む部位として実現される。
後述するように情報処理装置3は、少なくともプロジェクタ1から情報を取得する情報取得部(図3の現像情報取得部25)と補間処理を含む現像処理を行う現像処理部(図3の現像部23)を備えた装置となる。
【0022】
この図1Aの構成の場合、プロジェクタ1と撮像装置2(情報処理装置3)は通信可能に接続され、情報の送受信が可能とされる。
情報処理装置3によっては、現像した撮像画像データから投影画像の画素の位置情報をデコードする処理を行う。この情報を用いてプロジェクタ1のキャリブレーションを行うことができる。
【0023】
投影システムのプロジェクタ1、撮像装置2、情報処理装置3の構成例は、図1Aの例に限らず、例えば図1B図2A図2Bのような構成例も想定される。
【0024】
図1Bの場合、情報処理装置3は撮像装置2に内蔵された装置であるとともに、撮像装置2はプロジェクタ1に内蔵された例である。即ちプロジェクタ1、撮像装置2、情報処理装置3が一体的な装置として構成されている。
【0025】
図2Aは、プロジェクタ1、撮像装置2、情報処理装置3がそれぞれ別体の装置として構成される例を示している。
撮像装置2は、例えば撮像素子により得た撮像画像信号(ロウ画像信号)を情報処理装置3に送信する。
情報処理装置3は、撮像装置2から供給される撮像画像信号に対する現像処理を行う。
情報処理装置3はプロジェクタ1と通信可能とされている。
【0026】
図2Bは、撮像装置2、情報処理装置3がプロジェクタ1に内蔵された例であるが、撮像装置2とされる部位とは別に情報処理装置3とされる部位が設けられる例である。例えばプロジェクタ1内の撮像ユニットとして信号処理系を含む撮像装置2が設けられるが、本実施の形態としての機能を有する情報処理装置3は、他のマイクロコンピュータなどとしてプロジェクタ1に内蔵されるような例である。この情報処理装置3は、例えばプロジェクタ1の投影動作制御系のマイクロコンピュータなどとして実現されることもある。
【0027】
以上の各例のように、プロジェクタ1、撮像装置2、情報処理装置3を有する投影システムの構成例は各種考えられる。
以下では、図1Aの構成例に沿って詳細を説明するが、その説明は他図1B図2A図2Bのような構成の場合にも適用できるものである。
【0028】
図3にプロジェクタ1、撮像装置2、情報処理装置3の構成例を示す。
プロジェクタ1は、投影光学系10、画像信号処理部11、画像入力部12、テストパターン発生部13、制御部14、現像情報生成部15、通信部16を有する。
【0029】
画像入力部12は、画像ソースとなる外部装置からの画像信号PSを入力する。画像入力部12は画像信号PSを各画像信号処理部11に供給する。
画像信号処理部11は、入力された画像信号PSに対し、各種補正処理、ガンマ処理、色処理、輝度処理、コントラスト調整、シャープネス調整、表示画像を作るための入力画像の切り出し、拡大・縮小等の各種処理を行い、R(赤)、G(緑)、B(青)の画像信号を投影光学系10に供給する。
なお、画像信号処理部11での補正処理としては、幾何補正、位置ずれ補正、レンズボケ補正等としての補正フィルタ処理が含まれる。これにより、各種補正された画像信号としてのR信号、G信号、B信号が投影光学系10に供給される。
【0030】
投影光学系10は、例えば光源部、光変調部、投影レンズ系等を有し、R、G、Bの画像信号に基づいて画像投影を行いスクリーン100に画像を表示させる。
例えば投影光学系10における光源部としては、LED(Light Emitting Diode)、レーザー光源、キセノンランプ、水銀ランプ等の各種の光源が考えられる。
投影光学系10における光変調部としては、一例としてR、G、Bの液晶ライトバルブが想定される。即ち投影光学系10では、画像信号処理部11からのR、G、Bの画像データを受け、これにより液晶駆動信号としてのR画像信号、G画像信号、B画像信号を生成し、R、G、Bの液晶ライトバルブに供給して、赤色画像、緑色画像、青色画像を表示させる。
投影光学系10内では、光源部からの光がR光、G光、B光に分離され、それぞれがR、G、Bの液晶ライトバルブを通過することで、赤色画像、緑色画像、青色画像の投影光が形成される。これらが合成されて、投影レンズ系から投射されることで、カラー画像がスクリーン100に投影表示されることになる。
投影レンズ系では、このような投射を行うとともに、投影画像のフォーカス調整、画像サイズ調整、投影角度調整等も可能とされている。
なお、以上は透過型液晶プロジェクタとしての構成例となるが、反射型液晶プロジェクタとしての構成も考えられる。
【0031】
テストパターン発生部13は後述するテストパターンTPとしての画像信号を発生させる。テストパターンとしての画像信号は画像信号処理部11で処理される。そして投影光学系10によってテストパターン画像が投影される。
このテストパターンTPは、プロジェクタ1のキャリブレーションのための投影画像であり、プロジェクタ1による投影画像の画素位置の検出のために撮像装置2によって撮像される投影画像である。
特に本実施の形態の場合、テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされている。テストパターンTPの具体例は後述する。
【0032】
現像情報生成部15は、投影表示するテストパターンの別や、制御部14の指示に基づいて、現像情報を生成する。
現像情報とは、情報処理装置3における現像処理に利用できる情報であり、この現像情報には、補間方向情報が含まれる。詳細は後述する。
【0033】
通信部16は、情報処理装置3の通信部26との間で各種のデータや制御信号の通信を行う部位である。通信方式は有線通信であってもよいし、無線通信であってもよい。また、図1B図2Bのようにプロジェクタ1と情報処理装置3が一体装置内であれば、装置内の配線による通信であればよい。
【0034】
制御部14はプロジェクタ1の動作制御を行う。例えば画像信号処理部11における各種処理の制御、投影光学系10における液晶パネルやレンズ動作の制御、テストパターン発生部13によるテストパターン発生制御、現像情報生成部15に対する情報生成指示、通信部16を介した通信の制御などを行う。
【0035】
撮像装置2は撮像部21、制御部22、現像部23、撮像画像デコード部24、現像情報取得部25、通信部26、格納部27を有する。
この図3の例では、制御部22、現像部23、撮像画像デコード部24、現像情報取得部25、通信部26、格納部27を含む部分を情報処理装置3としているが、これは一例である。
【0036】
撮像部21は、撮像のためのレンズ系や、被写体光を光電変換して撮像画像信号を出力する撮像素子(イメージャ)を有する。
撮像部21により図1A等に示したスクリーン100に投影された投影画像が撮像され、その撮像画像信号が現像部23に供給される。
【0037】
制御部22は撮像部21による撮像動作を制御する。
また制御部22は、例えば通信部26を介したプロジェクタ1との通信により検知されるタイミングで撮像部21の撮像動作を実行させるような制御も可能とされる。例えばプロジェクタ1のキャリブレーションのためにテストパターンの投影を行っているタイミングで撮像装置2が自動的に撮像を行うように撮像部21の画角、撮像方向、レリーズタイミング等を制御するようにもできる。
さらに制御部22は、現像部23の処理,格納部27の記憶再生、撮像画像デコード部24の処理、現像情報取得部25の処理の指示も行う。
【0038】
現像部23は、撮像部21の撮像素子により得られた撮像画像信号(ロウ画像信号)に対して現像処理を行う。
具体的には現像部23は例えば、DSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。そして現像部23は、撮像素子からの撮像画像信号に対して、前処理部、YC処理、補間処理、記録用や通信用の符号化としてのコーデック等を行って、現像された画像データを生成する。
特に図3では、現像部23において補間処理を行う補間処理部23aを示しているが、この補間処理部23aはテストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う。
なお、補間処理部23aは、必ずしも現像部23内に設けられなくてもよく、現像部23を構成するプロセッサ等とは別体のプロセッサ等により形成されてもよい。
【0039】
格納部27は現像された画像データを格納する。例えば多数のテストパターンが順次投影されるような場合、各テストパターンの投影画像を撮像した画像データがそれぞれ格納される。
【0040】
撮像画像デコード部24は、多数のテストパターンの撮像画像データに基づいて、投影画像の各画素の位置情報(水平垂直方向の画素ナンバ)のデコードを行う。このデコード処理による位置情報Ddcは、プロジェクタ1のキャリブレーションに用いられる。
【0041】
通信部26はプロジェクタ1の通信部16に対応する通信部である。
現像情報取得部25は、プロジェクタ1から送信され通信部26により受信された情報のうちで、現像処理に用いることのできる現像情報を抽出し取得する。この現像情報には補間方向情報が含まれる。現像情報取得部25が取得した現像情報により、現像部23や撮像画像デコード部24の動作が制御される。
【0042】
本実施の形態では、例えば以上のような機能を備えたプロジェクタ1、撮像装置2、情報処理装置3が構成される。
なお、補間処理部23aを少なくとも含む情報処理装置3、或いはさらに現像部23や現像情報取得部25とを含む情報処理装置3は、撮像装置2の内部に構成される他、図2Aのように別体の装置とされてもよい。
その場合、情報処理装置3は汎用のパーソナルコンピュータを用いて実現してもよい。さらにはスマートフォン等の携帯端末装置を用いて実現することもできる。いずれにしても情報処理装置3は演算処理能力を持つ装置であれば適用可能であり、内部のマイクロコンピュータ等の演算装置が所定のソフトウエアに基づいて処理を行うことで、少なくとも補間処理部23aとしての機能、或いはさらに現像部23や現像情報取得部25としての機能を実行できるものとされればよい。
なお、情報処理装置3は、例えばプロジェクタ1とオンラインで常時接続されても良いし、通常時はオフラインの装置とされて、プロジェクタ1と時限的な通信を行うものでもよい。
【0043】
情報処理装置3は、例えば図4のようなハードウエア構成で実現することができる。
図4に示すように情報処理装置3は、CPU151、ROM(Read Only Memory)152、RAM(Random Access Memory)153を有して構成される。
CPU151は、ROM152に記憶されているプログラム、または記憶部159からRAM153にロードされたプログラムに従って各種の処理を実行する。RAM153にはまた、CPU151が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU151、ROM152、およびRAM153は、バス154を介して相互に接続されている。このバス154にはまた、入出力インタフェース155も接続されている。
【0044】
入出力インタフェース155には、液晶パネル或いは有機EL(Electroluminescence)パネルなどよりなるディスプレイ156、キーボード、マウスなどよりなる入力部157、スピーカ158、HDD(Hard Disk Drive)などより構成される記憶部159、通信部160などが接続可能である。
【0045】
ディスプレイ156は情報処理装置3と一体でも良いし別体の機器でもよい。例えば撮像画像の表示、演算結果の表示、操作メニュー表示などが行われる。
入力部157は、情報処理装置3を使用するユーザ(例えば投影システムの調整作業者)が用いる入力デバイスを意味する。
通信部160は周辺各部の機器との間の有線又は無線による通信を行う。通信部160はインターネットを含むネットワークを介しての通信処理を行うことで、例えば必要なソフトウエアをダウンロードしたり、各種情報を送信したりすることができるようにしても良い。
【0046】
入出力インタフェース155にはまた、必要に応じてドライブ161が接続され、ドライブ161にメモリカード162が装着され、メモリカード162から読み出されたコンピュータプログラムが、必要に応じて記憶部159にインストールされたり、CPU151で処理したデータが記憶される。もちろんドライブ161は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
【0047】
以上のように情報処理装置3は、コンピュータ装置としてのハードウエア構成を備える。
なお、実施の形態の情報処理装置3は、図4のようなハードウエア構成のコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN(Local Area Network)等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
この図4のような構成のコンピュータ装置は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらにはコンピュータ装置としての機能を有する専用装置、モニタ装置、設備管理装置等の電子機器でも、本実施の形態の情報処理装置3としての機能を搭載することができる。例えば図2Aのように情報処理装置3が撮像装置2と別体とされる場合は、これらの装置により本実施の形態の情報処理装置3が実現できる。
また図1A図1B図2Bの構成の場合、情報処理装置3は、例えば図4のCPU151、ROM152、RAM153、入出力インタフェース155を少なくとも備え、入出力インタフェース155を介して撮像装置2やプロジェクタ1と情報の授受を行うようにすれば良い。
【0048】
<2.テストパターンを用いた画素位置の検出の際の補間処理>
上記の構成の本実施の形態の投影システムにおけるテストパターンを用いた画素位置の検出、及び検出のための現像の際の補間処理について説明する。
【0049】
まず図5により、投影画像の画素位置の検出のためのテストパターンについて説明する。
図5Aは、投影画像として例えば水平4096画素×垂直2160画素の構成を模式的に示している。画素数は一例である。
例えばこのような投影画像の各画素について、撮像画像から投影位置を検出するには、撮像画像から各画素の識別情報が検出できればよい。例えば画素の水平・垂直のナンバが検出できればよい。
仮に図5Aの画素数の場合、水平方向の画素ナンバ0〜4095に関しては、「000000000000」〜「111111111111」の12ビットで表現できる。また垂直方向の画素ナンバ0〜2159に関しては「000000000000」〜「100001101111」の12ビットで表現できる。
【0050】
そこで、例えば水平方向、垂直方向とも、12ビットを表現できる12個のテストパターンTPを用意する。
図5Bは水平方向の画素ナンバ検出のためのテストパターンTPh1〜TPh12を示している。
まずテストパターンTPh1は、水平方向の画素ナンバ0〜4095としての「000000000000」〜「111111111111」のMSB(most significant bit:最上位ビット)を集めた画像である。
つまり各画素の水平ナンバのMSBを「000・・・000111・・・111」と4096個並べ、「0」を白、「1」を黒とした画像である。左側半分の画素はMSBが「0」、右側半分の画素はMSBが「1」なので、図のように白黒が左右に分かれた画像となる。
【0051】
次にテストパターンTPh2は、同じく水平方向の画素ナンバ「000000000000」〜「111111111111」の上位から2番目のビット(説明上「2SB」(2nd significant bit)と表記する)を集めた画像である。図のように左右に1/4の画素数毎に白/黒/白/黒が分かれた画像となる。
テストパターンTPh3、TPh4・・・TPh11は図示していないが、同様に、3番目のビット、4番目のビット・・・11番目のビットが並べられたパターンとなり、徐々に垂直方向のストライプが狭くなっていくような画像となる。
最後のテストパターンTPh12は、水平方向の画素ナンバ「000000000000」〜「111111111111」のLSB(least significant bit:最下位ビット)を集めた画像である。これは「010101・・・0101」というように、1画素毎に白/黒が変わる、最も細かい垂直ストライプの画像となる。
【0052】
図5Cは垂直方向の画素ナンバ検出のためのテストパターンTPv1〜TPv12を示している。これも上記の水平方向と同様の考え方で形成された画像パターンとなる。
テストパターンTPv1は、垂直方向の画素ナンバ0〜2159としての「000000000000」〜「100001101111」のMSBを集めた画像である。
テストパターンTPv2は、垂直方向の画素ナンバ「000000000000」〜「100001101111」の2SBを集めた画像である。
テストパターンTPv3、TPv4・・・TPv11は図示していないが、同様に、3番目のビット、4番目のビット・・・11番目のビットが並べられたパターンとなり、徐々に水平方向のストライプが狭くなっていくような画像となる。
最後のテストパターンTPv12は、垂直方向の画素ナンバ「000000000000」〜「100001101111」のLSBを集めた画像である。これは「010101・・・0101」というように、1画素毎に白/黒が変わる、最も細かい水平ストライプの画像となる。
【0053】
このように計24個のテストパターンTPを用意する。
そして図6に模式的に示すように、これらのテストパターンTPを順番にスクリーン100に投影する。投影画像90はテストパターンTPの画像となる。
この投影画像90を撮像装置2で撮像し、情報処理装置3で現像処理を行って撮像画像データ91を得る。
プロジェクタ1による投影画像には幾何的な歪みが生じ、また撮像装置2が必ずしも完全に正対して撮像できるものではなく、さらには光学系の歪みもあるため、撮像した画像は完全には元のテストパターンTPと同形状とはならない。
そこで投影画像90の各画素について、撮像画像データ91上での位置検出を行うことで、対応がとれるようにする。
プロジェクタ1及び撮像装置2の位置関係や調整状態を同一の状態としたまま、上記の24個のテストパターンの投影及び撮像を行うと、24枚の撮像画像データ91が得られる。各撮像画像データ91には、テストパターンTPの画像92が同一の形状で写されている。
【0054】
ここで、12個の水平方向の位置検出用のテストパターンTPh1〜TPh12のそれぞれの白/黒のパターンをデコードすることで、0〜4095の値が検出できる。つまり水平方向の画素位置が、撮像画像データ91上でどの位置にあるかが検出できる。
同様に、12個の垂直方向の位置検出用のテストパターンTPv1〜TPv12のそれぞれの白/黒のパターンをデコードすることで、0〜2159の値が検出できる。つまり垂直方向の画素位置が、撮像画像データ91上でどの位置にあるかが検出できる。
これを組み合わせれば、投影画像の全ての画素の撮像画像データ91上での位置(対応点)が検出できることになる。
このように投影画像の各画素の位置を撮像画像データ91上で対応づけられることで、撮像画像データ91を用いたキャリブレーションを正確に行うことができる。
【0055】
ところが以上は、MSBからLSBまでのテストパターンTPが正しく表現された撮像画像データ91が得られることが前提となる。
実際には、撮像時のアーティファクトによるセンシング精度の悪化が生じる。
現像処理の際には、撮像された画像から補間方向を検波し、適応的に補間方向を選択して補間処理を行うことで、解像度の維持又は高解像度化を実現する。補間処理を行わなければセンシング精度が低下するためである。
ところが補間方向の検波を誤るとアーティファクトが生じてしまう。特にLSB用のテストパターンTPv12、TPh12のような一様の高周波のパターン画像などは方向検波に失敗しやすい。
図7には補間処理のエラーを模式的に示している。例えば図7Aはベイヤー配列の画素において、中央のR(赤)画素に足りない「B(青)」と「G(緑)」の成分を周囲の画素から補間する補間処理を示している。
この場合、例えば図7Bのような高周波パターンに対して補間処理を行うと、図7Cのようにモアレ、色偽が発生する。
LSB用のテストパターンTPv12、TPh12は、画素毎に0,1を繰り返すパターンとなるが、白/黒のパターンを1つ間違えると、隣の画素のナンバになってしまう。
このように補間処理のエラーにより、検出される画素位置の精度が悪化してしまい、精度のよいキャリブレーションの障害となることがある。
【0056】
そこで本実施の形態では、情報処理装置3は、現像情報取得部25がプロジェクタ1からテストパターンTP毎の現像情報を受信する。そして現像部23においては、各テストパターンTPの撮像画像の現像処理の際に、受信した現像情報に基づいた処理が行われるようにする。具体的には、現像部23における補間処理部23aは、受信した現像情報に含まれる補間方向情報に基づいて、補間方向が決められるようにする。
例えばプロジェクタ1は、垂直方向に相関のある図8AのようなテストパターンTPh12を投影する場合に、その垂直方向が相関方向であり、適切な補間処理方向であることを示す情報を生成し、情報処理装置3に送信する。情報処理装置3は、その補間方向情報を取得することで、撮像画像に対して図8Bに示す垂直補間を行う。即ち対象画素に対して垂直方向に隣接する2つの画素(又は垂直方向に並ぶ3以上の画素でもよい)を用いて補間処理を行う。
同様にプロジェクタ1は、水平方向に相関のある図8CのようなテストパターンTPv12を投影する場合に、その水平方向が相関方向であり、適切な補間処理方向であることを示す情報を生成し、情報処理装置3に送信する。情報処理装置3は、その補間方向情報を取得することで、撮像画像に対して図8Dに示す水平補間を行う。即ち対象画素に対して水平方向に隣接する2つの画素(又は水平方向に並ぶ3以上の画素でもよい)を用いて補間処理を行う。
【0057】
このように現像部23でテストパターンTPの相関情報に従って適応的に補間方向を切り替える。
これにより高解像度の情報取得を行うことができ、それにともなってプロジェクタ投影画像の座標を高精度に算出することができる。
例えば図9AのテストパターンTPの撮像を行い現像した撮像画像データ91を図9Bに示している。この図9Bの破線領域95の拡大図を図9C図9Dに示している。図9Cは本実施の形態の例で、補間方向情報に基づいて補間処理を行った場合、図9Dは比較例として図7Aのような均等補間を行った場合である。
比較例の図9Dの場合、テストパターンTPにおけるストライプがつぶれてしまっているが、本実施の形態の図9Cの場合、ストライプパターンが正確に現像できている。
【0058】
また、現像部23ではノイズリダクション処理を行う場合もある。ノイズリダクション処理では、周囲の画素間で平滑化を行うことでノイズを低減する。
この場合にも、相関方向を示す補間方向情報に従って、その相関方向に平滑化処理を行うことで、ディテールを失うことなくノイズを低減することができる。
【0059】
図10は、実施の形態のように補間処理を行うことによるセンシング精度向上を比較例と比較したものである。
比較例は均等に補間を行った場合、実施の形態は図8のような垂直補間と水平補間を適応的に行った場合である。
説明の簡易化のため、座標系はC1列に示した一次元で扱う。
位置情報のセンシングでは、撮像画像上の座標(C1列)に対して、プロジェクタ1による投影画像の座標系の座標(C2列)が対応する。
投影画像の座標系の真値は小数精度である。
プロジェクタ1から座標情報を2進数化したデータ(テストパターンTP)を投影し、センシングしたデータを比較例手法で得たビットデータ(C3列〜C6列)、および実施の形態で得たビットデータ(C9列〜C12列)を示している。
【0060】
比較例の手法では、最下位のビット(C6列)のデータが暴れているために、C3列〜C6列のビットデータを2進数→10進数デコードした座標値(C7列)は正解(C2列)との誤差(C8列)が大きい。C8列下方に示した誤差二乗和は13.96となっている。
一方、実施の形態の手法では、最下位のビット(C12列)のデータが安定的に求まるため、C9列〜C12列のビットデータを2進数→10進数デコードした座標値(C13列)は正解(C2列)との誤差(C14列)が小さい。C14列下方に示した誤差二乗和は1.33と小さい値となっている。
このように、実施の形態の補間手法を用いることで、センシング精度が格段に向上している。
【0061】
<3.処理手順>
実施の形態の図3の構成例におけるプロジェクタ1、撮像装置2(情報処理装置3を含む)の処理例を図11に示す。
図11では左側にプロジェクタ1の処理、右側に撮像装置2及び情報処理装置3の処理を示している。
テストパターンTPとして図5B図5Cで説明した12個のテストパターンTPh1〜TPh12、TPv1〜TPv12を用いる場合で説明する。
【0062】
プロジェクタ1の処理では、ループ処理LP1として水平方向の処理と垂直方向の処理を行う。さらにループ処理LP1内でのループ処理LP2として、水平垂直の各方向で12回づつステップS101〜S104を行うことになる。
【0063】
例えばまずループ処理LP1の1回目として水平方向の位置検出のための投影を行う。この場合、ループ処理LP2としての12回の処理で、テストパターンTPh1〜TPh12を順次投影していく処理を行う。
次にループ処理LP1の2回目として垂直方向の位置検出のための投影を行う。この場合、ループ処理LP2としての12回の処理で、テストパターンTPv1〜TPv12を順次投影していく処理を行う。
【0064】
プロジェクタ1の制御部14は、まずステップS101ではテストパターン選択を行う。つまり、上記の順番でテストパターンTPを選択し、テストパターン発生部13に、選択したテストパターンTPの出力を指示する。
ステップS102で制御部14は、画像信号処理部11及び投影光学系10による、テストパターン投影を実行させる。
【0065】
ステップS103で制御部14は情報送信制御を行う。
制御部14はテストパターンTPを投影したこと示す情報を撮像装置2に送信する。つまり撮像装置2にとっての撮像タイミングを通知する情報である。
またことのとき制御部14は、ステップS101で選択したテストパターンTPに応じて、相関方向に応じた補間方向情報を含む現像情報を、現像情報生成部15に生成させ、通信部16から情報処理装置3に送信させる。
【0066】
なおループ処理LP1として水平方向処理が行われている期間における12回のループ処理LP2では、垂直ストライプ画像であるテストパターンTPh1〜TPh12が順次選択されて投影されるため、その期間は継続して相関方向は垂直方向である。従ってこの期間における12回のステップS103では、毎回、補間方向情報として垂直方向を示すようにする。
もしくは、情報処理装置3側で、特に補間方向情報がなければ、相関方向は前回と同じと解釈するアルゴリズムが設けられていれば、12回のうちの最初の1回のみ垂直方向を示す補間方向情報を送信するのみとしてもよい。
また、2回目以降は「前回と同じ」という意味の情報を送信してもよい。
一方、ループ処理LP1として垂直方向処理が行われている期間における12回のループ処理LP2では、水平ストライプ画像であるテストパターンTPv1〜TPv12が順次選択されて投影されるため、その期間は継続して相関方向は水平方向である。従ってこの期間における12回のステップS103では、毎回、補間方向情報として水平方向を示すようにする。もしくは、情報処理装置3が前回と同じと解釈できるのであれば12回のうちの最初の1回のみ水平方向を示す補間方向情報を送信するのみとしてもよいし、2回目以降は「前回と同じ」という意味の情報を送信してもよい。
【0067】
なおこのとき、制御部14は現像情報には、補間方向情報に加えてボケ量情報を含むようにしてもよい。
制御部14は、投影光学系10に対するフォーカス制御情報を用いて、投影パターンのボケ量の情報を得ることができるため、そのボケ量情報も現像情報の1つとして、補間方向情報とともに情報処理装置3に送信するようにすることができる。
【0068】
また現像処理に用いる現像情報に限らず、制御部14は他の情報を情報処理装置3に送信してもよい。
例えば制御部14は、投影画像の輝度(ゲイン)情報を送信するようにしてもよい。
さらには、制御部14はプロジェクタ1の機種情報を送信することも考えられる。
なお、これらの情報は、特にテストパターンTP毎に変化するものではないため、ループ処理LP2内のステップS103で毎回送信する必要はない。例えば最初に1回送信すればよい。
【0069】
ステップS104で制御部14は、情報処理装置3側での現像完了を待機する。情報処理装置3側から現像完了の通知が検知されたら、ループ処理LP2内の1回の処理を終える。
従ってプロジェクタ1の制御部14は、1つのテストパターンTPを投影したら、そのテストパターンTPについての情報処理装置3側での現像処理が完了したことを確認して、次のテストパターンTPの投影に移ることになる。
【0070】
撮像装置2及び情報処理装置3の処理も、ループ処理LP3として水平方向の処理と垂直方向の処理を行う。さらにループ処理LP3内でのループ処理LP4として、水平垂直の各方向で12回づつステップS201〜S208を行うことになる。
【0071】
ステップS201で撮像装置2(情報処理装置3)の制御部22は、プロジェクタ1でテストパターンTPの投影が行われることを待機する。
上述のようにプロジェクタ1からはステップS103の処理で、テストパターンTPの投影の通知が送られてくる。制御部22がこれを認識したら、制御部22の処理はステップS201からS202に進み、現像情報取得部25に、同じくプロジェクタ1から送信されてくる現像情報の取得を指示する。
現像情報取得部25はこれにより、受信された情報のうちで現像情報、特に補間方向情報を読み取り、これを制御部22に供給する。
なお、現像情報としてボケ量情報が含まれていれば、現像情報取得部25はそのボケ量情報も読み出して現像部23に供給する。
また制御部22は、受信された情報として、投影画像の輝度(ゲイン)情報や、プロジェクタ1の機種情報が含まれていたら、それらを読み出して取得する。
【0072】
ステップS203で制御部22は、撮像部21による撮像を実行させる。これによりテストパターンTPの投影画像が撮像されることになる。
なお、プロジェクタ1の制御部14から輝度(ゲイン)情報を得ていた場合、制御部22は、それに応じて撮像部21の露出制御を高精度に行うことができる。
またプロジェクタ1の機種情報に応じた露出制御を行うこともできる。
【0073】
ステップS204では制御部22は、補間方向情報として示された相関方向により処理を分岐する。
制御部22は相関方向として水平方向が示されていた場合はステップS205に進み、現像部23の現像処理の際に補間処理部23aで水平補間処理を行うように指示する。
このとき制御部22は現像部23に、ノイズリダクション処理の平滑化方向を水平方向とするように指示してもよい。
また制御部22は相関方向として垂直方向が示されていた場合はステップS206に進み、現像部23の現像処理の際に補間処理部23aで垂直補間処理を行うように指示する。
このとき制御部22は現像部23に、ノイズリダクション処理の平滑化方向を垂直方向とするように指示してもよい。
【0074】
またステップS205,S206のいずれの場合も制御部22は、投影パターンのボケ量情報を得ていた場合、現像部23に、ボケ量に応じた適切な強度のボケ復元処理を指示することができる。
さらに制御部22は、現像部23によるプロジェクタ1の機種情報に応じた劣化復元処理の強度を制御することもできる。
【0075】
次に制御部22はステップS207に進み、現像部23による現像処理を行って得られた撮像画像データを格納部27に記憶させる。
そしてステップS208で制御部22は、プロジェクタ1の制御部14に対して現像完了の通知を送信する。
【0076】
以上のようにループ処理LP4としてのステップS201〜S208の処理が、プロジェクタ1側の動作と連係して行われる。
これにより、プロジェクタ1側で24個のテストパターンTPが順次投影される際に、撮像装置2側では、順次撮像・現像が行われ、24枚の撮像画像データが格納部27に格納されることになる。
【0077】
以上の処理を終えたら、制御部22はステップS210に進み、24枚の撮像画像データを格納部27から読み出してデコード処理を行う。
これによって投影画像の各画素の位置情報(水平垂直の画素ナンバ)を、撮像画像データから取得し、撮像画像データ上での投影画像の各画素の対応点を検出することができる。
【0078】
そして以上の処理においては、補間処理が画像の相関方向に応じて行われることで、位置情報センシングの精度が向上される。
【0079】
<4.まとめ及び変形例>
以上説明してきた本実施の形態では次のような効果が得られる。
実施の形態の情報処理装置3は、プロジェクタ1(投影装置)によって投影されるテストパターンTPの投影画像を撮像した画像信号に対して、テストパターンTPに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部23aを備えている。
より具体的な例としては、プロジェクタ1が投影するテストパターンTPに応じた補間方向情報を取得する現像情報取得部25(情報取得部)と、プロジェクタ1によるテストパターンの投影画像を撮像した画像信号に対して、現像情報取得部25が取得した補間方向情報に応じた補間方向での画素情報の補間処理を含む現像処理を行う、補間処理部23aを含む現像部23とを備える。
これにより、例えば水平方向にストライプ状となった、水平方向に相関のあるテストパターンの場合には水平方向に補間を行うなど画像を劣化させない適切な補間方向の補間処理が実現できる。
結果としてアーティファクトの発生等による現像画像の劣化を生じさせないようにすることができる。
従って、テストパターンのセンシングを精度よく実行できることになる。特にLSB用テストパターン(TPv12、TPh12)のセンシングにおいて、補間による“つぶれ”がなくなり、LSBパターンであっても正確にセンシングできる。つまり誤差が少なく高解像度のセンシングを行うことができる。
また現像処理において補間処理を行わないようにすると解像度が低下することがあるが、本実施の形態の場合、補間処理によるアーティファクトを防止することで補間処理の実行による精度低下が解消されるため、補間処理を活用でき、もって現像画像の解像度低下が生じないようにすることができる。
これらのことから、テストパターンのセンシング結果を用いたプロジェクタのキャリブレーションの精度を向上させることができる。
また実施の形態の場合、撮影画像から補間方向の検波を行う必要がないため、現像処理の負荷が小さい。
【0080】
実施の形態では、テストパターンTPは複数用意され、各テストパターン(TPh1〜TPh12、TPv1〜TPv12)は、これらのテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされている。そしてプロジェクタ1はこれら複数のテストパターンを順次投影させる。これに対応して現像情報取得部25は、プロジェクタ1が複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた補間方向情報を取得するようにしている(図11のS202)。
これにより、パターン画像の異なる複数のテストパターンを用いる場合も、各テストパターンの相関方向に応じた適切な補間方向で補間処理を行うことができる。
【0081】
実施の形態の情報処理装置3は、補間処理部23aが補間処理を行った(即ち現像部23が現像処理を行った)複数のテストパターンTPに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部24を備えている。
これにより、投影画像の各画素の識別情報(水平垂直方向の画素値)を、プロジェクタのキャリブレーションに利用する情報として取得できる。特に現像の際の補間処理が相関方向に応じた補間方向で行われていることで、デコードされる識別情報の精度も向上される。
【0082】
実施の形態では補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報であるとした。
テストパターンTPとしては、水平方向にストライプ状となったパターン画像(TPv1〜TPv12)や、垂直方向にストライプ状となったパターン画像(TPh1〜TPh12)を例示した。このようなパターンは、水平垂直方向にマトリクス状に並ぶ画素のナンバ表現に適している。
そしてこの場合、画素の相関性のある方向(相関方向)は、水平方向にストライプ状となったパターン画像の場合は水平方向で、垂直方向にストライプ状となったパターン画像の場合は垂直方向である。補間方向情報はこのような相関方向を示す情報とする。これにより情報処理装置3は、テストパターン毎に画素の相関性のある方向を把握できる。
【0083】
実施の形態では補間処理部23aは、補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い(S206)、補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う(S205)。
つまり画素の相関性のある方向が垂直方向か水平方向かを認識して、それに応じて垂直補間処理又は水平補間処理を行う。
例えば図5Cのように水平方向にストライプ状となったテストパターン(即ち垂直方向の画素ナンバを得るためのテストパターンTPv1〜TPv12)の場合には、水平補間を行い、また図5Bのように、垂直方向にストライプ状となったテストパターン(即ち水平方向の画素ナンバを得るためのテストパターンTPh1〜TPh12)の場合には垂直補間を行うような補間処理が実現される。
この場合、相関性のある方向で補間処理が行われることでアーティファクトによる画像劣化を防止し、精度のよい現像画像を得ることができる。
テストパターンTPの画像の相関方向を、水平又は垂直に限ることで、補間処理も水平補間と垂直補間を都度選択すればよいものとなり、大きな処理負担も生じない。
【0084】
実施の形態の現像部23は、補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行うことを述べた。
ノイズリダクションのための平滑化に関しても、画素の相関性のある方向の画素間でおこなうようにすることで、情報のつぶれが生じないようにすることができる。
これによりノイズリダクション処理を有効に活用でき、現像品質を向上させることができる。
なお、補間処理やノイズリダクション処理以外でも、相関方向に行うことが適した処理に関しては、補間方向情報に従って適応的に処理方向を切り換えることが好適である。
【0085】
実施の形態では、現像情報取得部25は、プロジェクタ1との通信により送信されてきた補間方向情報を取得するようにした。
従って実施の形態の情報処理装置3は、プロジェクタ1との間で通信可能とされていればよく、それによりテストパターンTPに応じて補間方向情報を取得し、現像処理に反映させることができる。
【0086】
実施の形態の現像情報取得部25は、プロジェクタ1の情報を取得して現像部23又は撮像を行う撮像部21の制御のために制御部22に供給する例を述べた。
例えばプロジェクタ1の情報として、投影画像の輝度情報、フォーカス情報、機種情報などを取得する。
これらの情報を用いることで、撮像又は現像処理において、プロジェクタ1側の都合や投影状況に応じた撮像処理、現像処理が可能となり、より精度のよい現像画像を得ることができる。
【0087】
本開示の技術は実施の形態の例に限定されない。
本技術は透過型又は反射型液晶パネルを用いたプロジェクタ1に限らず、例えば自発光型の投影装置にも適用可能である。
【0088】
実施の形態のプログラムは、撮像された画像信号について補間処理を行う情報処理装置3に、投影装置(プロジェクタ1)によって投影されるテストパターンTPの投影画像を撮像した画像信号に対して、テストパターンTPに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラムである。
より具体的な例としては、撮像された画像信号について現像処理を行う情報処理装置3に、プロジェクタ1が投影するテストパターンTPに応じた補間方向情報を取得する処理(S202)と、プロジェクタ1によるテストパターンTPの投影画像を撮像した画像信号に対して、取得した補間方向情報に応じた補間方向での画素情報の補間処理を含む現像処理(S205,S206)とを、情報処理装置3に実行させるプログラムである。
即ち図11の処理を情報処理装置3や、図4のCPU151に実行させるプログラムである。
【0089】
このようなプログラムにより本実施の形態の情報処理装置3の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
【0090】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0091】
なお本技術は以下のような構成も採ることができる。
(1)
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う補間処理部を備えた
情報処理装置。
(2)
前記テストパターンは複数用意され、各テストパターンは複数のテストパターンを撮像した画像から投影画像の各画素の識別情報をデコード可能なパターン画像とされ、前記投影装置は前記複数のテストパターンを順次投影させるものとされる場合に、
前記補間処理部は、前記投影装置が前記複数のテストパターンのそれぞれを投影させる際に、当該投影対象のテストパターンに応じた前記補間方向情報に基づいた補間方向での画素情報の補間処理を行う
上記(1)に記載の情報処理装置。
(3)
前記補間処理部が補間処理を行った前記複数のテストパターンに対応する画像信号を用いて、投影画像における各画素の識別情報をデコードする撮像画像デコード部を備えた
上記(1)又は(2)に記載の情報処理装置。
(4)
前記補間方向情報は、画素の相関性のある方向が水平方向であるか垂直方向であるかを示す情報である
上記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記補間処理部は、
前記補間方向情報により垂直方向が示された場合は垂直方向の画素を用いた垂直補間処理を行い、
前記補間方向情報により水平方向が示された場合は水平方向の画素を用いた水平補間処理を行う
上記(4)に記載の情報処理装置。
(6)
前記補間方向情報に応じた補間方向で、ノイズリダクションのための平滑化処理を行う現像部を備えた
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
前記投影装置が投影するテストパターンに応じた前記補間方向情報を取得する情報取得部を備えた
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記情報取得部は、前記投影装置との通信により送信されてきた前記補間方向情報を取得する
上記(7)に記載の情報処理装置。
(9)
前記情報取得部は、前記投影装置の情報を取得して前記補間処理部又は撮像を行う撮像部の制御に供する
上記(7)又は(8)に記載の情報処理装置。
(10)
撮像された画像信号について補間処理を行う情報処理装置による情報処理方法として、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を行う情報処理方法。
(11)
撮像された画像信号について補間処理を行う情報処理装置に、
投影装置によって投影されるテストパターンの投影画像を撮像した画像信号に対して、前記テストパターンに応じた補間方向情報に基づいた補間方向での画素情報の補間処理を実行させるプログラム。
【符号の説明】
【0092】
1…プロジェクタ、2…撮像装置、3…情報処理装置、10…投影光学系、11…画像信号処理部、12…画像入力部、13…テストパターン発生部、14…制御部、15…現像情報生成部、16…通信部、21…撮像部、22…制御部、23…現像部、23a…補間処理部、24…撮像画像デコード部、25…現像情報取得部、26…通信部、27…格納部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
【国際調査報告】