特許第6794983号(P6794983)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

特許6794983情報処理装置、情報処理方法、プログラム、及び画像表示装置
<>
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000002
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000003
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000004
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000005
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000006
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000007
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000008
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000009
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000010
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000011
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000012
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000013
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000014
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000015
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000016
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000017
  • 特許6794983-情報処理装置、情報処理方法、プログラム、及び画像表示装置 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6794983
(24)【登録日】2020年11月16日
(45)【発行日】2020年12月2日
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、及び画像表示装置
(51)【国際特許分類】
   H04N 5/74 20060101AFI20201119BHJP
   G03B 21/00 20060101ALI20201119BHJP
   G09G 5/00 20060101ALI20201119BHJP
   G09G 5/36 20060101ALI20201119BHJP
【FI】
   H04N5/74 D
   G03B21/00 D
   G09G5/00 X
   G09G5/00 510B
   G09G5/00 510H
   G09G5/36 520C
   G09G5/00 550X
【請求項の数】11
【全頁数】21
(21)【出願番号】特願2017-509189(P2017-509189)
(86)(22)【出願日】2016年1月12日
(86)【国際出願番号】JP2016000113
(87)【国際公開番号】WO2016157671
(87)【国際公開日】20161006
【審査請求日】2019年1月7日
(31)【優先権主張番号】特願2015-65963(P2015-65963)
(32)【優先日】2015年3月27日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【弁理士】
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100160989
【弁理士】
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【弁理士】
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【弁理士】
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】鈴木 孝明
(72)【発明者】
【氏名】永野 隆浩
【審査官】 佐野 潤一
(56)【参考文献】
【文献】 米国特許出願公開第2007/0286514(US,A1)
【文献】 特開2005−017136(JP,A)
【文献】 特開2009−042838(JP,A)
【文献】 特表2013−516827(JP,A)
【文献】 特開2006−174184(JP,A)
【文献】 特表2009−524849(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/74
H04N 9/31
G03B 21/00−21/14
G09G 5/00− 5/42
(57)【特許請求の範囲】
【請求項1】
被投射物に対して、1以上の代表画素が表示された1ドットパターンの校正用画像の投射を指示する投射指示部と、
前記投射された校正用画像内の前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いを入力するためのGUI(Graphical User Interface)を出力する出力部と、
前記GUIを介して入力された前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出部と、
前記算出されたPSFに基づいて、投射される画像の前記ボケ度合いを補正する補正部と
を具備し、
前記出力部は、前記ボケ度合いを表す形状を作成可能なGUIを出力する
情報処理装置。
【請求項2】
請求項に記載の情報処理装置であって、
前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのPSFを算出する
情報処理装置。
【請求項3】
請求項に記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力する
情報処理装置。
【請求項4】
請求項に記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのGUIを出力する
情報処理装置。
【請求項5】
請求項に記載の情報処理装置であって、さらに、
前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備し、
前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出する
情報処理装置。
【請求項6】
請求項に記載の情報処理装置であって、
前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力する
情報処理装置。
【請求項7】
請求項に記載の情報処理装置であって、
前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力する
情報処理装置。
【請求項8】
請求項1に記載の情報処理装置であって、
前記投射指示部は、前記算出部により算出された前記各画素についてのPSFをもとに補正された画像の投射を指示する
情報処理装置。
【請求項9】
コンピュータが実行する情報処理方法であって、
被投射物に対して、1以上の代表画素が表示された1ドットパターンの校正用画像の投射を指示する指示ステップと
前記投射された校正用画像内の前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いを入力するためのGUI(Graphical User Interface)を出力する出力ステップと
前記GUIを介して入力された前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出ステップと
前記算出されたPSFに基づいて、投射される画像の前記ボケ度合いを補正する補正ステップと
を有し、
前記出力ステップは、前記ボケ度合いを表す形状を作成可能なGUIを出力する
情報処理方法。
【請求項10】
コンピュータに情報処理方法を実行させるプログラムであって、
前記情報処理方法は、
被投射物に対して、1以上の代表画素が表示された1ドットパターンの校正用画像の投射を指示する指示ステップと、
前記投射された校正用画像内の前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いを入力するためのGUI(Graphical User Interface)を出力する出力ステップと、
前記GUIを介して入力された前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出ステップと、
前記算出されたPSFに基づいて、投射される画像の前記ボケ度合いを補正する補正ステップと
を有し、
前記出力ステップは、前記ボケ度合いを表す形状を作成可能なGUIを出力する
プログラム。
【請求項11】
画像情報が入力される入力部と、
前記画像情報をもとに画像を生成して、被投射物に対して投射することが可能な画像投射部と、
前記画像投射部に1以上の代表画素が表示された1ドットパターンの校正用画像を投射させる投射指示部と、
前記投射された校正用画像内の前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いを入力するためのGUI(Graphical User Interface)を出力する出力部と、
前記GUIを介して入力された前記1以上の代表画素の各々の、前記被投射物上の空間的なボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出部と、
前記算出されたPSFに基づいて、前記入力された画像情報の前記ボケ度合いを補正する補正部と
を具備し、
前記出力部は、前記ボケ度合いを表す形状を作成可能なGUIを出力する
画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、プロジェクタ等の画像表示装置、これを制御する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来からプロジェクタ等の画像表示装置が広く用いられている。例えば光源からの光が液晶素子等の光変調素子により変調され、その変調光がスクリーン等に投影されることで画像が表示される。光変調素子としては、反射型液晶表示素子、透過型液晶素子、又はDMD(Digital Micromirror Device)等が用いられる。
【0003】
特許文献1に記載のプロジェクタでは、投射光学系における結像性能の低下による画像の劣化を減少し、入力された画像情報に近い投影画像を生成するための技術が公開されている。このプロジェクタでは、投射レンズのMTF(Modulation Transfer Function)低下の逆フィルタ等を用いて、投影画像の劣化を補償する逆フィルタ処理が実行される。その後、所定の画素領域ごとに、逆フィルタ処理の結果が光変調部により表現可能な範囲内であるか否かが判定される。そして表現不可能な画素領域の画像情報については、元画像の画像情報に戻される、あるいは表現可能な限界値に変更される。これにより元画像の完全な再現はできないまでも、高品質な画像が投影可能となっている(特許文献1の明細書段落[0026][0031][0035]等)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−131099号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
このようにプロジェクタ等の画像表示装置により画像を投射する際には、投射光学系等の性能に起因するボケ等の発生を防止することが重要となる。例えば画像が投射されるスクリーン等の形状によっても、投射される画像にボケ等が発生する場合もあり得る。このようなボケ等の発生を防止して、高品質な画像を投射可能とする技術が求められている。
【0006】
以上のような事情に鑑み、本技術の目的は、高品質な画像を投射可能とする情報処理装置、情報処理方法、プログラム、及び画像表示装置を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、投射指示部と、出力部とを具備する。
前記投射指示部は、1以上の代表画素が表示された校正用画像の投射を指示する。
前記出力部は、前記投射された校正用画像内の前記1以上の代表画素の各々のボケ度合いを入力するためのGUI(Graphical User Interface)を出力する。
【0008】
この情報処理装置では、投射された校正用画像内の各代表画素のボケ度合いが、GUIを介してユーザにより入力される。当該入力されたボケ度合いをもとに画像を補正することで、高品質な画像を投射することが可能となる。
【0009】
前記情報処理装置は、さらに、前記GUIを介して入力された前記1以上の代表画素の各々のボケ度合いをもとに、投射される画像を補正する補正部を具備してもよい。
これにより高品質な画像を投射することができる。
【0010】
前記情報処理装置は、さらに、前記GUIを介して入力された前記1以上の代表画素の各々のボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出部を具備してもよい。
算出されたPSFを用いて入力画像に逆フィルタ処理を実行することで、高品質な画像を投射することが可能となる。
【0011】
前記出力部は、前記ボケ度合いを表す形状を作成可能なGUIを出力してもよい。
これによりユーザから見て破綻のない画像を投射することが可能となる。
【0012】
前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのPSFを算出してもよい。
これによりユーザから見て破綻のない高品質な画像の投射が可能となる。
【0013】
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力してもよい。
これによりボケによる光の広がりのサイズを入力する操作を省くことが可能となり、簡単にPSFを算出することが可能となる。
【0014】
前記出力部は、ボケの発生しない状態の前記代表画素を示す基準画像を、前記基準画像の形状を変更可能に出力してもよい。
これにより基準画像のサイズを基準として、自動的にボケによる光の広がりのサイズを算出することが可能となり、当該サイズを入力する操作を省くことが可能となる。
【0015】
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのGUIを出力してもよい。
これによりユーザにとってのシンプルな操作が実現する。
【0016】
前記情報処理装置は、さらに、前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備してもよい。この場合、前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出してもよい。
これにより簡単にPSFを算出することが可能となる。
【0017】
前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力してもよい。
これによりユーザは、簡単にボケ度合いを入力することが可能となる。
【0018】
前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力してもよい。
これによりPSFの算出の精度を向上させることが可能となる。
【0019】
前記投射指示部は、前記算出部により算出された前記各画素についてのPSFをもとに補正された画像の投射を指示してもよい。
これによりユーザは、投射された画像を確認しながらボケ度合いを入力することができる。
【0020】
本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、1以上の代表画素が表示された校正用画像の投射を指示することを含む。
前記投射された校正用画像内の前記1以上の代表画素の各々のボケ度合いを入力するためのGUIが出力される。
【0021】
本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
1以上の代表画素が表示された校正用画像の投射を指示するステップ。
前記投射された校正用画像内の前記1以上の代表画素の各々のボケ度合いを入力するためのGUIを出力するステップ。
【0022】
本技術の一形態に係る画像表示装置は、入力部と、画像投射部と、投射指示部と、出力部と、補正部とを具備する。
前記入力部には、画像情報が入力される。
前記画像投射部は、前記画像情報をもとに画像を生成して投射することが可能である。
前記投射指示部は、前記画像投射部に1以上の代表画素が表示された校正用画像を投射させる。
前記出力部は、前記投射された校正用画像内の前記1以上の代表画素の各々のボケ度合いを入力するためのGUIを出力する。
前記補正部は、前記GUIを介して入力された前記1以上の代表画素の各々のボケ度合いをもとに、前記入力された画像情報を補正する。
【発明の効果】
【0023】
以上のように、本技術によれば、高品質な画像を投射することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0024】
図1】第1の実施形態に係る画像表示システムの構成例を示す概略図である。
図2】プロジェクタの内部の構成例を示す概略図である。
図3】PCの構成例を示す模式的なブロック図である。
図4】第1の実施形態に係るPSFの算出の概要を示すブロック図である。
図5】詳細なPSFの算出例を示すフローチャートである。
図6】入力される校正用画像の構成例を示す模式的な図である。
図7】プロジェクタにより投射された校正用画像を示す模式的な図である。
図8】ボケ度合い再現用のGUIの構成例を示す模式的な図である。
図9】作成されたボケ形状をもとにしたPSFの算出例を説明するための図である。
図10】作成されたボケ形状をもとにしたPSFの算出例を説明するための図である。
図11】ボケ度合い再現用のGUIの他の構成例を示す模式的な図である。
図12】ボケ度合い再現用のGUIの他の構成例を示す模式的な図である。
図13】PSF補間の処理例を説明するための図である。
図14】第2の実施形態に係るPSFの算出例を示すブロック図である。
図15】複数の候補画像の構成例を示す模式的な図である。
図16】代表画素におけるボケ強度を変更するためのGUIの例を示す図である。
図17】他の実施形態に係るPSFの算出例を示すブロック図である。
【発明を実施するための形態】
【0025】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【0026】
<第1の実施形態>
[画像表示システム]
図1は、本技術の第1の実施形態に係る画像表示システムの構成例を示す概略図である。画像表示システム500は、プロジェクタ100と、本技術に係る情報処理装置として動作するPC(Personal Computer)200とを有する。プロジェクタ100及びPC200は互いに接続されており、PC200を操作することでプロジェクタ100の動作を制御することが可能である。
【0027】
プロジェクタ100は、例えばプレゼンテーション用、もしくはデジタルシネマ用のプロジェクタとして用いられる。その他の用途に用いられるプロジェクタ、あるいはプロジェクタ以外の画像表示装置にも本技術は適用可能である。
【0028】
プロジェクタ100は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)端子等やWiFiモジュール等が備えられた入力インタフェース101を有する。当該入力インタフェース101に、有線又は無線を介して、PC200が接続される。また入力インタフェース101には、図示しない画像供給源から、投射対象となる画像情報が入力される。なおPC200が画像供給源となることもあり得る。
【0029】
図2は、プロジェクタ100の内部の構成例を示す概略図である。プロジェクタ100は、光源部110と、光変調部120と、投射部130と、表示制御部140とを有する。光源部110は、典型的には、白色光を生成して光変調部120に出射する。光源部110には、例えばLED(Light Emitting Diode)やLD(Laser Diode)等の固体光源、又は水銀ランプやキセノンランプ等が配置される。
【0030】
光変調部120は光源部110からの光を、入力インタフェース101に入力された画像情報をもとに変調して、画像1(図1参照)を生成する。光変調部120は、例えばインテグレータ素子、偏光変換素子、白色光をRGBの3色の光に分割する分割光学系、各色光を変調する3つの光変調素子、及び変調された各色光を合成する合成光学系等を有する。これらの部材や光学系の具体的な構成は限定されない。
【0031】
投射部130は、複数のレンズを有し、光変調部120により生成された画像1をスクリーン等の投射面5(図1参照)に投射する。投射部130の構成は限定されず、任意の構成が適宜採用されてよい。本実施形態では、光源部110、光変調部120、及び投射部130により、画像投射部が実現される。
【0032】
表示制御部140は、画像表示装置100内の各機構の動作を制御する。また表示制御部140は、入力インタフェース101から入力された画像情報に対して種々の処理を実行する。例えば表示制御部140は、入力された画像情報を補正することが可能である。表示制御部140の構成は限定されず、任意のハードウェア及びソフトウェアが適宜用いられてよい。
【0033】
図3は、PC200の構成例を示す模式的なブロック図である。PC200は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、入出力インタフェース205、及び、これらを互いに接続するバス204を備える。
【0034】
入出力インタフェース205には、表示部206、操作部207、記憶部208、通信部209、ドライブ部210、I/F(インタフェース)部212等が接続される。
【0035】
表示部206は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。操作部207は、例えばキーボード、ポインティングデバイス、その他の操作装置である。操作部207がタッチパネルを含む場合、そのタッチパネルは表示部206と一体となり得る。
【0036】
記憶部208は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。ドライブ部210は、例えば光学記録媒体等のリムーバブルの記録媒体211を駆動することが可能なデバイスである。
【0037】
通信部209は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するための通信機器である。通信部209は、有線及び無線のどちらを利用して通信するものであってもよい。
【0038】
I/F部212は、USB(Universal Serial Bus)端子、HDMI(登録商標)(High-Definition Multimedia Interface)端子、又はネットワーク端子等の、他のデバイスや種々のケーブルを接続するためのインタフェースである。
【0039】
PC200による情報処理は、記憶部208またはROM202等に記憶されたソフトウェアと、PC200のハードウェア資源との協働により実現される。具体的には、CPU201が記憶部208等に記憶された、ソフトウェアを構成するプログラムをRAM203にロードして実行することにより実現される。
【0040】
本実施形態では、CPU201が所定のプログラムを実行することで、投射指示部、出力部、補正部及び算出部が実現される。これらのブロックを実現するために専用のハードウェアが用いられてもよい。
【0041】
プログラムは、例えば記録媒体211を介してPC200にインストールされる。またはグローバルネットワーク等を介してインストールが行われてもよい。なお本技術に係る情報処理装置は、上記したPC200に限定されず種々のコンピュータが用いられてよい。
【0042】
[投射画像の補正方法]
例えば光変調部120や投射部130に配置されるレンズやミラー等の光学素子の性能や、画像1が表示される投射面5の形状等により、投射される画像1にボケ等の劣化が発生する場合がある。このボケ等の劣化を補正するために本実施形態では、PC200により投射画像1の各画素についてPSF(Point spread function:点広がり関数)が算出される。そして算出されたPSFを用いて逆フィルタ演算が実行される。
【0043】
図4は、本実施形態に係るPSFの算出の概要を示すブロック図である。まず投射指示部として機能するCPU201により、プロジェクタ100に校正用画像10の投射が指示される(ステップ101)。当該指示を受けたプロジェクタ100により、校正用画像15が投射される(ステップ102)。投射された校正用画像15は、上記したボケ等の劣化を含む画像となる。なお校正用画像について、画像情報と投射画像とで符号を区別して記載する。
【0044】
ユーザ6により、投射面5に投射された校正用画像15が目視され、校正用画像15内に発生している焦点ボケが再現される。焦点ボケの再現は、ボケ度合いの入力に相当する(ステップ103)。後に詳しく説明するが、焦点ボケは、校正用画像15内の代表点(代表画素)16ごとに再現される。
【0045】
再現された焦点ボケをもとに、算出部として機能するCPU201により、代表点16ごとのPSFが算出される(ステップ104)。代表点16ごとのPSFをもとに、代表点16以外の画素のPSFが補間により算出される(ステップ105)。この結果、プロジェクタ100により投射される投射画像1の各画素について、PSFが出力される(ステップ106)。
【0046】
このように投射された校正用画像15内のボケをユーザ6が目視し、当該ボケの度合いをユーザ6自身が入力することで、ユーザ6が目で見て違和感のない、高精度にボケが補正された画像1を投射することが可能となる。
【0047】
例えば投射された校正用画像15をカメラで撮影して自動的にPSFを算出する場合や、プロジェクタ100の設計値をもとに自動的にPSFを算出する場合では、ユーザ6から見て明らかにおかしい部分、すなわち画像が破綻している部分が発生する場合が有り得る。またカメラの撮影によりPSFを実測する場合には、カメラレンズの収差やノイズ等によりPSFの推定精度が低下してしまうことも考えられる。さらに設計値を利用してPSFを算出する場合には、投射時のスクリーンの形状や材質等、投射面5側の特性によるボケ等を補正することが難しい。
【0048】
本技術に係るPSFの算出方法では、上記したような問題点を解決することが可能となり、高品質な画像を投射することが可能となる。またカメラ等を含む複雑かつ高コストな自動検出系が不要となるのでコストの削減も図ることができる。以下、本技術に係るPSFの算出について詳しく説明する。
【0049】
図5は、詳細なPSFの算出例を示すフローチャートである。まず校正用画像10がプロジェクタ100に入力されて投射される(ステップ201)。図6は、入力される校正用画像10の構成例を示す模式的な図である。図7は、プロジェクタ100により投射された校正用画像15を示す模式的な図である。
【0050】
図6に示すように、校正用画像10は、単体の画素(1ドット)が縦及び横方向に所定の間隔をあけて表示された画像である。これら複数並べられた単体の画素が、本実施形態に係る1以上の代表画素11となる。代表画素11の数、縦方向及び横方向における間隔のサイズ等は限定されない。代表画素11は、画素ごとの光の広がりを表すPSFを算出する対象となる画素である。
【0051】
校正用画像10の代表画素11に設定される画素値は限定されない。例えば定義されている画素値の最大値(8ビットならば255、10ビットならば1023)が代表画素11の画素値として設定される。これにより投射される代表画素16(図7参照)のボケ度合いを目視により把握することが容易となる。もちろん他の画素値が設定されてもよい。なお1以上の代表画素11を含む校正用画像10は、1ドットパターン画像ともいう。
【0052】
図7に示すように、投射された校正用画像15内には、ボケが発生している、特に本実施形態では、校正用画像15の四隅の領域D1−D4内の代表画素16dがぼけて表示されている。すなわち領域D1−D4は、デフォーカス領域となる(以下、同じ符号を用いてデフォーカス領域D1−D4と記載する)。
【0053】
一方、画像を投射する際には、オートフォーカスや手動等により、少なくとも一部の領域を基準としてフォーカスが合わせられる。従って当該所定の領域については、代表画素16は、ほぼぼけることなく表示される。本実施形態では、中央の領域がフォーカスの合っているフォーカス領域Fとなる。従ってフォーカス領域F内の代表画素16fは、ほぼぼけることなく投射された画素となる。フォーカス領域F及びデフォーカス領域Dの位置等は限定されず、投射面5の形状等に依存する。
【0054】
図5に戻り、ユーザ6によりPSFの算出の対象となる代表画素16が選択される(ステップ202)。そのためにPC200は、例えば選択操作を説明するためのテキスト画像を表示部206に表示させたり、代表画素16を選択するためのポインタ等をプロジェクタ100に投射させる。ユーザ6は、PC200の操作部207を操作することで代表画素16を選択する。ここでは右上のデフォーカス領域D1内の代表画素16dが選択されたとする。
【0055】
出力部として機能するCPU201により、ボケ度合いを再現するためのGUIが表示部206に表示される(ステップ203)。すなわち投射された校正用画像15内の1以上の代表画素16の各々のボケ度合いを入力するためのGUIが出力される。
【0056】
図8は、ボケ度合い再現用のGUIの構成例を示す模式的な図である。本実施形態では、ボケ度合い再現用GUIとして、ボケ度合いを表す形状(以下、ボケ形状と記載する)を作成可能なGUI20が表示される。図8Aは、ユーザ6により形状が作成される前のGUI20aである。図8Bは、ユーザにより形状が作成された後のGUI20bである。
【0057】
図8Aに示すGUI20aは、所定のサイズの枠画像21と、枠画像21内に配置された形状作成の基準となる基準画像22とを有する。枠画像21は、内部にてボケ形状を作成可能である画像として表示される。基準画像22は、枠画像21内の中央に配置され、例えば最大画素値にて表示される。ユーザ6は、基準画像22の形状を変形させることで代表画素16dの形状を再現する。
【0058】
図7のデフォーカス領域D1内の代表画素16dは、右斜め方向を長軸方向とする長円形状に広がって表示される。この形状は、代表画素16dから広がる光の形状に相当し、図8Bに示すように、この形状がボケ形状25として作成される(ステップ204)。
【0059】
ボケ形状25として、当該形状25内の画素値を部分的に変更することも可能である。例えば校正用画像15内の代表画素16dを目視した際に、代表画素16dの中心から縁部に向けて光の輝度が低下しているとする。この場合、ボケ形状25の中心から縁部に向かう領域の画素値を段階的に低くすることで、当該光の輝度の低下を再現することができる。図8Bでは、画素値が低い部分がグレー色で図示されている。
【0060】
枠画像21及び基準画像22の色は限定されない。例えばRGBの3色に分けて本技術に係るPSFの算出が実行される場合には、算出対象となる色にて枠画像21及び基準画像22が表示される。なお色ごとにPSFを算出することで高精度の補正が可能となり、一方1つの色で代表してPSFを算出する場合には処理の簡素化を図ることができる。
【0061】
このようにUI上でボケ形状25を再現するための技術は限定されず、任意の技術が用いられてよい。例えば周知の描画技術等を用いることで、ボケ形状25の作成は実現可能である。またボケ形状25の作成の各操作をユーザ6に説明したり促したりするためのテキスト情報等が適宜表示されてもよい。以下このようなテキスト情報等の表示については説明を省略する場合がある。
【0062】
ボケ形状25が作成されてユーザ6により決定されると、当該ボケ形状25をもとに代表画素16dについてのPSFが算出される(ステップ205)。図9及び図10は、作成されたボケ形状25をもとにしたPSFの算出例を説明するための図である。なお図9及び図10では、図の理解を容易にするために、ボケ形状25が破線で図示されている。
【0063】
図9に示すように枠画像21内の領域が、ボケの発生しない状態の代表画素16dのサイズS1にて区分けされる。このサイズS1は、代表画素16fにボケが発生していない場合の光の広がりのサイズのことである。以下ボケの発生しない状態の代表画素16dを、単にボケのない代表画素16dと記載する場合がある。サイズS1は、ボケによる代表画素16dからの光の広がりのサイズ、すなわちボケサイズS2をもとに算出可能である。
【0064】
例えば代表画素16dからの光が、縦方向及び横方向にそれぞれ3画素分の範囲に広がっており、ボケサイズS2が「縦横3画素分」であるとする。この場合、枠画像21内の領域が、縦横3画素分の領域となるように9等分される。区分けされた8×8画素分の領域を代表画素領域30とすると、代表画素領域30のサイズがボケのない代表画素16dのサイズS1となる。なお中央の代表画素領域30aは、ボケのない代表画素16dの表示領域となる。すなわち代表画素領域30aを中心にボケが発生していることになる。
【0065】
ボケサイズS2を取得する方法については、後に詳しく説明する。
【0066】
図10Aに示すように、各代表画素領域30内の64個の画素の画素値Pが合算され、各代表画素領域30ごとに合算値Sが算出される。図10Bに示すように、合算値Sが正規化されることで、各代表画素領域30ごとに正規化値Nが算出される。この正規化値Nが代表画素16dについてのPSFとして出力される。すなわち代表画素16dについてのPSFは、図8Bに示すボケ形状25と、ボケサイズS2とをもとに算出される。
【0067】
PC200がボケサイズS2を取得する方法としては、いくつかの実施形態がある。例えば操作部207を介してユーザ6によりボケサイズS2が入力されてもよい。ユーザ6は投射された校正用画像15のフォーカス領域F内の代表画素16fと、デフォーカス領域D内の代表画素16dとを目視により比較する。そして代表画素16fのサイズを基準として、代表画素16dからの光の広がりのサイズを把握する。当該サイズが、ボケサイズS2としてPC200に入力される。なおボケサイズS2を入力するためのGUIは任意に設定されてよい。
【0068】
記憶部208等に、プロジェクタ100のスポットダイアグラムが格納されており、当該スポットダイアグラムにより、ボケサイズS2が自動的に算出されてもよい。スポットダイアグラムは、光線が評価面と交差する点をプロットしたものであり、像の特長(例えばフレアの出方等)の評価を可能とする情報である。
【0069】
スポットダイアグラムにより、プロジェクタ100から投射される画像の、投射面5上の各位置におけるスポット形状が取得可能である。スポットダイアグラム内のフォーカスの合っているフォーカス点のスポットサイズと、ボケ再現対象点のスポットサイズとの比をもとに、当該ボケ再現対象点のボケサイズS2を算出することができる。なおスポットサイズは、例えばRMS(重心位置と各点位置の差分を自乗和したものを100%で表示したもの(単位:mm))である。もちろんこれに限定されない。
【0070】
スポットダイアグラムを利用することで、簡単にボケサイズS2を取得することが可能となり、処理の簡素化及び処理時間の短縮を図ることができる。一方、ユーザ6によりボケサイズS2が入力される場合には、ユーザ6の目視をもとにした信頼性の高いボケサイズS2が取得可能となる。
【0071】
ユーザ6による入力又はスポットサイズの利用により、ボケ形状25の作成前に、ボケサイズS2が取得されているとする。その場合、例えば図8A及びBに示す枠画像21が、ボケサイズS2を示す画像として表示されてもよい。また基準画像22が、ボケのない代表画素16dを示す画像として表示されてもよい。
【0072】
さらに図11に示すように、枠画像21内の領域がボケのない状態の代表画素16dの1ドット分のサイズとなる代表画素領域30にて区分けされた1ドット画像20cが表示されてもよい。これらの画像が、その旨を示すテキスト画像とともに表示されることで、ユーザ6は、ボケ形状25を操作性よく高精度に作成することが可能となる。
【0073】
一方、ボケサイズS2が取得されていない場合に、基準画像22がボケのない代表画素16dとしてユーザ6に提示されてもよい。そして当該基準画像22を変形させてボケ形状25を作成することが、ユーザ6に要求されてもよい。例えばユーザ6は、基準画像22をフォーカス領域F内の代表画素16fと見立てて、PSF算出対象の代表画素16dの形状となるように、ボケ形状25を作成する。PC200は、作成されたボケ形状25のサイズ(例えば中心から最も離れた画素までの線を対角線の半分とする矩形の領域のサイズ)を、最初に提示された基準画像22のサイズで割ることで、ボケサイズS2を算出することができる。
【0074】
その他、ボケサイズS2を算出する方法として、任意の方法が用いられてよい。例えば作成されたボケ形状25の中心部分に、ボケのない代表画素16dのサイズS1を示す画像が描画されてもよい。あるいは一度推定されたPSFにより実行された補正の結果がフィードバックされることでボケサイズS2が算出されてもよい。
【0075】
またボケ形状25を作成する、又はボケサイズS2を入力するためのGUIとして、任意のGUIが適宜用いられてよい。例えば図12に示すように、所定の画素群31を形状作成の単位とするようなGUI20dが表示されてもよい。各画素群31ごとに画素値を選択することで、投射面5からの光の輝度を再現することができる。
【0076】
図5に戻り、その他の代表画素16のボケ度合いを再現するか否かが判定される(ステップ206)。例えば未だボケ度合いの再現が実行されていない代表画素16が存在する場合には、ステップ206のYesからステップ202に戻る。全ての代表画素16についてボケ度合いの入力が完了している場合には、ステップ206のNoからステップ207に進む。もちろんユーザ6の操作に応じてステップ206の判定が実行されてもよい。
【0077】
各代表画素16についてPSFが算出されると、PSFの補間を実行するか否かが判定される(ステップ207)。判定の結果がYesならばPSFが補間され(ステップ208)、投射される画像1の各画素についてのPSFであるPSFマップが算出される(ステップ209)。ステップ207の判定がNoの場合は、PSFの補間をすることなく、PSFマップが算出される(ステップ209)。
【0078】
図13は、PSF補間の処理例を説明するための図である。例えば図13Aに示すように代表画素16である代表点1−4の各PSFが算出されているとする。これら代表点1−4に囲まれた領域内の画素(補間対象点35)のPSFが補間により算出されるとする。
【0079】
例えば補間対象点35に対して座標位置が最も近い代表点1のPSFga、補間対象点35のPSFとして設定されてもよい。これにより簡単にPSFを補間することが可能となる。
【0080】
図13B及びCに示すように、座標値に応じて、代表点1−4の各PSFがミキシングされてもよい。例えば図13Bに示すように、水平方向の座標値をもとに代表点1及び2の各PSFがミキシングされ水平補間PSF1が算出される。同様に水平方向の座標値をもとに代表点3及び4の各PSFがミキシングされ水平補間PSF2が算出される。
【0081】
次に図13Cに示すように、垂直方向の座標値をもとに水平補間PSF1及びPSF2がミキシングされ垂直補間PSFが算出される。当該垂直補間PSFが、補間対象点35のPSFとなる。ミキシングを実行することで精度の高いPSFマップが算出可能となる。なおPSF補間の方法は限定されず、他の方法が用いられてもよい。
【0082】
PC200により算出されたPSFマップは、プロジェクタ100に出力されメモリ等に記憶される。例えばプロジェクタ100の表示制御部140等が補正部として機能し、記憶されたPSFマップをもとに、入力された画像情報が補正される。この結果、高品質な画像を投射することが可能となる。
【0083】
PC200に画像情報が入力され、補正部として機能するCPU201により、当該画像情報が補正されてもよい。補正された画像情報は、プロジェクタ100に出力され投射される。このような処理においても、高品質な画像の投射が実現する。
【0084】
<第2の実施形態>
本技術に係る第2の実施形態の情報処理装置について説明する。これ以降の説明では、上記の実施形態で説明したPC200における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
【0085】
図14は、本実施形態に係るPSFの算出例を示すブロック図である。ステップ301及びステップ302にて、1ドットパターンの校正用画像15が投射される。本実施形態では、校正用画像15内の1以上の代表画素16の各々のボケ度合いを入力するためのGUIとして、ボケ形状の候補となる複数の候補画像が表示される。
【0086】
図15は、複数の候補画像の構成例を示す模式的な図である。例えば図15A−Cに示すような候補画像40が、データベース50に格納されており、適宜読み出される。当該候補画像40としてどのような形状を表現する画像が準備されるかは限定されない。例えばスポットダイアグラムをもとに、ボケ形状25となる確率が高い形状が、複数の候補画像40として作成される。もちろん外形状は同じであるがボケサイズが異なるものがそれぞれ候補画像40として準備されてもよい。
【0087】
ユーザ6は、校正用画像15内のPSF算出の対象となる代表画素16を目視しながら、複数の候補画像40の中から最も形状(ボケサイズも含む)が近い候補画像40を選択する(ステップ303)。当該選択された候補画像40をもとに、代表画素14についてのPSFが算出され(ステップ304)、以下第1の実施形態と同様の処理によりPSFマップが出力される(ステップ305、ステップ306)。
【0088】
複数の候補画像40を予め準備し、それをユーザ6に選択させることで、PSF算出の処理が簡素化し、処理時間も短縮される。またユーザ6にとっても、簡単にボケ度合いを入力することが可能となる。
【0089】
選択された候補画像40の形状がさらに変更可能であってもよい。これにより入力されるボケ度合いの精度を向上させることができ、PSFの算出精度も向上する。候補画像40の形状を変更する方法は限定されず、任意の技術が用いられてよい。
【0090】
ボケ形状25のボケサイズを大きくすることは、当該代表画素16でのボケの強度が強い旨を入力することに相当する。逆にボケ形状25のサイズを小さくすることは、当該代表画素16でのボケの強度が弱い旨を入力することに相当する。一方ボケの強度は、当該代表画素16での補正の強度に対応する。すなわちボケ強度が強い場合には、逆フィルタ演算における補正強度も強くなる。ボケ強度が弱い場合には、補正強度も弱くなる。
【0091】
図16は、代表画素におけるボケ強度(補正強度)を変更するためのGUIの例を示す図である。図16に示すように、ガウス関数のグラフを表す図(以下、ガウス形状図と記載する)45が、ボケの強度を変更するための図として表示されてもよい。図16A−Cに示すように、ガウス形状のσの大きさを変更することで、ボケの強度は調整可能である。なおx0やy0の大きさが変更可能であってもよい。図16に示すガウス形状図45は、本技術に係るボケ度合いを入力するためのGUIに含まれる。
【0092】
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
【0093】
図17は、他の実施形態に係るPSFの算出例を示すブロック図である。この実施形態では、データベース55に複数のPSFが予め記憶されている。PCは、複数のPSFから所定のPSFを選択し、プロジェクタに当該PSFをもとに補正された校正用画像60の投射を指示する(ステップ401)。
【0094】
ユーザ6は、投射された校正用画像60内のPSF算出の対象となる代表画素61を目視で確認しながら、実際に使用すべきPSFを選択する。例えばPCの操作部を操作することで、データベース55内のPSFが切り替えられ、最も高精度に補正が実行されるPSFが選択される。本技術においても高品質な画像の投射が可能となる。
【0095】
PCにより選択されたPSFをもとに補正された校正用画像60は、プレビュー画像ともいえる。またPSFは、各代表画素61のボケ度合いと対応する情報である。従ってプレビュー画像は、1以上の代表画素の各々のボケ度合いを入力するためのGUIに含まれる。なおプレビュー画像を通して決定されたPSFの強度等がユーザ6により調整可能であってもよい。この場合、例えば図16等に示すガウス形状図45等が表示されてもよい。
【0096】
図17に示す実施形態では、校正用画像として、1ドットパターンではない画像が用いられてもよい。あるいは、投射対象となる画像がそのまま用いられ、そのプレビュー画像をもとにPSFが算出されてもよい。なお他の実施形態においても、1ドットパターンではない画像が校正用画像として用いられてもよい。
【0097】
投射される校正用画像内の代表画素の中に、フォーカスが合っている代表画素が存在しないとする。この場合でも、最もフォーカスが合っているとユーザが判断する代表画素を基準として、本技術に係るPSFの算出が可能である。例えば非常に奇抜な形状の投射面に、ある程度の品質にて画像を投射する場合等において、ユーザの目視をもとにPSFを算出する本技術は有効である。
【0098】
図13B及びCに示すミキシングに代えて、補正された代表点の結果がミキシングされて、補間対象点の補正結果として算出されてもよい。
【0099】
上記の実施形態では、PSFの算出対象となる代表画素が1つずつ選択された。これに限定されず、所定の範囲のデフォーカス領域内の複数の代表画素の中から、代表となる代表画素が選択されてもよい。そして当該代表となる代表画素について算出されたPSFがデフォーカス領域内の他の代表画素のPSFとして設定されてもよい。すなわち局所ごとに共通のPSFが設定されてもよい。これにより処理の簡素化、処理時間の短縮を図ることができる。
【0100】
上記では、PC200の表示部206に、ボケ度合いを入力するためのGUIが表示された。これに限定されず、例えば投射面5上にボケ度合いを入力するためのGUIが表示され、投射面5上でボケ形状25の作成等が実行されてもよい。投射面5に投射される画像にはボケ等が発生するが、比較的大きいサイズの領域を用いてボケ形状25の作成等を実行させることで、当該ボケ等の影響を的抑えることができる。すなわち各代表画素についてのPSFを十分な精度にて算出することができる。
【0101】
GUIを介して入力されたボケ度合いをもとに画像情報を補正する方法として、PSF以外のパラメータが用いられてもよい。すなわち入力されたボケ度合いをもとに画像を補正する方法は限定されず、任意の方法が用いられてよい。
【0102】
上記の各実施形態で説明したPC200による種々の処理が、プロジェクタ100により実行されてもよい。例えば図2に示すプロジェクタ100の表示制御部140が、本技術に係る出力部及び算出部として機能してもよい。これによりプロジェクタ100は、本技術に係る画像表示装置として動作可能となる。なお当該プロジェクタ100は、本技術に係る情報処理装置としても機能することになる。
【0103】
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
【0104】
なお、本技術は以下のような構成も採ることができる。
(1)1以上の代表画素が表示された校正用画像の投射を指示する投射指示部と、
前記投射された校正用画像内の前記1以上の代表画素の各々のボケ度合いを入力するためのGUI(Graphical User Interface)を出力する出力部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、さらに、
前記GUIを介して入力された前記1以上の代表画素の各々のボケ度合いをもとに、投射される画像を補正する補正部を具備する
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、さらに、
前記GUIを介して入力された前記1以上の代表画素の各々のボケ度合いをもとに、投射される画像の各画素についてのPSF(Point spread function)を算出する算出部を具備する
情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記出力部は、前記ボケ度合いを表す形状を作成可能なGUIを出力する
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記算出部は、前記入力された前記ボケ度合いを表す形状と、ボケによる前記代表画素からの光の広がりのサイズとをもとに、前記代表画素についてのPSFを算出する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを示す枠画像を、前記枠画像内にて前記ボケ度合いを表す形状が作成可能に出力する
情報処理装置。
(7)(5)又は(6)に記載の情報処理装置であって、
前記出力部は、ボケの発生しない状態の前記代表画素を示す基準画像を、前記基準画像の形状を変更可能に出力する
情報処理装置。
(8)(5)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記出力部は、前記ボケによる前記代表画素からの光の広がりのサイズを入力するためのGUIを出力する
情報処理装置。
(9)(5)から(8)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記校正用画像を投射する投射装置のスポットダイアグラムを記憶する記憶部を具備し、
前記算出部は、前記記憶されたスポットダイアグラムをもとに、前記ボケによる前記代表画素からの光の広がりのサイズを算出する
情報処理装置。
(10)(4)から(9)のうちいずれか1つに記載の情報処理装置であって、
前記出力部は、前記ボケ度合いを表す形状の候補となる複数の候補形状画像を出力する
情報処理装置。
(11)(10)に記載の情報処理装置であって、
前記出力部は、前記複数の候補形状画像を、各々の形状を変更可能に出力する
情報処理装置。
(12)(3)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記投射指示部は、前記算出部により算出された前記各画素についてのPSFをもとに補正された画像の投射を指示する
情報処理装置。
【符号の説明】
【0105】
S1…ボケが発生しない状態の代表画素サイズ
S2…ボケサイズ
1…投射画像
10…校正用画像(画像情報)
11…校正用画像(画像情報)の代表画素
15…校正用画像(投射画像)
16…校正用画像(投射画像)の代表画素
20…ボケ形状を作成可能なGUI
21…枠画像
22…基準画像
25…ボケ形状
40…候補画像
60…校正用画像(補正後)
61…校正用画像(補正後)の代表画素
100…プロジェクタ
200…PC
500…画像表示システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17