特許 7547391 投影装置、情報処理装置及び駆動回路

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】投影装置、情報処理装置及び駆動回路

(51)【国際特許分類】

   G02F 1/13 20060101AFI20240902BHJP

   G03B 21/00 20060101ALI20240902BHJP

   G03H 1/04 20060101ALI20240902BHJP

   G02B 30/10 20200101ALN20240902BHJP

   G02F 1/01 20060101ALN20240902BHJP

【ＦＩ】

G02F1/13 505

G03B21/00 E

G03H1/04

G02B30/10

G02F1/01 D

【請求項の数】 15

(21)【出願番号】P 2021573047

(86)(22)【出願日】2021-01-05

(86)【国際出願番号】 JP2021000121

(87)【国際公開番号】W WO2021149479

(87)【国際公開日】2021-07-29

【審査請求日】2023-11-14

(31)【優先権主張番号】P 2020010225

(32)【優先日】2020-01-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(72)【発明者】

【氏名】岩崎 延雄

【審査官】岩村 貴

(56)【参考文献】

【文献】米国特許出願公開第２０１０／００９７６７３（ＵＳ，Ａ１）

【文献】特開２０１６－１０５１８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２０８１４４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｆ １／１３

Ｇ０３Ｈ １／０４

Ｇ０２Ｆ １／０１

Ｇ０３Ｂ ２１／００

Ｈ０４Ｎ ５／７４

(57)【特許請求の範囲】

【請求項1】

光を射出する、照明光学系と、
入力画像に基づいたホログラムパターンを生成する、情報処理部と、
液晶を備え、前記情報処理部が生成した前記ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備え、
前記情報処理部は、
所定フレームごとに、画素単位で前記ホログラムパターンを所定方向にシフトした新しい前記ホログラムパターンを生成し、前記ホログラムパターンを前記所定方向にシフトした場合に、前記所定方向と逆側にある前記ホログラムパターンの端部において、ランダムパターンを生成する、
投影装置。

【請求項2】

前記所定方向は、前記液晶の配向方向である、
請求項１に記載の投影装置。

【請求項3】

前記情報処理部は、前記ホログラムパターンにおける隣接画素の位相差と、シフトする量に基づいて、前記ホログラムパターンの各画素における位相量を制御する、
請求項１又は請求項２に記載の投影装置。

【請求項4】

前記情報処理部は、前記ホログラムパターンの画素に印加する電圧を制御して、前記位相量を制御する、
請求項３に記載の投影装置。

【請求項5】

前記情報処理部は、前記ホログラムパターンの前記位相量を、LUT（Lookup Table）にしたがって制御する、
請求項３又は請求項４に記載の投影装置。

【請求項6】

前記情報処理部は、前フレームの前記入力画像と現フレームの前記入力画像との差分が0より大きく、所定しきい値よりも小さい場合に、シフトして取得された前記ホログラムパターンを最適化演算により更新する、
請求項１から請求項５のいずれかに記載の投影装置。

【請求項7】

前記情報処理部は、フーリエ反復法により、前記ホログラムパターンを更新する、
請求項６に記載の投影装置。

【請求項8】

前記情報処理部は、前フレームの前記入力画像と現フレームの前記入力画像との差分が所定しきい値以上である場合に、ランダムパターンを初期値として用いて最適化演算により前記ホログラムパターンを取得する、
請求項１から請求項７のいずれかに記載の投影装置。

【請求項9】

前記情報処理部は、フーリエ反復法により、前記ホログラムパターンを取得する、
請求項８に記載の投影装置。

【請求項10】

光を射出する、照明光学系と、
液晶を備え、ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備える投影装置に対して、
入力画像に基づいたホログラムパターンを生成し、
所定フレームごとに、前記ホログラムパターンを画素単位で所定方向にシフトした新しい前記ホログラムパターンを生成する、
前記ホログラムパターンを前記所定方向にシフトした場合に、前記所定方向と逆側にある前記ホログラムパターンの端部において、ランダムパターンを生成する、
情報処理装置。

【請求項11】

前記投影装置の内部に備えられる、
請求項１０に記載の情報処理装置。

【請求項12】

前記投影装置の外部に備えられる、
請求項１０に記載の情報処理装置。

【請求項13】

光を射出する、照明光学系と、
液晶を備え、ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備える投影装置に対して、
入力画像に基づいて生成されたホログラムパターンについて、所定フレームごとに画素単位で所定方向にシフトし、前記ホログラムパターンを前記所定方向にシフトした場合に、前記所定方向と逆側にある前記ホログラムパターンの端部において、ランダムパターンを生成した新しい前記ホログラムパターンを前記空間光位相変調器に形成する制御をする、
駆動回路。

【請求項14】

前記投影装置の内部に備えられる、
請求項１３に記載の駆動回路。

【請求項15】

前記投影装置の外部に備えられる、
請求項１３に記載の駆動回路。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、投影装置、情報処理装置及び駆動回路に関する。

【背景技術】

【0002】

情報処理装置を用いて、空間光位相変調器（SLM: Spatial Light Modulator）にホログラムパターンを出力し、当該ホログラムパターンに光を照射することにより映像を表示させる技術がある。液晶を用いるディスプレイ等においては、静止画や動きの少ない動画を投影し続けると、液晶に存在する不純物イオンに由来する焼き付きが発生し、画質が劣化する。SLMにホログラムパターンを出力する場合、順次パターンを切り替える場合は、不純物イオンが局在化することは、比較的少ないと考えられるが、静止画表示等を実行する場合や前フレームを参照して新たなパターンを生成する場合には、不純物イオンの局在化の課題がSLMにおいても存在しうる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2016-161621号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、空間光位相変調器は、その位相変調部に液晶を用いているものが多く、静止画や動画における動きの少ない背景部等を投影するために用いられる領域において、長時間同じ変更状態を保つことにより、不純物イオンが偏在化し、焼き付きを起こす原因となる。この焼き付きは、短期的に投影画像の劣化を招くことに加え、同じ状況の焼き付きが続くこと異より、長期的に位相変調の精度を落とすことにもなる。

【0005】

そこで、本開示は、空間光位相変調器の焼き付きを抑制する投影装置を提供する。

【課題を解決するための手段】

【0006】

一実施形態によれば、投影装置は、光を射出する、照明光学系と、入力画像に基づいたホログラムパターンを生成する、情報処理部と、情報処理部が生成したホログラムパターンを形成し、照明光学系により射出された光を透過させる、空間光位相変調器と、空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、を備え、情報処理部は、所定フレームごとに、ホログラムパターンを所定方向にシフトした新しいホログラムパターンを生成する。

【0007】

空間光位相変調器は、液晶を備えて構成されていてもよい。

【0008】

所定方向は、液晶の配向に基づいた方向であってもよい。このように、液晶の配向方向にシフトさせることにより、効率よく不純物イオンの偏在化を解消することができる。

【0009】

情報処理部は、画素単位でホログラムパターンを所定方向にシフトしてもよい。画素単位とは、適切に画像が崩れない程度に、1画素単位、2画素単位、・・・、所定画素単位であってもよい。

【0010】

情報処理部は、所定画素数をシフトした後に、所定方向と逆方向にホログラムパターンをシフトしてもよい。

【0011】

情報処理部は、ホログラムパターンを所定方向と逆方向に所定画素数が画素分シフトしてもよい。例えば、所定フレームだけシフトを繰り返した後に、所定方向とは逆方向に所定フレームの数だけ遡るようにシフトさせてもよい。このように逆方向にシフトさせることにより、出力画像の精度を保ちつつ、焼き付きを抑制してもよい。

【0012】

情報処理部は、ホログラムパターンを所定方向にシフトした場合に、所定方向と逆側にあるホログラムパターンの端部において、ランダムパターンを生成してもよい。

【0013】

情報処理部は、ホログラムパターンを所定方向にシフトした場合に、所定方向と逆側にあるホログラムパターンの端部において、隣接画素の位相量に基づいて位相量を算出し、パターンを生成してもよい。これらのように、シフトした逆側のサイドにおけるホログラムパターンを生成してもよい。

【0014】

情報処理部は、ホログラムパターンにおける隣接画素の位相差と、シフトする量に基づいて、ホログラムパターンの各画素における位相量を制御してもよい。

【0015】

情報処理部は、ホログラムパターンの画素に印加する電圧を制御して、位相量を制御してもよい。このように制御することで、隣接画素において回折された波面が有する位相差を制御し、隣接画素間における波面が前フレームと現フレームにおいてスクリーンの同じ位置に結像することができる。

【0016】

情報処理部は、ホログラムパターンの位相量を、LUT（Lookup Table）にしたがって制御してもよい。一般的にSLMにおいて、位相差は、隣接する画素との画素値の差で表されるので、この位相量の変換は、LUTを用いることにより簡単に実行することができる。

【0017】

情報処理部は、前フレームの入力画像と現フレームの入力画像との差分が0より大きく、所定しきい値よりも小さい場合に、シフトして取得されたホログラムパターンを最適化演算により更新してもよい。このように判定することにより、大きな動きを有するフレーム間と、小さな動きしか有しないフレーム間とで、処理を変えることができる。

【0018】

情報処理部は、前フレームの入力画像と現フレームの入力画像との差分が所定しきい値以上である場合に、ランダムパターンを初期値として用いて最適化演算によりホログラムパターンを取得してもよい。上記と同様に、このように判定することにより、大きな動きを有するフレーム間と、小さな動きしか有しないフレーム間とで、処理を変えることができる。

【0019】

情報処理部は、動きがある場合には、動きの大きなフレーム及び動きの小さなフレームの双方において、フーリエ反復法により、ホログラムパターンを取得してもよい。すなわち、ランダムパターン、シフトしたパターンのいずれに対してもフーリエ反復法を用いることができる。このように、ホログラムパターンの最適化が必要である場合には、フーリエ反復演算により実行することができる。

【0020】

一実施形態によれば、光を射出する、照明光学系と、ホログラムパターンを形成し、照明光学系により射出された光を透過させる、空間光位相変調器と、空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、を備える投影装置に対して、この投影装置に備えられる情報処理装置、又は、この投影装置の空間光位相変調器と接続される外部の情報処理装置は、入力画像に基づいたホログラムパターンを生成し、所定フレームごとに、ホログラムパターンを所定方向にシフトした新しいホログラムパターンを生成する。なお、情報処理装置は、厳密に上記の光学系を形成する場合には限られず、空間光位相変調器を用いる場合には、同様の動作を実行することができる。

【0021】

情報処理装置は、投影装置の内部に備えられてもよい。

【0022】

情報処理装置は、投影装置の外部に備えられてもよい。このように、情報処理装置は、投影装置の内部、又は、外部から、ホログラムパターンの生成及び制御を実行することができる。

【0023】

一実施形態によれば、光を射出する、照明光学系と、ホログラムパターンを形成し、照明光学系により射出された光を透過させる、空間光位相変調器と、空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、を備える投影装置に対して、この投影装置に備えられる空間光位相変調器の駆動回路、又は、この投影装置の空間光位相変調器に接続される外部の駆動回路は、入力画像に基づいて生成されたホログラムパターンについて、所定フレームごとに所定方向にシフトした新しいホログラムパターンを空間光位相変調器に形成する制御をする。なお、駆動回路は、厳密に上記の光学系を形成する場合には限られず、空間光位相変調器を用いる場合には、同様の動作を実行することができる。

【0024】

駆動回路は、投影装置の内部に備えられてもよい。

【0025】

駆動回路は、投影装置の外部に備えられてもよい。このように、駆動回路は、投影装置の内部、又は、外部から、ホログラムパターン生成のための制御電圧を印加することができる。

【図面の簡単な説明】

【0026】

【図1】一実施形態に係る投影装置の概略を示す図。

【図2】一実施形態に係る情報処理装置を模式的に示すブロック図。

【図3】一実施形態に係るホログラムパターンの生成処理を示すフローチャート。

【図4】一実施形態に係るホログラムパターンのシフトの一例を示す図。

【図5】一実施形態に係るホログラムパターンのシフトの一例を示す図。

【図6】一実施形態に係る情報処理装置を模式的に示すブロック図。

【図7】一実施形態に係るホログラムパターンの生成処理を示すフローチャート。

【図8】一実施形態に係るホログラムパターンの電圧値制御の一例を示す図。

【図9】一実施形態に係るホログラムパターンの生成処理を示すフローチャート。

【図10】一実施形態に係るホログラムパターンの生成処理を示すフローチャート。

【発明を実施するための形態】

【0027】

以下、図面を参照して、実施形態について説明する。なお、本明細書において、「より大きい」「より小さい」の表現は、適宜「以下」「以上」と矛盾を含まないように読み替えることが可能であり、その逆の読み替えもまた、可能である。

【0028】

図１は、本開示における投影装置の概略を示す図である。投影装置1は、光源10と、照明光学系12と、空間光位相変調器（以下SLM 14と記載する。）と、投射光学系16と、情報処理装置20と、を備え、スクリーン18に出力画像を投影する。

【0029】

光源10は、例えば、コヒーレントに近い光を照射する、レーザー等の装置である。

【0030】

照明光学系12は、例えば、光源10から射出された光のビーム系を適切に拡げ、SLM 14の全体にコヒーレントな光が照射されるように制御する。この照明光学系12は、例えば、複数のレンズにより形成されてもよい。

【0031】

SLM 14は、例えば、液晶により光の位相を変調する。例えば、照明光学系12から射出された光の位相は、コヒーレントに近い光を用いているため、SLM 14に入射される面においては、そろっている状態となっている。このそろっている位相をSLM 14により変調する。例えば、SLM 14には、図の左上に示すようなホログラムパターンが形成され、このホログラムパターンをコヒーレントな平面波が通過することにより、各画素において位相が変調された光が射出される。

【0032】

投射光学系16は、SLM 14において変調された光をスクリーンへと投射する光学系である。この投射光学系16によりSLM 14により変調された光の波面が回折され、スクリーン上に像を形成する。

【0033】

スクリーン18には、投射光学系16から射出された光が投影され、それぞれの位置から射出した光が結像し、出力画像を形成する。

【0034】

情報処理装置20は、例えば、液晶に電圧を掛ける駆動回路を備え、SLM 14においてホログラムパターンを形成する。情報処理装置20は、入力画像を適切に変換し、このホログラムパターンを生成する。例えば、SLM 14が液晶を備える場合には、SLM 14の各画素を形成する液晶に、電圧が印加されることにより、各画素における位相変調量が決定する。情報処理装置20は、入力画像から位相変調量を取得し、この位相変調量となるように液晶に印加する電圧を制御して出力する。情報処理装置20は、これらの処理を実行するプロセッサ、FPGA(Field Programmable Gate Array)、ASIC(Application Specified Integrated Circuitry)等の電子回路（アナログ回路、デジタル回路、これらの混合回路）を備えていてもよいし、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現されるものであってもよい。

【0035】

情報処理装置20に入力された入力画像が、ホログラムパターンに変換され、このホログラムパターンにコヒーレントな平面波が入射することにより、位相が変調され、この変調された波面が投射光学系16により回折することにより、スクリーン18に入力画像と同等の出力画像が投影される。

【0036】

投影装置1は、単色光において投影をするものであってもよいし、スクリーン上に複数の単一光における回折像が重なるように投影したカラー画像を投影するものであってもよい。複数の波長に対応する場合には、情報処理装置20は、それぞれの光の波長及びSLM 14の位置に基づいて、ホログラムパターンを生成する。

【0037】

情報処理装置20における入力画像からホログラムパターンの生成について詳しく説明する。

【0038】

（第1実施形態）
図２は、本実施形態に係る情報処理装置20の概略を示すブロック図である。情報処理装置20は、入力部200と、記憶部202と、差分算出部204と、ホログラム生成部206と、最適化部208と、駆動部210と、を備える。情報処理装置20は、上述したように、入力画像からホログラムパターンを生成し、SLM 14を当該ホログラムパターンに基づいて駆動する。

【0039】

入力部200は、入力画像を受け付ける。例えば、静止画であれば、静止画の情報を取得し、動画であれば、フレームごとの画像を受け付ける。入力部200は、入力された画像を記憶部202に格納してもよい。

【0040】

記憶部202は、例えば、現在のフレーム及び過去のフレームにおける入力画像及びホログラムパターンの情報を記憶する。その他、情報処理装置20がソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、このソフトウェアの処理を実行するためのソースコードや実行ファイルが、この記憶部202に格納されていてもよい。

【0041】

差分算出部204は、現在のフレームにおける入力画像（次の出力画像）と、前のフレームにおける入力画像（現在の出力画像）とを比較し、それらの差分を算出する。差分算出部204は、例えば、次に出力する画像の入力画像と、現在出力されている入力画像とのそれぞれの画素の差を算出し、2乗して和をとって（2乗和を算出して）もよい。この他、2乗平均平方根誤差等の他の手法により、これら2つの画像の差分を算出してもよい。差分算出部204は、例えば、入力部200から入力されたデータと、記憶部202に格納されているデータから差分を算出する。

【0042】

ホログラム生成部206は、入力部200が取得した画像が投影装置1から投影されるようなホログラムパターンを生成する。初期状態においては、ホログラム生成部206は、ホログラムパターンとしてランダムパターンを生成してもよい。前のフレームの情報が存在するタイミングにおいては、ホログラム生成部206は、前フレームの情報及び現フレームの情報に基づいてホログラムパターンを生成する。このホログラムパターンの生成の詳細については、後述する。

【0043】

最適化部208は、ホログラム生成部206が生成したホログラムの最適化を行う。例えば、ホログラム生成部206が初期状態としてランダムパターンを生成した場合には、フーリエ反復法等により、ホログラムパターンの最適化を実行する。最適化部208は、記憶部202に格納されている現フレームのデータを用いて反復計算を実行してもよい。この最適化の詳細についても、後述する。

【0044】

駆動部210は、ホログラム生成部206が生成したホログラムパターン、又は、最適化部208が最適化したホログラムパターンに基づいたパターンがSLM 14の液晶領域に反映されるように電圧を印加する。この駆動部210により、生成、最適化されたホログラムパターンがSLM 14に形成される。

【0045】

図３は、本実施形態に係る処理の流れを示すフローチャートである。

【0046】

情報処理装置20は、初期状態においては、通常のフーリエ反復法と同様の手法によりホログラムパターンを生成する。すなわち、初期パターンとしてランダムパターンを生成し、当該ランダムパターンを位相情報、照明光学系12の出力する波面情報を強度情報として、フーリエ変換を実行する。このフーリエ変換を実行した画像情報において、強度情報をターゲットの画像情報（強度情報）に置き換えとして、逆フーリエ変換を実行する。取得された強度情報を再び実際の強度情報に置き換え、フーリエ変換を実行する。この作業を繰り返すことにより、最適化された位相情報（ホログラムパターン）を取得する。

【0047】

前のフレームのホログラムパターンが存在する状態においては、図３に示すフローチャートのようにホログラムパターンの更新が実現される。

【0048】

まず、入力部200を介してターゲットの画像を取得する（S100）。このターゲットの画像を現フレームの入力画像と呼ぶ。この画像は、投影の対象となる画像であり、SLM 14を介してスクリーンに投影される画像である。

【0049】

次に、差分算出部204は、所定フレーム前、例えば、1フレーム前の画像との差分を算出する（S102）。差分算出部204は、例えば、1フレーム前のターゲット画像（前フレームの入力画像）と、現フレームの入力画像との差分を算出する。差分は、上述したように、例えば、2乗和等により算出される。

【0050】

次に、ホログラム生成部206は、差分が存在するか否かを判断する（S104）。ホログラム生成部206は、差分がない場合は、静止画或いは動画において静止している状態であり、差分がある場合は、動画であると判断する。また、これには限られず、ターゲット画像の入力と併せて、静止画である旨の信号、又は、動画である旨の信号を取得し、この信号により判断してもよい。

【0051】

現フレームと前フレームの入力画像間に差分が存在する場合（S104: YES）、ホログラム生成部206は、初期の位相パターンとしてランダムパターンを生成する（S106）。

【0052】

続いて、最適化部208は、ホログラム生成部206が生成した初期の位相パターンを用いて、フーリエ反復演算を実行する（S108）。この反復演算によりホログラムパターンの最適化を行う。最適化は、一般的な手法における終了条件を用いてもよく、例えば、実空間における強度の差分が所定値より小さくなった、又は、所定の回数のフーリエ反復演算を実行した、等の条件を用いてもよい。S108は、サブルーチンとして示しているが、これは、上述したフーリエ反復法のステップを実行するサブルーチンとして理解されたい。

【0053】

次に、最適化部208は、終了条件に基づいてホログラムパターンを生成する（S110）。例えば、実空間における画像の強度の差分を終了条件に用いていた場合には、差分が所定値よりも小さくなったタイミングでの位相情報及び現フレームの入力画像を用いて逆フーリエ変換を実行し、位相情報を表すホログラムパターンを生成する。所定回数のフーリエ反復演算を実行する条件である場合には、最終的に取得されている情報が実空間における情報であれば、位相情報と現フレームの入力画像を用いた逆フーリエ変換を実行してホログラムパターンを生成する。最終的に取得されている情報が周波数空間における情報であれば、そのタイミングで取得されている位相情報をホログラムパターンとする。

【0054】

一方、S104において差分がない場合（S104: NO）、ホログラム生成部206は、入力画像が静止画、又は、前フレームからは動きのない画像であると判断して、ホログラムパターンをシフトする（S112）。ホログラムパターンをシフトするとは、前フレームで出力したホログラムパターンをいずれかの方向（所定方向）に画像全体を画素単位でシフトしてそれを現フレームのホログラムパターンとして取得する。

【0055】

図４は、ホログラムパターンのシフトの一例を示す図である。ここでは、ホログラムパターンを4 × 4画素として示しているが、実際には任意の画素数、例えば、256 × 256画素、512 × 512画素、或いは、HDサイズ、4Kサイズといったより多くの画素を備えていてもよい。

【0056】

ホログラムパターンをシフトするとは、例えば、左図に示すようなパターンを、右図に示すように、1画素分シフトさせることを意味する。なお、シフト量は、1画素であるとは限られず、例えば、2画素、3画素等の量でシフトさせてもよい。シフトの方向、すなわち、所定方向は、SLM 14における液晶分子の配向方向であることが望ましい。図４の例においては、液晶分子の配向方向が図面向かって左右方向であることが好ましい。このように、液晶分子の配向方向にシフトさせることにより、不純物イオンの偏在化をより効率よく抑制することができる。2画素以上シフトさせる場合には、下記の説明における所定方向と逆の端部における新しいパターンの生成も、1画素分ではなく、複数画素分生成することとなる。

【0057】

図５は、ホログラムパターンのシフトの別の例を示す図である。この図に示すように、図４と同様に液晶の配向方向にシフトした後に、シフト方向と逆方向の端部の画素にランダムパターンを配置してもよい。また、このシフト方向と逆方向の端部の領域には、ランダムパターンではなく、周囲の画素と近い画素値としてもよい。この場合、この領域において焼き付きの発生を抑制すべく、印加する電圧値を変化させ、同じ画素値にはならないようにしてもよい。

【0058】

さらに、類似するパターンではなく、前フレームにおける当該領域における画素と、その隣接する画素との間の位相差に基づいて現フレームにおける画素値を決定してもよい。より具体的には、図５におけるL1に属する画素と隣接するL2 に属する画素との位相差に基づいて、現フレームにおけるL0に属する画素と隣接するL1に属する画素の位相差が同等になるように、L0に属する画素の画素値を決定してもよい。例えば、ある列におけるL1に属する画素とL2に属する画素の間の位相差がφであれば、当該列におけるL0に属する画素とL1に属する画素との間の位相差がφとなるようにL0の画素値を決定してもよい。

【0059】

また、上記のように、一方向にシフトするだけには限られない。例えば、所定フレームごとにそれまでのフレームでシフトした分を戻すように所定方向とは逆方向にシフトしてもよい。例えば、1フレームごとに1画素所定方向にシフトするとし、5フレームごとに4画素所定方向とは逆方向にシフトさせてもよい。還元すると、所定数の画素をシフトした後に、当該シフトした所定数を元に戻すように逆側にシフトさせてもよい。付与するランダムパターン等は、前回のループによるパターンをループさせて用いてもよいし、1ループごとに再生成し直してもよい。

【0060】

このようにループさせることにより、スクリーン18の画像における画素の位置に対して、SLM 14におけるパターンの中の遠くに位置する画素から結像させることを抑制することができる。所定方向と逆方向にシフトさせる場合も、シフト方向とは逆の端部においては、上記のように、ランダムパターン等の画素値を設定してもよい。

【0061】

さらに、1フレームごとに差分を求めてホログラムパターンをシフトさせるのではなく、例えば、2フレーム、3フレームといった、所定フレームごとにホログラムパターンをシフトするものとしてもよい。上記の記載と併せると、本態様の説明としては、1フレームごとに1画素だけホログラムパターンをシフトするものとしているが、これは、所定フレームごとに、所定画素だけホログラムパターンをシフトすると言い換えてもよい。

【0062】

情報処理装置は、前フレームと現フレームの間に差分がない場合（S104: NO）には、上記のようにホログラムパターンをシフトさせて、新しいホログラムパターンを生成する。

【0063】

図３におけるホログラムパターン生成処理の後、情報処理装置20の駆動部210は、新しいホログラムパターンをSLM 14に形成するように電圧値を制御して出力する。

【0064】

以上のように、本実施形態によれば、投影装置に用いる空間光位相変調器において、液晶に同じ電圧を印加し続けることによる焼き付きを、フレームごとにホログラムパターンをシフトさせることにより、抑制することが可能となる。また、シフトを液晶の配向方向とすることにより、SLM 14における不純物イオンの偏在化をより効率よく排除することが可能となり、投影する画像の精度をより高めることができる。

【0065】

（第2実施形態）
前述した第1実施形態では、静止画である場合に、ホログラムパターンをシフトさせて焼き付きを抑制したが、第2実施形態においてはさらに、パターンをシフトさせた後に、印加する電圧を制御して投影画像の精度を向上させるものである。

【0066】

図６は、本実施形態に係る情報処理装置20を模式的に示すブロック図である。情報処理装置20は、第1実施形態に係る情報処理装置の各構成に加え、さらに、電圧制御部212を備える。

【0067】

電圧制御部212は、ホログラム生成部206がシフトして生成したホログラムパターンについて、電圧を制御して精度のよい画像を投影させる。

【0068】

図７は、本実施形態員係る情報処理装置20の処理を示すフローチャートである。S100～S112の処理は、前述の第1実施形態と同様である。

【0069】

情報処理装置20は、前述の実施形態と同様に、静止画であると判断した場合には、ホログラムパターンを所定方向に画素単位でシフトする（S100）。シフトした場合の端部の画素の処理も、第1実施形態と同様に実行することが可能である。その後、電圧制御部212は、シフトしたホログラムパターンを形成するために液晶に印加する電圧値を制御する（S212）。この制御は、例えば、LUT（Lookup Table）を用いて実行される。このLUTは、例えば、そのデータが記憶部202に格納されていてもよい。

【0070】

図８は、電圧を制御して隣接画素間の位相差を制御することによる結像位置を示すものである。この図８は、図５等に記載のSLM 14の画素について、その1列を上面から見たものであり、図５等の水平方向における結像を上から見た図である。

【0071】

電圧制御部212は、隣接する画素同士の位相を制御して、スクリーン18に結像する位置を制御する。前フレームの状態が左図であり、現フレームの状態が右図である。この左図の状態から、ホログラムパターンをそのままシフトさせると、右図のように、結像する位置は、現フレームではスクリーン18上において点線で示すように1画素分ずれる。そこで、シフトしたパターンを形成する画素値に印加する電圧を制御することにより、現フレームにおける結像位置がずれないようにする。

【0072】

例えば、電圧制御部212は、ホログラム生成部206がシフトしたパターンの各画素に印加する電圧値を、パターンに基づいて制御する。例えば、前フレームのP2～P4の画素値を用いて、現フレームのP3に印加する電圧をLUTから抽出する。このLUTには、例えば、前フレームの着目画素とその隣接する2画素の位相差から、現フレームの着目画素に印加する補正電圧値が紐付けられて格納されている。例えば、位相差の単位をπ / 36等とし、隣接2画素との関係と電圧値とを紐付けると、36 × 36要素のLUTとなり、値の抽出及び必要とする記憶領域ともに大きなコストが生じることはない。また、図５等の鉛直方向に対しても、影響が小さくなるように、鉛直2画素の影響を考えたLUTを作成してもよい。

【0073】

電圧制御部212が補正電圧により印加する電圧を大きく変化させてしまうと、スクリーン18に投影する画像が劣化する可能性がある。このため、補正電圧値は、投影画像の精度に影響が無い程度に抑えられたものであってもよい。また、着目画素の画素値に基づいて、LUTから抽出した値にゲインを掛けてもよい。

【0074】

上記では、電圧制御部212は、着目画素と隣接2画素との関係を見るとしたが、これには限られない。例えば、所定方向（シフト方向）に隣接する画素との位相差から補正電圧値を抽出できるようにしてもよい。例えば、電圧制御部212は、前フレームのP4とP3との位相差に基づいて、現フレームのP3に印加する補正電圧値を抽出してもよい。また、逆に、所定方向の逆方向に隣接する画素との位相差から補正電圧値を抽出できるようにしてもよい。例えば、電圧制御部212は、前フレームのP3とP2との位相差に基づいて、現フレームのP3に印加する補正電圧値を抽出してもよい。

【0075】

この結果、補正電圧値を加算してホログラムパターンを形成することにより、より前フレームの結像位置と、現フレームの結像位置が近い位置となるように制御することが可能となる。例えば、P1～P3を透過した波面が結像する位置を、右図において破線で示す位置から実線で示すx1とすることができ、前フレームの結像位置x0とより近い位置に結像さえること可能となる。

【0076】

電圧制御部212により取得された電圧補正値は、例えば、ホログラム生成部206が生成したシフトしたホログラムパターンの画素ごとに取得される。駆動部210は、ホログラム生成部206が生成したホログラムパターンに、電圧制御部212が取得した補正電圧値を加算して、SLM 14に補正電圧値で補正されたホログラムパターンを形成する。

【0077】

なお、LUTから取得するものとしたが、これに限られるものではなく、電圧制御部212は、隣接画素等との位相差から補正電圧値を計算により求めるものであってもよい。この場合、例えば、隣接画素等との画素値の差と、隣接画素等との間において形成される位相差と、の関係を示すLUTを用いてもよい。

【0078】

また、この補正電圧の制御について、上記では、1画素シフトする場合について説明したが、複数画素シフトする場合には、シフトする画素数に応じて、補正電圧値にゲインを掛けてもよい。例えば、2画素シフトする場合には、電圧制御部212は、2画素分ずれた場所に結像するように、位相差を取得してもよい。

【0079】

以上のように、本実施形態によれば、シフトしたホログラムパターンに対して、シフトした各画素の所定方向における位相差を考慮した補正電圧値を用いて制御すること、すなわち、ホログラムパターン形成のための電圧を制御することにより、スクリーン18における各画素における隣接画素との位相差により回折される結像位置を、前フレームの状態と近い位置に制御することが可能となる。この結果、例えば、静止画を投影し続ける場合等において、スクリーン18に投影される画像がちらつくことや、投影時間の長さに応じて画像の位置がずれていくことを抑制することが可能となる。

【0080】

なお、図８の右図においてP0が影響する波面の結像箇所をx1に近づけるようにしてもよい。すなわち、前フレームのP2とP1の位相差に基づいて、現フレームのP1とP0の位相差を推定し、現フレームのP1とP0の位相差がこの推定値となるように、電圧制御部212は、P0に対応するホログラムパターン形成のための電圧値を制御してもよい。

【0081】

（第3実施形態）
前述の各実施形態では、静止画に対してホログラムパターンを生成することについて説明した。第3実施形態では、動画に対してホログラムパターンを精度よく、かつ、効率よく生成することについて説明する。本実施形態に係る情報処理装置20の構成は、例えば、第1実施形態に係る図１に示す情報処理装置20と同様である。

【0082】

図９は、本実施形態に係るホログラムパターン生成の処理を示すフローチャートである。このフローチャートにおいて、S200、S202、S206、S208、S210、S212は、それぞれ、図３のS100、S102、S106、S108、S110、S112と同様であるので、詳しい説明は省略する。

【0083】

ホログラム生成部206は、前フレームと現フレームの差分を求めた後、この差分が所定しきい値より小さいか、又は、所定しきい値以上であるかを判断する（S204）。この所定しきい値は、入力画像が動画である場合に、フレーム間において動きが大きいか、そうでは無いかを判断するしきい値である。ホログラム生成部206は、所定しきい値と差分との大小関係により判断することにより、動きの大きい動画であるか、動きの小さい動画であるかを判定する。

【0084】

差分が所定しきい値以上である場合（S204：NO）、ホログラム生成部206、最適化部208は、第1実施形態と同様の処理を実行してホログラムパターンを生成する（S206～S210）。

【0085】

差分が所定しきい値より大きい場合（S204：YES）、ホログラム生成部206は、ホログラムパターンをシフトして、新しいホログラムパターンを生成する（S212）。第1実施形態と同様に、所定方向にシフトした逆側の領域においては、ランダムパターン等により新しい画素値が設定される。

【0086】

この後、ホログラム生成部206は、入力画像が静止画であるか、軽微な動きを有する動画であるかを判断する（S214）。差分算出部204が算出した差分が0である、すなわち、入力画像が静止画であると判定された場合（S214：YES）、ホログラムパターンの生成を終了し、第1実施形態と同様に、駆動部210は、このホログラムパターンをSLM 14が形成するように電圧の制御を行う。

【0087】

一方、差分算出部204が算出した差分が0ではない場合、ホログラム生成部206は、入力画像が軽微な動きを有する動画であると判定する（S214：NO）。このように、軽微な動きを有する動画であると判定されると、最適化部208は、ホログラム生成部206により所定方向にシフトされた新しいホログラムパターンを周波数空間における位相情報として、フーリエ反復演算を実行する（S208）。そして、最適化が終了してホログラムパターンが作成された後に、駆動部210によりSLM 14にホログラムパターンが形成される。

【0088】

なお、静止画の判定は、このタイミングではなくともよい。例えば、情報処理装置20は、入力画像を取得した段階で、静止画、軽微な動きを有する動画、大きな動きを有する動画を、差分算出部204により算出した差分に基づいて判定しておいてもよい。さらにこの場合、S204において、これら3種類の画像について判定をし、分岐処理を実行してもよい。

【0089】

以上のように、本実施形態によれば、入力画像が静止画、及び、大きな動きを有する動画である場合には、第1実施形態と同様の処理をする一方で、軽微な動きを有する動画である場合には、シフトしたホログラムパターンを用いてSLM 14に形成するホログラムパターンの最適化を実行する。軽微な動きを有するフレーム間においては、その多くの領域において前フレームの情報が利用できる場合が多い。このため、本実施形態のように、シフトさせたホログラムパターンを初期値としてフーリエ反復演算を実行することにより、最適化のコストを削減することが可能となる。この結果、本実施形態に係る情報処理装置20によれば、動画におけるホログラムパターンの最適化を効率よく実行することが可能となる。

【0090】

（第4実施形態）
第3実施形態のような動きの小さい動画について、第2実施形態の電圧値を制御する態様に対して適用することも、もちろん可能である。本実施形態に係る情報処理装置20の構成は、例えば、第2実施形態に係る図６に示す情報処理装置20と同様である。

【0091】

図１０は、第4実施形態に係るホログラムパターン生成の処理を示すフローチャートである。このフローチャートにおいて、S200、S202、S204、S206、S208、S210、S212、S214は、それぞれ図９の処理と同様であるので、詳しい説明は省略する。

【0092】

S212において、ホログラム生成部206がシフトしたホログラムを生成した後、さらに、電圧制御部212は、ホログラムパターンを補正するための補正電圧値を、LUT等を用いて取得し、シフトしたホログラムパターンを補正する（S216）。

【0093】

この後の処理は、第3実施形態と同様であり、静止画であるか、動画であるかを判断し（S214）、動画である場合には、最適化部208がさらに最適化を実行する（S208）。生成されたホログラムパターンは、駆動部210により電圧値へと変換されて、SLM １４に出力される。

【0094】

以上のように、本実施形態によれば、静止画、又は、軽微な動きを有する動画においては、前フレームのホログラムパターンを所定方向にシフトした後、補正電圧値を取得し、この生成されたホログラムパターンと、補正電圧値と、を用いてSLM 14に補正されたホログラムパターンを形成することが可能となる。この結果、よりよい精度の画像を取得するとともに、計算的、時間的なコストを削減した動画を含む入力画像の投影を実現することができる。

【0095】

以上説明した全ての実施形態において、SLM 14に用いられるのは、上記したように、例えば、液晶である。この液晶の配向方向は、例えば、当該液晶を解析することにより取得することができる。また、当該液晶におけるホログラムパターンは、実際に入力画像を入力することにより取得することが可能である。これらの結果、液晶においてどのような配向方向であり、ホログラムパターンを配向方向にシフトさせているか否かを第3者が判断することが可能であり、本開示の技術を用いているか否かを判定することができる。

【0096】

前述の全ての実施形態に係るホログラムパターンの生成方法及びこの生成方法を実行する装置、回路等は、投影装置への適用に限定されるものではない。例えば、可視光通信や光インターコネクションに用いられてもよいし、それ以外の装置に用いられてもよい。

【0097】

前述した実施形態は、以下のような形態としてもよい。

【0098】

（１）
光を射出する、照明光学系と、
入力画像に基づいたホログラムパターンを生成する、情報処理部と、
前記情報処理部が生成した前記ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備え、
前記情報処理部は、所定フレームごとに、前記ホログラムパターンを所定方向にシフトした新しい前記ホログラムパターンを生成する、
投影装置。

【0099】

（２）
前記空間光位相変調器は、液晶を備えて構成される、
（１）に記載の投影装置。

【0100】

（３）
前記所定方向は、前記液晶の配向に基づいた方向である、
（２）に記載の投影装置。

【0101】

（４）
前記情報処理部は、画素単位で前記ホログラムパターンを前記所定方向にシフトする、
（２）又は（３）に記載の投影装置。

【0102】

（５）
前記情報処理部は、所定画素数をシフトした後に、前記所定方向と逆方向に前記ホログラムパターンをシフトする、
（４）に記載の投影装置。

【0103】

（６）
前記情報処理部は、前記ホログラムパターンを前記所定方向と逆方向に前記所定画素数が画素分シフトする、
（５）に記載の投影装置。

【0104】

（７）
前記情報処理部は、前記ホログラムパターンを前記所定方向にシフトした場合に、前記所定方向と逆側にある前記ホログラムパターンの端部において、ランダムパターンを生成する、
（４）から（６）のいずれかに記載の投影装置。

【0105】

（８）
前記情報処理部は、前記ホログラムパターンを前記所定方向にシフトした場合に、前記所定方向と逆側にある前記ホログラムパターンの端部において、隣接画素の位相量に基づいて位相量を算出し、パターンを生成する、
（４）から（７）のいずれかに記載の投影装置。

【0106】

（９）
前記情報処理部は、前記ホログラムパターンにおける隣接画素の位相差と、シフトする量に基づいて、前記ホログラムパターンの各画素における位相量を制御する、
（４）から（８）のいずれかに記載の投影装置。

【0107】

（１０）
前記情報処理部は、前記ホログラムパターンの画素に印加する電圧を制御して、前記位相量を制御する、
（９）に記載の投影装置。

【0108】

（１１）
前記情報処理部は、前記ホログラムパターンの前記位相量を、LUT（Lookup Table）にしたがって制御する、
（９）又は（１０）のいずれかに記載の投影装置。

【0109】

（１２）
前記情報処理部は、前フレームの前記入力画像と現フレームの前記入力画像との差分が0より大きく、所定しきい値よりも小さい場合に、シフトして取得された前記ホログラムパターンを最適化演算により更新する、
（１）から（１１）のいずれかに記載の投影装置。

【0110】

（１３）
前記情報処理部は、フーリエ反復法により、前記ホログラムパターンを更新する、
（１２）に記載の投影装置。

【0111】

（１４）
前記情報処理部は、前フレームの前記入力画像と現フレームの前記入力画像との差分が所定しきい値以上である場合に、ランダムパターンを初期値として用いて最適化演算により前記ホログラムパターンを取得する、
（１）から（１３）のいずれかに記載の投影装置。

【0112】

（１５）
前記情報処理部は、フーリエ反復法により、前記ホログラムパターンを取得する、
（１４）に記載の投影装置。

【0113】

（１６）
光を射出する、照明光学系と、
ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備える投影装置に対して、
入力画像に基づいたホログラムパターンを生成し、所定フレームごとに、前記ホログラムパターンを所定方向にシフトした新しい前記ホログラムパターンを生成する、
情報処理装置。

【0114】

（１７）
前記投影装置の内部に備えられる、
（１６）の情報処理装置。

【0115】

（１８）
前記投影装置の外部に備えられる、
（１６）の情報処理装置。

【0116】

（１９）
光を射出する、照明光学系と、
ホログラムパターンを形成し、前記照明光学系により射出された光を透過させる、空間光位相変調器と、
前記空間光位相変調器の出力を投射面へと投射し、出力画像を投影する、投射光学系と、
を備える投影装置に対して、
入力画像に基づいて生成されたホログラムパターンについて、所定フレームごとに所定方向にシフトした新しい前記ホログラムパターンを前記空間光位相変調器に形成する制御をする、
駆動回路。

【0117】

（２０）
前記投影装置の内部に備えられる、
（１９）の駆動回路。

【0118】

（２１）
前記投影装置の外部に備えられる、
（１９）の駆動回路。

【0119】

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

【符号の説明】

【0120】

1：投影装置、
10：光源、
12：照明光学系、
14：SLM、
16：投射光学系、
18：スクリーン、
20：情報処理装置、
200：入力部、
202：記憶部、
204：差分算出部、
206：ホログラム生成部、
208：最適化部、
210：駆動部、
212：電圧制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】