▶ ＫＤＤＩ株式会社の特許一覧 ▶ 学校法人 関西大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172183
(43)【公開日】2023-12-06
(54)【発明の名称】投影映像制御装置、方法及びプログラム
(51)【国際特許分類】
H04N 5/74 20060101AFI20231129BHJP
G03B 21/00 20060101ALI20231129BHJP
G09G 5/00 20060101ALI20231129BHJP
G09G 5/36 20060101ALI20231129BHJP
【ＦＩ】
H04N5/74 D
G03B21/00 D
G09G5/00 510B
G09G5/00 550C
G09G5/00 530H
G09G5/36 520D
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2022083813
(22)【出願日】2022-05-23
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(71)【出願人】
【識別番号】399030060
【氏名又は名称】学校法人 関西大学
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】小林 達也
(72)【発明者】
【氏名】松島 恭治
【テーマコード（参考）】
2K203
5C058
5C182
【Ｆターム（参考）】
2K203FA62
2K203GC09
2K203HA52
2K203KA54
2K203MA23
5C058BA27
5C058EA02
5C182AA02
5C182AA03
5C182AA04
5C182AC03
5C182BA14
5C182BA24
5C182BA25
5C182BA27
5C182BA29
5C182BA54
5C182CA01
5C182CB11
5C182CB41
5C182CB42
5C182CC26
(57)【要約】
【課題】不可視光マーカや光センサの開口部のサイズに依存せずに精度の高い位置合わせを可能にする投影映像制御装置、方法及びプログラムを提供する。
【解決手段】投影対象物10は、照射光の照度を検知する複数の照度センサ102、各照度センサ102の受光部へ入射する照射光の一部を遮蔽する光マスク101及び各照度センサ102が出力するセンサ信号を読み取って照度値に変換するセンサ読取部103を具備する。映像投影制御部20は、第1位置特定部201、第2位置特定部202及び制御部203を具備し、センサ読取部103が出力する照度値に基づいて、投影映像を制御するピクセル座標系における各照度センサ102の位置を段階的に特定し、各照度センサ102の位置に基づいて、映像投影部30が投影する映像に台形補正や特定領域の減光補正等の各種制御を行う。映像投影部30は、補正後の映像データを映像スクリーンに投影して可視化する。
【選択図】図1
【解決手段】投影対象物10は、照射光の照度を検知する複数の照度センサ102、各照度センサ102の受光部へ入射する照射光の一部を遮蔽する光マスク101及び各照度センサ102が出力するセンサ信号を読み取って照度値に変換するセンサ読取部103を具備する。映像投影制御部20は、第1位置特定部201、第2位置特定部202及び制御部203を具備し、センサ読取部103が出力する照度値に基づいて、投影映像を制御するピクセル座標系における各照度センサ102の位置を段階的に特定し、各照度センサ102の位置に基づいて、映像投影部30が投影する映像に台形補正や特定領域の減光補正等の各種制御を行う。映像投影部30は、補正後の映像データを映像スクリーンに投影して可視化する。
【選択図】図1
【特許請求の範囲】
【請求項1】
投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影映像のピクセル座標系で特定した各照度センサの位置に基づいて投影映像を制御する投影映像制御装置において、
各照度センサへの入射光を所定のマスクパタンで遮蔽する光マスクと、
前記マスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定する手段とを具備したことを特徴とする投影映像制御装置。
各照度センサへの入射光を所定のマスクパタンで遮蔽する光マスクと、
前記マスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定する手段とを具備したことを特徴とする投影映像制御装置。
【請求項2】
前記マスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有することを特徴とする請求項１に記載の投影映像制御装置。
【請求項3】
前記各照度センサの位置を特定する手段は、
各照度センサのピクセル座標系での大まかな位置を特定する第1位置特定手段と、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出する手段と、
前記変換行列で前記マスクパタン画像を変形する手段と、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定する第2位置特定手段とを含むことを特徴とする請求項１または２に記載の投影映像制御装置。
各照度センサのピクセル座標系での大まかな位置を特定する第1位置特定手段と、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出する手段と、
前記変換行列で前記マスクパタン画像を変形する手段と、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定する第2位置特定手段とを含むことを特徴とする請求項１または２に記載の投影映像制御装置。
【請求項4】
前記第2位置特定手段が特定した各照度センサの位置を大まかな位置と見做して前記変換行列を改めて算出し、
前記改めて算出した変換行列を用いて前記マスクパタン画像を改めて変形し、
前記第2位置特定手段は、前記改めて変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を改めて特定することを、所定の条件が充足されるまで繰り返し、
前記投影映像を制御する手段は、各照度センサの前記改めて特定した位置に基づいて投影映像を制御することを特徴とする請求項３に記載の投影映像制御装置。
前記改めて算出した変換行列を用いて前記マスクパタン画像を改めて変形し、
前記第2位置特定手段は、前記改めて変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を改めて特定することを、所定の条件が充足されるまで繰り返し、
前記投影映像を制御する手段は、各照度センサの前記改めて特定した位置に基づいて投影映像を制御することを特徴とする請求項３に記載の投影映像制御装置。
【請求項5】
前記第1位置特定手段は、スポット光を投影対象物上で走査する映像を投影した際の各照度センサの出力変化に基づいて各照度センサの大まか位置を特定することを特徴とする請求項３に記載の投影映像制御装置。
【請求項6】
前記マスクパタン画像を変形する手段は、照度センサと同数のマスクパタン画像が各照度センサと対応する位置にそれぞれ配置されて当該マスクパタン画像以外の領域が黒色のパタン構造画像を前記変換行列で変形し、
前記第2位置特定手段は、前記変形させたパタン構造画像の各マスクパタン画像の部分を、対応する照度センサの大まかな位置近傍でそれぞれ走査することを特徴とする請求項３に記載の投影映像制御装置。
前記第2位置特定手段は、前記変形させたパタン構造画像の各マスクパタン画像の部分を、対応する照度センサの大まかな位置近傍でそれぞれ走査することを特徴とする請求項３に記載の投影映像制御装置。
【請求項7】
前記マスクパタンが、照度センサの受光面に対応するマスク領域内に、相互に分離した複数の非マスク領域を配置したパタン構造を有することを特徴とする請求項１または２に記載の投影映像制御装置。
【請求項8】
前記マスクパタンが、照度センサの受光面に対応するマスク領域内に、複数の非マスク領域を各非マスク領域が相互に連結して一体化することを許容して配置したパタン構造を有することを特徴とする請求項１または２に記載の投影映像制御装置。
【請求項9】
前記マスクパタンのパタン構造が、複数のマスク領域及び非マスク領域を千鳥格子状に配置した第1のパタン構造、複数のマスク領域及び非マスク領域を不規則に配置した第2のパタン構造及び大きさの異なる複数の環状のマスク領域及び非マスク領域を同心円状に交互に配置した第3のパタン構造のいずれかであることを特徴とする請求項１または２に記載の投影映像制御装置。
【請求項10】
前記第2のパタン構造では、光をマスクする領域内を二次元グリッドに分割した上で各グリッド番号に対応したM系列符号を生成し、各符号に従って非マスク領域が設けられたことを特徴とする請求項９に記載の投影映像制御装置。
【請求項11】
前記第2のパタン構造では、前記二次元グリッドの列数または行数の長さのM系列符号を生成して1行目又は1列目に割り当て、2行目又は2列目以降のグリッドには当該符号を所定ビットずつシフトした符号を割り当てることを特徴とする請求項１０に記載の投影映像制御装置。
【請求項12】
投影対象物に投影対象領域との相対位置が既知である複数の照度センサ及び当該照度センサへの入射光を遮蔽する光マスクを設け、コンピュータが、投影映像のピクセル座標系で特定した各照度センサの位置に基づいて投影映像を制御する投影映像制御方法において、
前記光マスクのマスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定することを特徴とする投影映像制御方法。
前記光マスクのマスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定することを特徴とする投影映像制御方法。
【請求項13】
前記マスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有することを特徴とする請求項１２に記載の投影映像制御方法。
【請求項14】
前記各照度センサのピクセル座標系における位置を特定する際に、
各照度センサのピクセル座標系での大まかな位置を特定し、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出し、
前記変換行列で前記マスクパタン画像を変形し、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定することを特徴とする請求項１２または１３に記載の投影映像制御方法。
各照度センサのピクセル座標系での大まかな位置を特定し、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出し、
前記変換行列で前記マスクパタン画像を変形し、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定することを特徴とする請求項１２または１３に記載の投影映像制御方法。
【請求項15】
投影対象物に投影対象領域との相対位置が既知である複数の照度センサ及び当該照度センサへの入射光を遮蔽する光マスクを設け、投影映像のピクセル座標系で特定した各照度センサの位置に基づいて投影映像を制御する投影映像制御プログラムにおいて、
前記光マスクのマスクパタンと同一のパタン構造を有するマスクパタンを有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定することをコンピュータに実行させることを特徴とする投影映像制御プログラム。
前記光マスクのマスクパタンと同一のパタン構造を有するマスクパタンを有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定することをコンピュータに実行させることを特徴とする投影映像制御プログラム。
【請求項16】
前記マスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有することを特徴とする請求項１５に記載の投影映像制御プログラム。
【請求項17】
前記各照度センサのピクセル座標系における位置を特定する際に、
各照度センサのピクセル座標系での大まかな位置を特定し、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出し、
前記変換行列で前記マスクパタン画像を変形し、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定することを特徴とする請求項１５または１６に記載の投影映像制御プログラム。
各照度センサのピクセル座標系での大まかな位置を特定し、
投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出し、
前記変換行列で前記マスクパタン画像を変形し、
前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定することを特徴とする請求項１５または１６に記載の投影映像制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プロジェクタから投影対象物の所定の領域に高精度に映像の投影を行う投影映像制御装置、方法及びプログラムに関する。
【背景技術】
【0002】
近年、プロジェクタの小型化や高性能化が進み、利用シーンが拡大している。プロジェクタが投影対象物（スクリーン）に正対し、共に固定設置された環境下では投影映像を自動制御する必要性は乏しい。しかしながら、プロジェクタや投影対象物の少なくとも一方が動くような場合、投影領域内の動体の動きに応じて映像を制御したい場合、あるいは投影領域内の所定の領域に精度良く映像を投影したいような場合には投影映像を制御するシステムが必要になる。
【0003】
特許文献1には、プロジェクタの筐体に光の透過穴及び光センサを設置し、スクリーンからの反射光を光センサで検知することでスクリーンに対する光軸の角度を推定し、自動的に台形補正を行う技術が開示されている。
【0004】
特許文献2には、スクリーンの複数個所に光センサを設置することでスクリーンの前のプレゼンタを自動検知し、プレゼンタの目の近傍への投影光を減少させることによりプレゼンタの目を保護する技術が開示されている。
【0005】
特許文献3には、3次元センサを用いて三次元空間中でスクリーンに適した平面領域を検出し、投影領域を自動で制御する技術が開示されている。
【0006】
特許文献4には、スクリーンに複数の光センサを設置し、プロジェクタから位置合わせパタンを光センサに投影することにより投影映像を所定の位置に正確に位置合わせする技術が開示されている。
【0007】
特許文献5には、スクリーンに複数の反射材を設置し、反射光をカメラで撮像することでスクリーンの動きを検知し、投影映像を追従させる技術が開示されている。
【0008】
特許文献6には、動体に複数の不可視光マーカを設置し、不可視光マーカをセンサで検出することで動体の位置を検知し、投影映像を追従させる技術が開示されている。
【0009】
特許文献7には、投影映像の表示輝度などを自動調整するために設置される光センサの位置を精度良く検知し、光センサに評価用の映像を高精度に入光させる技術が開示されている。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開2005-159426号公報
【特許文献2】特開2013-25014号公報
【特許文献3】特開2017-73705号公報
【特許文献4】特開平03-259188号公報
【特許文献5】特開2019-102931号公報
【特許文献6】特開2011-254411号公報
【特許文献7】特開2009-175355号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
上記のいずれの従来技術においても、プロジェクタから投影対象物の所定の領域（投影対象領域）へ高精度に映像の投影を行うことが困難であった。
【0012】
例えば、特許文献1～3が開示する投影映像制御システムは、共に投影映像を自動制御（台形補正、特定領域の減光、平面領域への投影制御）できるものの、投影対象領域への高精度な映像投影の用途に応用することが可能な技術では無かった。
【0013】
特許文献4～7が開示する投影映像制御システムは、共に投影対象領域や評価用の光センサへの高精度な映像投影を目的とするものであるが、投影制御の精度が十分ではなかった。
【0014】
例えば、特許文献4では光センサを用いてスクリーン上の投影対象領域の位置合わせを行うため、位置合わせの精度は光センサの開口部のサイズに依存する。この方式では位置合わせ用の光パタンの検知が可能な範囲内で開口部をできるだけ小さくすることで位置合わせの精度が高まる。しかしながら、開口部を小さくするほど透過光量が少なくなり、光パタンの検知が難しくなるため、開口部の縮小には限界があり（特許文献4では開口部サイズとして5mm角が想定されている）、位置合わせの精度を十分に高くできなかった。
【0015】
特許文献5，6が開示する投影映像制御技術も同様であり、これらはスクリーンに反射材や不可視光マーカを設置し、反射光をカメラなどのセンサで捉えることで投影対象領域の位置合わせを行う。しかしながら、位置合わせの精度は反射材や不可視光マーカのサイズに依存し、小さくするほど反射材や不可視光マーカ自体の検知が難しくなることから、位置合わせの精度を十分に高くできなかった。
【0016】
特許文献7が開示する投影映像制御技術も同様であり、光センサの位置検出精度は光センサの開口部のサイズに依存するため、位置合わせの精度を十分に高くできなかった。
【0017】
本発明の目的は、上記の技術課題を解決し、不可視光マーカや光センサの開口部のサイズに依存せずに精度の高い位置合わせを可能にする投影映像制御装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0018】
上記の目的を達成するために、本発明は、投影対象物に投影対象領域との相対位置が既知である複数の照度センサを設け、投影映像のピクセル座標系で特定した各照度センサの位置に基づいて投影映像を制御する投影映像制御装置において、以下の構成を具備した点に特徴がある。
【0019】
(1) 各照度センサへの入射光を所定のマスクパタンで遮蔽する光マスクと、前記マスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサの出力に基づいて各照度センサのピクセル座標系における位置を特定する手段とを具備した。
【0020】
(2) 前記マスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有するようにした。
【0021】
(3) 前記各照度センサの位置を特定する手段は、各照度センサのピクセル座標系での大まかな位置を特定する第1位置特定手段と、投影対象物における各照度センサの相対位置を前記大まかに特定した各照度センサの位置に変換する変換行列を算出する手段と、前記変換行列で前記マスクパタン画像を変形する手段と、前記変形したマスクパタン画像を投影対象物上で走査した際の各照度センサの出力変化に基づいて各照度センサの位置を特定する第2位置特定手段とを含むようにした。
【0022】
なお、本発明はこのような特徴的な構成を備える投影映像制御装置として実現できるのみならず、かかる特徴的な構成を手順とする投影映像制御方法として実現し、更にはかかる手順をコンピュータに実行させる投影映像制御プログラムとしても実現することができる。
【発明の効果】
【0023】
本発明によれば、以下のような効果が達成される。
【0024】
(1) 照度センサへの入射光を遮蔽する光マスクのマスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査するので、不可視光マーカや光センサの開口部のサイズに依存せずに、各マスクパタンが一致する走査位置と一致しない走査位置とで照度センサのセンサ出力値を有意に異ならせることができる。したがって、照度センサのピクセル座標系における位置を正確に特定できるようになる。
【0025】
(2) 光マスクのマスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有するので、各マスクパタンが一致する走査位置と一致しない走査位置とで照度センサのセンサ出力値を特異的に大きく異ならせることができる。したがって、照度センサのピクセル座標系における位置を更に正確に特定できるようになる。
【0026】
(3) 第1位置特定手段及び第2位置特定手段を設け、第1位置特定手段は広い範囲内で大まか位置探索を行う一方、第2位置特定手段は第1位置特定手段が特定した大まかな位置近傍のみを対象に精密な位置探索を行うので、各照度センサの位置を短時間で精密に特定できるようになる。
しかも、本実施形態では第2位置特定手段が、歪みを相殺するようにホモグラフィ変換により変形したマスクパタン映像を投影するので、光マスクの中心座標が真値に合致したことを照度値のピークとして検出できるようになる。
しかも、本実施形態では第2位置特定手段が、歪みを相殺するようにホモグラフィ変換により変形したマスクパタン映像を投影するので、光マスクの中心座標が真値に合致したことを照度値のピークとして検出できるようになる。
【図面の簡単な説明】
【0027】
【図1】本発明の一実施形態に係る投影映像制御装置の機能ブロック図である。
【図2】投影対象領域R1と複数の照度センサ及びその光マスクとの相対的な位置関係を示した図である。
【図3】光マスクの例を示した図である。
【図4】光マスクのマスクパタンに対する投影されたマスクパタン画像のずれ量と光の透過量との関係を示した図である。
【図5】センサ読取部の機能ブロック図である。
【図6】投影映像を制御するピクセル座標系と投影対象物との関係を示した図である。
【図7】映像投影制御部の動作を示したフローチャートである。
【図8】照度センサの位置を大まかに特定するために投影する映像の例を示した図である。
【図9】照度センサの位置を精密に特定するために投影する、各照度センサの対応位置にマスクパタン画像が配置されたパタン構造画像の例を示した図である。
【図10】投影対象物における各光マスクの位置を、ピクセル座標系で特定した各大まかな位置に座標変換するホモグラフィ行列を算出する方法を示した図である。
【発明を実施するための形態】
【0028】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係る投影映像制御装置の主要部の構成を示した機能ブロック図であり、投影対象物10、映像投影制御部20及び映像投影部30を主要な構成とする。
【0029】
投影対象物10は、照射光の照度を検知する複数の照度センサ102、各照度センサ102の受光部へ入射する照射光の一部を遮蔽する光マスク101及び各照度センサ102が出力するセンサ信号を読み取って照度値に変換するセンサ読取部103を具備する。各照度センサ102は投影映像を可視化する映像スクリーン等と一体又は別体に構成される。
【0030】
映像投影制御部20は、第1位置特定部201、第2位置特定部202及び制御部203を具備し、センサ読取部103が出力する照度値に基づいて、投影映像を制御するピクセル座標系における各照度センサ102の位置を段階的に特定し、各照度センサ102の位置に基づいて、映像投影部30が投影対象物10に投影する映像に台形補正等の幾何変換や特定領域の減光補正等の各種制御を行う。
【0031】
このような映像投影制御部20は、CPU、ROM、RAM、バス、インタフェース等を備えた汎用のコンピュータやサーバに、以下に詳述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。
【0032】
映像投影部30は、補正後の映像データを映像スクリーンに投影して可視化する。映像投影部30としては、DLP（Digital Light Processing）、液晶、レーザー等の任意の汎用プロジェクタ装置を用いることができる。
【0033】
図2は、投影対象物10において視聴用の映像が照射される投影対象領域R1と複数の照度センサ102との相対的な位置関係を示した図である。なお、本実施形態では光マスク101が照度センサ102の受光部に設けられ、映像投影部30から見た各光マスク101の位置が対応する各照度センサ102の位置となるので、便宜上、各光マスク101の位置を各照度センサ102の位置と見做して説明する場合もある。
【0034】
本実施形態では4つの照度センサ102及びその光マスク101が、映像スクリーン上の物理的な投影可能領域内であって投影対象領域R1の外側の間隙領域内に、当該投影対象領域R1との相対関係が既知の位置に固定されている。
【0035】
各照度センサ102は光マスク101を透過した光を検知し、その強度に応じた電流値等のセンサ信号をセンサ読取部103へ出力する。各照度センサ102は一般にフォトダイオードやフォトトランジスタと呼ばれる、光をセンサ信号に変換して出力する任意のデバイスや、光の強度に応じて電気抵抗が低下するフォトレジスタ等のデバイスを用いて実装することが可能である。
【0036】
本実施形態では、光マスク101の位置にそのマスクパタンと同一のパタン構造を有するマスクパタン映像Lが投影されたとき、各パタンの位置ずれが少ないほど光の透過量が特異的に多くなるように各マスクパタンのパタン構造が設計されている。
【0037】
図3は、本実施形態における光マスク101のマスクパタンの例を示した図であり、黒色部分は光を透過しないマスク領域を表し、白色部分は光を透過する非マスク領域を表している。各照度センサ102の受光面に対応する各光マスク101の領域には複数のマスク領域及び複数の非マスク領域が所定のパタン構造で配置されている。
【0038】
本実施形態では、光マスク101のマスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査した際の各照度センサ102の出力に基づいて各照度センサ102のピクセル座標系における位置を正確に特定するために、光マスク101のマスクパタンは、光の透過量がマスクパタン画像との位置ずれに対して敏感なパタン構造を有している。
【0039】
更に具体的に言えば、光マスク101のマスクパタンは、後に図4を参照して詳述するように、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有している。
【0040】
同図(a)では、複数の矩形のマスク領域及び非マスク領域が千鳥格子状に配置されている。換言すれば、照度センサ102の受光面に対応するマスク領域に複数の非マスク領域が不連続に配置されている。
【0041】
同図(b)では、複数の矩形のマスク領域及び非マスク領域が不規則に配置されている。換言すれば、照度センサ102の受光面に対応するマスク領域に、複数の非マスク領域が相互に連結して一体化し、結果的に複数の複雑な非マスク領域を構成することを許容して配置されている。
【0042】
同図(c)では、大きさの異なる複数の環状のマスク領域及び非マスク領域が同心円状に交互に配置されている。なお、各非マスク領域の形状は矩形や環状に限定されるものではなく、任意の形状とすることができる。
【0043】
図4(a)-(c)は各光マスク101のマスクパタンに対するマスクパタン画像のずれ量と光の透過量との関係を計算して三次元グラフ化した図であり、同図(d)には特許文献4が採用する従来の光マスク、すなわち1つの非マスク領域が1つのマスク領域で囲まれる単純なパタン構造における関係を比較のために示している。
【0044】
本実施形態のように、マスクパタンが複雑で、位置ずれに敏感なパタン構造を有する光マスク101を用いると、同図(d)のようにマスクパタンが単純で、位置ずれに鈍感なパタン構造を有する光マスクを用いた場合と較べて、マスクパタンとマスクパタン映像とのずれが少ない範囲で光の透過量が特異的に高くなって先鋭化し、精度の高い位置検出が可能になることが判る。環境光や計測ノイズ、投影映像と光マスクの角度の不一致等の影響を無視すれば、理想的には同様の形状の二次元グラフとして照度値がセンシングされることが期待される。
【0045】
なお、同図(a)に示すような規則的なマスクパタンでは複数の極大値が発生し、環境光や計測ノイズの影響でピーク位置を誤検出することが起こり得る。これに対して、同図(b)に示すように複数のマスク領域及び非マスク領域を不規則に配置すれば、誤った位置でパタン画像を投影した際の照度値を低減させることができるので、高精度かつ頑健な位置検出が可能になる。
【0046】
このような不規則なマスクパタンは、照度センサ102の受光部に対応する領域を二次元グリッドに分割した上で、グリッド番号に対応したM系列符号などの疑似乱数を生成し、符号が1のグリッドを非マスク領域とするなどで生成できる。
【0047】
ここで、例えば二次元グリッドの列数の長さのM系列符号を生成して1行目に割り当て、2行目以降のグリッドには当該符号を数ビットずつシフトした符号を割り当てても良い。このとき、行と列とは逆でも良い。これにより行（列）方向のみならず列（行）方向にもM系列符号の性質を持たせることが可能になる。
【0048】
一般にM系列符号の自己相関は、ずれ量が0の時にピークの値になり、それ以外は低い値になるため、一般的な疑似乱数を用いた場合と比較して、誤った位置で映像を投影した際の照度値を低減し、より高精度かつ頑健な位置検出が可能になる。
【0049】
また、同図(c)に示すように同心円状のマスク構造を採用すると、同図(b)の不規則パタンの場合と同様に位置ズレ時の照度値の低減が可能になることに加えて、投影映像と光マスク101との角度の不一致による照度値への影響が少なくなるため、投影映像と光マスク101との角度の不一致に頑健な位置検出が可能になる。
【0050】
なお、光マスク101において非マスク領域を配置する範囲の大きさは照度センサ102の受光部のサイズと同程度（例えば5mm角）、あるいはそれよりも小さいサイズとすることが望ましい。そうすることで、光マスク101を透過した光を照度センサ102で漏れなく検出できるので、光マスクを最も多くの光が透過した際に照度値のピークを検出することが可能になる。
【0051】
センサ読取部103は、各照度センサ102が出力するセンサ信号を読み取って照度値に変換し、映像投影制御部20へ出力する。図5はセンサ読取部103の機能ブロック図であり、ここでは照度センサ102がフォトダイオードである場合を例にして説明する。
【0052】
センサ読取部103は、各照度センサ102が出力する時刻tにおける電流値等のアナログのセンサ信号をデジタル信号に変換し、対応する照度値への変換やエラー補正などを行った上で、各照度センサ102の照度値L1,t，L2,t…LK,tとして映像投影制御部20へ逐次出力する。
【0053】
映像投影制御部20は、前記第1位置特定部201、第2位置特定部202及び制御部203を主要な構成とし、センサ読取部103から取得した時刻tにおける各照度センサ102の照度値L1,t ，L2,t…LK,tに基づいて各光マスク101の位置を段階的に特定し、当該位置で各照度センサ102の位置を代表する。更に、特定した各照度センサ102の位置に基づいて投影対象領域R1を特定し、後段の映像投影部30が投影する映像及び投影対象領域R1を制御する。
【0054】
図6に示すように、投影対象物10の投影対象領域R1を矩形領域として、その外周近傍にK個（K≧3：本実施形態では4個）の照度センサ102を配置し、その光マスク101を投影対象領域R1と同一平面上に固定配置する場合、各光マスク101の中心座標PM,1，PM,2，PM,3，PM,4及び投影対象領域R1を定義する四隅の座標PT,1，PT,2，PT,3，PT,4は、映像投影部30が投影する映像のピクセル座標系（u，v）で定義できる。
【0055】
そして、各光マスク101の中心座標PM,1～PM,4を投影対象領域R1の四隅の各座標PT,1～PT,4に座標変換するホモグラフィ行列HMTを用いることで、各光マスク101の中心座標から投影対象領域R1を特定することが可能になる。なお、光マスク101と投影対象領域R1とは既知の位置関係にあることから、ホモグラフィ行列HMTは予め算出したものを使用することが可能である。つまり、各光マスク101の中心座標PM,1，PM,2，PM,3，PM,4を特定すれば投影対象領域R1を特定できる。
【0056】
そこで、本実施形態では各光マスク101の位置で各照度センサ102の位置を代表するものとし、各光マスク101のピクセル座標系における位置を特定し、当該各光マスク101の位置に基づいて投影対象領域R1のピクセル座標系における位置を特定する。
【0057】
次いで、図7のフローチャートを参照して映像投影制御部20の動作を詳細に説明する。ステップS1では、第1位置特定部201が図8に一例を示すように、黒（最低輝度）を背景として投影映像のピクセル座標系における特定の座標（um，vm）を中心とする所定の半径の円領域のみが白（最大輝度）となるスポット光を投影対象物10において走査する映像を投影する。そして、各照度センサ102の照度値L1,t～L4,tがそれぞれ最大値となったスポット光の各走査位置の座標を、それぞれ各光マスク101のピクセル座標系における大まかな位置P'
M,1～P'
M,4として特定する。
【0058】
あるいは、より短時間での実行が見込める方法として、円領域ではなく所定の線幅を持った白の直線をu方向及びv方向にそれぞれ走査する方法を採用しても良い。その他にも、被映像投影領域をグリッド分割して各グリッドにIDを割り当て、IDに応じた特定のパタンで白黒の映像投影を切り替えることで各光マスク位置を特定するといった方法や、一般に距離計測等で用いられる位相シフト法と呼ばれる手法を用いて複数の位相をシフトさせた正弦波パタンを投影し、照度値から正弦波の位相をサブピクセル精度で推定する方法を採用しても良い。
【0059】
前記第1特定部201による光マスク101の位置特定処理は、単独でも一定の精度で照度センサの位置を特定できる。しかしながら、いずれの手法においても投影映像をマスク中心の真値から僅かにシフトさせた際の照度値の変化は同様に僅かであり、計測ノイズに頑健かつ精度よく光マスクの位置を特定することは困難である。そこで、本実施形態では各光マスク101の大まかな位置P'に基づいて、第2位置特定部202が更に精密な位置特定を行う。
【0060】
第2位置特定部202は、図9に一例を示すように、投影対象物10において各照度センサ102の受光部に設けた光マスク101に対応する位置に各光マスク101と同じパタン構造のマスクパタン画像CPを配置し、残りの全領域を黒としたパタン構造画像を保持する。本実施形態では光マスク101として3×3の千鳥格子パタンを想定するので、各マスクパタン画像CPも3×3の千鳥格子パタンとなっている。ピクセル座標系における各マスクパタン画像CP1～CP4の相対位置は投影対象物10における各光マスク101の相対位置と等しい。
【0061】
図10は、各マスクパタン画像CP1～CP4の位置で代表した投影対象物10における各光マスク101の位置を、ピクセル座標系で特定した各大まかな位置P'に座標変換するホモグラフィ行列を算出する方法を示した図である。
【0062】
ステップS2では、図10に示すように、パタン構造画像中の各マスクパタン画像CPの中心座標pM，1，pM，2，pM，3，pM，4と前記第1位置特定部201が特定した各光マスク101の大まかな位置P'
M,1，P'
M,2，P'
M,3，P'
M,4との点対応に基づいて、各マスクパタン画像CPの中心座標pM,1～pM,4を、対応する各光マスク101の大まかな位置P'
M,1～P'
M,4にそれぞれ座標変換するホモグラフィ行列HpM→PMを算出する。
【0063】
ステップS3では、制御部203が前記パタン構造画像に前記変換行列HpM→PMを適用してホモグラフィ変換（平面射影変換）した変換後パタン構造画像を生成する。変換後パタン構造画像では、各マスクパタン画像CPのパタン構造も前記ホモグラフィ変換HpM→PMによりその位置に応じた形状に変形されている。
【0064】
ステップS4では、第2位置特定部202が前記変換後パタン構造画像中の各マスクパタン画像CPの領域を、対応する前記大まかな各位置P'
M,1～P'
M,4を中心にした所定の範囲の矩形領域あるいは円領域内でシフト（走査）させながら各照度センサ102の照度値を取得する。そして、各照度センサの照度値L1,t～L4,tがそれぞれ最大値となった座標を各光マスク101のピクセル座標系における精密な位置PM,1～PM,4として特定する。
【0065】
前記第2位置特定部202は、マスクパタン画像CPをサブピクセル精度でシフトすることで各光マスク101の位置PM,1～PM,2をサブピクセル精度で求めることができる。あるいは照度値の最大値周辺の照度値を用いたパラボラフィッティングやバイキュービック法等を適用することで照度値をアップサンプルし、各光マスク101の位置PM,1～PM,2をサブピクセル精度で求めても良い。
【0066】
なお、点対応からホモグラフィ行列を算出する方法として、少なくとも4組の点対応を用いてDLT（Direct Linear Transform）法により初期値を推定し、ガウスニュートン法やレーベンバーグ・マーカート法等によって最適化を行う手法が一般に知られている。この手法を用いる場合、光マスク101を少なくとも4個使用し、その中心座標を検出する必要がある。
【0067】
また、点対応からホモグラフィ行列を算出する別の方法として、3組あるいは4組の点対応を用いたPnP（Perspective-n-Point）法によりプロジェクタの外部パラメータを推定し、事前にキャリブレーションで取得したプロジェクタの内部パラメータと掛け合わせることでホモグラフィ行列を算出する手法も知られている。この手法を用いる場合、光マスクを少なくとも3個使用し、その中心座標を検出する必要がある。本発明ではホモグラフィ行列を計算する手段を特に限定せず、任意の方式を用いることが可能である。
【0068】
ステップS5では、制御部203が前記ホモグラフィ行列HMTを用いて、ピクセル座標系における各光マスク101の特定位置PM,1～PM,4を投影対象領域R1の四隅の座標PT,1～PT,4に座標変換することで投影対象物10の投影対象領域R1を特定する。投影対象領域R1を特定できれば、例えば投影対象物10の任意の四隅の頂点座標PC,1～PC,4をPT,1～PT,4に座標変換するホモグラフィ行列HPC→PMを算出して適用することで、投影領域全体に投影する映像を投影対象領域R1に収まるように制御して投影すること等が可能になる。
【0069】
なお、各特定位置PM,1～PM,4を未だ大まかな位置と見做して前記変換行列ホモグラフィ行列HpM→PMを改めて算出し、改めて算出した変換行列を用いて前記パタン構造画像を改めて変形し、前記第2位置特定部202は、改めて変形したマスクパタン画像CPを用いて各光マスク101の位置を改めて特定することを、所定の収束条件が充足されるまで繰り返しても良い。
【0070】
前記制御部203は、収束条件が成立した時点での各特定位置PM,1～PM,4を用いて投影映像を制御する。前記映像投影部30は、映像投影制御部20が制御した映像を投影対象物10に投影する。
【0071】
本実施形態によれば、照度センサ102への入射光を遮蔽する光マスク101のマスクパタンと同一のパタン構造を有するマスクパタン画像を投影対象物上で走査するので、各マスクパタンが一致する走査位置と一致しない走査位置とで照度センサのセンサ出力値を有意に異ならせることができる。したがって、照度センサ102のピクセル座標系における位置を正確に特定できるようになる。
【0072】
また、本実施形態によれば、光マスク101のマスクパタンは、投影されたマスクパタン画像とのずれ量が小さくなるほど光の透過量が増加し、かつ各パタンの相対位置の変化に対する光の透過量の変化の割合が、各パタンのずれ量が相対的に小さい範囲では大きい範囲よりも大きくなるパタン構造を有するので、各マスクパタンが一致する走査位置と一致しない走査位置とで照度センサのセンサ出力値を特異的に大きく異ならせることができる。したがって、各光マスク101のピクセル座標系における位置を更に正確に特定できるようになる。
【0073】
さらに、本実施形態によれば、第1位置特定部201及び第2位置特定部202を設け、第1位置特定部201は広い範囲内で大まか位置探索を行う一方、第2位置特定部202は第1位置特定部201が特定した大まかな位置近傍のみを対象に精密な位置探索を行うので、各光マスク101のピクセル座標系における位置を短時間で精密に特定できるようになる。
【0074】
さらに、光マスク101と同一のパタン構造をするマスクパタン映像を投影するだけでは、投影映像と光マスク101との角度の不一致により照度値のピークを精度良く算出することができないところ、本実施形態では歪みを相殺するようにホモグラフィ変換により変形したマスクパタン映像を投影するので、光マスク101の中心座標が真値に合致したことを照度値のピークとして検出できるようになる。
【0075】
なお、上記の実施形態では、マスクパタン映像をホモグラフィ変換して投影してから投影することで各照度センサ102の位置を推定するものとして説明したが、本発明はこれのみに限定されるものではなく、映像を投影する位置、方向、角度を物理的に制御（移動）することでマスクパタン映像を光マスク101に合わせて変形させたり、投影対象領域R1に収まるように制御したりしても良い。
【0076】
また、本実施形態では1つの光マスク101で1つの照度センサ102の受光部を覆うものとして説明したが、本発明はこれのみに限定されるものではなく、複数の照度センサ102を近接配置し、当該複数の照度センサ102の全ての受光部を1つの大型の光マスク101で覆い、光マスク101を透過した光を複数の照度センサ102の受光部によって漏れなく検出する構成としても良い。この場合、センサ読取部103は1つの光マスク101に対応する複数の照度センサ102の照度値を合算することで、あたかも一つの大きな照度センサ102を使用したように扱うことができる。
【0077】
さらに、上記の実施形態では全ての光マスク101のマスクパタンが同一であり、第1位置特定部201はパタン構造を有しないスポット光を走査する映像を投影し、第2位置特定部201のみがマスクパタンと同一のパタン構造を有する映像を走査するものとして説明した。
【0078】
しかしながら、本発明はこれのみに限定されるものではなく、多数（例えば、8個）の照度センサ102を設けられるのであれば、そのうちの4個にはパタンの位置ずれに鈍感な光マスク101aを適用し、残りの4個にはパタンの位置ずれに敏感な光マスク101bを適用するようにしても良い。
【0079】
一般的に、マスク領域の割合が非マスク領域の割合よりも高いマスクほどパタンの位置ずれに敏感になるので、光マスク101aではマスク領域の割合を非マスク領域の割合よりも低くし、光マスク101bではマスク領域の割合を非マスク領域の割合よりも高くすることになる。
【0080】
第1位置特定部201は光マスク101aでマスクされた照度センサ102を対象に、光マスク101aと同一のパタン構造を有するマスクパタン映像を走査することで精度よりも速度を優先する大まかな位置特定を行う。第2位置特定部202は、光マスク101aの大まかな位置に基づいて光マスク101bの大まかな位置を推定し、当該光マスク101bでマスクされた照度センサ102を対象に、光マスク101bと同一のパタン構造を有するマスクパタン映像を走査することで精度を優先する精密な位置特定を行う。
【0081】
そして、上記の実施形態によれば視聴品質の高い映像投影が可能になるので、国連が主導する持続可能な開発目標（SDGs）の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」に貢献することが可能となる。
【符号の説明】
【0082】
10…投影対象物，20…映像投影制御部，30…映像投影部，101…光マスク，102…照度センサ，103…センサ読取部，201…第1位置特定部，202…第2位置特定部， 203…制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
