IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特許7565505表示装置と撮像装置のための相対位置または相対サイズ調整の支援装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-03
(45)【発行日】2024-10-11
(54)【発明の名称】表示装置と撮像装置のための相対位置または相対サイズ調整の支援装置
(51)【国際特許分類】
   H04N 23/60 20230101AFI20241004BHJP
   G03B 15/00 20210101ALI20241004BHJP
   G03B 17/54 20210101ALI20241004BHJP
   H04N 5/74 20060101ALI20241004BHJP
   H04N 23/695 20230101ALI20241004BHJP
【FI】
H04N23/60 100
G03B15/00 P
G03B17/54
H04N5/74 Z
H04N23/695
【請求項の数】 10
(21)【出願番号】P 2020006862
(22)【出願日】2020-01-20
(65)【公開番号】P2021114713
(43)【公開日】2021-08-05
【審査請求日】2022-10-13
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(72)【発明者】
【氏名】青木 あすか
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開2009-186528(JP,A)
【文献】特開2010-074264(JP,A)
【文献】特開2013-183306(JP,A)
【文献】特開2009-010782(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
G03B 15/00
G03B 17/54
H04N 5/74
H04N 23/695
(57)【特許請求の範囲】
【請求項1】
表示装置の表示範囲と撮像装置の撮像範囲とを所定の相対位置関係または所定の相対サイズ関係になるように調整するための作業者の調整作業を支援する表示装置と撮像装置のための相対位置または相対サイズ調整の支援方法であって、
前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、
前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との相対位置関係または相対サイズ関係を算出し、
算出された前記相対位置関係または前記相対サイズ関係に基づいて、前記撮像範囲について、前記表示範囲と前記撮像範囲を前記所定の相対位置関係または前記所定の相対サイズ関係に変更するための前記表示装置に対する前記撮像装置の移動方向および前記撮像範囲のサイズ変更方向の少なくとも1つを算出し、
算出した前記表示装置に対する前記撮像装置の移動方向および前記撮像範囲のサイズ変更方向を作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、相対位置または相対サイズ調整の支援方法。
【請求項2】
前記調整ガイド情報として、前記表示装置に対する前記撮像装置の移動方向の矢印を示す調整ガイド用画像を作成し、
前記調整ガイド用画像を、前記表示装置に表示させる、請求項1に記載の相対位置または相対サイズ調整の支援方法。
【請求項3】
算出された前記相対位置関係または前記相対サイズ関係に基づいて、前記撮像範囲について、前記表示範囲と前記撮像範囲を前記所定の相対位置関係または前記所定の相対サイズ関係に変更するための移動量およびサイズ変更量の少なくとも1つを算出し、
前記調整ガイド用画像が、算出した移動量およびサイズ変更量を作業者に提示するように作成される、請求項2に記載の相対位置または相対サイズ調整の支援方法。
【請求項4】
前記調整作業によって前記表示範囲と前記撮像範囲の前記相対位置関係または前記相対サイズ関係が変化すると、その変化した前記相対位置関係または前記相対サイズ関係に基づいて前記調整ガイド用画像を更新する、請求項2または3に記載の相対位置または相対サイズ調整の支援方法。
【請求項5】
前記調整作業によって前記表示範囲と前記撮像範囲とが前記所定の相対位置関係または前記所定の相対サイズ関係になると、調整完了を提示する調整完了提示用画像を前記表示装置に表示させる、請求項2から4のいずれか一項に記載の相対位置または相対サイズ調整の支援方法。
【請求項6】
前記表示範囲にパターン画像を表示し、
前記撮像範囲外に前記パターン画像の一部分が存在する場合、前記パターン画像を、前記撮像範囲内に存在する一部分と前記撮像範囲外に存在する残りの部分とが視覚的に異なるように表示する、請求項2から5のいずれか一項に記載の相対位置または相対サイズ調整の支援方法。
【請求項7】
前記表示範囲と前記撮像範囲とが前記所定の相対位置関係または前記所定の相対サイズ関係にあるとき、前記撮像範囲内に前記表示範囲全体が含まれる、請求項1から6のいずれか一項に記載の相対位置または相対サイズ調整の支援方法。
【請求項8】
前記表示範囲と前記撮像範囲とが前記所定の相対位置関係または前記所定の相対サイズ関係にあるとき、前記撮像範囲の中心と前記表示範囲の中心とが一致し、且つ、前記表示範囲の面積が前記撮像範囲の面積に対して所定の割合である、請求項7に記載の相対位置または相対サイズ調整の支援方法。
【請求項9】
前記表示装置が、画像を投射する投射型表示装置であって、
前記表示範囲が、投射範囲である、請求項1から8のいずれか一項に記載の相対位置または相対サイズ調整の支援方法。
【請求項10】
表示装置の表示範囲と撮像装置の撮像範囲とを所定の相対位置関係または所定の相対サイズ関係になるように調整するための作業者の調整作業を支援する相対位置または相対サイズ調整の支援装置であって、
前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、
前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の相対位置関係または相対サイズ関係を算出し、
算出された前記相対位置関係または前記相対サイズ関係に基づいて、前記撮像範囲について、前記表示範囲と前記撮像範囲を前記所定の相対位置関係または前記所定の相対サイズ関係に変更するための前記表示装置に対する前記撮像装置の移動方向および前記撮像範囲のサイズ変更方向の少なくとも1つを算出し、
算出した前記表示装置に対する前記撮像装置の移動方向および前記撮像範囲のサイズ変更方向を作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、相対位置または相対サイズ調整の支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援方法および支援装置に関する。
【背景技術】
【0002】
例えば、特許文献1に記載されたシステムの場合、被写体に対して枠状の範囲指定画像を投射型表示装置(プロジェクタ)が投射し、範囲指定画像が投射された被写体をカメラが撮像する。システムは、撮像画像における範囲指定画像の位置を特定し、その特定した位置に基づいて、カメラの撮像範囲が範囲指定画像内に収まるようにカメラの撮像方向やズーム倍率を調整する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2010-74264号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のシステムの場合、外部信号に基づいて撮像方向やズーム倍率が変更可能に構成されている撮像装置に限られる。すなわち、撮像方向やズーム倍率をユーザの手作業によって調節する仕様の撮像装置では、システムは撮像範囲の位置やサイズを調整することができない。
【0005】
そこで、本開示は、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することを課題とする。
【課題を解決するための手段】
【0006】
上述の課題を解決するために、本開示の一態様によれば、
表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、
前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、
前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、
算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも1つを算出し、
算出した移動方向およびサイズ変更方向の少なくとも1つを作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援方法が提供される。
【0007】
また、本開示の別の態様によれば、
表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援装置であって、
前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、
前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の位置サイズ関係を算出し、
算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも1つを算出し、
算出した移動方向およびサイズ変更方向の少なくとも1つを作業者に提示する調整ガイド情報を作成し、
前記調整ガイド情報を作業者に出力する、位置サイズ調整の支援装置が提供される。
【発明の効果】
【0008】
本開示によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。
【図面の簡単な説明】
【0009】
図1】本開示の実施の形態1に係る、表示装置の表示範囲と撮像装置の撮像範囲の位置サイズ調整を行う作業者を支援するための位置サイズ調整支援システムの概略図
図2】位置サイズ調整支援システムの構成を示すブロック図
図3A】表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の一例を示す図
図3B】表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の別例を示す図
図4】撮像装置によって撮像され、表示装置の表示範囲の一部分が写る撮像画像の一例を示す図
図5図4に示す撮像画像が撮像されたときの表示装置の表示範囲と撮像装置の撮像範囲との位置サイズ関係を示す図
図6A】画像の形態で作業者に提示される調整ガイド情報の一例を示す図
図6B】画像の形態で作業者に提示される調整ガイド情報の別例を示す図
図7図7は、調整支援装置の動作の流れの一例を示すフローチャート
図8A】本開示の実施の形態2に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図
図8B】本開示の実施の形態2に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図
図8C】本開示の実施の形態2に係る、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示す図
図9A】本開示の実施の形態2に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図
図9B】本開示の実施の形態2に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図
図9C】本開示の実施の形態2に係る、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示す図
図10A】撮像装置の撮像範囲外に存在するパターン画像を示す図
図10B】撮像装置の範囲内に一部分が存在するパターン画像を示す図
図11】1台の撮像装置の撮像範囲に対して位置サイズ関係がそれぞれ調整された複数台の表示装置の表示範囲を示す図
【発明を実施するための形態】
【0010】
本開示の一態様に係る位置サイズ調整の支援方法は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも1つを算出し、算出した移動方向およびサイズ変更方向の少なくとも1つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力する。
【0011】
このような態様によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。
【0012】
例えば、前記調整ガイド情報として、調整ガイド用画像を作成し、前記調整ガイド用画像を、前記表示装置に表示させてもよい。
【0013】
例えば、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動量およびサイズ変更量の少なくとも1つを算出し、前記調整ガイド用画像が、算出した移動量およびサイズ変更量を作業者に提示するように作成されてもよい。
【0014】
例えば、前記調整作業によって前記表示範囲と前記撮像範囲の位置サイズ関係が変化すると、その変化した位置サイズ関係に基づいて前記調整ガイド用画像を更新してもよい。
【0015】
例えば、前記調整作業によって前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係になると、調整完了を提示する調整完了提示用画像を前記表示装置に表示させてもよい。
【0016】
例えば、前記表示範囲にパターン画像を表示し、前記撮像範囲外に前記パターン画像の一部分が存在する場合、前記パターン画像を、前記撮像範囲内に存在する一部分と前記撮像範囲外に存在する残りの部分とが視覚的に異なるように表示してもよい。
【0017】
例えば、前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲内に前記表示範囲全体が含まれてもよい。
【0018】
例えば、前記表示範囲と前記撮像範囲とが前記所定の位置サイズ関係にあるとき、前記撮像範囲の中心と前記表示範囲の中心とが一致し、且つ、前記表示範囲の面積が前記撮像範囲の面積に対して所定の割合であってもよい。
【0019】
例えば、前記表示装置が、画像を投射する投射型表示装置であってもよく、その場合、前記表示範囲が投射範囲である。
【0020】
本開示の別の態様に係る位置サイズ調整の支援装置は、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する位置サイズ調整の支援装置であって、前記撮像装置によって撮像され、前記表示装置の表示範囲の少なくとも一部分が写る撮像画像を取得し、前記撮像画像に基づいて、前記表示範囲と前記撮像範囲の位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも1つを算出し、算出した移動方向およびサイズ変更方向の少なくとも1つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力する。
【0021】
このような態様によれば、撮像装置の仕様にかかわらず、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置関係および所定のサイズ関係に調整することができる。
【0022】
以下、本開示の実施の形態について、図面を参照しながら説明する。
【0023】
(実施の形態1)
図1は、本開示の実施の形態1に係る、表示装置の表示範囲と撮像装置の撮像範囲の位置サイズ調整を行う作業者を支援するための位置サイズ調整支援システムの概略図である。図2は、位置サイズ調整支援システムの構成を示すブロック図である。
【0024】
図1に示す位置サイズ調整支援システム10は、投射型表示装置12と、撮像装置14と、これらに接続された調整支援装置(支援装置)16とを含んでいる。位置サイズ調整支援システム10は、すなわち調整支援装置16は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRとを目標の位置関係(すなわち所定の位置関係)に調整するとともに目標のサイズ関係(すなわち所定のサイズ関係)に調整する作業者の調整作業を支援するように構成されている。以下、位置関係およびサイズ関係を、位置サイズ関係と称する。
【0025】
投射型表示装置12は、例えばプロジェクタであって、スクリーンSに画像を投射する。投射型表示装置12の表示範囲DRは、画像を投射可能な投射範囲に相当する。なお、本実施の形態1の場合、投射型表示装置12は、既に、適切な位置に設置されているとともに、投射方向やズーム倍率が適切に調整されている。
【0026】
撮像装置14は、例えばカメラであって、投射型表示装置12から投射されてスクリーンSに写る画像を撮像するための装置である。撮像装置14は、例えば、投射型表示装置12から投射された画像をモニタリングするまたは画像を画質調整するために使用される。なお、本実施の形態1の場合、撮像装置14は、投射型表示装置12とは異なり、作業者によって仮の位置に設置されている。
【0027】
本実施の形態1の場合、上述したように、投射型表示装置12は適切な位置に設置されているが、撮像装置14は仮の位置に設置されている。そのため、作業者の調整作業として、まず、撮像装置14の撮像方向およびズーム倍率の調整が行われる。そして、撮像方向およびズーム倍率の調整を適切に行うことができれば、そのときの撮像装置14の位置が適切な位置となる。
【0028】
具体的には、投射型表示装置12の表示範囲(投射範囲)DRと撮像装置14の撮像範囲SRとを目標(所定)の位置サイズ関係に調整する作業者の調整作業として、撮像範囲SR内に表示範囲DR全体を含めるための調整作業(撮像装置14の撮像方向およびズーム倍率の調整)が行われる。
【0029】
図3Aは、表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の一例を示す図である。また、図3Bは、表示装置の表示範囲と撮像装置の撮像範囲との所定の位置サイズ関係の別例を示す図である。
【0030】
本実施の形態1の場合、さらに具体的には、図3Aに示すように、撮像範囲SRの中心Csと表示範囲DRの中心Cdとが一致し、且つ、表示範囲DRの面積が撮像範囲SRの面積に対して所定の割合(例えば80%)にするための調整作業が行われる。なお、面積の調整に代わって、図3Bに示すように、表示範囲DRの輪郭線DLと撮像範囲SRの輪郭線SLとの間の距離d1~d4が所定の画素数(例えば20~40ピクセル)になるような調整であってもよい。この距離d1~d4は、同一であってもよいし、異なってもよい。
【0031】
このような作業者の調整作業を支援する位置サイズ調整支援システム10における調整支援装置16は、図1に示すように、例えば、ラップトップ型PC(パーソナルコンピュータ)で構成される。プログラムがインストールされることにより、PCが調整支援装置16として機能する。
【0032】
作業者の調整作業を支援するために、調整支援装置16は、有線または無線を介して投射型表示装置12および撮像装置14に対して接続されている。
【0033】
また、調整支援装置16は、図2に示すように、目標位置サイズ関係取得部20と、位置サイズ関係算出部22と、調整動作算出部24と、調整ガイド情報作成部26と、記憶部28とを有する。調整支援装置16が、上述したようにPCで構成される場合、PCのCPUが、ハードディスクなどの記憶装置(記憶部28)に記憶されているプログラムにしたがって動作することにより、目標位置サイズ関係取得部20、位置サイズ関係算出部22、調整動作算出部24、および調整ガイド情報作成部26として機能する。
【0034】
目標位置サイズ関係取得部20は、表示範囲DRと撮像範囲SRとの位置サイズ関係について、作業者が所望する目標の位置サイズ関係(すなわち所定の位置サイズ関係)の情報を取得する。例えば、調整支援装置16がラップトップ型PCで構成されている場合、ラップトップ型PCのキーボードやラップトップ型PCに接続されたマウスなどの入力デバイスを介して、作業者が所望する位置サイズ関係の情報を取得する。一例として、ラップトップ型PCのディスプレイに複数の位置サイズ関係の情報を表示し、その複数の位置サイズ関係の情報の中から1つをマウスを介して作業者が選択する。また、撮像範囲SRの面積に対する表示範囲DRの面積の割合などが、作業者によってキーボードを介して数値入力される。
【0035】
なお、ディスプレイを備えていない装置の場合、例えばコンピューティングボードが組み込まれているが、ディスプレイを備えていない装置の場合、投射型表示装置12によって調整作業に必要な情報をスクリーンSに投射してもよい。作業者は、スクリーンを見ながら装置に接続されたキーボードやマウスなどを操作することにより、調整作業を行う。
【0036】
位置サイズ関係算出部22は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRとの位置サイズ関係を算出する。この位置サイズ関係の算出は、撮像装置14の撮像画像に基づいて行われる。
【0037】
まず、前準備として、投射型表示装置12が表示範囲DR全体に広がる所定のパターン画像Pi(図4参照)を投射することにより、その表示範囲DRを作業者が視認可能な状態にする。そして、その可視化された表示範囲DR(すなわちパターン画像Pi)に撮像装置14が向くように作業者が撮像装置14を調整する。
【0038】
前準備が完了すると、撮像装置14が、可視化された表示範囲DR(パターン画像Pi)を撮像する。その表示範囲DRの少なくとも一部分が写る撮像画像を、調整支援装置16は撮像装置14から取得する。
【0039】
図4は、撮像装置によって撮像され、表示装置の表示範囲の一部分が写る撮像画像の一例を示す図である。また、図5は、図4に示す撮像画像が撮像されたときの表示装置の表示範囲と撮像装置の撮像範囲との位置サイズ関係を示す図である。
【0040】
図4に示すように、撮像装置14の撮像画像Spには、可視化された表示範囲DRの一部分(パターン画像Piの一部分)が写っている。すなわち、図5に示すように、撮像装置14の撮像範囲SR内に存在する表示範囲DRの部分が、撮像画像Spに写っている。なお、図5において、二点鎖線は、表示範囲DRと撮像範囲SRとが所定の位置サイズ関係であるときの目標の撮像範囲SR’を示している。
【0041】
このようなパターン画像Piが写る撮像画像Spに基づいて、調整支援装置16の位置サイズ関係算出部22は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの位置サイズ関係を算出する。具体的には、撮像画像Spに対して画像処理を行い、撮像画像Spにおける表示範囲DRの少なくとも一部分、すなわちパターン画像Piの一部分を抽出する。この抽出が可能になるようなパターン、すなわち投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの対応関係(例えば投射型表示装置12の画素と撮像装置14の画素との対応関係)を取得できるパターンをパターン画像Piは備えている。なお、パターン画像Piが備えるパターンは、1種類であってもよく、または異なる種類の複数枚の組み合わせであってもよい。
【0042】
抽出された撮像画像Spにおけるパターン画像Piの部分に基づいて、位置サイズ関係算出部22は、例えば、撮像範囲SRの中心Cs(形状中心)と表示範囲DRの中心Cd(形状中心)のずれ方向およびずれ量と、撮像範囲SRに対する表示範囲DRの面積比とを位置サイズ関係として算出する。
【0043】
なお、位置サイズ関係算出部22は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRが目標(所定)の位置サイズ関係になるように作業者が調整作業を実行している間、一定の周期で、位置サイズ関係を算出する。位置サイズ関係の算出は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの位置サイズ関係が目標(所定)の位置サイズ関係になるまで行われる。
【0044】
調整動作算出部24は、表示範囲DRと撮像範囲SRを目標位置サイズ関係取得部20によって取得された目標(所定)の位置サイズ関係に変更するための調整動作として、撮像範囲SRの移動方向およびサイズ変更方向の少なくとも1つを算出する。その算出は、位置サイズ関係算出部22によって算出された投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの位置サイズ関係に基づいて行われる、なお、ここで言う「サイズ変更方向」は、サイズの拡大または縮小を意味する。
【0045】
例えば、図5に示す例の場合、表示範囲DRの中心Cdが、撮像範囲SRの中心Csに対して左下に存在する。また、撮像範囲SRが、表示範囲DRに対して目標(所定)の位置サイズ関係にある目標の撮像範囲SR’(二点鎖線)に比べて大きい。この場合、調整動作算出部24は、調整動作として、撮像範囲SRの移動方向として左下方向を算出するとともに、撮像範囲SRのサイズ変更方向として縮小を算出する。
【0046】
調整ガイド情報作成部26は、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRを目標(所定)の位置サイズ関係にする作業者の調整作業を支援するために、その調整作業をガイドする調整ガイド情報を作成する。その調整ガイド情報は、調整動作算出部24によって算出された調整動作を作業者に提示するための情報である。
【0047】
本実施の形態1の場合、調整ガイド情報作成部26は、調整ガイド情報を画像の形態で、すなわち調整ガイド用画像としてユーザに提示する。その調整ガイド用画像は、投射型表示装置12によって表示される(スクリーンSに投射される)。
【0048】
図6Aは、画像の形態で作業者に提示される調整ガイド情報の一例を示す図である。また、図6Bは、画像の形態で作業者に提示される調整ガイド情報の別例を示す図である。
【0049】
調整ガイド情報作成部26は、図6Aに示すように、撮像範囲SRの移動方向、すなわち表示範囲DRの中心Cdに撮像範囲SRの中心Csを一致させるための移動方向を作業者に提示する調整ガイド用画像Gi1を作成する。図6Aに示す例の場合、撮像範囲SRが左下方向に移動するように撮像装置14の撮像方向を調整する調整作業を作業者に提示するために、左下に向いた矢印Amを含む調整ガイド用画像Gi1が作成される。
【0050】
なお、本実施の形態1の場合、調整ガイド用画像Gi1は、位置サイズ関係算出部22が位置サイズ関係の算出に使用するパターン画像Pi上に撮像範囲SRの移動方向を示す矢印Amを重ねて構成されている。これにより、調整ガイド用画像Gi1は、位置サイズ関係の算出に使用されるとともに、作業者に撮像範囲SRの移動方向を提示する。
【0051】
また、調整ガイド情報作成部26は、図6Bに示すように、撮像範囲SRのサイズ変更方向を提示する調整ガイド用画像Gi2を作成する。この調整ガイド用画像Gi2は、撮像範囲SRが表示範囲DRに対して所定の位置関係になるように配置された後(表示範囲DRの中心Cdに撮像範囲SRの中心Csが一致した後)に作成される。図6Bに示す例の場合、撮像範囲SRが縮小するように撮像装置14のズーム倍率を調整することを作業者に提示するために、中心に向いた複数の矢印Asを含む調整ガイド用画像Gi2が作成される。
【0052】
なお、本実施の形態1の場合、調整ガイド用画像Gi2は、位置サイズ関係算出部22が位置サイズ関係の算出に使用するパターン画像Pi上に撮像範囲SRのサイズ変更方向を示す矢印Asを重ねて構成されている。これにより、調整ガイド用画像Gi2は、位置サイズ関係の算出に使用されるとともに、作業者に撮像範囲SRのサイズ変更方向を提示する。
【0053】
調整ガイド情報作成部26によって作成された調整ガイド用画像Gi1、Gi2は、調整支援装置16から投射型表示装置12に送信され、投射型表示装置12によってスクリーンSに投射される。
【0054】
調整ガイド用画像の作成は、断続的に実行される。すなわち、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRが目標(所定)の位置サイズ関係になるように作業者が調整作業を実行している間は位置サイズ関係が変化するので、その変化した位置サイズ関係に基づいて調整ガイド用画像が更新される。
【0055】
なお、撮像範囲SRを移動させるようにまたは撮像範囲SRのサイズを変更するように作業者に提示する方法は、矢印の提示に限らない。
【0056】
移動方向の提示に関して、例えば、表示範囲DRの輪郭線を含む調整ガイド用画像が作成されてもよい。また例えば、表示範囲DRに含まれる撮像範囲SRの部分に対応する調整ガイド用画像の部分が他の部分と異なるように特徴付けられた(例えば、色や模様が異なる)調整ガイド用画像が作成されてもよい。
【0057】
また例えば、移動方向の提示に関して、撮像範囲SRの中心Csが表示範囲DR内に位置する場合、調整ガイド用Gi1は、撮像範囲SRの中心Csを示すマークと表示範囲DRの中心Cdを示すマークとを含んでもよい。これにより、作業者は撮像方向を知ることができるとともに、その撮像方向の調整量を知ることができる。
【0058】
サイズ変更方向に関して、例えば、中央から外側に向かうにしたがって濃淡が変化しているグラデーション画像が調整ガイド用画像として作成されてもよい。撮像範囲SRを縮小するように作業者に提示する場合、中央から外側に向かって淡くなるグラデーション画像が作成される。また、撮像範囲SRを拡大するように作業者に提示する場合、中央から外側に向かって濃くなるグラデーション画像が作成される。
【0059】
また、位置サイズ関係算出部22が目標(所定)の位置サイズ関係を算出すると、調整支援装置16は、調整完了を作業者に提示する調整完了提示用画像を投射型表示装置12に表示させてもよい。
【0060】
ここまでは、位置サイズ調整支援システム10の構成について説明してきた。ここからは、位置サイズ調整支援システム10の動作、すなわち調整支援装置16の動作について説明する。
【0061】
図7は、調整支援装置の動作の流れの一例を示すフローチャートである。
【0062】
図7に示すように、ステップS100において、まず、調整支援装置16(目標位置サイズ関係取得部20)は、作業者の入力を介して、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの目標(所定)の位置サイズ関係を取得する。
【0063】
次に、ステップS110において、撮像装置14が撮像を実行する。これにより、図4に示すように、投射型表示装置12の表示範囲DRの少なくとも一部分が写る撮像画像Spが作成される。
【0064】
続いて、ステップS120において、調整支援装置16(位置サイズ関係算出部22)は、ステップS110で作成された撮像画像Spに基づいて、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの位置サイズ関係を算出する。
【0065】
ステップS130において、調整支援装置16は、ステップS120で算出された位置サイズ関係に基づいて、投射型表示装置12の表示範囲DRの中心Cdと撮像装置14の撮像範囲SRの中心Csとが一致しているか否かを判定する。一致している場合には、調整支援装置16はステップS140に進む。そうでない場合には、ステップS150に進む。
【0066】
ステップS130で投射型表示装置12の表示範囲DRの中心Cdと撮像装置14の撮像範囲SRの中心Csとが一致していないと判定された場合、ステップS150において、調整支援装置16(調整動作算出部24)は、ステップS120で算出された位置サイズ関係に基づいて、撮像範囲SRの移動方向、すなわち表示範囲DRの中心Cdに撮像範囲SRの中心Csを一致させるための移動方向を算出する。
【0067】
ステップS160において、調整支援装置16(調整ガイド情報作成部26)は、ステップS150で算出された撮像範囲SRの移動方向を作業者に提示するための調整ガイド用画像Gi1を作成する。
【0068】
ステップS170において、調整支援装置16は、ステップS160で作成された調整ガイド用画像Gi1を、投射型表示装置12を介して出力する。すなわち、図6Aに示すように、表示範囲DRに、撮像範囲SRの移動方向を作業者に提示する調整ガイド用画像Gi1が表示される。その表示後、調整支援装置16はステップS110に戻る。
【0069】
ステップS130で投射型表示装置12の表示範囲DRの中心Cdと撮像装置14の撮像範囲SRの中心Csとが一致していると判定された場合、ステップS140において、調整支援装置16は、ステップS120で算出された位置サイズ関係に基づいて、投射型表示装置12の表示範囲DRの面積が撮像装置14の撮像範囲SRの面積に対して所定の割合(例えば80%)であるか否かを判定する。所定の割合である場合には、調整支援装置16はステップS180に進む。そうでない場合には、ステップS190に進む。
【0070】
ステップS140で投射型表示装置12の表示範囲DRの面積が撮像装置14の撮像範囲SRの面積に対して所定の割合ではない判定された場合、ステップS190において、調整支援装置16(調整動作算出部24)は、ステップS120で算出された位置サイズ関係に基づいて、撮像範囲SRのサイズ変更方向、すなわち表示範囲DRの面積を撮像範囲SRの面積に対して所定の割合にするためのサイズ変更方向を算出する。
【0071】
ステップS200において、調整支援装置16(調整ガイド情報作成部26)は、ステップS190で算出された撮像範囲SRのサイズ変更方向を作業者に提示するための調整ガイド用画像Gp2を作成する。
【0072】
ステップS210において、調整支援装置16は、ステップS200で作成された調整ガイド用画像Gp2を、投射型表示装置12を介して出力する。すなわち、図6Bに示すように、表示範囲DRに、撮像範囲SRのサイズ変更方向を作業者に提示する調整ガイド用画像Gp2が表示される。その表示後、調整支援装置16はステップS110に戻る。
【0073】
ステップS130で投射型表示装置12の表示範囲DRの中心Cdと撮像装置14の撮像範囲SRの中心Csとが一致していると判定され、且つ、ステップS140で表示範囲DRの面積が撮像範囲SRの面積に対して所定の割合であると判定された場合、表示範囲DRと撮像範囲SRとが所定の位置サイズ関係であることを意味する。そこで、ステップS180において、調整支援装置16は、調整完了を作業者に提示する調整完了提示用画像を投射型表示装置12介して出力する。すなわち、調整完了提示用画像が表示範囲DRに表示される。
【0074】
以上のような本実施の形態1によれば、撮像装置14の仕様にかかわらず、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRとを所定の位置サイズ関係に調整することができる。
【0075】
具体的に説明すると、作業者が、投射型表示装置12の表示範囲DRに表示された調整ガイド用画像Gp1、Gp2を参照しながら、すなわち撮像装置14の撮像画像を確認することなく、撮像装置14の撮像方向やズーム倍率を調整することができる。したがって、撮像装置14は、外部信号に基づいて撮像方向やズーム倍率を変更する仕様の撮像装置でなくてもよい。また、撮像画像を表示するモニタを備えていない撮像装置であっても、投射型表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整することができる。
【0076】
(実施の形態2)
上述の実施の形態1の場合、作業者は、調整ガイド情報(調整ガイド用画像)によって撮像装置の撮像範囲の移動方向およびサイズ変更方向については提示されるが、その移動量やサイズ変更量については提示されない。そこで、本実施の形態2は、その移動量やサイズ変更量を調整ガイド情報として作業者に提示する。なお、調整支援装置が異なる点を除いて、本実施の形態2は上述の実施の形態1と実質的に同一の構成である。
【0077】
本実施の形態2に係る調整支援装置の調整動作算出部は、上述の実施の形態1における調整支援装置16の調整動作算出部24と同様に、撮像装置14の撮像範囲SRの移動方向とサイズ変更方向とを算出する。それとともに、本実施の形態2に係る調整動作算出部は、位置サイズ関係算出部によって算出された位置サイズ関係に基づいて、撮像範囲SRの移動量とサイズ変更量とを算出する。撮像範囲SRの移動量は、例えば、撮像範囲SRの中心Csと表示範囲DRの中心Cdとの間の距離である。サイズ変更量は、例えば、表示範囲DRが撮像範囲SRに対して所定の割合(両範囲が目標(所定)の位置サイズ関係であるときの割合)であるときの目標の撮像範囲SR’と、算出時点での撮像範囲SRとの面積比である。
【0078】
本実施の形態2に係る調整支援装置の調整ガイド情報作成部は、調整動作算出部によって算出された撮像装置14の撮像範囲SRの移動方向および移動量と、サイズ変更方向およびサイズ変更量とに基づいて調整ガイド用画像を作成する。
【0079】
図8A図8Cは、撮像範囲の移動方向および移動量を提示する調整ガイド用画像の一例を示している。また、図9A図9Cは、撮像範囲のサイズ変更方向およびサイズ変更量を提示する調整ガイド用画像の一例を示している。
【0080】
図8A図8Cに示すように、調整ガイド用画像Gp1において、矢印Amは、撮像範囲SRの中心Csと表示範囲DRの中心Cdとの間の距離が小さくなるほど、そのサイズが縮小する。したがって、矢印Amが小さくなると、作業者は、撮像範囲SRの中心Csが表示範囲DRの中心Cdに近づいていると認識することができる。
【0081】
図9A図9Cに示すように、調整ガイド用画像Gp2において、複数の矢印Asは、撮像範囲SRの面積が目標の撮像範囲SR’の面積に近づくほど、そのサイズが縮小する。したがって、矢印Asが小さくなると、作業者は、撮像範囲SRの面積が目標の撮像範囲SR’の面積に近づいていると認識することができる。
【0082】
なお、撮像範囲SRの移動量やサイズ変更量の提示は矢印Am、Asのサイズ変更に限らない。例えば、矢印Am、Asは、そのサイズが変化することなく、点滅間隔によって撮像範囲SRの移動量やサイズ変更量を提示してもよい。例えば、矢印Am、Asは、撮像範囲SRと表示範囲DRが所定の位置サイズ関係に近づくほど、その点滅間隔が短くなる。
【0083】
以上のような本実施の形態2も、上述の実施の形態1と同様に、撮像装置の仕様にかかわらず、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRとを所定の位置サイズ関係に調整することができる。
【0084】
(実施の形態3)
上述の実施の形態1および2の場合、作業者は、前準備として、図4および図5に示すように、投射型表示装置12の表示範囲DR(パターン画像Pi)の少なくとも一部分が撮像装置14の撮像範囲SR内に存在するように、撮像装置14をその表示範囲DRに向ける。しかしながら、その前準備に時間がかかる可能性がある。特に、上述の実施の形態1と異なり、撮像装置14の位置も調整する場合に時間がかかる可能性がある。なぜなら、作業者は、撮像範囲SRを視認することが困難である可能性があるからである。例えば、撮像装置14に接続されてその撮像範囲SRを提示するディスプレイ自体がない、またはディスプレイに接続されていても撮像装置14を調整しながらそのディスプレイを作業者は見ることができない可能性がある。そこで、本実施の形態3は、その撮像範囲SRを、作業者に視認可能にする。なお、調整支援装置が異なる点を除いて、本実施の形態3は上述の実施の形態1と実質的に同一の構成である。
【0085】
本実施の形態3に係る調整支援装置は、パターン画像Piを少なくとも部分的に変更するパターン画像変更部を備える。位置サイズ関係算出部によって算出された位置サイズ関係に基づいて、パターン画像変更部は、パターン画像Piを変更する。
【0086】
図10Aは、撮像装置の撮像範囲外に存在するパターン画像を示す図である。図10Bは、撮像装置の範囲内に一部分が存在するパターン画像を示す図である。
【0087】
図10Aおよび図10Bに示すように、作業者が撮像装置14を移動させてその撮像範囲SR内に投射型表示装置12のパターン画像Piの一部分Piaが進入すると、本実施の形態3に係る調整支援装置のパターン画像変更部は、その一部分Piaを変更する。具体的には、パターン画像変更部は、その一部分Piaと撮像範囲SR外に存在する残りの部Pibとが視覚的に異なるように、パターン画像を変更する。例えば、色が異なるようにパターン画像Piが変更される。これにより、作業者は、撮像範囲SRの位置を認識することができる。
【0088】
以上のような本実施の形態3も、上述の実施の形態1と同様に、撮像装置の仕様にかかわらず、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRとを所定の位置サイズ関係に調整することができる。
【0089】
以上、上述の実施の形態1~3を挙げて説明したが、本開示の実施の形態は上述の実施の形態に限らない。
【0090】
例えば、上述の実施の形態1~3の場合、表示装置は、プロジェクタなどの投射型表示装置12であるが、本開示の実施の形態はこれに限らない。表示装置は、例えば、大型液晶ディスプレイであってもよい。
【0091】
また、上述の実施の形態1~3の場合、作業者の調整作業は、撮像装置14の位置、撮像方向、およびズーム倍率の少なくとも1つを調整する作業であったが、本開示の実施の形態はこれに限らない。撮像装置14を調整する代わりに、作業者の調整作業は、投射型表示装置12の位置、投射方向、およびズーム倍率の少なくとも1つを調整する作業であってもよい。あるいは、作業者の調整作業は、投射型表示装置12と撮像装置14の両方に対する調整作業であってもよい。このような場合でも、本開示の実施の形態は、表示範囲と撮像範囲とを所定の位置サイズ関係にすることができる。
【0092】
さらに、上述の実施の形態1の場合、図6Aおよび図6Bに示すように、調整ガイド用画像Gi1、Gi2は、作業者の調整作業を支援するとともに、投射型表示装置12の表示範囲DRと撮像装置14の撮像範囲SRの位置サイズ関係を算出するためのパターン画像Piを含んでいる。しかしながら、調整ガイド用画像がパターン画像を含まなくても、作業者の調整作業は支援可能である。なお、この場合、例えば、調整ガイド用画像の支援を受けて作業者が撮像装置の位置、撮像方向、およびズーム倍率を調整した後、すなわちそれにより位置サイズ関係が変わると、調整支援装置は、調整ガイド用画像(パターン画像を含まない)からパターン画像に変更する。そのパターン画像に基づいて、新たに位置サイズ関係が算出される。その結果として、投射型表示装置は、調整ガイド用画像(パターン画像を含まない)とパターン画像とを交互に表示する。
【0093】
さらにまた、上述の実施の形態1~3の場合、1台の投射型表示装置12の表示範囲DRと1台の撮像装置14の撮像範囲SRを所定の位置サイズ関係の調整するための作業者の調整作業を支援するが、本開示の実施の形態はこれに限らない。
【0094】
図11は、1台の撮像装置の撮像範囲に対して位置サイズ関係がそれぞれ調整された複数台の表示装置の表示範囲を示す図である。
【0095】
図11に示すように、複数台の投射型表示装置12A~12Cそれぞれの表示範囲DRA~DRCが部分的にオーバーラップしている。中央の投射型表示装置12Aの表示範囲DRAの左側部分に、左側の投射型表示装置12Bの表示範囲DRBの右側部分がオーバーラップしている。また、中央の表示範囲DRAの右側部分に、右側の投射型表示装置12Cの表示範囲DRCの左側部分がオーバーラップしている。これらの表示範囲DRA~DRCのオーバーラップ量は、例えば200ピクセルである。このように複数台の投射型表示装置12A~12Cを用いることにより、1台の投射型表示装置を用いる場合に比べて大きな画像や映像を表示することができる。
【0096】
撮像装置14は、複数台の投射型表示装置12A~12Cそれぞれの表示範囲DRA~DRCの重なり具合をモニタリングするために使用されている。そのため、撮像装置14の撮像範囲SRと複数台の投射型表示装置12A~12Cの表示範囲DRA~DRCそれぞれが所定の位置サイズ関係であるとき、中央の表示範囲DRA全体、表示範囲DRBの右側部分、および表示範囲DRCの左側部分が撮像範囲SRに含まれる。
【0097】
この場合、まず、中央の投射型表示装置12Aが適切な位置に設置され、投射方向やズーム倍率が適切に調整される。その中央の投射型表示装置12Aの表示範囲DRAの中心と撮像範囲SRの中心とが一致するように、撮像装置14の位置および撮像方向を、調整支援装置の支援を受けながら作業者が調整する(第1の調整)。
【0098】
次に、作業者の第1の調整が完了した後、撮像装置14の撮像範囲SRに左側の投射型表示装置12Bの表示範囲DRBと右側の投射型表示装置12Cの表示範囲DRCが所定の割合で含まれるように、投射型表示装置12B、12Cの位置、投射方向、およびズーム倍率と撮像装置14のズーム倍率を、調整支援装置の支援を受けながら作業者が調整する(第2の調整)。
【0099】
そして、上述の実施の形態の場合、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援するための調整ガイド情報は、画像の形態で作業者に提示されている。しかしながら、本開示の実施の形態はこれに限らない。調整ガイド情報は、例えば音声であってもよい。例えば、調整支援装置がPCである場合、PCに搭載されたスピーカを介して調整ガイド情報が作業者に対して出力されてもよい。
【0100】
すなわち、本開示の実施の形態は、広義には、表示装置の表示範囲と撮像装置の撮像範囲とを所定の位置サイズ関係に調整するための作業者の調整作業を支援する表示装置と撮像装置のための位置サイズ調整の支援方法であって、前記表示範囲の少なくとも一部分を前記撮像装置によって撮像し、前記撮像装置によって撮像された撮像画像に基づいて、前記表示範囲と前記撮像範囲との位置サイズ関係を算出し、算出された位置サイズ関係に基づいて、前記表示範囲および前記撮像範囲の少なくとも一方について、前記表示範囲と前記撮像範囲を前記所定の位置サイズ関係に変更するための移動方向およびサイズ変更方向の少なくとも1つを算出し、算出した移動方向およびサイズ変更方向の少なくとも1つを作業者に提示する調整ガイド情報を作成し、前記調整ガイド情報を作業者に出力するものである。
【0101】
以上のように、本開示における技術の例示として、上述の実施の形態を説明してきた。そのために、図面および詳細な説明を提供している。したがって、図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上述の技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0102】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
【産業上の利用可能性】
【0103】
本開示は、プロジェクタ、ディスプレイなどの表示装置の表示範囲を、カメラなどの撮像装置によって撮像する場合に適用可能である。
【符号の説明】
【0104】
12 表示装置(投射型表示装置)
14 撮像装置
DR 表示範囲
SR 撮像範囲
図1
図2
図3A
図3B
図4
図5
図6A
図6B
図7
図8A
図8B
図8C
図9A
図9B
図9C
図10A
図10B
図11