特許第6047763号(P6047763)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
特許6047763ユーザインターフェース装置およびプロジェクタ装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6047763
(24)【登録日】2016年12月2日
(45)【発行日】2016年12月21日
(54)【発明の名称】ユーザインターフェース装置およびプロジェクタ装置
(51)【国際特許分類】
   G06F 3/041 20060101AFI20161212BHJP
   G06F 3/0346 20130101ALI20161212BHJP
   G09G 5/00 20060101ALI20161212BHJP
   G03B 21/00 20060101ALI20161212BHJP
   G03B 21/14 20060101ALI20161212BHJP
   G06F 3/042 20060101ALI20161212BHJP
【FI】
   G06F3/041 580
   G06F3/0346 422
   G09G5/00 510H
   G09G5/00 550C
   G09G5/00 510B
   G03B21/00 D
   G03B21/14 Z
   G06F3/042 473
   G06F3/041 630
【請求項の数】6
【全頁数】19
(21)【出願番号】特願2016-508891(P2016-508891)
(86)(22)【出願日】2015年6月24日
(86)【国際出願番号】JP2015003160
(87)【国際公開番号】WO2016035231
(87)【国際公開日】20160310
【審査請求日】2016年9月1日
(31)【優先権主張番号】特願2014-179338(P2014-179338)
(32)【優先日】2014年9月3日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2015-47530(P2015-47530)
(32)【優先日】2015年3月10日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100170494
【弁理士】
【氏名又は名称】前田 浩夫
(74)【代理人】
【識別番号】100120156
【弁理士】
【氏名又は名称】藤井 兼太郎
(72)【発明者】
【氏名】小野 恵伍
(72)【発明者】
【氏名】美馬 邦啓
(72)【発明者】
【氏名】神谷 聡
【審査官】 山崎 慎一
(56)【参考文献】
【文献】 特開2012−104096(JP,A)
【文献】 特開2009−64109(JP,A)
【文献】 特開2013−127752(JP,A)
【文献】 特開2012−69095(JP,A)
【文献】 米国特許出願公開第2010/0315413(US,A1)
【文献】 米国特許出願公開第2013/0050145(US,A1)
【文献】 米国特許出願公開第2011/0025845(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/041
G03B 21/00
G03B 21/14
G06F 3/0346
G06F 3/042
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
第1の物体上に提示された操作部材に対する第2の物体による操作を検出するユーザインターフェース装置であって、
前記第1の物体までの距離及び前記第2の物体までの距離を検出する距離検出部と、
前記距離検出部により検出された距離に基づき、前記操作を検出する制御部と、を備え、
前記制御部は、
前記第1の物体と前記距離検出部の間に前記第2の物体が存在すると判定したときに、
当該距離検出部から前記第1の物体の表面上の少なくとも3点の位置までの距離と、当該距離検出部から前記第2の物体までの距離とに基づいて前記第1の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて前記第2の物体による前記操作部材に対する操作の有無を検出する
ユーザインターフェース装置。
【請求項2】
前記制御部は、前記算出した法線ベクトルに基づいて、前記第2の物体と前記第1の物体との間の距離であって前記第1の物体の法線方向の距離を算出し、当該算出した距離が所定の範囲内にあるときに、前記第1の物体に対する第2の物体の操作があったことを検出する、
請求項1に記載のユーザインターフェース装置。
【請求項3】
前記制御部は、前記第2の物体による前記操作部材に対する操作があったことを検出したときに、その操作に応じた所定の動作を実行させる、請求項1に記載のユーザインターフェース装置。
【請求項4】
前記操作部材は、前記第1の物体上に投影された映像により提供される、
請求項1に記載のユーザインターフェース装置。
【請求項5】
前記操作部材は、前記第1の物体上に直接描画されることにより、または、前記操作部材が描画された部材が前記第1の物体上に載置されることにより提供される、請求項1に記載のユーザインターフェース装置。
【請求項6】
所定の操作部材の映像を第1の物体上に投影する映像投影部と、
前記操作部材に対する第2の物体による操作を検出するユーザインターフェース装置と、を備え、
前記ユーザインターフェース装置は、
前記第1の物体までの距離及び前記第2の物体までの距離を検出する距離検出部と、
前記距離検出部により検出された距離に基づき、前記操作を検出する制御部と、を備え、
前記制御部は、
前記第1の物体と前記距離検出部の間に前記第2の物体が存在すると判定したときに、
当該距離検出部から前記第1の物体の表面上の少なくとも3点の位置までの距離と、当該距離検出部から前記第2の物体までの距離とに基づいて前記第1の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて前記第2の物体による前記操作部材に対する操作の有無を検出する
プロジェクタ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作部材に対する操作を検出するユーザインターフェース装置およびプロジェクタ装置に関する。
【背景技術】
【0002】
特許文献1は、投影面に操作アイコンの画像を投影し、その投影した操作アイコンに対してユーザ操作を可能とするプロジェクタを開示している。このプロジェクタは、プロジェクタの載置面からユーザの指先位置までの法線方向の距離Xを、撮影した画像データに基づいて測定し、法線方向の距離Xが所定の距離以下であるか否かの判定を行う。法線方向の距離Xが所定の距離以下である場合、プロジェクタは、指先の直下に位置する操作アイコンのサイズを大きなサイズに変更して投影する。これにより、指があっても、その指の影の影響を排除し、ユーザにとって操作アイコンが見やすく良好な操作を可能としている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−104096号公報
【発明の概要】
【0004】
特許文献1は、距離の測定手段であるカメラと、投影面とが正対していること(カメラの光軸が投影面と直交)を前提としたプロジェクタの構成を開示している。カメラと投影面とが正対しておらず傾いて対向している場合には、距離を誤って測定してしまい、ユーザ操作が適切に検出されず、ユーザインターフェース装置として適切に動作しないという課題がある。
【0005】
本開示は、タッチ操作の対象とする操作部材を提示する物体と距離検出部とが正対していない場合であっても、提示された操作部材に対する操作を適切に検出できるユーザインターフェース装置およびプロジェクタ装置を提供する。
【0006】
本開示の第一の態様において、第1の物体上に提示された操作部材に対する第2の物体による操作を検出するユーザインターフェース装置が提供される。ユーザインターフェース装置は、第1の物体までの距離及び第2の物体までの距離を検出する距離検出部と、距離検出部により検出された距離に基づき、操作を検出する制御部と、を備える。制御部は、第1の物体と距離検出部の間に第2の物体が存在すると判定したときに、距離検出部から第1の物体の表面上の少なくとも3点の位置までの距離と、当該距離検出部から第2の物体までの距離とに基づいて第1の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて第2の物体による操作部材に対する操作の有無を検出する。
【0007】
本開示の第二の態様において、所定の操作部材の映像を第1の物体上に投影する映像投影部と、操作部材に対する第2の物体による操作を検出するユーザインターフェース装置と、を備えたプロジェクタ装置が提供される。ユーザインターフェース装置は、第1の物体までの距離及び第2の物体までの距離を検出する距離検出部と、距離検出部により検出された距離に基づき、操作を検出する制御部と、を備える。制御部は、第1の物体と距離検出部の間に第2の物体が存在すると判定したときに、距離検出部から第1の物体の表面上の少なくとも3点の位置までの距離と、距離検出部から第2の物体までの距離とに基づいて第1の物体の法線ベクトルを算出し、当該法線ベクトルに基づいて第2の物体による操作部材に対する操作の有無を検出する。
【0008】
本開示によれば、タッチ操作の対象とする操作部材を提示する物体と距離検出部とが正対していない場合であっても、操作部材と、それに対して操作を行う物体(例えば、ユーザの指)との間の距離を精度よく検出できる。よって、提示された操作部材に対する操作を適切に検出できるユーザインターフェース装置およびプロジェクタ装置を提供できる。
【図面の簡単な説明】
【0009】
図1図1は、プロジェクタ装置100が壁に映像を投影している状態を説明した図である。
図2図2は、プロジェクタ装置100がテーブルに映像を投影している状態を説明した図である。
図3図3は、プロジェクタ装置100の電気的構成を示すブロック図である。
図4A図4Aは、距離検出部230の電気的構成を示すブロック図である。
図4B図4Bは、距離検出部230により取得された距離情報を説明するための図である。
図5図5は、プロジェクタ装置100の光学的構成を示すブロック図である。
図6A図6Aは、距離検出部230とタッチ操作の対象である投影面とが正対していない場合に生じ得る課題を説明するための図である。
図6B図6Bは、距離検出部230とタッチ操作の対象である投影面とが正対していない場合に生じ得る課題を説明するための図である。
図7図7は、指から投影面までの法線ベクトル及び法線方向の距離を算出する処理を示すフローチャートである。
図8図8は、指と投影面との間の法線方向の距離の算出を説明するための図である。
図9図9は、指の周囲に位置する3点を説明するための図である。
図10図10は、タッチ操作の判定を説明するための図である。
図11図11は、アプリケーションの実行の要否を判断する処理を示すフローチャートである。
図12図12は、第1のアプリケーションの実行例を説明するための図である。
図13A図13Aは、第2のアプリケーションの実行例を説明するための図である。
図13B図13Bは、第2のアプリケーションの実行例を説明するための図である。
図13C図13Cは、第2のアプリケーションの実行例を説明するための図である。
図14図14は、投影面の法線方向からずれた角度で指と対向する投影面上の位置に対する、ユーザ操作の検出を説明するための図である。
【発明を実施するための形態】
【0010】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0011】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【0012】
(実施の形態1)
本開示にかかるユーザインターフェース装置を搭載した装置の具体的な実施の形態として、プロジェクタ装置100を説明する。
【0013】
図1及び図2を用いて、プロジェクタ装置100による映像投影動作の概要を説明する。図1は、プロジェクタ装置100が壁に映像を投影している状態を説明した図である。図2は、プロジェクタ装置100がテーブルに映像を投影している状態を説明した図である。
【0014】
図1及び図2に示すように、プロジェクタ装置100は、駆動部110を介して筐体120に固定されている。プロジェクタ装置100及び駆動部110を構成する各部と電気的に接続される配線は、筐体120及び配線ダクト130を介して電源と接続される。これにより、プロジェクタ装置100及び駆動部110に対して電力が供給される。プロジェクタ装置100は、開口部101を有している。プロジェクタ装置100は、開口部101を介して投影面に映像を投影する。
【0015】
駆動部110は、映像の投影方向を変更するようプロジェクタ装置100を駆動することができる。すなわち、駆動部110は、プロジェクタ装置100の向きを変更するための機構及び、その機構を駆動するためのモータやアクチュエータを含む。駆動部110は、図1に示すように映像の投影方向を壁140の方向になるようプロジェクタ装置100を駆動することができる。
【0016】
これにより、プロジェクタ装置100は、壁140に対して映像141を投影することができる。同様に、駆動部110は、図2に示すように映像の投影方向をテーブル150の方向になるようプロジェクタ装置100を駆動することができる。これにより、プロジェクタ装置100は、テーブル150に対して映像151を投影することができる。駆動部110は、ユーザのマニュアル操作に基づいて駆動してもよいし、所定のセンサの検出結果に応じて自動的に駆動してもよい。また、壁140に投影する映像141と、テーブル150に投影する映像151とは、内容を異ならせてもよいし、同一のものにしてもよい。
【0017】
プロジェクタ装置100は、ユーザインターフェース装置200を搭載している。ユーザインターフェース装置200により、ユーザが、映像(141、151)の投影面(壁140、テーブル150)自体を、タッチパネルのような操作手段として操作することを可能としている。
【0018】
以下、プロジェクタ装置100の構成及び動作について詳細を説明する。
【0019】
1.プロジェクタ装置の構成
図3は、プロジェクタ装置100の電気的構成を示すブロック図である。プロジェクタ装置100は、ユーザインターフェース装置200、光源部300、画像生成部400、投影光学系500を備えている。以下、順にプロジェクタ装置100を構成する各部の構成について説明する。
【0020】
1.1 ユーザインターフェース装置
ユーザインターフェース装置200は、制御部210、メモリ220、距離検出部230を備えている。ユーザインターフェース装置200は、ユーザが、例えば、ユーザの指160をポインティング手段として用いて所定の物体上に提示された操作対象に対する操作を行ったときに、その操作を検出し、操作に応じた動作を実行させるための手段である。
【0021】
制御部210は、プロジェクタ装置100全体を制御する半導体素子である。すなわち、制御部210は、ユーザインターフェース装置200を構成する各部(距離検出部230、メモリ220)及び、光源部300、画像生成部400、投影光学系500の動作を制御する。制御部210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。例えば、制御部210は、CPU、MPU、ASIC、FPGA、DSP等で構成できる。
【0022】
メモリ220は、各種の情報を記憶する記憶素子である。メモリ220は、フラッシュメモリや強誘電体メモリなどで構成される。メモリ220は、プロジェクタ装置100(ユーザインターフェース装置200を含む)を制御するための制御プログラム等を記憶する。また、メモリ220は、制御部210から供給された各種の情報を記憶する。
【0023】
距離検出部230は、例えば、TOF(Time−of−Flight)センサから構成され、対向する面までの距離を直線的に検出する。距離検出部230が壁140と対向しているときは、距離検出部230から壁140までの距離を検出する。同様に、距離検出部230がテーブル150と対向しているときは、距離検出部230からテーブル150までの距離を検出する。
【0024】
図4Aは、距離検出部230の電気的構成を示すブロック図である。図4Aに示すように、距離検出部230は、赤外検出光を照射する赤外光源部231と、対向する面で反射した赤外検出光を受光する赤外受光部232とから構成される。赤外光源部231は、開口部101を介して、赤外検出光を周囲一面に拡散されるように照射する。赤外光源部231は、例えば、850nm〜950nmの波長の赤外光を、赤外検出光として用いる。赤外受光部232は、撮像面上に複数の画素が二次元状に配列されている。
【0025】
制御部210は、赤外光源部231から、赤外光源部231が照射した赤外検出光の位相の情報を受信し、その情報をメモリ220に記憶しておく。対向する面が距離検出部230から等距離になく、傾きや形状を有する場合、赤外受光部232の撮像面上に二次元状に配列された複数の画素は、それぞれ別々のタイミングで反射光を受光する。各画素が別々のタイミングで受光するため、赤外受光部232で受光する赤外検出光は、各画素で位相が異なってくる。制御部210は、赤外受光部232が各画素で受光した赤外検出光の位相の情報を赤外受光部232から受信し、その情報をメモリ220に記憶する。
【0026】
制御部210は、赤外光源部231が照射した赤外検出光の位相と、赤外受光部232が各画素で受光した赤外検出光の位相とをメモリ220から読み出す。制御部210は、距離検出部230が照射した赤外検出光と、受光した赤外検出光との位相差に基づいて、距離検出部230から対向する面(各画素)までの距離を測定し、測定結果に基づき距離情報(距離画像)を生成して出力する。
【0027】
図4Bは、距離検出部230(赤外受光部232)により取得された距離情報を説明するための図である。距離検出部230は、受光した赤外検出光による赤外画像を構成する画素毎に距離を検出する。これにより、制御部210は、距離検出部230が受光した赤外画像の画角全域対する距離の検出結果を画素単位で得ることができる。以下の説明では、図4Bに示すように、赤外画像の横方向にX軸をとり、縦方向にY軸をとる。そして、検出した距離方向にZ軸をとる。制御部210は、距離検出部230の検出結果に基づいて、赤外画像を構成する各画素について、XYZの三軸の座標(x、y、z)を取得できる。すなわち、制御部210は、距離検出部230の検出結果に基づいて、距離情報(距離画像)を取得できる。
【0028】
上記では、距離検出部230としてTOFセンサを例示したが、本開示はこれに限定されない。すなわち、ランダムドットパターンのように、既知のパターンを投光してそのパターンのズレから距離を算出するものであっても良いし、ステレオカメラによる視差を利用したものであってもよい。
【0029】
1.2 光学的構成
次に、プロジェクタ装置の光学的構成(映像投影部)、すなわち、光源部300、画像生成部400および投影光学系500の構成について、図5を用いて説明する。図5は、プロジェクタ装置100の光学的構成を示すブロック図である。図5に示すように、光源部300は、投影画像を生成するために必要な光を、画像生成部400に対して供給する。画像生成部400は生成した映像を投影光学系500に供給する。投影光学系500は、画像生成部400から供給された映像に対してフォーカシング、ズーミング等の光学的変換を行う。投影光学系500は、開口部101と対向しており、開口部101から映像が投影される。
【0030】
まず、光源部300の構成について説明する。図5に示すように、光源部300は、半導体レーザー310、ダイクロイックミラー330、λ/4板340、蛍光体ホイール360などを備えている。半導体レーザー310は、例えば、波長440nm〜455nmのS偏光の青色光を発光する固体光源である。半導体レーザー310から出射されたS偏光の青色光は、導光光学系320を介してダイクロイックミラー330に入射される。
【0031】
ダイクロイックミラー330は、例えば、波長440nm〜455nmのS偏光の青色光に対しては98%以上の高い反射率を有する一方、波長440nm〜455nmのP偏光の青色光及び、波長490nm〜700nmの緑色光〜赤色光に対しては偏光状態に関わらず95%以上の高い透過率を有する光学素子である。ダイクロイックミラー330は、半導体レーザー310から出射されたS偏光の青色光を、λ/4板340の方向に反射する。
【0032】
λ/4板340は、直線偏光を円偏光に変換又は、円偏光を直線偏光に変換する偏光素子である。λ/4板340は、ダイクロイックミラー330と蛍光体ホイール360との間に配置される。λ/4板340に入射したS偏光の青色光は、円偏光の青色光に変換された後、レンズ350を介して蛍光体ホイール360に照射される。
【0033】
蛍光体ホイール360は、高速回転が可能なように構成されたアルミ平板である。蛍光体ホイール360の表面には、拡散反射面の領域であるB領域と、緑色光を発光する蛍光体が塗付されたG領域と、赤色光を発光する蛍光体が塗付されたR領域とが複数形成されている。蛍光体ホイール360のB領域に照射された円偏光の青色光は拡散反射されて、円偏光の青色光として再びλ/4板340に入射する。λ/4板340に入射した円偏光の青色光は、P偏光の青色光に変換された後、再びダイクロイックミラー330に入射する。このときダイクロイックミラー330に入射した青色光は、P偏光であるためダイクロイックミラー330を透過して、導光光学系370を介して画像生成部400に入射する。
【0034】
蛍光体ホイール360のG領域に照射された青色光は、G領域上に塗付された蛍光体を励起して緑色光を発光させる。G領域上から発光された緑色光は、ダイクロイックミラー330に入射する。このときダイクロイックミラー330に入射した緑色光は、ダイクロイックミラー330を透過して、導光光学系370を介して画像生成部400に入射する。同様に、蛍光体ホイール360のR領域に照射された青色光は、R領域上に塗付された蛍光体を励起して赤色光を発光させる。R領域上から発光された赤色光は、ダイクロイックミラー330に入射する。このときダイクロイックミラー330に入射した赤色光は、ダイクロイックミラー330を透過して、導光光学系370を介して画像生成部400に入射する。
【0035】
蛍光体ホイール360は高速回転しているため、光源部300から画像生成部400へは、青色光、緑色光、赤色光が時分割されて出射する。
【0036】
画像生成部400は、制御部210から供給される映像信号に応じた投影画像を生成する。画像生成部400は、DMD(Digital−Mirror−Device)420などを備えている。DMD420は、多数のマイクロミラーを平面に配列した表示素子である。DMD420は、制御部210から供給される映像信号に応じて、配列したマイクロミラーのそれぞれを偏向させて、入射する光を空間的に変調させる。光源部300は、青色光、緑色光、赤色光を時分割で出射してくる。DMD420は、導光光学系410を介して、時分割に出射されてくる青色光、緑色光、赤色光を順に繰り返し受光する。DMD420は、それぞれの色の光が出射されてくるタイミングに同期して、マイクロミラーのそれぞれを偏向させる。これにより、画像生成部400は、映像信号に応じた投影画像を生成する。DMD420は、映像信号に応じて、投影光学系に進行させる光と、投影光学系の有効範囲外へと進行させる光とにマイクロミラーを偏向させる。これにより、画像生成部400は、生成した投影画像を、投影光学系500に対して供給することができる。
【0037】
投影光学系500は、フォーカスレンズやズームレンズなどの光学部材510を備える。投影光学系500は、画像生成部400から入射した光を拡大して投影面へ投影する。
【0038】
上記では、プロジェクタ装置100の一例として、DMD420を用いたDLP(Digital―Light−Processing)方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置100として、液晶方式による構成を採用しても構わない。
【0039】
上記では、プロジェクタ装置100の一例として、蛍光体ホイール360を用いた光源を時分割させた単板方式による構成を説明したが、本開示はこれに限定されない。すなわち、プロジェクタ装置100として、青色光、緑色光、赤色光の各種光源を備えた三板方式による構成を採用しても構わない。
【0040】
上記では、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを別ユニットとする構成を説明したが、本開示はこれに限定されない。すなわち、投影映像を生成するための青色光の光源と、距離を測定するための赤外光の光源とを統合したユニットとしても構わない。三板方式を採用するのであれば、各色の光源と赤外光の光源とを統合したユニットとしても構わない。
【0041】
2.ユーザインターフェース装置の動作
プロジェクタ装置100に搭載されたユーザインターフェース装置200の動作について説明する。
【0042】
本実施形態のプロジェクタ装置100は、映像を投影する投影面(例えば、壁140或いはテーブル150)上に、アイコン、ボタン、キーボード等の操作部材の映像を投影する。ユーザインターフェース装置200は、例えばユーザの指160をポインティング手段として用いたユーザによる、投影面180上に投影された操作部材に対する操作を検出する。そして、ユーザインターフェース装置200は、検出した操作に応じた動作を実行させる。
【0043】
最初に、上記のような動作を行うユーザインターフェース装置200において想定する課題について説明する。図6A及び図6Bは、距離検出部230とタッチ操作の対象である投影面180とが正対していない場合に生じ得る課題を説明するための図である。図6A及び図6Bは、プロジェクタ装置100と、対向する投影面180(例えば、壁140或いはテーブル150)とが正対しておらず傾いている状況を示している。このような場合、投影面と、それに対して操作を行う物体(例えば、ユーザの指)との間の距離を誤って測定してしまい、ユーザ操作を適切に検出できないという問題がある。
【0044】
図6A及び図6Bは、ユーザの指160が位置PA1に位置している場合と、位置PA2に位置している場合とをそれぞれ示している。このとき、投影面180から位置PA1までの法線距離D’1、及び、投影面180から位置PA2までの法線距離D’2は同じであるとする。そして、指160を位置PA1に配置しているユーザは、投影面180の真下の位置PB1へのタッチ操作を意図しているとする。同様に、指160を位置PA2に配置しているユーザは、投影面180の真下の位置PB2へのタッチ操作を意図しているとする。
【0045】
上述の通り、距離検出部230は、対向する投影面180までの距離を直線的に検出する。従って、距離検出部230は、位置PA1に位置する指160までの距離として、距離検出部から位置PA1までの距離D1を検出する事になる。同様に、距離検出部230は、位置PA2に位置する指160までの距離として、距離D4を検出する事になる。
【0046】
ユーザの指160による投影面180へのタッチ操作の判定を、距離検出部230の検出結果(距離検出部230から投影面180までの距離)をそのまま用いて、所定の閾値と比較することにより実現する方法が考えられる。距離検出部230と投影面180とが正対している場合(距離検出部230の赤外受光部232の受光面と投影面180とが並行な場合)は、この方法であっても適切にタッチ操作の判定を行うことができる。
【0047】
しかしながら、図6A及び図6Bに示すように、プロジェクタ装置100の距離検出部230と投影面180とが正対しておらず、傾いて対向している場合は、指160から投影面180までの法線距離が同じであっても、タッチ操作を行おうとする指160の位置に応じて、距離検出部230の検出結果(距離検出部230から投影面180までの距離)が大きく異なってくる。例えば、図6Aに示すように、指160が位置PA1に位置する場合と、位置PA2に位置する場合とで、投影面180までの法線距離(D’1、D’2)は実際には同じであるが、タッチ操作に使用する判定距離D3、D6は大きく異なる。
【0048】
具体的な判定距離としては、指160が位置PA1にある場合、距離検出部230から指160までの距離はD1となり、距離検出部230から投影面までの距離は、D2(事前に投影面までの距離を距離検出部230で取得しておく)となる。従って、指160と投影面180までの距離はD3=(D2−D1)となる。一方、指160が位置PA2にある場合、距離検出部230から指160までの距離はD4となり、距離検出部230から投影面180までの距離はD5となる。従って、指160と投影面180までの距離はD6=(D5−D4)となり、指160が位置PA1に位置する場合と位置PA2に位置する場合とで、判定距離は大きく異なってしまう。
【0049】
本発明者は、距離検出部230と投影面180とが正対せず、傾いて対向しているような場合に、投影面180をタッチ操作の対象とする面として機能させるユーザインターフェース装置200を試作し、検討した。その結果、本発明者は、ユーザインターフェース装置200を試作検討する過程において本課題を認識し、後述する解決手段を考案するに至った。
【0050】
具体的には、本発明者は、図6Bに示すように、指160の位置に関わらず、指160から投影面180までの法線ベクトル(法線距離)を検出し、当該検出した法線ベクトルに基づいてタッチ操作を判定する手法を考案した。これにより、距離検出部230と投影面180とが正対しておらず傾いて対向しているような場合であっても、適切にタッチ操作の判定を行うことができるユーザインターフェース装置200を実現できた。
【0051】
以下、指160の位置に関わらず、指160から投影面180までの法線ベクトル(法線距離)を検出し、当該検出した法線ベクトルに基づいてタッチ操作を判定する構成について、詳細に説明する。
【0052】
図7は、指160から投影面180までの法線ベクトルを算出する処理を示すフローチャートである。図8は、指160と投影面180との間の法線方向の距離の算出を説明するための図である。図9は、指160の周囲に位置する3点を説明するための図である。なお、本実施の形態では、投影面180に対して、ユーザインターフェース装置200により、ユーザが操作を行うためのユーザインターフェース(アイコン、ボタン、キーボード等)を示す映像が投影される。
【0053】
まず、制御部210は、距離検出部230から距離情報を取得する(S700)。次に、制御部210は、取得した距離情報に基づいて、タッチ操作の対象とする映像が投影される投影面180と距離検出部230との間に物体(ユーザの指など)が進入したか否かを検知する(S710)。物体の進入の判断は、公知の如何なる技術を用いてもよい。例えば、人感センサのような赤外線による温度検知を用いて、物体が進入したか否かを判断しても良い。或いは、タッチ操作の対象とする投影面を撮像した画像の時間差分(フレーム間差分)を算出し、その差分が一定閾値を越えたか否かを判定するような、動き検出処理により、物体の進入を判断してもよい。
【0054】
制御部210は、投影面180と距離検出部230との間に物体が進入したことを検知するまで、距離検出部230から距離情報を取得するステップS700を繰り返す(S700、S710におけるNO)。一方、制御部210は、投影面180と距離検出部230との間に物体が進入したと検知した場合(S710におけるYES)、今回の物体の進入が検知される前の投影面180までの距離情報をメモリ220から取得する(S720)。なお、投影面180までの距離に関する情報については、直前フレームを含む過去数フレーム分の距離情報が、メモリ220に格納されている。例えば、プロジェクタ装置100の電源オン時の初期化処理において、投影面180と距離検出部230の間に物体が存在しない状態で、距離検出部230により投影面180までの距離が測定され、その測定結果に基づき距離情報がメモリ220に格納される。
【0055】
続いて、制御部210は、ステップS710において検知した物体が、指160であるか否かを検出する(S730)。指であるか否かの検出は、例えば、予め記憶しておいた指の形状の特徴量を示す情報に基づいて、マッチング処理をすることで検出できる。或いは、予め記憶しておいた指の距離情報に基づいてマッチング処理をしてもよい。その他、指であるか否かの検出方法として、公知の任意の技術を用いることができる。
【0056】
進入した物体が指ではないと検出した場合(S730におけるNO)、制御部210はステップS700の処理に戻り、距離情報の取得を行う。
【0057】
進入した物体が指であると検出した場合(S730におけるYES)、制御部210は、検出した指の位置(XY座標位置)の周辺にある少なくとも3点の投影面180上の位置について距離情報(XYZ座標)を取得する(S740)。具体的には、図8に示すように、制御部210は、ステップS720においてメモリ220に記憶しておいた投影面180までの距離情報から指の位置(XYZ座標)PAを求める。次に、制御部210は、図9に示すように、求めた位置PAの近傍の少なくとも3点の位置PD1〜PD3について、距離検出部230から投影面180までの距離情報を取得する。
【0058】
続いて、制御部210は、ステップS740にて取得した3点の距離情報(XYZ座標)から投影面180の法線ベクトル190を算出する(S750)。具体的には、制御部210は、3点の距離情報(XYZ座標)から3点で表される2つのベクトルの外積を計算することによって、この3点から表される2つのベクトルの直交ベクトルを算出する。この算出した直交ベクトルの単位ベクトルが、投影面180の法線ベクトル190となる。
【0059】
そして、制御部210は、ステップS750で算出した法線ベクトル190と、ステップS740で算出した指の位置とから、指の座標から投影面の法線方向に降ろした線分が投影面と交わる点までの距離(法線距離)を算出する(S760)。具体的には、ステップS740で算出した指の位置(XYZ座標)と、指のXY座標位置に対応する投影面上の位置(XYZ座標)とを結んだベクトルと、ステップS750で算出した投影面の法線ベクトル190との内積の絶対値を演算することによって法線距離を得る。例えば、図8において、指の位置PAと、指の位置PAに対応する投影面180上の位置PBとを結んだベクトルと、投影面180の法線ベクトル190との内積の絶対値を演算することによって法線距離D’を得る。
【0060】
そして、制御部210は、ステップS760で算出した法線距離をメモリ220に記憶する(S770)。すでにメモリ220に法線距離が記憶されている場合、制御部210は新たに算出した法線距離で上書き(更新)する。
【0061】
なお、ステップS710で物体の進入を検知しなくなったとき、または、ステップS730で進入物体が指ではないと検出したときは、制御部210は、メモリ220に記憶されている法線距離を消去する。
【0062】
その後、制御部210は、ステップS700に戻り、上記の処理を繰り返す。
【0063】
上述のようにして、ユーザの指160と投影面180までの法線距離が求められ、メモリ220に記憶される。このようにして求められた法線距離は、投影面に投影された操作のための映像(アイコン、ボタン等)に対するユーザの指の近接判定に用いられる。
【0064】
3.操作に基づくアプリケーションの実行
以下、投影面180に投影されたインターフェース画像に対する操作に基づくアプリケーションの実行の要否を判断する処理を説明する。図10は、タッチ操作の判定を説明するための図である。ここでは、図10に示すように投影面180上に、操作対象となるインターフェース画像185(アイコン、ボタン、キーボード等)が表示されている場合を考える。ユーザは、インターフェース画像185に対してタッチ操作を行う場合、指160をそのインターフェース画像185に近づける。
【0065】
図11は、インターフェース画像に対するユーザ操作に基づくアプリケーションの実行の要否を判断する動作を示すフローチャートである。制御部210は、指160と投影面180との間の法線距離D’に基づいてタッチ判定を行い、アプリケーションの実行要否を判断する。
【0066】
具体的には、制御部210は、メモリ220に記憶しておいた法線距離D’を、所定の閾値と比較する(S800)。法線距離D’が所定の閾値以上の場合(S800におけるNO)、制御部210は、タッチ操作は行われていないと判定し、アプリケーションを実行しない。一方、法線距離D’が所定の閾値よりも小さい場合(S800におけるYES)、制御部210は、タッチ操作が行われたと判定し、タッチ操作がなされたインターフェース画像185に対応する所定のアプリケーションを実行する(S810)。制御部210は、所定の周期で上記の処理を繰り返す。
【0067】
3.1 アプリケーションの実行例
続いて、プロジェクタ装置100のタッチ操作の判定にかかるアプリケーションの実行例について説明する。図12は、第1のアプリケーション(タッチ操作により起動されるアプリケーション)の実行例を説明するための図である。図13A、B、Cは、第2のアプリケーション(ジェスチャ操作により起動されるアプリケーション)の実行例を説明するための図である。
【0068】
上記の実施形態のタッチ操作の判定制御は、プロジェクタ装置100から、投影面180(例えば、壁140、テーブル150)に投影する映像に対してインタラクションするアプリケーションに使用できる。すなわち、制御部210は、タッチ操作が行われたと判定した場合、タッチ操作された座標位置に対応して、投影する映像を切り替えるようにしてもよい。例えば、図12に示すように、投影面180に映像51、52,53が投影されている場合、いずれかの映像に対してタッチ操作が行われたと判定した場合、制御部210は、タッチされた映像51、52または53に応じて、投影する映像を切り替える。図12の例では、映像61、62または63に切り替えている。換言すれば、本実施形態のタッチ操作の判定制御は、タッチ操作が行われたと判定された座標に応じて、あらかじめ決められた映像に遷移するアプリケーションに対して適用できる。このようなアプリケーションの例として、例えば、複数の料理名が表示されるレストランのメニューを示す映像を投影面180に投影し、いずれかの料理名が選択されたときに、選択された料理名に対応する料理の画像や詳細な情報を表示するようなアプリケーションが考えられる。
【0069】
また、第2のアプリケーションは、いわゆるジェスチャ操作に対応して投影映像を変化させる機能を有する。図13A図13Bは、ピンチイン、ピンチアウト操作に対応して投影画像を変化させる機能を説明した図である。すなわち、制御部210は、タッチ操作された2点の座標間の距離の変化によって、プロジェクタ装置100から投影面180へ投影する映像の拡大/縮小を行う。その場合、2点のタッチ判定を実施する必要があるが、複数点におけるタッチ操作の有無の判定に対しても、上述の判定の制御を適用することができる。
【0070】
図13Cは、ドラッグアンドドロップ操作に対応して投影画像を変化させる機能を説明した図である。図13Cに示すように、一度、ユーザが、投影された映像に対してタッチ操作を行った後、タッチ操作が行われている状態を維持したまま(投影面180からの指の高さを維持したまま)タッチ操作の位置を移動させた場合、その移動に合わせて、タッチ操作の対象としている映像を移動させてもよい。このようなアプリケーションの場合、ユーザの指160と投影面180間の法線方向の距離はできる限り短い距離となったときにタッチ操作が行われていると判定することが望ましい。例えば、法線距離と比較する所定の閾値として、人間の平均的な指の厚さと、距離検出部230のセンサ精度のばらつきとを考慮して、約30mm程度にすることが考えらえる。なお、使用する距離検出部230のセンサの精度によっては、この閾値を更に短くしてもよい。
【0071】
4.効果、等
以上のように本実施形態のプロジェクタ装置100は、所定の操作部材の映像であるインターフェース画像185を投影面180(第1の物体の一例)上に投影する映像投影部と、操作部材に対するユーザの指160(第2の物体の例)による操作を検出するユーザインターフェース装置200と、を備える。ユーザインターフェース装置200は、投影面180までの距離及びユーザの指160までの距離を検出する距離検出部230と、距離検出部230により検出された距離に基づき、操作を検出する制御部210とを備える。制御部210は、投影面180と距離検出部230の間に指160が存在すると判定したときに、距離検出部230から投影面180の表面上の少なくとも3点の位置までの距離と、距離検出部230から指160までの距離とに基づいて投影面180の法線ベクトル190を算出し、当該法線ベクトル190に基づいて指160によるインターフェース画像185に対する操作を検出する。
【0072】
例えば、制御部210は、算出した法線ベクトル190に基づいて、指160と投影面180との間の距離であって投影面180の法線方向の距離D’を算出し、当該算出した距離D’が所定の範囲内にあるときに、操作部材に対する操作があったことを検出してもよい。
【0073】
以上の構成により、タッチ操作の対象とする操作部材を提示する投影面180と距離検出部230とが正対していない場合であっても、操作部材と、それに対して操作を行う物体(例えば、ユーザの指)との間の距離を精度よく検出できることから、提示された操作部材に対する操作を適切に検出することができる。よって、ユーザ操作に応じて、適切にアプリケーションを実行することができる。
【0074】
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。
【0075】
しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【0076】
上記の実施形態では、ユーザインターフェース装置200をプロジェクタ装置100に適用した例を説明したが、本開示はこれに限定されない。すなわち、ユーザによる操作の対象となる操作手段を投影映像により表現したが、これらの操作手段は他の方法により提供されてもよい。例えば、メニュー等の絵が描画された紙面や、液晶ディスプレイなどの他の表示用デバイス上での表示により、操作手段を提示してもよい。そのようにして提示された操作手段に対するユーザインターフェースとして、上記のユーザインターフェース装置200の構成を適用することができる。または、投影映像に対するタッチ操作ではなく、現実世界の物体そのものをタッチ操作して処理をするような制御装置のインターフェースとしても、上記のユーザインターフェース装置200の構成を適用できる。
【0077】
上記では、法線方向の距離(D’)そのものをタッチ操作が行われたことの判定に使用する例を挙げたが、本開示はこれに限定されない。図14は、投影面の法線方向からずれた角度で指と対向する投影面上の位置に対する、ユーザ操作の検出を説明するための図である。図14に示すように、法線方向の距離D’そのものはタッチ操作が行われたことの判定には使用しないで、法線方向からオフセット角度(θ)を持たせた位置(PB1’、PB2’)と指の検出位置PAとの距離(D1’、D2’)を、タッチ操作の有無の判定に使用してもよい。この場合であっても、距離(D1’、D2’)を算出するため、法線ベクトル190を算出する必要がある。具体的には、投影面180から指160までの法線ベクトル190を算出し、算出した法線ベクトル190に基づいて、法線距離D’を求め、その法線距離D’とオフセット角度に基づき、オフセット角度を持たせた位置(PB1’、PB2’)の距離(D1’、D2’)を算出できる。そして、この距離(D1’、D2’)に基づき、所定の動作を実行するように構成すればよい。
【0078】
または、法線方向の距離そのものはタッチ操作が行われたことの判定には使用しないで、指160の検出位置と同じXY座標を有する投影面180上の一点の位置までの距離を、タッチ操作が行われたことの判定に用いてもよい。この場合、ユーザインターフェース装置200のメモリ220は、距離検出部230に対する投影面180の傾き(θ)に応じた距離補正テーブルを格納しておく。距離補正テーブルは、距離検出部230に対する投影面180の傾き(α)と、閾値の補正値とを関連づけて格納する。そして、検出した指160の位置と投影面180の傾きとに基づいて、距離補正テーブルから閾値の補正値を読み出して、その閾値の補正値により、タッチ操作の判定に用いる所定の閾値を補正してもよい。
【0079】
具体的には、制御部210は、算出した指160の位置(XYZ座標)と、指のXY座標位置に対応する投影面180上の位置(XYZ座標)とから、指160と投影面180の間の距離を算出する。また、制御部210は、投影面180上において指のXY座標位置の周辺に対応する少なくとも3点の距離情報(XYZ座標)を取得する。すなわち、制御部210は、距離検出部230から投影面180までの少なくとも3点の距離情報を取得する。そして、制御部210は、取得した3点の距離情報が示すXYZ座標に基づいて、投影面180の法線ベクトル190を算出する。制御部210は、算出した法線ベクトル190から、距離検出部230と投影面180との傾きを算出する。制御部210は、算出した傾きと、距離検出部230が検出した指160のXYZ座標に基づいて、メモリ220に記憶しておいた距離補正テーブルから適切な補正値を参照する。そして、制御部210は、参照した補正値に基づいて所定の閾値を補正して、タッチ操作が行われたかの判定に使用する。これにより、距離補正テーブルを参照して、適切なタッチ操作の判定を行うことができる。なお、距離補正テーブルを参照する実施例においても、ユーザインターフェース装置200は、投影面の法線ベクトル190を算出することについては、先に例示した実施の形態と同様である。
【0080】
また、上記の実施の形態では、対向する面(投影面180)として、壁140やテーブル150を例示したが、これに限定されない。本実施の形態にかかるプロジェクタ装置100或いは、ユーザインターフェース装置200は、対向する面(投影面)として任意の形状を有する物体を採用することができる。任意の形状を有する物体であっても、ユーザインターフェース装置200によれば、適切にタッチ操作が行われたことの判定を行うことができる。
【0081】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【0082】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0083】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0084】
本開示は、ユーザ操作を適切に検出できるユーザインターフェース装置を提供できる。本開示のユーザインターフェース装置は、上記のようなプロジェクタ装置のみならず、操作部材に対する操作を距離検出部による検出結果に応じて検出する種々の装置に適用可能である。
【符号の説明】
【0085】
51,52,53 映像
61,62,63 映像
100 プロジェクタ装置
110 駆動部
101 開口部
120 筐体
130 配線ダクト
140 壁
141 映像
150 テーブル
151 映像
160 指
180 投影面
185 インターフェース画像
190 法線ベクトル
200 ユーザインターフェース装置
210 制御部
220 メモリ
230 距離検出部
231 赤外光源部
232 赤外受光部
300 光源部
310 半導体レーザー
320 導光光学系
330 ダイクロイックミラー
340 λ/4板
350 レンズ
360 蛍光体ホイール
370 導光光学系
400 画像生成部
410 導光光学系
420 DMD
500 投影光学系
510 光学部材
図1
図2
図3
図4A
図4B
図5
図6A
図6B
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図14