特開 2022-147266 検出装置、検出方法及び空間投影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022147266

(43)【公開日】2022-10-06

(54)【発明の名称】検出装置、検出方法及び空間投影装置

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20220929BHJP

   H04N 5/74 20060101ALI20220929BHJP

   H04N 5/232 20060101ALI20220929BHJP

   G09G 5/00 20060101ALI20220929BHJP

   G09G 5/08 20060101ALI20220929BHJP

   G09G 5/38 20060101ALI20220929BHJP

   G09G 5/02 20060101ALI20220929BHJP

   G09G 3/20 20060101ALI20220929BHJP

   G03B 21/00 20060101ALI20220929BHJP

   G06F 3/038 20130101ALI20220929BHJP

   G06F 3/01 20060101ALI20220929BHJP

   G02B 30/60 20200101ALI20220929BHJP

【ＦＩ】

G06F3/0346 422

H04N5/74 A

H04N5/232 290

G09G5/00 510B

G09G5/00 550C

G09G5/00 510H

G09G5/00 510Q

G09G5/08 L

G09G5/08 D

G09G5/38 Z

G09G5/02 B

G09G3/20 680C

G09G3/20 691G

G09G3/20 633L

G03B21/00 D

G06F3/038 350

G06F3/01 570

G02B30/60

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021048437

(22)【出願日】2021-03-23

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110002022

【氏名又は名称】弁理士法人コスモ国際特許事務所

(72)【発明者】

【氏名】原 駿介

(72)【発明者】

【氏名】成川 哲郎

(72)【発明者】

【氏名】深野 和靖

(72)【発明者】

【氏名】小林 正樹

【テーマコード（参考）】

2H199

2K203

5B087

5C058

5C080

5C122

5C182

5E555

【Ｆターム（参考）】

2H199BA32

2H199BA49

2H199BB06

2H199BB12

2H199BB15

2H199BB18

2H199BB20

2H199BB33

2H199BB42

2H199BB52

2H199BB62

2K203FA62

2K203FA83

2K203FB14

2K203GC09

2K203HA35

2K203KA56

5B087AA06

5B087CC09

5B087CC33

5C058BA35

5C058EA01

5C058EA13

5C058EA26

5C058EA54

5C080AA10

5C080AA17

5C080BB05

5C080CC02

5C080CC03

5C080CC04

5C080DD12

5C080DD13

5C080DD21

5C080DD22

5C080DD27

5C080EE17

5C080EE21

5C080EE22

5C080EE27

5C080FF14

5C080GG07

5C080JJ01

5C080JJ02

5C080JJ06

5C080KK43

5C122EA42

5C122FA01

5C122FA06

5C122FA17

5C122FD04

5C122FH10

5C122FH11

5C122FH14

5C122GG04

5C122GG21

5C182AA03

5C182AA04

5C182AA12

5C182AA14

5C182AB02

5C182AB08

5C182AC01

5C182AC38

5C182AC43

5C182AC46

5C182BA03

5C182BA06

5C182BA14

5C182BA27

5C182BA29

5C182BA65

5C182BA75

5C182CA32

5C182CB14

5C182CB42

5C182CC24

5E555AA78

5E555BA01

5E555BA29

5E555BB01

5E555BB29

5E555BC01

5E555CA42

5E555CB23

5E555CB55

5E555CB66

5E555DA03

5E555DA23

5E555DA24

5E555DB06

5E555DB53

5E555FA00

(57)【要約】

【課題】簡易な構成で空間操作の検出が可能な検出装置、検出方法及び空間投影装置を提供すること。
【解決手段】検出装置は、投影光を空間結像面４０に結像させることで画像を空間投影する導光光学系３０と、空間結像面４０から当該空間結像面４０の面外方向に離間して設けられ、空間結像面４０が画角に含まれるように撮像を行うことで画像に対する奥行方向へのユーザ操作を検出するカメラ（７０）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、
前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、
を備えることを特徴とする検出装置。

【請求項2】

前記投影光が結像される結像媒体を備え、
前記導光光学系は、前記結像媒体で結像された前記投影光を空間投影光として導光し、前記空間結像面に再結像させる、
ことを特徴とする請求項１に記載の検出装置。

【請求項3】

前記カメラは、画角から前記導光光学系の光学部材を排除しながら前記空間結像面を含むように配置されることを特徴とする請求項２に記載の検出装置。

【請求項4】

前記導光光学系は、前記結像媒体の配置面に対して垂直となるように配置された再帰性反射部材と、前記結像媒体の前記配置面及び前記再帰性反射部材に対して４５度傾いて配置されたビームスプリッタとを有し、
前記カメラは、前記ビームスプリッタと前記空間結像面との間の空間を検出範囲に含む、
ことを特徴とする請求項３に記載の検出装置。

【請求項5】

前記カメラは、前記空間結像面に表示される空間投影画像の視認側とは反対側から、前記空間投影画像に対して斜め方向から前記ユーザ操作に関する被検出体の検出を行うことを特徴とする請求項１乃至請求項４の何れかに記載の検出装置。

【請求項6】

前記カメラは、ＴＯＦカメラであることを特徴とする請求項１乃至請求項５の何れかに記載の検出装置。

【請求項7】

前記カメラが検出した前記ユーザ操作に関する被検出体の進入深度に応じた強度で応答出力可能な出力部を備えることを特徴とする請求項１乃至請求項６の何れかに記載の検出装置。

【請求項8】

前記出力部は、スピーカ又は送風機であることを特徴とする請求項７に記載の検出装置。

【請求項9】

前記カメラが検出した前記ユーザ操作に関する被検出体の進入深度に応じて、前記空間結像面にポインタ画像の表示態様を段階的に変化させることを特徴とする請求項１乃至請求項６の何れかに記載の検出装置。

【請求項10】

前記ポインタ画像は、前記被検出体が深く進入するに従って前記被検出体の位置に収束するように形状が変化することを特徴とする請求項９に記載の検出装置。

【請求項11】

前記ポインタ画像は、前記被検出体が深く進入するに従って色を変化させることを特徴とする請求項９又は請求項１０に記載の検出装置。

【請求項12】

導光光学系により投影光を空間結像面に結像させることで画像を空間投影し、
前記空間結像面から当該空間結像面の面外方向に離間して設けられたカメラにより前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出する、
ことを特徴とする検出方法。

【請求項13】

投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、
前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、
を備えることを特徴とする空間投影装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出装置、検出方法及び空間投影装置に関する。

【背景技術】

【0002】

従来から空間投影画像に対する操作を検出する技術が開示されている。例えば、特許文献１の立体的二次元画像表示装置は、空間中の立体画像表示面に対応づけて配置され、外部からの物理的な働きかけを受けた位置に対応した信号を出力する三次元位置検出センサと、音声を出力するスピーカとを備えている。三次元位置検出センサは、検出平面を画成する四角枠の４つの辺に、Ｘ方向検出用ラインセンサの発光部と受光部とを対向して設け、Ｙ方向検出用ラインセンサの発光部と受光部とを対向して設けている。また、三次元位置検出センサは、Ｘ方向検出用ラインセンサとＹ方向検出用ラインセンサを、奥行方向のＺ方向に複数層配列することで、被検出物の三次元位置を検出可能としている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１４１１０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のような三次元位置検出センサでは、検出対象である三次元空間領域を囲うように多くのラインセンサを設けた煩雑な構成となってしまう。

【0005】

本発明は、簡易な構成で空間操作の検出が可能な検出装置、検出方法及び空間投影装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の検出装置は、投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、を備えることを特徴とする。

【0007】

本発明の検出方法は、導光光学系により投影光を空間結像面に結像させることで画像を空間投影し、前記空間結像面から当該空間結像面の面外方向に離間して設けられたカメラにより前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出する、ことを特徴とする。

【0008】

本発明の空間投影装置は、投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、簡易な構成で空間操作の検出が可能な検出装置、検出方法及び空間投影装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る空間投影装置を平面側から見た模式図である。

【図2】本発明の実施形態に係る投影装置の構成を示す図である。

【図3】本発明の実施形態に係る空間投影装置を正面側から見た模式図である。

【図4】本発明の実施形態に係る変形例１における空間投影装置の平面側から見た模式図である。

【図5】本発明の実施形態に係る変形例における空間投影装置の応答出力を示す模式図であり、（ａ）は変形例２を示し、（ｂ）は変形例３を示す。

【図6】本発明の実施形態に係る変形例４における空間投影装置の応答出力を示す模式図であり、（ａ）は変形例４のポインタ画像を空間投影画像に表示させた図であり、（ｂ）はポインタ画像の色が変化する様子を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について説明する。図１は空間投影システム１における空間投影装置１００の平面模式図である。空間投影装置１００は、投影装置１０（プロジェクタ）と、投影装置１０から出射された投影光Ｐ１が照射される結像媒体２０と、結像媒体２０に投影された光を導光する導光光学系３０と、導光光学系３０により導光された光が再結像される空間結像面４０（空間結像部）とを備える。また、空間投影装置１００は、制御装置６０と、ＴＯＦカメラ７０と、出力部８０であるスピーカ８１とを備え、各々有線又は無線により接続されている。空間投影装置１００は、投影装置１０から出射されて結像媒体２０で結像された投影画像２ａが、結像媒体２０から拡散透過されて導光光学系３０に入射し、導光光学系３０により空間結像面４０で再結像されることで、空中に浮かぶ空間投影画像４ａを視聴者５０に視認させることができる。また、空間投影装置１００は、空間投影画像４ａに対する指５１等による入力操作を検出して、様々な応答処理を実行することができる。

【0012】

まず、図２を参照して投影装置１０の構成について説明する。投影装置１０は、記憶部１１、処理部１２、投影部１３、操作部１４、通信部１５及び音声処理部１６を備え、各々内部バスにより接続されている。記憶部１１は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）やＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。記憶部１１には、図示しない画像データ、動画データ、制御プログラム等のデータを記憶する。処理部１２は、ＣＰＵやマイコン等により構成され、記憶部１１に記憶される制御プログラムを読み出し、投影装置１０を制御する。

【0013】

投影部１３は、処理部１２から送られてきた画像データを、予め設定した画像フォーマットに従ったフレームレートで画像を形成し、その画像を投影光Ｐ１として外部に出射する。本実施形態の投影装置１０は、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式の投影装置である。投影部１３は、例えば、内部の光源装置によって出射された青色波長帯域光、緑色波長帯域光及び赤色波長帯域光が表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）に照射されて、このＤＭＤがマイクロミラー毎（又は画素毎）に青色波長帯域光、緑色波長帯域光及び赤色波長帯域光を時分割で反射することによりカラーの画像光を形成することができる。画像光は投影部１３内の投影レンズを介して投影装置１０の投影光Ｐ１として外部に出射される。投影部１３から出射された投影光Ｐ１（画像光）は、図１の結像媒体２０に投影される。

【0014】

操作部１４は、投影装置１０の筐体に備える操作キー等から操作信号を受け付けて、その操作信号を、バスを介して処理部１２に送信する。処理部１２は、操作部１４からの操作信号に応じて投影処理等の各種の機能を実行する。

【0015】

通信部１５は、図示しないリモートコントローラからの赤外線変調信号等による操作信号を受信し、その操作信号を処理部１２に送信する。また、通信部１５は、制御装置６０、出力部８０及びＴＯＦカメラ７０（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ Ｃａｍｅｒａ）等の外部装置と接続されている。

【0016】

音声処理部１６は、ＰＣＭ音源などの音源回路を備え、スピーカ１７を駆動して音を拡散放音させる。音声処理部１６は、投影する画像データに音声信号が含まれていた場合、投影動作時にその音声信号をアナログ変換してスピーカ１７を介して音を出力する。

【0017】

図１に戻り、結像媒体２０は、投影光Ｐ１の投影範囲を含む程度の任意の形状及び大きさを有する。又は、結像媒体２０は、投影光Ｐ１の投影範囲が含まれる任意の位置に配置される。本実施形態の結像媒体２０は平坦状に設けられた板状又はフィルム状の透過型スクリーンとして構成される。結像媒体２０は、投影装置１０側の第一面２１側に投影装置１０から出射された投影光Ｐ１（光Ｌ１を含む）が照射されると、第一面２１の反対面である第二面２２側から導光光学系３０に向かって空間投影光Ｐ２（光Ｌ２も含む）を拡散出射させる透過部材である。

【0018】

導光光学系３０は、結像媒体２０の第二面２２側に設けられ、ビームスプリッタ３１と、再帰性反射部材３２（再帰性反射ミラー）とを備える。再帰性反射部材３２は、結像媒体２０の配置面Ｓ（図１のＹ方向（前後方向）及びＺ方向（上下方向）を含む面）に対して垂直となるように配置される。また、ビームスプリッタ３１は、平板状に形成され、結像媒体２０の配置面Ｓ及び再帰性反射部材３２に対して、４５度傾いて配置される。本実施形態のビームスプリッタ３１は入射した光の一部を反射し、他の一部を透過するハーフミラーである。再帰性反射部材３２は、入射した光を入射方向とは逆向きの反対方向に反射するミラー面を有する。

【0019】

空間結像面４０は、結像媒体２０に投影された投影画像２ａが空間投影光Ｐ２（Ｐ３）として出射された後に、導光光学系３０により再結像されて空間投影画像４ａが表示される空間領域である。

【0020】

制御装置６０は、パーソナルコンピュータ、スマートフォン及びＰＤＡ等により構成することができ、制御装置６０は、内部又は外部の記憶部（不図示）に記憶された画像データ（動画及び静止画を含む）や音声データを投影装置１０に対して送信することができる。なお、制御装置６０は音声データに関しては投影装置１０外に設けられたスピーカ８１に送信してもよい。外部の記憶部としては、例えば、ＬＡＮやＷＡＮを介して接続された外部記憶装置を用いることができる。制御装置６０は、ＴＯＦカメラ７０からの入力を検出して、投影装置１０や出力部８０の動作を制御する。

【0021】

ＴＯＦカメラ７０は、レーザー光源や発光ダイオードからの光を出射（投光）する投光部と、投光部により出射されてユーザ操作に関する被検出体に反射された光を受光する受光部とを有する。制御装置６０は、ＴＯＦカメラ７０がパルス状の赤外波長帯域の光を投光部から出射して、受光部が受光するまでに要する時間（具体的には、出射した光と受光した光との位相差）を計測して、ＴＯＦカメラ７０から被検出体までの距離を算出する。また、受光部内における撮像素子は、光を受光したタイミングを画素毎に検出する。従って、ＴＯＦカメラ７０は、所定の検出範囲７１を撮像して、撮像した二次元画像を構成する画素毎の距離を検出することで、検出範囲７１における被検出体の空間位置を求めることができる。なお、ＴＯＦカメラ７０が出射する光としては、任意の波長の光を用いることができる。

【0022】

本実施形態のＴＯＦカメラ７０は、図１の空間投影装置１００における再帰性反射部材３２の右側（結像媒体２０側及び空間結像面４０側から見た反対側）に配置される。従って、ＴＯＦカメラ７０は、空間結像面４０に表示される空間投影画像４ａの視認側（Ａ方向側）とは反対側から、空間投影画像４ａに対して斜め方向を撮像して指５１の検出を行う。また、ＴＯＦカメラ７０は、ビームスプリッタ３１と空間結像面４０との間の空間を検出範囲７１に含み、画角から導光光学系３０の各光学部材（図１ではビームスプリッタ３１及び再帰性反射部材３２）を排除しながら被検出領域４１が含まれるように配置されている。制御装置６０は、画素毎のＴＯＦカメラ７０からの距離と、画素毎に対応するＴＯＦカメラ７０からの方向（立体角）によって、被検出体である指５１の空間上の位置を検出することができる。ＴＯＦカメラ７０と空間結像面４０との相対的な位置関係は、制御装置６０等の装置が予め記憶しておくことができる。

【0023】

空間投影装置１００は、ＴＯＦカメラ７０の検出範囲７１が、空間投影画像４ａの視聴者５０側から見た前後方向（Ｙ方向）の空間領域である被検出領域４１を含むように構成される。本実施形態の被検出領域４１は、矩形厚板状の空間領域である。なお、本実施形態では、被検出領域４１の視聴者５０側から見た平面領域（ＺＸ平面上の領域）が、空間投影画像４ａの表示範囲と一致している例について示しているが（図３参照）、空間投影画像４ａの表示範囲より狭く又は広く設定してもよい。即ち、被検出領域４１は、空間投影画像４ａの一部又は全部を含むように設定することができる。また、被検出領域４１の視聴者５０側から見た奥行方向（Ｙ方向）の範囲は、空間投影画像４ａの手前側及び奥側の領域を含む例について示しているが、空間投影画像４ａの手前側領域のみ又は奥側領域のみに設定してもよい。このように、ＴＯＦカメラ７０は、空間結像面４０から当該空間結像面４０の面外方向（Ｙ方向）に離間して設けられ、空間結像面４０が画角に含まれるように撮像を行うことで画像に対する奥行方向へのユーザ操作を検出することができる。空間投影装置１００は、被検出領域４１において指５１等の被検出体が検出された位置に応じて、任意の応答処理を実行することができる。従って、被検出領域４１は、空間投影画像４ａに対して入力操作が可能な被操作領域としても機能する。

【0024】

スピーカ８１（出力部８０）は、投影装置１０又は制御装置６０の外部スピーカとして設けられる。本実施形態では、スピーカ８１は、投影装置１０の投影制御に応じて通信部１５から出力された音声信号を投影制御と連動する等して音声を再生することができる。また、スピーカ８１は、制御装置６０から直接出力された音声データを再生してもよい。

【0025】

次に、空間投影装置１００（空間投影システム１）おける空間投影方法及び被検出体の検出方法について説明する。投影装置１０内（投影部１３内）の点光源（ＤＭＤ（表示素子）におけるマイクロミラー上の任意の点）から投影レンズを介して出射された光Ｌ１は、結像媒体２０上の結像点Ｆ１に結像する。結像媒体２０には、投影光Ｐ１の照射範囲に亘って光Ｌ１と同様に結像した光が照射され、投影画像２ａが投影される。

【0026】

結像媒体２０に形成された投影画像２ａを構成する任意の点の光は、第二面２２から所定の拡散角度で拡散透過されて出射される。例えば、結像点Ｆ１に結像された前述の光Ｌ１は、光Ｌ２として、所定の拡散角度で拡散されてビームスプリッタ３１に入射する。光Ｌ２の一部の光はビームスプリッタ３１により再帰性反射部材３２側に反射される。即ち、投影画像２ａの点光源から出射された光Ｌ２は、結像媒体２０から再帰性反射部材３２までの光路において拡散光として導光される。再帰性反射部材３２は、入射した光を入射方向とは逆向きの反対方向に反射するため、再帰性反射部材３２に入射した光Ｌ２は、拡散角度と同じ角度で集光する集光光としてビームスプリッタ３１に向けて反射される。再帰性反射部材３２で反射された光Ｌ３は、ビームスプリッタ３１で一部が透過されて空間結像面４０側に導光される。そして、空間結像面４０では、光Ｌ３が結像点Ｆ２で再結像する。なお、光Ｌ２の光路長と、光Ｌ３の光路長は、略同じである。

【0027】

そして、空間結像面４０の結像点Ｆ２で結像した光Ｌ３は、光Ｌ３の集光角度及び光Ｌ２の拡散角度と同様の拡散角度を有する光Ｌ４として導光される。

【0028】

以上のような投影装置１０内の表示素子における点光源からの光Ｌ１～Ｌ４が、結像媒体２０及び導光光学系３０の光路の有効領域内に亘って導光される。即ち、投影装置１０から出射された点光源からの光Ｌ１の集合である投影光Ｐ１は、結像媒体２０の第一面２１側から照射されて、結像媒体２０において結像される。結像媒体２０に照射された投影光Ｐ１は、光Ｌ２の集合である空間投影光Ｐ２として第二面２２からビームスプリッタ３１側へ出射される。ビームスプリッタ３１に照射された空間投影光Ｐ２の一部の光は、再帰性反射部材３２側に反射される。再帰性反射部材３２は、ビームスプリッタ３１側から導光された空間投影光Ｐ２を空間投影光Ｐ３（光Ｌ３の集合）として反射する。再帰性反射部材３２により反射された空間投影光Ｐ３の一部の光は、ビームスプリッタ３１を透過して空間結像面４０側に導光される。

【0029】

このように、結像媒体２０上で結像された投影画像２ａを構成する光（点光源の集合）は、空間投影面である空間結像面４０上で再結像し、視聴者５０側に出射される。そのため、視聴者５０は、空間結像面４０上の空中に結像された空間投影画像４ａを視認することができる。また、視聴者５０は、観測点を移動させても、空間投影画像４ａを視認することができる。例えば、結像点Ｆ２から出射された光Ｌ４は、図１に示す光Ｌ４の拡散角度範囲内（出射角度範囲内）の位置において視認することができる。

【0030】

また、視聴者５０側から空間結像面４０側の方向であるＡ方向から見た空間投影画像４ａの上下方向（Ｚ方向）及び左右方向（Ｘ方向）の向きは、Ｂ方向から見た投影画像２ａの上下方向（Ｚ方向）及び前後方向（Ｙ方向）と略同じである。一方で、光Ｌ２と光Ｌ３の光路長が略同じであるため、Ａ方向から見た空間投影画像４ａの奥行き位置は、Ｂ方向から見た投影画像２ａの奥行き位置とは逆の関係である。図１の平坦状に設けられた結像媒体２０を用いる場合は、空間投影画像４ａも平坦な平面画像として表示される。

【0031】

空間投影装置１００は、空間投影画像４ａに被操作画像等を含めて、視聴者５０等の操作者のタッチ操作による入力操作を検出し、入力操作に応じた制御を行うことができる。被操作画像としては、例えば、ボタン、スライドバー、アイコン等を表示することができる。従って、空間投影装置１００は、空間投影画像４ａに対する操作を検出する検出装置としても機能する。制御装置６０は、操作者が被検出領域４１に表示された被操作画像等に指５１近づけると、ＴＯＦカメラ７０が指５１の位置を検出して、指５１が空間投影画像４ａ上のいずれの部分をどの程度の深さで指示したのかを制御装置６０に取得させることができる。

【0032】

このとき、制御装置６０は、ＴＯＦカメラ７０が検出した被検出領域４１における指５１（被検出体）の進入深度（押し込み深さ）を段階的に判定し、進入深度に応じた強度で応答出力可能に構成される。図１の例では、制御装置６０は、指５１の進入深度が深くなるに従って、スピーカ８１から操作音を小さい状態から徐々に大きく出力させる、又は、スピーカ８１から操作音を大きい状態から徐々に小さく出力させるように制御する。或いは、制御装置６０は、指５１の進入深度が深くなるに従って、スピーカ８１から出力される操作音の音高が高く、又は、音高が低くなるように制御することができる。さらに、制御装置６０は、指５１の進入深度が深くなるに従って、スピーカ８１から出力される音色が変化するように制御してもよい。

【0033】

そして、制御装置６０は、指５１の進入深度が予め定めた深さに到達した場合、空間投影画像４ａに対する入力操作が行われたと判定して、任意の応答処理を行う。応答処理としては、例えば、空間投影画像４ａの表示内容や設定内容の切り換えや、スピーカ８１（又はスピーカ１７）からの音声出力を行うことができる。

【0034】

このように、ＴＯＦカメラ７０が空間結像面４０の側方から被検出領域４１の指５１等の被検出体を検出し、出力部８０から被検出体の進入深度に応じた操作音が出力されることで、操作者は空間投影画像４ａに対する入力操作がどの程度で認識されるのかを容易に知覚することができる。従って、操作感の良好な空間投影装置１００（検出装置）を構成することができる。

【0035】

次に、被検出領域４１において被検出体が検出された場合における他の応答例である変形例１乃至変形例４について説明する。なお、変形例１乃至変形例４の説明において、図１乃至図４で示した構成と同様の構成については、同一の符号を付す等して、その説明を省略又は簡略化する。

【0036】

（変形例１）
図４は、変形例１における空間投影装置１００の平面側から見た模式図である。変形例１における空間投影装置１００では、出力部８０としてスピーカ８１の代わりに送風機８２（ファン）を用いている。

【0037】

変形例１の空間投影装置１００における制御装置６０は、ＴＯＦカメラ７０により検出した被検出領域４１における指５１（被検出体）の進入深度を段階的に判定し、進入深度に応じた強度で送風機８２によって送風（応答出力）可能に構成される。制御装置６０は、指５１の進入深度が深くなるに従って、送風機８２の送風量を弱風から徐々に強風へ変化させて出力させる、又は、送風機８２の送風量を強風から徐々に弱風へ変化させて出力させるように制御する。なお、送風機８２による風は、指５１の先端を狙って指向性を持たせてもよいし、所定の幅を持たせて指５１全体を狙ってもよい。また、送風機８２の位置は任意に設定することができ、図４に示すような空間結像面４０に対する側方位置に限らず、操作者（視聴者５０）側から見て空間結像面４０越しの奥側から指５１に向けて送風する構成としてもよい。また、制御装置６０は、指５１が空間投影画像４ａの位置よりも奥側（図１の上側）に位置すると判定した場合に、送風機８２による送風を行う構成としてもよい。このように、送風機８２を用いることで、操作者は、入力操作の操作感を触覚によりフィードバックを受け知覚することができる。

【0038】

（変形例２）
図５（ａ）は、変形例２における空間投影装置１００の応答出力を示す模式図である。変形例２において、図１の制御装置６０は、ＴＯＦカメラ７０が検出した被検出領域４１（図１参照）における指５１（被検出体）の進入深度に応じて、空間結像面４０にポインタ画像４ａ１の表示態様を段階的に変化させる。従って、応答出力が行われる出力部８０として、空間投影画像４ａを投影する投影部が適用される（変形例３及び変形例４も同様）。

【0039】

図５（ａ）のポインタ画像４ａ１は、円形に形成される。制御装置６０は、ポインタ画像４ａ１が被検出領域４１に指５１が深く進入するに従って指５１の位置に収束（図５（ａ）では空間投影画像４ａの略中央で一致）するように円形の大きさが小さく変化する。なお、ポインタ画像４ａ１として、多角形、矢印、アイコン等のその他の画像を用いることができる。また、円形のポインタ画像４ａ１のように閉じた図形に限らず、一部が開放された図形（例えば、破線、鎖線）をポインタ画像４ａ１として用いてもよい。操作者は、ポインタ画像４ａ１が小さく変化したことを視認して、入力操作が空間投影装置１００に認識されたと判断することができる。

【0040】

（変形例３）
図５（ｂ）は、変形例３における空間投影装置１００の応答出力を示す模式図である。変形例３においても、図１の制御装置６０は、ＴＯＦカメラ７０が検出した被検出領域４１（図１参照）における指５１の進入深度に応じて、空間結像面４０にポインタ画像４ａ２の態様を段階的に変化させる。

【0041】

図５（ｂ）のポインタ画像４ａ２は、互いに入隅側を対向配置させた二つのＬ字状の図形により構成される。ポインタ画像４ａ２は、操作者側から見て右上及び左下に位置し、制御装置６０は、二つのポインタ画像４ａ２が被検出領域４１に指５１が深く進入するに従って指５１の位置（図５（ｂ）では空間投影画像４ａの略中央）に近づいて収束するように表示態様を変化させる。即ち、二つのポインタ画像４ａ２の全体形状が、離間した二つのＬ字状の図形から、閉じた四角形状に変化する。操作者は、二つのポインタ画像４ａ２が閉じて四角形状に変化したことを視認して、入力操作が空間投影装置１００に認識されたと判断することができる。

【0042】

（変形例４）
図６（ａ）及び図６（ｂ）は、変形例４における空間投影装置１００の応答出力を示す模式図である。変形例４においても、図１の制御装置６０は、ＴＯＦカメラ７０が検出した被検出領域４１（図１参照）における指５１の進入深度に応じて、空間結像面４０にポインタ画像４ａ３の態様を段階的に変化させる。

【0043】

図６（ａ）のポインタ画像４ａ３は円形に形成される。制御装置６０は、このポインタ画像４ａ３が、被検出領域４１に指５１が深く進入するに従って色が変化するように表示態様を変化させる。例えば、ポインタ画像４ａ３は、被検出領域４１に指５１が深く進入するに従って、色が濃くなる（図６（ｂ）に示す変化）又は色が薄くなるように（図６（ｂ）とは逆の変化）変化する。変形例４では、操作者は、ポインタ画像４ａ３の色を視認して、入力操作が空間投影装置１００に認識されたと判断することができる。

【0044】

以上、変形例１乃至変形例４の応答出力の例について示したが、これらの構成は、図１に示した他の構成と組み合わせてもよい。例えば、空間投影装置１００は、出力部８０として、スピーカ８１と共に送風機８２を設ける構成としてもよい。また、変形例２乃至変形例４のポインタ画像４ａ１～４ａ３は、場面や位置などに応じて表示方法が選択されてもよいし、組み合わせてもよい。例えば、ポインタ画像の表示態様は、ポインタ画像４ａ１やポインタ画像４ａ２のように徐々に大きさや表示位置を変化させることに加え、ポインタ画像４ａ３のように色を変化させる構成としてもよい。

【0045】

以上のように、本実施形態の空間投影装置１００は、空間投影画像４ａとして投影させる投影画像２ａを投影装置１０により形成した。従って、投影対象としてのディスプレイ画像や実物を用いた場合に比べて高輝度な投影画像２ａを表示させることができ、空間投影画像４ａも高輝度で鮮明に表示させることができる。また、投影装置１０により投影される投影画像２ａは、結像媒体２０の形状を大きくし、投影装置１０と結像媒体２０との距離を適切に空けることで、空間投影画像４ａを容易に大きくすることもできる。

【0046】

また、空間投影装置１００は、ビームスプリッタ３１及び再帰性反射部材３２の代わりに、結像媒体２０で結像された各点光源（例えば、結像点Ｆ１からの光）を面対称位置である空間結像面４０（例えば、結像点Ｆ１の面対称位置である結像点Ｆ２）に再結像させる光反射部材を配置してもよい。例えば、光反射部材は、複数の微細なプリズムやマイクロミラーを設けて、所定の拡散角度で入射した光を、その拡散角度と略同じ集光角度で集光する光として反射し、点光源から入射された光を面対称位置に結像するように出射させる構成としてもよい。これにより、図１の空間投影装置１００よりも部品点数を減らして簡易に構成することができるため、全体を小型化することができる。

【0047】

なお、本実施形態で説明した空間投影装置１００は、投影装置１０、結像媒体２０、導光光学系３０、空間結像面４０、制御装置６０、ＴＯＦカメラ７０及び出力部８０を、一つの装置に配置して構成してもよいし、複数の装置に分散配置して構成してもよい。

【0048】

また、投影装置１０は上記ＤＬＰ方式に限らずその他の方式であってもよい。投影装置１０としてはＬＣＰ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｐａｎｅｌ，液晶パネル）方式の投影装置を用いてもよい。ＬＣＰ方式の投影装置は、青色波長帯域光、緑色波長帯域光及び赤色波長帯域光が液晶フィルタ（液晶板）により画素毎に透過率が制御されて、液晶フィルタを透過した各画素の青色波長帯域光、緑色波長帯域光及び赤色波長帯域光を合成して投影光として出射する。

【0049】

また、投影装置１０として、ＬＣｏＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）方式の投影装置を用いてもよい。ＬＣｏＳ方式の投影装置では、ＤＬＰ方式の投影装置１０におけるＤＭＤの代わりに、反射層の上に画素毎に対応して光の透過率を可変（遮光も含む）可能な液晶フィルタ（液晶層）を有する表示素子を配置する。従って、投影装置は、表示素子に照射された光源光を画素毎に光量制御しながら反射して画像光を形成し、この画像光を投影光として外部に出射して結像媒体２０に投影画像２ａを投影することができる。

【0050】

また、投影装置１０としてＬＣＰ方式やＬＣｏＳ方式の投影装置を用いた例では、液晶フィルタを透過した各光（青色波長帯域光、緑色波長帯域光、赤色波長帯域光）は、所定の偏光方向を有する偏光光である。従って、例えば、実施形態１において、ビームスプリッタ３１としてＳ偏光及びＰ偏光の光の一方を反射し他方を透過する偏光ミラーを配置し、ビームスプリッタ３１と再帰性反射部材３２との間の光路上に１／４波長板を配置してもよい。これにより、ビームスプリッタ３１は、結像媒体２０から出射された光のうちのＳ偏光及びＰ偏光の一方である第一偏光方向の光を再帰性反射部材３２側に反射し、１／４波長板を透過して円偏光に変換された後、再帰性反射部材３２により反射される。再帰性反射部材３２により反射された円偏光の光は、再び１／４波長板を透過して第一偏光方向に対して直交する第二偏光方向の光に変換され、ビームスプリッタ３１を透過する。このように、ビームスプリッタ３１として偏光ミラーを用いた場合は、一度ビームスプリッタ３１で反射された殆どの光を再帰性反射部材３２による反射の後にビームスプリッタ３１を透過させることができるため、ハーフミラーを用いた場合に比べて、光の利用効率を向上させることができる。

【0051】

また、投影装置１０として、レーザースキャン方式の投影装置を用いてもよい。レーザースキャン方式の投影装置では、青色波長帯域光、緑色波長帯域光及び赤色波長帯域光により所望の色に色合成されたレーザー光が表示素子に照射され、表示素子がレーザー光を時分割で反射角度を制御しながら反射して被投影体である結像媒体２０に照射する。その際、表示素子は、結像媒体２０に対して垂直方向及び水平方向に二次元的に走査するようにレーザー光を照射し、結像媒体２０に投影画像２ａを投影することができる。レーザースキャン方式の投影装置では、表示素子から出射された光を集光させる投影レンズを省略できるため、投影装置全体を小型化することができる。また、この投影装置は、レーザー光により画像を形成できるため、凹凸の大きい立体面状の結像媒体を用いた場合であっても、意図した鮮明な投影画像２ａを投影することができる。

【0052】

また、本実施形態の空間投影装置１００では、ＴＯＦカメラ７０を一つ設けた例について説明したが、ＴＯＦカメラ７０は二つ以上の複数を設けてもよい。

【0053】

また、ＴＯＦカメラ７０は、空間結像面４０の側方（空間結像面４０に対してＸ方向又はＺ方向の側方）に設けて被検出領域４を検出する構成としてもよいし、図１のビームスプリッタ３１の右方に設けて、ビームスプリッタ３１により反射された被検出領域４１側の像を撮像して指５１を検出してもよい。

【0054】

また、本実施形態では、制御装置６０が、ＴＯＦカメラ７０、出力部８０及び投影装置１０の各動作について制御する構成について説明したが、投影部１３を有する装置（本実施形態の投影装置１０に相当）がＴＯＦカメラ７０や出力部８０を制御する構成としてもよい。

【0055】

また、図１等に示した平坦状の結像媒体２０の代わりに、曲面や凹凸等を含む立体面状の結像媒体を用いてもよい。図１で前述したとおり、導光光学系３０により導光される光Ｌ２と光Ｌ３の光路長は略同じであり、Ａ方向から見た空間投影画像４ａの奥行き位置は、Ｂ方向から見た投影画像２ａの奥行き位置とは逆の関係である。即ち、図３に示すように、Ｂ方向から見た湾曲した投影画像２ａの奥側に位置する結像点は、Ａ方向から見た空間投影画像４ａの手前側に位置する結像点に対応する。従って、結像媒体を、立体面状に形成することで、立体的な空間投影画像４ａを空間結像面４０に投影することができる。

【0056】

また、結像媒体２０として、板状又はフィルム状の構成を例示したが、煙（スモーク）や水等の流体を用いてもよい。

【0057】

また、結像媒体２０には、着色を施してもよい。これにより、空間投影画像４ａの色彩を変化させたり、色味を任意に調整したりすることができる。結像媒体２０として流体を用いる場合は、その流体を着色してもよい。結像媒体２０の着色は時系列で経時的に変化させてもよい。これにより、様々な演出効果を表現することができる。

【0058】

また、導光光学系３０は、フレネルレンズを用いて結像媒体２０から出射された光を空間結像面４０に再結像させる構成としてもよい。

【0059】

また、本実施形態では、結像媒体２０に投影される投影光Ｐ１は、結像媒体２０の第一面２１側から入射して第一面２１は反対側の第二面２２側から出射し、導光光学系３０へ空間投影光Ｐ２として導光される透過型の結像媒体を例に説明したが、投影光Ｐ１を出射する面と空間投影光Ｐ２を出射する面が同じ面である反射型の結像媒体（プロジェクタスクリーンや壁面等の被投影媒体）を用いてもよい。

【0060】

また、投影光Ｐ１により結像媒体２０に結像される投影画像２ａは、投影装置１０から出射された投影光による画像に限らず、その他の光源装置から投影光として出射された任意の光源光、照明光、ＬＥＤ光又はレーザー光による光像としてもよい。また、投影画像２ａは、任意の光源を用いることで、可視光により形成してもよいし、非可視光（例えば、電子透かし等の用途）により形成してもよい。

【0061】

また、本実施形態では、ユーザ操作を検出するカメラとしてＴＯＦカメラ７０を用いた構成について示したが、ＴＯＦカメラ７０に限らず、空間結像面４０から当該空間結像面４０の面外方向に離間して設けられ、空間結像面４０が画角に含まれるように撮像を行うことで画像に対する奥行方向へのユーザ操作を検出するその他のカメラ又はセンサを用いることができる。

【0062】

以上、本実施形態で説明した検出装置（空間投影装置１００）は、投影光を空間結像面４０に結像させることで画像を空間投影する導光光学系３０と、空間結像面４０から当該空間結像面４０の面外方向に離間して設けられ、空間結像面４０が画角に含まれるように撮像を行うことで画像に対する奥行方向へのユーザ操作を検出するカメラ（７０）と、を備える。これにより、被検出体を検出するセンサは空間走査のための移動が不要であり、空間情報を略同時に取得することができるため、装置全体を簡易に構成して空間操作の検出を容易に行うことができる。

【0063】

また、投影光が結像される結像媒体２０を備え、導光光学系３０が結像媒体２０で結像された投影光を空間投影光Ｐ２，Ｐ３として導光して空間結像面４０に再結像させる検出装置は、高輝度な空間投影画像４ａを表示させることができる。

【0064】

また、カメラ（７０）が画角から導光光学系３０の光学部材（３１，３２）を排除しながら被検出領域４１を含むように配置される検出装置は、被検出体が撮像される可能性の低い撮像範囲を予め除去してノイズを減らしておくことで、画像解析の際の処理負荷の増加や、誤検出を防止することができる。

【0065】

また、カメラ（７０）が図１に示した構成におけるビームスプリッタ３１と空間結像面４０との間の空間を検出範囲７１に含むことで、被検出体を障害物のない正面側（操作者の反対側）から撮像することができ、検出精度の高めることができる。

【0066】

また、カメラ（７０）が空間結像面４０に表示される空間投影画像４ａの視認側とは反対側から、空間投影画像４ａに対して斜め方向からユーザ操作に関する被検出体の検出を行う検出装置は、操作者（視聴者５０）から見た空間投影画像４ａの視界が阻害されることなく検出機能を設けることができる。

【0067】

また、カメラ（７０）が、ＴＯＦカメラ７０である検出装置は、装置全体を小型に構成することができる。

【0068】

また、カメラ（７０）が検出したユーザ操作に関する被検出体の進入深度に応じた強度で応答出力可能な出力部８０を備える構成について説明した。これにより、操作者は、応答出力の強度によって空間投影画像４ａに対する入力操作が検出装置に認識されるまでの操作感を知覚することができる。

【0069】

また、出力部８０がスピーカ又は送風機である構成について説明した。これにより、操作者は、入力操作の操作感を、聴覚又は触覚により知覚することができる。

【0070】

また、カメラ（７０）が検出したユーザ操作に関する被検出体の進入深度に応じて、空間結像面４０にポインタ画像４ａ１～４ａ３の表示態様を段階的に変化させる構成について説明した。これにより、操作者は、ポインタ画像４ａ１～４ａ３の変化を視認して空間投影画像４ａに対する入力操作が検出装置に認識されるまでの操作感を知覚することができる。

【0071】

また、被検出領域４１に被検出体が深く進入するに従って、ポインタ画像４ａ１，４ａ２が被検出体の位置に収束するように形状が変化する構成とすることで、操作者は、ポインタ画像４ａ１，４ａ２の変化を視認して、入力操作が検出装置に認識されたことを容易に判断することができる。

【0072】

また、被検出領域４１に被検出体が深く進入するに従ってポインタ画像４ａ３の色が変化する構成とすることで、操作者は、ポインタ画像４ａ３の変化を視認して、入力操作が検出装置に認識されたことを容易に判断することができる。

【0073】

なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0074】

以下に、本願出願の最初の特許請求の範囲に記載された発明を付記する。
［１］ 投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、
前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、
を備えることを特徴とする検出装置。
［２］ 前記投影光が結像される結像媒体を備え、
前記導光光学系は、前記結像媒体で結像された前記投影光を空間投影光として導光し、前記空間結像面に再結像させる、
ことを特徴とする前記［１］に記載の検出装置。
［３］ 前記カメラは、画角から前記導光光学系の光学部材を排除しながら前記空間結像面を含むように配置されることを特徴とする前記［２］に記載の検出装置。
［４］ 前記導光光学系は、前記結像媒体の配置面に対して垂直となるように配置された再帰性反射部材と、前記結像媒体の前記配置面及び前記再帰性反射部材に対して４５度傾いて配置されたビームスプリッタとを有し、
前記カメラは、前記ビームスプリッタと前記空間結像面との間の空間を検出範囲に含む、
ことを特徴とする前記［３］に記載の検出装置。
［５］ 前記カメラは、前記空間結像面に表示される空間投影画像の視認側とは反対側から、前記空間投影画像に対して斜め方向から前記ユーザ操作に関する被検出体の検出を行うことを特徴とする前記［１］乃至前記［４］の何れかに記載の検出装置。
［６］ 前記カメラは、ＴＯＦカメラであることを特徴とする前記［１］乃至前記［５］の何れかに記載の検出装置。
［７］ 前記カメラが検出した前記ユーザ操作に関する被検出体の進入深度に応じた強度で応答出力可能な出力部を備えることを特徴とする前記［１］乃至前記［６］の何れかに記載の検出装置。
［８］ 前記出力部は、スピーカ又は送風機であることを特徴とする前記［７］に記載の検出装置。
［９］ 前記カメラが検出した前記ユーザ操作に関する被検出体の進入深度に応じて、前記空間結像面にポインタ画像の表示態様を段階的に変化させることを特徴とする前記［１］乃至前記［６］の何れかに記載の検出装置。
［１０］ 前記ポインタ画像は、前記被検出体が深く進入するに従って前記被検出体の位置に収束するように形状が変化することを特徴とする前記［９］に記載の検出装置。
［１１］ 前記ポインタ画像は、前記被検出体が深く進入するに従って色を変化させることを特徴とする前記［９］又は前記［１０］に記載の検出装置。
［１２］ 導光光学系により投影光を空間結像面に結像させることで画像を空間投影し、
前記空間結像面から当該空間結像面の面外方向に離間して設けられたカメラにより前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出する、
ことを特徴とする検出方法。
［１３］ 投影光を空間結像面に結像させることで画像を空間投影する導光光学系と、
前記空間結像面から当該空間結像面の面外方向に離間して設けられ、前記空間結像面が画角に含まれるように撮像を行うことで前記画像に対する奥行方向へのユーザ操作を検出するカメラと、
を備えることを特徴とする空間投影装置。

【符号の説明】

【0075】

１ 空間投影システム ２ａ 投影画像
４ａ 空間投影画像 ４ａ１～４ａ３ ポインタ画像
１０ 投影装置 １１ 記憶部
１２ 処理部 １３ 投影部
１４ 操作部 １５ 通信部
１６ 音声処理部 １７ スピーカ
２０ 結像媒体 ２１ 第一面
２２ 第二面 ３０ 導光光学系
３１ ビームスプリッタ ３２ 再帰性反射部材
４０ 空間結像面 ４１ 被検出領域
５０ 視聴者 ５１ 指
６０ 制御装置 ７０ ＴＯＦカメラ
７１ 検出範囲 ８０ 出力部
８１ スピーカ ８２ 送風機
１００ 空間投影装置
Ｆ１，Ｆ２ 結像点 Ｆ２ 結像点
Ｌ１～Ｌ４ 光 Ｐ１ 投影光
Ｐ２，Ｐ３ 空間投影光 Ｓ 配置面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】