特許 6037900 操作検出装置及び操作検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6037900

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】操作検出装置及び操作検出方法

(51)【国際特許分類】

   G06F 3/042 20060101AFI20161128BHJP

【ＦＩ】

   G06F3/042 473

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2013-48305(P2013-48305)

(22)【出願日】2013年3月11日

(65)【公開番号】特開2014-174832(P2014-174832A)

(43)【公開日】2014年9月22日

【審査請求日】2015年9月24日

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】日立マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜特許業務法人

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール特許業務法人

(72)【発明者】

【氏名】松原 孝志

(72)【発明者】

【氏名】成川 沙希子

(72)【発明者】

【氏名】森 直樹

【審査官】 萩島 豪

(56)【参考文献】

【文献】 特表２００４−５２３０３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００１３８２６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４１ − ３／０４２

(57)【特許請求の範囲】

【請求項1】

操作面に対するユーザの操作を検出する操作検出装置において、
前記操作面に異なる位置から照明光を照射する第１、第２の照明と、
前記照明光が照射された前記操作面を前記ユーザの操作部とともに撮像するカメラと、
前記カメラより得られる撮像画像から前記ユーザの操作部に対する第１、第２の影を抽出する影領域抽出部と、
前記抽出された第１、第２の影のそれぞれの輪郭線を検出する輪郭検出部と、
前記検出された２つの輪郭線間の距離から前記ユーザの操作部の前記操作面への接触点を検出する接触点検出部と、を備え、
前記影領域抽出部は、前記撮像画像の輝度を所定の閾値と比較し、前記第１、第２の照明で投影される前記ユーザの操作部に対する前記第１、第２の影を区別して抽出し、
前記輪郭検出部は、前記第１、第２の影の輪郭線の中で対応する略直線状の線分を前記輪郭線として抽出し、
前記接触点検出部は、前記抽出した２つの輪郭線間の距離が所定の閾値以下となったときに前記ユーザの操作部が前記操作面へ接触したと判定することを特徴とする操作検出装置。

【請求項2】

請求項１に記載の操作検出装置であって、
前記第１、第２の照明を時間的に交互に照射させ、前記カメラはそれぞれの照射タイミングに合わせて前記操作面を撮像するものであって、
前記影領域抽出部は、前記撮像画像から、前記第１の照明で投影される第１の影と、前記第２の照明で投影される第２の影とを、時間的に分離して抽出することを特徴とする操作検出装置。

【請求項3】

請求項２に記載の操作検出装置であって、
前記第１、第２の照明は、前記カメラに対して同じ側に設置されたことを特徴とする操作検出装置。

【請求項4】

請求項１から３のいずれかに記載の操作検出装置であって、
前記輪郭検出部は、前記第１、第２の影の輪郭線として、前記ユーザの操作部から見て前記第１、第２の影の外側同士の輪郭線を抽出することを特徴とする操作検出装置。

【請求項5】

操作面に対するユーザの操作を検出する操作検出方法において、
第１、第２の照明により前記操作面に異なる位置から照明光を照射し、
カメラにより前記照明光が照射された前記操作面を前記ユーザの操作部とともに撮像し、
前記カメラより得られる撮像画像の輝度を所定の閾値と比較し、前記第１、第２の照明で投影される前記ユーザの操作部に対する第１、第２の影を区別して抽出し、
前記抽出された第１、第２の影の輪郭線の中で対応する略直線状の線分を輪郭線として抽出し、
前記抽出した２つの輪郭線間の距離が所定の閾値以下となったときに前記ユーザの操作部が前記操作面へ接触したと判定することを特徴とする操作検出方法。

【請求項6】

請求項５に記載の操作検出方法において、
前記第１、第２の照明を時間的に交互に照射させ、前記カメラはそれぞれの照射タイミングに合わせて前記操作面を撮像するものであって、
前記撮像画像から、前記第１の照明で投影される前記第１の影と、前記第２の照明で投影される前記第２の影とを、時間的に分離して抽出することを特徴とする操作検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの指操作を検出する操作検出装置及び操作検出方法に関する。

【背景技術】

【0002】

投写型映像表示装置（プロジェクタ）の投写面（スクリーン）上でのユーザ操作入力として、タッチセンサ等の特殊なデバイスを用いることなく、ユーザの操作部（指）を撮像しその影を抽出して指接触操作を検出する技術が提案されている
特許文献１には、照明手段により照らされた状態で操作者を撮像手段に撮像させる手段と、前記撮像手段により得られる操作者の画像データをもとに、前記操作者の特定部位の領域を検出する手段と、前記検出された操作者の特定部位の領域から影の部分を抽出する手段と、前記抽出された影の部分の中から、エッジが直線を成す線分を複数検出し、検出された線分同士が鋭角に交わる点を検出し、この交点を前記操作者の特定部位の領域内における指差し位置として検出する手段と、を具備する操作検出装置が記載されている。

【0003】

また、特許文献２には、スクリーンに映像を投写する投写部と、少なくとも前記スクリーンに投写された映像を含む領域を撮像するための撮像部と、前記撮像部により撮像された画像から、前記スクリーン上方を移動する所定物体の実像を検出する実像検出部と、前記撮像部により撮像された画像から、前記投写部からの投写光により生じる前記所定物体の影を検出する影検出部と、前記所定物体の実像と影の対応点間の距離が所定のしきい値以下である場合、前記所定物体が前記スクリーンに接触していると判定する接触判定部と、前記接触判定部により接触していると判定されたとき、前記所定物体の座標を前記映像に対するポインティング位置として出力する座標決定部と、を備える投写型映像表示装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−５９２８３号公報

【特許文献2】特開２０１１−１８０７１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１では、撮像手段により得られる操作者の画像データから影の部分を抽出し、影のエッジが鋭角に交わる点を指差し位置として検出している。しかしながら、手を開いて浮かせた状態では、ある指の影の上に他の指が重なって見えることにより、影のエッジが鋭角に交わる点が複数個発生することが予想されるため、指差し位置とは異なる点が誤って検出される恐れがある。従って、手を開いた状態で複数の指の指差し位置を同時に検出する、いわゆるマルチタッチ操作の検出には適していない。

【0006】

また、特許文献２では、所定物体（指）の実像と影の対応点間の距離が所定のしきい値以下である場合、所定物体がスクリーンに接触していると判定している。しかしながら、手を開いた状態では、ある指の実像によって他の指の影の一部が見えなくなるため、指の実像と影の対応点を検出することが困難になる。さらに、手を開いて浮かせた状態では指の実像と影の距離が離れるため、例えば、ある指の実像の先端部に他の指の影の先端部が接近して、ある指の実像と影の対応点間の距離が閾値以下になったかのように見え、指がスクリーンに接触していると誤って判定される恐れがある。従って、この方式もマルチタッチ操作の検出には適していない。

【0007】

本発明は上記の課題を鑑み、手を開いた状態でも複数の指の接触位置をそれぞれ正しく検出し、マルチタッチ操作に対応する操作検出装置及び操作検出方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、本発明の操作検出装置は、操作面に異なる位置から照明光を照射する第１、第２の照明と、照明光が照射された操作面をユーザの操作部とともに撮像するカメラと、カメラより得られる撮像画像からユーザの操作部に対する第１、第２の影を抽出する影領域抽出部と、抽出された第１、第２の影のそれぞれの輪郭線を検出する輪郭検出部と、各輪郭線間の距離からユーザの操作部の操作面への接触点を検出する接触点検出部と、を備える。前記影領域抽出部は、撮像画像の輝度を所定の閾値と比較し、第１、第２の照明で投影されるユーザの操作部に対する第１、第２の影を区別して抽出し、前記輪郭検出部は、第１、第２の影の輪郭線の中で対応する略直線状の線分を輪郭線として抽出し、前記接触点検出部は、抽出した２つの輪郭線間の距離が所定の閾値以下となったときにユーザの操作部が操作面へ接触したと判定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、操作面上にタッチセンサなどを設けることなく、操作面に対する複数の指の接触位置を正しく検出し、精度の高いマルチタッチ操作を実現することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１にかかる操作検出装置の構成図。

【図2A】操作検出装置を用いたユーザの操作を示す正面図（カメラを内部構成）。

【図2B】操作検出装置を用いたユーザの操作を示す正面図（カメラを外部構成）。

【図3】操作検出装置を用いたユーザの操作を示す側面図。

【図4A】カメラで撮像されるユーザの指の影の形状を示す図（１本の指の場合）。

【図4B】カメラで撮像されるユーザの指の影の形状を示す図（複数の指の場合）。

【図5A】指の影の形状の変化を説明する図（上面図）。

【図5B】指の影の輪郭の変化を説明する図（カメラから見た図）。

【図6】影の輪郭線の検出方法を説明する図。

【図7】複数の指で操作する場合の輪郭線の状態を示す図。

【図8】実施例１における接触点検出の処理フローを示す図。

【図9】実施例２にかかる操作検出装置の構成図。

【図10A】指の影の形状の変化を説明する図（上面図）。

【図10B】指の影の輪郭の変化を説明する図（カメラから見た図）。

【図11】実施例２における接触点検出の処理フローを示す図。

【図12】実施例３にかかる操作検出装置の構成図。

【図13】複数照明による指の影の形状を示す図。

【図14】実施例３における接触点検出の処理フローを示す図。

【図15】実施例４にかかるプロジェクタの構成図。

【図16】短投写型のプロジェクタの操作状態を示す正面図。

【図17】短投写型のプロジェクタの操作状態を示す側面図。

【図18】ヘッドマウント型プロジェクタの例を示す外観図。

【発明を実施するための形態】

【0011】

以下、実施例を図面を用いて説明する。

【実施例1】

【0012】

実施例１では、１つのカメラと異なる位置に配置した２つの照明とを用いて、操作面に対するユーザの操作部（指）の接触点を検出する操作検出装置について説明する。

【0013】

図１は、実施例１にかかる操作検出装置の構成図を示す。操作検出装置１は、カメラ１００、２つの照明１０１，１０２、影領域抽出部１０４、輪郭検出部１０５、接触点検出部１０６、制御部１２０、出力部１３０を含み、操作面に対する指の接触位置などの検出結果データ１５０を操作対象装置２に出力する。操作対象装置２は例えばプロジェクタであり、検出結果データ１５０を受け、ユーザの操作に対応して映像表示を行う。図１では各要素１００〜１０６、１２０、１３０を全て操作検出装置１の内部に構成しているが、一部の構成要素、例えばカメラ１００と照明１０１，１０２を操作検出装置１の外部に構成し、ネットワークやユニバーサルシリアルバス（ＵＳＢ）を介して接続しても良い。各構成要素１００〜１０６、１２０、１３０は独立しているが、必要に応じて１または複数の構成要素で構成しても良い。例えば、要素１０４〜１０６、１２０、１３０は１または複数の中央処理装置（ＣＰＵ）でその処理を行うように構成しても良い。

【0014】

図２Ａと図２Ｂ及び図３は、操作検出装置１を用いてユーザ３が操作を行う状態を示す図である。図２Ａ、図２Ｂは操作状態の正面図、図３は操作状態の側面図である。なお、図２Ａは、カメラ１００と照明１０１，１０２を操作検出装置１の内部に構成した場合、図２Ｂは、カメラ１００と照明１０１，１０２を操作検出装置１の外部に構成した場合である。ユーザ３は操作部である指３０を、壁面２１の操作面２２のある位置に接触させることで所望の操作を行う。操作対象装置２がプロジェクタの場合は、操作面２２が投写映像を表示するスクリーンとなり、ユーザはスクリーン上を操作することになる。

【0015】

操作検出装置１は壁面２１の上部に取り付け、２つの照明１０１，１０２はカメラ１００を挟んで、壁面２１の横方向の異なる位置にずらして配置する。なお、図２Ｂでは、２つの照明１０１，１０２を壁面２１の左右端部に配置している。２つの照明１０１，１０２でユーザ３の指３０を照射し、カメラ１００により指３０とその近傍を撮像する。指３０が操作面２２に接触すると指３０の影の形状が変化することから、操作検出装置１はカメラ１００の画像を解析し指の接触点を検出する。

【0016】

次に、各部の動作を説明する。カメラ１００は、イメージセンサ、レンズなどで構成され、ユーザ３の操作部である指３０を含む画像を撮像する。２つの照明１０１，１０２は、発光ダイオード、回路基板、レンズなどで構成され、操作面２２およびユーザ３の指３０に照明光を照射して、カメラ１００で撮像する画像内に指３０の影を投影するものである。なお、照明１０１，１０２は赤外光照明とし、カメラ１００は赤外光カメラで構成しても良い。これにより、カメラ１００で撮像する赤外光画像を、操作対象装置２（プロジェクタ）で投写される可視光映像から分離して取得することができる。

【0017】

影領域抽出部１０４は、回路基板やソフトウェアなどで構成され、カメラ１００で得られた画像から影を抽出し影画像を生成する。例えば、操作検出時の撮像画像から予め撮像した操作面２２の背景画像を減算して差分画像を生成し、差分画像の輝度を所定の閾値Ｌｔｈで二値化して、閾値以下の領域を影領域とすれば良い。さらに、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。ラべリング処理により、抽出した複数の影についてどの指に対応するかを識別することができる。

【0018】

輪郭検出部１０５は、回路基板やソフトウェアなどで構成され、影画像から影領域の輪郭を抽出する。例えば、影画像内を一定の方向（左上から右下）に走査して輪郭追跡の開始画素を決定し、開始画素の近傍画素を反時計回りで追跡することで輪郭が得られる。輪郭の検出方法は、図６で説明する。なお、影領域抽出部１０４及び輪郭検出部１０５の処理は、上記方法に限らず、他の画像処理のアルゴリズムを用いても良い。

【0019】

接触点検出部１０６は、回路基板やソフトウェアなどで構成され、輪郭の形状や位置に基づいて、操作面２２に対する指３０の接触状態を判定し、また接触点（座標）を検出する。接触点の検出方法については、図５Ａ，Ｂと図８で説明する。

【0020】

制御部１２０は、回路基板やソフトウェアなどで構成され、カメラ１００の画像の撮像動作に基づいて、照明１０１，１０２、影領域抽出部１０４、輪郭検出部１０５、接触点検出部１０６、出力部１３０を制御する。

【0021】

出力部１３０は、操作対象である操作対象装置（プロジェクタ）２に検出結果データ１５０を出力するインタフェースであり、ネットワーク接続やユニバーサルシリアルバス（ＵＳＢ）接続、超音波ユニット、赤外線通信装置などで構成される。検出結果データ１５０には、指３０が操作面２２に接触しているか否かの接触状態情報や接触点座標が含まれる。

【0022】

図４Ａと図４Ｂは、カメラによって撮像されるユーザの指の影の形状を示す図である。図４Ａは１本の指の場合、図４Ｂは手を開いた複数の指の場合である。そして、ユーザの指３０が操作面２２（紙面）に接触していない状態（ａ）と接触した状態（ｂ）とで、影の形状がどのように変化するかを示している。

【0023】

図４Ａにおいて、指３０が操作面２２に接触していない状態（ａ）では、指３０の左右に２つの照明１０１，１０２による２つの影４０１，４０２（斜線で示す）ができる。左側の影４０１は右側の照明１０２で投影されたものであり、右側の影４０２は左側の照明１０１で投影されたものである。これら２つの影４０１，４０２は互いに離れて存在する。一方、指３０の先端部（指先）３０ａが操作面２２に接触している状態（ｂ）では、２つの影４０１，４０２は、指先３０ａの位置で接近して存在する。なお、影４０１，４０２の先端側の一部領域は指３０の陰に隠れているが、この隠れた部分は影領域には含めない。

【0024】

一方図４Ｂでは、手を開いた複数（５本）の指３１，３２，・・・３５の場合であるが、基本的には図４Ａの１本の指の場合と同様である。各指が操作面に接触していない状態（ａ）では、それぞれの指の左右に影（斜線で示す）ができる。ただしこの状態では、いくつかの影は他の指に隠れたり他の指の影と重なっているため、明瞭に見えるのは、指３１の左側の影４１１、指３２の左側の影４２１、指３４の右側の影４４２、指３５の右側の影４５２などである。一方、各指がスクリーンに接触している状態（ｂ）では、各指の２つの影は明瞭となり指先の位置で接近して存在する。ここでは、指３１の２つの影４１１，４１２、指３２の２つの影４２１，４２２について符号を付して示している。

【0025】

図５Ａと図５Ｂは、指の影の形状から接触を判定する方法を説明する図である。図５Ａは、操作面２２の上方（天井側）から見て影の形状の変化を説明する図である。図５Ｂは、操作面２２をカメラ側から見て影の輪郭の変化を説明する図である。いずれも、ユーザの指３０が操作面２２に接触していない状態（ａ）と接触した状態（ｂ）とを比較している。ここでは簡単のために、１本の指３０の場合（図４Ａ）について説明するが、複数の指の場合（図４Ｂ）も同様である。

【0026】

図５Ａにおいて、指３０が操作面２２に接触していない状態（ａ）では、２つの照明１０１，１０２からの光は指３０で遮断され、それぞれ影４０２，４０１（斜線で示す）が形成される。その時、カメラ１００が撮像する画像では指３０の実像が手前に写るため、指３０の裏側にある部分は影として撮像されない。その結果、カメラ１００の撮像画像では、２つの影４０１，４０２は離れて存在する。ここで、影４０１，４０２の外側同士の距離をｄとする。この距離ｄは、指３０と操作面２２の間隙ｓに依存し、間隙ｓが大きいほど距離ｄは大きくなる。一方、指３０が操作面２２に接触している状態（ｂ）では、間隙ｓ＝０となるから、影４０１，４０２の外側同士の距離は最小値ｄ０になる。よって、影４０１，４０２の外側同士の距離ｄを測定することで、指３０が操作面２２に接触したか否かを判定することができる。

【0027】

図５Ｂにおいて、カメラ画像では指３０の形状を投影した影が写し出される。そして影の輪郭のうち、指３０の左側にできる影４０１の左側（外側）の輪郭線５０１と、右側にできる影４０２の右側（外側）の輪郭線５０２を検出する。これらの輪郭線は、影を取り囲む輪郭線の中で対応するほぼ直線状の線分に限定して抽出し、指先の曲線状の部分は含まないようにする。そして、２つの影４０１，４０２間の距離として、抽出した２つの輪郭線５０１，５０２間の最短距離ｄを求める。この場合、輪郭線５０１，５０２は平行ではなく、通常は指先側の端部５０１ａ，５０２ａ間で最短距離ｄが決まる。

【0028】

指３０が操作面２２に接触していない状態（ａ）では、２つの影４０１，４０２は離れて存在することから、２つの輪郭線５０１，５０２の最短距離ｄも大きい値となる。一方、指３０が操作面２２に接触している状態（ｂ）では、２つの影４０１，４０２は接近し、２つの輪郭線５０１，５０２も接近する。その最短距離は指先側の端部５０１ａ，５０２ａで最小値ｄ０となる。従って、所定の閾値ｄｔｈ（ただしｄｔｈ＞ｄ０）を定め、輪郭線５０１，５０２間の最短距離ｄが、閾値ｄｔｈ以内かどうかを判定することで、指３０が操作面２２に接触しているか否かを判別することができる。この例では輪郭線５０１，５０２を２つの影４０１，４０２の外側部分から抽出しているので、内側部分から抽出する場合に比べて輪郭線間の距離の変化が顕著であり、その結果接触検出精度が向上する。

【0029】

指３０が操作面２２に接触したことを判定した場合、輪郭線５０１，５０２の端部５０１ａ，５０２ａの中点Ｐを接触点と決定し、操作面２２における接触点の座標値を算出する。なお、接触点の座標を精度良く算出するために、必要に応じて中点Ｐの座標を指先方向に所定量だけずらす補正を施しても良い。

【0030】

図６は、影の輪郭線の検出方法を説明する図である。図６（ａ）に示すように、撮像画面９０内には手の影の画像４０が含まれている。左側の輪郭線を求めるときは、画面９０内を左から右側に向う走査線９１（実線）にて、影の画素の有無を検出する。このとき、走査画素が影以外の画素（画素０とする）から影の画素（画素１とする）に切り替わる位置が左側の輪郭線となる。図のように複数の指の影が存在すると、各指の影ごとに画素０から画素１に切り替わり、輪郭線が複数検出される。このようにして、（ｂ）に示す左側の輪郭線５０Ｌが得られる。

【0031】

同様に、右側の輪郭線を求めるときは、画面９０内を右から左側に向う走査線９２（破線）にて、影の画素の有無を検出する。このようにして、（ｃ）に示す右側の輪郭線５０Ｒが得られる。このようにして得られた輪郭線５０Ｌ，５０Ｒのうち、指先などの曲線部分を除去して、略直線状の線分からなる輪郭線を検出する。なお、上記方法は一例であり、輪郭線の検出には他のアルゴリズムを用いても良い。

【0032】

図７には、複数の指で操作する場合の輪郭線の状態を示す図である。（ａ）のように、手３ａを開いた状態で複数の指３１，３２・・・を操作面に接触させた際に、各指に対し、左側の影４１１，４２１・・・と、右側の影４１２，４２２・・・ができる。（ｂ）はそれらの輪郭線を示し、左側の影４１１，４２１・・・に対する左側の輪郭線５１１Ｌ，５２１Ｌ・・・と、右側の影４１２，４２２・・・に対する右側の輪郭線５１２Ｒ，５２２Ｒ・・・を示す。各指の対応する輪郭線間の最短距離は、その指先付近において最小値ｄ０となる。この距離は、指３１のように指先方向が上下方向から傾いてもほぼ等しくなる。これより本実施例によれば、手を開いた状態でも複数の指についての接触を独立して検出できるので、マルチタッチ操作に適用可能となる。

【0033】

図８は、実施例１における接触点検出の処理フローを示す図である。
Ｓ１０００で、操作検出装置１は指の接触点を検出する処理を開始する。制御部１２０の指示により２つの照明１０１，１０２から照明光を照射し、カメラ１００で操作面を撮像する。

【0034】

Ｓ１００１では、影領域抽出部１０４は、カメラ１００で撮像した画像から背景を減算して差分画像を求め、輝度が閾値Ｌｔｈ以下の部分を影領域として抽出する。Ｓ１００２では、影領域抽出部１０４は、抽出した影に対して互いに連結していない影の領域をそれぞれ別の影として区別する、いわゆるラベリング処理を行う。

【0035】

Ｓ１００３では、輪郭検出部１０５は、ラベリング処理した各影に対して輪郭線を検出する。例えば図５Ｂのように、影４０１の左側の輪郭線５０１と、影４０２の右側の輪郭線５０２を検出する。ここで、複数の指の影が存在する場合には、特定の指に対応する一対の影の決定はラべリング処理に基づき、各影に対する輪郭線の左右の切り換えは、図６の手法に基づく。

【0036】

Ｓ１００４では、接触点検出部１０６は、検出した輪郭線５０１，５０２の最短距離ｄが閾値ｄｔｈ以下となる箇所が存在するかどうかを判定する。この閾値ｄｔｈは、図５Ｂにおける指接触時の輪郭線の端部５０１ａ，５０２ａの距離ｄ０を識別できるように定める。判定の結果、存在すればＳ１００５へ進む。存在しなければＳ１００１へ戻り、上記の処理を繰り返す。

【0037】

Ｓ１００５では、接触点検出部１０６は、Ｓ１００４で検出した箇所（最短距離ｄが閾値ｄｔｈ以下となる箇所）の中点Ｐを接触点と決定し、操作面２２における接触点の座標値を算出する。出力部１３０は、算出された接触点の座標を検出結果データ１５０として出力する。

【0038】

Ｓ１００６では、ユーザの指示等による接触点検出の継続を判定し、継続する場合はＳ１００１に戻り上記の処理を繰り返す。

【0039】

上記したように実施例１の操作検出装置は、１つのカメラと２つの照明を用いて、２つの照明で投影される２つの影の輪郭線を検出する。そして、輪郭線の最短距離が所定の距離以内に近づいている箇所から接触点を検出して、接触点の座標を出力する。この方法は手を開いた状態で複数の指の接触をそれぞれ独立で検出できるので、マルチタッチ操作に対しても正しく検出することができる。

【0040】

操作対象装置２はプロジェクタの例を説明したが、一般のディスプレイ、ヘッドマウントディスプレイなどへの適用も可能である。操作面はスクリーンに限らず、壁面やテーブルなど、どのような面でも適用できる。

【実施例2】

【0041】

実施例２では、操作検出装置１の２つの照明１０１，１０２を交互に点灯させることで、指の接触点を検出する構成とした。

【0042】

図９は、実施例２にかかる操作検出装置の構成図を示す。実施例１（図１）と異なる点は、照明切り替え用のスイッチ１１０を追加したことである。スイッチ１１０は回路基板などで構成され、制御部１２０の指示により、照明１０１と照明１０２とを交互に点灯させる。この際制御部１２０は、照明１０１と照明１０２の点灯タイミングに合わせて、カメラ１００の撮像を切り替える。これにより、例えばカメラ１００で撮像されるあるタイミング（フレーム１）の画像には、照明１０１で投影される影のみが撮像され、次のタイミング（フレーム２）の画像には、照明１０２で投影される影のみが撮像される。従って、指の影の位置は１フレームごとに切り替わる画像となり、２つの影の距離から指の接触を容易に検出することができる。

【0043】

実施例２では、照明を交互に点灯させて影を抽出するため、２つの影の一部が重なる場合でも両者を時間的に分離して検出できるという特徴がある。よって、２つの照明１０１，１０２がカメラ１００に対して同じ側に設置され、２つの影が指に対して同じ側に形成されて一部が重なる場合であっても、接触点を正しく検出することができる。以下の例では、２つの照明１０１，１０２がカメラ１００に対して同じ側に設置される場合について説明する。もちろん、２つの照明１０１，１０２がカメラ１００を挟んで互いに反対側に設置される場合にも有効であることは言うまでもない。

【0044】

図１０Ａと図１０Ｂは、２つの照明１０１，１０２をカメラ１００に対して同じ側に設置された場合の指の影の形状の変化を示す図である。図１０Ａは、操作面２２の上方（天井側）から見た上面図である。図１０Ｂは、操作面２２をカメラ側から見た図である。いずれも、ユーザの指３０が操作面２２に接触していない状態（ａ）と接触した状態（ｂ）とを比較している。

【0045】

フレーム１で照明１０１を点灯すると、指３０に対する影４０１が形成され、フレーム２で照明１０２を点灯すると影４０２が形成される。両者の影４０１，４０２は、指３０に対し同じ側（図では右側）に存在する。

【0046】

この場合の影の輪郭線は、図１０Ｂに示すように、指３０から見ていずれも影の外側（図では右側）から抽出する。すなわち、フレーム１では影４０１に対する輪郭線５０１を、フレーム２では影４０２に対する輪郭線５０２を抽出し、輪郭線５０１，５０２の最短距離ｄ’を求める。距離ｄ’が最短になるのは、通常は指先に近い輪郭線の端部（白丸印で示す）である。距離ｄ’は指３２と操作面２２との間隙ｓに依存し、指が操作面に接触すると最小値ｄ０’となる。なお、この値ｄ０’は実施例１（図５Ａ、図５Ｂ）での値ｄ０とは異なり、より小さい値となる。この場合には、所定の閾値ｄｔｈ’（ただしｄｔｈ’＞ｄ０’）を定め、輪郭線５０１，５０２間の最短距離ｄ’が、閾値ｄｔｈ’以内かどうかを判定することで、指３０が操作面２２に接触しているか否かを判別することができる。

【0047】

図１１は、実施例２における接触点検出の処理フローを示す図である。ここでは、図１０Ａと図１０Ｂに示すように、２つの照明１０１，１０２をカメラ１００に対して同じ側に設置し、指３０に生じる２つの影４０１，４０２から接触点を検出する場合について説明する。
Ｓ１１００で、操作検出装置１は指の接触点を検出する処理を開始する。

【0048】

Ｓ１１０１では、フレーム１のタイミングで、制御部１２０の指示により照明１０１を点灯し、カメラ１００で撮像する。影領域抽出部１０４は、撮像画像から指３０の右側にできる影４０１を抽出する。Ｓ１１０２では、輪郭検出部１０５は、影４０１の右側の輪郭線５０１を検出する。

【0049】

Ｓ１１０３では、フレーム２のタイミングで、制御部１２０の指示により照明１０２を点灯し、カメラ１００で撮像する。影領域抽出部１０４は、撮像画像から指３０の右側にできる影４０２を抽出する。Ｓ１１０４では、輪郭検出部１０５は、影４０２の右側の輪郭線５０２を検出する。

【0050】

Ｓ１１０５では、接触点検出部１０６は、検出した輪郭線５０１，５０２の最短距離ｄ’が閾値ｄｔｈ’以下となる箇所が存在するかどうかを判定する。この閾値ｄｔｈ’は、図１０Ｂにおける指接触時の輪郭線の距離ｄ０’を識別できるように定める。判定の結果、存在すればＳ１１０６へ進む。存在しなければＳ１１０１へ戻り、上記の処理を繰り返す。

【0051】

Ｓ１１０６では、接触点検出部１０６は、Ｓ１１０５で検出した箇所（最短距離ｄ’が閾値ｄｔｈ’以下となる箇所）の近傍（左側）Ｐ’を接触点と決定し、操作面２２における接触点の座標値を算出する。出力部１３０は、算出された接触点の座標を検出結果データ１５０として出力する。

【0052】

Ｓ１１０７では、ユーザの指示等による接触点検出の継続を判定し、継続する場合はＳ１１０１に戻り上記の処理を繰り返す。

【0053】

上記処理フローでは、２つの照明１０１，１０２をカメラ１００に対して同じ側に設置する場合を説明したが、２つの照明１０１，１０２がカメラ１００を挟んで反対側に設置される場合には、図５で示したように影４０１の左側の輪郭線５０１と影４０２の右側の輪郭線５０２を検出し、その最短距離を求めれば良い。

【0054】

上記したように、実施例２の操作検出装置は、１つのカメラと２つの照明を用いて、２つの照明を交互に点灯させることで、それぞれの照明で投影される２つの影の輪郭線を検出する。そして、輪郭線間の最短距離が所定の距離以内に近づいている箇所を接触点と決定して、接触点の座標を出力する。実施例２では、２つの影を時間的に分離して抽出できるので、２つの照明がカメラに対して同じ側に設置される場合でも、正しく検出できる。よって、照明の配置に関し自由度が増す。

【実施例3】

【0055】

実施例３では、操作検出装置１の照明に複数個の照明を用いることで、指の接触点を検出する構成とした。

【0056】

図１２は、実施例３にかかる操作検出装置の構成図を示す。実施例１（図１）と異なるのは、２つの照明１０１，１０２を複数（Ｎ）個の照明１０３に置き換えた点である。複数の照明１０３はカメラ１００に対して互いにずらした位置に配置し、全て同時に点灯させる。

【0057】

図１３は、複数照明１０３を使用した際の、カメラによって撮像されるユーザの指の影の形状を示す図である。ここではＮ＝８個の照明をカメラ１００の両側に４個ずつ配置した場合を示す。（ａ）は操作面２２に指３０が接触していない場合、（ｂ）は操作面２２に指３０が接触した場合、（ｃ）は接触点の決定法を示す。（ａ）に示すように、指３０が操作面２２に接触していない場合は、指３０の左右に複数照明１０３で投影される複数（Ｎ＝８個）の影４０１〜４０８ができる。指が操作面２２に近づくと、隣接する影の間で重複部４０１’〜４０８’が生じる。

【0058】

（ｂ）に示すように、指３０が操作面２２に接触している場合は、複数の影４０１〜４０８は指先３０ａに集中してくる。その結果、指先３０ａ近傍には複数の影が重なる部分が生じる。影が重なると重なり数に応じて影の濃度（暗さ）が増大し、領域４０９’では全て（片側の４個）の影が重複し影濃度が最大となる。影濃度最大部４０９’は、影の輝度が最小となることから輝度の閾値Ｌｔｈ’を定めて抽出する。

【0059】

（ｃ）は、指の両側に、影濃度最大部４０９’（影の輝度が閾値Ｌｔｈ’以下）を抽出したものであり、これらを包囲する領域４１０を接触領域と定める。そして、接触領域４１０の指先側最上部Ｐ”を指の接触点として決定する。

【0060】

図１４は、実施例３における接触点検出の処理フローを示す図である。
Ｓ１２００で、操作検出装置１は複数の照明１０３を点灯させ、指の接触点を検出する処理を開始する。

【0061】

Ｓ１２０１では、カメラ１００で撮像した画像から、影領域抽出部１０４は複数の影を抽出する。この際、影領域抽出部１０４では、複数の影が重なった影濃度最大部４０９’を抽出するように、影を抽出する際の輝度の閾値Ｌｔｈ’を定めておく。

【0062】

Ｓ１２０２では、影領域抽出部１０４において、影濃度最大部４０９’が抽出できたか否かを判定する。影４０９’が抽出できた場合はＳ１２０３に進む。抽出できない場合はＳ１２０１に戻る。

【0063】

Ｓ１２０３では、輪郭検出部１０５はＳ１２０２で抽出した影濃度最大部４０９’を取り囲む領域４１０を決定する。この領域４１０は指接触領域となる。

【0064】

Ｓ１２０４では、接触点検出部１０６は、Ｓ１２０３で検出した領域４１０の指先側最上部Ｐ”を接触点と決定し、操作面２２における接触点の座標値を算出する。

【0065】

Ｓ１２０５では、ユーザの指示等による接触点検出の継続を判定し、継続する場合はＳ１２０１に戻り上記の処理を繰り返す。

【0066】

上記したように実施例３の操作検出装置は、１つのカメラと複数の照明とを用いて、複数の照明で投影される影濃度が最大となる部分を検出する。この影濃度が最大となる部分から接触点を決定することができる。この手法は複数の影が重なる場合に適用でき、照明数は２以上の任意である。本実施例では、影の濃度（輝度）を判定するだけで接触点を検出できるので、処理工程が少なく検出の迅速化が図れる効果がある。

【実施例4】

【0067】

実施例４では、前記した操作検出装置１を内蔵したプロジェクタの構成について説明する。

【0068】

図１５は、実施例４にかかるプロジェクタ２ａ（２ｂ）の構成図を示す。ここにプロジェクタ２ａ（２ｂ）は、実施例１（図１）で述べた操作検出装置１を内蔵するとともに、プロジェクタ機能として映像投写をするための構成が加えられている。プロジェクタの機能として、中央処理部２０１、操作解析部２０２、メモリ２０３、映像制御部２０４、映像投写部２１０などを有する。

【0069】

中央処理部２０１は、中央処理装置（ＣＰＵ）等の半導体チップや、オペレーティングシステム（ＯＳ）等のソフトウェアで構成され、操作解析部２０２で検出されるユーザの操作などに基づいて、メモリ２０３への情報の入出力や、映像制御部２０４、映像投写部２１０等の各部を制御する。

【0070】

操作解析部２０２は、回路基板やソフトウェアで構成され、操作検出装置１の出力部１３０から得られる接触点の座標に基づき、投写中の映像と接触点の対応を判別することにより、投写映像に対するユーザの操作を検出する。
メモリ２０３は、半導体などで構成され、中央処理部２０１の演算や制御に必要な情報や、投写映像として表示する映像情報などを記憶する。

【0071】

映像制御部２０４は、回路基板などで構成され、中央処理部２０１の制御に応じて、映像情報の描画に必要な演算処理を行い、映像投写部２１０の入力に適した形式で、画素の集合からなる描画情報を出力する。

【0072】

映像投写部２１０は、ランプ等の光源や、レンズ、反射ミラー等の光学部品や、液晶パネル等から構成され、光源から出射される光束を変調して、映像制御部２０４から送られる描画情報に応じた画像光を形成し、スクリーン等の投写面上に画像光を拡大投写する。

【0073】

なお、図１５の各部は独立しているが、必要に応じて１または複数の構成要件で構成しても良い。例えば、２０１〜２０４は、１または複数の半導体チップ（System-on-a-chip：ＳｏＣ等）でその処理を行うように構成しても良い。

【0074】

図１６と図１７は、前記プロジェクタとして短投写型のプロジェクタ２ａの例を示す外観図である。図１６は、ユーザが操作する状態を示す正面図、図１７は側面図である。短投写型プロジェクタ２ａは壁面２１上部に取り付けられる。映像投写部２１０からは、ＧＵＩ等の所定の映像信号に基づき投写光２３ａを出射することにより、壁面２１のスクリーン２２’に投写映像２３を映し出す。ユーザ３は操作面を兼ねるスクリーン２２’上で指操作することで、投写映像２３に対して表示等の制御を行うことができる。

【0075】

ユーザ３が投写映像２３の任意の箇所に指３０を触れると、操作検出装置１は指の影画像をから接触点を検出して、検出データを中央処理部２０１を介して操作解析部２０２に送る。操作解析部２０２は投写映像２３に対する操作内容を解析し、中央処理部２０１はユーザの操作に応じた映像の変更等の処理を実行する。このように、プロジェクタ２ａに前記操作検出装置１を内蔵することにより、ユーザは投写映像に対して効率良く操作を行うことができ、特に本実施例ではマルチタッチ操作を好適に行うことができる。

【0076】

図１８は、前記プロジェクタの他の構成として、ヘッドマウント型プロジェクタ２ｂの例を示す外観図である。ヘッドマウント型プロジェクタ２ｂは、眼鏡型の筐体には小型プロジェクタ本体２０が取り付けられ、眼鏡のレンズ面に投写光２３ａを出射することで映像２３を映し出し、ユーザが映像を見ることができる。

【0077】

また、眼鏡型の筐体の両端には照明１０１及び照明１０２が取り付けられ、筐体の中央にはカメラ１００が取り付けられ、ユーザの視線の先にある操作面２２を照射するとともに、操作面２２に対するユーザの指操作を撮像しその接触点を検出することができる。

【0078】

これにより、小型プロジェクタ本体２０により眼鏡のレンズ面に投写される映像２３とユーザが操作する操作面２２とが、ユーザの視界において重なり、あたかも操作面２２上に映像が表示されているかのように振る舞う。すなわち、小型プロジェクタ本体２０が映像を表示した場合、ユーザは操作面２２に指先を触れることで、表示される映像に対してマルチタッチ操作を行うことができる。

【0079】

上記したように、前記操作検出装置をプロジェクタに内蔵することにより、映像の投写面にセンサなどを設けることなく、投写映像をマルチタッチ操作することができる効果が得られる。

【0080】

なお、上述した本実施形態は本発明の説明のための例示であり、本発明の範囲を実施形態にのみ限定する趣旨ではない。

【符号の説明】

【0081】

１：操作検出装置、
１００：カメラ、
１０１，１０２，１０３：照明、
１０４：影領域抽出部、
１０５：輪郭検出部、
１０６：接触点検出部、
１１０：スイッチ、
１２０：制御部、
１３０：出力部、
１５０：検出結果データ、
２：操作対象装置（プロジェクタ）、
２ａ：短投写型プロジェクタ、
２ｂ：ヘッドマウント型プロジェクタ、
２０：小型プロジェクタ本体、
２１：壁面、
２２：操作面、
２３：投写映像、
２３ａ：投写光、
２０１：中央処理部、
２０２：操作解析部、
２０３：メモリ、
２０４：映像制御部、
２０５：映像投写部、
３：ユーザ、
３０，３１〜３５：指、
４０１，４０２，４０３〜４０８：影、
４０９’：影濃度最大部、
４１０：接触領域、
５０１，５０２：輪郭線。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】