ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032043
(43)【公開日】2024-03-12
(54)【発明の名称】検出方法、検出装置及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240305BHJP
G06F 3/01 20060101ALI20240305BHJP
【ＦＩ】
G06T7/20 300A
G06F3/01 570
【審査請求】有
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022135472
(22)【出願日】2022-08-29
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】井上 聖
【テーマコード（参考）】
5E555
5L096
【Ｆターム（参考）】
5E555AA15
5E555BA01
5E555BA29
5E555BB01
5E555BB29
5E555CA42
5E555CB23
5E555CB66
5E555CC01
5E555EA14
5E555EA22
5E555FA00
5L096AA06
5L096AA09
5L096BA08
5L096CA04
5L096DA02
5L096FA66
5L096FA69
5L096HA02
5L096HA08
(57)【要約】
【課題】より適切に検出対象を検出することができる検出方法、検出装置及びプログラムを提供する。
【解決手段】コンピュータが実行する検出方法は、部材の基準面及び対象物の奥行きに係る深度情報を取得し、深度情報に基づいて、基準面から対象物の代表点までの、基準面に対する略法線方向の距離を導出し、導出された距離が所定の距離条件を満たしている対象物を、検出対象として検出する。これにより、より適切に検出対象を検出することができる。
【選択図】図７
【解決手段】コンピュータが実行する検出方法は、部材の基準面及び対象物の奥行きに係る深度情報を取得し、深度情報に基づいて、基準面から対象物の代表点までの、基準面に対する略法線方向の距離を導出し、導出された距離が所定の距離条件を満たしている対象物を、検出対象として検出する。これにより、より適切に検出対象を検出することができる。
【選択図】図７
【特許請求の範囲】
【請求項1】
コンピュータが実行する検出方法であって、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
検出方法。
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
検出方法。
【請求項2】
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像及び前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
前記撮影画像及び前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
【請求項3】
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像において、少なくとも一部が前記基準面に重なる前記対象物を抽出し、
前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
前記撮影画像において、少なくとも一部が前記基準面に重なる前記対象物を抽出し、
前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
【請求項4】
導出された前記距離が基準距離以上である場合に、前記距離が前記距離条件を満たすと判別する、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項5】
前記対象物が２つ以上抽出された場合には、導出された前記距離が前記距離条件を満たしている前記対象物のうち、導出された前記距離が最も大きい前記対象物を前記検出対象として検出する、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項6】
前記代表点は、前記撮影画像において、前記検出対象の候補のうち前記基準面に重なる部分の重心である、請求項２又は３に記載の検出方法。
【請求項7】
前記検出対象は人の手であり、
前記部材は、前記人の手により保持されている、
請求項１に記載の検出方法。
前記部材は、前記人の手により保持されている、
請求項１に記載の検出方法。
【請求項8】
前記検出対象は人の手であり、
前記撮影画像は、前記部材の前記基準面側に位置する前記人の前記手を含む撮影範囲を撮影した画像である、
請求項２又は３に記載の検出方法。
前記撮影画像は、前記部材の前記基準面側に位置する前記人の前記手を含む撮影範囲を撮影した画像である、
請求項２又は３に記載の検出方法。
【請求項9】
前記部材の前記基準面は、画像が表示される画像表示面である、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項10】
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える検出装置。
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える検出装置。
【請求項11】
コンピュータに、
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させるプログラム。
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出方法、検出装置及びプログラムに関する。
【背景技術】
【0002】
従来、操作者のジェスチャーを検出し、検出されたジェスチャーに応じて機器の動作を制御する技術がある。この技術では、操作者を撮影して得られた撮影画像において、操作者の体のうちジェスチャーを行う特定の一部（例えば、手）を検出対象として検出する。特許文献１には、予め撮影された背景画像と、操作者を撮影した撮影画像との差分に基づいて、ジェスチャーを行う検出対象を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－２２６２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、物を保持している手や、画像表示面に画像として表示されている手などの、ジェスチャーを行っていない手が撮影画像に写っている場合には、この手が検出対象として誤検出されると、ジェスチャーの誤検出が生じて機器が意図しない動作を行ってしまうという課題がある。
【0005】
この発明の目的は、より適切に検出対象を検出することができる検出方法、検出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る検出方法は、
コンピュータが実行する検出方法であって、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する。
コンピュータが実行する検出方法であって、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する。
【0007】
上記課題を解決するため、本発明に係る検出装置は、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える。
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える。
【0008】
上記課題を解決するため、本発明に係るプログラムは、
コンピュータに、
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させる。
コンピュータに、
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させる。
【発明の効果】
【0009】
本発明によれば、より適切に検出対象を検出することができる。
【図面の簡単な説明】
【0010】
【図1】情報処理システムの構成を示す模式図である。
【図2】検出装置の機能構成を示すブロック図である。
【図3】機器制御処理の制御手順を示すフローチャートである。
【図4】手検出処理の制御手順を示すフローチャートである。
【図5】手検出処理の制御手順を示すフローチャートである。
【図6】撮影画像の例を示す図である。
【図7】画像表示面と手の代表点との距離の導出方法を説明する図である。
【図8】スクリーンを保持している左手と、ジェスチャーを行っている右手とが、撮影装置から等距離にある場合を示す図である。
【図9】変形例におけるスクリーンと操作者との位置関係を示す図である。
【図10】変形例に係る撮影画像の例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて説明する。
【0012】
＜情報処理システムの概要＞
図１は、本実施形態の情報処理システム１の構成を示す模式図である。
情報処理システム１は、検出装置１０と、撮影装置２０と、プロジェクタ３０とを備える。検出装置１０は、無線又は有線により撮影装置２０及びプロジェクタ３０と通信接続されており、撮影装置２０及びプロジェクタ３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。
図１は、本実施形態の情報処理システム１の構成を示す模式図である。
情報処理システム１は、検出装置１０と、撮影装置２０と、プロジェクタ３０とを備える。検出装置１０は、無線又は有線により撮影装置２０及びプロジェクタ３０と通信接続されており、撮影装置２０及びプロジェクタ３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。
【0013】
情報処理システム１の検出装置１０は、操作者８０（被写体、人）が手８１（対象物、検出対象）によって行うジェスチャーを検出し、検出したジェスチャーに応じてプロジェクタ３０の動作（投影画像Ｉｍの投影動作や、各種設定を変更する動作等）を制御する情報処理装置である。本明細書では、操作者８０の右手８１Ｒ及び左手８１Ｌのうち任意の一方を指す場合には「手８１」と記す。
【0014】
詳しくは、撮影装置２０は、撮影装置２０の正面に位置する操作者８０及び操作者８０の手８１を撮影して、撮影画像５０（図６参照）の画像データを検出装置１０に送信する。検出装置１０は、撮影装置２０から受信した撮影画像５０を解析して、操作者８０の手８１及び指を検出し、操作者８０が手８１によって所定のジェスチャーを行ったか否かを判別する。本実施形態において、操作者８０が手８１によって行うジェスチャーは、手８１の指の向き又は動きによって行うジェスチャーであるものとする。検出装置１０は、操作者８０が、手８１によって所定のジェスチャーを行ったと判別すると、制御信号をプロジェクタ３０に送信し、検出したジェスチャーに応じた動作を行うようにプロジェクタ３０を制御する。これにより、例えば、操作者８０が、撮影装置２０から見て右方向に一本の指（例えば、人差し指）を向けるジェスチャーを行うことで、プロジェクタ３０が投影している投影画像Ｉｍを次の投影画像Ｉｍに切り替え、一本の指を左方向に向けるジェスチャーを行うことで、投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える、といった直感的な操作が可能となる。
【0015】
以下では、操作者８０が立っている床面に垂直、かつ鉛直方向上向きの方向をＺ方向とし、床面に平行、かつ、Ｚ方向から見てプロジェクタ３０による投影方向に平行な方向をＹ方向とし、Ｙ方向及びＺ方向に垂直な方向をＸ方向とする。Ｙ方向は、プロジェクタ３０から操作者８０に向かう向きを正方向とし、Ｘ方向は、プロジェクタ３０から操作者８０に向かって右方向を正方向とする。
【0016】
本実施形態では、操作者８０が手８１でスクリーン４０（部材）を保持しており、このスクリーン４０の画像表示面４１（基準面）に対してプロジェクタ３０により投影画像Ｉｍが投影（表示）されるものとする。詳しくは、操作者８０は、左手８１Ｌでスクリーン４０を保持し、右手８１Ｒをスクリーン４０の前方（－Ｙ方向側）にかざして右手８１Ｒによりジェスチャーを行うことで、プロジェクタ３０を操作する。スクリーン４０は、板状の部材であり、画像表示面４１は、スクリーン４０の表裏面のうち撮影装置２０に向いている側の面である。
【0017】
＜情報処理システムの構成＞
図２は、検出装置１０の機能構成を示すブロック図である。
検出装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。検出装置１０の各部は、バス１７を介して接続されている。検出装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。
図２は、検出装置１０の機能構成を示すブロック図である。
検出装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。検出装置１０の各部は、バス１７を介して接続されている。検出装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。
【0018】
ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出して実行し、各種演算処理を行うことで、検出装置１０の動作を制御するプロセッサである。ＣＰＵ１１は、「処理部」に相当する。なお、検出装置１０は、複数のプロセッサ（複数のＣＰＵ等）を有していてもよく、本実施形態のＣＰＵ１１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合には、複数のプロセッサが「処理部」に相当する。また、この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。
【0019】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
【0020】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、プログラム１３１及び各種データを記憶する。記憶部１３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。プログラム１３１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３に記憶されるデータとしては、撮影装置２０から受信したカラー画像及び深度画像に係る撮影画像データ１３２などがある。
【0021】
操作部１４は、表示部１５の表示画面に重ねられて設けられたタッチパネル、物理ボタン、マウスなどのポインティングデバイス、及びキーボードなどの入力装置のうち少なくとも１つを有し、入力装置に対する入力操作に応じた操作情報をＣＰＵ１１に出力する。
【0022】
表示部１５は、液晶ディスプレイなどの表示装置を備え、ＣＰＵ１１からの表示制御信号に従って表示装置において各種表示を行う。
【0023】
通信部１６は、ネットワークカード又は通信モジュール等により構成され、撮影装置２０及びプロジェクタ３０との間で所定の通信規格に従ってデータの送受信を行う。
【0024】
図１に示す撮影装置２０は、カラーカメラ２１及び深度カメラ２２を備える。
カラーカメラ２１は、スクリーン４０の画像表示面４１、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの二次元のカラー画像に係るカラー画像データを生成する。カラー画像データの各画素は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）等の色情報を含む。
深度カメラ２２は、スクリーン４０の画像表示面４１、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの深度情報を含む深度画像に係る深度画像データを生成する。深度画像は、各画素が、画像表示面４１、操作者８０、及びこれらの背景の構造物（以下、「測距対象物」と記す）の奥行き（深度カメラ２２から測距対象物までの距離）に係る深度情報を含む。深度カメラ２２としては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。
カラーカメラ２１により生成されたカラー画像データ、及び深度カメラにより生成された深度画像データは、撮影画像データ１３２（図２参照）として検出装置１０の記憶部１３に記録される。
本実施形態では、上記のカラー画像及び深度画像が、「撮影範囲を撮影して得られた撮影画像」に相当する。
カラーカメラ２１は、スクリーン４０の画像表示面４１、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの二次元のカラー画像に係るカラー画像データを生成する。カラー画像データの各画素は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）等の色情報を含む。
深度カメラ２２は、スクリーン４０の画像表示面４１、操作者８０、及びこれらの背景を含む撮影範囲Ｒを撮影して、撮影範囲Ｒの深度情報を含む深度画像に係る深度画像データを生成する。深度画像は、各画素が、画像表示面４１、操作者８０、及びこれらの背景の構造物（以下、「測距対象物」と記す）の奥行き（深度カメラ２２から測距対象物までの距離）に係る深度情報を含む。深度カメラ２２としては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。
カラーカメラ２１により生成されたカラー画像データ、及び深度カメラにより生成された深度画像データは、撮影画像データ１３２（図２参照）として検出装置１０の記憶部１３に記録される。
本実施形態では、上記のカラー画像及び深度画像が、「撮影範囲を撮影して得られた撮影画像」に相当する。
【0025】
撮影装置２０のカラーカメラ２１及び深度カメラ２２は、撮影装置２０の正面に位置する操作者８０及びスクリーン４０を所定のフレームレートで連続して撮影する。図１に示す撮影装置２０では、カラーカメラ２１及び深度カメラ２２が別個に設けられているが、各カメラが操作者８０を撮影可能であれば、この構成に限定されない。例えば、カラーカメラ２１及び深度カメラ２２が一体となっている構成であってもよい。
また、カラーカメラ２１及び深度カメラ２２は、撮影範囲Ｒを少なくとも含む範囲を撮影可能であればよく、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが異なっていてもよい。また、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが重複する撮影範囲Ｒにおいては、カラー画像の画素と、深度画像の画素との対応付けがなされている。これにより、カラー画像における任意の画素を指定した場合に、深度画像において当該画素に対応する画素を特定することができる。よって、カラー画像における任意の画素について、深度情報を取得することができる。
また、カラーカメラ２１及び深度カメラ２２は、撮影範囲Ｒを少なくとも含む範囲を撮影可能であればよく、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが異なっていてもよい。また、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが重複する撮影範囲Ｒにおいては、カラー画像の画素と、深度画像の画素との対応付けがなされている。これにより、カラー画像における任意の画素を指定した場合に、深度画像において当該画素に対応する画素を特定することができる。よって、カラー画像における任意の画素について、深度情報を取得することができる。
【0026】
図１に示すプロジェクタ３０は、投影画像Ｉｍの画像データに応じた強度分布の投影光を高指向性で照射することにより、スクリーン４０の画像表示面４１（投影面）に投影画像Ｉｍを投影する。詳しくは、プロジェクタ３０は、光源と、当該光源から出力された光の強度分布を調整して光像を形成するデジタルマイクロミラー素子（ＤＭＤ）等の表示素子と、表示素子が形成した光像を集光して投影画像Ｉｍとして投影する投影レンズ群などを備える。プロジェクタ３０は、検出装置１０から送信される制御信号に従って、投影する投影画像Ｉｍを変更したり、投影態様に係る設定（明るさ、色合い等）を変更したりする。
【0027】
＜情報処理システムの動作＞
次に、情報処理システム１の動作について説明する。
検出装置１０のＣＰＵ１１は、撮影装置２０が撮影した１又は２以上のカラー画像及び深度画像を解析して、画像に写っている操作者８０が、手８１によって所定のジェスチャーを行ったか否かを判別する。ＣＰＵ１１は、手８１によってジェスチャーが行われたと判別すると、検出したジェスチャーに応じた動作をプロジェクタ３０に行わせるための制御信号をプロジェクタ３０に送信する。
次に、情報処理システム１の動作について説明する。
検出装置１０のＣＰＵ１１は、撮影装置２０が撮影した１又は２以上のカラー画像及び深度画像を解析して、画像に写っている操作者８０が、手８１によって所定のジェスチャーを行ったか否かを判別する。ＣＰＵ１１は、手８１によってジェスチャーが行われたと判別すると、検出したジェスチャーに応じた動作をプロジェクタ３０に行わせるための制御信号をプロジェクタ３０に送信する。
【0028】
ここで、手８１によるジェスチャーは、例えば、撮影装置２０から見て指を或る方向（右方向、左方向、下方向、及び上方向等）に動かしたり、所定の形状（円形等）の軌跡を描くように指の先端を動かしたり、２以上の指の先端同士の距離を変動させたり、指の曲げ伸ばしを行ったりする動作などである。これらの各ジェスチャーには、プロジェクタ３０の１つの動作が予め対応付けられている。例えば、指を右方向に向けるジェスチャーに、投影されている投影画像Ｉｍを次の投影画像Ｉｍに切り替える動作を対応付け、指を左方向に向けるジェスチャーに、投影されている投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える動作を対応付けてもよい。この場合には、指を右方向／左方向に向けるジェスチャーを行うことで、投影画像を次の画像／前の画像に切り替えることができる。また、親指の先端と人差し指の先端との距離を増大／減少させるジェスチャーに、それぞれ投影画像Ｉｍを拡大／縮小させる動作を対応付けてもよい。これらはジェスチャーとプロジェクタ３０の動作との対応付けの一例であり、任意のジェスチャーに、プロジェクタ３０の任意の動作を対応付けることができる。また、操作部１４に対するユーザ操作に応じて、ジェスチャーとプロジェクタ３０の動作との対応付けを変更したり、新たな対応付けを生成したりすることが可能であってもよい。
【0029】
このように、操作者８０の手８１のジェスチャーによりプロジェクタ３０を操作する場合には、撮影装置２０が撮影した画像において手８１（及び指）を正確に検出することが重要となる。手８１を正しく検出できなければ、ジェスチャーを正しく認識することができず、操作性が激しく低下するためである。
【0030】
しかしながら、図１に示すように、操作者８０が手８１でスクリーン４０を保持した状態でプロジェクタ３０が使用される場合には、スクリーン４０を保持している方の手（図１では、左手８１Ｌ）が、ジェスチャーを行う手８１として誤検出されてしまう場合がある。この場合、ジェスチャーの誤検出が生じて、プロジェクタ３０が意図しない動作を行ってしまう。
【0031】
そこで、本実施形態では、深度カメラ２２による深度情報を利用することで、スクリーン４０を保持している手８１などの、ジェスチャーを行っていない手８１を検出対象から除外し、スクリーン４０の前方（撮影装置２０側、－Ｙ方向側）にかざされた手８１などの、ジェスチャーを行っている手８１を適切に検出対象として検出する。
【0032】
以下、図３～図８を参照して、検出装置１０のＣＰＵ１１が、操作者８０の手８１を検出する動作、及び、手８１によるジェスチャーを検出してプロジェクタ３０の動作を制御する動作について説明する。ＣＰＵ１１は、上記動作を実現するために、図３に示す機器制御処理、及び図４、図５に示す手検出処理を実行する。
【0033】
図３は、機器制御処理の制御手順を示すフローチャートである。
機器制御処理は、例えば、検出装置１０、撮影装置２０及びプロジェクタ３０の電源が投入され、プロジェクタ３０を操作するためのジェスチャーの受け付けが開始された場合に実行される。
機器制御処理は、例えば、検出装置１０、撮影装置２０及びプロジェクタ３０の電源が投入され、プロジェクタ３０を操作するためのジェスチャーの受け付けが開始された場合に実行される。
【0034】
機器制御処理が開始されると、ＣＰＵ１１は、撮影装置２０に制御信号を送信して、カラーカメラ２１及び深度カメラ２２による撮影を開始させる（ステップＳ１０１）。撮影が開始されると、ＣＰＵ１１は、手検出処理を実行する（ステップＳ１０２）。
【0035】
図４及び図５は、手検出処理の制御手順を示すフローチャートである。
手検出処理が呼び出されると、ＣＰＵ１１は、操作者８０及び手８１を撮影した撮影画像５０（撮影画像データ１３２）を取得する（ステップＳ２０１）。また、ＣＰＵ１１は、取得した撮影画像５０において、手８１に対応する手領域の候補（以下では、単に「手８１の候補」と記す）を抽出する（ステップＳ２０２）。撮影画像５０において手８１の候補を抽出する処理は、撮影画像５０において対象物を抽出する処理に相当する。
手検出処理が呼び出されると、ＣＰＵ１１は、操作者８０及び手８１を撮影した撮影画像５０（撮影画像データ１３２）を取得する（ステップＳ２０１）。また、ＣＰＵ１１は、取得した撮影画像５０において、手８１に対応する手領域の候補（以下では、単に「手８１の候補」と記す）を抽出する（ステップＳ２０２）。撮影画像５０において手８１の候補を抽出する処理は、撮影画像５０において対象物を抽出する処理に相当する。
【0036】
図６は、撮影画像５０の例を示す図である。
撮影画像５０は、撮影装置２０が、図２に示す撮影範囲Ｒを撮影して得られたものであり、カラー画像及び深度画像を含む。図６では、このうちのカラー画像が示されている。また、上述のとおり、カラー画像の各画素に、深度画像において対応する画素の深度情報が紐付けられている。図６に示すｘ軸及びｙ軸は、撮影画像５０内の画素の位置を表す直交座標系の座標軸である。図３に示す撮影画像５０においては、スクリーン４０を左手８１Ｌで保持する操作者８０が写っている。また、操作者８０は、右手８１Ｒをスクリーン４０の前方、かつスクリーン４０から離れた位置にかざしており、撮影装置２０から見て右方向に人差し指を向けるジェスチャーを行っている。ステップＳ２０２では、図３に示す撮影画像５０から、手８１の候補として右手８１Ｒ及び左手８１Ｌが抽出される。
撮影画像５０は、撮影装置２０が、図２に示す撮影範囲Ｒを撮影して得られたものであり、カラー画像及び深度画像を含む。図６では、このうちのカラー画像が示されている。また、上述のとおり、カラー画像の各画素に、深度画像において対応する画素の深度情報が紐付けられている。図６に示すｘ軸及びｙ軸は、撮影画像５０内の画素の位置を表す直交座標系の座標軸である。図３に示す撮影画像５０においては、スクリーン４０を左手８１Ｌで保持する操作者８０が写っている。また、操作者８０は、右手８１Ｒをスクリーン４０の前方、かつスクリーン４０から離れた位置にかざしており、撮影装置２０から見て右方向に人差し指を向けるジェスチャーを行っている。ステップＳ２０２では、図３に示す撮影画像５０から、手８１の候補として右手８１Ｒ及び左手８１Ｌが抽出される。
【0037】
ステップＳ２０２において撮影画像５０から手８１の候補を抽出する方法は、特には限られないが、例えば以下のような方法を用いることができる。まず、カラー画像の色情報に基づいて、色に係る閾値処理を行うことで、カラー画像のうち肌の色（手８１の色）に相当する領域を抽出する。次に、抽出された各領域について、指に相当する突出部が含まれるか否かを判別する。抽出された各領域のうち、指に相当する突出部が含まれると判別された領域を、手８１に対応する手領域の候補として抽出する。
なお、この方法は一例であり、カラー画像及び深度画像の少なくとも一方を用いる任意の方法で手８１の候補を抽出することができる。例えば、スクリーン４０のＹ方向の位置が決まっている場合など、操作者８０の手８１が位置するＹ方向の範囲（深度範囲）が予め決まっている場合には、カラー画像に対する上記の閾値処理により抽出された各領域について、深度に係る閾値処理を行うことで、手８１が位置する上記の深度範囲に属する領域を抽出してもよい。
なお、この方法は一例であり、カラー画像及び深度画像の少なくとも一方を用いる任意の方法で手８１の候補を抽出することができる。例えば、スクリーン４０のＹ方向の位置が決まっている場合など、操作者８０の手８１が位置するＹ方向の範囲（深度範囲）が予め決まっている場合には、カラー画像に対する上記の閾値処理により抽出された各領域について、深度に係る閾値処理を行うことで、手８１が位置する上記の深度範囲に属する領域を抽出してもよい。
【0038】
なお、ＣＰＵ１１は、抽出した手８１に相当する手領域を表すマスク画像を生成し、そのマスク画像データを以降の処理に用いてもよい。マスク画像データは、例えば、手領域に対応する画素の画素値を「１」とし、手領域以外の領域に対応する画素の画素値を「０」とした画像である。
【0039】
ＣＰＵ１１は、ステップＳ２０２において手８１の候補が抽出されたか否かを判別する（ステップＳ２０３）。手８１の候補が抽出されたと判別された場合には（ステップＳ２０３で“ＹＥＳ”）、ＣＰＵ１１は、撮影画像５０において、スクリーン４０の画像表示面４１を検出（特定）する（ステップＳ２０４）。画像表示面４１の検出方法は、特には限られないが、例えば、深度画像において深度が連続している平面状の矩形領域を画像表示面４１として抽出する方法や、カラー画像において画像表示面４１（スクリーン４０）の矩形の輪郭線を検出する方法などを用いることができる。あるいは、画像表示面４１（スクリーン４０）の四隅に予め所定の標識を設けておき、撮影画像５０において標識を検出することで画像表示面４１を検出してもよい。また、投影画像Ｉｍに所定の標識を含ませておき、撮影画像５０において標識を検出することで画像表示面４１を検出してもよい。
【0040】
ＣＰＵ１１は、画像表示面４１が検出されたか否かを判別し（ステップＳ２０５）、画像表示面４１が検出されたと判別された場合には（ステップＳ２０５で“ＹＥＳ”）、撮影画像５０において、少なくとも一部が画像表示面４１に重なる手８１の候補があるか否かを判別する（ステップＳ２０６）。ここでは、ＣＰＵ１１は、撮影画像５０内のｘｙ座標平面において、画像表示面４１の矩形の範囲内に、手８１（手領域）の候補に属する画素の少なくとも一部が入っているか否かを判別する。図６に示すように画像表示面４１の一部が手８１などにより隠れている場合には、画像表示面４１の矩形の輪郭線を補完した上で判別を行う。また、ＣＰＵ１１は、或る手８１の一部のみが画像表示面４１に重なっている場合には、当該或る手８１については画像表示面４１に重なっていると判別する。図３に示す例では、右手８１Ｒ及び左手８１Ｌは、その一部が画像表示面４１と重なっているため、画像表示面４１に重なっている手８１の候補と判別される。
【0041】
少なくとも一部が画像表示面４１に重なる手８１の候補があると判別された場合には（ステップＳ２０６で“ＹＥＳ”）、ＣＰＵ１１は、空間における画像表示面４１の位置を導出する（ステップＳ２０７）。ここでは、まず、ＣＰＵ１１は、画像表示面４１の４つの頂点のうち少なくとも３つの頂点について、ＸＹＺ座標空間における座標を特定する。詳しくは、深度画像のうち抽出した画像表示面４１に相当する部分の深度情報に基づいて、撮影装置２０から画像表示面４１の各頂点までの距離を特定し、特定した距離と、カラー画像又は深度画像における画像表示面４１の頂点の位置（ｘｙ座標平面における位置）と、に基づいて、ＸＹＺ座標空間における各頂点の座標を導出する。そして、ＣＰＵ１１は、少なくとも３つの頂点の座標に基づいて、ＸＹＺ座標空間における画像表示面４１の位置を表す平面方程式を導出する。平面方程式は、例えば「ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０」の形式により表される。
【0042】
次に、ＣＰＵ１１は、画像表示面４１から、画像表示面４１に重なる手８１の候補の代表点までの距離を導出する（ステップＳ２０８）。
【0043】
図７は、画像表示面４１と手８１の代表点との距離の導出方法を説明する図である。
図７は、図１に示す操作者８０及びスクリーン４０を＋Ｚ方向から見た図に相当する。図７では、スクリーン４０の画像表示面４１は、Ｚ方向に平行となっている。ただし、画像表示面４１がＺ方向と平行でない場合であっても、以下の方法で距離ｄを導出することができる。
図７は、図１に示す操作者８０及びスクリーン４０を＋Ｚ方向から見た図に相当する。図７では、スクリーン４０の画像表示面４１は、Ｚ方向に平行となっている。ただし、画像表示面４１がＺ方向と平行でない場合であっても、以下の方法で距離ｄを導出することができる。
【0044】
画像表示面４１と手８１の代表点との距離を導出する場合には、まず、ＸＹＺ座標空間における手８１の代表点の座標を導出する。本実施形態では、手８１の代表点は、図６に示す撮影画像５０において、手８１のうち画像表示面４１と重なっている部分の重心（右手８１Ｒについては重心ＧＲ、左手８１Ｌについては重心ＧＬ。以下、任意の手８１の重心を表す場合には「重心Ｇ」と記す）である。また、手８１の重心Ｇは、ＸＹＺ座標空間では、図７に示すように、手８１のうち撮影装置２０に向いている面上の点である。ＣＰＵ１１は、撮影画像５０における重心Ｇに相当する画素の深度情報に基づいて、撮影装置２０から重心Ｇまでの距離を特定し、特定した距離と、カラー画像又は深度画像における重心Ｇの位置と、に基づいて、ＸＹＺ座標空間における重心Ｇの座標を導出する。重心Ｇの座標が導出されると、ＣＰＵ１１は、画像表示面４１の平面方程式を用いて、画像表示面４１から手８１の重心Ｇまでの、画像表示面４１の法線方向についての距離ｄを導出する。
なお、法線方向は、画像表示面４１の完全な法線方向に限られず、略法線方向（法線方向から若干傾斜した方向、例えば、法線方向からのずれ角が±１０度以下である方向）であってもよい。言い換えると、画像表示面４１の略法線方向についての距離ｄを導出してもよい。
また、手８１の代表点は、手８１の重心Ｇに限られない。例えば、図６に示す手８１（手領域）のうち画像表示面４１と重なっている部分に属する画素の平均の深度を導出し、当該平均の深度に最も近い深度の画素を代表点としてもよい。
なお、法線方向は、画像表示面４１の完全な法線方向に限られず、略法線方向（法線方向から若干傾斜した方向、例えば、法線方向からのずれ角が±１０度以下である方向）であってもよい。言い換えると、画像表示面４１の略法線方向についての距離ｄを導出してもよい。
また、手８１の代表点は、手８１の重心Ｇに限られない。例えば、図６に示す手８１（手領域）のうち画像表示面４１と重なっている部分に属する画素の平均の深度を導出し、当該平均の深度に最も近い深度の画素を代表点としてもよい。
【0045】
図４に戻り、ステップＳ２０８が終了すると、ＣＰＵ１１は、画像表示面４１に重なる全ての手８１の候補について距離ｄを導出したか否かを判別する（ステップＳ２０９）。画像表示面４１に重なるいずれかの手８１の候補について距離ｄを導出していないと判別された場合には（ステップＳ２０９で“ＮＯ”）、ＣＰＵ１１は、次の手８１の候補を選択して（ステップＳ２１０）、当該手８１の候補について距離ｄを導出する（ステップＳ２０８）。
【0046】
画像表示面４１に重なる全ての手８１の候補について距離ｄを導出したと判別された場合には（ステップＳ２０９で“ＹＥＳ”）、ＣＰＵ１１は、導出した距離ｄが所定の距離条件を満たしている手８１の候補があるか否かを判別する（図５のステップＳ２１１）。本実施形態では、導出した距離ｄが基準距離ｄｓ以上である場合に、距離ｄが距離条件を満たしていると判別される。ここで、基準距離ｄｓは、図７に示すように、スクリーン４０を保持している手８１（図７では、左手８１Ｌ）の重心Ｇと画像表示面４１との距離ｄよりも大きい値となるように予め定められて記憶部１３に記憶されている。スクリーン４０を保持している手８１の距離ｄは、指の厚さ程度であるため、基準距離ｄｓは、人の手の指の厚さ（人の指の平均的な厚さ。例えば、２．５ｃｍ程度）よりも大きい値とされる。スクリーン４０を保持している手８１が確実に検出対象から除外されるように、基準距離ｄｓは、人の手の指の厚さに対して所定のマージンを加算した値としてもよい。
図７に示す例では、画像表示面４１から右手８１Ｒの重心ＧＲまでの距離ｄは、基準距離ｄｓ以上であると判別される。一方、画像表示面４１から左手８１Ｌの重心ＧＬまでの距離ｄは、基準距離ｄｓ未満であると判別される。
図７に示す例では、画像表示面４１から右手８１Ｒの重心ＧＲまでの距離ｄは、基準距離ｄｓ以上であると判別される。一方、画像表示面４１から左手８１Ｌの重心ＧＬまでの距離ｄは、基準距離ｄｓ未満であると判別される。
【0047】
導出した距離ｄが所定の基準距離ｄｓ以上である手８１の候補があると判別された場合には（ステップＳ２１１で“ＹＥＳ”）、ＣＰＵ１１は、画像表示面４１に重なる手８１の候補のうち、導出した距離ｄが最も大きい１つを除いた手８１の候補を、候補から除外する（ステップＳ２１２）。これにより、画像表示面４１に重なり、かつ画像表示面４１からの距離ｄが基準距離ｄｓ未満である手８１の候補（スクリーン４０を保持している手８１）を、候補から除外することができる。また、導出した距離ｄが基準距離ｄｓ以上である手８１が２つ以上ある場合に、当該２つ以上の手８１のうちジェスチャーの判別に用いる手８１を１つに絞ることができる。図７に示す例では、２つの手８１の候補（右手８１Ｒ及び左手８１Ｌ）のうち、距離ｄが最も大きいのは右手８１Ｒであるので、右手８１Ｒ以外の手８１、すなわち左手８１Ｌは、候補から除外される。
【0048】
画像表示面４１の法線方向の距離ｄに基づいて、画像表示面４１からの距離ｄが基準距離ｄｓ以上であるか否かの判別を行うことで、撮影装置２０と手８１との位置関係によらずに適切に手８１の候補を絞ることができる。例えば、図８に示すように、スクリーン４０を保持している左手８１Ｌの重心ＧＬと、ジェスチャーを行っている右手８１Ｒの重心ＧＲとが、撮影装置２０から等距離にあるような場合であっても、左手８１Ｌを候補から除外し、右手８１Ｒを候補に残すことができる。
【0049】
ステップＳ２１２が終了すると、ＣＰＵ１１は、その時点における手８１の候補のうち、撮影画像５０における面積が最大である手８１の候補を、ジェスチャー判別用の手８１（検出対象）として検出する（ステップＳ２１５）。ステップＳ２１５における面積の判別対象には、画像表示面４１と重ならない手８１の候補も含める。
【0050】
一方、ステップＳ２１１において、導出した距離ｄが所定の基準距離ｄｓ以上である手８１の候補がないと判別された場合には（ステップＳ２１１で“ＮＯ”）、ＣＰＵ１１は、画像表示面４１に重なる全ての手８１の候補を、候補から除外する（ステップＳ２１３）。また、ＣＰＵ１１は、画像表示面４１に重ならない手８１の候補があるか否かを判別し（ステップＳ２１４）、画像表示面４１に重ならない手８１の候補があると判別された場合には（ステップＳ２１４で“ＹＥＳ”）、上述のステップＳ２１５の処理を実行する。
【0051】
また、ステップＳ２０５において、画像表示面４１が検出されなかったと判別された場合（ステップＳ２０５で“ＮＯ”）、及び、ステップＳ２０６において、少なくとも一部が画像表示面４１に重なる手８１の候補がないと判別された場合（ステップＳ２０６で“ＮＯ”）にも、ＣＰＵ１１は、ステップＳ２１５の処理を実行する。
【0052】
ステップＳ２１５が終了した場合、ステップＳ２１４において、画像表示面４１に重ならない手８１の候補がないと判別された場合（ステップＳ２１４で“ＮＯ”）、及び、ステップＳ２０３において、手８１の候補が抽出されなかったと判別された場合には（ステップＳ２０３で“ＮＯ”）、ＣＰＵ１１は、手検出処理を終了させて、処理を図３の機器制御処理に戻す。
【0053】
なお、ステップＳ２１２において、画像表示面４１に重なる手８１の候補のうち、導出した距離ｄが基準距離ｄｓ以上である全ての手８１を候補として残し（距離ｄが基準距離ｄｓ未満である手８１のみを候補から除外し）、ステップＳ２１５において、残した手８１の候補の中から面積が最大であるものをジェスチャー判別用の手８１として検出してもよい。
また、ステップＳ２１５において、面積が最大であるものをジェスチャー判別用の手８１として検出したが、これ以外の方法で１つのジェスチャー判別用の手８１を決定してもよい。例えば、手８１の指の形状などに基づいて、手８１である可能性の高さの指標値を導出し、最も指標値が大きい手８１を、ジェスチャー判別用の手８１として検出してもよい。
また、ステップＳ２１５において、面積が最大であるものをジェスチャー判別用の手８１として検出したが、これ以外の方法で１つのジェスチャー判別用の手８１を決定してもよい。例えば、手８１の指の形状などに基づいて、手８１である可能性の高さの指標値を導出し、最も指標値が大きい手８１を、ジェスチャー判別用の手８１として検出してもよい。
【0054】
図３の手検出処理（ステップＳ１０２）が終了すると、ＣＰＵ１１は、手検出処理において、ジェスチャー判別用の手８１が検出されたか否かを判別する（ステップＳ１０３）。手８１が検出されたと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、ＣＰＵ１１は、手８１における指の向き、又は、複数フレームの撮影画像５０にわたる指の先端の位置の動きから、操作者８０の手８１によるジェスチャーを検出したか否かを判別する（ステップＳ１０４）。ジェスチャーを検出したと判別された場合には（ステップＳ１０４で“ＹＥＳ”）、ＣＰＵ１１は、検出したジェスチャーに応じた動作を行わせるための制御信号を、プロジェクタ３０に送信する（ステップＳ１０５）。当該制御信号を受信したプロジェクタ３０は、制御信号に応じた動作を行う。
【0055】
ステップＳ１０５が終了した場合、ステップＳ１０３において手８１が検出されていないと判別された場合（ステップＳ１０３で“ＮＯ”）、又は、ステップＳ１０４においてジェスチャーが検出されないと判別された場合には（ステップＳ１０４で“ＮＯ”）、ＣＰＵ１１は、情報処理システム１におけるジェスチャーの受け付けを終了するか否かを判別する（ステップＳ１０６）。ここでは、ＣＰＵ１１は、例えば、検出装置１０、撮影装置２０又はプロジェクタ３０の電源をオフする操作がなされている場合に、ジェスチャーの受け付けを終了すると判別する。
【0056】
ジェスチャーの受け付けを終了しないと判別された場合には（ステップＳ１０６で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０２に戻し、次のフレーム期間に撮影された撮影画像に基づいて手８１を検出するための手検出処理を実行する。ステップＳ１０２～Ｓ１０６のループ処理は、例えば、カラーカメラ２１及び深度カメラ２２による撮影のフレームレートで（すなわち、カラー画像及び深度画像が生成されるたびに）繰り返し実行される。
ジェスチャーの受け付けを終了すると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、ＣＰＵ１１は、機器制御処理を終了させる。
ジェスチャーの受け付けを終了すると判別された場合には（ステップＳ１０６で“ＹＥＳ”）、ＣＰＵ１１は、機器制御処理を終了させる。
【0057】
＜変形例＞
続いて、上記実施形態の変形例について説明する。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する構成については、共通の符号を付して説明を省略する。
続いて、上記実施形態の変形例について説明する。以下では、上記実施形態との相違点について説明し、上記実施形態と共通する構成については、共通の符号を付して説明を省略する。
【0058】
図９は、変形例におけるスクリーン４０と操作者８０との位置関係を示す図である。
本変形例では、スクリーン４０が壁に掛けられており、操作者８０は、スクリーン４０に対向する位置（スクリーン４０の－Ｙ方向側の位置）に立って、スクリーン４０に投影されている投影画像Ｉｍを見ている。また、操作者８０は、右手８１Ｒで、プロジェクタ３０を操作するためのジェスチャーを行っている。撮影装置２０による撮影範囲Ｒは、操作者８０のうちの少なくとも上半身と、スクリーン４０とを含む。
本変形例では、スクリーン４０が壁に掛けられており、操作者８０は、スクリーン４０に対向する位置（スクリーン４０の－Ｙ方向側の位置）に立って、スクリーン４０に投影されている投影画像Ｉｍを見ている。また、操作者８０は、右手８１Ｒで、プロジェクタ３０を操作するためのジェスチャーを行っている。撮影装置２０による撮影範囲Ｒは、操作者８０のうちの少なくとも上半身と、スクリーン４０とを含む。
【0059】
図１０は、変形例に係る撮影画像５０の例を示す図である。
撮影画像５０は、撮影装置２０が、図９における撮影範囲Ｒを撮影して得られたものである。図１０に示す撮影画像５０においては、スクリーン４０と、スクリーン４０の画像表示面４１側に位置する操作者８０とが写っている。また、撮影画像５０において、操作者８０の右手８１Ｒが画像表示面４１と重なっている。また、画像表示面４１に投影されている投影画像Ｉｍには、人物及び当該人物の手８１Ｉの画像が含まれているものとする。
撮影画像５０は、撮影装置２０が、図９における撮影範囲Ｒを撮影して得られたものである。図１０に示す撮影画像５０においては、スクリーン４０と、スクリーン４０の画像表示面４１側に位置する操作者８０とが写っている。また、撮影画像５０において、操作者８０の右手８１Ｒが画像表示面４１と重なっている。また、画像表示面４１に投影されている投影画像Ｉｍには、人物及び当該人物の手８１Ｉの画像が含まれているものとする。
【0060】
このような撮影画像５０についての手検出処理（図４）では、ステップＳ２０２において、手８１の候補として、操作者８０の右手８１Ｒと、投影画像Ｉｍ内の人物の手８１Ｉとが抽出される。また、ステップＳ２０６において、これらの右手８１Ｒ及び手８１Ｉが、画像表示面４１に重なる手８１の候補として判別される。そして、ステップＳ２０８において、画像表示面４１から右手８１Ｒの重心ＧＲまでの距離ｄ、及び、画像表示面４１から手８１Ｉの重心ＧＩまでの距離ｄが導出され、ステップＳ２１１において、導出された距離ｄが基準距離ｄｓ以上であるか否かが判別される。
【0061】
操作者８０の右手８１Ｒは、画像表示面４１から基準距離ｄｓ以上離れているため、当該右手８１Ｒの距離ｄは、基準距離ｄｓ以上であると判別され、右手８１Ｒは、ジェスチャー判別用の手８１の候補として残される。このように、操作者８０がスクリーン４０の画像表示面４１側に位置している場合にも、操作者８０の手８１を、ジェスチャー判別用の手８１の候補として検出することができる。
【0062】
一方、投影画像Ｉｍに含まれる人物の手８１Ｉは、ＸＹＺ座標空間における重心ＧＩの位置が画像表示面４１上にあるため、導出される距離ｄは０となり、基準距離ｄｓ未満であると判別される。よって、投影画像Ｉｍに含まれる人物の手８１Ｉは、ジェスチャー判別用の手８１の候補から除外される。このように、手８１Ｉを含む投影画像Ｉｍが画像表示面４１に投影されている場合において、当該手８１Ｉを候補から適切に除外することができる。
【0063】
また、スクリーン４０と操作者８０との位置関係は、図９に示したものに限られない。例えば、卓上に略水平に載置された（又は、略水平となるように操作者８０により保持された）スクリーン４０に対して、鉛直方向上方に設けられたプロジェクタ３０から鉛直方向下方に向けて投影画像Ｉｍを投影する態様において、スクリーン４０とプロジェクタ３０との間に手８１をかざしてジェスチャーを行ってもよい。この場合には、スクリーン４０の鉛直方向上方に撮影装置２０を設けて、スクリーン４０及び操作者８０の手８１を撮影すればよい。
【0064】
＜効果＞
以上のように、本実施形態に係る検出方法は、コンピュータとしてのＣＰＵ１１が実行する検出方法であって、スクリーン４０の画像表示面４１（基準面）及び手８１（対象物）の奥行きに係る深度情報を取得し、深度情報に基づいて、画像表示面４１から手８１の重心Ｇ（代表点）までの、画像表示面４１に対する略法線方向の距離ｄを導出し、導出された距離ｄが所定の距離条件を満たしている手８１を、検出対象として検出する。これにより、ジェスチャーを行っていない手８１（スクリーン４０を保持している手８１や、スクリーン４０の画像表示面４１に画像として表示されている手８１Ｉ等）を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。また、画像表示面４１の略法線方向の距離ｄに基づいて判別を行うことで、撮影装置２０と手８１との位置関係によらずに適切に手８１の候補を絞ることができる。また、パターンマッチングや機械学習といった高度の情報処理を必要としないため、簡素な構成の検出装置１０のコンピュータにより上記方法を実行することができる。
以上のように、本実施形態に係る検出方法は、コンピュータとしてのＣＰＵ１１が実行する検出方法であって、スクリーン４０の画像表示面４１（基準面）及び手８１（対象物）の奥行きに係る深度情報を取得し、深度情報に基づいて、画像表示面４１から手８１の重心Ｇ（代表点）までの、画像表示面４１に対する略法線方向の距離ｄを導出し、導出された距離ｄが所定の距離条件を満たしている手８１を、検出対象として検出する。これにより、ジェスチャーを行っていない手８１（スクリーン４０を保持している手８１や、スクリーン４０の画像表示面４１に画像として表示されている手８１Ｉ等）を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。また、画像表示面４１の略法線方向の距離ｄに基づいて判別を行うことで、撮影装置２０と手８１との位置関係によらずに適切に手８１の候補を絞ることができる。また、パターンマッチングや機械学習といった高度の情報処理を必要としないため、簡素な構成の検出装置１０のコンピュータにより上記方法を実行することができる。
【0065】
また、画像表示面４１及び手８１を含む撮影画像５０を取得し、撮影画像５０及び深度情報に基づいて、画像表示面４１から手８１の重心Ｇまでの距離ｄを導出する。これにより、撮影画像５０から簡易かつ適切に検出対象の候補となる手８１を抽出することができる。
【0066】
また、画像表示面４１及び手８１を含む撮影画像５０を取得し、撮影画像５０において、少なくとも一部が画像表示面４１に重なる手８１を抽出し、深度情報に基づいて、画像表示面４１から手８１の重心Ｇまでの距離ｄを導出する。これにより、ジェスチャーを行っていない手８１が、撮影画像５０のうち画像表示面４１に重なる領域に写っている場合であっても、これらの手８１を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。
【0067】
また、導出された距離ｄが基準距離ｄｓ以上である場合に、距離ｄが距離条件を満たすと判別することで、簡易かつ適切に、ジェスチャーを行っていない手８１を検出対象から除外することができる。
【0068】
また、手８１が２つ以上抽出された場合には、導出された距離ｄが距離条件を満たしている手８１のうち、導出された距離ｄが最も大きい手８１を検出対象として検出する。これにより、ジェスチャーの判別に用いる手８１を、簡易かつ適切に１つに絞ることができる。
【0069】
また、代表点は、撮影画像５０において、手８１の候補のうち画像表示面４１に重なる部分の重心Ｇである。これにより、手８１のうち画像表示面４１と重なる部分と、画像表示面４１との距離を適切に導出することができる。
【0070】
また、検出対象は人の手８１であり、スクリーン４０は、人の手８１により保持されている。このような場合において、スクリーン４０を保持している手８１を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。
【0071】
また、変形例において、検出対象は人の手８１であり、撮影画像５０は、スクリーン４０の画像表示面４１側に位置する人の手８１を含む撮影範囲Ｒを撮影した画像である。これにより、スクリーン４０の画像表示面４１側においてジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。
【0072】
また、部材としてのスクリーン４０の基準面は、投影画像Ｉｍが投影（表示）される画像表示面４１である。これにより、スクリーン４０の画像表示面４１に画像として表示されている手８１Ｉを検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。
【0073】
また、本実施形態に係る検出装置１０は、スクリーン４０の画像表示面４１及び手８１の奥行きに係る深度情報を取得し、深度情報に基づいて、画像表示面４１から手８１の候補の重心Ｇ（代表点）までの、画像表示面４１に対する略法線方向の距離ｄを導出し、導出された距離ｄが所定の距離条件を満たしている手８１を、検出対象として検出する。これにより、ジェスチャーを行っていない手８１を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。また、撮影装置２０と手８１との位置関係によらずに適切に手８１の候補を絞ることができる。また、パターンマッチングや機械学習といった高度の情報処理を必要としないため、ＣＰＵ１１の処理負荷を低く抑えることができる。
【0074】
また、本実施形態に係るプログラム１３１は、コンピュータとしてのＣＰＵ１１に、スクリーン４０の画像表示面４１及び手８１の奥行きに係る深度情報を取得する処理、深度情報に基づいて、画像表示面４１から手８１の候補の重心Ｇ（代表点）までの、画像表示面４１に対する略法線方向の距離ｄを導出する処理、導出された距離ｄが所定の距離条件を満たしている手８１を、検出対象として検出する処理、を実行させる。これにより、ジェスチャーを行っていない手８１を検出対象から除外し、ジェスチャーを行っている操作者８０の手８１を検出対象として適切に検出することができる。また、撮影装置２０と手８１との位置関係によらずに適切に手８１の候補を絞ることができる。また、パターンマッチングや機械学習といった高度の情報処理を必要としないため、ＣＰＵ１１の処理負荷を低く抑えることができる。
【0075】
＜その他＞
なお、上記実施形態における記述は、本発明に係る検出方法、検出装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施形態では、検出装置１０、撮影装置２０、及びプロジェクタ３０（ジェスチャーによる操作対象機器）が別個となっている例を用いて説明したが、この態様に限られない。
例えば、検出装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、検出装置１０の表示部１５のベゼルに、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０に検出装置１０の機能を組み込み、検出装置１０が実行していた処理をプロジェクタ３０の図示しないＣＰＵが実行してもよい。この場合には、プロジェクタ３０が「検出装置」に相当し、プロジェクタ３０のＣＰＵが「処理部」に相当する。
また、撮影装置２０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０の筐体に、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０、撮影装置２０及び操作対象機器が全て一体となっていてもよい。例えば、操作対象機器としての検出装置１０の表示部１５のベゼルにカラーカメラ２１及び深度カメラ２２が組み込まれた態様において、操作者８０の手８１（指８２）のジェスチャーにより検出装置１０の動作を制御してもよい。
なお、上記実施形態における記述は、本発明に係る検出方法、検出装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施形態では、検出装置１０、撮影装置２０、及びプロジェクタ３０（ジェスチャーによる操作対象機器）が別個となっている例を用いて説明したが、この態様に限られない。
例えば、検出装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、検出装置１０の表示部１５のベゼルに、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０に検出装置１０の機能を組み込み、検出装置１０が実行していた処理をプロジェクタ３０の図示しないＣＰＵが実行してもよい。この場合には、プロジェクタ３０が「検出装置」に相当し、プロジェクタ３０のＣＰＵが「処理部」に相当する。
また、撮影装置２０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０の筐体に、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０、撮影装置２０及び操作対象機器が全て一体となっていてもよい。例えば、操作対象機器としての検出装置１０の表示部１５のベゼルにカラーカメラ２１及び深度カメラ２２が組み込まれた態様において、操作者８０の手８１（指８２）のジェスチャーにより検出装置１０の動作を制御してもよい。
【0076】
また、操作者８０は人に限られず、ロボットや動物等であってもよい。
【0077】
また、上記実施形態では、「部材」としてスクリーン４０を例示し、「基準面」として投影画像Ｉｍが投影される画像表示面４１（投影面）を例示したが、これらに限定する趣旨ではない。
例えば、「部材」は、液晶表示装置等の表示装置であってもよく、「基準面」は、当該表示装置の画像表示面であってもよい。
また、「部材」は、手８１によるジェスチャーを検出しやすくするために、操作者８０が手８１の背景となる位置に保持する板状部材であってもよい。この場合には、板状部材のうち撮影装置２０側の面が「基準面」に相当する。
例えば、「部材」は、液晶表示装置等の表示装置であってもよく、「基準面」は、当該表示装置の画像表示面であってもよい。
また、「部材」は、手８１によるジェスチャーを検出しやすくするために、操作者８０が手８１の背景となる位置に保持する板状部材であってもよい。この場合には、板状部材のうち撮影装置２０側の面が「基準面」に相当する。
【0078】
また、上記実施形態では、操作者８０が手８１によって行うジェスチャーは、手８１の指の向き又は動きによって行うジェスチャーであるものとしたが、これに限られず、例えば手８１の全体の動きによって行うジェスチャー等であってもよい。
また、画像表示面４１を指先でタッチするジェスチャーであってもよい。このように画像表示面４１を直接タッチする場合においても、手８１の重心Ｇの位置（手の甲の部分）は、通常、画像表示面４１から基準距離ｄｓ以上離れているため、上記実施形態の方法で、検出対象の手８１の候補として残すことができる。また、当該ジェスチャーの検出は、指先と画像表示面４１との位置関係が複数フレームにわたって変化しているか否かの判別を伴っていてもよい。
また、画像表示面４１を指先でタッチするジェスチャーであってもよい。このように画像表示面４１を直接タッチする場合においても、手８１の重心Ｇの位置（手の甲の部分）は、通常、画像表示面４１から基準距離ｄｓ以上離れているため、上記実施形態の方法で、検出対象の手８１の候補として残すことができる。また、当該ジェスチャーの検出は、指先と画像表示面４１との位置関係が複数フレームにわたって変化しているか否かの判別を伴っていてもよい。
【0079】
また、上記実施形態では、深度カメラ２２により撮影された深度画像の深度情報に基づいて、図７に示す画像表示面４１から手８１の重心Ｇ（代表点）までの距離ｄを導出したが、距離ｄの導出に用いる深度情報は、深度カメラ２２により取得されたものに限られない。例えば、操作者８０の上方（＋Ｚ方向）から操作者８０及びスクリーン４０を撮影する距離導出用カメラを設け、当該距離導出用カメラによる撮影画像から、手８１の奥行きに係る深度情報を取得して、距離ｄを導出してもよい。この場合には、距離導出用カメラによる撮影画像における手８１及びスクリーン４０と、撮影装置２０による撮影画像における手８１及びスクリーン４０とを対応付けることで、距離導出用カメラによる撮影画像において距離ｄを導出する位置を特定することができる。
【0080】
また、図６等に示す撮影画像５０を取得しなくても、スクリーン４０の画像表示面４１（基準面）及び手８１（対象物）の深度情報が取得できれば、当該深度情報に基づいて検出対象の手８１を検出することができる。すなわち、撮影画像５０とは別個に深度情報を取得できる場合には、撮影画像５０の取得を省略してもよい。この場合において、深度情報の取得に用いる機器は、上記実施形態の深度カメラ２２であってもよいし、ミリ波レーダーや光波測距計などの測距装置であってもよい。
【0081】
また、上記実施形態では、撮影範囲Ｒにスクリーン４０の画像表示面４１の全体が含まれている場合を例に挙げて説明したが、これに限られず、画像表示面４１の一部のみが撮影範囲Ｒに含まれる態様、すなわち、撮影画像５０に画像表示面４１の一部のみが写る態様であってもよい。
【0082】
また、画像表示面４１は、平面に限られず、曲面であってもよい。この場合にも、深度情報に基づいて空間における画像表示面４１の位置を導出し、距離ｄとして、曲面である画像表示面４１から手８１の代表点までの最短距離を導出すればよい。
【0083】
また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３のＨＤＤ、ＳＳＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【0084】
また、上記実施形態における検出装置１０、撮影装置２０及びプロジェクタ３０の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【0085】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピュータが実行する検出方法であって、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
検出方法。
＜請求項２＞
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像及び前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
＜請求項３＞
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像において、少なくとも一部が前記基準面に重なる前記対象物を抽出し、
前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
＜請求項４＞
導出された前記距離が基準距離以上である場合に、前記距離が前記距離条件を満たすと判別する、
請求項１に記載の検出方法。
＜請求項５＞
前記対象物が２つ以上抽出された場合には、導出された前記距離が前記距離条件を満たしている前記対象物のうち、導出された前記距離が最も大きい前記対象物を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項６＞
前記代表点は、前記撮影画像において、前記検出対象の候補のうち前記基準面に重なる部分の重心である、請求項２又は３に記載の検出方法。
＜請求項７＞
前記検出対象は人の手であり、
前記部材は、前記人の手により保持されている、
請求項１に記載の検出方法。
＜請求項８＞
前記検出対象は人の手であり、
前記撮影画像は、前記部材の前記基準面側に位置する前記人の前記手を含む撮影範囲を撮影した画像である、
請求項２又は３に記載の検出方法。
＜請求項９＞
前記部材の前記基準面は、画像が表示される画像表示面である、
請求項１に記載の検出方法。
＜請求項１０＞
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える検出装置。
＜請求項１１＞
コンピュータに、
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させるプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピュータが実行する検出方法であって、
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
検出方法。
＜請求項２＞
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像及び前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
＜請求項３＞
前記基準面及び前記対象物を含む撮影画像を取得し、
前記撮影画像において、少なくとも一部が前記基準面に重なる前記対象物を抽出し、
前記深度情報に基づいて、前記基準面から前記対象物の前記代表点までの前記距離を導出する、
請求項１に記載の検出方法。
＜請求項４＞
導出された前記距離が基準距離以上である場合に、前記距離が前記距離条件を満たすと判別する、
請求項１に記載の検出方法。
＜請求項５＞
前記対象物が２つ以上抽出された場合には、導出された前記距離が前記距離条件を満たしている前記対象物のうち、導出された前記距離が最も大きい前記対象物を前記検出対象として検出する、
請求項１に記載の検出方法。
＜請求項６＞
前記代表点は、前記撮影画像において、前記検出対象の候補のうち前記基準面に重なる部分の重心である、請求項２又は３に記載の検出方法。
＜請求項７＞
前記検出対象は人の手であり、
前記部材は、前記人の手により保持されている、
請求項１に記載の検出方法。
＜請求項８＞
前記検出対象は人の手であり、
前記撮影画像は、前記部材の前記基準面側に位置する前記人の前記手を含む撮影範囲を撮影した画像である、
請求項２又は３に記載の検出方法。
＜請求項９＞
前記部材の前記基準面は、画像が表示される画像表示面である、
請求項１に記載の検出方法。
＜請求項１０＞
部材の基準面及び対象物の奥行きに係る深度情報を取得し、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出し、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する、
処理部を備える検出装置。
＜請求項１１＞
コンピュータに、
部材の基準面及び対象物の奥行きに係る深度情報を取得する処理、
前記深度情報に基づいて、前記基準面から前記対象物の代表点までの、前記基準面に対する略法線方向の距離を導出する処理、
導出された前記距離が所定の距離条件を満たしている前記対象物を検出対象として検出する処理、
を実行させるプログラム。
【符号の説明】
【0086】
１ 情報処理システム
１０ 検出装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
２１ カラーカメラ
２２ 深度カメラ
３０ プロジェクタ
４０ スクリーン（部材）
４１ 画像表示面（基準面）
５０ 撮影画像
８０ 操作者（被写体）
８１、８１Ｌ、８１Ｒ、８１Ｉ 手（対象物、検出対象の候補、検出対象）
Ｇ、ＧＬ、ＧＲ、ＧＩ 重心（代表点）
Ｉｍ 投影画像
Ｒ 撮影範囲
ｄ 距離
ｄｓ 基準距離
１０ 検出装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
２１ カラーカメラ
２２ 深度カメラ
３０ プロジェクタ
４０ スクリーン（部材）
４１ 画像表示面（基準面）
５０ 撮影画像
８０ 操作者（被写体）
８１、８１Ｌ、８１Ｒ、８１Ｉ 手（対象物、検出対象の候補、検出対象）
Ｇ、ＧＬ、ＧＲ、ＧＩ 重心（代表点）
Ｉｍ 投影画像
Ｒ 撮影範囲
ｄ 距離
ｄｓ 基準距離
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】