ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032041
(43)【公開日】2024-03-12
(54)【発明の名称】検出方法、検出装置及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240305BHJP
【ＦＩ】
G06T7/00 660Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022135470
(22)【出願日】2022-08-29
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】井上 聖
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096BA08
5L096CA04
5L096DA02
5L096EA43
5L096FA06
5L096FA59
5L096FA69
(57)【要約】
【課題】より簡易に対象における突出部を検出することができる検出方法、検出装置及びプログラムを提供する。
【解決手段】コンピュータが実行する検出方法は、対象を撮影して得られた撮影画像において、対象に対応する対象領域を抽出し、対象領域の中から、対象の突出部を代表する代表点の候補となる候補点を抽出し、領域設定規則に従って、候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、設定された仮想図形領域と、対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、候補点を、代表点として検出する。
【選択図】図１２Ａ
【解決手段】コンピュータが実行する検出方法は、対象を撮影して得られた撮影画像において、対象に対応する対象領域を抽出し、対象領域の中から、対象の突出部を代表する代表点の候補となる候補点を抽出し、領域設定規則に従って、候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、設定された仮想図形領域と、対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、候補点を、代表点として検出する。
【選択図】図１２Ａ
【特許請求の範囲】
【請求項1】
コンピュータが実行する検出方法であって、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
検出方法。
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
検出方法。
【請求項2】
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件である、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項3】
前記対象領域の中から、複数の前記突出部に対応する複数の前記候補点を抽出し、
前記複数の候補点の各々に対して前記仮想図形領域を設定し、
前記複数の候補点のうち、対応する前記仮想図形領域と、前記対象領域とが前記重複条件を満たしている候補点を前記代表点として検出する、
請求項１に記載の検出方法。
前記複数の候補点の各々に対して前記仮想図形領域を設定し、
前記複数の候補点のうち、対応する前記仮想図形領域と、前記対象領域とが前記重複条件を満たしている候補点を前記代表点として検出する、
請求項１に記載の検出方法。
【請求項4】
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件であり、
前記複数の候補点のうち、対応する前記重複領域の面積が前記面積条件を満たしている候補点が複数ある場合には、前記仮想図形領域の面積に対する前記重複領域の面積の割合が小さい順に、規定数以下の候補点を前記代表点として検出する、
請求項３に記載の検出方法。
前記複数の候補点のうち、対応する前記重複領域の面積が前記面積条件を満たしている候補点が複数ある場合には、前記仮想図形領域の面積に対する前記重複領域の面積の割合が小さい順に、規定数以下の候補点を前記代表点として検出する、
請求項３に記載の検出方法。
【請求項5】
前記対象が手であり、前記突出部が指である場合には、前記規定数は５以下に定められる、
請求項４に記載の検出方法。
請求項４に記載の検出方法。
【請求項6】
前記領域設定規則に従って、前記仮想図形の輪郭線が前記対象領域の重心と前記候補点とを通るように前記仮想図形領域を設定する、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項7】
前記領域設定規則に従って設定される仮想図形領域に係る前記仮想図形は、前記対象領域の重心と、前記候補点とを結ぶ線分を直径とする円である、
請求項１に記載の検出方法。
請求項１に記載の検出方法。
【請求項8】
前記代表点は、前記対象領域の輪郭線上にある複数の輪郭点のいずれかであり、
前記候補点を、前記複数の輪郭点の中から抽出する、
請求項１に記載の検出方法。
前記候補点を、前記複数の輪郭点の中から抽出する、
請求項１に記載の検出方法。
【請求項9】
前記代表点は、前記対象領域における前記突出部の先端に対応する点である、
請求項８に記載の検出方法。
請求項８に記載の検出方法。
【請求項10】
前記対象領域を包含する最小の凸多角形の頂点である複数の凸包点の中から前記候補点を抽出する、
請求項８に記載の検出方法。
請求項８に記載の検出方法。
【請求項11】
前記複数の凸包点を代表する複数の代表凸包点のうち、突出形状の先端に位置する場合に満たされる先端条件を満たす代表凸包点を、前記候補点として抽出する、請求項１０に記載の検出方法。
【請求項12】
前記複数の代表凸包点の各々について、
前記代表凸包点と、当該代表凸包点を挟む１組の前記輪郭点のうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点についてそれぞれ前記仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が長い前記輪郭点の組ほど前記仮想線分がなす角度が小さい場合に、前記代表凸包点が前記先端条件を満たすと判別し、
前記複数の代表凸包点のうち前記先端条件を満たすと判別された代表凸包点を、前記候補点として抽出する、
請求項１１に記載の検出方法。
前記代表凸包点と、当該代表凸包点を挟む１組の前記輪郭点のうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点についてそれぞれ前記仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が長い前記輪郭点の組ほど前記仮想線分がなす角度が小さい場合に、前記代表凸包点が前記先端条件を満たすと判別し、
前記複数の代表凸包点のうち前記先端条件を満たすと判別された代表凸包点を、前記候補点として抽出する、
請求項１１に記載の検出方法。
【請求項13】
前記複数の凸包点が、或る凸包点から基準距離の範囲内に分布する凸包点群を含む場合には、前記凸包点群のうち前記対象領域の重心から最も遠い凸包点を前記複数の代表凸包点の１つとして抽出し、
前記複数の凸包点のうちの或る前記凸包点から前記基準距離の範囲内に他の凸包点がない場合には、前記或る凸包点を前記複数の代表凸包点の１つとして抽出する、
請求項１１又は１２に記載の検出方法。
前記複数の凸包点のうちの或る前記凸包点から前記基準距離の範囲内に他の凸包点がない場合には、前記或る凸包点を前記複数の代表凸包点の１つとして抽出する、
請求項１１又は１２に記載の検出方法。
【請求項14】
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える検出装置。
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える検出装置。
【請求項15】
コンピュータに、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させるプログラム。
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出方法、検出装置及びプログラムに関する。
【背景技術】
【0002】
従来、操作者のジェスチャーを検出し、検出されたジェスチャーに応じて機器の動作を制御する技術がある。この技術では、操作者を撮影して得られた撮影画像において、操作者の体のうちジェスチャーを行う特定の一部（例えば、手）を、対象として検出する。さらに、対象における突出部（例えば、手における指）を検出し、突出部の向きや突出部の先端（例えば、指先）の位置などをジェスチャーの要素として検出する技術も提案されている。突出部を検出する方法として、特許文献１には、手の輪郭線上の各点について当該各点における輪郭線の曲率を算出し、算出した曲率が所定値よりも小さい点を指の先端として検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１０７４５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の従来技術では、輪郭線上の各点において輪郭線の曲率を算出するために膨大な処理が必要になる。また、撮影画像の解像度が低い場合や、対象までの距離が遠い場合には、撮影画像において突出部に相当する画素数が少なくなるため、突出部を正確に検出することが困難となる。
このように、上記の従来技術には、対象における突出部を簡易かつ正確に検出することが困難であるという課題がある。
このように、上記の従来技術には、対象における突出部を簡易かつ正確に検出することが困難であるという課題がある。
【0005】
この発明の目的は、より簡易かつ正確に対象における突出部を検出することができる検出方法、検出装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る検出方法は、
コンピュータが実行する検出方法であって、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する。
コンピュータが実行する検出方法であって、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する。
【0007】
上記課題を解決するため、本発明に係る検出装置は、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える。
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える。
【0008】
上記課題を解決するため、本発明に係るプログラムは、
コンピュータに、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させる。
コンピュータに、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させる。
【発明の効果】
【0009】
本発明によれば、より簡易かつ正確に対象における突出部を検出することができる。
【図面の簡単な説明】
【0010】
【図1】情報処理システムの構成を示す模式図である。
【図2】検出装置の機能構成を示すブロック図である。
【図3】機器制御処理の制御手順を示すフローチャートである。
【図4】指検出処理の制御手順を示すフローチャートである。
【図5】マスク画像の例を示す図である。
【図6】指領域における複数の凸包点から代表凸包点を抽出する方法を説明する図である。
【図7A】抽出された代表凸包点を示す図である。
【図7B】抽出された候補点を示す図である。
【図8】先端条件判別処理の制御手順を示すフローチャートである。
【図9】判別用輪郭点、及び仮想線分の例を示す図である。
【図10】角度θａ～θｃを示す図である。
【図11】面積条件判別処理の制御手順を示すフローチャートである。
【図12A】面積条件の判別方法を説明する図である。
【図12B】抽出された代表点を示す図である。
【図13】指を広げた状態の手が撮影された場合の代表点の検出結果を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて説明する。
【0012】
＜情報処理システムの概要＞
図１は、本実施形態の情報処理システム１の構成を示す模式図である。
情報処理システム１は、検出装置１０と、撮影装置２０と、プロジェクタ３０とを備える。検出装置１０は、無線又は有線により撮影装置２０及びプロジェクタ３０と通信接続されており、撮影装置２０及びプロジェクタ３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。
図１は、本実施形態の情報処理システム１の構成を示す模式図である。
情報処理システム１は、検出装置１０と、撮影装置２０と、プロジェクタ３０とを備える。検出装置１０は、無線又は有線により撮影装置２０及びプロジェクタ３０と通信接続されており、撮影装置２０及びプロジェクタ３０との間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。
【0013】
情報処理システム１の検出装置１０は、操作者８０（被写体）が手８１（対象）によって行うジェスチャーを検出し、検出したジェスチャーに応じてプロジェクタ３０の動作（投影画像Ｉｍの投影動作や、各種設定を変更する動作等）を制御する情報処理装置である。詳しくは、撮影装置２０は、撮影装置２０の正面に位置する操作者８０及び操作者８０の手８１を撮影して、撮影画像Ｉｍの画像データを検出装置１０に送信する。検出装置１０は、撮影装置２０から受信した画像データを解析して、操作者８０の手８１の指８２（突出部）を検出し、操作者８０が指８２によって所定のジェスチャーを行ったか否かを判別する。検出装置１０は、操作者８０が、指８２によって所定のジェスチャーを行ったと判別すると、制御信号をプロジェクタ３０に送信し、検出したジェスチャーに応じた動作を行うようにプロジェクタ３０を制御する。これにより、例えば、操作者８０が、投影画像Ｉｍに向かって右方向に一本の指８２（例えば、人差し指）を向けるジェスチャーを行うことで、プロジェクタ３０が投影している投影画像Ｉｍを次の投影画像Ｉｍに切り替え、一本の指８２を左方向に向けるジェスチャーを行うことで、投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える、といった直感的な操作が可能となる。
【0014】
＜情報処理システムの構成＞
図２は、検出装置１０の機能構成を示すブロック図である。
検出装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。検出装置１０の各部は、バス１７を介して接続されている。検出装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。
図２は、検出装置１０の機能構成を示すブロック図である。
検出装置１０は、ＣＰＵ１１（Central Processing Unit）と、ＲＡＭ１２（Random Access Memory）と、記憶部１３と、操作部１４と、表示部１５と、通信部１６と、バス１７などを備える。検出装置１０の各部は、バス１７を介して接続されている。検出装置１０は、本実施形態ではノートＰＣであるが、これに限られず、例えば据置型のＰＣ、スマートフォン、又はタブレット型端末などであってもよい。
【0015】
ＣＰＵ１１は、記憶部１３に記憶されているプログラム１３１を読み出して実行し、各種演算処理を行うことで、検出装置１０の動作を制御するプロセッサである。ＣＰＵ１１は、「処理部」に相当する。なお、検出装置１０は、複数のプロセッサ（複数のＣＰＵ等）を有していてもよく、本実施形態のＣＰＵ１１が実行する複数の処理を、当該複数のプロセッサが実行してもよい。この場合には、複数のプロセッサが「処理部」に相当する。また、この場合において、複数のプロセッサが共通の処理に関与してもよいし、あるいは、複数のプロセッサが独立に異なる処理を並列に実行してもよい。
【0016】
ＲＡＭ１２は、ＣＰＵ１１に作業用のメモリ空間を提供し、一時データを記憶する。
【0017】
記憶部１３は、コンピュータとしてのＣＰＵ１１により読み取り可能な非一時的な記録媒体であり、プログラム１３１及び各種データを記憶する。記憶部１３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。プログラム１３１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１３に格納されている。記憶部１３に記憶されるデータとしては、撮影装置２０から受信したカラー画像及び深度画像に係る撮影画像データ１３２、及び後述する指検出処理で生成されるマスク画像４０に係るマスク画像データ１３３などがある。
【0018】
操作部１４は、表示部１５の表示画面に重ねられて設けられたタッチパネル、物理ボタン、マウスなどのポインティングデバイス、及びキーボードなどの入力装置のうち少なくとも１つを有し、入力装置に対する入力操作に応じた操作情報をＣＰＵ１１に出力する。
【0019】
表示部１５は、液晶ディスプレイなどの表示装置を備え、ＣＰＵ１１からの表示制御信号に従って表示装置において各種表示を行う。
【0020】
通信部１６は、ネットワークカード又は通信モジュール等により構成され、撮影装置２０及びプロジェクタ３０との間で所定の通信規格に従ってデータの送受信を行う。
【0021】
図１に示す撮影装置２０は、カラーカメラ２１及び深度カメラ２２を備える。
カラーカメラ２１は、操作者８０及びその背景を含む撮影範囲を撮影して、撮影範囲の二次元のカラー画像に係るカラー画像データを生成する。カラー画像データの各画素は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）等の色情報を含む。
深度カメラ２２は、操作者８０及びその背景を含む撮影範囲を撮影して、撮影範囲の深度情報を含む深度画像に係る深度画像データを生成する。深度画像は、各画素が、操作者８０及び背景の構造物（以下、「測距対象物」と記す）の奥行き（深度カメラ２２から測距対象物までの距離）に係る深度情報を含む。深度カメラ２２としては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。
カラーカメラ２１により生成されたカラー画像データ、及び深度カメラにより生成された深度画像データは、撮影画像データ１３２（図２参照）として検出装置１０の記憶部１３に記録される。
本実施形態では、上記のカラー画像及び深度画像が、「対象を撮影して得られた撮影画像」に相当する。
カラーカメラ２１は、操作者８０及びその背景を含む撮影範囲を撮影して、撮影範囲の二次元のカラー画像に係るカラー画像データを生成する。カラー画像データの各画素は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）等の色情報を含む。
深度カメラ２２は、操作者８０及びその背景を含む撮影範囲を撮影して、撮影範囲の深度情報を含む深度画像に係る深度画像データを生成する。深度画像は、各画素が、操作者８０及び背景の構造物（以下、「測距対象物」と記す）の奥行き（深度カメラ２２から測距対象物までの距離）に係る深度情報を含む。深度カメラ２２としては、例えば、ＴＯＦ（Time Of Flight）方式で距離を検出するもの、又はステレオ方式で距離を検出するものなどを用いることができる。
カラーカメラ２１により生成されたカラー画像データ、及び深度カメラにより生成された深度画像データは、撮影画像データ１３２（図２参照）として検出装置１０の記憶部１３に記録される。
本実施形態では、上記のカラー画像及び深度画像が、「対象を撮影して得られた撮影画像」に相当する。
【0022】
撮影装置２０のカラーカメラ２１及び深度カメラ２２は、撮影装置２０の正面に位置する操作者８０を所定のフレームレートで連続して撮影する。図１に示す撮影装置２０では、カラーカメラ２１及び深度カメラ２２が一体的に設けられているが、各カメラが操作者８０を撮影可能であれば、この構成に限定されない。例えば、カラーカメラ２１及び深度カメラ２２が別個となっている構成であってもよい。
また、カラーカメラ２１及び深度カメラ２２は、少なくとも操作者８０を含む範囲を撮影可能であればよく、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが異なっていてもよい。また、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが重複する撮影範囲においては、カラー画像の画素と、深度画像の画素との対応付けがなされている。これにより、カラー画像における任意の画素を指定した場合に、深度画像において当該画素に対応する画素を特定することができる。よって、カラー画像における任意の画素について、深度情報を取得することができる。
また、カラーカメラ２１及び深度カメラ２２は、少なくとも操作者８０を含む範囲を撮影可能であればよく、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが異なっていてもよい。また、カラーカメラ２１により撮影される画角と、深度カメラ２２により撮影される画角とが重複する撮影範囲においては、カラー画像の画素と、深度画像の画素との対応付けがなされている。これにより、カラー画像における任意の画素を指定した場合に、深度画像において当該画素に対応する画素を特定することができる。よって、カラー画像における任意の画素について、深度情報を取得することができる。
【0023】
図１に示すプロジェクタ３０は、投影画像Ｉｍの画像データに応じた強度分布の投影光を高指向性で照射することにより、投影面に投影画像Ｉｍを投影（形成）する。詳しくは、プロジェクタ３０は、光源と、当該光源から出力された光の強度分布を調整して光像を形成するデジタルマイクロミラー素子（ＤＭＤ）等の表示素子と、表示素子が形成した光像を集光して投影画像Ｉｍとして投影する投影レンズ群などを備える。プロジェクタ３０は、検出装置１０から送信される制御信号に従って、投影する投影画像Ｉｍを変更したり、投影態様に係る設定（明るさ、色合い等）を変更したりする。
【0024】
＜情報処理システムの動作＞
次に、情報処理システム１の動作について説明する。
検出装置１０のＣＰＵ１１は、撮影装置２０が撮影した１又は２以上のカラー画像及び深度画像を解析して、画像に写っている操作者８０が、手８１の指８２によって所定のジェスチャーを行ったか否かを判別する。ＣＰＵ１１は、指８２によってジェスチャーが行われたと判別すると、検出したジェスチャーに応じた動作をプロジェクタ３０に行わせるための制御信号をプロジェクタ３０に送信する。
次に、情報処理システム１の動作について説明する。
検出装置１０のＣＰＵ１１は、撮影装置２０が撮影した１又は２以上のカラー画像及び深度画像を解析して、画像に写っている操作者８０が、手８１の指８２によって所定のジェスチャーを行ったか否かを判別する。ＣＰＵ１１は、指８２によってジェスチャーが行われたと判別すると、検出したジェスチャーに応じた動作をプロジェクタ３０に行わせるための制御信号をプロジェクタ３０に送信する。
【0025】
ここで、指８２によるジェスチャーは、例えば、撮影装置２０から見て指８２を或る方向（右方向、左方向、下方向、及び上方向等）に動かしたり、所定の形状（円形等）の軌跡を描くように指８２の先端を動かしたり、２以上の指８２の先端同士の距離を変動させたり、指８２の曲げ伸ばしを行ったりする動作などである。これらの各ジェスチャーには、プロジェクタ３０の１つの動作が予め対応付けられている。例えば、指８２を右方向に向けるジェスチャーに、投影されている投影画像Ｉｍを次の投影画像Ｉｍに切り替える動作を対応付け、指８２を左方向に向けるジェスチャーに、投影されている投影画像Ｉｍを１つ前の投影画像Ｉｍに切り替える動作を対応付けてもよい。この場合には、指８２を右方向／左方向に向けるジェスチャーを行うことで、投影画像を次の画像／前の画像に切り替えることができる。また、親指の先端と人差し指の先端との距離を増大／減少させるジェスチャーに、それぞれ投影画像Ｉｍを拡大／縮小させる動作を対応付けてもよい。これらはジェスチャーとプロジェクタ３０の動作との対応付けの一例であり、任意のジェスチャーに、プロジェクタ３０の任意の動作を対応付けることができる。また、操作部１４に対するユーザ操作に応じて、ジェスチャーとプロジェクタ３０の動作との対応付けを変更したり、新たな対応付けを生成したりすることが可能であってもよい。
【0026】
このように、操作者８０の指８２のジェスチャーによりプロジェクタ３０を操作する場合には、撮影装置２０が撮影した画像において指８２（及び指８２の先端）を正確に検出することが重要となる。指８２を正しく検出できなければ、ジェスチャーを正しく認識することができず、操作性が激しく低下するためである。
【0027】
本実施形態における指８２の検出動作の概略は、次のとおりである。
まず、操作者８０及び手８１を撮影した撮影画像において、手８１に対応する手領域４１（対象領域）（図５参照）を抽出する。
次に、手領域４１の中から、指８２を代表する代表点７０（本実施形態では、手領域４１のうち指８２の先端に対応する点。図１２Ｂ参照）の候補となる候補点６０（図７Ｂ参照）を抽出する。候補点６０の抽出は、まず、手領域４１の輪郭点４４（図９参照）のうち、複数の凸包点５１（図６参照）を抽出し、複数の凸包点５１を代表する複数の代表凸包点５０（図６、７参照）を抽出し、複数の代表凸包点５０のうち、後述する先端条件を満たす代表凸包点５０を候補点６０とする方法で抽出される。
次に、複数の候補点６０の各々に対して仮想図形Ｓに係る仮想図形領域ＲＳ（図１２Ａ参照）を設定し、仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、その候補点６０を、指８２を代表する代表点７０として検出する。本実施形態の重複条件は、仮想図形領域ＲＳの面積に対する、手領域４１との重複領域ＲＤ（図１２Ａ参照）の面積の割合が基準値以下である場合に満たされる面積条件である。
まず、操作者８０及び手８１を撮影した撮影画像において、手８１に対応する手領域４１（対象領域）（図５参照）を抽出する。
次に、手領域４１の中から、指８２を代表する代表点７０（本実施形態では、手領域４１のうち指８２の先端に対応する点。図１２Ｂ参照）の候補となる候補点６０（図７Ｂ参照）を抽出する。候補点６０の抽出は、まず、手領域４１の輪郭点４４（図９参照）のうち、複数の凸包点５１（図６参照）を抽出し、複数の凸包点５１を代表する複数の代表凸包点５０（図６、７参照）を抽出し、複数の代表凸包点５０のうち、後述する先端条件を満たす代表凸包点５０を候補点６０とする方法で抽出される。
次に、複数の候補点６０の各々に対して仮想図形Ｓに係る仮想図形領域ＲＳ（図１２Ａ参照）を設定し、仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、その候補点６０を、指８２を代表する代表点７０として検出する。本実施形態の重複条件は、仮想図形領域ＲＳの面積に対する、手領域４１との重複領域ＲＤ（図１２Ａ参照）の面積の割合が基準値以下である場合に満たされる面積条件である。
【0028】
以下、図３～図１３を参照して、検出装置１０のＣＰＵ１１が、操作者８０の指８２によるジェスチャーを検出してプロジェクタ３０の動作を制御する動作について説明する。ＣＰＵ１１は、上記動作を実現するために、図３に示す機器制御処理、図４に示す指検出処理、図８に示す先端条件判別処理、及び図１１に示す面積条件判別処理を実行する。
【0029】
図３は、機器制御処理の制御手順を示すフローチャートである。
機器制御処理は、例えば、検出装置１０、撮影装置２０及びプロジェクタ３０の電源が投入され、プロジェクタ３０を操作するためのジェスチャーの受け付けが開始された場合に実行される。
機器制御処理は、例えば、検出装置１０、撮影装置２０及びプロジェクタ３０の電源が投入され、プロジェクタ３０を操作するためのジェスチャーの受け付けが開始された場合に実行される。
【0030】
機器制御処理が開始されると、ＣＰＵ１１は、撮影装置２０に制御信号を送信して、カラーカメラ２１及び深度カメラ２２による撮影を開始させる（ステップＳ１０１）。撮影が開始されると、ＣＰＵ１１は、指検出処理を実行する（ステップＳ１０２）。
【0031】
図４は、指検出処理の制御手順を示すフローチャートである。
指検出処理が呼び出されると、ＣＰＵ１１は、カラーカメラ２１及び深度カメラ２２により撮影された撮影画像Ｉｍの撮影画像データ１３２（カラー画像の画像データ及び深度画像の画像データ）を取得する（ステップＳ２０１）。
指検出処理が呼び出されると、ＣＰＵ１１は、カラーカメラ２１及び深度カメラ２２により撮影された撮影画像Ｉｍの撮影画像データ１３２（カラー画像の画像データ及び深度画像の画像データ）を取得する（ステップＳ２０１）。
【0032】
ＣＰＵ１１は、撮影画像において、手８１に対応する手領域４１を抽出し、手領域４１を表すマスク画像４０を生成する（ステップＳ２０２）。
例えば、ＣＰＵ１１は、カラー画像の色情報に基づいて、色に係る閾値処理を行うことで、カラー画像のうち肌の色（手８１の色）に相当する領域を抽出する。また、ＣＰＵ１１は、深度画像の深度情報に基づいて、深度に係る閾値処理を行うことで、手８１の位置に相当する深度範囲に属する領域を抽出する。そして、ＣＰＵ１１は、これらの領域が重複する領域を手領域４１として抽出する。なお、この方法は一例であり、カラー画像及び深度画像の少なくとも一方を用いる任意の方法で手領域４１を抽出することができる。例えば、背景との差分によって動的な領域を抜き出して行う抽出方法などを用いてもよい。
また、ＣＰＵ１１は、手領域４１に対応する画素の画素値を「１」とし、手領域４１以外の領域に対応する画素の画素値を「０」とした、２値のマスク画像４０を生成する。マスク画像４０の画像データは、記憶部１３のマスク画像データ１３３に記憶される。
例えば、ＣＰＵ１１は、カラー画像の色情報に基づいて、色に係る閾値処理を行うことで、カラー画像のうち肌の色（手８１の色）に相当する領域を抽出する。また、ＣＰＵ１１は、深度画像の深度情報に基づいて、深度に係る閾値処理を行うことで、手８１の位置に相当する深度範囲に属する領域を抽出する。そして、ＣＰＵ１１は、これらの領域が重複する領域を手領域４１として抽出する。なお、この方法は一例であり、カラー画像及び深度画像の少なくとも一方を用いる任意の方法で手領域４１を抽出することができる。例えば、背景との差分によって動的な領域を抜き出して行う抽出方法などを用いてもよい。
また、ＣＰＵ１１は、手領域４１に対応する画素の画素値を「１」とし、手領域４１以外の領域に対応する画素の画素値を「０」とした、２値のマスク画像４０を生成する。マスク画像４０の画像データは、記憶部１３のマスク画像データ１３３に記憶される。
【0033】
図５は、マスク画像４０の例を示す図である。
図５に示すマスク画像４０では、操作者８０の手８１に相当する手領域４１が抽出されている。ここでは、１本の指８２（人差し指）を立てた状態の手８１が撮影されており、手領域４１には、この指８２に相当する指領域４２が含まれている。
図５に示すマスク画像４０では、操作者８０の手８１に相当する手領域４１が抽出されている。ここでは、１本の指８２（人差し指）を立てた状態の手８１が撮影されており、手領域４１には、この指８２に相当する指領域４２が含まれている。
【0034】
ＣＰＵ１１は、抽出した手領域４１の輪郭線上にある輪郭点４４（図９参照）を取得する（ステップＳ２０３）。手領域４１の輪郭線は、マスク画像４０において画素値が「１」となっている手領域４１と、画素値が「０」となっている外部領域との境界線に相当する。ＣＰＵ１１は、この境界線上に位置する画素を、輪郭点４４として取得する。
【0035】
ＣＰＵ１１は、取得した複数の輪郭点４４の中から、複数の凸包点５１（図６参照）を抽出し（ステップＳ２０４）、さらに、複数の凸包点５１の中から、複数の凸包点５１を代表する複数の代表凸包点５０を抽出する（ステップＳ２０５）。複数の凸包点５１は、手領域４１を包含する最小の凸多角形の頂点である。ここで、凸多角形は、全ての頂点の内角が１８０度未満である多角形であり、当該凸多角形の頂点は、複数の輪郭点４４の中から選択される。
【0036】
図６は、指領域４２における複数の凸包点５１から代表凸包点５０を抽出する方法を説明する図である。
図７Ａは、抽出された代表凸包点５０を示す図である。
図６に示すように、手領域４１を包含するように上記の凸多角形を設定する際、指領域４２の先端（指８２の先端に相当する部分）のような曲率半径の小さい曲線を含む部分には、局所的に複数の凸包点５１が抽出される場合がある。このため、１つの指領域４２の先端に対して代表凸包点５０が１つのみ設定されるように、指領域４２における２以上の凸包点５１を代表する代表凸包点５０が抽出される。詳しくは、図６の指領域４２の先端部に示すように、複数の凸包点５１が、或る凸包点５１から基準距離ｒの範囲内に分布する、２以上の凸包点５１からなる凸包点群５１ｇを含む場合には、凸包点群５１ｇのうち手領域４１の重心Ｇから最も遠い凸包点５１を代表凸包点５０として抽出する。一方、図６の指領域４２の付け根部に示すように、或る凸包点５１から基準距離ｒの範囲内に他の凸包点５１がない場合には、当該或る凸包点５１を代表凸包点５０として抽出する。このような方法によれば、基準距離ｒを適切に設定することで、図６及び図７Ａに示すように、１つの指８２の先端において１つの代表凸包点５０を抽出することができる。
図７Ａは、抽出された代表凸包点５０を示す図である。
図６に示すように、手領域４１を包含するように上記の凸多角形を設定する際、指領域４２の先端（指８２の先端に相当する部分）のような曲率半径の小さい曲線を含む部分には、局所的に複数の凸包点５１が抽出される場合がある。このため、１つの指領域４２の先端に対して代表凸包点５０が１つのみ設定されるように、指領域４２における２以上の凸包点５１を代表する代表凸包点５０が抽出される。詳しくは、図６の指領域４２の先端部に示すように、複数の凸包点５１が、或る凸包点５１から基準距離ｒの範囲内に分布する、２以上の凸包点５１からなる凸包点群５１ｇを含む場合には、凸包点群５１ｇのうち手領域４１の重心Ｇから最も遠い凸包点５１を代表凸包点５０として抽出する。一方、図６の指領域４２の付け根部に示すように、或る凸包点５１から基準距離ｒの範囲内に他の凸包点５１がない場合には、当該或る凸包点５１を代表凸包点５０として抽出する。このような方法によれば、基準距離ｒを適切に設定することで、図６及び図７Ａに示すように、１つの指８２の先端において１つの代表凸包点５０を抽出することができる。
【0037】
図４に戻り、ステップＳ２０５において代表凸包点５０が抽出されると、ＣＰＵ１１は、先端条件判別処理を実行する（ステップＳ２０６）。
図８は、先端条件判別処理の制御手順を示すフローチャートである。
先端条件判別処理は、抽出された複数の代表凸包点５０の各々が、突出形状の先端に位置する場合に満たされる先端条件を満たすか否かを判別する処理である。ここで、突出形状は、指８２（突出部）の先端近傍のように、他の部分から半島状に突出している部分の形状をいう。別の観点では、突出形状は、当該突出形状の輪郭線の平均の曲率半径が所定値以下となる部分をいう。複数の代表凸包点５０から、先端条件を満たす代表凸包点５０を抽出することで、指８２の先端に相当し得ない代表凸包点５０を除外して、指８２の先端を表す候補点６０を抽出することができる。
図８は、先端条件判別処理の制御手順を示すフローチャートである。
先端条件判別処理は、抽出された複数の代表凸包点５０の各々が、突出形状の先端に位置する場合に満たされる先端条件を満たすか否かを判別する処理である。ここで、突出形状は、指８２（突出部）の先端近傍のように、他の部分から半島状に突出している部分の形状をいう。別の観点では、突出形状は、当該突出形状の輪郭線の平均の曲率半径が所定値以下となる部分をいう。複数の代表凸包点５０から、先端条件を満たす代表凸包点５０を抽出することで、指８２の先端に相当し得ない代表凸包点５０を除外して、指８２の先端を表す候補点６０を抽出することができる。
【0038】
先端条件判別処理が呼び出されると、ＣＰＵ１１は、代表凸包点５０の序数を表す変数ｍに１を代入する（ステップＳ３０１）。ＣＰＵ１１は、ｍ番目の代表凸包点５０について、以降のステップＳ３０２～Ｓ３０６を実行することで、ｍ番目の代表凸包点５０が先端条件を満たすか否かを判別する。
【0039】
まず、ＣＰＵ１１は、ｍ番目の代表凸包点５０を挟む１組の判別用輪郭点４４ａと、１組の判別用輪郭点４４ｂと、１組の判別用輪郭点４４ｃとを選択する（ステップＳ３０２）。また、ＣＰＵ１１は、ｍ番目の代表凸包点５０と、１組の判別用輪郭点４４ａのうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分Ｌａを導出する。同様に、ＣＰＵ１１は、ｍ番目の代表凸包点５０と、１組の判別用輪郭点４４ｂのうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分Ｌｂを導出し、ｍ番目の代表凸包点５０と、１組の判別用輪郭点４４ｃのうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分Ｌｃを導出する（ステップＳ３０３）。
【0040】
図９は、判別用輪郭点４４ａ～４４ｃ、及び仮想線分Ｌａ～Ｌｃの例を示す図である。
図９には、指領域４２の先端近傍における輪郭線４３上の輪郭点４４が描かれており、これらの輪郭点４４の中から判別用輪郭点４４ａ～４４ｃが選択される。ここでは、代表凸包点５０となっている輪郭点４４から３つの輪郭点４４ごとに、判別用輪郭点４４ａ～４４ｃが選択されている。詳しくは、代表凸包点５０となっている輪郭点４４との間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ａとして選択され、判別用輪郭点４４ａとの間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ｂとして選択され、判別用輪郭点４４ｂとの間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ｃとして選択されている。これらの３組の判別用輪郭点４４ａ～４４ｃは、「代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点」に相当する。なお、代表凸包点５０、判別用輪郭点４４ａ～４４ｃの相互の間隔（間に挟む輪郭点４４の数）は、手領域４１の大きさ（撮影装置２０から手８１までの距離）等に応じて適宜変更してもよい。
図９には、指領域４２の先端近傍における輪郭線４３上の輪郭点４４が描かれており、これらの輪郭点４４の中から判別用輪郭点４４ａ～４４ｃが選択される。ここでは、代表凸包点５０となっている輪郭点４４から３つの輪郭点４４ごとに、判別用輪郭点４４ａ～４４ｃが選択されている。詳しくは、代表凸包点５０となっている輪郭点４４との間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ａとして選択され、判別用輪郭点４４ａとの間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ｂとして選択され、判別用輪郭点４４ｂとの間に２つの輪郭点４４を挟む位置の輪郭点４４が、判別用輪郭点４４ｃとして選択されている。これらの３組の判別用輪郭点４４ａ～４４ｃは、「代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点」に相当する。なお、代表凸包点５０、判別用輪郭点４４ａ～４４ｃの相互の間隔（間に挟む輪郭点４４の数）は、手領域４１の大きさ（撮影装置２０から手８１までの距離）等に応じて適宜変更してもよい。
【0041】
図８に戻り、ステップＳ３０３が終了すると、ＣＰＵ１１は、３組の判別用輪郭点４４ａ～４４ｃについてそれぞれ仮想線分Ｌａ～Ｌｃがなす角度を導出する。すなわち、ＣＰＵ１１は、図１０に示すように、２つの仮想線分Ｌａがなす角度θａ、２つの仮想線分Ｌｂがなす角度θｂ、及び２つの仮想線分Ｌｃがなす角度θｃをそれぞれ導出する（ステップＳ３０４）。
【0042】
ＣＰＵ１１は、角度θａ～θｃが、θａ＞θｂ＞θｃの関係を満たすか否かを判別する（ステップＳ３０５）。言い換えると、ＣＰＵ１１は、代表凸包点５０からの平均距離が長い判別用輪郭点の組ほど仮想線分がなす角度が小さい、との条件を満たすか否かを判別する。代表凸包点５０が、突出形状の先端に位置する場合には、代表凸包点５０からの平均距離が長い判別用輪郭点を通る仮想線分ほど、なす角が小さくなるため、θａ＞θｂ＞θｃの関係が満たされる。一方、代表凸包点５０が、突出形状の先端ではない場所に位置する場合には、角度θｂが角度θａよりも大きくなったり、角度θｃが角度θｂよりも大きくなったりするため、θａ＞θｂ＞θｃの関係が満たされない。
【0043】
θａ＞θｂ＞θｃの関係を満たすと判別された場合には（ステップＳ３０５で“ＹＥＳ”）、ＣＰＵ１１は、ｍ番目の代表凸包点５０が先端条件を満たすと判別する（ステップＳ３０６）。図１０に示す例では、θａ＞θｂ＞θｃの関係が満たされているため、代表凸包点５０は先端条件を満たす、すなわち突出形状の先端に位置すると判別される。
【0044】
ステップＳ３０６が終了した場合、又は、θａ＞θｂ＞θｃの関係が満たされないと判別された場合には（ステップＳ３０５で“ＮＯ”）、ＣＰＵ１１は、変数ｍの値が、図４のステップＳ２０５で抽出された代表凸包点５０の数Ｍに一致するか否かを判別する（ステップＳ３０７）。変数ｍの値が代表凸包点５０の数Ｍに一致しないと判別された場合には（ステップＳ３０７で“ＮＯ”）、ＣＰＵ１１は、変数ｍにｍ＋１を代入し（ステップＳ３０８）、処理をステップＳ３０２に戻す。
【0045】
変数ｍの値が、代表凸包点５０の数Ｍに一致すると判別された場合には（ステップＳ３０７で“ＹＥＳ”）、ＣＰＵ１１は、先端条件判別処理を終了させて、処理を図４の指検出処理に戻す。
【0046】
なお、上記では、θａ＞θｂ＞θｃの関係が満たされるか否かにより先端条件の判別を行ったが、先端条件の判別方法はこれに限られない。例えば、判別式を角度θａ～θｃについて、個別に判別式を設定してもよい。例えば、角度θａ～θｃが、それぞれ以下の判別式（１）～（３）を満たす場合に、代表凸包点５０が先端条件を満たすと判別してもよい。
θａ＿ｍｉｎ＜θａ＜θａ＿ｍａｘ …（１）
θｂ＿ｍｉｎ＜θｂ＜θｂ＿ｍａｘ …（２）
θｃ＿ｍｉｎ＜θｃ＜θｃ＿ｍａｘ …（３）
また、上記では、判別用輪郭点を３組選択したが、判別用輪郭点は２組以下又は４組以上としてもよい。２組以下とすることで、先端条件の判別に係る処理をより簡易にすることができる。また、４組以上とすることで、先端判別の精度をより向上させることができる。
θａ＿ｍｉｎ＜θａ＜θａ＿ｍａｘ …（１）
θｂ＿ｍｉｎ＜θｂ＜θｂ＿ｍａｘ …（２）
θｃ＿ｍｉｎ＜θｃ＜θｃ＿ｍａｘ …（３）
また、上記では、判別用輪郭点を３組選択したが、判別用輪郭点は２組以下又は４組以上としてもよい。２組以下とすることで、先端条件の判別に係る処理をより簡易にすることができる。また、４組以上とすることで、先端判別の精度をより向上させることができる。
【0047】
図４の先端条件判別処理（ステップＳ２０６）が終了すると、ＣＰＵ１１は、先端条件を満たす代表凸包点５０がある場合には（ステップＳ２０７で“ＹＥＳ”）、先端条件を満たすと判別された代表凸包点５０を、代表点７０の候補点６０として抽出する（ステップＳ２０８）。本実施形態では、図７Ａに示す８つの代表凸包点５０の中から、図７Ｂに示す５つの候補点６０が抽出されたものとする。候補点６０が抽出されると、ＣＰＵ１１は、面積条件判別処理を実行する（ステップＳ２０９）。
【0048】
図１１は、面積条件判別処理の制御手順を示すフローチャートである。
面積条件判別処理は、抽出された複数の候補点６０の各々が、指８２（指領域４２）を代表する代表点７０（本実施形態では、指８２の先端の点）であるか否かを判別する処理である。
面積条件判別処理は、抽出された複数の候補点６０の各々が、指８２（指領域４２）を代表する代表点７０（本実施形態では、指８２の先端の点）であるか否かを判別する処理である。
【0049】
面積条件判別処理が呼び出されると、ＣＰＵ１１は、候補点６０の序数を表す変数ｎに１を代入する（ステップＳ４０１）。
ＣＰＵ１１は、ｎ番目の候補点６０について、以降のステップＳ４０２～Ｓ４０６を実行することで、ｎ番目の候補点６０が面積条件を満たすか否かを判別する。
図１２Ａは、面積条件の判別方法を説明する図である。
ＣＰＵ１１は、ｎ番目の候補点６０について、以降のステップＳ４０２～Ｓ４０６を実行することで、ｎ番目の候補点６０が面積条件を満たすか否かを判別する。
図１２Ａは、面積条件の判別方法を説明する図である。
【0050】
まず、ＣＰＵ１１は、予め定められた領域設定規則に従って、手領域４１の少なくとも一部と重なり、且つ、候補点６０を輪郭線上に含む仮想図形Ｓに係る仮想図形領域ＲＳを設定する。本実施形態では、ＣＰＵ１１は、領域設定規則に従って、仮想図形Ｓの輪郭線が、手領域４１の重心Ｇと、候補点６０とを通るように仮想図形領域ＲＳを設定する。より詳しくは、ＣＰＵ１１は、ｎ番目の候補点６０と手領域４１の重心Ｇとを結ぶ線分Ｄを直径とする円形の仮想図形Ｓを導出し、当該仮想図形Ｓにより囲まれた仮想図形領域ＲＳを設定する（ステップＳ４０２）。ここでは、仮想図形Ｓとして、線分Ｄを直径とする円を例示したが、これに限られない。例えば、仮想図形Ｓは、線分Ｄを対角線とする矩形としてもよいし、輪郭線が重心Ｇ及び候補点６０を通るその他の任意の図形（多角形、楕円等）としてもよい。
【0051】
ＣＰＵ１１は、仮想図形領域ＲＳのうち手領域４１と重複する重複領域ＲＤの面積を導出する（ステップＳ４０３）。重複領域ＲＤは、図１２Ａにおいてハッチングが付された領域である。
【0052】
ＣＰＵ１１は、仮想図形領域ＲＳの面積に対する重複領域ＲＤの面積の割合（以下、「面積重複率」と記す）を導出する（ステップＳ４０４）。この面積重複率は、対応する候補点６０が指領域４２の先端に位置する場合に小さくなり、候補点６０が指領域４２の先端以外に位置する場合には大きくなる傾向がある。
【0053】
ＣＰＵ１１は、導出した面積重複率が所定の基準値以下であるか否かを判別する（ステップＳ４０５）。基準値は、候補点６０が指領域４２の先端に位置する場合の面積重複率が基準値以下となり、候補点６０が指領域４２の先端以外に位置する場合の面積重複率が基準値より大きくなるように予め設定されて記憶部１３に記憶されている。本実施形態では、基準値は７０％とされている。ただし、これは例示であり、適宜変更可能である。例えば、基準値をより小さくすることで、指８２以外の部分が指８２と誤検出される可能性を低減することができ、基準値をより大きくすることで、指８２の検出漏れの発生を抑制することができる。なお、基準値は０％よりも大きい値に設定される。
面積重複率が基準値以下であると判別された場合には（ステップＳ４０５で“ＹＥＳ”）、ＣＰＵ１１は、ｎ番目の候補点６０が、面積の小ささに係る面積条件を満たすと判別する（ステップＳ４０６）。
面積重複率が基準値以下であると判別された場合には（ステップＳ４０５で“ＹＥＳ”）、ＣＰＵ１１は、ｎ番目の候補点６０が、面積の小ささに係る面積条件を満たすと判別する（ステップＳ４０６）。
【0054】
ステップＳ４０６が終了した場合、又は、面積重複率が基準値より大きいと判別された場合には（ステップＳ４０５で“ＮＯ”）、ＣＰＵ１１は、変数ｎの値が、図４のステップＳ２０８で抽出された候補点６０の数Ｎに一致するか否かを判別する（ステップＳ４０７）。変数ｎの値が候補点６０の数Ｍに一致しないと判別された場合には（ステップＳ４０７で“ＮＯ”）、ＣＰＵ１１は、変数ｎにｎ＋１を代入し（ステップＳ４０８）、処理をステップＳ４０２に戻す。ステップＳ４０２～Ｓ４０６の処理が各候補点６０について実行されることで、全ての候補点６０について、面積重複率が導出され、面積条件が満たされるか否かが判別される。本実施形態では、図１２Ａに示すように、５つの候補点６０についての面積重複率が、３９％、９１％、８９％、９２％、９３％と導出され、このうち面積重複率が３９％である１つの候補点６０が面積条件を満たす（面積重複率が基準値（７０％）以下である）と判別され、代表点７０として抽出される。図１２Ｂは、抽出された代表点７０を示す図である。
変数ｎの値が、候補点６０の数Ｎに一致すると判別された場合には（ステップＳ３０７で“ＹＥＳ”）、ＣＰＵ１１は、先端条件判別処理を終了させて、処理を図４の指検出処理に戻す。
変数ｎの値が、候補点６０の数Ｎに一致すると判別された場合には（ステップＳ３０７で“ＹＥＳ”）、ＣＰＵ１１は、先端条件判別処理を終了させて、処理を図４の指検出処理に戻す。
【0055】
なお、上記では、候補点６０が仮想図形Ｓの輪郭線に含まれるように仮想図形領域ＲＳを設定したが、これに代えて、候補点６０が仮想図形Ｓの内部に含まれるように仮想図形領域ＲＳを設定してもよい。例えば、仮想図形Ｓは、候補点６０を中心とする図形（円など）としてもよい。この場合にも、上記と同様に面積重複率を導出して面積条件を判定することができる。
【0056】
図４のステップＳ２０９の面積条件判別処理が終了すると、ＣＰＵ１１は、面積条件を満たす候補点６０があるか否かを判別する（ステップＳ２１０）。面積条件を満たす候補点６０があると判別された場合には（ステップＳ２１１で“ＹＥＳ”）、ＣＰＵ１１は、面積条件を満たす候補点６０のうち、面積重複率が小さい順に規定数以下の候補点６０を、指８２の先端を表す代表点７０として検出する（ステップＳ２１１）。本実施形態では、図１２Ａに示す、面積重複率が３９％である１つの候補点６０が代表点７０として検出される。当該代表点７０は、指８２（人差し指）の先端を表している。
【0057】
図１３は、指８２を広げた状態の手８１が撮影された場合の代表点７０の検出結果を示す図である。
図１３では、７つの候補点６０が抽出されており、これらの面積重複率は、それぞれ５１％、５３％、５４％、５３％、５９％、８１％、８３％となっている。このうち、面積重複率が５１％、５３％、５４％、５３％、５９％である５つの候補点６０が面積条件を満たす（面積重複率が基準値（７０％）以下である）と判別され、代表点７０として抽出される。このように、面積条件を満たしている候補点６０が複数ある場合には、ＣＰＵ１１は、面積重複率が小さい順に、規定数以下の候補点６０を代表点７０として検出する。ここで、規定数は、「対象」が手８１であり、「突出部」が指８２である場合には、人間の指の本数である「５」以下に定められる。規定数が５である場合には、面積条件を満たしている候補点６０が６つ以上あっても、面積重複率が小さい順に５つの候補点６０が代表点７０として検出される。図１３に示す例では、５本の指８２（指領域４２）の先端に位置する５つの候補点６０が代表点７０として検出される。なお、規定数を１又は２として、ジェスチャー検出の対象となる指８２を１つ又は２つに絞ってもよい。
図１３では、７つの候補点６０が抽出されており、これらの面積重複率は、それぞれ５１％、５３％、５４％、５３％、５９％、８１％、８３％となっている。このうち、面積重複率が５１％、５３％、５４％、５３％、５９％である５つの候補点６０が面積条件を満たす（面積重複率が基準値（７０％）以下である）と判別され、代表点７０として抽出される。このように、面積条件を満たしている候補点６０が複数ある場合には、ＣＰＵ１１は、面積重複率が小さい順に、規定数以下の候補点６０を代表点７０として検出する。ここで、規定数は、「対象」が手８１であり、「突出部」が指８２である場合には、人間の指の本数である「５」以下に定められる。規定数が５である場合には、面積条件を満たしている候補点６０が６つ以上あっても、面積重複率が小さい順に５つの候補点６０が代表点７０として検出される。図１３に示す例では、５本の指８２（指領域４２）の先端に位置する５つの候補点６０が代表点７０として検出される。なお、規定数を１又は２として、ジェスチャー検出の対象となる指８２を１つ又は２つに絞ってもよい。
【0058】
図４のステップＳ２１１が終了すると、ＣＰＵ１１は、指検出処理を終了させて、処理を図３の機器制御処理に戻す。また、ステップＳ２０７において、先端条件を満たす代表凸包点５０がないと判別された場合（ステップＳ２０７で“ＮＯ”）、又は、ステップＳ２１０において、面積条件を満たす候補点６０がないと判別された場合も（ステップＳ２１０で“ＮＯ”）、ＣＰＵ１１は、代表点７０を検出せずに指検出処理を終了させて、処理を図３の機器制御処理に戻す。
【0059】
図３の指検出処理（ステップＳ１０２）が終了すると、ＣＰＵ１１は、指検出処理において、指８２の先端を表す代表点７０が検出されたか否かを判別する（ステップＳ１０３）。代表点７０が検出されたと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、ＣＰＵ１１は、マスク画像４０における代表点７０の位置から、指８２の先端の位置及び指８２の向きを特定する（ステップＳ１０４）。このうち指の先端の位置は、マスク画像４０における代表点７０の位置である。また、指８２の向きは、手領域４１の重心Ｇと代表点７０との位置関係に基づいて特定することができる。すなわち、重心Ｇを中心とする右方向、左方向、上方向、又は下方向の各所定角度範囲内に代表点７０が位置している場合に、それぞれ、指８２が右方向、左方向、上方向、又は下方向に向いていると特定することができる。
【0060】
ＣＰＵ１１は、指８２の向き、又は、複数フレームにわたるマスク画像４０における指８２の先端の位置の動きから、操作者８０の指８２によるジェスチャーを検出したか否かを判別する（ステップＳ１０５）。ジェスチャーを検出したと判別された場合には（ステップＳ１０５で“ＹＥＳ”）、ＣＰＵ１１は、検出したジェスチャーに応じた動作を行わせるための制御信号を、プロジェクタ３０に送信する（ステップＳ１０６）。当該制御信号を受信したプロジェクタ３０は、制御信号に応じた動作を行う。
【0061】
ステップＳ１０６が終了した場合、ステップＳ１０３において代表点７０が検出されていないと判別された場合（ステップＳ１０３で“ＮＯ”）、又は、ステップＳ１０５においてジェスチャーが検出されないと判別された場合には（ステップＳ１０５で“ＮＯ”）、ＣＰＵ１１は、情報処理システム１におけるジェスチャーの受け付けを終了するか否かを判別する（ステップＳ１０７）。ここでは、ＣＰＵ１１は、例えば、検出装置１０、撮影装置２０又はプロジェクタ３０の電源をオフする操作がなされている場合に、ジェスチャーの受け付けを終了すると判別する。
【0062】
ジェスチャーの受け付けを終了しないと判別された場合には（ステップＳ１０７で“ＮＯ”）、ＣＰＵ１１は、処理をステップＳ１０２に戻し、次のフレーム期間に撮影された撮影画像に基づいて指８２を検出するための指検出処理を実行する。ステップＳ１０２～Ｓ１０７のループ処理は、例えば、カラーカメラ２１及び深度カメラ２２による撮影のフレームレートで（すなわち、カラー画像及び深度画像が生成されるたびに）繰り返し実行される。
ジェスチャーの受け付けを終了すると判別された場合には（ステップＳ１０７で“ＹＥＳ”）、ＣＰＵ１１は、機器制御処理を終了させる。
ジェスチャーの受け付けを終了すると判別された場合には（ステップＳ１０７で“ＹＥＳ”）、ＣＰＵ１１は、機器制御処理を終了させる。
【0063】
＜効果＞
以上のように、本実施形態に係る検出方法は、コンピュータとしてのＣＰＵ１１が実行する検出方法であって、手８１を撮影して得られた撮影画像において、手８１に対応する手領域４１を抽出し、手領域４１の中から、手８１の指８２を代表する代表点７０の候補となる候補点６０を抽出し、領域設定規則に従って、候補点６０を輪郭線上又は内部に含む仮想図形Ｓに係る仮想図形領域ＲＳを設定し、設定された仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、候補点６０を、代表点７０として検出する。
これにより、限られた数の候補点６０について重複条件を満たすか否かの判別を行う簡易な処理で、指８２（指８２を代表する代表点７０）を適切に検出することができる。よって、ＣＰＵ１１による処理の負荷を軽減することができる。
また、より高速に指８２を検出することが可能となるので、より高いフレームレートの撮影画像において適切に指８２を検出することができる。
また、仮想図形領域ＲＳと手領域４１との重複度合いに基づいて代表点７０を検出できるため、撮影画像の解像度が低い場合や、撮影装置２０から手８１までの距離が遠い場合のように、撮影画像における手８１や指８２に相当する画素数が少ない場合であっても、指８２を正確に検出することができる。
また、上記方法によれば、指８２以外の突出部も適切に検出することができる。例えば、手袋をはめていて、指に対応する突出部の形状が素手の指８２の形状とは異なっていたり、指８２以外の突出部（例えば、手８１に持った棒状の部材など）を用いてジェスチャーを行ったりする場合であっても、突出部を適切に検出することができる。
以上のように、本実施形態に係る検出方法は、コンピュータとしてのＣＰＵ１１が実行する検出方法であって、手８１を撮影して得られた撮影画像において、手８１に対応する手領域４１を抽出し、手領域４１の中から、手８１の指８２を代表する代表点７０の候補となる候補点６０を抽出し、領域設定規則に従って、候補点６０を輪郭線上又は内部に含む仮想図形Ｓに係る仮想図形領域ＲＳを設定し、設定された仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、候補点６０を、代表点７０として検出する。
これにより、限られた数の候補点６０について重複条件を満たすか否かの判別を行う簡易な処理で、指８２（指８２を代表する代表点７０）を適切に検出することができる。よって、ＣＰＵ１１による処理の負荷を軽減することができる。
また、より高速に指８２を検出することが可能となるので、より高いフレームレートの撮影画像において適切に指８２を検出することができる。
また、仮想図形領域ＲＳと手領域４１との重複度合いに基づいて代表点７０を検出できるため、撮影画像の解像度が低い場合や、撮影装置２０から手８１までの距離が遠い場合のように、撮影画像における手８１や指８２に相当する画素数が少ない場合であっても、指８２を正確に検出することができる。
また、上記方法によれば、指８２以外の突出部も適切に検出することができる。例えば、手袋をはめていて、指に対応する突出部の形状が素手の指８２の形状とは異なっていたり、指８２以外の突出部（例えば、手８１に持った棒状の部材など）を用いてジェスチャーを行ったりする場合であっても、突出部を適切に検出することができる。
【0064】
また、重複条件は、仮想図形領域ＲＳの面積に対する、仮想図形領域ＲＳのうち手領域４１と重複する重複領域ＲＤの面積の割合（重複面積率）が基準値以下である場合に満たされる面積条件である。これにより、重複面積率を基準値と比較する簡易な処理で、指８２を検出することができる。また、重複領域ＲＤの面積を用いるため、撮影画像の解像度が低い場合や、撮影装置２０から手８１までの距離が遠い場合のように、撮影画像における手８１や指８２に相当する画素数が少ない場合であっても、指８２を正確に検出することができる。
【0065】
また、ＣＰＵ１１は、手領域４１の中から、複数の指８２に対応する複数の候補点６０を抽出し、複数の候補点６０の各々に対して仮想図形領域ＲＳを設定し、複数の候補点６０のうち、対応する重複領域ＲＤの面積が面積条件を満たしている候補点６０を代表点７０として検出する。これにより、２以上の指８２を別個に検出することができる。よって、２つの指８２の先端同士の距離を変化させるジェスチャーなどを適切に検出することができる。
【0066】
また、重複条件は、仮想図形領域ＲＳの面積に対する、仮想図形領域ＲＳのうち手領域４１と重複する重複領域ＲＤの面積の割合が基準値以下である場合に満たされる面積条件であり、ＣＰＵ１１は、複数の候補点６０のうち、対応する重複領域ＲＤの面積が面積条件を満たしている候補点６０が複数ある場合には、仮想図形領域ＲＳの面積に対する重複領域ＲＤの面積の割合が小さい順に、規定数以下の候補点６０を代表点７０として検出する。これにより、指８２である可能性の高い候補点６０から順に代表点７０として検出することができる。よって、指８２以外の部分を指８２と誤検出する不具合の発生を抑制することができる。
【0067】
また、対象が手８１であり、突出部が指８２である場合には、上記の規定数は５以下に定められる。これにより、面積条件を満たす候補点６０が６つ以上ある場合に、指８２とは異なる部分である可能性の高い候補点６０を代表点７０から除外することができる。
【0068】
また、ＣＰＵ１１は、領域設定規則に従って、仮想図形Ｓの輪郭線が手領域４１の重心Ｇと候補点６０とを通るように仮想図形領域ＲＳを設定する。これにより、手領域４１の少なくとも一部と重なる仮想図形領域ＲＳを、候補点６０と対応する位置に簡易に設定することができる。
【0069】
また、領域設定規則に従って設定される仮想図形領域ＲＳに係る仮想図形Ｓは、手領域４１の重心Ｇと、候補点６０とを結ぶ線分Ｄを直径とする円である。これにより、候補点６０が指８２の先端に位置する場合には重複面積率が小さくなり、候補点６０が指８２の先端以外に位置する場合には重複面積率が大きくなるような仮想図形領域ＲＳを簡易に設定することができる。
【0070】
また、代表点７０は、手領域４１の輪郭線上にある複数の輪郭点４４のいずれかであり、候補点６０を、複数の輪郭点４４の中から抽出する。これにより、指８２の先端に位置する候補点６０を効率よく抽出することができる。
【0071】
また、代表点７０は、手領域４１における指８２の先端に対応する点である。これにより、検出した代表点７０の位置から、指８２の先端の位置を特定することができる。
【0072】
また、ＣＰＵ１１は、手領域４１を包含する最小の凸多角形の頂点である複数の凸包点５１の中から候補点６０を抽出する。複数の凸包点５１は、指８２の先端を表す代表点７０を含むとともに、指８２の先端以外の多くの輪郭点４４を含まないため、複数の凸包点５１から候補点６０を抽出する方法により、効率よく適切な候補点６０を抽出することができる。
【0073】
また、ＣＰＵ１１は、複数の凸包点５１を代表する複数の代表凸包点５０のうち、突出形状の先端に位置する場合に満たされる先端条件を満たす代表凸包点５０を、候補点６０として抽出する。これにより、指８２の先端を表す代表点７０である可能性の高い候補点６０を抽出することができる。
【0074】
また、ＣＰＵ１１は、複数の代表凸包点５０の各々について、代表凸包点５０と、当該代表凸包点５０を挟む１組の判別用輪郭点のうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分がなす角度を導出し、代表凸包点５０からの平均距離が互いに異なる３組の判別用輪郭点４４ａ～４４ｃについてそれぞれ仮想線分Ｌａ～Ｌｃがなす角度θａ～θｃを導出し、代表凸包点５０からの平均距離が長い判別用輪郭点の組ほど仮想線分がなす角度が小さい場合に、代表凸包点５０が先端条件を満たすと判別し、複数の代表凸包点５０のうち先端条件を満たすと判別された代表凸包点５０を、候補点６０として抽出する。これにより、代表点７０である可能性の高い候補点６０を、角度θａ～θｃを比較する簡易な処理により抽出することができる。
【0075】
また、ＣＰＵ１１は、複数の凸包点５１が、或る凸包点５１から基準距離ｒの範囲内に分布する凸包点群５１ｇを含む場合には、凸包点群５１ｇのうち手領域４１の重心Ｇから最も遠い凸包点５１を複数の代表凸包点５０の１つとして抽出し、複数の凸包点５１のうちの或る凸包点５１から基準距離ｒの範囲内に他の凸包点５１がない場合には、上記の或る凸包点５１を複数の代表凸包点５０の１つとして抽出する。これによれば、基準距離ｒを適切に設定することで、１つの指８２について最大で１つの代表凸包点５０を抽出することができる。よって、１つの指８２について最大で１つの候補点６０を抽出することができるので、１つの指８２について２以上の候補点６０が抽出されたり、２以上の代表点７０が検出されたりする不具合の発生を抑制することができる。
【0076】
また、本実施形態に係る検出装置１０は、ＣＰＵ１１を備え、ＣＰＵ１１は、手８１を撮影して得られた撮影画像において、手８１に対応する手領域４１を抽出し、手領域４１の中から、手８１の指８２を代表する代表点７０の候補となる候補点６０を抽出し、領域設定規則に従って、候補点６０を輪郭線上又は内部に含む仮想図形Ｓに係る仮想図形領域ＲＳを設定し、設定された仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、候補点６０を、代表点７０として検出する。これにより、限られた数の候補点６０について重複条件を満たすか否かの判別を行う簡易な処理で、指８２（指８２を代表する代表点７０）を適切に検出することができる。また、指８２以外の突出部も適切に検出することができる。
【0077】
また、本実施形態に係るプログラム１３１は、コンピュータとしてのＣＰＵ１１に、手８１を撮影して得られた撮影画像において、手８１に対応する手領域４１を抽出する処理、手領域４１の中から、手８１の指８２を代表する代表点７０の候補となる候補点６０を抽出する処理、領域設定規則に従って、候補点６０を輪郭線上又は内部に含む仮想図形Ｓに係る仮想図形領域ＲＳを設定する処理、設定された仮想図形領域ＲＳと、手領域４１と、の重複度合いが、所定の重複条件を満たしている場合に、候補点６０を、代表点７０として検出する処理、を実行させる。これにより、限られた数の候補点６０について重複条件を満たすか否かの判別を行う簡易な処理で、指８２（指８２を代表する代表点７０）を適切に検出することができる。また、指８２以外の突出部も適切に検出することができる。
【0078】
＜その他＞
なお、上記実施形態における記述は、本発明に係る検出方法、検出装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施形態では、検出装置１０、撮影装置２０、及びプロジェクタ３０（ジェスチャーによる操作対象機器）が別個となっている例を用いて説明したが、この態様に限られない。
例えば、検出装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、検出装置１０の表示部１５のベゼルに、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０に検出装置１０の機能を組み込み、検出装置１０が実行していた処理をプロジェクタ３０の図示しないＣＰＵが実行してもよい。この場合には、プロジェクタ３０が「検出装置」に相当し、プロジェクタ３０のＣＰＵが「処理部」に相当する。
また、撮影装置２０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０の筐体に、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０、撮影装置２０及び操作対象機器が全て一体となっていてもよい。例えば、操作対象機器としての検出装置１０の表示部１５のベゼルにカラーカメラ２１及び深度カメラ２２が組み込まれた態様において、操作者８０の手８１（指８２）のジェスチャーにより検出装置１０の動作を制御してもよい。
なお、上記実施形態における記述は、本発明に係る検出方法、検出装置及びプログラムの一例であり、これに限定されるものではない。
例えば、上記実施形態では、検出装置１０、撮影装置２０、及びプロジェクタ３０（ジェスチャーによる操作対象機器）が別個となっている例を用いて説明したが、この態様に限られない。
例えば、検出装置１０と撮影装置２０とが一体となっていてもよい。一例を挙げると、検出装置１０の表示部１５のベゼルに、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０に検出装置１０の機能を組み込み、検出装置１０が実行していた処理をプロジェクタ３０の図示しないＣＰＵが実行してもよい。この場合には、プロジェクタ３０が「検出装置」に相当し、プロジェクタ３０のＣＰＵが「処理部」に相当する。
また、撮影装置２０と操作対象機器とが一体となっていてもよい。例えば、上記実施形態におけるプロジェクタ３０の筐体に、撮影装置２０のカラーカメラ２１及び深度カメラ２２が組み込まれていてもよい。
また、検出装置１０、撮影装置２０及び操作対象機器が全て一体となっていてもよい。例えば、操作対象機器としての検出装置１０の表示部１５のベゼルにカラーカメラ２１及び深度カメラ２２が組み込まれた態様において、操作者８０の手８１（指８２）のジェスチャーにより検出装置１０の動作を制御してもよい。
【0079】
また、上記実施形態では、仮想図形領域ＲＳと手領域４１との重複度合いに係る重複条件として、仮想図形領域ＲＳの面積に対する重複領域ＲＤの面積の割合が基準値以下である場合に満たされる面積条件を例示したが、これに限られない。重複条件は、例えば、仮想図形領域ＲＳの輪郭線の長さ（上記実施形態の例では、仮想図形領域ＲＳがなす円の円周の長さ）に対する、当該輪郭線のうち手領域４１と重なる部分の長さの割合が基準値以下である場合に満たされることとしてもよい。この方法によれば、面積を導出する必要がないため、ＣＰＵ１１の処理負荷をより軽減することができる。
【0080】
また、対象として操作者８０の手８１を例示し、突出部として指８２を例示したが、これに限られない。例えば、対象は、スタイラス等の棒状の部材を保持している手８１であってもよく、この場合の突出部は、棒状の部材であってもよい。また、対象は、一部が突出した形状の指示部材（例えば、手指の形状を模した模型等）であってもよく、突出部は、当該指示部材における突出した部分であってもよい。
また、操作者８０は人に限られず、ロボットや動物等であってもよい。
また、操作者８０は人に限られず、ロボットや動物等であってもよい。
【0081】
また、撮影装置２０は、必ずしもカラーカメラ２１及び深度カメラ２２の両方を備えていなくてもよい。例えば、カラー画像の色情報のみから手領域４１を抽出する場合には、深度カメラ２２を省略してもよい。また、深度画像の深度情報のみから手領域４１を抽出する場合には、カラーカメラ２１を省略してもよい。
【0082】
また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１３のＨＤＤ、ＳＳＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【0083】
また、上記実施形態における検出装置１０、撮影装置２０及びプロジェクタ３０の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【0084】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピュータが実行する検出方法であって、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
検出方法。
＜請求項２＞
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件である、
請求項１に記載の検出方法。
＜請求項３＞
前記対象領域の中から、複数の前記突出部に対応する複数の前記候補点を抽出し、
前記複数の候補点の各々に対して前記仮想図形領域を設定し、
前記複数の候補点のうち、対応する前記仮想図形領域と、前記対象領域とが前記重複条件を満たしている候補点を前記代表点として検出する、
請求項１に記載の検出方法。
＜請求項４＞
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件であり、
前記複数の候補点のうち、対応する前記重複領域の面積が前記面積条件を満たしている候補点が複数ある場合には、前記仮想図形領域の面積に対する前記重複領域の面積の割合が小さい順に、規定数以下の候補点を前記代表点として検出する、
請求項３に記載の検出方法。
＜請求項５＞
前記対象が手であり、前記突出部が指である場合には、前記規定数は５以下に定められる、
請求項４に記載の検出方法。
＜請求項６＞
前記領域設定規則に従って、前記仮想図形の輪郭線が前記対象領域の重心と前記候補点とを通るように前記仮想図形領域を設定する、
請求項１に記載の検出方法。
＜請求項７＞
前記領域設定規則に従って設定される仮想図形領域に係る前記仮想図形は、前記対象領域の重心と、前記候補点とを結ぶ線分を直径とする円である、
請求項１に記載の検出方法。
＜請求項８＞
前記代表点は、前記対象領域の輪郭線上にある複数の輪郭点のいずれかであり、
前記候補点を、前記複数の輪郭点の中から抽出する、
請求項１に記載の検出方法。
＜請求項９＞
前記代表点は、前記対象領域における前記突出部の先端に対応する点である、
請求項８に記載の検出方法。
＜請求項１０＞
前記対象領域を包含する最小の凸多角形の頂点である複数の凸包点の中から前記候補点を抽出する、
請求項８に記載の検出方法。
＜請求項１１＞
前記複数の凸包点を代表する複数の代表凸包点のうち、突出形状の先端に位置する場合に満たされる先端条件を満たす代表凸包点を、前記候補点として抽出する、請求項１０に記載の検出方法。
＜請求項１２＞
前記複数の代表凸包点の各々について、
前記代表凸包点と、当該代表凸包点を挟む１組の前記輪郭点のうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点についてそれぞれ前記仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が長い前記輪郭点の組ほど前記仮想線分がなす角度が小さい場合に、前記代表凸包点が前記先端条件を満たすと判別し、
前記複数の代表凸包点のうち前記先端条件を満たすと判別された代表凸包点を、前記候補点として抽出する、
請求項１１に記載の検出方法。
＜請求項１３＞
前記複数の凸包点が、或る凸包点から基準距離の範囲内に分布する凸包点群を含む場合には、前記凸包点群のうち前記対象領域の重心から最も遠い凸包点を前記複数の代表凸包点の１つとして抽出し、
前記複数の凸包点のうちの或る前記凸包点から前記基準距離の範囲内に他の凸包点がない場合には、前記或る凸包点を前記複数の代表凸包点の１つとして抽出する、
請求項１１又は１２に記載の検出方法。
＜請求項１４＞
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える検出装置。
＜請求項１５＞
コンピュータに、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させるプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピュータが実行する検出方法であって、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
検出方法。
＜請求項２＞
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件である、
請求項１に記載の検出方法。
＜請求項３＞
前記対象領域の中から、複数の前記突出部に対応する複数の前記候補点を抽出し、
前記複数の候補点の各々に対して前記仮想図形領域を設定し、
前記複数の候補点のうち、対応する前記仮想図形領域と、前記対象領域とが前記重複条件を満たしている候補点を前記代表点として検出する、
請求項１に記載の検出方法。
＜請求項４＞
前記重複条件は、前記仮想図形領域の面積に対する、前記仮想図形領域のうち前記対象領域と重複する重複領域の面積の割合が基準値以下である場合に満たされる面積条件であり、
前記複数の候補点のうち、対応する前記重複領域の面積が前記面積条件を満たしている候補点が複数ある場合には、前記仮想図形領域の面積に対する前記重複領域の面積の割合が小さい順に、規定数以下の候補点を前記代表点として検出する、
請求項３に記載の検出方法。
＜請求項５＞
前記対象が手であり、前記突出部が指である場合には、前記規定数は５以下に定められる、
請求項４に記載の検出方法。
＜請求項６＞
前記領域設定規則に従って、前記仮想図形の輪郭線が前記対象領域の重心と前記候補点とを通るように前記仮想図形領域を設定する、
請求項１に記載の検出方法。
＜請求項７＞
前記領域設定規則に従って設定される仮想図形領域に係る前記仮想図形は、前記対象領域の重心と、前記候補点とを結ぶ線分を直径とする円である、
請求項１に記載の検出方法。
＜請求項８＞
前記代表点は、前記対象領域の輪郭線上にある複数の輪郭点のいずれかであり、
前記候補点を、前記複数の輪郭点の中から抽出する、
請求項１に記載の検出方法。
＜請求項９＞
前記代表点は、前記対象領域における前記突出部の先端に対応する点である、
請求項８に記載の検出方法。
＜請求項１０＞
前記対象領域を包含する最小の凸多角形の頂点である複数の凸包点の中から前記候補点を抽出する、
請求項８に記載の検出方法。
＜請求項１１＞
前記複数の凸包点を代表する複数の代表凸包点のうち、突出形状の先端に位置する場合に満たされる先端条件を満たす代表凸包点を、前記候補点として抽出する、請求項１０に記載の検出方法。
＜請求項１２＞
前記複数の代表凸包点の各々について、
前記代表凸包点と、当該代表凸包点を挟む１組の前記輪郭点のうち互いに異なる一方と、をそれぞれ結ぶ２つの仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が互いに異なる少なくとも２組の前記輪郭点についてそれぞれ前記仮想線分がなす角度を導出し、
前記代表凸包点からの平均距離が長い前記輪郭点の組ほど前記仮想線分がなす角度が小さい場合に、前記代表凸包点が前記先端条件を満たすと判別し、
前記複数の代表凸包点のうち前記先端条件を満たすと判別された代表凸包点を、前記候補点として抽出する、
請求項１１に記載の検出方法。
＜請求項１３＞
前記複数の凸包点が、或る凸包点から基準距離の範囲内に分布する凸包点群を含む場合には、前記凸包点群のうち前記対象領域の重心から最も遠い凸包点を前記複数の代表凸包点の１つとして抽出し、
前記複数の凸包点のうちの或る前記凸包点から前記基準距離の範囲内に他の凸包点がない場合には、前記或る凸包点を前記複数の代表凸包点の１つとして抽出する、
請求項１１又は１２に記載の検出方法。
＜請求項１４＞
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出し、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出し、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定し、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する、
処理部を備える検出装置。
＜請求項１５＞
コンピュータに、
対象を撮影して得られた撮影画像において、前記対象に対応する対象領域を抽出する処理、
前記対象領域の中から、前記対象の突出部を代表する代表点の候補となる候補点を抽出する処理、
領域設定規則に従って、前記候補点を輪郭線上又は内部に含む仮想図形に係る仮想図形領域を設定する処理、
設定された前記仮想図形領域と、前記対象領域と、の重複度合いが、所定の重複条件を満たしている場合に、前記候補点を、前記代表点として検出する処理、
を実行させるプログラム。
【符号の説明】
【0085】
１ 情報処理システム
１０ 検出装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１３３ マスク画像データ
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
２１ カラーカメラ
２２ 深度カメラ
３０ プロジェクタ
４０ マスク画像
４１ 手領域（対象領域）
４２ 指領域
４３ 輪郭線
４４ 輪郭点
４４ａ～４４ｃ 判別用輪郭点
５０ 代表凸包点
５１ 凸包点
５１ｇ 凸包点群
６０ 候補点
７０ 代表点
８０ 操作者
８１ 手（対象）
８２ 指（突出部）
Ｄ 線分
Ｇ 重心
Ｉｍ 画像
Ｌａ～Ｌｃ 仮想線分
ＲＤ 重複領域
ＲＳ 仮想図形領域
Ｓ 仮想図形
ｒ 基準距離
θａ～θｃ 角度
１０ 検出装置
１１ ＣＰＵ（処理部）
１２ ＲＡＭ
１３ 記憶部
１３１ プログラム
１３２ 撮影画像データ
１３３ マスク画像データ
１４ 操作部
１５ 表示部
１６ 通信部
１７ バス
２０ 撮影装置
２１ カラーカメラ
２２ 深度カメラ
３０ プロジェクタ
４０ マスク画像
４１ 手領域（対象領域）
４２ 指領域
４３ 輪郭線
４４ 輪郭点
４４ａ～４４ｃ 判別用輪郭点
５０ 代表凸包点
５１ 凸包点
５１ｇ 凸包点群
６０ 候補点
７０ 代表点
８０ 操作者
８１ 手（対象）
８２ 指（突出部）
Ｄ 線分
Ｇ 重心
Ｉｍ 画像
Ｌａ～Ｌｃ 仮想線分
ＲＤ 重複領域
ＲＳ 仮想図形領域
Ｓ 仮想図形
ｒ 基準距離
θａ～θｃ 角度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】