特許 6866467 ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6866467

(24)【登録日】2021年4月9日

(45)【発行日】2021年4月28日

(54)【発明の名称】ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210419BHJP

   H04N 5/232 20060101ALI20210419BHJP

【ＦＩ】

   G06T7/20 300A

   H04N5/232 290

   H04N5/232 990

   H04N5/232 190

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2019-500150(P2019-500150)

(86)(22)【出願日】2017年2月20日

(86)【国際出願番号】JP2017006121

(87)【国際公開番号】WO2018150569

(87)【国際公開日】20180823

【審査請求日】2019年8月19日

(73)【特許権者】

【識別番号】300016765

【氏名又は名称】シャープＮＥＣディスプレイソリューションズ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】青柳 寿和

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００９−１０４２９７（ＪＰ，Ａ）

【文献】 特開２０１０−０３６７６２（ＪＰ，Ａ）

【文献】 特表２０１３−５４１７４７（ＪＰ，Ａ）

【文献】 特開２０１６−０４５５８８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像した画像内の人物を示す第１の画像を出力する第１の画像取得部と、
前記第１の画像に示される人物の第１の特定部位を検出する第１特定部位検出部と、
前記第１の画像の前記第１の特定部位におけるジェスチャーから前記第１の画像に示される人物のうちの一人を特定する第１特定部位ジェスチャー認識部と、
前記第１特定部位ジェスチャー認識部により特定された人物の第２の特定部位を検出する第２特定部位検出部と、
第２の画像を取得して出力する第２の画像取得部と、
前記第２の画像の前記第２の特定部位におけるジェスチャーを検出する第２特定部位ジェスチャー認識部と、
を有するジェスチャー認識装置。

【請求項2】

請求項１記載のジェスチャー認識装置において、
前記第１の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第１の画像を出力する人物熱画像抽出部と、を有し、
前記第２の画像取得部は、撮像範囲が前記熱画像センサと同じであり、前記熱画像センサよりも解像度が高いカメラである、ジェスチャー認識装置。

【請求項3】

請求項１記載のジェスチャー認識装置において、
前記第１の画像取得部は、３次元位置データを取得する３次元センサと、前記３次元センサにより取得された人物がいないときの３次元位置データを格納する背景３次元位置データ格納部と、前記３次元センサにより取得された人物がいるときの３次元位置データと前記背景３次元位置データ格納部に格納された背景３次元位置データとの異なる部分を前記第１の画像として出力する人物３次元位置データ抽出部と、を有し、
前記第２の画像取得部は、撮像範囲が前記３次元センサと同じであり、前記３次元センサよりも解像度が高いカメラである、ジェスチャー認識装置。

【請求項4】

請求項１記載のジェスチャー認識装置において、
前記第１の画像取得部は、熱画像を撮影する熱画像センサと、前記熱画像の中で人間の体温に近い領域を示す前記第１の画像を出力する人物熱画像抽出部と、を有し、
前記第２の画像取得部は、前記熱画像センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第２の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。

【請求項5】

請求項１記載のジェスチャー認識装置において、
前記第１の画像取得部は、３次元位置データを取得する３次元センサと、前記３次元センサにより取得された人物がいないときの３次元位置データを格納する背景３次元位置データ格納部と、前記３次元センサにより取得された人物がいるときの３次元位置データと前記背景３次元位置データ格納部に格納された背景３次元位置データとの異なる部分を前記第１の画像として出力する人物３次元位置データ抽出部と、を有し、
前記第２の画像取得部は、前記３次元センサよりも解像度が低いカメラと、前記カメラの撮影画像の左右、上下方向を調整するパン・チルト機構と、前記パン・チルト機構により前記カメラを前記第２の特定部位に向かせるパン・チルト駆動部と、を有する、ジェスチャー認識装置。

【請求項6】

請求項１ないし請求項５のいずれかに記載のジェスチャー認識装置を備え、前記第２特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替えるプロジェクタ。

【請求項7】

請求項１ないし請求項５のいずれかに記載のジェスチャー認識装置を備え、前記第２特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて出力する映像の変更や動作を切替える映像信号供給装置。

【請求項8】

撮像した画像内の人物を示す第１の画像を取得し、
前記第１の画像に示される人物の第１の特定部位を検出し、
前記第１の画像の前記第１の特定部位におけるジェスチャーから前記第１の画像に示される人物のうちの一人を特定し、
前記特定された人物の第２の特定部位を検出し、
第２の画像を取得し、
前記第２の画像の前記第２の特定部位におけるジェスチャーを検出する、
を有するジェスチャー認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置に関する。

【背景技術】

【0002】

近年、特許文献１（特表２０１３-５４１７４７号公報）に開示されるように、デジタルサイネージやＰＣなどを操作するためのユーザーインターフェースとしてジェスチャーが使われるようになってきている。ジェスチャー操作においては、ジェスチャーで操作する人が１人だけ、ディスプレイやＰＣに比較的近距離で正対し、ディスプレイやＰＣ備えられたカメラに向かって操作するためのジェスチャーを行っている。
プロジェクタの操作は主にリモコンによって行われているが、プレゼンターがプレゼンテーションを円滑に行いながら操作するために、プレゼンターのジェスチャーによってプロジェクタを操作することが求められてきている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１３-５４１７４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

プロジェクタの操作に、操作者の手、指などの動作によるジェスチャー認識を用いる場合、手、指などの動作をカメラにより認識することが必要となる。プロジェクタを用いてプレゼンテーションを行い、プロジェクタの操作をプレゼンターが行う場合には、プレゼンターが存在することが推定される、映像が投写されるスクリーンの周辺を含む広範囲の領域がカメラの認識対象となる。この場合、使用するカメラには高解像度のものであることが要求されるため、手の位置の検出に時間がかかることからリアルタイムで手、指の動作を認識するのが難しいという問題がある。
また、プロジェクタからスクリーンなどへ投写された映像の中に人物の映像があると、映像中の人物の手、指を操作者の手、指と誤検出する可能性がある。

【0005】

誤検出に対しては、熱画像センサや３次元センサで検出することにより、映像中の人物を除いて検出する方法がある。
熱画像センサおよび３次元センサのいずれも解像度が低いため、上記のような広範囲の領域で手、指を検出するには解像度が足りない。
さらに、上記のようなプレゼンテーションではプレゼンターが２人以上いることもあり、プレゼンターが２人以上いる場合にはジェスチャーによりプロジェクタを操作する人物を特定する必要がある。また、操作を行う人物が変更される場合には特定する人物の切替えを行わなければならない。ジェスチャー操作する人物の切替えるときに、ある人物の手、指のジェスチャー認識を行いつつ、他の人物によるジェスチャー操作者切替えのためのジェスチャーを認識したりすることが必要で時間がかかるという問題がある。

【0006】

本発明はジェスチャーの認識を迅速に行うジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置を実現する。

【課題を解決するための手段】

【0007】

本発明のジェスチャー認識装置は、撮像した画像内の人物を示す第１の画像を出力する第１の画像取得部と、
前記第１の画像に示される人物の第１の特定部位を検出する第１特定部位検出部と、
前記第１の画像の前記第１の特定部位におけるジェスチャーから前記第１の画像に示される人物のうちの一人を特定する第１特定部位ジェスチャー認識部と、
前記第１特定部位ジェスチャー認識部により特定された人物の第２の特定部位を検出する第２特定部位検出部と、
第２の画像を取得して出力する第２の画像取得部と、
前記第２の画像の前記第２の特定部位におけるジェスチャーを検出する第２特定部位ジェスチャー認識部と、
を有する。
本発明のプロジェクタは、上記のジェスチャー認識装置を備え、前記第２特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて動作を切替える。

【0008】

本発明の映像信号供給装置は、上記のジェスチャー認識装置を備え、前記第２特定部位ジェスチャー認識部にて検出されたジェスチャーに応じて出力する映像の変更や動作を切替える。
本発明のジェスチャー認識方法は、撮像した画像内の人物を示す第１の画像を取得し、
前記第１の画像に示される人物の第１の特定部位を検出し、
前記第１の画像の前記第１の特定部位におけるジェスチャーから前記第１の画像に示される人物のうちの一人を特定し、
前記特定された人物の第２の特定部位を検出し、
第２の画像を取得し、
前記第２の画像の前記第２の特定部位におけるジェスチャーを検出する。

【発明の効果】

【0009】

上記の構成を備える本発明は、ジェスチャーの認識を迅速に行うジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置を実現する。

【図面の簡単な説明】

【0010】

【図1】本発明によるジェスチャー認識装置の一実施形態の構成を示すブロック図である。

【図2】プロジェクタの投写エリアを示す図である。

【図3】プロジェクタの投写エリアを示す図である。

【図4】ジェスチャー認識装置が組み込まれたプロジェクタが、ＰＣと接続した例を示す図である。

【図5】本発明によるジェスチャー認識装置の第２の実施形態の構成を示すブロック図である。

【図6】本発明によるジェスチャー認識装置の第３の実施形態の構成を示すブロック図である。

【図7】本発明によるジェスチャー認識装置の第４の実施形態の構成を示すブロック図である。

【図8】ジェスチャー認識装置７０１がプロジェクタ７０２に組み込まれた形態を示す図である。

【図9】ジェスチャー認識装置８０１が認識結果を映像信号供給装置８０３へ出力する形態を示す図である。

【図10】ジェスチャー認識装置９０１が映像信号供給装置９０３に組み込まれた形態を示している。

【発明の実施の形態】

【0011】

第１の実施形態
次に、本発明の実施形態について図面を参照して説明する。図１は、本発明によるジェスチャー認識装置の一実施形態の構成を示すブロック図である。本実施形態のジェスチャー認識装置は、第１の特定部位としての腕によるジェスチャーにより操作を行う人物を認識し、第２の特定部位としての手、および、指のジェスチャーにより操作内容を認識するものである。
図１に示すジェスチャー認識装置は、熱画像センサ１、人物熱画像抽出部２、人物検出部３、腕位置検出部４、腕ジェスチャー認識部５、前人物熱画像格納部６、人物追跡部７、前人物位置格納部８、手位置検出部９、キャリブレーションデータ格納部１０、手位置カメラ座標変換部１１、カメラ１２、手指ジェスチャー認識部１３、および、制御部１４から構成されている。

【0012】

熱画像センサ１および人物熱画像抽出部２は第１の画像取得部を構成し、人物検出部３および腕位置検出部４は第１特定部位検出部を構成する。腕ジェスチャー認識部５は第１特定部位ジェスチャー認識部を構成し、前人物熱画像格納部６、人物追跡部７、前人物位置格納部８、手位置検出部９、キャリブレーションデータ格納部１０、手位置カメラ座標変換部１１は第２特定部位検出部を構成する。カメラ１２は第２の画像取得部を構成し、手指ジェスチャー認識部１３は第２特定部位ジェスチャー認識部を構成する。

【0013】

以下に、本実施形態の各部の動作について説明する。
熱画像センサ１はカメラ１２と同様の撮影範囲の熱画像を撮影し、撮影内容を示す熱画像Ｓ１を人物熱画像抽出部２へ出力する。
人物熱画像抽出部２は、熱画像Ｓ１に示される熱画像の中で、人間の体温に近い領域を人物領域として抽出し、抽出した人物領域を示す人物熱画像Ｓ２を、人物検出部３、腕位置検出部４、腕ジェスチャー認識部５、前人物熱画像格納部６、人物追跡部７、および、手位置検出部９へ出力する。
人物検出部３は、人物熱画像Ｓ２に示される人物領域の全ての位置を検出し、人物位置信号Ｓ３として腕位置検出部４、および、人物追跡部７へ出力する。

【0014】

腕位置検出部４は、人物検出部３からの人物位置信号Ｓ３と人物熱画像抽出部２からの人物熱画像Ｓ２から、検出された全ての人物の両腕の位置を検出し、その検出内容を示す腕位置検出信号Ｓ４を腕ジェスチャー認識部５へ出力する。
腕ジェスチャー認識部５は腕位置検出部４から送られてくる腕位置検出信号Ｓ４に示される腕位置検出部４で検出された全ての人物の両腕の位置と、人物熱画像抽出部２から送られてくる人物熱画像Ｓ２から、すべての人物領域で行われる腕によるジェスチャーおよび該ジェスチャーが示す操作内容を認識する。ここで、認識した操作内容が手指ジェスチャーの対象となる人物を切替えるものである場合には、ジェスチャーを認識する対象人物を切替る旨を示す対象人物切替信号Ｓ５と対象人物の位置を示す対象人物位置信号Ｓ６を人物追跡部７へ出力する。

【0015】

本実施形態では、人物検出の方法は特に規定しないが、一般的には、たとえば、人物に共通の特徴量をあらかじめ人物モデルとして用意しておき、画像から特徴量を抽出し比較することにより人物を検出する方法などがある。前人物熱画像格納部６は人物熱画像Ｓ２に示される各人物領域の位置を格納する。
人物追跡部７は、人物熱画像抽出部２からの人物熱画像Ｓ２、人物検出部３からの人物位置信号Ｓ３、前人物熱画像格納部６に格納されている前フレームの人物熱画像、８に格納されている前フレームの対象人物の位置を示す対象人物位置追跡信号Ｓ８により対象人物を追跡し、現フレームでの位置を取得するとともに、その対象人物の位置を対象人物位置追跡信号Ｓ８として前人物位置格納部８、および、手位置検出部９へ出力する。また、腕ジェスチャー認識部５からの対象人物切替信号Ｓ５により対象人物の切替を認識したときには、追跡する対象人物を腕ジェスチャー認識部５からの対象人物位置信号Ｓ６で示される人物に切り替え、次のフレーム以降は新しい人物の位置を追跡する。なお、一番初めは、腕ジェスチャーにより対象人物を決め、追跡を開始する。

【0016】

各信号Ｓ２〜Ｓ８は、熱画像Ｓ１に示される熱画像のフレームごとに更新され、人物検出部３、腕位置検出部４、腕ジェスチャー認識部５、前人物熱画像格納部６、人物追跡部７、および、前人物位置格納部８への入力内容や出力内容、もしくは、格納内容も熱画像Ｓ１に示される熱画像のフレームごとに更新される。
手位置検出部９は、人物追跡部７から出力された対象人物位置追跡信号Ｓ８に示される対象人物の位置から、人物熱画像Ｓ２における対象人物の両手の位置を検出し、手位置信号Ｓ９として手位置カメラ座標変換部１１へ出力する。
キャリブレーションデータ格納部１０は、熱画像センサ１の座標系とカメラ１２の座標系の位置関係を計測した結果により得られた、熱画像センサ１の座標系をカメラ１２の座標系に変換するキャリブレーションを行うためのパラメータを格納する。

【0017】

手位置カメラ座標変換部１１は、キャリブレーションデータ格納部１０に格納されているパラメータを使用して手位置検出部９から送られてきた手位置信号Ｓ９に示される、対象人物の両手の位置をカメラ座標系の位置に変換し、カメラ座標信号Ｓ１０として手指ジェスチャー認識部１３へ出力する。
手指ジェスチャー認識部１３には、カメラ１２により撮影された映像を示す映像信号Ｓ１１が入力されており、手指ジェスチャー認識部１３はカメラ座標信号Ｓ１０に示される位置で行われている手指によるジェスチャー、および、該手指によるジェスチャーに示される内容を認識し、手指によるジェスチャーに示される内容を制御部１４へ出力する。

【0018】

制御部１４では、手指ジェスチャー認識部１３から送られてきた該認識内容に応じた制御信号Ｓ１２を出力する。
本実施形態のジェスチャー認識装置は、ＰＣ（Personal Computer：パーソナル コンピュータ）やプロジェクタなどと組み合わされるもので、ＰＣやプロジェクタの内部に組み込まれる形態も含まれる。
図２は、図１に示したジェスチャー認識装置が組み込まれたプロジェクタ１０１とその投写対象物における投写エリア、および、プレゼンターの移動エリアとの関係を示す図である。

【0019】

図２に示すようにプロジェクタ１０１では、プロジェクタの投写対象物であるスクリーン１０６における投写エリア１０４だけでなく、映像が投写されるスクリーン１０６、および、投写映像によるプレゼンテーション実行時にプレゼンターが立つことが予想されるスクリーン１０６の両側の領域を含むプレゼンターの移動エリア１０５をカバーする形で、プロジェクタ１０１に設けられた熱画像センサ１０２およびカメラ１０３の撮像範囲が設定されている。熱画像センサ１０２でスクリーン１０６の前や周辺にいる人物、および、その腕や手の位置を検出するとともに腕を使ったジェスチャーを認識でき、カメラ１０３により、手、指によるジェスチャーを認識できるようになっている。
熱画像センサ１０２とカメラ１０３の撮像範囲の設定にあたっては、図３に示すように投写対象物であるスクリーン１０９Ａ，１１２Ｂまでの距離により投写対象物における投写エリア１０７Ａ，１１０Ｂや必要なスクリーン１０９Ａ，１１２Ｂの大きさは変わるが、プレゼンターの大きさや投写対象物であるスクリーン１０９Ａ，１１２Ｂなどの両側のプレゼンターの立つ移動エリア１０８Ａ，１１１Ｂの大きさは投写距離に関わらず一定なので、想定される最小の投写距離のプレゼンターの移動エリアに合わせて範囲を設定する必要がある。

【0020】

図４はジェスチャー認識装置が組み込まれたプロジェクタが、ＰＣと接続した例を示す図である。図４においては、ＰＣ１１３の映像出力１１５がプロジェクタ１０１に入力され、ＰＣ１１３からの映像１１５がプロジェクタ１０１から投写されるとともに、ＰＣ１１３とプロジェクタ１０１が通信手段により接続され、データ１１４のやりとりが相互に行えるように構成されている。
図４に示す例においては、制御部１４は、手指ジェスチャー認識部１３で認識された手指によるジェスチャーの内容に応じて制御出力を行い、プロジェクタ１０１を制御するか、あるいは、通信手段を介して接続されているＰＣ１１３を制御する。

【0021】

以上により、ジェスチャー操作を行う人物が高速に切替えられ、また、その人物の手指によるジェスチャーが高速に検出される。
上記のように構成される本実施形態においては、熱画像センサで人物を検出することにより、プロジェクタからスクリーンなどへ投写された映像の中の人物を誤検出することなく手指ジェスチャー認識することができる。
また、熱画像センサであらかじめ手の位置を検出することにより、カメラによる手指ジェスチャー認識を高速に認識することができる。
さらに、カメラよる手指ジェスチャー認識と並行して熱画像センサにより腕ジェスチャー認識を行うことから、手指ジェスチャーの対象となる人物の切替を高速に行うことができる。

【0022】

第２の実施形態
図５は本発明によるジェスチャー認識装置の第２の実施形態の構成を示すブロック図である。
本実施形態は、第１の実施形態における熱画像センサの代わりに３次元センサを使用するもので、図１に示した熱画像センサ１の代わりに３次元センサ１６が設けられ、人物熱画像抽出部２の代わりに人物３次元位置データ格納部１８、前人物熱画像格納部６の代わりに前３次元位置データ格納部１９が設けられ、新たに背景３次元位置データ格納部１７が設けられている。
本実施例では、あらかじめスクリーンの周辺に人物がいないときに３次元センサ１６によって３次元位置データを取得して背景の３次元データとして背景３次元位置データ格納部１７に格納しておく。その後、３次元センサ１６により、人物を含む３次元位置データを取得したときに、人物３次元位置データ格納部１８において、取得した３次元位置データと背景３次元位置データ格納部１７に格納されている背景の３次元位置データと異なる部分を人物領域として抽出し、人物３次元位置データとして出力する。その後の処理は、人物熱画像が人物３次元位置データに代わっただけで図１に示した第１の実施形態と同じである。

【0023】

３次元センサ１６としては、例えば、ＴＯＦ（Time of Flight）方式や三角測量方式の３次元センサを用いることができるが、これらの方式に限定されることはない。ＴＯＦ方式は、光を対象物に向けて投射し、その投射光が対象物で反射されて戻ってくるまでの時間を計測することで３次元計測を行う方式である。三角測量方式には、例えば、パッシブ三角測量方式やアクティブ三角測量方式などがある。パッシブ三角測量方式は、左右に並べて配置された２台のカメラで同時に対象物を撮影し、各カメラで得られる対象物の撮像画像上の位置の違いから三角測量の原理を用いて３次元計測を行う方式であり、ステレオカメラ方式とも呼ばれている。アクティブ三角測量方式は、対象物に光を照射し、対象物からの反射光の情報に基づいて、三角測量の原理を用いて３次元計測を行う方式である。

【0024】

第３の実施形態
図６は本発明によるジェスチャー認識装置の第３の実施形態の構成を示すブロック図である。本実施形態は、図１におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図１におけるカメラ１０の代わりに、カメラ１０よりも低解像度の低解像度カメラ２０が設けられ、新たに低解像度カメラ２０の向きを変えるためのパン・チルト機構２１と、パン・チルト機構２１を制御するためのパン・チルト駆動部２２が設けられている。

【0025】

本実施形態においても、第１の実施形態および第２の実施形態と同様に、キャリブレーションデータ格納部１０には熱画像センサ１の座標系を、低解像度カメラ２０の座標系に変換するためのパラメータがあらかじめ格納されている。このパラメータは、低解像度カメラ２０の撮影方向が上下角０、左右角０のときに対応している。手位置カメラ座標変換部１１は、手位置検出部９で検出された両手の位置を、キャリブレーションデータ格納部１０に格納されているパラメータによりカメラ画像座標系における両手の位置に変換して低解像度カメラ２０の座標系における両手の位置を示すカメラ座標信号Ｓ１０として手指ジェスチャー認識部１３へ出力する。また、パン・チルト駆動部２２に対しては、低解像度カメラ２０による画像における両手の位置を出力する。パン・チルト駆動部２２はパン・チルト機構２１を駆動し、低解像度カメラ２０の撮像画像の左右、上下方向を調整することにより、カメラ画像座標系における両手の位置に低解像度カメラ２０が向くように制御を行う。手指ジェスチャー認識部１３でカメラ画像中のカメラ座標系における両手に位置にある指を検出し、手指によるジェスチャーを認識する。

【0026】

第４の実施形態
図７は本発明によるジェスチャー認識装置の第４の実施形態の構成を示すブロック図である。
本実施形態は、第２の実施形態と同様に、第１の実施形態における熱画像センサの代わりに３次元センサを使用するもので、図１に示した熱画像センサ１の代わりに３次元センサ１６が設けられ、人物熱画像抽出部２の代わりに人物３次元位置データ格納部１８、前人物熱画像格納部６の代わりに前３次元位置データ格納部１９が設けられ、新たに背景３次元位置データ格納部１７が設けられている。

【0027】

また、第２の実施形態と同様に、図１におけるカメラとして、スクリーン、および、その周辺を撮像範囲とし、かつ、手指部分に対する十分な解像度が取れる高解像度のカメラが使用できないときに、低解像度のカメラを使用し、その向きを対象人物の手の位置に合わせて変えるものである。
本実施形態では、図１におけるカメラ１０の代わりに、カメラ１０よりも低解像度の低解像度カメラ２０が設けられ、新たに低解像度カメラ２０の向きを変えるためのパン・チルト機構２１と、パン・チルト機構２１を制御するためのパン・チルト駆動部２２が設けられている。

【0028】

本実施例では、あらかじめスクリーンの周辺に人物がいないときに３次元センサ１６によって３次元位置データを取得して背景の３次元データとして背景３次元位置データ格納部１７に格納しておく。その後、３次元センサ１６により、人物を含む３次元位置データを取得したときに、人物３次元位置データ格納部１８において、取得した３次元位置データと背景３次元位置データ格納部１７に格納されている背景の３次元位置データと異なる部分を人物領域として抽出し、人物３次元位置データとして出力する。

【0029】

本実施形態においても、第１の実施形態ないし第３の実施形態と同様に、キャリブレーションデータ格納部１０には熱画像センサ１の座標系を、低解像度カメラ２０の座標系に変換するためのパラメータがあらかじめ格納されている。このパラメータは、低解像度カメラ２０の撮影方向が上下角０、左右角０のときに対応している。手位置カメラ座標変換部１１は、手位置検出部９で検出された両手の位置を、キャリブレーションデータ格納部１０に格納されているパラメータによりカメラ画像座標系における両手の位置に変換して低解像度カメラ２０の座標系における両手の位置を示すカメラ座標信号Ｓ１０として手指ジェスチャー認識部１３へ出力する。また、パン・チルト駆動部２２に対しては、低解像度カメラ２０による画像における両手の位置を出力する。パン・チルト駆動部２２はパン・チルト機構２１を駆動し、低解像度カメラ２０の撮像画像の左右、上下方向を調整することにより、カメラ画像座標系における両手の位置に低解像度カメラ２０が向くように制御を行う。手指ジェスチャー認識部１３でカメラ画像中のカメラ座標系における両手に位置にある指を検出し、手指によるジェスチャーを認識する。

【0030】

上記のように、各実施形態に示されるジェスチャー認識装置は、プロジェクタの投写方向に向けて備えられた熱画像データを取得する熱画像センサ、あるいは、３次元位置を計測できる３次元センサ、および、カメラを具備する。熱画像センサ、あるいは、３次元センサによりプロジェクタにより映像が投写されるスクリーンなどの前や周辺にいる人物、および、その腕や手の位置を検出するとともに腕を使ったジェスチャーを認識し、カメラにより手、指によるジェスチャーを認識する。腕を使ったジェスチャーにより、手、指ジェスチャーを行う人物を切替え、その人物の、手、指のジェスチャーを認識し、認識結果をジェスチャー認識装置に接続された装置、たとえば、プロジェクタ、あるいは、ＰＣなどへ出力する。

【0031】

低解像度の熱画像センサ、あるいは、３次元センサで誤検出することなく人物の手の位置を高速に検出し、カメラでは、熱画像センサ、あるいは、３次元センサで検出された手の位置にある手、指のジェスチャー認識だけを行うことにより、認識を迅速に行うことができる。
また、カメラによる手、指のジェスチャー認識を行いつつ、並行して、熱画像センサ、あるいは、３次元センサにより得られた画像から、腕によるジェスチャー認識を行い、ジェスチャー操作する人物の切替えを行うので、ジェスチャー操作する人物の切替えが高速に行われる。
また、熱画像センサ、あるいは、３次元センサを使うことにより、プロジェクタにより投写されている映像中の人物と実際の人物を区別できるので、誤検出を回避することができる。

【0032】

各実施形態のジェスチャー認識装置は、認識結果をプロジェクタ、あるいは、ＰＣなどへ出力するものであり、その形態には図４に示したようなプロジェクタに組み込まれる形態、あるいは、ＰＣに組み込まれる形態も含まれる。
図８はジェスチャー認識装置７０１がプロジェクタ７０２に組み込まれた形態を示している。ジェスチャー認識装置７０１は第１ないし第３の実施形態のいずれかに示した構成を備えている。プロジェクタ７０２は映像信号供給装置７０３より供給される映像信号に示される映像を投写しており、ジェスチャー認識装置７０１からの認識結果に応じて電源のオンオフ、投写映像の輝度の調整などを行う。映像信号供給装置３０３としては、ＰＣ、ゲーム機器、映像ディスク再生装置などが挙げられる。

【0033】

図９はジェスチャー認識装置８０１が認識結果を映像信号供給装置８０３およびプロジェクタ８０２へ出力する形態を示している。ジェスチャー認識装置８０１は第１ないし第３の実施形態のいずれかに示した構成を備えている。プロジェクタ８０２は映像信号供給装置８０３からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置８０３は、ＰＣ、ゲーム機器などであり、ジェスチャー認識装置８０１からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。また、プロジェクタ８０２は、ジェスチャー認識装置８０１からの認識結果に応じて、輝度、ズーム動作など、プロジェクタ８２の本体もしくリモコンに備えられている投写映像の調整を行う。
図１０はジェスチャー認識装置９０１が映像信号供給装置９０３に組み込まれた形態を示している。ジェスチャー認識装置９０１は第１ないし第３の実施形態のいずれかに示した構成を備えている。プロジェクタ９０２は映像信号供給装置９０３からの映像信号に応じた映像に示される映像を投写している。映像信号供給装置９０３は、ＰＣ、ゲーム機器などであり、ジェスチャー認識装置９０１からの認識結果に応じて映像信号の切替えや映像信号の内容の変更を行う。

【0034】

上述したジェスチャー認識装置８０１からの認識結果に応じて行われる動作は一例であり、この他にもプロジェクタの操作内容としては、例えば、映像信号入力の端子切り換え、ズーム、描画（アンダーラインなど）など、映像信号供給装置の操作内容としては、pdfやパワーポイントのページ送り、マウスとしての操作などが挙げられ、これら以外にも様々な応用が考えられる。

【符号の説明】

【0035】

１ 熱画像センサ
２ 人物熱画像抽出部
３ 人物検出部
４ 腕位置検出部
５ 腕ジェスチャー認識部
６ 前人物熱画像格納部
７ 人物追跡部
８ 前人物位置格納部
９ 手位置検出部
１０ キャリブレーションデータ格納部
１１ 手位置カメラ座標変換部
１２ カメラ
１３ 手指ジェスチャー認識部
１４ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】