特開 2024-60187 姿勢推定による非接触入力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024060187

(43)【公開日】2024-05-02

(54)【発明の名称】姿勢推定による非接触入力装置

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240424BHJP

   G06T 7/70 20170101ALI20240424BHJP

   G06V 40/20 20220101ALI20240424BHJP

   G06F 3/0484 20220101ALI20240424BHJP

   H04N 7/18 20060101ALI20240424BHJP

   G06T 7/20 20170101ALN20240424BHJP

【ＦＩ】

G06F3/01 570

G06T7/70 Z

G06V40/20

G06F3/0484

H04N7/18 K

H04N7/18 D

G06T7/20 300A

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022167386

(22)【出願日】2022-10-19

(71)【出願人】

【識別番号】000139090

【氏名又は名称】株式会社リョーサン

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】東 孝喜

(72)【発明者】

【氏名】森谷 晃士

【テーマコード（参考）】

5C054

5E555

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054FC01

5C054FC12

5C054FC13

5C054FE05

5C054FF06

5C054GB15

5C054HA19

5E555AA11

5E555AA58

5E555AA64

5E555BA02

5E555BB02

5E555BC04

5E555CA42

5E555CB66

5E555CC01

5E555CC05

5E555DD08

5E555EA22

5E555FA00

5L096AA06

5L096BA02

5L096CA04

5L096DA01

5L096DA03

5L096FA05

5L096FA16

5L096FA34

5L096FA64

5L096FA67

5L096FA69

(57)【要約】

【課題】姿勢推定による非接触入力装置を提供する。
【解決手段】
身体の動作を含む画像を撮像する撮像部と、前記撮像された身体の動作における複数の部位の座標を推定するとともに、任意の部位の座標と別の部位の座標との相関関係に基づいて身体の姿勢を推定する推定部と、判定条件を保持する記憶部と、推定された姿勢が、前記判定条件に一致するか否かを判定する判定部と、前記判定条件に一致するときに、当該判定条件に対応する情報処理を実行する実行部と、を備え、前記判定条件は、前記撮像された画像内の所定の範囲内の座標と、当該範囲内にある座標において検出された任意の部位と、当該任意の部位の相関関係とに基づくことを特徴とする装置を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

身体の動作を含む画像を撮像する撮像部と、
前記撮像された身体の動作における複数の部位の座標を推定するとともに、任意の部位の座標と別の部位の座標との相関関係に基づいて身体の姿勢を推定する推定部と、
判定条件を保持する記憶部と、
推定された姿勢が、前記判定条件に一致するか否かを判定する判定部と、
前記判定条件に一致するときに、当該判定条件に対応する情報処理を実行する実行部と、
を備え、
前記判定条件は、前記撮像された画像内の所定の範囲内の座標と、当該範囲内にある座標において検出された任意の部位と、当該任意の部位の相関関係とに基づくことを特徴とする装置。

【請求項2】

前記装置は、
所定の範囲を設定する情報処理を実行する入力モードと、前記所定の範囲への侵入を監視する情報処理を実行する監視モードとを有することを特徴とする請求項１に記載の装置。

【請求項3】

前記装置は、
身体の第１の動作から得られた相関関係により、入力モードを開始し、
身体の第２の動作から得られた相関関係により、所定の範囲を設定する情報処理を実行し、当該所定の範囲の設定が終了すると、入力モードを終了して、監視モードへ移行し、
身体の第３の動作から得られた相関関係により、監視モードを終了し、入力モードに戻ることを特徴とする請求項２に記載の装置。

【請求項4】

前記監視モードにおいて、前記入力モードで設定した所定の範囲内に、所定の身体の部位が侵入すると、侵入を通知する情報処理を実行することを特徴とする請求項３に記載の装置。

【請求項5】

請求項１の装置を含むシステムであって、
前記システムは、更に、前記実行部を介して、外部機器の動作を制御する制御手段を有し、
前記所定の範囲内で、所定の相関を検知すると、前記実行部は、前記制御手段に対して、外部機器の動作を指示する信号を出力することを特徴とする、システム。

【請求項6】

前記監視モードにおいて、前記所定の範囲内に、予め指定された身体の部位が指定された相関の状態にあることを検知することにより、所定の処理を実行し、
さらに、前記所定の範囲内に、予め指定された身体の部位が指定された相関の状態にあることが解除されたことを検知することにより、別の所定の処理を実行することを特徴とする、請求項１に記載の装置。

【請求項7】

前記監視モードにおいて、前記入力モードで設定した所定の範囲内に、所定の身体の部位が侵入し、かつ、侵入されている状態と判定できる相関の状態が所定期間にわたって続くと、所定の相関が続いている状態示す信号を任意の出力手段に送信する情報処理を実行することを特徴とする請求項３に記載の装置。

【請求項8】

請求項１の装置を含むシステムであって、
前記システムは、更に、前記実行部を介して、外部機器の動作を制御する制御手段を有し、
前記所定の範囲内で、所定の期間から別の所定の期間にわたって、所定の相関を検知すると、前記実行部は、前記制御手段に対して、外部機器の動作を指示する信号を出力すると共に前記所定の相関に基づく情報処理を実行することを特徴とする、システム。

【請求項9】

請求項１の装置を動作させるためのプログラム。

【請求項10】

前記判定条件は、更に、直前の身体の動作、以前に判定された相関、モードの状態、時間の少なくともひとつを含む、請求項１に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、姿勢推定が可能な装置や方法などに関する。特に、カメラの操作を行う場合、入力装置を外付けにしたり、ネットワーク経由で操作したりするなどの対応方法があるが、それらの装置を省略しても入力を可能とし、操作する装置や方法に関する。

【背景技術】

【0002】

クラウドやＧＰＵ搭載のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）で行ってきた人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の処理が、マイコン搭載のカメラ（ＡＩエンドポイントカメラ）でも実行可能になった。このようなカメラを活用すれば、いわゆるジェスチャーで遠隔操作が実現できる。

【0003】

従来から、ジェスチャーで装置を制御する装置は存在していた。

【0004】

例えば、特許文献１では、３Ｄ（３次元）シーンでジェスチャーを入力するシステムが開示されている。特許文献１では、３Ｄシーンのジェスチャー入力をするため２個（複数）のビデオストリームデータをリアルタイムに収集するためのジェスチャー採集手段などが必要であり、システムの構成が複雑になる傾向があった。また、特許文献１では、ビデオ画像の手部を特定してから利用するシステムであり、単調な操作または限定された操作のみしか実現できない。

【0005】

特許文献２では、遠隔操作システムが開示されている。特許文献２のシステムは、手の位置と手の平と目線と音声認識で操作するので、音声認識部に対応するマイクとジェスチャー認識部に対応するカメラの２つ入力装置が必要となり、現実的にはさらに、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）による３次元距離情報が測れるカメラも必要となり、特許文献１と同様にシステムの構成が複雑になる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１７－５３０４４７号公報

【特許文献2】特開２０１８－２０６０７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＡＩカメラの操作を行う場合、キーボードなどの操作装置を外付けにしたり、ネットワーク経由で操作したりするなどの対応方法があるが、手が届かない場所のカメラへのアクセス、操作装置の別途準備などは手間がかかる。

【0008】

入力装置を外付けにしたり、ネットワーク経由で操作したりするなどの対応方法があるが、それらの装置を省略しても入力を可能とし、操作する方法を発明した。

【課題を解決するための手段】

【0009】

本発明の一態様によると、身体の動作を含む画像を撮像する撮像部と、
前記撮像された身体の動作における複数の部位の座標を推定するとともに、任意の部位の座標と別の部位の座標との相関関係に基づいて身体の姿勢を推定する推定部と、
判定条件を保持する記憶部と、
推定された姿勢が、前記判定条件に一致するか否かを判定する判定部と、
前記判定条件に一致するときに、当該判定条件に対応する情報処理を実行する実行部と、
を備え、
前記判定条件は、前記撮像された画像内の所定の範囲内の座標と、当該範囲内にある座標において検出された任意の部位と、当該任意の部位の相関関係とに基づくことを特徴とする装置を提供する。

【発明の効果】

【0010】

本発明の一実施例によると、ＡＩカメラで姿勢推定を行い、その姿勢の状態から、カメラ本体を操作することにより上記の操作装置を省くことが可能になる。

【0011】

本発明の一実施例によると、別途入力装置の準備が不要になり、コストの低下を図れる。

【0012】

本発明の一実施例によると、物理的な操作装置が本体に不要になることにより、操作装置の劣化が解消される。

【0013】

本発明の一実施例によると、天井などのカメラに手が届かなくとも操作が可能になるため、操作者の安全性が上がる。

【0014】

本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の一実施例による装置の構成例を示す。

【図2】図２は、本発明の一実施例による情報処理の一例をフローチャートで示す。

【図3A】図３Ａは、本発明の一実施例によるデータ構造の一例を示す。

【図3B】図３Ｂは、本発明の一実施例によるデータ構造の一例を示す。

【図3C】図３Ｃは、本発明の一実施例によるデータ構造の一例を示す。

【図4A】図４Ａは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4B】図４Ｂは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4C】図４Ｃは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4D】図４Ｄは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4E】図４Ｅは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4F】図４Ｆは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図4G】図４Ｇは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図5A】図５Ａは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図5B】図５Ｂは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図5C】図５Ｃは、本発明の一実施例による情報処理の一例を画面表示を使って示す。

【図6】図６は、本発明の別の実施例による情報処理の一例を示す。

【図7】図７は、本発明の更に別の実施例による情報処理の一例を示しており、手以外の部位、例えば、足や頭などで入力する例を示している。

【図8】図８は、本発明の更に別の実施例による情報処理の一例を示しており、特殊条件下での扉操作を非接触で行う非接触入力装置の例を示している。

【図9】図９は、本発明の更に別の実施例による情報処理の一例を示しており、スポーツでの正しい姿勢でのカウントスイッチの例を示している。

【図10】図１０は、本発明の更に別の実施例による情報処理の一例を示しており、ＳＯＳボタンの例を示している。

【図11】図１１は、本発明の更に別の実施例による情報処理の一例を示しており、ヨガ等、一定の姿勢を示す場合のストップウォッチ開始・停止ボタンの代用を示している。

【図12】図１２は、本発明の更に別の実施例による情報処理の一例を示しており、ダンスや格闘など身体を利用するゲーム機を示している。

【発明を実施するための形態】

【0016】

本発明の一実施例によると、連続して撮像する機能を持つカメラと、姿勢を推定する機能から入力情報を生成する機能を備えた処理能力を持つ装置を提供する。カメラ内部で姿勢推定をしなくともよいが、発端はカメラ単体に操作装置を不要とする。

【実施例0017】

図１は、本発明の一実施例による非接触入力装置１００の構成例を示す。

【0018】

本実施例の非接触入力装置１００は、動画像撮影部１０１、姿勢推定部１０２、条件判定部１０３、設定保持部１０４、入力生成部１０５、出力部１０６、表示部１０７を含む。

【0019】

動画像撮影部１０１は、画像を連続して撮像する。動画像撮影部１０１の一例としては、ＡＩ機能付きのカメラが挙げられるが、本実施例において人工知能は必須な機能ではなく、人体の部位の座標に関するデータが出力できれば任意の手段で実現可能である。

【0020】

姿勢推定部１０２は、動画像撮影部１から出力されたデータ（画像）から、対象の姿勢を推定して、姿勢に関するデータを出力する。姿勢推定部１０２は、撮像部１０１から連続的にデータを取得するが、データを取得するタイミングは任意でもよい。例えば、所定の間隔でデータを取得してもよいし、撮像部１０１からデータの変化があったときにデータを取得できるように構成してもよい。

【0021】

条件判定部１０３は、推定した姿勢が特定条件を満たすかを判定する。

【0022】

設定保持部１０４は、特定条件の設定を保持する。さらに、任意の情報を記憶してもよい。

【0023】

入力生成部１０５は、姿勢などから入力情報を生成する。

【0024】

出力部１０６は、条件判定部１０３からの判定結果から情報表示や外部装置伝達する。

【0025】

表示部１０７は、姿勢推定結果等を表示する。

【0026】

なお、図１に明示していないが、本実施例の装置には、各部を制御するプロセッサなどの実行部が含まれている。

【0027】

図２は、本発明の一実施例による情報処理の一例を示す。

【0028】

Ｓ２０１では、特定のポーズを一定時間とることで、入力モードになる。

【0029】

Ｓ２０２では、右手の先など決められた部分を一定時間止めると、１つ目の座標とする。具体的には、動画像撮影後、その画像から姿勢推定を行い、姿勢推定の状態から、入力情報を生成し、処理内部の情報（特定条件（Ａ））を書き換える。

【0030】

Ｓ２０３では、４か所まで２を繰り返す。４か所目で４つの頂点とし、四角形を形成する。

【0031】

Ｓ２０４では、四角形の形成後、自動的に入力モードを終了する。入力モード終了後は、監視モードに移行してもよい。監視モードでは、例えば、上記の四角形に姿勢推定の特定の部位が入ると判定により侵入などの結果を出力する。

【0032】

本実施例では、情報処理の一例について説明したが、別の実施例でも実施ができる。例えば、Ｓ２０３において、四角形の形成について説明したが、３つ以上の頂点を任意に選択して、任意の多角形を形成するようにしてもよい。その時には、例えば、Ｓ２０４において、四角形の形成後、Ｓ２０１とは異なる特定のポーズを一定時間とることで、自動的に入力モードを終了するように構成する。そして、入力モードの終了時の頂点の数に基づいて多角形を形成するように構成してもよい。

【0033】

図３は、本発明の一実施例によるデータ構造の一例を示す。

【0034】

図３Ａは、姿勢推定部１０２が生成するデータ構造３１０の一例を示す。

【0035】

図３Ａのデータ構造３１０は、例えば、撮像部１が撮像した対象の部位の情報３１１と、その部位の座標の情報３１２と、時刻情報３１３で構成される。対象が人間の場合は、対象の部位とは、右手、左手、右肩、左肩、右足、左足などである。部位の座標とは、撮像部のカメラにおける二次元座標（Ｘ座標、Ｙ座標）である。また、時刻情報３１３は、撮像部１０１が部位の座標を取得した時刻である。時刻情報３１３は、所定の動作が一定時間続いているか否かを判定する時などに利用できるデータである。

【0036】

図３Ｂは、設定保持部４が記憶する特定条件のデータ構造３２０の一例を示す。

【0037】

図３Ｂのデータ構造３２０は、例えば、判定データＡ３２１と、判定データＢ３２２と、判定条件３２３と、判定内容３２４から構成される。判定データＡ３２１と判定データＢ３２２は、図３Ａのデータ構造から任意のデータを取得したものである。判定条件３２３とは、判定データＡ３２１と判定データＢ３２２の相関関係を示すものであり、当該相関関係に基づいて判定内容３２４を成立させるための条件である。具体例としては、判定データＡ３２１として、左手のＹ座標を取得し、判定データＢ３２２として左肩のＹ座標を取得し、左手のＹ座標が左肩のＹ座標よりも高いという状態において、左手のＹ座標が左肩のＹ座標よりも高くなると、頂点のひとつの座標情報を取得するという判定内容３２４（図４Ｃを参照）が出力可能となるようなデータ構造である。なお、当該取得された頂点のひとつの座標は、例えば、後述する図３Ｃのようなデータ構造に記憶されてもよい。

【0038】

図３Ｃは、設定保持部４が記憶する枠線のデータ構造３３０の一例を示す。

【0039】

データ構造３３０に記憶されているデータは、４つの頂点からなる四角形を形成するためのデータである。Ｘ座標３３１、Ｙ座標３３２は、第１の頂点、第２の頂点、第３の頂点、第４の頂点の座標を、それぞれ、（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）、（Ｘ４、Ｙ４）として記憶している。本実施例では、１つの四角形を形成するための実施例をデータ構造について説明したが、別の実施例として、四角形以外の多角形を形成したり、複数の多角形を配置したりするように構成されてもよい。

【0040】

なお、本実施例では、説明の便宜のために、判定データＡ３２１と判定データＢ３２２の２種類を用いたが、別の実施例として、判定したい相関関係に応じて、３種類以上の判定データを用いてもよい。

【0041】

図４は、本発明の一実施例による情報処理の一例を画面表示を使って示す。本実施例では、姿勢推定の人工知能（ＡＩ）が搭載されたカメラ（以下、ＡＩ監視カメラやＡＩカメラとも称する）がある。図４Ａから図４Ｆで示すように、そのカメラが撮像した画像を出力すると共に、ＡＩで推定したデータを重ね合わせて出力する。例えば、本実施例では、カメラの所定の枠内に対象（一人の人間）が入ると身体の各部位（手・足・肩・目）などをＡＩが推定し、その各部位に点を置いたデータを出力する。さらに、ユーザの直感的な理解のために、各部位と線でつなぐような情報処理を実行してもよい。

【0042】

従来は、入力装置が必要だけでなく、さらに装置を操作する人員も必要であったが、本実施例で説明するように、体を使ったポーズを取ることで、入力をカメラ単体で行うことができる。

【0043】

本実施例によれば、カメラ設置後や（監視対象となる）物品配置後に、カメラ画面内において任意の領域を指定することにより、監視対象に人物が近づくと警報発報が可能となる。

【0044】

従来は、ＡＩカメラからのデータを、マウスなどの入力装置付きのパソコンを経由して表示装置にデータを出力する構成が必要だったが、本実施例では、カメラ自身に上記別途の装置が不要で入力を行える。なお、確認用に、カメラの画像を表示する別の装置を設けても良い。

【0045】

また、従来は、ＡＩカメラからのデータを、パソコンやマウスなどの入力装置を介して、表示装置にデータを出力するように構成されていたが、本実施例によれば、ＡＩカメラから表示装置に直接データを出力するような構成を採用することができる。

【0046】

本実施例では、特定の領域に四角の枠線を引く入力を行う情報処理について以下に説明する。

【0047】

図４Ａは、［１］画面内の任意の場所に右手を置く（１回目）動作の判定に関する情報処理について説明している。

【0048】

なお、本実施例において、肩や手の座標は、人工知能を有するカメラが画像から姿勢推定を行って座標を推測していることを前提としている。また、本実施例の座標は、カメラ（の表示画面）から見て左上角のＸＹ座標を（０、０）として、Ｘ座標は右方向、Ｙ座標は下方向に向かって、座標の値が大きくなるものとする。

【0049】

左手が画面内の所定の範囲内に入ったことが、カメラ側の情報から判定する。これは、左手の座標情報をカメラから取得することにより判定できる。

【0050】

図４Ｂは、［２］画面内の任意の場所に右手を置いたまま左手を上げる（１回目）動作の判定に関する情報処理について説明している。

【0051】

左肩の位置よりも左手が上がったことが、カメラ側からの情報から判定する。これは、例えば、以下のような情報処理を実行することにより判定できる。

【0052】

画面内にある左肩のＹ座標よりも、左手のＹ座標が上になった後、一定時間を経過すると右手の座標を、四角形の頂点の一つとして記録する。

【0053】

具体的には、左肩の座標が（１００、８０）に点、左手が（１２０、２０）に点があれば、左肩のＹ座標８０より左手のＹ座標２０の方が画面での上部にあると判定できるため、左手が上がっていると判定できる。このときに、右手の座標を四角形の頂点のひとつとして任意の記憶手段に記憶する。

【0054】

図４Ｃは、［３］右手を任意の場所において、左手を左肩より上げて一定時間経過することにより、１ポイント目を取得したことを説明している。１ポイント目の座標を取得したことを示すようなマークを表示する。図４Ｃにおいては、右手の座標に円形のマークが表示されている。ここで、上述の判定に加えて、一定の時間（例えば、数秒間）続けて、左肩の位置よりも左手が上がり続けていることが判定するときには、例えば、左肩のＹ座標や左手のＹ座標は時間と共に変動する（ぶれる）が、左手が上がっているという相関関係が一定時間継続していることも判定することにより、所定の動作が一定時間継続していることを判定すればよい。

【0055】

図４Ｄは、［４］画面内の任意の場所に右手を置いたまま左手を上げる（２回目～４回目）動作の判定に関する情報処理について説明している。本実施例では、前記の［１］と［２］を繰り返して実施する。

【0056】

図４Ｅは、［５］本実施例では、は四角形の枠を作るので、４点目が決まると自動的に四角の領域が出来る動作の判定に関する情報処理について説明している。本実施例では、任意の記憶手段に記憶された４つの頂点からなる四角形の枠（範囲）を決定する（図４Ｅの点線の枠を参照）。また、決定した四角形の枠をカメラの画面内に表示してもよい。そして、図４Ｆに示すように、自動的に入力モードを終了する。本実施例では、この後、監視モードへ移行して、侵入検知の情報処理を実行する。なお、入力モードで設定した枠（四角形）を解除したいときには、図４Ｇに示すように、右手と左手を頭よりも高い位置になるような動作をする。そして、右手と左手が頭よりも高い座標にあることを確認することにより、これまで入力モードで設定した１つまたは複数の頂点または枠（四角形）を解除する情報処理を実行する。その後、新規の入力モードとして、［１］画面内の任意の場所に右手を置く（１回目）動作の判定に関する情報処理へ戻る。

【0057】

図５Ａ、５Ｂおよび５Ｃは、［６］入力モードでの情報処理結果の応用例として、侵入検知に関する情報処理について説明している。

【0058】

本実施例では、例えば、入力装置で予め設定された枠の中に、任意の対象（例えば、人間の右手）が入り込んだこと（侵入したこと）を判定する。当該判定に基づいて、任意の警告音を発生させたり、任意の監視装置に通知を送信したりするように構成されてもよい。また、領域内に人間が近づくと、四角形の枠が黄色（二重の点線なども可）になったり、枠内に入ると、四角形の枠が赤色（太線なども可）になったりするように構成されてもよい。

【0059】

本実施例について、さらに詳細に説明する。本実施例では、入力モードで設定した枠は、通常は、緑色（図５Ａの点線の枠を参照）で表示されている。カメラ内における予め設定された領域内に人間の少なくともひとつの部位が近づくと、入力モードで設定した枠が黄色（図５Ｂの二重点線の枠を参照）になる。また、入力モードで設定した枠内に人間の任意の部位が入ると当該枠が赤（図５Ｃの太線の枠を参照）になる。これにより、侵入してほしくない場所への接近や、侵入した場合の警告や記録などが可能になる。

【0060】

なお、予め枠の中に、任意の対象物が入り込んだこと（侵入したこと）を判定する手法については、例えば、多角形の領域内に、身体の部位の座標(例：手)が入っているかを判定するような、いわゆる内外判定のアルゴリズムなどの任意の手法が用いられてもよい。具体的には、判定対象の座標を基に検査をし、多角形の各辺と何回交差しているかの交差数判定（Ｃｒｏｓｓｉｎｇ Ｎｕｍｂｅｒ Ａｌｇｏｒｉｔｈｍ）から、内外を判定している。

【0061】

図４Ｇは、［７］両手を上げることで、入力モードで設定した枠（四角形）の解除に関する情報処理について説明している。両手のＹ座標が頭部のＹ座標よりも高ければ、両手を上げたことを判定できる。この後、監視モードから入力モードに戻る。

【0062】

本実施例では、一人の人間の動作を判定しているが、別の実施例として、複数の人間の動作を判定可能なように構成されてもよい。

【0063】

上述したように、本発明の一実施例による装置は、以下のような利点を有している。

【0064】

本発明の一実施例による装置を利用することにより、１個のカメラで処理を行えるためコストダウンを図ることができる。

【0065】

本発明の一実施例による装置を利用することにより、手などのひとつの部位の位置に限らず、足・手・肩・頭などの複数の部位の位置などの相関関係も利用して操作を実施することができる。

【0066】

本発明の一実施例による装置を利用することにより、姿勢推定部に対応するカメラ１つのみを利用し、身体の各部位の相関関係から処理を行えるためコストダウンを図ることができる。

【0067】

本発明の一実施例による装置では、身体のパーツの相関（姿勢）を操作に利用するため、付加的な装置（例えば、３次元距離情報が測れるカメラ）は不要である。

【0068】

本発明の一実施例による装置では、撮像された画像内の所定の範囲内の座標と、当該範囲内にある座標において検出された任意の部位と、当該任意の部位の相関関係とに基づく判定条件に一致するときに、当該判定条件に対応する情報処理を実行するので、所望の範囲内で所望の監視が実現でき、誤検出の可能性も低減できる。

【実施例0069】

図６は、本発明の別の実施例による情報処理の一例を示す。

【0070】

Ｓ６０１では、特定のポーズを一定時間とることで、入力モードになる。

【0071】

Ｓ６０２では、表示装置の仮想キーの表示を一定時間押す。

【0072】

Ｓ６０３では、キーそれぞれの機能により、入力を行う（１～９、一文字削除、スペース追加など）

【0073】

Ｓ６０４では、入力終了に該当するキーを押すことで、入力モードを終了する。

【0074】

特定条件（Ａ）を設定したり変更したりするには、キーボードのような物理的な入力装置が別途必要だったが、入力装置の代わりに、対象の姿勢を利用することで、入力装置を不要とする。

【0075】

実施例２の情報処理を、実施例１の情報処理に組み合わせることにより、例えば、実施例１で作成した枠のそれぞれに、本実施例の装置を利用するユーザにとって直感的に理解しやすい任意の名称（例えば、Ａ、Ｂなど）をつけることができるようになる。当該任意の名称をタグとして管理するような情報処理を実行すれば、例えば、Ａに侵入があった旨の通知をユーザに通知するような情報処理を実行でき、ユーザフレンドリーな装置を実現することができる。