特開 2024-131688 動作特定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131688

(43)【公開日】2024-09-30

(54)【発明の名称】動作特定装置及びプログラム

(51)【国際特許分類】

   G06V 40/20 20220101AFI20240920BHJP

   G06T 7/593 20170101ALI20240920BHJP

   G06T 7/521 20170101ALI20240920BHJP

   G06V 10/141 20220101ALI20240920BHJP

   G06T 7/12 20170101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06V 10/82 20220101ALI20240920BHJP

   G06T 7/20 20170101ALI20240920BHJP

【ＦＩ】

G06V40/20

G06T7/593

G06T7/521

G06V10/141

G06T7/12

G06T7/00 350C

G06V10/82

G06T7/20 300A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023042103

(22)【出願日】2023-03-16

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】木下 泰宏

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA08

5L096BA18

5L096CA04

5L096CA05

5L096CA17

5L096DA02

5L096FA66

5L096FA69

5L096HA02

5L096HA11

5L096JA11

(57)【要約】

【課題】人体を適切な位置に誘導することができる動作特定装置及びプログラムを提供する。
【解決手段】実施形態によれば、動作特定装置は、照明と、カメラと、プロセッサと、を備える。照明は、所定の照射領域に所定の波長を有する可視光を照射する。カメラは、前記照射領域を含む撮影領域を撮影して撮影画像を取得する。プロセッサは、前記撮影画像に基づいて、前記撮影画像に写る人体の動作を特定する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

所定の照射領域に所定の波長を有する可視光を照射する照明と、
前記照射領域を含む撮影領域を撮影して撮影画像を取得するカメラと、
前記撮影画像に基づいて、前記撮影画像に写る人体の動作を特定するプロセッサと、
を備える動作特定装置。

【請求項2】

前記プロセッサは、
前記波長に基づいて前記撮影画像から前記人体が写る対象物領域を特定し、
前記対象物領域に含まれる画像に基づいて前記人体の動作を特定する、
請求項１に記載の動作特定装置。

【請求項3】

前記プロセッサは、
前記撮影画像に前記照射領域を含む有効領域を設定し、
前記有効領域に含まれる画像から前記対象物領域を特定する、
請求項２に記載の動作特定装置。

【請求項4】

前記人体を検知するセンサを備え、
前記プロセッサは、前記センサを用いて前記人体を検知すると前記照明をオンにする、
請求項１に記載の動作特定装置。

【請求項5】

前記人体は、手である、
請求項１乃至４の何れか１項に記載の動作特定装置。

【請求項6】

プロセッサによって実行されるプログラムであって、
前記プロセッサに、
照明に、所定の照射領域に所定の波長を有する可視光を照射させる機能と、
カメラから、前記照射領域を含む撮影領域を撮影した撮影画像を取得する機能と、
前記撮影画像に基づいて、前記撮影画像に写る人体の動作を特定する機能と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、動作特定装置及びプログラムに関する。

【背景技術】

【0002】

手などの人体の一部を撮影して行われている人体の動作を特定する動作特定装置が提供されている。そのような動作特定装置には、人体を含む所定の領域を撮影して得られた画像から人体の動作を特定するものがある。

【0003】

動作特定装置は、撮影された人体の一部が適切な位置で撮影されない場合、人体の動作を適切に特定できないことがある。
従来、動作特定装置は、撮影するカメラに対して人体を適切な位置に誘導することができないという課題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－１０６３８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の課題を解決するため、人体を撮影するカメラに対して適切な位置に誘導することができる動作特定装置及びプログラムを提供する。

【課題を解決するための手段】

【0006】

実施形態によれば、動作特定装置は、照明と、カメラと、プロセッサと、を備える。照明は、所定の照射領域に所定の波長を有する可視光を照射する。カメラは、前記照射領域を含む撮影領域を撮影して撮影画像を取得する。プロセッサは、前記撮影画像に基づいて、前記撮影画像に写る人体の動作を特定する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る動作特定システムの構成例を概略的に示す図である。

【図2】図２は、実施形態に係る動作特定装置のカメラと照明とを概略的に示す図である。

【図3】図３は、実施形態に係る動作特定装置の構成例を示すブロック図である。

【図4】図４は、実施形態に係る有効領域などの例を示す図である。

【図5】図５は、実施形態に係る対象物領域の例を示す図である。

【図6】図６は、実施形態に係る動作特定装置の動作例を示すフローチャートである。

【図7】図７は、実施形態に係る動作特定装置の動作例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。
実施形態に係る動作特定システムは、ユーザの手洗いに関する手（人体）の動作を特定する。動作特定システムは、シンクなどにおいてユーザの手を撮影する。動作特定システムは、撮影された画像に基づいてユーザの手の動作を特定する。たとえば、動作判定システムは、手の動作として、洗う箇所（手の甲、指の間、親指など）などによって分類される手の状態を特定する。

【0009】

図１は、実施形態に係る動作特定システム１００の構成例を概略的に示す。図１が示すように、動作特定システム１００は、動作特定装置１及びシンク２０などから構成される。

【0010】

シンク２０は、ユーザＰが手を洗う水槽である。シンク２０は、凹んだ構造を有する。また、シンク２０の底部には、排水溝が形成されている。
また、シンク２０には、蛇口２１が設置されている。蛇口２１は、ユーザＰが手を洗うための水を放出する。放出された水は、シンク２０の排水溝から排出される。

【0011】

シンク２０の上部には、動作特定装置１が設置されている。
動作特定装置１は、ユーザＰの動作を特定する。ここでは、動作特定装置１は、手洗い中においてユーザＰの手の動作を特定する。

【0012】

動作特定装置１は、カメラ３、深度センサ４及び照明６を備える。
カメラ３は、シンク２０の上部に下向きで設置される。カメラ３は、シンク２０で手洗いを行うユーザＰの手を含む領域（撮影領域）を撮影する。カメラ３は、斜め上方から物品を撮影するように設置されてもよい。カメラ３が設置される位置及び向きは、特定の構成に限定されるものではない。カメラ３は、２次元の画像（撮影画像）を撮影する。カメラ３は、各ドットにおける色情報（ＲＧＢ（Red Green Blue））を出力する。

【0013】

深度センサ４は、シンク２０の上部に下向きで設置される。深度センサ４は、ユーザＰの手を含む領域において距離を測定する。深度センサ４は、各点から深度センサ４までの距離まで距離を測定する。ここでは、深度センサ４は、ユーザの手の位置を検知するセンサとして機能する。

【0014】

深度センサ４は、測定結果に基づいて、所定の基準面（又は、所定の基準点）から各点までの距離を示す距離情報を生成する。たとえば、距離情報は、所定の三次元座標系における各点の座標を示すものであってもよい。

【0015】

たとえば、深度センサ４は、光源と光源から照射される光の反射光を検出するセンサとを備える。深度センサ４は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、深度センサ４は、照射された光が測定対象で反射し深度センサ４に届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式を行ってもよい。

【0016】

深度センサ４は、２つのカメラ（ステレオカメラ）が撮影した各画像の視差に基づいて距離を算出するものであってもよい。また、深度センサ４は、ドットパターンを投影しドットパターンの歪みから距離を測定するものであってもよい。
深度センサ４の構成は、特定の構成に限定されるものではない。

【0017】

照明６は、環境光とは異なる波長構成の所定の波長（たとえば、ＲＧＢの何れか１つ又は２つ）を有する可視光（照射光）を照射する。照明６は、撮影領域に含まれる所定の領域（照射領域）に照射光を照射する。

【0018】

たとえば、照明６は、所定の波長を有する可視光を照射する光源から構成されるものであってもよい。また、照明６は、白色光を照射する光源と、所定の波長の光を透過又は遮断するフィルムと、から構成されるものであってもよい。また、照明６は、光源から照射された照射光を所定の照射領域に制限する笠などを備えるものであってもよい。

【0019】

図２は、カメラ３の撮影領域３ａと照明６の照射領域６ａとを示す。
図２が示すように、カメラ３は、ユーザＰの手を上部から撮影する。即ち、カメラ３の撮影領域３ａは、ユーザＰの手を含む。

【0020】

また、照明６は、カメラ３の近傍に設置されている。照明６は、下方に向かって照射光を照射する。照明６の照射領域６ａは、所定の範囲において撮影領域３ａに含まれる。即ち、照射領域６ａは、ユーザＰの手の高さにおいて撮影領域３ａに含まれる。

【0021】

次に、動作特定装置１の制御系について説明する。
図３は、動作特定装置１の制御系の構成例を示すブロック図である。図３が示すように、動作特定装置１は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、深度センサインターフェース１６、入出力インターフェース１７、通信インターフェース１８、照明インターフェース１９、カメラ３、深度センサ４、入出力装置５及び照明６などを備える。

【0022】

プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、カメラインターフェース１５、深度センサインターフェース１６、入出力インターフェース１７、通信インターフェース１８及び照明インターフェース１９とは、通信可能に接続する。カメラインターフェース１５は、カメラ３と通信可能に接続する。深度センサインターフェース１６は、深度センサ４と通信可能に接続する。入出力インターフェース１７は、入出力装置５と通信可能に接続する。照明インターフェース１９は、照明６と通信可能に接続する。
カメラ３、深度センサ４及び照明６は、前述の通りである。

【0023】

入出力装置５は、オペレータからの指示の入力を受け付け、オペレータに種々の情報を表示するインターフェースである。入出力装置５は、指示の入力を受け付ける操作部と、情報を表示する表示部とから構成される。

【0024】

入出力装置５は、操作部の動作として、オペレータから受け付けた操作を示す信号をプロセッサ１１へ送信する。たとえば、操作部は、タッチパネルから構成される。なお、操作部は、キーボード又はテンキーを備えてもよい。

【0025】

入出力装置５は、表示部の動作として、プロセッサ１１からの画像を表示する。たとえば、表示部は、液晶モニタから構成される。表示部は、操作部としてのタッチパネルと一体的に形成されるものであってもよい。

【0026】

プロセッサ１１は、動作特定装置１全体の動作を制御する。即ち、プロセッサ１１は、動作特定装置１全体の動作を制御する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部キャッシュ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。

【0027】

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

【0028】

ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、動作特定装置１の仕様に応じて予め組み込まれる。ＲＯＭ１２は、たとえば、動作特定装置１の回路基板を制御するプログラムなどを格納する。

【0029】

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

【0030】

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリなどから構成される。ＮＶＭ１４は、動作特定装置１の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

【0031】

カメラインターフェース１５は、カメラ３とデータを送受信するためのインターフェースである。たとえば、カメラインターフェース１５は、プロセッサ１１の制御に基づいて、カメラ３に撮影を指示する信号を送信する。また、カメラインターフェース１５は、カメラ３から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース１５は、ＵＳＢ（Universal Serial Bus）接続をサポートするものであってもよいし、カメラリンクによる接続をサポートするものでもよい。

【0032】

深度センサインターフェース１６は、深度センサ４とデータを送受信するためのインターフェースである。たとえば、深度センサインターフェース１６は、プロセッサ１１の制御に基づいて、深度センサ４に距離情報を取得させる信号を送信する。また、深度センサインターフェース１６は、深度センサ４から、距離情報を取得する。深度センサインターフェース１６は、取得した距離情報をプロセッサ１１に送信する。たとえば、深度センサインターフェース１６は、ＵＳＢ接続をサポートするものであってもよい。

【0033】

入出力インターフェース１７は、入出力装置５とデータを送受信するためのインターフェースである。たとえば、入出力インターフェース１７は、オペレータから受け付けた操作を示す信号を入出力装置５から受信する。入出力インターフェース１７は、受信した信号をプロセッサ１１に送信する。また、入出力インターフェース１７は、プロセッサ１１の制御に基づいて、オペレータに表示する画面を示す情報を入出力装置５に送信する。たとえば、入出力インターフェース１７は、ＵＳＢ接続をサポートするものであってもよいし、パラレルインターフェースによる接続をサポートするものでもよい。

【0034】

通信インターフェース１８は、外部装置とデータを送受信するためのインターフェースである。通信インターフェース１８は、ネットワークなどを介して外部装置に接続する。たとえば、通信インターフェース１８は、有線又は無線のＬＡＮ（Local Area Network）接続をサポートする。

【0035】

照明インターフェース１９は、照明６とデータを送受信するためのインターフェースである。たとえば、照明インターフェース１９は、プロセッサ１１からの制御に従って照明６をオンオフ制御する。また、照明インターフェース１９は、照明６に電力を供給するものであってもよい。たとえば、照明インターフェース１９は、ＵＳＢ接続をサポートするものであってもよいし、パラレルインターフェースによる接続をサポートするものでもよい。

【0036】

なお、カメラインターフェース１５、深度センサインターフェース１６、入出力インターフェース１７、通信インターフェース１８及び照明インターフェース１９（又はそれらの一部）は、一体的に構成されるものであってもよい。

【0037】

また、動作特定装置１は、図３が示すような構成の他に必要に応じた構成を具備したり、動作特定装置１から特定の構成が除外されたりしてもよい。
たとえば、動作特定装置１は、ＰＣ、タブレットＰＣ又はスマートフォンなどである。

【0038】

次に、動作特定装置１が実現する機能について説明する。動作特定装置１が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

【0039】

まず、プロセッサ１１は、ユーザの手を検知すると照明６をオンにする機能を有する。
ここでは、照明６は、オフになっているものとする。

【0040】

プロセッサ１１は、深度センサインターフェース１６を通じて距離情報を深度センサ４から取得する。距離情報を取得すると、プロセッサ１１は、距離情報に基づいてユーザの手を検知したかを判定する。たとえば、プロセッサ１１は、距離情報に基づいて所定の空間（たとえば、シンク２０付近の空間）に物体を検知したかを判定する。

【0041】

手を検知したと判定すると、プロセッサ１１は、照明インターフェース１９を通じて照明６をオンにする。

【0042】

なお、プロセッサ１１は、照明６をオンにすると、照射領域６ａに手を差し込むように指示する画面を入出力装置５に表示してもよい。

【0043】

また、プロセッサ１１は、ユーザＰの手を含む撮影画像を取得する機能を有する。
ユーザの手を検知したと判定すると、プロセッサ１１は、カメラインターフェース１５を通じて撮影画像をカメラ３から取得する。なお、プロセッサ１１は、ユーザの手を検知してから継続的に撮影画像を取得するものであってもよい。

【0044】

また、プロセッサ１１は、撮影画像においてユーザの手の動作が特定される有効領域を設定する機能を有する。

【0045】

たとえば、撮影画像を取得すると、プロセッサ１１は、入出力装置５などを通じて有効領域の設定を開始する操作を入力する。当該操作を入力すると、プロセッサ１１は、撮影画像を入出力装置５に表示する。

【0046】

図４は、プロセッサ１１が有効領域を設定する動作例を示す。図４は、入出力装置５が表示する撮影画像３１を示す。撮影画像３１には、ユーザＰと、撮影画像３１における照射領域６ａと、が写る。

【0047】

プロセッサ１１は、撮影画像３１を表示した状態で有効領域３２に入力を受け付ける。たとえば、プロセッサ１１は、入出力装置５へのタップ操作を通じて、有効領域３２の頂点を入力する。ここでは、有効領域３２は、四角形である。

【0048】

有効領域３２の頂点を入力すると、プロセッサ１１は、各頂点の座標を取得する。各頂点の座標を取得すると、プロセッサ１１は、有効領域を示す情報として各頂点の座標をＮＶＭ１４に格納する。

【0049】

図４が示すように、有効領域３２は、撮影画像３１における照射領域６ａを含むものとする。なお、ユーザは、有効領域３２を設定した後に、設定された有効領域３２に含まれるように照射領域６ａを調整するものであってもよい。

【0050】

また、プロセッサ１１は、撮影画像を取得する前に、有効領域の設定を開始する操作を入力してもよい。たとえば、プロセッサ１１は、当該操作を入力した後に撮影画像を取得する。撮影画像３１を取得すると、プロセッサ１１は、撮影画像３１を入出力装置５に表示して有効領域３２を設定する。

【0051】

また、プロセッサ１１は、撮影画像からユーザＰの手が写る領域（対象物領域）を特定する機能を有する。

【0052】

ここでは、プロセッサ１１は、有効領域３２を設定しているものとする。また、プロセッサ１１は、撮影画像３１を取得したものとする。

【0053】

撮影画像３１を取得すると、プロセッサ１１は、撮影画像３１から有効領域３２に含まれる画像を抽出する。有効領域３２に含まれる画像を抽出すると、プロセッサ１１は、当該画像から手が写る対象物領域を抽出する。

【0054】

ここでは、プロセッサ１１は、照射光の波長に基づいて、照射領域６ａにおいて対象物領域を抽出する。たとえば、プロセッサ１１は、抽出された画像において照射光が反射した反射光（照射光の波長と同様の波長の光）の勾配を抽出する。反射光の勾配を抽出すると、プロセッサ１１は、反射光の勾配に基づいてエッジを検出する。エッジを検出すると、プロセッサ１１は、検出されたエッジに基づいて対象物領域を特定する。

【0055】

図５は、対象物領域Ｈの例を示す。図５は、有効領域３２に含まれる画像を示す。また、対象物領域Ｈ以外の領域は、除去されている。図５が示すように、プロセッサ１１は、対象物領域Ｈとして、照射領域６ａにおいてユーザＰの手が写る領域を特定する。

【0056】

また、プロセッサ１１は、対象物領域Ｈに含まれる画像に基づいて、ユーザＰの手の動作を特定する機能を有する。

【0057】

対象物領域Ｈを特定すると、プロセッサ１１は、撮影画像から対象物領域Ｈに含まれる画像を取得する。対象物領域Ｈに含まれる画像を取得すると、プロセッサ１１は、取得された画像に基づいてユーザＰの動作を推定する。

【0058】

ここでは、プロセッサ１１は、手洗いに関して分類される手の状態を特定する。たとえば、プロセッサ１１は、洗う箇所（手の甲、指の間、親指など）によって分類される手の状態を特定する。

【0059】

たとえば、ＮＶＭ１４は、画像を入力すると手の動作を出力するモデル（たとえば、深層学習によって生成されたネットワークなど）を予め格納する。プロセッサ１１は、ＮＶＭ１４が格納するモデルに取得された画像を入力することで手の形状を特定する。

【0060】

また、プロセッサ１１は、取得された画像から特徴量を抽出するものであってもよい。プロセッサ１１は、抽出された特徴量に基づいて手の動作を特定するものであってもよい。

【0061】

なお、プロセッサ１１は、手の動作として、手の姿勢、手首の角度、各指の各関節の角度などを特定するものであってもよい。プロセッサ１１が特定する手の動作の内容は、特定の構成に限定されるものではない。

【0062】

手の動作を特定すると、プロセッサ１１は、手の動作を示す情報（特定結果）をＮＶＭ１４に格納する。また、プロセッサ１１は、手の動作を示す情報を時系列で取得することで、ユーザＰの手洗いが所定の手順で行われたかを判定するものであってもよい。

【0063】

また、プロセッサ１１は、通信インターフェース１８を通じて、手の動作を示す情報を外部装置に送信するものであってもよい。

【0064】

次に、動作特定装置１の動作例について説明する。
まず、動作特定装置１が有効領域３２を設定する動作例について説明する。
図６は、動作特定装置１が有効領域３２を設定する動作例について説明するためのフローチャートである。

【0065】

まず、動作特定装置１のプロセッサ１１は、距離情報に基づいて手を検知したかを判定する（Ｓ１１）。手を検知していないと判定すると（Ｓ１１、ＮＯ）、プロセッサ１１は、Ｓ１１に戻る。

【0066】

手を検知したと判定すると（Ｓ１１、ＹＥＳ）、プロセッサ１１は、照明インターフェース１９を通じて照明６をオンにする（Ｓ１２）。照明６をオンにすると、プロセッサ１１は、カメラインターフェース１５を通じて撮影画像をカメラ３から取得する（Ｓ１３）。

【0067】

撮影画像を取得すると、プロセッサ１１は、入出力装置５に撮影画像を表示して、入出力装置５を通じて有効領域の頂点を入力する（Ｓ１４）。有効領域の頂点を入力すると、プロセッサ１１は、入力された各頂点の座標を取得する（Ｓ１５）。

【0068】

各頂点の座標を取得すると、プロセッサ１１は、有効領域を示す情報として各頂点の座標をＮＶＭ１４に格納する（Ｓ１６）。
有効領域を示す情報として各頂点の座標をＮＶＭ１４に格納すると、プロセッサ１１は、動作を終了する。

【0069】

次に、動作特定装置１が手の動作を特定する動作例について説明する。
図７は、動作特定装置１が手の動作を特定する動作例について説明するためのフローチャートである。

【0070】

まず、動作特定装置１のプロセッサ１１は、距離情報に基づいて手を検知したかを判定する（Ｓ２１）。手を検知していないと判定すると（Ｓ２１、ＮＯ）、プロセッサ１１は、Ｓ２１に戻る。

【0071】

手を検知したと判定すると（Ｓ２１、ＹＥＳ）、プロセッサ１１は、照明インターフェース１９を通じて照明６をオンにする（Ｓ２２）。照明６をオンにすると、プロセッサ１１は、カメラインターフェース１５を通じて撮影画像をカメラ３から取得する（Ｓ２３）。

【0072】

撮影画像を取得すると、プロセッサ１１は、撮影画像から有効領域に含まれる画像を取得する（Ｓ２４）。有効領域に含まれる画像を取得すると、プロセッサ１１は、取得された画像からユーザの手が写る対象物領域を特定する（Ｓ２５）。

【0073】

対象物領域を特定すると、プロセッサ１１は、対象物領域に含まれる画像に基づいて手の動作を特定する（Ｓ２６）。手の動作を特定すると、プロセッサ１１は、特定結果をＮＶＭ１４に格納する（Ｓ２７）。
特定結果をＮＶＭ１４に格納すると、プロセッサ１１は、手の動作特定を終了するかを判定する（Ｓ２８）。たとえば、プロセッサ１１は、有効領域から手が退避した場合、手の動作特定を終了すると判定する。また、プロセッサ１１は、入出力装置５を通じて手の動作特定を終了する操作を入力してもよい。

【0074】

手の動作特定を終了しないと判定すると（Ｓ２８、ＮＯ）、プロセッサ１１は、Ｓ２３に戻る。

【0075】

手の動作特定を終了すると判定すると（Ｓ２８、ＹＥＳ）、プロセッサ１１は、動作を終了する。ここで、プロセッサ１１は、照明６をオフにしてもよい。

【0076】

なお、プロセッサ１１は、撮影画像における全波長の光の勾配に基づいて対象物領域を特定してもよい。
また、プロセッサ１１は、対象物領域を特定しなくともよい。この場合、プロセッサ１１は、有効領域に含まれる画像又は撮影画像に基づいて手の動作を特定してもよい。

【0077】

また、プロセッサ１１は、撮影画像に基づいてユーザの手を検知してもよい。この場合、動作特定装置１は、深度センサ４を備えなくともよい。

【0078】

上述の説明では、動作特定装置１は、人体の手を対象物としているが、対象物はこれに限らない。動作特定装置１は、ユーザＰの手以外の動作を特定するものであってもよい。たとえば、動作特定装置１は、ユーザＰの体勢（立つ、座るなど）を特定するものであってもよい。

【0079】

以上のように構成された動作特定システムは、撮影画像における有効領域に照射領域が含まれるような照明を有する。照明は、所定の波長を有する可視光を照射する。その結果、動作特定システムは、ユーザの手を適切な位置（即ち、照射領域）に誘導することができる。そのため、動作特定システムは、撮影画像の有効領域にユーザの手を収めることができる。よって、動作特定システムは、ユーザの手の動作を効果的に特定することができる。

【0080】

本実施形態に係るプログラムは、電子機器に記憶された状態で譲渡されてよいし、電子機器に記憶されていない状態で譲渡されてもよい。後者の場合は、プログラムは、ネットワークを介して譲渡されてよいし、記憶媒体に記憶された状態で譲渡されてもよい。記憶媒体は、非一時的な有形の媒体である。記憶媒体は、コンピュータ可読媒体である。記憶媒体は、ＣＤ－ＲＯＭ、メモリカード等のプログラムを記憶可能かつコンピュータで読取可能な媒体であればよく、その形態は問わない。

【0081】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0082】

１…動作特定装置、３…カメラ、３ａ…撮影領域、４…深度センサ、５…入出力装置、６…照明、６ａ…照射領域、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…カメラインターフェース、１６…深度センサインターフェース、１７…入出力インターフェース、１８…通信インターフェース、１９…照明インターフェース、２０…シンク、２１…蛇口、３１…撮影画像、３２…有効領域、１００…動作特定システム、Ｈ…対象物領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】