特許 7277312 ハンドセグメンテーションを実行するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-18

(54)【発明の名称】ハンドセグメンテーションを実行するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/12 20170101AFI20230511BHJP

   G06T 7/90 20170101ALI20230511BHJP

【ＦＩ】

G06T7/12

G06T7/90 C

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2019150158

(22)【出願日】2019-08-20

(65)【公開番号】P2020042798

(43)【公開日】2020-03-19

【審査請求日】2022-06-13

(31)【優先権主張番号】201821033598

(32)【優先日】2018-09-06

(33)【優先権主張国・地域又は機関】IN

(73)【特許権者】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．

(74)【代理人】

【識別番号】100130111

【弁理士】

【氏名又は名称】新保 斉

(72)【発明者】

【氏名】マウルヤ、ジテンダ クマール

(72)【発明者】

【氏名】ヘッバラグッペ、ラムヤ

(72)【発明者】

【氏名】グプタ、プネート

【審査官】新井 則和

(56)【参考文献】

【文献】米国特許出願公開第２０１６／００８６３１６（ＵＳ，Ａ１）

【文献】特開２０１７－０５４５３２（ＪＰ，Ａ）

【文献】特開２０１８－０５６７２９（ＪＰ，Ａ）

【文献】特開２０１４－１２００６６（ＪＰ，Ａ）

【文献】Hand segmentation in complex environment based on skin color model and boundary cutting，2012 International Conference on Machine Learning and Cybernetics，2012年07月15日，https://ieeexplore.ieee.org/document/6359508

【文献】Segmentation of retinal blood vessels by combining the detection of centerlines and morphological reconstruction，IEEE Transactions on Medical Imaging，Volume: 25, Issue: 9，2006年08月21日，https://ieeexplore.ieee.org/document/1677726

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１２

Ｇ０６Ｔ ７／９０

(57)【特許請求の範囲】

【請求項1】

プロセッサ実装方法であって、
少なくとも手および背景を含む入力画像を取得すること（３０２）と、
前処理された手および前処理された背景を含む前処理済み画像を得るために、前記入力画像を前処理すること（３０４）と、
複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用すること（３０６）と、
複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、前記複数のフィルタ応答をマージすること（３０８）と、
合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジを、前記マージ済みフィルタ応答からフィルタリングすること（３１０）と、
互いに孤立したテクスチャ領域を含む合成画像を得るために、前記合成エッジマップを前記前処理済み画像に加えること（３１２）と、
１つ以上のクロマチャネルを用いて、前記合成画像から複数の皮膚画素を検出すること（３１４）と、
区分された手である皮膚画素の最大ブロブを、前記合成画像から識別すること（３１６）と、を含む
ことを特徴とするプロセッサ実装方法。

【請求項2】

前記画像を前処理する前記ステップは、ダウンサンプリング画像を得るために、前記画像をダウンサンプリングすることと、前記前処理済み画像を得るために、前記ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用することと、を含む
請求項１に記載のプロセッサ実装方法。

【請求項3】

前記入力画像の前処理において、前記入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする
請求項１に記載のプロセッサ実装方法。

【請求項4】

前記１つ以上の強エッジを検出するために、１つ以上の予め規定された方向で前記ＭＯＭＦを回転させることにより、前記多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用する
請求項１に記載のプロセッサ実装方法。

【請求項5】

モルフォロジ収縮手法を前記マージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジをフィルタリングする
請求項１に記載のプロセッサ実装方法。

【請求項6】

システム（１００）であって、
命令を格納するメモリ（１０２）と、
１つ以上の通信インタフェース（１０６）と、
前記１つ以上の通信インタフェース（１０６）を介して前記メモリ（１０２）に結合された１つ以上のハードウェアプロセッサ（１０４）と、を備え、前記１つ以上のハードウェアプロセッサ（１０４）は、前記命令によって、
少なくとも手および背景を含む入力画像を取得し、
前処理された手および前処理された背景を含む前処理済み画像を得るために、前記入力画像を前処理し、
複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用し、
複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、前記複数のフィルタ応答をマージし、
合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジを、前記マージ済みフィルタ応答からフィルタリングし、
互いに孤立したテクスチャ領域を含む合成画像を得るために、前記合成エッジマップを前記前処理済み画像に加え、
１つ以上のクロマチャネルを用いて、前記合成画像から複数の皮膚画素を検出し、
区分された手である皮膚画素の最大ブロブを、前記合成画像から識別する、ように構成されている
ことを特徴とするシステム。

【請求項7】

前記画像は、ダウンサンプリング画像を得るために前記画像をダウンサンプリングすることと、前記前処理済み画像を得るために前記ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用すること、により前処理される
請求項６に記載のシステム。

【請求項8】

前記入力画像の前処理において、前記入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする
請求項６に記載のシステム。

【請求項9】

前記１つ以上の強エッジを検出するために１つ以上の予め規定された方向で前記ＭＯＭＦを回転させることにより、前記多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用する
請求項６に記載のシステム。

【請求項10】

モルフォロジ収縮手法を前記マージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジをフィルタリングする
請求項６に記載のシステム。

【請求項11】

１つ以上の命令を含む１つ以上の非一時的な機械可読情報記憶媒体であって、前記１つ以上の命令は、１つ以上のハードウェアプロセッサで実行されることにより、
少なくとも手および背景を含む入力画像を取得することと、
前処理された手および前処理された背景を含む前処理済み画像を得るために、前記入力画像を前処理することと、
複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用することと、
複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、前記複数のフィルタ応答をマージすることと、
合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジを、前記マージ済みフィルタ応答からフィルタリングすることと、
互いに孤立したテクスチャ領域を含む合成画像を得るために、前記合成エッジマップを前記前処理済み画像に加えることと、
１つ以上のクロマチャネルを用いて、前記合成画像から複数の皮膚画素を検出することと、
区分された手である皮膚画素の最大ブロブを、前記合成画像から識別することと、を実施させる
ことを特徴とする１つ以上の非一時的な機械可読情報記憶媒体。

【請求項12】

前記画像を前処理する前記ステップは、ダウンサンプリング画像を得るために、前記画像をダウンサンプリングすることと、前記前処理済み画像を得るために、前記ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用することと、を含む
請求項１１に記載の１つ以上の非一時的な機械可読情報記憶媒体。

【請求項13】

前記入力画像の前処理において、前記入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする
請求項１１に記載の１つ以上の非一時的な機械可読情報記憶媒体。

【請求項14】

前記１つ以上の強エッジを検出するために、１つ以上の予め規定された方向で前記ＭＯＭＦを回転させることにより、前記多方向マッチドフィルタ（ＭＯＭＦ）を前記前処理済み画像に適用する
請求項１１に記載の１つ以上の非一時的な機械可読情報記憶媒体。

【請求項15】

モルフォロジ収縮手法を前記マージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された前記１つ以上の弱エッジをフィルタリングする
請求項１１に記載の１つ以上の非一時的な機械可読情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書における開示は、広くは、画像処理技術に関し、より具体的には、ジェスチャインタフェース用の質素なヘッドマウント装置においてリアルタイム・ハンドセグメンテーションを実行するためのシステムおよび方法に関するものである。

【背景技術】

【0002】

ヘッドマウントディスプレイ（ＨＭＤ）の再来によって、空中ジェスチャは、自然かつ直覚的なインタラクションコミュニケーションモードとなる。Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｈｏｌｏｌｅｎｓ、ＤａｑｒｉスマートグラスなどのようなＨＭＤは、追加のセンサを有するオンボードプロセッサを搭載していることで、装置が高価となる。例えば、Ｍｅｔａ ＧｌａｓｓおよびＭｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎである拡張現実（ＡＲ）装置は、コンピュータ、ウェアラブルデバイス、ロボット、および人間の間のインタラクションの一般的な手段としてハンドジェスチャを用いることの典型例となる。スマートフォン技術の進歩によって、仮想現実（ＶＲ）対応のスマートフォンで没入型の体験を提供するＧｏｏｇｌｅ ＣａｒｄｂｏａｒｄおよびＷｅａｒａｌｉｔｙ１のような、いくつかの低コストのビデオシースルー装置が導入された。カメラフィードのステレオレンダリングを用いるとともに、スマートフォンの画面上で関連情報を重ね合わせると、これらの装置を、ＡＲおよびヒューマンコンピュータインタラクション（ＨＣＩ）に拡張することができる。

【先行技術文献】

【特許文献】

【0003】

【文献】インド国特許出願第２０１８２１０３３５９８号

【非特許文献】

【0004】

【文献】Jie Song,Gabor Soeroes,Fabrizio Pece,Sean Ryan Fanello,Shahram Izadi,Cem Keskin,Otmar Hilliges著「Ｉｎ－ａｉｒ ｇｅｓｔｕｒｅｓ ａｒｏｕｎｄ ｕｎｍｏｄｉｆｉｅｄ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ＡＣＭ ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ｓｏｆｔｗａｒｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ，３１９～３２９頁）」ＡＣＭ発行，２０１４年

【文献】Lorenzo Baraldi,Francesco Paci,Giuseppe Serra,Luca Benini,Rita Cucchiara著「Ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｅｇｏ－ｃｅｎｔｒｉｃ ｖｉｄｅｏｓ ｕｓｉｎｇ ｄｅｎｓｅ ｔｒａｊｅｃｔｏｒｉｅｓ ａｎｄ ｈａｎｄ ｓｅｇｍｅｎｔａｔｉｏｎ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐｓ，６８８～６９３頁）」２０１４年

【文献】Pietro Morerio,Lucio Marcenaro,Carlo S Regazzoni著「Ｈａｎｄ ｄｅｔｅｃｔｉｏｎ ｉｎ ｆｉｒｓｔ ｐｅｒｓｏｎ ｖｉｓｉｏｎ（Ｉｎｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ（ＦＵＳＩＯＮ），２０１３ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，１５０２～１５０７頁）」ＩＥＥＥ発行，２０１３年

【文献】Vijay Badrinarayanan,Alex Kendall,Roberto Cipolla著「Ｓｅｇｎｅｔ：Ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ）」２０１７年

【文献】Shreyash Mohatta,Ramakrishna Perla,Gaurav Gupta,Ehtesham Hassan,Ramya Hebbalaguppe著「Ｒｏｂｕｓｔ ｈａｎｄ ｇｅｓｔｕｒａｌ ｉｎｔｅｒａｃｔｉｏｎ ｆｏｒ ｓｍａｒｔｐｈｏｎｅ ｂａｓｅｄ ＡＲ／ＶＲ ａｐｐｌｉｃａｔｉｏｎｓ（Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ），２０１７ ＩＥＥＥ Ｗｉｎｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，３３０～３３５頁）」ＩＥＥＥ発行，２０１７年

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のジェスチャ認識装置の出現によって、ユーザインタラクションは、タッチスクリーン、マウス、およびキーボードのような基本的なインタラクション方法から、ジェスチャ、音声、および視線への進化が見られる。質素なＧｏｏｇｌｅ Ｃａｒｄｂｏａｒｄでは、インタラクション方法は限られており、すなわち、摩耗および破損を受けることが多い磁性かつ導電性のレバーに限られている。また、これらのレバーによるインタフェースは、インタラクションするのに直覚的ではない。また、音声ベースのコマンドは、油田掘削施設、建設業界、自動車業界のような騒音環境では失敗し、さらにアクセントが様々に異なることによって失敗することも注目される。直感的かつ直覚的なヒューマンマシンコミュニケーションは、依然として難しい課題のままである。

【課題を解決するための手段】

【0006】

本開示の実施形態は、本発明者らが従来のシステムにおいて認識した上記の技術的問題の１つ以上に対するソリューションとしての技術的改善を提示するものである。例えば、一態様では、ハンドセグメンテーションを実行して、区分された手を識別するための、プロセッサ実装方法を提供している。本方法は、少なくとも手および背景を示す入力画像を取得することと、前処理された手および前処理された背景を含む前処理済み画像を得るために、入力画像を前処理することと、を含む。一実施形態では、画像を前処理するステップは、ダウンサンプリング画像を得るために、画像をダウンサンプリングすることと、前処理済み画像を得るために、ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ：Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ｌｏｃａｌ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）法を適用することと、を含む。入力画像の前処理において、入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする。前処理済み画像を得たら、複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ：Ｍｕｌｔｉ Ｏｒｉｅｎｔａｔｉｏｎ Ｍａｔｃｈｅｄ Ｆｉｌｔｅｒ）を前処理済み画像に適用する。本方法は、さらに、複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、複数のフィルタ応答をマージすることと、合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジを、マージ済みフィルタ応答からフィルタリングすることと、互いに孤立した異なるテクスチャ領域を含む合成画像を得るために、合成エッジマップを入力画像（または前処理済み画像）に加えることと、１つ以上のクロマチャネルを用いて、合成画像から複数の皮膚画素を検出することと、区分された手である皮膚画素の最大ブロブを、合成画像から識別することと、を含む。

【0007】

一実施形態では、１つ以上の強エッジを検出するために、１つ以上の予め規定された方向でＭＯＭＦを回転させることにより、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用する。一実施形態では、モルフォロジ収縮手法をマージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジをフィルタリングする。

【0008】

他の態様では、ハンドセグメンテーションを実行して、正確に区分された手を識別するための、システムを提供している。システムは、命令を格納するメモリと、１つ以上の通信インタフェースと、１つ以上の通信インタフェースを介してメモリに結合された１つ以上のハードウェアプロセッサと、を備え、１つ以上のハードウェアプロセッサは、少なくとも手および背景を示す入力画像を取得し、前処理された手および前処理された背景を含む前処理済み画像を得るために、入力画像を前処理する、ように命令によって構成される。一実施形態では、入力画像は、ダウンサンプリング画像を得るために画像をダウンサンプリングすることと、前処理済み画像を得るためにダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用すること、により前処理される。一実施形態では、入力画像の前処理において、入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする。ハードウェアプロセッサは、さらに、複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用し、複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、複数のフィルタ応答をマージし、合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジを、マージ済みフィルタ応答からフィルタリングする、ように命令によって構成される。一実施形態では、１つ以上の強エッジを検出するために１つ以上の予め規定された方向でＭＯＭＦを回転させることにより、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用する。一実施形態では、モルフォロジ収縮手法をマージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された複数の弱エッジをフィルタリングする。互いに孤立した異なるテクスチャ領域を含む合成画像を得るために、合成エッジマップを入力画像（または前処理済み画像）に加え、さらに、１つ以上のクロマチャネルを用いて、合成画像から複数の皮膚画素を検出する。区分された手である皮膚画素の最大ブロブを、合成画像から識別する。

【0009】

さらなる他の態様では、１つ以上の命令を含む１つ以上の非一時的な機械可読情報記憶媒体を提供しており、１つ以上の命令は、１つ以上のハードウェアプロセッサで実行されることで、ハンドセグメンテーションを実行して、正確に区分された手を識別するための方法を実施させる。それらの命令によって、少なくとも手および背景を示す入力画像を取得することと、前処理された手および前処理された背景を含む前処理済み画像を得るために、入力画像を前処理することと、を実施させる。一実施形態では、画像を前処理するステップは、ダウンサンプリング画像を得るために、画像をダウンサンプリングすることと、前処理済み画像を得るために、ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用することと、を含む。入力画像の前処理において、入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする。前処理済み画像を得たら、複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用する。それらの命令は、さらに、複数の強エッジおよび１つ以上の弱エッジを含むマージ済みフィルタ応答を得るために、複数のフィルタ応答をマージすることと、合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジを、マージ済みフィルタ応答からフィルタリングすることと、互いに孤立した異なるテクスチャ領域を含む合成画像を得るために、合成エッジマップを入力画像（または前処理済み画像）に加えることと、１つ以上のクロマチャネルを用いて、合成画像から複数の皮膚画素を検出することと、区分された手である皮膚画素の最大ブロブを、合成画像から識別することと、を実施させる。

【0010】

一実施形態では、１つ以上の強エッジを検出するために、１つ以上の予め規定された方向でＭＯＭＦを回転させることにより、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用する。一実施形態では、モルフォロジ収縮手法をマージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジをフィルタリングする。

【0011】

なお、上記の概要説明および以下の詳細説明は、いずれも例示的かつ説明的なものにすぎず、請求項に記載の発明を限定するものではないことは、理解されるべきである。

【0012】

本開示に組み込まれてその一部をなす添付の図面は、例示的な実施形態を示すとともに、本説明と併せて、本開示の原理を説明するためのものである。

【図面の簡単な説明】

【0013】

【図1】本開示の一実施形態による、ハンドセグメンテーションを実行して、正確に区分された手を識別するための、システムの例示的なブロック図

【図2】本開示の例示的な一実施形態による、図１のハンドセグメンテーションシステムの例示的なブロック図

【図3】本開示の一実施形態による、図１～２のハンドセグメンテーションシステムのコンポーネントを用いて、ハンドセグメンテーションを実行して、区分された手を識別するための、方法の例示的なフロー図

【図4A】本開示の一実施形態による、複数の強エッジおよび複数の弱エッジを有する手を示している説明図

【図4B】本開示の一実施形態による、複数の強エッジおよび複数の弱エッジのプロファイルを示すグラフ表現を示している説明図

【図5A】本開示の例示的な一実施形態による、０度の多方向マッチドフィルタ方向を示している説明図

【図5B】本開示の例示的な一実施形態による、３０度の多方向マッチドフィルタ方向を示している。

【図5C】本開示の例示的な一実施形態による、９０度の多方向マッチドフィルタ方向を示している説明図

【図6A】本開示の例示的な一実施形態による、皮膚に似た背景における多方向マッチドフィルタ（ＭＯＭＦ）応答を示している説明図

【図6B】本開示の例示的な一実施形態による、皮膚に似た背景における多方向マッチドフィルタ（ＭＯＭＦ）応答を示している説明図

【図6C】本開示の一実施形態による、図６Ａに示す入力画像に含まれる手に対応した、正確に区分された手を示している説明図

【図7】図７は、本開示の例示的な一実施形態による、本開示のハンドセグメンテーションの結果を、従来の手法によって提示されたＹＣ_bＣ_rと比較して示している説明図

【発明を実施するための形態】

【0014】

例示的な実施形態について、添付の図面を参照して説明する。それらの図面では、参照番号の左端の数字（群）は、その参照番号が最初に表示される図面を示している。適宜、図面全体を通して、同一または類似の部分を参照するのに同じ参照番号を使用している。本開示の原理の例および特徴について、本明細書で記載しているが、開示される実施形態の趣旨および範囲から逸脱することなく、変更、適応、および他の実現形態が可能である。以下の詳細な説明は、単なる例示的なものとみなされるものであり、真の範囲および趣旨は、添付の請求項によって示されるものとする。

【0015】

現在の既存の方法（群）では、ハンドセグメンテーションを実行するために、例えばサーバなどの追加のリソースを必要とするディープラーニングによる方法（群）を用いる。深度送信およびＲＧＢによる手法を用いてハンドセグメンテーションを実行する他の方法もわずかにあるが、それらは、皮膚に似た背景が存在する場合には正確ではない。

【0016】

ハンドセグメンテーションは、空中ジェスチャを解釈するために必要なステップである。ＡＲ用途として、スマートフォンと共に質素なヘッドセットを使用することが、その経済的実行可能性、ポータビリティ、およびマスマーケットへのスケーラビリティが理由で、奨励される。

【0017】

研究で提案された多くの応用では、追加のウェアラブルセンサを導入しており、ユーザに特別な訓練が必要になることがある。また、スマートフォンを装着したＧｏｏｇｌｅ Ｃａｒｄｂｏａｒｄにおいて、オンボードでのハンドセグメンテーションはほとんど試みられていないことも注目される。可能な応用は、（ａ）ＨＭＤでのジェスチャ認識、（ｂ）ＡＲ／ＶＲモードでのビデオゲーム、（ｃ）ハンドポーズ検出、である。ところが、これまでの研究および取り組みでは、ハンドセグメンテーションの正確な実行には失敗しており、それは、ジェスチャの不正確なキャプチャ、例えば環境特性である外部要因、などが原因であり得る。

【0018】

空中ハンドジェスチャは、ＨＣＩの場合の入力の基本モードをなし、それらは一般的にはタッチベースのシステムよりも好ましいことが判明している。ハンドジェスチャ認識の最も広く受け入れられている例の１つは、データグローブである。ハンドセグメンテーションの強化によって、データグローブの役割は、その自然性が理由で素手に取って代わられている。ウェアラブルデバイス上でのハンドセグメンテーションは、（ａ）変動する照明条件、（ｂ）デバイスの計算能力、（ｃ）ユーザの人種が異なることによる皮膚の色調の違い、および（ｄ）皮膚色の背景の存在、を理由とする複雑な背景に伴う困難なコンピュータビジョン問題である。ハンド検出にカメラおよびＩＲ ＬＥＤを使用している研究はわずかであり、そのいくつかは、身体装着型カメラおよび拡散ＩＲ照明と深度情報を、ハンドセグメンテーションに用いることを提案している。上記のアプローチは、追加のハードウェア、身体装着型カメラ、ユーザ計測または外部追跡が必要であり、さらにオフボード処理が必要であることも多い。ハンドセグメンテーションのためにランダムフォレストのような分類器およびガウス混合モデルを利用する他の研究がわずかにある。しかしながら、それらのアプローチは、各フレームを処理するのに多くの時間を要し、ユーザが採用するのに深刻な障壁となる。本開示の実施形態では、自然な状態での効率的なハンドセグメンテーションのためのフィルタを設計および実現するとともに、ヒストグラム均等化との組み合わせを用いて、ガウスぼかしを提示している。本開示では、上述のようなハンドセグメンテーションの欠点を回避するとともに、ウェアラブルデバイスであることによって生じる一人称視点（ＦＰＶ：Ｆｉｒｓｔ－Ｐｅｒｓｏｎ Ｖｉｅｗ）の制約にも対処している。

【0019】

以下で図面を参照し、より具体的には図１～７を参照し、それらの図面の全体を通して一貫して、対応する特徴を同様の参照文字で示しており、好ましい実施形態を図示するとともに、それらの実施形態について、以下の例示的なシステムおよび／または方法の文脈において説明している。

【0020】

図１は、本開示の一実施形態による、ハンドセグメンテーションを実行して、正確に区分された手を識別するための、システム１００の例示的なブロック図を示している。システム１００は、「ハンドセグメンテーションシステム」または「セグメンテーションシステム」と呼ばれることもあり、これらは以下で区別なく用いられる。一実施形態では、システム１００は、１つ以上のプロセッサ１０４と、通信インタフェース装置（群）または入力／出力（Ｉ／Ｏ）インタフェース（群）１０６と、１つ以上のプロセッサ１０４に作用的に結合された１つ以上のデータ記憶装置またはメモリ１０２と、を備える。１つ以上のプロセッサ１０４は、１つ以上のソフトウェア処理モジュールおよび／またはハードウェアプロセッサであってよい。一実施形態では、それらのハードウェアプロセッサは、１つ以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理装置、ステートマシン、論理回路、および／または演算命令に基づき信号を操作する任意のデバイスとして実装することができる。プロセッサ（群）は、数ある機能の中でも特に、メモリに格納されたコンピュータ可読命令をフェッチして実行するように構成されている。一実施形態では、装置１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどのような様々なコンピューティングシステムに実装することができる。

【0021】

Ｉ／Ｏインタフェース装置（群）１０６は、例えば、ウェブインタフェース、グラフィカルユーザインタフェースなど、様々なソフトウェアインタフェースおよびハードウェアインタフェースを含むことができ、例えばＬＡＮ、ケーブルネットワークのような有線ネットワーク、およびＷＬＡＮ、セルラネットワーク、または衛星ネットワークのような無線ネットワークなど、多種多様なネットワークＮ／Ｗおよびプロトコルタイプの範囲内で、多重通信を円滑にすることができる。一実施形態では、Ｉ／Ｏインタフェース装置（群）は、多数のデバイスを相互に、または別のサーバに接続するための１つ以上のポートを有することができる。

【0022】

メモリ１０２は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＤＲＡＭ）のような揮発性メモリ、および／またはリードオンリメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、磁気テープのような不揮発性メモリなど、当技術分野で周知の任意のコンピュータ可読媒体を含んでよい。一実施形態では、データベース１０８をメモリ１０２に格納することができ、そのデータベース１０８は、手および背景の情報、ダウンスケーリング出力、フィルタリング後の出力（群）、正確に区分された手の出力などを含み得るが、ただし、これらに限定されない。より具体的には、入力画像に関する情報は、手と、皮膚に似た背景などを含む。一実施形態では、メモリ１０２は、１つ以上のハードウェアプロセッサ１０４で実行されることで、本明細書に記載の方法を実施するための、１つ以上の手法（群）（例えば、フィルタリング手法（群）、１つ以上のフィルタ）を格納し得る。メモリ１０２は、さらに、本開示のシステムおよび方法によって実行される各ステップの入力（群）／出力（群）に関する情報を含み得る。

【0023】

図２は、図１を参照して、本開示の例示的な一実施形態による、図１のハンドセグメンテーションシステム１００の例示的なブロック図を示している。ハンドセグメンテーションシステム１００は、前処理ブロック２０２と、多方向マッチドフィルタリング（ＭＯＭＦ）ブロック２０４と、皮膚セグメンテーションブロック２０６と、を含む。

【0024】

図３は、図１～２を参照して、本開示の一実施形態による、図１～２のシステム１００およびハンドセグメンテーションシステムのコンポーネントを用いて、ハンドセグメンテーションを実行して、正確に区分された手を識別するための、方法の例示的なフロー図を示している。一実施形態では、システム（群）１００は、１つ以上のハードウェアプロセッサ１０４に作用的に結合された１つ以上のデータ記憶装置またはメモリ１０２を備え、本方法のステップを１つ以上のプロセッサ１０４で実行するための命令を格納するように構成されている。本開示の方法のステップについて、図１に示すシステム１００のコンポーネントおよび図２に示すブロック図を参照して、以下で説明する。本開示の一実施形態では、ステップ３０２で、１つ以上のハードウェアプロセッサ１０４は、少なくとも手および背景を示す入力画像を取得する。一実施形態では、背景は、皮膚に似た背景を含むことがある。本開示の一実施形態では、ステップ３０４で、１つ以上のハードウェアプロセッサ１０４は、前処理された手および前処理された背景を含む前処理済み画像を得るために、入力画像を前処理する。一実施形態では、入力画像は、最初にダウンサンプリングすることによりダウンサンプリング画像を得てから、前処理済み画像を得るために、ダウンサンプリング画像にコントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法を適用することによって、前処理される。前処理の目的は、コントラストを改善するとともに、ノイズを除去することである。例えば、本開示では、入力画像（または入力画像フレーム）は、撮像装置（例えば、いわゆるスマートフォンのリアカメラ）から取得されたものであり、その後、それは、画像品質をあまり損なうことなく処理時間を削減するために、６４０×４８０の解像度にダウンスケーリングまたはダウンサンプリングされている。その後、大域的コントラストを改善するとともに、照明アーチファクトを軽減するために、コントラスト制限付き局所ヒストグラム均等化（ＣＬＡＨＥ）法がダウンサンプリング画像に適用されている。本開示の一実施形態では、図２に示すように前処理ブロック２０２で、入力画像は前処理されている。

【0025】

図４Ａは、図１～３を参照して、本開示の一実施形態による、複数の強エッジおよび複数の弱エッジを有する手を示している。図４Ｂは、図１～４Ａを参照して、本開示の一実施形態による、複数の強エッジおよび複数の弱エッジのプロファイルを示すグラフ表現を示している。本開示では、手の画像における２種類のエッジ、すなわち弱エッジおよび強エッジを考慮する。弱エッジは、表面色の不連続性によって生じるので、これらは均一なテクスチャで構成される。一方、強エッジは、奥行きの不連続性によって生じるので、これらはテクスチャおよび色のかなりの変化を含む。（図４Ａに示すような）可視化の場合、弱エッジを軽減するために、ガウス平滑化法をヒストグラム均等化画像に適用する。つまり、入力画像の前処理において、入力画像にガウス平滑化法を適用することにより、複数の弱エッジをフィルタリングする。この平滑化は、強エッジにわずかに影響を及ぼす可能性があるが、ほとんどの強度変化は維持されていることが確認されている。

【0026】

本開示の一実施形態では、ステップ３０６で、１つ以上のハードウェアプロセッサ１０４は、複数のフィルタ応答を得るために、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用し、さらにステップ３０８で、マージ済みフィルタ応答を得るために、複数のフィルタ応答をマージする。一実施形態では、マージ済みフィルタ応答は、複数の強エッジおよび１つ以上の弱エッジを含む。より具体的には、１つ以上の強エッジを検出するために、１つ以上の予め規定された方向でＭＯＭＦを回転させることにより、多方向マッチドフィルタ（ＭＯＭＦ）を前処理済み画像に適用する。ＭＯＭＦの方向は、図５Ａ～５Ｃに可視化することができる。本開示によって実行されるＭＯＭＦの設計および実装について以下で説明する。

【0027】

［多方向マッチドフィルタ（ＭＯＭＦ）］
上述のように、色に基づくハンドセグメンテーションは、皮膚に似た画素強度を含む背景から手を正確に区別するのに失敗することが多い。従って、強エッジを検出するために、本開示では、正確なハンドセグメンテーションのためのＭＯＭＦを実装して実行する。弱エッジおよび強エッジの挙動を示す一例を、上述のように図４Ｂに示している。強エッジで形成されるパターンは、断面プロファイルにおいてシグモイド関数に非常に類似している一方、接線プロファイルにおいて線状パターンであることが、図４Ｂから分かる。従って、断面プロファイルにおいてシグモイド関数を近似する一方、接線プロファイルにおいて線状であるＭＯＭＦが設計された。サイズ（２ｎ＋１）×（２ｍ＋１）のこのようなフィルタＧ_θは、次の式で与えられる。

【0028】

【数1】

【0029】

ただし、Ｇ_θ（ｘ，ｙ）は、位置（ｘ，ｙ）におけるフィルタＧ_θの値を表し、θは、フィルタの方向を示し、ｃは、フィルタのスケーリングを提供し、ｐは、方向を扱うものであって、次の式で与えられる。

【0030】

【数2】

【0031】

様々に異なる方向θのＭＯＭＦを、図５Ａ～５Ｃで可視化することができる。より具体的には、図５Ａは、本開示の例示的な一実施形態による、０度の多方向マッチドフィルタ方向を示している。図５Ｂは、本開示の例示的な一実施形態による、３０度の多方向マッチドフィルタ方向を示している。図５Ｃは、本開示の例示的な一実施形態による、９０度の多方向マッチドフィルタ方向を示している。本開示のＭＯＭＦは、その平均がゼロであるように定義されていることを確認することができ、従って、方向θに向いた強エッジ情報のみを提供することができる。強エッジは多様な方向に存在するので、本開示のＭＯＭＦは、様々に異なる固定方向で適用される。よって、フィルタはＭＯＭＦと呼ばれる。それらの方向設定されたマッチドフィルタを前処理済み画像に適用することにより複数のフィルタ応答を得て、ある画素における最終応答は、最大フィルタ応答で与えられる。数学的には、最終フィルタ応答Ｒは、次の式で与えられる。

【0032】

【数3】

【0033】

【0034】

図６Ａ～６Ｂから分かるように、前処理段階において入力画像にガウス平滑化法を適用することにより、弱エッジは除去されたが、弱エッジの一部は、孤立ブロブの形で、（マージ済みフィルタ応答とも呼ばれる）最終フィルタ応答に依然として存在する。残りの弱エッジをフィルタリングするために、本開示では、モルフォロジ収縮手法を採用する。より具体的には、本開示の一実施形態では、ステップ３１０で、１つ以上のハードウェアプロセッサ１０４は、合成エッジマップを得るために、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジを、マージ済みフィルタ応答からフィルタリングする。モルフォロジ収縮手法をマージ済みフィルタ応答に適用することにより、１つ以上の孤立ブロブとして形成された１つ以上の弱エッジをフィルタリングまたは除去する。

【0035】

本開示の一実施形態では、ステップ３１２で、１つ以上のハードウェアプロセッサ１０４は、合成画像を得るために、合成エッジマップを前処理済み画像に加える。合成画像は、例示的な一実施形態では、互いに孤立した異なるテクスチャ領域を含む。つまり、以下の式を用いて、合成エッジマップを原画像（または前処理済み画像）Ｉに加算する。

【0036】

【数4】

【0037】

【0038】

皮膚フィルタ（例えば、当技術分野で周知のカラーセグメンテーション手法）は、皮膚に似た画素が背景に存在するときに、ノイズブロブを取り込む可能性があることが確認されている。これらの皮膚に似た背景ブロブを手の画素として誤解釈する問題に対処するために、本開示では、最大ブロブのみを確保する。これは、ＨＭＤにおいてジェスチャを行うときに、手の領域が、ＦＰＶで最も目立つ物体であろうという仮定に基づいている。最大ブロブは、輪郭追跡法（例えば、当技術分野で周知の手法）を用いて特定される。より具体的には、ステップ３１６で、１つ以上のハードウェアプロセッサ１０４は、皮膚画素の最大ブロブを、合成画像から識別する。皮膚画素のこの最大ブロブは、（「正確に区分された手」とも呼ばれる）区分された手である。例示的な一実施形態では、ステップ３１０および３１６は、図２の皮膚セグメンテーションブロック２０６で実行される。本開示の一実施形態では、「皮膚セグメンテーションブロック２０６」という表現は、「ハンドセグメンテーションブロック２０６」と呼ばれることもあり、これらは本明細書において区別なく用いられることがある。ハンドセグメンテーションの一例を、図６Ｃに示している。より具体的には、図６Ｃは、図１～６Ｂを参照して、本開示の一実施形態による、図６Ａに示す入力画像に含まれる手に対応した、正確に区分された手を示している。

【0039】

［結果］
（実験のセットアップ）
Ｑｕａｌｃｏｍｍ ＭＳＭ８９５６ Ｓｎａｐｄｒａｇｏｎ ６５０チップセット、ヘキサコアＣＰＵ（４×（１．４ＧＨｚ Ｃｏｒｔｅｘ－Ａ５３）および２×（１．８ＧＨｚ Ｃｏｒｔｅｘ－Ａ７２））、Ａｄｒｅｎｏ ５１０ ＧＰＵを搭載し、Ａｎｄｒｏｉｄ ５．１．１が動作する、ＸＩＡＯＭＩ ＲＥＤＭＩ Ｎｏｔｅ３において、実験を実施した。このＡｎｄｒｏｉｄから、様々に異なる照明条件下で合計４８４個の手の画像を取得した。これらは、男性１８名と女性１３名である３１名の異なる被験者に属するものである。本開示の方法の有効性を試験するために、このデータセットの画像は難しい背景を含んでおり、すなわち、皮膚に似た強度を含む背景について考察した。より厳密な性能評価のために、公的に入手可能な２つのデータセット、すなわちＧ１～Ｇ７（例えば、非特許文献１を参照）およびエゴセントリック・ハンドセグメンテーションデータセット（例えば、非特許文献２を参照）について、本開示の方法を試験した。

【0040】

（実施詳細）
フィルタ（ＭＯＭＦ）応答は、そのフィルタサイズおよび方向の数が十分に大きい場合に弱エッジの数が減少して、少数の弱エッジを含む。しかしながら、フィルタサイズが大きいと結果的に手の位置特定が不十分になり、一方、方向の数が多いと結果的に計算量が増加する。実験した後に、正確なハンドセグメンテーションのためには、フィルタサイズおよび方向Θの数を、それぞれ１５×１５および１６に設定すべきであることが判明した。Θを、π／１６の倍数に設定した。

【0041】

（ハンドセグメンテーションの精度）
本開示では、ハンドセグメンテーション精度を評価するために、以下の式を用いて、Ｊａｃｃａｒｄ係数を採用した。

【0042】

【数5】

【0043】

ただし、Ｓは、区分された画像であり、Ｇは、グラウンドトゥルース画像である。正確なセグメンテーションとは、Ｊａｃｃａｒｄ係数Ｊが０．９５よりも大きい場合を指す。ＡＲでのジェスチャ認識には、一般的に手の大部分が必要であるため、Ｊについて、より高い閾値を選択した。本開示の方法では、４４４個の画像を正確に区分できることが報告される一方、従来の手法１（例えば、非特許文献３を参照）では、３２６個の画像のみを正確に区分できることが確認されている。さらに、本開示の方法の平均Ｊａｃｃａｒｄ係数は、上記の従来の手法１（例えば、非特許文献３）の平均Ｊａｃｃａｒｄ係数と比較して、顕著に優れている。

【0044】

公的に入手可能なデータセットについて実施された実験結果を、以下の表（例えば、表１）および図７に示している。より具体的には、図７は、図１～６Ｃを参照して、本開示のハンドセグメンテーションの結果を、（図７の（ｃ）に示す）従来の手法１および（図７の（ｄ）に示す）従来の手法２（例えば、非特許文献４を参照）によって提示されたＹＣ_bＣ_rと比較して示している。図７は、さらに、図７の（ａ）に示す入力画像および（ｂ）に示すグラウンドトゥルースもそれぞれ含んでいる。

【0045】

表（例えば、表１）では、性能評価を示すために、Ｊａｃｃａｒｄ係数メトリックを用いている。また、本開示の方法を、画素単位セグメンテーションに広く用いられているディープラーニングによる従来の手法２とも比較している。

【0046】

【表1】

【0047】

従来の手法２は、ディープラーニング機能を採用しているため、本開示のシステムよりも良好に機能した可能性があることが、表１から分かる。残念ながら、その適用性は、質素なＨＭＤでのジェスチャインタラクションに対しては、そのようなインタラクションは従来の手法２では不可能なリアルタイム処理を必要とするため、限られている。さらに、従来の手法２は、学習分布と試験分布が同じである場合にのみ正確に機能し、異なるデータセットで従来の手法２を再学習させるのは、非常に時間を要する。また、従来の手法２は、データの処理に時間をより多く（例えば、１９０００ミリ秒）要することも、表１から確認される。本開示の方法は、従来の手法２にかかる時間と比較して、かかる時間がより少ない（例えば、３６ミリ秒）ことは明らかである。また、本開示の方法は、従来の手法１および従来の手法３（例えば、非特許文献５を参照）よりも多くの時間を計算に要するが、正確なハンドセグメンテーションに関しては優れていることも、表１で確認することができる（例えば、従来の手法１、従来の手法３、および本開示の方法に関連したＧ１～Ｇ７について、表１の結果を参照）。これは、本開示のＭＯＭＦが最終的に、より優れたハンドセグメンテーションにつながっているからである。

【0048】

質素なＨＭＤ（例えば、スマートフォンを装着したＧｏｏｇｌｅ Ｃａｒｄｂｏａｒｄ）の場合のハンドセグメンテーションを、本開示により提示した。この機能を本開示のシステムおよび方法によって実現する根本的な理由は、質素なヘッドセットを、工業検査および観光産業のようなＡＲ用途として有効にするためである。本開示のハンドセグメンテーション方法は、深度センサおよびＩＲセンサのような追加のハードウェアを使用することなく、オンデバイスで、正確にリアルタイムで機能する。それは、ＣＬＡＨＥ、ガウスぼかしを、本開示のＭＯＭＦと共に用いて、設計されている。ハンドセグメンテーションのための本開示の方法を評価するために、本開示の方法の結果を、Ｊａｃｃａｒｄ係数を用いて、従来の手法１および２と比較した。従来の手法２は、本開示の方法よりも優れたハンドセグメンテーションを提供するものの、リアルタイムのハンドセグメンテーションには有用ではないことが確認されている。また、本開示の方法は、本開示のＭＯＭＦが理由で、従来の手法１よりも顕著に優れたハンドセグメンテーションを実現する。

【0049】

本説明は、当業者が実施形態を構成して、使用することを可能とするために、本明細書における主題について記載している。本主題の実施形態の範囲は、請求項によって規定され、当業者が想到する他の変形例を含み得る。かかる他の変形例は、請求項の文言と異ならない類似の要素を有するものであれば、または請求項の文言と非実質的な違いがある均等な要素を含むものであれば、請求項の範囲内にあるものとする。

【0050】

保護の範囲は、かかるプログラムにまで、さらにはメッセージを収めたコンピュータ可読手段にまで、拡張されるものと理解されるべきであり、かかるコンピュータ可読記憶手段は、プログラムコード手段を格納しており、それは、そのプログラムがサーバまたはモバイルデバイスまたは任意の適切なプログラマブルデバイスで実行されることで、本方法の１つ以上のステップを実施するためのものである。ハードウェアデバイスは、例えばサーバまたはパーソナルコンピュータなどのような任意の種類のコンピュータ、またはそれらの任意の組み合わせなど、プログラム可能な任意の種類のデバイスとすることができる。また、本装置は、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のような例えばハードウェア手段、または例えばＡＳＩＣとＦＰＧＡもしくは少なくとも１つのマイクロプロセッサとソフトウェアモジュールを収めた少なくとも１つのメモリであるハードウェア手段とソフトウェア手段の組み合わせ、とすることができる手段を含んでもよい。従って、その手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書に記載の方法の実施形態は、ハードウェアおよびソフトウェアで実装することができる。また、本装置は、ソフトウェア手段を含んでもよい。あるいは、これらの実施形態は、例えば複数のＣＰＵを用いて、いくつかの異なるハードウェアデバイスにおいて実施されてよい。

【0051】

本明細書における実施形態は、ハードウェア要素およびソフトウェア要素を含むことができる。ソフトウェアで実装される実施形態は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、ただし、これらに限定されない。本明細書に記載の各種モジュールで実行される機能は、他のモジュールまたは他のモジュールの組み合わせで実装されてよい。本説明の目的では、コンピュータ可用媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって用いるため、またはそれとの関連で用いるための、プログラムを具備、保存、通信、伝搬、または搬送することが可能な任意の装置とすることができる。

【0052】

例示したステップは、図示の例示的な実施形態を説明するために提示されたものであり、進行する技術開発によって、特定の機能が実行される方法が変更されることは想定されるべきである。これらの例は、本明細書において例示目的で提示されるものであり、限定するものではない。また、機能構成ブロックの境界は、説明の便宜上、本明細書において任意に規定されている。特定の機能およびそれらの関係が適切に実現されるのであれば、別の境界を規定することができる。（本明細書に記載のものの均等物、拡張、変形、変更などを含む）代替案は、本明細書に含まれる教示に基づき、当該関連技術の当業者には明らかであろう。かかる代替案は、開示の実施形態の範囲および趣旨の範囲内に含まれる。また、「ｃｏｍｐｒｉｓｉｎｇ（備えている）」、「ｈａｖｉｎｇ（有している）」、「ｃｏｎｔａｉｎｉｎｇ（含有している）」、「ｉｎｃｌｕｄｉｎｇ（含んでいる）」および他の類似の形の表現は、同等の意味であるとともに、これらの表現のいずれかに続くアイテムもしくはアイテム群は、かかるアイテムもしくはアイテム群の網羅的列挙を意味するものではなく、または列挙されているアイテムもしくはアイテム群のみに限定されることを意味するのではないという点で、制限のないものである。また、本明細書および添付の請求項で使用される場合の単数形「ａ」、「ａｎ」、「ｔｈｅ」は、特に文脈で明確に示していない限り、複数の指示物を含むということも、留意されるべきである。

【0053】

さらに、本開示に矛盾しない実施形態の実現において、１つ以上のコンピュータ可読記憶媒体を利用してよい。コンピュータ可読記憶媒体とは、プロセッサで読み取り可能な情報またはデータを格納し得る任意のタイプの物理メモリを指す。従って、コンピュータ可読記憶媒体は、本明細書に記載の実施形態に矛盾しないステップまたは段階をプロセッサ（群）に実行させるための命令など、１つ以上のプロセッサで実行するための命令を格納し得る。「コンピュータ可読媒体」という用語は、有形アイテムを含み、搬送波および過渡信号を除外するものである、すなわち、非一時的なものであると理解されるべきである。例として、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ－ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、およびその他の周知の物理記憶媒体が含まれる。

【0054】

本開示および実施例は単なる例示的なものとみなされるものであり、開示の実施形態の真の範囲および趣旨は、添付の請求項によって示される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7】