特許 7279975 ２次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-15

(45)【発行日】2023-05-23

(54)【発明の名称】２次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230516BHJP

   H04N 23/63 20230101ALI20230516BHJP

   H04N 23/611 20230101ALI20230516BHJP

   G06T 7/20 20170101ALI20230516BHJP

   G06F 3/0346 20130101ALI20230516BHJP

   G06F 3/01 20060101ALI20230516BHJP

【ＦＩ】

H04N23/60 500

H04N23/63

H04N23/611

G06T7/20 300A

G06F3/0346 423

G06F3/01 570

【請求項の数】 11

(21)【出願番号】P 2021555246

(86)(22)【出願日】2020-03-04

(65)【公表番号】

(43)【公表日】2022-05-12

(86)【国際出願番号】 KR2020003063

(87)【国際公開番号】W WO2020184890

(87)【国際公開日】2020-09-17

【審査請求日】2021-09-13

(31)【優先権主張番号】10-2019-0027623

(32)【優先日】2019-03-11

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520407437

【氏名又は名称】ブイタッチ・カンパニー・リミテッド

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】キム，ソク ジュン

【審査官】大濱 宏之

(56)【参考文献】

【文献】特表２０１６－５２３４２０（ＪＰ，Ａ）

【文献】特表２００３－５３３８１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６１１

Ｇ０６Ｔ ７／２０

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

２次元カメラを利用して客体制御を支援する方法であって、
２次元カメラから使用者の身体に関する２次元イメージを獲得する段階、および
前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する段階を含み、
前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定され、
前記決定段階で、前記候補対象領域は、前記基準面上で前記２次元カメラが位置する地点および仮想の地点によって特定され、
前記基準面上で前記２次元カメラが位置する地点と前記仮想の地点の間の位置関係は、前記２次元イメージ内で前記第１身体部位および前記第２身体部位それぞれに対応する２次元相対座標の間の位置関係によって特定される、方法。

【請求項2】

前記２次元相対座標は、前記２次元カメラに関連する相対座標系で特定される、請求項１に記載の方法。

【請求項3】

２次元カメラを利用して客体制御を支援する方法であって、
２次元カメラから使用者の身体に関する２次元イメージを獲得する段階、および
前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する段階を含み、
前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定され、
前記決定段階で、前記候補対象領域のうち、前記使用者のジェスチャーに関連するものと判断される領域を前記制御対象領域として決定する、方法。

【請求項4】

前記ジェスチャーには、前記使用者が前記第１身体部位または前記第２身体部位を動かすジェスチャーが含まれる、請求項３に記載の方法。

【請求項5】

前記決定段階は、
前記使用者が前記候補対象領域を認知できるように助けるガイド情報を提供する段階、および
前記ガイド情報が提供された後に認識される前記使用者のジェスチャーに関連するものと判断される領域を前記制御対象領域として決定する段階を含む、請求項３に記載の方法。

【請求項6】

前記獲得段階で、第１の２次元カメラから使用者の身体に関する第１の２次元イメージを獲得し、第２の２次元カメラから前記使用者の身体に関する第２の２次元イメージを獲得し、
前記決定段階で、前記第１の２次元イメージ内で前記使用者の前記第１身体部位および前記第２身体部位それぞれに対応する２次元相対座標に基づいて特定される第１候補対象領域と前記第２の２次元イメージ内で前記使用者の前記第１身体部位および前記第２身体部位それぞれに対応する２次元相対座標に基づいて特定される第２候補対象領域を参照して制御対象領域を決定し、
前記第１候補対象領域、前記第２候補対象領域および前記制御対象領域は、前記第１の２次元カメラおよび前記第２の２次元カメラを基準として設定される基準面上で決定される、請求項１に記載の方法。

【請求項7】

前記決定段階で、前記第１候補対象領域および前記第２候補対象領域が互いに共通する領域を前記制御対象領域として決定する、請求項６に記載の方法。

【請求項8】

前記決定段階で、前記制御対象領域に含まれる客体を前記使用者によって制御される客体として決定する、請求項１に記載の方法。

【請求項9】

請求項１または３に記載された方法を実行するためのコンピュータプログラムを記録する、非一過性のコンピュータ読み取り可能な記録媒体。

【請求項10】

２次元カメラを利用して客体制御を支援するシステムであって、
２次元カメラから使用者の身体に関する２次元イメージを獲得するイメージ獲得部、および
前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する制御対象領域決定部を含み、
前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定され、
前記制御対象領域決定部により、前記候補対象領域は、前記基準面上で前記２次元カメラが位置する地点および仮想の地点によって特定され、
前記基準面上で前記２次元カメラが位置する地点と前記仮想の地点の間の位置関係は、前記２次元イメージ内で前記第１身体部位および前記第２身体部位それぞれに対応する２次元相対座標の間の位置関係によって特定される、システム。

【請求項11】

２次元カメラを利用して客体制御を支援するシステムであって、
２次元カメラから使用者の身体に関する２次元イメージを獲得するイメージ獲得部、および
前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する制御対象領域決定部を含み、
前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定され、
前記制御対象領域決定部は、前記候補対象領域のうち、前記使用者のジェスチャーに関連するものと判断される領域を前記制御対象領域として決定する、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は２次元カメラを利用して客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。

【背景技術】

【0002】

最近、増強現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に関する関心が高まり、関連技術分野の研究開発が活発に進行されるにつれて、使用者の身体部位を利用して客体を制御する多様な技術が紹介されている。

【0003】

これに関する、従来技術の一例として、韓国公開特許公報第２０１２－１２６５０８号に開示された技術が挙げられるが、これによると、互いに異なる位置に配置される２個以上のイメージセンサで構成され、前記表示面の前方の使用者身体を撮影する映像獲得部と、前記映像獲得部から受信した映像を利用して前記使用者身体の３次元座標データを算出する空間座標算出部と、前記空間座標算出部から受信した第１空間座標と第２空間座標を利用して、前記第１空間座標と第２空間座標を連結する直線が前記表示面と会う接点座標データを算出するタッチ位置算出部および前記タッチ位置算出部から受信した前記接点座標データに対応するように設定された動作を遂行する命令コードを生成して、前記電子機器の主制御部に入力する仮想タッチ処理部で構成される仮想タッチ装置を通じて、（Ａ）指先の３次元座標データ（Ｘ１、Ｙ１、Ｚ１）と片方の目の中心点の３次元座標データ（Ｘ２、Ｙ２、Ｚ２）を処理してディスプレイ表示面Ｃと、指先点Ｂと、片方の目の接点Ａをそれぞれ検出する段階と、（Ｂ）前記検出された指先点の深さの変化、軌跡の変化、維持時間および変化の速度のうち少なくとも一つを算出する段階と、（Ｃ）算出された指先点の深さの変化、軌跡の変化、維持時間および変化の速度のうち少なくとも一つに基づいて電子機器の操作が可能であり、また、タッチパネルの特定部分をタッチするように該当領域を選択する段階を含むことを特徴とする、ポインタを使わない仮想タッチ装置でのタッチ認識方法が紹介されたことがある。

【0004】

前記のような従来技術をはじめとしてこれまで紹介された技術によると、客体を選択したり制御するためには３次元カメラを利用して使用者身体部位の３次元座標を獲得する過程が必須として要求された。しかし、３次元カメラはそれ自体の価格が高いだけでなく、３次元データ処理過程で多くの遅延が発生し、その遅延を解決するためにはさらに高い性能の演算処理装置（ＣＰＵ）等が要求されるため、全体的に価格がさらに高くなることになった。

【0005】

そこで、本発明者は、３次元カメラがなくても従来の２次元カメラをのみ利用して、使用者が自身が意図する対象客体を効率的かつ正確に選択または制御できるように支援する新規かつ進歩した技術を提案するところである。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述した従来技術の問題点をすべて解決することをその目的とする。

【0007】

また、本発明は、３次元カメラなどの精密なセンシング手段を利用せず、２次元カメラを通じて獲得される情報のみを利用して使用者の意図に符合する制御対象領域を正確に決定することをその目的とする。

【0008】

また、本発明は、少ないリソースを利用して制御対象領域を効率的に決定することをさらに他の目的とする。

【課題を解決するための手段】

【0009】

前記目的を達成するための本発明の代表的な構成は次の通りである。

【0010】

本発明の一態様によると、２次元カメラを利用して客体制御を支援する方法であって、２次元カメラから使用者の身体に関する２次元イメージを獲得する段階、および前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する段階を含み、前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定される方法が提供される。

【0011】

本発明の他の態様によると、２次元カメラを利用して客体制御を支援するシステムであって、２次元カメラから使用者の身体に関する２次元イメージを獲得するイメージ獲得部、および前記２次元イメージ内で前記使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定する制御対象領域決定部を含み、前記候補対象領域および前記制御対象領域は前記２次元カメラを基準として設定される基準面上で決定されるシステムが提供される。

【0012】

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

【発明の効果】

【0013】

本発明によると、３次元カメラなどの精密なセンシング手段を利用せず、２次元カメラを通じて獲得される情報をのみ利用して使用者の意図に符合する制御対象領域を正確に決定することができる。

【0014】

本発明によると、少ないリソースを利用して制御対象領域を効率的に決定することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施例に係る客体制御支援システムの内部構成を詳細に図示する図面である。

【図2】本発明の一実施例により２次元カメラを利用して候補対象領域を決定する構成を例示的に示す図面である。

【図3】本発明の一実施例により２次元カメラを利用して候補対象領域を決定する構成を例示的に示す図面である。

【図4】本発明の第１実施例により制御対象領域を決定する構成を例示的に示す図面である。

【図5】本発明の他の実施例により制御対象領域を決定する構成を例示的に示す図面である。

【図6】本発明の他の実施例により二つ以上の２次元カメラからそれぞれ獲得される二つ以上の２次元イメージを利用して、使用者によって意図された制御対象領域を決定する状況を例示的に示す図面である。

【発明を実施するための形態】

【0016】

後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は、当業者が本発明を充分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、互いに排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定形状、構造および特性は、本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別の構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面に亘って同一または類似する構成要素を示す。

【0017】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例について添付された図面を参照して詳細に説明することにする。

【0018】

（全体システムの構成）
本発明の一実施例に係る全体システムは、通信網、客体制御支援システム１００および２次元カメラを含んで構成され得る。

【0019】

まず、本発明の一実施例に係る通信網は有線通信や無線通信のような通信の態様にかかわらず構成され得、近距離通信網（ＬＡＮ、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ、Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ、Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の多様な通信網で構成され得る。好ましくは、本明細書における通信網は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網はこれに限定される必要はなく、公知の有線／無線データ通信網、公知の電話網または公知の有無線テレビ通信網をその少なくとも一部において含んでもよい。

【0020】

例えば、通信網は無線データ通信網であって、無線周波数（ＲＦ、Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）通信、ワイファイ（ＷｉＦｉ（登録商標））通信、セルラー（ＬＴＥなど）通信、ブルートゥース（登録商標）通信（さらに具体的には、低電力ブルートゥース（ＢＬＥ、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ））、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。

【0021】

次に、本発明の一実施例に係る客体制御支援システム１００はメモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような客体制御支援システム１００はサーバーシステムであり得る。

【0022】

本発明の一実施例によると、客体制御支援システム１００は、後述する２次元カメラと通信網または所定のプロセッサ（図示されず）を通じて連結され得、２次元カメラから使用者の身体に関する２次元イメージを獲得し、２次元イメージ内で使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定し、前記候補対象領域および前記制御対象領域は２次元カメラを基準として設定される基準面上で決定されるようにする機能を遂行することができる。

【0023】

ここで、本発明の一実施例に係る２次元相対座標は、２次元カメラに関連する相対座標系で特定される座標であり得る。例えば、本発明の一実施例によると、２次元カメラのレンズ（または２次元カメラによって撮影された２次元イメージ）を中心に特定される２次元座標系（例えば、レンズの中心が（０、０））が前記相対座標系で特定され得、前記２次元相対座標はその相対座標系で特定される座標であり得る。

【0024】

また、本発明の一実施例によると、前記身体部位には、頭、目、鼻、口、手、手先、指、足、足先、足の指などが含まれ得、前記列挙された身体部位にのみ限定されず、本発明の目的を達成できる範囲内で多様な身体部位に変更され得る。

【0025】

また、本発明の一実施例によると、前記制御対象領域は、２次元カメラを基準として設定される基準面上で決定され得る。本発明の一実施例によると、前記２次元カメラを基準として設定される基準面は、２次元カメラを中心に設定される所定大きさの面または２次元カメラと隣接（または所定距離以内）した位置に存在する所定大きさの面を含む概念であり得、前記のような基準面の形状は平面または曲面であり得、ディスプレイ画面、プリントされた紙、壁などを含むことができる。

【0026】

本発明に係る客体制御支援システム１００の構成と機能については、以下でさらに詳察することにする。一方、客体制御支援システム１００について前記のように説明したが、このような説明は例示的なものであり、客体制御支援システム１００に要求される機能や構成要素の少なくとも一部が必要に応じて外部システム（図示されず）内で具現されたり、外部システム内に含まれてもよいことは当業者に自明である。

【0027】

次に、本発明の一実施例に係る２次元カメラは通信網または所定のプロセッサによって客体制御支援システム１００と通信が遂行され得、使用者の身体に関する２次元イメージを獲得する機能を遂行することができる。例えば、本発明の一実施例に係る前記２次元カメラには、電荷結合素子（ＣＣＤ、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、相補的金属酸化膜半導体（ＣＭＯＳ、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の多様な類型のイメージセンサが含まれ得る。

【0028】

（客体制御支援システムの構成）
以下では、本発明の具現のために重要な機能を遂行する客体制御支援システム１００の内部構成および各構成要素の機能について詳察することにする。

【0029】

図１は、本発明の一実施例に係る客体制御支援システム１００の内部構成を詳細に図示する図面である。

【0030】

図１に図示された通り、客体制御支援システム１００は、イメージ獲得部１１０、制御対象領域決定部１２０、通信部１３０および制御部１４０を含んで構成され得る。本発明の一実施例によると、イメージ獲得部１１０、制御対象領域決定部１２０、通信部１３０および制御部１４０は、そのうち少なくとも一部が外部のシステムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、アプリケーションモジュールまたはその他のプログラムモジュールの形態で客体制御支援システム１００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは客体制御支援システム１００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。

【0031】

まず、本発明の一実施例に係るイメージ獲得部１１０は２次元カメラから使用者の身体に関する２次元イメージを獲得する機能を遂行することができる。

【0032】

例えば、本発明の一実施例に係るイメージ獲得部１１０は、使用者の目（例えば、両眼または主眼）および指（例えば、人差し指の先）を含む身体を撮影した２次元イメージを獲得することができる。

【0033】

次に、本発明の一実施例に係る制御対象領域決定部１２０は、２次元イメージ内で使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される候補対象領域を参照して制御対象領域を決定することができる。ここで、本発明の一実施例に係る制御対象領域決定部１２０は前記候補対象領域および前記制御対象領域を２次元カメラを基準として設定される基準面上に決定することができる。

【0034】

具体的には、本発明の一実施例によると、前記候補対象領域は仮想の基準面上で２次元カメラが位置する地点および仮想の地点によって特定され得、仮想の基準面上で２次元カメラが位置する地点および仮想の地点の間の位置関係は、２次元イメージ内で第１身体部位および第２身体部位それぞれに対応する２次元相対座標の間の位置関係によって特定され得る。

【0035】

図２および図３は、本発明の一実施例により２次元カメラを利用して候補対象領域を決定する構成を例示的に示す図面である。

【0036】

図２および図３の実施例において、本発明の一実施例に係る２次元カメラは客体表示デバイスに含まれ得、必要に応じてその客体表示デバイスと隣接した位置に配置され得る。この場合に、本発明の一実施例に係る客体表示デバイスの表示画面は、２次元カメラを基準として設定される基準面３００上に存在するか、互いにマッチングされる位置関係を有することができる。

【0037】

また、図２および図３の実施例において、客体表示デバイスの表示画面上には「ａ」～「ｔ」の客体がディスプレイまたはプリントされる状況を仮定してみることができる。また、本発明に係る客体表示デバイス上に表示される客体は電子的にディスプレイされ得るだけでなく、本発明の目的を達成できる範囲内でプリンティング、陰刻、陽刻などのような多様な方式でも表示され得る。

【0038】

また、図２および図３の実施例において、本発明の一実施例に係る客体表示デバイスは客体制御支援システム１００と通信網または所定のプロセスを通じて連結され得、使用者によって制御される客体を表示する機能を遂行することができる。例えば、本発明の一実施例によると、客体表示デバイスは、液晶表示装置（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、超薄膜液晶表示装置（ＴＦＴ－ＬＣＤ、Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ ＬＣＤ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ ＬＥＤ）、能動型有機発光ダイオード（ＡＭＯＬＥＤ、Ａｃｔｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｐｌａｙ）および３次元ディスプレイなどで構成され得る。

【0039】

まず、図２を参照すると、本発明の一実施例に係る制御対象領域決定部１２０は、２次元カメラから獲得される２次元イメージ２００内で特定される使用者の目２０１の相対座標と使用者の指先２０２の２次元相対座標を互いにつなぐ直線２０３と２次元イメージ内で予め設定される基準線２０４の間の角度２０５を特定することができる。ここで、本発明の一実施例によると、２次元イメージ２００内で予め設定される基準線２０４は、２次元イメージ２００の横軸（または縦軸）により特定される水平線（または垂直線）であるか、２次元イメージ２００内で使用者の両眼をつなぐ直線と平行な直線であり得る。

【0040】

次に、図３を参照すると、本発明の一実施例に係る制御対象領域決定部１２０は、２次元カメラを基準として設定される基準面３００上で２次元カメラが位置する地点３０１と仮想の地点３０２をつなぐ仮想の直線３０３と所定の基準線３０４がなす角度３０５が、図２の２次元イメージ２００上で特定される角度２０５と実質的に同一となるようにする仮想の地点３０２を特定することができ、基準面３００上で２次元カメラが位置する地点３０１と仮想の地点３０２をつなぐ仮想の直線３０３の周辺部に該当する領域３０６を候補対象領域として特定することができる。ここで、本発明の一実施例によると、基準面３００上で特定される所定の基準線３０４は、２次元イメージ２００内で予め設定される基準線２０４と平行な直線であるか、２次元カメラを含む客体表示デバイスの横軸に対応する直線であり得る。

【0041】

また、本発明の一実施例によると、制御対象領域決定部１２０は前記特定される候補対象領域を参照して、使用者の制御意図に符合するものと判断される制御対象領域を決定することができる。

【0042】

具体的には、本発明の一実施例によると、制御対象領域決定部１２０は前記特定される候補対象領域のうち、使用者のジェスチャーに関連するものと判断される領域を制御対象領域として決定することができる。ここで、本発明の一実施例によると、使用者のジェスチャーは使用者の第１身体部位または第２身体部位を動かすジェスチャーを含むことができ、例えば、使用者が２次元カメラによって撮影されている指先を自身が意図した方向にそって移動させるジェスチャーを含むことができる。

【0043】

図４は、本発明の第１実施例により制御対象領域を決定する構成を例示的に示す図面である。

【0044】

図４を参照すると、本発明の一実施例に係る制御対象領域決定部１２０は、２次元イメージ内で使用者の第２身体部位に該当する２次元相対座標２０２が左下方向２０２’に移動するジェスチャーが感知されることに対応して、基準面３００上の候補対象領域３０６内で相対的に右下方向に位置する部分領域３０７を制御対象領域として決定することができ、ひいては、候補対象領域３０６に位置する二つの客体３０８、３０９のうち、制御対象領域３０７に位置する客体３０９を使用者によって制御（または選択）される客体として決定することができる。すなわち、本発明の一実施例によると、前記候補対象領域３０６には客体「ｉ」３０８および客体「ｔ」３０９が含まれ、制御対象領域３０７には客体「ｔ」３０９のみが含まれるため、客体「ｔ」３０９が使用者によって意図される制御対象客体として決定され得ることになる。

【0045】

一方、本発明の一実施例によると、制御対象領域決定部１２０は使用者が客体制御支援システム１００によって特定されている候補対象領域を認知できるように助けるガイド情報を提供することができ、前記ガイド情報が提供された後に認識される使用者のジェスチャーに関連するものと判断される領域を制御対象領域として決定することができる。

【0046】

例えば、本発明の一実施例に係る制御対象領域決定部１２０は、客体表示デバイスに対応して基準面が設定される場合に、客体表示デバイス上で候補対象領域自体を強調して表示するか、候補対象領域内に位置している客体を強調して表示することによって、使用者にガイド情報を提供することができる。また、本発明の一実施例に係る制御対象領域決定部１２０は、ガイド情報の提供を受けた使用者が、候補対象領域内で自身が制御しようとする制御対象領域を正確に特定するために行うジェスチャーを認識することによって、候補対象領域内で制御対象領域を決定することができる。

【0047】

一方、本発明の一実施例に係る通信部１３０は、イメージ獲得部１１０および制御対象領域決定部１２０からの／へのデータの送受信を可能にする機能を遂行することができる。

【0048】

最後に、本発明の一実施例に係る制御部１４０は、イメージ獲得部１１０、制御対象領域決定部１２０および通信部１３０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部１４０は客体制御支援システム１００の外部からの／へのデータの流れまたは客体制御支援システム１００の各構成要素間のデータの流れを制御することによって、イメージ獲得部１１０、制御対象領域決定部１２０および通信部１３０でそれぞれ固有の機能を遂行するように制御することができる。

【0049】

一方、本発明の他の実施例によると、客体制御支援システム１００は二つ以上の２次元カメラからそれぞれ獲得される使用者の身体に関する二つ以上の２次元イメージから得られる情報に基づいて、使用者によって意図されたものと判断される制御対象領域を決定してもよい。

【0050】

具体的には、本発明の他の実施例に係る客体制御支援システム１００は、第１の２次元カメラから使用者の身体を撮影した第１の２次元イメージを獲得し、第２の２次元カメラから使用者の身体を撮影した第２の２次元イメージを獲得することができる。

【0051】

次に、本発明の他の実施例に係る客体制御支援システム１００は、第１の２次元イメージ内で使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される第１候補対象領域と第２の２次元イメージ内で使用者の第１身体部位および第２身体部位それぞれに対応する２次元相対座標に基づいて特定される第２候補対象領域のすべてを参照して、制御対象領域を決定することができる。例えば、本発明の他の実施例に係る客体制御支援システム１００は、第１候補対象領域および第２候補対象領域が互いに共通する領域を制御対象領域として決定することができる。ここで、本発明の他の実施例によると、制御対象領域は第１の２次元カメラおよび第２の２次元カメラを基準として設定される基準面上で決定され得る。

【0052】

図５は、本発明の他の実施例により制御対象領域を決定する構成を例示的に示す図面である。

【0053】

まず、図５の（ａ）を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、第１の２次元カメラから獲得される第１の２次元イメージ５１０内で特定される使用者の目５１１の相対座標と使用者の指先５１２の２次元相対座標を互いにつなぐ直線５１３と第１の２次元イメージ５１０内で予め設定される基準線５１４の間の第１角度５１５を特定することができる。

【0054】

次に、図５の（ｂ）を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、第２の２次元カメラから獲得される第２の２次元イメージ５２０内で特定される使用者の目５２１の相対座標と使用者の指先５２２の２次元相対座標を互いにつなぐ直線５２３と第２の２次元イメージ５２０内で予め設定される基準線５２４の間の第２角度５２５を特定することができる。

【0055】

次に、図５の（ｃ）を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、第１の２次元カメラおよび第２の２次元カメラを基準として設定される基準面５３０上で第１の２次元カメラが位置する地点５３１と第１仮想の地点をつなぐ第１仮想の直線５３２と所定の第１基準線がなす角度５３３が、図５の（ａ）の第１の２次元イメージ５１０上で特定される第１角度５１５と実質的に同一となるようにする第１仮想の地点を特定することができ、基準面５３０上で第１の２次元カメラが位置する地点５３１と第１仮想の地点をつなぐ第１仮想の直線５３２の周辺に該当する領域５３４を第１候補対象領域として特定することができる。ここで、本発明の他の実施例によると、基準面５３０上で特定される第１基準線は、第１の２次元イメージ５１０内で予め設定される基準線５１４と平行な直線または客体表示デバイスの横軸に対応する直線であり得る。

【0056】

引き続き、図５の（ｃ）を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、基準面５３０上で第２の２次元カメラが位置する地点５３５と第２仮想の地点をつなぐ第２仮想の直線５３６と所定の第２基準線がなす角度５３７が、図５の（ｂ）の第２の２次元イメージ５２０上で特定される第２角度５２５と実質的に同一となるようにする第２仮想の地点を特定することができ、基準面５３０上で第２の２次元カメラが位置する地点５３５と第２仮想の地点をつなぐ第２仮想の直線５３６の周辺に該当する領域５３８を第２候補対象領域として特定することができる。ここで、本発明の他の実施例によると、基準面５３０上で特定される第２基準線は、第２の２次元イメージ５２０内で予め設定される基準線５２４と平行な直線または客体表示デバイスの横軸に対応する直線であり得る。

【0057】

引き続き、図５の（ｃ）を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、基準面３００上で第１候補対象領域５３４と第２候補対象領域５３８が互いに共通する領域５３９を制御対象領域として決定することができ、ひいては、客体表示デバイス上に表示される客体のうち、制御対象領域５３９に位置する客体を使用者によって制御（または選択）される客体として決定することができる。

【0058】

すなわち、本発明の他の実施例によると、二つ以上の２次元カメラからそれぞれ獲得される二つ以上の２次元イメージを利用することによって、使用者の制御意図をより正確かつ精密に認識できることになる。

【0059】

図６は、本発明の他の実施例により二つ以上の２次元カメラからそれぞれ獲得される二つ以上の２次元イメージを利用して、使用者によって意図された制御対象領域を決定する状況を例示的に示す図面である。

【0060】

図６を参照すると、本発明の他の実施例に係る客体制御支援システム１００は、モバイルデバイス６００に備えられた二つ以上の２次元カメラ６０１、６０２を通じてそれぞれ獲得される二つ以上の２次元イメージから得られる情報を利用して、モバイルデバイス６００の表示画面上に表示されているアイコン６０３、モバイルデバイス６００の表示画面上に表示されている電子地図内の特定地点６０４、モバイルデバイス６００の表示画面の外の任意の地点６０５等を使用者によって意図される制御対象領域であると決定することができる。

【0061】

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知になっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。

【0062】

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更を試みることができる。

【0063】

したがって、本発明の思想は前述した実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想範疇に属するものと言える。

【符号の説明】

【0064】

１００：客体制御支援システム
１１０：イメージ獲得部
１２０：制御対象領域決定部
１３０：通信部
１４０：制御部

【図1】

【図2】

【図3】

【図4】

【図5(a)】

【図5(b)】

【図5(c)】

【図6(a)】

【図6(b)】

【図6(c)】