特許7094280客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-23
(45)【発行日】2022-07-01
(54)【発明の名称】客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
G06F 3/01 20060101AFI20220624BHJP
【ＦＩ】
G06F3/01 570
【請求項の数】
7
(21)【出願番号】P 2019521658
(86)(22)【出願日】2017-10-24
(65)【公表番号】
(43)【公表日】2019-12-12
(86)【国際出願番号】 KR2017011788
(87)【国際公開番号】W WO2018080142
(87)【国際公開日】2018-05-03
【審査請求日】2019-06-14
【審判番号】
【審判請求日】2021-06-04
(31)【優先権主張番号】10-2016-0138662
(32)【優先日】2016-10-24
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】517434622
【氏名又は名称】ブイタッチ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100112737
【弁理士】
【氏名又は名称】藤田 考晴
(74)【代理人】
【識別番号】100136168
【弁理士】
【氏名又は名称】川上 美紀
(74)【代理人】
【識別番号】100196117
【弁理士】
【氏名又は名称】河合 利恵
(72)【発明者】
【氏名】ソク ジョン キム
【合議体】
【審判長】稲葉 和生
【審判官】林 毅
【審判官】富澤 哲生
(56)【参考文献】
【文献】米国特許出願公開第２０１４／０１８４４９９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G06F3/01
(57)【特許請求の範囲】
【請求項1】
客体の制御を支援するための方法であって、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定する段階、
前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定する段階、
対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行する段階、および
前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する段階を含み、
前記対象客体基準座標系は、基準点により定義される０次元対象客体基準座標系、基準線により定義される１次元対象客体基準座標系、基準領域により定義される２次元対象客体基準座標系、及び、基準空間により定義される３次元対象客体基準座標系を含み、前記対象客体に加えられ得るジェスチャーまたは操作に関連した属性に応じて、前記基準点、前記基準線、前記基準領域及び前記基準空間のいずれか１つが選択的に設定され、設定された前記基準点、前記基準線、前記基準領域又は前記基準空間により、前記０次元対象客体基準座標系、前記１次元対象客体基準座標系、前記２次元対象客体基準座標系、及び前記３次元対象客体基準座標系のいずれか１つが前記対象客体に対して選択的に定義され、
前記制御座標は、前記制御ベクターと前記基準点、前記基準線、前記基準領域または前記基準空間の間の関係に基づいて特定される方法。
【請求項2】
前記制御ベクターは、前記使用者の目の位置を始点とし、前記使用者の他の身体部位の位置を終点とするベクターである、請求項１に記載の方法。
【請求項3】
前記制御ベクターは、前記操作の対象となるベクター制御手段の姿勢または前記ベクター制御手段によって発生する制御信号の方向に基づいて特定されるベクターである、請求項１に記載の方法。
【請求項4】
前記客体は、前記使用者の周辺に存在する実物客体であるか仮想客体である、請求項１に記載の方法。
【請求項5】
前記対象客体決定段階において、前記使用者および前記客体に関する空間情報を参照して、前記実世界の座標系で前記制御ベクターまたは前記制御ベクターの延長線と交差するか最も近接する客体を前記対象客体として決定する、請求項１に記載の方法。
【請求項6】
請求項１に記載された方法を遂行するためのコンピュータプログラムを記録した，非一過性のコンピュータ読み取り可能な記録媒体。
【請求項7】
客体の制御を支援するためのシステムであって、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定し、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行し、前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する客体制御管理部と、
前記使用者および前記客体に関する空間情報を保存する空間情報管理部とを含み、
前記対象客体基準座標系は、基準点により定義される０次元対象客体基準座標系、基準線により定義される１次元対象客体基準座標系、基準領域により定義される２次元対象客体基準座標系、及び、基準空間により定義される３次元対象客体基準座標系を含み、前記対象客体に加えられ得るジェスチャーまたは操作に関連した属性に応じて、前記基準点、前記基準線、前記基準領域及び前記基準空間のいずれか１つが選択的に設定され、設定された前記基準点、前記基準線、前記基準領域又は前記基準空間により、前記０次元対象客体基準座標系、前記１次元対象客体基準座標系、前記２次元対象客体基準座標系、及び前記３次元対象客体基準座標系のいずれか１つが前記対象客体に対して選択的に定義され、
前記制御座標は、前記制御ベクターと前記基準点、前記基準線、前記基準領域または前記基準空間の間の関係に基づいて特定されるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
最近、使用者が家電デバイスのような現実の客体やアバターのような仮想客体を、ジェスチャー（ｇｅｓｔｕｒｅ）に基づいて制御できるように支援する技術が紹介されている。
【0003】
特に、最近では、拡張現実（ＡＲ；Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や仮想現実（ＶＲ；Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に関する関心が高まり、関連技術分野の研究開発が活発に行われるにつれて、使用者が実際の現実または仮想の現実に存在する相互に作用可能な客体を円滑に制御できるように支援する技術に対する要求が増えているのが実情である。
【0004】
従来には、使用者やシステムによってあらかじめ指定された対象客体についてのみ使用者の制御命令が伝達されるようにする技術と、使用者がマウスカーソルなどのポインタで対象客体を指示したり、対象客体の名前を別途に話す（例えば、「リビングルームの照明を消して」、「３０１号のエアコンの温度を下げてください」等）等の明示的な行為をすることによって、対象客体に対して使用者の制御命令が伝達されるようにする技術が紹介されたところがある。
【0005】
しかし、前記のような従来技術によると、使用者があらかじめ定められた客体以外の他の客体を制御できなくなったり、客体を制御するたびに制御の対象となる客体を非常に具体的に直接特定しなければならない不都合な点があるため、実際的な使用環境において柔軟性が少なく、利便性が悪いという限界が存在する。
【0006】
特に、オフィスや住宅のような室内空間には多様な種類の客体（例えば、家電デバイス、家具など）が存在するのが一般的であるが、これらの客体は大きさ、機能などの属性が互いに異なるため、客体を制御する方式も該当客体の属性に応じて適応的に設定される必要がある。例えば、照明をつけたり消すことは照明の電源スイッチを押したり回すジェスチャーによって制御され得、窓を開いたり閉じることは窓を上下側向または左右方向にスライディングするジェスチャーによって制御され得る。しかし、従来に紹介された技術によると、客体の属性が反映されていない画一的な制御方式を通じてのみ客体が制御され得るだけであるため、多様な種類の客体を効果的に制御し難いという限界が存在する。
【0007】
そこで、本発明者は、使用者が自分の身体部位や所定のベクター制御手段を利用して直観的に行うジェスチャーまたは操作に応じて、実世界の座標系で特定される制御ベクターを該当客体の属性により定義される客体基準座標系上の制御座標とマッピング（ｍａｐｐｉｎｇ）させることによって、使用者が直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確に制御できるようにする技術を提案するところである。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は前述した問題点をすべて解決することをその目的とする。
【0009】
また、本発明は、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定し、制御ベクターによって指示される客体を使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行し、マッピングによって特定される制御座標を参照して対象客体に対して適用される制御命令を決定することによって、使用者が制御ベクターを生成（または特定）するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようにする方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【課題を解決するための手段】
【0010】
前記目的を達成するための本発明の代表的な構成は次の通りである。
【0011】
本発明の一態様によると、客体の制御を支援するための方法であって、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定する段階、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定する段階、前記対象客体の属性に基づいて定義される対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行する段階、および前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する段階、を含む方法が提供される。
【0012】
本発明の他の態様によると、客体の制御を支援するためのシステムであって、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定し、前記制御ベクターによって指示される客体を前記使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、前記対象客体の属性に基づいて定義される対象客体基準座標系で前記制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行し、前記マッピングによって特定される制御座標を参照して前記対象客体に対して適用される制御命令を決定する客体制御管理部、および前記使用者および前記客体に関する空間情報を保存する空間情報管理部を含むシステムが提供される。
【0013】
その他、本発明を具現するための他の方法、システムおよび前記方法を遂行するためのコンピュータプログラムを記録するための非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
【発明の効果】
【0014】
本発明によると、使用者が自分の身体部位または所定のベクター制御手段を利用して直観的に行うジェスチャーまたは操作により実世界の座標系で特定される制御ベクターを、該当客体の属性により定義される客体基準座標系上の制御座標とマッピング（ｍａｐｐｉｎｇ）させることによって、使用者が制御ベクターを生成（または特定）するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようになる効果が達成される。
【0015】
また、本発明によると、使用者が自分の視点から見る時、自分の指先に重なって見える客体を対象客体として決定できるため、有効領域（すなわち、制御可能領域）に関する制限がなく、使用者が目で見ることができる領域に存在するすべての客体を制御できるようになる効果が達成される。
【0016】
また、本発明によると、使用者が自分が操作できるベクター制御手段によって指示される客体を対象客体として決定できるため、有効領域（すなわち、制御可能領域）に関する制限がなく、使用者がベクター制御手段によって指示できるものと直観的に予測（または見計らい）できる領域に存在するすべての客体を制御できるようになる効果が達成される。
【0017】
また、本発明によると、制御の対象となる対象客体を決定する過程と対象客体に対して適用される制御命令を決定する過程が共に遂行されるため、制御の対象となる客体が変更（すなわち、第１客体から第２客体への転換）される場合に、対象客体および制御命令のうちいずれか一つのみを切り離して変更する必要がなくなり、その結果、利便性が向上する効果が達成される。
【0018】
また、本発明によると、制御の対象となる対象客体を決定する過程と対象客体に対して適用される制御命令を決定する過程が共に遂行されるため、使用者が意図していないにもかかわらず、該当客体が所定の動作（すなわち、誤動作）を遂行するようになる場合が発生する可能性を顕著に低下させるようになる効果が達成される。
【図面の簡単な説明】
【0019】
【図1】本発明の一実施例により客体の制御を支援するための全体システムの構成を例示的に示す図面。
【図2】本発明の一実施例により客体の制御支援システムの内部構成を例示的に示す図面。
【図3】本発明の一実施例により対象空間内に制御可能な多様な客体が存在する状況を例示的に示す図面。
【図4】本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。
【図5】本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。
【図6】本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。
【図7】本発明の一実施例により実世界の座標系の制御ベクターと対象客体基準座標系の制御座標をマッピングする構成を例示的に示す図面。
【図8】本発明の一実施例により使用者がベクター制御手段を利用して行う操作により制御ベクターが特定される構成を例示的に示す図面。
【図9】本発明の一実施例により使用者がベクター制御手段を利用して行う操作により制御ベクターが特定される構成を例示的に示す図面。
【発明を実施するための形態】
【0020】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は当業者が本発明を実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造および特性は、一実施例に関連して本発明の精神および範囲を逸脱することなく他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置または配置は、本発明の精神および範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味のものではなく、本発明の範囲は、適切に説明されるのであれば、その請求項が主張するものと均等なすべての範囲とともに添付された請求項によってのみ限定される。図面で類似の参照符号は多様な側面にかけて同一または類似する機能を指し示す。
【0021】
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明する。
【0022】
全体システムの構成
【0023】
図１は、本発明の一実施例により客体の制御を支援するための全体システムの構成を例示的に示す図面である。
【0024】
図１に図示された通り、本発明の一実施例に係る全体システムは、通信網１００、客体制御支援システム２００および客体３００を含んで構成され得る。
【0025】
まず、本発明の一実施例に係る通信網１００は有線通信や無線通信のような通信の形態を問わずに構成され得、近距離通信網（ＬＡＮ；Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の多様な通信網で構成され得る。好ましくは、本明細書で言う通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網１００はこれに限定される必要はなく、公知の有無線データ通信網、公知の電話網または公知の有無線テレビ通信網を、その少なくとも一部において含んでもよい。
【0026】
例えば、通信網１００は無線データ通信網であって、無線周波数（ＲＦ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）通信、Ｗｉ－Ｆｉ（ＷｉＦｉ）通信、セルラー（ＬＴＥなど）通信、ブルートゥース（登録商標）（通信さらに具体的には、低電力ブルートゥース（登録商標）（ＢＬＥ；Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ））、赤外線通信、超音波通信などのような従来の通信方法を、少なくともその一部分において具現するものであり得る。他の例として、通信網１００は光通信網であって、ライパイ（ＬｉＦｉ（Ｌｉｇｈｔ Ｆｉｄｅｌｉｔｙ））通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。
【0027】
次いで、本発明の一実施例に係る客体の制御支援システム２００は、メモリー手段を具備し、マイクロ・プロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような客体の制御支援システム２００はサーバーシステムであり得る。
【0028】
このために、客体の制御支援システム２００は、下記で詳述されるように、使用者が行うジェスチャーまたは操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定し、制御ベクターによって指示される客体を使用者が行うジェスチャーまたは操作によって制御される対象客体として決定し、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行し、マッピングによって特定される制御座標を参照して対象客体に対して適用される制御命令を決定することによって、使用者が制御ベクターを生成（または特定）するための直観的なジェスチャーまたは操作を行うだけで、多様な客体を正確かつ便利に制御できるようにする機能を遂行することができる。客体の制御支援システム２００の機能については下記でより詳察することにする。
【0029】
一方、客体の制御支援システム２００について前記のように説明したが、このような説明は例示的なものであり、客体の制御支援システム２００に要求される機能や構成要素の少なくとも一部が必要に応じて制御の対象となる客体３００（すなわち、デバイス）または外部システム（図示されず）内で実現されたり、客体３００または外部システム（図示されず）内に含まれてもよいことは、当業者に自明である。
【0030】
次いで、本発明の一実施例によると、客体３００は使用者のジェスチャーまたは操作によって制御され得る対象としての機能を遂行することができる。すなわち、本発明の一実施例によると、客体３００は客体の制御支援システム２００、他の客体３００または外部システム（図示されず）から使用者のジェスチャーまたは操作による制御命令を受信し、前記受信される制御命令により自分の動作または機能が制御されるようにすることができる。本発明の一実施例によると、客体３００は実世界に存在する実物客体であり得、仮想現実に存在するか実世界に対して拡張（ａｕｇｍｅｎｔｅｄ）、混合（ｍｉｘｅｄ）または融合（ｍｅｒｇｅｄ）され得る仮想客体であり得る。
【0031】
具体的には、本発明の一実施例に係る客体３００は、客体の制御支援システム２００、他の客体３００または外部システム（図示されず）に接続してから通信できる機能を含むデバイスであり得、メモリー手段を具備し、マイクロ・プロセッサを搭載して演算能力を備えたデバイスであればいくらでも本発明に係る客体３００として採択され得る。具体的には、本発明の一実施例によると、客体３００はスマートグラス、スマートウォッチ、スマートバンド、スマートリング、ネックレスなどのようなウェアラブルデバイスやスマートフォン、スマートパッド、デスクトップコンピュータ、ノートパソコン、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機などのような少々伝統的なデバイスであり得る。また、本発明の一実施例によると、客体３００は、ＴＶ、スピーカー、電灯、エアコン、加湿器、タンス、窓、ブラインドなどのようなＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイスであり得る。
【0032】
また、本発明の一実施例に係る客体３００は、客体の制御支援システム２００、他の客体３００または外部システム（図示されず）と通信できる機能が備えられていないかメモリー手段またはマイクロ・プロセッサが備えられていないまま、実世界で所定の物理的な位置を有する一般的な事物でもよい。例えば、温度計、写真、絵、人形、鏡のような一般的な事物が本発明の一実施例に係る客体３００として採択され得る。
【0033】
一方、本発明の一実施例によると、デバイスである客体３００には本発明に係る機能を遂行するためのアプリケーションプログラムがさらに含まれていてもよい。このようなアプリケーションは該当デバイス内でプログラムモジュールの形態で存在し得る。このようなプログラムモジュールの性格は、前述したような客体の制御支援システム２００の空間情報管理部２１０および客体制御管理部２２０と全般的に類似し得る。ここで、アプリケーションはその少なくとも一部が、必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置に置換されてもよい。
【0034】
客体の制御支援システムの構成
【0035】
以下では、本発明の具現のために重要な機能を遂行する客体の制御支援システム２００の内部構成および各構成要素の機能について詳察する。
【0036】
図２は、本発明の一実施例に係る客体の制御支援システムの内部構成を例示的に示す図面である。
【0037】
図２を参照すると、本発明の一実施例に係る客体制御支援システム２００は、空間情報管理部２１０、客体制御管理部２２０、データベース２３０、通信部２４０および制御部２５０を含むことができる。本発明の一実施例によると、空間情報管理部２１０、客体制御管理部２２０、データベース２３０、通信部２４０および制御部２５０は、そのうち少なくとも一部が外部システム（図示されず）と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、アプリケーションモジュールおよびその他プログラムモジュールの形態で客体の制御支援システム２００に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは客体の制御支援システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは、本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。
【0038】
一方、客体の制御支援システム２００について前記のように説明したが、このような説明は例示的なものであって、客体の制御支援システム２００の構成要素または機能のうち少なくとも一部が、必要に応じて制御の対象となる客体３００（例えば、ＩｏＴデバイスなど）または外部システム（図示されず）内で具現されたり、客体３００または外部システム（図示されず）内に含まれてもよいことは、当業者に自明である。場合によっては、客体の制御支援システム２００のすべての機能とすべての構成要素が客体３００または外部システム（図示されず）内で全部実行されるか客体３００または外部システム（図示されず）内に全部含まれてもよい。
【0039】
まず、本発明の一実施例によると、空間情報管理部２１０は、使用者が所定のジェスチャーまたは操作を行うことによって周辺空間（以下、「対象空間」という）に存在する多様な客体を制御するために必要な空間情報を獲得する機能を遂行することができる。
【0040】
具体的には、本発明の一実施例に係る空間情報管理部２１０は、対象空間に存在する少なくとも一つの使用者および客体を識別するために必要な情報を獲得することができる。例えば、使用者の識別子、優位眼などに関する情報と客体の識別子、属性、動作状態、通信手段などに関する情報が獲得され得る。
【0041】
また、本発明の一実施例に係る空間情報管理部２１０は、対象空間に存在する少なくとも一つの使用者および客体の位置および姿勢を特定するために必要な情報を獲得することができる。例えば、対象空間を基準として定義される実世界（ｒｅａｌ ｗｏｒｌｄ）座標系で特定される使用者（より具体的には、使用者の優位眼および使用者が客体に重なって見えるようにする身体部位）の位置および姿勢に関する情報と実世界の座標系で特定される客体３００の位置および姿勢に関する情報が獲得され得る。
【0042】
一方、本発明の一実施例によると、前記のように獲得される空間情報は、所定の時間を周期としてリアルタイムに更新されるか、使用者または客体３００の位置または姿勢が変化するなどのイベントが発生することによって動的に更新され得る。
【0043】
図３は、本発明の一実施例により対象空間内に制御可能な多様な客体が存在する状況を例示的に示す図面である。
【0044】
図３を参照すると、本発明の一実施例に係る空間情報管理部２１０は、使用者が対象空間３５０内に存在する客体を特定するか客体の動作または機能を制御するためにジェスチャーまたは操作を行うにおいて、基準とすることができる０次元の点、１次元の線、２次元領域または３次元空間を該当客体の属性を参照して設定することができる。例えば、ボタンを押したりダイヤルを回す操作が加えられる属性を有する照明３０１、３０６、スピーカー３０４、３０５、鏡３０２、加湿器３０３、エアコン３０７等の客体については基準点３０１Ａ～３０７Ａが設定され得、上下または左右方向にスライディングする操作が加えられる属性を有するブラインド３０８、タンス３０９、窓３１０等の客体については基準線３０８Ａ～３１０Ａが設定され得、２次元画面についての操作が加えられる属性を有するＴＶ３１１等の客体については２次元基準領域３１１Ａが設定され得、３次元空間を基準として操作が加えられる属性を有する拡張現実客体３１２等の客体については３次元基準空間３１２Ａが設定され得る。
【0045】
一方、本発明の一実施例に係る空間情報管理部２１０は、客体の属性を参照して客体基準座標系を定義することができる。例えば、ボタンを押したりダイヤルを回す操作が加えられる属性を有する照明３０１、３０６、スピーカー３０４、３０５、鏡３０２、加湿器３０３、エアコン３０７等の客体については、該当客体の基準点３０１Ａ～３０７Ａを原点とする０次元の客体基準座標系が定義され得る。他の例として、上下または左右方向にスライディングする操作が加えられる属性を有するブラインド３０８、タンス３０９、窓３１０等の客体については、該当客体の基準線３０８Ａ～３１０Ａを軸とする１次元の客体基準座標系が定義され得る。さらに他の例として、２次元画面について、点、線または領域を特定する操作が加えられる属性を有するＴＶ３１１等の客体については、該当客体の２次元基準領域３１１Ａに対応する２次元客体基準座標系が定義され得る。さらに他の例として、所定の３次元空間を基準として操作が加えられる属性を有する拡張現実客体３１２等の客体については、該当客体の３次元基準空間３１２Ａに対応する３次元客体基準座標系が定義され得る。
【0046】
次いで、本発明の一実施例に係る客体制御管理部２２０は、使用者が自分の視点から見る時、自分の指先などの身体部位を自分が制御しようとする対象客体と対応させる（すなわち、重なって見えるようにする）動作を行うことによって自分が制御しようとする対象客体を特定できるようにすることができる。
【0047】
また、本発明の一実施例に係る客体制御管理部２２０は、使用者が対象客体と重なって見えるようにしている指先などの身体部位を利用して対象客体の属性に符合するジェスチャーを行ったり、リモコン、レーザーポインタなどのベクター制御手段を利用して客体の属性に符合する操作を行うことによって対象客体の動作または機能を制御できるようにすることができる。
【0048】
以下では、本発明の一実施例に係る客体制御管理部２２０の動作について詳察する。
【0049】
まず、本発明の一実施例によると、客体制御管理部２２０は、使用者が行うジェスチャーに対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定することができる。ここで、本発明の一実施例によると、使用者が自分の視点から見る時、自分の指先を自分が制御しようとする客体と重なって見えるようにするジェスチャーを取る場合に、前記ジェスチャーに対応する制御ベクターは使用者の目（より正確には、優位眼）の位置を始点とし、使用者の指先の位置を終点とするベクターとして特定され得る。
【0050】
また、本発明の一実施例によると、客体制御管理部２２０は、使用者が行う操作に対応する制御ベクター（ｖｅｃｔｏｒ）を実世界の座標系で特定することができる。ここで、本発明の一実施例によると、使用者がリモコン、レーザーポインタなどのベクター制御手段を利用して自分が制御しようとする客体を指示する操作を行う場合に、前記のジェスチャーに対応する制御ベクターは使用者操作の対象となるベクター制御手段の姿勢またはベクター制御手段によって発生する制御信号の方向に基づいて特定され得る。例えば、本発明の一実施例に係る制御ベクターは、ベクター制御手段の姿勢を特定するベクター制御手段上の二点を連結するベクターであり得、ベクター制御手段の姿勢を定義する軸に該当するベクターであり得、ベクター制御手段によって発生する指示信号（レーザーポインタのレーザー信号、リモコンの赤外線（ＩＲ）信号など）の方向に該当するベクターであり得、ベクター制御手段で指示信号を発生させる信号発生部の位置に該当する点とベクター制御手段上の所定の基準点（信号発生部の反対側に位置し得る）を連結するベクターであり得る。
【0051】
次いで、本発明の一実施例によると、客体制御管理部２２０は、対象空間内で使用者のジェスチャーまたは操作に対応して特定される制御ベクターによって指示される客体を、該当使用者のジェスチャーまたは操作により制御される対象客体として決定することができる。
【0052】
具体的には、本発明の一実施例に係る客体制御管理部２２０は、使用者および客体に関する空間情報を参照して、対象空間内で制御ベクターによって指示される客体を対象客体として決定することができる。より具体的には、本発明の一実施例に係る客体制御管理部２２０は、対象空間内で制御ベクターまたは制御ベクターの延長線と交差するか近接する客体を対象客体として決定することができる。換言すれば、本発明の一実施例によると、対象客体が制御ベクターまたは制御ベクターの延長線と必ずしも交差する必要はなく、制御ベクターと制御ベクターの始点から客体の基準点への基準ベクターの間の角（すなわち、誤差角）が既設定された水準以下である場合にも、該当客体を制御ベクターによって指示される客体（すなわち、対象客体）であるものとして決定することができる。
【0053】
次いで、本発明の一実施例によると、客体制御管理部２２０は、対象客体の属性に基づいて定義される対象客体基準座標系で制御ベクターの大きさまたは方向に対応する制御座標を特定するマッピング（ｍａｐｐｉｎｇ）を遂行できる。
【0054】
次いで、本発明の一実施例によると、客体制御管理部２２０は、前記マッピングによって特定される制御座標の値を参照して対象客体に対して適用される制御命令を決定することができる。
【0055】
【0056】
まず、図４を参照すると、使用者のジェスチャーによりエアコン３０７の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部２２０は、使用者の目（すなわち、優位眼）４１０の位置を始点とし、使用者の指先４２０の位置を終点とする制御ベクター４３０（または制御ベクターの４３０の延長線）によって指示されるエアコン３０７を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター４３０がエアコン３０７の基準点３０７Ａを正確に示さなくても、制御ベクター４３０が制御ベクター４３０の始点４１０からエアコン３０７の基準点３０７Ａへの基準ベクター（図示されず）と対比して許容される誤差範囲４６０（すなわち、誤差角度範囲）内に含まれると、エアコン３０７を制御ベクター４３０によって指示される対象客体であるものとして決定することができる。
【0057】
続けて、図４を参照すると、本発明の一実施例に係る客体制御管理部２２０は、対象客体であるエアコン３０７の属性に基づいて定義される０次元のエアコンの基準座標系において、制御ベクター４３０の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター４３０の大きさ（以下、「大きさ」という）およびエアコン３０７の基準点３０７Ａを中心とした制御ベクター４３０の回転角４７０（以下、「回転角」という）によって特定され得る。
【0058】
続けて、図４を参照すると、本発明の一実施例に係る客体制御管理部２２０は、前記特定される制御座標を参照してエアコン３０７に対して適用される制御命令を決定することができる。
【0059】
例えば、使用者が自分の視点から見る時、自分の指先４２０をエアコン３０７の基準点３０７Ａに対応させた状態でエアコン３０７に近い方向に指先を移動させるジェスチャーを行うことによって実世界の座標系で制御ベクター４３０が特定されると、前記制御ベクター４３０がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値が決定され得、前記決定される制御座標の大きさ値に基づいてエアコンの電源がオンとなるかオフとなり得る。
【0060】
他の例として、使用者が自分の視点から見る時、自分の指先４２０がエアコン３０７の基準点３０７Ａを中心として時計回り方向または反時計回り方向に回転させるジェスチャーを行うことによって実世界の座標系で制御ベクターが特定されると、前記制御ベクター４３０がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の回転角値が決定され得、前記決定される制御座標の回転角値に基づいてエアコン３０７の設定温度または風量が調節され得る。
【0061】
さらに他の例として、使用者が自分の視点から見る時、自分の指先４２０をエアコン３０７の基準点３０７Ａの右側領域（例えば、誤差角が３～６度で回転角が４５～１３５度である領域など）に対応させた状態でエアコン３０７の基準点３０７Ａの右側方向に指先を移動させるジェスチャー（すなわち、エアコン３０７の右側領域をタブするジェスチャー（Ｒｉｇｈｔ Ｔａｂ））を行うことによって実世界の座標系で制御ベクター４３０が特定されると、前記制御ベクター４３０がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン３０７の風量が調節され得る。
【0062】
さらに他の例として、使用者が自分の視点から見る時、自分の指先４２０がエアコン３０７の基準点３０７Ａを基準として下側領域（例えば、誤差角が３～６度で回転角が１３５～２２５度である領域など）から上側領域（例えば、誤差角が３～６度で回転角３１５～４５度である領域など）に移動するジェスチャー（すなわち、エアコン３０７を下から上へ払いのけるジェスチャー（Ｓｗｉｐｅ））を行うことによって実世界の座標系で制御ベクター４３０が特定されると、前記制御ベクター４３０がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン３０７の風向きが調節され得る。
【0063】
さらに他の例として、使用者が自分の視点から見る時、自分の指先４２０がエアコン３０７の基準点３０７Ａを基準として右側領域（例えば、誤差角が３～６度で回転角が１３５～２２５度である領域など）から中心領域（例えば、誤差角が０～３度である領域）に移動するジェスチャー（すなわち、エアコン３０７の右側面をタブするジェスチャー（Ｒｉｇｈｔ－ｓｉｄｅ Ｔａｂ））を行うことによって実世界の座標系で制御ベクター４３０が特定されると、前記制御ベクター４３０がエアコンの基準座標系上の制御座標にマッピングされることによって制御座標の大きさ値および回転角値が決定され得、前記決定される制御座標の大きさ値および回転角値に基づいてエアコン３０７の動作モードが変更され得る。
【0064】
次いで、図５を参照すると、使用者のジェスチャーによりブラインド３０８の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部２２０は、使用者の目（すなわち、優位眼）５１０の位置を始点とし、使用者の指先５２１、５２２の位置を終点とする制御ベクター５３１、５３２（または制御ベクターの５３１、５３２の延長線）によって指示されるブラインド３０８を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター５３１、５３２がブラインド３０８の基準線３０８Ａを正確に示さなくても、制御ベクター５３１、５３２が制御ベクター５３１、５３２の始点５１０からブラインド３０８の基準線３０８Ａへの基準ベクター（図示されず）と対比して許容される誤差範囲（すなわち、誤差角度範囲）内に含まれると、ブラインド３０８を制御ベクター５３１、５３２によって指示される対象客体であるものとして決定することができる。
【0065】
続けて、図５を参照すると、本発明の一実施例に係る客体制御管理部２２０は、対象客体であるブラインド３０８の属性に基づいて定義される１次元のブラインド基準座標系で、制御ベクター５３１、５３２の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター５３１、５３２の大きさおよび制御ベクター５３１、５３２がブラインド３０８の基準線３０８Ａと会うか最も近接する地点の１次元座標によって特定され得る。
【0066】
続けて、図５を参照すると、本発明の一実施例に係る客体制御管理部２２０は、前記特定される制御座標を参照してブラインド３０８に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先５２１、５２２がブラインド３０８の基準線３０８Ａに対応されて見える地点が相対的に上側に存在する地点５４１から相対的に下側に存在する地点５４２に移動するようにするジェスチャーを行うことによって実世界の座標系で制御ベクター５３１、５３２の方向が変化するようになると、前記制御ベクター５３１、５３２がブラインド基準座標系上の制御座標にマッピングされることによって制御座標の１次元座標値が変化され得、前記変化する１次元座標値に基づいてブラインド３０８が上がったり降りたりする動作または機能が遂行され得る。
【0067】
次いで、図６を参照すると、使用者のジェスチャーによりＴＶ３１１の動作または機能が制御される場合を仮定することができる。このような場合に、本発明の一実施例に係る客体制御管理部２２０は、使用者の目（すなわち、優位眼）６１０の位置を始点とし、使用者の指先６２０の位置を終点とする制御ベクター６３０（または制御ベクターの６３０の延長線）によって指示されるＴＶ３１１を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター６３０がＴＶ３１１の基準領域３１１Ａを正確に示さなくても、制御ベクター６３０が制御ベクター６３０の始点６１０からＴＶ３１１の基準領域３１１Ａへの基準ベクター（図示されず）と対比して許容される誤差範囲（すなわち、誤差角度範囲）内に含まれると、ＴＶ３１１を制御ベクター６３０によって指示される対象客体であるものとして決定することができる。
【0068】
続けて、図６を参照すると、本発明の一実施例に係る客体制御管理部２２０は、対象客体であるＴＶ３１１の属性に基づいて定義される２次元のＴＶ基準座標系で、制御ベクター６３０の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター６３０の大きさおよび制御ベクター６３０がＴＶ３１１の基準領域３１１Ａと会うか最も近接する地点の２次元座標によって特定され得る。
【0069】
続けて、図６を参照すると、本発明の一実施例に係る客体制御管理部２２０は、前記特定される制御座標を参照してＴＶ３１１に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先６２０がＴＶ３１１の基準領域３１１Ａ内の左側上の上端付近のある地点６４０に対応されるようにするジェスチャーを行うことによって実世界の座標系で制御ベクター６３０の方向が特定されると、前記制御ベクター６３０がＴＶ基準座標系上の制御座標にマッピングされることによって制御座標の２次元座標値が特定され得、前記特定される２次元座標値に基づいてＴＶ３１１の表示画面のうち前記特定される２次元座標値に対応するピクセルに表示されるグラフィック要素が選択される動作または機能が遂行され得る。
【0070】
次いで、図７を参照すると、使用者のジェスチャーにより人形に対する拡張現実客体３１２（すなわち、仮想客体）の動作または機能が制御される場合を仮定することができる。ここで、拡張現実客体３１２に関する視覚的な情報は、スマートフォン、タブレット、スマートグラス、プロジェクターなどのデバイスを通じて使用者に提供され得ることを明かしておく。このような場合に、本発明の一実施例に係る客体制御管理部２２０は、使用者の目（すなわち、優位眼）７１０の位置を始点とし、使用者の指先７２１、７２２、７２３の位置を終点とする制御ベクター７３１、７３２、７３３（または制御ベクターの７３１、７３２、７３３の延長線）によって指示される拡張現実客体３１２を、使用者のジェスチャーにより制御される対象客体であるものとして決定することができる。ここで、本発明の一実施例によると、制御ベクター７３１、７３２、７３３が拡張現実客体３１２の基準空間３１２Ａを正確に示さなくても、制御ベクター７３１、７３２、７３３が制御ベクター７３１、７３２、７３３の始点７１０から拡張現実客体３１２の基準空間３１２Ａへの基準ベクター（図示されず）と対比して許容される誤差範囲（すなわち、誤差角度範囲）内に含まれると、拡張現実客体３１２を制御ベクター７３１、７３２、７３３によって指示される対象客体であるものとして決定することができる。
【0071】
続けて、図７を参照すると、本発明の一実施例に係る客体制御管理部２２０は、対象客体である拡張現実客体３１２の属性に基づいて定義される３次元の拡張現実客体基準座標系で、制御ベクター７３１、７３２、７３３の大きさまたは方向に対応する制御座標を特定するマッピングを遂行できる。例えば、制御座標は、制御ベクター７３１、７３２、７３３の大きさおよび制御ベクター７３１、７３２、７３３が拡張現実客体３１２の基準空間３０８Ａと会うか最も近接した地点の３次元座標によって特定され得る。
【0072】
続けて、図７を参照すると、本発明の一実施例に係る客体制御管理部２２０は、前記特定される制御座標を参照して人形に対する拡張現実客体３１２に対して適用される制御命令を決定することができる。例えば、使用者が自分の視点から見る時、自分の指先７２１、７２２、７２３が拡張現実客体３１２の基準空間３１２Ａに対応されて見える地点がそれぞれ拡張現実客体３１２の耳部分７４１、顔部分７４２および足部分７４３となるようにするジェスチャーを行うことによって実世界の座標系で制御ベクター７３１、７３２、７３３の方向がそれぞれ特定されると、前記制御ベクター７３１、７３２、７３３が拡張現実客体基準座標系上の制御座標にマッピングされることによって制御座標の３次元座標値がそれぞれ特定され得、前記それぞれ特定される３次元座標値に基づいて拡張現実客体３１２の耳部分７４１、顔部分７４２および足部分７４３がそれぞれ選択される動作または機能が遂行され得る。
【0073】
図４～図７において、使用者が行うジェスチャーに基づいて客体が制御される実施例について主に説明されたが、本発明は必ずしも図４～図７に例示された実施例に限定されるものではなく、本発明の目的を達成できる範囲内でいくらでも変更できることを明しておく。
【0074】
他の例として、使用者がリモコン、レーザーポインタなどのベクター制御手段を利用して行う操作に対応する制御ベクターを特定し、前記特定される制御ベクターによって指示される対象客体を決定し、前記決定される対象客体の基準座標系で制御ベクターに対応する制御座標を特定するマッピングを遂行し、前記特定される制御座標を参照して対象客体に対して適用される制御命令を決定する実施例もいくらでも想定できるであろう。
【0075】
【0076】
図８および図９を参照すると、ベクター制御手段８００、９００で制御信号（リモコン８００の赤外線信号またはレーザーポインタ９００のレーザー信号）を発生させる信号発生部の位置に該当する点８２０、９２０とベクター制御手段８００、９００で信号発生部の反対側に位置する所定の基準点８１０、９１０を連結するベクターが制御ベクター８３０、９３０として特定され得る。
【0077】
続けて、図８および図９を参照すると、前記のように特定される制御ベクター８３０、９３０または制御ベクターの延長線８４０、９４０によって指示される客体であるエアコン３０７が使用者の操作により制御される対象客体であるものとして決定され得る。
【0078】
一方、本発明の一実施例によると、データベース２３０には、本発明に係る客体の制御が遂行される空間内に存在する使用者および客体に関する多様な空間情報が保存され得、客体の制御を遂行するにおいて導き出される制御ベクター、制御座標および制御命令に関する多様な情報が保存され得る。たとえば図２でデータベース２３０が客体制御支援システム２００に含まれて構成されるものとして図示されているが、本発明を具現する当業者の必要に応じて、データベース２３０は客体制御支援システム２００と別個に構成されてもよい。一方、本発明でのデータベース２３０は、コンピュータ読み取り可能な記録媒体を含む概念であって、狭義のデータベースだけでなくファイルシステムに基づいたデータ記録などを含む広義のデータベースでもよく、単なるログの集合であってもこれを検索してデータを抽出できるものであれば本発明でのデータベース２３０となり得る。
【0079】
次いで、本発明の一実施例に係る通信部２４０は客体制御支援システム２００が外部装置と通信できるようにする機能を遂行する。
【0080】
最後に、本発明の一実施例に係る制御部２５０は、空間情報管理部２１０、客体制御管理部２２０、データベース２３０および通信部２４０間のデータの流れを制御する機能を遂行する。すなわち、制御部２５０は外部からのまたは客体制御支援システム２００の各構成要素間のデータの流れを制御することによって、空間情報管理部２１０、客体制御管理部２２０、データベース２３０および通信部２４０でそれぞれ固有の機能を遂行するように制御する。
【0081】
以上で説明された本発明に係る実施例は、多様なコンピュータの構成要素を通じて遂行され得るプログラム命令語の形態で具現されて、非一過性のコンピュータ読み取り可能な記録媒体に記録され得る。前記非一過性のコンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一過性のコンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされていて使用可能なものでもよい。非一過性のコンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存し遂行するように、特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語のコードだけでなく、インタープリターなどを使ってコンピュータによって遂行され得る高級な言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同じである。
【0082】
以上において本発明が、具体的な構成要素などのような特定事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されず、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正および変形ができるはずである。
【0083】
したがって、本発明の思想は前述された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等にまたは等価的に変形された全てのものは本発明の思想の範疇に属するものと言える。
【符号の説明】
【0084】
１００：使用者デバイス
２００：客体制御支援システム
２１０：空間情報管理部
２２０：客体制御管理部
２３０：データベース
２４０：通信部
２５０：制御部
２００：客体制御支援システム
２１０：空間情報管理部
２２０：客体制御管理部
２３０：データベース
２４０：通信部
２５０：制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】