特許 6207023 スクリーン上のオブジェクトの回転

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6207023

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】スクリーン上のオブジェクトの回転

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20170925BHJP

   G06F 3/01 20060101ALI20170925BHJP

   G06F 3/0346 20130101ALI20170925BHJP

   G06F 3/0484 20130101ALI20170925BHJP

【ＦＩ】

   G06F3/0481 150

   G06F3/01 570

   G06F3/0346 422

   G06F3/0484 150

【請求項の数】14

【全頁数】9

(21)【出願番号】特願2014-509861(P2014-509861)

(86)(22)【出願日】2012年5月2日

(65)【公表番号】特表2014-513371(P2014-513371A)

(43)【公表日】2014年5月29日

(86)【国際出願番号】IB2012052186

(87)【国際公開番号】WO2012153233

(87)【国際公開日】20121115

【審査請求日】2015年4月23日

【審判番号】不服2016-17117(P2016-17117/J1)

【審判請求日】2016年11月16日

(31)【優先権主張番号】11165263.2

(32)【優先日】2011年5月9日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】チェン ジン‐ズ

(72)【発明者】

【氏名】ロゲ デニス オメル

【合議体】

【審判長】 高瀬 勤

【審判官】 土谷 慎吾

【審判官】 山田 正文

(56)【参考文献】

【文献】 米国特許出願公開第２０１０／０２８０９８８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０２２８８４１（ＵＳ，Ａ１）

【文献】 Ｒｉｃｈａｒｄ Ａ． Ｂｏｌｔ， Ｅｄｗａｒｄ Ｈｅｒｒａｎｚ，“Ｔｗｏ−ｈａｎｄｅｄ ｇｅｓｔｕｒｅ ｉｎ ｍｕｌｔｉ−ｍｏｄａｌ ｎａｔｕｒａｌ ｄｉａｌｏｇ”， ＵＩＳＴ ’９２ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５ｔｈ ａｎｎｕａｌ ＡＣＭ ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ｓｏｆｔｗａｒｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ，（米），１９９２年１１月，ｐ．７−１４

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F3/01

G06F3/0346

G06F3/048

G06F3/0484

(57)【特許請求の範囲】

【請求項1】

スクリーン上のオブジェクトを回転させるための装置であって、
ユーザの第１の手と関連がある第１の3D位置情報に応じて、及び、ユーザの第２の手と関連がある第２の3D位置情報に応じて、手の軸を定めるための定義ユニット、
3D空間の軸に対する前記手の軸の変化を検出するための検出ユニット、及び
前記検出ユニットからの検出結果に応じて、スクリーン上のオブジェクトの回転を計算する計算ユニット、
を有し、
前記手の軸の長さに対応して前記オブジェクトがズームアウト又はズームインされ、
前記手の軸の変化は、前記手の軸と3D空間の第１の軸との間の第１の角度の変化と、前記手の軸と3D空間の第２の軸との間の第２の角度の変化と、前記手の軸と3D空間の第３の軸との間の第３の角度の変化とを含み、
前記検出ユニットが、前記第１、第２及び第３の角度の変化それぞれを第１、第２及び第３の閾値それぞれと比較するための比較器、第１、第２及び第３の比較結果それぞれに応じて、前記第１、第２及び第３の角度の変化の１つ以上を低減するための低減器を有する、
装置。

【請求項2】

前記第１、第２及び第３の角度の変化のそれぞれ１つがゼロに等しくない、請求項１に記載の装置。

【請求項3】

前記検出ユニットが、前記第１、第２及び第３の角度を検出するための角度検出器を有する、請求項１に記載の装置。

【請求項4】

前記第１、第２及び第３の比較結果のうちの１つが、対応する角度の変化が対応する閾値以下であることを示すと、前記低減器が対応する角度の変化をゼロに向けて低減する、請求項１に記載の装置。

【請求項5】

前記第１、第２及び第３の比較結果のうちの１つが対応する角度の変化が対応する閾値以下であることを示すと、前記低減器が対応する角度の変化に重み付けする、請求項１に記載の装置。

【請求項6】

前記第１、第２及び第３の比較結果のうちの２つが対応する角度の変化が対応する閾値以下であることを示すと、前記低減器が対応する角度の変化に重み付けする、請求項１に記載の装置。

【請求項7】

前記第１、第２及び第３の角度の変化のうちの１つ又は２つがゼロではない、請求項１に記載の装置。

【請求項8】

前記第１、第２及び第３の角度の変化のうちのそれぞれ１つがタイムインターバルごとの変化である、請求項１に記載の装置。

【請求項9】

3D空間の前記第１の軸がX軸であり、3D空間の前記第２の軸がY軸であり、3D空間の前記第３の軸がZ軸である、請求項１に記載の装置。

【請求項10】

ユーザの第１の手と関連がある第１の3D位置情報は第１の絶対又は相対3D座標を有し、ユーザの第２の手と関連がある第２の3D位置情報は第２の絶対又は相対3D座標を有し、前記手の軸は両方の3D座標を通過する、請求項１に記載の装置。

【請求項11】

請求項１に記載の装置を有し、さらに、前記第１及び第２の位置情報を提供するための位置測定システム及び／又はスクリーンを有するデバイス。

【請求項12】

スクリーン上のオブジェクトを回転させるための方法であって、
ユーザの第１の手と関連がある第１の3D位置情報に応じて、及びユーザの第２の手と関連がある第２の3D位置情報に応じて、手の軸を定めるステップ、
3D空間の軸に対する前記手の軸の変化を検出するステップ、及び
検出結果に応じてスクリーン上のオブジェクトの回転を計算するステップ、
を有し、
前記手の軸の長さに対応して前記オブジェクトがズームアウト又はズームインされ、
前記手の軸の変化は、前記手の軸と3D空間の第１の軸との間の第１の角度の変化と、前記手の軸と3D空間の第２の軸との間の第２の角度の変化と、前記手の軸と3D空間の第３の軸との間の第３の角度の変化とを含み、
前記第１、第２及び第３の角度の変化それぞれを第１、第２及び第３の閾値それぞれと比較するステップ、第１、第２及び第３の比較結果それぞれに応じて、前記第１、第２及び第３の角度の変化の１つ以上を低減するステップをさらに有する、
方法。

【請求項13】

コンピュータ上で実行されて当該コンピュータに請求項１２に記載の方法を実行させるコンピュータ・プログラム。

【請求項14】

請求項１３に記載のコンピュータ・プログラムが記憶された計算機可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スクリーン上のオブジェクトを回転させる装置に関する。本発明はさらに、スクリーン上のオブジェクトを回転させる装置、方法、コンピュータ・プログラム製品及び媒体に関する。

【0002】

そのような装置の例は、例えば医師が無菌状態を維持する必要がある医療分野における、例えば制御者が１つ以上のスクリーンの前で制御を実行する制御分野における、或いは、例えば芸術監督が１つ以上のスクリーンの前で創作を行う創作分野における、ジェスチャに基づく画像操作装置である。

【背景技術】

【0003】

US2009/0021475A1は、ジェスチャ認識を用いて医療起源の画像データを表示する及び/又は処理する方法を開示する。この方法は比較的複雑である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

比較的単純な装置を提供することが本発明の目的である。本発明の更なる目的は、装置、比較的単純な方法、コンピュータ・プログラム製品及び媒体を提供することである。

【課題を解決するための手段】

【0005】

第１の態様によれば、スクリーン上のオブジェクトを回転させるための装置が提供され、当該装置は、
- ユーザの第１の手と関連がある第１の3D位置情報に応じて、及び、ユーザの第２の手と関連がある第２の3D位置情報に応じて、手の軸を定めるための定義ユニット、
- 3D空間の軸に対する手の軸の変更された方向を検出する検出ユニット、及び
- 検出ユニットからの検出結果に応じて、スクリーン上のオブジェクトの回転を計算する計算ユニット、を有する。

【0006】

定義ユニットは、3Dカメラ若しくは２台の2D(二次元)カメラ、GPS（Global Positioning System）検出器、ローカル・ポジショニング・システム検出器、電磁場の乱れを検出する検出器、又は、レーダー若しくはソナー技術に基づく検出器などのような位置測定システムから、ユーザの第１の手と関連がある第１の3D(三次元)位置情報及びユーザの第２の手と関連がある第２の3D位置情報を受信する。第１及び第２の3D位置情報に応じて、定義ユニットは手の軸を定める。この手の軸は、例えば、3D位置情報によって示されるように、手の中心を通過するか、手の特定の指の先端を通過するか、又は手に保持されるアイテムを通過するなどである。

【0007】

検出ユニットは、3D空間の１つ以上の軸に対する手の軸の変更された方向を検出し、計算ユニットは、検出ユニットからの検出結果に応じてスクリーン上のオブジェクトの回転を計算する。その結果、手の軸を導入したことによって、比較的単純な装置が生成された。そのような比較的単純な装置は、例えば、より高速で、より安価であり、より頑丈で、より信頼性が高く、より安全である。

【0008】

手の軸は、より多くの目的(例えばズーミング)のために用いられることができる。より長い手の軸はズームアウトに対応し、より短い手の軸はズームインに対応することができ、逆もまた同じである。

【0009】

装置の実施の形態は、手の軸と3D空間の第１の軸との間の第１の角度の第１の変化と、手の軸と3D空間の第２の軸との間の第２の角度の第２の変化と、手の軸と3D空間の第３の軸との間の第３の角度の第３の変化を含む、手の軸の変更された方向によって定められる。一旦手の軸が定められると、手の軸と3D空間の各々の軸との間の角度の変化に対する手の軸の変更された方向を定めることが有利である。

【0010】

装置の実施の形態は、ゼロに等しくない第１、第２及び第３の変化のそれぞれによって定められる。この場合には、ユーザは、3D回転を実行しているか又は実行した。

【0011】

装置の実施の形態は、第１、第２及び第３の角度を検出するための角度検出器、第１、第２及び第３の角度それぞれを第１、第２及び第３の閾値それぞれと比較するための比較器、第１、第２及び第３の比較結果それぞれに応じて、第１、第２及び第３の変化の１つ以上を低減するための低減器を有する検出ユニットによって定められる。第１(第２、第３)の角度が第１(第２、第３)の閾値以下の場合には、第１(第２、第３)の変化は、安定性を改善するために低減されることができる。

【0012】

装置の実施の形態は、対応する閾値以下の対応する角度を示す第１、第２及び第３の比較結果のうちの１つ、並びに、対応する変化をゼロに向けて低減する低減器によって定められる。

【0013】

装置の実施の形態は、対応する閾値以下の対応する角度を示す第１、第２及び第３の比較結果のうちの１つ、並びに、対応する変化に重み付けする低減器によって定められる。重みづけ係数はここで通常0%から100%の間である。

【0014】

装置の実施の形態は、対応する閾値以下である対応する角度を示す第１、第２及び第３の比較結果のうちの２つ、及び、対応する変化に重み付けする低減器によって定められる。各々の重みづけ係数はここで通常0%から100%の間である。

【0015】

装置の実施の形態は、ゼロに等しくない第１、第２及び第３の変化の１つか又は２つによって定められる。この場合には、ユーザは、1D(一次元)の又は2Dの回転を実行しているか又は実行した。

【0016】

装置の実施の形態は、タイムインターバルごとの変化である第１、第２及び第３の変化のそれぞれによって定められる。大部分の位置測定システムは、タイムインターバルごと若しくはフレームごとの位置情報、又は時間にわたる変化を提供する。

【0017】

装置の実施の形態は、X軸である3D空間の第１の軸、Y軸である3D空間の第２の軸及びZ軸である3D空間の第３の軸によって定められる。通常、X軸及びY軸は、位置測定システムの正面に対して平行である実質的に水平及び実質的に垂直の軸であり、Z軸は、位置測定システムのこの正面に実質的に直交する軸であるが、任意の他の座標軸が用いられることができる。

【0018】

装置の実施の形態は、第１の絶対又は相対3D座標を含むユーザの第１の手と関連がある第１の3D位置情報、第２の絶対又は相対3D座標を含むユーザの第２の手と関連がある第２の3D位置情報及び両方の3D座標を通過する手の軸によって定められる。

【0019】

第２の態様によれば、前記装置を有し、さらに、第１及び第２の位置情報を提供するための位置測定システム並びに/又はスクリーンを有するデバイスが提供される。

【0020】

第３の態様によれば、スクリーン上のオブジェクトを回転させるための方法が提供され、当該方法は、
- ユーザの第１の手と関連がある第１の3D位置情報に応じて、及びユーザの第２の手と関連がある第２の3D位置情報に応じて、手の軸を定めるステップ、
- 3D空間の軸に対する手の軸の変更された方向を検出するステップ、
- 検出結果に応じてスクリーン上のオブジェクトの回転を計算するステップ、を有する。

【0021】

第４の態様によれば、前記方法のステップを実行するコンピュータ・プログラムが提供される。

【0022】

第５の態様によれば、前記コンピュータ・プログラムを記録して保持するための媒体が提供される。

【0023】

方法の実施の形態は装置の実施の形態に対応する。

【0024】

スクリーン上のオブジェクトを回転させるために、オブジェクトの仮想のコピーが、ユーザによって保持される仮想のボール内にあると考えられることができ、その仮想のボールが回転される。基本的なアイデアは、ユーザの手の間の手の軸が定められ、手の軸の変更された方向が検出されて、応じて、スクリーン上のオブジェクトの回転が計算されるということである。

【0025】

比較的単純な装置を提供するという問題は解決された。更なる利点は、そのような比較的単純な装置は、例えば、より高速で、より安価であり、より頑丈で、より信頼性が高く、そしてより安全であることである。

【0026】

本発明のこれらの及び他の態様は、以下に記載される実施の形態から明らかであり、それらを参照して説明される。

【図面の簡単な説明】

【0027】

【図1】装置を有するデバイスを示す図。

【図2】3D空間中の２つの手の間の手の軸を示す図。

【発明を実施するための形態】

【0028】

図1において、装置を有するデバイスが示される。装置10は、ユーザの第１の手と関連がある第１の3D(三次元)位置情報及びユーザの第２の手と関連がある第２の3D位置情報を提供するための位置測定システム8、装置1並びにスクリーン9を含む。スクリーン9上のオブジェクトを回転させるための装置1は、第１の3D位置情報に応じて及び第２の3D位置情報に応じて、手の軸を定めるための定義ユニット2を含む。装置1は、3D空間の軸に対する手の軸の変更された方向を検出する検出ユニット3、及び、検出ユニット3からの検出結果に応じてスクリーン9に示されるオブジェクトの回転を計算する計算ユニット4を更に備える。

【0029】

位置測定システム8は、3Dカメラ若しくは２台の2D(二次元)カメラ、GPS（Global Positioning System）検出器、ローカル・ポジショニング・システム検出器、電磁場の乱れを検出する検出器、又は、レーダー若しくはソナー技術に基づく検出器などを有することができる。装置1は、１つ以上のプロセッサ及び/又は１つ以上のコンピュータなどのような任意の種類の定義/検出/計算システムを有することができる。スクリーン9は、ディスプレイ、プロジェクタ又は従来のテレビなどのような任意の種類のスクリーンを有することができる。

【0030】

図2において、２つの手の間の手の軸が3D空間中に示される。ユーザの第１の手21と第２の手22との間の手の軸20は、3D空間の第１の軸31(例えばX軸)と第１の角度を成し、3D空間の第２の軸31(例えばY軸)と第２の角度を成し、3D空間の第３の軸31(例えばZ軸)と第３の角度を成す。オブジェクト40を示すスクリーン9及びここでは3Dカメラの形の位置測定システム8がさらに図2に示される。手21及び22は、スクリーン9に示されるオブジェクト40の仮想のコピーを含む仮想のボール41を仮想現実的に保持している。ユーザが１度以上3D空間中の仮想のボール41を回転させるために手21及び22を動かすと、手の軸20は（１度以上の回転の結果として）方向が変更され、第１、第２及び第３の角度のうちの１つ以上が変化する。仮想のボール41の代わりに、他の任意の形状のアイテムが用いられることができる。この手の軸20は、例えば、3D位置情報によって示されるように、手21, 22の中央を通過するか、手21, 22の特定の指先を通過するか、又は、手21, 22によって保持されるアイテムを通過するなどである。

【0031】

好ましくは、手の軸20の変更された方向は、手の軸20と3D空間の第１の軸31との間の第１の角度の第１の変化、手の軸20と3D空間の第２の軸32との間の第２の角度の第２の変化及び手の軸20と3D空間の第３の軸33との間の第３の角度の第３の変化を有する場合がある。

【0032】

ユーザが3D回転を実行しているか又は実行した場合、第１、第２及び第３の変化の各々はゼロに等しくない。その場合、特定の状況の下で、3D回転は時折不安定になり、それによって、例えば、手の軸20と3D空間の第１、第２及び第３の軸31, 32, 33のうちの１つとの間の角度における比較的小さな変化が、結果としてスクリーン9上での比較的大きい変化になる可能性がある。この問題を解決するために、図1に示されるように、検出ユニット3は、第１、第２及び第３の角度を検出するための角度検出器5、第１、第２及び第３の角度それぞれを第１、第２及び第３の閾値それぞれと比較するための比較器6、並びに、第１、第２及び第３の比較結果それぞれに応じて、第１、第２及び第３の変化それぞれの１つ以上を低減するための低減器を備えることができる。

【0033】

例えば、第１、第２及び第３の比較結果のうちの１つが、対応する角度が対応する閾値以下であることを示す場合、低減器7は、対応する変化をゼロに向けて低減することができる。このケースは、3D空間の第１、第２及び第３の軸31, 32, 33のうちの特定の１つの軸を無効にすることに対応し、手の軸20と3D空間のこの特定の１つの軸との間の角度変化を無視することに対応する。

【0034】

例えば、第１、第２及び第３の比較結果のうちの１つが、対応する角度が対応する閾値以下であることを示す場合、低減器7は対応する変化に重み付けすることができる。このケースは、3D空間の第１、第２及び第３の軸31, 32, 33のうちの特定の１つの角度からの影響を低減することに対応し、そして手の軸20と3D空間のこの特定の１つの軸との間の角度変化を低減することに対応する。重み付けの量及び低減の量は、対応する角度のサイズに依存してもよいし、依存しなくてもよい。対応する閾値は、一定の値を有してもよいし、あるいは、回転速度、ユーザの安定性、ユーザの経験、他の角度のサイズ、他の閾値及び更なる特徴などに依存することができる。同様に、前記重み付けは、この種の特徴などに依存することができる。

【0035】

例えば、第１、第２及び第３の比較結果のうちの２つが、対応する角度が対応する閾値以下であることを示す場合、低減器7は、対応する変化に重み付けすることができる。このケースは、3D空間の第１、第２及び第３の軸31, 32, 33の２つの特定の軸からの影響を低減することに対応し、手の軸20と3D空間のこれらの２つの特定の軸との間の角度変化を低減することに対応する。重み付けの量及び低減の量は、対応する角度のサイズに依存してもよいし、依存しなくてもよい。対応する閾値は、一定の値を有してもよいし、あるいは、回転速度、ユーザの安定性、ユーザの経験、他の角度のサイズ、他の閾値及び更なる特徴などに依存してもよい。同様に、前記重みづけは、この種の特徴などに依存することができる。

【0036】

ユーザが1D(一次元)又は2Dの回転を実行しているか又は実行した場合には、第１、第２及び第３の変化のうちの１つ又は２つがゼロに等しくない。その場合、通常、1D又は2Dの回転は不安定にならない。

【0037】

好ましくは、第１、第２及び第３の変化のそれぞれ１つは、タイムインターバルごとの変化であることができる。大部分の位置測定システムは、タイムインターバルごと若しくはフレームごとの位置情報、又は時間にわたる変化を提供する。

【0038】

好ましくは、ユーザの第１の手21と関連がある第１の3D位置情報は、第１の絶対又は相対3D座標を有することができ、ユーザの第２の手22と関連がある第２の3D位置情報は、第２の絶対又は相対3D座標を有することができ、手の軸20は、両方の3D座標を通過することができる。

【0039】

要約すると、スクリーン9上のオブジェクト40を回転させるための装置1は、ユーザの手21, 22と関連する3D位置情報に応じて手の軸20を定め、3D空間に対する手の軸20の変更された方向を検出して、前記に検出に応じて、スクリーン9上のオブジェクト40の回転を計算する。このように、スクリーン9上のオブジェクト40を回転させるために、オブジェクト40の仮想のコピーが、ユーザによって保持される仮想のボール41内にあると考えられて、この仮想のボール41が回転される。手の軸20の変更された方向は、手の軸20と3D空間の軸31, 32, 33との間の角度における変化を含む。前記変化のそれぞれがゼロに等しくない場合における安定性を改善するために、装置1はさらに、角度を検出して、それぞれの角度をそれぞれの閾値と比較して、それぞれの比較結果に応じてそれぞれの変化を低減するか又は重み付けする。

【0040】

本発明が、図面及び上記の記載において詳細に説明されたが、そのような説明は例示であって、制限的なものではなく、本発明は、開示された実施の形態に限られない。図面、開示及び添付の請求の範囲の検討から、開示された実施の形態に対する他のバリエーションは、請求された発明を実施する際に、当業者によって理解され、遂行されることができる。請求の範囲において、「有する」「含む」等の用語は、他の要素又はステップを除外せず、単数表現は複数を除外しない。単に特定の手段が相互に異なる従属請求項中に列挙されているからといって、これらの手段の組み合わせが有効に用いられることができないことを意味しない。請求の範囲におけるいかなる参照符号も、その範囲を制限するものとして解釈されるべきでない。

【図1】

【図2】