特許 6810048 モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6810048

(24)【登録日】2020年12月14日

(45)【発行日】2021年1月6日

(54)【発明の名称】モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20201221BHJP

【ＦＩ】

   G06F3/01

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2017-542256(P2017-542256)

(86)(22)【出願日】2015年11月3日

(65)【公表番号】特表2017-534135(P2017-534135A)

(43)【公表日】2017年11月16日

(86)【国際出願番号】CN2015093735

(87)【国際公開番号】WO2016070800

(87)【国際公開日】20160512

【審査請求日】2017年6月29日

【審判番号】不服2019-7363(P2019-7363/J1)

【審判請求日】2019年6月4日

(31)【優先権主張番号】201410619473.X

(32)【優先日】2014年11月6日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】517156872

【氏名又は名称】北京京東尚科信息技術有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｊｉｎｇｄｏｎｇ Ｓｈａｎｇｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

(73)【特許権者】

【識別番号】517156883

【氏名又は名称】北京京東世紀貿易有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｊｉｎｇｄｏｎｇ Ｃｅｎｔｕｒｙ Ｔｒａｄｉｎｇ Ｃｏ．， Ｌｔｄ．

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】張斯聡

【合議体】

【審判長】 ▲吉▼田 耕一

【審判官】 太田 龍一

【審判官】 野崎 大進

(56)【参考文献】

【文献】 特開２０１４−７２５７０（ＪＰ，Ａ）

【文献】 特表２００２−５２０７４６（ＪＰ，Ａ）

【文献】 特開２００３−１３２３５８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F 3/01

A63F13/00

(57)【特許請求の範囲】

【請求項1】

モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法であって、
前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、
画像の内容を分析するステップと、
前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って、利用者及び前記利用者に関連する情報と互いに独立している画像の内容とインタラクションさせるステップと、
インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップと、
を含み、
画像の内容を分析するステップは、
前記バーチャルボール近傍の画像エッジを演算するステップと、
衝突後の前記バーチャルボールの速度および方向を演算するステップと、
前記バーチャルボールの位置を更新するステップと、
前記バーチャルボールを表示するステップと、
を含み、
前記衝突後の前記バーチャルボールの速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する、
方法。

【請求項2】

請求項１に記載の方法であって、
前記所定のルールは、前記バーチャルボールが画像内の色の境界と剛体衝突すること、前記バーチャルボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、前記バーチャルボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、前記バーチャルボールが利用者の指と剛体衝突し、衝突時に前記バーチャルボールと指が衝突する角度、力度を考慮すること、前記バーチャルボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、前記バーチャルボールの下半分と画像の内容および利用者の指との衝突のみを考慮すること、から選ばれた少なくとも一つを含む、
方法。

【請求項3】

請求項１に記載の方法であって、
前記バーチャルボール近傍の画像エッジを演算するステップは、
入力画像をグレースケールマップに変換するステップと、
前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、
前記ヒストグラムを用いてグレースケール確率図を生成するステップと、
生成された確率図をエッジ判断の根拠とするステップと、
を含む方法。

【請求項4】

請求項３に記載の方法であって、
前記画像のエッジは、グレースケールの確率が異なる領域の境界である、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はマンマシンインタラクションにおける拡張現実システムに係わり、より具体的には、本発明はモバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法に係わる。

【背景技術】

【0002】

モバイル機器および技術の発展につれ、モバイル機器において拡張現実システムを設計開発することは拡張現実技術の推進および発展にとって重要な意義を有している。拡張現実技術はバーチャル情報とリアリスティックシーンとを結び付けることによって利用者の臨場感を高めることができる。センサまたはカメラのスクリーンを通じて利用者の動作命令をキャッチすることができる。

【0003】

コンピュータに基づく従来のマンマシンインタラクションシステムはいずれもマウス、キーボードによって実現されている。しかし、モバイル機器における拡張現実システムは、キーボードによってインタラクションを実現しようとすると、ブレが発生しやすく、インタラクションの精度に大きな影響を与えてしまう。現実の生活において、人間は視覚、触覚および力覚を通じて、手で空間におけるボールのような実物体を任意に操作することができる。人間の両手は、人類が第３者の世界とコミュニケーションする場合の最も直観的で、最も自然で最も現実的な媒体になっている。

【0004】

一方において、従来の技術における人とボールの間のインタラクションは主に下記の二種類に分けることができる。（１）人と実物のボールとの間のインタラクション。（２）赤外線センサのような特殊な物理検知装置によって人の位置をキャッチすることで実現される人とバーチャルボールとの間のインタラクション。

【0005】

従って、追加設備を利用することなく利用者とバーチャルボールを容易に実現可能なバーチャルボールのシミュレーションおよびコントロール装置が求められている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の実施例において、モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法を提供する。

【課題を解決するための手段】

【0007】

本発明の一つの実施例における方法は、前記モバイル機器の画像収集部材を用いて画像を収集し、連続した画像シーケンスを得るステップと、画像の内容を分析するステップと、前記バーチャルボールを、収集された画像シーケンス内で所定のルールに従って画像の内容および利用者とインタラクションさせるステップと、インタラクションの結果を前記モバイル機器のスクリーンに表示させるステップとを含む。

【0008】

好ましくは、画像の内容を分析するステップは、前記バーチャルボール近傍の画像エッジを演算するステップと、衝突の速度および方向を演算するステップと、前記バーチャルボールの位置を更新するステップと、前記バーチャルボールを表示するステップを含む。

【0009】

好ましくは、前記インタラクションのルールは、ボールが画像内の色の境界と剛体衝突すること、ボールがスクリーンの左、右、下方の境界と剛体衝突すること、スクリーンにおいて、ボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」すること、ボールが利用者の指と剛体衝突し、衝突時にボールと指が衝突する角度、力度を考慮すること、ボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行うこと、ボールの下半分と画像の内容および利用者の指との衝突のみを考慮することから選ばれた少なくとも一つを含む。

【0010】

好ましくは、前記バーチャルボール近傍の画像エッジを演算するステップは、入力画像をグレースケールマップに変換するステップと、前記バーチャルボールの下半分のグレースケールヒストグラムを演算するステップと、前記ヒストグラムを用いてグレースケール確率図を生成するステップと、生成された確率図をエッジ判断の根拠とするステップと、を含む。

【0011】

好ましくは、前記画像エッジはグレースケール確率の異なる領域の境界である。

【0012】

好ましくは、前記衝突の速度は、横方向と縦方向の二方向における速度が互いに独立しており、かつ横方向の速度が横方向における接触点から前記バーチャルボールの球心までの距離に正比例し、縦方向の速度が縦方向における接触点から球心までの距離に反比例する。

【0013】

本開示および図面についての下記の詳細な説明に基づけば、当業者にとって、その他の目的、特徴およびメリットが明らかとなる。

【0014】

図面は本発明の実施例を図示し、かつ明細書とともに本発明の原理を説明するために用いられる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施例におけるバーチャルボールのシミュレーションおよびコントロールの方法を示す。

【図2】本発明における実施例の応用シーンを示す概略図である。

【図3】図１における画像内容の分析を実現する方法を示すフローチャート図である。

【図4】ボール近傍の画像エッジを演算する方法を示すフローチャート図である。

【図5】他の物体が球体の範囲内に入っていない場合を示すグレースケールマップである。

【図6】他の物体が球体の範囲内に入った場合を示すグレースケールマップである。

【発明を実施するための形態】

【0016】

本発明の実施例は、モバイル機器のバーチャルボールのシミュレーションおよびコントロールの方法を開示している。以下の説明において、説明を目的として、複数の具体的な細部を説明し、本発明の実施例を全面的に理解していただくようにした。しかし、当業者にとって、本発明の実施例がこれら具体的な細部を用いることなく実現可能なことは、明らかである。

【0017】

本発明においては、一般の消費レベルの画像収集設備（例えば、携帯電話、タブレットコンピュータ、家庭用カメラ）によって一般の画像をキャッチするとともに、画像に対するインテリジェント分析の結果によって人とバーチャルボールの間のインタラクション効果を生成する。具体的には、本発明は、画像収集装置（例えばカメラ）によって画像情報を取得し、演算装置（例えばＰＣ、携帯電話、タブレットコンピュータなど）によってバーチャルボールを生成するとともに、得られた画像の内容を画像処理方法によってインテリジェント分析し、これを根拠としてバーチャルボールとインタラクションを行い、最後に、インタラクションの結果および画像を表示設備（例えば携帯電話、ディスプレイなど）に表示させるシステムを開示する。

【0018】

図１は本発明の実施例におけるバーチャルボールのシミュレーションおよびコントロールの方法１００を示す。該方法１００は主として画像を収集するステップ、画像の内容を分析するステップおよびインタラクションの結果を表示するステップの三つのステップを含む。

【0019】

具体的には、画像の収集において、一般の画像収集設備（例えば、携帯電話、デスクトップコンピュータのカメラ）によって連続した画像シーケンスを得る。画像収集設備は移動可能であり、バーチャルボールのシミュレーション効果に影響を与えることがない。

【0020】

画像内容の分析において、本発明では、収集された画像シーケンスにおいてバーチャルボールが一定のルールに従って画像の内容および利用者とインタラクションすると仮定する。以下においては、バーチャルジャグリングボールを例に説明を行う。なお、バーチャルジャグリングボールは説明するためのものにすぎず、バーチャルボールと画像の内容および利用者とのインタラクションがどのように行われるかに関する説明は、本発明に対する実施例における限定ではない。バーチャルボールと画像および利用者とのインタラクションを含む応用はいずれも本発明の範囲内に属している。

【0021】

図２は本発明における実施例の応用シーンを示す概略図である。図２に示すように、利用者が設備（例えば携帯電話）を携帯しており、カメラを特定のシーンＳに合わせ、表示スクリーンが利用者に向いている。利用者の指が画像収集設備（例えば携帯電話のカメラ）に面しているシーンＳに進入し、バーチャルジャグリングボールとインタラクションを行う。インタラクションのルールは下記のとおりである。
（１）ボールが画像内の色の境界と剛体衝突する。
（２）ボールがスクリーンの左、右、下方の境界と剛体衝突する。
（３）スクリーンにおいて、ボールがスクリーンの上方から垂直にスクリーンの下方に向かうバーチャル重力場の作用によりスクリーンの下方に「落下」する。
（４）ボールが利用者の指と剛体衝突し、衝突時にボールと指が衝突する角度、力度を考慮する。
（５）ボールが上方にスクリーンの範囲を超えて飛び出すことができ、スクリーンの範囲から飛び出した後、スクリーンの下方への自由落体運動のみを行う。
（６）ボールの下半分のみについて画像の内容および利用者の指との間の衝突を考慮し、ボールの上半分については考慮しない。
（７）「ボール」は、口頭の一般的な用語としてのみバーチャル球体を呼ぶのに用い、実際にスクリーンに表示されるのは正円形である。

【0022】

当業者は、任意の、機能を満たすインタラクション設備および画像処理に基づくインタラクション方式はすべて本発明のインタラクション方式に含まれると理解するであろう。本発明に用いられるバーチャルボールはバーチャルジャグリングボールに限定されず、バーチャルカーリングボール、バーチャル卓球、バスケットボールなどその他のバーチャルボールであってもよい。

【0023】

図３は図１における画像内容の分析を実現する方法を示すフローチャート図である。ステップ３１において、次のフレーム画像を入力する。ステップ３２において、ボール近傍の画像エッジを演算する。ステップ３３において、衝突の速度および方向を演算する。ステップ３４において、ボールの位置を更新する。ステップ３５において、前記ボールを表示する。ステップ３６において、画像内容の分析が終了するか否かを判断する。ＹＥＳの場合には、該プロセスを終了させ、ＮＯの場合にはステップ３１に戻る。

【0024】

ボール近傍の画像エッジの演算
図４はボール近傍の画像エッジを演算する方法を示すフローチャート図である。ボール近傍の画像エッジを演算する原理は下記のとおりである。本発明では、ボールの下半分の色が一種類でなければならないと考える。２種類又はそれ以上のグレースケールが現れた場合には、他の物体が球体の範囲内に進入し、ボールとインタラクションしたと考える。具体的な演算プロセスはヒストグラムの演算および確率図の生成に係わる。

【0025】

図４に示すように、まず入力画像をグレースケールマップに変換する。次に、ボールの下半分のグレースケールヒストグラムＨを演算する。その後、前記ヒストグラムＨを用いてグレースケール確率図を生成する。最後に、生成された確率図をエッジ判断の根拠とする。

【0026】

Ａ．ヒストグラムの演算
図５は他の物体が球体の範囲内に入っていない場合を示すグレースケールマップである。図中の灰色領域はカラーヒストグラムを計算する範囲を示す。カラーヒストグラムの計算方法は下記のとおりである。

【数1】

ここで、

【数2】

【0027】

Ｈは２５６個の要素を含むアレイである。各要素は、グレースケール画像において、グレースケール値がｉである画素の個数を示す。グレースケールマップの上図における灰色領域範囲内の各画素Ｐ（ｊ）をトラバースし、ｊはｊ番目の画素を示し、Ｎはグレースケール領域における画素の合計を示し、グレースケール値がＰ（ｊ）＝ｉの場合、Ｈ（ｉ）＝Ｈ（ｉ）＋１となる。

【0028】

Ｂ．確率図の生成
図６は他の物体が球体の範囲内に入った場合のグレースケールマップを示す。上記のように演算してＨを得た後に、本発明では、出現回数が多いグレースケールはメインバックグラウンドのグレースケールであり、その他のグレースケールの画素は球体の範囲内に進入したインタラクション物体を示していると考える。

【0029】

出現確率：

【数3】

Ｄ（ｊ）は小確率図における各々の画素のグレースケール値を示す。ｊはｊ番目の画素を示し、Ｈ_Ｍａｘはヒストグラムにおける２５６個の要素のうちの最大値を示す。その結果、図Ｄにおいて、グレースケール値が大きいほど、球体範囲内の色の数が少なくなる。すなわち、該画素が球体に入ったインタラクション物体である確率が高くなる。従って、画像エッジにおいて、確率が異なる二つの領域の境界、即ちグレースケールの確率が異なる領域の境界が現れる。

【0030】

衝突の速度、方向の演算
本発明では、前ステップで生成した出現確率図Ｄにおいて、インタラクション物体である確率がより高い領域の重心は、インタラクション物体とボールのインタラクションポイントＰ_ｉｎｔであり、Ｐ_ｉｎｔの球心に対する横座標および縦座標（画素）の差は、横方向および縦方向におけるインタラクションの強さを示し、横方向および縦方向の二方向における速度は互いに独立している。

【0031】

インタラクションポイントの計算方法：
Ｐ_Ｉｎｔ（Ｘ_Ｃ，Ｙ_Ｃ）

【数4】

ここで、Ｘ，Ｙは確率が高い領域における横座標と縦座標を示し、Ｄ（ｊ）は前ステップで求められた確率であり、Ｘ_Ｃ，Ｙ_Ｃは重心の座標である。横方向の速度はＸ方向における接触点から球心までの距離に正比例し、接触位置が球心から遠ざかるほど、接触速度が大きくなる。縦方向の速度はＹ方向における接触点から球心までの距離に反比例し、接触位置が球心に近接するほど、接触速度が大きくなる。

【数5】

下付きＭａｘは横方向および縦方向における最大速度を示し、予め設定された一定値である。

【0032】

ボール位置の更新
本発明では、ボールの位置は初期の静止状態から始まり、横方向および縦方向の二方向における独立した運動に分かれると考える。横方向においては、インタラクション（手への接触、画像のエッジへの接触、スクリーンエッジへの接触）が発生する毎に、インタラクションの後に接触速度Ｖ_Ｘで均一速度の直線運動を行う。縦方向においては、インタラクションが発生した後に、接触速度Ｖ_Ｙを初期速度として垂直に上方に投げられる運動を行う（ｈｔｔｐ：／／ｂａｉｋｅ．ｂａｉｄｕ．ｃｏｍ／ｌｉｎｋ？ｕｒｌ＝ｔＪ８ｅ６ＩｆｍｐＣＺｑＳｘｆＬＭ９８Ｘ７＿ｑＣＷｅｕｑ２ＪＱＢＨＤＣＲＪｆｂ８ＧｘＤｑＺＨｈＣｑｘｅＨｕＪ＿９ＧｏｋＢＣＳｚＺを参照）。

【0033】

ボールの現在位置：

【数6】

ここで、下付きｔは第ｔ回目の接触を示し、Ｘ_ｔ，Ｙ_ｔは第ｔ回目の接触時の横座標および縦座標を示し、ｇは重力加速度であり、Ｔは現在と第ｔ回目の接触間の時間間隔を示す。

【0034】

ボールの表示
バーチャルボールを現在位置Ｘ，Ｙでスクリーンに表示させれば、全ての操作が終了する。

【0035】

本発明では、一般の消費レベルの画像収集設備（例えば、携帯電話、タブレットコンピュータ、家庭用カメラ）によって一般の画像をキャッチするとともに、画像に対するインテリジェント分析の結果によって人とバーチャルボールの間のインタラクション効果を生成し、これにより拡張現実方法を用いて画像処理に基づく人とボールの間のインタラクションの結果を利用者のために表示する。従って、本発明により、一般の利用者は携帯電話、タブレットコンピュータなど一般の画像収集表示設備を用いて拡張現実技術によって生成されたバーチャルボールとインタラクションを行うことができる。それによって、よりリアルな実景の感覚を生成することができ、拡張現実システムによりなじみ、従来の方法では達成できない独特なインタラクション方式を実現することができる。

【0036】

上記実施例は、本発明の好ましい実施例に過ぎず、本発明を限定するためのものではない。当業者にとって明らかなことは、本発明の主旨および範囲を離脱しない状況下で、本発明の実施例に対してさまざまな補正および変更を行うことができることである。従って、発明の請求の範囲に限定された本発明の範囲内に入る全ての補正または変形は本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】