(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-25
(54)【発明の名称】インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体
(51)【国際特許分類】
G06F 3/04845 20220101AFI20220518BHJP
G09G 5/00 20060101ALI20220518BHJP
G09F 9/00 20060101ALI20220518BHJP
G06F 3/04815 20220101ALI20220518BHJP
G06F 3/01 20060101ALI20220518BHJP
【FI】
G06F3/0484 150
G09G5/00 550C
G09F9/00 366G
G06F3/0481 150
G06F3/01 510
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021556969
(86)(22)【出願日】2020-07-24
(85)【翻訳文提出日】2021-09-22
(86)【国際出願番号】 CN2020104593
(87)【国際公開番号】W WO2021103613
(87)【国際公開日】2021-06-03
(31)【優先権主張番号】201911193989.1
(32)【優先日】2019-11-28
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】520291939
【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司
【氏名又は名称原語表記】BEIJING SENSETIME TECHNOLOGY DEVELOPMENT CO.,LTD.
【住所又は居所原語表記】Room 1101-1117,11th Floor No.58 Northwest 4th Ring Road, Haidian District Beijing 100080 China
(74)【代理人】
【識別番号】110000729
【氏名又は名称】特許業務法人 ユニアス国際特許事務所
(72)【発明者】
【氏名】▲孫▼ 林
【テーマコード(参考)】
5C182
5E555
5G435
【Fターム(参考)】
5C182AA04
5C182AB02
5C182AB08
5C182AB11
5C182AB14
5C182AB25
5C182AC03
5C182AC46
5C182BA14
5C182BA47
5C182BA54
5C182BA55
5C182BA75
5E555AA27
5E555AA63
5E555BA04
5E555BB04
5E555BE16
5E555BE17
5E555CA10
5E555CA42
5E555CB21
5E555CC27
5E555DA09
5E555DA11
5E555DB32
5E555DC43
5E555FA00
5G435AA00
5G435EE12
5G435EE49
5G435LL07
5G435LL08
5G435LL15
5G435LL17
(57)【要約】
本発明は、インタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体に関する。前記方法は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するステップと、目標オブジェクトの前記第1画像における第1位置を取得するステップと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップと、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するステップと、
目標オブジェクトの前記第1画像における第1位置を取得するステップと、
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップと、
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む
ことを特徴とするインタラクティブオブジェクト駆動方法。
【請求項2】
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得することと、
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
ことを特徴とする請求項1に記載のインタラクティブオブジェクト駆動方法。
【請求項3】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定することと、
前記インタラクティブオブジェクトの1つ又は複数の身体部位が動作を実行する重みを確定することと、
前記第1相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにすることと、を含む
ことを特徴とする請求項2に記載のインタラクティブオブジェクト駆動方法。
【請求項4】
前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される
ことを特徴とする請求項1から3の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項5】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記仮想撮像機器の前記仮想空間における位置を前記第2位置に移動させることと、
前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにすることと、を含む
ことを特徴とする請求項4に記載のインタラクティブオブジェクト駆動方法。
【請求項6】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにすることを含む
ことを特徴とする請求項2から4の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項7】
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
前記マッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得することと、
前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域にそれぞれ対応する複数の第2サブ領域に分割することと、
前記第1画像の前記複数の第1サブ領域のうち、前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて前記第2画像の前記複数の第2サブ領域のうちの目標第2サブ領域を確定することと、
前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
ことを特徴とする請求項1に記載のインタラクティブオブジェクト駆動方法。
【請求項8】
前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定することと、
前記インタラクティブオブジェクトを駆動して前記第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第2サブ領域を向うようにすることと、を含む
ことを特徴とする請求項7に記載のインタラクティブオブジェクト駆動方法。
【請求項9】
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップは、
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、
前記第1画像の画素平面の前記仮想空間における対応するマッピング平面を確定することと、
前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定することと、を含み、
前記マッピング平面は、前記第1画像の画素平面を前記仮想空間にマッピングして得られたものである
ことを特徴とする請求項1から8の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項10】
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することは、
前記第1画像の単位画素距離と実空間の単位距離との間の第1比例関係を確定することと、
実空間の単位距離と仮想空間の単位距離との間の第2比例関係を確定することと、
前記第1比例関係及び前記第2比例関係に基づいて、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、を含む
ことを特徴とする請求項9に記載のインタラクティブオブジェクト駆動方法。
【請求項11】
前記目標オブジェクトの前記第1画像における第1位置は、目標オブジェクトの顔部の位置及び/又は目標オブジェクトの身体の位置を含む
ことを特徴とする請求項1から10の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項12】
インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するための第1取得ユニットと、
目標オブジェクトの前記第1画像における第1位置を取得するための第2取得ユニットと、
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するための確定ユニットと、
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするための駆動ユニットと、を備える
ことを特徴とするインタラクティブオブジェクト駆動装置。
【請求項13】
前記駆動ユニットは、
前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得し、
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする
ことを特徴とする請求項12に記載のインタラクティブオブジェクト駆動装置。
【請求項14】
前記駆動ユニットは、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定し、
前記インタラクティブオブジェクトの1つ又は複数の身体部位が動作を実行する重みを確定し、
前記第1相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする
ことを特徴とする請求項13に記載のインタラクティブオブジェクト駆動装置。
【請求項15】
前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される
ことを特徴とする請求項12から14の何れか一項に記載のインタラクティブオブジェクト駆動装置。
【請求項16】
前記駆動ユニットは、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
前記仮想撮像機器の前記仮想空間における位置を前記第2位置に移動させ、
前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにする
ことを特徴とする請求項15に記載のインタラクティブオブジェクト駆動装置。
【請求項17】
前記駆動ユニットは、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
前記インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにする
ことを特徴とする請求項13から15の何れか一項インタラクティブオブジェクト駆動装置。
【請求項18】
前記駆動ユニットは、
前記マッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得し、
前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域にそれぞれ対応する複数の第2サブ領域に分割し、
前記第1画像の前記複数の第1サブ領域のうち、前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて前記第2画像の前記複数の第2サブ領域のうちの目標第2サブ領域を確定し、
前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする
ことを特徴とする請求項12に記載のインタラクティブオブジェクト駆動装置。
【請求項19】
前記駆動ユニットは、前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、
前記インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定し、
前記インタラクティブオブジェクトを駆動して前記第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第2サブ領域を向うようにする
ことを特徴とする請求項18に記載のインタラクティブオブジェクト駆動装置。
【請求項20】
前記確定ユニットは、
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定し、
前記第1画像の画素平面の前記仮想空間における対応するマッピング平面を確定し、
前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定し、
前記マッピング平面は、前記第1画像の画素平面を前記仮想空間にマッピングして得られたものである
ことを特徴とする請求項12から19の何れか一項に記載のインタラクティブオブジェクト駆動装置。
【請求項21】
前記確定ユニットは、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定するときに、
前記第1画像の単位画素距離と実空間の単位距離との間の第1比例関係を確定し、
実空間の単位距離と仮想空間の単位距離との間の第2比例関係を確定し、
前記第1比例関係及び前記第2比例関係に基づいて、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定する
ことを特徴とする請求項20に記載のインタラクティブオブジェクト駆動装置。
【請求項22】
前記目標オブジェクトの前記第1画像における第1位置は、目標オブジェクトの顔部の位置及び/又は目標オブジェクトの身体の位置を含む
ことを特徴とする請求項12から21の何れか一項に記載のインタラクティブオブジェクト駆動装置。
【請求項23】
表示機器であって、
前記表示機器には、透明ディスプレイスクリーンが配置され、前記透明ディスプレイスクリーンは、インタラクティブオブジェクトを表示し、前記表示機器は、前記透明ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにするようにして、請求項1から11の何れか一項に記載の方法を実行する
ことを特徴とする表示機器。
【請求項24】
電子機器であって、
前記電子機器は、記憶媒体と、プロセッサとを備え、前記記憶媒体は、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに請求項1から11の何れか一項に記載の方法を実施する
ことを特徴とする電子機器。
【請求項25】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記プログラムがプロセッサによって実行されたときに、請求項1から11の何れか一項に記載の方法は、実施される
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータ技術分野に関し、具体的にインタラクティブオブジェクト駆動方法、装置、機器、及び記憶媒体に関する。
【背景技術】
【0002】
ほとんどの人間とコンピュータのインタラクティブの方式は、ユーザにより、ボタンクリック、タッチ、音声を利用して入力を実行し、デバイスにより、表示スクリーン上に表示された画像、テキスト、または、仮想人物を利用して応答する方式である。現在、ほとんどの仮想人物は、音声アシスタントの基礎で改良されたものであり、デバイスに入力された音声のみに対して出力を実行し、ユーザと仮想人物との間のインタラクティブはまだ表面上に停滞している。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の実施例は、インタラクティブオブジェクトの駆動案を提供する。
【課題を解決するための手段】
【0004】
本発明の一態様は、インタラクティブオブジェクト駆動方法を提供する。前記方法は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するステップと、目標オブジェクトの前記第1画像における第1位置を取得するステップと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップと、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む。
【0005】
本発明に係る何れか1つの実施形態を参照すると、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得することと、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む。
【0006】
本発明に係る何れか1つの実施形態を参照すると、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定することと、前記インタラクティブオブジェクトの1つ又は複数の身体部位が動作を実行する重みを確定することと、前記第1相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにすることと、を含む。
【0007】
本発明に係る何れか1つの実施形態を参照すると、前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される。
【0008】
本発明に係る何れか1つの実施形態を参照すると、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記仮想撮像機器の仮想空間における位置を前記第2位置に移動させることと、前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにすることと、を含む。
【0009】
本発明に係る何れか1つの実施形態を参照すると、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにすることを含む。
【0010】
本発明に係る何れか1つの実施形態を参照すると、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、前記マッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得することと、前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域にそれぞれ対応する複数の第2サブ領域に分割することと、前記第1画像の前記複数の第1サブ領域のうち、前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて前記第2画像の前記複数の第2サブ領域のうちの目標第2サブ領域を確定することと、前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む。
【0011】
本発明に係る何れか1つの実施形態を参照すると、前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、前記インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定することと、前記インタラクティブオブジェクトを駆動して前記第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第2サブ領域を向うようにすることとを含む。
【0012】
本発明に係る何れか1つの実施形態を参照すると、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップは、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、前記第1画像の画素平面の前記仮想空間における対応するマッピング平面を確定することと、前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定することと、を含み、前記マッピング平面は、前記第1画像の画素平面を前記仮想空間にマッピングして得られたものである。
【0013】
本発明に係る何れか1つの実施形態を参照すると、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することは、前記第1画像の単位画素距離と実空間の単位距離との間の第1比例関係を確定することと、実空間の単位距離と仮想空間の単位距離との間の第2比例関係を確定することと、前記第1比例関係及び前記第2比例関係に基づいて、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、を含む。
【0014】
本発明に係る何れか1つの実施形態を参照すると、前記目標オブジェクトの前記第1画像における第1位置は、目標オブジェクトの顔部の位置及び/又は目標オブジェクトの身体の位置を含む。
【0015】
本発明の一態様は、インタラクティブオブジェクト駆動装置を提供する。前記装置は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するための第1取得ユニットと、目標オブジェクトの前記第1画像における第1位置を取得するための第2取得ユニットと、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するための確定ユニットと、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするための駆動ユニットと、を備える。
【0016】
本発明の一態様は、表示機器を提供する。前記表示機器には、透明ディスプレイスクリーンが配置され、前記透明ディスプレイスクリーンは、インタラクティブオブジェクトを表示し、前記表示機器は、前記透明ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにするように、本発明に係る何れか1つの実施形態に記載の方法を実行する。
【0017】
本発明の一態様は、電子機器を提供する。前記電子機器は、記憶媒体と、プロセッサとを備え、前記記憶媒体は、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに本発明に係る何れか1つの実施形態に記載のインタラクティブオブジェクト駆動方法を実施する。
【0018】
本発明の一態様は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供する。前記プログラムがプロセッサによって実行されたときに、本発明に係る何れか1つの実施形態に記載のインタラクティブオブジェクト駆動方法は、実施される。
【発明の効果】
【0019】
本発明の1つ又は複数の実施例のインタラクティブオブジェクト駆動方法、装置、機器及びコンピュータ可読記憶媒体によると、表示機器の周辺の第1画像を取得し、インタラクティブオブジェクトとインタラクティブを行う目標オブジェクトの前記第1画像における第1位置、及び、前記第1画像と表示機器に表示された仮想空間とのマッピング関係を取得し、当該第1位置及び当該マッピング関係に基づいてインタラクティブオブジェクトを駆動して動作を実行するようにすることによって、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
【図面の簡単な説明】
【0020】
本明細書の1つ又は複数の実施例または従来技術における技術案がより明瞭に説明されるように、以下では、実施例或いは従来技術の記述に使用必要な図面を簡単に紹介する。明らかに、以下の記述に係る図面が単に本明細書の1つ又は複数の実施例に記載の幾つかの実施例に過ぎず、当業者であれば、進歩性に値する労働を掛けずにこれらの図面から他の図面を取得可能である。
【0021】
【
図1】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法における表示機器の模式図を示す。
【0022】
【
図2】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
【0023】
【
図3】本発明の少なくとも1つの実施例に係る第2位置とインタラクティブオブジェクトとの相対位置の模式図を示す。
【0024】
【
図4】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
【0025】
【
図5】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
【0026】
【
図6】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
【0027】
【
図7】本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動装置の構造模式図を示す。
【0028】
【
図8】本発明の少なくとも1つの実施例に係る電子機器の構造模式図を示す。
【発明を実施するための形態】
【0029】
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
【0030】
本文における用語「及び/又は」は、単に関連対象の関連関係を記述するものであり、3種の関係が存在可能であることを示す。例えば、A及び/又はBは、Aが単独に存在することと、A及びBが同時に存在することと、Bが単独に存在することという3種の場合を表せる。また、本文における用語「少なくとも1種」は、複数種のうちの何れか1種又は複数種のうちの少なくとも2種の任意の組み合わせを示す。例えば、A、B、Cのうちの少なくとも1種を含むことは、A、B及びCによって構成された集合から、何れか1つ又は複数の要素を選択することを示してもよい。
【0031】
本発明の少なくとも1つの実施例は、インタラクティブオブジェクト駆動方法を提供する。前記駆動方法は、端末機器又はサーバ等の電子機器によって実行されてもよい。前記端末機器は、固定端末又はモバイル端末、例えば、携帯電話、タブレットPC、ゲーム機、デスクトップPC、広告機、一体型PC、車載端末等であってもよい。前記方法は、プロセッサがメモリに記憶されたコンピュータ可読指令を呼び出すことで実施されてもよい。
【0032】
本発明の実施例において、インタラクティブオブジェクトは、目標オブジェクトとインタラクティブを行うことができる何れか1種のインタラクティブオブジェクトであってもよい。それは、仮想人物であってもよく、仮想動物、仮想物品、漫画キャラクタ等のインタラクティブ機能を実現可能な他の仮想オブジェクトであってもよい。前記目標オブジェクトは、ユーザ、ロボット、又は他のスマート機器であってもよい。前記目標オブジェクトと前記インタラクティブオブジェクトとの間のインタラクティブ方式は、能動的なインタラクティブ方式であってもよく、受動的なインタラクティブ方式であってもよい。一例示において、目標オブジェクトは、ジェスチャ又は肢体動作を行って要求を発して、能動的なインタラクティブの方式でインタラクティブオブジェクトがそれにインタラクティブを行うようトリガしてもよい。別の例示において、インタラクティブオブジェクトは、能動的に挨拶したり、目標オブジェクトが動作等を行うよう提示したりすることにより、目標オブジェクトに受動的な方式でインタラクティブオブジェクトとインタラクティブを行わせてもよい。
【0033】
前記インタラクティブオブジェクトは、表示機器を介してディスプレイされてもよい。前記表示機器は、表示機能を持つ電子機器、例えば、ディスプレイスクリーンを有する一体型PC、プロジェクタ、仮想現実(Virtual Reality、VR)機器、拡張現実(Augmented Reality、AR)機器であってもよく、特殊な表示効果を有する表示機器であってもよい。
【0034】
図1は、本発明の少なくとも1つの実施例に係る表示機器を示す。
図1に示すように、当該表示機器は、ディスプレイスクリーンに立体画面を表示することにより、立体効果を有する仮想シナリオ及びインタラクティブオブジェクトを呈してもよい。
図1では、ディスプレイスクリーンに表示されたインタラクティブオブジェクトは、例えば、仮想漫画人物を含む。当該ディスプレイスクリーンは、透明ディスプレイスクリーンであってもよい。幾つかの実施例において、本発明における前記端末機器は、上記ディスプレイスクリーンを有する表示機器であってもよい。表示機器には、メモリ及びプロセッサが配置され、メモリは、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに本発明に係るインタラクティブオブジェクト駆動方法を実施することにより、ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにする。
【0035】
幾つかの実施例において、インタラクティブオブジェクトが動作を行ったり、表情を表したり、音声を出力するように駆動するための駆動データが表示機器によって受信されたことに応じて、インタラクティブオブジェクトは、目標オブジェクトへ向かって、指定の動作、表情を行い、又は指定の音声を発してもよい。表示機器の周辺に位置する目標オブジェクトの動作、表情、身分、嗜好等に基づいて駆動データを生成することにより、インタラクティブオブジェクトを駆動して応答させ、目標オブジェクトへ擬人化のサービスを提供する。インタラクティブオブジェクトと目標オブジェクトとのインタラクティブ過程に、インタラクティブオブジェクトが前記目標オブジェクトの位置を正確に把握することができない可能性があるため、前記目標オブジェクトとのフェース・トゥ・フェースの交流を維持することができず、インタラクティブオブジェクトと目標オブジェクトとの間のインタラクティブが硬くて不自然になる。これに鑑みて、本発明の少なくとも1つの実施例は、目標オブジェクトがインタラクティブオブジェクトとのインタラクティブを行う体験を向上させることができるためのインタラクティブオブジェクト駆動方法を提出する。
【0036】
図2は、本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動方法のフローチャートを示す。
図2に示すように、前記方法は、ステップS201~ステップS204を含む。
【0037】
ステップS201では、表示機器の周辺(surroundings)の第1画像を取得する。前記表示機器は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示する。
【0038】
前記表示機器の周辺は、前記表示機器の任意方向における設定範囲を含み、任意方向は、例えば、前記表示機器の前方向、横方向、後方向、上方向のうちの1つ又は複数の方向を含んでもよい。
【0039】
画像収集機器を利用して第1画像を収集してもよい。前記画像収集機器は、表示機器に内蔵されたカメラヘッドであってもよく、表示機器とは独立するカメラヘッドであってもよい。前記画像収集機器の数は、1つ又は複数であってもよい。
【0040】
好ましくは、第1画像は、ビデオストリームにおける1フレームであってもよく、リアルタイムで取得された画像であってもよい。
【0041】
本発明の実施例において、前記仮想空間は、表示機器のスクリーンにディスプレイされた仮想シナリオであってもよく、前記インタラクティブオブジェクトは、当該仮想シナリオに現れる仮想人物、仮想物品、漫画キャラクタ等の、目標オブジェクトとのインタラクティブを行うことができる仮想オブジェクトであってもよい。
【0042】
ステップS202では、目標オブジェクトの前記第1画像における第1位置を取得する。
【0043】
本発明の実施例において、前記第1画像を予めトレーニングされたニューラルネットワークモデルに入力し、前記第1画像に対して人顔及び/又は人体検出を行うことにより、前記第1画像に目標オブジェクトが含まれるか否かを検出してもよい。ただし、前記目標オブジェクトは、前記インタラクティブオブジェクトとインタラクティブを行うユーザ対象、例えば、人、動物又は動作、指令を実行可能な物体等を指す。本発明では、目標オブジェクトのタイプについて制限することを意図しない。
【0044】
前記第1画像の検出結果が人顔及び/又は人体(例えば、人顔検出枠及び/又は人体検出枠の形式)を含むことに応じて、人顔及び/又は人体の第1画像における位置を把握することで前記目標オブジェクトの第1画像における第1位置を確定する。当業者であれば理解できるように、他の方式で目標オブジェクトの第1画像における第1位置を把握してもよく、本発明では、これについて限定しない。
【0045】
ステップS203では、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定する。
【0046】
第1画像と仮想空間との間のマッピング関係は、第1画像を仮想空間にマッピングしたときに、前記第1画像が前記仮想空間に対して現れる大きさ及び所在する位置を指す。前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として当該マッピング関係を確定することは、前記インタラクティブオブジェクトの視角で、仮想空間にマッピングされた第1画像が現れる大きさ及び所在する位置を指す。
【0047】
ステップS204では、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
【0048】
目標オブジェクトの前記第1画像における第1位置、及び前記第1画像と仮想空間との間のマッピング関係に基づいて、インタラクティブオブジェクトの視角で、仮想空間にマッピングされた目標オブジェクトとインタラクティブオブジェクトとの間の相対位置を確定することができる。当該相対位置に基づいて前記インタラクティブオブジェクトを駆動して動作を実行するようにし(例えば、前記インタラクティブオブジェクトを駆動して身を振り向かせ、身を横にさせ、頭を振り向かせる等)、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0049】
本発明の実施例では、表示機器の周辺の第1画像を取得可能であり、インタラクティブオブジェクトとインタラクティブを行う目標オブジェクトの前記第1画像における第1位置、及び前記第1画像と表示機器に表示された仮想空間とのマッピング関係を取得し、当該第1位置及び当該マッピング関係に基づいてインタラクティブオブジェクトを駆動して動作を実行するようにすることによって、前記インタラクティブオブジェクトが目標オブジェクトと対向するように維持することができ、目標オブジェクトとインタラクティブオブジェクトとのインタラクティブをよりリアルにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0050】
本発明の実施例において、前記仮想空間及び前記インタラクティブオブジェクトは、仮想撮像機器で取得された画像データを前記表示機器のスクリーンに表示して得られたものである。前記仮想空間の画像データ及び前記インタラクティブオブジェクトの画像データは、仮想撮像機器で取得されたものであってもよく、仮想撮像機器によって呼び出されたものであってもよい。仮想撮像機器は、3Dソフトウェアに用いられ、スクリーンに3D画像を表示するカメラアプリ又はカメラユニットであり、仮想空間は、前記仮想撮像機器で取得された3D画像をスクリーンに表示して得られたものである。したがって、目標オブジェクトの視角は、3Dソフトウェアにおける仮想撮像機器の視角として理解され得る。
【0051】
目標オブジェクトと画像収集機器の所在する空間は、実空間と理解されてもよく、目標オブジェクトを含む第1画像は、画素空間に対応するものとして理解されてもよく、インタラクティブオブジェクト、仮想撮像機器に対応するのは、仮想空間である。画素空間と実空間との対応関係は、目標オブジェクトと画像収集機器との距離、及び、画像収集機器のパラメータに基づいて特定されてもよい。実空間と仮想空間との対応関係は、表示機器のパラメータ及び仮想撮像機器のパラメータに基づいて特定されてもよい。画素空間と実空間との対応関係、及び実空間と仮想空間との対応関係が特定された後、画素空間と仮想空間との対応関係を確定してもよい。つまり、第1画像と前記仮想空間との間のマッピング関係を確定してもよい。
【0052】
幾つかの実施例において、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定してもよい。
【0053】
まず、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係nを確定する。
【0054】
ただし、単位画素距離とは、各画素に対応するサイズ又は長さを指し、仮想空間の単位距離とは、仮想空間における単位サイズ又は単位長さを指す。
【0055】
一例示では、第1画像の単位画素距離と実空間の単位距離との間の第1比例関係n1、及び実空間の単位距離と仮想空間の単位距離との間の第2比例関係n2を確定することにより、比例関係nを確定してもよい。ただし、実空間の単位距離とは、実空間における単位サイズ又は単位長さを指す。ここで、単位画素距離、仮想空間の単位距離、実空間の単位距離の大きさは、予め設置されてもよく、且つ変更されてもよい。
【0056】
第1比例関係n
1は、数式(1)で算出されてもよい。
【数1】
ただし、dは、目標オブジェクトと画像収集機器との間の距離を示し、例示的に、目標オブジェクトの顔部と画像収集機器との間の距離を採用してもよく、aは、第1画像の幅を示し、bは、第1画像の高さを示し、
【数2】
である。ただし、FOV
1は、画像収集機器の鉛直方向における視野角を示し、conは、角度からラジアンへ変換の定数である。
【0057】
第2比例関係n2は、数式(2)で算出されてもよい。
n2=hs/hv (2)
ただし、hsは、表示機器のスクリーンの高さを示し、hvは、仮想撮像機器の高さを示し、hv=tan((FOV2/2)*con*dz*2)である。ただし、FOV2は、仮想撮像機器の鉛直方向における視野角を示し、conは、角度からラジアンへ変換の定数であり、dzは、インタラクティブオブジェクトと仮想撮像機器との間の軸方向距離を示す。
【0058】
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係nは、数式(3)で算出されてもよい。
n=n1/n2 (3)
【0059】
次に、前記第1画像の画素平面の前記仮想空間における対応するマッピング平面、及び前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離fzを確定する。
【0060】
前記マッピング平面と前記インタラクティブオブジェクトとの間の軸方向距離fzは、数式(4)で算出されてもよい。
fz=c*n1/n2 (4)
【0061】
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係n、及び仮想空間におけるマッピング平面とインタラクティブオブジェクトとの間の軸方向距離fzが特定された場合に、第1画像と仮想空間との間のマッピング関係を確定してもよい。
【0062】
幾つかの実施例において、前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得し、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
【0063】
前記第2位置の仮想空間における座標(fx、fy、fz)は、以下の数式で算出される。
fx=rx*n1/n2
fy=ry*n1/n2 (5)
fz=c*n1/n2
【0064】
ただし、rx、ryは、目標オブジェクトの第1画像における第1位置の、x方向とy方向とにおける座標である。
【0065】
目標オブジェクトの第1画像における第1位置を仮想空間にマッピングして目標オブジェクトの仮想空間における対応する第2位置を取得することにより、仮想空間における、目標オブジェクトとインタラクティブオブジェクトとの間の相対位置関係を確定してもよい。当該相対位置関係によってインタラクティブオブジェクトを駆動して動作を実行するようにすることにより、前記インタラクティブオブジェクトが目標オブジェクトの位置変換に対して動作フィードバックを発生するようにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0066】
一例示では、
図4に示すように、以下の方式でインタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
【0067】
まず、ステップS401では、前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定する。前記第1相対角度とは、インタラクティブオブジェクトの正面向き(人体の矢状断面に対応する方向)と第2位置との間の角度を示す。
図3に示すように、310は、インタラクティブオブジェクトを示し、その正面が
図3における点線に示す方向へ向かい、320は、第2位置に対応する座標点(第2位置点)を示す。第2位置点とインタラクティブオブジェクトの所在する位置点(例えば、インタラクティブオブジェクトの横方向断面における重心をインタラクティブオブジェクトの所在する位置点として確定してもよい)との間の連結線と、インタラクティブオブジェクトの正面向きとの間の角度θ1は、第1相対角度そのものである。
【0068】
次に、ステップS402では、前記インタラクティブオブジェクトの1つ又は複数の身体部位がそれぞれ動作を実行する重みを確定する。インタラクティブオブジェクトの1つ又は複数の身体部位とは、動作の実行に係る身体部位を指す。インタラクティブオブジェクトが1つの動作を完成することは、例えば、身を90度回転させてあるオブジェクトへ向かせることは、下半身、上半身、頭部にて共同して完成されてもよい。例えば、下半身が30度回転し、上半身が60度回転し、頭部が90度回転すると、インタラクティブオブジェクトが90度回転することは、実現可能である。ただし、各身体部位が回転する幅比例は、動作を実行する重みそのものである。必要に応じて、その中の1つの身体部位が動作を実行する重みを高く設定してもよい。こうして、動作を実行するときに、当該身体部位の運動幅が大きくて他の身体部位の運動幅が小さいように、共同して所定の動作を完成する。当業者であれば理解できるように、当該ステップに含まれる身体部位、及び各身体部位に対応する重みは、実行する動作、及び動作効果に対する要求に応じて具体的に設定されてもよく、又は、レンダラやソフトウェア内部で自動的に設定されてもよい。
【0069】
最後に、ステップS403では、前記第1相対角度と前記インタラクティブオブジェクトの各部位にそれぞれ対応する重みとに応じて、前記インタラクティブオブジェクトの各部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする。
【0070】
本発明の実施例において、仮想空間にマッピングされた目標オブジェクトとインタラクティブオブジェクトとの間の相対角度、及びインタラクティブオブジェクトの各身体部位が動作を実行する重みに基づいて、インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにする。これにより、インタラクティブオブジェクトが異なる身体部位に応じて異なる幅の運動をすることで、インタラクティブオブジェクトの身体が自然且つ生き生きと追跡する目標オブジェクトへ向かう効果は実現され、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0071】
幾つかの実施例において、インタラクティブオブジェクトの視線を仮想撮像機器に整列させるように設置してもよい。目標オブジェクトの仮想空間における対応する第2位置が特定された後、前記仮想撮像機器の仮想空間における位置を前記第2位置に移動させる。インタラクティブオブジェクトの視線が仮想撮像機器に常に整列するように設置されるため、目標オブジェクトにとって、インタラクティブオブジェクトの視線が常に自分にフォローする感じがするようにすることができ、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0072】
幾つかの実施例において、インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにしてもよい。こうして、インタラクティブオブジェクトの視線が目標オブジェクトにフォローし、目標オブジェクトのインタラクティブ体験を向上させることができる。
【0073】
本発明の実施例において、
図5に示すように、以下の方式で、前記インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
【0074】
まず、ステップS501では、前記第1画像と仮想空間との間のマッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得する。上記マッピング関係がインタラクティブオブジェクトの前記仮想空間における位置を参照点とし、即ち、インタラクティブオブジェクトの視角で成り立つため、前記第1画像を前記仮想空間にマッピングして得られた第2画像の範囲は、インタラクティブオブジェクトの視野範囲とされてもよい。
【0075】
次に、ステップS502では、前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域に対応する複数の第2サブ領域に分割してもよい。ここでの対応とは、前記第1サブ領域の数が前記第2サブ領域の数に等しく、各第1サブ領域と各第2サブ領域との大きさが同じ比例関係を呈し、且つ各第1サブ領域が第2画像において対応する第2サブ領域を有することを指す。
【0076】
仮想空間にマッピングされた第2画像の範囲がインタラクティブオブジェクトの視野範囲とされるため、第2画像に対する分割は、インタラクティブオブジェクトの視野範囲に対する分割に相当する。インタラクティブオブジェクトの視線は、視野範囲における各第2サブ領域に合わせられてもよい。
【0077】
その後、ステップS503では、前記第1画像の前記複数の第1サブ領域のうち、前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて前記第2画像の前記複数の第2サブ領域のうちの目標第2サブ領域を確定する。前記目標オブジェクトの顔の所在する第1サブ領域を目標第1サブ領域としてもよく、目標オブジェクトの身体の所在する第1サブ領域を目標第1サブ領域としてもよく、目標オブジェクトの顔と身体との所在する第1サブ領域を共同して目標第1サブ領域としてもよい。前記目標第1サブ領域には、複数の第1サブ領域が含まれてもよい。
【0078】
次に、ステップS504では、目標第2サブ領域が特定された後、目標第2サブ領域の所在する位置に応じて、インタラクティブオブジェクトを駆動して動作を実行するようにしてもよい。
【0079】
本発明の実施例において、インタラクティブオブジェクトの視野範囲を分割し、目標オブジェクトの第1画像における位置に基づいて、当該目標オブジェクトの、インタラクティブオブジェクトの視野範囲における対応する位置領域を確定するため、快速且つ効果的にインタラクティブオブジェクトを駆動して動作を実行させることができる。
【0080】
図6に示すように、
図5のステップS501~S504に加えて、ステップS505も含む。ステップS505では、目標第2サブ領域が特定された場合に、インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定してもよい。インタラクティブオブジェクトを駆動して当該第2相対角度を回動するようにすることにより、インタラクティブオブジェクトが目標第2サブ領域を向うようにする。このような方式により、インタラクティブオブジェクトが目標オブジェクトの移動とともに常に目標オブジェクトとの対面を維持する効果は、実現される。当該第2相対角度の特定方式は、第1相対角度の特定方式に類似する。例えば、目標第2サブ領域の中心及びインタラクティブオブジェクトの所在する位置点の間の連結線と、インタラクティブオブジェクトの正面向きとの間の角度を第2相対角度として確定する。当該第2相対角度の特定方式は、これに限定されない。
【0081】
一例示では、インタラクティブオブジェクト全体を駆動して当該第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトを目標第2サブ領域へ向かわせてもよく、上述した通り、前記第2相対角度及び前記インタラクティブオブジェクトの各部位に対応する重みに応じて、前記インタラクティブオブジェクトの各部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトを前記目標第2サブ領域に向かわせてもよい。
【0082】
幾つかの実施例において、前記表示機器は、透明なディスプレイスクリーンであってもよく、それに表示されたインタラクティブオブジェクトは、立体効果を持つ仮想キャラクタを含む。目標オブジェクトが表示機器の裏面、即ち、インタラクティブオブジェクトの後ろに現れるときに、目標オブジェクトの第1画像における第1位置の、仮想空間にマッピングされた第2位置は、インタラクティブオブジェクトの後にある。インタラクティブオブジェクトの正面方向とマッピングされた第2位置との間の第1相対角度で前記インタラクティブオブジェクトを駆動して動作を実行するようにすることにより、インタラクティブオブジェクトが身を振り向いて前記目標オブジェクトに対面するようにすることができる。
【0083】
図7は、本発明の少なくとも1つの実施例に係るインタラクティブオブジェクト駆動装置の構造模式図を示す。
図7に示すように、当該装置は、第1取得ユニット701、第2取得ユニット702、確定ユニット703及び駆動ユニット704を備えてもよい。
【0084】
ただし、第1取得ユニット701は、表示機器の周辺の第1画像を取得し、前記表示機器は、インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示し、第2取得ユニット702は、目標オブジェクトの前記第1画像における第1位置を取得し、確定ユニット703は、前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定し、駆動ユニット704は、前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
【0085】
幾つかの実施例において、駆動ユニット704は、具体的に、前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得し、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
【0086】
幾つかの実施例において、駆動ユニット704は、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定し、前記インタラクティブオブジェクトの1つ又は複数の身体部位が動作を実行する重みを確定し、前記第1相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにする。
【0087】
幾つかの実施例において、前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される。
【0088】
幾つかの実施例において、駆動ユニット704は、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記仮想撮像機器の仮想空間における位置を前記第2位置に移動させ、前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにする。
【0089】
幾つかの実施例において、駆動ユニット704は、前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにする。
【0090】
幾つかの実施例において、駆動ユニット704は、具体的に、前記マッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得し、前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域にそれぞれ対応する複数の第2サブ領域に分割し、前記第1画像において前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて対応する目標第2サブ領域を確定し、前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにする。
【0091】
幾つかの実施例において、駆動ユニット704は、前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするときに、具体的に、前記インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定し、前記インタラクティブオブジェクトを駆動して前記第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第2サブ領域を向うようにする。
【0092】
幾つかの実施例において、確定ユニット703は、具体的に、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定し、前記第1画像の画素平面の前記仮想空間における対応するマッピング平面を確定し、前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定する。前記マッピング平面は、前記第1画像の画素平面を前記仮想空間にマッピングして得られたものである。
【0093】
幾つかの実施例において、確定ユニット703は、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定するときに、具体的に、前記第1画像の単位画素距離と実空間の単位距離との間の第1比例関係を確定し、実空間の単位距離と仮想空間の単位距離との間の第2比例関係を確定し、前記第1比例関係及び前記第2比例関係に基づいて、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定する。
【0094】
幾つかの実施例において、前記目標オブジェクトの前記第1画像における第1位置は、目標オブジェクトの顔部の位置及び/又は目標オブジェクトの身体の位置を含む。
【0095】
本明細書の少なくとも1つの実施例は、電子機器を更に提供する。
図8に示すように、前記機器は、記憶媒体801、プロセッサ802、ネットワークインターフェース803を備える。記憶媒体801は、プロセッサで運転され得るコンピュータ指令を記憶し、プロセッサは、前記コンピュータ指令を実行したときに本発明の何れか1つの実施例に記載のインタラクティブオブジェクト駆動方法を実施する。本明細書の少なくとも1つの実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記プログラムがプロセッサによって実行されたときに、本発明の何れか1つの実施例に記載のインタラクティブオブジェクト駆動方法は、実施される。
【0096】
当業者であれば理解できるように、本明細書の1つ又は複数の実施例は、方法、システム又はコンピュータプログラム製品として提供されてもよい。したがって、本明細書の1つ又は複数の実施は、100%ハードウェアの実施例、100%ソフトウェアの実施例、又はソフトウェアとハードウェアとを組み合わせた態様の実施例の形式を採用してもよい。また、本明細書の1つ又は複数の実施例は、1つまたは複数の、コンピュータ利用可能なプログラムコードを含むコンピュータ利用可能な記憶媒体(磁気ディスクメモリ、CD-ROM、光学メモリ等を含むが、それらに限定されない)で実施されるコンピュータプログラム製品の形式を採用してもよい。
【0097】
本明細書における各実施例は、何れも漸進の方式で記述され、各実施例は、他の実施例との相違点を重点的に説明し、各実施例同士の同じ又は類似する部分が互いに参照すればよい。特にデータ処理機器の実施例は、方法実施例に基本的に類似するため、記述が相対的に簡単であり、関連箇所が方法実施例の部分の説明を参照すればよい。
【0098】
以上は、本明細書の特定の実施例について記述した。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の挙動又はステップは、実施例における順番と異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた手順は、示された特定の順番又は連続順番でないと所望の結果を得られないことを要求するとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理も、実行可能であり、又は有利なものである。
【0099】
本明細書に記述されたテーマ及び機能操作の実施例は、デジタル電子回路、有形的に体現されたコンピュータソフトウェア若しくはファームウェア、本発明に開示された構造及びその構造的均等物を含むコンピュータハードウェア、又はそれらのうちの1つ又は複数の組み合わせにおいて実現され得る。本発明に記述されたテーマの実施例は、1つ又は複数のコンピュータプログラム、即ち、有形の非一時的なプログラムキャリア上にコーディングされることでデータ処理装置によって実行され又はデータ処理装置の操作を制御されるコンピュータプログラム指令における1つ又は複数のモジュールとして実現され得る。代替的に又は追加的に、プログラム指令は、人工で生成された伝送信号、例えば機器で生成された電気、光又は電磁的信号にコーディングされてもよい。当該信号は、生成されることで情報を符号化して適切な受信機装置へ伝送されてデータ処理装置に実行させる。コンピュータ記憶媒体は、機器読み取り可能な記憶機器、機器読み取り可能な記憶基板、ランダム若しくはシリアルアクセスメモリ機器、又はそれらのうちの1つ又は複数の組み合わせであってもよい。
【0100】
本明細書に記述された処理及び論理フローは、1つ又は複数のコンピュータプログラムを実行する1つ又は複数のプログラマブルコンピュータによって実施されて、入力データに応じて操作を行って出力を生成して対応する機能を実行させてもよい。前記処理及び論理フローは、専用論理回路、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)によって実行されてもよく、装置も専用論理回路として実現されてもよい。
【0101】
コンピュータプログラムの実行に適するコンピュータは、例えば、汎用及び/又は専用マイクロプロセッサ、又は如何なる他のタイプの中央処理装置を含む。通常、中央処理装置は、読み出し専用メモリ及び/又はランダムアクセスメモリから指令及びデータを受信する。コンピュータの基本ユニットは、指令を実施や実行するための中央処理装置と、指令及びデータを記憶するための1つ又は複数のメモリ機器とを備える。通常、コンピュータは、更に、データを記憶するための1つ又は複数の大容量記憶機器、例えば、磁気ディスク、磁光ディスク又は光ディスク等を含み、又は、コンピュータは、この大容量記憶機器に操作可能にカップリングされてそれからデータを受信したりそれへデータを伝送したりし、又は、2種の状況を兼ね備える。しかし、コンピュータは、このような機器を必ず有するとは限らない。また、コンピュータは、別の機器、例えば、携帯電話、パーソナルデジタルアシスタント(PDA)、モバイルオーディオ又はビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、又は、例えばユニバーサルシリアルバス(USB)フラッシュメモリドライバの携帯型記憶機器に組み込まれてもよい。以上は、単に幾つかの例である。
【0102】
コンピュータプログラム指令及びデータを記憶するのに適するコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、メディアとメモリ機器を含み、例えば、半導体メモリ機器(例えば、EPROM、EEPROMとフラッシュメモリ機器)、磁気ディスク(例えば、内部ハードディスク又はリムーバブルディスク)、磁光ディスク及びCD ROMとDVD-ROMディスクを含む。プロセッサとメモリは、専用論理回路によって補充され又は専用論理回路に統合されてもよい。
【0103】
本明細書が大量の具体的な実施詳細を含むが、これらの詳細は、如何なる発明の範囲又は保護請求される範囲を制限するとは解釈されるべきではなく、主に特定の開示された具体的な実施例の特徴を記述するために用いられる。本明細書の複数の実施例に記述された幾つかの特徴は、単一の実施例において組み合わせて実施されてもよい。その一方、単一の実施例に記述された各種の特徴は、複数の実施例に分けて実施され、又は、如何なる適切なサブ組み合わせとして実施されてもよい。また、特徴が上記のように幾つかの組み合わせにおいて役割を果たし、ひいてはこのように保護するように要求されてもよいが、保護請求される組み合わせからの1つ又は複数の特徴は、幾つかの場合において当該組み合わせから除去されてもよく、更に、保護請求される組み合わせは、サブ組み合わせ又はサブ組み合わせの変形を指してもよい。
【0104】
類似的に、図面に特定の順番で操作が描かれたが、これらの操作が示された特定の順番で実行され又は順に実行され又は全ての例示の操作が実行されて所望の結果を得ることを要求するとして理解されるべきではない。幾つかの場合に、マルチタスク及び並行処理は、有利である可能性がある。また、上記実施例における各種のシステムモジュールとユニットの分離は、全ての実施例においてこのような分離を必要とすると理解されるべきではない。更に、理解できるように、記述されるプログラムユニット及びシステムは、通常、単一のソフトウェア製品に統合されてもよく、又は複数のソフトウェア製品としてカプセル化されてもよい。
【0105】
このように、テーマの特定実施例が記述された。他の実施例は、添付する特許請求の範囲のスコープ内に含まれる。幾つかの場合において、特許請求の範囲に記載の動作は、異なる順番で実行可能であり、且つ依然として所望の結果を得ることができる。また、図面に描かれた処理が必ずしも示された特定の順番又は連続順番で所望の結果を得るとは限らない。幾つかの実施形態において、マルチタスク処理及び並行処理は、有利である可能性がある。
【0106】
上述したのは、本明細書の1つ又は複数の実施例の好適な実施例に過ぎず、本明細書の1つ又は複数の実施例を制限するためのものではない。本明細書の1つ又は複数の実施例の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の1つ又は複数の実施例の保護範囲内に含まれるべきである。
【手続補正書】
【提出日】2021-09-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するステップと、
目標オブジェクトの前記第1画像における第1位置を取得するステップと、
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップと、
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップと、を含む
ことを特徴とするインタラクティブオブジェクト駆動方法。
【請求項2】
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
前記マッピング関係に基づいて、前記第1位置を前記仮想空間にマッピングして目標オブジェクトの前記仮想空間における対応する第2位置を取得することと、
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
ことを特徴とする請求項1に記載のインタラクティブオブジェクト駆動方法。
【請求項3】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記第2位置に基づいて、仮想空間にマッピングされた目標オブジェクトと前記インタラクティブオブジェクトとの間の第1相対角度を確定することと、
前記インタラクティブオブジェクトの1つ又は複数の身体部位が動作を実行する重みを確定することと、
前記第1相対角度及び前記重みに応じて、前記インタラクティブオブジェクトの各身体部位を駆動して対応する偏向角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記仮想空間にマッピングされた目標オブジェクトを向くようにすることと、を含む
ことを特徴とする請求項2に記載のインタラクティブオブジェクト駆動方法。
【請求項4】
前記仮想空間の画像データと前記インタラクティブオブジェクトの画像データは、仮想撮像機器によって取得される
ことを特徴とする請求項1から3の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項5】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記仮想撮像機器の前記仮想空間における位置を前記第2位置に移動させることと、
前記インタラクティブオブジェクトの視線を設置して前記仮想撮像機器を狙うようにすることと、を含む
ことを特徴とする請求項4に記載のインタラクティブオブジェクト駆動方法。
【請求項6】
前記第2位置に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記インタラクティブオブジェクトを駆動して視線を前記第2位置に移動させる動作を実行するようにすることを含む
ことを特徴とする請求項2から4の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項7】
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするステップは、
前記マッピング関係に基づいて、前記第1画像を前記仮想空間にマッピングして第2画像を取得することと、
前記第1画像を複数の第1サブ領域に分割し、前記第2画像を前記複数の第1サブ領域にそれぞれ対応する複数の第2サブ領域に分割することと、
前記第1画像の前記複数の第1サブ領域のうち、前記目標オブジェクトの所在する目標第1サブ領域を確定し、前記目標第1サブ領域に基づいて前記第2画像の前記複数の第2サブ領域のうちの目標第2サブ領域を確定することと、
前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることと、を含む
ことを特徴とする請求項1に記載のインタラクティブオブジェクト駆動方法。
【請求項8】
前記目標第2サブ領域に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにすることは、
前記インタラクティブオブジェクトと前記目標第2サブ領域との間の第2相対角度を確定することと、
前記インタラクティブオブジェクトを駆動して前記第2相対角度を回動するようにすることにより、前記インタラクティブオブジェクトが前記目標第2サブ領域を向うようにすることと、を含む
ことを特徴とする請求項7に記載のインタラクティブオブジェクト駆動方法。
【請求項9】
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するステップは、
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、
前記第1画像の画素平面の前記仮想空間における対応するマッピング平面を確定することと、
前記インタラクティブオブジェクトと前記マッピング平面との間の軸方向距離を確定することと、を含み、
前記マッピング平面は、前記第1画像の画素平面を前記仮想空間にマッピングして得られたものである
ことを特徴とする請求項1から8の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項10】
前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することは、
前記第1画像の単位画素距離と実空間の単位距離との間の第1比例関係を確定することと、
実空間の単位距離と仮想空間の単位距離との間の第2比例関係を確定することと、
前記第1比例関係及び前記第2比例関係に基づいて、前記第1画像の単位画素距離と仮想空間の単位距離との間の比例関係を確定することと、を含む
ことを特徴とする請求項9に記載のインタラクティブオブジェクト駆動方法。
【請求項11】
前記目標オブジェクトの前記第1画像における第1位置は、目標オブジェクトの顔部の位置及び/又は目標オブジェクトの身体の位置を含む
ことを特徴とする請求項1から10の何れか一項に記載のインタラクティブオブジェクト駆動方法。
【請求項12】
インタラクティブオブジェクトおよび前記インタラクティブオブジェクトの所在する仮想空間を表示するための表示機器の周辺の第1画像を取得するための第1取得ユニットと、
目標オブジェクトの前記第1画像における第1位置を取得するための第2取得ユニットと、
前記インタラクティブオブジェクトの前記仮想空間における位置を参照点として、前記第1画像と前記仮想空間との間のマッピング関係を確定するための確定ユニットと、
前記第1位置及び前記マッピング関係に基づいて、前記インタラクティブオブジェクトを駆動して動作を実行するようにするための駆動ユニットと、を備える
ことを特徴とするインタラクティブオブジェクト駆動装置。
【請求項13】
表示機器であって、
前記表示機器には、透明ディスプレイスクリーンが配置され、前記透明ディスプレイスクリーンは、インタラクティブオブジェクトを表示し、前記表示機器は、前記透明ディスプレイスクリーンに表示されたインタラクティブオブジェクトを駆動して動作を実行するようにするようにして、請求項1から11の何れか一項に記載の方法を実行する
ことを特徴とする表示機器。
【請求項14】
電子機器であって、
前記電子機器は、記憶媒体と、プロセッサとを備え、前記記憶媒体は、プロセッサで運転され得るコンピュータ指令を記憶し、前記プロセッサは、前記コンピュータ指令を実行したときに請求項1から11の何れか一項に記載の方法を実施する
ことを特徴とする電子機器。
【請求項15】
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記プログラムがプロセッサによって実行されたときに、請求項1から11の何れか一項に記載の方法は、実施される
ことを特徴とするコンピュータ可読記憶媒体。
【国際調査報告】