特表2022-526511 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京市商▲湯▼科技▲開▼▲發▼有限公司の特許一覧

特表2022-526511インタラクティブ方法、装置、デバイス、及び記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-25

(54)【発明の名称】インタラクティブ方法、装置、デバイス、及び記憶媒体

(51)【国際特許分類】

G06F 3/01 20060101AFI20220518BHJP

G06F 3/04815 20220101ALI20220518BHJP

G09G 5/00 20060101ALI20220518BHJP

G09G 5/36 20060101ALI20220518BHJP

G06T 19/00 20110101ALI20220518BHJP

G06N 3/02 20060101ALI20220518BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481 150

G09G5/00 550C

G09G5/00 510V

G09G5/36 510V

G09G5/00 550B

G06T19/00 A

G06N3/02

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021556966

(86)(22)【出願日】2020-07-24

(85)【翻訳文提出日】2021-09-22

(86)【国際出願番号】 CN2020104291

(87)【国際公開番号】W WO2021036622

(87)【国際公開日】2021-03-04

(31)【優先権主張番号】201910804635.X

(32)【優先日】2019-08-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520291939

【氏名又は名称】北京市商▲湯▼科技▲開▼▲發▼有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＤＥＶＥＬＯＰＭＥＮＴＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１１０１－１１１７，１１ｔｈＦｌｏｏｒＮｏ．５８Ｎｏｒｔｈｗｅｓｔ４ｔｈＲｉｎｇＲｏａｄ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔＢｅｉｊｉｎｇ１０００８０Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】▲張▼ 子隆

(72)【発明者】

【氏名】▲劉▼ ▲暢▼

【テーマコード（参考）】

5B050

5C182

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050CA07

5B050EA09

5B050EA27

5B050FA02

5B050FA05

5B050FA08

5C182AA22

5C182AB08

5C182AB14

5C182AC02

5C182AC03

5C182AC46

5C182BA14

5C182BA35

5C182BA47

5C182BA54

5C182BA55

5C182BA66

5C182BA75

5C182BB02

5C182BB13

5C182DA65

5E555AA27

5E555AA76

5E555BA01

5E555BB01

5E555BC01

5E555BE16

5E555CA42

5E555CB78

5E555CB80

5E555CB82

5E555DA09

5E555DA11

5E555DA23

5E555DB32

5E555DC43

5E555DC85

5E555DD06

5E555EA03

5E555EA05

5E555EA19

5E555EA22

5E555EA27

5E555EA28

5E555FA00

(57)【要約】

本発明は、インタラクティブ方法、装置、デバイス、及び記憶媒体に関する。前記方法は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、前記画像中顔と人体との中の少なくとも１つに対して検出を実行して、検出結果を得るステップと、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

インタラクティブ方法であって、
カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、
前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るステップと、
前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップと、を含む
ことを特徴とするインタラクティブ方法。

【請求項2】

前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する
ことを特徴とする請求項１に記載のインタラクティブ方法。

【請求項3】

前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む
ことを特徴とする請求項１または２に記載のインタラクティブ方法。

【請求項4】

前記検出結果は、少なくとも前記表示デバイスの現在サービス状態を含み、
前記現在サービス状態は、ユーザ待ち状態、ユーザ離れ状態、ユーザ発見状態、サービスアクティベーション状態、および、サービス中状態の中の任意の１種を含む
ことを特徴とする請求項１乃至３の何れか１項に記載のインタラクティブ方法。

【請求項5】

前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るステップは、
現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔と前記人体が検出されてなかったことに応答して、前記現在サービス状態が前記ユーザ待ち状態であると確定するステップ、または、
現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔および前記人体が検出されたことに応答して、前記現在サービス状態が前記ユーザ離れ状態であると確定するステップ、または、
現在タイミングで前記顔と前記人体との中の少なくとも１つが検出されたことに応答して、前記表示デバイスの現在サービス状態がユーザ発見状態であると確定するステップを含む
ことを特徴とする請求項４に記載のインタラクティブ方法。

【請求項6】

前記検出結果は、ユーザ属性情報および／またはユーザ履歴操作情報をさらに含み、
前記インタラクティブ方法は、
前記表示デバイスの前記現在サービス状態を前記ユーザ発見状態であると確定した後に、前記画像を利用して前記ユーザ属性情報を得、および／または、前記ユーザの顔と人体との中の少なくとも１つの特徴情報とマッチングされる前記ユーザ履歴操作情報を検索するステップをさらに含む
ことを特徴とする請求項４に記載のインタラクティブ方法。

【請求項7】

少なくとも２人のユーザが検出されたことに応答して、前記少なくとも２人のユーザの特徴情報を得るステップと、
前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中の目標ユーザを確定するステップと、
前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにするステップと、をさらに含む
ことを特徴とする請求項１乃至６の何れか１項に記載のインタラクティブ方法。

【請求項8】

前記表示デバイスの環境情報を取得するステップをさらに含み、
前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップは、
前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップを含む
ことを特徴とする請求項１乃至７の何れか１項に記載のインタラクティブ方法。

【請求項9】

前記環境情報は、前記表示デバイスの地理位置、前記表示デバイスのインターネットプロトコルＩＰアドレス、および、前記表示デバイスが位置する領域の天気と日付の中の少なくとも１項を含む
ことを特徴とする請求項８に記載のインタラクティブ方法。

【請求項10】

前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップは、
前記検出結果および前記環境情報とマッチングされる予め設定した応答ラベルを得るステップと、
前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにするステップと、を含む
ことを特徴とする請求項８または９に記載のインタラクティブ方法。

【請求項11】

前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにするステップは、
前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記ニューラルネットワークによって、前記応答ラベルに対応する駆動内容であって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにするための駆動内容が、出力されるステップを含む
ことを特徴とする請求項１０に記載のインタラクティブ方法。

【請求項12】

前記現在サービス状態が前記ユーザ発見状態であると確定したことに応答して、前記インタラクティブオブジェクトを駆動して応答を実行した後に、前記表示デバイスの周辺の画像において検出されたユーザを追跡するステップと、
前記ユーザを追跡する過程で、前記ユーザが出力した第１トリガー情報が検出されたことに応答して、前記表示デバイスが前記サービスアクティベーション状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにするステップと、をさらに含む
ことを特徴とする請求項４乃至１１の何れか１項に記載のインタラクティブ方法。

【請求項13】

前記表示デバイスが前記サービスアクティベーション状態にいるときに、前記ユーザが出力した第２トリガー情報が検出されたことに応答して、前記表示デバイスが前記サービス中状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにするステップをさらに含む
ことを特徴とする請求項１２に記載のインタラクティブ方法。

【請求項14】

前記現在サービス状態が前記ユーザ発見状態であると確定したことに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得るステップと、
前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整するステップと、をさらに含む
ことを特徴とする請求項４乃至１３の何れか１項に記載のインタラクティブ方法。

【請求項15】

インタラクティブ装置であって、
カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得する画像取得ユニットと、
前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るための検出ユニットと、
前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするための駆動ユニットと、を備える
ことを特徴とする請求項に記載のインタラクティブ装置。

【請求項16】

前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する
ことを特徴とする請求項１５に記載のインタラクティブ装置。

【請求項17】

前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む
ことを特徴とする請求項１５または１６に記載のインタラクティブ装置。

【請求項18】

前記検出結果は、少なくとも前記表示デバイスの現在サービス状態を含み、
前記現在サービス状態は、ユーザ待ち状態、ユーザ離れ状態、ユーザ発見状態、サービスアクティベーション状態、および、サービス中状態の中の任意の１種を含む
ことを特徴とする請求項１５乃至１７の何れか１項に記載のインタラクティブ装置。

【請求項19】

前記検出ユニットは、
現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔と前記人体が検出されてなかったことに応答して、前記現在サービス状態が前記ユーザ待ち状態であると確定するか、または、
現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔および前記人体が検出されたことに応答して、前記現在サービス状態が前記ユーザ離れ状態であると確定するか、または、
現在タイミングで前記顔と前記人体との中の少なくとも１つが検出されたことに応答して、前記表示デバイスの現在サービス状態が前記ユーザ発見状態であると確定する
ことを特徴とする請求項１８に記載のインタラクティブ装置。

【請求項20】

前記検出結果は、ユーザ属性情報および／またはユーザ履歴操作情報をさらに含み、
前記インタラクティブ装置は、情報取得ユニットをさらに備え、
前記情報取得ユニットは、
前記画像を利用して前記ユーザ属性情報を得、および／または、前記ユーザの顔と人体との中の少なくとも１つの特徴情報とマッチングされる前記ユーザ履歴操作情報を検索する
ことを特徴とする請求項１９に記載のインタラクティブ装置。

【請求項21】

目標確定ユニットをさらに備え、
前記目標確定ユニットは、
前記検出ユニットによって少なくとも２人のユーザが検出されたことに応答して、前記少なくとも２人のユーザの特徴情報を得、
前記少なくとも２人のユーザの特徴情報に基づいて前記少なくとも２人のユーザの中の目標ユーザを確定し、
ここで、前記駆動ユニットは、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにする
ことを特徴とする請求項１５乃至２０の何れか１項に記載のインタラクティブ装置。

【請求項22】

前記表示デバイスの環境情報を取得するための環境情報取得ユニットをさらに備え、
前記駆動ユニットは、
前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにする
ことを特徴とする請求項１５乃至２１の何れか１項に記載のインタラクティブ装置。

【請求項23】

前記環境情報は、前記表示デバイスの地理位置、前記表示デバイスのインターネットプロトコルＩＰアドレス、および、前記表示デバイスが位置する領域の天気と日付の中の少なくとも１項を含む
ことを特徴とする請求項２２に記載のインタラクティブ装置。

【請求項24】

前記駆動ユニットは、
前記検出結果および前記環境情報とマッチングされる予め設定した応答ラベルを得、
前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにする
ことを特徴とする請求項２２または２３に記載のインタラクティブ装置。

【請求項25】

前記駆動ユニットは、さらに、
前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記ニューラルネットワークによって、前記応答ラベルに対応する駆動内容であって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにするための駆動内容が、出力される
ことを特徴とする請求項２４に記載のインタラクティブ装置。

【請求項26】

サービスアクティベーションユニットをさらに備え、
前記サービスアクティベーションユニットは、
前記検出ユニットによって前記現在サービス状態が前記ユーザ発見状態であると検出されたことに応答して、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して応答を実行するようにした後に、前記表示デバイスの周辺の画像において検出されたユーザを追跡し、
前記ユーザを追跡する過程で、前記ユーザが出力した第１トリガー情報が検出されたことに応答して、前記表示デバイスが前記サービスアクティベーション状態になることを確定し、ここで、前記駆動ユニットは、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにする
ことを特徴とする請求項１８乃至２５の何れか１項に記載のインタラクティブ装置。

【請求項27】

サービスユニットをさらに備え、
前記サービスユニットは、
前記表示デバイスが前記サービスアクティベーション状態にいるときに、前記ユーザが出力した第２トリガー情報が検出されたことに応答して、前記表示デバイスが前記サービス中状態になることを確定し、ここで、前記駆動ユニットは、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにする
ことを特徴とする請求項２６に記載のインタラクティブ装置。

【請求項28】

方向調整ユニットをさらに備え、
前記方向調整ユニットは、
前記検出ユニットによって前記現在サービス状態が前記ユーザ発見状態であると検出されたことに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得、
前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整する
ことを特徴とする請求項１８乃至２７の何れか１項に記載のインタラクティブ装置。

【請求項29】

インタラクティブデバイスであって、
プロセッサと、
前記プロセッサによって実行できる命令を記憶するためのメモリと、備え、
ここで、前記命令が実行されるときに、前記プロセッサが請求項１至１４の何れか１項に記載のインタラクティブ方法を実現するようにする
ことを特徴とするインタラクティブデバイス。

【請求項30】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが請求項１至１４の何れか１項に記載のインタラクティブ方法を実現するようにする
ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータビジョン技術分野に関し、具体的に、インタラクティブ方法、装置、デバイス、及び記憶媒体に関する。

【背景技術】

【0002】

ほとんどの人間とコンピュータのインタラクティブの方式は、ユーザにより、ボタンクリック、タッチ、音声を利用して入力を実行し、デバイスにより、表示スクリーン上に表示された画像、テキスト、または、仮想人物を利用して応答する方式である。現在、ほとんどの仮想人物は、音声アシスタントの基礎で改良されたものであり、デバイスに入力された音声のみに対して出力を実行し、ユーザと仮想人物との間のインタラクティブはまだ表面上に停滞している。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施例は、インタラクティブ解決策を提供する。

【課題を解決するための手段】

【0004】

第１の態様によると、インタラクティブ方法を提供し、前記方法は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得するステップと、前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るステップと、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップと、を含む。

【0005】

本発明の実施例において、表示デバイスの周辺の画像に対して検出を実行して、検出結果に基づいて表示デバイスの前記透明表示スクリーン上に表示されたインタラクティブオブジェクトを駆動して応答を実行するようにすることによって、インタラクティブオブジェクトの応答が実際のインタラクティブ要件にいっそう符合されるようにし、ユーザと前記インタラクティブオブジェクトとの間のインタラクティブがいっそうリアルで鮮やかになるようにして、ユーザ体験を改善した。

【0006】

１例において、前記表示デバイスは、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する。

【0007】

透明表示スクリーン上で立体画面を表示し、透明表示スクリーンまたは底板上で倒影を形成することで、立体効果を実現することによって、表示されたインタラクティブオブジェクトがいっそう立体で鮮やかになるようにすることができて、ユーザのインタラクティブエクスペリエンスを向上させた。

【0008】

１例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。

【0009】

立体効果を有する仮想人物を利用してユーザとインタラクティブを実行することによって、インタラクティブ過程がいっそう自然になるようにすることができて、ユーザのインタラクティブエクスペリエンスを向上させた。

【0010】

１例において、前記検出結果は、少なくとも前記表示デバイスの現在サービス状態を含み、前記現在サービス状態は、ユーザ待ち状態、ユーザ離れ状態、ユーザ発見状態、サービスアクティベーション状態、および、サービス中状態の中の任意の１種を含む。

【0011】

デバイスの現在サービス状態と結合して前記インタラクティブオブジェクトを駆動して応答を実行するようにすることによって、前記インタラクティブオブジェクトの応答がユーザのインタラクティブ要件にいっそう符合されるようにすることができる。

【0012】

１例において、前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るステップは、現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔と前記人体が検出されてなかったことに応答して、前記現在サービス状態が前記ユーザ待ち状態であると確定するステップ、または、現在タイミングで前記顔および前記人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で前記顔および前記人体が検出されたことに応答して、前記現在サービス状態が前記ユーザ離れ状態であると確定するステップ、または、現在タイミングで前記顔と前記人体との中の少なくとも１つが検出されたことに応答して、前記表示デバイスの現在サービス状態がユーザ発見状態であると確定するステップを含む。

【0013】

インタラクティブオブジェクトとインタラクティブを実行するユーザがない場合、表示デバイスが現在ユーザ待ち状態またはユーザ離れ状態にいるかを確定して、前記インタラクティブオブジェクトを駆動して異なる応答を実行するようにすることによって、前記インタラクティブオブジェクトの展示状態がインタラクティブ要件にいっそう符合されるようにすることができ、狙いがいっそうはっきりである。

【0014】

１例において、前記検出結果は、ユーザ属性情報および／またはユーザ履歴操作情報をさらに含み、前記方法は、前記表示デバイスの前記現在サービス状態を前記ユーザ発見状態であると確定した後に、前記画像を利用して前記ユーザ属性情報を得、および／または、前記ユーザの顔と人体との中の少なくとも１つの特徴情報とマッチングされる前記ユーザ履歴操作情報を検索するステップをさらに含む。

【0015】

ユーザ履歴操作情報を取得し、前記ユーザ履歴操作情報と結合して前記インタラクティブオブジェクトを駆動することによって、前記インタラクティブオブジェクトが狙いをつけて前記ユーザに対して応答を実行するようにすることができる。

【0016】

１例において、前記方法は、少なくとも２人のユーザが検出されたことに応答して、前記少なくとも２人のユーザの特徴情報を得るステップと、前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中の目標ユーザを確定するステップと、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにするステップと、をさらに含む。

【0017】

少なくとも２人のユーザの特徴情報に基づいて前記少なくとも２人のユーザの中の目標ユーザを確定し、前記インタラクティブオブジェクトを駆動して前記目標オブジェクトに対して応答を実行するようにすることによって、複数のユーザのシーンでインタラクティブを実行する目標ユーザを選択し、異なる目標ユーザとの間の切替えと応答を実現することができ、ユーザ体験を改善した。

【0018】

１例において、前記方法は、前記表示デバイスの環境情報を取得するステップをさらに含み、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップは、前記検出結果および前記表示デバイスの環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップと、を含む。

【0019】

１例において、前記環境情報は、前記表示デバイスの地理位置、前記表示デバイスのインターネットプロトコル（ＩＰ）アドレス、および、前記表示デバイスが位置する領域の天気と日付の中の少なくとも１項を含む。

【0020】

前記表示デバイスの環境情報を取得し、前記環境情報と結合して前記インタラクティブオブジェクトを駆動して応答を実行するようにすることによって、前記インタラクティブオブジェクトの応答が実際のインタラクティブ要件にいっそう符合されるようにすることができ、ユーザとインタラクティブオブジェクトとの間のインタラクティブがいっそうリアルで鮮やかになるようにすることができ、ユーザ体験を改善した。

【0021】

１例において、前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするステップは、前記検出結果および前記環境情報とマッチングされる予め設定した応答ラベルを得るステップと、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにするステップと、を含む。

【0022】

１例において、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにするステップは、前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記ニューラルネットワークによって、前記応答ラベルに対応する駆動内容であって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにするための駆動内容が、出力されるステップを含む。

【0023】

異なる検出結果および異なる環境情報の組み合わせに対して該当する応答ラベルを設定し、前記応答ラベルを利用してインタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることによって、インタラクティブオブジェクトを駆動してデバイスの異なる状態および異なるシーンに基づいて異なる応答を実行するようにすることができ、前記インタラクティブオブジェクトの応答がいっそう多様化になるようにした。

【0024】

１例において、前記方法は、前記現在サービス状態が前記ユーザ発見状態であると確定したことに応答して、前記インタラクティブオブジェクトを駆動して応答を実行した後に、前記表示デバイスの周辺の画像において検出されたユーザを追跡するステップと、前記ユーザを追跡する過程で、前記ユーザが出力した第１トリガー情報が検出されたことに応答して、前記表示デバイスが前記サービスアクティベーション状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにするステップと、をさらに含む。

【0025】

本発明の実施例によって提供されるインタラクティブ方法によると、ユーザが、ボタン、タッチ、または、音声入力を実行する必要なしに、表示デバイスの周辺に立っているだけで、デバイスに表示されているインタラクティブオブジェクトによって、狙いをつけて歓迎の動作を実行し、ユーザの要件または興味に従ってサービス項目を展示することができ、ユーザの使用エクスペリエンスを改善した。

【0026】

１例において、前記方法は、前記表示デバイスが前記サービスアクティベーション状態にいるときに、前記ユーザが出力した第２トリガー情報が検出されたことに応答して、前記表示デバイスがサービス中状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにするステップをさらに含む。

【0027】

前記表示デバイスがユーザ発見状態になった後に、２種の粒度の識別方式を提供する。第１粒度（粗い粒度）の識別方式は、ユーザが出力した第１トリガー情報が検出された場合、デバイスがサービスアクティベーション状態になるようにして、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにし、第２粒度（細い粒度）の識別方式は、ユーザが出力した第２トリガー情報が検出された場合、デバイスがサービス中状態になるようにして、前記インタラクティブオブジェクトを駆動して該当するサービスを提供するようにする。上記の２種の粒度の識別方式によって、ユーザとインタラクティブオブジェクトとのインタラクティブがいっそうスムーズでいっそう自然になるようにすることができる。

【0028】

１例において、前記方法は、前記現在サービス状態がユーザ発見状態として確定されたことに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得るステップと、前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整するステップと、をさらに含む。

【0029】

ユーザの位置に基づいてインタラクティブオブジェクトの向きを自動的に調整して、前記インタラクティブオブジェクトが常にユーザに向かい合うように維持することによって、インタラクティブがいっそうフレンドリーになるようにし、ユーザのインタラクティブ体験を改善した。

【0030】

第２の態様によると、インタラクティブ装置を提供し、前記装置は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得する画像取得ユニットと、前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得るための検出ユニットと、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにするための駆動ユニットと、を備える。

【0031】

１例において、前記表示デバイスは、さらに、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、前記表示デバイスは、さらに、底板上に前記インタラクティブオブジェクトの倒影を表示する。

【0032】

１例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。

【0033】

【0034】

１例において、前記検出ユニットは、具体的に、現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で顔および人体が検出されてなかったことに応答して、前記現在サービス状態がユーザ待ち状態であると確定する。

【0035】

１例において、前記検出ユニットは、現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で顔および人体が検出されたことに応答して、前記現在サービス状態がユーザ離れ状態であると確定する。

【0036】

１例において、前記検出ユニットは、具体的に、現在タイミングで前記顔と前記人体との中の少なくとも１つが検出されたことに応答して、前記表示デバイスの現在サービス状態がユーザ発見状態であると確定する。

【0037】

１例において、前記検出結果は、ユーザ属性情報および／またはユーザ履歴操作情報をさらに含み、前記装置は、情報取得ユニットをさらに含み、前記情報取得ユニットは、前記画像を利用して、ユーザ属性情報を得、および／または、前記ユーザの顔と人体との中の少なくとも１つの特徴情報とマッチングされるユーザ履歴操作情報を検索する。

【0038】

１例において、前記装置は、目標確定ユニットをさらに備え、前記目標確定ユニットは、前記検出ユニットによって少なくとも２人のユーザが検出されたことに応答して、前記少なくとも２人のユーザの特徴情報を得、前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中の目標ユーザを確定し、ここで、前記駆動ユニットは、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにする。

【0039】

１例において、前記装置は、前記表示デバイスの環境情報を取得するための環境情報取得ユニットをさらに備え、ここで、前記駆動ユニットは、前記検出結果および前記表示デバイスの環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにする。

【0040】

１例において、前記環境情報は、前記表示デバイスの地理位置、前記表示デバイスのＩＰアドレス、および、前記表示デバイスが位置する領域の天気と日付の中の少なくとも１項または複数項を含む。

【0041】

１例において、前記駆動ユニットは、さらに、前記検出結果および前記環境情報とマッチングされる予め設定した応答ラベルを得、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行する。

【0042】

１例において、前記駆動ユニットは、前記応答ラベルに基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して該当する応答を行うときに、具体的に、前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記ニューラルネットワークによって、前記応答ラベルに対応する駆動内容であって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにするための駆動内容が、出力される。

【0043】

１例において、前記装置は、サービスアクティベーションユニットをさらに備え、前記サービスアクティベーションユニットは、前記検出ユニットによって前記現在サービス状態がユーザ発見状態であるとして検出されたことに応答して、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して応答を実行するようにした後に、前記表示デバイスの周辺の画像において検出されたユーザを追跡し、前記ユーザを追跡する過程で、前記ユーザが出力した第１トリガー情報が検出されたことに応答して、前記表示デバイスがサービスアクティベーション状態になることを確定し、前記駆動ユニットが前記インタラクティブオブジェクトを駆動して提供するサービスを展示するようにする。

【0044】

１例において、前記装置サービスユニットをさらに備え、前記サービスユニットは、前記表示デバイスが前記サービスアクティベーション状態にいるときに、前記ユーザが出力した第２トリガー情報が検出されたことに応答して、前記表示デバイスがサービス中状態になることを確定し、ここで、前記駆動ユニットは、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにする。

【0045】

１例において、前記装置は、方向調整ユニットをさらに備え、前記方向調整ユニットは、前記検出ユニットによって前記現在サービス状態がユーザ発見状態であるとして検出されたことに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得、前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整する。

【0046】

第３の態様によると、インタラクティブデバイスを提供し、前記デバイスは、プロセッサと、プロセッサによって実行できる命令を記憶するためのメモリと、を備え、前記命令が実行されるときに、前記プロセッサが本発明によって提供される任意の実施形態に記載の方法を実現するようにする。

【0047】

第４の態様によると、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが本発明によって提供される任意の実施形態に記載の方法を実現するようにする。

【図面の簡単な説明】

【0048】

【図1】本発明の少なくとも１つの実施例に係るインタラクティブ方法を示すフローチャートである。

【図2】本発明の少なくとも１つの実施例に係るインタラクティブオブジェクトを表示する模式図である。

【図3】本発明の少なくとも１つの実施例に係るインタラクティブ装置の構成を示す模式図である。

【図4】本発明の少なくとも１つの実施例に係るインタラクティブデバイスの構成を示す模式図である。

【発明を実施するための形態】

【0049】

ここで例示的な実施例を詳細に説明し、その例を図面に示す。以下の叙述が図面に関する場合、別途の説明がない限り、異なる図面における同一の数字は、同一または類似な要素を示す。以下の例示的な実施例で叙述される実施形態は、本発明と一致するすべての実施形態を代表しない。逆に、それらは、添付された特許請求の範囲に記載された、本発明のいくつかの態様と一致する装置及び方法の例に過ぎない。

【0050】

本明細書中の「および／または」という用語は、ただ、１種の関連対象の関連関係を叙述し、例えば、Ａおよび／またはＢは、Ａが単独的に存在すること、ＡとＢが同時に存在すること、および、Ｂが単独的に存在することのような、３種の関係が存在することができることを意味する。また、本明細書中の「少なくとも１種」という用語は、複数種の中の任意の１種、または、複数種の中の少なくとも２種の任意の組み合わせを意味し、例えば、Ａ、Ｂ、Ｃの中の少なくとも１種を含むことは、Ａ、Ｂ、および、Ｃから構成されたセットの中から選択した任意１つまたは複数の要素を意味する。

【0051】

図１は、本発明の少なくとも１つの実施例に係るインタラクティブ方法を示すフローチャートであり、図１に示すように、前記方法は、ステップ１０１～ステップ１０３を含む。

【0052】

ステップ１０１において、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得する。

【0053】

前記表示デバイスの周辺は、前記表示デバイスの所定の範囲内の任意の方向を含み、例えば、前記表示デバイスの前方、側方、後方、上方中の１つまたは複数の方向を含んでもよい。

【0054】

画像を収集するためのカメラは、表示デバイス上に配置されてもよいし、表示デバイスから独立された外部デバイスであってもよい。また、前記カメラが収集した画像は、表示デバイスの透明表示スクリーン上に表示されることができる。前記カメラの数は、複数であり得る。

【0055】

選択的に、カメラが収集する画像は、ビデオストリーム中の１つのフレームであってもよいし、リアルタイムに取得された画像であってもよい。

【0056】

ステップ１０２において、前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得る。

【0057】

表示デバイスの周辺の画像に対して顔および／または人体検出を実行することによって、例えば、前記表示デバイスの周辺にユーザがあるか否か、何人のユーザがあるかのような、検出結果を得る。顔および／または人体識別技術を利用して前記画像中からユーザに関する関連情報を取得するか、または、ユーザの画像に基づいて検索を実行してユーザの関連情報を得る。さらに、画像識別技術を利用してユーザの動作、姿勢、ジェスチャーなどを識別することができる。当業者は、上記の検出結果は、例に過ぎず、他の検出結果をさらに含んでもよいことを理解すべきである。

【0058】

ステップ１０３において、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにする。

【0059】

異なる検出結果に応答して、前記インタラクティブオブジェクトを駆動して異なる応答を実行することができる。例えば、表示デバイスの周辺にユーザがない場合には、前記インタラクティブオブジェクトを駆動して歓迎のアクション、表情、音声などを出力することができる。

【0060】

本発明の実施例において、表示デバイスの周辺の画像に対して検出を実行して、検出結果に基づいて表示デバイスの前記透明表示スクリーン上に表示されたインタラクティブオブジェクトを駆動して応答を実行するようにすることによって、インタラクティブオブジェクトの応答がユーザのインタラクティブ要件にいっそう符合されるようにし、ユーザと前記インタラクティブオブジェクトとの間のインタラクティブがいっそうリアルで鮮やかになるようにして、ユーザ体験を改善した。

【0061】

いくつかの実施例において、前記表示デバイスの透明表示スクリーン表示のインタラクティブオブジェクトは、立体効果を有する仮想人物を含む。

【0062】

【0063】

当業者は、インタラクティブオブジェクトは、立体効果を有する仮想人物に限られず、仮想動物、仮想物品、漫画キャラクターなどの、インタラクティブ機能を実現できる他の仮想イメージであってもよいことを理解すべきである。

【0064】

いくつかの実施例において、以下の方法によって透明表示スクリーンに表示されるインタラクティブオブジェクトの立体効果を実現することができる。

【0065】

人間の目が物体を立体で見るかどうかは、一般的に、物体自体の形状および物体の光と影の効果によって決められる。当該光と影の効果は、例えば、物体の異なる領域でのハイライトとダークライト、および、光の物体に照射された後の地面での投影（すなわち、倒影）である。

【0066】

上記の原理を利用すると、１例において、透明表示スクリーン上にインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示する同時に、透明表示スクリーン上に当該インタラクティブオブジェクトの倒影をさらに表示することによって、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにする。

【0067】

もう１例において、前記透明表示スクリーンの下方には、底板が配置されており、また前記透明表示スクリーンは前記底板に対して垂直または傾斜している。透明表示スクリーンにインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示する同時に、前記底板上に前記インタラクティブオブジェクトの倒影を表示することによって、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにする。

【0068】

いくつかの実施例において、前記表示デバイスは、箱本体をさらに含み、また、前記箱本体の正面は、透明に設計され、例えば、ガラス、プラスチックなどの材料で透明設計を実現する。箱本体の正面から、透明表示スクリーンの画面と透明表示スクリーンまたは底板上の画面の倒影を見ることができ、人間の目が立体効果を有するインタラクティブオブジェクトを見ることができるようにし、図２に示したとおりである。

【0069】

いくつかの実施例において、箱本体内には、１つまたは複数の光源がさらに配置されており、透明表示スクリーンに対して光を提供する。

【0070】

本発明の実施例において、透明表示スクリーン上にインタラクティブオブジェクトの立体ビデオまたは画像の画面を表示し、透明表示スクリーンまたは底板上に当該インタラクティブオブジェクトの倒影を形成して立体効果を実現することによって、表示されたインタラクティブオブジェクトがいっそう立体で鮮やかになるようにすることができて、ユーザのインタラクティブエクスペリエンスを向上させた。

【0071】

いくつかの実施例において、前記検出結果は、前記表示デバイスの現在サービス状態を含んでもよく、前記現在サービス状態は、例えば、ユーザ待ち状態、ユーザ発見状態、ユーザ離れ状態、サービスアクティベーション状態、サービス中状態の中の任意の１種を含む。当業者は、前記表示デバイスの現在サービス状態は、他の状態をさらに含んでもよく、上記に限定されないことを理解すべきである。

【0072】

表示デバイスの周辺の画像において顔および人体が検出されてなかった場合は、前記表示デバイスの周辺にユーザがないことを表し、すなわち、当該表示デバイスが現在ユーザとインタラクティブを実行する状態にいないことを表す。このような状態は、現在タイミングの前の所定の時間帯内でずっとデバイスとインタラクティブを実行したユーザがない状態、すなわちユーザ待ち状態を含み、さらに、現在タイミングの前の所定の時間帯内でユーザとインタラクティブを実行した状況、すなわちユーザ離れ状態も含む。この２種の異なる状態に対して、前記インタラクティブオブジェクトを駆動して異なる応答を実行することがある。例えば、ユーザ待ち状態に対しては、前記インタラクティブオブジェクトを駆動して現在環境と結合してユーザを歓迎する応答を実行することができ、ユーザ離れ状態に対しては、前記インタラクティブオブジェクトを駆動してこの前のインタラクティブしたユーザに対して終了サービスを実行する応答を実行することができる。

【0073】

１例において、以下の方式によってユーザ待ち状態を確定することができる。現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の５秒などの所定の時間帯内で顔および人体が検出されてなかったし、また、顔および人体も追跡されなかったことに応答して、当該表示デバイスの現在サービス状態をユーザ待ち状態として確定する。

【0074】

１例において、以下の方式によってユーザ離れ状態を確定することができる。現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の５秒などの所定の時間帯内で顔および／または人体が検出されたし、または、顔および／または人体が追跡されたことに応答して、当該表示デバイスの現在サービス状態をユーザ離れ状態として確定する。

【0075】

表示デバイスがユーザ待ち状態またはユーザ離れ状態にいる場合、前記表示デバイスの現在サービス状態に基づいて前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。例えば、表示デバイスがユーザ待ち状態にいる場合、表示デバイスに表示されたインタラクティブオブジェクトを駆動して、歓迎のアクションまたはジェスチャーを行うようにするか、または、いくつかのおもしろい動作を行うようにするか、または、ようこその音声を出力するようにすることができる。表示デバイスがユーザ離れ状態にいる場合、前記インタラクティブオブジェクトを駆動して、さようならの動作またはジェスチャーを行うようにするか、または、さようならの音声を出力するようにすることができる。

【0076】

表示デバイスの周辺の画像中から顔および／または人体が検出された場合は、前記表示デバイスの周辺にユーザが存在することを表し、ユーザが検出されたこのタイミングの現在サービス状態をユーザ発見状態として確定することができる。

【0077】

表示デバイスの周辺にユーザが存在することが検出された場合、前記画像を利用して、前記ユーザのユーザ属性情報を得ることができる。例えば、顔および／または人体の検出結果に基づいてデバイスの周辺に何人のユーザが存在するかを確定することができる。各々のユーザに対して、顔および／または人体識別技術を利用して、前記画像中から、ユーザの性別、ユーザのおおよその年齢などの、前記ユーザに関する関連情報を取得することができ、例えば、異なる性別および異なる年齢レベルのユーザに対して、インタラクティブオブジェクトを駆動して異なる応答を実行するようにすることができる。

【0078】

ユーザ発見状態の場合、検出されたユーザに対して、さらに、前記表示デバイスに記憶されているユーザ履歴操作情報を取得し、および／または、クラウド側に記憶されているユーザ履歴操作情報を取得して、当該ユーザが、常連客であるか否か、または、ＶＩＰ客であるか否かを確定することができる。前記ユーザ履歴操作情報は、前記ユーザの姓名、性別、年齢、サービス記録、備考などをさらに含んでもよい。当該ユーザ履歴操作情報は、前記ユーザが自ら入力した情報を含んでもよいし、前記表示デバイスおよび／またはクラウド側で記録した情報を含んでもよい。ユーザ履歴操作情報を取得することによって、前記インタラクティブオブジェクトを駆動して狙いをつけて前記ユーザに対して応答を実行するようにすることができる。

【0079】

１例において、検出されたユーザの顔および／または人体の特徴情報に基づいて前記ユーザとマッチングされるユーザ履歴操作情報を検索することができる。

【0080】

表示デバイスがユーザ発見状態にいる場合、前記表示デバイスの現在サービス状態、および、前記画像から取得したユーザ属性情報に基づいて、取得したユーザ履歴操作情報を検索することによって、前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。１人のユーザが始めて検出された場合、前記ユーザ履歴操作情報が空白であり、前記現在サービス状態、前記ユーザ属性情報、および、前記環境情報に基づいて前記インタラクティブオブジェクトを駆動する。

【0081】

表示デバイスの周辺の画像から１人のユーザが検出された場合、まず、画像を利用して当該ユーザに対して顔および／または人体の識別を実行して、前記ユーザに関するユーザ属性情報を得、たとえば当該ユーザが女性であり、年齢が２０才～３０才である。この後、当該ユーザの顔および／または人体の特徴情報に基づいて、表示デバイスおよび／またはクラウド側で検索を実行して、前記特徴情報にマッチングされるユーザ履歴操作情報を検索することができ、例えば、当該ユーザの姓名、サービス記録などを検索する。その後に、ユーザ発見状態において、前記インタラクティブオブジェクトを駆動して当該女性のユーザに対して狙いがはっきりした歓迎の動作を実行し、また当該女性ユーザに対して提供するサービスを展示する。ユーザ履歴操作情報に含まれた当該ユーザが以前に使用したことがあるサービス項目に基づいて、提供するサービスの順序を調整することによって、ユーザが興味のあるサービス項目をいっそう速く発見するようにすることができる。

【0082】

デバイスの周辺の画像から少なくとも２人のユーザが検出された場合、まず、前記少なくとも２人のユーザの特徴情報を得ることができる。当該特徴情報は、ユーザ姿勢情報、ユーザ属性情報の中の少なくとも１項を含んでもよく、また、前記特徴情報ユーザは、履歴操作情報に対応され、ここで、前記ユーザ姿勢情報は、前記画像における前記ユーザの動作に対して識別を実行することで得ることができる。

【0083】

続いて、得られた前記少なくとも２人のユーザの特徴情報に基づいて前記少なくとも２人のユーザの中の目標ユーザを確定する。実際のシーンと結合して各ユーザの特徴情報を総合的に評価することによって、インタラクティブ待ちの目標ユーザを確定することができる。

【0084】

目標ユーザを確定した後には、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにすることができる。

【0085】

いくつかの実施例において、ユーザ発見状態において、前記インタラクティブオブジェクトを駆動して応答を実行するようにした後に、表示デバイスの周辺の画像において検出されたユーザを追跡することによって、例えば、前記ユーザの顔の表情および／または前記ユーザの動作などを追跡することができ、また前記ユーザに自発的なインタラクティブの表情および／または動作があるか否かを判断することによって、前記表示デバイスがサービスアクティベーション状態になるようにする必要があるか否かを判断することができる。

【0086】

１例において、前記ユーザを追跡する過程で、指定されたトリガー情報を設定し、例えば、ブリンク、うなずき、手の振り、手の挙げ、平手打ちなどの、一般的な人と人の間の挨拶の表情および／または動作を設定することができる。以下と区別するために、ここで設定した指定されたトリガー情報を第１トリガー情報と呼ぶことができる。前記ユーザが出力した前記第１トリガー情報が検出された場合、前記表示デバイスがサービスアクティベーション状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにし、例えば、言語を利用して展示してもよいし、スクリーン上に表示された文字情報を利用して展示してもよい。

【0087】

現在一般的な体性感覚のインタラクティブは、ユーザによってまず手を一定の時間挙げていることでサービスをアクティベーションさせる必要があり、サービスを選択した後には手部の位置を動かずに数秒維持してこそアクティベーションを完成させることができる。本発明の実施例によって提供されるインタラクティブ方法によると、ユーザがまず手を一定の時間挙げていることでサービスをアクティベーションする必要がなく、さらに、手部の位置を動かずに維持して選択を完成させる必要もない。ユーザの指定されたトリガー情報を自動的に判断することによって、サービスを自動的にアクティベーションすることができて、デバイスがサービスアクティベーション状態にいるようにして、ユーザが手の挙げて一定の時間待つことを回避して、ユーザ体験を改善した。

【0088】

いくつかの実施例において、サービスアクティベーション状態において、指定されたトリガー情報を設定し、例えば、特定のジェスチャー動作および／または特定の音声命令などを設定することができる。上記と区別するために、ここで設定した指定されたトリガー情報称を第２トリガー情報と呼ぶことができる。前記ユーザが出力した前記第２トリガー情報が検出された場合、前記表示デバイスがサービス中状態になることを確定し、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを展示するようにすることができる。

【0089】

１例において、ユーザが出力した第２トリガー情報に基づいて該当するサービスを実行する。例えば、ユーザのために提供するサービスは、第１サービスオプション、第２サービスオプション、第３サービスオプションなどであり得、また、第１サービスオプションのために該当する第２トリガー情報を設定することができる。例えば、「一」の音声を第１サービスオプションに対応する第２トリガー情報として設定し、「二」の音声を第２サービスオプションに対応する第２トリガー情報として設定し、…。前記ユーザがその中の１つの音声が出力したことが検出されると、前記表示デバイスが第２トリガー情報に対応するサービスオプションになり、前記インタラクティブオブジェクトを駆動して当該サービスオプションに対して設定した内容に基づいてサービスを提供するようにする。

【0090】

本発明の実施例において、前記表示デバイスがユーザ発見状態になった後に、２種の粒度の識別方式を提供する。第１粒度（粗粒度）識別方式は、ユーザが出力した第１トリガー情報が検出された場合、デバイスがサービスアクティベーション状態になるようにして、前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにし、第２粒度（細粒度）識別方式は、ユーザが出力した第２トリガー情報が検出された場合、デバイスがサービス中状態になるようにして、前記インタラクティブオブジェクトを駆動して該当するサービスを提供するようにする。上記の２種の粒度の識別方式によって、ユーザとインタラクティブオブジェクトとのインタラクティブがいっそうスムーズでいっそう自然になるようにすることができる。

【0091】

本発明の実施例によって提供されるインタラクティブ方法によると、ユーザが、ボタン、タッチ、または、音声入力を実行する必要なしに、表示デバイスの周辺に立っているだけで、表示デバイスに表示されているインタラクティブオブジェクトによって、狙いをつけて歓迎の動作を実行し、ユーザの要件または興味に従ってサービス項目を展示することができ、ユーザの使用エクスペリエンスを改善した。

【0092】

いくつかの実施例において、前記表示デバイスの環境情報を取得し、前記検出結果および前記環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。

【0093】

前記表示デバイスの環境情報は、前記表示デバイスの地理位置および／または前記表示デバイスの適用シーンに基づいて取得することができる。前記環境情報は、例えば、前記表示デバイスの地理位置、インターネットプロトコル（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ、ＩＰ）アドレスであり得、さらに、前記表示デバイスが位置する領域の天気、日付などであり得る。当業者は、上記の環境情報は、例に過ぎず、他の環境情報をさらに含んでもよいことを理解すべきである。

【0094】

例を挙げて説明すると、表示デバイスがユーザ待ち状態とユーザ離れ状態にいる場合、前記表示デバイスの現在サービス状態および環境情報に基づいて、前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができる。例えば、前記表示デバイスがユーザ待ち状態にいる場合、環境情報は、時間、場所、および、天気情況を含むことができる。表示デバイスに表示されたインタラクティブオブジェクトを駆動して歓迎の動作とジェスチャーを行うようにするか、または、いくつかのおもしろい動作を行うようにすることができ、また「現在は、Ｘ年Ｘ月Ｘ日ＸＸ時であり、天気は、ＸＸであり、ＸＸ市のＸＸショッピングモールにようこそ、ご奉仕させていただきます」という音声を出力することができる。一般的な歓迎の動作、ジェスチャー、および、音声に加えて、さらに、現在時間、場所、および、天気情況を追加することで、いっそう多いニュースを提供しただけでなく、さらに、インタラクティブオブジェクトの応答がインタラクティブ要件にいっそう符合されるようにすることができ、狙いがいっそうはっきりである。

【0095】

表示デバイスの周辺の画像に対してユーザ検出を実行し、検出結果および前記表示デバイスの環境情報に基づいて、前記表示デバイスに表示されているインタラクティブオブジェクトを駆動して応答を実行するようにすることによって、インタラクティブオブジェクトの応答がインタラクティブ要件にいっそう符合されるようにすることができ、ユーザとインタラクティブオブジェクトとの間のインタラクティブがいっそうリアルで鮮やかになるようにすることができ、ユーザ体験を改善した。

【0096】

いくつかの実施例において、前記検出結果および前記環境情報に基づいて、マッチングされる、予め設定した応答ラベルを得、その後、前記応答ラベルに基づいて前記インタラクティブオブジェクトを駆動して該当する応答を行うようにすることができる。前記応答ラベルは、前記インタラクティブオブジェクトの動作、表情、ジェスチャー、言語の中の１項または複数項の駆動テキストに対応することができる。異なる検出結果および環境情報に基づいて、確定した応答ラベルに基づいて該当する駆動テキストを得ることによって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。

【0097】

例えば、現在サービス状態がユーザ待ち状態であり、また環境情報が表す場所が上海であると、対応する応答ラベルは、動作は歓迎の動作であり、音声は「上海にようこそ」であり得る。

【0098】

また、たとえば、現在サービス状態がユーザ発見状態であり、環境情報が表す時間が午前であり、ユーザ属性情報が女性を表し、またユーザ履歴記録が表す姓が張であると、対応する応答ラベルは、動作は歓迎の動作であり、音声は、「張女史、おはようございます！ようこそ、ご奉仕させていただきます」であり得る。

【0099】

異なる検出結果および異なる環境情報の組み合わせに対して、該当する応答ラベルを設定し、前記応答ラベルに基づいてインタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることによって、インタラクティブオブジェクトを駆動してデバイスの異なる状態および異なるシーンに基づいて異なる応答を実行するようにすることができ、前記インタラクティブオブジェクトの応答がいっそう多様化になるようにした。

【0100】

いくつかの実施例において、前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記応答ラベルに対応する駆動テキストを出力することによって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。

【0101】

ここで、前記ニューラルネットワークは、サンプル応答ラベルセットを利用してトレーニングを実行することができ、ここで、前記サンプル応答ラベルには、対応する駆動テキストがラベリングされている。前記ニューラルネットワークは、トレーニングを通じた後、出力する応答ラベルに対して、該当する駆動テキストを出力することができ、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにすることができる。表示デバイス側またはクラウド側で直接対応する駆動テキストを検索することと比較すると、予めトレーニングしたニューラルネットワークを使用して、駆動テキストを予め設定したことがない応答ラベルに対しても、駆動テキストを生成して、前記インタラクティブオブジェクトを駆動して適当に応答を実行するようにすることができる。

【0102】

いくつかの実施例において、頻度が高くかつ重要なシーンに対しては、手動で設定する方式で最適化を実行することもできる。すなわち、出現頻度より高い検出結果と環境情報の組み合わせに対しては、対応する応答ラベルに対して駆動テキストを手動で設定することができる。当該シーンが出現されると、該当する駆動テキストを自動的に呼び出して前記インタラクティブオブジェクトを駆動して応答を実行するようにすることができ、インタラクティブオブジェクトの動作と表情がいっそう自然になるようにする。

【0103】

１実施例において、前記表示デバイスがユーザ発見状態にいることに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得、前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整する。

【0104】

ユーザの位置に基づいてインタラクティブオブジェクトの体の向きを自動的に調整して、前記インタラクティブオブジェクトが常にユーザに向かい合うように維持することによって、インタラクティブがいっそうフレンドリーになるようにし、ユーザのインタラクティブ体験を改善した。

【0105】

いくつかの実施例において、前記インタラクティブオブジェクトの画像は、仮想カメラによって収集されたものである。仮想カメラは、３Ｄソフトウェア、および、画像を収集するための仮想ソフトウェアカメラに適用され、インタラクティブオブジェクトは、前記仮想カメラによって収集された３Ｄ画像をスクリーン上に表示されたものである。したがって、ユーザの視角は、３Ｄソフトウェア中の仮想カメラの視角として理解することができ、これにより、インタラクティブオブジェクトがユーザとアイコンタクトを実現できないという問題が発生する。

【0106】

上記の問題を解決するために、本発明少なくとも１つの実施例において、インタラクティブオブジェクトの体の向きを調整する同時に、前記インタラクティブオブジェクトの視線も前記仮想カメラと位置合わせて維持するようにする。インタラクティブオブジェクトがインタラクティブ過程でユーザを向いており、また視線も仮想カメラと位置合わせて維持しているため、インタラクティブオブジェクトが自分を見ているように、ユーザに見せることができ、ユーザのインタラクティブオブジェクトとのインタラクティブの快適性を向上させることができる。

【0107】

図３は、本発明の少なくとも１つの実施例に係るインタラクティブ装置の構成を示す模式図であり、図３に示すように、当該装置は、画像取得ユニット３０１と、検出ユニット３０２と、駆動ユニット３０３と、を備えてもよい。

【0108】

ここで、画像取得ユニット３０１は、カメラによって収集された、透明表示スクリーンを利用してインタラクティブオブジェクトを表示する表示デバイスの周辺の画像を取得し、検出ユニット３０２は、前記画像における顔と人体との中の少なくとも１つに対して検出を実行して検出結果を得、駆動ユニット３０３は、前記検出結果に基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにする。

【0109】

いくつかの実施例において、前記表示デバイスは、さらに、前記透明表示スクリーンを利用して前記インタラクティブオブジェクトの倒影を表示するか、または、底板上に前記インタラクティブオブジェクトの倒影を表示する。

【0110】

いくつかの実施例において、前記インタラクティブオブジェクトは、立体効果を有する仮想人物を含む。

【0111】

いくつかの実施例において、前記検出結果は、少なくとも前記表示デバイスの現在サービス状態を含み、前記現在サービス状態は、ユーザ待ち状態、ユーザ離れ状態、ユーザ発見状態、サービスアクティベーション状態、および、サービス中状態の中の任意の１種を含む。

【0112】

いくつかの実施例において、検出ユニット３０２は、具体的に、現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で顔および人体が検出されてなかったことに応答して、前記現在サービス状態がユーザ待ち状態であると確定する。

【0113】

いくつかの実施例において、検出ユニット３０２は、具体的に、現在タイミングで顔および人体が検出されてないし、かつ、現在タイミングの前の所定の時間帯内で顔および／または人体が検出されたことに応答して、前記現在サービス状態がユーザ離れ状態であると確定する。

【0114】

いくつかの実施例において、検出ユニット３０２は、具体的に、前記顔と前記人体との中の少なくとも１つが検出されたことに応答して、前記表示デバイスの現在サービス状態がユーザ発見状態であると確定する。

【0115】

いくつかの実施例において、前記検出結果は、ユーザ属性情報および／またはユーザ履歴操作情報をさらに含み、前記装置は、情報取得ユニットをさらに含み、前記情報取得ユニットは、前記画像を利用して、ユーザ属性情報を得、および／または、前記ユーザの顔と人体との中の少なくとも１つの特徴情報とマッチングされるユーザ履歴操作情報を検索する。

【0116】

いくつかの実施例において、前記装置は、目標確定ユニットをさらに備え、前記目標確定ユニットは、少なくとも２人のユーザが検出されたことに応答して、前記少なくとも２人のユーザの特徴情報を得、前記少なくとも２人のユーザの特徴情報に基づいて、前記少なくとも２人のユーザの中の目標ユーザを確定する。前記駆動ユニット３０３は、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記目標ユーザに対して応答を実行するようにする。

【0117】

いくつかの実施例において、前記装置は、環境情報を取得するための環境情報取得ユニットをさらに備え、前記駆動ユニット３０３は、具体的に、前記検出結果および前記表示デバイスの環境情報に基づいて、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して応答を実行するようにする。

【0118】

いくつかの実施例において、前記環境情報は、前記表示デバイスの地理位置、前記表示デバイスのＩＰアドレス、および、前記表示デバイスが位置する領域の天気と日付の中の少なくとも１項または複数項を含む。

【0119】

いくつかの実施例において、駆動ユニット３０３は、具体的に、前記検出結果および前記環境情報とマッチングされる予め設定した応答ラベルを得、前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して前記応答ラベルに対応する応答を実行するようにする。

【0120】

いくつかの実施例において、駆動ユニット３０３は、前記応答ラベルに基づいて前記表示デバイスの前記透明表示スクリーン上に表示された前記インタラクティブオブジェクトを駆動して該当する応答を行うときに、具体的に、前記応答ラベルを予めトレーニングしたニューラルネットワークに入力し、前記ニューラルネットワークによって、前記応答ラベルに対応する駆動内容であって、前記インタラクティブオブジェクトを駆動して該当する動作、表情、言語の中の１項または複数項を出力するようにするための駆動内容が、出力される。

【0121】

いくつかの実施例において、前記装置は、サービスアクティベーションユニットをさらに備え、前記サービスアクティベーションユニットは、前記検出ユニット３０２によって現在サービス状態がユーザ発見状態であるとして検出されたことに応答して、前記駆動ユニット３０３が前記インタラクティブオブジェクトを駆動して応答を実行するようにした後に、前記表示デバイスの周辺の画像において検出されたユーザを追跡し、前記ユーザを追跡する過程で、前記ユーザが出力した第１トリガー情報が検出されたことに応答して、前記表示デバイスがサービスアクティベーション状態になることを確定し、前記駆動ユニット３０３が前記インタラクティブオブジェクトを駆動して前記第１トリガー情報とマッチングされるサービスを展示するようにする。

【0122】

いくつかの実施例において、前記装置サービスユニットをさらに備え、前記サービスユニットは、前記表示デバイスが前記サービスアクティベーション状態にいるときに、前記ユーザが出力した第２トリガー情報が検出されたことに応答して、前記表示デバイスがサービス中状態になることを確定し、ここで、前記駆動ユニット３０３は、前記インタラクティブオブジェクトを駆動して前記第２トリガー情報とマッチングされるサービスを提供するようにする。

【0123】

いくつかの実施例において、前記装置は、方向調整ユニットをさらに備え、前記方向調整ユニットは、前記検出ユニット３０２によって現在サービス状態がユーザ発見状態であるとして検出されたことに応答して、前記ユーザの前記画像における位置に基づいて、前記ユーザの前記透明表示スクリーンで展示している前記インタラクティブオブジェクトに対する位置情報を得、前記インタラクティブオブジェクトが前記ユーザを向くように、前記位置情報に基づいて前記インタラクティブオブジェクトの向きを調整する。

【0124】

本発明少なくとも１つの実施例は、インタラクティブデバイスをさらに提供し、図４に示すように、前記デバイスは、メモリ４０１とプロセッサ４０２とを備える。メモリ４０１は、プロセッサによって実行できるコンピュータ命令を記憶し、前記命令が実行されるときに、プロセッサ４０２が本発明の任意の１実施例に記載の方法を実現するようにする。

【0125】

本発明少なくとも１つの実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供し、前記コンピュータプログラムがプロセッサによって実行されるときに、前記プロセッサが本発明の任意の１実施例に記載のインタラクティブ方法を実現するようにする。

【0126】

当業者は、本発明の１つまたは複数の実施例は、方法、システム、または、コンピュータプログラム製品として提供することができることを了解すべきである。したがって、本発明の１つまたは複数の実施例は、完全なハードウェアの実施例、完全なソフトウェアの実施例、または、ソフトウェアとハードウェアを組み合わせる実施例の形式を使用することができる。また、本発明の１つまたは複数の実施例は、コンピュータ利用可能なプログラムコードを含む１つまたは複数のコンピュータ利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むが、これらに限定されない）上で実施されるコンピュータプログラム製品の形式を使用することができる。

【0127】

本発明における各実施例は、いずれも、漸進的な方式を使用して叙述され、各実施例同士の間の同一または類似な部分は互いに参照することができ、各々の実施例では他の実施例との異なるところに焦点を合わせて説明した。特に、データ処理デバイスの実施例の場合、基本的に方法の実施例と類似であるため、相対的に簡単に叙述したが、関連するところは方法の実施例の部分の説明を参照すればよい。

【0128】

上記で本発明の特定の実施例を叙述した。他の実施例は、添付する「特許請求の範囲」の範囲内にいる。いくつかの場合、特許請求の範囲に記載の行為またはステップは、実施例と異なる順序に従って実行されることができ、このときにも依然として期待する結果が実現されることができる。また、図面で描かれた過程は、期待する結果するために、必ずとしても、示された特定の順序または連続的な順序を必要としない。いくつかの実施形態において、マルチタスク処理および並列処理も可能であるか、または、有利であり得る。

【0129】

本発明における主題および機能操作の実施例は、デジタル電子回路、有形コンピュータソフトウェアまたはファームウェア、本発明に開示される構成およびその構造的同等物を含むコンピュータハードウェア、または、それらの１つまたは複数の組み合わせで、実現されることができる。本発明における主題の実施例は、１つまたは複数のコンピュータプログラムとして実現されることができ、すなわち、有形の非一時的プログラムキャリア上に符号化されて、データ処理装置によって実行されるか、または、データ処理装置の操作を制御するための、コンピュータプログラム命令中の１つまたは複数のモジュールとして実現されることができる。代替的または追加的に、プログラム命令は、手動で生成する伝播信号上に符号化されることができ、例えば、機械が生成する電気信号、光信号、または、電磁信号に符号化されることができる。当該信号は、情報を符号化して適切な受信機装置に伝送して、データ処理装置によって実行されるようにするために、生成される。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムにまたはシリアルアクセスメモリデバイス、または、それらの１つまたは複数の組み合わせであり得る。

【0130】

本発明における処理と論理フローは、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能なコンピュータによって実行されることができ、入力データに基づいて操作を実行して出力を生成することによって該当する機能を実行する。前記処理と論理フローは、さらに、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（専用集積回路）などの専用論理回路によって実行されることができ、また、装置も専用論理回路として実現されることができる。

【0131】

コンピュータプログラムの実行に適したコンピュータは、例えば、汎用、および／または、専用マイクロプロセッサ、または、いかなる他の種類の中央処理ユニットを含む。一般的に、中央処理ユニットは、読み取り専用メモリ、および／または、ランダムアクセスメモリから、命令とデータを受信することになる。コンピュータの基本コンポーネントは、命令を実施または実行するための中央処理ユニット、および、命令とデータを記憶するための１つまたは複数のメモリデバイスを含む。一般的に、コンピュータは、磁気ディスク、磁気光学ディスク、または、光ディスクなどの、データを記憶するための１つまたは複数の大容量記憶デバイスをさらに含むか、または、操作可能に当該大容量記憶デバイスと結合されてデータを受信するかまたはデータを伝送するか、または、その両方を兼有する。しかしながら、コンピュータは、必ずとして、このようなデバイスを有するわけではない。なお、コンピュータは、もう１デバイスに埋め込まれることができ、例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオまたはビデオおプレーヤー、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）レジーバー、または、汎用シリアルバス（ＵＳＢ）フラッシュドライブなどのポータブル記憶デバイスに埋め込まれることができ、これらデバイスはいくつかの例に過ぎない。

【0132】

コンピュータプログラム命令とデータの記憶に適したコンピュータ可読媒体は、すべての形式の不揮発性メモリ、媒介、および、メモリデバイスを含み、例えば、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、および、フラッシュデバイス）、磁気ディスク（例えば、内部ハードディスクまたは移動可能ディスク）、磁気光学ディスク、および、ＣＤＲＯＭ、および、ＤＶＤ－ＲＯＭディスクを含む。プロセッサとメモリは、専用論理回路によって補完されるかまたは専用論理回路に組み込まれることができる。

【0133】

本発明は、多くの具体的な実施の細部を含むが、これらを本発明の範囲または保護しようとする範囲を限定するものとして解釈すべきではなく、主に本発明のいくつかの実施例の特徴を叙述するために使用される。本発明の複数の実施例中の特定の特徴は、単一の実施例に組み合わせて実施されることもできる。他方、単一の実施例中の各種の特徴は、複数の実施例で別々に実施されるかまたはいかなる適切なサブ組み合わせで実施されることもできる。なお、特徴が上記のように特定の組み合わせで役割を果たし、また最初からこのように保護すると主張したが、保護すると主張した組み合わせからの１つまたは複数の特徴は、場合によって当該組み合わせから除外されることができ、また保護すると主張した組み合わせはサブ組み合わせまたはサブ組み合わせの変形に向けることができる。

【0134】

類似的に、図面で特定の順序に従って操作を描いたが、これはこれら操作を示した特定の順序にしたがって実行するかまたは順次に実行するように要求するか、または、例示したすべての操作が実行されることによって期待する結果が実現されると要求することであると理解すべきではない。場合によっては、マルチタスクおよび並列処理が有利である可能性がある。なお、上記の実施例中の各種のシステムモジュールとコンポーネントの分離は、すべての実施例でいずれもこのように分離されなければならないと理解すべきではないし、また、叙述したプログラムコンポーネントとシステムは、一般的に、一緒に単一のソフトウェア製品に統合されるか、または、複数のソフトウェア製品にパッケージされることができることを理解すべきである。

【0135】

したがって、主題の特定の実施例がすでに叙述された。他の実施例は、添付する「特許請求の範囲」の範囲内にある。場合によっては、特許請求の範囲に記載されている動作は、異なる順序によって実行されても、依然として期待する結果が実現されることができる。なお、図面で描かれた処理は、期待する結果を実現するために、必ずとして、示めされた特定の順序または順次を必要としない。一部の実現において、マルチタスクおよび並列処理が有利である可能性がある。

【0136】

上記は、本発明のいくつかの実施例に過ぎず、本発明を限定するために使用されるものではない。本発明の精神と原則の範囲内で行われたいかなる修正、同等の置換、改良などは、いずれも本発明の範囲に含まれるべきである。

【図1】