特表2022-553773 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 上海商▲湯▼▲臨▼港智能科技有限公司の特許一覧

特表2022-553773車載デジタルヒューマンに基づくインタラクション方法及び装置、記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-26

(54)【発明の名称】車載デジタルヒューマンに基づくインタラクション方法及び装置、記憶媒体

(51)【国際特許分類】

G06F 3/01 20060101AFI20221219BHJP

G06F 3/0481 20220101ALI20221219BHJP

G01C 21/26 20060101ALN20221219BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

G01C21/26 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022524647

(86)(22)【出願日】2020-12-14

(85)【翻訳文提出日】2022-04-26

(86)【国際出願番号】 CN2020136256

(87)【国際公開番号】W WO2021258672

(87)【国際公開日】2021-12-30

(31)【優先権主張番号】202010581363.4

(32)【優先日】2020-06-23

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】521098397

【氏名又は名称】上海商▲湯▼▲臨▼港智能科技有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩＳＥＮＳＥＴＩＭＥＬＩＮＧＡＮＧＩＮＴＥＬＬＩＧＥＮＴＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】特許業務法人ユニアス国際特許事務所

(72)【発明者】

【氏名】周群▲艷▼

(72)【発明者】

【氏名】▲曾▼ 彬

(72)【発明者】

【氏名】李 ▲軻▼

(72)【発明者】

【氏名】▲呉▼ ▲陽▼平

(72)【発明者】

【氏名】▲許▼ 亮

(72)【発明者】

【氏名】▲許▼ ▲親▼▲親▼

(72)【発明者】

【氏名】林楠

(72)【発明者】

【氏名】王玉生

【テーマコード（参考）】

2F129

5E555

【Ｆターム（参考）】

2F129AA03

2F129EE67

2F129GG17

2F129HH12

2F129HH21

2F129HH29

5E555AA27

5E555AA71

5E555BA23

5E555BB23

5E555BC04

5E555CA41

5E555CA42

5E555CB66

5E555DA23

5E555DB32

5E555DB57

5E555DC19

5E555DD07

5E555EA04

5E555EA05

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

本発明は、車載デジタルヒューマンに基づくインタラクション方法及び装置、並びに記憶媒体を提案している。前記方法は、車内領域のビデオストリームを取得するステップと、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップと、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップと、を含み、前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

車載デジタルヒューマンに基づくインタラクション方法であって、
車内領域のビデオストリームを取得するステップと、
ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップと、
前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップと、を含み、
前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む
ことを特徴とする車載デジタルヒューマンに基づくインタラクション方法。

【請求項2】

前記ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップは、
前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定するステップと、
前記画像座標領域を、前記画像における前記乗降車対象の前記第１相対位置情報とするステップと、を含む
ことを特徴とする請求項１に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項3】

前記ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップは、
前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定するステップと、
画像座標と車内空間座標との間のマッピング関係に基づいて、前記乗降車対象の少なくとも１つの部位の所在する前記画像座標領域に対応する車内空間座標領域を特定するステップと、
前記車内空間座標領域を、前記乗降車対象と車両との前記第２相対位置情報とするステップと、を含む
ことを特徴とする請求項１に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項4】

前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップは、
予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、前記相対位置情報に対応するターゲット方向を特定するステップと、
前記車両に搭載された表示機器に表示されるデジタルヒューマンが前記ターゲット方向へ方向転換する動画を生成して表示するステップと、を含む
ことを特徴とする請求項１乃至３の何れか一項に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項5】

前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップは、
検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定するステップと、
前記ターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップと、を含む
ことを特徴とする請求項１乃至４の何れか一項に記載の方法。

【請求項6】

前記検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定するステップは、
検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置を前記ターゲット相対位置として特定することを含む
ことを特徴とする請求項５に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項7】

前記異なる位置情報の優先度順位は、
運転領域に対応する位置情報の優先度が助手領域に対応する位置情報の優先度より高いことと、
前列領域に対応する位置情報の優先度が後列領域に対応する位置情報の優先度より高いことと、
専用シートに対応する位置情報の優先度が非専用シートに対応する位置情報の優先度より高いことと、のうちの少なくとも１つを含む
ことを特徴とする請求項６に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項8】

前記ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出する前に、前記車載デジタルヒューマンに基づくインタラクション方法は、
前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定するステップと、
前記対象の乗降車意図に基づいて前記乗降車対象を特定するステップと、をさらに含む
ことを特徴とする請求項１乃至７の何れか１項に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項9】

前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定するステップは、
前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の少なくとも１つの部位が検出されたことに応答して、対象の降車意図を特定するステップと、
前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の任意１つの部位が検出されておらず且つ前記車のドアが開き状態にあることに応答して、対象の乗車意図を特定するステップと、のうちの少なくとも１つを含む
ことを特徴とする請求項８に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項10】

前記ビデオストリームにおける画像に基づいて前記乗降車対象の属性情報を検出するステップと、
前記乗降車対象の属性情報に基づいて、前記デジタルヒューマンが前記属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示するステップと、をさらに含む
ことを特徴とする請求項１乃至９の何れか一項に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項11】

前記乗降車対象は、人とペットのうちの少なくとも１つを含み、
前記対象の属性情報は、身分情報、性別情報、種類情報のうちの少なくとも１つを含み、
前記マルチメディア情報は、表情情報、動作情報、音声情報のうちの少なくとも１つを含む
ことを特徴とする請求項１０に記載の車載デジタルヒューマンに基づくインタラクション方法。

【請求項12】

車載デジタルヒューマンに基づくインタラクション装置であって、
車内領域のビデオストリームを取得するための取得モジュールと、
ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するための相対位置検出モジュールと、
前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するための第１インタラクションモジュールと、を含み、
前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む
ことを特徴とする車載デジタルヒューマンに基づくインタラクション装置。

【請求項13】

コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ・プログラムがプロセッサで実行される場合、前記プロセッサは、請求項１乃至１１の何れか一項に記載の車載デジタルヒューマンに基づくインタラクション方法を実行する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項14】

プロセッサと、前記プロセッサで実行可能な命令を格納するためのメモリと、を含む車載デジタルヒューマンに基づくインタラクション装置であって、
前記プロセッサは、前記メモリに格納された実行可能な命令を呼び出した場合、請求項１乃至１１の何れか一項に記載の車載デジタルヒューマンに基づくインタラクション方法を実施する
ことを特徴とする車載デジタルヒューマンに基づくインタラクション装置。

【請求項15】

コンピュータ読み取り可能なコードを含むコンピュータ・プログラム製品であって、
前記コンピュータ読み取り可能なコードがプロセッサで実行される際に、前記プロセッサは、請求項１乃至１１の何れか一項に記載の車載デジタルヒューマンに基づくインタラクション方法を実行する
ことを特徴とするコンピュータ・プログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実の分野に関し、特に車載デジタルヒューマンに基づくインタラクション方法及び装置、記憶媒体に関する。
＜関連出願の相互参照＞

【0002】

本発明は、２０２０年６月２３日に中国特許庁に提出された、出願番号がＣＮ２０２０１０５８１３６３．４であり、発明の名称が「車載デジタルヒューマンに基づくインタラクション方法及び装置、記憶媒体」である中国特許出願の優先権を主張しており、該中国特許出願の全文が援用により本発明に組み込まれる。

【背景技術】

【0003】

現在、車内にロボットが搭載されており、人員は車内に入ったら、ロボットで車内人員とインタラクションを行うことができる。然し、ロボットと車内人員とのインタラクション・モードは比較的に固定であり、人間性に欠けている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、車載デジタルヒューマンに基づくインタラクション方法及び装置、記憶媒体を提案している。

【課題を解決するための手段】

【0005】

本発明の実施例の第１態様により、車載デジタルヒューマンに基づくインタラクション方法であって、車内領域のビデオストリームを取得するステップと、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップと、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップと、を含み、前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む車載デジタルヒューマンに基づくインタラクション方法が提案されている。

【0006】

一部の実施例では、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップは、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定するステップと、前記画像座標領域を、前記画像における前記乗降車対象の前記第１相対位置情報とするステップと、を含む。

【0007】

一部の実施例では、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するステップは、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定するステップと、画像座標と車内空間座標との間のマッピング関係に基づいて、前記乗降車対象の少なくとも１つの部位の所在する前記画像座標領域に対応する車内空間座標領域を特定するステップと、前記車内空間座標領域を、前記乗降車対象と車両との前記第２相対位置情報とするステップと、を含む。

【0008】

一部の実施例では、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップは、予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、前記相対位置情報に対応するターゲット方向を特定するステップと、前記車両に搭載された表示機器に表示されるデジタルヒューマンが前記ターゲット方向へ方向転換する動画を生成して表示するステップと、を含む。

【0009】

一部の実施例では、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定するステップと、前記ターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するステップと、を含む。

【0010】

一部の実施例では、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定するステップは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置が含まれることに応答して、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置を前記ターゲット相対位置として特定することを含む。

【0011】

一部の実施例では、前記異なる位置情報の優先度順位は、運転領域に対応する位置情報の優先度が助手領域に対応する位置情報の優先度より高いことと、前列領域に対応する位置情報の優先度が後列領域に対応する位置情報の優先度より高いことと、専用シートに対応する位置情報の優先度が非専用シートに対応する位置情報の優先度より高いことと、のうちの少なくとも１つを含む。

【0012】

一部の実施例では、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出する前に、前記方法は、前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定するステップと、前記対象の乗降車意図に基づいて前記乗降車対象を特定するステップと、をさらに含む。

【0013】

一部の実施例では、前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定するステップは、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の少なくとも１つの部位が検出されたことに応答して、対象の降車意図を特定するステップと、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の任意１つの部位が検出されておらず且つ前記車のドアが開き状態にあることに応答して、対象の乗車意図を特定するステップと、のうちの少なくとも１つを含む。

【0014】

一部の実施例では、前記方法は、前記ビデオストリームにおける画像に基づいて前記乗降車対象の属性情報を検出するステップと、前記乗降車対象の属性情報に基づいて、前記デジタルヒューマンが前記属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示するステップと、をさらに含む。

【0015】

一部の実施例では、前記乗降車対象は、人とペットのうちの少なくとも１つを含み、前記対象の属性情報は、身分情報、性別情報、種類情報のうちの少なくとも１つを含み、前記マルチメディア情報は、表情情報、動作情報、音声情報のうちの少なくとも１つを含む。

【0016】

本発明の実施例の第２態様により、車載デジタルヒューマンに基づくインタラクション装置が提供され、前記装置は、車内領域のビデオストリームを取得するための取得モジュールと、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するための相対位置検出モジュールと、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するための第１インタラクションモジュールと、を含み、前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む。

【0017】

一部の実施例では、前記相対位置検出モジュールは、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定する第１特定サブモジュールと、前記画像座標領域を、前記画像における前記乗降車対象の前記第１相対位置情報とする第２特定サブモジュールと、を含む。

【0018】

一部の実施例では、前記相対位置検出モジュールは、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定する第３特定サブモジュールと、画像座標と車内空間座標との間のマッピング関係に基づいて、前記乗降車対象の少なくとも１つの部位の所在する前記画像座標領域に対応する車内空間座標領域を特定する第４特定サブモジュールと、前記車内空間座標領域を、前記乗降車対象と車両との前記第２相対位置情報とする第５特定サブモジュールと、を含む。

【0019】

一部の実施例では、前記第１インタラクションモジュールは、予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、前記相対位置情報に対応するターゲット方向を特定する方向特定サブモジュールと、前記車両に搭載された表示機器に表示されるデジタルヒューマンが前記ターゲット方向へ方向転換する動画を生成して表示する第１インタラクションサブモジュールと、を含む。

【0020】

一部の実施例では、前記第１インタラクションモジュールは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定する第６特定サブモジュールと、前記ターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する第２インタラクションサブモジュールと、を含む。

【0021】

一部の実施例では、前記第６特定サブモジュールは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置が含まれることに応答して、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置を前記ターゲット相対位置として特定する特定ユニットを含む。

【0022】

【0023】

一部の実施例では、前記装置は、前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定する乗降車意図特定モジュールと、前記対象の乗降車意図に基づいて前記乗降車対象を特定する乗降車対象特定モジュールと、をさらに含む。

【0024】

一部の実施例では、前記乗降車意図特定モジュールは、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の少なくとも１つの部位が検出されたことに応答して、対象の降車意図を特定する第７特定サブモジュールと、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の任意１つの部位が検出されておらず且つ前記車のドアが開き状態にあることに応答して、対象の乗車意図を特定する第８特定サブモジュールのうちの少なくとも１つを含む。

【0025】

一部の実施例では、前記装置は、前記ビデオストリームにおける画像に基づいて前記乗降車対象の属性情報を検出する属性情報検出モジュールと、前記乗降車対象の属性情報に基づいて、前記デジタルヒューマンが前記属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示する第２インタラクションモジュールと、をさらに含む。

【0026】

【0027】

本発明の実施例の第３態様により、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体が提案される。前記コンピュータ・プログラムがプロセッサで実行される場合、前記プロセッサは、第１態様に係る何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実行する。

【0028】

本発明の実施例の第４態様により、プロセッサと、前記プロセッサで実行可能な命令を格納するためのメモリと、を含む車載デジタルヒューマンに基づくインタラクション装置が提案される。前記プロセッサは、前記メモリに格納された実行可能な命令を呼び出した場合、第１態様に係る何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実施する。

【0029】

本発明の実施例の第５態様により、コンピュータ読み取り可能なコードを含むコンピュータ・プログラム製品が提案される。コンピュータ読み取り可能なコードがデバイスで実行される際に、デバイスのプロセッサは、以上の何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実施するための命令を実行する。

【発明の効果】

【0030】

本発明の実施例で提案する技術案は、次の有益な効果を有する。

【0031】

本発明の実施例では、車内領域のビデオストリームにおける画像を分析することで、乗降車対象の相対位置情報を検出し、相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する。ビデオストリームにおける画像を検出や分析する方法によれば、乗降車対象がある場合、デジタルヒューマンが対応する方向転換を実行する動画を生成して表示することにより、ヒューマンマシン・インタラクションの方式が人間のインタラクション習慣にさらに合致し、インタラクション過程がさらに自然になり、人間がヒューマンマシン・インタラクションの温かさを感じでき、車乗りの楽しみ、快適さ、付き添いが向上するようになる。

【0032】

以上の概略的な説明及び以下の詳細な説明は、単に例示及び説明ためのものに過ぎず、本発明を制限するものでないとは、理解されるべきである。

【図面の簡単な説明】

【0033】

ここでの図面は、明細書に合併されて本明細書の一部を構成し、本発明に符合する実施例を示し、明細書に合わせて本発明の原理を説明するためのものである。

【図1】本発明の例示的な一実施例による車載デジタルヒューマンに基づくインタラクション方法のフローチャートである。

【図2】本発明の例示的な一実施例によるステップ１０２のフローチャートである。

【図3】本発明の別の例示的な一実施例によるステップ１０２のフローチャートである。

【図4】本発明の例示的な一実施例によるステップ１０３のフローチャートである。

【図5】本発明の別の例示的な一実施例によるステップ１０３のフローチャートである。

【図6】本発明の別の例示的な一実施例による車載デジタルヒューマンに基づくインタラクション方法のフローチャートである。

【図7】本発明の例示的な一実施例によるステップ１０４のフローチャートである。

【図8】本発明のさらに別の例示的な一実施例による車載デジタルヒューマンに基づくインタラクション方法のフローチャートである。

【図9】本発明の例示的な一実施例による車載デジタルヒューマンの模式図である。

【図10】本発明の例示的な一実施例による車載デジタルヒューマンに基づくインタラクション装置のブロック図である。

【図11】本発明の例示的な一実施例による車載デジタルヒューマンに基づくインタラクション装置のハードウェア構成の模式図である。

【発明を実施するための形態】

【0034】

ここで例示的な実施例について詳しく説明し、その例示は図面に示されている。以下の説明では図面に係るときに、特に説明がない限り、異なる図面中の同じ数字は同じ又は類似の要素を示す。以下の例示的な実施例で説明される実施形態は、本発明と一致する全ての実施形態を代表するものではない。逆に、それらは添付される特許請求の範囲で詳しく説明されるような、本発明の一部の態様と一致する装置及び方法の例に過ぎない。

【0035】

本発明で用いられる用語は、特定の実施例を説明するためのものに過ぎず、本発明を制限するものではない。本発明及び添付される特許請求の範囲で用いられる単数形の「１つ」、「前記」及び「該」は、文脈には他の意味が明示的に定義されない限り、複数形を同様に含むものとする。さらに、本明細書で用いられる用語「及び／又は」は、１つ又は複数の関連付けられた列挙項目に関する任意又は全ての可能性がある組合せを指し、包含しているとは、理解されるべきである。

【0036】

本発明では、第１、第２、第３などの用語で様々の情報を記述する場合があるが、これらの情報は、これらの用語に制限されるものではないとは、理解されるべきである。これらの用語は、同一タイプの情報同士を区分するためのものに過ぎない。例えば、本発明の範囲から逸脱しない限り、第１情報は第２情報と称されてもよく、同様に、第２情報は第１情報と称されてもよい。言語的脈絡によって決められており、例えば、ここで用いられる用語「場合」は、「…とき」、「…際に」又は「…特定の状況に応じて」と解釈されてもよい。

【0037】

本発明の実施例は、例えばスマート車両、車両運転をシミュレートするスマートキャビンなどの運転可能な機器に適用する車載デジタルヒューマンに基づくインタラクション方法を提案している。

【0038】

図１には、例示的な一実施例による車載デジタルヒューマンに基づくインタラクション方法が図示されており、図１に示すように、前記方法は、次のステップを含む。

【0039】

ステップ１０１において、車内領域のビデオストリームを取得する。

【0040】

本発明の実施例では、車載カメラによって車内領域のビデオストリームを取得することができる。車載カメラは、センターコンソール、フロントガラス、車内バックミラー、又は車内領域を撮影可能な他の任意位置に配置されていてもいい。車内領域は、運転領域、助手領域、後列領域のうちの少なくとも１つを含む。

【0041】

ステップ１０２において、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出する。

【0042】

本発明の実施例では、乗降車対象は、人とペットのうちの少なくとも１つを含む。相対位置情報は、第１相対位置情報又は第２相対位置情報を含み、ここでは、第１相対位置情報は、ビデオストリームの画像における乗降車対象の相対位置情報であって、画像座標系における対象の画像座標領域で示されてもよく、第２相対位置情報は、乗降車対象と車両との相対位置情報であって、車内空間座標系における乗降車対象の車内空間座標領域で示されてもよい。

【0043】

ステップ１０３において、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する。

【0044】

本発明の実施例では、前記デジタルヒューマンは、ソフトウェアによって生成された仮想イメージであり、車両に搭載された表示機器に表示でき、表示機器は、センターコンソールのディスプレイ又は車載タブレットデバイスを含むことができ、それらに限定されない。乗降車対象の相対位置情報が特定された後、該相対位置情報に基づいて、表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示することができ、例えば、デジタルヒューマンがその前の方向から乗降車対象の所在する方向へ方向転換する動画を生成して表示することができる。

【0045】

以上の実施例では、車内領域のビデオストリームにおける画像を分析することで、乗降車対象の相対位置情報を検出し、相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する。ビデオストリームにおける画像を検出や分析する方法によれば、乗降車対象がある場合、デジタルヒューマンが対応する方向転換を実行する動画を生成して表示することにより、ヒューマンマシン・インタラクションの方式が人間のインタラクション習慣にさらに合致し、インタラクション過程がさらに自然になり、人間がヒューマンマシン・インタラクションの温かさを感じでき、車乗りの楽しみ、快適さ、付き添いが向上するようになる。例えば、乗車者がある場合、本発明の実施例で提案された車載デジタルヒューマンに基づくインタラクション方法によれば、該乗車者が必要以上の言語や動作を入力することなしに、乗車者の方向を正確に判断でき、本当の無意識認識（Ｓｅｎｓｅｌｅｓｓｒｅｃｏｇｎｉｔｉｏｎ）及びインタラクションを実現することが可能である。

【0046】

一部の実施例では、乗降車対象の相対位置情報には画像における該乗降車対象の第１相対位置情報が含まれる場合、図２に示すように、ステップ１０２は、次のステップを含み得る。

【0047】

ステップ２０１において、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定する。

【0048】

本発明の実施例では、画像座標系は、ビデオストリームにおける画像に対応する二次元座標系である。一例示では、予め訓練された領域提案ネットワーク（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ、ＲＰＮ）によって、画像における乗降車対象の少なくとも１つの部位に対して領域の検出を行い、少なくとも１つの部位は、顔部、手部、胴体などを含むが、それらに限定されない。領域の検出により、乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定することができる。

【0049】

ステップ２０２において、前記画像座標領域を、前記画像における前記乗降車対象の前記第１相対位置情報とする。

【0050】

例えば、乗降車対象の少なくとも１つの部位の所在する前記画像座標領域が画像座標系における画像座標領域１である場合、画像座標領域１を、前記画像における乗降車対象の前記第１相対位置情報とする。

【0051】

上記の実施例では、乗降車対象に対して領域の検出を行って乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定することができ、特定された画像座標領域を第１相対位置とすることにより、その後に第１相対位置に基づいてデジタルヒューマンが対応する方向転換を実行する動画を生成して表示することが容易になり、可用性が高い。

【0052】

一部の実施例では、乗降車対象の相対位置情報には該乗降車対象と車両との第２相対位置情報が含まれる場合、図３に示すように、ステップ１０２は、次のステップを含み得る。

【0053】

ステップ３０１において、前記画像に対応する画像座標系において、前記乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定する。

【0054】

本発明の実施例では、ステップ２０１と同じ方法により乗降車対象の少なくとも１つの部位の所在する画像座標領域を特定することができ、ここでは重複に説明しない。

【0055】

ステップ３０２において、画像座標と車内空間座標との間のマッピング関係に基づいて、前記乗降車対象の少なくとも１つの部位の所在する前記画像座標領域に対応する車内空間座標領域を特定する。

【0056】

本発明の実施例では、車内空間座標領域は、車内空間座標系における座標領域であり、車内空間座標系は、車内領域をカバーしている三次元空間座標系である。

【0057】

本発明の実施例では、画像座標と車内空間座標との間のマッピング関係が予め特定され、乗降車対象の少なくとも１つの部位の所在する前記画像座標領域が特定された後、前記マッピング関係に基づいて、乗降車対象に対応する車内空間座標領域を特定することができる。

【0058】

ステップ３０３において、前記車内空間座標領域を、前記乗降車対象と車両との前記第２相対位置情報とする。

【0059】

例えば、乗降車対象の少なくとも１つの部位の所在する前記画像座標領域が画像座標系における画像座標領域１であり、マッピング関係に基づいて、画像座標領域１に対応する車内空間座標領域が運転領域である場合、運転領域を、乗降車対象と車両との第２相対位置情報とする。

【0060】

以上の実施例では、乗降車対象の少なくとも１つの部位の所在する画像座標領域が特定された上で、画像座標と車内空間座標との間のマッピング関係に基づいて、乗降車対象に対応する車内空間座標領域を特定し、該車内空間座標領域を、乗降車対象と車両との第２相対位置情報とすることにより、その後に第２相対位置に基づいてデジタルヒューマンが対応する方向転換を実行する動画を生成して表示することが容易になり、可用性が高い。

【0061】

一部の実施例では、図４に示すように、ステップ１０３は、次のステップを含み得る。

【0062】

ステップ４０１において、予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、前記相対位置情報に対応するターゲット方向を特定する。

【0063】

本発明の実施例では、画像中位置情報とデジタルヒューマンの方向との間のマッピング関係が予め特定され、例えば、画像において、領域位置１に属する位置情報に対応するデジタルヒューマンの方向は西南向き、領域位置２に属する位置情報に対応するデジタルヒューマンの方向は東南向きなどであり、相対位置情報が特定された後に、このマッピング関係に基づいて、対応するターゲット方向を特定することができる。

【0064】

ステップ４０２において、前記車両に搭載された表示機器に表示されるデジタルヒューマンが前記ターゲット方向へ方向転換する動画を生成して表示する。

【0065】

本発明の実施例では、表示機器にはデジタルヒューマンが既に表示されており、特定されたターゲット方向に基づいて、デジタルヒューマンにターゲット方向へ方向転換させるための動画を生成して表示することができる。例えば、デジタルヒューマンがその前に真南方向に向き、ターゲット方向が西南方向である場合、生成して表示される動画は、デジタルヒューマンが真南方向から西南方向へ方向転換する動画である。

【0066】

以上の実施例では、画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、乗降車対象の相対位置情報に対応するターゲット方向を特定し、デジタルヒューマンが前記ターゲット方向へ方向転換する動画を生成して表示することができる。それによって、乗降車対象がある場合、デジタルヒューマンを対応するターゲット方向に方向転換させ、ヒューマンマシン・インタラクションの方式が人間のインタラクション習慣にさらに合致し、インタラクション過程がさらに自然になり、人間がヒューマンマシン・インタラクションの温かさを感じでき、車乗りの楽しみ、快適さ、付き添いが向上するようになる。

【0067】

一部の実施例では、図５に示すように、ステップ１０３は、次のステップを含み得る。

【0068】

ステップ５０１において、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定する。

【0069】

本発明の実施例では、検出された乗降車対象の相対位置情報には複数の相対位置を示す情報が含まれる場合、例えば、同時に複数の乗車や降車対象があるか、又は、乗車対象があるのに対して、降車対象もある場合、複数の相対位置のうちのターゲット相対位置を特定することができる。

【0070】

ステップ５０２において、前記ターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する。

【0071】

本発明の実施例では、複数の相対位置のうちのターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する。

【0072】

例えば、同時に複数の乗車対象がある場合、デジタルヒューマンがターゲット方向へ方向転換する動画を生成して表示し、該ターゲット方向は、ターゲット相対位置に対応する方向である。

【0073】

一部の実施例では、ステップ５０１は、次のことを含む。

【0074】

検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置をターゲット相対位置として特定する。

【0075】

本発明の実施例では、異なる位置情報の優先度順位は、運転領域に対応する位置情報の優先度が助手領域に対応する位置情報の優先度より高いことと、前列領域に対応する位置情報の優先度が後列領域に対応する位置情報の優先度より高いことと、専用シートに対応する位置情報の優先度が非専用シートに対応する位置情報の優先度より高いことと、のうちの少なくとも１つを含む。

【0076】

前記優先度順位により、複数の乗降車対象の複数の相対位置を示す情報には運転領域の位置情報が少なくとも含まれる場合、運転領域の位置情報の優先度は他の領域の位置情報の優先度より高いこととなる。複数の乗降車対象の複数の相対位置を示す情報には運転領域の位置情報が含まれないが、助手領域及び後列領域の位置情報が含まれる場合、助手領域の位置情報の優先度は後列領域の位置情報の優先度より高いこととなる。

【0077】

専用シートは、チャイルドシート、他の人員の専用シートなどを含むが、それらに限定されない。車内に専用シートが装備されている場合、専用シートの位置情報の優先度は、非専用シートに対応する位置情報の優先度より高いと考えられる。

【0078】

前記優先度順位により、複数の相対位置のうちの最も優先度が高い相対位置をターゲット相対位置として特定することができ、その後にこのターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示することとなる。

【0079】

以上の実施例では、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれる場合、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置をターゲット相対位置として特定し、ターゲット相対位置に基づいてデジタルヒューマンに対応するターゲット方向を特定し、そして、デジタルヒューマンがターゲット方向へ方向転換する動画を生成して表示することができ、乗降車対象が複数である場合、優先度が高い対象にデジタルヒューマンを方向転換させて、ヒューマンマシン・インタラクションの方式が人間のインタラクション習慣にさらに合致し、インタラクション過程がさらに自然になり、人間がヒューマンマシン・インタラクションの温かさを感じでき、車乗りの楽しみ、快適さ、付き添いが向上するようになる。

【0080】

一部の実施例では、図６に示すように、該方法は、ステップ１０２が実行される前に、次のステップをさらに含み得る。

【0081】

ステップ１０４において、前記ビデオストリームにおける時系列関係を有する複数フレームの画像に基づいて対象の乗降車意図を特定する。

【0082】

本発明の実施例では、時系列関係を有する複数フレームの画像は、時系列で隣接する複数フレームの画像であってもよい。

【0083】

ステップ１０５において、前記対象の乗降車意図に基づいて前記乗降車対象を特定する。

【0084】

本発明の実施例では、対象の乗車意図に基づいて該対象を乗車対象として特定し、対象の降車意図に基づいて該対象を降車対象として特定する。

【0085】

一部の実施例では、図７に示すように、ステップ１０４は次のステップのうちの少なくとも１つを含み得る。

【0086】

ステップ６０１において、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の少なくとも１つの部位が検出されたことに応答して、対象の降車意図を特定する。

【0087】

本発明の実施例では、複数フレームの画像における任意１つの車のドアとの距離が所定距離より小さい範囲内に、対象の少なくとも１つの部位、例えば手部、頭部、足部などが検出されたと、対象の降車意図を特定することができる。例えば、先ず任意１つの車のドアに対応する画素領域を検出し、この画素領域から所定距離のある範囲内において、ある対象の手部、頭部、又は足部が検出された場合、該対象の降車意図を特定することができる。

【0088】

ステップ６０２において、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の任意１つの部位が検出されておらず且つ前記車のドアが開き状態にあることに応答して、対象の乗車意図を特定する。

【0089】

本発明の実施例では、複数フレームの画像において、先ず任意１つの車のドアに対応する画素領域を検出し、この画素領域から所定距離の範囲内に対象の任意１つの部位が検出されていないと、現在、該車のドアで乗車する対象がないことが表明されており、同時に、複数フレームの画像に基づいて、車のドアが開き状態にあることが特定されたと、該車のドアを開けて車内に入ろうとする対象があると考えられ、このときに対象の乗車意図を特定することができる。

【0090】

以上の実施例では、誤判定を防止するために、さらに車内のセンサーによる検出結果に合わせて対象の乗降車意図を特定することもできる。センサーは、車のドアセンサー、シート上の圧力センサーなどを含むが、それらに限定されない。

【0091】

１つの例示では、車のドアセンサーで車のドアがアンロック状態にあることが表示されており、シートに装備された圧力センサーでシートに対象があることが表示されており、このときに、複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の少なくとも１つの部位が検出されれば、該対象の降車意図を特定することができる。

【0092】

別の例示では、車のドアセンサーで車のドアがアンロック状態にあることが表示されており、シートに装備された圧力センサーでシートに対象がないことが表示されており、このときに、前記複数フレームの画像における車のドアとの距離が所定距離より小さい範囲内に対象の任意１つの部位が検出されておらず且つ前記車のドアが開き状態にあれば、対象の乗車意図を特定することができる。

【0093】

以上の実施例では、ビデオストリームにおける時系列関係を有する複数フレームの画像を合わせて対象の乗降車意図を特定して乗降車対象を特定することにより、その後にデジタルヒューマンが対応する方向転換を実行する動画を生成して表示することが容易になり、可用性が高い。

【0094】

一部の実施例では、図８に示すように、以上の方法は次のステップをさらに含み得る。

【0095】

ステップ１０６において、前記ビデオストリームにおける画像に基づいて前記乗降車対象の属性情報を検出する。

【0096】

本発明の実施例では、ビデオストリームにおける画像に対して顔認識を行って乗降車対象の顔特徴を抽出し、抽出された顔特徴を予め格納された顔特徴と照合して照合結果を特定することにより、乗降車対象の属性情報を特定することができ、対象の属性情報は、身分情報、性別情報、種類情報のうちの少なくとも１つを含む。身分情報は、乗降車対象の具体的な身分、例えば張三、李四を指示するものであり、性別情報は、乗降車対象の性別、例えば男、女を指示するものであり、種類情報は、乗降車対象の種類、例えば種類が大人、子供、それともペットに属するかを指示するものである。

【0097】

ステップ１０７において、前記乗降車対象の属性情報に基づいて、前記デジタルヒューマンが前記属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示する。

【0098】

本発明の実施例では、マルチメディア情報は、表情情報、動作情報、音声情報のうちの少なくとも１つを含む。

【0099】

１つの例示では、乗降車対象の属性情報には、身分情報が張三、性別情報が女、種類情報が大人である情報が含まれる場合、表示機器に該身分情報に対応するデジタルヒューマンを生成して表示し、図９に示すように、さらに、前記デジタルヒューマンが前記属性情報に対応する表情、動作、音声のうちの少なくとも１つを再生または表現する動画を生成して表示することができる。

【0100】

例えば、デジタルヒューマンは車内人員とチャットし、「張三さん、おはようございます」のように、音声、表情、動作のうちの少なくとも１つを含む動画により車内人員に挨拶することができる。

【0101】

身分情報が、該対象が初めて乗車することを指示している場合、該人員の性別情報と種類情報とのうちの少なくとも１つに基づいて、例えば「お嬢さん、おはようございます」のように再生または動画を表現することで挨拶することができる。

【0102】

別の実施例では、デジタルヒューマンは、自動的に動画を再生することで車両の状況などの情報を紹介する必要があるかを尋ね、もし車内人員が「はい」と答えたら、車両の状況を紹介する一方、車内人員が「いいえ」と答えたら、スタンバイ状態に入ってもよく、デジタルヒューマンは音声、動作、表情のうちの少なくとも一つの動画により自分がスタンバイ状態に入ったと表明することができる。

【0103】

以上の実施例では、検出して得られた乗降車対象の属性情報により、デジタルヒューマンが属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示することにより、デジタルヒューマンと車内人員とのインタラクションがよりマルチモード化し、デジタルヒューマンの知能度が向上するようになる。

【0104】

１つの例示では、同時に複数の降車対象があり、複数の相対位置のうちの最も優先度が高い相対位置が運転領域の位置情報であると特定した場合、予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、運転領域の位置情報に対応するターゲット方向が西南向きであると特定し、車両に搭載された表示機器に表示されるデジタルヒューマンが西南向きへ方向転換する動画を生成して表示する。さらに、乗降車対象の属性情報（ここでは具体的に運転領域から降車する対象の属性情報を指す）に合わせてデジタルヒューマンによる再生内容を生成して表示することもでき、例えば、デジタルヒューマンは「さようなら」又は「少し休みなさい」のような音声を自動的に再生したり、及び／又は「ｂｙｅｂｙｅ」の表情や動作を作り出したりしてもよく、または該対象の属性情報に対応する表情情報、動作情報、音声情報のうちの少なくとも１つの動画を表現してもよい。

【0105】

別の例示では、同時に複数の乗車対象があり、複数の相対位置のうちの最も優先度が高い相対位置には助手領域の位置情報が含まれると特定された場合、予め確立された画像中位置情報とデジタルヒューマンの方向との間のマッピング関係に基づいて、助手領域の位置情報に対応するターゲット方向が東南向きであると特定し、車両に搭載された表示機器に表示されるデジタルヒューマンが東南向きへ方向転換する動画を生成して表示する。さらに、乗車対象の属性情報（ここでは助手領域から乗車する対象の属性情報を指す）に合わせてデジタルヒューマンによる再生内容を生成して表示することもでき、例えば、デジタルヒューマンは「○○さん、ようこそ」のような音声を自動的に再生したり、及び／又は「拍手で歓迎します」の表情や動作を作り出したりしてもよいし、または該対象の属性情報に対応する表情情報、動作情報、音声情報の動画、例えば「○○さん、ようこそ」という動画を表現してもよい。

【0106】

別の実施例では、乗車対象又は降車対象が一つだけしかないとすると、その相対位置情報を特定し、さらにその相対位置情報に対応するターゲット方向を特定し、デジタルヒューマンが該ターゲット方向へ方向転換する動画を生成して表示することができる。勿論、該対象が乗車又は降車する場合、デジタルヒューマンが前記属性情報に対応するマルチメディア情報を再生または表現する動画を生成して表示することができる。例えば、対象がペットであるとすると、「ｐｕｐｐｙ、ようこそ」などを再生することができる。

【0107】

以上の実施例では、ヒューマンマシン・インタラクションの方式が人間のインタラクション習慣にさらに合致し、インタラクション過程がさらに自然になり、人間がヒューマンマシン・インタラクションの温かさを感じでき、車乗りの楽しみ、快適さ、付き添いが向上するようになる。

【0108】

本発明は、上記した方法実施例に対応する装置実施例をさらに提案している。

【0109】

図１０は、本発明の一例示的実施例による車載デジタルヒューマンに基づくインタラクション装置のブロック図であり、図１０に示すように、装置は、車内領域のビデオストリームを取得するための取得モジュール７１０と、ビデオストリームにおける画像に基づいて乗降車対象の相対位置情報を検出するための相対位置検出モジュール７２０と、前記相対位置情報に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示するための第１インタラクションモジュール７３０と、を含み、前記相対位置情報は、前記画像における前記乗降車対象の第１相対位置情報、又は前記乗降車対象と車両との第２相対位置情報を含む。

【0110】

【0111】

【0112】

【0113】

一部の実施例では、前記第１インタラクションモジュールは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、前記複数の相対位置のうちのターゲット相対位置を特定する第６特定サブモジュールと、前記ターゲット相対位置に基づいて、前記車両に搭載された表示機器に表示されるデジタルヒューマンが対応する方向転換を実行する動画を生成して表示する第２インタラクションサブモジュールと、を含む。

【0114】

一部の実施例では、前記第６特定サブモジュールは、検出された乗降車対象の相対位置情報には複数の乗降車対象の複数の相対位置を示す情報が含まれることに応答して、予め特定された異なる位置情報の優先度順位により、前記複数の相対位置のうちの最も優先度が高い相対位置を前記ターゲット相対位置として特定する特定ユニットを含む。

【0115】

【0116】

【0117】

【0118】

【0119】

【0120】

装置実施例については、方法実施例とは基本的に対応しているため、両者の関連部分は方法実施例における関連記載を参照すればよい。以上に説明した装置実施例は、単なる例示的なものに過ぎず、さらに、分離部品として説明されたユニットは、物理的に分離したものであってもなくてもよく、ユニットとして表す部品は、物理ユニットであってもなくてもよく、同一の場所に位置しても、複数のネットワークユニットに分布してもよい。
本発明による技術案の目的を実現するために、実際のニーズに応じてそれらのモジュールから一部又は全部を選択することができる。当分野の通常の技術者にとっては、創造的な労働をしなくても理解及び実施ができる。

【0121】

本発明の実施例は、コンピュータ・プログラムが格納されたコンピュータ読み取り可能な記憶媒体をさらに提案し、該コンピュータ・プログラムがプロセッサで実行される場合、前記プロセッサは、上記の何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実行する。

【0122】

一部の実施例では、本発明の実施例は、コンピュータ読み取り可能なコードを含むコンピュータ・プログラム製品を提案し、コンピュータ読み取り可能なコードがデバイスで実行される際に、デバイスのプロセッサは、上記の何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実施するための命令を実行する。

【0123】

該コンピュータ・プログラム製品は具体的に、ハードウェア、ソフトウェア又はそれらの組み合わせで実現されることができる。１つの実施例では、前記コンピュータ・プログラム製品は、コンピュータ記憶媒体として具現化しているが、別の実施例では、コンピュータ・プログラム製品は、例えばソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ、ＳＤＫ）などのソフトウェア製品として具現化している。

【0124】

本発明の実施例は、プロセッサと、プロセッサで実行可能な命令を格納するためのメモリと、を含む車載デジタルヒューマンに基づくインタラクション装置をさらに提案している。プロセッサは、前記メモリに格納された実行可能な命令を呼び出した場合、以上の何れか１つの実施例に記載の車載デジタルヒューマンに基づくインタラクション方法を実施するように構成される。

【0125】

図１１は、本発明の実施例で提案する車載デジタルヒューマンに基づくインタラクション装置のハードウェア構成の模式図である。該車載デジタルヒューマンに基づくインタラクション装置８１０はプロセッサ８１１を含み、入力装置８１２、出力装置８１３及びメモリ８１４をさらに含み得る。該入力装置８１２、出力装置８１３、メモリ８１４及びプロセッサ８１１の間はバスを介して接続されている。

【0126】

メモリ８１４は、ランダム・アクセス・メモリ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ｅｒａｓａｂｌｅｐｒｏｇｒａｍｍａｂｌｅｒｅａｄｏｎｌｙｍｅｍｏｒｙ、ＥＰＲＯＭ）、又はポータブル読み取り専用メモリ（ｃｏｍｐａｃｔｄｉｓｃｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）を含むが、それらには限定されない。該メモリ８１４は、関連付けられた命令及びデータを格納するように構成されている。

【0127】

入力装置８１２はデータ及び／又は信号を入力するように構成され、出力装置８１３はデータ及び／又は信号を出力する。出力装置８１３と入力装置８１２は互いに独立した部品であっても、一体化された部品であってもよい。

【0128】

本発明の実施例では、出力装置８１３は、表示機器８１３１と、他の出力機器８１３２と、を含み、他の出力機器８１３２がオーディオ出力機器を含んでもよく、それに限定されない。デジタルヒューマンは表示機器８１３１によって表示するものであり、デジタルヒューマンによる対応する方向転換の動画は同様に表示機器８１３１によって表示される。

【0129】

プロセッサ８１１は、１つ又は複数のプロセッサを含み、例えば１つ又は複数の中央処理装置（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ、ＣＰＵ）を含むように構成されてもよい。プロセッサ８１１が１つのＣＰＵである場合、該ＣＰＵは、シングルコアＣＰＵであっても、マルチコアＣＰＵであってもよい。

【0130】

メモリ８１４は、ネットワークデバイスのプログラムコード及びデータを格納するように構成されている。

【0131】

プロセッサ８１１は、該メモリ８１４におけるプログラムコード及びデータを呼び出して、以上の方法実施例におけるステップを実行する。具体的には、方法実施例での説明を参照でき、ここでは重複に説明しない。

【0132】

図１１には、車載デジタルヒューマンに基づくインタラクション装置の簡素化デザインが図示されたに過ぎないとは、理解されるべきである。実際の適用時、車載デジタルヒューマンに基づくインタラクション装置は、他の必要な部品をさらに含んでもよく、他の必要な部品としては、任意の数の入力／出力装置、プロセッサ、コントローラ、メモリなどを含むが、それらに限定されない。本発明の実施例を実現可能な全ての車載デジタルヒューマンに基づくインタラクション装置は、いずれも本発明の保護範囲内に含まれるものとする。

【0133】

一部の実施例では、本発明の実施例で提案する装置に含まれる機能又はモジュールは、以上の方法実施例で記載される方法を実行するように構成され、その具体的な実施は、以上の方法実施例の記載を参照でき、簡潔のため、ここでは重複に説明しない。

【0134】

当分野の技術者にとっては、明細書及び本文に開示された発明の実施を考慮した上で、本発明の他の実施形態には容易に思い付くことができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含むことを意図するものであり、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明に開示されていない本技術分野中の公知常識、又は通常の技術手段を含む。明細書と実施例は、単なる例示的なものに過ぎず、本発明の本当の範囲と精神は、以下の特許請求の範囲によって示されている。

【0135】

以上に述べた内容は、本発明の一部の実施例に過ぎず、本発明を限定するものではない。本発明の精神及び原則内になされたあらゆる修正、均等置換、改良などは、いずれも本発明の保護範囲内に含まれるものとする。

【図1】