特許 7302005 車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-23

(45)【発行日】2023-07-03

(54)【発明の名称】車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両

(51)【国際特許分類】

   B60R 11/02 20060101AFI20230626BHJP

   B60R 25/25 20130101ALI20230626BHJP

   G06T 7/00 20170101ALI20230626BHJP

   G06F 3/04815 20220101ALI20230626BHJP

【ＦＩ】

B60R11/02 C

B60R25/25

G06T7/00 510F

G06F3/04815

【請求項の数】 19

(21)【出願番号】P 2021558538

(86)(22)【出願日】2020-12-07

(65)【公表番号】

(43)【公表日】2022-12-14

(86)【国際出願番号】 CN2020134305

(87)【国際公開番号】W WO2021258656

(87)【国際公開日】2021-12-30

【審査請求日】2021-09-29

(31)【優先権主張番号】202010589901.4

(32)【優先日】2020-06-24

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】521147433

【氏名又は名称】シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100067736

【弁理士】

【氏名又は名称】小池 晃

(74)【代理人】

【識別番号】100192212

【弁理士】

【氏名又は名称】河野 貴明

(74)【代理人】

【識別番号】100200001

【弁理士】

【氏名又は名称】北原 明彦

(72)【発明者】

【氏名】ゾウ，キュンヤン

(72)【発明者】

【氏名】ゼン，ビン

(72)【発明者】

【氏名】リ，ケ

(72)【発明者】

【氏名】ウー，ヤンピン

(72)【発明者】

【氏名】シュー，リャン

(72)【発明者】

【氏名】ゼン，シジン

(72)【発明者】

【氏名】ウー，ジュン

【審査官】久保田 信也

(56)【参考文献】

【文献】中国特許出願公開第１０６６９６８６３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０７６５９３６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０７２８２５６（ＣＮ，Ａ）

【文献】特開２０００－１８１５００（ＪＰ，Ａ）

【文献】特開２００６－１５４９２６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／００２４４１５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １１／０２

Ｂ６０Ｒ ２５／２５

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ ３／０４８１５

(57)【特許請求の範囲】

【請求項1】

車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御することと、
前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得ることと、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車室内に設置された表示機器を起動又はウェイクアップすると同時に、デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行し、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行い、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことと、を含むことを特徴とする車両のインタラクション方法。

【請求項2】

顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車室内に設置された表示機器を起動またはウェイクアップすると同時に、デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することは、
顔認識に成功したと前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、車室内に設置された表示機器を起動またはウェイクアップすると同時に、デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することを含むことを特徴とする請求項１に記載の方法。

【請求項3】

顔認識に成功するまで、前記表示機器がオフ状態又はスリープ状態にあり、前記デジタルヒューマンに対応するプロセスが終了状態又はスリープ状態にあることを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることは、
前記車室外に対する顔認識の結果に対応するデジタルヒューマンイメージ情報及び／又はインタラクション方式情報を取得することと、
前記デジタルヒューマンイメージ情報及び／又はインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることと、を含むことを特徴とする請求項１に記載の方法。

【請求項5】

顔認識に成功するまで、前記車室内に設置されたカメラがオフ状態又はスリープ状態にあることを特徴とする請求項１～４のいずれか１項に記載の方法。

【請求項6】

顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップすることは、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、前記車室内に設置されたカメラを起動又はウェイクアップすることを含むことを特徴とする請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室内のビデオストリームの画像に基づいて、前記画像における前記搭乗者の第１の相対位置情報及び／又は前記車室内における前記搭乗者の第２の相対位置情報を含む搭乗者の位置情報を検出することと、
前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することと、を含むことを特徴とする請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記車室内のビデオストリームの画像に基づいて、前記搭乗者の位置情報を検出することは、
前記画像に対応する画像座標系において、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアを検出することと、
前記画像座標エリアを前記画像における前記搭乗者の前記第１の相対位置情報とし、及び／又は、前記画像座標系と前記車室内の空間座標系とのマッピング関係に基づいて、前記画像座標エリアに対応する車室内空間座標エリアを決定し、前記車室内空間座標エリアを前記車室内における前記搭乗者の前記第２の相対位置情報とすることと、を含むことを特徴とする請求項７に記載の方法。

【請求項9】

前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、
予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係に基づいて、前記搭乗者の位置情報に対応する目標向きを決定することと、
前記表示機器において前記デジタルヒューマンが前記目標向きを向くようなアニメーションを生成して表示することと、を含むことを特徴とする請求項７又は８に記載の方法。

【請求項10】

前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、
検出された搭乗者の位置情報が複数の搭乗者の複数の位置情報であることに応じて、前記複数の位置情報のうちの１つを目標位置情報として決定することと、
前記表示機器において前記デジタルヒューマンが前記目標位置情報に対応する搭乗者の方を向くようなアニメーションを生成して表示することと、を含むことを特徴とする請求項７～９のいずれか１項に記載の方法。

【請求項11】

前記複数の位置情報のうちの１つを目標位置情報として決定することは、
予め決定された異なる位置情報の優先順位に応じて、前記複数の位置情報のうち、最も優先度の高いものを目標位置情報として決定することを含み、
前記異なる位置情報の優先順位は、
運転席エリアに対応する位置情報の優先度が副運転席エリアに対応する位置情報の優先度よりも高いことと、
前席エリアに対応する位置情報の優先度が後席エリアに対応する位置情報の優先度よりも高いことと、
専用席に対応する位置情報の優先度が非専用席に対応する位置情報の優先度よりも高いこととのうちの少なくとも１つを含むことを特徴とする請求項１０に記載の方法。

【請求項12】

前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することと、
前記車室外に対する顔認識の結果に対応するウェルカムメッセージを取得し、前記表示機器において前記デジタルヒューマンが前記ウェルカムメッセージを表す動作を行うようなアニメーションを生成して表示することと、
前記車室内のビデオストリームに基づいて前記搭乗者の降車意図が検出されたことに応じて、前記表示機器において前記デジタルヒューマンが前記搭乗者との降車インタラクションを行うようなアニメーションを生成して表示することと、
前記車両の状況情報が予め設定された条件を満たしたことに応じて、前記デジタルヒューマンによって前記車両の状況を前記搭乗者に提示する提示情報を発することとのうちの少なくとも１つを含むことを特徴とする請求項１～１１のいずれか一項に記載の方法。

【請求項13】

車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御するための第１の制御モジュールと、
前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得るための顔認識モジュールと、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車室内に設置された表示機器を起動又はウェイクアップすると同時に、デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行し、前記デジタルヒューマンによるヒューマンコンピュータインタラクションを行うための第２の制御モジュールと、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うための第３の制御モジュールと、
を含むことを特徴とする車両のインタラクション装置。

【請求項14】

１つ以上のプロセッサと、
実行可能なコマンドを記憶するためのメモリと、を含み、
前記１つ以上のプロセッサは、前記メモリに記憶されている実行可能なコマンドを呼び出して請求項１～１２のいずれか１項に記載の方法を実行するように構成されることを特徴とする電子機器。

【請求項15】

コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、請求項１～１２のいずれか１項に記載の方法を実現させることを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項16】

本体と、コックピットドメインコントローラと、車両の車室外に設置されるカメラと、車室内に設置される表示機器と、前記車室内に設置されたカメラとを含み、前記コックピットドメインコントローラは、相互に接続されるビデオ処理チップとマイクロコントローラユニットとを含み、前記ビデオ処理チップは前記車室外のカメラ、前記表示機器及び前記車室内に設置されたカメラにも接続され、前記マイクロコントローラユニットは前記本体にも接続され、
前記車室外のカメラは、車室外のビデオストリームを収集することに用いられ、
前記ビデオ処理チップは、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得ることと、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成し、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドを前記マイクロコントローラユニットに送信することと、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記表示機器を起動又はウェイクアップすると同時に、デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することと、に用いられ、
前記ビデオ処理チップは、更に、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことに用いられ、
前記マイクロコントローラユニットは、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドに応じて、車両のドアロックの解除及び／又はドア開放を行うように前記本体を制御することに用いられることを特徴とする車両。

【請求項17】

前記ビデオ処理チップは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成すると同時に、前記表示機器を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることに用いられることを特徴とする請求項１６に記載の車両。

【請求項18】

前記マイクロコントローラユニットに接続されるウェイクアップモジュールをさらに含み、
前記マイクロコントローラユニットはさらに、前記ウェイクアップモジュールのトリガに応じて、スリープ状態にある前記ビデオ処理チップをウェイクアップすることに用いられ、
前記ビデオ処理チップはさらに、ウェイクアップされた後に、車室外のビデオストリームを収集するように前記車室外のカメラを制御することに用いられることを特徴とする請求項１６又は１７に記載の車両。

【請求項19】

コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器のプロセッサに請求項１～１２のいずれか１項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

「関連出願の相互参照」
本願は、２０２０年６月２４日に中国国家知識産権局に提出された、出願番号が２０２０１０５８９９０１．４で、出願の名称が「車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。

【0002】

本開示は、車両技術に関し、特に、車両のインタラクション方法及び装置、電子機器、記憶媒体並びに車両に関する。

【背景技術】

【0003】

車両技術及びコンピュータ技術の発展に伴い、車両のヒューマン・コンピュータ・インタラクション機能は、ユーザの注目を集めている。ヒューマン・コンピュータ・インタラクションとは、特定のタスクを完了するために、人とコンピュータが一定の会話言語を用いて、一定のインタラクション方式で、情報を交換するプロセスのことである。車両のヒューマン・コンピュータ・インタラクションは、人と車両とのインタラクションを実現することを目的としている。車両のヒューマン・コンピュータ・インタラクションで車両の応答速度をいかに向上させるかが解決すべき喫緊の技術的問題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、車両のインタラクション技術の提案を提供する。

【課題を解決するための手段】

【0005】

本開示の一方面によれば、
車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御することと、
前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得ることと、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行うことと、を含む車両インタラクション方法を提供する。

【0006】

可能な一実現形態では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することは、
顔認識に成功したと前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することを含む。

【0007】

可能な一実現形態では、顔認識に成功するまで、前記表示機器がオフ状態又はスリープ状態にあり、前記デジタルヒューマンに対応するプロセスが終了状態又はスリープ状態にあり、
デジタルヒューマンを表示するように車室内に設置された表示機器を制御することは、車室内に設置された表示機器を起動又はウェイクアップすることと、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することと、を含む。

【0008】

可能な一実現形態では、車室内に設置された表示機器を起動又はウェイクアップすると同時に、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップする。

【0009】

可能な一実現形態では、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることは、
前記車室外に対する顔認識の結果に対応するデジタルヒューマンイメージ情報及び／又はインタラクション方式情報を取得することと、
前記デジタルヒューマンイメージ情報及び／又はインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることと、を含む。

【0010】

可能な一実現形態では、顔認識に成功するまで、前記車室内に設置されたカメラがオフ状態又はスリープ状態にあり、
車室外に対する顔認識の結果が得られた後、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御することと、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことと、をさらに含む。

【0011】

可能な一実現形態では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップすることは、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、前記車室内に設置されたカメラを起動又はウェイクアップすることを含む。

【0012】

可能な一実現形態では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室内のビデオストリームの画像に基づいて、前記画像における前記搭乗者の第１の相対位置情報及び／又は前記車室内における前記搭乗者の第２の相対位置情報を含む搭乗者の位置情報を検出することと、
前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することと、を含む。

【0013】

可能な一実現形態では、前記車室内のビデオストリームの画像に基づいて、前記搭乗者の位置情報を検出することは、
前記画像に対応する画像座標系において、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアを検出することと、
前記画像座標エリアを前記画像における前記搭乗者の前記第１の相対位置情報とし、及び／又は、前記画像座標系と前記車室内の空間座標系とのマッピング関係に基づいて、前記画像座標エリアに対応する車室内空間座標エリアを決定し、前記車室内空間座標エリアを前記車室内における前記搭乗者の前記第２の相対位置情報とすることと、を含む。

【0014】

可能な一実現形態では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、
予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係に基づいて、前記搭乗者の位置情報に対応する目標向きを決定することと、
前記表示機器において前記デジタルヒューマンが前記目標向きを向くようなアニメーションを生成して表示することと、を含む。

【0015】

可能な一実現形態では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、
検出された搭乗者の位置情報が複数の搭乗者の複数の位置情報であることに応じて、前記複数の位置情報のうちの１つを目標位置情報として決定することと、
前記表示機器において前記デジタルヒューマンが前記目標位置情報に対応する搭乗者の方を向くようなアニメーションを生成して表示することと、を含む。

【0016】

可能な一実現形態では、前記複数の位置情報のうちの１つを目標位置情報として決定することは、
予め決定された異なる位置情報の優先順位に応じて、前記複数の位置情報のうちの、最も優先度の高いものを目標位置情報として決定することを含み、
前記異なる位置情報の優先順位は、
運転席エリアに対応する位置情報の優先度が副運転席エリアに対応する位置情報の優先度よりも高いことと、
前席エリアに対応する位置情報の優先度が後席エリアに対応する位置情報の優先度よりも高いことと、
専用席に対応する位置情報の優先度が非専用席に対応する位置情報の優先度よりも高いこととのうちの少なくとも１つを含む。

【0017】

可能な一実現形態では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することを含む。

【0018】

可能な一実現形態では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室外に対する顔認識の結果に対応するウェルカムメッセージを取得し、前記表示機器において前記デジタルヒューマンが前記ウェルカムメッセージを表す動作を行うようなアニメーションを生成して表示することを含む。

【0019】

可能な一実現形態では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車室内のビデオストリームに基づいて前記搭乗者の降車意図が検出されたことに応じて、前記表示機器において前記デジタルヒューマンが前記搭乗者との降車インタラクションを行うようなアニメーションを生成して表示することを含む。

【0020】

可能な一実現形態では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、
前記車両の状況情報が予め設定された条件を満たしたことに応じて、前記デジタルヒューマンによって前記車両の状況を前記搭乗者に提示する提示情報を発することのうちの少なくとも１つを含む。

【0021】

本開示の一方面によれば、
車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御するための第１の制御モジュールと、
前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得るための顔認識モジュールと、
顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマンコンピュータインタラクションを行うための第２の制御モジュールと、を含む車両インタラクション装置を提供する。

【0022】

本開示の一方面によれば、１つ以上のプロセッサと、実行可能なコマンドを記憶するためのメモリと、を含み、前記１つ以上のプロセッサは、前記メモリに記憶されている実行可能なコマンドを呼び出して上記の方法を実行するように構成される電子機器を提供する。

【0023】

本開示の一方面によれば、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記の方法を実現させるコンピュータ読み取り可能な記憶媒体を提供する。

【0024】

本開示の一方面によれば、本体と、コックピットドメインコントローラと、前記車両の車室外に設置されるカメラと、車室内に設置される表示機器とを含み、前記コックピットドメインコントローラは、相互に接続されるビデオ処理チップとマイクロコントローラユニットとを含み、前記ビデオ処理チップは前記車室外のカメラ及び前記表示機器にも接続され、前記マイクロコントローラユニットは前記本体にも接続され、
前記車室外のカメラは、車室外のビデオストリームを収集することに用いられ、
前記ビデオ処理チップは、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得ることと、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成し、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドを前記マイクロコントローラユニットに送信することと、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記表示機器を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することに用いられ、
前記マイクロコントローラユニットは、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドに応じて、車両のドアロックの解除及び／又はドア開放を行うように前記本体を制御することに用いられる車両を提供する。

【0025】

可能な一実現形態では、前記ビデオ処理チップは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成すると同時に、前記表示機器を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることに用いられる。

【0026】

可能な一実現形態では、前記車室内に設置され、前記ビデオ処理チップに接続されるカメラをさらに含み、
前記ビデオ処理チップはさらに、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内のカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御することに用いられる。

【0027】

可能な一実現形態では、前記マイクロコントローラユニットに接続されるウェイクアップモジュールをさらに含み、
前記マイクロコントローラユニットはさらに、前記ウェイクアップモジュールのトリガに応じて、スリープ状態にある前記ビデオ処理チップをウェイクアップすることに用いられ、
前記ビデオ処理チップはさらに、ウェイクアップされた後に、車室外のビデオストリームを収集するように前記車室外のカメラを制御することに用いられる。

【0028】

可能な一実現形態では、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器において実行されると、前記電子機器のプロセッサに上記の方法を実現するためのコマンドを実行させるコンピュータプログラムを提供する。

【0029】

本開示の実施例では、車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御し、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行うことによって、車室外に対する顔認識に成功した直後にデジタルヒューマンを起動し、車室外に対する顔認識に成功してから前記車両の搭乗者が車両に乗り込むまでの時間を利用して、デジタルヒューマンが搭乗者とのインタラクションを行うための準備を整えるようにすることができ、前記搭乗者が車両に乗り込んだ後、デジタルヒューマンがより迅速に前記搭乗者にサービスを提供でき、さらに搭乗者の乗車体験を向上させることができる。

【0030】

なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。

【0031】

以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。

【0032】

ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。

【図面の簡単な説明】

【0033】

【図1】本開示の実施例に係る車両のインタラクション方法のフローチャートを示す。

【図2】漫画スタイルのデジタルヒューマンの模式図を示す。

【図3】リアルなスタイルのデジタルヒューマンの模式図を示す。

【図4】お別れの動作を実行するデジタルヒューマンの模式図を示す。

【図5】本開示の実施例に係る車両のインタラクション装置のブロック図を示す。

【図6】本開示の実施例に係る車両の模式図を示す。

【図7】本開示の実施例に係る電子機器８００のブロック図を示す。

【発明を実施するための形態】

【0034】

以下に、図面を参照しながら本開示の様々な例示的な実施例、特徴および方面を詳細に説明する。図面における同じ符号は同じまたは類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を描く必要がない。

【0035】

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましいまたは優れるものであると理解すべきではない。

【0036】

本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。

【0037】

また、本開示をより効果的に説明するために、以下の具体的な実施形態において様々な具体的な詳細を示す。当業者であれば、本開示は何らかの具体的な詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路について詳細な説明を行わない。

【0038】

図１は、本開示の実施例に係る車両のインタラクション方法のフローチャートを示す。前記車両のインタラクション方法は、車両のインタラクション装置により実行されてもよい。例えば、前記車両のインタラクション方法は、端末機器や他の処理機器によって実行されてもよい。ここで、端末機器は、車載装置、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算機器、又はウエアラブル装置などであってもよい。いくつかの可能な実現形態において、前記車両のインタラクション方法は、プロセッサによりメモリに記憶されているコンピュータ読み取り可能なコマンドを呼び出すことで実現されてもよい。可能な一実現形態では、前記車両のインタラクション方法は、スマートカー、車両運転をシミュレートするスマートコックピットなどの運転可能な機械機器に適用することができる。図１に示すように、前記車両のインタラクション方法は、ステップＳ１１～ステップＳ１３を含む。

【0039】

ステップＳ１１において、車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御する。

【0040】

本開示の実施例では、前記車室外のカメラの数は１つ以上であってもよい。可能な一実現形態では、前記車室外のカメラは、少なくとも１本のＢピラー、少なくとも１つの車のドア、少なくとも１つのバックミラーのうちの少なくとも１つの位置に取り付け可能である。例えば、前記車室外のカメラは前記車両の２本のＢピラー及びトランクドアに取り付けられる。

【0041】

ステップＳ１２において、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得る。

【0042】

本開示の実施例では、前記車室外のビデオストリームのうちの少なくとも１つのビデオフレームに基づいて顔認識を行って、車室外の対象物の顔認識の結果を得ることができる。例えば、前記車室外のビデオストリームのうちの少なくとも１つのビデオフレームの顔特徴を抽出し、前記車室外のビデオストリームのうちの少なくとも１つのビデオフレームの顔特徴と予め登録された顔特徴とを照合して、同一の人に属する顔特徴であるか否かを判定することで、車室外の対象物の顔認識の結果を得る。ここで、予め登録された顔特徴は、前記車両の所有者の顔特徴、前記車両をよく使う人々（例えば、前記車両の所有者の家族）の顔特徴、前記車両の借り手（例えば、共有車の借り手）の顔特徴、前記車両の乗客（例えば、オンラインカーヘイリングの乗客）の顔特徴のうちの少なくとも１つを含むが、これらに限定されない。

【0043】

ステップＳ１３において、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行う。

【0044】

可能な一実現形態では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記ドアの状態情報を取得し、前記ドアの状態情報がロックの未解除である場合、前記ドアのロックを解除するか、又はドアのロックを解除してドアを開放するように制御し、前記ドアの状態情報がロック解除済みで且つ未開放である場合、前記ドアを開放するように制御することにより、ユーザが手でドアを引いて開放することなく、顔認識に基づいてドアが自動的に開くようにすることができ、車両使用の利便性を向上させることができる。

【0045】

本開示の実施例では、前記車両の搭乗者は、前記車両に乗る任意の人やペットなどであってもよい。例えば、前記車両の搭乗者は、前記車両に乗る運転者、非運転者、乗客、大人、高齢者、子供、前席の人、後席の人などのうちの少なくとも１つを含んでもよい。

【0046】

本開示の実施例では、デジタルヒューマンは、ソフトウェアによって生成された仮想イメージであってもよい。例えば、前記デジタルヒューマンは、３次元の仮想イメージであってもよい。デジタルヒューマンは、漫画スタイル、リアルなスタイルなどであってもよい。図２は、漫画スタイルのデジタルヒューマンの模式図を示す。図３は、リアルなスタイルのデジタルヒューマンの模式図を示す。当業者は、実際の応用シーンのニーズ及び／又は個人的な好みに応じて、デジタルヒューマンのスタイルを柔軟に設定することができ、本開示の実施例では、これが限定されない。本開示の実施例では、デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行って、車両のヒューマン・コンピュータ・インタラクションで、車両の擬人化が実現されているため、ヒューマン・コンピュータ・インタラクションが、より人間のインタラクションの習慣に合った、より自然なものとなり、搭乗者にヒューマン・コンピュータ・インタラクションの暖かさを感じさせ、乗り楽しさ、快適さ、同伴感を高め、運転の安全リスクの軽減に寄与する。

【0047】

本開示の実施例では、車室内に設置された表示機器は、例えば中央制御ディスプレイ、車載タブレット端末などのような車室内に設置された任意の表示機器であってもよい。

【0048】

本開示の実施例では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、デジタルヒューマンを表示するように車室内に設置された表示機器を制御し、すなわち、「デジタルヒューマンを表示するように車室内に設置された表示機器を制御する」タイミングが、「顔認識に成功したとの前記車室外に対する顔認識の結果に応じる」ものである。通常、デジタルヒューマンが、一定の時間、例えば１５秒で起動する必要がある。本開示の実施例では、車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御し、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行うことによって、車室外に対する顔認識に成功した直後にデジタルヒューマンを起動し、車室外に対する顔認識に成功してから前記搭乗者が車両に乗り込むまでの時間を利用して、デジタルヒューマンが搭乗者とのインタラクションを行う準備を整えるようにすることができ、前記搭乗者が車両に乗り込んだ後、デジタルヒューマンがより迅速に前記搭乗者にサービスを提供でき、さらに搭乗者の乗車体験を向上させることができる。

【0049】

可能な一実現形態では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することを含む。すなわち、当該実現形態において、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、「車両のドアロックの解除及び／又はドア開放を行うように制御する」プロセスと、「デジタルヒューマンを表示するように車室内に設置された表示機器を制御する」プロセスとを、前後順序ではなく、並行してトリガすることができる。ここで、「並行してトリガする」ことは、トリガのタイムスタンプが厳密に一致するものに限定されない。当該実現形態において、「車両のドアロックの解除及び／又はドア開放を行うように制御する」こと及び「デジタルヒューマンを表示するように車室内に設置された表示機器を制御する」ことは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて並行して実行することができ、デジタルヒューマンをできるだけ早く起動することができる。

【0050】

可能な一実現形態では、顔認識に成功するまで、前記表示機器がオフ状態又はスリープ状態にあり、前記デジタルヒューマンに対応するプロセスが終了状態又はスリープ状態にあり、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することは、車室内に設置された表示機器を起動又はウェイクアップすることと、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することと、を含む。

【0051】

当該実現形態では、顔認識に成功するまで、車室内に設置された表示機器がオフ状態又はスリープ状態にあり、前記デジタルヒューマンに対応するプロセスが終了状態又はスリープ状態にあることにより、デジタルヒューマンによる車両のヒューマン・コンピュータ・インタラクションに必要な消費電力を節約することができる。顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記表示機器を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することにより、デジタルヒューマンが搭乗者とのインタラクションを行う準備を事前に整えるようにすることができ、搭乗者の乗車体験を向上させることができる。

【0052】

当該実現形態の一例として、車室内に設置された表示機器を起動又はウェイクアップすると同時に、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップする。すなわち、当該例では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、「車室内に設置された表示機器を起動又はウェイクアップする」プロセスと、「前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップする」プロセスとを、前後順序ではなく、並行してトリガすることができる。ここで、「並行してトリガする」ことは、トリガのタイムスタンプが厳密に一致するものに限定されない。当該例では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、「車室内に設置された表示機器を起動又はウェイクアップする」こと及び「前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップする」ことを並行して実行することができ、前記表示機器にデジタルヒューマンをできるだけ早く表示することができる。

【0053】

当該実現形態の一例として、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることは、前記車室外に対する顔認識の結果に対応するデジタルヒューマンイメージ情報及び／又はインタラクション方式情報を取得することと、前記デジタルヒューマンイメージ情報及び／又はインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることと、を含む。

【0054】

当該例では、前記車室外に対する顔認識の結果に対応する搭乗者の顔情報に基づいて、前記搭乗者に対応するデジタルヒューマンイメージ情報を検索することができる。前記搭乗者に対応するデジタルヒューマンイメージ情報が存在する場合、少なくとも前記搭乗者に対応するデジタルヒューマンイメージ情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップして、前記表示機器が前記搭乗者に対応するデジタルヒューマンイメージ情報に基づいてデジタルヒューマンを表示するように制御される。一例では、前記搭乗者に対応するデジタルヒューマンイメージ情報が存在しない場合、前記搭乗者に対応するデジタルヒューマンイメージ情報を生成し、前記デジタルヒューマンに対応するプロセスを作成して、新たに生成された前記搭乗者に対応するデジタルヒューマンイメージ情報に基づいてデジタルヒューマンを表示するように前記表示機器を制御することができる。もう１つの例では、前記搭乗者に対応するデジタルヒューマンイメージ情報が存在しない場合、デフォルトのデジタルヒューマンイメージ情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップして、デフォルトのデジタルヒューマンイメージ情報に基づいてデジタルヒューマンを表示するように前記表示機器を制御することができる。ここで、前記搭乗者の顔情報は、前記搭乗者の顔画像及び／又は顔認識によって取得した前記搭乗者の身元情報などを含むことができる。当該例では、前記車室外に対する顔認識の結果に対応するデジタルヒューマンイメージ情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることにより、前記表示機器によって異なるイメージのデジタルヒューマンを表示することができ、すなわち、デジタルヒューマンのイメージが搭乗者によって異なってよいため、デジタルヒューマンのイメージを豊かにし、搭乗者の個別のニーズに応え、乗車体験を向上させ、搭乗者にヒューマン・コンピュータ・インタラクションの温かさを感じさせることができる。

【0055】

当該例では、前記車室外に対する顔認識の結果に対応する搭乗者の顔情報に基づいて、前記搭乗者に対応するインタラクション方式情報を検索することができる。前記搭乗者に対応するインタラクション方式情報が存在する場合、少なくとも前記搭乗者に対応するインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップして、前記デジタルヒューマンが前記搭乗者に対応するインタラクション方式情報に基づいてヒューマン・コンピュータ・インタラクションを行うように制御される。一例では、前記搭乗者に対応するインタラクション方式情報が存在しない場合、前記搭乗者に対応するインタラクション方式情報を生成し、前記デジタルヒューマンに対応するプロセスを作成して、前記デジタルヒューマンが前記搭乗者に対応するインタラクション方式情報に基づいてヒューマン・コンピュータ・インタラクションを行うように制御される。もう１つの例では、前記搭乗者に対応するインタラクション方式情報が存在しない場合、デフォルトのインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップして、前記デジタルヒューマンが前記搭乗者に対応するインタラクション方式情報に基づいてヒューマン・コンピュータ・インタラクションを行うように制御される。当該例では、インタラクション方式情報は、イントネーション情報、音声テンプレート、表情情報、動作情報などの少なくとも１つを含んでよい。例えば、子供向けのインタラクション方式では、イントネーションを高くしたり、表情や動きを豊かにしたりするなど、より生き生きとしたものにすることができる。また、例えば、高齢者向けの音声テンプレートでは、より多くの敬語を入れることができる。当該例では、前記車室外に対する顔認識の結果に対応するインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることにより、異なるインタラクション方式でヒューマン・コンピュータ・インタラクションを行うことができ、すなわち、ヒューマン・コンピュータ・インタラクションの方式が搭乗者によって異なってよいため、搭乗者の個別のニーズに応え、乗車体験を向上させ、搭乗者にヒューマン・コンピュータ・インタラクションの温かさを感じさせることができる。

【0056】

一例では、デジタルヒューマンイメージ編集要求に応じて、前記搭乗者に対応するデジタルヒューマンイメージ情報を編集することができる。例えば、前記デジタルヒューマンイメージ編集要求は、前記デジタルヒューマンのヘアスタイル、顔立ち、肌の色、服装などの少なくとも１つを編集することに用いられてもよい。当該例によれば、搭乗者は個人的な好みに応じてデジタルヒューマンのイメージをカスタマイズすることができる。

【0057】

一例では、デジタルヒューマンイメージのリセット要求に応じて、前記搭乗者に対応するデジタルヒューマンイメージ情報を再生成することができる。当該例によれば、搭乗者は、個人的な好みの変化に応じてデジタルヒューマンイメージを再カスタマイズすることができる。

【0058】

一例では、インタラクション方式編集要求に応じて、前記搭乗者に対応するインタラクション方式情報を編集することができる。当該例によれば、搭乗者は、個人的な好みに応じてデジタルヒューマンのインタラクション方式をカスタマイズすることができる。

【0059】

一例では、インタラクション方式のリセット要求に応じて、前記搭乗者に対応するインタラクション方式情報を再生成することができる。当該例によれば、搭乗者は、個人的な好みの変化に応じてデジタルヒューマンのインタラクション方式を再カスタマイズすることができる。

【0060】

本開示の実施例では、インタラクションフィードバック情報を出力して、搭乗者とのインタラクションを行うようにデジタルヒューマンを制御することができる。例えば、前記インタラクションフィードバック情報は、音声フィードバック情報、表情フィードバック情報、動きフィードバック情報の少なくとも１つを含んでよい。

【0061】

可能な一実現形態では、顔認識に成功するまで、前記車室内に設置されたカメラがオフ状態又はスリープ状態にあり、車室外に対する顔認識の結果が得られた後、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御することと、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことと、をさらに含む。

【0062】

当該実現形態において、前記車室内のカメラの数は１つ以上であってもよい。前記車室内のカメラは車室内の任意の位置に設置されてもよい。例えば、前記車室内のカメラは、センターコンソール、インストルメントパネル、フロントガラス、インナーバックミラーの少なくとも１つの位置に設置されてもよい。

【0063】

当該実現形態において、顔認識に成功するまで、前記車両の車室内に設置されたカメラがオフ状態又はスリープ状態にあるように制御されることにより、車両のヒューマン・コンピュータ・インタラクションに必要な消費電力を節約することができる。顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車両の車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことにより、車室外で顔認識に成功した直後に前記車両の車室内に設置されたカメラを起動又はウェイクアップすることができ、すなわち、車室外で顔認識に成功してから前記搭乗者が車両に乗り込むまでの時間を利用して、前記車室内のカメラを起動又はウェイクアップし、前記車室内のカメラが車室内のビデオストリームをタイムリーに収集できるようにして、前記搭乗者が車両に乗り込んだ後、搭乗者とのインタラクションをタイムリーに行うことができる。

【0064】

当該実現形態の一例として、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップすることは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、前記車室内に設置されたカメラを起動又はウェイクアップすることを含む。当該例では、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、「車両のドアロックの解除及び／又はドア開放を行うように制御する」こと及び「前記車室内に設置されたカメラを起動又はウェイクアップする」ことを並行して実行することができ、前記車両の車室内に設置されたカメラをできるだけ早く起動又はウェイクアップすることができる。

【0065】

当該実現形態の一例として、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、前記車室内のビデオストリームの画像に基づいて、前記画像における前記搭乗者の第１の相対位置情報及び／又は前記車室内における前記搭乗者の第２の相対位置情報を含む搭乗者の位置情報を検出することと、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することと、を含む。

【0066】

当該例では、前記車室内のビデオストリームの少なくとも１つの画像（すなわち、ビデオフレーム）に基づいて画像解析を行うことにより、前記車室内のビデオストリームにおける視覚情報に基づいて前記搭乗者の位置情報を決定することができる。ここで、前記画像における前記搭乗者の第１の相対位置情報は、前記画像における前記搭乗者の位置情報を表し、前記車室内における前記搭乗者の第２の相対位置情報は、前記車室内における前記搭乗者の位置情報を表すようにしてもよい。当該例では、前記デジタルヒューマンが前記搭乗者の方を向くことは、前記デジタルヒューマンの身体が前記搭乗者の方を向くこと、前記デジタルヒューマンの頭部が前記搭乗者の方を向くこと、及び前記デジタルヒューマンの目が前記搭乗者の方を向くことの少なくとも１つを含んでよい。

【0067】

当該例では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することにより、デジタルヒューマンが前記搭乗者に向いている状態で前記搭乗者とのインタラクションを行うようにすることができ、デジタルヒューマンと搭乗者とのインタラクションが、より人間のインタラクションの習慣に合った、より自然なものとなるようにすることができる。

【0068】

一例では、前記車室内のビデオストリームの画像に基づいて、前記搭乗者の位置情報を検出することは、前記画像に対応する画像座標系において、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアを検出することと、前記画像座標エリアを前記画像における前記搭乗者の前記第１の相対位置情報とすることと、を含む。当該例では、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアは、前記画像座標系における前記搭乗者の少なくとも１つの部位の座標エリアを表してよい。当該例によれば、前記画像に対応する画像座標系における前記搭乗者の少なくとも１つの部位の位置に基づいて、前記搭乗者の位置情報を正確に決定することができる。

【0069】

もう１つの例では、前記車室内のビデオストリームの画像に基づいて、前記搭乗者の位置情報を検出することは、前記画像に対応する画像座標系において、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアを検出することと、前記画像座標系と前記車室内の空間座標系とのマッピング関係に基づいて、前記画像座標エリアに対応する車室内空間座標エリアを決定し、前記車室内空間座標エリアを前記車室内における前記搭乗者の前記第２の相対位置情報とすることと、を含む。当該例では、前記車室内の空間座標系は、前記車室内のワールド座標系を表してよい。前記車室内空間座標エリアは、前記車室内の空間座標系における前記搭乗者の少なくとも１つの部位の座標エリアを表してよい。ここで、前記画像座標系と前記車室内の空間座標系とのマッピング関係はカメラキャリブレーション法を用いて予め決定することができる。当該例によれば、前記車室内の空間座標系における前記搭乗者の少なくとも１つの部位の位置に基づいて、前記搭乗者の位置情報を正確に決定することができる。

【0070】

一例では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係に基づいて、前記搭乗者の位置情報に対応する目標向きを決定することと、前記表示機器において前記デジタルヒューマンが前記目標向きを向くようなアニメーションを生成して表示することと、を含む。

【0071】

ここで、予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係は、予め確立された第１の相対位置情報とデジタルヒューマンの向きとのマッピング関係、及び／又は予め確立された第２の相対位置情報とデジタルヒューマンの向きとのマッピング関係を含んでよい。当該例では、位置情報とデジタルヒューマンの向きとのマッピング関係を予め確立し、予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係に基づいて、前記搭乗者の位置情報に対応する目標向きを決定し、前記表示機器において前記デジタルヒューマンが前記目標向きを向くようなアニメーションを生成して表示することにより、デジタルヒューマンが、正確に搭乗者に向いている状態で前記搭乗者とのインタラクションを行うようにすることができる。

【0072】

一例では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、検出された搭乗者の位置情報が複数の搭乗者の複数の位置情報であることに応じて、前記複数の位置情報のうちの１つを目標位置情報として決定することと、前記表示機器において前記デジタルヒューマンが前記目標位置情報に対応する搭乗者の方を向くようなアニメーションを生成して表示することと、を含む。当該例では、複数の搭乗者の複数の位置情報のうちの目標位置情報に基づいて、デジタルヒューマンの向きを決定することで、車室内に複数の搭乗者がいる場合、デジタルヒューマンがいずれかの搭乗者に向いている状態でヒューマン・コンピュータ・インタラクションを行うようにすることができ、デジタルヒューマンと搭乗者とのインタラクションが、より人間のインタラクションの習慣に合った、より自然なものとなるようにすることができる。

【0073】

例えば、前記複数の位置情報のうちの１つを目標位置情報として決定することは、予め決定された異なる位置情報の優先順位に応じて、前記複数の位置情報のうち、最も優先度の高いものを目標位置情報として決定することを含み、前記異なる位置情報の優先順位は、運転席エリアに対応する位置情報の優先度が副運転席エリアに対応する位置情報の優先度よりも高いことと、前席エリアに対応する位置情報の優先度が後席エリアに対応する位置情報の優先度よりも高いことと、専用席に対応する位置情報の優先度が非専用席に対応する位置情報の優先度よりも高いこととのうちの少なくとも１つを含む。当該例によれば、車室内に複数の搭乗者がいる場合、デジタルヒューマンが、最も優先度の高い搭乗者に向いている状態でヒューマン・コンピュータ・インタラクションを行うようにすることができる。例えば、前記搭乗者の位置情報に基づいて、前記搭乗者が運転者及び非運転者を含むと判断された場合、前記表示機器において前記デジタルヒューマンが前記運転者の方を向くようなアニメーションを生成して表示することにより、運転の同伴感を高め、運転の安全リスクの低減に寄与する。当然のことながら、他の例では、前記複数の位置情報のうちのいずれかを目標位置情報としてもよいが、ここでは限定しない。

【0074】

一例では、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することは、前記車室内のビデオストリームに基づいて、前記車室内に複数の搭乗者がいると判断される場合、乗車時間が最も近い搭乗者の位置情報に基づいて、前記デジタルヒューマンが最も近い乗車時間の搭乗者の方を向くように制御されることを含む。当該例によれば、各搭乗者の乗車体験を向上させ、各搭乗者がいずれも乗車したとき、車両とのヒューマン・コンピュータ・インタラクションを行うような温かさを感じさせることができる。当然のことながら、他の例では、前記車室内に複数の搭乗者がいる場合、前記デジタルヒューマンが順番に前記複数の搭乗者のそれぞれ又はその少なくとも一部の搭乗者の方を向くように制御されてもよいが、ここでは限定しない。

【0075】

当該実現形態の一例として、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのヒューマンインタラクションを行うことは、前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することを含む。

【0076】

当該例では、言語、表情、動きの少なくとも１つを出力するようにデジタルヒューマンを制御することにより、前記搭乗者へのウェルカムメッセージを発することができる。当該例では、顔認識に成功すると、デジタルヒューマンが起動されるため、前記デジタルヒューマンの応答速度を向上させることができる。そのため、搭乗者の前記車両への乗り込み及び／又は着席が検出されると、前記デジタルヒューマンは、前記搭乗者へのウェルカムメッセージをより迅速に発することができ、前記搭乗者の乗車体験を向上させることができる。

【0077】

当該実現形態の一例として、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのヒューマンインタラクションを行うことは、前記車室外に対する顔認識の結果に対応するウェルカムメッセージを取得し、前記表示機器において前記デジタルヒューマンが前記ウェルカムメッセージを表す動作を行うようなアニメーションを生成して表示することを含む。当該例では、前記デジタルヒューマンが前記ウェルカムメッセージを表す動作を行うアニメーションにおいて、前記車室外に対する顔認識の結果に対応するデジタルヒューマンの体の動き、表情、口の形、音声コンテンツ、ジェスチャーなどの１つ以上のパーソナライズされたアニメーション情報を含むことができる。当該例では、前記車室外に対する顔認識の結果に基づいてウェルカムメッセージを決定することで、デジタルヒューマンによってパーソナライズされた乗車サービスを提供することができる。

【0078】

一例では、前記車室外に対する顔認識の結果に基づいて、前記搭乗者の呼称を決定し、前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記搭乗者の呼称に基づいて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することができる。当該例によれば、前記搭乗者が前記車両に乗り込む及び／又は着席すると、デジタルヒューマンは、前記搭乗者の呼称に基づいて、搭乗者とタイムリーに挨拶することができ、搭乗者の乗車体験をさらに向上させることができる。

【0079】

一例では、前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記搭乗者の呼称及び現在の時間に基づいて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することができる。例えば、前記搭乗者の呼称が「ＸＸ」であり、現在の時間が午前である場合、前記搭乗者へのウェルカムメッセージとしては、「ＸＸ、お早うございます」という音声情報などを含んでよい。現在の時間（例えば午前、午後、夜など）に応じて、異なるウェルカムメッセージを発することができる。当然のことながら、デジタルヒューマンが、表情、動きに合わせて前記搭乗者へのウェルカムメッセージを発するように制御することができる。

【0080】

一例では、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、前記車室外に対する顔認識の結果に基づいて前記搭乗者の名前情報が取得された場合、前記搭乗者の名前情報に基づいて、前記搭乗者の呼称を決定し、及び／又は、前記顔認識の結果に基づいて、前記搭乗者の名前情報が取得されない場合、前記搭乗者の性別及び／又は年齢を認識し、前記搭乗者の性別及び／又は年齢に基づいて、前記搭乗者の呼称を決定することと、前記車室内のビデオストリームに基づいて前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記搭乗者の呼称に基づいて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することと、を含む。ここで、前記搭乗者の名前情報は、前記搭乗者の名前、姓、ニックネームなどの少なくとも１つを含むことができる。例えば、前記搭乗者の年齢が第１の所定年齢範囲（例えば、２歳～１５歳）にある場合、前記搭乗者の呼称を［お子さん］としてよい。また、例えば、前記搭乗者の性別が女性で、且つ前記搭乗者の年齢が第２の所定年齢範囲（例えば、２５歳よりも大きい）にある場合、前記搭乗者の呼称を［Ｍｓ．］とすることができる。当該例では、前記車室外に対する顔認識の結果に基づいて前記搭乗者の呼称を決定することにより、デジタルヒューマンによってパーソナライズされた乗車サービスを提供することができる。

【0081】

当該実現形態の一例として、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのヒューマンインタラクションを行うことは、前記車室内のビデオストリームに基づいて前記搭乗者の降車意図が検出されたことに応じて、前記表示機器において前記デジタルヒューマンが前記搭乗者との降車インタラクションを行うようなアニメーションを生成して表示することを含む。

【0082】

一例では、前記車室内のビデオストリームに基づいて、前記搭乗者のシートベルトが着用状態から非着用状態に変化したか否かを判断し、そうであれば、前記搭乗者の降車意図が検出されたと判断することができる。もう１つの例では、前記車両が停止状態にあるとき、前記車室内のビデオストリームに基づいて、前記搭乗者が立ち上がったか否かを判断し、そうであれば、前記搭乗者の降車意図が検出されたと判断することができる。当然のことながら、前記車室内のビデオストリームに基づいて前記搭乗者の降車意図の有無を判断する方法はこれに限定されるものではなく、当業者は、実際の応用シーンのニーズに応じて柔軟に設定することができる。

【0083】

当該例では、前記搭乗者との降車インタラクションを行うために、言語、表情、動きの少なくとも１つを出力するようにデジタルヒューマンを制御することができる。例えば、「ご乗車ありがとうございました。また次回お会いしましょう」という音声情報を出力するようにデジタルヒューマンを制御することができ、当然のことながら、表情、動きに合わせて前記搭乗者へのお別れの情報を発するようにデジタルヒューマンを制御することもできる。例えば、お別れの動きを実行するようにデジタルヒューマンを制御することもできる。図４は、お別れの動きを実行するデジタルヒューマンの模式図を示す。一例では、前記搭乗者の呼称に基づいて、前記搭乗者との降車インタラクションを行うように前記デジタルヒューマンを制御することもできる。例えば、「Ｍｓ．ＸＸ、ご乗車ありがとうございました。また次回お会いしましょう」という音声情報を出力するようにデジタルヒューマンを制御することができる。

【0084】

当該例では、前記車室内のビデオストリームに基づいて前記搭乗者の降車意図が検出されたことに応じて、前記搭乗者との降車インタラクションを行うように前記デジタルヒューマンを制御することにより、前記搭乗者の乗車体験をさらに向上させることができる。

【0085】

当該実現形態の一例として、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことは、前記車室内のビデオストリームのうちの少なくとも１つのビデオフレームに基づいて所定のタスクを処理し、タスク処理結果を得ることと、前記タスク処理結果に基づいて、前記搭乗者とのインタラクションを行うように前記デジタルヒューマンを制御することと、を含む。例えば、前記デジタルヒューマンを表示するように前記車載表示機器を制御し、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行い、インタラクションフィードバック情報などを出力するように前記車載表示機器に表示されたデジタルヒューマンを制御することができる。当該例では、所定のタスクは、顔検出、視線検出、注視領域検出、顔認識、人体検出、ジェスチャー検出、顔属性検出、感情状態検出、疲労状態検出、注意散漫状態検出、危険動作検出の少なくとも１つを含むが、これらに限定されない。

【0086】

可能な一実現形態では、前記方法はさらに、前記車室内のビデオストリームに基づいて前記搭乗者の着席が検出されたことに応じて、前記搭乗者にデジタルヒューマンの機能を紹介するような自己紹介が必要か否かを問い合わせするように前記デジタルヒューマンを制御することを含む。例えば、「私の自己紹介は必要ですか？」という音声情報を発するように前記デジタルヒューマンを制御することができる。「はい／ＯＫ」などの指示を受け付けると、音声、表情、動きの少なくとも１つに合わせてデジタルヒューマンの機能の紹介を開始するようにデジタルヒューマンを制御し、「いいえ／Ｎｏ」などの指示を受け付けると、待機状態に入るようにデジタルヒューマンを制御することができる。一例では、待機状態でのデジタルヒューマンの動作を予め設定しておくことができる。

【0087】

可能な一実現形態では、運転者が座席から離れることが検出されたか、又は前記搭乗者からの予め設定された音声情報（例えば「さようなら」、「しばらく休憩する」、「バイバイ」）などが検出されたことに応じて、デジタルヒューマンは、お別れの動作を実行するように制御されて、オフにされる。

【0088】

可能な一実現形態では、前記方法はさらに、前記車両の状況情報が予め設定された条件を満たしたことに応じて、前記デジタルヒューマンによって前記車両の状況を前記搭乗者に提示する提示情報を発することを含む。ここで、前記車両の状況情報は、前記車両の状態を反映できる情報を表してよい。例えば、前記車両の状況情報は、前記車両の燃料量、車輪状態などを含んでよい。例えば、前記予め設定された条件には、燃料量が所定の燃料量値以下であることが含まれ、前記車両の現在の燃料量が前記予め設定された条件を満たすと、燃料をタイムリーに補給するように運転者を注意させるために、前記デジタルヒューマンによって前記車両の現在の燃料量を提示することができる。当該実現形態において、前記車両の状況情報が予め設定された条件を満たすと、前記デジタルヒューマンによって提示情報を発することにより、前記搭乗者が前記車両の状況をタイムリーに注意することに寄与することができる。

【0089】

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができると理解すべきであり、紙数に限りがあるので、本開示ではその説明を省略する。

【0090】

当業者であれば、具体的な実施形態の上記方法において記載された各ステップの順序は、実施手順を厳密に当該順序に限定するものではない。各ステップの具体的な実行順序は、各ステップの機能と可能な内在的論理に応じて決定されることが理解される。

【0091】

また、本開示は、車両のインタラクション装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムをさらに提供し、これらのいずれも本開示で提供される車両のインタラクション方法のいずれか１つを実現するために利用可能であり、対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、ここで省略する。

【0092】

図５は本開示の実施例に係る車両のインタラクション装置のブロック図を示す。図５に示すように、前記車両のインタラクション装置は、車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御するための第１の制御モジュール５１と、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得るための顔認識モジュール５２と、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによるヒューマン・コンピュータ・インタラクションを行うための第２の制御モジュール５３と、を含む。

【0093】

可能な一実現形態では、前記第２の制御モジュール５３は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、デジタルヒューマンを表示するように車室内に設置された表示機器を制御することに用いられる。

【0094】

可能な一実現形態では、顔認識に成功するまで、前記表示機器がオフ状態又はスリープ状態にあり、前記デジタルヒューマンに対応するプロセスが終了状態又はスリープ状態にあり、前記第２の制御モジュール５３は、車室内に設置された表示機器を起動又はウェイクアップすることと、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、デジタルヒューマンを前記表示機器に表示するように前記デジタルヒューマンに対応するプロセスを実行することに用いられる。

【0095】

可能な一実現形態では、前記第２の制御モジュール５３は、車室内に設置された表示機器を起動又はウェイクアップすると同時に、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることに用いられる。

【0096】

可能な一実現形態では、前記第２の制御モジュール５３は、前記車室外に対する顔認識の結果に対応するデジタルヒューマンイメージ情報及び／又はインタラクション方式情報を取得することと、前記デジタルヒューマンイメージ情報及び／又はインタラクション方式情報に基づいて、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることに用いられる。

【0097】

可能な一実現形態では、顔認識に成功するまで、前記車室内に設置されたカメラがオフ状態又はスリープ状態にあり、前記装置は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うための第３の制御モジュールをさらに含む。

【0098】

可能な一実現形態では、前記第３の制御モジュールは、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御すると同時に、前記車室内に設置されたカメラを起動又はウェイクアップすることに用いられる。

【0099】

可能な一実現形態では、前記第３の制御モジュールは、前記車室内のビデオストリームの画像に基づいて、前記画像における前記搭乗者の第１の相対位置情報及び／又は前記車室内における前記搭乗者の第２の相対位置情報を含む搭乗者の位置情報を検出と、前記搭乗者の位置情報に基づいて、前記表示機器において前記デジタルヒューマンが前記搭乗者の方を向くようなアニメーションを生成して表示することに用いられる。

【0100】

可能な一実現形態では、前記第３の制御モジュールは、前記画像に対応する画像座標系において、前記搭乗者の少なくとも１つの部位が位置する画像座標エリアを検出することと、前記画像座標エリアを前記画像における前記搭乗者の第１の相対位置情報とし、及び／又は、前記画像座標系と前記車室内の空間座標系とのマッピング関係に基づいて、前記画像座標エリアに対応する車室内空間座標エリアを決定し、前記車室内空間座標エリアを前記車室内における前記搭乗者の前記第２の相対位置情報とすることに用いられる。

【0101】

可能な一実現形態では、前記第３の制御モジュールは、予め確立された位置情報とデジタルヒューマンの向きとのマッピング関係に基づいて、前記搭乗者の位置情報に対応する目標向きを決定することと、前記表示機器において前記デジタルヒューマンが前記目標向きを向くようなアニメーションを生成して表示することに用いられる。

【0102】

可能な一実現形態では、前記第３の制御モジュールは、検出された搭乗者の位置情報が複数の搭乗者の複数の位置情報であることに応じて、前記複数の位置情報のうちの１つを目標位置情報として決定することと、前記表示機器において前記デジタルヒューマンが前記目標位置情報に対応する搭乗者の方を向くようなアニメーションを生成して表示することに用いられる。

【0103】

可能な一実現形態では、前記第３の制御モジュールは、予め決定された異なる位置情報の優先順位に応じて、前記複数の位置情報のうち、最も優先度の高いものを目標位置情報として決定することに用いられ、ここで、前記異なる位置情報の優先順位は、運転席エリアに対応する位置情報の優先度が副運転席エリアに対応する位置情報の優先度よりも高いことと、前席エリアに対応する位置情報の優先度が後席エリアに対応する位置情報の優先度よりも高いことと、専用席に対応する位置情報の優先度が非専用席に対応する位置情報の優先度よりも高いこととのうちの少なくとも１つを含む。

【0104】

可能な一実現形態では、前記第３の制御モジュールは、前記車室内のビデオストリームに基づいて、前記搭乗者の前記車両への乗り込み及び／又は着席が検出されたことに応じて、前記デジタルヒューマンによって前記搭乗者へのウェルカムメッセージを発することと、前記車室外に対する顔認識の結果に対応するウェルカムメッセージを取得し、前記表示機器において前記デジタルヒューマンが前記ウェルカムメッセージを表す動作を行うようなアニメーションを生成して表示することと、前記車室内のビデオストリームに基づいて前記搭乗者の降車意図が検出されたことに応じて、前記表示機器において前記デジタルヒューマンが前記搭乗者との降車インタラクションを行うようなアニメーションを生成して表示することと、前記車両の状況情報が予め設定された条件を満たしたことに応じて、前記デジタルヒューマンによって前記車両の状況を前記搭乗者に提示する提示情報を発することとのうちの少なくとも１つに用いられる。

【0105】

本開示の実施例では、車室外のビデオストリームを収集するように車両の車室外に設置されたカメラを制御し、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、車両のドアロックの解除及び／又はドア開放を行うように制御し、デジタルヒューマンを表示するように車室内に設置された表示機器を制御して、前記デジタルヒューマンによってヒューマン・コンピュータ・インタラクションを行うことによって、車室外に対する顔認識に成功した直後にデジタルヒューマンを起動し、車室外に対する顔認識に成功してから前記車両の搭乗者が車両に乗り込むまでの時間を利用して、デジタルヒューマンが搭乗者とのインタラクションを行う準備を整えるようにすることができ、前記搭乗者が車両に乗り込んだ後、デジタルヒューマンがより迅速に前記搭乗者にサービスを提供でき、さらに搭乗者の乗車体験を向上させることができる。

【0106】

図６は、本開示の実施例に係る車両の模式図を示す。図６に示すように、前記車両は、本体１００と、相互に接続されるビデオ処理チップ２１０及びマイクロコントローラユニット（ＭｉｃｒｏＣｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ、ＭＣＵ）２２０を含むコックピットドメインコントローラ２００と、前記車両の車室外に設置されるカメラ３００と、車室内に設置される表示機器４００とを含み、前記ビデオ処理チップ２１０は前記車室外のカメラ３００及び前記表示機器４００にも接続され、前記マイクロコントローラユニット２２０は前記本体１００にも接続され、前記車室外のカメラ３００は車室外のビデオストリームを収集することに用いられ、前記ビデオ処理チップ２１０は、前記車室外のビデオストリームに基づいて顔認識を行って、車室外に対する顔認識の結果を得、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成し、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドを前記マイクロコントローラユニット２２０に送信し、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記表示機器４００を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器４００に表示するように前記デジタルヒューマンに対応するプロセスを実行することに用いられ、前記マイクロコントローラユニット２２０は、前記ドアロック解除コマンド及び／又は前記ドア開放コマンドに応じて、車両のドアロックの解除及び／又はドア開放を行うように前記本体１００を制御することに用いられる。

【0107】

本開示の実施例では、前記ビデオ処理チップ２１０は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成し、前記表示機器４００を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップし、前記デジタルヒューマンを前記表示機器４００に表示するように前記デジタルヒューマンに対応するプロセスを実行することにより、顔認識によるドア開放を実現でき、車室外に対する顔認識に成功した直後にデジタルヒューマンを起動し、車室外に対する顔認識に成功してから前記車両の搭乗者が車両に乗り込むまでの時間を利用して、デジタルヒューマンが搭乗者とのインタラクションを行う準備を整えるようにすることができ、前記搭乗者が車両に乗り込んだ後、デジタルヒューマンがより迅速に前記搭乗者にサービスを提供でき、さらに搭乗者の乗車体験を向上させることができる。

【0108】

可能な一実現形態では、前記ビデオ処理チップ２１０は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、ドアロック解除コマンド及び／又はドア開放コマンドを生成すると同時に、前記表示機器４００を起動又はウェイクアップし、前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップすることに用いられる。当該実現形態において、ビデオ処理チップ２１０は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、「ドアロック解除コマンド及び／又はドア開放コマンドを生成する」こと及び「前記表示機器４００を起動又はウェイクアップする」ことと、「前記デジタルヒューマンに対応するプロセスを作成又はウェイクアップする」こととを並行して実行することができ、前記表示機器４００にデジタルヒューマンをできるだけ早く表示することができる。

【0109】

可能な一実現形態では、前記車両は、前記車室内に設置され、前記ビデオ処理チップ２１０に接続されるカメラをさらに含み、前記ビデオ処理チップ２１０はさらに、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車室内のカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御することに用いられる。

【0110】

当該実現形態において、前記ビデオ処理チップ２１０は、顔認識に成功したとの前記車室外に対する顔認識の結果に応じて、前記車両の車室内に設置されたカメラを起動又はウェイクアップし、車室内のビデオストリームを収集するように前記車室内のカメラを制御し、前記車室内のビデオストリームに基づいて、前記デジタルヒューマンによって前記車両の搭乗者とのインタラクションを行うことにより、車室外で顔認識に成功した直後に前記車両の車室内に設置されたカメラを起動又はウェイクアップすることができ、すなわち、車室外で顔認識に成功してから前記搭乗者が車両に乗り込むまでの時間を利用して、前記車室内のカメラを起動又はウェイクアップし、前記車室内のカメラが車室内のビデオストリームをタイムリーに収集することができ、搭乗者が車両に乗り込んだ後、搭乗者とのインタラクションをタイムリーに行うことができる。

【0111】

可能な一実現形態では、前記車両は、前記マイクロコントローラユニット２２０に接続されるウェイクアップモジュールをさらに含み、前記マイクロコントローラユニット２２０はさらに、前記ウェイクアップモジュールのトリガに応じて、スリープ状態にある前記ビデオ処理チップ２１０をウェイクアップすることに用いられ、前記ビデオ処理チップ２１０はさらに、ウェイクアップされた後に、車室外のビデオストリームを収集するように前記車室外のカメラ３００を制御することに用いられる。

【0112】

当該実現形態の一例として、前記ウェイクアップモジュールは、マイクロスイッチなどを含む接触式ウェイクアップモジュールを含むようにしてもよい。例えば、前記マイクロスイッチは、前記マイクロコントローラユニット２２０に接続され、前記マイクロコントローラユニット２２０は、前記マイクロスイッチのタッチに応じて、スリープ状態にある前記ビデオ処理チップ２１０をウェイクアップすることができる。一例では、前記マイクロスイッチは、少なくとも１つのドアのドアハンドル、前記車両のＢピラーのうちの少なくとも１つに取り付けられてもよい。一例では、前記マイクロスイッチは、タッチされたことを検出した場合、トリガ動作信号をマイクロコントローラユニット２２０に送信することができる。前記マイクロコントローラユニット２２０は、前記トリガ動作信号に応じて、前記ビデオ処理チップ２１０をウェイクアップすることができる。

【0113】

当該実現形態のもう１つの例として、前記ウェイクアップモジュールは、距離センサなどを含む非接触式ウェイクアップモジュールを含むようにしてもよい。例えば、前記距離センサは、赤外線距離センサ、超音波距離センサ、ブルートゥース距離センサなどの少なくとも１つを含んでよい。前記距離センサは、前記マイクロコントローラユニット２２０に接続され、前記マイクロコントローラユニット２２０は、車室外の対象物と前記距離センサとの距離を取得し続ける前記距離センサを制御し、前記車両への人の接近が前記距離センサによって検出されたことに応じて、スリープ状態にある前記ビデオ処理チップ２１０をウェイクアップすることができる。一例では、前記距離センサは、前記車両のＢピラー、少なくとも１つのドア、少なくとも１つのバックミラー及び前記車両の車室内のうちの少なくとも１つに取り付けられる。

【0114】

当該実現形態のもう１つの例として、前記ウェイクアップモジュールは、接触式ウェイクアップモジュール及び非接触式ウェイクアップモジュールを含んでよい。

【0115】

当該実現形態において、前記ウェイクアップモジュールがトリガされる前に（例えば、前記マイクロスイッチがタッチされる前に、又は前記車両への人の接近が検出される前に）、ビデオ処理チップ２１０は、スリープ状態として低消費電力動作を維持することができることによって、顔認識によるドア開放の動作消費電力を低減することができる。

【0116】

当該実現形態の一例として、前記マイクロコントローラユニット２２０は、前記車両がスリープ状態にあるか、又はスリープで且つドアロックの未解除の状態にあるとき、車室外の対象物と前記距離センサとの距離を取得し続けるように前記距離センサを制御することができる。ここで、車両のスリープ状態は、マイクロコントローラユニット２２０と距離センサ及び／又はマイクロスイッチ以外の車両のモジュールが全てスリープしている状態を示してよい。車両がスリープ状態でない場合、通常、車内には運転者がいる。そのため、車両がスリープ状態でない場合、通常、運転者の操作により車両のドアロックの解除を制御することができる。当該例では、前記車両がスリープ状態にあるか、又はスリープで且つドアロックの未解除の状態にある場合にのみ、距離センサにより車室外の対象物と前記距離センサとの距離を取得し続けることができるが、前記車両がスリープ状態でないか、又はスリープであるがドアロックの未解除の状態でない場合、距離センサにより測距する必要がなく、これにより、消費電力を低減することができる。

【0117】

可能な一実現形態では、スリープ状態にある前記ビデオ処理チップ２１０がウェイクアップされた後、前記方法はさらに、予め設定された時間内に顔画像が収集されなかった場合、又は予め設定された時間内に顔認識に失敗した場合、スリープ状態になるように前記ビデオ処理チップ２１０を制御することを含む。当該実現形態によれば、顔認識によるドア開放の動作消費電力を低減することができる。

【0118】

いくつかの実施例では、本開示の実施例で提供された装置及び車両に備える機能又はモジュールは、上記の方法実施例に記載の方法を実行するために用いることができ、その具体的な実施については上記の方法実施例の記載を参照すればよく、説明を簡潔化するために、ここでは重複の説明を省略する。

【0119】

本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドは、プロセッサにより実行されると、上記方法を実現させるコンピュータ読み取り可能な記憶媒体をさらに提供する。ここで、前記コンピュータ読み取り可能な記憶媒体は、非揮発性のコンピュータ読み取り可能な記憶媒体であってもよく、又は揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0120】

本開示の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラムであって、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記方法を実現するためのコマンドを実行させるコンピュータプログラムをさらに提供する。

【0121】

本開示の実施例は、コンピュータ読み取り可能なコマンドが記憶されているコンピュータプログラム製品であって、コマンドは実行されると、コンピュータに上記の実施例のいずれか１つに係る車両のインタラクション方法の動作を実行させるコンピュータプログラム製品をさらに提供する。

【0122】

本開示の実施例は、１つ以上のプロセッサと、実行可能なコマンドを記憶するためのメモリと、を含み、前記１つ以上のプロセッサは、前記メモリに記憶されている実行可能なコマンドを呼び出して上記方法を実行するように構成される電子機器をさらに提供する。

【0123】

電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。

【0124】

図７は、本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は車載装置、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。

【0125】

図７を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

【0126】

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

【0127】

メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。

【0128】

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。

【0129】

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

【0130】

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。

【0131】

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

【0132】

センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

【0133】

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇ、３Ｇ、４Ｇ／ＬＴＥ、５Ｇまたはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

【0134】

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

【0135】

例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。

【0136】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令が有しているコンピュータ可読記憶媒体を含んでもよい。

【0137】

コンピュータ可読記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

【0138】

ここで記述したコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。

【0139】

本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。

【0140】

ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。

【0141】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。

【0142】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0143】

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。

【0144】

このコンピュータプログラム製品は、具体的にハードウェア、ソフトウェア又はそれらの組合せによって実現できる。選択可能的な一実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。選択可能的な別の実施例では、コンピュータプログラム製品はソフトウェア製品、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、略称ＳＤＫ）等として具現化される。

【0145】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】