特許 7345551 ヒューマンコンピュータインタラクションの制御方法、装置、システム、及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-07

(45)【発行日】2023-09-15

(54)【発明の名称】ヒューマンコンピュータインタラクションの制御方法、装置、システム、及び電子機器

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230908BHJP

   G06F 3/0481 20220101ALI20230908BHJP

【ＦＩ】

G06F3/01 510

G06F3/0481

【請求項の数】 17

(21)【出願番号】P 2021543462

(86)(22)【出願日】2020-12-11

(65)【公表番号】

(43)【公表日】2022-06-27

(86)【国際出願番号】 CN2020135719

(87)【国際公開番号】W WO2021189967

(87)【国際公開日】2021-09-30

【審査請求日】2021-07-27

(31)【優先権主張番号】202010220639.6

(32)【優先日】2020-03-25

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】ウー チュン

(72)【発明者】

【氏名】ウー シーユイ

(72)【発明者】

【氏名】リー シーイェン

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】特開２０１９－１０５９５１（ＪＰ，Ａ）

【文献】特開２００７－１１８１２９（ＪＰ，Ａ）

【文献】特開２０１７－２１１６０８（ＪＰ，Ａ）

【文献】特開２０１９－１２４８５５（ＪＰ，Ａ）

【文献】特開２００８－０５５５７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／１４－３／１５３

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

ヒューマンコンピュータインタラクションの制御方法であって、前記方法は、
ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得することと、
前記環境識別結果に従って、前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定することであって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含むことと、
前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することと、を含み、
前記環境識別結果として前記環境におけるユーザの数が予め設定された数の閾値未満である場合、決定された作業モードは、自己表示モードであり、
前記作業モードが自己表示モードであれば、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することを含み、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第１の区間内にある場合、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することであり、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第２の区間内にある場合、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力することであり、
前記第１の区間内のいずれかの数は、前記第２の区間内のいずれかの数よりも小さく、且つ前記第２の区間の最大値は前記予め設定された数の閾値である、
ヒューマンコンピュータインタラクションの制御方法。

【請求項2】

前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定する前に、前記方法はさらに、
前記ユーザの数が予め設定された数の閾値よりも小さい持続時間は設定時間を超えることを含む、
請求項１に記載の方法。

【請求項3】

前記作業モードが自己表示モードであれば、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力する、
請求項１又は２に記載の方法。

【請求項4】

前記環境識別結果として環境におけるユーザの数が予め設定された数の閾値以上である場合、決定された作業モードは、アクティブインタラクションのモードである、
請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記環境識別結果として環境における少なくとも１つのユーザの滞在時間が予め設定された時間閾値よりも大きい場合、決定された作業モードは、アクティブインタラクションのモードである、
請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記環境識別結果として解析して得られた環境における少なくとも１つのユーザのセマンティクスが予め設定されたウェイクアップセマンティクスと一致する場合、決定された作業モードは、ウェイクアップインタラクションのモードである、
請求項１～５のいずれか１項に記載の方法。

【請求項7】

ヒューマンコンピュータインタラクションの制御装置であって、前記装置は、
ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得するための取得モジュールと、
前記環境識別結果に従って、前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定するための決定モジュールであって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含む決定モジュールと、
前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力するための出力モジュールと、を含み、
前記環境識別結果として前記環境におけるユーザの数が予め設定された数の閾値未満である場合、決定された作業モードは、自己表示モードであり、
前記作業モードが自己表示モードであれば、前記出力モジュールは、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示するために用いられ、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第１の区間内にある場合、前記出力モジュールは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示するために用いられ、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第２の区間内にある場合、前記出力モジュールは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力するために用いられ、
前記第１の区間内のいずれかの数は、前記第２の区間内のいずれかの数よりも小さく、且つ前記第２の区間の最大値は前記予め設定された数の閾値である、
ヒューマンコンピュータインタラクションの制御装置。

【請求項8】

前記決定モジュールは、前記ユーザの数が予め設定された数の閾値よりも小さい持続時間は設定時間を超えると決定するために用いられる、
請求項７に記載の装置。

【請求項9】

前記作業モードが自己表示モードであれば、前記出力モジュールは、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力するために用いられる、
請求項７又は８に記載の装置。

【請求項10】

前記環境識別結果として環境におけるユーザの数が予め設定された数の閾値以上である場合、決定された作業モードは、アクティブインタラクションのモードである、
請求項７～９のいずれか１項に記載の装置。

【請求項11】

前記環境識別結果として環境における少なくとも１つのユーザの滞在時間が予め設定された時間閾値よりも大きい場合、決定された作業モードは、アクティブインタラクションのモードである、
請求項７～１０のいずれか１項に記載の装置。

【請求項12】

前記環境識別結果として解析して得られた環境における少なくとも１つのユーザのセマンティクスが予め設定されたウェイクアップセマンティクスと一致する場合、決定された作業モードはウェイクアップインタラクションのモードである、
請求項７～１１のいずれか１項に記載の装置。

【請求項13】

ヒューマンコンピュータインタラクションの制御システムであって、前記システムは、収集装置、処理装置、表示装置及びデジタルヒューマンを含み、ここで、
前記収集装置は、表示装置の周囲の環境を収集し、環境収集情報を得るために用いられ、
前記処理装置は、前記環境収集情報を識別して、環境識別結果を生成し、前記環境識別結果に従って、前記デジタルヒューマンの作業モードを決定するために用いられ、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含み、
前記処理装置は、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記表示装置を介して表示するために用いられ、
前記処理装置は、前記環境識別結果として前記環境におけるユーザの数が予め設定された数の閾値未満である場合、前記デジタルヒューマンの作業モードは、自己表示モードと決定するために用いられ、
前記処理装置は、前記作業モードが自己表示モードであれば、前記デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示するために用いられ、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第１の区間内にある場合、前記処理装置は、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示するために用いられ、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第２の区間内にある場合、前記処理装置は、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力するために用いられ、
前記第１の区間内のいずれかの数は、前記第２の区間内のいずれかの数よりも小さく、且つ前記第２の区間の最大値は前記予め設定された数の閾値である、
ヒューマンコンピュータインタラクションの制御システム。

【請求項14】

少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～６のいずれか１項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
電子機器。

【請求項15】

コンピュータ命令が記憶されている非一時的なコンピュータで読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～６のいずれか１項に記載の方法を実行させるために使用される、
コンピュータで読み取り可能な記憶媒体。

【請求項16】

ヒューマンコンピュータインタラクションの制御方法であって、前記方法は、
収集されたヒューマンコンピュータインタラクションインターフェースの周囲の環境に対応する環境識別結果に従って、ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することを含み、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードのうちの１つであり、
前記環境識別結果として前記環境におけるユーザの数が予め設定された数の閾値未満である場合、決定された作業モードは、自己表示モードであり、
前記作業モードが自己表示モードであれば、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することを含み、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第１の区間内にある場合、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することを含み、
前記作業モードが自己表示モードであり、且つ前記環境におけるユーザの数が第２の区間内にある場合、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することは、
前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力することを含み、
前記第１の区間内のいずれかの数は、前記第２の区間内のいずれかの数よりも小さく、且つ前記第２の区間の最大値は前記予め設定された数の閾値である、
ヒューマンコンピュータインタラクションの制御方法。

【請求項17】

プログラムコードを含むコンピュータプログラムであって、コンピュータが前記コンピュータプログラムを実行すると、前記プログラムコードは請求項１～６のいずれか１項に記載の方法を実行する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、人工知能技術分野に関し、特にヒューマンコンピュータインタラクション技術分野に関し、具体的にヒューマンコンピュータインタラクションの制御方法、装置、システム、電子機器及び記憶媒体に関する。

【0002】

本願は、２０２０年３月２５日に中国特許庁に提出され、出願番号がＣＮ２０２０１０２２０６３９.６であり、出願名称が「ヒューマンコンピュータインタラクションの制御方法、装置、システム、及び電子機器」である中国特許出願の優先権を主張し、これらの全部内容は、すべて本願に援用される。

【背景技術】

【0003】

人工知能技術の発展に伴い、ヒューマンコンピュータインタラクションの関連技術も新たな飛躍を遂げている。

【0004】

従来技術において、ヒューマンコンピュータインタラクションは、主にウェイクアップワードを通じて実現される。例えば、デジタルヒューマンのために１つ以上のウェイクアップワードが予め設定されており、ユーザが発する音声命令にウェイクアップワードが含まれる場合、デジタルヒューマンはユーザとのインタラクション状態に入る。

【0005】

しかし、発明者は、本願を実現する過程で、少なくともデジタルヒューマンとユーザとのインタラクションをトリガする方法は単一で、柔軟性に欠けるという問題があることを発見した。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本願は、インタラクションの柔軟性を高めるヒューマンコンピュータインタラクションの制御方法、装置、システム、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0007】

第１の態様によれば、ヒューマンコンピュータインタラクションの制御方法を提供し、前記方法は、
ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得することと、
前記環境識別結果に従って、前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定することであって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含むことと、
前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力することと、を含む。

【0008】

本願の実施例において、環境識別結果に従って、デジタルヒューマンの作業モードを決定することにより、従来技術において簡単にウェイクアップワードによってデジタルヒューマンをウェイクアップする場合、インタラクティブ形態が単一である問題を回避し、異なる作業モードを利用してユーザとインタラクティブすることができるため、インタラクティブ形態の多様性と柔軟性を実現することができ、且つユーザのインタラクティブ体験を高めることができる。

【0009】

第２の態様によれば、本願の実施例は、ヒューマンコンピュータインタラクションの制御装置を提供し、前記装置は、
ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得するための取得モジュールと、
前記環境識別結果に従って、前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定するための決定モジュールであって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含む決定モジュールと、
前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力するための出力モジュールと、を含む。

【0010】

第３の態様によれば、本願の実施例は、ヒューマンコンピュータインタラクションの制御システムを提供し、前記システムは、収集装置、処理装置、表示装置及びデジタルヒューマンを含み、ここで、
前記収集装置は、表示装置の周囲の環境を収集し、環境収集情報を得るために用いられ、
前記処理装置は、前記環境収集情報を識別して、環境識別結果を生成し、前記環境識別結果に従って、前記デジタルヒューマンの作業モードを決定するために用いられ、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含み、
前記処理装置はさらに、前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記表示装置を介して表示するために用いられる。

【0011】

第４の態様によれば、本願の実施例は電子機器を提供し、当該電子機器は、
少なくとも１つのプロセッサ、及び
前記少なくとも１つのプロセッサに通信可能に接続されるメモリ、を含み、ここで、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが上記の実施例に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0012】

第５の態様によれば、本願の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータで読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記の実施例に記載の方法を実行させるために用いられる。

【0013】

第６の態様によれば、本願の実施例は、ヒューマンコンピュータインタラクションの制御方法を提供し、前記方法は、
収集されたヒューマンコンピュータインタラクションインターフェースの周囲の環境に対応する環境識別結果に従って、ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することであって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードのうちの１つを含む。

【0014】

第７の態様によれば、本願の実施例は、プログラムコードを含むコンピュータプログラムを提供し、コンピュータが前記コンピュータプログラムを実行すると、前記プログラムコードは上記のいずれかの実施例に記載の方法を実行する。

【0015】

第８の態様によれば、本願の実施例は、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムは、プロセッサで実行されると、上記のいずれかの実施例に記載の方法を実施する。

【発明の効果】

【0016】

本願の技術により、ヒューマンコンピュータインタラクションが単一で、柔軟性に欠ける問題を解決し、インタラクティブ形態の多様性と柔軟性を実現し、且つユーザのインタラクティブ体験を向上させる。

【0017】

本明細書に記載の内容は、本開示の実施例の肝心な特徴又は重要な特徴を特定することを意図するものではなく、本願の範囲を限定することを意図したものでもないことを理解されたい。本開示の他の特徴は、以下の明細書によって容易に理解される。

【図面の簡単な説明】

【0018】

添付図面は、本案をよりよく理解するために使用されており、本願の制限を構成するものではない。

【図1】本願の第１実施例の適用シーンの概略図である。

【図2】本願の第２実施例の適用シーンの概略図である。

【図3】本願の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【図4】本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【図5】本願の実施例のインターフェース概略図である。

【図6】本願の別の実施例のインターフェース概略図である。

【図7】本願の別の実施例のインターフェース概略図である。

【図8】本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【図9】本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【図10】本願の実施例のヒューマンコンピュータインタラクションの制御装置の概略図である。

【図11】本願の実施例のインタラクションシステムの概略図である。

【図12】本願の実施例の電子機器のブロック図である。

【発明を実施するための形態】

【0019】

以下、添付図面を参照して本願の例示的な実施例を説明するが、本願の実施例の様々な詳細事項は、理解を容易にするためにこの説明に含まれており、単なる例示的なものと考えられるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを理解するはずである。同様に、明確かつ簡潔にするために、以下の説明において、周知の機能及び構造の説明は省略されている。

【0020】

いくつかの実施例では、本願の実施例のヒューマンコンピュータインタラクションの制御方法は、図１に示すような適用シーンに適用されてもよい。

【0021】

図１に示すような適用シーンにおいて、ヒューマンコンピュータインタラクションの制御装置は、ヒューマンコンピュータインタラクションインターフェースを含むディスプレイであってもよく、ヒューマンコンピュータインタラクションインターフェースを介してデジタルヒューマンを表示することができ、且つ当該ディスプレイは、デパート、銀行及び病院などの場所に適用されてもよく、ヒューマンコンピュータインタラクションの制御装置の高さは、ユーザの身長に基づいて設定されてもよい。

【0022】

説明すべきものとして、いくつかの実施例では、図１における１-１に示すように、ディスプレイは、発光ダイオードＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＬＥＤ）ディスプレイを採用することができる。

【0023】

勿論、別のいくつかの実施例では、図１における１-２に示すように、ディスプレイは、有機発光ダイオードＯＬＥＤディスプレイを採用することもできる。

【0024】

別のいくつかの実施例では、本願の実施例のヒューマンコンピュータインタラクションの制御方法はさらに、図２に示すような適用シーンに適用されてもよい。

【0025】

図２に示すような適用シーンにおいて、ヒューマンコンピュータインタラクションの制御装置は、ヒューマンコンピュータインタラクションインターフェースを含むディスプレイであってもよく、ヒューマンコンピュータインタラクションインターフェースを介してデジタルヒューマンを表示することができ、且つ当該ディスプレイは特に、カウンターで業務を行うシーン、例えば、デパートの会員取扱カウンター及び銀行の業務処理カウンターなどのシーンに適しており、ヒューマンコンピュータインタラクションの制御装置のカウンターでの高さは、ユーザが立っている時の高さに基づいて設定することができ、カウンターの前の座席の高さに基づいて設定することもできる。

【0026】

関連技術では、ヒューマンコンピュータインタラクションは、主にウェイクアップワードによって実現され、例えば、予めデジタルヒューマンのために１つ又は複数のウェイクアップワードを設定し、ユーザが発する音声命令にウェイクアップワードが含まれる場合、デジタルヒューマンはユーザとのインタラクション状態に入る。

【0027】

デジタルヒューマンがユーザからのウェイクアップワードを受け取った後だけ、デジタルヒューマンはインタラクション状態に入って、ユーザとインタラクションするので、ヒューマンコンピュータインタラクション形態が単一で、柔軟性に欠ける問題を引き起こす可能性がある。

【0028】

上記の問題を解決するために、本願の発明者は、創造的な労働を行った後、デジタルヒューマンの複数の作業モードを設定し、周囲の環境を識別する識別結果に基づいて、デジタルヒューマンを制御して、識別結果に対応する作業モードを実行する本願の発明の構想を得た。

【0029】

本願において、複数の作業モードがあり、且つ異なる識別結果に基づいて識別結果に対応する作業モードを選択することができ、即ち、ウェイクアップワードに依存する必要がなく、作業モードを柔軟に選択することができるので、インタラクションの多様性と柔軟性を実現し、ユーザのインタラクティブ体験を向上させることができる。

【0030】

以下、具体的な実施例で、本願の技術案及び本願の技術案が上記の技術的問題をどのように解決するかを詳細に説明する。以下のいくつかの具体的な実施例は互いに結合されてもよく、同じ又は類似の概念又はプロセスは、いくつかの実施例で繰り返さない。以下、添付図面を参照して本願の実施例を説明する。

【0031】

本願の実施例の一態様によれば、本願の実施例は、ヒューマンコンピュータインタラクションの制御方法を提供する。

【0032】

図３を参照し、図３は、本願の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【0033】

図３に示すように、当該方法は、Ｓ１０１～Ｓ１０３を含む。

【0034】

Ｓ１０１において、ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得する。

【0035】

本願の実施例の実行主体は、ヒューマンコンピュータインタラクションの制御装置であってもよく、且つヒューマンコンピュータインタラクションの制御装置は、具体的にサーバ、コンピュータ及びプロセッサなどであってもよい。

【0036】

例えば、本願の実施例の方法は、図１と図２に示すような適用シーンに適用される場合、本願の実施例の実行主体は、ディスプレイに設置されたプロセッサであってもよいし、又は、ディスプレイと通信可能に接続されているコンピュータとサーバであってもよい。

【0037】

環境識別結果は、ヒューマンコンピュータインタラクションインターフェースの周囲の環境における人と物を識別して得られた識別結果を、表現するために用いられ、環境識別結果は、環境におけるユーザの情報（例えばユーザの画像情報及び／又はオーディオ情報など）を含むことができ、物体の情報（例えば商品、植物、動物など）を含むこともでき、具体的な識別方法は、関連技術を参照することができ、ここでは繰り返さない。

【0038】

具体的に、周囲の環境はプリセット距離を基準にすることができる。例えば、環境識別結果は、ヒューマンコンピュータインタラクションインターフェースとの距離が２メートルの環境を識別して得られた識別結果を、表現するために用いられる。

【0039】

例えば、図１に示すディスプレイがあるデパートに設置されると、環境識別結果は、ディスプレイの周囲２メートル以内の環境の識別結果を表現するために用いられる。

【0040】

また例えば、図１に示すディスプレイがある銀行に設置されると、環境識別結果は、ディスプレイの周囲２メートル以内の環境の識別結果を表現するために用いられる。

【0041】

また例えば、図１に示すディスプレイがある病院に設置されると、環境識別結果は、ディスプレイの周囲２メートル以内の環境の識別結果を表現するために用いられる。

【0042】

ヒューマンコンピュータインタラクションインターフェースは、ユーザインターフェース又は使用者インターフェースとも呼ばれ、マシンとユーザの間のインタラクションと情報交換を表現するための媒体である。

【0043】

例えば、図１と図２に示すような適用シーンにおいて、ヒューマンコンピュータインタラクションインターフェースは、ディスプレイの表示画面であり、ユーザは、音声やタッチスクリーンなどの方法を介してディスプレイと通信やコミュニケーションすることができる。本願の実施例において、通信やコミュニケーションとは、主に、ユーザがヒューマンコンピュータインタラクションインターフェースに表示されたデジタルヒューマンと通信やコミュニケーションすることができることを意味する。

【0044】

Ｓ１０２において、環境識別結果に基づいて、ヒューマンコンピュータインタラクションインターフェースに表示されたデジタルヒューマンの作業モードを決定し、作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードのうちの１つを含む。

【0045】

作業モードは、ヒューマンコンピュータインタラクションの制御装置を起動するとき、環境識別結果に基づいて決定されてもよいし、ヒューマンコンピュータインタラクションの制御装置が起動した後も、ヒューマンコンピュータインタラクションインターフェースの周囲の環境を識別し続けて、環境識別結果が変化していない場合、環境識別結果に対応する作業モードを維持し続け、環境識別結果が変化した場合、変化した環境識別結果に基づいて作業モードを決定して調整してもよい。

【0046】

つまり、作業モードは、環境識別結果の変化によって変化することができる。即ち、作業モードを相互に切り替えることができ、例えば、自己表示モードからアクティブインタラクションのモードへの切り替え、又は、アクティブインタラクションのモードからウェイクアップインタラクションのモードへの切り替えなどが挙げられる。

【0047】

自己表示モードは、デジタルヒューマンが特定の動作や表情を自発的に表示する、又は特定の情報を自発的に表現するモードを表現するために用いられる。

【0048】

アクティブインタラクションのモードは、デジタルヒューマンが能動的にユーザとインタラクションするモードを表現するために用いられる。

【0049】

ウェイクアップインタラクションのモードは、ユーザがウェイクアップした場合、デジタルヒューマンがユーザとインタラクションするモードを表現するために用いられる。

【0050】

つまり、本願の実施例において、環境識別結果に基づいて、デジタルヒューマンの作業モードを決定するために、複数の作業モードから環境識別結果に対応する作業モードを決定することができ、従来技術において簡単にウェイクアップワードによってデジタルヒューマンをウェイクアップする場合、インタラクティブ形態が単一である問題を回避し、複数の作業モードから選択できるので、ヒューマンコンピュータインタラクションの多様性と柔軟性を実現でき、且つユーザのインタラクティブ体験を高めることができる。

【0051】

Ｓ１０３において、デジタルヒューマンを制御してヒューマンコンピュータインタラクションインターフェースを介して、作業モードに対応する操作を出力する。

【0052】

例えば、作業モードが自己表示モードであれば、デジタルヒューマンが自己表示モードを実行する際に対応する操作を、ヒューマンコンピュータインタラクションインターフェースで出力し、作業モードがアクティブインタラクションのモードであれば、デジタルヒューマンがアクティブインタラクションのモードを実行する際に対応する操作を、ヒューマンコンピュータインタラクションインターフェースで出力し、作業モードがウェイクアップインタラクションのモードであれば、デジタルヒューマンがウェイクアップインタラクションのモードを実行する際に対応する操作を、ヒューマンコンピュータインタラクションインターフェースで出力する。

【0053】

本願の実施例において、ヒューマンコンピュータインタラクションインターフェースを介して、デジタルヒューマンが対応する作業モードを実行する際の操作を表示することにより、ユーザの直感的な体験を向上させ、ヒューマンコンピュータインタラクションの積極性を高め、さらにヒューマンコンピュータインタラクションの有効性を高めることができる。

【0054】

以上の分析から分かるように、本願の実施例は、ヒューマンコンピュータインタラクションの制御方法を提供し、当該方法は、ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得し、環境識別結果に基づいて、ヒューマンコンピュータインタラクションインターフェースに表示されたデジタルヒューマンの作業モードを決定し、デジタルヒューマンを制御してヒューマンコンピュータインタラクションインターフェースを介して、作業モードに対応する操作を出力することを含み、作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含み、本願の実施例において、環境識別結果に従って、デジタルヒューマンの作業モードを決定することにより、従来技術において簡単にウェイクアップワードによってデジタルヒューマンをウェイクアップする場合、インタラクティブ形態が単一である問題を回避し、異なる作業モードを利用してユーザとインタラクティブすることができるため、インタラクティブ形態の多様性と柔軟性を実現することができ、且つユーザのインタラクティブ体験を高めることができる。

【0055】

環境識別結果と作業モードとの関連付けを読者により明確に理解させるために、図４を参照して本願の実施例を詳細に説明する。ここで、図４は、本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【0056】

図４に示すように、当該方法は、Ｓ２０１～Ｓ２０７を含む。

【0057】

Ｓ２０１において、ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得する。

【0058】

Ｓ２０１についての説明はＳ１０１を参照することができ、ここでは繰り返さない。

【0059】

Ｓ２０２において、環境識別結果に基づいて環境におけるユーザの数を決定する。

【0060】

上記の例から分かるように、環境識別結果にユーザの情報が含まれるので、環境識別結果に基づいて、環境におけるユーザの数を決定することができる。

【0061】

Ｓ２０３において、ユーザの数と数の閾値の大きさを判定し、ユーザの数が数の閾値よりも小さい場合、Ｓ２０４～Ｓ２０５を実行し、ユーザの数が数の閾値以上である場合、Ｓ２０６～Ｓ２０７を実行する。

【0062】

数の閾値は、需要、経験及び試験に基づいて設定されてもよい。

【0063】

Ｓ２０４において、作業モードを自己表示モードとして決定する。

【0064】

つまり、ユーザの数が比較的少ない場合、デジタルヒューマンの作業モードを自己表示モードとして決定することができる。

【0065】

Ｓ２０５において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示し、又は、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力する。

【0066】

つまり、自己表示モードは、少なくとも２つの態様から具現化されることができ、１つの態様は、身振り手振りでの具現化、即ち、デジタルヒューマンがヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することであり、もう１つの態様は、デジタルヒューマンがヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力することである。

【0067】

具体的に、身振り手振りでの具現化の説明は以下の通りであり、
ここで、身振り手振りは、周りを見回すこと、考えること、かわいい顔をすること、ゆっくり歩きこと、ぼんやりすること、あくび、居眠り及び腰を伸ばすことを含むが、これらに限らない。

【0068】

いくつかの実施例では、予め設定された時間間隔を通じて、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で上記身振り手振りを順次表示することができ、例えば、０.１秒ごとに１つの身振り手振りを切り換え、且つ各身振り手振りの時間は、異なる身振り手振りに基づいて異なる時間に設定されてもよい。

【0069】

例えば、デジタルヒューマンは、周りを５秒見回した後、０.１秒間隔で考える動作を実行し、考える動作を実行した５秒後、０.１秒間隔でかわいい顔をする動作を実行する。

【0070】

例えば、ディスプレイがデパートに設置され、環境におけるユーザの数が少ないことが識別される場合、デジタルヒューマンの作業モードを自己表示モードとして決定し、デジタルヒューマンを制御してヒューマンコンピュータインタラクションインターフェースに上記動作を表示することができる。

【0071】

理解すべきものとして、少なくとも一部のユーザは、上記動作を見れば、環境に入り、デジタルヒューマンとインタラクションする。

【0072】

つまり、ユーザの数が少ない場合、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示することは、より多くのユーザの注意を引き、より多くのユーザを環境に導くことで、さらにヒューマンコンピュータインタラクションの可能性を高めることができる。

【0073】

具体的に、挨拶情報、表示情報、操作ガイド情報については以下のように説明する。

【0074】

挨拶情報は、ユーザに対して挨拶する関連情報を表現するために用いられる。

【0075】

具体的には、図５を参照してもよく、図５は、挨拶情報に対応するインターフェース概略図である。

【0076】

表示情報は、デジタルヒューマンの情報、商品の情報、通知の情報などを表示する情報を表現するために用いられる。

【0077】

例えば、デジタルヒューマンの情報は、デジタルヒューマンの自己紹介の関連情報などを含み、商品の情報は、商品の品質と性能の関連情報を含んでもよいし、商品の価格の関連情報を含んでもよいし、商品の使い方の関連情報などを含んでもよく、通知の情報は、商品に関する最新動態の関連情報などを含んでもよい。

【0078】

具体的には、図６を参照してもよく、図６は、表示商品の関連情報に対応するインターフェース概略図である。

【0079】

操作ガイド情報は、ユーザをガイドして、ヒューマンコンピュータインタラクションインターフェースを操作する、又はヒューマンコンピュータインタラクションインターフェースでの商品を操作する情報を表現するために用いられる。ヒューマンコンピュータインタラクションインターフェースでの商品を操作する情報は、ユーザを導いて商品を理解して購入する関連情報、及びユーザを導いて銀行の金融商品を理解して購入する関連情報を含む。

【0080】

具体的には、図７を参照してもよく、図７は、商品を操作する情報に対応するインターフェース概略図である。

【0081】

同様に、ユーザの数が少ない場合、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースで挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力することは、より多くのユーザの注意を引き、より多くのユーザを環境に導くことで、さらにヒューマンコンピュータインタラクションの可能性を高めることができる。

【0082】

いくつかの実施例では、自己表示モードが上記２つの態様に基づいて具現化された上で、デジタルヒューマンがヒューマンコンピュータインタラクションインターフェースでの表示をさらに細かくすることができる。

【0083】

例えば、ユーザの数に基づいて２つの態様を区別し、即ち、数の閾値の範囲内で、再度ユーザの数に対して区間の区分を行い、ユーザの数が第１の区間であれば、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる身振り手振りを表示し、ユーザの数が第２の区間であれば、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力する。

【0084】

第１の区間のいずれかの数は、第２の区間のいずれかの数よりも小さく、且つ第２の区間の最大値は数の閾値である。

【0085】

Ｓ２０６において、作業モードをアクティブインタラクションのモードとして決定する。

【0086】

Ｓ２０７において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上でアクティブインタラクションのモードの操作を表示する。

【0087】

上記の例から分かるように、アクティブインタラクションのモードは、デジタルヒューマンが能動的にユーザとインタラクションすることであってもよく、したがって、アクティブインタラクションのモードの操作は、デジタルヒューマンが能動的にユーザを挨拶する挨拶情報、又は能動的に商品などを紹介する紹介情報、又はユーザの需要に基づいて対応するサービスを提供するために、能動的にユーザの需要を問い合わせるサービス情報などとして表現することができる。

【0088】

つまり、本願の実施例において、環境に一定の数のユーザが存在する場合、アクティブインタラクションの形態によってインタラクションの柔軟性を向上させ、且つアクティブインタラクションの形態によってユーザの関心を集め、さらにユーザとインタラクションする可能性を高めるために、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上でアクティブインタラクションのモードに対応する上記操作を表示することができる。

【0089】

説明すべきものとして、いくつかの実施例では、Ｓ２０３を実行した後、ユーザの数が数の閾値よりも小さい時間を決定して、ユーザの数が数の閾値よりも小さい時間は設定時間を超えた場合、Ｓ２０４を実行し、又は、ユーザの数が数の閾値以上である時間を決定して、ユーザの数が数の閾値以上である時間は設定時間を超えた場合、Ｓ２０６を実行する。

【0090】

ユーザの数の変化の頻度が高くなる可能性があり、例えば、現在時刻のユーザの数は比較的多く、数の閾値よりも大きいが、前の時刻のユーザの数は相対的に少なく、数の閾値よりも小さく、さらに前の時刻のユーザの数は比較的多く、数の閾値よりも大きい場合、短時間で作業モードを二回切り替える必要があることが理解されることができる。

【0091】

本願の実施例において、時間を設定して作業モードの起動又は切り替えを制御することで、作業モードを頻繁に切り替えることを避けることができ、これにより処理リソースを節約する技術的効果が実現される。

【0092】

環境識別結果と作業モードとの関連付けを読者により明確に理解させるために、図８を参照して本願の実施例を詳細に説明する。ここで、図８は、本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【0093】

図８に示すように、当該方法は、Ｓ３０１～Ｓ３０８を含む。

【0094】

Ｓ３０１において、ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得する。

【0095】

Ｓ３０１についての説明はＳ１０１を参照してもよく、ここでは繰り返さない。

【0096】

Ｓ３０２において、環境識別結果に基づいて環境に少なくとも１つのユーザが含まれているか否かを判断し、そうである場合、Ｓ３０３を実行し、そうでない場合、Ｓ３０７～Ｓ３０８を実行する。

【0097】

Ｓ３０３において、各ユーザの滞在時間を取得する。

【0098】

滞在時間は、ユーザが環境に滞在する時間を表現するために用いられてもよく、滞在時間はさらに、ユーザの目がヒューマンコンピュータインタラクションインターフェースに滞在する時間を表現するために用いられてもよい。

【0099】

Ｓ３０４において、各滞在時間に予め設定された時間閾値よりも大きい滞在時間があるか否かを判断し、そうである場合、Ｓ３０５を実行し、そうでない場合、Ｓ３０７～Ｓ３０８を実行する。

【0100】

Ｓ３０５において、作業モードをアクティブインタラクションのモードとして決定する。

【0101】

本願の実施例において、１つ又は複数の滞在時間が時間閾値よりも大きい場合、ユーザ（滞在時間が時間閾値よりも大きいユーザ）がディスプレイに注目している可能性があると意味し、デジタルヒューマンが能動的にユーザとインタラクションするように制御するために、デジタルヒューマンの作業モードをアクティブインタラクションのモードとして決定し、それにより、インタラクションの柔軟性を実現し、さらにユーザのインタラクション体験を向上させる。

【0102】

Ｓ３０６において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上でアクティブインタラクションのモードの操作を表示する。

【0103】

Ｓ３０６についての説明はＳ２０７を参照することができ、ここでは繰り返さない。

【0104】

Ｓ３０７において、作業モードを自己表示モードとして決定する。

【0105】

Ｓ３０８において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示し、又は、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力する。

【0106】

Ｓ３０７～Ｓ３０８についての説明はＳ２０４～Ｓ２０５を参照することができ、ここでは繰り返さない。

【0107】

環境識別結果と作業モードとの関連付けを読者により明確に理解させるために、図９を参照して本願の実施例を詳細に説明する。ここで、図９は、本願の別の実施例のヒューマンコンピュータインタラクションの制御方法の概略フローチャートである。

【0108】

図９に示すように、当該方法は、Ｓ４０１～Ｓ４１２を含む。

【0109】

Ｓ４０１において、ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得する。

【0110】

ここで、Ｓ４０１についての説明はＳ１０１を参照することができ、ここでは繰り返さない。

【0111】

Ｓ４０２において、環境識別結果に基づいて環境における各ユーザに対応するユーザのセマンティクスを決定する。

【0112】

ここで、セマンティクスは、ユーザが発するオーディオ情報又は動作情報を表現するために用いられる。

【0113】

Ｓ４０３において、各ユーザのセマンティクスにおいて、１つのユーザのセマンティクスがウェイクアップセマンティクスと同じであるかどうかを判断し、そうである場合、Ｓ４０４～Ｓ４０５を実行し、そうでない場合、Ｓ４０６～Ｓ４０７、又は、Ｓ４０８～Ｓ４１２（図示せず）を実行する。

【0114】

ここで、ウェイクアップセマンティクスは、デジタルヒューマンがユーザとインタラクションするために、デジタルヒューマンをウェイクアップするオーディオ情報又は動作情報を表現するために用いられる。

【0115】

Ｓ４０４において、作業モードをウェイクアップインタラクションのモードとして決定する。

【0116】

Ｓ４０５において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上でウェイクアップインタラクションのモードに対応する操作を表示する。

【0117】

具体的に、デジタルヒューマンは、ユーザのインタラクション内容に応じて応答する。

【0118】

例えば、ある商品の性能をユーザが問い合わせると、デジタルヒューマンは、当該商品を詳細にユーザに紹介する。

【0119】

Ｓ４０６において、作業モードを自己表示モードとして決定する。

【0120】

Ｓ４０７において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示し、又は、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力する。

【0121】

ここで、Ｓ４０６～Ｓ４０７についての説明はＳ２０４～Ｓ２０５を参照してもよく、ここでは繰り返さない。

【0122】

Ｓ４０８において、環境識別結果に基づいて環境に少なくとも１つのユーザが含まれているか否かを判断し、そうである場合、Ｓ４０９を実行し、そうでない場合、Ｓ４０６～Ｓ４０７を実行する。

【0123】

Ｓ４０９において、各ユーザの滞在時間を取得する。

【0124】

Ｓ４１０において、各滞在時間に予め設定された時間閾値よりも大きい滞在時間があるか否かを判断し、そうである場合、Ｓ４１１を実行し、そうでない場合、Ｓ４０６～Ｓ４０７を実行する。

【0125】

Ｓ４１１において、作業モードをアクティブインタラクションのモードとして決定する。

【0126】

Ｓ４１２において、デジタルヒューマンを制御して、ヒューマンコンピュータインタラクションインターフェースの上でアクティブインタラクションのモードの操作を表示する。

【0127】

ここで、Ｓ４０８～Ｓ４１２についての説明はＳ３０２～Ｓ３０８を参照することができ、ここでは繰り返さない。

【0128】

本願の実施例の別の態様によれば、本願の実施例はさらに、上記実施例に記載のヒューマンコンピュータインタラクションの制御方法を実行するために用いられるヒューマンコンピュータインタラクションの制御装置を提供する。

【0129】

図１０を参照して、図１０は、本願の実施例のヒューマンコンピュータインタラクションの制御装置の概略図である。

【0130】

図１０に示すように、当該装置は、
ヒューマンコンピュータインタラクションインターフェースの周囲に対する環境識別結果を取得するための取得モジュール１１と、
前記環境識別結果に従って、前記ヒューマンコンピュータインタラクションインターフェースに表示されるデジタルヒューマンの作業モードを決定するための決定モジュール１２であって、前記作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードの少なくとも１つを含む決定モジュール１２と、
前記デジタルヒューマンを制御して、前記作業モードに対応する操作を、前記ヒューマンコンピュータインタラクションインターフェースを介して出力するための出力モジュール１３と、を含む。

【0131】

いくつかの実施例では、前記環境識別結果は、前記環境におけるユーザの数が予め設定された数の閾値未満である場合、決定された作業モードは自己表示モードである。

【0132】

いくつかの実施例では、前記決定モジュール１２は、前記ユーザの数が予め設定された数の閾値よりも小さい持続時間は設定時間を超えると決定するために用いられる。

【0133】

いくつかの実施例では、前記作業モードが自己表示モードである場合、前記出力モジュール１３は、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で独りでいる状態の身振り手振りを表示するために用いられる。

【0134】

いくつかの実施例では、前記作業モードが自己表示モードである場合、前記出力モジュール１３は、前記デジタルヒューマンを制御して、前記ヒューマンコンピュータインタラクションインターフェースの上で挨拶情報、表示情報、操作ガイド情報のうちの少なくとも１つを出力するために用いられる。

【0135】

いくつかの実施例では、前記環境識別結果は、環境におけるユーザの数が予め設定された数の閾値以上である場合、決定された作業モードはアクティブインタラクションのモードである。

【0136】

いくつかの実施例では、前記環境識別結果は、環境における少なくとも１つのユーザの滞在時間が予め設定された時間閾値よりも大きい場合、決定された作業モードはアクティブインタラクションのモードである。

【0137】

いくつかの実施例では、前記環境識別結果は、解析して得られた環境における少なくとも１つのユーザのセマンティクスが予め設定されたウェイクアップセマンティクスと一致する場合、決定された作業モードはウェイクアップインタラクションのモードである。

【0138】

本願の実施例の別の態様によれば、本願の実施例はさらに、インタラクションシステムを提供する。

【0139】

図１１を参照して、図１１は、本願の実施例のインタラクションシステムの概略図である。

【0140】

図１１に示すように、当該システムは、収集装置２１、処理装置（図示せず）、表示装置２２及びデジタルヒューマン２３を含み、ここで、
収集装置２１は、表示装置の周囲の環境を収集し、環境収集情報を得るために用いられる。

【0141】

図１１に示すように、収集装置２１は、カメラ２１１とマイク２１２を含む。

【0142】

説明すべきものとして、カメラ２１１とマイク２１２の位置と数は、図１１に限定されない。

【0143】

例えば、いくつかの実施例では、カメラ２１１の設置位置は、図１１に示すように中央に設置されてもよく、カメラ２１１を他の位置に設置してもよく、例えば、カメラ２１１を表示装置２２の左上隅や右上隅などに設置してもよく、且つカメラ２１１の数は、図１１に示すように１つであってもよいし、複数であってもよい。

【0144】

別のいくつかの実施例では、マイク２１２の設置位置も図１１に示すように中央に設置されてもよく、マイク２１２を他の位置に設置してもよく、例えば、マイク２１１を表示装置２２の左右両側などに設置してもよく、且つマイク２１２の数は、図１１に示すように４つであってもよいし、１つ又は２つなどであってもよい。

【0145】

ここで、環境収集情報は、画像情報及び／又はオーディオ情報、例えば環境におけるユーザの図像及び／又は音声を含む。

【0146】

処理装置は、環境収集情報を識別して、環境識別結果を生成し、環境識別結果に基づいて、デジタルヒューマン２３の作業モードを決定するために用いられ、作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードのうちの少なくとも１つを含む。

【0147】

処理装置はさらに、デジタルヒューマン２３を制御して前記表示装置２２を介して、作業モードに対応する操作を表示するために用いられる。

【0148】

ここで、各作業モードについての説明は上記の例を参照することができ、ここでは繰り返さない。

【0149】

本願の実施例に従って、本願はさらに、電子機器と読み取り可能な記憶媒体を提供する。

【0150】

図１２を参照し、図１２は、本願の実施例の電子機器のブロック図である。

【0151】

ここで、電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、パーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の類似のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に示すコンポーネント、それらの接続及び関係、及びそれらの機能は、単なる例であり、本明細書で記載及び／又は要求される本願の実施を制限することを意図したものではない。

【0152】

図１２に示すように、当該電子機器は、１つ又は複数のプロセッサ１０１と、メモリ１０２と、高速インターフェース及び低速インターフェースを含む様々なコンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスを使用して相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の形態で取り付けられてもよい。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は、ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）のグラフィック情報を外部入力／出力装置（例えばインターフェースに結合された表示機器など）に表示するためにメモリ内又はメモリに記憶された命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用してもよい。同様に、複数の電子機器を接続することができ、各機器は、一部の必要な操作（例えば、サーバーアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図１２では、プロセッサ１０１を例に取る。

【0153】

メモリ１０２は、本願によって提供される非一時的なコンピュータで読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されることにより、前記少なくとも１つのプロセッサが本願によって提供されるヒューマンコンピュータインタラクションの制御方法を実行する。本願の実施例の非一時的なコンピュータで読み取り可能な記憶媒体には、本願の実施例によって提供されるヒューマンコンピュータインタラクションの制御方法をコンピュータに実行させるためのコンピュータ命令が記憶されている。

【0154】

メモリ１０２は、非一時的なコンピュータで読み取り可能な記憶媒体として、本願の実施例におけるプログラム命令/モジュールのような、非一時的なソフトウェアプログラム、非一時的なコンピュータで実行可能なプログラム及びモジュールを記憶するために使用できる。プロセッサ１０１は、メモリ１０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例におけるヒューマンコンピュータインタラクションの制御方法を実施する。

【0155】

メモリ１０２には、プログラムストレージエリア及びデータストレージエリアを含んでもよく、ここで、プログラムストレージエリアには、オペレーティングシステム及び少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアには、電子機器の使用に応じて作成されたデータなどを記憶することができる。なお、メモリ１０２は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含んでもよい。いくつかの実施例において、メモリ１０２は、プロセッサ１０１に対してリモートに設定されたメモリを選択的に含むことができ、これらのリモートメモリは、ネットワークを介して電子機器に接続されてもよい。上記ネットワークの例は、インターネット、企業イントラネット、ローカルエリアネットワーク、ブロックチェーンサービスネットワーク(Ｂｌｏｃｋ－ｃｈａｉｎ－ｂａｓｅｄ Ｓｅｒｖｉｃｅ Ｎｅｔｗｏｒｋ、ＢＳＮ)、モバイル通信ネットワーク、及びこれらの組み合わせを含むが、これらに限定されない。

【0156】

電子機器は、さらに、入力装置１０３と出力装置１０４を含んでもよい。プロセッサ１０１、メモリ１０２、入力装置１０３及び出力装置１０４は、バス又は他の形態で接続されてもよいが、図１２では、バスで接続されることを例とする。

【0157】

入力装置１０３は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置１０４は、表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モーター）などを含んでもよい。当該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。

【0158】

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実施されることができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数コンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に送信することができる。

【0159】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語を用いてこれらの計算プログラムを実施することができる。本明細書に使用されるように、「機械で読み取り可能な媒体」及び「コンピュータで読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械で読み取り可能な信号である機械命令を受信する機械で読み取り可能な媒体を含む。「機械で読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

【0160】

ユーザとのインタラクションを提供するために、ここで説明するシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）、及びキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）を有し、ユーザは、当該キーボード及びポインティングデバイスによってコンピュータに入力を提供できる。他のタイプの装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックが、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力、又は触覚入力を含む）を使用して、ユーザからの入力を受信してもよい。

【0161】

本明細書で説明するシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェース又はＷｅｂブラウザを備えたユーザコンピュータ、ユーザが、当該グラフィカルユーザインターフェース又は当該Ｗｅｂブラウザを通じて本明細書で説明されるシステム及び技術の実施形態とインタラクションすることができる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を通じて、システムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカエリアルネットワーク（ＬＡＮ）、ブロックチェーンサービスネットワーク(Ｂｌｏｃｋ－ｃｈａｉｎ－ｂａｓｅｄ Ｓｅｒｖｉｃｅ Ｎｅｔｗｏｒｋ、ＢＳＮ)、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0162】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアント及びサーバは、一般に、互いに離れており、通常、通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行されかつ互いにクライアント－サーバの関係を持つコンピュータプログラムによって、クライアントとサーバ間の関係が生成される。

【0163】

本願の実施例の別の態様によれば、本願の実施例はまた、ヒューマンコンピュータインタラクションの制御方法を提供し、前記方法は、
収集されたヒューマンコンピュータインタラクションインターフェースの周囲の環境に対応する環境識別結果に従って、ヒューマンコンピュータインタラクションインターフェースを制御してデジタルヒューマンの作業モードを表示することを含み、作業モードは、自己表示モード、アクティブインタラクションのモード及びウェイクアップインタラクションのモードのうちの１つである。

【0164】

つまり、本願の実施例において、環境識別結果に基づいて、デジタルヒューマンを制御して、対応する作業モードをヒューマンコンピュータインタラクションインターフェースに表示することができ、即ち、デジタルヒューマンは異なる環境識別結果に応じて異なる作業モードを表示することにより、ヒューマンコンピュータインタラクションの多様性と柔軟性を実現でき、ユーザのインタラクション体験を高める。

【0165】

本願の実施例の別の態様によれば、本願の実施例はまた、プログラムコードを含むコンピュータプログラムを提供し、コンピュータが前記コンピュータプログラムを実行すると、前記プログラムコードは、上記のいずれかの実施例に記載の方法を実行する。

【0166】

本願の実施例の別の態様によれば、本願の実施例はまた、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムは、プロセッサで実行されると、上記のいずれかの実施例に記載の方法を実施する。

【0167】

なお、上記に示される様々な形態のフローを使用して、ステップの順序を変更、追加、又は削除することができる。例えば、本願に記載された各ステップは、本願に開示された技術の解決手段の所望の結果が達成され得る限り、並列、順次、又は異なる順序で実行されてもよく、本明細書に限定されない。

【0168】

上記の具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に基づいて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができることを理解すべきである。本願の精神と原則の範囲内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】