特許 7061228 マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-19

(45)【発行日】2022-04-27

(54)【発明の名称】マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220420BHJP

   G06F 21/32 20130101ALI20220420BHJP

   G06F 3/16 20060101ALI20220420BHJP

【ＦＩ】

G06F3/01 510

G06F21/32

G06F3/16 630

【請求項の数】 20

(21)【出願番号】P 2021506544

(86)(22)【出願日】2019-05-24

(65)【公表番号】

(43)【公表日】2021-12-02

(86)【国際出願番号】 CN2019088235

(87)【国際公開番号】W WO2020073656

(87)【国際公開日】2020-04-16

【審査請求日】2021-02-05

(31)【優先権主張番号】201811183781.7

(32)【優先日】2018-10-11

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517406065

【氏名又は名称】平安科技（深▲せん▼）有限公司

【氏名又は名称原語表記】ＰＩＮＧ ＡＮ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】２３Ｆ，Ｐｉｎｇ’ａｎ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ，Ｎｏ．５０３３ Ｙｉｔｉａｎ Ｒｏａｄ，Ｆｕ’ａｎ Ｃｏｍｍｕｎｉｔｙ ｏｆ Ｆｕｔｉａｎ Ｓｔｒｅｅｔ，Ｆｕｔｉａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】チェン，リン

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１５－０３６９１５（ＪＰ，Ａ）

【文献】特開２０１７－２１５４６８（ＪＰ，Ａ）

【文献】特開２０１７－２１１９３２（ＪＰ，Ａ）

【文献】国際公開第２００７／１００１４５（ＷＯ，Ａ１）

【文献】特開２０１８－１２６２０９（ＪＰ，Ａ）

【文献】特開２０１８－０４９１３２（ＪＰ，Ａ）

【文献】特開２０１６－１９８８５９（ＪＰ，Ａ）

【文献】特開２００４－３１８８６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

マンマシンインタラクション方法であって、前記マンマシンインタラクション方法は、
インタラクション側が生体サンプル情報を含むユーザ要求情報を収集するステップと、
インタラクション側が、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するステップと、
前記中央サービス側が、前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するステップと、
前記計算サービス側が、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するステップと、
前記中央サービス側が、前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するステップと、
前記中央サービス側が前記処理結果情報を前記インタラクション側に返信するステップと、
前記インタラクション側が、前記処理結果情報に基づいてローカルプリセット構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するステップと、を含む
ことを特徴とするマンマシンインタラクション方法。

【請求項2】

前記インタラクション側が前記ユーザ要求情報に対して前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信した後、かつ、前記中央サービス側が前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信する前に、前記マンマシンインタラクション方法は、
前記予め設定された特徴抽出条件に合致しない前記生体サンプル情報について、前記インタラクション側がユーザに情報収集異常メッセージを送信し、前記生体サンプル情報を再収集するステップを、さらに含む
ことを特徴とする請求項１に記載のマンマシンインタラクション方法。

【請求項3】

前記中央サービス側が前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するステップは、
前記中央サービス側が受信した前記目標要求情報を事前に作成された記憶キューにキャッシュするステップと、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側が、前記目標要求情報を前記記憶プラットフォームに保存し、前記目標要求情報に生体認識タスクを割り当て、前記生体認識タスクを前記計算サービス側に配信するために用いられる処理スレッドを起動するステップと、を含む
ことを特徴とする請求項１に記載のマンマシンインタラクション方法。

【請求項4】

前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側が処理スレッドを起動する前記ステップは、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側が予め設定されたスレッドプールからスレッドを取り出すステップと、
前記中央サービス側が前記スレッドを呼び出して前記目標要求情報を前記記憶プラットフォームに保存し、前記生体認識タスクを前記計算サービス側に配信するステップと、を含む
ことを特徴とする請求項３に記載のマンマシンインタラクション方法。

【請求項5】

前記インタラクション側が前記処理結果情報に基づいてローカルプリセット構成ファイルから命令セットを読み取り実行するステップは、
前記インタラクション側がローカルプリセット構成ファイルから前記命令セットを読み取ることが失敗すれば、前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取り実行するステップを含む
ことを特徴とする請求項１に記載の前記マンマシンインタラクション方法。

【請求項6】

前記インタラクション側がローカルプリセット構成ファイルから前記命令セットを読み取ることが失敗すれば、前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取り実行する前記ステップは、
前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取ったり実行したりすることが失敗すれば、前記インタラクション側がユーザに警告情報を送信するステップを含む
ことを特徴とする請求項５に記載のマンマシンインタラクション方法。

【請求項7】

前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取ったり実行したりすることが失敗すれば、前記インタラクション側がユーザに警告情報を送信する前記ステップの後に、前記マンマシンインタラクション方法は
前記インタラクション側が前記中央サービス側に前記命令セット読み取り失敗メッセージを送信するステップと、
人工補助を必要とするユーザがいることを提示するために、前記中央サービス側が前記命令セット読み取り失敗メッセージに基づいて、前記インタラクション側の物理位置を測位するステップと、をさらに含む
ことを特徴とする請求項６に記載の前記マンマシンインタラクション方法。

【請求項8】

マンマシンインタラクションシステムであって、前記マンマシンインタラクションシステムは、インタラクション側と、中央サービス側と、計算サービス側と、を含み、ただし、前記インタラクション側と、前記中央サービス側と、前記計算サービス側との間はネットワークを介して接続され、
前記インタラクション側が、生体サンプル情報を含むユーザ要求情報を収集するために用いられ、さらに、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するために用いられ、
前記中央サービス側が、前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するために用いられ、
前記計算サービス側が、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するために用いられ、
前記中央サービス側が、さらに、前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するために用いられ、
前記インタラクション側が、さらに、前記処理結果情報に基づいて、予め設定された構成ファイルからユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するために用いられる
ことを特徴とするマンマシンインタラクションシステム。

【請求項9】

前記インタラクション側は、
前記予め設定された特徴抽出条件に合致しない前記生体サンプル情報について、前記インタラクション側がユーザに情報収集異常メッセージを送信し、前記生体サンプル情報を再収集するために用いられる検証モジュールを含む
ことを特徴とする請求項８に記載のマンマシンインタラクションシステム。

【請求項10】

前記中央サービス側は、
前記中央サービス側が受信した前記目標要求情報を事前に作成された記憶キューにキャッシュするために用いられるデータキャッシュモジュールと、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側が、前記目標要求情報を前記記憶プラットフォームに保存し、前記目標要求情報に生体認識タスクを割り当て、前記生体認識タスクを前記計算サービス側に配信するために用いられる処理スレッドを起動するために用いられるスレッド処理モジュールと、を含む
ことを特徴とする請求項８に記載のマンマシンインタラクションシステム。

【請求項11】

前記スレッド処理モジュールは、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側が予め設定されたスレッドプールからスレッドを取り出すために用いられるスレッド割り当てサブモジュールと、
前記中央サービス側が前記スレッドを呼び出して前記目標要求情報を前記記憶プラットフォームに保存し、前記生体認識タスクを前記計算サービス側に配信するために用いられるスレッド実行サブモジュールと、を含む
ことを特徴とする請求項１０に記載のマンマシンインタラクションシステム。

【請求項12】

前記インタラクション側は、
前記インタラクション側がローカルプリセット構成ファイルから前記命令セットを読み取ることが失敗すれば、前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取り実行するために用いられる命令取得モジュールをさらに含む
ことを特徴とする請求項８に記載のマンマシンインタラクションシステム。

【請求項13】

前記命令取得モジュールは、
前記インタラクション側が前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取ったり実行したりすることが失敗すれば、前記インタラクション側がユーザに警告情報を送信するために用いられる警告サブモジュールを含む
ことを特徴とする請求項１２に記載のマンマシンインタラクションシステム。

【請求項14】

前記警告サブモジュールは、
前記インタラクション側が前記中央サービス側に前記命令セット読み取り失敗メッセージを送信するために用いられる警告情報返信ユニットを含み、
前記中央サービス側は、
人工補助を必要とするユーザがいることを提示するために、前記中央サービス側が前記命令セット読み取り失敗メッセージに基づいて、前記インタラクション側の物理位置を測位するために用いられる測位モジュールをさらに含む
ことを特徴とする請求項１３に記載のマンマシンインタラクションシステム。

【請求項15】

メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータ可読命令と、を含むコンピュータ機器であって、前記プロセッサは前記コンピュータ可読命令を実行すると、
インタラクション側により、生体サンプル情報を含むユーザ要求情報を収集するステップと、
インタラクション側により、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するステップと、
前記中央サービス側により、前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するステップと、
前記計算サービス側により、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するステップと、
前記中央サービス側により、前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するステップと、
前記中央サービス側により、前記処理結果情報を前記インタラクション側に返信するステップと、
前記インタラクション側により、前記処理結果情報に基づいてローカルプリセット構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するステップと、を実現する
ことを特徴とするコンピュータ機器。

【請求項16】

インタラクション側により前記ユーザ要求情報に対して前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信する前記ステップの後、かつ、前記中央サービス側により前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信する前記ステップの前に、前記プロセッサは前記コンピュータ可読命令を実行すると、
前記予め設定された特徴抽出条件に合致しない前記生体サンプル情報について、前記インタラクション側によりユーザに情報収集異常メッセージを送信し、前記生体サンプル情報を再収集するステップをさらに実現する
ことを特徴とする請求項１５に記載のコンピュータ機器。

【請求項17】

前記中央サービス側により前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信する前記ステップは、
前記中央サービス側により、受信した前記目標要求情報を事前に作成された記憶キューにキャッシュするステップと、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側により、前記目標要求情報を前記記憶プラットフォームに保存し、前記目標要求情報に生体認識タスクを割り当て、前記生体認識タスクを前記計算サービス側に配信するために用いられる処理スレッドを起動するステップと、を含む
ことを特徴とする請求項１５に記載のコンピュータ機器。

【請求項18】

前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側により、処理スレッドを起動する前記ステップは、
前記記憶キューの長さが予め設定された閾値に達すると、前記中央サービス側により予め設定されたスレッドプールからスレッドを取り出すステップと、
前記中央サービス側により前記スレッドを呼び出して前記目標要求情報を前記記憶プラットフォームに保存し、前記生体認識タスクを前記計算サービス側に配信するステップと、を含む
ことを特徴とする請求項１７に記載のコンピュータ機器。

【請求項19】

前記インタラクション側により前記処理結果情報に基づいてローカルプリセット構成ファイルから命令セットを読み取り実行する前記ステップは、
前記インタラクション側がローカルプリセット構成ファイルから前記命令セットを読み取ることが失敗すれば、前記インタラクション側により前記中央サービス側からクラウドプリセット構成ファイルにおける前記命令セットを読み取り実行するステップを含む
ことを特徴とする請求項１５に記載のコンピュータ機器。

【請求項20】

コンピュータ可読命令が記憶されている１つ又は複数の不揮発性可読記憶媒体であって、前記コンピュータ可読命令が１つ又は複数のプロセッサに実行されると、前記１つ又は複数のプロセッサに、
インタラクション側により、生体サンプル情報を含むユーザ要求情報を収集するステップと、
インタラクション側により、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するステップと、
前記中央サービス側により、前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するステップと、
前記計算サービス側により、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するステップと、
前記中央サービス側により、前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するステップと、
前記中央サービス側により、前記処理結果情報を前記インタラクション側に返信するステップと、
前記インタラクション側により、前記処理結果情報に基づいてローカルプリセット構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するステップとを実行させる
ことを特徴とするコンピュータ可読命令が記憶されている１つ又は複数の不揮発性可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１８年１０月１１日に中国特許庁に出願された、出願番号ＣＮ２０１８１１１８３７８１．７であり、名称「マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体」の中国特許出願の優先権を主張する。

【0002】

本願は、情報処理の分野に関し、特に、マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体に関する。

【背景技術】

【0003】

会場は人々が社交、集会交流、レクリエーション活動を行う主な場所であり、会場のシーンレイアウト、テーマレイアウト、照明音響効果は参加者の体験を向上させる１つの重要な要素である。例えば、タブレットコンピュータ、携帯電話、ＶＲメガネなどの科学技術製品の新品発表会は、そのシーンレイアウトが主に現代の科学技術要素を表現し、例えば世界博覧会、自動車博覧会、文化博覧会、茶業博覧会などの各種類の展示会のレイアウトは、展示会のテーマにより大きなレイアウト要素を決定し、各メーカー、出展者によりそれぞれの展示台を個性的にカスタマイズし、大規模な宴会、記者会見、会議などの場合に、参加者は、例えば司会者と参会者の質疑応答交流、イベント抽選、インタラクティブゲームなど、どのようなインタラクティブ交流方式を採用するか。

【0004】

現在、参加者が多い場合は、電子看板や電子画面で案内図を表示する上で、スタッフが参加者を案内し流れをよくするのが一般的であるが、方式が古すぎ、インテリジェントと柔軟性に欠け、多くのスタッフの参加を必要とする。また、例えばチェックイン統計、イベント抽選、質疑応答など、会場内の主催者と観客とのやり取り方式は、原始的すぎる。ただし、電子機器は情報を受動的に表示するしかなく、参加者とやり取りすることはできず、このようなマンマシンインタラクション方式はインテリジェント化のレベルが比較的低い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は、大規模会場において、マンマシンインタラクション方式のインテリジェント化のレベルが高くないという問題を解決するように、マンマシンインタラクション方法、システム、コンピュータ機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

マンマシンインタラクション方法であって、インタラクション側は、生体サンプル情報を含むユーザ要求情報を収集するステップと、インタラクション側は、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するステップと、前記中央サービス側は前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するステップと、前記計算サービス側は、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するステップと、前記中央サービス側は前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するステップと、前記中央サービス側は前記処理結果情報を前記インタラクション側に返信するステップと、前記インタラクション側は前記処理結果情報に基づいて、予め設定された構成ファイルからユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するステップと、を含む。

【0007】

マンマシンインタラクションシステムであって、インタラクション側と、中央サービス側、計算サービス側と、を含み、ただし、前記インタラクション側と、前記中央サービス側と、前記計算サービス側との間はネットワークを介して接続され、前記インタラクション側は、生体サンプル情報を含むユーザ要求情報を収集するために用いられ、さらに、前記ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない前記生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するために用いられ、前記中央サービス側は、前記目標要求情報に生体認識タスクを割り当て、前記目標要求情報を記憶プラットフォームに保存し、前記生体認識タスクを計算サービス側に配信するために用いられ、前記計算サービス側は、前記生体認識タスクに基づいて、前記記憶プラットフォームから前記生体認識タスクに対応する目標要求情報を取得し、取得した前記目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を前記中央サービス側に返信するために用いられ、前記中央サービス側は、さらに、前記抽出結果を組み合わせてユーザ行動データを得て、前記ユーザ行動データと前記記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成するために用いられ、前記インタラクション側は、さらに、前記処理結果情報に基づいて、予め設定された構成ファイルからユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するために用いられる。

【0008】

コンピュータ機器であって、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサ上で実行可能なコンピュータ可読命令と、を含み、前記プロセッサは前記コンピュータ可読命令を実行すると、上記マンマシンインタラクション方法のステップを実現する。

【0009】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータ可読命令が記憶されており、前記コンピュータ可読命令がプロセッサによって実行されると、上記マンマシンインタラクション方法のステップが実現される。

【0010】

コンピュータ可読命令が記憶されている１つ又は複数の不揮発性可読記憶媒体であって、前記コンピュータ可読命令が１つ又は複数のプロセッサに実行されると、前記１つ又は複数のプロセッサに上記マンマシンインタラクション方法のステップを実行させる。

【発明の効果】

【0011】

本願の１つ又は複数の実施例の詳細は、以下の図面及び説明において提案され、本願の他の特徴及び利点は、明細書、図面及び特許請求の範囲により明らかになる。

【図面の簡単な説明】

【0012】

以下、本願の実施例の技術的解決手段をより明確に説明するために、本願の実施例の説明に用いられる図面を簡単に紹介し、明らかに、以下の説明における図面は単に本願のいくつかの実施例であり、当業者であれば、創造的な労働をせず、さらにこれらの図面に基づいて他の図面を得ることができる。

【図1】本願の一実施例におけるマンマシンインタラクション方法の適用環境の模式図である。

【図2】本願の一実施例におけるマンマシンインタラクション方法のフローチャートである。

【図3】本願の一実施例におけるマンマシンインタラクション方法におけるステップＳ３のフローチャートである。

【図4】本願の一実施例におけるマンマシンインタラクション方法におけるステップＳ３２のフローチャートである。

【図5】本願の一実施例におけるマンマシンインタラクション方法におけるステップＳ７１１の後のマンマシンインタラクション方法のフローチャートである。

【図6】本願の一実施例におけるマンマシンインタラクションシステムの模式図である。

【図7】本願の一実施例におけるコンピュータ機器の模式図である。

【発明を実施するための形態】

【0013】

以下、本願の実施例における図面を参照しながら、本願の実施例における技術的解決手段を明確かつ完全に説明し、明らかに、説明される実施例は本願の一部の実施例であり、全ての実施例ではない。本願における実施例に基づいて、当業者が創造的な労働をせず得る他の実施例は、いずれも本願の保護範囲に入る。

【0014】

本願にて提供されるマンマシンインタラクション方法は、図１のような適用環境に適用することができ、ここで、インタラクション側はコンピュータ端末機器であってもよく、ユーザとのインタラクションを実現するために用いられ、インタフェース又は投影によってユーザに情報を表示し、オーディオ機器によってユーザにプロンプト音を発し、インタラクション側とユーザとのインタラクション方式は、顔認識への応答、音声認識への応答、タッチパネルなどの入力機器によるユーザへの応答を含むが、これらに限定されるものではなく、中央サービス側は、サーバ又はサーバ群であってもよく、マンマシンインタラクションシステムの中心として、インタラクション側と計算サービス側と記憶プラットフォームを協調して共同動作させ、計算サービス側は、サーバ又はサーバ群であってもよく、生体サンプル情報に対して特徴抽出を行うために用いられ、記憶プラットフォームは、データベース又は分散データベースであってもよく、ユーザの生体サンプル情報及びユーザの生体特徴情報を記憶するために用いられ、インタラクション側と、中央サービス側と、計算サービス側と、記憶プラットフォームとの間はネットワークを介して接続され、ネットワークは有線ネットワーク又は無線ネットワークであってもよい。本願の実施例にて提供されるマンマシンインタラクション方法は、インタラクション側、中央サービス側及び計算サービス側の共同動作によって完了する。

【0015】

一実施例では、図２に示すように、マンマシンインタラクション方法が提供され、その実現フローは以下のステップＳ１～Ｓ８を含む。

【0016】

Ｓ１において、インタラクション側は、生体サンプル情報を含むユーザ要求情報を収集する。

【0017】

ユーザ要求情報は、ユーザがインタラクション側により入力する情報であり、ユーザの顔情報及びユーザの音声情報を含む生体サンプル情報と、ユーザの身元情報を含むがこれに限定されない非生体サンプル情報を含む。

【0018】

インタラクション側は、ユーザとインタラクションを行う端末として、ユーザ要求情報を収集するためのカメラ、録音機器、タッチパネルなどの入力機器を備える。インタラクション側は、カメラによりユーザの顔画像を収集し、サポートする画像フォーマットがＢＭＰ、ＰＮＧ、ＪＰＧなどを含むがこれらに限定されるものではなく、録音機器によりユーザの音声を収集し、録音機器がマイクに限定されず、さらにサンプリング量子化モジュールとオーディオ符号化モジュールを含むものであり、タッチパネルによりユーザが手書きで入力する文字情報を収集し、又はユーザの入力に対して対応する収集を行う。インタラクション側は、情報を表示するために、ディスプレイ又は投影機器をさらに含んでもよい。

【0019】

さらに、インタラクション側は、登録モードとインタラクションモードという２種類の動作モードにあることができ、すなわち、ユーザとインタラクション側とのインタラクションを、ユーザ情報登録段階とマンマシンインタラクション段階という２つの段階に分ける。ただし、登録モードでは、インタラクション側は、ユーザ要求情報を収集し、ユーザ要求情報を前処理するために用いられ、中央サービス側は処理タスクを配信し、計算サービス側は特徴抽出を引き受ける。インタラクションモードでは、インタラクション側と、中央サービス側と、計算サービス側との間は、登録モードでのインタラクションプロセスを完了する他に、中央サービス側は、ユーザ行動に応答し、マンマシンインタラクションの目的を達成するように、さらに、計算サービス側が特徴抽出を行って得られるユーザの現在の特徴情報と、登録モードで抽出して得られるユーザ特徴情報を比較する。

【0020】

インタラクション側に、その動作モードを設定するモードスイッチが予め取り付けられており、当該モードスイッチは、ハードウェアスイッチであってもよいし、ソフトウェアにより制御されてもよい。モードスイッチにより、インタラクション側は現在の動作モードを中央サービス側に送信し、中央サービス側に現在の動作モードを同期させることができる。

【0021】

具体的な実施例では、インタラクション側とユーザとのインタラクションの動作プロセスは以下の（１）から（３）の内容を含み、詳しくは以下のとおりである。

【0022】

（１）インタラクション側のカメラによる顔情報の収集：
ユーザは正面顔をカメラに３秒間合わせ、インタラクション側はプロンプト音によって撮影の完了を提示する。ユーザは自分で操作してもよく、例えばユーザが正面顔をカメラに合わせた後、ユーザはディスプレイ上のインタラクションＵＩインタフェースを介してタッチし、クリックして撮影すれば完了できる。

【0023】

インタラクション側上にＪａｖａ環境が動作すれば、ＩｍａｇｅＩＯのクラスメソッドを呼び出してカメラが取得したバイナリ画像情報をＰＮＧフォーマットのファイルとして保存することができる。

【0024】

（２）インタラクション側の録音機器によるユーザ音声情報の収集：
ユーザはマイクにより音声を入力し、インタラクション側のサンプリング量子化モジュールは音声をサンプリングし量子化する。サンプリングとは、一定時間おきに音声信号の振幅を読み取り、その対応するパラメータはサンプリング周波数であり、量子化とは、サンプリングされた音声信号振幅をデジタル値に変換し、その対応するパラメータはサンプリングビット数である。サンプリングは時間的デジタル化であり、量子化は振幅的デジタル化である。サンプリング周波数については、ナイキストサンプリング理論に基づいて、サンプリング周波数は入力信号の最高周波数の２倍より高く、正常な人の聴覚周波数は２０～２０ＫＨＺであり、そのため、サンプリング周波数はデフォルトでは４０ｋＨＺであることが好ましく、また、選択可能なサンプリング周波数率には４４．１ｋＨｚ、４８ｋＨｚなどがあり、サンプリング周波数が高いほど、音質がよくなる。サンプリングビット数については、それはアナログ信号のデジタル化後のダイナミックレンジを決定し、その他には８ビット及び１６ビットが一般的である。量子化ビットが高いほど、信号のダイナミックレンジが大きくなり、デジタル化されたオーディオ信号が元の信号に近づく可能性が高くなり、サンプリングビット数は１２ビットであることが好ましい。

【0025】

オーディオ符号化モジュールはサンプリング及び量子化されたデータを符号化し、音声収集段階が歪まないことを保証するために、好ましくは、インタラクション側はＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ、パルス符号変調）符号化を採用し、アナログ音声信号がサンプリング、アナログデジタル変換のみを経て直接形成されたバイナリシーケンスを指し、いかなる符号化及び圧縮処理を行わない。インタラクション側は符号化された音声情報をＷＡＶフォーマットファイルとして保存する。

【0026】

（３）インタラクション側のタッチパネルによる文字情報の収集：
文字情報は主にユーザがタッチパネルを介して入力した様々な情報であり、例えば氏名、工番、座席番号、連絡電話、電子メールなどである。ディスプレイ上のインタラクションＵＩインタフェースはＷｅｂページの方式を用いてユーザの情報入力を受信することができる。ユーザは情報をインタラクションインタフェースのフォームに入力し、続いて提出する。インタラクション側はユーザが入力した情報に対して正当性検査を行うことができ、直接インタラクション側で濾過し、エラー情報を中央サービス側に送信することを回避する。ただし、正当性とはユーザが入力した情報が基本的な要求に合致するか否かであり、例えば、氏名の入力には、文字数は１０個を超えることができなく、連絡電話には、数字しか入力できず、アルファベットを入力できなく、電子メールアドレスには、文字の「＠」が必要であるなどが挙げられる。

【0027】

インタラクション側はユーザが入力した情報をキーと値のペアの形式で記憶し、好ましくは、ＪＳＯＮフォーマットのファイルで記憶する。

【0028】

（４）インタラクション側は収集したユーザ要求情報をｓｏｃｋｅｔ（ソケット）チャネルを介して中央サービス側に送信する。中央サービス側には、受信のために、当該ｓｏｃｋｅｔチャネルに対応する受信側がある。

【0029】

Ｓ２において、インタラクション側は、ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信する。

【0030】

インタラクション側はユーザ要求情報に対して前処理を行い、前処理は主に予め設定された特徴抽出条件に合致しない生体サンプル情報を濾過し、それを中央サービス側に送信することを回避し、それにより、計算サービス側の処理負荷を減軽する。

【0031】

前処理は顔画像の色彩値への判断、音声情報のサイズへの判断、及びユーザ要求情報の整合などを含む。

【0032】

ただし、顔画像の色彩値への判断は色彩が暗すぎる又は明るすぎる画像を濾過すること、を含む。例えば、フラッシュ補正なしで暗い環境で撮影された写真は、顔の認識をより困難にし、また、強い光に直面して撮影された写真も顔認識の難しさを増やす。音声情報のサイズへの判断は大きすぎる音声ファイルを濾過するために用いられる。ユーザ要求情報の整合とは、異なるユーザ情報にユーザ識別子を割り当て、当該ユーザに対応する顔画像情報、音声情報を組み合わせることである。

【0033】

予め設定された特徴抽出条件は生体サンプル情報に対するものであり、顔画像情報については、画像のコントラスト、画素値の分布などを含むがこれらに限定されない。例えば、インタラクション側は、顔画像全体における、黒画素（ＲＧＢ値が０，０，０）が８０％を超える画像を認識しにくい画像とみなし、白画素（ＲＧＢ値が２５５，２５５，２５５）が８０％を超える画像を同様に認識しにくい画像とみなし、全黒又は全白画素の占める比８０％を予め設定された閾値とみなす。音声情報については、音声ファイルサイズを含む。例えば、音声ファイルサイズの閾値を１ＭＢに予め設定し、すなわちインタラクション側で符号化された音声情報ファイルサイズが１ＭＢを超えると、当該音声ファイルを不正に入力される音声情報として確定する。

【0034】

具体的には、顔画像については、インタラクション側上にＪａｖａ環境が動作すれば、インタラクション側は、ＩｍａｇｅＩＯのクラスメソッドにより画像ファイルを読み取り、各画素のＲＧＢ値を取得し、それに基づいて予め設定された閾値と比較し、全白又は全黒画素値が閾値を超える顔画像を濾過することができる。

【0035】

音声ファイルについては、以下の式に従って音声ファイルサイズを計算することができる。
ファイルサイズ（単位ＭＢ）＝（サンプリング周波数＊サンプリングビット数＊チャネル数＊時間）／（８＊１０２４＊１０２４）

【0036】

また、算出されたファイルサイズを、音声ファイルサイズを予め設定した閾値と比較し、それにより、閾値を超える音声ファイルを濾過する。ＷＡＶフォーマットの音声ファイルを例として、サンプリング周波数が４４．１ｋＨｚであり、サンプリングビット数が１６ビットであり、チャネル数が２であり、時間が３秒である場合、上記式によれば、当該ＷＡＶファイルのサイズは約０．５ＭＢであり、予め設定された閾値１ＭＢより小さいため、当該音声ファイルは予め設定された特徴抽出条件に合致する。

【0037】

ユーザ要求情報の整合については、インタラクション側はユーザに唯一のユーザ識別子を割り当てるとともに、当該ユーザの顔画像、音声ファイル及びユーザが入力した文字情報を１つのアレイに添加し、アレイの前に１つのユーザ識別子を当該セグメントの情報の開始フラグとして追加し、アレイの最後にユーザ識別子及び文字列「Ｅｎｄ」を当該セグメントの情報の終了として追加し、それにより、目標要求情報を得る。

【0038】

インタラクション側はｓｏｃｋｅｔチャネルを介して前処理後に得られた目標要求情報を中央サービス側に送信する。

【0039】

具体的には、インタラクション側は収集した顔画像情報、音声情報、文字情報に異なるｓｏｃｋｅｔをそれぞれ確定する。例えば、顔情報はｓｏｃｋｅｔ１によって送信され、音声情報はｓｏｃｋｅｔ２によって送信され、文字情報はｓｏｃｋｅｔ３によって送信される。

【0040】

Ｓ３において、中央サービス側は目標要求情報に生体認識タスクを割り当て、目標要求情報を記憶プラットフォームに保存し、生体認識タスクを計算サービス側に配信する。

【0041】

生体認識タスクとは、計算サービス側が現在の要求情報における顔画像及び音声ファイルを処理することである。ただし、処理プロセスは生体サンプル情報に対する特徴抽出を含む。

【0042】

記憶プラットフォームは、生体サンプル情報、生体特徴情報及びマンマシンインタラクションに関連する各種の予め設定された情報などを記憶するために用いられる。記憶プラットフォームはデータベース又は分散データベースから構成され、例えばＭＳ－ＳＱＬ、Ｏｒａｃｌｅ、ＭｙＳＱＬ、Ｓｙｂａｓｅ、ＤＢ２、Ｒｅｄｉｓ、ＭｏｎｇｏｄＤＢ、Ｈｂａｓｅなど、各種のリレーショナルデータベース及び非リレーショナルデータベースを含むがこれらに限定されない。

【0043】

異なるタイプの生体認識タスクを異なる計算サービス側に割り当てて実行することができ、各計算サービス側はそれぞれ１つのタイプの生体認識タスクを実行するために用いられる。例えば、具体的な実施例では、生体認識タスクは顔認識タスクと音声認識タスクに細分することができ、計算サービス側は顔認識タスクを専門的に処理する顔認識用計算サービス側と音声認識タスクを専門的に処理する音声認識用計算サービス側に細分することができ、ただし、顔認識に関連する生体認識タスクは顔認識用計算サービス側によって実行され、音声認識に関連する生体認識タスクは音声認識用計算サービス側によって実行される。

【0044】

中央サービス側は異なる生体認識タスクを異なる計算サービス側に配信して実行させ、目標要求情報を記憶プラットフォームに保存する。

【0045】

具体的には、中央サービス側は目標要求情報における顔画像及び音声ファイルを抽出し、それぞれ１つの記憶プラットフォーム上の記憶経路を割り当て、記憶経路を計算サービス側に送信するとともに、他の目標要求情報を記憶プラットフォームに保存する。

【0046】

例えば、１つのユーザのユーザ識別子は０００１であり、その顔画像の記憶プラットフォームにおける記憶経路は「／Ｕｓｅｒ／０００１／ｉｍａｇｅ／」であり、その音声ファイルの記憶プラットフォームにおける記憶経路は「／Ｕｓｅｒ／０００１／ａｕｄｉｏ／」であり、中央サービス側は記憶経路を顔認識用計算サービス側及び音声認識用計算サービス側にそれぞれ送信し、また、中央サービス側は顔画像を記憶プラットフォームの経路「／Ｕｓｅｒ／０００１／ｉｍａｇｅ／」下に記憶し、音声ファイルを記憶プラットフォームの経路「／Ｕｓｅｒ／０００１／ａｕｄｉｏ／」下に記憶し、例えばユーザ身元情報のような他のユーザ要求情報を記憶プラットフォームのデータベースに記憶する。

【0047】

Ｓ４において、計算サービス側は生体認識タスクに基づいて、記憶プラットフォームから生体認識タスクに対応する目標要求情報を取得し、取得した目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を中央サービス側に返信する。

【0048】

計算サービス側は顔認識用計算サービス側と音声認識用計算サービス側を含み、顔認識用計算サービス側は顔特徴値の抽出を実現し、音声認識用計算サービス側は音声情報特徴値の抽出を実現する。

【0049】

具体的には、顔認識用計算サービス側は、中央サービス側から送信された記憶経路、例えば「／Ｕｓｅｒ／０００１／ｉｍａｇｅ／」に基づいて、記憶プラットフォーム上の当該記憶経路下から顔画像を取得し、顔特徴抽出を行い、音声認識用計算サービス側は、中央サービス側から送信された記憶経路、例えば「／Ｕｓｅｒ／０００１／ａｕｄｉｏ／」に基づいて、記憶プラットフォーム上の当該記憶経路下から音声ファイルを取得し、声紋特徴抽出を行う。ただし、声紋（Ｖｏｉｃｅｐｒｉｎｔ）は、電気音響機器で表示される、言語情報を携帯する音波スペクトルであり、生体認識技術の１種である。

【0050】

計算サービス側の生体特徴抽出により得られた結果はユーザの顔特徴値とユーザの声紋特徴値を含む。計算サービス側はユーザの顔特徴値及びユーザの声紋特徴値を記憶プラットフォームに保存し、抽出結果を中央サービス側に返信する。ただし、抽出結果は抽出完了又は失敗の状態値及び顔特徴値と声紋特徴値を含む。好ましくは、抽出結果における顔特徴値を顔特徴値の記憶プラットフォーム上での記憶経路で代替し、抽出結果における声紋特徴値を声紋特徴値の記憶プラットフォーム上での記憶経路で代替する。例えば、１つのユーザのユーザ識別子は０００１であり、その顔特徴値の記憶経路は「／Ｕｓｅｒ／０００１／ｉｍｇ＿ｆｕｎｃ／」であり、その声紋特徴値の記憶経路は「／Ｕｓｅｒ／０００１／ａｕｄ＿ｆｕｎｃ／」である。

【0051】

Ｓ５において、中央サービス側は抽出結果を組み合わせてユーザ行動データを得て、ユーザ行動データと記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成する。

【0052】

ユーザ行動特徴はユーザの特定の行動動作の意思表示を抽象化するものである。ユーザ行動特徴は、顔特徴値、又は表情動作の特徴値、又は音声特徴値などを含むデータ集合として表すことができ、このデータ集合が表現しようとする意味は特定のユーザ要求であってもよく、例えば、ユーザは音声によってインタラクション側に会議概要を了解しようとする問い合わせ要求を提出し、ユーザは表情によってインタラクション側に対してインタラクションの確認要求を行う。

【0053】

予め設定されたユーザ行動特徴はユーザ問い合わせ行動、ユーザ確認行動、ユーザ否認行動、ユーザ自己表現行動などに分けることができる。

【0054】

ユーザ行動データは、中央サービス側が計算サービス側の抽出結果を組み合わせて得られたデータ集合である。ユーザの要求を理解し、それに対応する応答処理結果情報を生成するために、中央サービス側は、ユーザ行動データと記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングする。処理結果情報は中央サービス側がインタラクション側に応答するように指示するための情報である。

【0055】

具体的には、中央サービス側は計算サービス側から送信された抽出結果を組み合わせ、１つのユーザ行動データアレイを得て、記憶プラットフォームに予め設定されたユーザ行動特徴アレイとマッチングする。マッチング結果が一致すれば、ユーザの現在の行動の意思表示を確定し、インタラクション側に適切に応答するように指示する処理結果情報を生成する。

【0056】

Ｓ６において、中央サービス側は処理結果情報をインタラクション側に返信する。

【0057】

中央サービス側は、インタラクション側から送信された目標要求情報を受信する時に、処理結果情報を返信するために、各インタラクション側の識別子情報及び目標要求情報に対してキャッシュ処理を行う。

【0058】

具体的には、中央サービス側は、インタラクション側から送信された目標要求情報を受信する時に、インタラクション側の識別子情報及び目標要求情報に対応する識別子情報を一時変数に保存する。処理結果情報をインタラクション側に返信する必要がある時に、中央サービス側は一時変数からインタラクション側の識別子情報及び目標要求情報に対応する識別子情報を取得し、新しいｓｏｃｋｅｔチャネルを作成し、インタラクション側に送信する。ただし、インタラクション側の識別子情報は唯一のインタラクション側を識別するために用いられ、目標要求情報に対応する識別子情報は唯一のユーザを識別するために用いられる。

【0059】

Ｓ７において、インタラクション側は処理結果情報に基づいてローカルプリセット構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行する。

【0060】

ローカルプリセット構成ファイルはインタラクション側のローカルに記憶される、インタラクション側にマンマシンインタラクションに関連する動作を実行させるための命令セットである。

【0061】

例えば、命令セットＡは、例えば会議概要、参加者の紹介などの情報をユーザに表示するために用いられ、関連情報をインタラクション側のディスプレイに表示させ、又は投影によって他の位置に表示させることができ、命令セットＢは、例えばインタラクション中にユーザに質問したり、ユーザの入力を待ったりするなど、次の操作を行うようにユーザに提示するために用いられる。

【0062】

なお、インタラクション側間は、異なるハードウェアで構成されるもの、又は異なる機能をそれぞれ実現するものとすることができるため、それらの予め設定された構成ファイルはそれぞれ異なり、実行可能な命令セットも異なる。例えば、インタラクション側Ａは、情報案内のために会場の入口に固定することができ、インタラクション側Ｂは会場中で移動してユーザとインタラクションを行うことができる。インタラクション側Ａが問い合わせを実行する命令セットとインタラクション側Ｂが問い合わせを実行する命令セットは異なる可能性がある。

【0063】

具体的には、インタラクション側がユーザ入力を待つ時の動作に対応する命令値は０ｘ０００１であり、インタラクション側が投影を用いて情報を表示する時の動作に対応する命令値は０ｘ０００２であり、インタラクション側がディスプレイによってユーザのタッチパネル入力を受信する時の動作に対応する命令値は０ｘ０００３であると、インタラクション側がこの一連の動作をつないでユーザ問い合わせへの応答に用いる命令セットは｛０ｘ０００１，０ｘ０００２，０ｘ０００３｝である。

【0064】

本実施例では、インタラクション側はユーザ要求情報の収集及びマンマシンインタラクションインタフェースの提供を引き受け、ユーザ要求情報を前処理して濾過し、前処理された目標要求情報を中央サービス側に送信し、中央サービス側の処理ストレスを分担し、中央サービス側は、マンマシンインタラクションシステムの中心として、インタラクションに生体認識タスクを割り当て、計算サービス側をスケジューリングして具体的な計算タスクを実行させ、目標要求情報を記憶プラットフォームに保存し、インタラクション側と、計算サービス側と、記憶プラットフォームとの間のデータフローを協調し、計算サービス側は生体認識タスクの実行、生体特徴情報の抽出、中央サービス側への抽出結果の返信を引き受け、中央サービス側はサービス側から送信された抽出結果を組み合わせ、記憶プラットフォームに予め設定されたユーザ行動特徴とマッチングして処理結果情報を得て、続いて、処理結果情報をインタラクション側に配信し、インタラクション側は処理結果情報に基づいて命令セットを実行し、ユーザとのマンマシンインタラクションを完了し、生体認識技術に基づくインテリジェントなマンマシンインタラクション方式を提供し、マンマシンインタラクションのインテリジェント化レベルを向上させる。

【0065】

さらに、一実施例では、ステップＳ２の後に、すなわち、インタラクション側は、ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するステップの後に、マンマシンインタラクション方法は、さらに、以下のステップＳ８を含む。

【0066】

Ｓ８において、予め設定された特徴抽出条件に合致しない生体サンプル情報に対して、インタラクション側はユーザに情報収集異常情報を送信し、生体サンプル情報を再収集する。

【0067】

情報収集異常情報は、現在の操作が間違っていることをユーザに注意させ、次の操作を行うようにユーザに提示する情報である。情報収集異常情報はディスプレイのＵＩインタフェース、音声のプロンプト音などによりユーザに注意するものとしてもよい。

【0068】

具体的には、インタラクション側が生体サンプル情報を前処理した後、インタラクション側に顔画像情報又は音声情報を再収集させるように、特徴抽出条件に合致しない生体サンプル情報に対して、ディスプレイ、又はオーディオ機器により、グラフィック画像又は音声の方式でユーザに情報収集異常情報を送信し、次の操作を行うようにユーザに提示する。

【0069】

本実施例では、特徴抽出条件に合致しない生体サンプル情報に対して、インタラクション側はユーザに情報収集異常情報を直ちに送信し、生体サンプル情報を再収集し、計算サービス側によって処理することと比べて、システムのオーバーヘッド及び時間コストを節約する。

【0070】

さらに、一実施例では、図３に示すように、ステップＳ３について、すなわち、中央サービス側は目標要求情報に生体認識タスクを割り当て、目標要求情報を記憶プラットフォームに保存し、生体認識タスクを計算サービス側に配信するステップは、具体的に以下のステップＳ３１とＳ３２を含む。

【0071】

Ｓ３１において、中央サービス側は受信した目標要求情報を事前に作成された記憶キューにキャッシュする。

【0072】

記憶キューは、中央サービス側がインタラクション側の要求に直ちに応答するとともにシステムの安定性を保証するように、インタラクション側の目標要求情報をキャッシュするために用いられる。

【0073】

具体的には、中央サービス側は２つのアレイを記憶キューとして事前に作成し、１つを顔画像のキャッシュに用い、もう１つを音声ファイルのキャッシュに用いる。

【0074】

Ｓ３２において、記憶キューの長さが予め設定された閾値に達すると、中央サービス側は、目標要求情報を記憶プラットフォームに保存し、目標要求情報に生体認識タスクを割り当て、生体認識タスクを計算サービス側に配信するために用いられる処理スレッドを起動する。

【0075】

予め設定された閾値は中央サービス側のハードウェアホストメモリに基づいて決定される。中央サービス側の正常な運転を保証するために、好ましくは、各キャッシュキューが占めるメモリ数をメモリの総容量の１５％に予め設定する。

【0076】

処理スレッドは、目標要求情報を記憶プラットフォームに保存し、目標要求情報に生体認識タスクを割り当て、生体認識タスクを計算サービス側に配信するために用いられる。

【0077】

具体的には、処理スレッドは、まず、各キャッシュキューの値を検出し、あるキューが空の場合、当該キューにスレッドを起動せず、キューが空ではない場合、当該キューにスレッドを起動する。顔画像のキャッシュキューが空ではない場合、顔特徴抽出タスクのスレッドを起動し、当該スレッドは、顔画像を記憶プラットフォームに保存し、顔特徴抽出タスクを計算サービス側に配信するために用いられ、音声ファイルのキャッシュキューが空ではない場合、音声特徴抽出タスクのスレッドを起動し、当該スレッドは、音声ファイルを記憶プラットフォームに保存し、声紋特徴抽出タスクを計算サービス側に配信するために用いられる。

【0078】

本実施例では、中央サービス側の処理ストレスを減らし、中央サービス側がインタラクション側の要求に直ちに応答するとともにシステムの安定性を保証することを可能にするために、中央サービス側は、データ量の大きい顔画像及び音声ファイルにそれぞれキャッシュキューを作成する。

【0079】

さらに、一実施例では、図４に示すように、ステップＳ３２について、すなわち、記憶キューの長さが予め設定された閾値に達すると、中央サービス側は、目標要求情報を記憶プラットフォームに保存し、目標要求情報に生体認識タスクを割り当て、生体認識タスクを計算サービス側に配信するために用いられる処理スレッドを起動するステップは、具体的に以下のステップＳ３２１とＳ３２２を含む。

【0080】

Ｓ３２１において、記憶キューの長さが予め設定された閾値に達すると、中央サービス側は予め設定されたスレッドプールからスレッドを取り出す。

【0081】

スレッドプールは１組のスレッドの集合である。システムは短い時間内にスレッドを頻繁に作成したり削除したりすると、システムのオーバーヘッドを大きくし、システムの負荷を増加することになる。スレッドプールを用いると、このようなシステムのオーバーヘッドを減らすことができる。

【0082】

中央サービス側は、１つのスレッドプールを作成し、スレッドプールにおけるスレッドが実行されるタスクを処理した後に削除されないように維持し、引き続き次のタスクを実行する。スレッドプールのサイズはスレッドプールにおける最も多くのスレッド数を示す。スレッドプールのサイズは本機のＣＰＵのコア数によって決定することができ、中央サービス側が３２コアのＣＰＵであれば、スレッドプールのサイズは３２である。

【0083】

具体的には、中央サービス側はＴｈｒｅａｄＰｏｏｌＥｘｅｃｕｔｏｒクラスを呼び出してスレッドプールを作成することができ、続いて、スレッドプールにおけるスレッドがビジー状態ではない限り、中央サービス側はサイクルでスレッドプールからスレッドを取り出せばよい。スレッドプールにおけるスレッドがすべてビジー状態である場合は、この時中央サービス側の応答能力が上限に達することを示し、中央サービス側はメッセージを返信してインタラクション側にあとでもう一度試すことを通知する。

【0084】

Ｓ３２２において、中央サービス側はスレッドを呼び出して目標要求情報を記憶プラットフォームに保存し、生体認識タスクを計算サービス側に配信する。

【0085】

中央サービス側がスレッドプールから呼び出すスレッドが行う動作は、ステップＳ３２においてシングルスレッドが行う動作と同じ、顔画像を記憶プラットフォームに保存し、顔特徴抽出タスクを計算サービス側に配信し、音声ファイルを記憶プラットフォームに保存し、声紋特徴抽出タスクを計算サービス側に配信する。

【0086】

本実施例では、中央サービス側は、スレッドプールを設けることにより、目標要求情報を記憶プラットフォームに保存し、生体認識タスクの配信動作をマルチスレッドの動作方式に変更することで、システムの動作効率を向上させる。

【0087】

さらに、一実施例では、Ｓ７について、すなわち、インタラクション側は処理結果情報に基づいてローカルプリセット構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するステップは、具体的には以下のステップＳ７１をさらに含む。

【0088】

Ｓ７１において、インタラクション側がローカルプリセット構成ファイルから命令セットを読み取ることが失敗すれば、インタラクション側は中央サービス側上からクラウドプリセット構成ファイルにおける命令セットを読み取り実行する。

【0089】

ローカルプリセット構成ファイルと比較して、クラウドプリセット構成ファイルは中央サービス側に記憶されるものである。一部の新しいユーザ要求について、ローカルプリセット構成ファイルには対応する命令セットがないため、インタラクション側は中央サービス側からダウンロードし実行することができる。或いは、インタラクション側のローカル記憶空間が足りない場合、インタラクション側は中央サービス側から命令セットを読み取り実行することができる。

【0090】

具体的には、インタラクション側は処理結果情報に基づいてローカルプリセット構成ファイルから対応する命令セットを問い合わせ、ローカルプリセット構成ファイルから問い合わせることが失敗すれば、インタラクション側は処理結果情報の識別子情報を検索条件として、ネットワークを介して中央サービス側に命令セット読み取り要求を送信し、中央サービス側から対応する命令セットがマッチングされれば、命令セットを読み取り実行する。

【0091】

本実施例では、命令セットは、インタラクション側のローカルの構成ファイルから読み取り実行することができるだけでなく、中央サービス側から読み取り実行することができることで、インタラクション側は複数の箇所から命令セットを読み取り実行することができ、インタラクション側のユーザ要求に応答する能力を拡張する。

【0092】

さらに、一実施例では、ステップＳ７１について、すなわち、インタラクション側がローカルプリセット構成ファイルから命令セットを読み取ることが失敗すれば、インタラクション側は中央サービス側上からクラウドプリセット構成ファイルにおける命令セットを読み取り実行するステップは、具体的に以下のステップＳ７１１をさらに含む。

【0093】

Ｓ７１１において、インタラクション側が中央サービス側からクラウドプリセット構成ファイルにおける命令セットを読み取ったり実行したりすることが失敗すれば、インタラクション側はユーザに警告情報を送信する。

【0094】

中央サービス側上に処理結果情報にマッチングする命令セットがなければ、インタラクション側はユーザの現在の操作を実行できない原因をユーザに知らせるための警告情報をユーザに送信する。例えば、ユーザがはっきりと話せず、その意味を認識できないため、正確に応答できない。

【0095】

具体的には、インタラクション側は、ディスプレイ、又はオーディオ機器により、グラフィック画像又は音声の方式でユーザに警告情報を送信する。例えば、ディスプレイによりＵＩインタフェースを表示し、ユーザの行動を正確に認識できないことを知らせ、ユーザに再操作させる。

【0096】

本実施例では、インタラクション側は、処理結果情報に対する実行が失敗する原因をユーザに知らせ、マンマシンインタラクションのプロセスを完全させ、システムの応答不感地帯を漏らさない。

【0097】

さらに、一実施例では、図５に示すように、ステップＳ７１１の後に、すなわちインタラクション側が中央サービス側からクラウドプリセット構成ファイルにおける命令セットを読み取ったり実行したりすることが失敗すれば、インタラクション側はユーザに警告情報を送信するステップの後に、マンマシンインタラクション方法は以下のステップＳ７１２とＳ７１３をさらに含む。

【0098】

Ｓ７１２において、インタラクション側は中央サービス側に命令セット読み取り失敗メッセージを送信する。

【0099】

インタラクション側上に、例えば北斗、ＧＰＳ、ＡＧＰＳなどのような測位装置がある。大規模な会場では、複数のインタラクション側を配置する可能性があり、各インタラクション側の位置がそれぞれ異なり、遠く離れることがある。インタラクション側が予め設定された構成ファイルから命令セットを読み取ることが失敗し、かつ、インタラクション側が中央サービス側から命令セットを読み取ったり実行したりすることが失敗すれば、インタラクション側は中央サービス側に命令セット読み取り失敗メッセージを送信する。ただし、命令セット読み取り失敗メッセージはインタラクション側自体の測位情報、及び処理結果情報の識別子を含む。

【0100】

具体的には、インタラクション側は測位装置により、自体の物理位置情報を命令セット読み取り失敗メッセージに追加し、また、正確に実行できない処理結果メッセージに対応する識別子番号を命令セット読み取り失敗メッセージに追加し、ｓｏｃｋｅｔを介して中央サービス側に送信する。

【0101】

Ｓ７１３において、人工補助を必要とするユーザがいることを提示するために、中央サービス側は命令セット読み取り失敗メッセージに基づいて、インタラクション側の物理位置を測位する。

【0102】

具体的には、中央サービス側は命令セット読み取り失敗メッセージを解析し、インタラクション側の物理位置及び処理結果メッセージに対応する識別子番号を得る。ただし、インタラクション側の物理位置は測位に用いられ、処理結果メッセージに対応する識別子はユーザ行動データに対応し、ユーザがどの認識できない行動を行うかを遡るために用いられる。

【0103】

本実施例では、インタラクション側は自分の識別子情報を中央サービス側に送信することで、中央サービス側はインタラクション側の位置を測位でき、それにより、ユーザを助けて操作中の問題を解決するように作業者を現場に案内し、マンマシンインタラクションにおける問題を速やかかつ正確に定め、人工支援で補助することができる。

【0104】

一実施例では、マンマシンインタラクションシステムが提供され、当該マンマシンインタラクションシステムは上記実施例におけるマンマシンインタラクション方法に一対一で対応する。図６に示すように、当該マンマシンインタラクションシステムはインタラクション側６１と、中央サービス側６２と、計算サービス側６３と、を含む。以下、各機能モジュールについて詳細に説明する。

【0105】

インタラクション側６１は、生体サンプル情報を含むユーザ要求情報を収集し、ユーザ要求情報に対して、予め設定された特徴抽出条件に合致しない生体サンプル情報の濾過を含む前処理を行い、前処理後に得られた目標要求情報を中央サービス側に送信するために用いられ、中央サービス側６２は、目標要求情報に生体認識タスクを割り当て、目標要求情報を記憶プラットフォームに保存し、生体認識タスクを計算サービス側に配信するために用いられ、計算サービス側６３は、生体認識タスクに基づいて、記憶プラットフォームから生体認識タスクに対応する目標要求情報を取得し、取得した目標要求情報に対して生体特徴抽出を行い、得られた抽出結果を中央サービス側に送信するために用いられ、中央サービス側６３は、さらに、抽出結果を組み合わせてユーザ行動データを得て、ユーザ行動データと記憶プラットフォームに予め設定されたユーザ行動特徴をマッチングし、マッチング結果に基づいて処理結果情報を生成し、処理結果情報をインタラクション側に送信するために用いられ、インタラクション側６１は、さらに、処理結果情報に基づいて予め設定された構成ファイルから、ユーザとのマンマシンインタラクションを完了するために用いられる命令セットを読み取り実行するために用いられる。

【0106】

さらに、インタラクション側６１は、予め設定された特徴抽出条件に合致しない生体サンプル情報について、ユーザに情報収集異常メッセージを送信し、生体サンプル情報を再収集するための再サンプリングモジュールを含み、さらに、中央サービス側６２は、受信した目標要求情報を事前に作成された記憶キューにキャッシュし、記憶キューの長さが予め設定された閾値に達すると、目標要求情報を記憶プラットフォームに保存し、目標要求情報に生体認識タスクを割り当て、生体認識タスクを計算サービス側に配信するために用いられる処理スレッドを起動するためのキャッシュモジュールを含み、さらに、中央サービス側６２は、さらに、記憶キューの長さが予め設定された閾値に達すると、予め設定されたスレッドプールからスレッドを取り出し、スレッドを呼び出して目標要求情報を記憶プラットフォームに保存し、生体認識タスクを計算サービス側に配信するためのスレッドスケジューリングモジュールを含み、さらに、インタラクション側６１は、さらに、インタラクション側がローカルプリセット構成ファイルから命令セットを読み取ることが失敗すれば、インタラクション側は中央サービス側上からクラウドプリセット構成ファイルにおける命令セットを読み取り実行するための命令セット取得モジュールを含み、さらに、インタラクション側６１は、さらに、中央サービス側からクラウドプリセット構成ファイルにおける命令セットを読み取ったり実行したりすることが失敗すれば、ユーザに警告情報を送信するための第１の警告モジュールを含み、さらに、インタラクション側６１は、さらに、中央サービス側に命令セット読み取り失敗メッセージを送信するための第２の警告モジュールを含み、さらに、中央サービス側６２は、さらに、人工補助を必要とするユーザがいることを提示するために、命令セット読み取り失敗メッセージに基づいて、インタラクション側の物理位置を測位するための補助モジュールを含む。

【0107】

マンマシンインタラクションシステムの具体的な限定については、上記マンマシンインタラクション方法についての限定を参照することができ、ここで説明を省略する。上記マンマシンインタラクションシステムにおける各モジュールは、全部又は一部がソフトウェア、ハードウェア及びその組み合わせによって実現することができる。上記各モジュールは、プロセッサが以上の各モジュールに対応する操作を呼び出して実行することを容易にするように、ハードウェアの形態でコンピュータ装置におけるプロセッサに埋め込まれ、又はそれから独立してもよく、ソフトウェアの形態でコンピュータ装置におけるメモリに記憶されてもよい。

【0108】

１つの実施例では、コンピュータ機器が提供され、当該コンピュータ機器はサーバであってもよく、その内部構造図を図７に示す。当該コンピュータ機器は、システムバスを介して接続されるプロセッサと、メモリと、ネットワークインタフェースと、データベースと、を含む。ただし、当該コンピュータ機器のプロセッサは計算及び制御能力を提供するために用いられる。当該コンピュータ機器のメモリは不揮発性記憶媒体と、内部記憶装置と、を含む。当該不揮発性記憶媒体にはオペレーティングシステム、コンピュータ可読命令及びデータベースが記憶されている。当該内部記憶装置は不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータ可読命令の実行に環境を提供する。当該コンピュータ機器のネットワークインタフェースはネットワークを介して外部の端末に接続されて通信するために用いられる。当該コンピュータ可読命令がプロセッサによって実行されると、マンマシンインタラクション方法が実現される。

【0109】

１つの実施例では、コンピュータ機器が提供され、メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行可能なコンピュータ可読命令と、を含み、プロセッサはコンピュータ可読命令を実行すると、上記実施例におけるマンマシンインタラクション方法のステップ、例えば図２に示すステップＳ１からステップＳ７を実現する。

【0110】

一実施例では、１つ又は複数のコンピュータ可読命令が記憶されている不揮発性可読記憶媒体が提供され、コンピュータ可読命令が１つ又は複数のプロセッサによって実行されると、上記方法の実施例におけるマンマシンインタラクション方法が実現され、或いは、当該コンピュータ可読命令が１つ又は複数のプロセッサによって実行されると、上記システムの実施例、又は装置の実施例における各モジュール／ユニットの機能が実現される。重複を回避するために、ここで説明を省略する。

【0111】

当業者であれば、上記実施例の方法における全部又は一部のフローの実現は、コンピュータ可読命令によって関連するハードウェアを命令して完了することができ、前記コンピュータ可読命令は不揮発性コンピュータ可読記憶媒体に記憶することができ、当該コンピュータ可読命令は実行時、上記各方法の実施例のフローを含むことができることが理解されるであろう。ここで、本願にて提供される各実施例に使用されるメモリ、記憶、データベース又は他の媒体に対する任意の援用は、いずれも不揮発性及び／又は揮発性メモリを含むことができる。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含むことができる。限定ではなく例示として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、デュアルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスメントＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）など、様々な形態で利用可能である。

【0112】

当業者であれば明らかに分かるように、説明の便宜上、かつ簡潔にするために、単に上記各機能ユニット、モジュールの分割を例に挙げて説明し、実際に利用する際に、必要に応じて上記機能の割り当ては異なる機能ユニット、モジュールによって完了してもよく、すなわち、以上説明した全部又は一部の機能を完了するように、前記システムの内部構造を異なる機能ユニット又はモジュールに分割する。

【0113】

以上に記載の実施例は、単に本願の技術的解決手段を説明するために用いられ、それを限定するものではなく、前記実施例を参照しながら本願を詳細に説明するが、当業者であれば、前記各実施例に記載される技術的解決手段を補正したり、その中の一部の技術的特徴を同等置換したりすることができ、これらの補正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の趣旨及び範囲から逸脱させず、いずれも本願の保護範囲内に含まれるべきであることが理解されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】