知財求人 - 知財ポータルサイト「IP Force」
特開2024-75544ＶＲに応用される環境音ヒアスルー方法、装置、機器および記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075544
(43)【公開日】2024-06-04
(54)【発明の名称】ＶＲに応用される環境音ヒアスルー方法、装置、機器および記憶媒体
(51)【国際特許分類】
H04S 7/00 20060101AFI20240528BHJP
H04R 3/00 20060101ALI20240528BHJP
H04R 3/02 20060101ALI20240528BHJP
【ＦＩ】
H04S7/00 340
H04R3/00 310
H04R3/00 320
H04R3/02
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023091431
(22)【出願日】2023-06-02
(31)【優先権主張番号】202211477037.4
(32)【優先日】2022-11-23
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】522465385
【氏名又は名称】立訊精密科技（南京）有限公司
【氏名又は名称原語表記】Ｌｕｘｓｈａｒｅ Ｐｒｅｃｉｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｎａｎｊｉｎｇ）Ｃｏ．， ＬＴＤ
【住所又は居所原語表記】Ｒｏｏｍ １０８－１１， Ｂｕｉｌｄｉｎｇ Ｆ， Ｎｏ． ５ Ｙｏｎｇｚｈｉ Ｒｏａｄ， Ｑｉｎｈｕａｉ Ｄｉｓｔｒｉｃｔ， Ｎａｎｊｉｎｇ Ｃｉｔｙ， Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】劉 連会
(72)【発明者】
【氏名】張 楊
(72)【発明者】
【氏名】劉 如意
(72)【発明者】
【氏名】許 国軍
【テーマコード（参考）】
5D162
5D220
【Ｆターム（参考）】
5D162AA07
5D162CA04
5D162CA05
5D162CA11
5D162CD01
5D162CD25
5D162CD27
5D162DA02
5D162EG06
5D220AB01
5D220AB06
5D220BA09
5D220CC00
(57)【要約】
【課題】本発明は、ＶＲに応用される環境音ヒアスルー方法、装置、機器および記憶媒体を開示する。
【解決手段】かかる方法は、ＶＲ機器のシースルーモードに基づいてＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し；環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定し；音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し；及び、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生することを含む。
【選択図】図１
【解決手段】かかる方法は、ＶＲ機器のシースルーモードに基づいてＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し；環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定し；音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し；及び、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生することを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得することと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定することと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生することと、を含む、
ことを特徴とするＶＲに応用される環境音ヒアスルー方法。
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定することと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生することと、を含む、
ことを特徴とするＶＲに応用される環境音ヒアスルー方法。
【請求項2】
前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定することは、
前記処理待ちオーディオ情報に対して自動利得制御を行うことにより、前記処理待ちオーディオ情報のオーディオ振幅を調整することと、
前記ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定することと、
前記ＶＲ機器のスピーカ周波数応答特性に応じて、前記増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
前記処理待ちオーディオ情報に対して自動利得制御を行うことにより、前記処理待ちオーディオ情報のオーディオ振幅を調整することと、
前記ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定することと、
前記ＶＲ機器のスピーカ周波数応答特性に応じて、前記増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項3】
前記処理待ちオーディオ情報に対して自動利得制御を行うことにより、前記処理待ちオーディオ情報のオーディオ振幅を調整することは、
前記処理待ちオーディオ情報の振幅変化値が変化閾値よりも大きく、かつ前記処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、前記処理待ちオーディオ情報への強化調整を実現するために、前記振幅変化値に応じて、前記処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うことと、
前記振幅変化値が変化閾値よりも大きく、かつ前記処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、前記処理待ちオーディオ情報への弱化調整を実現するために、前記振幅変化値に応じて、前記処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うことと、を含み、第２のオーディオ閾値が第１のオーディオ閾値よりも大きい、
ことを特徴とする請求項２に記載のＶＲに応用される環境音ヒアスルー方法。
前記処理待ちオーディオ情報の振幅変化値が変化閾値よりも大きく、かつ前記処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、前記処理待ちオーディオ情報への強化調整を実現するために、前記振幅変化値に応じて、前記処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うことと、
前記振幅変化値が変化閾値よりも大きく、かつ前記処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、前記処理待ちオーディオ情報への弱化調整を実現するために、前記振幅変化値に応じて、前記処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うことと、を含み、第２のオーディオ閾値が第１のオーディオ閾値よりも大きい、
ことを特徴とする請求項２に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項4】
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することは、
前記音源位置情報に応じて、前記ＶＲ機器に対する前記音源位置情報の位置方向および位置角度を決定し、前記位置方向および前記位置角度に応じて、前記フィルタードオーディオ情報の収音範囲を決定することと、
前記収音範囲に基づいて、前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
前記音源位置情報に応じて、前記ＶＲ機器に対する前記音源位置情報の位置方向および位置角度を決定し、前記位置方向および前記位置角度に応じて、前記フィルタードオーディオ情報の収音範囲を決定することと、
前記収音範囲に基づいて、前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項5】
前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定することは、
前記環境オーディオ情報の音声帯域を決定して前記音声帯域に応じて前記環境オーディオ情報のオーディオ属性を決定し、かつ前記オーディオ属性、および候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定することと、
前記ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
前記環境オーディオ情報の音声帯域を決定して前記音声帯域に応じて前記環境オーディオ情報のオーディオ属性を決定し、かつ前記オーディオ属性、および候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定することと、
前記ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項6】
前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得することは、
前記ＶＲ機器におけるマイクロフォンにより混合オーディオ情報を取得することと、
前記混合オーディオ情報に対してエコーキャンセル処理を行い、外界環境の環境オーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
前記ＶＲ機器におけるマイクロフォンにより混合オーディオ情報を取得することと、
前記混合オーディオ情報に対してエコーキャンセル処理を行い、外界環境の環境オーディオ情報を決定することと、を含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項7】
ターゲットオーディオ情報以外の他のオーディオ情報を遮蔽するように前記スピーカを制御することをさらに含む、
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
ことを特徴とする請求項１に記載のＶＲに応用される環境音ヒアスルー方法。
【請求項8】
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得するための環境オーディオ情報取得モジュールと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するためのフィルタードオーディオ情報決定モジュールと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するための指向性収音モジュールと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生するためのターゲットオーディオ情報決定モジュールと、を備える、
ことを特徴とするＶＲに応用される環境音ヒアスルー装置。
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するためのフィルタードオーディオ情報決定モジュールと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するための指向性収音モジュールと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生するためのターゲットオーディオ情報決定モジュールと、を備える、
ことを特徴とするＶＲに応用される環境音ヒアスルー装置。
【請求項9】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載のＶＲに応用される環境音ヒアスルー方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
ことを特徴とする電子機器。
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが請求項１～７のいずれか一項に記載のＶＲに応用される環境音ヒアスルー方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
ことを特徴とする電子機器。
【請求項10】
コンピュータ命令が記憶されており、
前記コンピュータ命令は、プロセッサに、実行時に請求項１～７のいずれか一項に記載のＶＲに応用される環境音ヒアスルー方法を実現させるために使用される、
ことを特徴とするコンピュータ可読記憶媒体。
前記コンピュータ命令は、プロセッサに、実行時に請求項１～７のいずれか一項に記載のＶＲに応用される環境音ヒアスルー方法を実現させるために使用される、
ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施例はＶＲ分野に関し、特にＶＲに応用される環境音ヒアスルー方法、装置、機器および記憶媒体に関する。
【背景技術】
【0002】
ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）機器は、視覚処理技術によって光学レンズに真実環境に類似する３Ｄ画像を仮想化可能である。ヘッドマウントＶＲ機器については、装着状態において、視線がレンズなどの構造に遮られるため、ＶＲ機器のユーザは外界環境を見ることができない。ＶＲ機器のユーザの聴覚体験の没入感を強化するために、ヘッドマウントＶＲ機器には通常、有線イヤホンジャックが搭載されており、ユーザがイヤホンを装着してＶＲ機器で映画鑑賞またはゲームを行っているときに、一部の外界環境ノイズを遮断することができる。外界環境ノイズの遮断程度はイヤホンのノイズ低減性能に依存し、ノイズ低減性能が良いイヤホンについて、ユーザがＶＲをシースルーモードに切り替えると、視覚的には外界環境が見えるものの、聴覚的には外界音声がはっきりと聞こえない。例えば、外界と会話するシーンにおいて、イヤホンを外さないと会話がはっきりと聞こえず、ユーザのＶＲ機器への使用体験が低下する。従って、ＶＲ機器のシースルーモードにおいて、スピーカにより外界音声がはっきりと聞こえるよう、どのようにＶＲ機器に環境音ヒアスルー機能を実現させるかは解決すべき問題である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、ＶＲ機器のシースルーモードにおいて、スピーカにより外界音声がはっきりと聞こえるように、ＶＲ機器に環境音ヒアスルー機能を実現可能な、ＶＲに応用される環境音ヒアスルー方法、装置、機器および記憶媒体を提供する。
【課題を解決するための手段】
【0004】
本発明の一側面によれば、
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得することと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定することと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生することと、を含む、
ＶＲに応用される環境音ヒアスルー方法を提供する。
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得することと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定することと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定することと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生することと、を含む、
ＶＲに応用される環境音ヒアスルー方法を提供する。
【0005】
本発明の他の側面によれば、
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得するための環境オーディオ情報取得モジュールと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するためのフィルタードオーディオ情報決定モジュールと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するための指向性収音モジュールと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生するためのターゲットオーディオ情報決定モジュールと、を備える、
ＶＲに応用される環境音ヒアスルー装置を提供する。
ＶＲ機器のシースルーモードに基づいて前記ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得するための環境オーディオ情報取得モジュールと、
前記環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて前記環境オーディオ情報を測位して音源位置情報を決定し、前記環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するためのフィルタードオーディオ情報決定モジュールと、
前記音源位置情報に応じて前記フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するための指向性収音モジュールと、
前記ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、前記処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、前記ＶＲ機器のスピーカにより前記ターゲットオーディオ情報を再生するためのターゲットオーディオ情報決定モジュールと、を備える、
ＶＲに応用される環境音ヒアスルー装置を提供する。
【0006】
本発明の他の側面によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に記載のＶＲに応用される環境音ヒアスルー方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される電子機器を提供する。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、前記コンピュータプログラムは、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に記載のＶＲに応用される環境音ヒアスルー方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される電子機器を提供する。
【0007】
本発明の他の側面によれば、
コンピュータ命令が記憶されており、
前記コンピュータ命令は、プロセッサに、実行時に本発明のいずれかの実施例に記載のＶＲに応用される環境音ヒアスルー方法を実現させるために使用される、
コンピュータ可読記憶媒体を提供する。
コンピュータ命令が記憶されており、
前記コンピュータ命令は、プロセッサに、実行時に本発明のいずれかの実施例に記載のＶＲに応用される環境音ヒアスルー方法を実現させるために使用される、
コンピュータ可読記憶媒体を提供する。
【発明の効果】
【0008】
本発明の実施例の技術態様は、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定し、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。ＶＲ製品の使用過程でシースルーモードがオンにされると、ＶＲ製品のユーザが、外界環境音声を聞き取れず、外界環境画面しか見られないという問題が解決される。上記態様は、ＶＲ機器がシースルーモードに切り替えられると、マイクロフォンにより環境オーディオ情報を取得し、環境オーディオ情報の音源位置情報を測位し、環境オーディオ情報に対してフィルタリング処理を行い、環境オーディオ情報の明瞭度を高める。音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行うことで、処理待ちオーディオ情報の抽出効率および抽出精確度を高めることができる。ＶＲ機器のスピーカの特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整することで、スピーカが再生しているターゲットオーディオ情報に大きくなったり小さくなったりする問題が発生しないことを保証し、ターゲットオーディオ情報の音量の安定性を向上させ、同時に、調整後のターゲットオーディオ情報をリアルな環境音により近づけ、ユーザのＶＲ機器への使用体験を向上させることができる。
【0009】
本部分で説明されている内容は、本発明の実施例の核心的又は重要な特徴を特定することを意図するものではなく、本発明の範囲を限定することに用いられるものでもないことを理解すべきである。本発明の他の特徴は、以下の明細書によって理解しやすくなる。
【図面の簡単な説明】
【0010】
以下、本発明の実施例における技術態様をより明確に説明するために、実施例の説明で使用する必要がある図面について簡単に紹介し、以下の説明における図面は、本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労働を行わない前提で、これらの図面に従って他の図面をさらに取得できることは明らかである。
【0011】
【図1】本発明の実施例１に係るＶＲに応用される環境音ヒアスルー方法のフローチャートである。
【図2】本発明の実施例２に係るＶＲに応用される環境音ヒアスルー方法のフローチャートである。
【図3】本発明の実施例３に係るＶＲに応用される環境音ヒアスルー方法のフローチャートである。
【図4】本発明の実施例４に係るＶＲに応用される環境音ヒアスルー装置の構造模式図である。
【図5】本発明の実施例５に係る電子機器の構造模式図である。
【発明を実施するための形態】
【0012】
当業者に本発明の方案をよりよく理解させるために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術態様を明確で完全に説明し、説明される実施例は本発明の一部の実施例に過ぎず、全ての実施例ではないことは明らかである。本発明における実施例に基づいて、当業者が創造的な労働を行わない前提で得られる全ての他の実施例は、いずれも本発明の保護範囲に属すべきである。
【0013】
なお、本発明の明細書および特許請求の範囲、並びに上記図面における用語「第１」および「第２」などは、特定の順序または前後順序を説明するために使用される必要がなく、類似する対象を区別するためのものである。このように使用されるデータは、適切な場合に置換え可能であり、これにより、ここで説明される本発明の実施例が、ここで図示または説明されるもの以外の順序で実施できることを理解すべきである。また、用語「含む」および「など」並びにこれらの如何なる変形も、排他的ではない包含をカバーすることを意図とし、例えば、一連のステップまたはユニットの過程、方法、システム、製品または機器を含み、必ずしも明確に挙げられたステップまたはユニットに限定されず、明確に挙げられていないまたはこれらの過程、方法、製品または機器にとって固有である他のステップまたはユニットを含んでもよい。
【0014】
実施例１
図１は本発明の実施例１に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例はＶＲ機器により環境音ヒアスルーを実現する場合に適用可能である。この方法はＶＲに応用される環境音ヒアスルー装置により実行可能であり、このＶＲに応用される環境音ヒアスルー装置は、ハードウェアおよび／またはソフトウェアの形式を採用して実現可能であり、このＶＲに応用される環境音ヒアスルー装置は電子機器に配置可能である。図１に示すように、この方法は以下を含む。
図１は本発明の実施例１に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例はＶＲ機器により環境音ヒアスルーを実現する場合に適用可能である。この方法はＶＲに応用される環境音ヒアスルー装置により実行可能であり、このＶＲに応用される環境音ヒアスルー装置は、ハードウェアおよび／またはソフトウェアの形式を採用して実現可能であり、このＶＲに応用される環境音ヒアスルー装置は電子機器に配置可能である。図１に示すように、この方法は以下を含む。
【0015】
Ｓ１１０において、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得する。
【0016】
なお、ＶＲ機器のユーザが機器を外すことなく外界環境を見ることができることを容易にするために、現在は、通常にシースルー技術、即ちｓｅｅ－ｔｈｒｏｕｇｈ技術を採用し、ＶＲ機器のカメラヘッドを利用してリアルタイムで外界環境画面を捕ってそれをＶＲ機器のレンズに表示する。ユーザは、ボタンを押すなどのトリガ操作により、レンズの表示内容を仮想画面と現実画面との間で切り替えることができる。ＶＲ機器の通常モードにある場合、ユーザがＶＲ機器を装着してゲームまたは映画鑑賞を行っているときに、ＶＲ機器の光学レンズに表示されているのはゲームまたは映画の画面である。ユーザの没入型体験を強化し、ユーザが外界光線に干渉されることを避けるために、通常、ＶＲ機器のケースおよび光学レンズなどの構造は、眼部に遮光領域を形成し、このとき、ユーザはＶＲ機器の外界環境を見ることができない。同時に、ＶＲ機器のスピーカが再生しているのは、ＶＲ機器に行われているゲームの音声または映画の音声である。外界環境の環境オーディオ情報はＶＲ機器自体のノイズ低減処理、或いはイヤホンの能動的または受動的ノイズ低減を経ているため、人間の耳に伝わると、弱く減衰してしまい、ユーザは環境音における一部の音声を聞き取れない可能性がある。
【0017】
そのうち、シースルーモードは、即ち、ＶＲ機器がｓｅｅ－ｔｈｒｏｕｇｈ技術によって実現されるＶＲ機器のｓｅｅ－ｔｈｒｏｕｇｈモードである。環境オーディオ情報とは、ＶＲ機器の周囲の外界環境における音声情報である。
【0018】
具体的には、ＶＲ機器のユーザがＶＲ機器を使用する過程で外界環境を感知する必要があるときに、ＶＲ機器のシースルー機能をトリガすることにより、ＶＲ機器にモード切り替え命令を出すことができる。ＶＲ機器は、モード切り替え命令に応答し、機器モードをシースルーモード、即ちｓｅｅ－ｔｈｒｏｕｇｈモードに切り替え、ｓｅｅ－ｔｈｒｏｕｇｈモードにおいて、ｓｅｅ－ｔｈｒｏｕｇｈアルゴリズムを採用し、ＶＲ機器の制御ユニットによりＶＲ機器のカメラヘッドをオンにし、カメラヘッドによりリアルタイムで外界環境画像を採取して外界環境画像をＶＲ機器の光学レンズに表示し、これにより、ユーザは光学レンズにより外界環境画像を見ることができる。同時に、ＶＲ機器の制御ユニットによりマイクロフォンをオンにし、マイクロフォンを採用してリアルタイムで外界環境の環境オーディオ情報を採取する。
【0019】
例示的に、ＶＲ機器におけるマイクロフォンにより、外界環境の環境オーディオ情報を取得する方法は、ＶＲ機器におけるマイクロフォンにより、混合オーディオ情報を取得し、混合オーディオ情報に対してエコーキャンセル処理を行い、外界環境の環境オーディオ情報を決定するものであってもよい。
【0020】
そのうち、混合オーディオ情報には、環境オーディオ情報、イヤホンノイズオーディオ情報またはＶＲ自体のスピーカにより発せられた音声が含まれてもよい。
【0021】
マイクロフォンが採取した混合オーディオ情報に対してエコーキャンセル処理をすると、混合オーディオ情報に存在する可能性のあるイヤホンまたはＶＲ自体のスピーカにより発せられた音声を除去し、環境オーディオ情報の音声明瞭度を向上させることができることを理解できる。
【0022】
Ｓ１２０において、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定する。
【0023】
そのうち、音源位置情報とは、環境オーディオ情報を発する音源が位置する位置方向情報である。
【0024】
具体的には、ＶＲ機器には複数のマイクロフォンが取り付けられており、例えばＶＲ機器に２つまたは４つのマイクロフォンが取り付けられていてもよい。ＶＲ機器における各マイクロフォンが環境オーディオ情報を取得するオーディオ取得時間を取得し、各マイクロフォンに対応するオーディオ取得時間に対して２つずつ減算し、各マイクロフォンと他のマイクロフォンとの環境オーディオ情報の取得の時間差をそれぞれ決定する。時間差に応じて、環境オーディオ情報を測位すると、音源位置情報を決定することができる。フィルタを採用して環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定する。
【0025】
例えば、ＶＲ機器に２つのマイクロフォンが取り付けられている場合、１号マイクロフォンおよび２号マイクロフォンとなる。環境オーディオ情報が１号マイクロフォンおよび２号マイクロフォンに達する時間差が、２ミリ秒であり、かつ環境オーディオ情報が先に１号マイクロフォンに達すれば、音源位置情報はＶＲ機器の０°方向に位置し、環境オーディオ情報が同時に１号マイクロフォンおよび２号マイクロフォンに達すれば、音源位置情報はＶＲ機器の９０°方向に位置し、環境オーディオ情報が先に２号マイクロフォンに達すれば、音源位置情報はＶＲ機器の１８０°方向に位置する。
【0026】
例示的に、フィルタードオーディオ情報を決定する方法は、環境オーディオ情報の音声帯域を決定して音声帯域に応じて環境オーディオ情報のオーディオ属性を決定し、かつオーディオ属性、および候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定し、ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定するものであってもよい。
【0027】
そのうち、オーディオ属性とは、環境オーディオ情報を発する音源を表すデータである。環境オーディオ情報を発する音源は、人であってもよいし、車両であってもよい。ターゲット通過帯域とは、フィルタが環境オーディオ情報に対してフィルタリング処理を行うときに採用するフィルタの通過帯域である。
【0028】
具体的には、異なるオーディオ属性に対応する音声帯域は異なる。環境オーディオ情報を取得した後に、環境オーディオ情報の音声帯域を決定し、環境オーディオ情報の音声帯域に対応するオーディオ属性を環境オーディオ情報のオーディオ属性として決定することができる。オーディオ属性、および予め設定された候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定する。ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定する。
【0029】
例示的に、オーディオ属性に応じて環境オーディオ情報が人により発せられた音声であると決定されれば、ターゲットは２００～３ｋＨｚに設定可能であり、オーディオ属性に応じて環境オーディオ情報が車両により発せられた音声であると決定されれば、フィルタの通過帯域は１ｋ～５ｋＨｚに設定可能である。
【0030】
Ｓ１３０において、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する。
【0031】
そのうち、指向性収音とは、バックグランドノイズを無視し、取得が必要なオーディオ情報のみを取得する技術である。
【0032】
具体的には、音源位置情報に応じて環境オーディオ情報の音源範囲を概算して計画し、音源範囲とは、環境オーディオ情報の音源が存在する可能のある領域範囲である。音源範囲内のフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する。
【0033】
Ｓ１４０において、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。
【0034】
そのうち、ターゲットオーディオ情報とは、ＶＲ機器のスピーカによる再生が必要なオーディオ情報である。ヒアスルーラウドネスとは、ターゲットオーディオ情報がＶＲ機器のスピーカにより再生されるラウドネスである。
【0035】
具体的には、ユーザに聞こえるヒアスルー音量の大きさがリアルな環境音の大きさに近いことを保証するために、ＶＲ機器自体のノイズ低減程度または外部イヤホンにおけるノイズ低減程度に応じて、処理待ちオーディオ情報の信号振幅を調整することができる。ターゲットオーディオ情報の周波数特性が安定状態にあることを保証するために、スピーカ周波数応答特性に応じて、処理待ちオーディオ情報のヒアスルーラウドネスを調整する。
【0036】
好ましくは、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生していると同時に、さらに、ターゲットオーディオ情報以外の他のオーディオ情報を遮蔽するようにスピーカを制御することができる。
【0037】
また、ユーザがＶＲ機器をシースルーモードから通常モードに切り替えると、ＶＲ機器の制御ユニットはカメラヘッドおよびマイクロフォンをオフにし、ＶＲ機器の光学レンズが通常モードにおける画像に戻ると、スピーカも通常モードにおけるゲームオーディオ情報または映画オーディオ情報を再生し続ける。
【0038】
上記態様は、ターゲットオーディオ情報が再生されているときに、他のオーディオ情報によるターゲットオーディオ情報への音声干渉を避けることを保証できる。
【0039】
本実施例に係る技術態様は、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定し、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。ＶＲ製品の使用過程でシースルーモードがオンにされると、ＶＲ製品のユーザが、外界環境音声を聞き取れず、外界環境画面しか見られないという問題が解決される。上記態様は、ＶＲ機器がシースルーモードに切り替えられると、マイクロフォンにより環境オーディオ情報を取得し、環境オーディオ情報の音源位置情報を測位し、環境オーディオ情報に対してフィルタリング処理を行い、環境オーディオ情報の明瞭度を高める。音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行うことで、処理待ちオーディオ情報の抽出効率および抽出精確度を高めることができる。ＶＲ機器のスピーカの特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整することで、スピーカが再生しているターゲットオーディオ情報に大きくなったり小さくなったりする問題が発生しないことを保証し、ターゲットオーディオ情報の音量の安定性を向上させ、同時に、調整後のターゲットオーディオ情報をリアルな環境音により近づけ、ユーザのＶＲ機器への使用体験を向上させることができる。
【0040】
実施例２
図２は本発明の実施例２に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例は、上記実施例を基に最適化が行われ、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定する好ましい実施形態を提供している。具体的には、図２に示すように、この方法は以下を含む。
図２は本発明の実施例２に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例は、上記実施例を基に最適化が行われ、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定する好ましい実施形態を提供している。具体的には、図２に示すように、この方法は以下を含む。
【0041】
Ｓ２１０において、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得する。
【0042】
Ｓ２２０において、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定する。
【0043】
Ｓ２３０において、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する。
【0044】
Ｓ２４０において、処理待ちオーディオ情報に対して自動利得制御を行うことにより、処理待ちオーディオ情報のオーディオ振幅を調整する。
【0045】
そのうち、自動利得制御、即ちＡＧＣとは、処理待ちオーディオのオーディオ振幅の利得がオーディオ振幅の大きさに伴って調整される自動制御方法である。
【0046】
具体的には、ＶＲ機器がシースルーモードにあり、かつ外界環境の環境オーディオ情報を受信しているときに、環境オーディオ情報の音量が安定しない可能性があり、そのため、ユーザは聴感のニーズを満足するために再生音量を頻繁に調整する必要があり、従って、環境オーディオ情報の音量等化処理は特に重要である。処理待ちオーディオ情報のオーディオ振幅が安定してユーザが感知可能な範囲内に維持されるように、処理待ちオーディオ情報の実際のオーディオに応じて、処理待ちオーディオ情報に対して自動利得制御を行い、処理待ちオーディオ情報のオーディオ振幅を調整することができる。
【0047】
例示的に、以下のようなサブステップにより、処理待ちオーディオ情報に対して自動利得制御を行うことを実現可能である。
【0048】
Ｓ２４０１において、処理待ちオーディオ情報の振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、処理待ちオーディオ情報への強化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行う。
【0049】
そのうち、振幅変化値とは、１つ前の時刻に取得された処理待ちオーディオ情報のオーディオ振幅と現在の時刻に取得された処理待ちオーディオ情報のオーディオ振幅との間の差値である。変化閾値および第１のオーディオ閾値は、実際のニーズに応じて設定可能である。
【0050】
具体的には、１つ前の時刻に取得された処理待ちオーディオ情報のオーディオ振幅と現在の時刻に取得された処理待ちオーディオ情報のオーディオ振幅との間の差値は、処理待ちオーディオ情報の振幅変化値とされる。振幅変化値と変化閾値とを比較し、同時に、処理待ちオーディオ情報のオーディオ振幅と第１のオーディオ閾値とを比較する。振幅変化値が予め設定された変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、処理待ちオーディオ情報への強化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行っているときのオーディオ振幅の利得数値を決定し、オーディオ振幅の利得数値に基づいて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行う。
【0051】
Ｓ２４０２において、振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、処理待ちオーディオ情報への弱化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行う。
【0052】
そのうち、第２のオーディオ閾値は第１のオーディオ閾値よりも大きい。第２のオーディオ閾値は、実際のニーズに応じて設定可能である。
【0053】
具体的には、振幅変化値が予め設定された変化閾値よりも小さく、かつ処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、処理待ちオーディオ情報への弱化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行っているときのオーディオ振幅の利得数値を決定し、オーディオ振幅の利得数値に基づいて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行う。
【0054】
上記態様は、処理待ちオーディオ情報の振幅変化値が大きい場合、振幅変化値に応じて処理待ちオーディオ情報に対して自動利得制御を行い、処理待ちオーディオ情報のオーディオ振幅を調整することができ、調整後の処理待ちオーディオ情報のオーディオ振幅の安定性を保証できる。
【0055】
Ｓ２５０において、ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定する。
【0056】
そのうち、ＶＲ機器のノイズ低減程度は、ＶＲ機器自体のノイズ低減程度であってもよいし、ＶＲ機器の外部イヤホンのノイズ低減程度であってもよい。ＶＲ機器自体のノイズ低減程度または外部イヤホンのノイズ低減程度とは、ＶＲ機器または外部イヤホンの能動的または受動的ノイズ低減を経て、信号が減衰した程度である。
【0057】
具体的には、ＶＲ機器自体のノイズ低減程度またはＶＲ機器の外部イヤホンのノイズ低減程度に応じて、処理待ちオーディオ情報の信号振幅増幅数値を決定し、信号振幅増幅数値に基づいて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定する。
【0058】
例えば、ノイズ低減程度が２０ｄＢであるＶＲ機器またはＶＲ機器の外部イヤホンについては、処理待ちオーディオ情報の信号振幅増幅数値を２０ｄＢに決定することができ、これにより、スピーカにより発せられる音量の大きさがリアルな環境音の大きさに近いことが保証される。また、同一ＶＲ機器に異なるノイズ低減程度を有するイヤホンが接続される可能性があるため、信号振幅調節機能を設定可能であり、これにより、ユーザはユーザのニーズに応じて処理待ちオーディオ情報の信号振幅を調整する。
【0059】
Ｓ２６０において、ＶＲ機器のスピーカ周波数応答特性に応じて、増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。
【0060】
そのうち、オーディオ等化処理、即ちＥＱ（Ｐａｒａｇｒａｐｈｉｃ ＥＱ、パラメータ等化）調節は、パラメトリックイコライザーにより実現可能である。周波数応答は通常、電子増幅器またはスピーカに結び付いており、周波数応答特性は即ちスピーカの周波数応答特性であり、周波数応答とは、定電圧で出力される１つのオーディオ信号がシステムに接続されると、スピーカが生じる音圧は周波数の変化に従って増加または減衰し、位相が周波数に従って変化する現象である。
【0061】
例示的に、高周波応答不足のスピーカについては、スピーカの高周波環境音に対するヒアスルーラウドネスを保証するために、増幅オーディオ情報に対してオーディオ等化処理を行うときに、ＥＱパラメータにおける高周波利得を適切に向上させることができる。異なるスピーカの周波数応答特性は異なる可能性があるため、スピーカにより発せられるターゲットオーディオ情報の周波数特性の安定性を保証するために、ＥＱ調節機能を設定可能であり、これにより、ユーザはニーズに応じて処理待ちオーディオ情報のＥＱパラメータを調整する。
【0062】
また、ＶＲ機器におけるマイクロフォンは、一般的に耳部から遠く離れており、採取した外界環境の環境オーディオ情報と人間の耳の位置における環境オーディオ情報には周波数特性差が存在する。環境オーディオ情報の正確なヒアスルーを実現するために、増幅オーディオ情報に対してオーディオ等化処理を行っているときに周波数特性差を補償する必要がある。例えば、音響シミュレーションまたはテストなどの方法により周波数特性差の差異曲線を決定してから、差異曲線に応じて１グループのフィルタパラメータを決定し、このグループのフィルタパラメータに基づいて周波数特性差を補償することができる。
【0063】
本実施例の技術態様は、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し、環境オーディオ情報の音源位置情報を決定し、および、環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定してから、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し、その後、処理待ちオーディオ情報に対して自動利得制御を行うことにより、処理待ちオーディオ情報のオーディオ振幅を調整し、ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定し、ＶＲ機器のスピーカ周波数応答特性に応じて、増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。処理待ちオーディオ情報に対して自動利得制御を行うことで、ターゲットオーディオ情報に大きくなったり小さくなったりする状況が発生しないことを保証し、ターゲットオーディオ情報の音量を相対的に安定する範囲内に維持させることができ、処理待ちオーディオ情報に対して信号振幅増幅処理を行うことで、ターゲットオーディオ情報が外界環境の実際の環境音により近いことを保証でき、増幅オーディオ情報に対してオーディオ等化処理を行うことで、ターゲットオーディオ情報がスピーカ周波数応答特性に合わせる音声ヒアスルーラウドネスを有することを保証し、ＶＲ機器のユーザの使用体験を向上させることができる。
【0064】
実施例３
図３は本発明の実施例３に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例は、上記実施例を基に最適化が行われ、音源位置情報に応じて、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する好ましい実施態様を提供している。具体的には、図３に示すように、この方法は以下を含む。
図３は本発明の実施例３に係るＶＲに応用される環境音ヒアスルー方法のフローチャートであり、本実施例は、上記実施例を基に最適化が行われ、音源位置情報に応じて、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する好ましい実施態様を提供している。具体的には、図３に示すように、この方法は以下を含む。
【0065】
Ｓ３１０において、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得する。
【0066】
Ｓ３２０において、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定する。
【0067】
Ｓ３３０において、音源位置情報に応じて、ＶＲ機器に対する音源位置情報の位置方向および位置角度を決定し、位置方向および位置角度に応じて、フィルタードオーディオ情報の収音範囲を決定する。
【0068】
具体的には、音源位置情報に応じて、ＶＲ機器に対する音源位置情報の位置方向および位置角度を決定し、位置方向および位置角度に応じて、フィルタードオーディオ情報の音束が位置する収音範囲を概算する。例えば、ＶＲ機器に対する音源位置情報の位置方向および位置角度は真正面で９０°であってもよく、このとき、フィルタードオーディオ情報の収音範囲は、ＶＲ機器の真正面の６０°から１２０°の範囲として概算してもよい。
【0069】
Ｓ３４０において、収音範囲に基づいて、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する。
【0070】
具体的には、フィルタードオーディオ情報の収音範囲を決定した後、収音範囲においてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する。
【0071】
Ｓ３５０において、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。
【0072】
本実施例の技術態様は、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定する好ましい実施形態を提供する。上記態様は、外界環境の環境オーディオ情報を取得して環境オーディオ情報に対して測位およびフィルタリング処理を行い、音源位置情報およびフィルタードオーディオ情報を得た後に、音源位置情報に応じてフィルタードオーディオ情報の収音範囲を決定し、収音範囲に基づいてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し、そして、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。フィルタードオーディオ情報に対して指向性収音を行っているときに、指向性収音の正確性および効率を向上させることができる。
【0073】
実施例４
図４は本発明の実施例４に係るＶＲに応用される環境音ヒアスルー装置の構造模式図である。本実施例はＶＲ機器により環境音ヒアスルーを実現する場合に適用可能である。図４に示すように、このＶＲに応用される環境音ヒアスルー装置は、環境オーディオ情報取得モジュール４１０と、フィルタードオーディオ情報決定モジュール４２０と、指向性収音モジュール４３０と、ターゲットオーディオ情報決定モジュール４４０と、を備える。
図４は本発明の実施例４に係るＶＲに応用される環境音ヒアスルー装置の構造模式図である。本実施例はＶＲ機器により環境音ヒアスルーを実現する場合に適用可能である。図４に示すように、このＶＲに応用される環境音ヒアスルー装置は、環境オーディオ情報取得モジュール４１０と、フィルタードオーディオ情報決定モジュール４２０と、指向性収音モジュール４３０と、ターゲットオーディオ情報決定モジュール４４０と、を備える。
【0074】
そのうち、環境オーディオ情報取得モジュール４１０は、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得するために使用され、
フィルタードオーディオ情報決定モジュール４２０は、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するために使用され、
指向性収音モジュール４３０は、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するために使用され、
ターゲットオーディオ情報決定モジュール４４０は、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生するために使用される。
フィルタードオーディオ情報決定モジュール４２０は、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定するために使用され、
指向性収音モジュール４３０は、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するために使用され、
ターゲットオーディオ情報決定モジュール４４０は、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生するために使用される。
【0075】
本実施例に係る技術態様は、ＶＲ機器のシースルーモードに基づいて、ＶＲ機器におけるマイクロフォンにより外界環境の環境オーディオ情報を取得し、環境オーディオ情報がＶＲ機器における各マイクロフォンに達する時間差に応じて環境オーディオ情報を測位して音源位置情報を決定し、環境オーディオ情報に対してフィルタリング処理を行ってフィルタードオーディオ情報を決定し、音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定し、ＶＲ機器のノイズ低減程度およびスピーカ周波数応答特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整し、ターゲットオーディオ情報を決定し、ＶＲ機器のスピーカによりターゲットオーディオ情報を再生する。ＶＲ製品の使用過程でシースルーモードがオンにされると、ＶＲ製品のユーザが、外界環境音声を聞き取れず、外界環境画面しか見られないという問題が解決される。上記態様は、ＶＲ機器がシースルーモードに切り替えられると、マイクロフォンにより環境オーディオ情報を取得し、環境オーディオ情報の音源位置情報を測位し、環境オーディオ情報に対してフィルタリング処理を行い、環境オーディオ情報の明瞭度を高める。音源位置情報に応じてフィルタードオーディオ情報に対して指向性収音を行うことで、処理待ちオーディオ情報の抽出効率および抽出精確度を高めることができる。ＶＲ機器のスピーカの特性に応じて、処理待ちオーディオ情報の信号振幅およびヒアスルーラウドネスを調整することで、スピーカが再生しているターゲットオーディオ情報に大きくなったり小さくなったりする問題が発生しないことを保証し、ターゲットオーディオ情報の音量の安定性を向上させ、同時に、調整後のターゲットオーディオ情報をリアルな環境音により近づけ、ユーザのＶＲ機器への使用体験を向上させることができる。
【0076】
例示的に、ターゲットオーディオ情報決定モジュール４４０は、
処理待ちオーディオ情報に対して自動利得制御を行うことにより、処理待ちオーディオ情報のオーディオ振幅を調整するためのオーディオ振幅決定ユニットと、
ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定するための増幅オーディオ情報決定ユニットと、
ＶＲ機器のスピーカ周波数応答特性に応じて、増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定するためのターゲットオーディオ情報決定ユニットと、を備える。
処理待ちオーディオ情報に対して自動利得制御を行うことにより、処理待ちオーディオ情報のオーディオ振幅を調整するためのオーディオ振幅決定ユニットと、
ＶＲ機器のノイズ低減程度に応じて、調整後の処理待ちオーディオ情報に対して信号振幅増幅処理を行い、増幅オーディオ情報を決定するための増幅オーディオ情報決定ユニットと、
ＶＲ機器のスピーカ周波数応答特性に応じて、増幅オーディオ情報に対してオーディオ等化処理を行い、ターゲットオーディオ情報を決定するためのターゲットオーディオ情報決定ユニットと、を備える。
【0077】
例示的に、オーディオ振幅決定ユニットは、具体的に、
処理待ちオーディオ情報の振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、処理待ちオーディオ情報への強化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行い、
振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、処理待ちオーディオ情報への弱化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うために使用され、そのうち、第２のオーディオ閾値が第１のオーディオ閾値よりも大きい。
処理待ちオーディオ情報の振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第１のオーディオ閾値よりも小さければ、処理待ちオーディオ情報への強化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行い、
振幅変化値が変化閾値よりも大きく、かつ処理待ちオーディオ情報のオーディオ振幅が第２のオーディオ閾値よりも大きければ、処理待ちオーディオ情報への弱化調整を実現するために、振幅変化値に応じて、処理待ちオーディオ情報のオーディオ振幅に対して自動利得制御を行うために使用され、そのうち、第２のオーディオ閾値が第１のオーディオ閾値よりも大きい。
【0078】
例示的に、指向性収音モジュール４３０は、具体的に、
音源位置情報に応じて、ＶＲ機器に対する音源位置情報の位置方向および位置角度を決定し、位置方向および位置角度に応じて、フィルタードオーディオ情報の収音範囲を決定し、
収音範囲に基づいて、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するために使用される。
音源位置情報に応じて、ＶＲ機器に対する音源位置情報の位置方向および位置角度を決定し、位置方向および位置角度に応じて、フィルタードオーディオ情報の収音範囲を決定し、
収音範囲に基づいて、フィルタードオーディオ情報に対して指向性収音を行い、処理待ちオーディオ情報を決定するために使用される。
【0079】
例示的に、フィルタードオーディオ情報決定モジュール４２０は、具体的に、
環境オーディオ情報の音声帯域を決定して音声帯域に応じて環境オーディオ情報のオーディオ属性を決定し、かつオーディオ属性、および候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定し、
ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定するために使用される。
環境オーディオ情報の音声帯域を決定して音声帯域に応じて環境オーディオ情報のオーディオ属性を決定し、かつオーディオ属性、および候補属性とフィルタ通過帯域との間の対応関係に応じて、ターゲット通過帯域を決定し、
ターゲット通過帯域に基づいて環境オーディオ情報に対してフィルタリング処理を行い、フィルタードオーディオ情報を決定するために使用される。
【0080】
例示的に、環境オーディオ情報取得モジュール４１０は、具体的に、
ＶＲ機器におけるマイクロフォンにより混合オーディオ情報を取得し、
混合オーディオ情報に対してエコーキャンセル処理を行い、外界環境の環境オーディオ情報を決定するために使用される。
ＶＲ機器におけるマイクロフォンにより混合オーディオ情報を取得し、
混合オーディオ情報に対してエコーキャンセル処理を行い、外界環境の環境オーディオ情報を決定するために使用される。
【0081】
例示的に、上記ＶＲに応用される環境音ヒアスルー装置は、
ターゲットオーディオ情報以外の他のオーディオ情報を遮蔽するようにスピーカを制御するためのオーディオ情報遮蔽モジュールをさらに備える。
ターゲットオーディオ情報以外の他のオーディオ情報を遮蔽するようにスピーカを制御するためのオーディオ情報遮蔽モジュールをさらに備える。
【0082】
本実施例に係るＶＲに応用される環境音ヒアスルー装置は、上記の任意の実施例に係るＶＲに応用される環境音ヒアスルー方法に適用可能であり、対応する機能および有益な効果を備える。
【0083】
実施例５
図５には、本発明の実施例を実施するために使用可能な電子機器１０の構造模式図が示されている。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータを表すように意図される。電子機器は、様々な形式の移動装置、例えば、パーソナルデジタル処理、セルラーフォン、スマートフォン、ウェアラブルデバイス（ヘルメット、メガネ、時計など）および他の類似するコンピューティング装置をさらに表すことができる。本明細書に示す部品、これらの接続と関係、およびこれらの機能は例示的なものに過ぎず、本明細書で説明および／または要求される本発明の実現を限定することを意図するものではない。
図５には、本発明の実施例を実施するために使用可能な電子機器１０の構造模式図が示されている。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータを表すように意図される。電子機器は、様々な形式の移動装置、例えば、パーソナルデジタル処理、セルラーフォン、スマートフォン、ウェアラブルデバイス（ヘルメット、メガネ、時計など）および他の類似するコンピューティング装置をさらに表すことができる。本明細書に示す部品、これらの接続と関係、およびこれらの機能は例示的なものに過ぎず、本明細書で説明および／または要求される本発明の実現を限定することを意図するものではない。
【0084】
図５に示すように、電子機器１０は、少なくとも１つのプロセッサ１１と、例えば読み取り専用メモリ（ＲＯＭ）１２、ランダムアクセスメモリ（ＲＡＭ）１３などの少なくとも１つのプロセッサ１１に通信接続されるメモリとを含み、そのうち、メモリには、少なくとも１つのプロセッサにより実行可能なコンピュータプログラムが記憶されており、プロセッサ１１は、読み取り専用メモリ（ＲＯＭ）１２に記憶されたコンピュータプログラム、または記憶ユニット１８からランダムアクセスメモリ（ＲＡＭ）１３にロードされたコンピュータプログラムに応じて、様々な適切な動作および処理を実行することができる。ＲＡＭ１３には、電子機器１０の操作に必要となる様々なプログラムおよびデータも記憶可能である。プロセッサ１１、ＲＯＭ１２およびＲＡＭ１３はバス１４によって互いに接続される。入出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）インターフェース１５もバス１４に接続される。
【0085】
Ｉ／Ｏインターフェース１５には、例えばキーボード、マウス等の入力ユニット１６と、例えば様々なタイプのディスプレイ、スピーカ等の出力ユニット１７と、例えば磁気ディスク、光ディスク等の記憶ユニット１８と、例えばネットワークカード、モデム、無線通信送受信機等の通信ユニット１９と、を備える電子機器１０における複数の部品が接続される。通信ユニット１９は、電子機器１０が例えばインターネットのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して、他のデバイスと情報／データを交換することを可能にする。
【0086】
プロセッサ１１は、様々な、処理および計算能力を有する汎用および／または専用処理構成要素であってもよい。プロセッサ１１のいくつかの例には、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な、機械学習モデルのアルゴリズムを実行するプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が含まれるが、これらに限定されない。プロセッサ１１は、上記で説明された各方法および処理、例えばＶＲに応用される環境音ヒアスルー方法を実行する。
【0087】
いくつかの実施例において、ＶＲに応用される環境音ヒアスルー方法は、コンピュータプログラムとして実現可能であり、これはコンピュータ可読記憶媒体、例えば記憶ユニット１８に有形的に含まれる。いくつかの実施例において、コンピュータプログラムは、一部または全部がＲＯＭ１２および／または通信ユニット１９を介して電子機器１０にロードおよび／またはインストールされることができる。コンピュータプログラムがＲＡＭ１３にロードされてプロセッサ１１によって実行されると、上記したＶＲに応用される環境音ヒアスルー方法の１つまたは複数のステップを実行可能である。或いは、他の実施例において、プロセッサ１１は、他の任意の適切な方式によって（例えば、ファームウェアによって）、ＶＲに応用される環境音ヒアスルー方法を実行するように構成される。
【0088】
本明細書において、上記のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特殊用途向け汎用品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組合せで実現可能である。これらの様々な実施形態は、１つまたは複数のコンピュータプログラムに実施されることを含んでもよく、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムに実行および／または解釈されることができ、該プログラマブルプロセッサは、メモリシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信して、データおよび命令を該メモリシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用プログラマブルプロセッサであってもよい。
【0089】
本発明の方法を実施するためのコンピュータプログラムは、１つまたは複数のプログラミング言語の任意の組合せを採用して書かれてもよい。これらのコンピュータプログラムは、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供可能であり、これにより、コンピュータプログラムがプロセッサによって実行されると、フローチャートおよび／またはブロック図で規定された機能／操作が実施される。コンピュータプログラムは、完全に機器で実行されたり、部分的に機器で実行されたりしてもよく、独立ソフトウェアパッケージとして、部分的に機器で実行され且つ部分的にリモート機器で実行され、または、完全にリモート機器またはサーバで実行されてもよい。
【0090】
本発明のコンテキストにおいて、コンピュータ可読記憶媒体は、命令実行システム、装置または機器に使用され、または命令実行システム、装置または機器と組み合わせて使用されるコンピュータプログラムを含むかまたは記憶することができる有形的な媒体であってもよい。コンピュータ可読記憶媒体には、電子的なもの、磁気的なもの、光学的なもの、電磁的なもの、赤外線的なもの、または半導体システム、装置または機器、または上記の内容の任意の適切な組合せが含まれてもよいが、これらに限定されない。あるいは、コンピュータ可読記憶媒体は機械可読信号媒体であってもよい。機械可読記憶媒体のより具体的な例示は、１つまたは複数のラインによる電気的な接続、可搬型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、可搬型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光メモリデバイス、磁気メモリデバイス、または上記の内容の任意の適切な組合せを含む。
【0091】
ユーザとのインタラクションを提供するために、ここで説明されるシステムおよび技術は電子機器で実施されることができ、該電子機器は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニター）、およびキーボードやポインティング装置（例えば、マウスまたはトラックボール）を有し、ユーザは、該キーボードや該ポインティング装置によって入力を電子機器に提供することができる。他の種類の装置は、ユーザとのインタラクションを提供することに使用可能であり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、ユーザからの入力を任意の形式（音入力、音声入力または触感入力を含む）で受信することができる。
【0092】
ここで説明されるシステムおよび技術は、バックグランドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）に、または、ミドルウェアコンポーネントを含むコンピューティングシステム（アプリケーションサーバなど）に、または、フロントエンドコンポーネントを含むコンピューティングシステム（図形式のユーザインターフェースやネットワークブラウザを有するユーザコンピュータであり、ユーザは、該図形式のユーザインターフェースや該ネットワークブラウザを通じてここで説明されるシステムおよび技術の実施形態とイントラクションをすることができる）に、またはこのようなバックグランドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムに実施されてもよい。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって互いに接続されてもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワークおよびインターネットを含む。
【0093】
計算システムは、クライアント端末およびサーバを含んでもよい。クライアント端末およびサーバは一般的に、互いに離れており、且つ通常、通信ネットワークを介してイントラクションをしている。対応するコンピュータでの実行、および、互いにクライアント端末・サーバという関係を有するコンピュータプログラムにより、クライアント端末とサーバとの関係を築き上げる。サーバは、伝統的な物理ホストおよびＶＰＳサービスに存在する管理の難度が高く、業務展開性が弱いという欠陥を解決するための、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれる、クラウドコンピューティングサービスシステムにおける１つのホスティングプロダクトであるクラウドサーバであってもよい。
【0094】
上記で示した様々な形式のフローを使用し、ステップを並べ替えたり、追加したり、削除したりすることができることを理解すべきである。例えば、本発明に記載の各ステップは、本発明の技術態様の所望の結果が実現できれば、並行して実行されてよいし、順次的に実行されてもよいし、異なる順序で実行されてもよく、本明細書では、これに限定されない。
【0095】
上記の具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者であれば、設計要求や他の要素に基づいて様々な修正、組み合わせ、サブ組み合わせや置換が可能であることを理解すべきである。任意の、本発明の精神および原則内で行われる修正、均等な置換および改良などは、いずれも本発明の保護範囲に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
