▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
特表2024-533208モバイルキャプチャのためのオーディオエンハンスメント
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-12
(54)【発明の名称】モバイルキャプチャのためのオーディオエンハンスメント
(51)【国際特許分類】
H04R 29/00 20060101AFI20240905BHJP
H04R 3/00 20060101ALI20240905BHJP
【ＦＩ】
H04R29/00 320
H04R3/00 320
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024514344
(86)(22)【出願日】2022-09-07
(85)【翻訳文提出日】2024-03-04
(86)【国際出願番号】 US2022042671
(87)【国際公開番号】W WO2023038911
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】PCT/CN2021/117685
(32)【優先日】2021-09-10
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】63/244,261
(32)【優先日】2021-09-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】21207498.3
(32)【優先日】2021-11-10
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】リー，カイ
(72)【発明者】
【氏名】ルオ，ハオ
(72)【発明者】
【氏名】ガン，レイ
(72)【発明者】
【氏名】リー，シュイ
(72)【発明者】
【氏名】ウエン，ウエイウエイ
(72)【発明者】
【氏名】マー，ユエンシーン
【テーマコード（参考）】
5D220
【Ｆターム（参考）】
5D220BA30
(57)【要約】
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステム、及び関連する方法が、開示される。いくつかの実施形態で、システムは、リアルタイムで、スマートフォンなどの第１モバイルデバイスによって生成されたオーディオデータを受け取るようプログラムされる。システムは、リアルタイムで、オーディオデータから、オーディオ異常が発生しているかどうかを決定するようプログラムされる。システムは、オーディオ異常の発生の検出に応答して、リアルタイムで、同じスマートフォンであってもよい第２モバイルデバイスへのアラートの提示を引き起こすようプログラムされる。
【特許請求の範囲】
【請求項1】
１つ以上のコンピューティングデバイスによって実行される場合に、前記１つ以上のコンピューティングデバイスに、ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタする方法を実行させる命令を含むプログラムであって、前記方法は、
リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、
リアルタイムで、前記発生のアラートを第２デバイスへ伝えることであり、前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、ことと
を有する、プログラム。
【請求項2】
前記第１モバイルデバイスは、１つ以上の内蔵式マイクロホンを備えたスマートフォンである、請求項１に記載のプログラム。
【請求項3】
前記伝えることは、前記アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生することを含み、前記画面又は前記スピーカは、前記第２デバイスに含まれるか又は前記第２デバイスに結合されている、
請求項１に記載のプログラム。
【請求項4】
前記マイクロホン異常は、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されているマイクロホンのオクルージョン、機能不良、又は置き違えによって引き起こされ、前記発生は、マイクロホン異常の発生である、
請求項１に記載のプログラム。
【請求項5】
前記検出することは、現在時間に至るまでの期間にわたって、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定すること、各マイクロホンからの前記信号の振幅値を決定すること、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取ることを含む、請求項４に記載のプログラム。
【請求項6】
前記伝えることは、前記マイクロホン異常の発生を停止するリコメンデーションを送信することを含み、前記リコメンデーションは、前記発生の源としてのマイクロホンを特定し、該マイクロホンに対する障害物の除去、修理、又は再配置を指示することを含む、
請求項４に記載のプログラム。
【請求項7】
前記複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、前記発生は、環境異常の発生である、
請求項１に記載のプログラム。
【請求項8】
前記伝えることは、前記環境異常の発生を停止するリコメンデーションを送信することを含み、前記リコメンデーションは、前記第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む、
請求項７に記載のプログラム。
【請求項9】
前記複数タイプのオーディオ異常は、録音された音声の特定の品質指標の低い値によって表される音声異常を更に含み、前記特定の品質指標は、ボリューム又はシャープネスを含み、
前記発生は、音声異常の発生である、
請求項１に記載のプログラム。
【請求項10】
前記伝えることは、前記音声異常の発生を停止するリコメンデーションを送信することを含み、前記リコメンデーションは、前記特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む、
請求項９に記載のプログラム。
【請求項11】
前記方法は、リアルタイムで、前記あるタイプのオーディオ異常の前記発生を停止するための救済的なアプローチを実施すること、又は前記救済的なアプローチを実施するよう要請することを含む、請求項１に記載のプログラム。
【請求項12】
前記伝えることは、前記あるタイプのオーディオ異常の前記発生の一部分を含むオーディオコンテンツを削除するよう要請することを含む、請求項１に記載のプログラム。
【請求項13】
前記方法は、リアルタイムで、前記あるタイプのオーディオ異常の前記発生の終了が検出されるかどうかを連続的に決定することと、
リアルタイムで、前記発生の前記終了が検出されるまで、前記第１モバイルデバイスによるオーディオコンテンツの生成を無効化することと
を更に含む、
請求項１に記載のプログラム。
【請求項14】
前記方法は、時間軸に沿った前記オーディオデータのグラフィック表現を表示することと、
前記グラフィック表現に異常情報をオーバーレイすることと
を更に有し、
前記異常情報は、前記あるタイプのオーディオ異常の前記発生について説明するものであり、前記あるタイプのオーディオ異常の前記発生を表現している前記グラフィック表現の部分の上に示される、
請求項１に記載のプログラム。
【請求項15】
前記オーバーレイは選択可能であり、前記異常情報は、前記オーディオデータの質を高めるよう前記あるタイプのオーディオ異常の前記発生を解決するためのリコメンデーションを示し、前記方法は、
前記オーバーレイの選択を受け取ることと、
質を高められたオーディオデータを得るよう前記リコメンデーションを実施することと
を更に含む、
請求項１４に記載のプログラム。
【請求項16】
前記複数タイプのオーディオ異常は、反射によって引き起こされるノイズを含む、請求項１に記載のプログラム。
【請求項17】
前記検出することは、前記第１モバイルデバイスの加速度計によって生成された加速度計信号を受信し、該加速度計信号に基づき、前記第１モバイルデバイスの加速度を決定することを含む、請求項１に記載のプログラム。
【請求項18】
前記複数タイプのオーディオ異常は、前記第１モバイルデバイスの置き違えを含む、請求項１７に記載のプログラム。
【請求項19】
請求項１乃至１８のうちいずれか一項に記載のプログラムを記憶する１つ以上の非一時記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、オーディオデータの実時間エンハンスメントに関係がある。より具体的には、以下で記載される例示的な実施形態は、ユーザが生成したオーディオコンテンツにおけるオーディオ異常の実時間の検出及びアラートに関係がある。
【背景技術】
【0002】
本項目で記載されるアプローチは、追求される可能性があるアプローチであるが、必ずしも、従前検討又は追求されてきたアプローチではない。従って、別段示されない限り、この項目で記載されるアプローチのいずれも、それらがこの項目に含まれることのみをもって先行技術と見なされるわけではない。
【0003】
ユーザが写真を撮ったりビデオを撮影したりするためにスマートフォンを使用しているとき、スマートフォンの画面には、スマートフォンのカメラによってキャプチャされたものが直ちに示される。従って、ユーザは、リアルタイムで写真やビデオのオクルージョン（occlusions）及び他の異常を認識することができる。しかし、オーディオコンテンツをキャプチャする際には、一般的に、スマートフォンのスピーカは、スマートフォンのマイクロホンによってキャプチャされたものを直ちに再生しない。その結果、ユーザは、キャプチャされたオーディオコンテンツにおけるオーディオ品質の問題にリアルタイムで気付くことができない。例えば、スマートフォンは複数のマイクロホンを備えている場合があり、そのうちの少なくとも１つが遮られて、キャプチャされたオーディオコンテンツの品質を低下させる可能性がある。更には、音声レベルが高すぎたり低すぎたり、あるいは、屋外環境に存在する風切り音などの環境ノイズが大きすぎたりすることがあり、キャプチャされたオーディオコンテンツの品質を更に低下させる。
【0004】
オーディオコンテンツがキャプチャされたずっと後の別の再生までユーザを待たせるのではなく、キャプチャされたオーディオコンテンツを調べて、ユーザがオーディオコンテンツの質を高めることを支援したり、如何なるオーディオ異常もリアルタイムで解消したりすることをユーザに可能にするシステムを有することが有益である。
【発明の概要】
【0005】
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステム並びに関連する方法及び記憶媒体が開示される。システムは、メモリ及びメモリに結合される１つ以上のプロセッサを含み、リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、リアルタイムで、オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、リアルタイムで、発生のアラートを第２デバイスへ伝えることとを実行するよう構成され、アラートは、あるタイプのオーディオ異常の発生に注意を向けるもの又はその発生について説明するものである。
【0006】
本発明の例示的な実施形態は、添付の図面の図において、限定としてではなく、例として表されている。図中、同じ参照番号は類似の要素を参照するものである。
【図面の簡単な説明】
【0007】
【図1】様々な実施形態が実施され得るネットワーク化されたコンピュータシステムの例を表す。
【図2】開示される実施形態に係るオーディオ管理コンピュータシステムのコンポーネントの例を表す。
【図3】マイクロホンのオクルージョンが起こる期間にわたるオーディオインジケータのリストの例を表す。
【図4】オーディオ異常のアラートを示すスマートフォンの画面の例を表す。
【図5】ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするプロセスの例を表す。
【図6】本発明の実施形態が実装され得るコンピュータシステムを表すブロック図である。
【発明を実施するための形態】
【0008】
以下の記載では、説明を目的として、多数の具体的な詳細が、本開示の完全な理解をもたらすように、説明されている。なお、例となる実施形態は、これらの具体的な詳細によらずとも実施されてもよいことは明らかである。他の事例では、よく知られている構造及びデバイスは、例となる実施形態を不必要に不明りょうにすることを避けるために、ブロック図形態で示されている。
【0009】
実施形態は、次の骨子に従って以下の項目で記載される：
１．概要
２．例となるコンピューティング環境
３．例となるコンピュータコンポーネント
４．機能説明
４．１．ユーザが生成したオーディオコンテンツのリアルタイムモニタリング
４．１．１．マイクロホン異常検出
４．１．２．環境異常検出
４．１．３．音声異常検出
４．２．ユーザが生成したオーディオコンテンツの質を高めるリアルタイムのリコメンデーション
４．３．ユーザが生成したオーディオコンテンツの後処理
５．例となるプロセス
６．ハードウェア実施
７．拡張及び代案
１．概要
２．例となるコンピューティング環境
３．例となるコンピュータコンポーネント
４．機能説明
４．１．ユーザが生成したオーディオコンテンツのリアルタイムモニタリング
４．１．１．マイクロホン異常検出
４．１．２．環境異常検出
４．１．３．音声異常検出
４．２．ユーザが生成したオーディオコンテンツの質を高めるリアルタイムのリコメンデーション
４．３．ユーザが生成したオーディオコンテンツの後処理
５．例となるプロセス
６．ハードウェア実施
７．拡張及び代案
【0010】
１．概要
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステム及び関連する方法が開示される。いくつかの実施形態で、システムは、リアルタイムで、スマートフォンなどの第１モバイルデバイスによって生成されたオーディオデータを受け取るようプログラムされる。システムは、リアルタイムで、オーディオデータから、オーディオ異常が発生しているかどうかを決定するようプログラムされる。システムは、オーディオ異常の発生の検出に応答して、リアルタイムで第２モバイルデバイス（同じスマートフォンであってもよい。）へアラートを定時するようプログラムされる。
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステム及び関連する方法が開示される。いくつかの実施形態で、システムは、リアルタイムで、スマートフォンなどの第１モバイルデバイスによって生成されたオーディオデータを受け取るようプログラムされる。システムは、リアルタイムで、オーディオデータから、オーディオ異常が発生しているかどうかを決定するようプログラムされる。システムは、オーディオ異常の発生の検出に応答して、リアルタイムで第２モバイルデバイス（同じスマートフォンであってもよい。）へアラートを定時するようプログラムされる。
【0011】
いくつかの実施形態で、システムは、スマートフォン、又はスマートフォン内のプロセッサである。システムは、屋内又は屋外環境でシステムに含まれるか又はシステムに結合されている１つ以上のマイクロホンによって生成されたオーディオデータを連続的に受け取るようプログラムされる。システムはまた、オーディオ異常の如何なる発生についてもオーディオデータを連続的にモニタするようプログラムされる。多数のタイプのオーディオ異常、例えば、スマートフォンのマイクロホンに関するもの、オーディオがキャプチャされる環境に関するもの、又は環境内の話者の音声に関するもの、をモニタすることが可能である。オーディオ異常が発生しているかどうかの決定は、オーディオデータ、あるいは、システムに含まれるか又はシステムに結合されているセンサによって行われる追加の測定に基づくことができる。
【0012】
いくつかの実施形態で、システムは、オーディオ異常の発生を検出すると、リアルタイムでオーディオ異常のアラートを提示するようプログラムされる。例えば、アラートは、システムに含まれるか又はシステムに結合されている画面に表示され得るか、あるいは、システムに含まれるか又はシステムに結合されているスピーカで再生され得る。アラートはまた、正常なオーディオコンテンツの生成を再開するようオーディオ異常を解消したり、又はオーディオ異常が発生した既に生成されているオーディオコンテンツの質を高めたりするためのリコメンデーションも含むことができる。システムは、自動的に又はユーザの承認に応答してリコメンデーションを実施するようプログラムされ得る。録音後、システムは、オーディオ異常の発生に関する注釈を付けて、録音されたオーディオの即時に視覚提示を引き起こすようプログラムされ得る。注釈は、発生が検出されたときに記録される。
【0013】
システムはいくつかの技術的利点を有する。システムは、モバイルデバイスによって生成されたオーディオコンテンツに関するリアルタイムのフィードバックを提供することを可能にし、これにより、可能な限り直ぐに、望ましくないオーディオコンテンツの更なる生成は阻止される。システムはまた、包括的な方法でオーディオ品質を維持するのを助けるように、マイクロホン異常を含む複数タイプのオーディオ異常の検出も可能にする。システムはまた、リアルタイムのエンハンスメントを含む、オーディオ異常が起きているオーディオコンテンツの自動エンハンスメントも可能にする。更に、システムは、可能な限り直ぐに品質を改善するように、録音されたばかりのオーディオコンテンツの品質の即時の視覚化を可能にする。
【0014】
２．例となるコンピューティング環境
図１は、様々な実施形態が実施され得るネットワーク化されたコンピュータシステムの例を表す。図１は、明りょうな例示のために、簡略化された概略的形態で示されており、他の実施形態は、より多い、より少ない、又は異なる要素を含んでもよい。
図１は、様々な実施形態が実施され得るネットワーク化されたコンピュータシステムの例を表す。図１は、明りょうな例示のために、簡略化された概略的形態で示されており、他の実施形態は、より多い、より少ない、又は異なる要素を含んでもよい。
【0015】
いくつかの実施形態で、ネットワーク化されたコンピュータシステムは、オーディオ管理コンピュータシステム１０２（「システム」）、１つ以上のセンサ１０４又は入力デバイス、及び１つ以上の出力デバイス１１０を含み、これらは、直接的な物理接続を通じて、又は１つ以上のネットワーク１１８を介して、通信可能に結合されている。
【0016】
いくつかの実施形態で、システム１０２は、ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタすることに関する機能をホスト又は実行するよう配置されているデータ構造及び／又はデータ記録を用いてプログラム又は構成されている１つ以上のコンピュータ、仮想コンピューティングインスタンス、及び／又はアプリケーションのインスタンスを広く表す。システム１０２は、サーバファーム、クラウドコンピューティングプラットフォーム、パラレルコンピュータ、又は上記の機能のためにデータ処理、データ記憶、及びネットワーク通信で十分な計算能力を持った任意の他のコンピューティングファシリティを有することができる。
【0017】
いくつかの実施形態で、システム１０２は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、又はウェアラブルデバイスなどのクライアントデバイスを広く表す。そのようなクライアントデバイスは、１つ以上のセンサ１０４又は１つ以上の出力デバイス１１０と一体化され得る。そのようなクライアントデバイスはまた、ケーブルなどの物理コンポーネント、又は１つ以上のネットワーク１１８を介して、１つ以上のセンサ１０４又は１つ以上の出力デバイス１１０に結合されることもできる。
【0018】
いくつかの実施形態で、１つ以上のセンサ１０４又は入力デバイスの夫々は、音響を電気信号に変換するマイクロホン又は他のデジタル記録デバイスを含むことができる。各センサはプロセッサを含んでもよく、あるいは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、又はウェアラブルデバイスなどの典型的なクライアントデバイスに組み込まれてもよい。
【0019】
いくつかの実施形態で、１つ以上の出力デバイス１１０の夫々は、電気信号を音響に戻すスピーカ又は他のデジタル再生デバイスを含むことができる。各出力デバイスは、システム１０２から受け取られたオーディオデータを再生するようプログラムされる。センサと同様に、出力デバイスはプロセッサを含んでもよく、あるいは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、又はウェアラブルデバイスなどの典型的なクライアントデバイスに組み込まれてもよい。
【0020】
１つ以上のネットワーク１１８は、図１の様々な要素の間のデータの交換をもたらす任意の媒体又はメカニズムによって実施され得る。ネットワーク１１８の例には、制限なしに、セルラーアンテナを介してコンピューティングデバイスへのデータ接続と通信可能に結合されるセルラーネットワーク、近距離通信（ＮＦＣ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、地上又は衛星リンク、などのうちの１つ以上がある。
【0021】
いくつかの実施形態で、システム１０２は、音響の生成に対してリアルタイムで、１つ以上のセンサ１０４から所与の環境での音響に対応する入力オーディオデータを受け取るようプログラムされる。システム１０２は、次に、入力オーディオデータの受け取りに対してリアルタイムで、音声及びノイズの混合に通常対応する入力オーディオデータを処理して、入力オーディオデータからあるタイプのオーディオ異常の任意の発生を検出するようプログラムされる。システム１０２は、更に、発生の検出に対してリアルタイムで、検出された任意の発生のアラートを１つ以上の出力デバイスへ伝えるようプログラムされる。システム１０２はまた、質を高められたオーディオデータを得るよう発生を終了するか又は入力オーディオデータを更新するためのリコメンデーションを伝送又は実施することもできる。
【0022】
３．例となるコンピュータコンポーネント
図２は、開示される実施形態に係るオーディオ管理コンピュータシステムのコンポーネントの例を表す。図は、例示のみを目的としており、システム１０２は、より少ない又はより多い機能又は記憶コンポーネントを有することができる。機能コンポーネントの夫々は、ソフトウェアコンポーネント、汎用若しくは特別目的のハードウェアコンポーネント、ファームウェアコンポーネント、又はそれらの任意の組み合わせとして実施され得る。機能コンポーネントの夫々はまた、１つ以上の記憶コンポーネント（図示せず。）と結合され得る。記憶コンポーネントは、関連データベース、オブジェクトデータベース、フラットファイルシステム、又はＪＳＯＮストアのいずれかを用いて実施され得る。記憶コンポーネントは、プログラム呼び出し、遠隔手続き呼び出し（ＲＰＣ）設備又はメッセージングバスを用いてネットワークを通じて又はローカルで機能コンポーネントに接続され得る。コンポーネントは内蔵型であってもなくてもよい。実施特有の又は他の懸案事項に応じて、コンポーネントは、機能的又は物理的に中央集権化されても又は分散されてもよい。
図２は、開示される実施形態に係るオーディオ管理コンピュータシステムのコンポーネントの例を表す。図は、例示のみを目的としており、システム１０２は、より少ない又はより多い機能又は記憶コンポーネントを有することができる。機能コンポーネントの夫々は、ソフトウェアコンポーネント、汎用若しくは特別目的のハードウェアコンポーネント、ファームウェアコンポーネント、又はそれらの任意の組み合わせとして実施され得る。機能コンポーネントの夫々はまた、１つ以上の記憶コンポーネント（図示せず。）と結合され得る。記憶コンポーネントは、関連データベース、オブジェクトデータベース、フラットファイルシステム、又はＪＳＯＮストアのいずれかを用いて実施され得る。記憶コンポーネントは、プログラム呼び出し、遠隔手続き呼び出し（ＲＰＣ）設備又はメッセージングバスを用いてネットワークを通じて又はローカルで機能コンポーネントに接続され得る。コンポーネントは内蔵型であってもなくてもよい。実施特有の又は他の懸案事項に応じて、コンポーネントは、機能的又は物理的に中央集権化されても又は分散されてもよい。
【0023】
いくつかの実施形態で、システム１０２は、データ収集命令２０２、異常検出命令２０４、異常通知命令２０６、及び異常解消又はオーディオエンハンスメント命令２０８を有する。システム１０２はまた、データベース２２０も有する。
【0024】
いくつかの実施形態で、データ収集命令２０２は、１つ以上の入力デバイス、通常はマイクロホンからのオーディオデータのリアルタイム収集、加速度センサなどの他のセンサの測定、又はユーザインターフェース要素の選択などのユーザ入力を可能にする。
【0025】
いくつかの実施形態で、異常検出命令２０４は、オーディオデータを生成するマイクロホン、オーディオデータが生成される環境、及びマイクロホンによって記録される音声に関係することができる複数タイプのオーディオ異常の定義を可能にする。異常検出命令２０４はまた、入力オーディオデータ又は他のセンサ測定からのあるタイプのオーディオ異常の発生のリアルタイム検出も可能にする。
【0026】
いくつかの実施形態で、異常通知命令２０６は、あるタイプの異常の発生のリアルタイム通知を可能にする。通知は、発生のアラート又は発生を停止するためのリコメンデーションを提示することを含むことができ、少なくとも視覚形態又は聴覚形態で提示され得る。
【0027】
いくつかの実施形態で、異常解消又はオーディオエンハンスメント命令２０８は、正常なオーディオコンテンツの将来の生成のためにオーディオ異常を取り除くこと、又はオーディオ異常が起きた以前に生成されたオーディオコンテンツの質を高めることを可能にする。オーディオ除去又はエンハンスメントは、自動的にリアルタイムで又はユーザ命令に応答して実行され得る。
【0028】
いくつかの実施形態で、データベース２２０は、入力オーディオデータ、質を高められたオーディオデータ、異常検出及び通知モジュール、オーディオ異常定義、アラート定義、リコメンデーション定義、センサ測定、又はデバイスデータなどの関連データの記憶及び該関連記憶へのアクセスを管理するようプログラム又は構成される。
【0029】
４．機能説明
４．１．ユーザが生成したオーディオコンテンツのリアルタイムモニタリング
４．１．１．マイクロホン異常検出
図３は、マイクロホンのオクルージョンが発生する期間にわたるオーディオインジケータのリストの例を表す。この例では、スマートフォンのマイクロホンの数は２つであり、１つのマイクロホンは、期間のいくつかの区間中、偶発的に覆われる。
４．１．ユーザが生成したオーディオコンテンツのリアルタイムモニタリング
４．１．１．マイクロホン異常検出
図３は、マイクロホンのオクルージョンが発生する期間にわたるオーディオインジケータのリストの例を表す。この例では、スマートフォンのマイクロホンの数は２つであり、１つのマイクロホンは、期間のいくつかの区間中、偶発的に覆われる。
【0030】
マイクロホンのオクルージョンは、一般的に、モバイルでキャプチャされたオーディオ信号において高周波エネルギの強いロールオフを引き起こす。よって、いくつかの実施形態で、システム１０２は、２つのマイクロホンの間で高周波数成分に関する１つ以上のオーディオインジケータの値を評価することによって、マイクロホンのオクルージョンを検出し、マイクロホンオクルージョンフラグを立てることができる。マイクロホンオクルージョンフラグなどのオーディオ異常フラグを立てることは、一般的に、オーディオ異常の発生の説明及び開始時間を含む当該発生に関する情報を記録することを意味する。そのようなオーディオインジケータは、インジケータ３０４などの、２つのマイクロホンによって生成された２つの信号の間の高周波数における対数パワー差分和（log power difference sum，ＬＰＤＳ）、又はマイクロホンによって生成された各信号の高周波エネルギと低周波エネルギとの間の相対比率を示すスペクトル勾配若しくはスペクトルバランス（図示せず）を含む。図３で、マイクロホンのオクルージョンの検出の結果はライン３０２として示されており、非ゼロの値はオクルージョンのインスタンスに対応する。システム１０２は、様々なパラメータからリアルタイムでＬＰＤＳを計算し、次いで、ＬＰＤＳから次のように、マイクロホンのオクルージョンが発生しているかどうかを決定することができる。これは、２よりも多いマイクロホンに容易に拡張できる：
ｆｕｎｃｔｉｏｎ ｐ＝ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＩｎｉｔ（ｇ，ｐ）
％ｇは周波数領域でのオーディオ信号を表し、ｐはパラメータの組を表す
％ｇ．Ｆｓはサンプル周波数レートを表し、８０００、１６０００又は３２０００にセットされ得る
％ｇ．Ｂｌｏｃｋ＝ｇ．Ｆｓ＊ｆｒａｍｅＬｅｎｇｔｈ（前もってセットされた値）
％ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＩｎｉｔ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＴｉｍｅ’，０．５，‘Ｓｔａｔｅ’）；％（ｓｅｃ）レベル差の平滑化
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＴｉｍｅ’，１，‘Ｓｔａｔｅ’）；％（ｓｅｃ）検出時間の閾値
％導出されたパラメータ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＡｌｐｈａ’，１－ｅｘｐ（－ｇ．Ｂｌｏｃｋ／ｇ．Ｆｓ／ｐ．ＳｍｏｏｔｈＴｉｍｅ），‘Ｄｅｒｉｖｅｄ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＣｏｕｎｔＴｈｒｅｓｈｏｌｄ’，ｐ．ＣｏｕｎｔＴｉｍｅ＊ｇ．Ｆｓ／ｇ．Ｂｌｏｃｋ，‘Ｄｅｒｉｖｅｄ’）；
％状態パラメータ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＬｅｖｅｌＤｉｆｆ’，２５，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＡｎｏｍａｌｙＬｉｋｅ’，０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘Ｃｏｕｎｔ’，０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＭａｘＣｏｕｎｔ’，６０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＭｉｃＢｌｏｃｋｅｄ’，０，‘Ｓｔａｔｅ’）；
％ＭｉｃＢｌｏｃｋｅｄは、関心のあるマイクロホンが遮られている又は閉塞されているかどうかを示す
ｅｎｄ
ｆｕｎｃｔｉｏｎ ｐ＝ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＰｒｏｃｅｓｓ（ｇ，ｐ，ＳｔｅｒｅｏＢａｎｄｓ）
％ＳｔｅｒｅｏＢａｎｄｓは周波数帯域の組を表す
％ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＰｒｏｃｅｓｓ
％高周波帯域でのステレオチャネルのレベル差
ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ＝１０＊ｌｏｇ１０（ＳｔｅｒｅｏＢａｎｄｓ（１６：ｅｎｄ，１）＋ｅｐｓ）；
ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ＝１０＊ｌｏｇ１０（ＳｔｅｒｅｏＢａｎｄｓ（１６：ｅｎｄ，２）＋ｅｐｓ）；
％ｐ．ＬｅｖｅｌＤｉｆｆ＝ｓｕｍ（ａｂｓ（ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ－ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ））／２０；
ｐ．ＬｅｖｅｌＤｉｆｆ＝（１－ｐ．ＳｍｏｏｔｈＡｌｐｈａ）＊ｐ．ＬｅｖｅｌＤｉｆｆ＋ｐ．ＳｍｏｏｔｈＡｌｐｈａ＊（ｓｕｍ（ａｂｓ（ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ－ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ））／１０）；
％どれくらい長くレベル差が異常であるかを決定する
ｐ．ＡｎｏｍａｌｙＬｉｋｅ＝（ｐ．ＬｅｖｅｌＤｉｆｆ＞３０）；
％長いブロック＞５００ｍｓ及び１秒よりも長い間隔を探す
ｐ．Ｃｏｕｎｔ＝ｍｉｎ（ｐ・ＭａｘＣｏｕｎｔ，ｐ．Ｃｏｕｎｔ＋ｐ．ＡｎｏｍａｌｙＬｉｋｅ）；
ｉｆ（ｐ．ＬｅｖｅｌＤｉｆｆ＜２０）
ｐ．Ｃｏｕｔ＝０；％レベル差が低い場合にリセット
ｅｎｄ
ｐ．ＭｉｃＢｌｏｃｋｅｄ＝ｐ．Ｃｏｕｎｔ＞ｐ．ＣｏｕｎｔＴｈｒｅｓｈｏｌｄ；
ｅｎｄ
ｆｕｎｃｔｉｏｎ ｐ＝ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＩｎｉｔ（ｇ，ｐ）
％ｇは周波数領域でのオーディオ信号を表し、ｐはパラメータの組を表す
％ｇ．Ｆｓはサンプル周波数レートを表し、８０００、１６０００又は３２０００にセットされ得る
％ｇ．Ｂｌｏｃｋ＝ｇ．Ｆｓ＊ｆｒａｍｅＬｅｎｇｔｈ（前もってセットされた値）
％ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＩｎｉｔ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＴｉｍｅ’，０．５，‘Ｓｔａｔｅ’）；％（ｓｅｃ）レベル差の平滑化
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＴｉｍｅ’，１，‘Ｓｔａｔｅ’）；％（ｓｅｃ）検出時間の閾値
％導出されたパラメータ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＳｍｏｏｔｈＡｌｐｈａ’，１－ｅｘｐ（－ｇ．Ｂｌｏｃｋ／ｇ．Ｆｓ／ｐ．ＳｍｏｏｔｈＴｉｍｅ），‘Ｄｅｒｉｖｅｄ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＣｏｕｎｔＴｈｒｅｓｈｏｌｄ’，ｐ．ＣｏｕｎｔＴｉｍｅ＊ｇ．Ｆｓ／ｇ．Ｂｌｏｃｋ，‘Ｄｅｒｉｖｅｄ’）；
％状態パラメータ
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＬｅｖｅｌＤｉｆｆ’，２５，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＡｎｏｍａｌｙＬｉｋｅ’，０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘Ｃｏｕｎｔ’，０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＭａｘＣｏｕｎｔ’，６０，‘Ｓｔａｔｅ’）；
ｐ＝ＳｅｔＰａｒａｍ（ｐ，‘ＭｉｃＢｌｏｃｋｅｄ’，０，‘Ｓｔａｔｅ’）；
％ＭｉｃＢｌｏｃｋｅｄは、関心のあるマイクロホンが遮られている又は閉塞されているかどうかを示す
ｅｎｄ
ｆｕｎｃｔｉｏｎ ｐ＝ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＰｒｏｃｅｓｓ（ｇ，ｐ，ＳｔｅｒｅｏＢａｎｄｓ）
％ＳｔｅｒｅｏＢａｎｄｓは周波数帯域の組を表す
％ＳｏｕｎｄＤｏｇＤｅｔｅｃｔｏｒＰｒｏｃｅｓｓ
％高周波帯域でのステレオチャネルのレベル差
ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ＝１０＊ｌｏｇ１０（ＳｔｅｒｅｏＢａｎｄｓ（１６：ｅｎｄ，１）＋ｅｐｓ）；
ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ＝１０＊ｌｏｇ１０（ＳｔｅｒｅｏＢａｎｄｓ（１６：ｅｎｄ，２）＋ｅｐｓ）；
％ｐ．ＬｅｖｅｌＤｉｆｆ＝ｓｕｍ（ａｂｓ（ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ－ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ））／２０；
ｐ．ＬｅｖｅｌＤｉｆｆ＝（１－ｐ．ＳｍｏｏｔｈＡｌｐｈａ）＊ｐ．ＬｅｖｅｌＤｉｆｆ＋ｐ．ＳｍｏｏｔｈＡｌｐｈａ＊（ｓｕｍ（ａｂｓ（ＬｏｇＢａｎｄｓ＿Ｌｅｆｔ－ＬｏｇＢａｎｄｓ＿Ｒｉｇｈｔ））／１０）；
％どれくらい長くレベル差が異常であるかを決定する
ｐ．ＡｎｏｍａｌｙＬｉｋｅ＝（ｐ．ＬｅｖｅｌＤｉｆｆ＞３０）；
％長いブロック＞５００ｍｓ及び１秒よりも長い間隔を探す
ｐ．Ｃｏｕｎｔ＝ｍｉｎ（ｐ・ＭａｘＣｏｕｎｔ，ｐ．Ｃｏｕｎｔ＋ｐ．ＡｎｏｍａｌｙＬｉｋｅ）；
ｉｆ（ｐ．ＬｅｖｅｌＤｉｆｆ＜２０）
ｐ．Ｃｏｕｔ＝０；％レベル差が低い場合にリセット
ｅｎｄ
ｐ．ＭｉｃＢｌｏｃｋｅｄ＝ｐ．Ｃｏｕｎｔ＞ｐ．ＣｏｕｎｔＴｈｒｅｓｈｏｌｄ；
ｅｎｄ
【0031】
スマートフォンのマイクロホンが機能しなくなる場合、信号は常にゼロ値を有する。いくつかの実施形態で、システム１０２は、マイクロホンによって生成された各信号についてゼロ値フレームの数のカウンタを保持する。システム１０２は、カウンタ値が特定の閾値（例えば、２秒で１００フレーム）を超えるときにマイクロホンの不具合と結論を下し、マイクロホン不具合フラグを立てることができる。カウンタは、マイクロホンの不具合が直されるときにリセットされ得る。
【0032】
ときどき、スマートフォンは内蔵型マイクロホンに頼らずに、スマートフォンに接続されている完全ワイヤレスイヤホン（earbuds）に埋め込まれているマイクロホンに頼ることがある。完全ワイヤレスイヤホン、よって、マイクロホンは、スマートフォンに対して可変な位置を有することができる。スマートフォンに接続されている完全ワイヤレスイヤホンの一方を落とすか又はさもなれば置き忘れられる場合、落としたイヤホンが正しい位置に再配置されるまでバイノーラルシーンは不正確になる。いくつかの実施形態で、システム１０２は、イヤホンが落下しているか又は別なふうに動いているときに同じくイヤホンに埋め込まれている加速度計によって生成された信号に基づき、突然の落下などのイヤホンの置き違えを検出し、イヤホン落下フラグを立てる。具体的に、システム１０２は、加速度計によって生成された信号を受信し、イヤホンの加速度を決定することができる。他の実施形態で、システムは、同じくイヤホンに埋め込まれている骨振動センサによって生成された信号に基づき、イヤホンの置き違えを検出し、イヤホン置き違えフラグを立てる。具体的に、システム１０２は、骨振動センサによって生成された信号を受信し、耳の中の振動又は耳から外れることを決定することができる。
【0033】
４．１．２．環境異常検出
いくつかの実施形態で、システム１０２は、（異常が起きたオーディオデータの生成に関して）リアルタイムで、当業者に知られている既存の技術を用いて、ユーザが生成したオーディオコンテンツに存在する種々の種類の環境ノイズを検出する。システム１０２は、オーディオコンテンツにおいて、ノイズ（周囲、空室ノイズ、又は人間以外の他の源によって生成された任意の音響）のレベル又はシャープネス、推定される信号対雑音比（ＳＮＲ）、音声のリバーブ又は拡散の推定量、あるいは、風、銃声、又は公共放送などで発生するノイズなどの特定の屋外ノイズの推定量を計算又は追跡することができる。システム１０２は更に、これらの追跡された値のいずれかが対応する閾値を超える場合に、ユーザが生成したオーディオコンテンツにおいて環境異常が発生していることを決定する。例えば、ＳＮＲ推定では、検出された信号が１０ｄＢよりも低い場合、システム１０２は、環境異常が発生していると結論を下すことができる。決定に応答して、システム１０２は、環境異常フラグ、又はノイズのタイプの特有のフラグを立てることができる。
いくつかの実施形態で、システム１０２は、（異常が起きたオーディオデータの生成に関して）リアルタイムで、当業者に知られている既存の技術を用いて、ユーザが生成したオーディオコンテンツに存在する種々の種類の環境ノイズを検出する。システム１０２は、オーディオコンテンツにおいて、ノイズ（周囲、空室ノイズ、又は人間以外の他の源によって生成された任意の音響）のレベル又はシャープネス、推定される信号対雑音比（ＳＮＲ）、音声のリバーブ又は拡散の推定量、あるいは、風、銃声、又は公共放送などで発生するノイズなどの特定の屋外ノイズの推定量を計算又は追跡することができる。システム１０２は更に、これらの追跡された値のいずれかが対応する閾値を超える場合に、ユーザが生成したオーディオコンテンツにおいて環境異常が発生していることを決定する。例えば、ＳＮＲ推定では、検出された信号が１０ｄＢよりも低い場合、システム１０２は、環境異常が発生していると結論を下すことができる。決定に応答して、システム１０２は、環境異常フラグ、又はノイズのタイプの特有のフラグを立てることができる。
【0034】
４．１．３．音声異常検出
いくつかの実施形態で、システム１０２は、リアルタイムで、当業者に知られている既存の技術を用いて、ユーザが生成したオーディオコンテンツにおいて種々のタイプの音声特性を検出する。システム１０２は、オーディオコンテンツにおいて、音声レベルが低すぎるかどうか、音声レベルが高すぎたためにクリップされていること、又は音声が他の好ましくない属性を示すかどうかを決定又は追跡することができる。システム１０２はまた、リアルタイム評価のためのＩＴＵ－Ｔ Ｒｅｃ． Ｐ．５６３などの非侵襲的な音声メトリクスも使用することができる。そのような非侵襲的な音声メトリクスは、信号が評価されるべき終点又は中間点での信号のみを必要とし、ユーザが生成したオーディオコンテンツに十分に適し得る。決定に応答して、システム１０２は、音声異常フラグ、又は音声の好ましくない属性に特有のフラグを立てることができる。
いくつかの実施形態で、システム１０２は、リアルタイムで、当業者に知られている既存の技術を用いて、ユーザが生成したオーディオコンテンツにおいて種々のタイプの音声特性を検出する。システム１０２は、オーディオコンテンツにおいて、音声レベルが低すぎるかどうか、音声レベルが高すぎたためにクリップされていること、又は音声が他の好ましくない属性を示すかどうかを決定又は追跡することができる。システム１０２はまた、リアルタイム評価のためのＩＴＵ－Ｔ Ｒｅｃ． Ｐ．５６３などの非侵襲的な音声メトリクスも使用することができる。そのような非侵襲的な音声メトリクスは、信号が評価されるべき終点又は中間点での信号のみを必要とし、ユーザが生成したオーディオコンテンツに十分に適し得る。決定に応答して、システム１０２は、音声異常フラグ、又は音声の好ましくない属性に特有のフラグを立てることができる。
【0035】
４．２．ユーザが生成したオーディオコンテンツの質を高めるリアルタイムのリコメンデーション
いくつかの実施形態で、第４．１節で議論されているようにオーディオ異常フラグが立てられると、システム１０２は、（オーディオ異常が検出された時に対して）リアルタイムで、オーディオ異常フラグに基づいて、検出されたオーディオ異常のアラートをユーザデバイス又はユーザへ送る。アラートは、ユーザの注意を引くための方法であるか、又は実際にオーディオ異常について説明することができる。システムは、アラートとともに、又はアラートに対するユーザ応答を受信すると、追加情報を送ることができる。追加情報は、オーディオ異常の原因を取り除く方法、既に生成されたオーディオコンテンツの質を高める方法、又は正常な、異常のないオーディオコンテンツの将来の生成を可能にする方法に関するリコメンデーションを含むことができる。
いくつかの実施形態で、第４．１節で議論されているようにオーディオ異常フラグが立てられると、システム１０２は、（オーディオ異常が検出された時に対して）リアルタイムで、オーディオ異常フラグに基づいて、検出されたオーディオ異常のアラートをユーザデバイス又はユーザへ送る。アラートは、ユーザの注意を引くための方法であるか、又は実際にオーディオ異常について説明することができる。システムは、アラートとともに、又はアラートに対するユーザ応答を受信すると、追加情報を送ることができる。追加情報は、オーディオ異常の原因を取り除く方法、既に生成されたオーディオコンテンツの質を高める方法、又は正常な、異常のないオーディオコンテンツの将来の生成を可能にする方法に関するリコメンデーションを含むことができる。
【0036】
いくつかの実施形態で、システム１０２は、スマートフォンの画面によるアラートメッセージ提示などの、アラートメッセージの視覚表示を引き起こす。図４は、オーディオ異常のアラートを示すスマートフォンの画面の例を表す。この例で、システム１０２は、スマートフォンがオーディオデータを記録しているときに周囲ノイズが大きすぎることを検出している。従って、ユーザが生成したオーディオコンテンツにおけるオーディオ異常をユーザに知らせるために、スマートフォンの画面４００にアラート４０２が即時に表示される。同様のアラートは、例えば、左のマイクロホンが遮られていること、風切り音が強すぎること、人の声が低すぎること、又は人の音声レベルがクリップされていること、などを示すために、検出された如何なるオーディオ異常についても表示され得る。
【0037】
いくつかの実施形態で、システム１０２は、スマートフォンのスピーカによるアラートメッセージの提示などの、アラートメッセージ聴覚再生を引き起こす。スマートフォンの画面に即時に表示され得る同じアラートメッセージが、スマートフォンのスピーカにより即時に再生され得る。完全なアラートメッセージの代わりに、又はそれに加えて、システム１０２はまた、オーディオ異常フラグの性質に依らないアラート信号の再生も引き起こすことができる。アラート信号の例には、ユーザの注意をひくための１つ以上の鋭いピープ音又は鳴動音がある。完全なアラートメッセージ若しくはアラート信号の代わりに、又はそれらに加えて、システム１０２は、オーディオ異常が起きたオーディオコンテンツの区間の再生を引き起こすことができる。例えば、記録を中止するようユーザに促すよう短いアラート信号又は完全なアラートメッセージを再生した後、システム１０２は、オーディオ異常の更なる理解をユーザにもたらすために、オーディオ異常が起きたオーディオコンテンツの区間の再生を続けることができる。
【0038】
いくつかの実施形態で、オーディオ異常のアラートを送ることに代えて、又はそれに加えて、システム１０２は、（オーディオ異常の検出に関して）リアルタイムでオーディオ異常を処理するためのリコメンデーションを送るか、又はリコメンデーションを自動的に実施する。各リコメンデーションは、先と同じく、少なくとも視覚的又は聴覚的に送られ得る。例えば、オーディオ異常の最初のアラートが表示されたスマートフォンの同じ画面に、オーディオ異常を処理するためのリコメンデーションの説明が表示され得る。代替的に、リコメンデーションを見るための選択肢を同じ画面に表示することができ、選択肢の選択に応答して、リコメンデーションの説明を別の画面に表示することができる。別の例として、アラートメッセージは、リコメンデーションを聞くためのユーザへのリクエストの有無によらず、スマートフォンのスピーカで再生され得る。次いで、システム１０２は、リクエストに含まれる音声プロンプト、又は「もっと教えてください」などのデフォルトの音声プロンプトを聞き、リコメンデーションの説明を再生させることができる。
【0039】
いくつかの実施形態で、オーディオ異常がマイクロホンに関係する場合、システム１０２は、オーディオ異常の原因を取り除いたり又は正常なオーディオコンテンツの将来の生成を可能にしたりするための様々な動作を薦めることができる。マイクロホンのオクルージョン又は機能不良が検出される場合に、オーディオ異常を処理するためのリコメンデーションは、マイクロホンを特定し、マイクロホンに対する障害物の除去又は修理をユーザに要求するメッセージを含むことができる。機能不良は、例えば、電力の不足に起因する可能性がある。マイクロホン又はイヤホンの置き違えが検出される場合、リコメンデーションは、同様に、イヤホンを特定し、イヤホンを置き直すようユーザに要求するメッセージを含むことができる。高音の連続などのアラート信号を、落としたイヤホンで再生することもでき、ユーザがどのイヤホンを落としたかを認識し、それを然るべく再配置することが期待されるとき、リコメンデーションは不要であり得る。
【0040】
いくつかの実施形態で、システム１０２はまた、既に生成されたオーディオコンテンツの質を高めるための様々な動作を薦めることもできる。マイクロホンのオクルージョン又は置き違えが検出される場合、システム１０２は、オクルージョンの量（マイクロホンは完全には遮られていないと仮定）又は置き違えの位置に基づいて、既に生成されたオーディオコンテンツを調整する量及び方法を決定することができる。オーディオ異常を処理するためのリコメンデーションは、その場合に、特定の量及び方法で調整を行うというメッセージを含むことができる。システム１０２はまた、閉塞されたマイクロホンによって記録されたオーディオコンテンツを、閉塞されていなかった他のマイクロホンによって記録されたオーディオコンテンツで置換することを薦めることもできる。システム１０２は、既に生成されたオーディオコンテンツの質を自動的に又はユーザ入力に基づいて特定の時点で高めるためのリコメンデーションを実施することができる。
【0041】
いくつかの実施形態で、オーディオ異常が環境（部屋又は屋外であることができる。）に関係する場合、システム１０２は、オーディオ異常の原因を取り除いたり又は正常なオーディオコンテンツの将来の生成を可能にしたりするための様々な動作を薦めることができる。第１閾値よりも大きいノイズレベルが検出される場合に、又は第２閾値よりも大きいＳＮＲが検出される場合に、オーディオ異常を処理するためのリコメンデーションは、音響記録セットアップの少なくとも一部を移動すること、又はシステム１０２によって実施される特定のオーディオ処理機能をオンすることを含むことができる。オーディオ処理機能は、当業者に知られている既存のノイズ抑制技術を含むことができる。
【0042】
いくつかの実施形態で、オンされるべきオーディオ処理機能は、検出されたノイズのタイプに依存することもできる。ノイズは、音楽再生、鳥のさえずり、犬の鳴き声、空調振動、風の吹き込み、アンプ放送、又は他の予期せぬ環境事象に由来する可能性があり、ノイズはまた、反射により生じる可能性もある。検出されたノイズのタイプに特有のノイズ抑制技術がその場合に適用され得る。例えば、ＲＴ６０で表したリバーブ時間、直接残響比（ＤＲＲ）で表したリバーブ効果、又は推定された音の拡散レベルが夫々の閾値を超え、屋内環境に強い残響又は反射があることを示している場合、リコメンデーションは、リバーブ抑制技術をオンすること、又はマイクロホンを対象の話者の近くに移動することを含むことができる。
【0043】
いくつかの実施形態で、ノイズが予期せぬ事象に由来する場合、ユーザは、ノイズに関連した潜在的な危険を認識していないことがある。例えば、はるか後方から急接近する車からブーブーという音が聞こえたり、あるいは、少し離れたところから発砲した音が同様に他の音のプールに埋もれていたりすることがある。このようなタイプのノイズが検出される場合、リコメンデーションは、記録を停止し、現在の場所から直ちに離れるようにというメッセージを含むことができる。更に、ノイズが予期せぬ事象に由来する場合、システム１０２は、ノイズが大きすぎて使用可能なオーディオコンテンツを生成できないが、短時間内に終了する、と自動的に判断することができる。その場合、リコメンデーションは、記録を一時停止することであることができる。例えば、公共放送が行われていることが検出される場合、又はスプリンクラーが作動している場合、そのようなノイズの終了が検出されるまで、ユーザの確認に応答して、記録は自動的に一時停止され得る。
【0044】
いくつかの実施形態で、システム１０２は、既に生成されたオーディオコンテンツの質を高めるための様々な動作も薦めることができる。環境異常の検出に応答して生成されるオーディオコンテンツのリアルタイムの処理で使用される同じノイズ抑制技術が、既に生成されたオーディオコンテンツに適用され得る。よって、オーディオ異常を処理するためのリコメンデーションは、特定のノイズ抑制技術を適用するというメッセージを含むことができる。システム１０２は、既に生成されたオーディオコンテンツの質を自動的に又はユーザ入力に基づいて特定の時点で高めるためのリコメンデーションを実施することができる。
【0045】
いくつかの実施形態で、オーディオ異常が人間の声に関係する場合、システム１０２は、オーディオ異常の原因を取り除いたり又は正常なオーディオコンテンツの将来の生成を可能にしたりするための様々な動作を薦めることができる。第１閾値よりも低い音声レベルが検出される場合に、リコメンデーションは、音声を特定の範囲まで上げることを含むことができる。同様に、第２閾値よりも低い音声レベルが検出される場合に、第２閾値は、マイクロホンに関連したクリッピング閾値であることができ、リコメンデーションは、音声を特定の範囲まで下げることを含むことができる。同様に、前もってセットされた標準を満足しない何らかの音声品質指標が検出される場合に、リコメンデーションは、音声品質を高めるよう特定の方法で音声を調整すること、例えば、ユーザにささやいたり叫び始めたりするよう要求すること、を含むことができる。
【0046】
いくつかの実施形態で、システム１０２はまた、既に生成されたオーディオコンテンツの質を高めるための様々な動作も薦めることができる。音声異常の検出に応答して生成されるオーディオコンテンツのリアルタイムの処理で使用される同じ音声調整技術が、既に生成されたオーディオコンテンツに適用され得る。よって、リコメンデーションは、特定の音声調整技術を適用するというメッセージを含むことができる。システム１０２は、既に生成されたオーディオコンテンツの質を自動的に又はユーザ入力に基づいて特定の時点で高めるためのリコメンデーションを実施することができる。
【0047】
いくつかの実施形態で、システム１０２は、ユーザが生成したオーディオコンテンツをリアルタイムでモニタし、検出された任意のオーディオ異常が解消されて、その時点でシステム１０２がオーディオ異常フラグをクリアすることができるまで、アラート又はリコメンデーションの繰り返しの提示を引き起こし続ける。オーディオ異常フラグをクリアすることは、一般的に、オーディオ異常の記録された説明を見つけ、オーディオ異常の発生の終了時間を更に記録することを意味する。例えば、システム１０２は、イヤホンが適切に再配置されるまでイヤホンの位置を追跡したり、ノイズ抑制技術が適用されるまでノイズレベルを追跡したり、又は音声レベルが正常範囲に戻るまで音声レベルを追跡したりすることができる。
【0048】
いくつかの実施形態で、オーディオ異常がリアルタイムで解消されている間、システム１０２は、既に生成されたオーディオコンテンツの扱い方、又はオーディオコンテンツの将来の生成の進め方を決定することができる。システム１０２は、オーディオ異常が解消されるまで更なる生成を無効化すること、又はそのような無効化を承認するようユーザに要求すること自動的に行うことができる。システム１０２は、オーディオ異常が発生し始めた時点から何が起こったかを再現するようユーザに要求し、そして、オーディオ異常の発生に対応するオーディオコンテンツの区間の削除を承認するようユーザに要求することができる。オーディオコンテンツの区間は、削除を承認すべきかどうかをユーザが判断するのを助けるために、叙述されたように、再生され得る。
【0049】
４．３．ユーザが生成したオーディオコンテンツの後処理
いくつかの実施形態で、ユーザが生成したオーディオコンテンツの再生において、システム１０２は、表示デバイスで提示されるグラフィカルユーザインターフェース（ＧＵＩ）を生成することができる。ＧＵＩは、時間軸に沿った波形のパネルなどの、ユーザが生成したオーディオコンテンツの表示を含み得る。ＧＵＩは、オーディオ異常フラグの発生及びクリアに基づいてオーディオコンテンツのグラフィック表現へのオーディオ異常情報のオーバーレイを更に含み得る。オーディオ異常情報は、いつ異常の発生が開始又は終了したか、オーディオ異常のタイプ、オーディオコンテンツにおけるオーディオ異常を処理するためのリコメンデーション、リコメンデーションが実施されたかどうか、などを示すことができる。リコメンデーションは、オーディオ異常の発生に対応するオーディオコンテンツの区間を削除することを含むことができる。リコメンデーションの表現は選択可能であることができ、システム１０２は、選択を受け取るとリコメンデーションを実施することができる。ＧＵＩはまた、全てのリコメンデーションを実施するというオプションも含むことができ、システム１０２は、質を高められたオーディオコンテンツを生成し、その質を高められたオーディオコンテンツの更新された表示を引き起こすために、調べられているユーザが生成したオーディオコンテンツにおいて全てのリコメンデーションを実施することができる。
いくつかの実施形態で、ユーザが生成したオーディオコンテンツの再生において、システム１０２は、表示デバイスで提示されるグラフィカルユーザインターフェース（ＧＵＩ）を生成することができる。ＧＵＩは、時間軸に沿った波形のパネルなどの、ユーザが生成したオーディオコンテンツの表示を含み得る。ＧＵＩは、オーディオ異常フラグの発生及びクリアに基づいてオーディオコンテンツのグラフィック表現へのオーディオ異常情報のオーバーレイを更に含み得る。オーディオ異常情報は、いつ異常の発生が開始又は終了したか、オーディオ異常のタイプ、オーディオコンテンツにおけるオーディオ異常を処理するためのリコメンデーション、リコメンデーションが実施されたかどうか、などを示すことができる。リコメンデーションは、オーディオ異常の発生に対応するオーディオコンテンツの区間を削除することを含むことができる。リコメンデーションの表現は選択可能であることができ、システム１０２は、選択を受け取るとリコメンデーションを実施することができる。ＧＵＩはまた、全てのリコメンデーションを実施するというオプションも含むことができ、システム１０２は、質を高められたオーディオコンテンツを生成し、その質を高められたオーディオコンテンツの更新された表示を引き起こすために、調べられているユーザが生成したオーディオコンテンツにおいて全てのリコメンデーションを実施することができる。
【0050】
５．例となるプロセス
図５は、本明細書で記載されるいくつかの実施形態に係るオーディオ管理コンピュータシステムにより実行されるプロセスの例を表す。図５は、明りょうな例示のために、簡略化された概略的形態で示されており、他の実施形態は、様々な様式で接続されているより多い、より少ない、又は異なる要素を含んでもよい。図５は、実行される場合に、本明細書で記載される機能的な改善及び技術的利点の実行を引き起こす１つ以上のコンピュータプログラム又は他のソフトウェア要素を実施するために使用できるアルゴリズム、プラン、又はアウトラインを開示するよう夫々意図されている。更に、本願のフロー図は、当業者が自身の蓄積した技術及び知識を用いてコード化又は実施するつもりであるソフトウェアプログラムの基礎を形成するアルゴリズム、プラン、又は仕様に関して互いに通信するために使用するのと同程度の詳細で記載される。
図５は、本明細書で記載されるいくつかの実施形態に係るオーディオ管理コンピュータシステムにより実行されるプロセスの例を表す。図５は、明りょうな例示のために、簡略化された概略的形態で示されており、他の実施形態は、様々な様式で接続されているより多い、より少ない、又は異なる要素を含んでもよい。図５は、実行される場合に、本明細書で記載される機能的な改善及び技術的利点の実行を引き起こす１つ以上のコンピュータプログラム又は他のソフトウェア要素を実施するために使用できるアルゴリズム、プラン、又はアウトラインを開示するよう夫々意図されている。更に、本願のフロー図は、当業者が自身の蓄積した技術及び知識を用いてコード化又は実施するつもりであるソフトウェアプログラムの基礎を形成するアルゴリズム、プラン、又は仕様に関して互いに通信するために使用するのと同程度の詳細で記載される。
【0051】
いくつかの実施形態で、ステップ５０２で、システム１０２は、リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取るようプログラムされる。第１モバイルデバイスは、１つ以上の内蔵型マイクロホンを備えたスマートフォンであることができる。
【0052】
いくつかの実施形態で、ステップ５０４で、システム１０２は、リアルタイムで、オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常のうちのあるタイプのオーディオ異常の発生の開始を検出するようプログラムされる。
【0053】
いくつかの実施形態で、ステップ５０６で、システム１０２は、リアルタイムで、発生のアラートを第２デバイスへ伝えるようプログラムされ、アラートは、あるタイプのオーディオ異常の発生に注意を向けるもの又は発生について説明するものである。伝えることは、あるタイプのオーディオ異常の発生の一部分を含むオーディオコンテンツを削除するよう要請することを含むことができる。
【0054】
いくつかの実施形態で、システム１０２は、アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生するようプログラムされ、画面又はスピーカは、第２デバイスに含まれるか又は第２デバイスに結合されている。
【0055】
いくつかの実施形態で、マイクロホン異常は、第１モバイルデバイスに含まれるか又は第１モバイルデバイスに結合されているマイクロホンのオクルージョン（occlusion）、機能不良（malfunction）、又は置き違え（misplacement）によって引き起こされ、発生は、マイクロホン異常の発生である。システム１０２は、現在時間に至るまでの期間にわたって、第１モバイルデバイスに含まれるか又は第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定し、各マイクロホンからの信号の振幅値を決定するか、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取るようプログラムされる。システム１０２は、マイクロホン異常の発生を停止するリコメンデーションを更に送信するようプログラムされ、リコメンデーションは、発生の源としてのマイクロホンを特定し、そのマイクロホンに対する障害物の除去（unblocking）、修理（repairing）、又は再配置（repositioning）を指示することを含む。
【0056】
いくつかの実施形態で、複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、発生は、環境異常の発生である。システム１０２は、環境異常の発生を停止するリコメンデーションを送信するようプログラムされ、リコメンデーションは、第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む。
【0057】
いくつかの実施形態で、複数タイプのオーディオ異常は、録音された音声（voice）の特定の品質指標の低い値によって表される音声異常を更に含み、特定の品質指標は、ボリューム又はシャープネスを含み、発生は、音声異常の発生である。システム１０２は、音声異常の発生を停止するリコメンデーションを送信するようプログラムされ、リコメンデーションは、特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む。
【0058】
いくつかの実施形態で、システム１０２は、リアルタイムで、あるタイプのオーディオ異常の発生を停止するための救済的なアプローチを実施すること、又は救済的なアプローチを実施するよう要請することを更に引き起こすようプログラムされる。いくつかの実施形態で、システム１０２は、リアルタイムで、あるタイプのオーディオ異常の発生の終了が検出されるかどうかを連続的に決定し、リアルタイムで、発生の終了が検出されるまで、第１モバイルデバイスによるオーディオコンテンツの生成を無効化するようプログラムされる。
【0059】
いくつかの実施形態で、システム１０２は、時間軸に沿ったオーディオデータのグラフィック表現を表示し、グラフィック表現に異常情報をオーバーレイするようプログラムされ、異常情報は、あるタイプのオーディオ異常の発生について説明するものであり、あるタイプのオーディオ異常の発生を表現しているグラフィック表現の部分の上に示される。いくつかの実施形態で、オーバーレイは選択可能であることができ、異常情報は、オーディオデータの質を高めるよう、あるタイプのオーディオ異常の発生を解決するためのリコメンデーションを示すことができる。システム１０２は、オーバーレイの選択を受け取り、質を高められたオーディオデータを得るようリコメンデーションを実施するようプログラムされる。
【0060】
６．ハードウェア実施
一実施形態に従って、本明細書で記載されている技術は、少なくとも１つのコンピューティングデバイスによって実施される。技術は、全体として又は部分的に、パケットデータネットワークなどのネットワークを用いて結合されている少なくとも１つのサーバコンピュータ及び／又は他のコンピューティングデバイスの組み合わせを用いて実施されてもよい。コンピューティングデバイスは、技術を実行するようハードワイヤ接続されてもよく、あるいは、技術を実行するよう持続的にプログラムされている少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよく、あるいは、ファームウェア、メモリ、他のストレージ、又は組み合わせにおけるプログラム命令に従って技術を実行するようプログラムされた少なくとも１つの汎用ハードウェアプロセッサを含んでもよい。そのようなコンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、又はＦＰＧＡをカスタムプログラミングと組み合わせて、記載されている技術を達成してもよい。コンピューティングデバイスは、サーバコンピュータ、ワークステーション、パーソナルコンピュータ、ポータブルコンピュータシステム、ハンドヘルドデバイス、モバイルコンピューティングデバイス、ウェアラブルデバイス、身体装着型又は埋め込み型デバイス、スマートフォン、スマート家電、インターネットワーキングデバイス、ロボット又は無人地上若しくは航空車両などの自律型又は準自律型デバイス、記載されている技術を実施するようハードワイヤード及び／又はプログラムロジックを組み込む任意の他のデバイス、データセンター内の１つ以上の仮想コンピューティングマシン又はインスタンス、及び／又はサーバコンピュータ及び／又はパーソナルコンピュータのネットワークであってもよい。
一実施形態に従って、本明細書で記載されている技術は、少なくとも１つのコンピューティングデバイスによって実施される。技術は、全体として又は部分的に、パケットデータネットワークなどのネットワークを用いて結合されている少なくとも１つのサーバコンピュータ及び／又は他のコンピューティングデバイスの組み合わせを用いて実施されてもよい。コンピューティングデバイスは、技術を実行するようハードワイヤ接続されてもよく、あるいは、技術を実行するよう持続的にプログラムされている少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよく、あるいは、ファームウェア、メモリ、他のストレージ、又は組み合わせにおけるプログラム命令に従って技術を実行するようプログラムされた少なくとも１つの汎用ハードウェアプロセッサを含んでもよい。そのようなコンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、又はＦＰＧＡをカスタムプログラミングと組み合わせて、記載されている技術を達成してもよい。コンピューティングデバイスは、サーバコンピュータ、ワークステーション、パーソナルコンピュータ、ポータブルコンピュータシステム、ハンドヘルドデバイス、モバイルコンピューティングデバイス、ウェアラブルデバイス、身体装着型又は埋め込み型デバイス、スマートフォン、スマート家電、インターネットワーキングデバイス、ロボット又は無人地上若しくは航空車両などの自律型又は準自律型デバイス、記載されている技術を実施するようハードワイヤード及び／又はプログラムロジックを組み込む任意の他のデバイス、データセンター内の１つ以上の仮想コンピューティングマシン又はインスタンス、及び／又はサーバコンピュータ及び／又はパーソナルコンピュータのネットワークであってもよい。
【0061】
図６は、実施形態が実施され得るコンピュータシステムの例を表すブロック図である。図６の例で、開示されている技術をハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの組み合わせで実施するコンピュータシステム６００及び命令は、コンピュータアーキテクチャ及びコンピュータシステムの実施に関してやりとりするために本開示が関係している技術において通常の知識を有する者によって広く使用されているのと同程度の詳細で、例えばボックス及びサークルで、概略的に提示されている。
【0062】
コンピュータシステム６００は、電子信号パスを介してコンピュータシステム６００のコンポーネント間で情報及び／又は命令をやりとりするためのバス及び／又は他の通信メカニズムを含み得る入力／出力（Ｉ／Ｏ）サブシステム６０２を含む。Ｉ／Ｏサブシステム６０２は、Ｉ／Ｏコントローラ、メモリコントローラ、及び少なくとも１つのＩ／Ｏポートを含み得る。電子信号パスは、例えば直線、単方向の矢印、又は双方向の矢印として、図面に概略的に提示されている。
【0063】
少なくとも１つのハードウェアプロセッサ６０４が、情報及び命令を処理するためにＩ／Ｏサブシステム６０２に結合されている。ハードウェアプロセッサ６０４は、例えば、汎用マイクロプロセッサ若しくはマイクロコントローラ、及び／又は埋め込みシステム若しくはグラフィクス処理ユニット（ＧＰＵ）若しくはデジタル信号プロセッサ若しくはＡＲＭプロセッサなどの特別目的のマイクロプロセッサを含んでもよい。プロセッサ６０４は、集積算術ロジックユニット（ＡＬＵ）を有してもよく、あるいは、別個のＡＬＵに結合されてもよい。
【0064】
コンピュータシステム６００は、プロセッサ６０４によって実行されるデータ及び命令を電子的にデジタルで記憶するためにＩ／Ｏサブシステム６０２に結合されている、メインメモリなどのメモリ６０６の１つ以上のユニットを含む。メモリ６０６は、様々な形態のランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイスなどの揮発性メモリを含んでもよい。メモリ６０６はまた、プロセッサ６０４によって実行される命令の実行中に一時変数又は他の中間情報を記憶するためにも使用されてよい。そのような命令は、プロセッサ６０４がアクセスできる非一時的なコンピュータ可読記憶媒体に記憶されている場合に、コンピュータシステム６００を、命令において指定された動作を実行するようカスタマイズされている特別目的のマシンにならしめることができる。
【0065】
コンピュータシステム６００は、プロセッサ６０４のための情報及び命令を記憶するためにＩ／Ｏサブシステム６０２に結合されている、リードオンリーメモリ（ＲＯＭ）６０８又は他の静的記憶デバイスなどの不揮発性メモリを更に含む。ＲＯＭ６０８は、消去可能ＰＲＯＭ（ＥＰＲＯＭ）又は電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）などの様々な形態のプログラマブルＲＯＭ（ＰＲＯＭ）を含み得る。永続ストレージ６１０のユニットは、ＦＬＡＳＨメモリなどの様々な形態の不揮発性ＲＡＭ（ＮＶＲＡＭ）、又はソリッドステートストレージ、磁気ディスク若しくはＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの光ディスクを含んでもよく、情報及び命令を記憶するためにＩ／Ｏサブシステム６０２に結合され得る。ストレージ６１０は、プロセッサ６０４によって実行される場合に、本明細書の技術を実行するようコンピュータ実装方法の実行を引き起こす命令及びデータを記憶するために使用され得る非一時的なコンピュータ可読媒体の一例である。
【0066】
メモリ６０６、ＲＯＭ６０８又はストレージ６１０内の命令は、モジュール、メソッド、オブジェクト、関数、ルーチン、又は呼び出しとして体系化されているひと組以上の命令を有し得る。命令は、1つ以上のコンピュータプログラム、オペレーティングシステムサービス、又はモバイルアプリケーションを含むアプリケーションプログラムとして体系化され得る。命令は、オペレーティングシステム及び／又はシステムソフトウェア；マルチメディア、プログラミング又は他の機能をサポートする１つ以上のライブラリ；ＴＣＰ／ＩＰ、ＨＴＴＰ又は他の通信プロトコルを実装するためのデータプロトコル命令又はスタック；ＨＴＭＬ、ＸＭＬ、ＪＰＥＧ、ＭＰＥＧ又はＰＮＧを用いてコード化されているファイルを解釈及びレンダリングするためのファイルフォーマット処理命令；グラフィカルユーザインターフェース（ＧＵＩ）、コマンドラインインターフェース又はテキストユーザインターフェースのためのコマンドをレンダリング又は解釈するためのユーザインターフェース命令；オフィススイート、インターネットアクセスアプリケーション、設計及び製造アプリケーション、グラフィクスアプリケーション、オーディオアプリケーション、ソフトウェアエンジニアリングアプリケーション、教育アプリケーション、ゲーム又はその他アプリケーションなどのアプリケーションソフトウェアを有してもよい。命令は、ウェブサーバ、ウェブアプリケーションサーバ又はウェブクライアントを実施してもよい。命令は、構造化されたクエリ言語（ＳＱＬ）若しくはＮｏＳＱＬ、オブジェクトストア、グラフデータベース、フラットファイルシステム、又は他のデータストレージを使用する関係データベースシステムなどの、プレゼンテーションレイヤ、アプリケーションレイヤ及びデータストレージレイヤとして体系化されてもよい。
【0067】
コンピュータシステム６００は、Ｉ／Ｏサブシステム６０２を介して少なくとも１つの出力デバイス６１２に結合され得る。一実施形態で、出力デバイス６１２はデジタルコンピュータディスプレイである。様々な実施形態で使用され得るディスプレイの例には、タッチスクリーンディスプレイ又は発光ダイオード（ＬＥＤ）ディスプレイ又は液晶ディスプレイ（ＬＣＤ）又は電子ペーパーディスプレイがある。コンピュータシステム６００は、代替的に、又はディスプレイデバイスに加えて、他のタイプの出力デバイス６１２を含んでもよい。他の出力デバイス６１２の例には、プリンタ、チケットプリンタ、プロッタ、プロジェクタ、サウンドカード又はビデオカード、スピーカ、ブザー若しくは圧電デバイス又は他の音響デバイス、ランプ又はＬＥＤ又はＬＣＤインジケータ、ハプティックデバイス、アクチュエータ又はサーボがある。
【0068】
少なくとも１つの入力デバイス６１４は、信号、データ、コマンド選択又はジェスチャをプロセッサ６０４へ送るために、Ｉ／Ｏサブシステム６０２に結合されている。入力デバイス６１４の例には、タッチスクリーン、マイクロホン、静止デジタルカメラ及びビデオデジタルカメラ、英数字キー及び他のキー、キーパッド、キーボード、グラフィクスタブレット、画像スキャナ、ジョイスティック、クロック、スイッチ、ボタン、ダイヤル、スライド、及び／又は力センサ、動きセンサ、熱センサ、加速度計、ジャイロスコープ、及び慣性計測装置（ＩＭＵ）センサなどの様々なタイプのセンサ、及び／又はセルラー若しくはＷｉ－Ｆｉなどのワイヤレストランシーバ、無線周波数（ＲＦ）トランシーバ、又は赤外線（ＩＲ）トランシーバ及びグローバルポジショニングシステム（ＧＰＳ）トランシーバなどの様々なタイプのトランシーバがある。
【0069】
他のタイプの入力デバイスはコントロールデバイス６１６であり、これは、入力機能に代えて又はそれに加えて、ディスプレイ画面上のグラフィカルインターフェースなどのナビゲーションなどのカーソル制御または他の自動化された制御機能を実行し得る。コントロールデバイス６１６は、直接的な情報及びコマンドの選択をプロセッサ６０４へ送り、かつ、ディスプレイ６１２でのカーソル移動を制御するためのタッチパッド、マウス、トラックボール、又はカーソル方向キーであってもよい。入力デバイスは、平面内の位置を指定することをデバイスに可能にする２つの軸（第１軸（例えば、ｘ）及び第２軸（例えば、ｙ））における少なくとも２自由度を有し得る。他のタイプの入力デバイスは、ジョイスティック、ワンド、コンソール、ステアリングホイール、ペダル、ギアシフトメカニズム、又は他のタイプのコントロールデバイスなどの有線式、無線式、又は光学式コントロールデバイスである。入力デバイス６１４は、ビデオカメラ及びデプスセンサなどの多種多様な入力デバイスの組み合わせを含んでもよい。
【0070】
他の実施形態では、コンピュータシステム６００は、出力デバイス６１２、入力デバイス６１４、及びコントロールデバイス６１６のうちの１つ以上が省略され得るインターネット・オブ・シングス（ＩｏＴ）デバイスを有してもよい。あるいは、かような実施形態で、入力デバイス６１４は、１つ以上のカメラ、動き検出器、温度計、マイクロホン、地震検出器、他のセンサ又は検出器を有してもよく、出力デバイス６１２は、単列ＬＥＤ又はＬＣＤディスプレイ、１つ以上のインジケータ、ディスプレイパネル、メーター、バルブ、ソレノイド、アクチュエータ又はサーボなどの特別目的のディスプレイを有してもよい。
【0071】
コンピュータシステム６００がモバイルコンピューティングデバイスであるとき、入力デバイス６１４は、複数のＧＰＳ衛星に対して三角測量を行い、コンピュータシステム６００の地理的位置について緯度経度値などのジオロケーション又は位置データを決定及び生成することができるＧＰＳモジュールに結合されたグローバルポジショニングシステム（ＧＰＳ）受信器を有しもてよい。出力デバイス６１２は、ホスト６２４又はサーバ６３０の方に向けられて、単独で又は他のアプリケーション特有のデータと組み合わせて、コンピュータシステム６００の位置を指定する位置報告パケット、通知、脈拍若しくは心拍信号、又は他のリカーリング（recurring）データ伝送を発生させるためのハードウェア、ソフトウェア、ファームウェア及びインターフェースを含んでもよい。
【0072】
コンピュータシステム６００は、カスタマイズされたハードワイヤードロジック、少なくとも１つのＡＳＩＣ若しくはＦＰＧＡ、ロードされ、コンピュータシステムと組み合わせて使用又は実行されるときに、コンピュータシステムを特別目的のマシンとして動作させるファームウェア及び／又はプログラムロジックを用いて、本明細書で記載されている技術を実施し得る。一実施形態に従って、本明細書で記載されている技術は、プロセッサ６０４がメインメモリ６０６に収容されている少なくとも１つの命令の少なくとも１つのシーケンスを実行することに応答して、コンピュータシステム６００によって実行される。そのような命令は、ストレージ６１０などの他の記憶媒体からメインメモリ６０６に読み込まれてもよい。メインメモリ６０６に収容されている命令のシーケンスの実行は、プロセッサ６０４に、本明細書で記載されているプロセスステップを実行させる。代替の実施形態では、ハードワイヤ接続された回路が、ソフトウェア命令の代わりに又はそれとともに使用されてもよい。
【0073】
本明細書で使用される「記憶媒体」という用語は、マシンを特定の方法で動作させるデータ及び／又は命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体には、不揮発性媒体及び／又は揮発性媒体が含まれ得る。不揮発性媒体には、例えば、ストレージ６１０などの光又は磁気ディスクが含まれる。揮発性媒体には、メインメモリ６０６などの動的メモリが含まれる。記憶媒体の共通する形態には、例えば、ハードディスク、ソリッドステートドライブ、フラッシュドライブ、磁気テープ記憶媒体、任意の光学又は物理データ記憶媒体、メモリチップ、などがある。
【0074】
記憶媒体は、伝送媒体とは異なるものであるか、それとともに使用されてもよい。伝送媒体は、記憶媒体間で情報を転送することに関与する。例えば、伝送媒体には、Ｉ／Ｏサブシステム６０２のバスを有する配線を含め、同軸ケーブル、銅線、及び光ファイバが含まれる。伝送媒体はまた、電波又は赤外線データ通信の間に生成されるもののような音波又は光波の形をとることもできる。
【0075】
様々な形式の媒体が、少なくとも１つの命令の少なくとも１つのシーケンスを実行のためにプロセッサ６０４に搬送することに関与し得る。例えば、命令は最初に、遠隔のコンピュータの磁気ディスク又はソリッドステートドライブで担持され得る。遠隔のコンピュータは命令をその動的メモリにロードし、モデムを使用して光ファイバ又は同軸ケーブル又は電話回線などの通信リンクを経由して命令を送信することができる。コンピュータシステム６００にローカルなモデム又はルータは、通信リンク線上のデータを受信し、コンピュータシステム６００によって読み出されるようデータを変換することができる。例えば、無線周波数アンテナ又は赤外線検出器などの受信器が、無線又は光信号で運ばれたデータを受信することができ、適切な回路が、バス上にデータを置くなどして、データをＩ／Ｏサブシステム６０２に供給することができる。Ｉ／Ｏサブシステム６０２はデータをメモリ６０６に運び、プロセッサ６０４はそこから命令を取り出して実行する。メモリ６０６によって受信された命令は、任意に、プロセッサ６０４による実行の前又は後のいずれかにストレージ６１０に記憶されてもよい。
【0076】
コンピュータシステム６００は、バス６０２に結合されている通信インターフェース６１８も含む。通信インターフェース６１８は、ネットワーク６２２又はインターネット上のパブリック若しくはプライベートクラウドなどの少なくとも１つの通信ネットワークに直接的又は間接的に接続されているネットワークリンク６２０への双方向データ通信結合を提供する。例えば、通信インターフェース６１８は、Ｅｔｈｅｒｎｅｔ（登録商標）ネットワーキングインターフェース、サービス統合デジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又は対応するタイプの通信リンク、例えば、Ｅｔｈｅｒｎｅｔケーブル又は任意の種類の金属ケーブル又は光ファイバ回線若しくは電話回線へのデータ通信接続を提供するモデムであってよい。ネットワーク６２２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、キャンパスネットワーク、インターネットワーク、又はこれらの任意の組み合わせを広く表している。通信インターフェース６１８は、互換性のあるＬＡＮへのデータ通信接続を提供するＬＡＮカード、又はセルラー無線電話ワイヤレスネットワーキング標準に従ってセルラーデータを送信若しくは受信するよう配線されているセルラー無線電話インターフェース、又は衛星ワイヤレスネットワーキング標準に従ってデジタルデータを送信若しくは受信するよう配線されている衛星無線インターフェースを有してもよい。かような実施のいずれでも、通信インターフェース６１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する信号パス上で電気信号、電磁信号、又は光信号を送受信する。
【0077】
ネットワークリンク６２０は、通常、例えば衛星、セルラー、Ｗｉ－Ｆｉ、又はＢｌｕｅｔｏｏｔｈ（登録商標）技術を用いて、直接的に又は少なくとも１つのネットワークを介して他のデータデバイスへの電気、電磁、又は光データ通信を提供する。例えば、ネットワークリンク６２０は、ネットワーク６２２を介してホストコンピュータ６２４への接続を提供し得る。
【0078】
更に、ネットワークリンク６２０は、ネットワーク６２２を通る接続、あるいは、インターネットワーキングデバイス及び／又はインターネットサービスプロバイダ（ＩＳＰ）６２６によって作動するコンピュータを経由した他のコンピューティングデバイスへの接続を提供し得る。ＩＳＰ６２６は、インターネット６２８として表されている世界規模のパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。サーバコンピュータ６３０がインターネット６２８へ結合されてもよい。サーバ６３０は、ハイパーバイザ、又はＤＯＣＫＥＲ若しくはＫＵＢＥＲＮＥＴＥＳなどのコンテナ化されたプログラムシステムを実行するコンピュータがあろうとなかろうと、任意のコンピュータ、データセンター、仮想マシン又は仮想コンピューティングインスタンスを広く表している。サーバ６３０は、１よりも多いコンピュータ又はインスタンスを用いて実装され、ウェブサービス要求、ＨＴＴＰペイロード内にパラメータを含むユニフォームリソースロケータ（ＵＲＬ）ストリング、ＡＰＩコール、アプリケーションサービスコール、又は他のサービスコールを伝送するによってアクセス及び使用される電子デジタルサービスを表し得る。コンピュータシステム６００及びサーバ６３０は、タスクを実行するよう又はアプリケーション若しくはサービスを実行するよう協働する他のコンピュータ、プロセッシングクラスタ、サーバファーム又はコンピュータの他の編成を含む分散コンピューティングシステムの要素を形成し得る。サーバ６３０は、モジュール、メソッド、オブジェクト、関数、ルーチン、又は呼び出しとして体系化されているひと組以上の命令を有してもよい。命令は、１つ以上のコンピュータプログラム、オペレーティングシステムサービス、又はモバイルアプリケーションを含むアプリケーションプログラムとして体系化され得る。命令は、オペレーティングシステム及び／又はシステムソフトウェア；マルチメディア、プログラミング又は他の機能をサポートする１つ以上のライブラリ；ＴＣＰ／ＩＰ、ＨＴＴＰ又は他の通信プロトコルを実装するためのデータプロトコル命令又はスタック；ＨＴＭＬ、ＸＭＬ、ＪＰＥＧ、ＭＰＥＧ又はＰＮＧを用いてコード化されているファイルを解釈及びレンダリングするためのファイルフォーマット処理命令；グラフィカルユーザインターフェース（ＧＵＩ）、コマンドラインインターフェース又はテキストユーザインターフェースのためのコマンドをレンダリング又は解釈するためのユーザインターフェース命令；オフィススイート、インターネットアクセスアプリケーション、設計及び製造アプリケーション、グラフィクスアプリケーション、オーディオアプリケーション、ソフトウェアエンジニアリングアプリケーション、教育アプリケーション、ゲーム又はその他アプリケーションなどのアプリケーションソフトウェアを有してもよい。サーバ６３０は、構造化されたクエリ言語（ＳＱＬ）若しくはＮｏＳＱＬ、オブジェクトストア、グラフデータベース、フラットファイルシステム、又は他のデータストレージを使用する関係データベースシステムなどの、プレゼンテーションレイヤ、アプリケーションレイヤ及びデータストレージレイヤをホストするウェブアプリケーションサーバを有してもよい。
【0079】
コンピュータシステム６００は、ネットワーク、ネットワークリンク６２０、及び通信インターフェース６１８を介して、メッセージを送信し、プログラムコードを含むデータ及び命令を受信することができる。インターネットの例では、サーバ６３０は、アプリケーションプログラムに対して要求されたコードを、インターネット６２８、ＩＳＰ６２６、ローカルネットワーク６２２、及び通信インターフェース６１８を介して伝送してもよい。受信されたコードは、それが受信されると、プロセッサ６０４によって実行され、及び／又は後で実行するためにストレージ６１０若しくは他の不揮発性ストレージに記憶されてもよい。
【0080】
この項で記載されている命令の実行は、実行されており、プログラムコード及びその現在のアクティビティから成るコンピュータプログラムのインスタンスの形式でプロセスを実装することができる。オペレーティングシステム（ＯＳ）によっては、プロセスは、命令を同時に実行する複数の実行スレッドで構成される場合がある。この文脈では、コンピュータプログラムは命令の受動的なコレクションであり、一方で、プロセスはそれらの命令の実際の実行であることができる。複数のプロセスが同じプログラムに関連付けられている場合があり、例えば、同じプログラムの複数のインスタンスを開くということは、１よりも多いプロセスが実行されていることをしばしば意味する。複数のプロセスがプロセッサ６０４を共有できるように、マルチタスクが実装されることがある。各プロセッサ６０４又はプロセッサのコアが一度に単一のタスクを実行するとき、コンピュータシステム６００は、各タスクの終了を待つことなく、各プロセッサが実行中のタスク間を切り替えることができるようにマルチタスクを実装するようプログラムされ得る。実施形態で、切り替えは、タスクが入出力操作を実行する場合に、タスクが切り替え可能であることを示す場合に、又はハードウェア割り込み時に、実行され得る。タイムシェアリングを実装すると、コンテキストの切り替えを迅速に実行して、複数のプロセスが同時に実行されているように見せることで、対話型ユーザアプリケーションの高速な応答が可能になる。実施形態で、安全性及び信頼性のために、オペレーティングシステムは、独立したプロセス間の直接通信を防止し、厳密に仲介及び制御されたプロセス間通信機能を提供することができる。
【0081】
７．拡張及び代案
前述の明細書では、本発明の実施形態を、実装ごとに異なる可能性がある多くの特定の詳細を参照して説明してきた。従って、明細書及び図面は、限定の意味ではなく、例示として見なされる。本開示の範囲及び本開示の範囲であるよう出願人によって意図されているものの唯一かつ排他的な指標は、本願から発表される一連の特許請求の範囲が発表する、その後の修正も含む特定の形式で、そのような特許請求の範囲の文字通りの同等な範囲である。
前述の明細書では、本発明の実施形態を、実装ごとに異なる可能性がある多くの特定の詳細を参照して説明してきた。従って、明細書及び図面は、限定の意味ではなく、例示として見なされる。本開示の範囲及び本開示の範囲であるよう出願人によって意図されているものの唯一かつ排他的な指標は、本願から発表される一連の特許請求の範囲が発表する、その後の修正も含む特定の形式で、そのような特許請求の範囲の文字通りの同等な範囲である。
【0082】
本発明の様々な態様は、以下の例示的な実施形態の列挙（enumerate example embodiments）（ＥＥＥ）から認識され得る。
【0083】
ＥＥＥ１．
１つ以上のコンピューティングデバイスによって実行される場合に、ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタする方法の実行を引き起こす命令を記憶する１つ以上の非一時記憶媒体であって、
前記方法は、
リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、
リアルタイムで、前記発生のアラートを第２デバイスへ伝えることであり、前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、ことと
を有する、１つ以上の非一時記憶媒体。
１つ以上のコンピューティングデバイスによって実行される場合に、ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタする方法の実行を引き起こす命令を記憶する１つ以上の非一時記憶媒体であって、
前記方法は、
リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、
リアルタイムで、前記発生のアラートを第２デバイスへ伝えることであり、前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、ことと
を有する、１つ以上の非一時記憶媒体。
【0084】
ＥＥＥ２．
前記第１モバイルデバイスは、１つ以上の内蔵式マイクロホンを備えたスマートフォンである、
ＥＥＥ１に記載の１つ以上の非一時記憶媒体。
前記第１モバイルデバイスは、１つ以上の内蔵式マイクロホンを備えたスマートフォンである、
ＥＥＥ１に記載の１つ以上の非一時記憶媒体。
【0085】
ＥＥＥ３．
前記伝えることは、前記アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生することを含み、
前記画面又は前記スピーカは、前記第２デバイスに含まれるか又は前記第２デバイスに結合されている、
ＥＥＥ１又は２に記載の１つ以上の非一時記憶媒体。
前記伝えることは、前記アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生することを含み、
前記画面又は前記スピーカは、前記第２デバイスに含まれるか又は前記第２デバイスに結合されている、
ＥＥＥ１又は２に記載の１つ以上の非一時記憶媒体。
【0086】
ＥＥＥ４．
前記マイクロホン異常は、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されているマイクロホンのオクルージョン、機能不良、又は置き違えによって引き起こされ、
前記発生は、マイクロホン異常の発生である、
ＥＥＥ１～３のいずれかに記載の１つ以上の非一時記憶媒体。
前記マイクロホン異常は、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されているマイクロホンのオクルージョン、機能不良、又は置き違えによって引き起こされ、
前記発生は、マイクロホン異常の発生である、
ＥＥＥ１～３のいずれかに記載の１つ以上の非一時記憶媒体。
【0087】
ＥＥＥ５．
前記検出することは、現在時間に至るまでの期間にわたって、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定すること、各マイクロホンからの前記信号の振幅値を決定すること、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取ることを含む、
ＥＥＥ４に記載の１つ以上の非一時記憶媒体。
前記検出することは、現在時間に至るまでの期間にわたって、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定すること、各マイクロホンからの前記信号の振幅値を決定すること、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取ることを含む、
ＥＥＥ４に記載の１つ以上の非一時記憶媒体。
【0088】
ＥＥＥ６．
前記伝えることは、前記マイクロホン異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記発生の源としてのマイクロホンを特定し、該マイクロホンに対する障害物の除去、修理、又は再配置を指示することを含む、
ＥＥＥ４又は５に記載の１つ以上の非一時記憶媒体。
前記伝えることは、前記マイクロホン異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記発生の源としてのマイクロホンを特定し、該マイクロホンに対する障害物の除去、修理、又は再配置を指示することを含む、
ＥＥＥ４又は５に記載の１つ以上の非一時記憶媒体。
【0089】
ＥＥＥ７．
前記複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、
前記発生は、環境異常の発生である、
ＥＥＥ１～６のいずれかに記載の１つ以上の非一時記憶媒体。
前記複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、
前記発生は、環境異常の発生である、
ＥＥＥ１～６のいずれかに記載の１つ以上の非一時記憶媒体。
【0090】
ＥＥＥ８．
前記伝えることは、前記環境異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む、
ＥＥＥ７に記載の１つ以上の非一時記憶媒体。
前記伝えることは、前記環境異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む、
ＥＥＥ７に記載の１つ以上の非一時記憶媒体。
【0091】
ＥＥＥ９．
前記複数タイプのオーディオ異常は、録音された音声の特定の品質指標の低い値によって表される音声異常を更に含み、
前記特定の品質指標は、ボリューム又はシャープネスを含み、
前記発生は、音声異常の発生である、
ＥＥＥ１～８のいずれかに記載の１つ以上の非一時記憶媒体。
前記複数タイプのオーディオ異常は、録音された音声の特定の品質指標の低い値によって表される音声異常を更に含み、
前記特定の品質指標は、ボリューム又はシャープネスを含み、
前記発生は、音声異常の発生である、
ＥＥＥ１～８のいずれかに記載の１つ以上の非一時記憶媒体。
【0092】
ＥＥＥ１０．
前記伝えることは、前記音声異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む、
ＥＥＥ９に記載の１つ以上の非一時記憶媒体。
前記伝えることは、前記音声異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む、
ＥＥＥ９に記載の１つ以上の非一時記憶媒体。
【0093】
ＥＥＥ１１．
前記方法は、リアルタイムで、前記あるタイプのオーディオ異常の前記発生を停止するための救済的なアプローチを実施すること、又は前記救済的なアプローチを実施するよう要請することを含む、
ＥＥＥ１～１０のいずれかに記載の１つ以上の非一時記憶媒体。
前記方法は、リアルタイムで、前記あるタイプのオーディオ異常の前記発生を停止するための救済的なアプローチを実施すること、又は前記救済的なアプローチを実施するよう要請することを含む、
ＥＥＥ１～１０のいずれかに記載の１つ以上の非一時記憶媒体。
【0094】
ＥＥＥ１２．
前記伝えることは、前記あるタイプのオーディオ異常の前記発生の一部分を含むオーディオコンテンツを削除するよう要請することを含む、
ＥＥＥ１～１１のいずれかに記載の１つ以上の非一時記憶媒体。
前記伝えることは、前記あるタイプのオーディオ異常の前記発生の一部分を含むオーディオコンテンツを削除するよう要請することを含む、
ＥＥＥ１～１１のいずれかに記載の１つ以上の非一時記憶媒体。
【0095】
ＥＥＥ１３．
前記方法は、
リアルタイムで、前記あるタイプのオーディオ異常の前記発生の終了が検出されるかどうかを連続的に決定することと、
リアルタイムで、前記発生の前記終了が検出されるまで、前記第１モバイルデバイスによるオーディオコンテンツの生成を無効化することと
を更に含む、
ＥＥＥ１～１２のいずれかに記載の１つ以上の非一時記憶媒体。
前記方法は、
リアルタイムで、前記あるタイプのオーディオ異常の前記発生の終了が検出されるかどうかを連続的に決定することと、
リアルタイムで、前記発生の前記終了が検出されるまで、前記第１モバイルデバイスによるオーディオコンテンツの生成を無効化することと
を更に含む、
ＥＥＥ１～１２のいずれかに記載の１つ以上の非一時記憶媒体。
【0096】
ＥＥＥ１４．
前記方法は、
時間軸に沿った前記オーディオデータのグラフィック表現を表示することと、
前記グラフィック表現に異常情報をオーバーレイすることと
を更に有し、
前記異常情報は、前記あるタイプのオーディオ異常の前記発生について説明するものであり、前記あるタイプのオーディオ異常の前記発生を表現している前記グラフィック表現の部分の上に示される、
ＥＥＥ１～１３のいずれかに記載の１つ以上の非一時記憶媒体。
前記方法は、
時間軸に沿った前記オーディオデータのグラフィック表現を表示することと、
前記グラフィック表現に異常情報をオーバーレイすることと
を更に有し、
前記異常情報は、前記あるタイプのオーディオ異常の前記発生について説明するものであり、前記あるタイプのオーディオ異常の前記発生を表現している前記グラフィック表現の部分の上に示される、
ＥＥＥ１～１３のいずれかに記載の１つ以上の非一時記憶媒体。
【0097】
ＥＥＥ１５．
前記オーバーレイは選択可能であり、前記異常情報は、前記オーディオデータの質を高めるよう前記あるタイプのオーディオ異常の前記発生を解決するためのリコメンデーションを示し、
前記方法は、
前記オーバーレイの選択を受け取ることと、
質を高められたオーディオデータを得るよう前記リコメンデーションを実施することと
を更に含む、
ＥＥＥ１４に記載の１つ以上の非一時記憶媒体。
前記オーバーレイは選択可能であり、前記異常情報は、前記オーディオデータの質を高めるよう前記あるタイプのオーディオ異常の前記発生を解決するためのリコメンデーションを示し、
前記方法は、
前記オーバーレイの選択を受け取ることと、
質を高められたオーディオデータを得るよう前記リコメンデーションを実施することと
を更に含む、
ＥＥＥ１４に記載の１つ以上の非一時記憶媒体。
【0098】
ＥＥＥ１５ａ．
前記複数タイプのオーディオ異常は、反射によって引き起こされるノイズを含む、
ＥＥＥ１～１５のいずれかに記載の１つ以上の非一時記憶媒体。
前記複数タイプのオーディオ異常は、反射によって引き起こされるノイズを含む、
ＥＥＥ１～１５のいずれかに記載の１つ以上の非一時記憶媒体。
【0099】
ＥＥＥ１５ｂ．
前記検出することは、前記第１モバイルデバイスの加速度計によって生成された加速度計信号を受信し、該加速度計信号に基づき、前記第１モバイルデバイスの加速度を決定することを含む、
ＥＥＥ１～１５ａのいずれかに記載の１つ以上の非一時記憶媒体。
前記検出することは、前記第１モバイルデバイスの加速度計によって生成された加速度計信号を受信し、該加速度計信号に基づき、前記第１モバイルデバイスの加速度を決定することを含む、
ＥＥＥ１～１５ａのいずれかに記載の１つ以上の非一時記憶媒体。
【0100】
ＥＥＥ１５ｃ．
前記複数タイプのオーディオ異常は、前記第１モバイルデバイスの置き違えを含む、
ＥＥＥ１５ｂに記載の１つ以上の非一時記憶媒体。
前記複数タイプのオーディオ異常は、前記第１モバイルデバイスの置き違えを含む、
ＥＥＥ１５ｂに記載の１つ以上の非一時記憶媒体。
【0101】
ＥＥＥ１６．
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステムであって、
メモリと、
前記メモリに結合される１つ以上のプロセッサと、を有し、
前記プロセッサは、
リアルタイムでオーディオデータを受け取り、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出し、
リアルタイムで前記発生のアラートを提示する、よう構成され、
前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、
システム。
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタするシステムであって、
メモリと、
前記メモリに結合される１つ以上のプロセッサと、を有し、
前記プロセッサは、
リアルタイムでオーディオデータを受け取り、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出し、
リアルタイムで前記発生のアラートを提示する、よう構成され、
前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、
システム。
【0102】
ＥＥＥ１７．
前記オーディオデータをキャプチャするよう構成される１つ以上のマイクロホンと、
前記アラートを表示するよう構成される１つ以上の画面と、
前記アラートを再生するよう構成される１つ以上のスピーカと
を更に有する、ＥＥＥ１６に記載のシステム。
前記オーディオデータをキャプチャするよう構成される１つ以上のマイクロホンと、
前記アラートを表示するよう構成される１つ以上の画面と、
前記アラートを再生するよう構成される１つ以上のスピーカと
を更に有する、ＥＥＥ１６に記載のシステム。
【0103】
ＥＥＥ１８．
前記アラートの提示は、前記１つ以上の画面の画面上に前記アラートを表示することを含み、
前記アラートは、前記１つ以上のマイクロホンの中から前記あるタイプのオーディオ異常の前記発生を引き起こしている特定のマイクロホンを特定し、該特定のマイクロホンに対する障害物の除去、修理、又は再配置を要求する、
ＥＥＥ１７に記載のシステム。
前記アラートの提示は、前記１つ以上の画面の画面上に前記アラートを表示することを含み、
前記アラートは、前記１つ以上のマイクロホンの中から前記あるタイプのオーディオ異常の前記発生を引き起こしている特定のマイクロホンを特定し、該特定のマイクロホンに対する障害物の除去、修理、又は再配置を要求する、
ＥＥＥ１７に記載のシステム。
【0104】
ＥＥＥ１９．
当該システムは、マイクロホン及びスピーカを夫々含む１つ以上の完全ワイヤレスイヤホンに結合され、
前記発生は、前記１つ以上のマイクロホンのうちの特定のマイクロホンのオクルージョン、機能不良、又は置き違えにより生じるマイクロホン異常の発生である、
ＥＥＥ１６～１８のいずれかに記載のシステム。
当該システムは、マイクロホン及びスピーカを夫々含む１つ以上の完全ワイヤレスイヤホンに結合され、
前記発生は、前記１つ以上のマイクロホンのうちの特定のマイクロホンのオクルージョン、機能不良、又は置き違えにより生じるマイクロホン異常の発生である、
ＥＥＥ１６～１８のいずれかに記載のシステム。
【0105】
ＥＥＥ２０．
前記アラートの提示は、
置き違えられている第１マイクロホンを含む、前記１つ以上の完全ワイヤレスイヤホンの中の第１イヤホンの第１スピーカで前記アラート再生して、前記発生に注意を向けさせること、又は
前記１つ以上のマイクロホンの中の、置き違えられていない第２マイクロホンを含む、前記１つ以上の完全ワイヤレスイヤホンの中の第２イヤホンの第２スピーカで前記アラート再生して、前記発生について説明すること
を含む、
ＥＥＥ１８又は１９に記載のシステム。
前記アラートの提示は、
置き違えられている第１マイクロホンを含む、前記１つ以上の完全ワイヤレスイヤホンの中の第１イヤホンの第１スピーカで前記アラート再生して、前記発生に注意を向けさせること、又は
前記１つ以上のマイクロホンの中の、置き違えられていない第２マイクロホンを含む、前記１つ以上の完全ワイヤレスイヤホンの中の第２イヤホンの第２スピーカで前記アラート再生して、前記発生について説明すること
を含む、
ＥＥＥ１８又は１９に記載のシステム。
【0106】
ＥＥＥ２０ａ．
当該システムはモバイルデバイスである、
ＥＥＥ１６～２０のいずれかに記載のシステム。
当該システムはモバイルデバイスである、
ＥＥＥ１６～２０のいずれかに記載のシステム。
【0107】
ＥＥＥ２１．
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタする方法であって、
リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、
リアルタイムで、前記発生のアラートを第２デバイスへ伝えることであり、前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、ことと
を有する方法。
ユーザが生成したオーディオコンテンツをオーディオ異常に関してリアルタイムでモニタする方法であって、
リアルタイムで、第１モバイルデバイスによって生成されたオーディオデータを受け取ることと、
リアルタイムで、前記オーディオデータから、マイクロホン異常を含む複数タイプのオーディオ異常の中のあるタイプのオーディオ異常の発生の開始を検出することと、
リアルタイムで、前記発生のアラートを第２デバイスへ伝えることであり、前記アラートは、前記あるタイプのオーディオ異常の前記発生に注意を向けるもの又は前記発生について説明するものである、ことと
を有する方法。
【0108】
ＥＥＥ２２．
前記第１モバイルデバイスは、１つ以上の内蔵式マイクロホンを備えたスマートフォンである、
ＥＥＥ２１に記載の方法。
前記第１モバイルデバイスは、１つ以上の内蔵式マイクロホンを備えたスマートフォンである、
ＥＥＥ２１に記載の方法。
【0109】
ＥＥＥ２３．
前記伝えることは、前記アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生することを含み、
前記画面又は前記スピーカは、前記第２デバイスに含まれるか又は前記第２デバイスに結合されている、
ＥＥＥ２１又は２２に記載の方法。
前記伝えることは、前記アラートを視覚形態で画面に表示するか又は聴覚形態でスピーカで再生することを含み、
前記画面又は前記スピーカは、前記第２デバイスに含まれるか又は前記第２デバイスに結合されている、
ＥＥＥ２１又は２２に記載の方法。
【0110】
ＥＥＥ２４．
前記マイクロホン異常は、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されているマイクロホンのオクルージョン、機能不良、又は置き違えによって引き起こされ、
前記発生は、マイクロホン異常の発生である、
ＥＥＥ２１～２３のいずれかに記載の方法。
前記マイクロホン異常は、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されているマイクロホンのオクルージョン、機能不良、又は置き違えによって引き起こされ、
前記発生は、マイクロホン異常の発生である、
ＥＥＥ２１～２３のいずれかに記載の方法。
【0111】
ＥＥＥ２５．
前記検出することは、現在時間に至るまでの期間にわたって、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定すること、各マイクロホンからの前記信号の振幅値を決定すること、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取ることを含む、
ＥＥＥ２４に記載の方法。
前記検出することは、現在時間に至るまでの期間にわたって、前記第１モバイルデバイスに含まれるか又は前記第１モバイルデバイスに結合されている各マイクロホンからの信号の高周波数成分を特定すること、各マイクロホンからの前記信号の振幅値を決定すること、あるいは、各マイクロホンに含まれるか又は各マイクロホンに結合されている加速度センサ又は骨振動センサから測定値を受け取ることを含む、
ＥＥＥ２４に記載の方法。
【0112】
ＥＥＥ２６．
前記伝えることは、前記マイクロホン異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記発生の源としてのマイクロホンを特定し、該マイクロホンに対する障害物の除去、修理、又は再配置を指示することを含む、
ＥＥＥ２４又は２５に記載の方法。
前記伝えることは、前記マイクロホン異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記発生の源としてのマイクロホンを特定し、該マイクロホンに対する障害物の除去、修理、又は再配置を指示することを含む、
ＥＥＥ２４又は２５に記載の方法。
【0113】
ＥＥＥ２７．
前記複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、
前記発生は、環境異常の発生である、
ＥＥＥ２１～２６のいずれかに記載の方法。
前記複数タイプのオーディオ異常は、非人的源からのバックグラウンドノイズ又は反射によって引き起こされる環境異常を更に含み、
前記発生は、環境異常の発生である、
ＥＥＥ２１～２６のいずれかに記載の方法。
【0114】
ＥＥＥ２８．
前記伝えることは、前記環境異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む、
ＥＥＥ２７に記載の方法。
前記伝えることは、前記環境異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記第１モバイルデバイスによって実装されているノイズ抑制機能をオンすることを含む、
ＥＥＥ２７に記載の方法。
【0115】
ＥＥＥ２９．
前記複数タイプのオーディオ異常は、録音された音声の特定の品質指標の低い値によって表される音声異常を更に含み、
前記特定の品質指標は、ボリューム又はシャープネスを含み、
前記発生は、音声異常の発生である、
ＥＥＥ２１～２８のいずれかに記載の方法。
前記複数タイプのオーディオ異常は、録音された音声の特定の品質指標の低い値によって表される音声異常を更に含み、
前記特定の品質指標は、ボリューム又はシャープネスを含み、
前記発生は、音声異常の発生である、
ＥＥＥ２１～２８のいずれかに記載の方法。
【0116】
ＥＥＥ３０．
前記伝えることは、前記音声異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む、
ＥＥＥ２９に記載の方法。
前記伝えることは、前記音声異常の発生を停止するリコメンデーションを送信することを含み、
前記リコメンデーションは、前記特定の品質指標の品質指標の値を改善するよう話者の音声を調整することを含む、
ＥＥＥ２９に記載の方法。
【0117】
ＥＥＥ３１．
リアルタイムで、前記あるタイプのオーディオ異常の前記発生を停止するための救済的なアプローチを実施すること、又は前記救済的なアプローチを実施するよう要請することを更に含む、
ＥＥＥ２１～３０のいずれかに記載の方法。
リアルタイムで、前記あるタイプのオーディオ異常の前記発生を停止するための救済的なアプローチを実施すること、又は前記救済的なアプローチを実施するよう要請することを更に含む、
ＥＥＥ２１～３０のいずれかに記載の方法。
【0118】
ＥＥＥ３２．
前記伝えることは、前記あるタイプのオーディオ異常の前記発生の一部分を含むオーディオコンテンツを削除するよう要請することを含む、
ＥＥＥ２１～３１のいずれかに記載の方法。
前記伝えることは、前記あるタイプのオーディオ異常の前記発生の一部分を含むオーディオコンテンツを削除するよう要請することを含む、
ＥＥＥ２１～３１のいずれかに記載の方法。
【0119】
ＥＥＥ３３．
リアルタイムで、前記あるタイプのオーディオ異常の前記発生の終了が検出されるかどうかを連続的に決定することと、
リアルタイムで、前記発生の前記終了が検出されるまで、前記第１モバイルデバイスによるオーディオコンテンツの生成を無効化することと
を更に含む、
ＥＥＥ２１～３２のいずれかに記載の方法。
リアルタイムで、前記あるタイプのオーディオ異常の前記発生の終了が検出されるかどうかを連続的に決定することと、
リアルタイムで、前記発生の前記終了が検出されるまで、前記第１モバイルデバイスによるオーディオコンテンツの生成を無効化することと
を更に含む、
ＥＥＥ２１～３２のいずれかに記載の方法。
【0120】
ＥＥＥ３４．
時間軸に沿った前記オーディオデータのグラフィック表現を表示することと、
前記グラフィック表現に異常情報をオーバーレイすることと
を更に有し、
前記異常情報は、前記あるタイプのオーディオ異常の前記発生について説明するものであり、前記あるタイプのオーディオ異常の前記発生を表現している前記グラフィック表現の部分の上に示される、
ＥＥＥ２１～３３のいずれかに記載の方法。
時間軸に沿った前記オーディオデータのグラフィック表現を表示することと、
前記グラフィック表現に異常情報をオーバーレイすることと
を更に有し、
前記異常情報は、前記あるタイプのオーディオ異常の前記発生について説明するものであり、前記あるタイプのオーディオ異常の前記発生を表現している前記グラフィック表現の部分の上に示される、
ＥＥＥ２１～３３のいずれかに記載の方法。
【0121】
ＥＥＥ３５．
前記オーバーレイは選択可能であり、前記異常情報は、前記オーディオデータの質を高めるよう前記あるタイプのオーディオ異常の前記発生を解決するためのリコメンデーションを示し、
当該方法は、
前記オーバーレイの選択を受け取ることと、
質を高められたオーディオデータを得るよう前記リコメンデーションを実施することと
を更に含む、
ＥＥＥ３４に記載の方法。
前記オーバーレイは選択可能であり、前記異常情報は、前記オーディオデータの質を高めるよう前記あるタイプのオーディオ異常の前記発生を解決するためのリコメンデーションを示し、
当該方法は、
前記オーバーレイの選択を受け取ることと、
質を高められたオーディオデータを得るよう前記リコメンデーションを実施することと
を更に含む、
ＥＥＥ３４に記載の方法。
【0122】
ＥＥＥ３５ａ．
前記複数タイプのオーディオ異常は、反射によって引き起こされるノイズを含む、
ＥＥＥ２１～３５のいずれかに記載の方法。
前記複数タイプのオーディオ異常は、反射によって引き起こされるノイズを含む、
ＥＥＥ２１～３５のいずれかに記載の方法。
【0123】
ＥＥＥ３５ｂ．
前記検出することは、前記第１モバイルデバイスの加速度計によって生成された加速度計信号を受信し、該加速度計信号に基づき、前記第１モバイルデバイスの加速度を決定することを含む、
ＥＥＥ２１～３５ａのいずれかに記載の方法。
前記検出することは、前記第１モバイルデバイスの加速度計によって生成された加速度計信号を受信し、該加速度計信号に基づき、前記第１モバイルデバイスの加速度を決定することを含む、
ＥＥＥ２１～３５ａのいずれかに記載の方法。
【0124】
ＥＥＥ３５ｃ．
前記複数タイプのオーディオ異常は、前記第１モバイルデバイスの置き違えを含む、
ＥＥＥ３５ｂに記載の方法。
前記複数タイプのオーディオ異常は、前記第１モバイルデバイスの置き違えを含む、
ＥＥＥ３５ｂに記載の方法。
【0125】
ＥＥＥ３６．
コンピューティングデバイス又はシステムによって実行される場合に、前記コンピューティングデバイス又はシステムに、ＥＥＥ２１～３５のいずれかに記載の方法を実行させる命令を有するコンピュータプログラム。
コンピューティングデバイス又はシステムによって実行される場合に、前記コンピューティングデバイス又はシステムに、ＥＥＥ２１～３５のいずれかに記載の方法を実行させる命令を有するコンピュータプログラム。
【0126】
［関連出願への相互参照］
本願は、２０２１年９月１０日に出願された国際特許出願第ＰＣＴ／ＣＮ２０２１／１１７６８５号、２０２１年９月１５日に出願された米国特許仮出願第６３／２４４２６１号、及び２０２１年１１月１０日に出願された欧州特許出願第２１２０７４９８．３号の優先権を主張するものである。これらの出願の夫々は、それらの全文を参照により本願に援用される。
本願は、２０２１年９月１０日に出願された国際特許出願第ＰＣＴ／ＣＮ２０２１／１１７６８５号、２０２１年９月１５日に出願された米国特許仮出願第６３／２４４２６１号、及び２０２１年１１月１０日に出願された欧州特許出願第２１２０７４９８．３号の優先権を主張するものである。これらの出願の夫々は、それらの全文を参照により本願に援用される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】