知財求人 - 知財ポータルサイト「IP Force」
▶ キャタピラー インコーポレイテッドの特許一覧 ▶ ブリガム・ヤング・ユニバーシティの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028164
(43)【公開日】2024-03-01
(54)【発明の名称】高ノイズ環境に存在するオーディオ通信信号の検出
(51)【国際特許分類】
H04R 3/00 20060101AFI20240222BHJP
E02F 9/16 20060101ALI20240222BHJP
G10L 25/51 20130101ALI20240222BHJP
G10L 21/0208 20130101ALI20240222BHJP
【ＦＩ】
H04R3/00 320
E02F9/16 C
G10L25/51 400
G10L21/0208 100B
G10L21/0208 100A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023129163
(22)【出願日】2023-08-08
(31)【優先権主張番号】17/889,871
(32)【優先日】2022-08-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】391020193
【氏名又は名称】キャタピラー インコーポレイテッド
【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ
(71)【出願人】
【識別番号】592087647
【氏名又は名称】ブリガム・ヤング・ユニバーシティ
【氏名又は名称原語表記】ＢＲＩＧＨＡＭ ＹＯＵＮＧ ＵＮＩＶＥＲＳＩＴＹ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】デイビッド シー．コプリー
(72)【発明者】
【氏名】スコット ディ．ゾンマーフェルト
(72)【発明者】
【氏名】ジョナサン ディ．ブロッター
(72)【発明者】
【氏名】カーティス エル．ガーナー
【テーマコード（参考）】
2D015
5D220
【Ｆターム（参考）】
2D015EC00
2D015EC02
5D220BA06
5D220BB04
5D220BC05
(57)【要約】 （修正有）
【課題】高ノイズ環境に存在するオーディオ通信信号を抽出するためのシステム及び方法を提供する。
【解決手段】方法は、捕捉されたオーディオ信号から基準ノイズ信号の一部を除去して部分的に処理されたオーディオ信号を生成し１３０６、部分的に処理されたオーディオ信号を対にして信号ペアを形成する１３０８。信号ペアの各々について、低周波内容の影響が除去された修正相互相関ベクトルを生成し１３１２、その後、関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて回転角度領域相互相関ベクトルに変換する１３１４。回転角度領域相互相関ベクトルを合計し１３１６、重み付けベクトルを合計に適用し１３１８、スピーチに関連する所望のオーディオ信号の方向情報を識別する。方向情報は、部分的に処理されたオーディオ信号をビームフォーミング１３２０し、所望のオーディオ信号を出力するために使用される。
【選択図】図１３
【解決手段】方法は、捕捉されたオーディオ信号から基準ノイズ信号の一部を除去して部分的に処理されたオーディオ信号を生成し１３０６、部分的に処理されたオーディオ信号を対にして信号ペアを形成する１３０８。信号ペアの各々について、低周波内容の影響が除去された修正相互相関ベクトルを生成し１３１２、その後、関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて回転角度領域相互相関ベクトルに変換する１３１４。回転角度領域相互相関ベクトルを合計し１３１６、重み付けベクトルを合計に適用し１３１８、スピーチに関連する所望のオーディオ信号の方向情報を識別する。方向情報は、部分的に処理されたオーディオ信号をビームフォーミング１３２０し、所望のオーディオ信号を出力するために使用される。
【選択図】図１３
【特許請求の範囲】
【請求項1】
システム（１０４）であって、
所定のパターンで配置された複数のエラーマイクフォン（１３０）であって、前記エラーマイクフォン（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）の各々は、
スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉し（１３０２）、
それぞれの捕捉されたオーディオ信号を生成するように動作する複数のエラーマイクフォン（１３０）と、
ノイズ源（１０８）から基準ノイズ信号を捕捉する（１３０４）ように動作する１つ以上の基準センサ（１３２）と、
前記複数のエラーマイクフォン（１３０）および前記１つ以上の基準センサ（１３２）に通信可能に結合されたプロセッサ（１２６）と、
前記プロセッサ（１２６）に通信可能に結合されたメモリ（１２８）であって、前記メモリ（１２８）は、前記プロセッサ（１２６）によって実行されるときに、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成する動作（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成する動作（１３０８）と、
複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作（１３１８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別する動作（１３１８）と、を前記プロセッサ（１２６）に実行させるコンピュータ実行可能指令を記憶したメモリ（１２８）と、を含む、システム（１０４）。
所定のパターンで配置された複数のエラーマイクフォン（１３０）であって、前記エラーマイクフォン（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）の各々は、
スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉し（１３０２）、
それぞれの捕捉されたオーディオ信号を生成するように動作する複数のエラーマイクフォン（１３０）と、
ノイズ源（１０８）から基準ノイズ信号を捕捉する（１３０４）ように動作する１つ以上の基準センサ（１３２）と、
前記複数のエラーマイクフォン（１３０）および前記１つ以上の基準センサ（１３２）に通信可能に結合されたプロセッサ（１２６）と、
前記プロセッサ（１２６）に通信可能に結合されたメモリ（１２８）であって、前記メモリ（１２８）は、前記プロセッサ（１２６）によって実行されるときに、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成する動作（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成する動作（１３０８）と、
複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作（１３１８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別する動作（１３１８）と、を前記プロセッサ（１２６）に実行させるコンピュータ実行可能指令を記憶したメモリ（１２８）と、を含む、システム（１０４）。
【請求項2】
前記動作は、
前記方向情報に基づいて、前記複数の部分的に処理されたオーディオ信号をビームフォーミングし、前記スピーチに関連する所望のオーディオ信号を出力する動作（１３２０）をさらに含む、請求項１に記載のシステム。
前記方向情報に基づいて、前記複数の部分的に処理されたオーディオ信号をビームフォーミングし、前記スピーチに関連する所望のオーディオ信号を出力する動作（１３２０）をさらに含む、請求項１に記載のシステム。
【請求項3】
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することは、最小二乗平均（ＬＭＳ）フィルタを使用して、前記捕捉されたオーディオ信号の各々をフィルタリングすることによって、前記基準ノイズ信号の少なくとも一部を除去することを含む、請求項１に記載のシステム。
【請求項4】
前記複数の信号ペアの各々について、それぞれの回転角度領域相互相関ベクトルを生成することは、
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
サンプル領域内の相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項１に記載のシステム。
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
サンプル領域内の相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項１に記載のシステム。
【請求項5】
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成することは、
低周波数内容の影響を前記相互相関ベクトルから除去することによって、前記相互相関ベクトルを修正すること（１３１２）を含む、請求項４に記載のシステム。
低周波数内容の影響を前記相互相関ベクトルから除去することによって、前記相互相関ベクトルを修正すること（１３１２）を含む、請求項４に記載のシステム。
【請求項6】
方法（１３００）であって、
所定のパターンで配置された複数のエラーマイクフォン（１３０）の各々（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）によって、スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉すること（１３０２）と、
１つ以上の基準センサによってノイズ源（１０８）から基準ノイズ信号を捕捉すること（１３０４）と、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成すること（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成すること（１３０８）と、
前記複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成すること（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成すること（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成すること（１３１８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別すること（１３１８）と、を含む、方法。
所定のパターンで配置された複数のエラーマイクフォン（１３０）の各々（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）によって、スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉すること（１３０２）と、
１つ以上の基準センサによってノイズ源（１０８）から基準ノイズ信号を捕捉すること（１３０４）と、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成すること（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成すること（１３０８）と、
前記複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成すること（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成すること（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成すること（１３１８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別すること（１３１８）と、を含む、方法。
【請求項7】
前記方向情報に基づいて、前記複数の部分的に処理されたオーディオ信号をビームフォーミングし、所望のオーディオ信号を出力すること（１３２０）をさらに含む、請求項６に記載の方法。
【請求項8】
前記複数の信号ペアの各々について、それぞれの回転角度領域相互相関ベクトルを生成することは、
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
前記相互相関ベクトルから低周波内容の影響を除去することによって相互相関ベクトルを修正すること（１３１２）と、
サンプル領域内の修正相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項６に記載の方法。
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
前記相互相関ベクトルから低周波内容の影響を除去することによって相互相関ベクトルを修正すること（１３１２）と、
サンプル領域内の修正相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項６に記載の方法。
【請求項9】
機械（１０２）であって、
エンジン（１０８）を支持するフレーム（１０６）と、
前記フレーム（１０６）によって支持され、音を発するように構成された１つ以上のスピーカー（１３４）を含む運転室（１１２）と、
前記フレーム（１０６）によって支持された作業器具（１２０）と、
所定のパターンで機械の外部に配置された複数のエラーマイクフォン（１３０）であって、前記複数のエラーマイクフォン（１３０）の各々（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）は、
スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉し（１３０２）、
それぞれの捕捉されたオーディオ信号を生成するように動作する複数のエラーマイクフォン（１３０）と、
前記エンジン（１０８）から基準ノイズ信号を捕捉するように動作する１つ以上の基準センサ（１３２）と、
前記複数のエラーマイクフォン（１３０）および前記１つ以上の基準センサ（１３２）に動作可能に接続されたプロセッサ（１２６）と、
前記プロセッサ（１２６）に通信可能に結合されたメモリ（１２８）であって、前記メモリ（１２８）は、前記プロセッサ（１２６）によって実行されたときに、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成する動作（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成する動作（１３０８）と、
前記複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作（１３０８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別する動作（１３１８）と、
前記方向情報に基づいて、前記複数の部分的に処理されたオーディオ信号をビームフォーミングし、前記スピーチに関連する所望のオーディオ信号を出力する動作（１３２０）と、
前記１つ以上のスピーカーによって、前記スピーチに関連する所望のオーディオ信号を再生する動作（１３２２）と、を含む動作を、前記プロセッサ（１２６）に実行させるコンピュータ実行可能指令を記憶した、機械（１０２）。
エンジン（１０８）を支持するフレーム（１０６）と、
前記フレーム（１０６）によって支持され、音を発するように構成された１つ以上のスピーカー（１３４）を含む運転室（１１２）と、
前記フレーム（１０６）によって支持された作業器具（１２０）と、
所定のパターンで機械の外部に配置された複数のエラーマイクフォン（１３０）であって、前記複数のエラーマイクフォン（１３０）の各々（１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄ）は、
スピーチ（２０４）を含むそれぞれのオーディオ信号を捕捉し（１３０２）、
それぞれの捕捉されたオーディオ信号を生成するように動作する複数のエラーマイクフォン（１３０）と、
前記エンジン（１０８）から基準ノイズ信号を捕捉するように動作する１つ以上の基準センサ（１３２）と、
前記複数のエラーマイクフォン（１３０）および前記１つ以上の基準センサ（１３２）に動作可能に接続されたプロセッサ（１２６）と、
前記プロセッサ（１２６）に通信可能に結合されたメモリ（１２８）であって、前記メモリ（１２８）は、前記プロセッサ（１２６）によって実行されたときに、
前記捕捉されたオーディオ信号の各々から前記基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成する動作（１３０６）と、
前記部分的に処理されたオーディオ信号をペアリングすることによって、複数の信号ペアを生成する動作（１３０８）と、
前記複数の信号ペアの各々について、前記信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作（１３１４）と、
前記回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作（１３１６）と、
重み付けベクトルを前記合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作（１３０８）と、
前記スピーチに関連する所望のオーディオ信号の方向情報を前記加重角度領域ベクトルから識別する動作（１３１８）と、
前記方向情報に基づいて、前記複数の部分的に処理されたオーディオ信号をビームフォーミングし、前記スピーチに関連する所望のオーディオ信号を出力する動作（１３２０）と、
前記１つ以上のスピーカーによって、前記スピーチに関連する所望のオーディオ信号を再生する動作（１３２２）と、を含む動作を、前記プロセッサ（１２６）に実行させるコンピュータ実行可能指令を記憶した、機械（１０２）。
【請求項10】
前記複数の信号ペアの各々について、それぞれの回転角度領域相互相関ベクトルを生成することは、
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
低周波数内容の影響を前記相互相関ベクトルから除去することによって、初期相互相関ベクトルを修正すること（１３１２）と、
サンプル領域内の修正相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項９に記載の機械。
前記オーディオ信号ペアのオーディオ信号間の相互相関ベクトルを生成すること（１３１０）と、
低周波数内容の影響を前記相互相関ベクトルから除去することによって、初期相互相関ベクトルを修正すること（１３１２）と、
サンプル領域内の修正相互相関ベクトルを角度領域内の回転角度領域相互相関ベクトルに変換すること（１３１４）と、を含む、請求項９に記載の機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、高ノイズ環境に存在するオーディオ通信信号（例えば、スピーチ）を抽出するためのシステムおよび方法に関し、より具体的には、空間的に分離されたオーディオ信号を相関させ、相関させたオーディオ信号に重み付けベクトルを適用して、所望のオーディオ通信信号を抽出するためのシステムおよび方法に関する。
【背景技術】
【0002】
機械は、工事現場で様々なタスクを実行するために使用することができる。例えば、機械は、砂利、コンクリート、アスファルト、土壌、および／または他の材料などの工事現場に存在する材料を掘削、移動、成形、輪郭の形成、および／または除去するために使用することができる。多くの機械タスクでは、機械オペレータは、監視員や機械の外にいる他の人など、近くにいる人からの指令を聞く必要がある。インターホンなどの無線機がないと、機械のノイズのため、オペレータは監視員の指令を聞き取ることが困難である。
【0003】
２０２１年１２月１６日に公開された米国特許公開第２０２１／０３９０９５２Ａ１号（「第９５２号公報」）は、複数のオーディオ入力信号を生成するための複数のオーディオ入力コンポーネントと、複数のオーディオ入力信号を受信するための論理デバイスとを含むシステムおよび方法を記載している。このシステムおよび方法は、複数のオーディオ信号がオーディオ源に関連するターゲットオーディオを含むか否かを決定し、複数のオーディオ信号および複数のオーディオ信号がターゲットオーディオを含むか否かの決定に基づいて、複数のオーディオ入力コンポーネントに対するオーディオ源の相対位置を推定し、推定した相対位置に基づいてターゲットオーディオを強調することによって、複数のオーディオ信号を処理してオーディオ出力信号を生成する。具体的には、第９５２号公報には、より強力な支配的ノイズ／干渉源が常に存在する場合、１人以上の同時話者の修正到着時間差（ＴＤＯＡ）または到着方向（ＤＯＡ）を適用し、支配的ノイズ源を効果的に無効にすることによって推定されるターゲット話者の一意な空間指紋または相対伝達関数（ＲＴＦ）を利用することによって、ターゲット話者の位置を推定することが記載されている。
【0004】
第９５２号公報には、オーディオ処理デバイスのマイクフォンロフォンに様々な方向からターゲットオーディオおよびノイズが到着し、ターゲットオーディオを強調し、ノイズを抑制するために、推定された位置に基づいてオーディオ入力信号が処理されることが記載されているが、第９５２号公報に記載されたマイクフォンロフォンは静止しており、第９５２号公報に記載されたシステムは、ターゲットオーディオを受信する同じマイクフォンロフォンからのノイズを識別するようにのみ構成されている。その結果、第９５２号公報に記載されたシステムのマイクフォンは、ターゲットオーディオとは別に一次ノイズを検出することができない。さらに、第９５２号公報に記載されたシステムは、全方向使用に設定されているので、たとえターゲットオーディオの可能な方向が既知であっても、ターゲットオーディオの方向知識を利用することはできない。
【0005】
本明細書で説明されるシステムおよび方法は、上記の１つ以上の欠点を解決することを意図している。
【発明の概要】
【0006】
第１態様によれば、システムであって、所定のパターンで配置された複数のエラーマイクフォンロフォンであって、複数のエラーマイクフォンロフォンの各々は、スピーチを含むそれぞれのオーディオ信号を捕捉し、それぞれの捕捉されたオーディオ信号を生成するように動作可能である複数のエラーマイクフォンロフォと、ノイズ源から基準ノイズ信号を捕捉するように動作する１つ以上の基準センサと、複数のエラーマイクフォンおよび１つ以上の基準センサに通信可能に結合されたプロセッサと、プロセッサに通信可能に結合され、プロセッサによって実行されたときにプロセッサに動作を実行させるコンピュータ実行可能指令を記憶するメモリと、を含む。動作は、捕捉されたオーディオ信号の各々から基準ノイズ信号の少なくとも一部を除去することによって複数の部分的に処理されたオーディオ信号を生成する動作と、部分的に処理されたオーディオ信号をペアリングすることによって複数の信号ペアを生成する動作と、複数の信号ペアの各々について、信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作と、回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作と、重み付けベクトルを合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作と、スピーチに関連する所望のオーディオ信号の方向情報を加重角度領域ベクトルから識別する動作と、を含む。
【0007】
別の態様によれば、方法は、所定のパターンで配置された複数のエラーマイクフォンの各々によって、スピーチを含むそれぞれのオーディオ信号を捕捉することと、１つ以上の基準センサによってノイズ源から基準ノイズ信号を捕捉することと、捕捉されたオーディオ信号の各々から基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成することと、部分的に処理されたオーディオ信号をペアリングすることによって複数の信号ペアを生成すること、複数の信号ペアの各々について、信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成することと、回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成することと、合計角度領域相互相関ベクトルに重み付けベクトルを適用することによって、加重角度領域ベクトルを生成することと、スピーチに関連する所望のオーディオ信号の方向情報を加重角度領域ベクトルから識別することと、を含む。
【0008】
別の態様によれば、機械は、エンジンを支持するフレームと、フレームによって支持され、音を発するように構成された１つ以上のスピーカーを含む運転室と、フレームによって支持された作業器具と、所定のパターンで機械の外部に配置された複数のエラーマイクフォンであって、複数のエラーマイクフォンの各々は、スピーチを含むそれぞれのオーディオ信号を捕捉し、それぞれの捕捉されたオーディオ信号を生成するように動作する複数のエラーマイクフォンと、前記エンジンから基準ノイズ信号を捕捉するように動作する１つ以上の基準センサと、複数のエラーマイクフォンおよび１つ以上の基準センサに動作可能に接続されたプロセッサと、プロセッサに通信可能に結合されたメモリであって、プロセッサによって実行されたときに動作をプロセッサに実行させるコンピュータ実行可能指令を記憶したメモリと、を含む。動作は、捕捉されたオーディオ信号の各々から基準ノイズ信号の少なくとも一部を除去することによって、複数の部分的に処理されたオーディオ信号を生成する動作と、部分的に処理されたオーディオ信号をペアリングすることによって複数の信号ペアを生成する動作と、複数の信号ペアの各々について、信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成する動作と、回転角度領域相互相関ベクトルを合計することによって、合計角度領域相互相関ベクトルを生成する動作と、重み付けベクトルを合計角度領域相互相関ベクトルに適用することによって、加重角度領域ベクトルを生成する動作と、スピーチに関連する所望のオーディオ信号の方向情報を加重角度領域ベクトルから識別する動作と、方向情報に基づいて複数の部分的に処理されたオーディオ信号をビームフォーミングし、スピーチに関連する所望のオーディオ信号を出力する動作と、１つ以上のスピーカーによって、スピーチに関連する所望のオーディオ信号を再生する動作と、を含む。
【図面の簡単な説明】
【0009】
図面を参照して具体的な実施形態について説明する。図において、参照番号の最左の桁は、その参照番号が最初に現れる図を識別する。異なる図面における同一の符号は、類似または同一の項目を示す。
【図1】オーディオ通信信号を検出するための例示的なシステムを含む例示的な機械の概略上面図である。
【図2】オーディオ通信信号検出システムを有する機械と、口頭で指令を提供する監視員とを含む作業現場例の概略上面図を示す概略図である。
【図3】機械の一部が左側に向いている例示的な作業現場を示す概略平面図である。
【図4】修正相互相関ベクトルを生成するために複数の捕捉されたオーディオ信号を処理するためのモジュールのブロック図を示す。
【図5】低周波内容の効果を除去した場合および除去しない場合の相互相関ベクトルの例示的な比較を示す図である。
【図6】角度領域計算装置の機能を説明するブロック図の一例を示す。
【図7】修正相互相関ベクトルの領域と角度領域との間の関係の例示的なグラフィック表示を示す。
【図8】角度領域変換に関連するエラーマイクフォンペアのセットアップの概略図を示す。
【図9】領域変換処理における信号プロファイルの一例を示す。
【図10】合計角度領域相互相関ベクトルを生成するための例示的な信号プロファイルを示す。
【図11】合計回転角度領域相互相関ベクトルに対する重み付けベクトルの適用例を示す。
【図12】方向情報に基づいてオーディオ信号を処理するための重み付けベクトル、ビーム形成器、フィルタ、およびスピーカーのブロック図を示す。
【図13】高ノイズ環境に存在するオーディオ通信信号を検出するための例示的なプロセスを示すフローチャートを提供する。
【発明を実施するための形態】
【0010】
図１は、例示的なオーディオ通信信号検出システム１０４を含む例示的な機械１０２の概略上面グラフ１００を示すブロック図である。この例では、図１に示す機械１０２は掘削機である。しかし、機械１０２は、自動車、トラック、農業用車両、および／またはホイールローダ、トラックローダ、スキッドステアローダ、グレーダ、オンハイウェイトラック、オフハイウェイトラックなどの作業車両、および／または当業者に知られている他の任意の機械など、地形を横切って移動するように構成された任意のタイプの機械であってもよい。
【0011】
機械１０２は、動力源１０８が取り付けられたシャーシまたはフレーム１０６を含む。動力源１０８は、内燃機関であってもよいし、電動機であってもよい。この例では、動力源１０８をエンジン１０８と交換して呼んでもよい。エンジン１０８は、例えば作業ツール、電子装置、およびステアリングの動作を含む機械１０２の動作のための動力を供給するように構成され、および／または機械１０２を地形を横切って推進または移動させるための駆動部材にトルクを供給するように構成される。例えば、図１に示す機械１０２は、機械１０２を路面、砂利、土、または作業現場の他の作業面を横切るように推進するように構成された一対のトラック１１０を含む。機械１０２はトラックを含むが、機械１０２は、トラックの代わりに、またはトラックに加えて、１つ以上の車輪を含んでもよいことが想定される。機械１０２は、機械１０２のオペレータ１１４を保護し、および／または快適性を提供するために、および／または機械１０２の制御関連デバイスを保護するために、フレーム１０６に動作可能に接続された運転室１１２をさらに含む。いくつかの例では、機械１０２は、半自動または完全自動であってもよく、車載または遠隔オペレータなしで、遠隔動作のように動作してもよい。
【0012】
図１に示す例では、機械１０２は、ブーム１１６を有し、その近位端はフレーム１０６に動作可能に接続され、フレーム１０６に対して動作可能に枢動される。機械１０２は、ブーム１１６の遠位端に作動可能に接続され、ブーム１１６に対して作動可能に枢動されるスティック１１８をさらに含む。機械１０２は、一端がフレーム１０６に結合され、他端がブーム１１６に結合されたブームアクチュエータ（図示せず）をさらに含む。ブームアクチュエータは、ブーム１１６の遠位端部をそれぞれ上昇および下降させるように伸長および後退するように構成されている。機械１０２はさらに、掘削、運搬、吊り上げ、および／または材料の堆積など機械１０２に関連する動作を実行する作業ツール１２０を含む。機械１０２は、フレーム１０６および／またはブーム１１６の近位端に接続された一端を有する作業ツールアクチュエータ（図示せず）を含む。作業ツールアクチュエータは、作業ツール１２０を、例えば直立方向と少なくとも部分的に反転方向との間で枢動させるように、伸張および後退するように構成されている。作業ツール１２０は、直立方向には材料を保持することができ、作業ツール１２０は、少なくとも部分的に反転する方向には材料を保管または廃棄することができる。他の形態の作業ツールも考慮されている。例えば、図１の作業ツール１２０はバケットとして示されているが、作業ツール１２０は、オーガ、刈払機、ほうき、グラップル、ハンマー、粉砕機、リッパー、ローターなどを含んでもよい。ブーム１１６、スティック１１８、作業ツール１２０およびブームアクチュエータ、あるいは機械１０２タイプに適した任意の対応するデバイスは、総称して作業器具と呼ぶ場合がある。
【0013】
図１に示すように、機械１０２は、オーディオ通信信号検出システム１０４、エンジン１０８、バッテリ１２２、および機械１０２の動作に関連するコンポーネント１２４を含み、これらのすべてのはがフレーム１０６にマウントされ、取り付けられ、または結合されてもよい。バッテリ１２２によって電力供給可能なオーディオ通信信号検出システム１０４は、オーディオ通信信号検出システム１０４に関連する任意のモジュール、コンポーネント、またはシステムを実行可能な１つ以上のプロセッサ（プロセッサ）１２６を含む。いくつかの例では、プロセッサ１２６は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵおよびＦＰＧＡの任意の組み合わせ、または当技術分野で知られている他の処理装置またはコンポーネントを含んでもよく、さらに、プロセッサの各々は、プログラムモジュール、プログラムデータ、および／または１つ以上のオペレーティングシステムを記憶することができる独自のローカルメモリを有してもよい。オーディオ通信信号検出システム１０４は、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ、ミニハードディスクドライブ、メモリカードなど）、またはそれらのいくつかの組み合わせに関連するコンピュータ可読記憶媒体またはメモリ１２８をさらに含む。コンピュータ可読記憶媒体１２８は、非一時的なコンピュータ可読記憶媒体であってもよい。
【0014】
オーディオ通信信号検出システム１０４は、複数のエラーセンサ１３０、１つ以上の基準センサ１３２、および１つ以上のスピーカー（スピーカー）１３４をさらに含む。例えば、エラーセンサ１３０は、オーディオ信号を受信および／または検出することができる任意のタイプのオーディオ、振動または圧力センサまたは信号センサであってもよい。この例では、エラーセンサ１３０は、エラーマイクフォンロフォン１３０と交換して呼んでもよい。４つのエラーマイクフォン１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄは、複数のエラーセンサ１３０の一例として使用／図示されており、これらは、監視員からのスピーチまたは指令を含むオーディオ信号を捕捉するために、半円形パターンで等間隔に運転室１１２のルーフ１３６（図示の拡大図）上にマウントされてもよい。しかし、エラーマイクフォン１３０は、機械１０２の任意の外部部品に分散してマウントされてもよく、ここでは、監視員からのスピーチまたは指令を含むオーディオ信号が捕捉されてもよい。１つ以上の基準センサ１３２は、基準ノイズ信号を受信および／または検出することができる任意のタイプのオーディオ、振動、圧力センサまたは信号コンバータであってもよい。この例では、１つ以上の基準センサ１３２は、単一基準マイクフォン１３２として示されて参照され、それは、監視員からのスピーチを検出するために除去されるべき主要なノイズまたは望ましくないオーディオ源を捕捉するために、エンジン１０８の近傍のエンジンコンパートメント内にマウントされてもよい。しかし、基準マイクフォンロフォン１３２は、１０２に関連する任意の顕著なノイズ源の近くに代替的にまたは追加的にマウントされてもよい。また、オペレータ１１４にスピーチを再生するために、運転室１１２内にスピーカー１３４をマウントしてもよい。オーディオ通信信号検出システム１０４は、フィルタ１３８、ペアジェネレータ１４０、相互相関計算装置１４２、角度領域計算装置１４４、重み付けベクトル１４６、またはビーム形成器１４８のうちの少なくとも１つをさらに含む。これらのモジュールまたはコンポーネントについては、図２～図１３を参照して以下でより詳細に説明する。
コンピュータ可読記憶媒体１２８は、オーディオ通信信号検出システム１０４に関連する様々な動作を実行する１つ以上の上述したモジュールを含むか、またはそれに関連してもよい。いくつかの例では、１つ以上のモジュールは、コンピュータ可読記憶媒体１２８によって記憶され、そのような動作を実行するためにプロセッサ１２６によって実行可能な、または関連するコンピュータ実行可能指令を含んでもよい。オーディオ通信信号検出システム１０４はまた、任意の既知の有線および／または無線通信プロトコルおよび／またはネットワークを使用して外部エンティティ１５２と通信するための通信モジュール１５０を含んでもよい。例えば、運転室１１２内でスピーカー１３４によって再生されたスピーチは、オペレータ１１４および／または機械１０２の電話局などの外部エンティティ１５２にも伝達されて売る。オーディオ通信信号検出システム１０４は、オーディオ通信信号検出システム１０４に関連する任意の機能を実行することができる、上述しない追加コンポーネントをさらに含んでもよい。
コンピュータ可読記憶媒体１２８は、オーディオ通信信号検出システム１０４に関連する様々な動作を実行する１つ以上の上述したモジュールを含むか、またはそれに関連してもよい。いくつかの例では、１つ以上のモジュールは、コンピュータ可読記憶媒体１２８によって記憶され、そのような動作を実行するためにプロセッサ１２６によって実行可能な、または関連するコンピュータ実行可能指令を含んでもよい。オーディオ通信信号検出システム１０４はまた、任意の既知の有線および／または無線通信プロトコルおよび／またはネットワークを使用して外部エンティティ１５２と通信するための通信モジュール１５０を含んでもよい。例えば、運転室１１２内でスピーカー１３４によって再生されたスピーチは、オペレータ１１４および／または機械１０２の電話局などの外部エンティティ１５２にも伝達されて売る。オーディオ通信信号検出システム１０４は、オーディオ通信信号検出システム１０４に関連する任意の機能を実行することができる、上述しない追加コンポーネントをさらに含んでもよい。
【0015】
以下で説明するように、いくつかの例では、運転室１１２のルーフ１３６上に配置された複数のエラーマイクフォン１３０は、スピーチを含むオーディオ信号を捕捉することができ、エンジン１０８の近傍に配置された基準マイクフォン１３２は、低レベルのスピーチも含むことができる基準ノイズ信号を捕捉してもよい。フィルタ１３８は、捕捉されたオーディオ信号から基準ノイズ信号の少なくとも一部を除去し、複数の部分的に処理されたオーディオ信号を生成してもよい。ペアジェネレータ１４０は、複数の部分的に処理されたオーディオ信号を互いにとペアにして、複数の部分的に処理されたオーディオ信号ペアを形成してもよい。複数の部分的に処理されたオーディオ信号ペアは、順列ペアではなく、組み合わせペアを含む、すなわち、組み合わせの順序は重要ではない（例えば、ＡＢはＢＡと同じ）。部分的に処理されたオーディオ信号ペアの各々について、相互相関計算装置１４２は相互相関ベクトルを生成し、相互相関ベクトル（修正相互相関ベクトル）から低周波内容の影響を除去し、角度領域計算装置１４４は修正相互相関ベクトルを角度領域相互相関ベクトルに変換してもよい。角度領域計算装置１４４は、角度領域相互相関ベクトルを、対応するエラーマイクフォン位置間の物理角度だけ回転させてもよい。そして、角度領域計算装置１４４は、回転角度領域相互相関ベクトルの全てを合計し、合計角度領域相互相関ベクトルを生成してもよい。重み付けベクトル１４６は、角度に基づいて合計角度領域相互相関ベクトルの部分を選択的に抑制し、可能な到来方向またはスピーチの方向情報を識別してもよい。そして、ビーム形成器１４８は、方向情報を適用してフィルタ１３８からのオーディオ信号を処理し、スピーカー１３４は、スピーチに関連する処理されたオーディオ信号を再生してもよい。
【0016】
図２は、オーディオ通信信号検出システム１０４を有する機械１０２とオペレータ１１４に口頭指令またはスピーチ２０４を提供する監視員２０２を含む作業現場２００の一例の概略上面図を示す。監視員２０２は、機械１０２と同じ平坦な地面盤、機械１０２よりも高いプラットホーム上、または溝などの低い水平面に位置する。オーディオ通信信号検出システム１０４は、図２には具体的に示されていないが、図１を参照して説明したように、機械１０２の一部として存在するか、または機械１０２ｉ上にインストールされているものと理解される。機械１０２の周辺領域は、運転室１１２およびオペレータ１１４を中心として、０°、９０°、１８０°、２７０°の角度を示す軸で区切られた４つの象限２０６、２０８、２１０、２１２にマーキングされている。監視員２０２は、第４象限２１２に位置するように示されている。監視員２０２の位置は、監視員が指令を提供するために使用する可能な領域であることが知られている線２１４および２１６によって定義される領域（監視員領域２１８）内にある。
【0017】
図３は、機械１０２の一部を左に向けた作業現場３００の一例の概略上面図を示す概略図である。より正確には、エンジン１０８、運転室１１２、ブーム１１６、スティック１１８、および作業ツール１２０を含む機械１０２の上部は、機械１０２自体が同じ位置にあるまま、ほぼ垂直な中心軸を中心に回転している。座標または象限２０６、２０８、２１０、２１２は、運転室１１２、すなわちオペレータ１１４に対して設定されたため、監視員２０２は機械１０２の回転に伴って移動可能であるので、監視員領域２１８はオペレータ１１４に対して固定されたままである。
【0018】
図４は、修正相互相関ベクトルを生成するために複数の捕捉されたオーディオ信号を処理するためのモジュールのブロック図４００を示す。複数のエラーマイクフォン１３０Ａ、１３０Ｂ、１３０Ｃ、１３０Ｄのそれぞれは、スピーチ２０４を含む対応するオーディオ信号を捕捉し、複数の捕捉されたオーディオ信号を一緒に生成してもよい。この例では、一次ノイズ源であるエンジン１０８の近傍に配置された基準マイクフォンロフォン１３２は、エンジン１０８からの基準ノイズ信号を捕捉してもよい。そして、フィルタ１３８は、複数の捕捉されたオーディオ信号の各々から基準ノイズ信号の少なくとも一部を除去し、複数の部分的に処理されたオーディオ信号を生成してもよい。フィルタ１３８は、複数のオーディオ信号の捕捉されたオーディオ信号の各々に最小二乗平均（ＬＭＳ）フィルタリングを適用して、基準ノイズ信号の少なくとも一部を除去してもよい。ペアジェネレータ１４０は、複数の部分的に処理されたオーディオ信号の各々をペアにし、複数の部分的に処理されたオーディオ信号ペアを生成してもよい。
【0019】
例えば、エラーマイクフォン１３０Ａに関連する部分的に処理されたオーディオ信号がＡであり、エラーマイクフォン１３０Ｂに関連する部分的に処理されたオーディオ信号がＢであり、エラーマイクフォン１３０Ｃに関連する部分的に処理されたオーディオ信号がＣであり、エラーマイクフォン１３０Ｄに関連する部分的に処理されたオーディオ信号がＤである場合、複数の部分的に処理されたオーディオ信号ペアはＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、ＣＤを含むことになる。言い換えれば、複数の部分的に処理されたオーディオ信号は、部分的に処理されたオーディオ信号の順列ではなく、組み合わせのみを含む。
【0020】
複数の部分的に処理されたオーディオ信号ペアの各々について、相互相関計算装置１４２は、相互相関ベクトルＣＸを算出して生成してもよい。例えば、部分的に処理されたＡＢオーディオ信号ペアについて、相互相関計算装置１４２は、相互相関ベクトルＣＸＡＢを生成してもよい。残りのペアＣＸＡＣ、ＣＸＡＤ、ＣＸＢＣ、ＣＸＢＤ、ＣＸＣＤについても、同様に相互相関ベクトルを算出して生成する。相互相関ベクトルは、低周波内容の影響を相互相関ベクトルから除去するために、さらに処理または修正されてもよい。例えば、修正相互相関ベクトルは、以下の方程式に基づいて算出されてもよい。
ここで、
ＣＸｍは、修正相互相関ベクトルであり、
ＣＸは、元の相互相関ベクトルであり、
Ｌは、ウィンドウの長さであり、
△ｓ＝［－Ｌ＋１，－Ｌ＋２，．．．，Ｌ－２，Ｌ－１］および
｜ ｜は、要素に基づく絶対値演算子である。
【数1】
ここで、
ＣＸｍは、修正相互相関ベクトルであり、
ＣＸは、元の相互相関ベクトルであり、
Ｌは、ウィンドウの長さであり、
△ｓ＝［－Ｌ＋１，－Ｌ＋２，．．．，Ｌ－２，Ｌ－１］および
｜ ｜は、要素に基づく絶対値演算子である。
【0021】
図５は、相互相関ベクトル５０２と、低周波内容（低周波バイアス５０６）の影響が除去された修正相互相関ベクトル５０４との比較例５００を示す。図３に戻ると、修正相互相関ベクトルＣＸ’ＡＢ、ＣＸ’ＡＣ、ＣＸ’ＡＤ、ＣＸ’ＢＣ、ＣＸ’ＢＤ、およびＣＸ’ＣＤは、相互相関計算装置１４２からの出力として示されている。
【0022】
図６は、角度領域計算装置１４４の機能を説明する例示的なブロック図６００を示す。角度領域計算装置１４４は、エラーマイクフォンロフォンペアとサンプルシフト値との間の空間的関係に基づいて、修正相互相関ベクトルを対応する角度領域相互相関ベクトルに変換するように動作する角度領域コンバータ６０２を含んでもよい。例えば、角度領域コンバータ６０２は、修正相互相関ベクトルＣＸ’ＡＢ、ＣＸ’ＡＣ、ＣＸ’ＡＤ、ＣＸ’ＢＣ、ＣＸ’ＢＤ、およびＣＸ’ＣＤの各々を、対応する角度領域相互相関ベクトル∠ＣＸ’ＡＢ、∠ＣＸ’ＡＣ、∠ＣＸ’ＡＤ、∠ＣＸ’ＢＣ、∠ＣＸ’ＢＤ、∠ＣＸ’ＣＤにそれぞれ変換してもよい。修正相互相関ベクトルの各々はサンプル領域にあり、ここで、ベクトルの各々の値は、２つの時間領域信号間のサンプル単位で測定された異なる時間シフトに対応する。これらの相互相関ベクトルを単一の複合ベクトルに結合する前に、それらを同じ領域に変換する必要がある。後の算出を簡単にするために、これは、相互相関ベクトルの各々を角度領域に変換することによって達成される。
図７は、修正相互相関ベクトルの領域と角度領域との間の関係の例示的なグラフィック表示７００を示す。帯域はサンプル遅延を表す。変換の目的は、相互相関ベクトルの値を新しいベクトルに結合することであり、これらの値は、サンプル遅延の代わりに、線形に間隔を開けた角度に対応する。図８は、エラーマイクフォンペア（１３０Ａおよび１３０Ｂ）のセットアップおよび角度領域変換に関連するパラメータの概略図８００を示す。帯域内の任意の位置を有する物理源の信号は、対応するサンプル遅延を伴って、エラーマイクフォン１３０Ａおよび１３０Ｂに到着する。各帯域は、相互相関ベクトルの個々の要素に順次対応する。
図７は、修正相互相関ベクトルの領域と角度領域との間の関係の例示的なグラフィック表示７００を示す。帯域はサンプル遅延を表す。変換の目的は、相互相関ベクトルの値を新しいベクトルに結合することであり、これらの値は、サンプル遅延の代わりに、線形に間隔を開けた角度に対応する。図８は、エラーマイクフォンペア（１３０Ａおよび１３０Ｂ）のセットアップおよび角度領域変換に関連するパラメータの概略図８００を示す。帯域内の任意の位置を有する物理源の信号は、対応するサンプル遅延を伴って、エラーマイクフォン１３０Ａおよび１３０Ｂに到着する。各帯域は、相互相関ベクトルの個々の要素に順次対応する。
【0023】
変換を実行するプロセスの例を以下に説明する。注目角度のベクトルＡ０を最初に生成してもよい。たとえば、１度の解像度が必要な場合、Ａ０は次のように定義できる。
このベクトルＡ０はラジアンに変換され、Φだけ回転してもよく、これは、図８に示すように、グローバルｘ軸と２つのエラーマイクフォン１３０Ａおよび１３０Ｂを結ぶ線との間の角度である。
次に、修正相互相関の領域と角度領域との間の関係を定義する変換ベクトルＴを算出してもよい。
ここで、ｄは、２つのエラーマイクフォン１３０Ａおよび１３０Ｂ間の距離、Ｆｓはサンプリング周波数、Ｌは、修正相互相関を算出する際に、信号の各々に含まれるサンプル数である。Ｔの値は、最も近い整数に四捨五入される。角度領域相互相関ベクトル∠ＣＸ’ＡＢは、修正相互相関ベクトルＣＸ’ＡＢから次のように組み立てられる。
式（５）は、Ｔのメンバが∠ＣＸ’ＡＢを形成するＣＸ’ＡＢの順序付きインデックスであるインデックス付け演算である。たとえば、Ａ＝［１，４，３］の場合、Ｂ＝Ｃ（Ａ）は、ＢをＣの最初の要素、次に４番目の要素、最後に３番目の要素として定義する。なお、式（５）において、∠ＣＸ’ＡＢおよびＴの長さは常に、と同じであるが、∠ＣＸ’とは異なる場合がある。ほとんどの場合、Ｔに重複値も含まれる。これは、図７に示すように、複数の角度が同じサンプル遅延帯域内（例えば、１３５°と２２５°）に収まるためである。以下に示すように、式（２）－（５）を組み合わせて、エラーマイクフォンのいずれかのペアからの修正相互相関を任意の角度領域に変換してもよい。
【数2】
このベクトルＡ０はラジアンに変換され、Φだけ回転してもよく、これは、図８に示すように、グローバルｘ軸と２つのエラーマイクフォン１３０Ａおよび１３０Ｂを結ぶ線との間の角度である。
【数3】
次に、修正相互相関の領域と角度領域との間の関係を定義する変換ベクトルＴを算出してもよい。
【数4】
ここで、ｄは、２つのエラーマイクフォン１３０Ａおよび１３０Ｂ間の距離、Ｆｓはサンプリング周波数、Ｌは、修正相互相関を算出する際に、信号の各々に含まれるサンプル数である。Ｔの値は、最も近い整数に四捨五入される。角度領域相互相関ベクトル∠ＣＸ’ＡＢは、修正相互相関ベクトルＣＸ’ＡＢから次のように組み立てられる。
【数5】
式（５）は、Ｔのメンバが∠ＣＸ’ＡＢを形成するＣＸ’ＡＢの順序付きインデックスであるインデックス付け演算である。たとえば、Ａ＝［１，４，３］の場合、Ｂ＝Ｃ（Ａ）は、ＢをＣの最初の要素、次に４番目の要素、最後に３番目の要素として定義する。なお、式（５）において、∠ＣＸ’ＡＢおよびＴの長さは常に、と同じであるが、∠ＣＸ’とは異なる場合がある。ほとんどの場合、Ｔに重複値も含まれる。これは、図７に示すように、複数の角度が同じサンプル遅延帯域内（例えば、１３５°と２２５°）に収まるためである。以下に示すように、式（２）－（５）を組み合わせて、エラーマイクフォンのいずれかのペアからの修正相互相関を任意の角度領域に変換してもよい。
【数6】
【0024】
グラフ９は、領域変換プロセスにおける信号プロファイル９００の例を示す。図４および図５を参照して上述したように、グラフ９０２は、低周波内容の影響が除去された修正相互相関ベクトル９０４の例を示す。修正相互相関ベクトルの角度領域への領域変換は、式（６）に従って単一のステップとして行われ得ることが理解されるが、領域変換および角度回転の効果は、領域変換プロセスをより良く視覚化するために別々に示されている。グラフ９０６は、修正相互相関ベクトル９０４から変換された角度領域相互相関ベクトル９０８の例を示す。角度領域相互相関ベクトル９０８は、約１８０°の対称性を示し、約１０５°および約２５５°でピークに達し、可能なオーディオ信号の初期方向を示してもよい。グラフ９１０は、回転角度領域相互相関ベクトル９１２の例を示しており、角度領域相互相関ベクトル９０８は、関連するエラーマイクフォンロフォンペア（例えば、エラーマイクフォンロフォン１３０Ａおよび１３０Ｂ）を結ぶ線とグローバルｘ軸との間で、対応する角度Φを回転または修正角度領域相互相関ベクトル９０８である。
【0025】
図１０は、合計角度領域相互相関ベクトルを生成するための例示的な信号プロファイル１０００を示す。この例では、関係するエラーマイクフォン１３０は、エラーマイクフォン１３０Ａ、１３０Ｂ、および１３０Ｃであってもよく、ペアジェネレータは、図４および図５を参照して説明したように、相互相関計算装置１４２によって修正相互相関ベクトルとして、ＣＸ’ＡＢ、ＣＸ’ＡＣおよびＣＸ’ＢＣの３対のＡＢ、ＡＣおよびＢＣを出力してもよい。グラフ９と同様に、領域変換および角度回転の効果は、領域変換プロセスをよりよく視覚化するために、別々に示されている。グラフ１００２には、グラフ９の３つの角度領域相互相関ベクトル９０８、１００４、１００６が示されている。グラフ１００２に示すように、３つの角度領域相互相関ベクトル９０８、１００４および１００６のすべては、約１８０°対称である。グラフ１００８には、３つの回転角度領域相互相関ベクトル９１２、１０１０、および１０１２が示されている。３つの角度領域相互相関ベクトル９０８、１００４および１００６の各々は、対応する角度Φだけ回転され、図５に示すように、角度領域コンバータ６０２からの出力∠ＣＸ’ＡＢ、∠ＣＸ’ＡＣ、および∠ＣＸ’ＢＣに対応して、それぞれ、回転角度領域相互相関ベクトル９０８、１００４、および１００６の３つとして出力される。例えば、角度領域相互相関ベクトル９０８は、約２５°回転され、角度領域相互相関ベクトル１００４は約－１５°回転され、角度領域相互相関ベクトル１００６は約１６５°回転されたものとして示された。
【0026】
グラフ１０１４には、角度領域ベクトル合計モジュール６０４からの出力ＳＣＸ’に対応する回転角度領域相互相関ベクトル９１２、１０１０および１０１２の合計結果である、合計回転角度領域相互相関ベクトル１０１６が示されている。合計回転角度領域相互相関ベクトル１０１６は、スピーチ２０４を含むオーディオ信号の方向の３つの候補を示す、それぞれ５０°、１３０°、２８０°近傍の３つのピーク１０１８、１０２０、および１０２２を示す。どのピークがオーディオ信号の最も可能な方向であるかを決定するために、重み付けベクトル１４６が、以下で説明されるように、合計回転角度領域相互相関ベクトル１０１６に適用される。
【0027】
図１１は、重み付けベクトル１４６を合計回転角度領域相互相関ベクトル１０１６に適用する例示的な表現１１００を示す。グラフ１０１４は、図８を参照して上述したように、重み付けベクトル１４６が適用される合計回転角度領域相互相関ベクトル１０１６を示す。重み付けベクトル１４６は、監視員領域２１８に有利であり、ノイズ源の方向にバイアスを掛ける上述のフィルタリング形状を有するグラフ１１０２に示されている。図２および図３に示すように、重み係数１は、線２１４および２１６によって定義される監視員領域２１８、約２２０°から約３２０°の範囲にほぼ対応し、オペレータ１１４からエンジン１０８に向かう角度が約９０°に近づくにつれて、重み係数は減少する。グラフ１１０４は、重み付けベクトル１４６を合計回転角度領域相互相関ベクトル１０１６に適用した結果である、加重角度領域ベクトル１１０６を示している。加重角度領域ベクトル１１０６は、相対ピーク１１０８（相対ピーク１０２２は抑制されていない）を示し、監視員領域２１８内の１つの角度において、所望のオーディオ信号の最も可能な方向を示す。この例では、相対ピーク１１０８は約２８０°に位置している。加重角度領域ベクトル１１０６は、相対ピーク１０１８および１０２０が重み付けベクトル１４６，によって抑制され、それぞれ抑制されたピーク１１１０および１１１２として示されている。運転室１１２で再生スピーチを生成する際に、２８０°における相対ピーク１１０８の方向情報を用いて、約２８０°に位置する監視員２０２の方向をシミュレートすることもできる。
【0028】
【0029】
重み付けベクトル１４６は、スピーチ２０４を提供するために監視員２０２がいる可能性のある領域であって、エンジン１０８のようにノイズ源の方向に偏ったことが知られている監視員領域２１８を優先するように形成されたフィルタを合計回転角度領域相互相関ベクトル１０１６に適用してもよい。例えば、監視員２０２は、オペレータ１１４から見えない、スピーチ２０４がエンジン１０８のノイズによって妨害される可能性が高い運転室１１２の背後に位置させる可能性は低い。言い換えれば、重み付けベクトル１４６は加重角度領域ベクトルＳＣＸ’ｗを生成するように設計され、この加重角度領域ベクトルは、監視員領域２１８から発生すると判定されたオーディオ信号を、いかなる抑制もなしに効果的に通過させることによって、オーディオ信号の最も可能な方向を識別すると同時に、主要なノイズ源であるエンジン１０８から発生すると判定された方向を低減する。そして、ビーム形成器１４８は、加重角度領域ベクトルＳＣＸ’ｗからの方向情報を用いてビーム形成器１４８の視線方向を設定し、フィルタ１３８からの複数の部分的に処理されたオーディオ信号を視線方向に基づいてビームフォーミングし、スピーチ２０４の復元版である所望のオーディオ信号を出力してもよい。そして、ビーム形成器１４８からの出力は、運転室１１２内のスピーカー１３４によって、スピーチ２０４に関連する再生スピーチ１２０２としてオペレータ１１４に再生されてもよい。いくつかの例では、再生スピーチ１２０２は、スピーカー１３４によって、加重角度領域ベクトルＳＣＸ’ｗからの方向情報に基づいてオペレータ１１４に対する監視員２０２またはスピーチ２０４の方向をオペレータ１１４に示すように生成されてもよい。
図１３は、高ノイズ環境に存在するオーディオ通信信号を検出するための例示的なプロセス１３００を表すフローチャートを提供する。プロセス１３００は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現され得る動作シーケンスを表す動作を有する論理フロー図として示されている。ソフトウェアのコンテキストにおいて、動作は、動作は、１つ以上のプロセッサによって実行されると、記載された動作を実行する、１つ以上のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能指令を表す。説明の目的で、別段の記載がない限り、以下に、ステップを実行するオーディオ通信信号検出システム１０４のプロセッサ１２６に関して図１３を説明する。一般に、コンピュータ実行可能指令は、特定の機能を実行する、または特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。記述された動作の順序は限定的と解釈されることを意図しておらず、記述された任意の数の動作を任意の順序および／または並列に組み合わせてプロセスを実現することができる。
図１３は、高ノイズ環境に存在するオーディオ通信信号を検出するための例示的なプロセス１３００を表すフローチャートを提供する。プロセス１３００は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現され得る動作シーケンスを表す動作を有する論理フロー図として示されている。ソフトウェアのコンテキストにおいて、動作は、動作は、１つ以上のプロセッサによって実行されると、記載された動作を実行する、１つ以上のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能指令を表す。説明の目的で、別段の記載がない限り、以下に、ステップを実行するオーディオ通信信号検出システム１０４のプロセッサ１２６に関して図１３を説明する。一般に、コンピュータ実行可能指令は、特定の機能を実行する、または特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。記述された動作の順序は限定的と解釈されることを意図しておらず、記述された任意の数の動作を任意の順序および／または並列に組み合わせてプロセスを実現することができる。
【0030】
いくつかの例では、プロセッサ１２６は、複数のエラーマイクフォン１３０Ａ、１３０Ｂ、１３０Ｃ、および１３０Ｄを制御して、スピーチ２０４を含むそれぞれのオーディオ信号を捕捉し、ブロック１３０２において複数の捕捉されたオーディオ信号を生成してもよい。プロセッサ１２６は、予め選択されたサンプリング周波数でオーディオ信号をサンプリングすることによって、捕捉されたオーディオ信号を生成してもよい。プロセッサ１２６はまた、エンジン１０８の近くに配置された基準マイクフォンロフォン１３２を制御して、エンジン１０８からブロック１３０４で低レベルスピーチも含むことができる基準ノイズ信号（一次ノイズ）を捕捉してもよい。ブロック１３０６において、プロセッサ１２６は、例えば最小二乗平均（ＬＭＳ）フィルタリングを使用することによって、複数の捕捉されたオーディオ信号の各々から基準ノイズ信号の少なくとも一部をフィルタリングし、複数の部分的に処理されたオーディオ信号を生成してもよい。プロセッサ１２６は、ペアジェネレータ１４０を利用して、複数の部分的に処理されたオーディオ信号から、ブロック１３０８で部分的に処理されたオーディオ信号ペアを生成してもよい。図３を参照して上述したように、複数の部分的に処理されたオーディオ信号ペアは、部分的に処理されたオーディオ信号の順列ではなく、組み合わせペアを含み、組み合わせの順序は重要ではない（例えば、ＡＢはＢＡと同じ）。例えば、エラーマイクフォン１３０Ａに関連する部分的に処理されたオーディオ信号がＡであり、エラーマイクフォン１３０Ｂに関連する部分的に処理されたオーディオ信号がＢであり、エラーマイクフォン１３０Ｃに関連する部分的に処理されたオーディオ信号がＣであり、エラーマイクフォン１３０Ｄに関連する部分的に処理されたオーディオ信号がＤである場合、複数の部分的に処理されたオーディオ信号ペアはＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤ、およびＣＤを含む。
【0031】
部分的に処理されたオーディオ信号ペアの各々について、プロセッサ１２６は、図３を参照して上述したように、ブロック１３１０において、相互相関計算装置１４２を利用して、ＣＸＡＢ、ＣＸＡＣ、ＣＸＡＤ、ＣＸＢＣ、ＣＸＢＤ、ＣＸＣＤなどのＡＢ、ＡＣ、ＡＤ、ＢＣ、ＢＤおよびＣＤペアの相互相関をそれぞれ算出して生成してもよい。ブロック１３１２において、プロセッサ１２６は、相互相関計算装置１４２を利用して、低周波内容の影響を相互相関ベクトルから除去して、例えば、図３を参照して上述したように、相互相関計算装置１４２からの出力として示されている修正相互相関ベクトルＣＸ’ＡＢ、ＣＸ’ＡＣ、ＣＸ’ＡＤ、ＣＸ’ＢＣ、ＣＸ’ＢＤ、およびＣＸ’ＣＤを生成する例えば、上記のように、修正相互相関ベクトルは、式（１）に基づいて算出されてもよい。
【0032】
ブロック１３１４において、プロセッサ１２６は、角度領域コンバータ６０２を利用して、図６～９を参照して上述したように、エラーマイクフォンロフォンペアとサンプル位置との間の空間的関係に基づいて、修正相互相関ベクトルを回転角度領域相互相関ベクトルに変換してもよい。例えば、プロセッサ１２６は、図７および図８を参照して説明する式（２）－（６）に基づいて、角度領域コンバータ６０２を利用して、修正相互相関ベクトルＣＸ’ＡＢ、ＣＸ’ＡＣ、ＣＸ’ＡＤ、ＣＸ’ＢＣ、ＣＸ’ＢＤ、およびＣＸ’ＣＤの各々を、対応する回転角度領域相互相関ベクトル∠ＣＸ’ＡＢ、∠ＣＸ’ＡＣ、∠ＣＸ’ＡＤ、∠ＣＸ’ＢＣ、∠ＣＸ’ＢＤ、および∠ＣＸ’ＣＤにそれぞれ変換する。
【0033】
ブロック１３１６において、プロセッサ１２６は、図６および図１０を参照して上述したように、角度領域ベクトル合計モジュール６０４を利用して回転角度領域相互相関ベクトルを合計し、合計角度領域相互相関ベクトルを生成してもよい。図６および図１０を参照して上述したように、グラフ１０１４には、角度領域ベクトル合計モジュール６０４からの出力ＳＣＸ’に対応する回転角度領域相互相関ベクトル９１２、１０１０および１０１２の合計結果である合計回転角度領域相互相関ベクトル１０１６が示されている。合計回転角度領域相互相関ベクトル１０１６は、スピーチ２０４を含むオーディオ信号の方向の３つの候補を示す、それぞれ５０°、１３０°、２８０°近傍の３つのピーク１０１８、１０２０、および１０２２を示す。どのピークがオーディオ信号の最も可能な方向であるかを決定するために、重み付けベクトル１４６は、以下に説明するように、合計回転角度領域相互相関ベクトル１０１６に適用される。
【0034】
ブロック１３１８において、プロセッサ１２６は、重み付けベクトル１４６を、合計回転角度領域相互相関ベクトル１０１６に適用してもよい。図１１および図１２を参照して上述したように、重み付けベクトル１４６は加重角度領域ベクトル１１０６を生成するように設計され、この加重角度領域ベクトル１１０６は、監視員領域２１８から発生すると判定されたオーディオ信号を抑制なしに効果的に通過させ、一方、エンジン１０８の方向から発生すると判定されたオーディオ信号を減少させて、オーディオ信号の最も可能な方向を識別する。図１１を参照して上述したように、加重角度領域ベクトル１１０６は、監視員領域２１８内の１つの角度におけるスピーチ２０４の最も可能な方向を含む相対ピーク１１０８（抑制されていない相対ピーク１０２２）を示す。この例では、相対ピーク１１０８は約２８０°に位置している。加重角度領域ベクトル１１０６はまた、相対ピーク１０１８および１０２０が、重み付けベクトル１４６によって抑制され、それぞれ抑制されたピーク１１１０および１１１２として示されていることを示す。運転室１１２において再生スピーチ１２０２が生成されると、２８０°における相対ピーク１１０８の方向情報を用いて、約２８０°に位置する監視員２０２の方向をシミュレーションすることもできる。
【0035】
ブロック１３２０において、プロセッサ１２６は、ビーム形成器１４８を用いて加重角度領域ベクトル１１０６からの方向情報を適用することによってビーム形成器１４８の視線方向を設定し、フィルタ１３８からの複数の部分的に処理されたオーディオ信号を視線方向に基づいてビームフォーミングし、スピーチ２０４の復元版である所望のオーディオ信号を出力してもよい。ブロック１３２２において、プロセッサ１２６は、スピーカー１３４を利用して、運転室１１２内で、スピーチ２０４に関連する再生スピーチ１２０２として、所望のオーディオ信号をオペレータ１１４に再生してもよい。いくつかの例では、再生スピーチ１２０２は、スピーカー１３４によって、オペレータ１１４に対する監視員２０２またはスピーチ２０４の方向をオペレータ１１４に示すように生成されてもよい。
【産業上の利用可能性】
【0036】
本開示の例示的なシステムおよび方法は、ノイズの高い作業環境において、機械運転室にいるオペレータが機械運転室外にいる監視員から口頭指令を受信するのに適している。例えば、船舶、トラック、農業用車両、舗装機械、鉱山機械、および／または建設車両などのさまざまな大型機械を使用して、砂利、コンクリート、アスファルト、土壌、および／または他の材料などの工事現場に存在する材料を掘削、移動、成形、輪郭の形成、および／または除去することができる。多くの機械タスクでは、オペレータは、監視員や機械の外にいる他の人など、近くにいる人からの指令を聞く必要がある。インターホン等の無線機を使用せずに作業現場のような高ノイズ環境下で、作業者が監視員からの指令を聞くことができるように、運転室または機械の外部に所定のパターンで複数のエラーマイクフォンを設け、監視員からの指令（スピーチ）を含むオーディオ信号を捕捉する。その後、システムのプロセッサは、捕捉されたオーディオ信号からエンジンノイズのような一次ノイズを除去し、複数の部分的に処理されたオーディオ信号を生成し、複数の部分的に処理されたオーディオ信号をペアにして信号ペアを生成してもよい。信号ペアの各々について、プロセッサは、信号ペアに関連するエラーマイクフォンペアの位置に関連する物理角度に少なくとも部分的に基づいて、それぞれの回転角度領域相互相関ベクトルを生成し、回転角度領域相互相関ベクトルを合計してもよい。次いで、プロセッサは、合計角度領域相互相関ベクトルに重み付けベクトルを適用し、ノイズ源の方向に合計角度領域相互相関ベクトルの一部を抑制するように設計された、スピーチに関連する所望のオーディオ信号の方向情報を加重角度領域ベクトルから識別してもよい。プロセッサは、方向情報に基づいて、部分的に処理された複数のオーディオ信号をビームフォーミングし、運転室内でオペレータのために再生可能な所望のオーディオ信号を出力してもよい。
【0037】
本開示の様々な態様が、上述の例を参照して特に示され、説明されてきたが、開示されたデバイス、システム、および方法の修正によって、開示されたものの精神および範囲を逸脱することなく、様々な追加の実施形態が想定され得ることを当業者は理解するであろう。そのような実施形態は、請求項およびその任意の均等物に基づいて決定される本開示の範囲内に入るものとして理解されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【外国語明細書】