(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022169998
(43)【公開日】2022-11-10
(54)【発明の名称】収音装置、収音プログラム及び収音方法、並びに、キーボード
(51)【国際特許分類】
H04R 3/00 20060101AFI20221102BHJP
H04R 1/40 20060101ALI20221102BHJP
G10L 21/0208 20130101ALI20221102BHJP
【FI】
H04R3/00 320
H04R1/40 320A
G10L21/0208 100A
G10L21/0208 100B
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021075796
(22)【出願日】2021-04-28
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(国立研究開発法人情報通信研究機構「高度通信・放送研究開発委託研究/革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発 課題オ 超臨場感コミュニケーションシステム」、産業技術力強化法第17条の適用を受ける特許出願)
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】原 宗大
【テーマコード(参考)】
5D018
5D220
【Fターム(参考)】
5D018BB23
5D220BA06
5D220BC05
(57)【要約】
【課題】 被操作装置の周辺において、被操作装置の操作音を除外して収音する。
【解決手段】 本発明は、操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて被操作装置の外側の目的エリアの音を収音する収音装置に関する。そして、本発明の収音装置は、マイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音手段を備えることを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音手段を備えることを特徴とする収音装置。
【請求項2】
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記被操作装置の領域では交差しないことを特徴とする請求項1に記載の収音装置。
【請求項3】
それぞれの前記マイクアレイは、前記被操作装置に搭載されていることを特徴とする請求項1又は2に記載の収音装置。
【請求項4】
前記目的エリアは前記操作者の頭部が位置する領域であることを特徴とする請求項1に記載の収音装置。
【請求項5】
前記被操作装置はキーボードであることを特徴とする請求項1~4のいずれかに記載の収音装置。
【請求項6】
コンピュータを、
操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音手段として機能させる
ことを特徴とする収音プログラム。
【請求項7】
収音装置が行う収音方法において、
収音手段を備え、
前記収音手段は、操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する
ことを特徴とする収音方法。
【請求項8】
操作者により操作される被操作装置において、
前記被操作装置の外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、
それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音装置に供給される
ことを特徴とする被操作装置。
【請求項9】
当該被操作装置はキーボードであることを特徴とする請求項8に記載の被操作装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、収音装置、収音プログラム及び収音方法、並びに、キーボードに関し、例えばキーボード等のユーザにより操作される装置(以下、「被操作装置」と呼ぶ)の周辺における音を収音する収音装置に関するものである。
【背景技術】
【0002】
遠隔会議する際に、話者以外の周囲雑音を除去する技術として、例えば、特許文献1に記載の遠隔会議システムがある。管理サーバで、各会議端末に入力された暗騒音データを記憶しておき、第1の会議端末から第2の会議端末に音を送るときに、第1の会議端末において、記憶している暗騒音データの示す暗騒音成分を除去するような、雑音除去フィルタの制御をすることで周囲雑音を除去している。
【0003】
特許文献2は、突発性雑音を除去する技術であり、バイブレーション音や地盤圧縮機の動作音などといった、持続性、周期性のある突発音を低減する。具体的には、主に音声を収音するマイクロホンと、主に音声以外を収音するマイクロホンを用意し、2つのマイクロホンの信号から突発音を推定して、その突発音のみを除去する。
【0004】
特許文献3は、テーブルノイズを除去する技術であり、キーボード上でキーが押される毎に、または、マウスがクリックされる毎に、信号またはメッセージを与えることによって、テーブルノイズ(キーボードの打鍵音、およびマウスのクリック音)を消去する。具体的には、キー押し信号またはメッセージが受信されると、スピーチ音声が発生しているか否かを判定し、スピーチ音声が発生していない場合、マイクロホンはミュートされ、スピーチ音声が発生している場合、スピーチ音声が遠端に送信されるよう、マイクロホンは所定時間の間ミュートしない。これにより、スピーチ音声が同時に発生している場合、キーボード音の存在下で会議が継続可能になり、スピーチ音声が同時に発生してない場合、キーボード音を消音できる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-60460号公報
【特許文献2】特開2016-180833号公報
【特許文献3】特開2014-53890号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1では、記憶していない突発性雑音が生じた場合、その突発性雑音を除去できないという課題がある。また、特許文献2では、持続性、周期性のある突発音という特徴を持たない、キーボードの打鍵音は除去できないという課題がある。さらに、特許文献3では、キー音以外の周囲雑音を除去できないという課題がある。つまり、従来技術では、遠隔会議で音声通話する際に、マイクに、キーボードの打鍵音と、部屋の生活音などの周囲雑音とが入った場合に、片方のみは除去できるが、両方を同時に除去することができない、という課題がある。
【0007】
以上のよう問題に鑑みて、被操作装置(例えば、キーボード等のユーザにより操作されるデバイス)の周辺において、被操作装置の操作音を除外して収音することができる収音装置、収音プログラム及び収音方法、並びに、被操作装置が望まれている。
【課題を解決するための手段】
【0008】
第1の本発明の収音装置は、操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音手段を備えることを特徴とする。
【0009】
第2の本発明の収音プログラムは、コンピュータを、操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音手段として機能させることを特徴とする。
【0010】
第3の本発明は、収音装置が行う収音方法において、収音手段を備え、前記収音手段は、操作者により操作される被操作装置が配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得することを特徴とする。
【0011】
第4の本発明は、操作者により操作される被操作装置において、前記被操作装置の外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記被操作装置の外側に位置する目的エリアを含み、且つ、前記被操作装置の領域を含まない収音エリアの音を取得する収音装置に供給されることを特徴とする。
【発明の効果】
【0012】
本発明によれば、被操作装置の周辺において、被操作装置の操作音を除外して収音することができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態に係る各装置の全体構成を示すブロック図である。
【
図2】実施形態に係る収音装置のハードウェア構成の例について示したブロック図である。
【
図3】実施形態に係るキーボードと、マイクアレイと、目的エリアの位置関係の例について図示している。
【
図4】実施形態に係るキーボードにおけるマイクアレイの第1の配置パターンについて示した図である。
【
図5】実施形態に係るキーボードにおけるマイクアレイの第2の配置パターンについて示した図である。
【
図6】実施形態に係るキーボードにおけるマイクアレイの第3の配置パターンについて示した図である。
【
図7】実施形態に係るキーボードにおけるマイクアレイの第4の配置パターンについて示した図である。
【
図8】実施形態に係るキーボードにおけるマイクアレイの第5の配置パターンについて示した図である。
【
図9】実施形態に係るキーボードにおけるマイクアレイの第6の配置パターンについて示した図である。
【
図10】実施形態に係るキーボードにおけるマイクアレイの第7の配置パターンについて示した図である。
【
図11】実施形態に係るキーボードの外部にマイクアレイを設置する例について示している。
【
図12】実施形態の変形実施例に係るキーボードにマイクアレイを埋め込んで設置する例について示した図である。
【
図13】実施形態の変形実施例に係るキーボードにおいて、筐体とマイクアレイとの間に緩衝材の層を設ける例(その1)について示した図である。
【
図14】実施形態の変形実施例に係るキーボードにおいて、筐体とマイクアレイとの間に緩衝材の層を設ける例(その2)について示した図である。
【
図15】ビームフォーマの構成例について示したブロック図である。
【
図16】指向性フィルタにより形成される指向特性の一例を説明する説明図である。
【発明を実施するための形態】
【0014】
(A)主たる実施形態
以下、本発明による収音装置、収音プログラム及び収音方法、並びに、被操作装置の一実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の被操作装置をキーボードに適用する例について説明する。
【0015】
(A-1)実施形態の構成
図1は、この実施形態に関係する各装置の接続関係、及びこの実施形態に係る収音装置1の機能的構成を示すブロック図である。
【0016】
収音装置10は、ユーザにより操作される被操作端末であるキーボード30(1又は複数のハードウェアキーを備える入力デバイス)の周辺の目的エリア(収音対象となるエリア/領域)の音を収音するものである。収音装置10は、N個(Nは2以上の整数)のマイクアレイMA(MA1~MAN)を用いて、目的エリア音を収音する目的エリア音収音処理を行う。また、マイクアレイ部20では、各マイクアレイMAは、音響信号を捕捉するM個(Mは2以上の整数)のマイクロホンM(M1~MM)を備えているものとする。マイクアレイの数N及び各マイクアレイのマイクロホンの数Mについては任意の数を適用することができる。この実施形態の例では、マイクアレイ部20は、2つのマイクアレイMA1、MA2を備え、それぞれのマイクアレイMAは、2つのマイクロホンM1、M2を備える例について説明する。すなわち、この実施形態において、各マイクアレイMAは、2chマイクアレイを構成しているものとする。なお、各マイクアレイMAが備えるマイクロホンの数は3以上としてもよい。
【0017】
収音装置10は、各マイクアレイMAから供給される音響信号に基づいて、キーボード30の外側に位置する目的エリアを音源とする目的エリア音を収音する処理(以下、「エリア収音処理」と呼ぶ)を行う。エリア収音処理の詳細については後述する。
【0018】
収音装置10は、例えば、以下の参考文献1や参考文献2の記載技術のように、複数のマイクアレイのビームフォーマ(Beam Former;以下「BF」と表す)出力に基づいて目的エリア音を収音する処理を行うようにしてもよい。BFとは、マイクアレイを構成する各マイクロホンに到達する信号(音響)の時間差を利用して、ある特定の方向の音のみ分離して収音する処理(指向性を持たせた収音処理)である。
【0019】
[参考文献1]:特開2017-183902号公報
[参考文献2]:浅野太著,“音響テクノロジーシリーズ16 音のアレイ信号処理-音源の定位・追跡と分離-”,日本音響学会編,コロナ社,2011年2月25日発行
【0020】
参考文献1、2の記載技術は、特定のエリア(目的エリア)の音を強調し、それ以外のエリア(非目的エリア)の音を除去する技術である。そして、参考文献1の記載技術では、複数のマイクアレイのBF出力の指向性をそれぞれ別の方向から目的エリアに向けて交差させ、指向性が交差したエリア以外の音を除去することで、目的エリア音を収音している。なお、収音装置10では、複数のマイクアレイからの音響信号を用いて目的エリア内にある音を抽出する方式であれば、上記の方式以外の種々の方式を適用するようにしてもよい。
【0021】
次に、参考文献1に記載されたエリア収音処理の概要について、
図15、
図16を用いて説明する。
【0022】
ここでは、マイクアレイMA1、MA2のマイクロホンM1、M2から供給される音響信号に、参考文献1に記載されたエリア収音処理を適用する例について説明する。ここでは、マイクアレイMA1、MA2のそれぞれにおいて、マイクロホンM1、M2の周波数領域の信号(音響信号)をX1、X2と表すものとする。
【0023】
上記の通り、BFとは、各マイクロホンに到達する信号の時間差を利用して指向性を形成する処理(機能)である。そして、BFは、加算型と減算型の大きく2つの種類に分けられる。特に減算型BFは、加算型BFに比べ、少ないマイクロホン数で指向性を形成できるという利点がある。ここでは、任意のマイクアレイMA(MA1又はMA2のいずれかのマイクロホンM1、M2)の信号X
1、X
2から、
図15に示す減算型BF300を用いてBF出力を得る例について説明する。
【0024】
図15は、マイクロホン数が2個の場合の減算型BF300に係る構成を示すブロック図である。
【0025】
図15に示す減算型BF300は、遅延器310と減算器320とを有している。
【0026】
減算型BF300は、まず遅延器310により目的とする方向に存在する音(以下、「目的音」と呼ぶ)が各マイクロホンに到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。時間差は下記(1)式により算出される。ここで「d」はマイクロホン間の距離であり、「c」は音速であり、「τL」は遅延量である。また、ここで「θL」は、各マイクロホン(M1、M2)の間を結んだ直線に対する垂直方向から目的方向への角度である。
τL=(dsinθL)/c …(1)
【0027】
ここで、死角がマイクロホンM1とマイクロホンM2の中心に対し、マイクロホンM1の方向に存在する場合、遅延器310は、マイクロホンM1の入力信号x1(t)に対し遅延処理を行う。その後、減算型BF300では、減算器320が(2)式に従い減算処理を行う。
m(t)=x2(t)-x1(t-τL) …(2)
【0028】
減算器320では、周波数領域でも同様に減算処理を行うことができ、その場合(2)式は以下(3)式のように変更される。
【数1】
【0029】
図16は、2個のマイクロホンM1、M2を用いた減算型BF300により形成される指向特性を示す図である。
【0030】
ここでθ
L=±π/2の場合、減算器320で形成される指向性は
図16(a)に示すように、カージオイド型の単一指向性となり、θ
L=0,πの場合は、
図16(b)のような8の字型の双指向性となる。ここでは、入力信号から単一指向性を形成するフィルタを「単一指向性フィルタ」と呼び、双指向性を形成するフィルタを「双指向性フィルタ」と呼ぶものとする。
【0031】
また、減算器320では、スペクトル減算法(Spectral Subtraction;以下単に「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。SSによる指向性は、(4)式に従い全周波数、又は指定した周波数帯域で形成される。(4)式では、マイクロホンM1の入力信号X1を用いているが、マイクロホンM2の入力信号X2でも同様の効果を得ることができる。ここでβはSSの強度を調節するための係数である。
【0032】
減算器320では、減算処理時に値がマイナスになった場合は、0または元の値を小さくした値に置き換える処理(フロアリング処理)を行う。この方式により、減算器320では、双指向性フィルタにより目的方向以外に存在する音(以下、「非目的音」と呼ぶ)を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
Y(ω)=|X1(ω)| - β|M(ω)| …(4)
【0033】
ところで、1つのマイクアレイのBF出力(減算型BFの出力)を用いて目的エリアの音を収音しようとする場合、その目的エリアの周囲の非目的エリア音(例えば、当該マイクアレイから目的エリアへの方向に存在する非目的エリアを音源とする音)も収音してしまう可能性がある。そのため、参考文献1に記載されたエリア収音処理では、複数のマイクアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音のエリア収音を行う。
【0034】
そして、参考文献1に記載されたエリア収音処理では、各マイクアレイのBF出力に含まれる目的エリア音の振幅スペクトルの比率を推定し、それを補正係数とする。例えば、2つのマイクアレイを使用する場合、目的エリア音振幅スペクトルの補正係数は、(5)式、(6)式または(7)式、(8)式により算出される。
【数2】
【0035】
ここで、「Y1(ω)」、「Y2(ω)」は、それぞれマイクアレイMA1、MA2のBF出力の振幅スペクトルである。また、「α1(ω)」、「α2(ω)」は、それぞれマイクアレイMA1、MA2のBF出力に対する振幅スペクトル補正係数である。さらにまた、「modeω」はωに関する最頻値、「medianω」はωに関する中央値をそれぞれ表している。
【0036】
そして、参考文献1に記載されたエリア収音処理では、その後、補正係数により各BF出力を補正し、SSすることで、目的エリア方向に存在する非目的エリア音を抽出する。更に抽出した非目的エリア音を各BFの出力からSSすることにより目的エリア音を抽出することができる。
【0037】
この場合、参考文献1に記載されたエリア収音処理では、マイクアレイMA1からみた目的エリア方向に存在する非目的エリア音N1(ω)を抽出するには、(9)式に示すように、マイクアレイMA1のBF出力Y1(ω)からマイクアレイMA2のBF出力Y2(ω)に振幅スペクトル補正係数α2を掛けたものをSSする。同様に(10)式に従い、マイクアレイMA2からみた目的エリア方向に存在する非目的エリア音N2(ω)を抽出する。
N1(ω)=Y1(ω)-α2(ω)Y2(ω) …(9)
N2(ω)=Y2(ω)-α1(ω)Y1(ω) …(10)
【0038】
その後、参考文献1に記載されたエリア収音処理では、(11)式、(12)式に従い、各BF出力から非目的エリア音をSSして目的エリア音を抽出する。(11)式はマイクアレイMA1を基準として目的エリア音を抽出する処理を示しており、(12)式はマイクアレイMA2を基準として目的エリア音を抽出する処理を示している。
Z1(ω)=Y1(ω)-γ1N1(ω) …(11)
Z2(ω)=Y2(ω)-γ2N2(ω) …(12)
【0039】
ここでγ1、γ2はSS時の強度を変更するための係数である。
【0040】
この実施形態の収音装置10においても、参考文献1に記載されたエリア収音処理と同様に、マイクアレイMA1、MA2のそれぞれのBF出力の指向性を目的エリアで交差させることでエリア収音処理を行うものとする。
【0041】
次に、収音装置10の内部構成の例について説明する。
【0042】
図1に示すように、収音装置10は、データ入力部11、周波数変換部12、指向性形成部13、及び目的エリア音抽出部14を有している。収音装置10の各要素の処理の詳細については後述する。
【0043】
収音装置10は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置10は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態の収音プログラムを含む)をインストールすることにより構成するようにしてもよい。
【0044】
次に、
図2を用いて、収音装置10のハードウェア構成について説明する。
【0045】
図2は、収音装置10のハードウェア構成の例について示したブロック図である。
【0046】
収音装置10は、全てハードウェア(例えば、専用チップ等)により構成するようにしてもよいし一部又は全部についてソフトウェア(プログラム)として構成するようにしてもよい。収音装置10は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム(実施形態の収音プログラムを含む)をインストールすることにより構成するようにしてもよい。
【0047】
図2では、収音装置10を、ソフトウェア(コンピュータ)を用いて構成する際のハードウェア構成の例について示している。
【0048】
図2に示す収音装置10は、ハードウェア的な構成要素として、プログラム(実施形態の収音プログラムを含む)がインストールされたコンピュータ200を有している。また、コンピュータ200は、収音プログラム専用のコンピュータとしてもよいし、他の機能のプログラムと共用される構成としてもよい。
【0049】
図2に示すコンピュータ200は、プロセッサ201、一次記憶部202、及び二次記憶部203を有している。一次記憶部202は、プロセッサ201の作業用メモリ(ワークメモリ)として機能する記憶手段であり、例えば、DRAM(Dynamic Random Access Memory)等の高速動作するメモリを適用することができる。二次記憶部203は、OS(Operating System)やプログラムデータ(実施形態に係る収音プログラムのデータを含む)等の種々のデータを記録する記憶手段であり、例えば、FLASH(登録商標)メモリやHDD等の不揮発性メモリを適用することができる。この実施形態のコンピュータ200では、プロセッサ201が起動する際、二次記憶部203に記録されたOSやプログラム(実施形態に係る収音プログラムを含む)を読み込み、一次記憶部202上に展開して実行する。
【0050】
なお、コンピュータ200の具体的な構成は
図2の構成に限定されないものであり、種々の構成を適用することができる。例えば、一次記憶部202が不揮発メモリ(例えば、FLASHメモリ等)であれば、二次記憶部203については除外した構成としてもよい。
【0051】
例えば、収音装置10を構成するコンピュータ200がPCであれば、キーボード30及びマイクアレイMA1、MA2は当該PCの入力デバイスとするようにしてもよい。また、例えば、収音装置10が電話端末(例えば、会議端末やソフトホン)として機能するPCであれば、マイクロホンアレイMA1、MA2は近端話者の発話音声を収音する手段として機能するようにしてもよい。
【0052】
次に、この実施形態におけるマイクアレイMA1、MA2の配置及BF出力の指向性の例(各装置の配置及び収音処理の設計例)について説明する。
【0053】
図3では、被操作装置としてのキーボード30と、マイクアレイMA1、MA2と、収音装置10で収音する対象となる目的エリアATの位置関係の設計例について図示している。
【0054】
図3では、キーボード30の周辺を上方向から見た図となっている。ここでは、キーボード30の位置を含む水平面(
図3に示すX軸とY軸により形成される平面;以下、「XY平面」とも呼ぶ)上に、マイクアレイMA1、MA2及び目的エリアATが存在する場合において、収音装置10がマイクアレイMA1、MA2の音響信号から目的エリアATを音源とする目的エリア音を収音する場合について説明する。
【0055】
ここでは、
図3に示すように、XY平面上で、キーボード30は位置P101を中心位置とする略矩形(略長方形)の形状となっているものとする。また、
図3に示すように、ここでは、XY平面上で目的エリアATは、位置P201を中心とする領域であるものとする。XY平面上で目的エリアATの形状は限定されないものであるが、ここでは略円形であるものとして説明する。
【0056】
また、以下では、
図3に示すように、XY平面上で、P101とP201とを通る線の方向を前後方向と呼び、前後方向に直交する方向を左右方向と呼ぶものとする。
図3では、XY平面上で、P101とP201とを通る線をL101と図示し、L101と直交し且つ中心点P101を通る線をL102と図示している。言い換えると、L101はキーボード30の長手方向の中点を通る中心線となっており、L102はキーボード30の短手方向の中点を通る中心線となっている。
【0057】
さらに以下では、中心線L101からキーボード30の長手方向の端部への方向(中心位置P101から右又は左への方向)を「外側」方向と呼び、キーボード30の長手方向の端部から中心線L101への方向(外側から中心位置P102へ向かう方向;外側方向と逆の方向)を「内側」方向と呼ぶものとする。
【0058】
また、以下では
図3に示すように、XY平面上で、キーボード30から目的エリアATへ向かう方向(P101からP201への方向)を前側(手前側)と呼び、目的エリアATからキーボード30へ向かう方向(P201からP101への方向)を後側(奥側)と呼ぶものとする。さらに、以下では、
図3に示すように、左右とは、XY平面上で、目的エリアATからキーボード30を見た場合における左右を指すものとして説明する。
【0059】
ここで、
図3に示すようなモデルにおいて、それぞれのマイクアレイMA1、MA2の設置位置及びBF出力の設計ポリシーについて説明する。
【0060】
この実施形態の収音装置10では、キーボード30のユーザ(操作者)の発話する音声を収音しつつ、キーボード30を音源とする音(例えば、キーの打鍵音(操作音)等)を収音しないように設計されるものとする。
【0061】
言い換えると、この実施形態では、ユーザ(操作者)の口元(頭部)を含む領域を収音エリアとして含みつつ、キーボード30の存在する領域(特にキーが配置された領域)については収音エリアに含まない(収音範囲はキーボード30の外側の領域だけとする)ようにマイクアレイMA1、MA2の設置位置及びBF出力の指向性等が設計される必要があるものとする。
【0062】
つまり、この実施形態の収音装置10及びマイクアレイ部20は、収音エリアに目的エリアATを含みつつキーボード30を含まないというポリシーを満たすように設計されているものとする。この実施形態では、
図3に示すようにキーボード30の前側の円形の領域を目的エリアATとしているが、キーボード30の外側でユーザ(操作者)の口元(頭部)を含む領域であれば目的エリアATの位置や形状は限定されないものである。
【0063】
ここでは、各マイクアレイMAのBF出力の指向性は、正面方向(マイクロホンM1、M2の間を通る線と直交する方向;例えば、
図15においてθ
L=0とする方向)であるものとする。そうすると、各マイクアレイMAのBF出力により収音される範囲は、その設置位置及び向き(正面方向の向き)により定まることになる。以下では、上記のポリシーを満たすマイクアレイMA1、MA2の位置を「最適マイクアレイ位置」とも呼ぶものとする。
【0064】
図3の例では、マイクアレイMA1、MA2は、それぞれキーボード30の奥側で左右方向に一列に並べて配置されている。また、
図3の例では、マイクアレイMA1、MA2を構成する各マイクロホンM1、M2も左右方向に一列に並べて配置されている。また、
図3の例では、マイクアレイMA1、MA2のBF出力の指向性は、まっすぐ前側(前後方向と並行)に向けられるものとする。
【0065】
以下では、
図3のようにマイクアレイMA1、MA2を配置するパターンを「第1の配置パターン」と呼ぶものとする。
【0066】
第1の配置パターンとした場合において、マイクアレイMA1、MA2のそれぞれのBF出力により収音される範囲(BF出力の指向性)は、
図4のようになる。
図4では、マイクアレイMA1のBF出力により収音される扇形の収音範囲(BF出力の指向性)A101を点線(破線)で表し、マイクアレイMA2のBF出力により収音される扇形の収音範囲(BF出力の指向性)A102を一点鎖線で表している。
【0067】
また、
図4では、A101とA102で重複する範囲(すなわち、2つのマイクアレイの指向性が交差する領域)A103にハッチ(斜線)を付して表示している。したがって、A103は、収音装置10によりエリア収音される領域(収音エリア)となる。言い換えると、
図4に示す第1の配置パターンでは、マイクアレイMA1のBF出力による指向性(収音範囲A101)と、マイクアレイMA2のBF出力による指向性(収音範囲A102)とが、キーボード30の領域では交差せず、目的エリアATが位置するキーボード30の手前側でだけ交差するように設計されている。
【0068】
図4に示すように、第1の配置パターンでは、収音エリアA103に目的エリアATが含まれており、かつ、キーボード30の領域は含まれていないため、上記のポリシーを満たす配置パターン(最適マイクアレイ位置)となっていると言える。
【0069】
図5~
図10は、第2~第7の配置パターンにおける収音エリアについて示した図である。
【0070】
図5~
図7に示すように、第2~第4の配置パターンは、いずれも、上記のポリシーを満たす配置パターン(最適マイクアレイ位置となる配置パターン)を示している。
【0071】
図5に示すように、第2の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2がいずれもやや内側に配置されている。また、第2の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2の指向性がいずれもやや外側(20°程度外側)を向くように配置されている。
【0072】
図6に示すように、第3の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2がいずれもやや内側で且つ手前側に配置されている。また、第3の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2の指向性がいずれもやや内側(20°程度内側)を向くように配置されている。
【0073】
図7に示すように、第4の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1だけが、内側で且つ手前側に配置されている。また、第4の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1の指向性だけがやや内側(20°程度内側)を向くように配置されている。
【0074】
以上のように、第2の配置パターンは、第1の配置パターンと比較し、マイクアレイMA1、MA2の指向性が互いに外側に向く場合を示している。また、第3の配置パターンは、第1の配置パターンと比較し、マイクアレイMA1、MA2の指向性が互いに内側に向く場合を示している。さらに、第4の配置パターンは、第1の配置パターンと比較し、マイクアレイMA1、MA2の指向性がランダムな方向に向く場合を示している。第2~第4の配置パターンはいずれも、第1の配置パターンと比較して、各マイクアレイMAの指向性が異なっているが、上記のポリシー(収音エリアに目的エリアATを含みつつキーボード30を含まないというポリシー)を満たすような配置パターンとなっている。
【0075】
ただし、マイクアレイMA1、MA2はキーボード30でハードウェアキーが配置されていない領域に設置することが好ましいため、第1~第4の配置パターンの中では、キーボード30でハードウェアキーが配置されていない奥側にのみマイクアレイMA1、MA2が配置される第1の配置パターンや第2の配置パターンが好適であると言える。なお、上記のポリシーを満たす配置パターンであれば、キーボード30の手前側でハードウェアキーが配置されていない手前側(前面側)や、左右方向の端部側(側面側)にマイクアレイMA1、MA2を配置するようにしてもよい。
【0076】
一方、
図8~
図10に示すように、第5~第6の配置パターンは、いずれも、上記のポリシーを満たさない配置パターン(最適マイクアレイ位置とならない配置パターン)を示している。
【0077】
図8に示すように、第5の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2の指向性がいずれもやや内側(20°程度内側)を向くように配置されている。第5の配置パターンでは、収音エリアA103に目的エリアATだけでなくキーボード30も含まれているため上記のポリシーを満たさない。
【0078】
図9に示すように、第6の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1がやや内側で且つ手前側に配置されている。また、第6の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1指向性がやや内側(20°程度内側)を向くように配置されている。さらに、第6の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA2指向性が外側(60°程度外側)を向くように配置されている。第6の配置パターンでは、収音エリアA103に目的エリアATが含まれていないため上記のポリシーを満たさない。
【0079】
図10に示すように、第7の配置パターンでは、第1の配置パターンと比較して、マイクアレイMA1、MA2指向性がいずれも外側(60°程度外側)を向くように配置されている。第7の配置パターンでは、マイクアレイMA1、MA2の指向性が交差しないため収音エリア103が存在せず、上記のポリシーを満たし得ない。
【0080】
次に、マイクアレイMA1、MA2を設置する方式の例について
図11、
図12を用いて説明する。
図11、
図12では、キーボード30及びマイクアレイMA1、MA2の斜視図を示している。
【0081】
図11は、キーボード30の外部にマイクアレイMA1、MA2を設置する例について示している。
図11に示すマイクアレイMA1、MA2は、いずれも直方体形状の筐体に2つのマイクロホンM1、M2が搭載された例について示している。
【0082】
図11(a)の例では、キーボード30の上面にマイクアレイMA1、MA2が設置(載置)されている。また、
図11(b)の例では、キーボード30の左右の側面にそれぞれマイクアレイMA1、MA2が設置されている。さらに、
図11(c)例では、キーボード30の手前側の面(前面)にマイクアレイMA1、MA2が設置されている。また、各マイクアレイMAにおいて、マイクロホンMの表面(マイクアレイMAの筐体から露出させる部分)の向きは、どの向きでも良いが(各マイクロホンMは全指向性であるため)、手前側か上面側が好適である。また、
図11の例において、マイクアレイMA1、MA2(筐体)を、キーボード30の面(上面、側面又は前面)に固定(例えば、接着剤やボルト等により固定)してもよいし、固定しなくてもよい。また、
図11の例(
図5~
図7のような例も含む)において、マイクアレイMA1、MA2(筐体)を、キーボード30の面(上面、側面又は前面)に接触(当接)させないように配置してもよい。
【0083】
なお、上記のポリシーを満たす配置パターンであれば
図11(b)のようにキーボード30の前面側にマイクアレイMA1、MA2を配置するようにしてもよいが、
図11(b)のような配置パターンの場合、マイクアレイMA1、MA2にユーザ(操作者)の手が当接する可能性があるため、
図11(a)のような配置パターン(すなわち、第1の配置パターン)の方がより好適であると言える。また、上記のポリシーを満たす配置パターンであれば
図11(c)のように、キーボード30の左右方向の端部側(側面側)にマイクアレイMA1、MA2を配置するようにしてもよいが、設置スペース等を考慮すると
図11(a)のような配置パターン(すなわち、第1の配置パターン)の方がより好適であると言える。
【0084】
(A-2)実施形態の動作
次に、以上のような構成を有するこの実施形態の収音装置10の動作(実施形態の収音方法)を説明する。
【0085】
データ入力部11は、各マイクアレイMA1、MA2(マイクロホンM1、M2)で収音した音響信号をアナログ信号からディジタル信号に変換する。
【0086】
周波数変換部12は、データ入力部11が変換したディジタル信号について周波数領域に変換する処理(例えば、高速フーリエ変換等を用いて時間領域から周波数領域へ変換する処理)を行う。ここでは、マイクアレイMA1、MA2のそれぞれにおいて、マイクロホンM1、M2の周波数領域の信号(音響信号)をX1、X2と表すものとする。
【0087】
指向性形成部13は、マイクアレイMA毎に、目的方向以外に存在する非目的エリア音を抽出(例えば、双指向性フィルタにより抽出)し、抽出した非目的エリア音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的エリア方向(目的エリアATの方向)に指向性を形成した音(BF出力)を取得する。具体的には、指向性形成部13は、(4)式に従いBFにより目的エリア方向に指向性を形成した音をBF出力として取得する。したがって、この実施形態において、指向性形成部13は、マイクアレイMA毎に、目的エリア方向に指向性を形成したBF出力を取得するとともに、BF出力を取得する過程で得られた目的エリア方向以外の方向に指向性を形成した非目的エリア音も保持する。なお、指向性形成部13において、BF出力と、目的エリア方向以外の方向に指向性を形成した非目的エリア音を取得する具体的な演算処理方法については限定されないものである。
【0088】
目的エリア音抽出部14は、マイクアレイMA1、MA2のBF出力データを(9)式又は(10)式に従ってSSし、目的エリア方向に存在する非目的エリア音を抽出する。さらに、目的エリア音抽出部14は、抽出した非目的エリア音を各BFの出力から(11)式又は(12)式に従いSSすることで収音エリアの音(収音エリアA103;目的エリアATを含むエリアの音)を抽出する。
【0089】
そして、目的エリア音抽出部14は、抽出した目的エリア音を出力する。目的エリア音抽出部14は、が出力する信号の形式は限定されないものであり、種々の形式を適用することができる。例えば、目的エリア音抽出部14は、目的エリア音を所定の形式のディジタル音響信号(例えば、PCM形式の信号)や所定のコーデックにより符号化して出力(出力する方式については限定されない)するようにしてもよい。また、目的エリア音抽出部14は、抽出した目的エリア音を、アナログ音響信号として出力(例えば、図示しないスピーカに出力)するようにしてもよい。
【0090】
(A-3)実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【0091】
この実施形態において、収音装置10及びマイクアレイ部20は、エリア収音処理の収音エリアに目的エリアATを含みつつキーボード30を含まないというポリシーを満たすように設計されている。これにより、この実施形態では、目的エリアATに位置するユーザ(操作者)の発話する音声を収音しつつ、キーボード30の操作音(例えば、ユーザによりキーが打鍵される際の打鍵音等)及び目的エリアATの周囲の音(例えば、キーボード30以外を音源とする背景雑音等)を含まないようにすることが可能となる。
【0092】
この実施形態では、キーボード30にマイクアレイMAを搭載する例について示したが、通常コンピュータには、キーボードではなくモニタ(ディスプレイ)も接続又は搭載されているため、モニタにマイクアレイMAを設置することも可能ではある。ただし、除去すべきノイズの音源はキーボード30でありモニタではないため、キーボード30を避けた収音エリアの設計はキーボード30自体にマイクアレイMAを搭載する方が容易である。また、ユーザ(操作者)の口元とマイクアレイMAとの距離を考慮すると、モニタよりもキーボード30の方が近いので、ユーザ(操作者)の発話音声を目的エリア音として収音する際のSNRが高いというメリットがある。さらに、ユーザ(操作者)が操作するコンピュータにモニタが複数接続されている場合(例えば、デュアルディスプレイの環境である場合)、ユーザ(操作者)がマイクアレイMAの搭載されたモニタの方向を向いて話すとは限らないので、(キーボード30にマイクアレイを搭載する場合と比較して)ユーザ(操作者)の口元が収音エリアから外れる可能性が高くなるというデメリットがある。通常、ユーザ(操作者)は、キーボード30の方を向いて話すと想定できるため、マイクアレイMAの方(マイクアレイMA1、MA2の間を向いて話すほうが、ユーザ(操作者)の発話音声は悠音されやすい。以上から、コンピュータにマイクアレイを設置する際には、モニタよりもキーボードの方が好適であると言える。
【0093】
(B)他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【0094】
(B-1)
図12は、キーボード30にマイクアレイMA1、MA2を埋め込むように設置(内蔵)するようにしてもよい。
【0095】
図12(a)では、キーボード30の上面にマイクアレイMA1、MA2が埋め込まれている例について示している。また、
図12(b)では、キーボード30の手前側の面(前面)に、マイクアレイMA1、MA2が埋め込まれている例について示している。
図12の例では、いずれもマイクアレイMA1、MA2は設置されている面(キーボード30の上面又は前面)にマイクロホンM1、M2が露出した状態となっている。
【0096】
キーボード30にマイクアレイMA1、MA2を埋め込む場合、キーボード30の振動(打鍵による振動)がマイクロホンM1、M2に伝搬することを抑制するため、
図13に示すように、キーボード30の筐体32と、マイクアレイMA1、MA2との間に緩衝材の層32を設けるようにしてもよい。
【0097】
図13(a)は、筐体32と、マイクアレイMA1、MA2との間に緩衝材の層32を設けたキーボード30について上面から見た場合の構成について示している。
図13(b)は、
図13(a)のA-A’線矢視断面を拡大(マイクアレイMA1の部分を拡大)して示す図となっている。
【0098】
緩衝材の層32に適用する材料は限定されないものであるが、例えば、適度な弾性を備える材料(例えば、ゴム、シリコン、ウレタン等を含む材料)を適用することができる。
【0099】
また、
図14に示すように、キーボード30の外部にマイクアレイMA1、MA2を設置する際にも、マイクアレイMA1、MA2(筐体)とキーボードの筐体31との間に緩衝材の層32を設けるようにしてもよい。
【0100】
(B-2)上記の実施形態では、被操作装置としてキーボード30を適用する例について示したが、本発明の被操作装置はキーボード30に限定されず、種々の被操作装置(例えば、マウス、タッチパッド、液晶タブレット等の操作される装置/デバイス)であってもよい。また、上記の実施形態において、キーボード30にはキーボード以外の機能が搭載されていてもよい。例えば、キーボード30にタッチパッドやタブレット等の機能が搭載されていてもよい。また、本発明の被操作装置は、単なる被操作装置でなく、被操作部分を含む端末装置(例えば、ノート型PCやタブレット端末等)であってもよい。その場合、当該被操作装置としての端末装置には、収音装置やマイクアレイ自体も搭載されることになる。そのような端末装置は、本発明の被操作装置(マイクアレイ及び収音装置を備える被操作装置)であり、本発明の収音装置(被操作装置及びマイクアレイを備える収音装置)であるとも言えることになる。
【0101】
また、上記の実施形態では、キーボード30と収音装置10は別個のデバイスとする例について示したが、キーボード30にコンピュータ(実施形態に係る収音プログラムがインストールされたコンピュータ)を備え、当該コンピュータに収音装置10に相当するプログラムをインストールすることにより、エリア収音結果自体をキーボード30から出力(例えば、PC等の端末装置に供給)するように構成してもよい。
【符号の説明】
【0102】
10…収音装置、11…データ入力部、12…周波数変換部、13…指向性形成部、14…目的エリア音抽出部、20…マイクロホンアレイ部、MA(MA1~MAN)…マイクロホンアレイ、M(M1~MM)…マイクロホン、30…キーボード、AT…目的エリア。
【手続補正書】
【提出日】2022-07-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段と、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しない
ことを特徴とする収音装置。
【請求項2】
それぞれの前記マイクアレイは、前記キーボードに搭載されていることを特徴とする請求項1に記載の収音装置。
【請求項3】
前記目的エリアは前記操作者の頭部が位置する領域であることを特徴とする請求項1又は2に記載の収音装置。
【請求項4】
前記キーボードにおいて、それぞれの前記マイクアレイは、前記操作者から見て左右方向に略一列に並べて配置されていることを特徴とする請求項2又は3に記載の収音装置。
【請求項5】
前記キーボードにおいて、それぞれの前記マイクアレイの指向性は、前記操作者から見て手前側で、かつ、やや内側に傾けられた方向となっていることを特徴とする請求項4に記載の収音装置。
【請求項6】
それぞれの前記マイクアレイは、筐体の中に収められており、前記筐体と前記キーボードの本体部分との間には振動を抑制する緩衝材の層が設けられていることを特徴とする請求項1~5のいずれかに記載の収音装置。
【請求項7】
コンピュータを、
操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段として機能させ、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しない
ことを特徴とする収音プログラム。
【請求項8】
収音装置が行う収音方法において、
収音手段を備え、
前記収音手段は、操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得し、
前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しない
ことを特徴とする収音方法。
【請求項9】
操作者により操作されるキーボードにおいて、
前記キーボードの外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、
それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、請求項1~6のいずれかに記載の収音装置に供給される
ことを特徴とするキーボード。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
第1の本発明の収音装置は、操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段を備え、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことを特徴とする。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
第2の本発明の収音プログラムは、コンピュータを、操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音手段として機能させ、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことを特徴とする。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
第3の本発明は、収音装置が行う収音方法において、収音手段を備え、前記収音手段は、操作者により操作されるキーボードが配置された空間に配置された複数のマイクアレイから入力された入力信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得し、前記収音手段はそれぞれの前記マイクアレイのビームフォーマ出力に基づいて、前記収音エリアの音を取得するものであり、それぞれの前記マイクアレイのビームフォーマの指向性は前記目的エリアで交差し、且つ、前記キーボードの領域では交差しないことを特徴とする。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
第4の本発明は、操作者により操作されるキーボードにおいて、前記キーボードの外側に位置する目的エリアの音を捕捉して音響信号を取得するマイクアレイを複数備え、それぞれの前記マイクアレイが取得した前記音響信号は、前記音響信号に基づいて、前記キーボードの外側に位置する目的エリアを含み、且つ、前記キーボードの領域を含まない収音エリアの音を取得する収音装置に供給されることを特徴とする。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正の内容】
【0014】
(A)主たる実施形態
以下、本発明による収音装置、収音プログラム及び収音方法、並びに、キーボードの一実施形態を、図面を参照しながら詳述する。