(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6879144
(24)【登録日】2021年5月7日
(45)【発行日】2021年6月2日
(54)【発明の名称】機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステム
(51)【国際特許分類】
H04R 3/00 20060101AFI20210524BHJP
H04R 1/40 20060101ALI20210524BHJP
【FI】
H04R3/00 320
H04R1/40 320A
【請求項の数】13
【全頁数】13
(21)【出願番号】特願2017-182869(P2017-182869)
(22)【出願日】2017年9月22日
(65)【公開番号】特開2019-57901(P2019-57901A)
(43)【公開日】2019年4月11日
【審査請求日】2020年5月13日
(73)【特許権者】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100180275
【弁理士】
【氏名又は名称】吉田 倫太郎
(74)【代理人】
【識別番号】100161861
【弁理士】
【氏名又は名称】若林 裕介
(72)【発明者】
【氏名】川端 啓太
(72)【発明者】
【氏名】立澤 茂
【審査官】
冨澤 直樹
(56)【参考文献】
【文献】
特開2017−067666(JP,A)
【文献】
特開2003−304589(JP,A)
【文献】
特開2016−025469(JP,A)
【文献】
特開2009−025490(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
H04R 1/40
G10L 25/51
H04M 1/00
B25J 5/00
B25J 13/00
G05D 1/00
(57)【特許請求の範囲】
【請求項1】
複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置であって、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
を有することを特徴とする機器制御装置。
【請求項2】
上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力間の振幅スペクトルの比率の最頻値もしくは中央値を算出し、上記パワー補正係数とすることを特徴とする請求項1に記載の機器制御装置。
【請求項3】
上記移動方向決定部は、上記対象マイクロホンアレイ方向に対して、上記移動機器を一旦移動させる制御を上記移動機構に対して行い、上記移動機器が一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項1又は2に記載の機器制御装置。
【請求項4】
上記移動方向決定部は、上記目的エリアに音源が存在しなかった場合には、上記対象マイクロホンアレイ方向に対する移動方向を決定せず、上記収音部による収音処理を行うことを特徴とする請求項1〜3のいずれかに記載の機器制御装置。
【請求項5】
上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、最初に一旦前進移動をさせた場合には一旦後進移動を、又は最初に一旦後進移動させた場合には一旦前進移動をさせる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項3又は4に記載の機器制御装置。
【請求項6】
上記移動方向決定部は、上記対象マイクロホンアレイ方向に上記移動機器を一旦移動後、上記目的エリアに音源が存在しなかった場合には、上記移動機器を一旦移動させる前の元の位置に移動させる制御を上記移動機構に対して行い、上記移動機器が元の位置に移動した後、上記対象マイクロホンアレイ方向に対して、上記移動機器を最初に一旦移動をさせた距離とは異なる距離で、再度一旦移動させる制御を上記移動機構に対して行い、上記移動機器が再度一旦移動した後、上記比較処理を行い、上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする請求項3又は4に記載の機器制御装置。
【請求項7】
さらに、上記移動方向決定部で決定された移動方向に対して、上記移動機器を移動させる制御を上記移動機構に対して行い、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた上記過去のパワー補正係数とを比較して、上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続ける制御を行う移動制御部を有することを特徴とする請求項1〜6のいずれかに記載の機器制御装置。
【請求項8】
上記移動方向決定部は、上記移動制御部で上記対象マイクロホンアレイ方向に対する上記パワー補正係数が極大値又は極小値となるまで上記移動機器を移動させ続けた後、上記各マイクロホンアレイ中の他の1のマイクロホンアレイを対象マイクロホンアレイとして、同様に上記対象マイクロホンアレイ方向に対する移動方向を決定する処理を行うことを特徴とする請求項7に記載の機器制御装置。
【請求項9】
上記収音部による収音処理と上記移動機構に対する移動制御を繰り返しながら、音源を追尾することを特徴とする請求項1〜8のいずれかに記載の機器制御装置。
【請求項10】
複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に搭載されるコンピュータを、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
して機能させることを特徴とする機器制御プログラム。
【請求項11】
複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に使用する機器制御方法であって、
パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、
上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、
上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、
上記移動方向決定部は、上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する
ことを特徴とする機器制御方法。
【請求項12】
複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、
上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、
上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、
上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部と
を有することを特徴とする対話装置。
【請求項13】
第1の対話装置および第2の対話装置を備え、少なくとも前記第1の対話装置および第2の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、
前記第1の対話装置および第2の対話装置の少なくとも一方に請求項12に記載の対話装置を適用したことを特徴とするコミュニケーションシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムに関し、例えば、収音情報に基づいてテレプレゼンスロボットを制御するコミュニケーションシステムに適用し得る。
【背景技術】
【0002】
近年、遠隔地のユーザが遠隔操作によりロボット(対話装置)を制御し、対話装置を介して別の拠点に存在する他のユーザ(対話者)とコミュニケーションを図るコミュニケーションシステムが知られている。上記のようなコミュニケーションを主目的とした遠隔操作可能な対話装置は、特に、テレプレゼンスロボットとも呼ばれる。
【0003】
ところで、テレプレゼンスロボットをはじめとする対話装置は、雑音を排除して対話者のみの声を収音できれば、その分だけ、コミュニケーションを円滑に図ることができる。例えば、特許文献1に示すようなエリア収音技術を対話装置に適用することが考えられる。エリア収音技術は、特定の範囲(以下、「目的エリア」)のみ収音することで背景の雑音などを抑制する技術である。
【0004】
また、対話装置は、対話装置の位置を対話者と適切な位置に制御することが重要である。例えば、特許文献2では、対話装置と対話者の距離と、撮影した対話者の表示映像が適切な表示となるように、対話装置の位置の制御と、映像表示部の表示を制御することで、ユーザの操作を支援する方法が提案されている。また、特許文献3では、複数の収音ビームを用いて、収音した音の中で最もパワーの大きい収音範囲を、音源の位置として推定する音源位置推定が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第5482854号公報
【特許文献2】特開2016−225875号公報
【特許文献3】特許第4867579号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記特許文献1〜3に記載の技術を対話装置に適用したとしても、以下のような問題が存在する。
【0007】
特許文献1に記載の技術は、目的エリアのみを収音するため、収音した音を聞き続けるためには音源(対話者)が常に目的エリア内に位置するようにしなければならない問題が存在する。
【0008】
また、特許文献2に記載の技術では、映像が判断材料となるため、制御された対話装置の収音範囲に対話者が位置するとは限らない問題が存在する。特に、エリア収音装置(例えば、マイクロフォンアレイ)を収音装置として用いた場合、対話者を収音範囲に位置させることが困難である。
【0009】
そして、特許文献3の技術は、収音ビームの収音範囲の端、つまりパワーが減衰する地点に音源があったときに位置推定が困難になる問題が存在する。
【0010】
そのため、精度良く目的エリア内に音源が位置するように対話装置の位置を制御する機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムが望まれている。
【課題を解決するための手段】
【0011】
第1の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置であって、(1)上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、(2)上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、(3)上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
【0012】
第2の本発明の機器制御プログラムは、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に搭載されるコンピュータを、(1)上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、(2)上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、(3)上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部として機能させることを特徴とする。
【0013】
第3の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える移動機器を制御する機器制御装置に使用する機器制御方法であって、パワー補正算出部、パワー補正係数保持部、及び移動方向決定部を有し、(1)上記パワー補正算出部は、上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出し、(2)上記パワー補正係数保持部は、上記パワー補正算出部で算出された上記パワー補正係数を保持し、(3)上記移動方向決定部は、上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記移動機器の上記対象マイクロホンアレイ方向に対する移動方向を決定することを特徴とする。
【0014】
第4の本発明は、複数のマイクロホンアレイを用いて目的エリアを収音する収音部と、移動機構とを備える対話装置であって、(1)上記各マイクロホンアレイのビームフォーマ出力に含まれる目的エリア音のパワーを全て同じ大きさにするためのパワー補正係数を算出するパワー補正算出部と、(2)上記パワー補正算出部で算出された上記パワー補正係数を保持するパワー補正係数保持部と、(3)上記各マイクロホンアレイ中の1の対象マイクロホンアレイ方向に対して、上記パワー補正算出部で求められる上記パワー補正係数と、上記パワー補正係数保持部で保持していた過去の上記パワー補正係数の値とを比較する比較処理を行い、該比較処理の結果に応じて、上記対話装置の上記対象マイクロホンアレイ方向に対する移動方向を決定する移動方向決定部とを有することを特徴とする。
【0015】
第5の本発明は、第1の対話装置および第2の対話装置を備え、少なくとも前記第1の対話装置および第2の対話装置それぞれの音声を他方の対話装置に出力するコミュニケーションシステムであって、前記第1の対話装置および第2の対話装置の少なくとも一方に第4の本発明の対話装置を適用したことを特徴とするコミュニケーションシステム。
【発明の効果】
【0016】
本発明によれば、精度良く目的エリア内に音源が位置するように対話装置の位置を制御することができる。
【図面の簡単な説明】
【0017】
【
図1】実施形態に係る対話装置の機能的構成について示すブロック図である。
【
図2】実施形態に係るコミュニケーションシステムの全体構成を示す図である。
【
図3】実施形態に係る対話装置の処理を示すフローチャートである。
【
図4】実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。
【
図5】実施形態に係る
図4のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。
【
図6】実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。
【発明を実施するための形態】
【0018】
(A)主たる実施形態
以下、本発明に係る機器制御装置、機器制御プログラム、機器制御方法、対話装置、及びコミュニケーションシステムの一実施形態を、図面を参照しながら説明する。
【0019】
(A−1)実施形態の構成
(A−1−1)全体構成
図2は、実施形態に係るコミュニケーションシステムの全体構成を示す図である。
図2において、コミュニケーションシステム1は、対話装置5と、情報端末20と、対話装置5及び情報端末20と通信可能なサーバ30とを有している。
【0020】
コミュニケーションシステム1は、別の拠点にある対話者同士が、対話を行うことができ、さらに、一方の拠点側の情報端末20を操作する者が、他の拠点側の対話装置5を遠隔操作することができるシステムである。
【0021】
情報端末20は、対話装置5を遠隔操作する側に設けられる対話装置である。例えば、情報端末20は、音声データをサーバ30に送信するとともに、サーバ30から送信されてきた音声データを出力する。また、情報端末20は、対話装置5を遠隔操作するための入力を受け付け、サーバ30に送信する。情報端末20としては、タブレット端末、スマートフォン、パーソナルコンピュータなどを適用することができる。
【0022】
対話装置5は、例えば、テレプレゼンスロボットのような対話装置であって、対話装置5を移動させる移動機構と、エリア収音部と、エリア収音部の収音範囲内に音源が位置するように対話装置5を制御する制御部とを備える。対話装置5は、収音した音声データをサーバ30に送信するとともに、サーバ30から送信されてきた音声データを出力する。また、対話装置5は、遠隔操作するための信号をサーバ30から受信すると、その信号に従い動作する。なお、対話装置5及び上記情報端末20は、第1の対話装置又は第2の対話装置の一例である。
【0023】
本実施形態の特徴を簡単に述べると、第1に対話装置5が特定の範囲のみを収音するエリア収音部を有することである。第2に対話装置5がエリア収音の目的エリア内の音源の位置を、目的エリアの中心に位置するように対話装置5を制御(自動制御)することである。第3に、音源の位置を目的エリアの中心にするために、エリア収音部によって得られた情報(後述するパワー補正係数等)を用いることで、エリア収音部をセンサとして活用することである。次に上記特徴1〜3を有する対話装置5の詳細な構成について述べる。
【0024】
(A−1−2)対話装置5の詳細な構成
図1は、実施形態に係る対話装置の機能的構成について示すブロック図である。
【0025】
図1において、対話装置5は、エリア収音部10と、パワー補正係数保持部12と、移動方向決定部13と、移動制御部14と、移動機構15とを有する。
【0026】
エリア収音部10は、パワー補正係数算出部11を備え、複数のマイクロホンアレイmとその指向性ビームフォーマを用いて目的エリア内のエリア音を収音するものである。ここで、ビームフォーマ(BF)は、加算型の遅延和法、減算型のスペクトル減算法(以下、SSとも呼ぶ。)等の各種手法を用いることができる。この実施形態では、2つのマイクロホンアレイm1、m2を用いる例を示すが、マイクロホンアレイmの数は特に限定されるもので無い。
【0027】
図6は、実施形態に係るマイクロホンアレイの収音の音圧分布を示す図である。
図6で示すように、マイクロホンアレイm(m1、m2)は、マイクロホンアレイmの正面中央の範囲(範囲L1)では、音圧レベルが高く、マイクロホンアレイmに接近する左右の範囲(左下の範囲L2、右下の範囲L3)では音圧レベルが低い特性を示す。
【0028】
パワー補正係数算出部11は、各マイクロホンアレイm(m1、m2)からの各ビームフォーマ出力信号に含まれるエリア音のパワーをそれぞれ同じにするためのパワー補正係数を算出するものである。ここで、パワー補正係数を求めるために、例えば、パワー補正係数算出部11は、各ビームフォーマ出力信号の間で周波数毎の振幅スペクトルの比率を算出する。次に、パワー補正係数算出部11は、求めた各周波数の振幅スペクトルの比率から最頻値若しくは中央値を算出し、その値をパワー補正係数とする。
【0029】
パワー補正係数算出部11は、算出したパワー補正係数をパワー補正係数保持部12、移動方向決定部13、移動制御部14に送信する。
【0030】
パワー補正係数保持部12は、パワー補正係数算出部11から受信したパワー補正係数を順次記憶するものである。なお、パワー補正係数保持部12が記憶するパワー補正係数の数及び保持する時間間隔は限定されないものであるが、例えば、対話装置5の移動速度や、エリア収音部10の収音範囲などの関係を考慮して決定しても良い。
【0031】
パワー補正係数保持部12は、記憶したパワー補正係数(過去のパワー補正係数)を移動方向決定部13及び移動制御部14に送信する。
【0032】
移動方向決定部13は、パワー補正係数算出部11から受信した最新のパワー補正係数と、パワー補正係数保持部12から受信した過去のパワー補正係数を基に、対話装置5の移動方向を決定するものである。なお、詳細は後述するが、この実施形態では、対話装置5の移動方向を決定する際に、一旦対話装置5を後進(又は前進)させるために、移動機構15を制御する命令を移動機構15に送信する。そして、移動方向決定部13は、一旦移動することにより生じたパワー補正係数を比較した結果に応じて、決定した移動方向の情報(例えば、移動方向を示すフラグ)を移動制御部14に送信する。
【0033】
移動制御部14は、パワー補正係数算出部11から受信した最新のパワー補正係数と、パワー補正係数保持部12から受信した過去のパワー補正係数とを比較し、後述する所定の条件を満たす場合には、移動方向決定部13から受信した移動方向を示すフラグに従い移動機構15を制御する命令を送信する。
【0034】
移動機構15は、移動方向決定部13又は移動制御部14からの制御命令に基づき、対話装置5を移動させる機構である。移動機構15は、例えば、360度動けるようなボール上の機構や、前後移動・左右への転回を行う車輪形状など、目的の方向に移動できばどのような機構でも良い。また、移動機構15は、ドローンのようなプロペラ旋回により空中移動する機構や、水上移動可能なモータ機構のようなものでも良い。いずれにしても移動機構15は、種々様々な機構を適用することができる。
【0035】
(A−2)実施形態の動作
次に、実施形態に係る対話装置5の処理を説明する。
図3は、実施形態に係る対話装置の処理を示すフローチャートである。なお、以下では、マイクロホンアレイm1、m2は目的エリアから等間隔に位置していることを前提とする。
【0036】
目的エリアがある空間に存在する音源からの音は、マイクロホンアレイm1、m2をよって収音され、また、目的エリアを収音する過程で、パワー補正係数算出部11は、パワー補正係数α
tを算出する(S1)。なお、パワー補正係数算出部11が、パワー補正係数α
tを算出する手法は限定されないものであるが、例えば、特許文献1に記載の手法を適用することができる。算出されたパワー補正係数α
tは、パワー補正係数保持部12、移動方向決定部13、移動制御部14へ送信される。
【0037】
パワー補正係数保持部12は、エリア収音部10のパワー補正係数算出部11から取得したパワー補正係数α
tを保持(記憶)する(S2)。保持したパワー補正係数(例えば、現在より1つ前の過去のパワー補正係数α
t-1)は、移動方向決定部13、及び移動制御部14に送信される。
【0038】
移動方向決定部13はパワー補正係数算出部11で得たパワー補正係数α
tと上記パワー補正係数保持部12で保持した過去のパワー補正係数(例えば、パワー補正係数α
t-1)とを比較し、エリア収音装置のマイクロホンアレイm1に対して垂直方向に対話装置5を移動させる方向(前方向又は後ろ方向)を決定する(S3)。以下、移動方向を決定させるステップS3の具体的手順について述べる。
【0039】
まず、移動方向決定部13は、対話装置5をマイクロホンアレイm1のビームフォームと平行方向(以下、「マイクロホンアレイm1方向」とも呼ぶ)に後進させるように移動機構15に制御信号を送信し対話装置5を一旦移動させる。なお、対話装置5の移動方向を決定するためのマイクロホンアレイm1方向に対する動作の方向(一旦移動させる方向)は、後進方向に限らず、前進方向でも良い。また、一旦移動させる距離は、目的エリアの大きさや、周囲の空間の広さに応じて変更するなど自由に決定して良い。
【0040】
次に、パワー補正係数算出部11で得たパワー補正係数α
t(対話装置5を一旦後進させたことにより生じた最新のパワー補正係数)を受信し、パワー補正係数保持部12から対話装置5を後進する前のパワー補正係数α
t-1を受信する。なお、エリア内のパワー補正係数は、以下で示すような規則性が存在する。
【0041】
図4は実施形態に係る目的エリアにおけるパワー補正係数の一例を示す図である。
図4では、エリア収音に使用する各マイクロホンアレイm1、m2のマップで、指向性を持つため中央の収音レベルが高く、横に行くにつれ収音レベルが低くなり、その比によってパワー補正係数が決定される。
図4の各セルに示す数値は、エリア収音を行った際のパワー補正係数の一例である。
【0042】
図4に示すようにマイクロホンアレイm1方向の目的エリア内のパワー補正係数は、前後に対する中心線で最も小さくなり、中心線からマイクロホンアレイm1に近づくあるいは遠ざかるほど大きくなる。
【0043】
そのため、移動方向決定部13は、パワー補正係数α
tとパワー補正係数α
t-1とを比較し、α
t<α
t-1であれば、マイクロホンアレイm1方向に後進する方向を移動方向と決定し、α
t>α
t-1であれば前進する方向を移動方向と決定する。
【0044】
なお、移動方向決定部13は、例えば、エリア収音出力の大きさを計測するなどして目的エリアに音源が存在しないことが分かる場合、この処理を実施せずに収音処理に戻っても良い。また、移動方向決定部13は、対話装置5を一旦後進させることで音源が目的エリアから外れてしまった場合、例えば動作を止めたり、又は前進させ対話装置5を元の位置に戻した上で上記移動方向を決定する動作を前進動作で行ったりするなどの処理を追加しても良い。
【0045】
2つパワー補正係数の時刻の差(t−1)はこの実施形態で使用した例に過ぎず、処理の速度や使用用途に応じて変更するなど自由に決定しても良い。
【0046】
移動制御部14は、移動方向決定部13で求めた移動方向(パワー補正係数が小さくなるマイクロホンアレイm1方向)に対話装置5を移動(前進又は後進)させる(S4)。
【0047】
移動方向決定部13は、ステップS4の処理中(つまり、対話装置5が移動中)に、パワー補正係数α
tが極小値となったタイミング(又は極小値を超えたタイミング)で、対話装置5の移動方向をマイクロホンアレイm1方向から、マイクロホンアレイm2のビームフォームと平行方向(以下、「マイクロホンアレイm2方向」とも呼ぶ)に転換させる(S5)。なお、上記極小値は、対話装置5を移動させ続けて、パワー補正係数がα
t>α
t-1となってはじめて理解できる。そのため、実際には極小値を僅かに超えたタイミングで、マイクロホンアレイm1方向からマイクロホンアレイm2方向に対話装置5の移動方向を転換させることになる。なお、パワー補正係数α
tが極小値となる位置が正確に分かる場合には、対話装置5を極小値の位置に移動させた後に、マイクロホンアレイm1方向からマイクロホンアレイm2方向に対話装置5の移動方向を転換させても良い。
【0048】
移動方向決定部13は、マイクロホンアレイm2方向に対して、ステップS3と同様の処理を行う(S6)。なお、
図4で示すように、マイクロホンアレイm2方向の目的エリア内のパワー補正係数は、マイクロホンアレイm1方向の目的エリア内のパワー補正係数とは異なり、前後に対する中心線で最も大きくなり、中心線からマイクロホンアレイm2に近づくあるいは遠ざかるほど小さくなる。そのため、移動方向決定部13は、先述のステップS3とは異なり、移動方向決定部13は、一旦対話装置5を後進させている場合には、パワー補正係数α
tとパワー補正係数α
t-1とを比較し、α
t>α
t-1であれば、マイクロホンアレイm2方向に後進する方向を移動方向と決定し、α
t<α
t-1であれば前進する方向を移動方向と決定する。
【0049】
移動制御部14は、移動方向決定部13で求めた移動方向(パワー補正係数が大きくなるマイクロホンアレイm2方向)に対話装置5を移動(前進又は後進)させる(S7)。なお、移動中の対話装置5は、パワー補正係数α
tが極大値となったタイミング(又は極大値を下回ったタイミング)で、対話装置5を停止する。上記極大値も先述の極小値と同様に、対話装置5を移動させ続けて、パワー補正係数がα
t<α
t-1となってはじめて理解できる。
【0050】
次に、上記ステップS4〜ステップS7の処理について、
図5の具体例を交えて改めて説明を行う。
図5は、実施形態に係る
図4のパワー補正係数を基に、音源の位置が変化するイメージを示す図である。音源位置P1は、音源の初期位置を示している(
図5では、パワー補正係数の値で音源位置を示している)。
【0051】
ステップS4の処理により、移動方向決定部13で決定したマイクロホンアレイm1方向の移動方向が後進だった場合には、パワー補正係数がα
t<α
t-1となる間、対話装置の移動を繰り返す。
図5を参照すると、音源位置P1(初期位置)がα
t<α
t-1となるように、対話装置5が移動することにより、相対的に音源の位置を更新する。そして、マイクロホンアレイm1方向に対する対話装置5の移動により、音源の位置がマイクロホンアレイm1の前後方向に対して中央の位置(音源位置P2)となる。この音源位置P2は、つまり、先に説明したパワー補正係数の極小値であり、マイクロホンアレイm1からマイクロホンアレイm2方向に転換する位置(値)である。
【0052】
移動方向決定部13は、ステップS5の処理によりマイクロホンアレイm1からマイクロホンアレイm2方向へ転換した後、ステップS6の処理(マイクロホンアレイm2方向に対して対話装置5を移動させる方向を決定する処理)を行う。
【0053】
ステップS7の処理により、パワー補正係数がα
t>α
t-1となる間、対話装置の移動を繰り返す。
図5を参照すると、音源位置P2がα
t>α
t-1となるように、対話装置5が移動することにより、相対的に音源の位置を更新する。そうすると、音源の位置は音源位置P2から音源位置P3に変化する。この音源位置P3は、つまり、先に説明した極大値であり、対話装置5が停止する位置である。
【0054】
なお、この後、対話装置5はステップS1の処理に戻ることで、音源が移動したとしても、継続的に音源を目的エリアの中央に位置するように対話装置を制御できる。
【0055】
(A−3)実施形態の効果
以上のように、本発明の実施形態によれば、特定の範囲のみを収音し、かつ、収音範囲の中央に音源が位置するように対話装置を自動で制御することで、精度良く収音することができる。
【0056】
(B)他の実施形態
上記実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態にも適用できる。
【0057】
(B−1)上記実施形態では、移動方向をマイクロホンアレイm1の方向から決定し制御したが、制御の順番は任意に決定しても良い(つまり、マイクロホンアレイm2の方向から決定しても良い)。
【0058】
(B−2)上記実施形態では、対話装置5の移動制御は、移動機構15に直接制御信号を送信することにより実現する例を示した。変形例として、例えば、サーバ30(又は情報端末20)は、対話装置5の移動方向決定部13及び移動制御部14と同様の機能部を有し、サーバ30から対話装置5の移動に関する制御信号を送信し、それに従い対話装置5の移動機構15を制御する等の構成でも良い。
【0059】
(B−3)上記実施形態では、対話装置5は必ずしも対話者を撮像するデバイス(例えば、カメラ等)を備える必要は無なかった。変形例としてカメラを備え、カメラからの映像(画像)を基に、一定の範囲内に音源が存在するか否かの大まかな判定を行い、かつ音源の存在する目的エリアに対話装置5の移動を行った後に、先述のステップS1〜S6の処理を行っても良い。
【符号の説明】
【0060】
1…コミュニケーションシステム、5…対話装置、10…エリア収音部、11…パワー補正係数算出部、12…パワー補正係数保持部、13…移動方向決定部、14…移動制御部、15…移動機構、20…情報端末、30…サーバ、m(m1、m2)…マイクロホンアレイ。