特許 6886118 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6886118

(24)【登録日】2021年5月18日

(45)【発行日】2021年6月16日

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G10L 21/0272 20130101AFI20210603BHJP

   G10L 15/10 20060101ALI20210603BHJP

   G10L 25/51 20130101ALI20210603BHJP

   G10L 15/28 20130101ALI20210603BHJP

   G10L 15/20 20060101ALI20210603BHJP

【ＦＩ】

   G10L21/0272 100Z

   G10L15/10 200W

   G10L25/51 400

   G10L15/28 400

   G10L15/20 370E

【請求項の数】5

【全頁数】24

(21)【出願番号】特願2019-154993(P2019-154993)

(22)【出願日】2019年8月27日

(65)【公開番号】特開2021-33140(P2021-33140A)

(43)【公開日】2021年3月1日

【審査請求日】2019年9月6日

(73)【特許権者】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】特許業務法人扶桑国際特許事務所

(72)【発明者】

【氏名】内田 翔

【審査官】 上田 雄

(56)【参考文献】

【文献】 特表２０１５−５１３７０４（ＪＰ，Ａ）

【文献】 特開２０１７−０６９８３５（ＪＰ，Ａ）

【文献】 特表２０１５−５３５９５２（ＪＰ，Ａ）

【文献】 特開２００５−２７４７０７（ＪＰ，Ａ）

【文献】 特開２００９−２２５３７９（ＪＰ，Ａ）

【文献】 特開２０００−１４８１８４（ＪＰ，Ａ）

【文献】 特開２００２−２５１２３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １５／００−２５／９３

(57)【特許請求の範囲】

【請求項1】

音声を音声信号に変換する複数のマイクと、
複数の人体の所在を検知し、人体が存在する複数の方向を表すセンサデータを出力するセンサと、
前記複数のマイクが取得した所定の言葉を示す音声信号に基づいて前記所定の言葉が発せられた方向を算出し、前記所定の言葉が発せられた方向に基づいて、前記センサから取得した前記センサデータに示される前記複数の方向のうち、１の方向を強化方向に決定し、前記複数のマイクから取得した複数の音声信号に基づいて、前記強化方向からの音声が強調された合成音声信号を生成する処理部と、
を有する情報処理装置。

【請求項2】

前記センサデータには、前記複数の人体の前記センサに対する相対位置を示す、複数の第１相対位置が含まれ、
前記処理部は、前記複数のマイクそれぞれの設置位置と、前記センサの設置位置と、前記複数の第１相対位置とに基づいて、前記複数の人体の前記複数のマイクそれぞれの設置位置に基づいた所定の基準点に対する相対位置を示す複数の第２相対位置を算出し、前記所定の基準点から前記複数の第２相対位置への方向を、前記複数の方向として算出する、
請求項１記載の情報処理装置。

【請求項3】

前記センサデータには、前記複数の人体それぞれの前記センサからの距離を示す距離情報が含まれ、
前記処理部は、前記複数の人体それぞれの前記センサからの距離のいずれかが閾値以上であった場合、前記複数のマイクについてのマイク感度を大きくする、
請求項１または２記載の情報処理装置。

【請求項4】

前記情報処理装置はさらに、表示部を有し、
前記複数のマイクは、前記表示部の表示面と平行な平面上に設置される、
請求項１ないし３のいずれかに記載の情報処理装置。

【請求項5】

コンピュータに、
複数のマイクが取得した所定の言葉を示す音声信号に基づいて前記所定の言葉が発せられた方向を算出し、
前記所定の言葉が発せられた方向に基づいて、複数の人体の所在を検知するセンサによって出力された、人体が存在する複数の方向のうち、１の方向を強化方向に決定し、
前記複数のマイクから取得した複数の音声信号に基づいて、前記強化方向からの音声が強調された合成音声信号を生成する、
処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

マイクを搭載したＰＣ（Personal Computer）が広く普及している。マイクによって、ユーザの声をノイズを少なく収集する技術としてビームフォーミングがある。
ビームフォーミングでは、複数の無指向性マイクを用いて収集された複数の音声信号が合成され、特定の方向からの音声が強調される。例えば、テレビ電話においてＰＣの画面前にいるユーザの声を明瞭にするため、画面の正面方向からの音声が強調される設定がされることがある。

【0003】

ビームフォーミングに関する技術としては、例えば移動する音源から発せられる音声の到来方向をリアルタイムに推定するとともに、該音声についてリアルタイムにビームフォーミングを行う音声到来方向推定・ビームフォーミングシステムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−１７５７３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年、ユーザの発した言葉に応じてＰＣを操作する音声アシスタントが、ＰＣに組み込まれている。ユーザは画面の正面にいなくても、音声アシスタントに話しかけることでＰＣを操作することができる。

【0006】

しかし、ＰＣによるビームフォーミングでは、画面の前にユーザがいることが想定され、画面の正面方向からの音声が強調される設定がされることがある。この場合、画面の正面以外にいるユーザの声に対する音声認識の精度が低下する。

【0007】

なお、上記の音声到来方向推定・ビームフォーミングシステムのように、移動する音源から発せられる音声の到来方向をリアルタイムに推定することが可能である。しかしながら、この技術では、移動する音源から音声が発せられることが到来方向推定の前提となるため、発話前のユーザの方向や、ユーザが静かに大きく移動した後のユーザの方向を推定することは困難である。ユーザの方向が推定できない場合、ビームフォーミングによる音声認識の精度も不十分となる。

【0008】

１つの側面では、本件は、音声認識の精度を向上させることを目的とする。

【課題を解決するための手段】

【0009】

１つの案では、以下に示す複数のマイクとセンサと処理部とを有する情報処理装置が提供される。
複数のマイクは、音声を音声信号に変換する。センサは、１以上の人体の所在を検知する。そしてセンサは、人体が存在する１以上の方向を表すセンサデータを出力する。処理部は、センサから取得したセンサデータに示される１以上の方向に基づいて強化方向を決定する。そして処理部は、複数のマイクから取得した複数の音声信号に基づいて、強化方向からの音声が強調された合成音声信号を生成する。

【発明の効果】

【0010】

１態様によれば、音声認識の精度を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態に係る情報処理装置の一例を示す図である。

【図2】第２の実施の形態の概要を説明するための図である。

【図3】ユーザ端末のハードウェアの一例を示す図である。

【図4】モニタの構成の一例を示す図である。

【図5】ユーザ端末の機能例を示すブロック図である。

【図6】音声の伝わり方の一例を示す図である。

【図7】センサによる人体の位置座標を出力する方法の一例である。

【図8】強化方向の決定方法の一例である。

【図9】設置位置情報の一例を示す図である。

【図10】第１の強化方向制御の手順の一例を示すフローチャートである。

【図11】第１の合成音声信号生成の手順の一例を示すフローチャートである。

【図12】第３の実施の形態の概要を説明するための図である。

【図13】ユーザ端末の他の機能例を示すブロック図である。

【図14】音源の方向を算出する方法の一例を示す図である。

【図15】第２の強化方向制御の手順の一例を示すフローチャートである。

【図16】第４の実施の形態の概要を説明するための図である。

【図17】第３の強化方向制御の手順の一例を示すフローチャートである。

【図18】第２の合成音声信号生成の手順の一例を示すフローチャートである。

【図19】その他の実施の形態のシステム構成例を示す図である。

【発明を実施するための形態】

【0012】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。

【0013】

図１は、第１の実施の形態に係る情報処理装置の一例を示す図である。図１の例では情報処理装置１０が、音声を取得する際にユーザ１の方向からの音に対して指向性を持たせるよう設定する。情報処理装置１０は、指向性設定方法の処理手順が記述されたプログラムを実行することにより、指向性設定処理を実施することができる。

【0014】

情報処理装置１０には、マイク２ａ，２ｂとセンサ３とが接続されている。マイク２ａ，２ｂは、例えば無指向性のマイクである。マイク２ａは、音声を音声信号４ａに変換する。マイク２ｂは、音声を音声信号４ｂに変換する。

【0015】

センサ３は、１以上の人体の所在を検知するセンサである。センサ３は、人体が存在する１以上の方向を表すセンサデータを出力する。以下の例では、センサ３は、１の人体が存在する方向（ユーザ１がいる方向）を表すセンサデータ５を出力する。センサデータ５には、ユーザ１のセンサ３に対する相対位置を示す、第１相対位置が含まれる。

【0016】

情報処理装置１０は記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサ、または演算回路である。

【0017】

記憶部１１は、設置位置１１ａ，１１ｂ，１１ｃを記憶する。設置位置１１ａはマイク２ａが設置されている位置を示す。設置位置１１ｂは、マイク２ｂが設置されている位置を示す。設置位置１１ｃは、センサ３が設置されている位置を示す。

【0018】

処理部１２は、ユーザ１がいる方向に基づいて強化方向を決定する。例えば処理部１２は、ユーザ１がいる方向を強化方向に決定する。ここで処理部１２は、ユーザ１がいる方向として、ユーザ１の所定の基準点からの方向を算出する。

【0019】

例えば処理部１２は、ユーザ１の、設置位置１１ａ，１１ｂに基づいた基準点６に対する相対位置を示す第２相対位置を算出する。基準点６は、例えばマイク２ａ，２ｂの中点である。処理部１２は、設置位置１１ａ，１１ｂの中点を基準点６の位置として算出する。処理部１２は、基準点６の位置と設置位置１１ｃとに基づいて、センサ３の基準点６に対する相対位置を算出する。そして処理部１２は、センサ３の基準点６に対する相対位置と、センサデータ５に含まれるユーザ１のセンサ３に対する相対位置とを足すことで、ユーザ１の基準点６に対する相対位置（第２相対位置）を算出する。

【0020】

そして処理部１２は、基準点６から第２相対位置への方向を、ユーザ１がいる方向として算出する。ここで、算出されるユーザ１の方向は、マイク２ａとマイク２ｂとを結ぶ直線に垂直で基準点６を通る直線と、基準点６と第２相対位置とを結ぶ直線とが水平面において成す角の角度θで示される。処理部１２は、強化方向をθに設定する。

【0021】

処理部１２は、マイク２ａ，２ｂから取得した音声信号４ａ，４ｂに基づいて、強化方向θからの音声が強調された合成音声信号を生成する。例えば処理部１２は、マイク２ａ，２ｂのうち、ユーザ１から近いマイク２ａから取得した音声信号４ａをｄ・ｓｉｎθ／ｃだけ遅延させる。なお、ｄはマイク２ａとマイク２ｂとの距離、ｃは音速を示す。そして処理部１２は、遅延させた音声信号４ａと音声信号４ｂとを合成した合成音声信号を生成する。このように生成した合成音声信号で、強化方向θからの音声が強調される理由を以下に示す。

【0022】

強化方向θからの音声を示す平面波は、マイク２ｂよりもマイク２ａにｄ・ｓｉｎθ／ｃだけ早く伝わる。よって、ｄ・ｓｉｎθ／ｃだけ遅延させた音声信号４ａに含まれる強化方向θからの音声と、音声信号４ｂに含まれる強化方向θからの音声との位相は一致する。一方、ｄ・ｓｉｎθ／ｃだけ遅延させた音声信号４ａに含まれる強化方向θ以外の方向（例えばθ’）からの音声と、音声信号４ｂに含まれる方向θ’からの音声との位相は一致しない。そのため、遅延させた音声信号４ａと音声信号４ｂとを合成することで、強化方向θからの音声が、θ以外の方向からの音声より強調された合成音声信号が生成される。

【0023】

このような情報処理装置１０によれば、ユーザ１がいる方向からの音声が強調された合成音声信号が生成される。つまり生成された合成音声信号では、ユーザ１の声が強調されるため、音声認識の精度が向上する。また、ユーザ１がいる方向に応じて強化方向が設定されることから、ユーザ１が画面の正面にいない場合でも音声認識の精度が向上する。また、ユーザ１がいる方向として、ユーザ１の基準点６からの方向が算出される。これにより、強化方向の設定の精度が向上する。さらに、ユーザ１がいる方向は、センサ３から取得されることから、情報処理装置１０は、ユーザ１が発話する前に強化方向を設定できる。

【0024】

なおセンサデータ５は、人体が存在する複数の方向を表してもよい。例えばセンサデータ５には、複数の人体のセンサ３に対する相対位置を示す、複数の第１相対位置が含まれていてもよい。また、人体が存在する複数の方向として、基準点６から複数の第２相対位置への方向が算出されてもよい。この場合処理部１２は、設置位置１１ａ，１１ｂ，１１ｃと複数の第１相対位置とに基づいて、複数の人体の基準点６に対する相対位置を示す複数の第２相対位置を算出する。そして処理部１２は、基準点６から複数の第２相対位置への方向を、人体が存在する複数の方向として算出する。処理部１２は、人体が存在する複数の方向に基づいて強化方向を決定する。

【0025】

例えば処理部１２は、人体が存在する複数の方向のうちの１の方向を強化方向に決定する。このとき処理部１２は、所定の言葉が発せられた方向を取得し、センサデータ５が表す人体が存在する複数の方向のうち、所定の言葉が発せられた方向に最も近い１の方向を強化方向に決定してもよい。ここで所定の言葉は、例えば音声アシスタントを起動させるために発する言葉（ウェイクワード）である。よって、センサ３によって検出された複数の人体のうち、音声アシスタントを使用するユーザがいる方向が強化方向に決定される。その結果、音声アシスタントによる音声認識の精度が向上する。

【0026】

また例えば処理部１２は、センサデータ５が表す人体が存在する複数の方向それぞれを強化方向に決定し、強化方向からの音声が強調された複数の合成信号を生成してもよい。ここで、センサ３によって検出された複数のユーザのうちの１のユーザが音声入力をしているとする。この場合、複数の合成音声信号には、音声入力をしているユーザのいる方向を強化方向として生成された合成音声信号が含まれる。そのため、生成された複数の合成音声信号それぞれについての音声認識処理が行われることで、いずれかの合成音声信号に対する音声認識で精度が向上する。

【0027】

またセンサデータ５には、１以上の人体それぞれのセンサ３からの距離を示す距離情報が含まれていてもよい。この場合処理部１２は、１以上の人体それぞれのセンサ３からの距離のいずれかが閾値以上であった場合、マイク２ａ，２ｂについてのマイク感度を大きくしてもよい。これによりマイク２ａ，２ｂは、遠くにいるユーザからの声を音声信号に変換しやすくなる。

【0028】

また、情報処理装置１０はさらに、表示部を有し、マイク２ａ，２ｂは、表示部の表示面と平行な平面上に設置されてもよい。これにより、マイク２ａ，２ｂの設置位置が表示面と平行な平面に制限されている場合でも音声認識の精度が向上する。

【0029】

〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、ビームフォーミングによって指向性を持たせる方向をユーザの位置に応じて設定するものである。

【0030】

図２は、第２の実施の形態の概要を説明するための図である。ユーザ端末１００は、例えば音声アシスタントなどのソフトウェアによって、音声操作が可能な端末である。ユーザ端末１００の音声アシスタントなどのソフトウェアは音声信号を取得すると、取得した音声信号が示す言葉に応じた処理を行う。取得した音声信号を基に、音声信号が示す言葉を推定することを音声認識ということがある。

【0031】

ユーザ２１は、ユーザ端末１００を音声操作するユーザである。ユーザ端末１００は、ユーザ２１をセンサで検知し、ユーザ２１がいる方向（すなわち、人体が存在する方向）に指向性を持つようにビームフォーミングの設定をする。

【0032】

例えば、ユーザ２１がユーザ端末１００の正面にいる場合、ユーザ端末１００は、正面からの音に対して指向性を持つようにビームフォーミングの設定をする。これにより、正面からの音声に対する音声認識率が高くなり、正面以外の方向からの音声に対する音声認識率が低くなる。

【0033】

また例えば、ユーザ２１がユーザ端末１００の正面以外の方向に移動した場合、ユーザ端末１００は、ユーザ２１がいる方向からの音に対して指向性を持つようにビームフォーミングの設定をする。これにより、ユーザ２１がいる方向からの音声に対する音声認識率が高くなり、その他の方向からの音声に対する音声認識率が低くなる。

【0034】

図３は、ユーザ端末のハードウェアの一例を示す図である。ユーザ端末１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１１１を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0035】

メモリ１０２は、ユーザ端末１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0036】

バス１１１に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、機器接続インタフェース１０５、入力インタフェース１０６、光学ドライブ装置１０７、機器接続インタフェース１０８、音声入力部１０９およびネットワークインタフェース１１０がある。

【0037】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0038】

グラフィック処理装置１０４には、モニタ３１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ３１の画面に表示させる。モニタ３１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0039】

機器接続インタフェース１０５には、センサ３２が接続されている。センサ３２は、例えばＴＯＦ（Time Of Flight）センサである。センサ３２は、投光部と受光部とを備える。センサ３２は、投光部によって光を複数の点に照射してから、各点からの反射光を受光部で受け取るまでの時間を基に、各点とセンサ３２との距離を測定する。またセンサ３２は、動きを基に人体の所在を検知する。センサ３２は、検知した人体に対応する点とセンサ３２との距離を基に算出した、検知した人体のセンサ３２に対する相対位置を、センサデータとしてプロセッサ１０１に送信する。

【0040】

入力インタフェース１０６には、キーボード３３とマウス３４とが接続されている。入力インタフェース１０６は、キーボード３３やマウス３４から送られてくる信号をプロセッサ１０１に送信する。なお、マウス３４は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

【0041】

光学ドライブ装置１０７は、レーザ光などを利用して、光ディスク３５に記録されたデータの読み取りを行う。光ディスク３５は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３５には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。

【0042】

機器接続インタフェース１０８は、ユーザ端末１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０８には、メモリ装置３６やメモリリーダライタ３７を接続することができる。メモリ装置３６は、機器接続インタフェース１０８との通信機能を搭載した記録媒体である。メモリリーダライタ３７は、メモリカード３７ａへのデータの書き込み、またはメモリカード３７ａからのデータの読み出しを行う装置である。メモリカード３７ａは、カード型の記録媒体である。

【0043】

音声入力部１０９には、マイク３８，３９が接続されている。音声入力部１０９は、マイク３８，３９から入力された音声信号をディジタル信号に変換して、プロセッサ１０１に送信する。

【0044】

ネットワークインタフェース１１０は、ネットワーク２０に接続されている。ネットワークインタフェース１１０は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

【0045】

ユーザ端末１００は、以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。第１の実施の形態に示した情報処理装置１０も、図３に示したユーザ端末１００と同様のハードウェアにより実現することができる。なおプロセッサ１０１は、第１の実施の形態に示した処理部１２の一例である。またメモリ１０２またはストレージ装置１０３は、第１の実施の形態に示した記憶部１１の一例である。またモニタ３１は、第１の実施の形態に示した表示部の一例である。

【0046】

ユーザ端末１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。ユーザ端末１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、ユーザ端末１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またユーザ端末１００に実行させるプログラムを、光ディスク３５、メモリ装置３６、メモリカード３７ａなどの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0047】

次に、ユーザ端末１００に接続されている機器の配置について説明する。
図４は、モニタの構成の一例を示す図である。モニタ３１は、パネル３１ａとセンサ３２とマイク３８，３９とを有する。パネル３１ａは、有機ＥＬパネルや液晶パネルなどのモニタ３１の表示面である。パネル３１ａは、モニタ３１の中央に設置されている。

【0048】

センサ３２は、モニタ３１の上部に設置されている。センサ３２は、投光部および受光部がパネル３１ａの正面に向くように設置されている。マイク３８，３９は、モニタ３１の上部に設置されている。マイク３８，３９は、パネル３１ａ（表示面）と平行な平面上に配置されている。

【0049】

次に、ユーザ端末１００の機能について詳細に説明する。
図５は、ユーザ端末の機能例を示すブロック図である。ユーザ端末１００は、記憶部１２０、センサデータ取得部１３０、位置算出部１４０、強化方向決定部１５０、マイク感度設定部１６０、音声信号取得部１７０および合成音声信号生成部１８０を有する。

【0050】

記憶部１２０は、設置位置情報１２１を記憶する。設置位置情報１２１は、センサ３２およびマイク３８，３９の設置位置に関する情報である。センサデータ取得部１３０は、センサ３２からセンサデータを取得する。センサデータは、ユーザ２１のセンサ３２に対する相対位置の座標である。ユーザ２１のセンサ３２に対する相対位置は、第１の実施の形態に示した第１相対位置の一例である。

【0051】

位置算出部１４０は、センサデータ取得部１３０が取得した、ユーザ２１のセンサ３２に対する相対位置の座標を基に、ユーザ２１のマイク３８，３９の中点（基準点）に対する相対位置の座標を算出する。ユーザ２１の基準点に対する相対位置は、第１の実施の形態に示した第２相対位置の一例である。位置算出部１４０は、設置位置情報１２１を参照し、センサ３２の基準点に対する相対位置の座標を算出する。そして位置算出部１４０は、ユーザ２１のセンサ３２に対する相対位置の座標とセンサ３２の基準点に対する相対位置の座標とを足すことで、ユーザ２１の基準点に対する相対位置の座標を算出する。

【0052】

強化方向決定部１５０は、ユーザ２１の基準点からの方向をビームフォーミングにおいて指向性を持たせる方向（強化方向）に決定する。強化方向決定部１５０は、位置算出部１４０が算出した、ユーザ２１の基準点に対する相対位置の座標を基に、ユーザ２１の基準点からの方向を算出する。強化方向決定部１５０は、算出した方向を強化方向に決定する。

【0053】

マイク感度設定部１６０は、ユーザ２１の距離に応じてマイク３８，３９のマイク感度を設定する。マイク感度設定部１６０は、位置算出部１４０が算出した、ユーザ２１の基準点に対する相対位置の座標から、ユーザ２１と基準点との距離を算出する。そしてマイク感度設定部１６０は、算出した距離が閾値以上の場合、マイク感度を大きくする。マイク感度は、マイク３８，３９に加えられた音圧の大きさに対する出力電圧の大きさを、例えば［ｄＢ］の単位で表したものである。

【0054】

例えばマイク感度設定部１６０は、ユーザ２１と基準点との距離が８０［ｃｍ］未満であった場合、マイク感度を＋２４［ｄＢ］に設定する。一方マイク感度設定部１６０は、ユーザ２１と基準点との距離が８０［ｃｍ］以上であった場合、マイク感度を＋３６［ｄＢ］に設定する。

【0055】

音声信号取得部１７０は、マイク３８，３９から音声信号を取得する。合成音声信号生成部１８０は、音声信号取得部１７０が取得した音声信号を基に、強化方向からの音声が強調された合成信号を生成する。合成音声信号生成部１８０は、強化方向からの音声がマイク３８，３９に伝わる時間の差（遅延時間）を算出する。合成音声信号生成部１８０は、マイク３８，３９の一方のマイクから取得された音声信号を遅延時間だけ遅延させ、もう一方のマイクから取得された音声信号と合成する。

【0056】

なお、図５に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図５に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。

【0057】

次に、ビームフォーミングについて説明する。
図６は、音声の伝わり方の一例を示す図である。マイク３８，３９は、距離がｄだけ離れて設置されている。ここで、マイク３８，３９を結ぶ直線と垂直でマイク３８，３９の中点を通る直線に対して、マイク３９の側に角度θだけ傾いた方向（θ方向）から、音声の平面波である音波４１が到来する場合を考える。

【0058】

この場合、音波４１のマイク３９への経路は、マイク３８への経路よりｄ・ｓｉｎθだけ短い。よって、マイク３８によって音波４１を変換した音声信号の、マイク３９によって音波４１を変換した音声信号に対する遅延時間δは以下の式で算出される。なお「ｃ」は、音速である。

【0059】

δ＝ｄ・ｓｉｎθ／ｃ （１）
ここで、θ方向を強化方向とするビームフォーミングでは、合成音声信号生成部１８０は、マイク３９から取得した音声信号をδだけ遅延させた音声信号と、マイク３８から取得した音声信号とを合成して、合成音声信号を生成する。すると、マイク３９から取得した音声信号をδだけ遅延させた音声信号と、マイク３８から取得した音声信号とに含まれるθ方向からの音声の位相が一致する。これにより生成された合成音声信号では、θ方向からの音声が強調される。一方、マイク３９から取得した音声信号をδだけ遅延させた音声信号と、マイク３８から取得した音声信号とに含まれるθ方向以外の方向からの音声の位相は一致しない。よって生成された合成音声信号では、θ方向以外の方向からの音声は強調されない。このようなビームフォーミングによって、ユーザ端末１００は、θ方向に指向性を持つようになる。

【0060】

次に、センサ３２がユーザ２１のセンサ３２に対する相対位置の座標を特定する方法について説明する。
図７は、センサによる人体の位置座標を出力する方法の一例である。センサ３２は、移動する物体（移動体）を人体として検知し、検知した人体までの距離を基に、検知した人体のセンサ３２に対する相対位置の座標を出力する。

【0061】

センサ３２は、投光部から、複数の方向に対して光（例えば、近赤外光）を照射する。すると、照射された光は、反射点４２ａ，４２ｂ，４２ｃ，・・・によって反射される。反射点４２ａ，４２ｂ，４２ｃ，・・・は、照射された光が当たった、物体（例えば、人体、置物、壁など）の箇所を示す。センサ３２は、反射点４２ａ，４２ｂ，４２ｃ，・・・によって反射された反射光を受光部で検知する。センサ３２は、反射点４２ａ，４２ｂ，４２ｃ，・・・の各点との距離を、光を照射してから各点からの反射光が検知されるまでの時間（飛行時間）から、（点との距離）＝（光速）×（飛行時間）／２の式で算出する。

【0062】

センサ３２は、反射点４２ａ，４２ｂ，４２ｃ，・・・の各点との距離に基づいて、距離画像４３を生成してもよい。距離画像４３の各画素は、光を照射した複数の方向に対応する。距離画像４３の各画素の値は、対応する方向にある反射点４２ａ，４２ｂ，４２ｃ，・・・までの距離を示す。なお図７では、距離画像４３の各画素の値の大小が、点の濃淡で表される。距離画像４３では、点が濃い箇所は画素の値が小さい（距離が近い）ことを示し、点が薄い箇所は画素の値が大きい（距離が遠い）ことを示す。

【0063】

センサ３２は、例えば距離画像４３の各画素の値の変化を基に、動いている物体（移動体）を検知する。センサ３２は、距離画像４３において、検知した移動体の重心を示す画素を特定する。センサ３２は、特定した画素の値に示された距離と、特定した画素に対応する方向を基に、移動体の重心のセンサ３２に対する相対位置の座標を算出する。センサ３２は、移動体の重心のセンサ３２に対する相対位置の座標を、人体のセンサ３２に対する相対位置の座標として出力する。なおセンサ３２は、人間の移動を検知し、移動体の重心を示す画素を特定するのに代えて、例えば人間の呼吸による微小な動きを検知し、動きのある領域の重心を示す画素を特定してもよい。

【0064】

次に、強化方向の決定方法について説明する。
図８は、強化方向の決定方法の一例である。強化方向は、センサ３２およびマイク３８，３９の設置位置と、センサ３２から取得されるユーザ２１のセンサ３２に対する相対位置とに基づいて決定される。センサ３２およびマイク３８，３９の設置位置を示すための座標系の一例が以下のように定義される。

【0065】

ｘ軸は、マイク３８，３９を結ぶ直線と平行な軸である。ｙ軸は、水平面に対して垂直な軸である。ｚ軸は、ｘ，ｙ平面に垂直な軸である。つまり、ｘ，ｚ平面は水平面である。マイク３８とマイク３９との中点である基準点４４の位置座標が（０，０，０）として表される。

【0066】

マイク３８の位置座標は（Ｘ₁，０，０）である。マイク３９の位置座標は（Ｘ₂，０，０）である。センサ３２の位置座標は（Ｘ₃，Ｙ₃，Ｚ₃）である。センサ３２は、ユーザ２１のセンサ３２に対する相対位置の座標を出力する。ここで、センサ３２が出力した、ユーザ２１のセンサ３２に対する相対位置の座標が（Ａ，Ｂ，Ｃ）であったとする。この場合、ユーザ２１の位置座標は、センサ３２の位置座標に、ユーザ２１のセンサ３２に対する相対位置の座標を足すことで、（Ｘ₃＋Ａ，Ｙ₃＋Ｂ，Ｚ₃＋Ｃ）と算出される。

【0067】

強化方向は、水平面（ｘ，ｚ平面）において、マイク３８，３９を結ぶ直線と垂直な直線に対して、基準点４４とユーザ２１とを結ぶ直線がマイク３９の側に傾いている角度θで表される。角度θは、以下の式で算出される。

【0068】

ｔａｎθ＝（Ｘ₃＋Ａ）／（Ｚ₃＋Ｃ）
θ＝ｔａｎ^-1（（Ｘ₃＋Ａ）／（Ｚ₃＋Ｃ）） （２）
式（２）の上側の式は、ユーザ２１の位置座標を基にｔａｎθを示したものである。式（２）の上側の式の両辺に、ｔａｎの逆関数（ｔａｎ^-1）が作用された式（２）の下側の式によって、角度θが算出される。

【0069】

また、マイク３８とマイク３９との距離ｄは、以下の式で算出される。
ｄ＝｜Ｘ₁−Ｘ₂｜ （３）
また、基準点４４とユーザ２１との距離Ｄは、以下の式で算出される。なお、距離Ｄは、第１の実施の形態に示した距離情報の一例である。

【0070】

Ｄ＝（（Ｘ₃＋Ａ）²＋（Ｙ₃＋Ｂ）²＋（Ｚ₃＋Ｃ）²）^1/2 （４）
次に、記憶部１２０に記憶されるデータについて詳細に説明する。
図９は、設置位置情報の一例を示す図である。設置位置情報１２１には、機器および座標の欄が設けられている。機器の欄には、機器が設定される。座標の欄には、対応する機器の位置座標が設定される。

【0071】

設置位置情報１２１には、マイク３８，３９およびセンサ３２についての情報が登録される。マイク３８，３９およびセンサ３２のそれぞれの位置座標は、例えば図８で示した座標系における位置座標で示される。

【0072】

以下、ユーザ端末１００によるビームフォーミングの手順について、詳細に説明する。
図１０は、第１の強化方向制御の手順の一例を示すフローチャートである。以下、図１０に示す処理をステップ番号に沿って説明する。

【0073】

［ステップＳ１０１］強化方向決定部１５０は、ビームフォーミングが有効になるよう設定する。
［ステップＳ１０２］強化方向決定部１５０は、強化方向を０［°］に設定する。またマイク感度設定部１６０は、マイク３８，３９のマイク感度を＋２４［ｄＢ］に設定する。

【0074】

［ステップＳ１０３］センサデータ取得部１３０は、ユーザ２１のセンサ３２に対する相対位置をセンサ３２から取得する。
［ステップＳ１０４］位置算出部１４０は、ステップＳ１０３で取得したユーザ２１のセンサ３２に対する相対位置を基に、ユーザ２１の基準点４４に対する相対位置を算出する。例えば位置算出部１４０は、設置位置情報１２１を参照し、センサ３２の基準点４４に対する相対位置を取得する。そして位置算出部１４０は、ユーザ２１のセンサ３２に対する相対位置と、センサ３２の基準点４４に対する相対位置とを足すことで、ユーザ２１の基準点４４に対する相対位置を算出する。

【0075】

［ステップＳ１０５］強化方向決定部１５０は、ユーザ２１の基準点４４に対する相対位置に基づいて、ユーザ２１の基準点４４からの方向を算出する。例えば強化方向決定部１５０は、式（２）を用いてユーザ２１の基準点４４からの方向を示す角度θを算出する。

【0076】

［ステップＳ１０６］強化方向決定部１５０は、ユーザ２１がマイク使用可能領域の範囲内にいるか否かを判定する。マイク使用可能領域は、例えばマイク３８，３９の仕様や、マイク３８，３９の設置されたモニタ３１の形状により決定される、マイク３８，３９によって収音できる領域である。マイク使用可能領域の範囲は、例えば基準点４４からの角度や、基準点４４に対する相対位置の座標であらかじめ設定される。強化方向決定部１５０は、ユーザ２１がマイク使用可能領域の範囲内にいると判定した場合、処理をステップＳ１０７に進める。また強化方向決定部１５０は、ユーザ２１がマイク使用可能領域の範囲外にいると判定した場合、処理をステップＳ１０３に進める。

【0077】

［ステップＳ１０７］強化方向決定部１５０は、ユーザ２１の基準点４４からの方向を示す角度θが±１５［°］以内であるか否かを判定する。強化方向決定部１５０は、θが±１５［°］以内であると判定した場合、処理をステップＳ１０９に進める。また強化方向決定部１５０は、θが±１５［°］以内ではないと判定した場合、処理をステップＳ１０８に進める。

【0078】

［ステップＳ１０８］強化方向決定部１５０は、角度θで示される、ユーザ２１の基準点４４からの方向を強化方向に決定する。
［ステップＳ１０９］マイク感度設定部１６０は、ユーザ２１と基準点４４との距離が８０［ｃｍ］以上であるか否かを判定する。例えばマイク感度設定部１６０は、ユーザ２１と基準点４４との距離を、式（４）を用いて算出する。そしてマイク感度設定部１６０は、算出した距離が８０［ｃｍ］以上であるか否かを判定する。マイク感度設定部１６０は、ユーザ２１と基準点４４との距離が８０［ｃｍ］以上であると判定した場合、処理をステップＳ１１０に進める。またマイク感度設定部１６０は、ユーザ２１と基準点４４との距離が８０［ｃｍ］未満であると判定した場合、処理を終了する。

【0079】

［ステップＳ１１０］マイク感度設定部１６０は、マイク３８，３９のマイク感度を＋３６［ｄＢ］に設定する。
このように、ユーザ２１のセンサ３２に対する相対位置から、ユーザ２１の基準点４４からの角度θが算出され、角度θで示される方向が強化方向に決定される。ここで、ある音源からの音声が、マイク３８，３９に伝わるまでの時間の差（遅延時間）は、音源の、マイク３８，３９の中点（基準点４４）からの角度によって決まる。ユーザ２１の基準点４４からの角度θがユーザ２１の方向として算出されることで、センサ３２とマイク３８，３９が離れて設置されていても、精度よく遅延時間が算出される。その結果、ビームフォーミングによって、ユーザ２１の声が強調されやすくなる。

【0080】

また、ユーザ２１の方向を検出する他の方法として、ユーザ２１の声が到来する方向を算出する方法がある。しかし、この方法では、ユーザ２１が発話するまで強化方向が決定されない。これに対して、ユーザ端末１００は、ユーザ２１が発話する前に強化方向を決定できる。

【0081】

また、ユーザ２１の基準点４４からの距離が閾値（例えば８０［ｃｍ］）以上の場合に、マイク感度が大きく設定される（例えば、＋２４［ｄＢ］から＋３６［ｄＢ］に変更される）。これにより、ユーザ２１が遠くにいる場合でも、ユーザ２１の声が収音されやすくなる。なお、高いマイク感度で近くの音声を収音すると音割れが起こってしまうことがある。そこでマイク感度設定部１６０は、ユーザ２１の基準点４４からの距離が閾値以上の場合に、マイク感度を大きくする。

【0082】

図１１は、第１の合成音声信号生成の手順の一例を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。
［ステップＳ１２１］音声信号取得部１７０は、マイク３８，３９から音声信号を取得する。

【0083】

［ステップＳ１２２］合成音声信号生成部１８０は、強化方向の音声について、マイク３８から取得した音声信号のマイク３９から取得した音声信号に対する遅延時間を算出する。例えば合成音声信号生成部１８０は、式（１）を用いて、遅延時間δを算出する。

【0084】

［ステップＳ１２３］合成音声信号生成部１８０は、一方のマイクから取得した音声信号を遅延させる。例えば合成音声信号生成部１８０は、マイク３９から取得した音声信号をステップＳ１２２で算出した遅延時間δだけ遅延させる。

【0085】

［ステップＳ１２４］合成音声信号生成部１８０は、合成音声信号を生成する。例えば合成音声信号生成部１８０は、ステップＳ１２３で遅延時間δだけ遅延させた、マイク３９から取得した音声信号とマイク３８から取得した音声信号とを合成し、合成音声信号を生成する。

【0086】

このようにして、強化方向θからの音声が強調された合成音声信号が生成される。これにより、合成音声信号ではユーザ２１の声が強調される。その結果、ユーザ端末１００の音声アシスタントなどのソフトウェアが合成音声信号を用いることで、音声認識の精度が向上する。ここで、強化方向θは正面（０［°］）に限られない。よって、ユーザ２１が画面の正面にいない場合でも音声認識の精度が向上する。

【0087】

〔第３の実施の形態〕
次に第３の実施の形態について説明する。第３の実施の形態は、ビームフォーミングによって指向性を持たせる方向を複数のユーザのいずれかの方向に設定するものである。

【0088】

図１２は、第３の実施の形態の概要を説明するための図である。ユーザ端末１００ａは、例えば音声アシスタントなどのソフトウェアによって、音声操作が可能な端末である。ユーザ端末１００ａは音声信号を取得すると、取得した音声信号が示す言葉に応じた処理を行う。

【0089】

ユーザ２２，２３は、ユーザ端末１００ａの周囲にいるユーザである。ユーザ端末１００ａは、ユーザ２２，２３をセンサで検知し、ユーザ２２，２３がいる方向（人体が存在する複数の方向）のうち、所定の言葉（ウェイクワード）を発したユーザがいる方向に指向性を持つようにビームフォーミングの設定をする。ウェイクワードは、音声アシスタントを起動させるために発する言葉である。

【0090】

例えば、ユーザ端末１００ａが周囲に複数のユーザ（ユーザ２２，２３）を検知した場合、ユーザ端末１００ａは、ビームフォーミングを行わないよう設定する。これにより、音声認識率は角度に依存しなくなる（全角度に対する音声認識率が中程度になる）。

【0091】

ここで、ユーザ２３がウェイクワードを発したとする。するとユーザ端末１００ａは、ユーザ２３がいる方向からの音に対して指向性を持つようにビームフォーミングの設定をする。これにより、ユーザ２３がいる方向からの音声に対する音声認識率が高くなり、その他の方向からの音声に対する音声認識率が低くなる。

【0092】

ユーザ端末１００ａは、第２の実施の形態のユーザ端末１００と同様に図３のハードウェア構成によって実現される。以下では、ユーザ端末１００ａのハードウェアとしてユーザ端末１００のハードウェアと同じ符号が用いられる。

【0093】

次に、ユーザ端末１００ａの機能について詳細に説明する。
図１３は、ユーザ端末の他の機能例を示すブロック図である。ユーザ端末１００ａは、ユーザ端末１００の強化方向決定部１５０に代えて、強化方向決定部１５０ａを有する。ユーザ端末１００ａは、ユーザ端末１００の機能に加え、音源方向算出部１９０をさらに有する。

【0094】

強化方向決定部１５０ａは、ユーザ２２，２３それぞれの基準点に対する相対位置の座標を基に、ユーザ２２，２３それぞれの基準点からの方向を算出する。強化方向決定部１５０ａは、ユーザ２２，２３それぞれの基準点からの方向のうち、音源方向算出部１９０が算出した、ウェイクワードが発せられた方向に近いものを強化方向に決定する。音源方向算出部１９０は、音声信号取得部１７０が取得した音声を基に、ウェイクワードが発せられた方向を算出する。

【0095】

次に、音源方向算出部１９０によるウェイクワードが発せられた方向の算出方法を説明する。
図１４は、音源の方向を算出する方法の一例を示す図である。音源方向算出部１９０は、音源４５からの音声がマイク３８，３９に伝わる時間の差を基に音源４５の方向を算出する。

【0096】

マイク３８，３９は、距離がｄだけ離れて設置されている。ここで、マイク３８，３９を結ぶ直線と垂直でマイク３８，３９の中点を通る直線に対して、マイク３９の側に角度φだけ傾いた方向（φ方向）にある音源４５から、音声の平面波が到来する場合を考える。マイク３８は、音源４５からの音声を音声信号４６に変換する。またマイク３９は、音源４５からの音声を音声信号４７に変換する。

【0097】

この場合、音声信号４６の音声信号４７に対する遅延時間Δは、式（１）のδにΔ、θにφを代入することで算出される。よって角度φは、以下の式で算出される。
φ＝ｓｉｎ^-1（ｃ・Δ／ｄ） （５）

【0098】

音源方向算出部１９０は、ウェイクワードが発せられた時の音声信号４６と音声信号４７との遅延時間Δを特定する。そして音源方向算出部１９０は、音源４５の方向を示す角度φを式（５）で算出する。これにより音源方向算出部１９０は、ウェイクワードが発せられた時の音源４５の方向（すなわち、ウェイクワードを発したユーザがいる方向）を算出できる。

【0099】

以下、ユーザ端末１００ａによるビームフォーミングの手順について、詳細に説明する。なお、ユーザ端末１００ａによる合成音声信号の生成は、第２の実施の形態のユーザ端末１００による合成音声信号の生成と同様の処理である。

【0100】

図１５は、第２の強化方向制御の手順の一例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
［ステップＳ１３１］マイク感度設定部１６０は、マイク３８，３９のマイク感度を＋２４［ｄＢ］に設定する。

【0101】

［ステップＳ１３２］センサデータ取得部１３０は、ユーザ２２，２３それぞれのセンサ３２に対する相対位置をセンサ３２から取得する。
［ステップＳ１３３］位置算出部１４０は、ステップＳ１３２で取得したユーザ２２，２３それぞれのセンサ３２に対する相対位置を基に、ユーザ２２，２３それぞれの基準点４４に対する相対位置を算出する。例えば位置算出部１４０は、設置位置情報１２１を参照し、センサ３２の基準点４４に対する相対位置を取得する。そして位置算出部１４０は、ユーザ２２，２３それぞれのセンサ３２に対する相対位置と、センサ３２の基準点４４に対する相対位置とを足すことで、ユーザ２２，２３それぞれの基準点４４に対する相対位置を算出する。

【0102】

［ステップＳ１３４］強化方向決定部１５０ａは、ユーザ２２，２３それぞれの基準点４４に対する相対位置に基づいて、ユーザ２２，２３それぞれの基準点４４からの方向を算出する。例えば強化方向決定部１５０ａは、式（２）を用いてユーザ２２，２３それぞれの基準点４４からの方向を示す角度θ₁，θ₂を算出する。

【0103】

［ステップＳ１３５］強化方向決定部１５０ａは、音声アシスタントがウェイクワードによって起動したか否かを判定する。強化方向決定部１５０ａは、音声アシスタントがウェイクワードによって起動したと判定した場合、処理をステップＳ１３６に進める。また強化方向決定部１５０ａは、音声アシスタントがウェイクワードによって起動しなかったと判定した場合、処理をステップＳ１３２に進める。

【0104】

［ステップＳ１３６］強化方向決定部１５０ａは、ビームフォーミングが有効になるよう設定する。
［ステップＳ１３７］音源方向算出部１９０は、ウェイクワードが発せられた方向を算出する。例えば音源方向算出部１９０は、ウェイクワードを示すマイク３８，３９それぞれの音声信号を音声信号取得部１７０から取得し、遅延時間Δを特定する。そして音源方向算出部１９０は、式（５）を用いてウェイクワードが発せられた方向を示す角度φを算出する。

【0105】

［ステップＳ１３８］強化方向決定部１５０ａは、ユーザ２２，２３のうち、ウェイクワードが発せられた方向に最も近いユーザを選択する。例えば強化方向決定部１５０ａは、角度θ₁，θ₂のうち、角度φとの差が小さい方の角度に対応するユーザ（例えば、角度θ₂に対応するユーザ２３）を選択する。

【0106】

［ステップＳ１３９］強化方向決定部１５０ａは、ステップＳ１３８で選択したユーザの基準点４４からの方向を強化方向に決定する。例えば強化方向決定部１５０ａは、角度θ₂で示される、ユーザ２３の基準点４４からの方向を強化方向に決定する。

【0107】

［ステップＳ１４０］マイク感度設定部１６０は、ユーザ２３と基準点４４との距離が８０［ｃｍ］以上であるか否かを判定する。例えばマイク感度設定部１６０は、ユーザ２３と基準点４４との距離を、式（４）を用いて算出する。そしてマイク感度設定部１６０は、算出した距離が８０［ｃｍ］以上であるか否かを判定する。マイク感度設定部１６０は、ユーザ２３と基準点４４との距離が８０［ｃｍ］以上であると判定した場合、処理をステップＳ１４１に進める。またマイク感度設定部１６０は、ユーザ２３と基準点４４との距離が８０［ｃｍ］未満であると判定した場合、処理を終了する。

【0108】

［ステップＳ１４１］マイク感度設定部１６０は、マイク３８，３９のマイク感度を＋３６［ｄＢ］に設定する。
このようにして、複数のユーザのうちウェイクワードを発したユーザの方向が強化方向に決定される。つまり、ユーザ端末１００ａの音声アシスタントを使用するユーザがいる方向が強化方向に決定される。その結果、複数のユーザがいる場合でもユーザ端末１００ａの音声アシスタントによる音声認識の精度が向上する。

【0109】

ここで、音源方向算出部１９０が算出した角度φを、ウェイクワードを発したユーザの方向として強化方向に決定する方法も考えられる。しかし、マイクの数や設置位置が限られている場合、角度φの精度が低くなることがある。そこで、センサ３２から取得された複数のユーザの位置座標を基に算出された複数の角度の中から、角度φに近いものが選択される。これにより、音声信号を基に算出した音源の方向を強化方向に設定するよりも、強化方向の設定精度が向上する。

【0110】

〔第４の実施の形態〕
第４の実施の形態は、ビームフォーミングによって指向性を持たせる方向を複数のユーザの位置に応じて設定するものである。

【0111】

図１６は、第４の実施の形態の概要を説明するための図である。ユーザ端末１００ｂは、例えば音声アシスタントなどのソフトウェアによって、音声操作が可能な端末である。ユーザ端末１００ｂは音声信号を取得すると、取得した音声信号が示す言葉に応じた処理を行う。

【0112】

ユーザ２４，２５は、ユーザ端末１００ｂを音声操作するユーザである。ユーザ端末１００ｂは、ユーザ２４，２５をセンサで検知する。そしてユーザ端末１００ｂは、ユーザ２４，２５がいる方向（人体が存在する複数の方向）それぞれに指向性を持つような設定のビームフォーミングによる合成音声信号を生成する。ユーザ端末１００ｂが、ユーザ２４がいる方向からの音に対して指向性を持つようにビームフォーミングの設定をする場合、ユーザ２４がいる方向からの音声に対する音声認識率が高くなり、その他の方向からの音声に対する音声認識率が低くなる。またユーザ端末１００ｂが、ユーザ２５がいる方向からの音に対して指向性を持つようにビームフォーミングの設定をする場合、ユーザ２５がいる方向からの音声に対する音声認識率が高くなり、その他の方向からの音声に対する音声認識率が低くなる。

【0113】

ユーザ端末１００ｂは、第２の実施の形態のユーザ端末１００と同様に図３のハードウェア構成によって実現される。またユーザ端末１００ｂは、ユーザ端末１００と同様に図５で示される機能を有する。以下では、ユーザ端末１００ｂのハードウェアとしてユーザ端末１００のハードウェアと同じ符号が用いられ、ユーザ端末１００ｂの機能としてユーザ端末１００の機能と同じ符号が用いられる。

【0114】

図１７は、第３の強化方向制御の手順の一例を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。
［ステップＳ１５１］強化方向決定部１５０は、ビームフォーミングが有効になるよう設定する。

【0115】

［ステップＳ１５２］強化方向決定部１５０は、強化方向を０［°］に設定する。またマイク感度設定部１６０は、マイク３８，３９のマイク感度を＋２４［ｄＢ］に設定する。

【0116】

［ステップＳ１５３］センサデータ取得部１３０は、ユーザ２４，２５それぞれのセンサ３２に対する相対位置をセンサ３２から取得する。
［ステップＳ１５４］位置算出部１４０は、ステップＳ１５３で取得したユーザ２４，２５それぞれのセンサ３２に対する相対位置を基に、ユーザ２４，２５それぞれの基準点４４に対する相対位置を算出する。例えば位置算出部１４０は、設置位置情報１２１を参照し、センサ３２の基準点４４に対する相対位置を取得する。そして位置算出部１４０は、ユーザ２４，２５それぞれのセンサ３２に対する相対位置と、センサ３２の基準点４４に対する相対位置とを足すことで、ユーザ２４，２５それぞれの基準点４４に対する相対位置を算出する。

【0117】

［ステップＳ１５５］強化方向決定部１５０は、ユーザ２４，２５それぞれの基準点４４に対する相対位置に基づいて、ユーザ２４，２５それぞれの基準点４４からの方向を算出する。例えば強化方向決定部１５０は、式（２）を用いてユーザ２４，２５それぞれの基準点４４からの方向を示す角度θ_a，θ_bを算出する。

【0118】

［ステップＳ１５６］強化方向決定部１５０は、角度θ_a，θ_bで示される、ユーザ２４，２５それぞれの基準点４４からの方向を強化方向に決定する。
［ステップＳ１５７］マイク感度設定部１６０は、ユーザ２４，２５の中に基準点４４と８０［ｃｍ］以上離れたユーザがいるか否かを判定する。例えばマイク感度設定部１６０は、ユーザ２４，２５それぞれと基準点４４との距離を、式（４）を用いて算出する。そしてマイク感度設定部１６０は、算出した距離が８０［ｃｍ］以上であるか否かを判定する。マイク感度設定部１６０は、ユーザ２４，２５の中に基準点４４と８０［ｃｍ］以上離れたユーザがいると判定した場合、処理をステップＳ１５８に進める。またマイク感度設定部１６０は、ユーザ２４，２５の中に基準点４４と８０［ｃｍ］以上離れたユーザがいないと判定した場合、処理を終了する。

【0119】

［ステップＳ１５８］マイク感度設定部１６０は、マイク３８，３９のマイク感度を＋３６［ｄＢ］に設定する。
このようにして、複数のユーザそれぞれがいる方向が強化方向に決定される。また、複数のユーザのうち、いずれかのユーザの基準点４４からの距離が閾値以上の場合に、マイク感度が大きく設定される。これにより、遠くにいるユーザの声が収音されやすくなる。

【0120】

図１８は、第２の合成音声信号生成の手順の一例を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
［ステップＳ１６１］音声信号取得部１７０は、マイク３８，３９から音声信号を取得する。

【0121】

［ステップＳ１６２］合成音声信号生成部１８０は、全ての強化方向を選択したか否かを判定する。合成音声信号生成部１８０は、全ての強化方向を選択したと判定した場合、処理を終了する。また合成音声信号生成部１８０は、未選択の強化方向が残っていると判定した場合、処理をステップＳ１６３に進める。

【0122】

［ステップＳ１６３］合成音声信号生成部１８０は、未選択の強化方向を１つ選択する。
［ステップＳ１６４］合成音声信号生成部１８０は、ステップＳ１６３で選択した強化方向の音声について、マイク３８から取得した音声信号のマイク３９から取得した音声信号に対する遅延時間を算出する。例えば合成音声信号生成部１８０は、式（１）を用いて、遅延時間δを算出する。

【0123】

［ステップＳ１６５］合成音声信号生成部１８０は、一方のマイクから取得した音声信号を遅延させる。例えば合成音声信号生成部１８０は、マイク３９から取得した音声信号をステップＳ１６４で算出した遅延時間δだけ遅延させる。

【0124】

［ステップＳ１６６］合成音声信号生成部１８０は、合成音声信号を生成する。例えば合成音声信号生成部１８０は、ステップＳ１６５で遅延時間δだけ遅延させた、マイク３９から取得した音声信号とマイク３８から取得した音声信号とを合成し、合成音声信号を生成する。そして合成音声信号生成部１８０は、処理をステップＳ１６２に進める。

【0125】

このようにして、複数の強化方向それぞれからの音声が強調された複数の合成音声信号が生成される。これにより、いずれかの合成音声信号で音声入力をしているユーザの声が強調される。その結果、ユーザ端末１００ｂの音声アシスタントなどのソフトウェアが、生成された複数の合成音声信号それぞれについての音声認識処理を行うことで、いずれかの合成音声信号に対する音声認識で精度が向上する。

【0126】

〔その他の実施の形態〕
第２の実施の形態では、ユーザ端末１００の音声アシスタントなどのソフトウェアが、合成音声信号を基に処理を実行していたが、サーバが合成音声信号を基に処理を実行してもよい。

【0127】

図１９は、その他の実施の形態のシステム構成例を示す図である。ユーザ端末１００ｃは、ユーザ２６をセンサで検知し、ユーザ２６がいる方向に指向性を持つようにビームフォーミングの設定をする。ユーザ端末１００ｃは、ネットワーク２０を介してサーバ２００に接続されている。ユーザ端末１００ｃは、ビームフォーミングによって生成した合成音声信号をサーバ２００に送信する。

【0128】

サーバ２００は、ユーザ端末１００ｃから取得した合成音声信号に基づく処理を実行する。例えばサーバ２００は、合成音声信号を解析し、合成音声信号が示す言葉をユーザ端末１００ｃに送信する。

【0129】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0130】

１ ユーザ
２ａ，２ｂ マイク
３ センサ
４ａ，４ｂ 音声信号
５ センサデータ
６ 基準点
１０ 情報処理装置
１１ 記憶部
１１ａ，１１ｂ，１１ｃ 設置位置
１２ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】