特開 2024-120717 装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120717

(43)【公開日】2024-09-05

(54)【発明の名称】装置

(51)【国際特許分類】

   H04R 1/08 20060101AFI20240829BHJP

   H04R 1/40 20060101ALI20240829BHJP

【ＦＩ】

H04R1/08

H04R1/40 320Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023027717

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】宮原 直也

【テーマコード（参考）】

5D017

【Ｆターム（参考）】

5D017BE10

(57)【要約】

【課題】複数のスピーカを有する装置に関する創意工夫を実現する。
【解決手段】音を収音する第１のマイクロホンアレイおよび第２のマイクロホンアレイと、音を出力する第１のスピーカおよび第２のスピーカと、前記第１のスピーカおよび前記第１のマイクロホンアレイの間に存在せず、前記第２のスピーカおよび前記第２のマイクロホンアレイの間を仕切る仕切部と、を備える、装置。
【選択図】図１４

【特許請求の範囲】

【請求項1】

音を収音する第１のマイクロホンアレイおよび第２のマイクロホンアレイと、
音を出力する第１のスピーカおよび第２のスピーカと、
前記第１のスピーカおよび前記第１のマイクロホンアレイの間に存在せず、前記第２のスピーカおよび前記第２のマイクロホンアレイの間を仕切る仕切部と、
を備える、装置。

【請求項2】

前記第１のマイクロホンアレイおよび前記第１のスピーカと、前記第２のマイクロホンアレイおよび前記第２のスピーカとが対に配置される、請求項１に記載の装置。

【請求項3】

前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカは、同一方向上で離隔して配置される、請求項１に記載の装置。

【請求項4】

前記第１のスピーカおよび前記第１のマイクロホンアレイの距離と、前記第２のスピーカおよび前記第２のマイクロホンアレイの距離とが等しい、請求項３に記載の装置。

【請求項5】

前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカは、同一直線上に配置される、請求項３に記載の装置。

【請求項6】

前記第１のマイクロホンアレイおよび前記第２のマイクロホンアレイは、前記第１のスピーカおよび前記第２のスピーカの外側に位置する、請求項５に記載の装置。

【請求項7】

前記装置は、前記前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカに被さるカバーをさらに備える、請求項１に記載の装置。

【請求項8】

前記第１のマイクロホンアレイおよび前記第２のマイクロホンアレイにより得られた音信号は、所定領域から発せられた音に対応する領域音信号を抽出する抽出部に出力される、請求項７に記載の装置。

【請求項9】

前記抽出部は、前記第１のマイクロホンアレイにより得られた音信号と前記第２のマイクロホンアレイにより得られた音信号に共通に含まれる成分を前記領域音信号として抽出する、請求項８に記載の装置。

【請求項10】

前記第１のスピーカおよび前記第２のスピーカは、音を平面波により出力する平面波スピーカである、請求項８に記載の装置。

【請求項11】

前記カバーは、前記第１のスピーカおよび前記第２のスピーカによる音の出力方向側に位置する第１面、前記第１面に対向する第２面、前記第１のスピーカおよび前記第２のスピーカの鉛直方向側に位置する第３面を有し、
前記第１面、前記第２面および前記第３面には開口が形成されている、請求項７に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、装置に関する。

【背景技術】

【0002】

近年、様々な場所に自立型の情報端末が設置されている。ある種の情報端末は、ユーザの音声を収音するマイクロホン、遠隔するオペレータの映像を表示するディスプレイ、および遠隔するオペレータの音声を出力するスピーカを有する。ユーザは、このような情報端末を使用することにより、遠隔するオペレータと対話して所望の情報を得ることができる。

【0003】

例えば、特許文献１には、スピーカとマイクロホンを有し、互いに通信網を介して接続
されている２つの音声入装置が開示されている。２つのユーザがそれぞれ音声入出力
装置を使用することで、双方向の音声通信が実現され得る。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２８２２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記の特許文献１には、複数のスピーカを有する装置における配置の工夫は開示されていない。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のスピーカを有する装置に関する新規かつ改良された技術を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、音を収音する第１のマイクロホンアレイおよび第２のマイクロホンアレイと、音を出力する第１のスピーカおよび第２のスピーカと、前記第１のスピーカおよび前記第１のマイクロホンアレイの間に存在せず、前記第２のスピーカおよび前記第２のマイクロホンアレイの間を仕切る仕切部と、を備える、装置が提供される。

【0008】

前記第１のマイクロホンアレイおよび前記第１のスピーカと、前記第２のマイクロホンアレイおよび前記第２のスピーカとが対に配置されてもよい。

【0009】

前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカは、同一方向上で離隔して配置されてもよい。

【0010】

前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカは、同一直線上に配置されてもよい。

【0011】

前記第１のスピーカおよび前記第１のマイクロホンアレイの距離と、前記第２のスピーカおよび前記第２のマイクロホンアレイの距離とが等しくてもよい。

【0012】

前記第１のマイクロホンアレイおよび前記第２のマイクロホンアレイは、前記第１のスピーカおよび前記第２のスピーカの外側に位置してもよい。

【0013】

前記装置は、前記前記第１のマイクロホンアレイ、前記第２のマイクロホンアレイ、前記第１のスピーカおよび前記第２のスピーカに被さるカバーをさらに備えてもよい。

【0014】

前記第１のマイクロホンアレイおよび前記第２のマイクロホンアレイにより得られた音信号は、所定領域から発せられた音に対応する領域音信号を抽出する抽出部に出力されてもよい。

【0015】

前記抽出部は、前記第１のマイクロホンアレイにより得られた音信号と前記第２のマイクロホンアレイにより得られた音信号に共通に含まれる成分を前記領域音信号として抽出してもよい。

【0016】

前記第１のスピーカおよび前記第２のスピーカは、音を平面波により出力する平面波スピーカであってもよい。

【0017】

前記カバーは、前記第１のスピーカおよび前記第２のスピーカによる音の出力方向側に位置する第１面、前記第１面に対向する第２面、前記第１のスピーカおよび前記第２のスピーカの鉛直方向側に位置する第３面を有し、前記第１面、前記第２面および前記第３面には開口が形成されていてもよい。

【発明の効果】

【0018】

以上説明した本発明によれば、複数のスピーカを有する装置に関する創意工夫を実現することが可能である。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態による情報処理システムを示す説明図である。

【図2】比較例による装置の構成を示す説明図である。

【図3】本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。

【図4】インターフェースユニット１２０の構成を示す説明図である。

【図5】インターフェースユニット１２０の平面図である。

【図6】インターフェースユニット１２０の平面図である。

【図7】本発明の一実施形態によるユーザ操作型端末１０の機能構成を示す説明図である。

【図8】初期画面の具体例を示す説明図である。

【図9】インターフェースユニット１２０およびユーザの平面図である。

【図10】マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。

【図11】マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。

【図12】カバー１２１の前方側を視点とするカバー１２１の外観構成を示す説明図である。

【図13】カバー１２１の後方側を視点とするカバー１２１の外観構成を示す説明図である。

【図14】インターフェースユニット１２０の内部構成を模式的に示す説明図である。

【図15】ノートＰＣ１６と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。

【図16】大型サイネージ端末１８と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。

【図17】ユーザ操作型端末１０のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0020】

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0021】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じてマイクロホンアレイ１２４Ａ、マイクロホンアレイ１２４Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、マイクロホンアレイ１２４Ａ、マイクロホンアレイ１２４Ｂを特に区別する必要が無い場合には、各マイクロホンアレイを単にマイクロホンアレイ１２４と称する。

【0022】

＜情報処理システムの概要＞
本発明の一実施形態は、ユーザと遠隔するオペレータがユーザに遠隔での接客サービスを提供する情報処理システムに関する。以下、本発明の一実施形態による情報処理システムの概要を説明する。

【0023】

図１は、本発明の一実施形態による情報処理システムを示す説明図である。図１に示したように、本発明の一実施形態による情報処理システムは、ユーザ操作型端末１０およびオペレータ端末３０を有する。

【0024】

ユーザ操作型端末１０およびオペレータ端末３０はネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２はネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0025】

（ユーザ操作型端末１０）
ユーザ操作型端末１０は、ユーザによる操作を受け付ける端末である。ユーザ操作型端末１０は、音を出力する装置としての機能を有する。より具体的には、ユーザの音声を収音する機能、ユーザを撮像する機能、およびオペレータ端末３０から受信されるオペレータの映像を表示する機能、およびオペレータの音声を出力する機能などを有する。このため、ユーザは、ユーザ操作型端末１０を利用することでオペレータから映像および音声を介した接客サービスを受けることが可能である。

【0026】

なお、接客サービスとしては、駅または空港などの交通機関における各種案内、または路上におけるルート案内などを行う案内サービス、映画またはレストランなどの座席を予約する座席予約サービス、アミューズメント施設などのチケットを発券するチケット発券サービスなど、多様なサービスが挙げられる。

【0027】

（オペレータ端末３０）
オペレータ端末３０は、オペレータが利用する端末である。オペレータ端末３０は、オペレータの音声を収音する機能、オペレータを撮像する機能、およびユーザ操作型端末１０から受信されるユーザの映像を表示する機能、ユーザの音声を出力する機能などを有する。オペレータ端末３０は、ユーザ操作型端末１０との画面共有のために任意の画面をユーザ操作型端末１０に送信することも可能である。

【0028】

（背景）
上述したように、ユーザ操作型端末１０は、音声を収音する機能、および音声を出力する機能を有する。このような音声を収音する機能、および音声を出力する機能を有する他の装置では、音声の回り込みによりハウリングが発生し得る。例えば、図２に示した装置９０では、スピーカ９４が出力したオペレータの音声がマイクロホン９８に回り込み、ハウリングが発生する場合がある。

【0029】

また、不特定のユーザに利用される装置９０では、装置９０に対するユーザの操作方法がタッチ操作である場合、タッチ面が不衛生になる。結果、感染症に罹患するリスクが高まる。

【0030】

なお、上述したハウリングの問題を回避するためには、複数のマイクロホンアレイを利用して特定の領域から発せられた音声のみを抽出することが有用である。しかし、ディスプレイに対して複数のマイクロホンアレイおよびスピーカを含むセットを取り付ける場合、複数のマイクロホンアレイおよびスピーカの位置関係によっては、上記セットが取り付けに適さない形状となる。

【0031】

本件発明者は、上記事情に着眼して本発明の一実施形態を創作するに至った。本発明の一実施形態によれば、上述した点を改善することが可能である。以下、このような本発明の一実施形態によるユーザ操作型端末１０の構成を詳細に説明する。

【0032】

＜ユーザ操作型端末１０の構成＞
図３は、本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。図３に示したように、本発明の一実施形態によるユーザ操作型端末１０は、表示部１１０およびインターフェースユニット１２０を有する。表示部１１０は、多様な画面を表示する。図３に示した例では、表示部１１０には、オペレータ端末３０と共有されている画面５２、ユーザ操作型端末１０を利用するユーザの映像５４およびオペレータの映像５６が含まれる。

【0033】

インターフェースユニット１２０は、音声処理装置の一例であり、ユーザとのインターフェースになる多様な構成、およびこれら構成を覆うカバー１２１を有する。インターフェースユニット１２０は、表示部１１０の上に配置される。カバー１２１により覆われる構成について、図４を参照して具体的に説明する。

【0034】

図４は、インターフェースユニット１２０の構成を示す説明図である。図４の上段にはユーザ操作型端末１０の平面図を示し、図４の下段にはユーザ操作型端末１０の正面図を示している。図４に示したように、インターフェースユニット１２０は、撮像部１２２、複数のマイクロホンアレイ１２４（マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂ）、および平面波スピーカ１２６を有する。撮像部１２２は複数のマイクロホンアレイ１２４の間に位置し、平面波スピーカ１２６は複数のマイクロホンアレイ１２４の外側に位置している。

【0035】

撮像部１２２は、被写体を撮像する。例えば、撮像部１２２は、ユーザ操作型端末１０の前にいるユーザを撮像すると、ユーザの映像を取得する。マイクロホンアレイ１２４Ａは、複数のマイクロホンを有する。同様に、マイクロホンアレイ１２４Ｂも、複数のマイクロホンを有する。例えば、ユーザ操作型端末１０の前にいるユーザが音声を発すると、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂはユーザの音声を収音する。平面波スピーカ１２６は、音声を平面波により出力する。例えば、平面波スピーカ１２６は、オペレータ端末３０から受信されたオペレータの音声を出力する。

【0036】

上述した複数のマイクロホンアレイ１２４および平面波スピーカ１２６は、図４の下段に示したように、正面視において表示部１１０の水平方向に平行な直線Ｌ上に配置されている。複数のマイクロホンアレイ１２４および平面波スピーカ１２６は、いずれもユーザ操作型端末１０に正対するユーザに向いて設置されている。さらに、撮像部１２２も当該直線Ｌ上に配置されていてもよい。また、図４の上段に示したように、複数のマイクロホンアレイ１２４および平面波スピーカ１２６は平面視においても同一の直線Ｌ上に配置されていてもよい。

【0037】

ただし、複数のマイクロホンアレイ１２４および平面波スピーカ１２６は奥行き方向にずれて配置されてもよい。例えば、マイクロホンアレイ１２４が音の感度を上げるために平面波スピーカ１２６よりも手前側にせり出す形で設置されてもよい。すなわち、マイクロホンアレイ１２４および平面波スピーカ１２６は、上側から俯瞰すると円弧状またはV字状に存在するように配置されてもよい。

【0038】

また、マイクロホンアレイ１２４は、それぞれ複数のマイク素子の信号を制御部１５０に出力し、指向性のある音声取得を実現する。マイク素子は平面基板上に正方形に配置されていてもよい。例えば３×３の９個のマイク素子が平面基板上に正方形状に配置されていてもよい。

【0039】

なお、マイクロホンアレイ１２４は、図５において矢印を付した方向に沿って、上記直線Ｌ上で移動可能に設けられる。さらに、マイクロホンアレイ１２４は、図６において矢印を付した回転方向に沿って回転可能に設けられる。すなわち、マイクロホンアレイ１２４は、インターフェースユニット１２０において可動（動かすことが可能なよう）に設けられている。また、平面波スピーカ１２６も同様に可動に設けられてもよい。

【0040】

以上、本発明の一実施形態によるユーザ操作型端末１０の外観構成を主に説明した。続いて、図７を参照し、本発明の一実施形態によるユーザ操作型端末１０の機能構成を説明する。

【0041】

図７は、本発明の一実施形態によるユーザ操作型端末１０の機能構成を示す説明図である。図７に示したように、本発明の一実施形態によるユーザ操作型端末１０は、表示部１１０、撮像部１２２、複数のマイクロホンアレイ１２４、平面波スピーカ１２６、通信部１３０および制御部１５０を有する。表示部１１０、撮像部１２２、マイクロホンアレイ１２４および平面波スピーカ１２６の機能は上述した通りであるので、ここでの詳細な説明を省略する。

【0042】

（通信部１３０）
通信部１３０は、オペレータ端末３０とのインターフェースである。通信部１３０は、例えば、マイクロホンアレイ１２４により収音されたユーザの音声（より厳密には、マイクロホンアレイ１２４により収音された音声から、後述する音声抽出部１５４により抽出された音声）、および撮像部１２２により取得されたユーザの映像をオペレータ端末３０に送信する。また、通信部１３０は、オペレータの音声および映像などをオペレータ端末３０から受信する。

【0043】

（制御部１５０）
制御部１５０は、ユーザ操作型端末１０の動作全般を制御する。制御部１５０は、例えば図７に示したように、表示制御部１５２、音声抽出部１５４および操作認識部１５６の機能を有する。

【0044】

表示制御部１５２は、表示画面を生成し、生成した表示画面を表示部１１０に表示させる。例えば、表示制御部１５２は、図８に示すように、「いらっしゃいませ」というメッセージ、オペレータ接続ボタン６２、およびポインタ表示Ｐを含む初期画面を生成する。ポインタ表示Ｐは、ユーザが指示している位置を示す表示である。ポインタ表示Ｐがオペレータ接続ボタン６２に合っている状態でユーザが所定操作を行った場合、制御部１５０はユーザ操作型端末１０とオペレータ端末３０との接続を制御する。なお、所定操作はユーザが手を握る操作であってもよい。

【0045】

オペレータ端末３０がユーザ操作型端末１０から着信すると、オペレータ端末３０が着信画面を表示し、オペレータが着信画面において受付操作を行うことでユーザ操作型端末１０とオペレータ端末３０の状態が通話状態となる。ユーザ操作型端末１０とオペレータ端末３０の状態が通話状態となった後、表示制御部１５２は、例えば図３に示したように、オペレータ端末３０と共有されている画面５２、ユーザ操作型端末１０を利用するユーザの映像５４およびオペレータの映像５６を含む表示画面を生成し、当該表示画面を表示部１１０に表示させる。

【0046】

音声抽出部１５４は、複数のマイクロホンアレイ１２４により収音された音声から、ユーザの位置を含む領域から発せられた音声を抽出する。このため、音声抽出部１５４により抽出される音声は、ユーザの音声を含む。以下、図９を参照してより詳細に説明する。

【0047】

図９は、インターフェースユニット１２０およびユーザの平面図である。マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂは、それぞれ指向性を有する。図９においては、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの指向性を破線で示している。指向性に基づいてマイクロホンアレイ１２４Ａが収音の対象とする範囲と、指向性に基づいてマイクロホンアレイ１２４Ｂが収音の対象とする範囲とは交差している。図９に示した領域Ｈは、双方の範囲が交差している領域（所定領域）である。領域Ｈは、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂからの距離が等しい位置を含むので、領域Ｈから発せられた音は、概ね同時にマイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂに到達する。マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂにより得られた音信号は音声抽出部１５４に出力される。音声抽出部１５４は、例えば、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂにより概ね同時に得られた音信号に共通して含まれる音声（成分）を、当該領域Ｈから発せられた音に対応する領域音信号として抽出する。

【0048】

操作認識部１５６は、撮像部１２２により取得されたユーザの映像に基づき、ユーザによる操作を認識する。例えば、操作認識部１５６は、ユーザの映像から、またはユーザの映像に左右反転処理および解像度に関する処理などが施された後の映像からユーザの手を検出し、ユーザの手の特徴点を検出する。そして、操作認識部１５６は、１または２以上の特徴点の位置を用いて指示位置を認識する。操作認識部１５６は、人差し指、中指および薬指の各々の付け根の関節である特徴点の位置の平均値を指示位置として認識してもよい。

【0049】

また、ユーザが３本の指（人差し指、中指および薬指）の位置を握ることで下げる操作を行った場合、操作認識部１５６は、当該操作をオペレータ接続ボタン６２のような操作オブジェクトを選択する所定操作として認識する。

【0050】

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に、いずれもユーザ操作型端末１０に正対するユーザに向くように設置されている。ここで、平面波スピーカ１２６は、直進性の高い平面波により音声を出力する。さらに、ユーザ操作型端末１０はユーザの位置を含む領域Ｈから発せられた音声を抽出する音声抽出部１５４を有する。従って、音声抽出部１５４により抽出される音声への平面波スピーカ１２６から出力された音声の入り込み、および雑音の入り込みなどを抑制することが可能である。従って、オペレータ端末３０を利用するオペレータがユーザの音声を聞き易い。

【0051】

また、本発明の一実施形態によれば、ユーザが非接触でユーザ操作型端末１０に操作入力を行うことが可能である。従って、ユーザ操作型端末１０では完全タッチレスが実現されるので、ユーザが感染症に罹患するリスクを低減することが可能である。また、表示部１１０に手が届かないユーザ（例えば、車椅子に座っているユーザ）でもユーザ操作型端末１０を利用することが可能である。

【0052】

また、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に設置されるので、カバー１２１も直線的な形状に設計し易い。従って、表示部１１０の上部にインターフェースユニット１２０を取り付け易い。さらに、撮像部１２２も同一直線上に設置することにより、カバー１２１をより直線的な形状に設計し得る。

【0053】

また、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４が直線上で移動可能であり、また、回転可能に設置される。従って、各マイクロホンアレイ１２４が収音の対象とする範囲を変更することにより、図９を参照して説明した領域Ｈを容易に調整することが可能である。このような形態は特に、マイク素子それぞれの距離が固定されており、平面基板上にマイク素子が配置されて、特定の方向に対して高い指向性を形成可能なマイクロホンアレイ１２４において有用である。

【0054】

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

【0055】

（第１の変形例）
上記では、複数のマイクロホンアレイ１２４の外側に１つの平面波スピーカ１２６が配置される例を説明したが、マイクロホンアレイ１２４および平面波スピーカ１２６の配置は上述した例に限定されない。マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する２つの変形例を図１０および図１１を参照して説明する。

【0056】

図１０および図１１は、マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。図１０に示したように、平面波スピーカ１２６は、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの間に配置されていてもよい。

【0057】

また、図１１に示したように、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの外側に平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂが配置されていてもよい。図１１に示した例において、マイクロホンアレイ１２４Ａおよび平面波スピーカ１２６Ａの距離と、マイクロホンアレイ１２４Ｂおよび平面波スピーカ１２６Ｂの距離は同一である。いずれの場合も、マイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に配置されることで、カバー１２１を直線的な形状に設計することが可能である。

【0058】

図１１に示した第１の変形例に関し、複数の平面波スピーカ１２６から出力された音声は、カバー１２１内を反射することにより、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂに回り込み得る。ここで、平面波スピーカ１２６Ａから出力された音声がマイクロホンアレイ１２４Ａに回り込むタイミング、および平面波スピーカ１２６Ｂから出力された音声がマイクロホンアレイ１２４Ｂに回り込むタイミングが同時である場合、当該音声が音声抽出部１５４により領域音として抽出される懸念がある。同様に、平面波スピーカ１２６Ａから出力された音声がマイクロホンアレイ１２４Ｂに回り込むタイミング、および平面波スピーカ１２６Ｂから出力された音声がマイクロホンアレイ１２４Ａに回り込むタイミングが同時である場合、当該音声が音声抽出部１５４により領域音として抽出される懸念がある。

【0059】

以下、上記懸念に対する幾つかの創意工夫を説明する。

【0060】

図１２は、カバー１２１の前方側を視点とするカバー１２１の外観構成を示す説明図である。図１３は、カバー１２１の後方側を視点とするカバー１２１の外観構成を示す説明図である。

【0061】

図１２および図１３に示したように、カバー１２１は、第１面の一例である前面カバー２１０、第２面の一例である後面カバー２２０、および第３面の一例である上面カバー２３０を有する。前面カバー２１０は、複数の平面波スピーカ１２６による音の出力方向側に位置する。後面カバー２２０は、前面カバー２１０に対向する。上面カバー２３０は、複数の平面波スピーカ１２６の鉛直方向側（図１２および図１３に示した例では上側）に位置する。

【0062】

これら前面カバー２１０、後面カバー２２０および上面カバー２３０には、開口が形成されている。より具体的には、前面カバー２１０には、図１２に示したように、円形の複数の開口２１２が上下方向および幅方向に沿って形成されている。開口２１２が形成されている領域は、正面視において平面波スピーカ１２６に重なる領域を含む。

【0063】

後面カバー２２０には、図１２に示したように、長方形の複数の開口２２２が上下方向および幅方向に沿って形成されている。開口２２２が形成されている領域は、後面視において平面波スピーカ１２６に重なる領域を含む。

【0064】

上面カバー２３０には、図１２および図１３に示したように、長方形の複数の開口２３２が前後方向および幅方向に沿って形成されている。開口２３２が形成されている領域は、平面視において平面波スピーカ１２６に重なる領域を含む。なお、各開口の形状は上述した例に限られず、各開口の形状は他の形状であってもよい。

【0065】

上述したように、前面カバー２１０、後面カバー２２０および上面カバー２３０に開口が形成されることにより、平面波スピーカ１２６から出力された音声のカバー１２１内での反射が抑制される。結果、平面波スピーカ１２６から出力された音声のマイクロホンアレイ１２４への回り込みを抑制することが可能である。

【0066】

続いて、図１４を参照して、インターフェースユニット１２０の内部に関する創意工夫を説明する。

【0067】

図１４は、インターフェースユニット１２０の内部構成を模式的に示す説明図である。図１４に示したように、インターフェースユニット１２０の内部には、撮像部１２２、マイクロホンアレイ１２４Ａ、マイクロホンアレイ１２４Ｂ、平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂに加えて、仕切部２５０が設けられる。

【0068】

仕切部２５０は、平面波スピーカ１２６Ｂ（第１のスピーカの一例）およびマイクロホンアレイ１２４Ｂ（第１のマイクロホンアレイの一例）の間に存在せず、平面波スピーカ１２６Ａ（第２のスピーカの一例）およびマイクロホンアレイ１２４Ａ（第２のマイクロホンアレイの一例）の間に存在する、空間を仕切る部材である。なお、空間とは仕切部２５０が配置可能な程度のあいている領域を意味し、例えば当該領域には空気や気体が存在していてもよい。仕切部２５０は、マイクロホンアレイ１２４および平面波スピーカ１２６の離隔方向（幅方向）に交差する姿勢で配置される。図１４に示した例では、仕切部２５０は、幅方向に直交する姿勢で配置されている。仕切部２５０は、図１４に示したように、上下方向において、マイクロホンアレイ１２４Ａが配置されている範囲および平面波スピーカ１２６Ｂが配置されている範囲よりも広い範囲に亘って存在してもよい。

【0069】

このような仕切部２５０が設けられることにより、インターフェースユニット１２０の内部構成が、幅方向における両側である左右において非対称となり、平面波スピーカ１２６から出力された音声のインターフェースユニット１２０内での伝わり方も非対称となる。結果、平面波スピーカ１２６から出力された音声が領域音として抽出され難くなる。具体的には、平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂから同時に同じ音声が出力される際に、平面波スピーカ１２６Ａから出力された音声がマイクロホンアレイ１２４Ａに回り込むタイミング、および平面波スピーカ１２６Ｂから出力された音声がマイクロホンアレイ１２４Ｂに回り込むタイミングに差が生じる。また、平面波スピーカ１２６Ａから出力された音声がマイクロホンアレイ１２４Ｂに回り込むタイミング、および平面波スピーカ１２６Ｂから出力された音声がマイクロホンアレイ１２４Ａに回り込むタイミングにも差が生じる。このため、平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂから出力された音声が音声抽出部１５４により領域音として抽出され難くなる。

【0070】

上述した２つの創意工夫により、上述した実施形態の構成とも相まって、平面波スピーカ１２６から出力された音声のマイクロホンアレイ１２４への回り込みを抑制し、かつ、回り込みが発生したとしても、回り込んだ音声が音声抽出部１５４により領域音として抽出され難くなる。従って、領域音として抽出される平面波スピーカ１２６から出力された音声の増加を抑えつつ、平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂの音量を大きくすることが可能である。

【0071】

なお、上記では、仕切部２５０が平面波スピーカ１２６Ａおよびマイクロホンアレイ１２４Ａの間に設けられる例を説明したが、代替として、仕切部２５０は平面波スピーカ１２６Ｂおよびマイクロホンアレイ１２４Ｂの間に設けられてもよい。また、上記ではマイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの外側に平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂが配置される例を説明したが、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの内側に平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂが配置されてもよいし、平面波スピーカ１２６とマイクロホンアレイ１２４が交互に配置されてもよい。

【0072】

また、マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関しては、上述した例に限定されず、一方のマイクロホンアレイ１２４と一方の平面波スピーカ１２６の組、および他方のマイクロホンアレイ１２４と他方の平面波スピーカ１２６の組が対になるように配置されていればよい。すなわち、一方のマイクロホンアレイ１２４と一方の平面波スピーカ１２６の相対的な位置関係、および他方のマイクロホンアレイ１２４と他方の平面波スピーカ１２６の相対的な位置関係が一致していてもよい。例えば、マイクロホンアレイ１２４Ａおよび平面波スピーカ１２６Ａが上下に離隔して配置され、さらに、マイクロホンアレイ１２４Ｂおよび平面波スピーカ１２６Ｂが上下に離隔して配置され、それらの組が幅方向で離隔していてもよい。

【0073】

（第２の変形例）
上記では、自立型の情報端末であるユーザ操作型端末１０に本発明の一実施形態が適用される例を説明したが、ノートＰＣ、タブレット端末および大型サイネージ端末にも本発明の一実施形態を適用可能である。以下、図１５および図１６を参照し、本発明の一実施形態の適用例を説明する。

【0074】

図１５は、ノートＰＣ１６と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。図１５に示した例では、インターフェースユニット１２０に脚が設けられ、カバー１２１がノートＰＣ１６の上側に位置するようにインターフェースユニット１２０が配置されている。インターフェースユニット１２０とノートＰＣ１６は例えばＵＳＢを介して接続される。インターフェースユニット１２０からユーザの映像および音声がノートＰＣ１６に出力され、ノートＰＣ１６からインターフェースユニット１２０にオペレータの音声が出力され、ノートＰＣ１６にオペレータの映像などが表示される。このように、ノートＰＣ１６とインターフェースユニット１２０が完全に設置していなくても、上述した実施形態と同様の効果を得ることが可能である。

【0075】

図１６は、大型サイネージ端末１８と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。図１６に示した例では、大型サイネージ端末１８のサイズは例えば４０インチ程度であり、壁面に固定されている。インターフェースユニット１２０は、大型サイネージ端末１８の上側で壁面に固定されている。インターフェースユニット１２０と大型サイネージ端末１８は互いに有線または無線で接続されており、音声および映像を互いに入出力する。このように、リモートでの会話が想定されていなかった既存機器にインターフェースユニット１２０を組み合わせることにより、双方向のリモート通話環境を実現できる。

【0076】

＜ハードウェア構成＞
以上、本発明の一実施形態および変形例を説明した。上述した音声抽出および操作認識などの情報処理は、ソフトウェアと、以下に説明するユーザ操作型端末１０のハードウェアとの協働により実現される。

【0077】

図１７は、ユーザ操作型端末１０のハードウェア構成を示したブロック図である。ユーザ操作型端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ユーザ操作型端末１０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１６と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１７と、ネットワークインターフェース２１５とを備える。

【0078】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ操作型端末１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した表示制御部１５２、音声抽出部１５４および操作認識部１５６などの機能が実現される。

【0079】

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0080】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロホンアレイ、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ユーザ操作型端末１０のユーザは、該入力装置２０８を操作することにより、ユーザ操作型端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0081】

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１６は、スピーカおよびヘッドホンなどの音声出力装置を含む。

【0082】

ストレージ装置２１１は、本実施形態にかかるユーザ操作型端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

【0083】

ドライブ２１７は、記憶媒体用リーダライタであり、ユーザ操作型端末１０に内蔵、あるいは外付けされる。ドライブ２１７は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１７は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0084】

ネットワークインターフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0085】

なお、上述したユーザ操作型端末１０のハードウェア構成はオペレータ端末３０にも適用可能である。

【0086】

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0087】

例えば、上述したインターフェースユニット１２０の位置は調整可能であってもよい。具体的には、ユーザの映像からユーザの視線高さ、または身長などに応じてインターフェースユニット１２０を昇降させる機構（例えば、モータおよびレールなど）が設けられてもよい。かかる構成により、ユーザ間の身体的特徴差によって生じ得るユーザ操作型端末１０の使用の快適性の相違を低減し得る。

【0088】

また、上記ではインターフェースユニット１２０に複数のマイクロホンアレイ１２４および平面波スピーカ１２６が含まれる例を説明したが、複数のマイクロホンアレイ１２４および平面波スピーカ１２６は異なるユニットとして異なるカバー内に設けられてもよい。この場合、多様な大きさの装置にもこれらユニットを適用することが可能である。また、スピーカまたはマイクなどを含まないダミーユニットも用いられてもよい。

【0089】

また、ユーザ操作型端末１０は、平面波スピーカ１２６から出力するオペレータの音声の大きさを動的に調整してもよい。例えば、ユーザ操作型端末１０の周囲の環境音が小さいほど、平面波スピーカ１２６から出力するオペレータの音声の大きさを小さくしてもよい。かかる構成により、環境音が大きいときにもユーザがオペレータの音声を聞くことができ、環境音が小さいときにはオペレータの音声が周囲に響き渡ることを抑制できる。

【0090】

また、ユーザ操作型端末１０は、複数の平面波スピーカ１２６を有してもよく、この場合、各平面波スピーカ１２６の指向性がユーザを含む範囲で重なるようにパラメータを設定してもよい。かかる構成によれば、オペレータの音声をユーザの周囲の人に聞こえ難くすることができる。オペレータの音声にプライバシーに関する情報が含まれる場合には、プライバシーの保護に繋がる。

【0091】

また、ユーザ操作型端末１０は、図９を参照して説明した領域Ｈをオペレータ端末３０からの指示に従って調整してもよい。例えば、ユーザが領域Ｈ外に位置することによりオペレータがユーザの音声を聞き取り難い場合、オペレータがオペレータ端末３０に領域Ｈを移動させる操作を行い、オペレータ端末３０がターゲットとなる領域を示す情報をユーザ操作型端末１０に送信すると、ユーザ操作型端末１０は、パラメータの調整またはマイクロホンアレイ１２４の移動などにより、領域Ｈをターゲットとなる領域に移動させる。かかる構成により、オペレータがユーザの移動を誘導しなくても、オペレータがユーザの音声を聞き取り易くなる。

【0092】

また、音声抽出部１５４が音声の到着時間に基づいて音声抽出を行う例について説明したが、音声抽出は他の方法により行われてもよい。例えば、各マイクロホンアレイ１２４は、それぞれに収音された音声に対して周波数領域で演算を行うことで指向性および音源分離を実現してもよい。さらに詳しくは、各マイクロホンアレイ１２４における周波数領域における比率の最頻値または中央値に基づいて決定される係数を用いて、スペクトル減算法を行うことで各マイクロホンアレイ１２４の目的音エリア抽出処理後の出力を得てもよい。

【0093】

また、複数のユーザ操作型端末１０を並べて使用することも可能である。その際には、マイクロホンアレイ１２４および平面波スピーカ１２６が複数のユーザ操作型端末１０を通して同一直線上に配置されることが望ましい。かかる構成により、異なるユーザ操作型端末１０間での音声の回り込みの発生を抑制し、快適な運用を実現することが可能である。

【0094】

また、上記では仕切部２５０が独立した別部材として設けられる例を説明したが、代替として、仕切部２５０はカバー１２１と一体となっており、カバー１２１がインターフェースユニット１２０を覆うことで仕切部２５０として機能してもよい。

【0095】

また、ユーザ操作型端末１０およびオペレータ端末３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したユーザ操作型端末１０およびオペレータ端末３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。

【0096】

また、上記では固定的に設置されるユーザ操作型端末１０などに本発明の一実施形態が適用される例を主に説明したが、本発明の一実施形態は持ち運び可能な情報端末に適用されてもよい。

【0097】

また、上記では、インターフェースユニット１２０を含むユーザ操作型端末１０が一体的に提供される例を主に説明したが、インターフェースユニット１２０が装置として単体で提供されてもよい。

【符号の説明】

【0098】

１０ ユーザ操作型端末
１１０ 表示部
１２０ インターフェースユニット
１２１ カバー
１２２ 撮像部
１２４ マイクロホンアレイ
１２６ 平面波スピーカ
１３０ 通信部
１５０ 制御部
１５２ 表示制御部
１５４ 音声抽出部
１５６ 操作認識部
２１０ 前面カバー
２２０ 後面カバー
２３０ 上面カバー
２１２、２２２、２３２ 開口
２５０ 仕切部
３０ オペレータ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】