特許 7687145 音声出力装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-05-26

(45)【発行日】2025-06-03

(54)【発明の名称】音声出力装置

(51)【国際特許分類】

   H04R 1/40 20060101AFI20250527BHJP

   H04R 3/00 20060101ALI20250527BHJP

【ＦＩ】

H04R1/40 320A

H04R3/00 320

【請求項の数】 10

(21)【出願番号】P 2021139065

(22)【出願日】2021-08-27

(65)【公開番号】P2023032760

(43)【公開日】2023-03-09

【審査請求日】2024-05-08

(73)【特許権者】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】宮原 直也

【審査官】北原 昂

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０１７３９７８（ＵＳ，Ａ１）

【文献】特開２００７－２７４４６３（ＪＰ，Ａ）

【文献】特表２０１５－５２０８８４（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７５０１０（ＷＯ，Ａ１）

【文献】国際公開第２００４／０３４７３４（ＷＯ，Ａ１）

【文献】特開２００７－２５１７８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ １／４０

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

ユーザの音声を収音する複数のマイクロホンアレイと、
音声を平面波により出力する平面波スピーカと、
を備え、
前記複数のマイクロホンアレイおよび前記平面波スピーカは同一直線上に配置され、
前記複数のマイクロホンアレイは前記同一直線上で移動可能に設置される、音声出力装置。

【請求項2】

ユーザの音声を収音する複数のマイクロホンアレイと、
音声を平面波により出力する平面波スピーカと、
前記ユーザを撮像する撮像部と、
前記撮像部により得られた前記ユーザの映像に基づき、前記ユーザによる操作を認識する操作認識部と、
を備え、
前記複数のマイクロホンアレイ、前記撮像部、および前記平面波スピーカは同一直線上に配置される、音声出力装置。

【請求項3】

前記音声出力装置は、
前記ユーザを撮像する撮像部をさらに備え、
前記撮像部も前記同一直線上に配置される、請求項１に記載の音声出力装置。

【請求項4】

前記撮像部は、前記複数のマイクロホンアレイの間に位置し、
前記平面波スピーカは、前記複数のマイクロホンアレイの外側に位置する、請求項２または３に記載の音声出力装置。

【請求項5】

前記複数のマイクロホンアレイは前記同一直線上で移動可能に設置される、請求項２に記載の音声出力装置。

【請求項6】

前記複数のマイクロホンアレイは回転可能に設置される、請求項１～５のいずれか一項に記載の音声出力装置。

【請求項7】

前記マイクロホンアレイおよび前記複数のマイクロホンアレイを覆うカバー部をさらに備える、請求項１～６のいずれか一項に記載の音声出力装置。

【請求項8】

映像を表示する表示部をさらに備え、
前記カバー部は前記表示部の上に配置される、請求項７に記載の音声出力装置。

【請求項9】

前記音声出力装置は、
前記複数のマイクロホンアレイにより収音された音声から前記ユーザの位置を含む領域から発せられた音声を抽出する音声抽出部をさらに備える、請求項１～８のいずれか一項に記載の音声出力装置。

【請求項10】

前記音声出力装置は、
前記撮像部により得られた前記ユーザの映像に基づき、前記ユーザによる操作を認識する操作認識部をさらに備える、請求項３に記載の音声出力装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声出力装置に関する。

【背景技術】

【0002】

近年、様々な場所に自立型の情報端末が設置されている。ある種の情報端末は、ユーザの音声を収音するマイクロホン、遠隔するオペレータの映像を表示するディスプレイ、および遠隔するオペレータの音声を出力するスピーカを有する。ユーザは、このような情報端末を使用することにより、遠隔するオペレータと対話して所望の情報を得ることができる。

【0003】

例えば、特許文献１には、スピーカとマイクロホンを有し、互いに通信網を介して接続されている２つの音声入出力装置が開示されている。２つのユーザがそれぞれ音声入出力装置を使用することで、双方向の音声通信が実現され得る。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２８２２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、スピーカから出力された音声の回り込みによるハウリングを回避するためには、複数のマイクロホンアレイを利用して特定の領域から発せられた音声のみを抽出することが有用である。しかし、ディスプレイに対して複数のマイクロホンアレイおよびスピーカを含むセットを取り付ける場合、複数のマイクロホンアレイおよびスピーカの位置関係によっては、上記セットが取り付けに適さない形状となる。

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のマイクロホンアレイおよびスピーカの位置関係に工夫がなされた、新規かつ改良された音声出力装置を提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある観点によれば、ユーザの音声を収音する複数のマイクロホンアレイと、音声を平面波により出力する平面波スピーカと、を備え、前記複数のマイクロホンアレイおよび前記平面波スピーカは同一直線上に配置され、前記複数のマイクロホンアレイは前記同一直線上で移動可能に設置される、音声出力装置が提供される。また、上記課題を解決するために、本発明のある観点によれば、ユーザの音声を収音する複数のマイクロホンアレイと、音声を平面波により出力する平面波スピーカと、
前記ユーザを撮像する撮像部と、前記撮像部により得られた前記ユーザの映像に基づき、前記ユーザによる操作を認識する操作認識部と、を備え、前記複数のマイクロホンアレイ、前記撮像部、および前記平面波スピーカは同一直線上に配置される、音声出力装置が提供される。

【0008】

前記音声出力装置は、前記ユーザを撮像する撮像部をさらに備え、前記撮像部も前記同一直線上に配置されてもよい。

【0009】

前記撮像部は、前記複数のマイクロホンアレイの間に位置し、前記平面波スピーカは、前記複数のマイクロホンアレイの外側に位置してもよい。

【0010】

前記複数のマイクロホンアレイは前記同一直線上で移動可能に設置されてもよい。

【0011】

前記複数のマイクロホンアレイは回転可能に設置されてもよい。

【0012】

前記マイクロホンアレイおよび前記複数のマイクロホンアレイを覆うカバー部をさらに備えてもよい。

【0013】

映像を表示する表示部をさらに備え、前記カバー部は前記表示部の上に配置されてもよい。

【0014】

前記音声出力装置は、前記複数のマイクロホンアレイにより収音された音声から前記ユーザの位置を含む領域から発せられた音声を抽出する音声抽出部をさらに備えてもよい。

【0015】

前記音声出力装置は、前記撮像部により得られた前記ユーザの映像に基づき、前記ユーザによる操作を認識する操作認識部をさらに備えてもよい。

【発明の効果】

【0016】

以上説明した本発明によれば、複数のマイクロホンアレイおよびスピーカの位置関係に工夫がなされた音声出力装置が提供される。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態による情報処理システムを示す説明図である。

【図2】比較例による装置の構成を示す説明図である。

【図3】本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。

【図4】インターフェースユニット１２０の構成を示す説明図である。

【図5】インターフェースユニット１２０の平面図である。

【図6】インターフェースユニット１２０の平面図である。

【図7】本発明の一実施形態によるユーザ操作型端末１０の機能構成を示す説明図である。

【図8】初期画面の具体例を示す説明図である。

【図9】インターフェースユニット１２０およびユーザの平面図である。

【図10】マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。

【図11】マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。

【図12】ノートＰＣ１６と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。

【図13】大型サイネージ端末１８と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。

【図14】ユーザ操作型端末１０のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0018】

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0019】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じてマイクロホンアレイ１２４Ａ、マイクロホンアレイ１２４Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、マイクロホンアレイ１２４Ａ、マイクロホンアレイ１２４Ｂを特に区別する必要が無い場合には、各マイクロホンアレイを単にマイクロホンアレイ１２４と称する。

【0020】

＜情報処理システムの概要＞
本発明の一実施形態は、ユーザと遠隔するオペレータがユーザに遠隔での接客サービスを提供する情報処理システムに関する。以下、本発明の一実施形態による情報処理システムの概要を説明する。

【0021】

図１は、本発明の一実施形態による情報処理システムを示す説明図である。図１に示したように、本発明の一実施形態による情報処理システムは、ユーザ操作型端末１０およびオペレータ端末３０を有する。

【0022】

ユーザ操作型端末１０およびオペレータ端末３０はネットワーク１２を介して接続されている。ネットワーク１２は、ネットワーク１２はネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

【0023】

（ユーザ操作型端末１０）
ユーザ操作型端末１０は、ユーザによる操作を受け付ける端末である。ユーザ操作型端末１０は、音声出力装置としての機能を有する。より具体的には、ユーザの音声を収音する機能、ユーザを撮像する機能、およびオペレータ端末３０から受信されるオペレータの映像を表示する機能、およびオペレータの音声を出力する機能などを有する。このため、ユーザは、ユーザ操作型端末１０を利用することでオペレータから映像および音声を介した接客サービスを受けることが可能である。

【0024】

なお、接客サービスとしては、駅または空港などの交通機関における各種案内、または路上におけるルート案内などを行う案内サービス、映画またはレストランなどの座席を予約する座席予約サービス、アミューズメント施設などのチケットを発券するチケット発券サービスなど、多様なサービスが挙げられる。

【0025】

（オペレータ端末３０）
オペレータ端末３０は、オペレータが利用する端末である。オペレータ端末３０は、オペレータの音声を収音する機能、オペレータを撮像する機能、およびユーザ操作型端末１０から受信されるユーザの映像を表示する機能、ユーザの音声を出力する機能などを有する。オペレータ端末３０は、ユーザ操作型端末１０との画面共有のために任意の画面をユーザ操作型端末１０に送信することも可能である。

【0026】

（背景）
上述したように、ユーザ操作型端末１０は、音声を収音する機能、および音声を出力する機能を有する。このような音声を収音する機能、および音声を出力する機能を有する他の装置では、音声の回り込みによりハウリングが発生し得る。例えば、図２に示した装置９０では、スピーカ９４が出力したオペレータの音声がマイクロホン９８に回り込み、ハウリングが発生する場合がある。

【0027】

また、不特定のユーザに利用される装置９０では、装置９０に対するユーザの操作方法がタッチ操作である場合、タッチ面が不衛生になる。結果、感染症に罹患するリスクが高まる。

【0028】

なお、上述したハウリングの問題を回避するためには、複数のマイクロホンアレイを利用して特定の領域から発せられた音声のみを抽出することが有用である。しかし、ディスプレイに対して複数のマイクロホンアレイおよびスピーカを含むセットを取り付ける場合、複数のマイクロホンアレイおよびスピーカの位置関係によっては、上記セットが取り付けに適さない形状となる。

【0029】

本件発明者は、上記事情に着眼して本発明の一実施形態を創作するに至った。本発明の一実施形態によれば、上述した点を改善することが可能である。以下、このような本発明の一実施形態によるユーザ操作型端末１０の構成を詳細に説明する。

【0030】

＜ユーザ操作型端末１０の構成＞
図３は、本発明の一実施形態によるユーザ操作型端末１０の外観構成を示す説明図である。図３に示したように、本発明の一実施形態によるユーザ操作型端末１０は、表示部１１０およびインターフェースユニット１２０を有する。表示部１１０は、多様な画面を表示する。図３に示した例では、表示部１１０には、オペレータ端末３０と共有されている画面５２、ユーザ操作型端末１０を利用するユーザの映像５４およびオペレータの映像５６が含まれる。

【0031】

インターフェースユニット１２０は、音声処理装置の一例であり、ユーザとのインターフェースになる多様な構成、およびこれら構成を覆うカバー１２１を有する。インターフェースユニット１２０は、表示部１１０の上に配置される。カバー１２１により覆われる構成について、図４を参照して具体的に説明する。

【0032】

図４は、インターフェースユニット１２０の構成を示す説明図である。図４の上段にはユーザ操作型端末１０の平面図を示し、図４の下段にはユーザ操作型端末１０の正面図を示している。図４に示したように、インターフェースユニット１２０は、撮像部１２２、複数のマイクロホンアレイ１２４（マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂ）、および平面波スピーカ１２６を有する。撮像部１２２は複数のマイクロホンアレイ１２４の間に位置し、平面波スピーカ１２６は複数のマイクロホンアレイ１２４の外側に位置している。

【0033】

撮像部１２２は、被写体を撮像する。例えば、撮像部１２２は、ユーザ操作型端末１０の前にいるユーザを撮像すると、ユーザの映像を取得する。マイクロホンアレイ１２４Ａは、複数のマイクロホンを有する。同様に、マイクロホンアレイ１２４Ｂも、複数のマイクロホンを有する。例えば、ユーザ操作型端末１０の前にいるユーザが音声を発すると、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂはユーザの音声を収音する。平面波スピーカ１２６は、音声を平面波により出力する。例えば、平面波スピーカ１２６は、オペレータ端末３０から受信されたオペレータの音声を出力する。

【0034】

上述した複数のマイクロホンアレイ１２４および平面波スピーカ１２６は、図４の下段に示したように、正面視において表示部１１０の水平方向に平行な直線Ｌ上に配置されている。複数のマイクロホンアレイ１２４および平面波スピーカ１２６は、いずれもユーザ操作型端末１０に正対するユーザに向いて設置されている。さらに、撮像部１２２も当該直線Ｌ上に配置されていてもよい。また、図４の上段に示したように、複数のマイクロホンアレイ１２４および平面波スピーカ１２６は平面視においても同一の直線Ｌ上に配置されていてもよい。

【0035】

なお、マイクロホンアレイ１２４は、図５において矢印を付した方向に沿って、上記直線Ｌ上で移動可能に設けられる。さらに、マイクロホンアレイ１２４は、図６において矢印を付した回転方向に沿って回転可能に設けられる。

【0036】

以上、本発明の一実施形態によるユーザ操作型端末１０の外観構成を主に説明した。続いて、図７を参照し、本発明の一実施形態によるユーザ操作型端末１０の機能構成を説明する。

【0037】

図７は、本発明の一実施形態によるユーザ操作型端末１０の機能構成を示す説明図である。図７に示したように、本発明の一実施形態によるユーザ操作型端末１０は、表示部１１０、撮像部１２２、複数のマイクロホンアレイ１２４、平面波スピーカ１２６、通信部１３０および制御部１５０を有する。表示部１１０、撮像部１２２、マイクロホンアレイ１２４および平面波スピーカ１２６の機能は上述した通りであるので、ここでの詳細な説明を省略する。

【0038】

（通信部１３０）
通信部１３０は、オペレータ端末３０とのインターフェースである。通信部１３０は、例えば、マイクロホンアレイ１２４により収音されたユーザの音声（より厳密には、マイクロホンアレイ１２４により収音された音声から、後述する音声抽出部１５４により抽出された音声）、および撮像部１２２により取得されたユーザの映像をオペレータ端末３０に送信する。また、通信部１３０は、オペレータの音声および映像などをオペレータ端末３０から受信する。

【0039】

（制御部１５０）
制御部１５０は、ユーザ操作型端末１０の動作全般を制御する。制御部１５０は、例えば図７に示したように、表示制御部１５２、音声抽出部１５４および操作認識部１５６の機能を有する。

【0040】

表示制御部１５２は、表示画面を生成し、生成した表示画面を表示部１１０に表示させる。例えば、表示制御部１５２は、図８に示すように、「いらっしゃいませ」というメッセージ、オペレータ接続ボタン６２、およびポインタ表示Ｐを含む初期画面を生成する。ポインタ表示Ｐは、ユーザが指示している位置を示す表示である。ポインタ表示Ｐがオペレータ接続ボタン６２に合っている状態でユーザが所定操作を行った場合、制御部１５０はユーザ操作型端末１０とオペレータ端末３０との接続を制御する。なお、所定操作はユーザが手を握る操作であってもよい。

【0041】

オペレータ端末３０がユーザ操作型端末１０から着信すると、オペレータ端末３０が着信画面を表示し、オペレータが着信画面において受付操作を行うことでユーザ操作型端末１０とオペレータ端末３０の状態が通話状態となる。ユーザ操作型端末１０とオペレータ端末３０の状態が通話状態となった後、表示制御部１５２は、例えば図３に示したように、オペレータ端末３０と共有されている画面５２、ユーザ操作型端末１０を利用するユーザの映像５４およびオペレータの映像５６を含む表示画面を生成し、当該表示画面を表示部１１０に表示させる。

【0042】

音声抽出部１５４は、複数のマイクロホンアレイ１２４により収音された音声から、ユーザの位置を含む領域から発せられた音声を抽出する。このため、音声抽出部１５４により抽出される音声は、ユーザの音声を含む。以下、図９を参照してより詳細に説明する。

【0043】

図９は、インターフェースユニット１２０およびユーザの平面図である。マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂは、それぞれ指向性を有する。図９においては、マイクロホンアレイ１２４Ａおよびマイクロホンアレイ１２４Ｂの指向性を破線で示している。指向性に基づいてマイクロホンアレイ１２４Ａが収音の対象とする範囲と、指向性に基づいてマイクロホンアレイ１２４Ｂが収音の対象とする範囲とは交差している。図９に示した領域Ｈは、双方の範囲が交差している領域である。音声抽出部１５４は、複数のマイクロホンアレイ１２４により収音された音声に共通して含まれる音声を、当該領域Ｈから発せられた音声として抽出することが可能である。

【0044】

操作認識部１５６は、撮像部１２２により取得されたユーザの映像に基づき、ユーザによる操作を認識する。例えば、操作認識部１５６は、ユーザの映像から、またはユーザの映像に左右反転処理および解像度に関する処理などが施された後の映像からユーザの手を検出し、ユーザの手の特徴点を検出する。そして、操作認識部１５６は、１または２以上の特徴点の位置を用いて指示位置を認識する。操作認識部１５６は、人差し指、中指および薬指の各々の付け根の関節である特徴点の位置の平均値を指示位置として認識してもよい。

【0045】

また、ユーザが３本の指（人差し指、中指および薬指）の位置を握ることで下げる操作を行った場合、操作認識部１５６は、当該操作をオペレータ接続ボタン６２のような操作オブジェクトを選択する所定操作として認識する。

【0046】

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に、いずれもユーザ操作型端末１０に正対するユーザに向くように設置されている。ここで、平面波スピーカ１２６は、直進性の高い平面波により音声を出力する。さらに、ユーザ操作型端末１０はユーザの位置を含む領域Ｈから発せられた音声を抽出する音声抽出部１５４を有する。従って、音声抽出部１５４により抽出される音声への平面波スピーカ１２６から出力された音声の入り込み、および雑音の入り込みなどを抑制することが可能である。従って、オペレータ端末３０を利用するオペレータがユーザの音声を聞き易い。

【0047】

また、本発明の一実施形態によれば、ユーザが非接触でユーザ操作型端末１０に操作入力を行うことが可能である。従って、ユーザ操作型端末１０では完全タッチレスが実現されるので、ユーザが感染症に罹患するリスクを低減することが可能である。また、表示部１１０に手が届かないユーザ（例えば、車椅子に座っているユーザ）でもユーザ操作型端末１０を利用することが可能である。

【0048】

また、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に設置されるので、カバー１２１も直線的な形状に設計し易い。従って、表示部１１０の上部にインターフェースユニット１２０を取り付け易い。さらに、撮像部１２２も同一直線上に設置することにより、カバー１２１をより直線的な形状に設計し得る。

【0049】

また、本発明の一実施形態によれば、複数のマイクロホンアレイ１２４が直線上で移動可能であり、また、回転可能に設置される。従って、各マイクロホンアレイ１２４が収音の対象とする範囲を変更することにより、図９を参照して説明した領域Ｈを容易に調整することが可能である。

【0050】

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

【0051】

（第１の変形例）
上記では、複数のマイクロホンアレイ１２４の外側に１つの平面波スピーカ１２６が配置される例を説明したが、マイクロホンアレイ１２４および平面波スピーカ１２６の配置は上述した例に限定されない。マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する２つの変形例を図１０および図１１を参照して説明する。

【0052】

図１０および図１１は、マイクロホンアレイ１２４および平面波スピーカ１２６の配置に関する変形例を示す説明図である。図１０に示したように、平面波スピーカ１２６は、マイクロホンアレイ１２４Ａおよび平面波スピーカ１２６Ｂの間に配置されていてもよい。また、図１１に示したように、マイクロホンアレイ１２４Ａおよび平面波スピーカ１２６Ｂの外側に平面波スピーカ１２６Ａおよび平面波スピーカ１２６Ｂが配置されていてもよい。いずれの場合も、マイクロホンアレイ１２４および平面波スピーカ１２６が同一直線上に配置されることで、カバー１２１を直線的な形状に設計することが可能である。

【0053】

（第２の変形例）
上記では、自立型の情報端末であるユーザ操作型端末１０に本発明の一実施形態が適用される例を説明したが、ノートＰＣ、タブレット端末および大型サイネージ端末にも本発明の一実施形態を適用可能である。以下、図１２および図１３を参照し、本発明の一実施形態の適用例を説明する。

【0054】

図１２は、ノートＰＣ１６と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。図１２に示した例では、インターフェースユニット１２０に脚が設けられ、カバー１２１がノートＰＣ１６の上側に位置するようにインターフェースユニット１２０が配置されている。インターフェースユニット１２０とノートＰＣ１６は例えばＵＳＢを介して接続される。インターフェースユニット１２０からユーザの映像および音声がノートＰＣ１６に出力され、ノートＰＣ１６からインターフェースユニット１２０にオペレータの音声が出力され、ノートＰＣ１６にオペレータの映像などが表示される。このように、ノートＰＣ１６とインターフェースユニット１２０が完全に設置していなくても、上述した実施形態と同様の効果を得ることが可能である。

【0055】

図１３は、大型サイネージ端末１８と本発明の一実施形態によるインターフェースユニット１２０の組み合わせを示す説明図である。図１３に示した例では、大型サイネージ端末１８のサイズは例えば４０インチ程度であり、壁面に固定されている。インターフェースユニット１２０は、大型サイネージ端末１８の上側で壁面に固定されている。インターフェースユニット１２０と大型サイネージ端末１８は互いに有線または無線で接続されており、音声および映像を互いに入出力する。このように、リモートでの会話が想定されていなかった既存機器にインターフェースユニット１２０を組み合わせることにより、双方向のリモート通話環境を実現できる。

【0056】

＜ハードウェア構成＞
以上、本発明の一実施形態および変形例を説明した。上述した音声抽出および操作認識などの情報処理は、ソフトウェアと、以下に説明するユーザ操作型端末１０のハードウェアとの協働により実現される。

【0057】

図１４は、ユーザ操作型端末１０のハードウェア構成を示したブロック図である。ユーザ操作型端末１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、ユーザ操作型端末１０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインターフェース２１５とを備える。

【0058】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ操作型端末１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した表示制御部１５２、音声抽出部１５４および操作認識部１５６などの機能が実現される。

【0059】

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0060】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロホンアレイ、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ユーザ操作型端末１０のユーザは、該入力装置２０８を操作することにより、ユーザ操作型端末１０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0061】

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

【0062】

ストレージ装置２１１は、本実施形態にかかるユーザ操作型端末１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

【0063】

ドライブ２１２は、記憶媒体用リーダライタであり、ユーザ操作型端末１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0064】

ネットワークインターフェース２１５は、例えば、ネットワーク１２に接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0065】

なお、上述したユーザ操作型端末１０のハードウェア構成はオペレータ端末３０にも適用可能である。

【0066】

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0067】

例えば、上述したインターフェースユニット１２０の位置は調整可能であってもよい。具体的には、ユーザの映像からユーザの視線高さ、または身長などに応じてインターフェースユニット１２０を昇降させる機構（例えば、モータおよびレールなど）が設けられてもよい。かかる構成により、ユーザ間の身体的特徴差によって生じ得るユーザ操作型端末１０の使用の快適性の相違を低減し得る。

【0068】

また、上記ではインターフェースユニット１２０に複数のマイクロホンアレイ１２４および平面波スピーカ１２６が含まれる例を説明したが、複数のマイクロホンアレイ１２４および平面波スピーカ１２６は異なるユニットとして異なるカバー内に設けられてもよい。この場合、多様な大きさの装置にもこれらユニットを適用することが可能である。また、スピーカまたはマイクなどを含まないダミーユニットも用いられてもよい。

【0069】

また、ユーザ操作型端末１０は、平面波スピーカ１２６から出力するオペレータの音声の大きさを動的に調整してもよい。例えば、ユーザ操作型端末１０の周囲の環境音が小さいほど、平面波スピーカ１２６から出力するオペレータの音声の大きさを小さくしてもよい。かかる構成により、環境音が大きいときにもユーザがオペレータの音声を聞くことができ、環境音が小さいときにはオペレータの音声が周囲に響き渡ることを抑制できる。

【0070】

また、ユーザ操作型端末１０は、複数の平面波スピーカ１２６を有してもよく、この場合、各平面波スピーカ１２６の指向性がユーザを含む範囲で重なるようにパラメータを設定してもよい。かかる構成によれば、オペレータの音声をユーザの周囲の人に聞こえ難くすることができる。オペレータの音声にプライバシーに関する情報が含まれる場合には、プライバシーの保護に繋がる。

【0071】

また、ユーザ操作型端末１０は、図９を参照して説明した領域Ｈをオペレータ端末３０からの指示に従って調整してもよい。例えば、ユーザが領域Ｈ外に位置することによりオペレータがユーザの音声を聞き取り難い場合、オペレータがオペレータ端末３０に領域Ｈを移動させる操作を行い、オペレータ端末３０がターゲットとなる領域を示す情報をユーザ操作型端末１０に送信すると、ユーザ操作型端末１０は、パラメータの調整またはマイクロホンアレイ１２４の移動などにより、領域Ｈをターゲットとなる領域に移動させる。かかる構成により、オペレータがユーザの移動を誘導しなくても、オペレータがユーザの音声を聞き取り易くなる。

【0072】

また、複数のユーザ操作型端末１０を並べて使用することも可能である。その際には、マイクロホンアレイ１２４および平面波スピーカ１２６が複数のユーザ操作型端末１０を通して同一直線上に配置されることが望ましい。かかる構成により、異なるユーザ操作型端末１０間での音声の回り込みの発生を抑制し、快適な運用を実現することが可能である。

【0073】

また、ユーザ操作型端末１０およびオペレータ端末３０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したユーザ操作型端末１０およびオペレータ端末３０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。

【0074】

また、上記では固定的に設置されるユーザ操作型端末１０などに本発明の一実施形態が適用される例を主に説明したが、本発明の一実施形態は持ち運び可能な情報端末に適用されてもよい。

【符号の説明】

【0075】

１０ ユーザ操作型端末
１１０ 表示部
１２０ インターフェースユニット
１２１ カバー
１２２ 撮像部
１２４ マイクロホンアレイ
１２６ 平面波スピーカ
１３０ 通信部
１５０ 制御部
１５２ 表示制御部
１５４ 音声抽出部
１５６ 操作認識部
３０ オペレータ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】