特許 7047508 表示装置及び通信端末

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-28

(45)【発行日】2022-04-05

(54)【発明の名称】表示装置及び通信端末

(51)【国際特許分類】

   H04R 3/00 20060101AFI20220329BHJP

【ＦＩ】

H04R3/00 320

【請求項の数】 5

(21)【出願番号】P 2018049606

(22)【出願日】2018-03-16

(65)【公開番号】P2019161596

(43)【公開日】2019-09-19

【審査請求日】2021-01-18

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(72)【発明者】

【氏名】天野 雅人

【審査官】西村 純

(56)【参考文献】

【文献】特開２０１１－０９１６５８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２７７８４７（ＵＳ，Ａ１）

【文献】特開２０１３－１８３２８６（ＪＰ，Ａ）

【文献】特開２０１７－１６８９７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ １／００－３１／００

(57)【特許請求の範囲】

【請求項1】

表示面と、
前記表示面の周辺の各辺に配置された複数のマイクと、
前記表示面の傾きを検出する傾き検出部と、を備えた表示装置であって、
前記複数のマイクは各々、他の辺に並べられた前記マイクとは前記表示面の一辺に沿った第１方向及び当該第１方向と直交する第２方向の何れにも並ぶことなく配置され、
前記傾き検出部の結果に基づいて前記複数のマイクの水平方向の順番を設定する設定部と、
前記複数のマイクから入力された音声及び前記設定部により設定された順番に基づいて音声の入力方向を検知する検知部と、をさらに備えることを特徴とする表示装置。

【請求項2】

前記複数のマイクは、前記表示面の周辺の各辺に１つずつ配置されていることを特徴とする請求項１に記載の表示装置。

【請求項3】

前記表示面は、前記第１方向に沿った一対の第１辺と、前記第２方向に沿った一対の第２辺と、を有し、
前記一対の第１辺の一方に配置されたマイクは、前記第１方向の一方側の端部寄りの位置に配置され、
前記一対の第１辺の他方に配置されたマイクは、前記第１方向の他方側の端部寄りの位置に配置され、
前記一対の第２辺のうち前記第１方向の一方側の辺に配置されたマイクは、前記第２方向の一方側の端部寄りの位置に配置され、
前記一対の第２辺のうち前記第１方向の他方側の辺に配置されたマイクは、前記第２方向の他方側の端部寄りの位置に配置されたことを特徴とする請求項２に記載の表示装置。

【請求項4】

前記表示面の傾きに対応する前記複数のマイクの水平方向の順番が記憶された記憶部をさらに備え、
前記設定部は、前記傾き検出部の検出結果に対応する順番を前記記憶部から読み出して設定することを特徴とする請求項１～３何れか１項に記載の表示装置。

【請求項5】

請求項１～４何れか１項に記載の表示装置と、
前記複数のマイクに入力された音声を他の機器に送信する通信部と、を備えたことを特徴とする通信端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置及び通信端末に関する。

【背景技術】

【0002】

近年、インターネット等のネットワークを介して遠隔地（拠点）に設置された通信端末を接続し、遠隔会議を行う会議システムが普及している。

【0003】

この会議システムでの通信端末は、各拠点の会議室等に設置され、相手先の通信端末との間で会議出席者の画像や音声をやり取りすることで遠隔会議を行う。

【0004】

上記通信端末において音声を入力するマイクとして、当該マイクが水平方向に複数配列されてなるマイクロフォンアレイを用いることが知られている（特許文献１、２）。このマイクロフォンアレイによれば、水平方向に平行な床面上に分散している人々の中から話者方向を特定し、その話者方向以外から入ってくる音をノイズとして除去することができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、マイクロフォンアレイが内蔵された製品の設置角度を９０度回転（横置き→縦置き）させてしまうと、マイクが垂直方向に沿って並んでしまうため、話者方向を特定することができない。

【0006】

そこで、例えば、タブレット端末のように縦置き、横置きの双方で使用されるような通信端末の場合、以下に述べる２列のマイクロフォンアレイを内蔵することが考えられる。即ち、縦置き時に水平方向に複数配列される第１マイクフォンアレイと、横置き時に水平方向に複数配列された第２マイクロフォンアレイと、を製品に内蔵する。しかしながら、マイク数が倍増してしまう、という問題があった。

【0007】

本発明は、以上の背景に鑑みてなされたものであり、マイク数を低減しつつ設置角度回転に対応して話者方向の検出が行える表示装置及び通信端末を提供することを目的としている。

【課題を解決するための手段】

【0008】

上述した課題を解決するためになされた請求項１記載の表示装置は、表示面と、前記表示面の周辺の各辺に配置された複数のマイクと、前記表示面の傾きを検出する傾き検出部と、を備えた表示装置であって、前記複数のマイクは各々、他の辺に並べられた前記マイクとは前記表示面の一辺に沿った第１方向及び当該第１方向と直交する第２方向の何れにも並ぶことなく配置され、前記傾き検出部の結果に基づいて前記複数のマイクの水平方向の順番を設定する設定部と、前記複数のマイクから入力された音声及び前記設定部により設定された順番に基づいて音声の入力方向を検知する検知部と、をさらに備えることを特徴とする。

【発明の効果】

【0009】

以上説明したように請求項１記載の発明によれば、マイク数の低減しつつ設置角度回転に対応して話者方向の検出が行える。

【図面の簡単な説明】

【0010】

【図1】本発明の表示装置を組み込んだ通信端末としてのタブレット端末の一実施形態を示すブロック図である。

【図2】図１に示すタブレット端末を横向置きしたときの外観図である。

【図3】図１に示すタブレット端末を縦向置きしたときの外観図である。

【図4】比較品のタブレット端末を横置きしたときの外観図である。

【図5】比較品のタブレット端末を縦置きしたときの外観図である。

【図6】他の実施形態におけるタブレット端末を横置きにしたときの外観図である。

【発明を実施するための形態】

【0011】

以下、本発明の表示装置を組み込んだ通信端末としてのタブレット端末１の一実施形態について図１～図３を参照して説明する。

【0012】

同図に示すように、タブレット端末１（通信端末）は、ＭＰＵ２と、通信制御部３（通信部）と、記憶部４と、表示面５と、入力部６と、映像入力部７と、音声入力部８と、マイクロフォンアレイ制御部９と、音声出力部１０と、音声出力制御部１１と、傾き検出部１２と、を備えている。

【0013】

ＭＰＵ２は、タブレット端末１全体の制御を司る。

【0014】

通信制御部３（通信部）は、ＬＡＮや無線通信など通信方式を用いて他のタブレット端末との通信を行う。他のタブレット端末は、例えば、遠隔地の会議室に設置されている。通信制御部３は、他のタブレット端末からの話者の映像や話者音声を受信する。通信制御部３は、後述する映像入力部７や音声入力部８から入力された話者映像や話者音声を他のタブレット端末に送信する。

【0015】

記憶部４は、ＭＰＵ２が実行する制御プログラムなどが記憶されている。

【0016】

表示面５は、例えば、液晶ディスプレイから構成され、図２及び図３に示すように長方形状（矩形状）の表示面５１を有している。表示面５には、通信制御部３を通じて受信した話者映像などが表示される。

【0017】

入力部６は、タッチセンサやキーボードなどの入力デバイスから構成され、タブレット端末１の操作が行われる。

【0018】

映像入力部７は、カメラなどから構成され、例えば、タブレット端末１が設置された会議室にいる話者を撮影する。

【0019】

音声入力部８は、会議時の話者音声を取得する複数のマイク８１～８４（図２及び図３参照）から成るマイクロフォンアレイから構成されている。この複数のマイク８１～８４の配置については後述する。

【0020】

マイクロフォンアレイ制御部９は、複数のマイク８１～８４から入力した話者音声をビームフォーミング(beamforming)処理して話者方向を検知する。また、マイクロフォンアレイ制御部９は、ポストフィルタ(post-filter)処理により話者方向以外から入力される音をノイズとして除去する。

【0021】

音声出力部１０は、スピーカやヘッドホンなどから構成され、音声が出力される。

【0022】

音声出力制御部１１は、ＭＰＵ２の制御に応じて音声出力部１０を制御する。音声出力制御部１１は、マイクロフォンアレイ制御部９にてノイズ除去された話者音声を音声出力部１０から出力させる。また、音声出力制御部１１は、通信制御部３を通じて他のタブレット端末から受信した話者音声を音声出力部１０から出力させる。

【0023】

傾き検出部１２は、加速度センサなどから構成され、タブレット端末１の傾きを検出する。ＭＰＵ２は、設定部として機能し、傾き検出部１２の検出結果である傾きデータに基づいてマイク８１～８４の配置を設定し、その結果をマイクロフォンアレイ制御部９に出力する。

【0024】

マイクロフォンアレイ制御部９は、ＭＰＵ２により設定されたマイク８１～８４の配列に対応したビームフォーミング処理を実行して話者方向を検出する。

【0025】

次に、上述したマイク８１～８４の配置について、図２及び図３を参照して説明する。上記表示面５１は、長方形状に形成され、一対の短辺５１１、５１２（第１辺）と、一対の長辺５１３、５１４（第２辺）と、を有している。上記マイク８１～８４は、表示面５１の周辺の各辺５１１～５１４に１つずつ配置されている。マイク８１～８４の各々は、他の辺に並べられたマイク８１～８４とは短辺方向Ｄ１（第１方向）及び長辺方向Ｄ２（第２方向）の何れにも並ぶことなく配置されている。言い換えると、マイク８１～８４の各々は、他の辺に並べられたマイク８１～８４とは短辺方向Ｄ１及び長辺方向Ｄ２において互いに重ならない。なお、短辺方向Ｄ１と長辺方向Ｄ２とは互いに直交している。

【0026】

さらに詳しく説明する。マイク８１は、一対の短辺５１１、５１２の一方である短辺５１１側に配置されている。マイク８１は、短辺方向Ｄ１の中央よりも一方側の端部Ｔ１寄りの位置に配置される。本実施形態では、マイク８１は、端部Ｔ１から短辺５１１の長さの約１／３の位置に配置されている。

【0027】

マイク８２は、一対の短辺５１１、５１２の他方である短辺５１２側に配置されている。マイク８２は、短辺方向Ｄ１の中央よりも他方側の端部Ｔ２寄りの位置に配置される。本実施形態では、マイク８２は、端部Ｔ２から短辺５１２の長さの約１／３の位置に配置されている。

【0028】

マイク８３は、一対の長辺５１３、５１４のうち短辺方向Ｄ１の一方側である長辺５１３側に配置されている。マイク８３は、長辺方向Ｄ２の中央よりも短辺５１２側の端部Ｔ３寄りの位置に配置されている。本実施形態では、マイク８３は、端部Ｔ３から長辺５１３の長さの約１／３の位置に配置されている。

【0029】

マイク８４は、一対の長辺５１３、５１４のうち短辺方向Ｄ１の他方側である長辺５１４側に配置されている。マイク８４は、長辺方向Ｄ２の中央よりも短辺５１１側の端部Ｔ４寄りの位置に配置されている。本実施形態では、マイク８４は、端部Ｔ４から長辺５１４の長さの約１／３の位置に配置されている。

【0030】

これにより、マイク８１は、他の辺に並べられたマイク８２～８４とは短辺方向Ｄ１及び長辺方向Ｄ２の何れにも並ぶことなく配置されている。マイク８２は、他の辺に並べられたマイク８１、８３、８４とは短辺方向Ｄ１及び長辺方向Ｄ２の何れにも並ぶことなく配置されている。マイク８３は、他の辺に並べられたマイク８１、８２、８４とは短辺方向Ｄ１及び長辺方向Ｄ２の何れにも並ぶことなく配置されている。マイク８４は、他の辺に並べられたマイク８１～８３とは短辺方向Ｄ１及び長辺方向Ｄ２の何れにも並ぶことなく配置されている。

【0031】

以上のように配置すれば、図２に示すように横置きした場合、水平方向（長辺方向Ｄ２）に離れてマイク８１～８４を並べることができる。また、図３に示すように縦置きした場合も、水平方向（短辺方向Ｄ１）に離れてマイク８１～８４を並べることができる。よって、縦置きでも横置きでも話者方向を検出することが可能となる。

【0032】

また、上述した実施形態によれば、マイク８１～８４は、端部Ｔ１～Ｔ４寄りにそれぞれ配置されている。これにより、縦置き、横置きしても、マイク８１～８４の水平方向を所定の間隔（マイクロフォンアレイ性能を十分に発揮できる最低限のマイク間隔距離）以上の距離を持って配置することができる。

【0033】

しかも、マイク８１は、端部Ｔ１から短辺５１１の長さの約１／３の位置に配置され、マイク８２は、端部Ｔ２から短辺５１２の長さの約１／３の位置に配置され、マイク８３は、端部Ｔ３から長辺５１３の長さの約１／３の位置に配置され、マイク８４は、端部Ｔ４から長辺５１４の長さの約１／３の位置に配置されている。

【0034】

これにより、図２に示すように横置き時には、長辺５１３、５１４の長さの１／３の間隔を空けてマイク８１～８４を水平方向に並べることができる。また、図３に示すように縦置き時には、短辺５１１、５１２の長さの１／３の間隔を空けてマイク８１～８４を水平方向に並べることができる。

【0035】

ところで、正しくマイクロフォンアレイを機能させるには、マイクロフォンアレイ制御部９が各マイク８１～８４の並び順を認識している必要がある。図２、図３から分かるように、本発明ではタブレット端末１を回転させるとマイク８１～８４の並び順が変わってしまうため、マイクロフォンアレイ制御部９は随時各マイク８１～８４の並び順を検出できなければならない。

【0036】

そこで、傾き検出部１２の傾きデータに対する４つのマイク８１～８４の水平方向における並び順序をテーブル情報として記憶部４に予め保存しておく。ＭＰＵ２は、傾き検出部１２からの傾きデータがある一定角度を超えて変化した場合に、タブレット端末１が回転されているものとして認識する。そして、ＭＰＵ２は、記憶部４から読み込んだ傾きデータに対応するマイク配列順序の情報テーブルに従って、マイクロフォンアレイ制御部９に４つのマイク８１～８３の配列順序を伝える。

【0037】

マイクロフォンアレイ制御部９は、ＭＰＵ２から送られてきたマイク配置順序の情報に従ってビームフォーミングの処理を切り替え、適切なマイク配列順序の情報に従った話者方向検知を行う。下記の表１が、記憶部４に記憶されているタブレット端末１の傾きデータ別の対応マイク配列順序に関する情報テーブルの一例である。

【表1】

【0038】

なお、上記表１は、図２に示す横置き時を傾きデータγ＝０°としている。また、配列順序は、図２及び図３中のタブレット端末１の正面から見て左から右に向かっての順序としている。このように、記憶部４に予め配列順序に関する情報テーブルを記憶させることにより、ＭＰＵ２は、簡単に配列順序を設定することができる。

【0039】

次に、上述した本実施形態の効果を図４及び図５に示す比較品と比較して説明する。同図に示すように、比較品のタブレット端末１００は、表示面の長辺に沿って４つのマイク８０１～８０４が並べられ、短辺に沿って４つのマイク８０４～８０７が並べられている。なお、マイク８０４は、短辺と長辺の境に配置されているため、本実施形態では７つのマイク８０１～８０７が配置されている。

【0040】

図４は、比較品のタブレット端末１００を横置き設置とした場合を示す。この状態でマイクロフォンアレイが有効になるマイク構成はマイク８０１～８０４の４個を使ったマイクロフォンアレイ構成となる。ここではマイクロフォンアレイが水平軸に並んでいるが、床面も同じ水平軸であるため、タブレット端末１００の前に集まっている人々の中から話者の居る方向を検出することができる。

【0041】

しかし、タブレット端末１００を９０°回転させて図５のような縦置き設置（Display画面が縦長になる設置角度）にすると、図４で有効となっていたマイクロフォンアレイ構成（マイク８０１～８０４）が垂直軸に並ぶようになってしまい、床面の水平軸と直交してしまうためマイクロフォンアレイとして有効に機能しなくなる（話者の方向検出ができなくなる）。

【0042】

そこでこの対策として、図４及び図５のタブレット端末１００内に第２のマイクロフォンアレイを垂直軸上に配置する（マイク８０４～８０７）。この第２のマイクロフォンアレイは、図４の横置き設置では機能しないが、図５のように９０°回転して縦置き設置にすると、第２のマイクロフォンアレイの軸が垂直軸→水平軸に移動することになり、縦置きで機能しなくなった第１のマイクロフォンアレイに代わって第２のマイクロフォンアレイが機能することになる。

【0043】

こうして、第１のマイクロフォンアレイと第２のマイクロフォンアレイとを搭載することによって、タブレット端末１００の設置角度を回転させても、マイクロフォンアレイを有効に機能させることができるようになる。しかしながら、縦置き横置きにも４個のマイクを機能させるために７個のマイク８０１～８０７が必要となっていた。これに比べて、本実施形態は、上述したように４個のマイク８１～８４が縦置きでも横置きでも機能できるため、マイクを４個以上配置する必要がない。

【0044】

本実施形態は、前述の第２のマイクロフォンアレイをタブレット端末１００に追加搭載することによって、タブレット端末１００の設置角度の回転にもマイクロフォンアレイが対応できるという比較品に対し、マイクロフォンアレイを追加することなく第１のマイクロフォンアレイ（マイク８１～８４）のみでタブレット端末１の設置角度の回転にマイクロフォンアレイが対応できる技術である。即ち、本実施形態のタブレット端末１は、マイク数の低減しつつ設置角度回転に対応して話者方向の検出が行える。

【0045】

なお、上述した実施形態によれば、マイク８１～８４は、各辺５１１～５１４に１つずつ配置されていたが、これに限ったものではない。例えば、各辺に複数のマイクを配置してもよい。即ち、異なる辺に並べられたマイク同士が、短辺方向Ｄ１及び長辺方向Ｄ２の何れにも並ぶことなく配置されていればよく、同じ辺に配置されたマイクは短辺方向Ｄ１、長辺方向Ｄ２に並んでもよい。

【0046】

図６は、７つのマイク８５～９１を、各辺に２つずつ配置した例を示す。図６に示す例では、縦置きにしても、横置きにしても５個のマイク８５～９１を有効にすることができる。図４及び図５に示すような比較品では、５個のマイクを有効にするためには、９つのマイクを配置する必要があった。これに対して、図６に示す例では７個のマイク８５～９１を配置するだけでよく、マイクの数を低減することができる。

【0047】

なお、本発明は上記実施形態に限定されるものではない。即ち、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。

【符号の説明】

【0048】

１ タブレット端末（表示装置、通信端末）
２ ＭＰＵ（設定部）
３ 通信制御部（通信部）
４ 記憶部
１２ 傾き検出部
５１ 表示面
８１～９１ マイク
５１１ 短辺（第１辺）
５１２ 短辺（第１辺）
５１３ 長辺（第２辺）
５１４ 長辺（第２辺）
Ｄ１ 短辺方向（第１方向）
Ｄ２ 長辺方向（第２方向）

【先行技術文献】

【特許文献】

【0049】

【文献】特開２０１４－１１０６１３号公報

【文献】特開２０１７－１６８９７７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】