(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040188
(43)【公開日】2024-03-25
(54)【発明の名称】会話補助装置、情報処理方法
(51)【国際特許分類】
G06F 3/16 20060101AFI20240315BHJP
G06F 3/0485 20220101ALI20240315BHJP
G10L 15/00 20130101ALI20240315BHJP
G10L 15/22 20060101ALI20240315BHJP
G09B 21/00 20060101ALI20240315BHJP
【FI】
G06F3/16 650
G06F3/0485
G06F3/16 620
G06F3/16 640
G10L15/00 200C
G10L15/22 460Z
G09B21/00 F
【審査請求】有
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2024004048
(22)【出願日】2024-01-15
(62)【分割の表示】P 2022028489の分割
【原出願日】2022-02-25
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】落合 功
(57)【要約】
【課題】パーティションが用いられる場面において、話者のコミュニケーションを支援することができる。
【解決手段】透明ディスプレイの第1主面の正面側の話者からの声を集音可能な位置に設けられる第1マイクと、透明ディスプレイの第1主面とは反対側の主面である第2主面の正面側の話者からの声を集音可能な位置に設けられる第2マイクと、翻訳エンジンと、それぞれの発話内容をどちらが発話したかわかるようにそれぞれ会話を区別して、発話内容を表す文字情報であり翻訳エンジンを用いて翻訳された後の文字情報を透明ディスプレイに、発話と供に逐次に表示する処理部と、を備え、第1マイクから集音され発話内容から翻訳された後の文字情報を第2主面から視認可能に表示し、第2マイクから集音され発話内容から翻訳された後の文字情報を第1主面から視認可能に表示し、翻訳された後の文字情報は、定められた文字サイズで表示される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
透明ディスプレイと、
前記透明ディスプレイの第1主面の正面側の話者からの声を集音可能な位置に設けられる第1マイクと、
前記透明ディスプレイの前記第1主面とは反対側の主面である第2主面の正面側の話者からの声を集音可能な位置に設けられる第2マイクと、
どのマイクに発話されたかを区別する第1処理部と、
発話内容から文字へ変換する第2処理部と、
翻訳エンジンと、
それぞれの発話内容をどちらが発話したかわかるようにそれぞれ会話を区別して、前記発話内容を表す文字情報であり前記翻訳エンジンを用いて翻訳された後の文字情報を前記透明ディスプレイに、前記発話と供に逐次に表示する第3処理部と、
を備え、
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第2主面から視認可能に表示し、
前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第1主面から視認可能に表示し、
前記翻訳された後の文字情報は、定められた文字サイズで表示される
会話補助装置。
【請求項2】
前記文字サイズは、手動または自動で変更可能である
請求項1に記載の会話補助装置。
【請求項3】
前記文字サイズを大きくまたは小さくする指示を入力するスイッチを有し、
前記文字サイズは、前記スイッチからの指示に応じて切り替えられる
請求項1に記載の会話補助装置。
【請求項4】
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報と、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報とは、前記第1主面の正面側または前記第2主面の正面側から見て、重ならないように表示される
請求項1に記載の会話補助装置。
【請求項5】
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報は、前記透明ディスプレイの左右方向における一方側の端部に沿うようにされ、
前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報は、前記透明ディスプレイの左右方向における一方側の端部とは反対側の端部に沿うようにされ、
かつ、それぞれの文字情報は、時系列に沿って上下方向に並べられて表示される
請求項1に記載の会話補助装置。
【請求項6】
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報と、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報とが、対話形式で表示される
請求項5に記載の会話補助装置。
【請求項7】
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報に応じた文字は、前記第1主面の正面側から見て裏返しの状態で視認可能であり、
前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報に応じた文字は、前記第2主面の正面側から見て裏返しの状態で視認可能である
請求項1に記載の会話補助装置。
【請求項8】
前記翻訳された後の文字情報は、横書きの状態で表示される
請求項1から請求項7のうちいずれか1項に記載の会話補助装置。
【請求項9】
透明ディスプレイに文字情報を表示する会話補助装置の情報処理方法であり、
第1マイクによって前記透明ディスプレイの第1主面の正面側の話者からの声を集音し、
第2マイクによって前記透明ディスプレイの前記第1主面とは反対側の主面である第2主面の正面側の話者からの声を集音し、
それぞれの発話内容をどちらが発話したかわかるようにそれぞれ会話を区別して、前記発話内容を表す文字情報であり翻訳エンジンを用いて翻訳された後の文字情報を前記透明ディスプレイに、前記発話と供に逐次に表示し、
前記表示することは、
前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第2主面から視認可能に表示することを含み、
前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第1主面から視認可能に表示することを含み、
前記翻訳された後の文字情報は、定められた文字サイズで表示することを含む
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会話補助装置、情報処理方法に関する。
【背景技術】
【0002】
装着者の周囲の状況に応じて集音方法を変更し、人の話し声を文字列に変換して表示することができるコミュニケーションサポートシステムがある(特許文献1)。このシステムでは、集音モードに基づいて、特定の数と位置のマイクロフォンユニットを起動及び制御して集音を行い、表示装置は、集音装置により出力される分析用サウンドデータを分析し、話し手の話の内容を文字列に変換して表示することによって、装着者は、補聴器や人工内耳を装用しなくても、話し相手の話の内容を視覚により認識することができる。
近年では、感染症対策として飛沫の飛散を防止するため、自治体の窓口や企業の受付、飲食店、レジカウンター等のように対面式で対話する場面であって、社会生活の導線の中で重要な場所において、対話者の間にパーティションを設ける場合がある。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、遠隔だけではなく、対面での安全かつ円滑なコミュニケーションにより、体温(人と対話する温かさ)を感じられるものとして価値が再認識されている。
装着型で対話型のデバイスでは、相手の表情等を身近において見ることができないため、感情を読み取ることができず、不安が生じる場合もある。
また、感染症対策のために飛沫防止パーティションがマスクと同様にニューノーマルなものとして当たり前に設置されている状況の中、通常の飛沫防止パーティションは、飛沫防止には役立つが会話が聞き取り難い等の課題があった。このような、聞き取りのしにくさから、コミュニケーションができずに困る生活者が増加した。このコミュニケーションの障害は、高齢者や外国語話者が増えるとさらに助長される可能性がある。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、パーティションが用いられる場面において、話者のコミュニケーションを支援することができる会話補助装置、情報処理方法を提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一態様は、透明ディスプレイと、前記透明ディスプレイの第1主面の正面側の話者からの声を集音可能な位置に設けられる第1マイクと、前記透明ディスプレイの前記第1主面とは反対側の主面である第2主面の正面側の話者からの声を集音可能な位置に設けられる第2マイクと、どのマイクに発話されたかを区別する第1処理部と、発話内容から文字へ変換する第2処理部と、翻訳エンジンと、それぞれの発話内容をどちらが発話したかわかるようにそれぞれ会話を区別して、前記発話内容を表す文字情報であり前記翻訳エンジンを用いて翻訳された後の文字情報を前記透明ディスプレイに、前記発話と供に逐次に表示する第3処理部と、を備え、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第2主面から視認可能に表示し、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第1主面から視認可能に表示し、前記翻訳された後の文字情報は、定められた文字サイズで表示される会話補助装置である。
【0007】
また、本発明の一態様は、上述の会話補助装置において、前記文字サイズは、手動または自動で変更可能である。
また、本発明の一態様は、上述の会話補助装置において、前記文字サイズを大きくまたは小さくする指示を入力するスイッチを有し、前記文字サイズは、前記スイッチからの指示に応じて切り替えられる。
また、本発明の一態様は、上述の会話補助装置において、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報と、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報とは、前記第1主面の正面側または前記第2主面の正面側から見て、重ならないように表示される。
また、本発明の一態様は、上述の会話補助装置において、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報は、前記透明ディスプレイの左右方向における一方側の端部に沿うようにされ、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報は、前記透明ディスプレイの左右方向における一方側の端部とは反対側の端部に沿うようにされ、かつ、それぞれの文字情報は、時系列に沿って上下方向に並べられて表示される。
【0008】
また、本発明の一態様は、上述の会話補助装置において、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報と、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報とが、対話形式で表示される。
また、本発明の一態様は、上述の会話補助装置において、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報に応じた文字は、前記第1主面の正面側から見て裏返しの状態で視認可能であり、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報に応じた文字は、前記第2主面の正面側から見て裏返しの状態で視認可能である。
また、本発明の一態様は、上述の会話補助装置において、前記翻訳された後の文字情報は、横書きの状態で表示される。
【0009】
また、本発明の一態様は、透明ディスプレイに文字情報を表示する会話補助装置の情報処理方法であり、第1マイクによって前記透明ディスプレイの第1主面の正面側の話者からの声を集音し、第2マイクによって前記透明ディスプレイの前記第1主面とは反対側の主面である第2主面の正面側の話者からの声を集音し、それぞれの発話内容をどちらが発話したかわかるようにそれぞれ会話を区別して、前記発話内容を表す文字情報であり翻訳エンジンを用いて翻訳された後の文字情報を前記透明ディスプレイに、前記発話と供に逐次に表示し、前記表示することは、前記第1マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第2主面から視認可能に表示することを含み、前記第2マイクから集音され前記発話内容から前記翻訳された後の文字情報を前記第1主面から視認可能に表示することを含み、前記翻訳された後の文字情報は、定められた文字サイズで表示することを含む情報処理方法である。
【発明の効果】
【0010】
以上説明したように、この発明によれば、パーティションが用いられる場面において、話者のコミュニケーションを支援することができる。
【図面の簡単な説明】
【0011】
【
図1】この発明の一実施形態による表示システムの利用場面の一例を示す図である。
【
図2】ディスプレイ40を用いた表示システムSaの構成を示す概略機能構成図である。
【
図3】他の実施形態における表示システムSbの構成を示す概略機能構成図である。
【
図4】ディスプレイ40の外観を表す外観図である。
【
図5】ディスプレイ40の外観を表す外観図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態による発話文字変換表示システム(以下、表示システムとも称する)について図面を参照して説明する。
図1は、この発明の一実施形態による表示システムの利用場面の一例を示す図である。 本実施形態における、発話文字変換表示システム(以下、表示システムとも称する)は、飛沫防止パーティションの機能はそのまま維持しながら、パーティション部分に、発話された音声を文字に瞬時に変換し、会話をリアルタイムで文字として可視化させ、パーティション部分が透過型であることから、対話相手の表情も視認できる。そのため、スマートにコミュニケーションできる仕組みを備えている。
【0013】
この図において、表示システムにおけるディスプレイ40は、自治体や店舗等の窓口において、第1話者(例えば係員R1)と第2話者(例えば消費者R2)との間に設けられる。ディスプレイ40の下部401には脚部451が設けられており、ディスプレイ40は、垂直方向に立てて設置できるようになっている。垂直方向に立てることができるため、ディスプレイ40は、第1話者と第2話者の間において仕切るように設けられる。ディスプレイ40が係員R1と消費者R2との間に設置されることから、飛沫等が相手に直接的に飛散することを防止することできる。ここでは、ディスプレイ40の第1主面側は、係員R1に向き、ディスプレイ40の第2主面側は、消費者R2に向くように設置されている。
【0014】
下部401は、ディスプレイ40の右側面と左側面から連なるように、右側面と左側面とにそれぞれ設けられ、2つの下部401の間に切り欠き部452が設けられている。切り欠き部452においては、係員R1と消費者R2との間において、書面や帳票などの提出物等を受け渡すことができるようになっている。
ディスプレイ40には、表示部402が設けられている。この表示部402は、例えば透明ディスプレイである。表示部402は、話者同士が相手の表情を視認可能な程度の透過性を有している。そのため、相手の表情を確認できることから、対面コミュニケーションを遮ることがない。また、表示部402が透過性を有していることから、背景(相手側)が透けて見えることで、視覚的に遮断せずに、また、周囲の環境に溶け込み、実物(対話相手)に重ねて映像を表示するなど多様な表現が可能なためコミュニケーションの幅を広げることができる。
【0015】
表示部402の画面サイズは、パーティションとして機能する程度の面積を有しており、例えば、30~40インチ程度であってもよい。
表示部402は、各種情報を表示することができる。これにより、様々な映像表現を駆使し、コミュニケーションの幅を広げることができる。
また、表示部402は、光源を必要とせず外光を活用する事で、消費電力を大幅に低減することができる。例えば、ディスプレイ40の消費電力は8から9W程度である。
ディスプレイ40には、一般的な家庭用コンセントを用いて100Vの電力が供給されることで、駆動することができる。またディスプレイ40は、外部のコンピュータとHDMI(High-Definition Multimedia Interface;登録商標)ケーブルを介して接続することができ、コンピュータから供給される信号を入力すること、及びコンピュータへの信号の出力をすることができる。
【0016】
図2は、ディスプレイ40を用いた表示システムSaの構成を示す概略機能構成図である。
表示システムSaは、集音装置11、集音装置12、情報制御装置20、発話文字変換システム30、ディスプレイ40を有する。
集音装置11は、ディスプレイ40の第1主面側において発話する話者の音声を集音し、第1音声信号を生成する。集音装置12は、ディスプレイ40の第2主面側において発話する話者の音声を集音し、第2音声信号を生成する。
集音装置11、集音装置12は、指向性マイクロフォン、または無指向性マイクロフォンである。集音装置11は、係員の声を集音可能な位置に設置され、集音装置12は、消費者の声を集音可能な位置に設置される。
集音装置11、集音装置12は、ディスプレイ40の一部として取り付けられていてもよいし、ディスプレイ40の外部に優先または無線によって接続されてもよい。また、集音装置11、集音装置12は、ヘッドセットのマイクであってもよい。
集音装置11、集音装置12は、ノイズキャンセラー機能が設けられていてもよい。
【0017】
情報制御装置20は、音声情報制御部201、音声情報制御部202を有する。
音声情報制御部201は、集音装置11において生成された第1音声信号と、集音装置12において集音された第2音声信号を取得し、第1音声信号と第2音声信号を発話文字変換システム30に出力する。音声情報制御部201は、集音装置11と集音装置12とについて、それぞれ異なる別のチャネルから音声信号を得ることができるため、いずれの話者(係員、消費者)の発言であるかを識別できるようになっている。
音声情報制御部202は、発話文字変換システム30から得られる第1文字情報をディスプレイ40の第2主面側において視認可能な文字として表示させる。また、音声情報制御部202は、発話文字変換システム30から得られる第2文字情報をディスプレイ40の第1主面側において視認可能な文字として表示させる。
ここでは、第1文字情報がディスプレイ40の第2主面側に表示された際、第2主面側における利用者が、表示された文字を読むことができればよい。この場合、第1文字情報がディスプレイ40の第1主面側にいる利用者によって視認される場合もあるが、その場合は、文字の左右が反転した状態で視認(文字が裏返しの状態で視認)することとなる。また、第2文字情報がディスプレイ40の第2主面側にいる利用者によって視認される場合もあるが、その場合は、文字の左右が反転した状態で視認(文字が裏返しの状態で視認)することとなる。
【0018】
情報制御装置20は、発話文字変換システム30と有線または無線のうち少なくともいずれか一方を利用して通信可能に接続される。
【0019】
発話文字変換システム30は、音声情報制御部201から出力された第1音声信号に基づいて、この音声信号が示す発話内容を文字情報に変換する機能と、音声情報制御部201から出力された第2音声信号に基づいて、この音声信号が示す発話内容を文字情報に変換する機能とを有する。
発話文字変換システム30は、第1音声信号から得られた文字情報を第1文字情報として情報制御装置20の音声情報制御部202に出力する。発話文字変換システム30は、第2音声信号から得られた文字情報を第2文字情報として情報制御装置20の音声情報制御部202に出力する。
【0020】
発話文字変換システム30が音声信号から文字情報に変換する処理は、200ミリ秒程度以内であることが好ましいが、400ミリ秒以内であっても良い。ここで、情報制御装置20は、音声信号を出力し、発話文字変換システム30から文字情報を得るまでの時間が一定時間(例えば1秒)を超える場合等、発話文字変換システム30との間の通信帯域を増やす、ローカルリソースも使う等の処理を行ってもよい。ロードバランサーを用いるようにしてもよい。
【0021】
この発話文字変換システム30は、ディスプレイ40の外部に接続されるコンピュータであってもよいし、インターネットなどのネットワークを介して接続されるサーバ装置であってもよし、クラウドサーバであってもよい。
【0022】
ディスプレイ40は、表示部402に各種情報を表示する。ディスプレイ40における表示部402は、無機EL(Electro-Luminescence)のディスプレイパネルであってもよいし、有機ELのディスプレイであってもよい。
また、表示部402は、ディスプレイ40の近傍の設置されたプロジェクタによって投影された映像信号を表示するようにしてもよい。この場合、発話文字変換システム30から文字情報をプロジェクタに出力することで、文字情報をプロジェクタから表示部402に投影するようにしてもよい。この場合、表示部402の第1主面側と第2主面側のそれぞれに、異なるプロジェクタからそれぞれ文字情報を投影するようにしてもよい。
また、表示部402は、レーザスキャンによって文字情報を表示するようにしてもよい。
ディスプレイ40は、WEBブラウザとして機能し、発話文字変換システム30から供給される文字情報を表示するようにしてもよい。
【0023】
この表示システムSaによれば、例えば下記の機能を発揮することができる。
(機能1)話者によって発話された内容が、リアルタイムに文字に変換され、逐次ディスプレイ40に表示される。文字は、例えば、横書きの状態で表示される。
(機能2)会話の進行に応じて文字が自動的に上方向または下方向にスクロールされる。(機能3)文字サイズについては、手動または自動で変更することができる。
【0024】
次に、上述した表示システムSaの動作の流れを説明する。
(ステップS1)
集音装置11、集音装置12は、それぞれ、話者によって発話された声を集音する。 (ステップS2)
情報制御装置20は、集音装置11、集音装置12から得られる音声信号を発話文字変換システム30に送信する。
【0025】
(ステップS3)
発話文字変換システム30は、集音装置11、集音装置12から得られる音声信号を解析し、少なくともいずれか一方について、基準値以上の音量であるか否かを判定する。基準値以上の音量である場合には、発話文字変換システム30は、その音声信号を文字情報に変換する。ここでは、発話文字変換システム30は、第1音声信号(係員から発話された内容を示す信号)から第1文字情報を生成し、第2音声信号(消費者から発話された内容を示す信号)から第2文字情報を生成する。
発話文字変換システム30は、ここでは、2つのマイク(集音装置11、集音装置12)の音量、位相から発話者がカウンター側か、客側かを判別するようにしてもよい。音声識別はローカルサーバ上で処理し、文字処理をサーバとクラウド間で行ってもよい。また、ローカルPCでも最低限の文字表示ができる機能を保持してもよい。
【0026】
(ステップS4)
発話文字変換システム30は、音声から文字に変換する場合、個別店舗ごとや、エリア毎に応じた辞書データを用いて変換するようにしてもよい。また、発話内容や発声から、危険度を判定してもよい。例えば、発話文字変換システム30は、危険な内容を示す単語に対して危険度を対応づけた危険度データを記憶しておき、得られた文字情報に、危険度データに登録された単語に対応するワードが含まれているか否かを判定し、含まれている場合には、その単語に対応する危険度を出力するようにしてもよい。危険度の出力先は、消費者と対応している係員とは別の係員が利用する端末装置にあてもよい。
また、発話文字変換システム30は、不適切な内容を示す単語に対して適切な表現を対応づけた不適切表現データを記憶しておき、得られた文字情報に、不適切表現データに登録された単語に対応するワードが含まれているか否かを判定し、含まれている場合には、その不適切な表現を適切な表現に変換し、文字情報として出力するようにしてもよい。これにより、不適切な表現を適切な表現に訂正して表示することができる。また、発話文字変換システム30は、不適切な表現については、非表示にするようにした文字情報を生成してもよい。
【0027】
(ステップS5)
発話文字変換システム30は、ディスプレイ40が設置された場所において、係員と消費者との間においてレジ端末が利用される場合(店舗おいて物品やサービスに対する支払をする場合)や、タブレット端末を利用する場合(自治体の窓口等において帳票への入力をタブレット端末を用いて電子的に行う場合)においては、これらのレジ端末やタブレット端末と連動して、文字の情報とレジに打ち込まれた内容またはタブレット端末に入力された内容と、文字情報との間に齟齬がある場合は、アラートを表示するためのアラートデータを文字情報とともに出力してもよい。
また、発話文字変換システム30は、声紋判定機能を有するようにし、誰が係員であるかを自動判別してもよい。例えば、レジ担当者や、職員等の声紋を声紋データとして予めデータベースに記憶しておき、この声紋データと、集音装置から得られた音声信号に含まれる声紋データとを比較することで、発話者が誰であるかを識別するようにしてもよい。ここで、発話文字変換システム30は、レジ担当者や、職員等として対応する際に、担当者コードをバーコードの読取機能によって読み取らせるまたは、社員証等として用いられるICカードから担当者コードを読み取らせておき、この担当者コードと、声紋データを元に識別された話者が一致するか否かを判定してもよい。そして、担当者コードと話者とが不一致の場合には、異常を検知し、外部へアラートを出力してもよい。
【0028】
ディスプレイ40は、発話文字変換システム30から出力された文字情報を表示部402に表示する。ここでは、ディスプレイ40は、第1音声信号から変換された第1文字情報を、第2主面側から視認可能に表示する。
表示する文字情報の文字のサイズは、8pt以上、150pt以下とすることができる。また文字の字体は、単一の字体または、ひらがな、漢字、カタカナ、英数字のいずれかの文字に応じて異なる字体としてもよい。
これにより、係員によって発話された内容を示す文字列が、消費者によって視認可能に表示されるため、消費者は、係員の発話内容を文字を読むことによって認識することができ、表示部402の向こう側にいる係員の表情等も確認することができる。ここでは、消費者は、係員の声を直接聞くこともできるが、仮に聞き取りにくかったとしても、文字情報を確認することがで、係員の発話内容を把握することができる。
また、消費者によって発話された内容を示す文字列が、係員によって視認可能に表示されるため、係員は、消費者の発話内容を文字を読むことによって認識することができ、表示部402の向こう側にいる消費者の表情等も確認することができる。ここでは、係員は、消費者の声を直接聞くこともできるが、仮に聞き取りにくかったとしても、文字情報を確認することがで、消費者の発話内容を把握することができる。
【0029】
図3は、他の実施形態における表示システムSbの構成を示す概略機能構成図である。 表示システムSbは、集音装置15、集音装置16、情報制御装置21、発話文字変換システム31、ディスプレイ41、スピーカ50、スピーカ55を有する。
集音装置15は集音装置11と同様の機能を有し、集音装置16は、集音装置12と同様の機能を有するため、詳細な説明は省略する。
集音装置15は、ディスプレイ41の第1主面側(例えば係員)から発話された音声を集音し、集音された音声を表す第3音声信号を生成する。
集音装置16は、ディスプレイ41の第2主面側(例えば消費者)から発話された音声を集音し、集音された音声を表す第4音声信号を生成する。
【0030】
情報制御装置21は、表示システムSaにおける情報制御装置20と概ね同様の機能を有するため、相違点を主に説明する。
情報制御装置21は、音声情報制御部215、音声情報制御部216、音声情報制御部225、音声情報制御部226、文字情報制御部235、文字情報制御部236を有する。
音声情報制御部215は、集音装置15から得られる第3音声信号を発話文字変換システム31に出力する。音声情報制御部216は、集音装置16から得られる第4音声信号を発話文字変換システム31に出力する。
音声情報制御部225は、発話文字変換システム30から得られる第3音声信号を取得し、スピーカ50から音声を出力させる。
音声情報制御部226は、発話文字変換システム30から得られる第4音声信号を取得し、スピーカ55から音声を出力させる。
文字情報制御部235は、発話文字変換システム30から得られる第3文字情報を取得し、ディスプレイ41の表示部の第2主面側から視認可能に表示する。
文字情報制御部236は、発話文字変換システム30から得られる第4文字情報を取得し、ディスプレイ41の表示部の第1主面側から視認可能に表示する。
【0031】
発話文字変換システム30は、音声情報制御部215から得られた第3音声信号を情報制御装置21に送信し、音声情報制御部216から得られた第4音声信号を情報制御装置21に送信する。
また、発話文字変換システム30は、音声情報制御部215から出力された第3音声信号に基づいて、この音声信号が示す発話内容を文字情報に変換することで第3文字情報を生成する機能と、音声情報制御部216から出力された第3音声信号に基づいて、この音声信号が示す発話内容を文字情報に変換することで第4文字情報を生成する機能とを有する。
発話文字変換システム30は、第3文字情報と第4文字情報を情報制御装置21に出力する。
【0032】
ディスプレイ40は、発話文字変換システム31から出力された文字情報を表示部に表示する。ここでは、ディスプレイ41は、第3音声信号から変換された第3文字情報を、第2主面側から視認可能に表示し、第4音声信号から変換された第4文字情報を、第1主面側から視認可能に表示する。
【0033】
スピーカ50は、情報制御装置21に有線または無線によって通信可能に接続され、情報制御装置21の音声情報制御部225から出力される第3音声信号を取得し、第3音声信号に応じた音声を放音する。スピーカ50は、例えば、ディスプレイ41の第2主面側にいる利用者(例えば、消費者)にとって聞こえるように放音する。スピーカ50は、ディスプレイ41の第2主面側に取り付けられていてもよい。
スピーカ55は、情報制御装置21に有線または無線によって通信可能に接続され、情報制御装置21の音声情報制御部226から出力される第4音声信号を取得し、第4音声信号に応じた音声を放音する。スピーカ55は、例えば、ディスプレイ41の第1主面側にいる利用者(例えば、係員)にとって聞こえるように放音する。スピーカ55は、ディスプレイ41の第1主面側に取り付けられていてもよい。
【0034】
上述した表示システムSbによれば、発話内容を表す文字を表示するだけでなく、発話内容を表す音声をスピーカから出力するようにしたので、文字と音声の両方によって、発話相手の発話内容を把握することができる。また、ディスプレイ41は透過型であるため、発話相手の表情を確認することもできる。
【0035】
図4と
図5は、ディスプレイ40の外観を表す外観図である。ここではディスプレイ40の外観として説明するが、ディスプレイ41の外観についても、
図4、
図5と同様であってもよい。
符号40aは、ディスプレイ40の第1主面側から見た外観図である。
符号40bは、ディスプレイ40の上面側を見た場合を表す上面図である。
符号40cは、ディスプレイ40の下面側を見た場合を表す下面図である。
符号40dは、ディスプレイ40の第1側面(例えば右側面)から見た側面図である。 符号40eは、ディスプレイ40の第2側面(例えば左側面)から見た側面図である。 符号40fは、ディスプレイ40について、
図4における符号Aと符号A’の位置における断面を示す断面図である。
符号40gは、ディスプレイ40の第2主面側から見た外観図である。
【0036】
ディスプレイ40の制御基盤、電源回路等の各種回路は、ディスプレイ40の表示部の下部に収容される。ディスプレイ40の下部において一方の側面には、外部機器との接続するための接続端子が設けられる。
【0037】
以上説明した実施形態において、ディスプレイ40(41)は、発話内容を表示部に表示するか否かの表示モードを切り替えられるようにしてもよい。表示モードの切替は、ディスプレイ40(41)に切替スイッチを設け、その切替スイッチからの指示に応じて切り替えられるようにしてもよいし、情報制御装置20(21)からの切替指示をディスプレイ40(41)に出力することで切り替えられるようにしてもよい。
また、ディスプレイ40(41)に表示される文字のフォントサイズを大きくまたは小さくする指示を、切替スイッチ等から入力することで、切り替えられるようにしてもよい。
【0038】
また、上述した実施形態において、不適切なワードが発話文字変換システム30(31)において検出された場合に、発話文字変換システム30(31)、情報制御装置20(21)または外部の記憶装置のいずれかに記憶するようにしてもよい。
【0039】
また、上述した実施形態において、情報制御装置20(21)は、文字情報をディスプレイ40(41)に表示する場合、漢字を使わない表示(ひらがなのみの文字によって表示)をするようにしてもよいし、漢字を使用した表示(ひらがな、漢字、カタカナら等を含む)をするようにしてもよい。
また、情報制御装置20(21)は、発話された言語とは異なる言語に翻訳した文字情報をディスプレイ40(41)に表示するようにしてもよい。この場合、発話文字変換システム30(31)が、翻訳エンジンを有しており、発話された内容を表す文字情報を、翻訳エンジンを利用して、翻訳された後の文字情報を情報制御装置20(21)に出力するようにしてもよい。いずれの言語に翻訳するかについては、情報制御装置20(21)またはディスプレイ40(41)から入力されてもよい。
【0040】
また、ディスプレイ40(41)は、消費者がいるか否かを検知する人感センサを有していてもよい。そして、人感センサの検出結果に基づいて、消費者がいないことが検出された場合には、ディスプレイ40(41)は、広告を表示するようにしてもよい。これにより、ディスプレイ40(41)を用いた対話をしていないが、少し離れた位置にいる消費者(例えば、順番待ちをしている消費者)は、広告を視聴することができる。このような広告は、静止画であってもよいし、動画であってもよい。ディスプレイ40(41)が店舗委に設置される場合、広告は、自店舗のものでも良いし、自店舗とは異なる企業の広告を表示することで、広告収入が得られるようにしてもよい。
【0041】
また、人感センサによって、消費者が近くに来たこと(係員と対話する位置に到来した場合)を検出した場合には、「いらっしゃいませ」等の文字列を、係員の発話とは関係なく、表示するようにしてもよい。また、対話中に係員が書類を取りに行く等、離席したことを検知し、その時間が一定時間経過した場合に、「少々お待ちください」等の表示を、係員の発話とは関係なく表示するようにしてもよい。
【0042】
また、ディスプレイ40(41)が設置される店舗が薬局である場合、薬剤師と相談して買ったか等の注意事項を表示してもよい。
【0043】
また、ディスプレイ40(41)がアルコール類の販売あるいは提供をしている店舗である場合には、未成年の飲酒は禁止であることを表示するようにしてもよい。
【0044】
また、ディスプレイ40(41)がレジ端末が設置された場所に設置される場合、レジ端末(POS(Point Of Sales)端末)と情報制御装置20(21)またはディスプレイ40(41)が通信可能に接続され、レジ端末において登録された商品名、価格、釣り銭、ポイントサービスにおけるポイント数、レジ担当者名等をディスプレイ40(41)に表示するようにしてもよい。
【0045】
また、ディスプレイ40(41)は、タッチセンサーを有するようにしてもよい。そして、ディスプレイ40(41)は、成人であることの確認を行う必要がある場合に、消費者によってタッチセンサーから成人であるか否かの指示を入力してもらうようにしてもよい。このようなタッチセンサーは、非接触式であって、静電容量方式のタッチセンサーを用いることが好ましい。
【0046】
ディスプレイ40(41)は、透明パーティションのように、レイリー散乱をする無機粒子(酸化チタン、アルミナ、シリカ粒子)の透過散乱層を片面に有するものであってもよい。また、ディスプレイ40(41)は、板状の形状ではなく、カーテン状のように開閉なものであってもよい。
【0047】
ディスプレイ40(41)の表示部の厚さは、例えば50μmから5mm程度でありお、表示領域の形状が矩形であり、一辺の寸法は、150mm以上、1000mm以下とすることができる。
【0048】
散乱層は、一部の領域または全領域に設けられる。厚みは、一定以上の厚みとなるとエッジから光漏れが出やすいので、光漏れを無くす場合には、1mm以下であることがよい。装飾性として、エッジ光を利用する場合には、1mmより厚く5mm以下とするようにしてもよい。
なお、防犯用を兼ねる場合には、5mmより厚く、50mmのものを用いてもよい。この場合は、振動を検知し通報する機能を有してもよい。この通報された結果はサーバに記録されてもよい。また振動を検知した際に防犯用のカメラによってディスプレイ40(41)を含む周辺を録画してもよい。
【0049】
ディスプレイ40(41)は、近接投影を用いてもよいし、光源はLED(発光ダイオード)、またはレーザーダイオードであってもよい。ディスプレイ40(41)は、カラー表示であってもモノクロ表示であってもよい。ディスプレイ40(41)の焦点は、パーティションであってもよい。
ディスプレイ40(41)には、エッジの光漏れを吸収するフレームを設けてもよい。
【0050】
ディスプレイ40(41)は、単に文字を表示するのではなく、メッセージアプリのように、対話形式で文字情報を表示するようにしてもよい。例えば、相手の発話内容が左側、自分の発話内容が右側に沿うようにされ、かつ、時系列に沿って上下方向に文字情報が並べられて表示されるようにしてもよい。
【0051】
上述した実施形態によれば、利便性に加えてエンターテインメント性を有したパーティションとして提供することもできる。
【0052】
上述した実施形態において、表示システムSa(Sb)において用いられる記憶部は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、またはこれらの記憶媒体の任意の組み合わせによって構成される。
この記憶部は、例えば、不揮発性メモリを用いることができる。
【0053】
表示システムSa(Sb)において用いられる処理部(例えば、音声情報制御部201、音声情報制御部202、音声情報制御部215、音声情報制御部216、音声情報制御部225、音声情報制御部226、文字情報制御部235、文字情報制御部236)は、例えばCPU(中央処理装置)等の処理装置若しくは専用の電子回路で構成されてよい。
【0054】
上述した実施形態によれば、対話する2者等での双方向の会話を、発話を文字変換し相手方に発話とシンクロして逐次表示することで、聴覚のみではなく目視でも会話を円滑化するシステムを提供することができる。カウンター等における対面での使用時には、パーティションを透明ディスプレイとして文字を表示することができる。
これにより、一般的な飛沫防止パーティションを生活導線上において用いた場合、会話しづらい場合があるが、本実施形態によれば、対面した者同士が飛沫を防止しながらスマートな会話をすることができるコミュニケーションツールとして提供することができる。 また、上述した実施形態における表示システムSa(Sb)は、仮想空間での対話に応用することも可能である。
【0055】
上述した実施形態によれば、複数のマイクと、1つ以上の透明ディスプレイまたはそれぞれのマイクと対になる1つ以上のパーソナルディスプレイ(スマートフォン、タブレット、ヘッドマウントディスプレイのうちいずれか1つ)を備え、どのマイクに発話したかを(どちらのマイクからかによって)区別する回路(手段)と、発話から文字へ自動で変換する回路(手段)と、それぞれの会話をどちらが発話したかわかるようにそれぞれ会話を区別して、透明ディスプレイまたはそれぞれのパーソナルディスプレイに、それぞれの発話から変換した文字を発話と供(concurrently)に逐次に表示する回路(手段)と、会話進行に応じて文字を自動スクロールする回路(手段)と、文字サイズを手動または自動で変更する回路(手段)と、それぞれのマイクに対応した辞書を記憶するストレージとを、備えた会話補助装置として提供することができる。
【0056】
上述した実施形態によれば、発話内容を瞬時に文字に変換して透過型のディスプレイ40(41)に表示するようにしたので、一般的な飛沫防止パーティションを用いた場合に生じる、声が聞きづらく、会話がしづらかったという課題を解決することができる。
また、従来のように、装着型のシステムを利用したり、モバイルディスプレイを持ちながらだと、もし相手が不審な行動をした場合に気付きにくい。それは、安全性のためにパーティションを挟むとより困難になる場合がある。上述した実施形態によれば、パーティションを挟んだとしても、安全に確実に、安心して意思疎通をすることができる。
【0057】
上述した実施形態における情報制御装置20、情報制御装置21、発話文字変換システム30、発話文字変換システム31をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0058】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0059】
11,12…集音装置、15,16…集音装置、20,21…情報制御装置、30,31…発話文字変換システム、40,41…ディスプレイ、50,55…スピーカ、201…音声情報制御部、202…音声情報制御部、215…音声情報制御部、216…音声情報制御部、225…音声情報制御部、226…音声情報制御部、235…文字情報制御部、236…文字情報制御部、401…下部、402…表示部、451…脚部、452…欠き部、Sa,Sb…表示システム