特許 7597564 会話補助装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】会話補助装置

(51)【国際特許分類】

   G10L 21/007 20130101AFI20241203BHJP

   G10L 15/00 20130101ALI20241203BHJP

   G10L 15/22 20060101ALI20241203BHJP

   G10L 15/25 20130101ALI20241203BHJP

【ＦＩ】

G10L21/007

G10L15/00 200C

G10L15/00 200Z

G10L15/22 460Z

G10L15/25

【請求項の数】 1

(21)【出願番号】P 2020205508

(22)【出願日】2020-12-11

(65)【公開番号】P2022092664

(43)【公開日】2022-06-23

【審査請求日】2023-10-25

【前置審査】

(73)【特許権者】

【識別番号】000002299

【氏名又は名称】清水建設株式会社

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(74)【代理人】

【識別番号】100227455

【弁理士】

【氏名又は名称】莊司 英史

(72)【発明者】

【氏名】清家 裕喜子

(72)【発明者】

【氏名】宮島 徹

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００６－０４１７４３（ＪＰ，Ａ）

【文献】特開２００８－１９７３８１（ＪＰ，Ａ）

【文献】特開２００４－１６３５４１（ＪＰ，Ａ）

【文献】特開平１０－０９７２８０（ＪＰ，Ａ）

【文献】特開２０１８－１１６４２７（ＪＰ，Ａ）

【文献】特開２０２０－１６０００４（ＪＰ，Ａ）

【文献】特開２０１８－０６６７８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２１／００７

Ｇ１０Ｌ １５／２２

Ｇ１０Ｌ １５／２５

Ｇ１０Ｌ １５／００

(57)【特許請求の範囲】

【請求項1】

透明なパーティションを介して対面で会話を行う発話者及び受話者を補助する会話補助装置であって、
前記発話者が発話した発話内容を所定のデータ形式の発話情報として取得する発話情報取得部と、
前記発話情報に対して所定の処理を施して所定の出力形式の受話情報を生成する情報処理部と、
前記受話者に対して前記受話情報を前記出力形式で出力する受話情報出力部と、
前記発話者の顔を含む発話者画像を撮像することで前記発話者の特徴情報を取得する発話者特徴取得部と、を備え、
前記発話情報取得部は、
前記発話内容を音声データ形式の前記発話情報として取得するマイクロホンで構成され、
前記情報処理部は、
前記発話者画像に基づいて前記発話者の飛沫防止用装着具の着用有無を判定し、
前記飛沫防止用装着具を着用していないと判定した場合には、前記発話情報に対して第１の周波数帯域を補正する第１の音声補正処理を施して音声出力形式の前記受話情報を生成し、
前記飛沫防止用装着具を着用していると判定した場合には、前記発話情報に対して第２の周波数帯域を補正する第２の音声補正処理を施して音声出力形式の前記受話情報を生成し、
前記受話情報出力部は、
前記受話情報を前記音声出力形式で出力するスピーカで構成される、
会話補助装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、会話補助装置に関する。

【背景技術】

【0002】

従来、発話者と受話者とが対面で会話を行う状況において使用される装置として、マイクロホンやスピーカ等の音響装置を用いて発話者及び受話者を補助する会話補助装置が開発されている。例えば、特許文献１には、パーティションで区切られたブース内で顧客と相談員とが対面で会話を行う場合に、相談員側のマイクと、顧客側のマイクと、両者の中央に配置されたスピーカとを組み合わせて、顧客及び相談員を補助する音響システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許５９５５３４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

昨今、新型コロナウイルス感染症の流行に伴い、飛沫による感染を予防する目的で、対面での会話を行う窓口、会計、会議室等の様々な場所で、会話を行う両者の間を仕切るための透明なパーティションが設置されている。

【0005】

しかしながら、特許文献１に開示された音響システムでは、顧客及び相談員の間に透明なパーティションが設置されることを想定したシステムとなっておらず、両者の会話を適切に補助することができない、という問題点があった。

【0006】

本発明は、このような事情に鑑みてなされたものであって、透明なパーティションを介して会話を行う発話者及び受話者を補助することを可能とする会話補助装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、上記課題を解決するものであって、本発明の一実施形態に係る会話補助装置は、
透明なパーティションを介して対面で会話を行う発話者及び受話者を補助する会話補助装置であって、
前記発話者が発話した発話内容を所定のデータ形式の発話情報として取得する発話情報取得部と、
前記発話情報に対して所定の処理を施して所定の出力形式の受話情報を生成する情報処理部と、
前記受話者に対して前記受話情報を前記出力形式で出力する受話情報出力部と、を備える。

【発明の効果】

【0008】

本発明の一実施形態に係る会話補助装置によれば、発話情報取得部が、発話者の発話内容を所定のデータ形式の発話情報として取得し、情報処理部が、発話情報に対して所定の処理を施して所定の出力形式の受話情報を生成し、受話情報出力部が、受話者に受話情報を出力する。したがって、透明なパーティションを介して会話を行う発話者及び受話者を適切に補助することができる。

【0009】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る会話補助装置１の一例を示す全体構成図である。

【図2】本発明の実施形態に係る会話補助装置１の一例を示すブロック図である。

【図3】本発明の第１の実施例に係る会話補助装置１の一例を示すブロック図である。

【図4】飛沫防止用装着具を着用していない場合を基準としたときの、各種の飛沫防止用装着具を着用している場合における音響伝播特性を示すグラフである。

【図5】本発明の第２の実施例に係る会話補助装置１の一例を示すブロック図である。

【図6】本発明の第３の実施例に係る会話補助装置１の一例を示すブロック図である。

【図7】本発明の第４の実施例に係る会話補助装置１の一例を示すブロック図である。

【図8】本発明の第５の実施例に係る会話補助装置１の一例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について添付図面を参照しつつ説明する。

【0012】

（実施形態）
図１は、本発明の実施形態に係る会話補助装置１の一例を示す全体構成図である。図２は、本発明の実施形態に係る会話補助装置１の一例を示すブロック図である。

【0013】

会話補助装置１は、透明なパーティション１０を介して対面で会話を行う発話者Ｓ及び受話者Ｌを補助するために用いられる。なお、会話補助装置１は、一方の者が発話者Ｓとして発話し、他方の者が受話者Ｌとして受話する場合だけでなく、相互に会話を行う場合、すなわち、発話者Ｓ及び受話者Ｌの立場が交互に入れ替わるような場合にも適用される。

【0014】

パーティション１０は、飛沫によるウイルス感染症の予防対策のため、発話者Ｓと受話者Ｌとの間に設置される。パーティション１０が設置される場所は、例えば、建物内の屋内空間であり、窓口、会計、会議室等である。パーティション１０は、発話者Ｓ及び受話者Ｌの間を仕切るような衝立状に構成され、床上又は机上に設置される。パーティション１０は、例えば、アクリル等の合成樹脂材料やガラスで製作され、無色透明でもよいし、有色透明でもよい。なお、パーティション１０の大きさや形状は、パーティション１０が設置される場所に応じて適宜変更されてもよい。

【0015】

会話補助装置１は、主な構成として、発話者Ｓが発話した発話内容を所定のデータ形式の発話情報として取得する発話情報取得部２と、所定のデータ形式の発話情報に対して所定の処理（例えば、音声補正処理、音声認識処理、画像認識処理等）を施して所定の出力形式の受話情報を生成する情報処理部３と、受話者Ｌに対して受話情報を所定の出力形式で出力する受話情報出力部４とを備える。

【0016】

発話情報取得部２は、例えば、発話内容を音声データ形式の発話情報（音声発話情報）として取得するマイクロホン２０、発話内容を画像データ形式の発話情報（画像発話情報）として取得するカメラ２１、又は、発話内容を選択肢データ形式の発話情報（選択肢発話情報）として取得する選択肢入力装置２２等で構成される。なお、発話情報取得部２は、マイクロホン２０、カメラ２１、及び選択肢入力装置２２の各々を複数備えていてもよいし、マイクロホン２０、カメラ２１、及び選択肢入力装置２２のうち複数種の発話情報取得部２（例えば、マイクロホン２０及びカメラ２１等）を備えていてもよい。

【0017】

マイクロホン２０及びカメラ２１は、例えば、発話者Ｓが所有する携帯機器（スマートホン等）のマイク機能やカメラ機能を使用したものでもよい。選択肢入力装置２２は、複数の選択肢を文字や図等で表示し、発話者Ｓが選択した選択肢を取得可能な非接触式タッチデバイス等で構成される。なお、選択肢入力装置２２は、パーティション１０と一体化された透明のパネルを使用したものでもよい。発話情報取得部２が取得した音声データ形式、画像データ形式又は選択肢データ形式等の発話情報（音声発話情報、画像発話情報又は選択肢発話情報等）は、情報処理部３に入力される。

【0018】

受話情報出力部４は、例えば、音声出力形式の受話情報（音声受話情報）を音声出力形式で出力するスピーカ４０、文字出力形式の受話情報（文字受話情報）を文字出力形式で出力する文字表示装置４１、選択肢出力形式の受話情報（選択肢受話情報）を選択肢出力形式で出力する選択肢出力装置４２等で構成される。なお、受話情報出力部４は、スピーカ４０、文字表示装置４１及び選択肢出力装置４２の各々を複数備えていてもよいし、スピーカ４０、文字表示装置４１及び選択肢出力装置４２のうち複数種の受話情報出力部４（例えば、スピーカ４０及び文字表示装置４１等）を備えていてもよい。

【0019】

文字表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、パーティション１０に画像を投影可能なプロジェクタ等で構成される。選択肢出力装置４２は、例えば、発話者Ｓが選択した選択肢を文字等で表示可能な非接触式タッチデバイス等で構成される。なお、文字表示装置４１及び選択肢出力装置４２は、パーティション１０と一体化された透明のパネルを使用したものでもよい。

【0020】

会話補助装置１は、発話者Ｓの特徴情報を取得する発話者特徴取得部５をさらに備えるものでもよい。

【0021】

発話者特徴取得部５は、例えば、発話者Ｓの顔や上半身を含む発話者画像を撮像するカメラ５０や、スイッチやボタン等の操作機構で発話者Ｓの操作を受け付ける操作装置５１等で構成される。操作装置５１は、発話者Ｓの特徴（年齢、聴覚障がいの有無等）を指定する発話者操作情報を、発話者Ｓの特徴情報として受け付ける。発話者特徴取得部５が取得した発話者Ｓの特徴情報は、情報処理部３に入力される。なお、カメラ５０は、発話情報取得部２を構成するカメラ２１と兼用されてもよい。また、操作装置５１は、発話情報取得部２を構成する選択肢入力装置２２と兼用されてもよい。

【0022】

会話補助装置１は、受話者Ｌの特徴情報を取得する受話者特徴取得部６をさらに備えるものでもよい。

【0023】

受話者特徴取得部６は、例えば、受話者Ｌの顔や上半身を含む受話者画像を撮像するカメラ６０や、スイッチやボタン等の操作機構で受話者Ｌの操作を受け付ける操作装置６１等で構成される。操作装置６１は、受話者Ｌの特徴（年齢、聴覚障がいの有無等）を指定する受話者操作情報を、受話者Ｌの特徴情報として受け付ける。受話者特徴取得部６が取得した受話者Ｌの特徴情報は、情報処理部３に入力される。なお、操作装置６１は、受話情報出力部４を構成する選択肢出力装置４２と兼用されてもよい。

【0024】

情報処理部３は、例えば、汎用又は専用のコンピュータで構成される。情報処理部３は、音声データ形式、画像データ形式又は選択肢データ形式等の発話情報（音声発話情報、画像発話情報又は選択肢発話情報等）を入力する入力回路３０と、入力回路３０に入力された発話情報に対して所定の処理を行い、音声出力形式、文字出力形式又は選択肢出力形式等の受話情報（音声受話情報、文字受話情報又は選択肢受話情報等）を生成する演算処理部３１と、演算処理部３１により生成された受話情報を受話情報出力部４に出力する出力回路３２と、ＨＤＤ、ＳＤＤ、メモリ等により構成される記憶部３３とを備える。なお、情報処理部３は、音響機器や映像機器等の一部として構成されてもよい。

【0025】

入力回路３０及び出力回路３２は、有線通信又は無線通信により各種の情報を送受信し、任意の通信規格が適用される。なお、会話補助装置１が、発話者特徴取得部５及び受話者特徴取得部６を備える場合には、入力回路３０には、発話者Ｓの特徴情報及び受話者Ｌの特徴情報がさらに入力される。また、入力回路３０に入力される情報、及び、出力回路３２から出力される情報は、アナログ信号又はデジタル信号のいずれでもよい。

【0026】

記憶部３３には、演算処理部３１の動作を制御するプログラム３３０や演算処理部３１が所定の処理を行うときに参照される各種の設定情報３３１が記憶されている。

【0027】

演算処理部３１は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等の１又は複数のプロセッサにより構成され、記憶部３３に記憶されたプログラム３３０を実行することにより、所定の処理として、例えば、音声処理、画像処理、選択肢判別処理、変換処理、ログ保持処理、操作判別処理等を行う。なお、演算処理部３１は、ＦＰＧＡやＡＳＩＣ等のハードウェアで構成され、所定の処理を行うものでもよい。

【0028】

音声処理は、例えば、発話者Ｓの特徴情報に基づいて音声発話情報に対して第１又は第２の周波数帯域の音声を増幅したりノイズを除去したりする第１又は第２の音声補正処理、受話者Ｌの特徴情報に基づいて音声発話情報に対して第３の周波数帯域の音声を増幅したりノイズを除去したりする第３の音声補正処理、音声発話情報に対して音声の再生速度を速くしたり遅くしたりする音声速度調整処理、音声発話情報に含まれる発話内容を認識し、文字情報に変換する音声認識処理等である。

【0029】

画像処理は、例えば、画像発話情報、発話者画像又は受話者画像に含まれる人物の顔を認識し、例えば、マスクやフェイスシールド等の飛沫防止用装着具を着用しているか否かを示す飛沫防止用装着具の着用有無、年齢、性別等を認識する顔認識処理、画像発話情報、発話者画像又は受話者画像に含まれる人物の動作を認識する動作認識処理、画像発話情報に含まれる発話者Ｓの口の動き（読唇）から発話内容を認識し、文字情報に変換する自動読唇処理、画像発話情報に含まれる発話者Ｓの手の動き（手話）から発話内容を認識し、文字情報に変換する手話認識処理等である。

【0030】

選択肢判別処理は、例えば、選択肢発話情報に含まれる選択肢を判別し、文字情報に変換する処理である。

【0031】

変換処理は、発話情報から音声処理や画像処理で取得された文字情報（テキスト情報）を所定の出力形式（例えば、音声出力形式、文字出力形式又は選択肢出力形式等）の受話情報に変換する処理である。変換処理は、自動翻訳処理及びログ保持処理の少なくとも一方をさらに含んでもよい。自動翻訳処理は、発話者Ｓが用いる発話言語（例えば、日本語）の文字情報を、受話者Ｌが用いる受話言語（例えば、英語）の文字情報に翻訳し、受話情報を生成する処理である。ログ保持処理は、過去の発話内容を所定の量又は所定の時間だけ記録して発話情報として保持することで、過去の発話内容を含む受話情報を生成する処理である。操作判別処理は、操作装置５１及び操作装置６１が受け付けた操作内容を判別する処理である。

【0032】

会話補助装置１は、発話情報取得部２、受話情報出力部４、発話者特徴取得部５、及び、受話者特徴取得部６の各部の構成を任意に組み合わせることで、発話情報のデータ形式と受話情報の出力形式の様々な組み合わせに対応可能である。その際、情報処理部３は、発話情報のデータ形式と受話情報の出力形式の組み合わせに応じて所定の処理を行う。以下、実施例１乃至５では、会話補助装置１が実現可能な組み合わせの具体例についてそれぞれ説明する。

【0033】

なお、会話補助装置１は、相互に会話を行う場合、すなわち、発話者Ｓ及び受話者Ｌの立場が交互に入れ替わるような場合にも適用可能である。その場合、会話補助装置１は、図１に示すような第１のシチュエーション（発話者Ｓが左側の人物、受話者Ｌが右側の人物）と、図１に対して発話者Ｓ及び受話者Ｌの立場が入れ替わった第２のシチュエーション（発話者Ｓが右側の人物、受話者Ｌが左側の人物）に対応する必要があるため、発話情報取得部２、受話情報出力部４、発話者特徴取得部５、及び、受話者特徴取得部６は、第１のシチュエーションに対応する第１のセットと、第２のシチュエーションに対応する第２のセットとが設置される。その際、第１のセットと第２のセットとの間で兼用できる部分は適宜兼用することで、装置全体の構成を簡略化することができる。

【0034】

（第１の実施例）
図３は、本発明の第１の実施例に係る会話補助装置１の一例を示すブロック図である。

【0035】

本実施例に係る会話補助装置１は、発話情報取得部２としてのマイクロホン２０と、情報処理部３と、受話情報出力部４としてのスピーカ４０と、発話者特徴取得部５としてのカメラ５０と、受話者特徴取得部６としてのカメラ６０及び操作装置６１とを備える。なお、各部の基本的構成は、上記の実施形態と同様のため、以下では本実施例の特徴を中心に説明する。

【0036】

入力回路３０には、マイクロホン２０による音声発話情報と、カメラ５０による発話者画像と、カメラ６０による受話者画像と、操作装置６１による受話者操作情報が入力される。出力回路３２からは、スピーカ４０に音声受話情報が出力される。

【0037】

演算処理部３１は、マイクロホン２０による音声発話情報に対して第１の音声補正処理、第２の音声補正処理、第３の音声補正処理、及び、音声速度調整処理を施して音声受話情報を生成する。演算処理部３１は、カメラ５０による発話者画像に対して発話者Ｓの飛沫防止用装着具の着用有無を認識する顔認識処理を行う。演算処理部３１は、カメラ６０による受話者画像に対して受話者Ｌの年齢を認識する顔認識処理を行う。演算処理部３１は、操作装置６１による受話者操作情報に対して受話者Ｌの聴覚障がいの有無を認識する操作判別処理を行う。

【0038】

演算処理部３１は、上記の処理を並列的に又は複合的に行うことで、発話者Ｓ及び受話者Ｌの会話を補助する。具体的に、演算処理部３１は、発話者画像に対する顔認識処理により、発話者Ｓの特徴情報として、発話者Ｓの飛沫防止用装着具の着用有無を判定する。

【0039】

その結果、演算処理部３１は、発話者Ｓが飛沫防止用装着具を着用していないと判定した場合には、マイクロホン２０から入力された音声発話情報に対して発話者Ｓの音声がパーティション１０の存在により減衰している高周波数帯域（第１の周波数帯域）の音声を増幅するように補正する第１の音声補正処理を施して音声受話情報（図１では音声情報として示す）を生成する。

【0040】

一方、演算処理部３１は、発話者Ｓが飛沫防止用装着具を着用していると判定した場合には、マイクロホン２０から入力された音声発話情報に対して、パーティション１０の存在により減衰している高周波数帯域と、飛沫防止用装着具の着用により減衰している高周波数帯域とを合わせた周波数帯域（第２の周波数帯域）の音声を増幅するように補正する第２の音声補正処理を施して音声受話情報を生成する。

【0041】

さらに、演算処理部３１は、発話者Ｓが飛沫防止用装着具を着用していると判定した場合、飛沫防止用装着具の種類をさらに認識してもよい。飛沫防止用装着具の種類としては、例えば、不織布プリーツマスク、ガーゼ平型マスク、ウレタン立体マスク、マウスシールド、シールド面が垂直のフェイスシールド、シールド面が斜めのフェイスシールド等が挙げられる。

【0042】

図４は、飛沫防止用装着具を着用していない場合を基準としたときの、各種の飛沫防止用装着具を着用している場合における音響伝播特性を示すグラフである。図４は、横軸に周波数を表し、縦軸に１／３オクターブバンドでの相対音圧レベルを表したものであり、飛沫防止用装着具の種類によって減衰する周波数帯域が異なることが分かる。そのため、演算処理部３１は、このような飛沫防止用装着具の特性を利用して、発話者Ｓの特徴情報として発話者Ｓが着用している認識飛沫防止用装着具の種類を認識する場合には、その認識した飛沫防止用装着具の種類に応じて第２の音声補正処理の処理内容（増幅する高周波数帯域の範囲や増幅するときのゲイン等）を変更してもよい。

【0043】

また、演算処理部３１は、受話者画像に対する顔認識処理又は受話者操作情報に対する操作判別処理により、受話者Ｌの特徴情報として、受話者Ｌの年齢及び聴覚障がいの有無の少なくとも一方を判定する。

【0044】

その結果、演算処理部３１は、受話者Ｌが高齢であるか（年齢が所定の基準年齢（例えば、７０歳）を超えるか）、又は、聴覚障がいを有すると判定した場合には、マイクロホン２０から入力された音声発話情報（図１では音声情報として示す）に対して高齢者や聴覚障がい者の聞き取りにくい高周波数帯域や子音成分の周波数帯域を含む周波数帯域（第３の周波数帯域）を増幅し，受話者Ｌが聞き取りやすい音声に変換するように補正する第３の音声補正処理を施して音声受話情報を生成する。

【0045】

次に、演算処理部３１は、音声発話情報（図１では音声情報として示す）に対して音声の再生速度を遅くする音声速度調整処理を施して音声受話情報を生成する。一方、演算処理部３１は、受話者Ｌが高齢でない、及び、聴覚障がいを有していないと判定した場合には、上記の第３の音声補正処理及び音声速度調整処理を省略して音声受話情報を生成する。なお、演算処理部３１は、受話者Ｌの特徴情報に基づいて第３の音声補正処理及び音声速度調整処理の少なくとも一方を施すものでもよい。

【0046】

そして、演算処理部３１は、上記のようにして生成した音声受話情報をスピーカ４０に出力（放音）させることで、発話者Ｓの発話内容が、音声として受話者Ｌに聴取される。

【0047】

なお、本実施例に係る会話補助装置１は、発話者特徴取得部５としてのカメラ５０と、受話者特徴取得部６としてのカメラ６０及び操作装置６１とを備えるものとして説明したが、発話者特徴取得部５及び受話者特徴取得部６のいずれか一方を備えるものでもよい。その場合、会話補助装置１が、発話者特徴取得部５を備えない場合には、第１及び第２の音声補正処理のいずれかを行うようにすればよい。また、会話補助装置１が発話者特徴取得部５を備えない場合には、第３の音声補正処理を行うようにしてもよいし、第３の音声補正処理を行わないようにしてもよい。

【0048】

以上のように、本実施例によれば、情報処理部３が、発話者Ｓの飛沫防止用装着具の着用有無に応じて第１又は第２の音声補正処理を施すため、発話者Ｓが飛沫防止用装着具を着用していない場合には、パーティション１０の影響を考慮して発話者Ｓの音声が補正されて、スピーカ４０から出力され、発話者Ｓが飛沫防止用装着具を着用している場合には、パーティション１０の影響だけでなく飛沫防止用装着具の影響も考慮して発話者Ｓの音声が補正されて、スピーカ４０から出力される。また、情報処理部３が、受話者Ｌの年齢及び聴覚障がいの有無に応じて第３の音声補正処理及び音声速度調整処理を施すため、例えば、受話者Ｌが高齢であるか、又は、聴覚障がいを有する場合には、発話者Ｓの音声が補正されるとともに音声の再生速度が調整されて、スピーカ４０から出力される。したがって、飛沫によるウイルス感染症の予防対策を図りつつ、円滑な会話を補助することができる。

【0049】

（第２の実施例）
図５は、本発明の第２の実施例に係る会話補助装置１の一例を示すブロック図である。

【0050】

本実施例に係る会話補助装置１は、発話情報取得部２としてのマイクロホン２０と、情報処理部３と、受話情報出力部４としての文字表示装置４１とを備える。なお、各部の基本的構成は、上記の実施形態と同様のため、以下では本実施例の特徴を中心に説明する。

【0051】

入力回路３０には、マイクロホン２０による音声発話情報が入力される。出力回路３２からは、文字表示装置４１に文字受話情報が出力される。

【0052】

演算処理部３１は、マイクロホン２０による音声発話情報に対して音声認識処理を施して文字情報を生成する。演算処理部３１は、文字情報を文字受話情報に変換する変換処理を行う。

【0053】

演算処理部３１は、上記の処理を並列的に又は複合的に行うことで、発話者Ｓ及び受話者Ｌの会話を補助する。具体的に、演算処理部３１は、マイクロホン２０から入力された音声発話情報に対する音声認識処理により、文字情報を生成する。次に、演算処理部３１は、その文字情報に対する変換処理により文字受話情報を生成する。その際、演算処理部３１は、文字情報に対して自動翻訳処理を施してもよい。また、演算処理部３１は、文字情報に対してログ保持処理を施すことで、過去の発話内容を含む文字受話情報を生成するようにしてもよい。そして、演算処理部３１は、上記のようにして生成した文字受話情報を文字表示装置４１に出力（表示）させることで、発話者Ｓの発話内容が、文字として受話者Ｌに視認される。

【0054】

以上のように、本実施例によれば、情報処理部３が、発話者Ｓの発話内容を音声認識処理により文字情報に変換し、その文字情報が文字表示装置４１に出力される。そのため、受話者Ｌが、発話者Ｓの発話内容を聞き取りにくい状況でも、発話者Ｓの発話内容を文字表示装置４１により視認することができるので、飛沫によるウイルス感染症の予防対策を図りつつ、円滑な会話を補助することができる。

【0055】

また、情報処理部３が自動翻訳処理を施すことで、使用言語の違いがあっても会話を補助することができる。さらに、情報処理部３がログ保持処理を施すことで、受話者Ｌは過去の発話内容を参考にすることができる。

【0056】

（第３の実施例）
図６は、本発明の第３の実施例に係る会話補助装置１の一例を示すブロック図である。

【0057】

本実施例に係る会話補助装置１は、発話情報取得部２としてのカメラ２１と、情報処理部３と、受話情報出力部４としての文字表示装置４１とを備える。なお、各部の基本的構成は、上記の実施形態と同様のため、以下では本実施例の特徴を中心に説明する。

【0058】

入力回路３０には、カメラ２１による画像発話情報が入力される。出力回路３２からは、文字表示装置４１に文字受話情報が出力される。

【0059】

演算処理部３１は、カメラ２１による画像発話情報に対して自動読唇処理を施して文字情報を生成する。演算処理部３１は、文字情報を文字受話情報に変換する変換処理を行う。

【0060】

演算処理部３１は、上記の処理を並列的に又は複合的に行うことで、発話者Ｓ及び受話者Ｌの会話を補助する。具体的に、演算処理部３１は、カメラ２１から入力された画像発話情報に対する自動読唇処理により、文字情報を生成する。次に、演算処理部３１は、その文字情報に対する変換処理により文字受話情報を生成する。その際、演算処理部３１は、文字情報に対して自動翻訳処理を施してもよい。また、演算処理部３１は、文字情報に対してログ保持処理を施すことで、過去の発話内容を含む文字受話情報を生成するようにしてもよい。そして、演算処理部３１は、上記のようにして生成した文字受話情報を文字表示装置４１に出力（表示）させることで、発話者Ｓの発話内容が、文字として受話者Ｌに視認される。

【0061】

以上のように、本実施例によれば、情報処理部３が、発話者Ｓの発話内容を自動読唇処理により文字情報に変換し、その文字情報が文字表示装置４１に出力される。そのため、受話者Ｌが、発話者Ｓの発話内容を聞き取りにくい状況でも、発話者Ｓの発話内容を文字表示装置４１により視認することができるので、飛沫によるウイルス感染症の予防対策を図りつつ、円滑な会話を補助することができる。

【0062】

（第４の実施例）
図７は、本発明の第４の実施例に係る会話補助装置１の一例を示すブロック図である。

【0063】

本実施例に係る会話補助装置１は、発話情報取得部２としてのカメラ２１と、情報処理部３と、受話情報出力部４としての文字表示装置４１とを備える。なお、各部の基本的構成は、上記の実施形態と同様のため、以下では本実施例の特徴を中心に説明する。

【0064】

入力回路３０には、カメラ２１による画像発話情報が入力される。出力回路３２からは、文字表示装置４１に文字受話情報が出力される。

【0065】

演算処理部３１は、カメラ２１による画像発話情報に対して手話認識処理を施して文字情報を生成する。演算処理部３１は、文字情報を文字受話情報に変換する変換処理を行う。

【0066】

演算処理部３１は、上記の処理を並列的に又は複合的に行うことで、発話者Ｓ及び受話者Ｌの会話を補助する。具体的に、演算処理部３１は、カメラ２１から入力された画像発話情報に対する手話認識処理により、文字情報を生成する。次に、演算処理部３１は、その文字情報に対する変換処理により文字受話情報を生成する。その際、演算処理部３１は、文字情報に対して自動翻訳処理を施してもよい。また、演算処理部３１は、文字情報に対してログ保持処理を施すことで、過去の発話内容を含む文字受話情報を生成するようにしてもよい。そして、演算処理部３１は、上記のようにして生成した文字受話情報を文字表示装置４１に出力（表示）させることで、発話者Ｓの発話内容が、文字として受話者Ｌに視認される。

【0067】

以上のように、本実施例によれば、情報処理部３が、発話者Ｓの手話による発話内容を手話認識処理により文字情報に変換し、その文字情報が文字表示装置４１に出力される。そのため、受話者Ｌが、手話の知識が十分にない状況でも、発話者Ｓの発話内容を文字表示装置４１により視認することができるので、飛沫によるウイルス感染症の予防対策を図りつつ、円滑な会話を補助することができる。

【0068】

（第５の実施例）
図８は、本発明の第５の実施例に係る会話補助装置１の一例を示すブロック図である。

【0069】

本実施例に係る会話補助装置１は、発話情報取得部２としての選択肢入力装置２２と、情報処理部３と、受話情報出力部４としての選択肢出力装置４２とを備える。なお、各部の基本的構成は、上記の実施形態と同様のため、以下では本実施例の特徴を中心に説明する。

【0070】

入力回路３０には、選択肢入力装置２２による選択肢発話情報が入力される。出力回路３２からは、選択肢出力装置４２に選択肢受話情報が出力される。

【0071】

演算処理部３１は、選択肢入力装置２２による選択肢発話情報に対して選択肢判別処理を施して文字情報を生成する。演算処理部３１は、文字情報を選択肢受話情報に変換する変換処理を行う。

【0072】

演算処理部３１は、上記の処理を並列的に又は複合的に行うことで、発話者Ｓ及び受話者Ｌの会話を補助する。具体的に、演算処理部３１は、選択肢入力装置２２から入力された選択肢発話情報に対する選択肢判別処理により、文字情報を生成する。次に、演算処理部３１は、その文字情報に対する変換処理により選択肢受話情報を生成する。そして、演算処理部３１は、上記のようにして生成した選択肢受話情報を選択肢出力装置４２に出力（表示）させることで、発話者Ｓの発話内容が、選択肢（文字や記号等）として受話者Ｌに視認される。

【0073】

以上のように、本実施例によれば、情報処理部３が、発話者Ｓの選択肢による発話内容を選択肢判別処理により文字情報に変換し、その文字情報が選択肢出力装置４２に出力される。そのため、受話者Ｌが、発話者Ｓの発話内容を聞き取りにくい状況でも、発話者Ｓの発話内容を選択肢出力装置４２により視認することができるので、飛沫によるウイルス感染症の予防対策を図りつつ、円滑な会話を補助することができる。

【0074】

（他の実施形態）
以上、本発明の実施形態（実施例１乃至５を含む）について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲で適宜変更可能である。

【0075】

上記実施形態において、実施例２乃至４では、情報処理部３が、発話情報に対して音声認識処理を施して文字出力形式の受話情報を生成し、文字表示装置４１が、その受話情報を文字出力形式で出力するものとして説明した。これに対し、情報処理部３が、発話情報に対して音声認識処理を施して選択肢出力形式の受話情報を生成し、選択肢出力装置４２が、その受話情報を選択肢出力形式で出力するようにしてもよい。

【0076】

上記実施形態において、実施例１乃至５の各構成を複数組み合わせてもよく、その場合には、各構成が実現する機能のオンオフを切り替えられるようにしてもよい。

【0077】

上記実施形態では、プログラム３３０は、記憶部３３に記憶されたものとして説明したが、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、プログラム３３０は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供されてもよい。

【符号の説明】

【0078】

１…会話補助装置、２…発話情報取得部、３…情報処理部、４…受話情報出力部、
５…発話者特徴取得部、６…受話者特徴取得部、１０…パーティション、
２０…マイクロホン、２１…カメラ、２２…選択肢入力装置、
３０…入力回路、３１…演算処理部、３２…出力回路、３３…記憶部、
４０…スピーカ、４１…文字表示装置、４２…選択肢出力装置、
５０…カメラ、５１…操作装置、６０…カメラ、６１…操作装置、
３３０…プログラム、３３１…設定情報、Ｌ…受話者、Ｓ…発話者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】