(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-18
(45)【発行日】2025-03-27
(54)【発明の名称】会話補助装置、会話補助方法、及びプログラム
(51)【国際特許分類】
G06F 3/04886 20220101AFI20250319BHJP
G06F 3/16 20060101ALI20250319BHJP
G09B 21/00 20060101ALI20250319BHJP
G10L 15/00 20130101ALI20250319BHJP
【FI】
G06F3/04886
G06F3/16 650
G09B21/00 F
G10L15/00 200C
(21)【出願番号】P 2024192621
(22)【出願日】2024-11-01
【審査請求日】2024-11-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】野阪 知新
【審査官】渡辺 慶人
(56)【参考文献】
【文献】特開2018-147112(JP,A)
【文献】国際公開第2019/150996(WO,A1)
【文献】国際公開第2024/176837(WO,A1)
【文献】特開2022-098934(JP,A)
【文献】特開2019-174786(JP,A)
【文献】特開2013-191103(JP,A)
【文献】米国特許出願公開第2012/0256823(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
3/048- 3/04895
(57)【特許請求の範囲】
【請求項1】
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理部と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理部と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付部と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理部と、
を備え、
前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示
し、
前記表示処理部は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理部は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、
会話補助装置。
【請求項2】
前記表示処理部は、前記第1文字情報と前記第2文字情報を、前記第1ユーザと前記第2ユーザのどちらが入力した会話内容を示す文字情報であるか分かるように区別して、前記会話内容の入力と供に逐次に前記透明ディスプレイに表示する、
請求項
1に記載の会話補助装置。
【請求項3】
前記表示処理部は、前記第1ユーザによって入力された前記第1会話内容の前記第1文字情報を前記第2主面側から視認可能に前記透明ディスプレイに表示し、前記第2ユーザによって入力された前記第2会話内容の前記第2文字情報を前記第1主面側から視認可能に前記透明ディスプレイに表示する、
請求項
1に記載の会話補助装置。
【請求項4】
前記表示処理部は、前記第1主面側又は前記第2主面側から見て、前記第1文字情報と前記第2文字情報とを重ならないように前記透明ディスプレイに表示する、
請求項
1に記載の会話補助装置。
【請求項5】
前記表示処理部は、前記透明ディスプレイの左右方向における一方側の端部に沿うように前記第1文字情報を表示し、前記第1文字情報が表示されている端部とは反対側の端部に沿うように前記第2文字情報を表示し、かつ、それぞれの文字情報を時系列に沿って上下方向に並べて表示する、
請求項
1に記載の会話補助装置。
【請求項6】
前記表示処理部は、前記第1文字情報と前記第2文字情報とを対話形式で表示する、
請求項
5に記載の会話補助装置。
【請求項7】
前記表示処理部は、前記第1文字情報に応じた文字を前記第1主面側から見て裏返しの状態で視認可能に表示し、前記第2文字情報に応じた文字を前記第2主面側から見て裏返しの状態で視認可能に表示する、
請求項
1に記載の会話補助装置。
【請求項8】
前記第1文字情報及び前記第2文字情報は、横書きの状態で表示される、
請求項
1から請求項
7のいずれか1項に記載の会話補助装置。
【請求項9】
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理過程と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理過程と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付過程と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理過程と、
を含み、
前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示
し、
前記表示処理過程は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理過程は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、
コンピュータにより実行される会話補助方法。
【請求項10】
コンピュータを、
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理手段と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理手段と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付手段と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理手段と、
として機能させ、
前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示
し、
前記表示処理手段は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理手段は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、
プログラム。
【請求項11】
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理部と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理部と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付部と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理部と、
を備え、
前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、
前記表示処理部は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、
前記多言語翻訳処理部は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、
会話補助装置。
【請求項12】
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理過程と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理過程と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付過程と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理過程と、
を含み、
前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、
前記表示処理過程は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、
前記多言語翻訳処理過程は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、
コンピュータにより実行される会話補助方法。
【請求項13】
コンピュータを、
透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理手段と、
前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理手段と、
前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付手段と、
前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理手段、
として機能させ、
前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、
前記表示処理手段は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、
前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、
前記多言語翻訳処理手段は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、会話補助装置、会話補助方法、及びプログラムに関する。
【背景技術】
【0002】
従来、互いに異なる言語を話す者同士がコミュニケーションをとるための技術として、音声入力された発話内容を翻訳して出力する技術が各種提案されている。
【0003】
例えば、下記特許文献1には、自治体の窓口や企業の受付、飲食店、レジカウンター等のように対面式で対話する場面において、対話者の間に設けられた会話補助装置が備えるマイクに対して一方の話者が発話すると、発話内容が相手の言語に翻訳されて会話補助装置が備えるディスプレイに表示される技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載された技術では、互いに異なる言語を話す者同士が発話してコミュニケーションをとることはできるが、入力方法が音声入力のみであるため、難聴者や言語障がい者など発話が困難な者とコミュニケーションをとることは難しかった。
【0006】
上述の課題を鑑み、本発明の目的は、発話が困難な者との双方向コミュニケーションを実現することが可能な会話補助装置、会話補助方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
上述の課題を解決するために、本発明の一態様に係る会話補助装置は、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理部と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理部と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付部と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理部と、を備え、前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理部は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理部は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、会話補助装置である。
また、本発明の一態様に係る会話補助装置は、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理部と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理部と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付部と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理部と、を備え、前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理部は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、前記多言語翻訳処理部は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、会話補助装置である。
【0008】
本発明の一態様に係る会話補助方法は、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理過程と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理過程と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付過程と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理過程と、を含み、前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理過程は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理過程は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、コンピュータにより実行される会話補助方法である。
また、本発明の一態様に係る会話補助方法は、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理過程と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理過程と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付過程と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理過程と、を含み、前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理過程は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理過程は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、前記多言語翻訳処理過程は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、コンピュータにより実行される会話補助方法である。
【0009】
本発明の一態様に係るプログラムは、コンピュータを、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理手段と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理手段と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付手段と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理手段と、として機能させ、前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理手段は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理手段は、前記第2ユーザが前記第1ユーザとの会話中に前記第2操作領域においてコンテンツを選択した場合、前記透明ディスプレイに表示されている会話内容の表示を選択された前記コンテンツの表示に切り替える、プログラムである。
また、本発明の一態様に係るプログラムは、コンピュータを、透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理手段と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理手段と、前記第1ユーザが前記音声入力又は前記キーボード入力によって入力する第1会話内容の入力と、前記第2ユーザが前記音声入力によって入力する第2会話内容の入力とを受け付ける入力受付手段と、前記第1会話内容が前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果と、前記第2会話内容が前記第2ユーザの使用言語から前記第1操作領域にて選択された言語へ翻訳された第2翻訳結果とを取得する多言語翻訳処理手段、として機能させ、前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示し、前記表示処理手段は、前記第1翻訳結果を示す第1文字情報及び前記第2翻訳結果を示す第2文字情報を前記透明ディスプレイに表示し、前記表示処理手段は、前記入力手段として前記キーボード入力が選択された場合、前記第1ユーザが有する第2操作端末から前記第1会話内容の入力を受け付けるための接続情報を含むコード情報を前記第1操作領域に表示し、前記多言語翻訳処理手段は、前記コード情報から読み取った前記接続情報を用いて接続された前記第2操作端末に入力される前記第1会話内容が、前記第1操作領域にて選択された言語から前記第2ユーザの使用言語へ翻訳された第1翻訳結果を取得する、プログラムである。
【発明の効果】
【0010】
本発明によれば、発話が困難な者との双方向コミュニケーションを実現することができる。
【図面の簡単な説明】
【0011】
【
図1】第1の実施形態に係る会話表示システムの利用概要を説明する図である。
【
図2】第1の実施形態に係る会話表示システムの構成の一例を示す図である。
【
図3】第1の実施形態に係るタブレット端末の機能構成の一例を示すブロック図である。
【
図4】第1の実施形態に係る多言語翻訳装置の機能構成の一例を示すブロック図である。
【
図5】第1の実施形態に係る入力選択画面の一例を示す図である。
【
図6】第1の実施形態に係る音声入力画面の一例を示す図である。
【
図7】第1の実施形態に係るキーボード入力画面の一例を示す図である。
【
図8】第1の実施形態に係る会話画面の一例を示す図である。
【
図9】第1の実施形態に係る入力画面の表示変化の一例を示す図である。
【
図10】第1の実施形態に係る会話表示システムにおける処理の流れの一例を示すシーケンス図である。
【
図11】第1の実施形態に係る入力選択処理の流れの一例を示すフローチャートである。
【
図12】第2の実施形態に係る会話表示システムの構成の一例を示すブロック図である。
【
図13】第2の実施形態に係るユーザ端末の機能構成の一例を示す図である。
【
図14】第2の実施形態に係るユーザ端末接続画面の一例を示す図である。
【
図15】第2の実施形態に係るキーボード入力画面の一例を示す図である。
【
図16】第2の実施形態に係る会話表示システムにおける処理の流れの一例を示すシーケンス図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0013】
<<1.第1の実施形態>>
図1から
図11を参照して、第1の実施形態について説明する。
【0014】
<1-1.会話表示システムの利用概要>
図1を参照して、第1の実施形態に係る会話表示システムの利用概要について説明する。
図1は、第1の実施形態に係る会話表示システムの利用概要を説明する図である。
第1の実施形態における、会話表示システムは、飛沫防止や防犯のためのパーテーションとしての機能を有するとともに、入力された会話内容を文字に瞬時に変換してパーテーション部分に表示することで、会話をリアルタイムで文字として可視化させる機能を有する。当該会話におけるユーザは、パーテーション部分が透過型であることから、対話相手の表情を視認することもできる。そのため、会話表示システムは、ユーザがスマートにコミュニケーションできる仕組みを備えている。
【0015】
会話表示システムでは、
図1に示す会話補助装置10が用いられる。会話表示システムは、例えば、自治体、店舗、駅等の窓口での業務に利用される。この場合、会話補助装置10は、
図1に示すように第1ユーザ(例えば生活者U1)と第2ユーザ(例えばオペレータU2)との間に設けられる。以下では、第1ユーザが生活者U1であり、第2ユーザがオペレータU2である例を一例として、第1の実施形態について説明する。
【0016】
図1に示すように、会話補助装置10は、ディスプレイ台座11に対して、集音装置20と、透明ディスプレイ50と、タブレット端末60とが搭載されている。ディスプレイ台座11は、載置部12と、脚部13と、収容部14と、トレイ部15とを有する。
【0017】
載置部12は、透明ディスプレイ50の主面の水平方向に沿う一辺を載置可能であり、当該一辺に応じた長さに設定されている。
図1に示す例では、透明ディスプレイ50の第1主面がある第1主面側は生活者U1に向き、透明ディスプレイ50の第1主面とは反対側の主面である第2主面がある第2主面側はオペレータU2に向くように設置されている。なお、載置部12には、透明ディスプレイ50が横置きされるように載置されてもよいし、縦置きされるように載置されてもよい。
【0018】
脚部13は、少なくとも載置部12の一方の端部である第1端部に設けられ、載置部12を支持する。なお、脚部13は、第1端部だけでなく、第1端部とは反対側の端部である第2端部にも設けられてもよい。
【0019】
収容部14は、載置部12において脚部13が設けられている端部(第1端部)とは反対側の端部である第2端部に設けられ、電子機器を収容可能である。収容部14の内部に収容される電子機器は、例えば、集音装置20、音声の変換に用いる機器、各機器を接続するためのハブやケーブルなどである。
図1に示すように、集音装置20の集音部21は、発話するユーザの音声を集音するために収容部14の外部へ出されている。脚部13が載置部12の第1端部又は第2端部のいずれか一方のみに設けられる場合、収容部14は、脚部13が設けられていない載置部12の端部側にて、載置部12を支持するように設けられる。一方、脚部13が載置部12の第1端部と第2端部の両方に設けられる場合、脚部13が載置部12の両端を支持することで、収容部14が載置部12を支持しないように設けられてもよい。
【0020】
トレイ部15は、載置部12の長手方向に応じた長さに設定され、一方の端部である第3端部に脚部13が連結され、第3端部とは反対側の端部である第4端部に収容部14が連結されている。なお、脚部13が第2端部にも設けられる場合、第4端部には、収容部14とともに第2端部側の脚部13も連結される。
図1に示すように、載置部12の長手方向において、脚部13と収容部14の間は離間しており、脚部13と収容部14との間に離間した空間が形成されている。当該空間は、透明ディスプレイ50の第1主面側(生活者U1側)と第2主面側(オペレータU2側)との間の方向(載置部12の短手方向)において貫通する空間でもある。
【0021】
また、トレイ部15には、透明ディスプレイ50の第1主面側と第2主面側とから視認可能であり、物体を載置可能な載置面が形成される。載置面は、トレイ部15において、脚部13と収容部14との間の離間した空間に対応する部位に形成される。載置面には、例えば、生活者U1とオペレータU2とが共有する第1操作端末が載置される。このため、載置面のサイズは、載置面に載置される第1操作端末のサイズに応じて設定されてよい。載置面には、例えば、
図1に示すようにタブレット端末60が載置される。この場合、載置面において、透明ディスプレイ50の厚み方向に沿うトレイ部15の長さはタブレット端末60の短手方向の長さよりも長く、透明ディスプレイ50の主面の水平方向に沿うトレイ部15の長さはタブレット端末60の長手方向よりも長く設定される。
【0022】
また、載置面の中央部には、凹部が形成されてもよい。当該凹部のサイズは、載置面のサイズと同様に設定されてよい。載置面に凹部が設けられることにより、凹部に載置される第1操作端末を生活者U1又はオペレータU2が操作した際に、第1操作端末がずれることを防止することができる。また、載置面の凹部によって第1操作端末がずれないことにより、会話補助装置10を搬送する際に第1操作端末が落下することを防止することもできる。
【0023】
なお、トレイ部15の長手方向における端部には、会話補助装置10(ディスプレイ台座11)を搬送する際に把持可能に窪む把持部151が形成されてもよい。なお、トレイ部15の端部には、トレイ部15自体の端部を加工して窪ませることで把持部151が形成されてもよいし、トレイ部15の底面に対して部品を連結し、当該部品を含めてトレイ部15の端部を窪んだ形状にすることで把持部が形成されてもよい。
また、トレイ部15の裏面(設置場所との接地面)には、転倒防止のための素材(例えばゴム)が設けられてもよい。
【0024】
以上説明したように、会話補助装置10では、ディスプレイ台座11の載置部12に透明ディスプレイ50を垂直方向に立てて設置できるようになっている。これにより、透明ディスプレイ50は、ユーザの顔の位置が透明ディスプレイ50の画面内の位置となるように設置され、生活者U1とオペレータU2の間において仕切るように設けられる。このように、透明ディスプレイ50が生活者U1とオペレータU2との間に設置されることから、飛沫等が相手に直接的に飛散することを防止することできる。なお、ディスプレイ台座11は、載置部12とトレイ部15との距離を変更可能な調整機構を有してもよい。調整機構は、脚部13そのものの高さを調整可能であってもよいし、収容部14そのものの高さを調整可能であってもよいし、載置部12の固定位置を調整可能であってもよい。当該調整機構により、ユーザの身長や座高等の違いに応じて、ユーザの顔の位置が透明ディスプレイ50の画面内の位置となるように、透明ディスプレイ50の位置を調整することができる。
【0025】
また、会話補助装置10では、脚部13と収容部14との間に形成される離間した空間が生活者U1側とオペレータU2側との間を貫通している。これにより、生活者U1とオペレータU2は、当該空間において書面や帳票などの提出物等を授受することができるようになっている。さらに、空間の高さは、収容部14の高さと同じであり、調整機構によって調整することもできる。これにより、生活者U1とオペレータU2は、空間の高さが十分に確保されるため、タブレット端末60の操作や提出物等の授受を容易に行うことができる。
【0026】
また、会話補助装置10のディスプレイ台座11は、載置部12と、脚部13と、収容部14と、トレイ部15とが連結されることにより、トレイ一体型の台座となっている。これにより、ユーザは、会話補助装置10を搬送する際に、ディスプレイ台座11と、載置部12に載置された透明ディスプレイ50と、収容部14に収容された電子機器と、トレイ部15に載置されたタブレット端末60とをまとめて運搬することができるため、運搬を効率良く行うことができる。トレイ一体型の台座でない場合、電子機器やタブレット端末60は、透明ディスプレイ50が載置されたディスプレイ台座11が載置される台(例えば受付台)などの上に直置きされることになる。この場合、ユーザは、透明ディスプレイ50が載置されたディスプレイ台座11と、電子機器やタブレット端末60とを別々に運搬する必要があり、運搬の効率が悪かった。
【0027】
<1-2.会話表示システムの構成>
以上、第1の実施形態に係る会話表示システムの利用概要について説明した。続いて、
図2を参照して、第1の実施形態に係る会話表示システムの構成について説明する。
図2は、第1の実施形態に係る会話表示システムの構成の一例を示す図である。
【0028】
図2に示すように、会話表示システム1は、会話補助装置10と、多言語翻訳装置80とを備える。
ネットワークNWには、情報の授受を行うための構成として、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等が適用される。
【0029】
(1)会話補助装置10
会話補助装置10は、生活者U1とオペレータU2との会話を補助する装置である。
図1を参照して説明したように、会話補助装置10は、載置部12と、脚部13と、収容部14と、トレイ部15とが連結されたディスプレイ台座11に対して、各種の電子機器が搭載されている。
図2に示すように、ディスプレイ台座11に搭載される電子機器は、例えば、集音装置20と、オーディオインタフェース30と、USB(Universal Serial Bus)ハブ40と、透明ディスプレイ50と、タブレット端末60とである。
【0030】
集音装置20と、オーディオインタフェース30と、USBハブ40とは、ディスプレイ台座11の収容部14の内部に収容される。透明ディスプレイ50は、ディスプレイ台座11の載置部12に載置される。タブレット端末60は、ディスプレイ台座11のトレイ部15に載置される。
【0031】
(1-1)集音装置20
集音装置20は、指向性マイクロフォン又は無指向性マイクロフォンである。集音装置20は、ユーザの声を集音可能にディスプレイ台座11に設置される。例えば、集音装置20は、本体部が収容部14の内部に収容され、集音部が収容部14の外部に位置するように設置される。集音装置20は、収容部14の内部にあるオーディオインタフェース30と有線接続されており、集音した音声をオーディオインタフェース30へ送信する。
【0032】
第1の実施形態に係る会話補助装置10は、
図2に示すように、集音装置20-1と、集音装置20-2を備える。
集音装置20-1は、生活者U1の声を集音可能に設置される。例えば、集音装置20-1は、本体部分が収容部14の内部に収容され、集音部が透明ディスプレイ50の第1主面側(生活者U1側)に位置するように収容部14の外部に出される。集音装置20-2は、オペレータU2の声を集音可能に設置される。例えば、集音装置20-2は、本体部分が収容部14の内部に収容され、集音部が透明ディスプレイ50の第2主面側(オペレータU2側)に位置するように収容部14の外部に出される。
集音装置20-1及び集音装置20-2は、それぞれオーディオインタフェース30と有線接続されている。集音装置20-1及び集音装置20-2は、集音した音声をそれぞれオーディオインタフェース30へ送信する。
【0033】
(1-2)オーディオインタフェース30
オーディオインタフェース30は、音声をデータに変換するための装置である。オーディオインタフェース30は、収容部14の内部に収容され、収容部14の内部にある集音装置20及びUSBハブ40と有線接続される。オーディオインタフェース30は、集音装置20から受信する音声をデータに変換する。オーディオインタフェース30は、音声を変換したデータ(以下、「音声データ」とも称される)を、USBハブ40を介してタブレット端末60へ送信する。
【0034】
(1-3)USBハブ40
USBハブ40は、ディスプレイ台座11に搭載される電子機器同士を接続するための装置である。
図2に示すように、USBハブ40には、オーディオインタフェース30と、透明ディスプレイ50と、タブレット端末60と、外部電源70とがそれぞれの機器の規格に応じたケーブルを用いて有線接続される。
USBハブ40は、電源ケーブルを介して外部電源70と接続されることにより、外部電源70から供給される電力を他の電子機器へ供給する。当該電力は、USBハブ40を介して、集音装置20、オーディオインタフェース30、及びタブレット端末60へ供給される。
【0035】
(1-4)透明ディスプレイ50
透明ディスプレイ50は、ユーザ同士の会話内容を表示するための装置である。透明ディスプレイ50は、載置部12に載置され、収容部14の内部にあるUSBハブ40と有線接続される。透明ディスプレイ50は、例えばHDMI(High-Definition Multimedia Interface;登録商標)ケーブルを介して、USBハブ40と接続される。これにより、透明ディスプレイ50は、USBハブ40を介してタブレット端末60から会話内容を示す会話画面のデータを受信し、会話画面を表示する。
なお、透明ディスプレイ50の電源ケーブルは、収容部14の内部を経由して、外部電源70と接続される。これにより、透明ディスプレイ50には、外部電源70から電力が供給される。
【0036】
透明ディスプレイ50は、ユーザ同士が相手の表情を視認可能な程度の透過性を有するディスプレイである。このため、ユーザが相手の表情を確認できることから、対面コミュニケーションを遮ることがない。また、透明ディスプレイ50が透過性を有していることから、背景(相手側)が透けて見えることで、視覚的に遮断せずに、また、周囲の環境に溶け込み、実物(対話相手)に重ねて映像を表示するなど多様な表現が可能なためコミュニケーションの幅を広げることができる。
【0037】
なお、透明ディスプレイ50の画面サイズは、パーテーションとして機能する程度の面積を有しており、例えば、10~50インチ程度であってもよい。透明ディスプレイ50は、会話画面の他にも各種情報を表示することができる。これにより、様々な映像表現を駆使し、コミュニケーションの幅を広げることもできる。
【0038】
(1-5)タブレット端末60
タブレット端末60は、生活者U1とオペレータU2とが共有する端末であり、第1操作端末の一例である。タブレット端末60は、トレイ部15の載置面に載置される。このため、生活者U1は透明ディスプレイ50の第1主面側からタブレット端末60を操作でき、オペレータU2は透明ディスプレイ50の第2主面側からタブレット端末60を操作できる。
タブレット端末60は、収容部14の内部にあるUSBハブ40と有線接続される。タブレット端末60は、例えば、USBケーブルを介して、USBハブ40と接続される。また、タブレット端末60は、ネットワークNWを介して、多言語翻訳装置80と通信可能に接続される。
【0039】
タブレット端末60には、生活者U1とオペレータU2の会話を補助する端末として機能させるためのアプリケーション(以下、「会話補助アプリ」とも称される)によって、各種画面が表示される。会話補助アプリの機能は、タブレット端末60に会話補助アプリをインストールすること(即ちネイティブアプリ)で提供されてもよいし、Webシステム(即ちWebアプリ)によって提供されてもよい。Webシステムの場合、会話補助アプリの機能はWebブラウザを介して提供される。
【0040】
タブレット端末60には、生活者U1が操作する第1操作領域と、オペレータU2が操作する第2操作領域とが表示される。例えば、タブレット端末60には、第1操作領域と第2操作領域とが同一画面内に表示される。これにより、オペレータU2は、自身が操作する端末にて生活者U1が画面を操作している様子を確認することができるため、生活者U1の操作を容易にサポートすることができる。
【0041】
第1操作領域には、例えば、入力手段の選択や言語の選択など、生活者U1向けの操作メニューが表示される。第2操作領域には、例えば、会話補助装置10の設定、透明ディスプレイ50における表示の設定や表示の切り替えなど、オペレータU2向けの操作メニューが表示される。
【0042】
入力手段の選択において、生活者U1は、音声入力又はキーボード入力のいずれか一方の入力手段を選択できる。このため、発話に支障がない生活者U1は、タブレット端末60にて音声入力を選択することで、発話によって会話内容の入力を行うことができる。一方、発話が困難である生活者U1は、タブレット端末60にてキーボード入力を選択することで、タイピングによって会話内容の入力を行うことができる。これにより、難聴者や言語障がい者など発話が困難な生活者U1であっても、オペレータU2と会話によるコミュニケーションをとることができる。
【0043】
音声入力によって会話内容が入力された場合、タブレット端末60は、USBハブ40を介して、オーディオインタフェース30から音声データを受信する。タブレット端末60は、ネットワークNWを介して、多言語翻訳装置80へ音声データを送信し、当該音声データが示す会話内容の翻訳結果を多言語翻訳装置80から受信する。タブレット端末60は、翻訳結果を表示する会話画面のデータを透明ディスプレイ50へ送信し、表示させる。
【0044】
言語の選択において、生活者U1は、入力に用いる言語を選択できる。選択できる言語には、例えば、日本語、英語、中国語(簡体字)、中国語(繁体字)、韓国語、インドネシア語、スペイン語、タイ語、フィリピン語、フランス語、ベトナム語、ポルトガル語、ミャンマー語などがあるが、かかる例に限定されない。入力手段としてキーボード入力が選択された場合、これらの言語の中から選択された言語のデジタルキーボードがタブレット端末60に表示される。このため、オペレータU2と用いる言語が異なる生活者U1は、タブレット端末60にて自身が用いる言語を選択することで、自身の言語によって会話内容の入力を行うことができる。これにより、オペレータU2と用いる言語が異なる生活者U1であっても、オペレータU2と会話によるコミュニケーションをとることができる。
【0045】
キーボード入力によって会話内容が入力された場合、タブレット端末60は、デジタルキーボードからタイピングによって入力される会話内容をテキストで示すデータ(以下、「テキストデータ」とも称される)を取得する。タブレット端末60は、ネットワークNWを介して、多言語翻訳装置80へテキストデータを送信し、当該テキストデータが示す会話内容の翻訳結果を多言語翻訳装置80から受信する。タブレット端末60は、翻訳結果を表示する会話画面のデータを透明ディスプレイ50へ送信し、表示させる。
【0046】
なお、生活者U1とオペレータU2がタブレット端末60を共有することにより、タブレット端末60を複数設ける必要がなくなるため、その他の用途のスペースを確保することや配線の複雑化を防止することができる。
【0047】
(2)多言語翻訳装置80
多言語翻訳装置80は、一方のユーザが用いる言語で表現された会話内容を、他方のユーザが用いる言語で表現された会話内容に翻訳する装置である。多言語翻訳装置80は、例えば1又は複数のPC(Personal Computer)やサーバ装置(例えば、クラウドサーバ)などによって構成される。
【0048】
多言語翻訳装置80は、ネットワークNWを介して、タブレット端末60と通信可能に接続されている。これにより、多言語翻訳装置80は、タブレット端末60から音声データ又はテキストデータを受信し、各データの翻訳結果をタブレット端末60へ送信する。
音声入力によって会話内容が入力された場合、多言語翻訳装置80は、タブレット端末60から音声データを受信し、当該音声データに対して音声認識処理を実行する。多言語翻訳装置80は、音声認識処理によって、音声データが示す音声を文字に変換し、当該文字を示すテキストデータを生成する。多言語翻訳装置80は、音声認識処理によって得られるテキストデータに対して翻訳処理を実行する。
キーボード入力によって会話内容が入力された場合、多言語翻訳装置80は、タブレット端末60からテキストデータを受信し、当該テキストデータに対して翻訳処理を実行する。
【0049】
<1-3.タブレット端末の機能構成>
以上、第1の実施形態に係る会話表示システム1の構成について説明した。続いて、
図3を参照して、第1の実施形態に係るタブレット端末60の機能構成について説明する。
図3は、第1の実施形態に係るタブレット端末60の機能構成の一例を示すブロック図である。
図3に示すように、タブレット端末60は、通信部610と、入力部620と、記憶部630と、制御部640と、出力部650とを備える。
【0050】
(1)通信部610
通信部610は、各種情報を送受信する機能を有する。通信部610は、有線接続によってUSBハブ40と通信可能に接続されている。これにより、通信部610は、USBハブ40を介して、オーディオインタフェース30と、透明ディスプレイ50と各種情報を送受信することができる。また、通信部610は、ネットワークNWを介して、多言語翻訳装置80と通信可能に接続されており、各種情報を送受信する。
【0051】
(2)入力部620
入力部620は、入力を受け付ける機能を有する。入力部620は、例えば、タブレット端末60がハードウェアとして備える入力装置、例えばボタン、タッチパネル、マイクロフォン等によって構成される。
【0052】
(3)記憶部630
記憶部630は、各種情報を記憶する機能を有する。記憶部630は、タブレット端末60がハードウェアとして備える記憶媒体、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0053】
(4)制御部640
制御部640は、タブレット端末60の動作全般を制御する機能を有する。制御部640は、例えば、タブレット端末60がハードウェアとして備えるCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)にプログラムを実行させることによって実現される。
図3に示すように、制御部640は、入力選択処理部641と、入力受付部642と、多言語翻訳処理部643と、表示処理部644とを備える。
【0054】
(4-1)入力選択処理部641
入力選択処理部641は、入力選択に関する処理を行う機能を有する。入力選択処理部641は、出力部650に表示されている第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した入力手段において用いる言語の選択とを受け付ける。
【0055】
(4-2)入力受付部642
入力受付部642は、会話内容の入力を受け付ける機能を有する。入力受付部642は、生活者U1が音声入力又はキーボード入力によって入力する第1会話内容の入力と、オペレータU2が音声入力によって入力する第2会話内容の入力とを受け付ける。生活者U1が音声入力によって第1会話内容を入力する場合、入力受付部642は、通信部610がUSBハブ40を介してオーディオインタフェース30から受信する音声データを、第1会話内容の入力として受け付ける。生活者U1がキーボード入力によって第1会話内容を入力する場合、入力受付部642は、入力部620にてタイピングによって入力されるテキストデータを、第1会話内容の入力として受け付ける。オペレータU2が音声入力によって第2会話内容を入力する場合、入力受付部642は、通信部610がUSBハブ40を介してオーディオインタフェース30から受信する音声データを、第2会話内容の入力として受け付ける。
【0056】
(4-3)多言語翻訳処理部643
多言語翻訳処理部643は、多言語翻訳に関する処理を行う機能を有する。多言語翻訳処理部643は、生活者U1とオペレータU2の会話内容を多言語翻訳装置80に翻訳させ、その翻訳結果を取得する。
【0057】
入力受付部642が第1会話内容の入力を受け付けた場合、多言語翻訳処理部643は、生活者U1によってタブレット端末60に入力される第1会話内容を、通信部610を介して多言語翻訳装置80へ送信する。第1会話内容は、多言語翻訳装置80によって、第1操作領域にて選択された言語からオペレータU2の使用言語へ翻訳される。第1会話内容の第1翻訳結果は、ネットワークNWを介して多言語翻訳装置80からタブレット端末60へ送信される。多言語翻訳処理部643は、通信部610が多言語翻訳装置80から受信する第1翻訳結果を取得する。これにより、多言語翻訳処理部643は、第1会話内容が第1操作領域にて選択された言語からオペレータU2の使用言語へ翻訳された第1翻訳結果を取得する。
【0058】
入力受付部642が第2会話内容の入力を受け付けた場合、多言語翻訳処理部643は、オペレータU2によってタブレット端末60に入力される第2会話内容を、通信部610を介して多言語翻訳装置80へ送信する。第2会話内容は、多言語翻訳装置80によって、オペレータU2の使用言語から第1操作領域にて選択された言語へ翻訳される。第2会話内容の第2翻訳結果は、ネットワークNWを介して多言語翻訳装置80からタブレット端末60へ送信される。多言語翻訳処理部643は、通信部610が多言語翻訳装置80から受信する第2翻訳結果を取得する。これにより、多言語翻訳処理部643は、第2会話内容がオペレータU2の使用言語から第1操作領域にて選択された言語へ翻訳された第2翻訳結果を取得する。
【0059】
(4-4)表示処理部644
表示処理部644は、表示に関する処理を行う機能を有する。表示処理部644は、タブレット端末60における表示と、透明ディスプレイ50における表示を制御する。
【0060】
表示処理部644は、透明ディスプレイ50の第1主面側にいる生活者U1と、第2主面側にいるオペレータU2とが共有するタブレット端末60に対して、生活者U1が操作する第1操作領域と、オペレータU2が操作する第2操作領域とを表示する。
表示処理部644は、第1操作領域において入力手段としてキーボード入力が選択された場合、選択された言語を用いた入力が可能なデジタルキーボードを、選択を受け付けた第1操作領域に表示する。
【0061】
表示処理部644は、第1翻訳結果を示す第1文字情報及び第2翻訳結果を示す第2文字情報を透明ディスプレイ50に表示する。
表示処理部644は、生活者U1によって入力された第1会話内容の第1文字情報を第2主面側から視認可能に透明ディスプレイ50に表示する。ここでは、第1文字情報が透明ディスプレイ50の第2主面側に表示された際、第2主面側にいるオペレータU2が、表示された文字を読むことができればよい。この場合、表示処理部644は、第1文字情報に応じた文字を第1主面側から見て裏返しの状態で視認可能に表示することになる。即ち、第1主面側にいる生活者U1は、透明ディスプレイ50の第2主面側に表示された第1文字情報の文字を左右が反転した状態で視認することになる。
一方、表示処理部644は、オペレータU2によって入力された第2会話内容の第2文字情報を第1主面側から視認可能に透明ディスプレイ50に表示する。ここでは、第2文字情報が透明ディスプレイ50の第1主面側に表示された際、第1主面側にいる生活者U1が、表示された文字を読むことができればよい。この場合、表示処理部644は、第2文字情報に応じた文字を第2主面側から見て裏返しの状態で視認可能に表示することになる。即ち、第2主面側にいるオペレータU2は、透明ディスプレイ50の第1主面側に表示された第2文字情報の文字を左右が反転した状態で視認することとなる。
【0062】
表示処理部644は、第1文字情報と第2文字情報を、生活者U1とオペレータU2のどちらが入力した会話内容を示す文字情報であるか分かるように区別して、会話内容の入力と供に逐次に透明ディスプレイ50に表示する。例えば、表示処理部644は、生活者U1が入力した会話内容とオペレータU2が入力した会話内容を、それぞれ異なる吹き出しの中に表示する。表示処理部644は、吹き出しのしっぽ(ツノ)の向きによって、生活者U1とオペレータU2のどちらが入力した会話内容であるかを表現する。表示処理部644は、新しい会話内容が入力されるごとに、新しい吹き出しを生成して表示する。
また、表示処理部644は、第1主面側又は第2主面側から見て、第1文字情報と第2文字情報とを重ならないように透明ディスプレイ50に表示する。例えば、表示処理部644は、透明ディスプレイ50の左右方向における一方側の端部に沿うように第1文字情報を表示し、第1文字情報が表示されている端部とは反対側の端部に沿うように第2文字情報を表示し、かつ、それぞれの文字情報を時系列に沿って上下方向に並べて表示する。これにより、表示処理部644は、第1文字情報と第2文字情報とを対話形式で表示する。なお、第1の実施形態では、第1文字情報及び第2文字情報が横書きの状態で表示される例について説明するが、かかる例に限定されず、縦書きの状態で表示可能であってもよい。
【0063】
表示処理部644は、オペレータU2による操作に応じて、透明ディスプレイ50における表示を切り替えてもよい。例えば、オペレータU2が第2操作領域において透明モードをオンにする操作をした場合、表示処理部644は、透明ディスプレイ50上に表示中の内容を一時的に非表示とし、透明なディスプレイの状態とする。この状態でオペレータU2が第2操作領域において透明モードをオフにする操作をした場合、表示処理部644は、透明ディスプレイ50の表示を元に戻す。
また、オペレータU2が生活者U1との会話中に第2操作領域においてコンテンツを選択した場合、表示処理部644は、透明ディスプレイ50に表示されている会話内容の表示を選択されたコンテンツの表示に切り替える。即ち、表示処理部644は、透明ディスプレイ50上に表示されている会話履歴を一時的に非表示とし、代わりとなるコンテンツを表示することができる。なお、表示処理部644は、生活者U1とオペレータU2とが会話を行っておらず、会話補助装置10が未使用である場合に、透明ディスプレイ50にコンテンツを表示させてもよい。コンテンツは、例えば、サイネージコンテンツ、広告、フロアガイド、操作ガイドなどである。
【0064】
(5)出力部650
出力部650は、各種情報を出力する機能を有する。出力部650は、例えば、タブレット端末60がハードウェアとして備える出力装置、例えばディスプレイ装置やタッチスクリーン(タッチパネル)などの表示装置や、スピーカなどの音声出力装置によって構成される。
【0065】
<1-4.多言語翻訳装置の機能構成>
以上、第1の実施形態に係るタブレット端末60の機能構成について説明した。続いて、
図4を参照して、第1の実施形態に係る多言語翻訳装置80の機能構成について説明する。
図4は、第1の実施形態に係る多言語翻訳装置80の機能構成の一例を示すブロック図である。
図4に示すように、多言語翻訳装置80は、通信部810と、記憶部820と、制御部830とを備える。
【0066】
(1)通信部810
通信部810は、各種情報を送受信する機能を有する。通信部810は、ネットワークNWを介して、タブレット端末60と通信可能に接続されており、各種情報を送受信する。
【0067】
(2)記憶部820
記憶部820は、各種情報を記憶する機能を有する。記憶部820は、多言語翻訳装置80がハードウェアとして備える記憶媒体、例えば、HDD、SSD、フラッシュメモリ、EEPROM、RAM、ROM、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0068】
(3)制御部830
制御部830は、多言語翻訳装置80の動作全般を制御する機能を有する。制御部830は、例えば、多言語翻訳装置80がハードウェアとして備えるCPU又はGPUにプログラムを実行させることによって実現される。
図4に示すように、制御部830は、音声認識部831と、多言語翻訳部832とを備える。
【0069】
(3-1)音声認識部831
音声認識部831は、音声認識処理を行う機能を有する。音声入力によって会話内容が入力された場合、音声認識部831は、通信部810がタブレット端末60から受信する音声データを取得し、当該音声データに対して音声認識処理を実行する。音声認識部831は、音声認識処理によって音声データからテキストデータを生成する。キーボード入力によって会話内容が入力された場合、音声認識部831は、音声認識処理を実行しない。
【0070】
(3-2)多言語翻訳部832
多言語翻訳部832は、翻訳処理を行う機能を有する。音声入力によって会話内容が入力された場合、多言語翻訳部832は、音声認識部831によって生成されたテキストデータに対して翻訳処理を実行する。キーボード入力によって会話内容が入力された場合、多言語翻訳部832は、通信部810がタブレット端末60から受信するテキストデータを取得し、当該テキストデータに対して翻訳処理を実行する。
翻訳処理後、多言語翻訳部832は、通信部810を介して、翻訳処理によって得られた翻訳結果をタブレット端末60へ送信する。
【0071】
<1-5.画面表示例>
以上、第1の実施形態に係る多言語翻訳装置80の機能構成について説明した。続いて、
図5から
図9を参照して、第1の実施形態に係る画面表示例について説明する。
【0072】
(1)入力選択画面
図5を参照して、第1の実施形態に係る入力選択画面について説明する。
図5は、第1の実施形態に係る入力選択画面の一例を示す図である。
【0073】
図5に示す入力選択画面G1は、入力手段と言語の選択のためにタブレット端末60に表示される画面である。入力選択画面G1において、領域R1は生活者U1が操作する第1操作領域であり、領域R2はオペレータU2が操作する第2操作領域である。
【0074】
第1操作領域内の領域R3には、入力手段として音声入力又はキーボード入力のいずれか一方を選択するよう指示するメッセージが表示されている。生活者U1は、音声入力を示すボタンB1又はキーボード入力を示すボタンB2を押下することで、希望する入力手段を選択できる。また、領域R4には、入力に用いる言語を選択するよう指示するメッセージが表示されている。生活者U1は、各言語を示すボタンB3の中からいずれかのボタンを押下することで、希望する言語を選択できる。
【0075】
第2操作領域内のボタンB4は、選択された言語での翻訳モードを起動するためのボタンである。ボタンB4は、生活者U1による言語の選択に伴い自動で押下された状態となるため、オペレータU2が操作する必要はない。ボタンB5は、登録済みのコンテンツを透明ディスプレイ50に表示するためのボタンである。
図5に示す例では、ボタンB5には、登録されたコンテンツのいずれかを表示するためのボタンと、全てのコンテンツを表示するためのボタンがある。ボタンB6は、設定画面を表示するためのボタンである。
【0076】
(2)音声入力画面
図6を参照して、第1の実施形態に係る音声入力画面について説明する。
図6は、第1の実施形態に係る音声入力画面の一例を示す図である。
【0077】
図6に示す音声入力画面G2は、入力手段として音声入力が選択された場合にタブレット端末60に表示される画面である。音声入力画面G2において、領域R1は生活者U1が操作する第1操作領域であり、領域R2はオペレータU2が操作する第2操作領域である。
【0078】
第1操作領域内のボタンB7は、生活者U1側の音声入力をアクティベートするためのボタンである。生活者U1は、第1操作領域内のボタンB7を押下することで、音声入力を行うことができる。領域R5には、音声入力をするためにボタンB7を押下するよう指示するメッセージが表示されている。領域R6には、選択された言語が表示されている。
【0079】
第2操作領域内のボタンB7は、オペレータU2側の音声入力をアクティベートするためのボタンである。オペレータU2は、第2操作領域内のボタンB7を押下することで、音声入力を行うことができる。ボタンB8は、透明ディスプレイ50上に表示されている内容を一時的に非表示にするためのボタンである。ボタンB8が押下されると透明ディスプレイ50の表示画面が透明状態(何も表示されていない状態)となり、ボタンB8が再度押下れると元の表示に戻る。ボタンB9は、透明ディスプレイ50に表示されている文字を削除するためのボタンである。ボタンB9は、例えば誤訳などが表示された場合に利用される。ボタンB10は、ホーム画面に戻るためのボタンである。スライドバーSBは、左右にスライドすることで透明ディスプレイ50に表示されている文字のサイズを変更するための操作子である。
【0080】
(3)キーボード入力画面
図7を参照して、第1の実施形態に係るキーボード入力画面について説明する。
図7は、第1の実施形態に係るキーボード入力画面の一例を示す図である。
【0081】
図7に示すキーボード入力画面G3は、入力手段としてキーボード入力が選択された場合にタブレット端末60に表示される画面である。キーボード入力画面G3において、領域R1は生活者U1が操作する第1操作領域であり、領域R2はオペレータU2が操作する第2操作領域である。
【0082】
第1操作領域内のキーボードKBは、生活者U1側がキーボード入力を行うためのデジタルキーボードである。
図7には、一例として、入力選択画面G1にてキーボード入力とミャンマー語が選択されたためにミャンマー語のデジタルキーボードが表示されている。生活者U1は、デジタルキーボードでタイピングすることで、キーボード入力を行うことができる。領域R5には、デジタルキーボードで要件を入力するよう指示するメッセージが表示されている。領域R6には、選択された言語が表示されている。領域R7には、生活者U1がデジタルキーボード入力した内容が表示される。
第2操作領域内は、音声入力画面G2と同様のレイアウトとなっている。
【0083】
(4)会話画面
図8を参照して、第1の実施形態に係る会話画面について説明する。
図8は、第1の実施形態に係る会話画面の一例を示す図である。
図8には、一例として、透明ディスプレイ50の第1主面側(生活者U1側)から見た場合の会話画面が表示されている。なお、
図8に示す例では、生活者U1が英語を用い、オペレータU2が日本語を用いて会話をする場合について説明する。
【0084】
図8に示す会話画面G4は、生活者U1とオペレータU2が会話を行っている場合に透明ディスプレイ50に表示される画面である。
図8に示す例では、一例として、会話画面G4の左右方向において、左側の端部の上下方向に時系列で生活者U1の会話内容(第1文字情報)が表示され、右側の端部の上下方向に時系列でオペレータU2の会話内容(第2文字情報)が表示されている。会話画面G4では、吹き出しのしっぽを会話画面G4の外側又は中央側に向けることで、生活者U1とオペレータU2のどちらの会話内容であるかが区別されている。例えば、透明ディスプレイ50の第1主面側(生活者U1側)から見た場合、会話画面G4の外側にしっぽが向いている吹き出しが生活者U1の会話内容を示し、中央側にしっぽが向いている吹き出しがオペレータU2の会話内容を示している。透明ディスプレイ50の第2主面側(オペレータU2側)から見た場合、会話画面G4の外側にしっぽが向いている吹き出しがオペレータU2の会話内容を示し、中央側にしっぽが向いている吹き出しが生活者U1の会話内容を示している。
【0085】
吹き出しF1及び吹き出しF2には、オペレータU2が入力した会話内容が表示されている。オペレータU2が「こんにちは。」と日本語で音声入力すると、日本語で「こんにちは。」と示す吹き出しF1が生成されて透明ディスプレイ50の第2主面側に表示される。また、「こんにちは。」が日本語から英語に翻訳され、「Hello.」と示す吹き出しF2が生成されて透明ディスプレイ50の第1主面側に表示される。
【0086】
吹き出しF3及び吹き出しF4には、オペレータU2が続けて入力した会話内容が表示されている。オペレータU2が「本日はどうされましたか。」と日本語で音声入力すると、日本語で「本日はどうされましたか。」と示す吹き出しF3が生成されて透明ディスプレイ50の第2主面側に表示される。また、「本日はどうされましたか。」が日本語から英語に翻訳され、「What brings you here today?」と示す吹き出しF4が生成されて透明ディスプレイ50の第1主面側に表示される。
【0087】
吹き出しF5及び吹き出しF6には、生活者U1が入力した会話内容が表示されている。生活者U1が「Please tell me a recommended Japanese restaurant around?」と英語で音声入力又はキーボード入力すると、英語でで「Please tell me a recommended Japanese restaurant around?」と示す吹き出しF5が生成されて透明ディスプレイ50の第1主面側に表示される。また、「Please tell me a recommended Japanese restaurant around?」が英語から日本語に翻訳され、「この辺でおすすめの日本料理店をおしえてください。」と示す吹き出しF6が生成されて透明ディスプレイ50の第2主面側に表示される。
【0088】
(5)入力画面の表示変化
図9を参照して、第1の実施形態に係る入力画面の表示変化について説明する。
図9は第1の実施形態に係る入力画面の表示変化の一例を示す図である。
図9には、音声入力画面における表示変化の一例を示す。
【0089】
図9に示す音声入力画面G2-1は、表示変化前の状態を示している。音声入力画面G2-1では、ボタンB4が選択された状態、ボタンB7が活性状態となっている。この状態において、オペレータU2が第2操作領域である領域R2内にあるボタンB5の中から、透明ディスプレイ50に表示したいコンテンツに応じたボタンを押下したとする。この場合、音声入力画面G2-1の状態は、音声入力画面G2-2の状態に変化する。音声入力画面G2-2では、ボタンB4が未選択の状態、ボタンB7が非活性状態となっている。このように、音声入力画面G2では、ボタンB5の押下により、生活者U1とオペレータU2が音声入力をできない状態となる。キーボード入力画面G3でも同様に、ボタンB5の押下により、生活者U1はキーボード入力ができない状態となり、オペレータU2は音声入力ができない状態となる。
【0090】
<1-6.処理の流れ>
以上、第1の実施形態に係る画面表示例について説明した。続いて、
図10から
図11を参照して、第1の実施形態に係る処理の流れについて説明する。
【0091】
(1)会話表示システム1における処理の流れ
図10を参照して、第1の実施形態に係る会話表示システム1における処理の流れについて説明する。
図10は、第1の実施形態に係る会話表示システム1における処理の流れの一例を示すシーケンス図である。
【0092】
図10に示すように、まず、タブレット端末60は、入力選択処理を行う(ステップS101)。入力選択処理の詳細は後述する。
入力選択処理にて生活者U1によって入力手段が選択されると、タブレット端末60の入力受付部642は、選択された入力手段による入力を受け付ける(ステップS102)。音声入力によって会話内容が入力された場合、入力受付部642は、音声データを取得する。キーボード入力によって会話内容が入力された場合、入力受付部642は、テキストデータを取得する。
多言語翻訳処理部643は、通信部610を介して、会話内容を示す音声データ又はテキストデータを多言語翻訳装置80へ送信する(ステップS103)。
【0093】
多言語翻訳装置80は、通信部810がタブレット端末60から受信するデータの形式を確認する(ステップS104)。データの形式が音声データである場合(ステップS104/YES)、処理はステップS105へ進む。一方、データの形式がテキストデータである場合(ステップS104/NO)、処理はステップS106へ進む。
【0094】
処理がステップS105へ進んだ場合、音声認識部831は、通信部810が受信する音声データを取得し、当該音声データに対して音声認識処理を実行し、テキストデータを生成する(ステップS105)。テキストデータの生成後、処理はステップS106へ進む。
処理がステップS106へ進んだ場合、多言語翻訳部832は、通信部810が受信するテキストデータ又は音声認識部831によって生成されたテキストデータを取得し、当該テキストデータに対して翻訳処理を実行する(ステップS106)。
翻訳処理後、多言語翻訳部832は、通信部810を介して、翻訳結果をタブレット端末60へ送信する(ステップS107)。
【0095】
タブレット端末60の表示処理部644は、通信部610が多言語翻訳装置80から受診する翻訳結果を、通信部610を介して透明ディスプレイ50へ送信する(ステップS108)。
透明ディスプレイ50は、タブレット端末60から受信する翻訳結果を表示する(ステップS109)。
【0096】
(2)入力選択処理の流れ
図11を参照して、第1の実施形態に係る入力選択処理の流れについて説明する。
図11は、第1の実施形態に係る入力選択処理の流れの一例を示すフローチャートである。
【0097】
図11に示すように、まず、タブレット端末60の表示処理部644は、入力選択画面G1を出力部650に表示する(ステップS1011)。
次に、入力選択処理部641は、生活者U1から入力手段及び入力言語の選択を受け付ける(ステップS1012)。
【0098】
入力手段として音声入力が選択された場合(ステップS1013/音声入力)、処理はステップS1014へ進む。入力手段としてキーボード入力が選択された場合(ステップS1013/キーボード入力)、処理はステップS1015へ進む。
【0099】
処理がステップS1014へ進んだ場合、表示処理部644は、音声入力画面G2を出力部650に表示する(ステップS1014)。
処理がステップS1015へ進んだ場合、表示処理部644は、選択された言語のデジタルキーボードが表示されたキーボード入力画面G3を出力部650に表示する(ステップS1015)。
【0100】
以上説明したように、第1の実施形態に係る会話補助装置10は、透明ディスプレイ50の第1主面がある第1主面側にいる生活者U1(第1ユーザ)と、第1主面とは反対側の主面である第2主面がある第2主面側にいるオペレータU2(第2ユーザ)とが共有するタブレット端末60(第1操作端末)に対して、生活者U1が操作する第1操作領域と、オペレータU2が操作する第2操作領域とを表示する表示処理部644と、第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した入力手段において用いる言語の選択とを受け付ける入力選択処理部641と、を備え、表示処理部644は、入力手段としてキーボード入力が選択された場合、選択された言語を用いた入力が可能なデジタルキーボードを、選択を受け付けた第1操作領域に表示する。
【0101】
かかる構成により、難聴者や言語障がい者など発話が困難な生活者U1は、タブレット端末60を操作してキーボード入力と使用言語を選択することで、自身が用いる言語のデジタルキーボードをタイピングして会話内容を入力することで、オペレータU2とコミュニケーションをとることができる。
よって、第1の実施形態に係る会話補助装置10は、発話が困難な者との双方向コミュニケーションを実現することを可能とする。
【0102】
<<2.第2の実施形態>>
以上、第1の実施形態について説明した。続いて、
図12から
図16を参照して、第2の実施形態について説明する。上述した第1の実施形態では、キーボード入力を希望する生活者U1がオペレータU2と共有するタブレット端末60を用いてキーボード入力を行う例について説明したが、かかる例に限定されない。例えば、生活者U1が有するユーザ端末を用いてキーボード入力が行われてもよい。これにより、生活者U1は、普段から使用しており使い慣れているキーボードや入力操作(例えばフリック入力など)によってキーボード入力を行うことができる。
以下では、一例として、生活者U1が自身の有するスマートフォンを用いてキーボード入力を行う例について説明する。なお、以下では、第1の実施形態における説明と重複する説明については、適宜省略する。
【0103】
<2-1.会話表示システムの構成>
図12を参照して、第2の実施形態に係る会話表示システムの構成について説明する。
図12は、第2の実施形態に係る会話表示システムの構成の一例を示すブロック図である。
図12に示すように、第2の実施形態に係る会話表示システム1aは、第1の実施形態に係る会話表示システム1が備える構成に加えて、さらにユーザ端末90を備える構成となっている。
【0104】
ユーザ端末90は、生活者U1が有する端末であり、第2操作端末の一例である。ユーザ端末90は、例えば、スマートフォン、タブレット端末、又はPCなどの端末である。ユーザ端末90は、ネットワークNWを介して、多言語翻訳装置80と通信可能に接続されている。
【0105】
<2-2.タブレット端末の機能構成>
以上、第2の実施形態に係る会話表示システム1aの構成について説明した。続いて、第2の実施形態に係るタブレット端末60の機能構成について説明する。第2の実施形態に係るタブレット端末60が備える機能構成は、第1の実施形態に係るタブレット端末60が備える機能構成と同様である。ただし、一部機能構成の機能に異なる部分がある。
【0106】
表示処理部644は、入力手段としてキーボード入力が選択された場合、生活者U1が有するユーザ端末90(第2操作端末)から第1会話内容の入力を受け付けるための接続情報を含むコード情報を第1操作領域に表示する。コード情報は、例えば、二次元コードである。接続情報は、例えば接続先(多言語翻訳装置80)のアドレスである。
【0107】
多言語翻訳処理部643は、コード情報から読み取った接続情報を用いて接続されたユーザ端末90に入力される第1会話内容が、第1操作領域にて選択された言語からオペレータU2の使用言語へ翻訳された第1翻訳結果を取得する。生活者U1によってユーザ端末90に入力される第1会話内容は、ネットワークNWを介してユーザ端末90から多言語翻訳装置80へ送信され、多言語翻訳装置80によって翻訳される。第1会話内容の第1翻訳結果は、ネットワークNWを介して多言語翻訳装置80からタブレット端末60へ送信される。多言語翻訳処理部643は、通信部610が多言語翻訳装置80から受信する第1翻訳結果を取得する。
【0108】
<2-3.ユーザ端末の機能構成>
以上、第2の実施形態に係る会話表示システム1aの構成について説明した。続いて、
図13を参照して、第2の実施形態に係るユーザ端末90の機能構成について説明する。
図13は、第2の実施形態に係るユーザ端末90の機能構成の一例を示す図である。
図13に示すように、ユーザ端末90は、通信部910と、読取部920と、入力部930と、記憶部940と、制御部950と、出力部960とを備える。
【0109】
(1)通信部910
通信部910は、各種情報を送受信する機能を有する。通信部910は、ネットワークNWを介して、多言語翻訳装置80と通信可能に接続されており、各種情報を送受信する。
【0110】
(2)読取部920
読取部920は、コード情報を読み取る機能を有する。読取部920は、例えば、ユーザ端末90がハードウェアとして備えるカメラによって構成される。読取部920は、カメラの撮像範囲においてコード情報が検知されると、当該コード情報を読み取り、多言語翻訳装置80へ接続するための接続情報を取得する。
【0111】
(3)入力部930
入力部930は、入力を受け付ける機能を有する。入力部930は、例えば、ユーザ端末90がハードウェアとして備える入力装置、例えばボタン、タッチパネル、マイクロフォン等によって構成される。
【0112】
(4)記憶部940
記憶部940は、各種情報を記憶する機能を有する。記憶部940は、ユーザ端末90がハードウェアとして備える記憶媒体、例えば、HDD、SSD、フラッシュメモリ、EEPROM、RAM、ROM、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0113】
(5)制御部950
制御部950は、ユーザ端末90の動作全般を制御する機能を有する。制御部950は、例えば、ユーザ端末90がハードウェアとして備えるCPU又はGPUにプログラムを実行させることによって実現される。
図13に示すように、ユーザ端末90は、接続処理部951と、入力処理部952と、送信処理部953と、表示処理部954とを備える。
【0114】
(5-1)接続処理部951
接続処理部951は、ユーザ端末90を会話表示システム1aに接続するための処理を行う機能を有する。接続処理部951は、読取部920によって取得された情報に基づき、ユーザ端末90を多言語翻訳装置80と通信可能に接続する。
【0115】
(5-2)入力処理部952
入力処理部952は、入力に関する処理を行う機能を有する。入力処理部952は、生活者U1がキーボード入力によって入力する第1会話内容の入力を受け付ける。生活者U1がユーザ端末90にてキーボード入力によって第1会話内容を入力する場合、入力処理部952は、入力部930にてタイピングによって入力されるテキストデータを、第1会話内容の入力として受け付ける。
【0116】
(5-3)送信処理部953
送信処理部953は、送信に関する処理を行う機能を有する。送信処理部953は、入力処理部952によって第1会話内容の入力が受け付けられると、通信部910を介して、第1会話内容のテキストデータを多言語翻訳装置80へ送信する。
【0117】
(5-4)表示処理部954
表示処理部954は、表示に関する処理を行う機能を有する。表示処理部954は、接続処理部951によって接続処理が行われると、出力部960にキーボード入力画面を表示する。
【0118】
(6)出力部960
出力部960は、各種情報を出力する機能を有する。出力部960は、例えば、ユーザ端末90がハードウェアとして備える出力装置、例えばディスプレイ装置やタッチスクリーン(タッチパネル)などの表示装置や、スピーカなどの音声出力装置によって構成される。
【0119】
<2-4.画面表示例>
以上、第2の実施形態に係るユーザ端末90の機能構成について説明した。続いて、
図14から
図15を参照して、第2の実施形態に係る画面表示例について説明する。
【0120】
(1)ユーザ端末接続画面
図14を参照して、第2の実施形態に係るユーザ端末接続画面について説明する。
図14は、第2の実施形態に係るユーザ端末接続画面の一例を示す図である。
【0121】
図14に示すユーザ端末接続画面G5は、入力手段としてキーボード入力が選択され、かつユーザ端末90でキーボード入力を行うことが選択された場合にタブレット端末60に表示される画面である。ユーザ端末接続画面G5において、領域R1は生活者U1が操作する第1操作領域であり、領域R2はオペレータU2が操作する第2操作領域である。
【0122】
第1操作領域内には、
図14に示すように二次元コードCD(コード情報)が表示される。生活者U1は、ユーザ端末90を用いて二次元コードCDを読み取ることで、ユーザ端末90を用いてキーボード入力を行うことが可能となる。
第2操作領域内は、音声入力画面G2と同様のレイアウトとなっている。
【0123】
(2)キーボード入力画面
図15を参照して、第2の実施形態に係るキーボード入力画面について説明する。
図15は、第2の実施形態に係るキーボード入力画面の一例を示す図である。
【0124】
図15に示すキーボード入力画面G6は、生活者U1がユーザ端末接続画面G5に表示されたコード情報をユーザ端末90で読み取ると、ユーザ端末90に表示される画面である。領域R11には、生活者U1が選択した言語で入力するよう指示するメッセージが表示されている。領域R12には、生活者U1が入力した会話内容が時系列で表示されている。キーボードKBは、生活者U1がタブレット端末60の入力選択画面G1にて選択した言語のデジタルキーボードが表示される。
【0125】
<2-5.処理の流れ>
以上、第2の実施形態に係る画面表示例について説明した。続いて、
図16を参照して、第2の実施形態に係る処理の流れについて説明する。
図16は、第2の実施形態に係る会話表示システム1aにおける処理の流れの一例を示すシーケンス図である。
【0126】
図16に示すように、まず、タブレット端末60は、入力手段としてキーボード入力の選択を受け付ける(ステップS201)。具体的には、
図11を参照して説明した入力選択処理と同様にしてキーボード入力の選択を受け付ける。さらに、タブレット端末60は、ユーザ端末90を用いたキーボード入力の選択も受け付ける。
タブレット端末60は、ユーザ端末90を用いたキーボード入力の選択を受け付けると、ユーザ端末接続画面G5を表示し、第1操作領域にコード情報を表示する(ステップS202)。
【0127】
ユーザ端末90の読取部920は、生活者U1による操作に応じてカメラを起動し、タブレット端末60のユーザ端末接続画面G5に表示されているコード情報を読み取る(ステップS203)。
ユーザ端末90の接続処理部951は、読取部920によって読み取られたコード情報から取得される接続情報に基づき、多言語翻訳装置80と通信可能に接続するための接続処理を行う(ステップS204)。
ユーザ端末90の表示処理部954は、接続処理後、出力部960にキーボード入力画面G6を表示する(ステップS205)。
キーボード入力画面G6にて会話内容が入力されると、ユーザ端末90の送信処理部953は、通信部910を介して、入力された会話内容のテキストデータを多言語翻訳装置80へ送信する(ステップS206)。
テキストデータの送信後、表示処理部954は、キーボード入力画面G6にテキストデータを送信した会話内容の送信日時を表示する(ステップS207)。
【0128】
多言語翻訳装置80の多言語翻訳部832は、通信部810がユーザ端末90から受信するテキストデータを取得し、当該テキストデータに対して翻訳処理を実行する(ステップS208)。
翻訳処理後、多言語翻訳部832は、通信部810を介して、翻訳結果をタブレット端末60へ送信する(ステップS209)。
【0129】
タブレット端末60の表示処理部644は、通信部610が多言語翻訳装置80から受診する翻訳結果を、通信部610を介して透明ディスプレイ50へ送信する(ステップS210)。
透明ディスプレイ50は、タブレット端末60から受信する翻訳結果を表示する(ステップS211)。
【0130】
<<3.変形例>>
以上、第2の実施形態について説明した。続いて、各実施形態の変形例について説明する。なお、以下に説明する変形例は、単独で各実施形態に適用されてもよいし、組み合わせで各実施形態に適用されてもよい。また、変形例は、各実施形態で説明した構成に代えて適用されてもよいし、各実施形態で説明した構成に対して追加的に適用されてもよい。
【0131】
上述した実施形態では、ディスプレイ台座11に対して、盗難防止用の鍵が設けられていてもよい。当該鍵は、例えばチェーンロックなどであり、載置部12、脚部13、収容部14、及びトレイ部15の任意の位置に設けられてよい。当該鍵により、例えば、収容部14の内部に収容されている電子機器やトレイ部15の載置面に載置されているタブレット端末60を、ディスプレイ台座11にロック(固定)することができ、盗難を防止することができる。
【0132】
以上、実施形態について説明した。
なお、上述した実施形態における会話表示システム1,1a、会話補助装置10、タブレット端末60、多言語翻訳装置80、及びユーザ端末90の一部又は全部の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0133】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0134】
1,1a…会話表示システム、10…会話補助装置、11…ディスプレイ台座、12…載置部、13…脚部、14…収容部、15…トレイ部、20(20-1,20-2)…集音装置、21…集音部、30…オーディオインタフェース、40…USBハブ、50…透明ディスプレイ、60…タブレット端末、70…外部電源、80…多言語翻訳装置、90…ユーザ端末、610…通信部、620…入力部、630…記憶部、640…制御部、641…入力選択処理部、642…入力受付部、643…多言語翻訳処理部、644…表示処理部、650…出力部、810…通信部、820…記憶部、830…制御部、831…音声認識部、832…多言語翻訳部、910…通信部、920…読取部、930…入力部、940…記憶部、950…制御部、951…接続処理部、952…入力処理部、953…送信処理部、954…表示処理部、960…出力部、NW…ネットワーク
【要約】
【課題】発話が困難な者との双方向コミュニケーションを実現することが可能な会話補助装置、会話補助方法、及びプログラムを提供する。
【解決手段】透明ディスプレイの第1主面がある第1主面側にいる第1ユーザと、前記第1主面とは反対側の主面である第2主面がある第2主面側にいる第2ユーザとが共有する第1操作端末に対して、前記第1ユーザが操作する第1操作領域と、前記第2ユーザが操作する第2操作領域とを表示する表示処理部と、前記第1操作領域において、音声入力又はキーボード入力のいずれか一方の入力手段の選択と、選択した前記入力手段において用いる言語の選択とを受け付ける入力選択処理部と、を備え、前記表示処理部は、前記入力手段として前記キーボード入力が選択された場合、選択された前記言語を用いた入力が可能なデジタルキーボードを、前記選択を受け付けた前記第1操作領域に表示する、会話補助装置。
【選択図】
図3