(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117618
(43)【公開日】2024-08-29
(54)【発明の名称】制御プログラム、表示制御装置及び制御方法
(51)【国際特許分類】
G09G 5/00 20060101AFI20240822BHJP
G09G 5/22 20060101ALI20240822BHJP
G09G 5/24 20060101ALI20240822BHJP
G09G 5/32 20060101ALI20240822BHJP
G06F 3/16 20060101ALI20240822BHJP
G06F 3/0484 20220101ALI20240822BHJP
H04N 5/74 20060101ALI20240822BHJP
【FI】
G09G5/00 550C
G09G5/22 630D
G09G5/24 640
G09G5/32 640L
G06F3/16 650
G06F3/16 620
G06F3/0484
H04N5/74 Z
【審査請求】未請求
【請求項の数】22
【出願形態】OL
(21)【出願番号】P 2023023817
(22)【出願日】2023-02-17
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.MIRACAST
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】上村 隼人
【テーマコード(参考)】
5C058
5C182
5E555
【Fターム(参考)】
5C058BA35
5C182AA02
5C182AA04
5C182AA22
5C182AB03
5C182AB11
5C182AB12
5C182AC02
5C182AC03
5C182BA35
5C182BC22
5C182BC25
5C182BC26
5C182CB34
5C182CB47
5C182DA52
5C182DA65
5C182DA68
5E555AA24
5E555AA46
5E555BA04
5E555BA29
5E555BB04
5E555BB29
5E555BC04
5E555BD07
5E555BE08
5E555CA17
5E555CA47
5E555CB64
5E555DB41
5E555DC11
5E555DC13
5E555EA23
5E555FA00
(57)【要約】
【課題】数字に関する表示を改善する。
【解決手段】プログラムは、コンピュータに、音声認識によって変換された後の文字情報に数字が含まれると判定した場合、第1文字情報と、数字に関する第1通知とを、表示部の第1表示領域に表示することを含む処理を実行させる。第1文字情報は、文字情報から生成した第1文字情報であって、数字の視認性を低下させたものである。
【選択図】
図2
【特許請求の範囲】
【請求項1】
表示制御装置に、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む処理を実行させる、制御プログラム。
【請求項2】
前記表示部は、第1ユーザと第2ユーザとの間に位置し、
前記処理は、前記第1表示領域において前記文字情報に含まれる文字列が前記第1ユーザから見て正立して表示されるように、前記第1文字情報を生成することを含む、請求項1に記載の制御プログラム。
【請求項3】
前記表示部は、
前記第1表示領域は、前記第1ユーザ及び前記第2ユーザの両方が前記第1表示領域の表示を視認できるように構成される、請求項2に記載の制御プログラム。
【請求項4】
前記表示部は、第2表示領域を含み、前記第2表示領域は、前記第2ユーザのみが前記第2表示領域の表示を視認できるように構成され、
前記処理は、前記文字情報から生成した第2文字情報と、前記数字に関する第2通知とを前記第2表示領域に表示することを含む、請求項3に記載の制御プログラム。
【請求項5】
前記処理は、前記第2通知を前記第2文字情報とは異なる表示態様で前記第2表示領域に表示することを含む、請求項4に記載の制御プログラム。
【請求項6】
前記処理は、前記第2表示領域において前記文字情報に含まれる文字列が前記第2ユーザから見て正立して表示されるように、前記第2文字情報を生成することを含む、請求項4に記載の制御プログラム。
【請求項7】
前記第2通知は、前記数字が正しいか否かを問う通知であり、
前記処理は、前記数字が正しいことを示す第1入力を受け付けた場合、前記視認性を低下させた数字の視認性を上げて前記第1表示領域に表示することを含む、請求項4に記載の制御プログラム。
【請求項8】
前記数字の視認性を低下させる処理は、前記数字を伏字に置き換える処理であり、
前記処理は、
前記視認性を低下させた数字の視認性を上げる処理として、前記伏字を前記文字情報に含まれる数字に置き換えることと、
前記数字に置き換えた後、前記第1通知及び前記第2通知を削除することと、を含む、請求項7に記載の制御プログラム。
【請求項9】
前記第1通知の内容と前記第2通知の内容とは、同じである、請求項4に記載の制御プログラム。
【請求項10】
前記第1通知は、数字が確認中であることを示す通知である、請求項1に記載の制御プログラム。
【請求項11】
前記処理は、前記数字が誤りであることを示す第2入力を受け付けた場合、正しい数字の入力を促す第3通知を前記第2表示領域に表示することを含む、請求項4に記載の制御プログラム。
【請求項12】
前記処理は、前記第3通知の表示後、数字を示す入力を受け付けた場合、受け付けた数字を前記第1表示領域に表示することを含む、請求項11に記載の制御プログラム。
【請求項13】
前記処理は、前記受け付けた数字を前記第2表示領域に表示することを含む、請求項12に記載の制御プログラム。
【請求項14】
前記表示部は、第1ユーザと第2ユーザとの間に位置し、
前記表示部は、第2表示領域を含み、前記第2表示領域は、前記第2ユーザのみが前記第2表示領域の表示を視認できるように構成され、
前記処理は、
前記文字情報から生成した第2文字情報であって、前記数字の視認性を低下させた第2文字情報と、数字の入力を促す第4通知とを前記第2表示領域に表示することと、
前記第4通知の表示後、数字を示す第3入力を受け付けた場合、前記第1表示領域において前記第3入力が示す数字を表示することと、を含む、請求項1に記載の制御プログラム。
【請求項15】
前記数字の視認性を低下させる処理は、前記数字を伏字に置き換える処理であり、
前記処理は、
前記第1表示領域において前記受け付けた数字を表示することとして、前記第1文字情報の前記伏字を前記第3入力が示す数字に置き換えることと、
前記数字に置き換えた後、前記第1通知及び前記第4通知を削除することと、を含む、請求項14に記載の制御プログラム。
【請求項16】
前記処理は、前記第2文字情報の前記伏字を前記第3入力が示す数字に置き換えることを含む、請求項15に記載の制御プログラム。
【請求項17】
前記処理は、前記第1通知を前記第1文字情報とは異なる表示態様で前記第1表示領域に表示することを含む、請求項1に記載の制御プログラム。
【請求項18】
前記処理は、
前記音声認識によって変換された後の文字情報を取得することと、
前記文字情報に数字が含まれると判定した場合、前記文字情報の取得を停止することと、を含む、請求項1から17までの何れか一項に記載の制御プログラム。
【請求項19】
前記処理は、音声認識処理を実行するサーバへの音声のデータを送信を停止することにより、前記文字情報の取得を停止することを含む、請求項18に記載の制御プログラム。
【請求項20】
前記処理は、
前記文字情報の取得を停止してから所定時間以内にマイクによって音声が検出された場合、前記第1表示領域に、音声の取得処理が停止中であることを示す通知を表示することを含む、請求項19に記載の制御プログラム。
【請求項21】
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示する制御部を備える、表示制御装置。
【請求項22】
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制御プログラム、表示制御装置及び制御方法に関する。
【背景技術】
【0002】
従来、ユーザの発話を音声認識によって文字情報に変換し、変換された後の文字情報をディスプレイ等の表示装置に表示する技術が知られている。このようにユーザの発話を音声認識によって文字情報に変換する際、ユーザの発話に含まれる数字が誤認識されてしまう場合がある。そこで、誤認識された数字を補正する音声認識装置が知られている(特許文献1)。
【0003】
例えば、特許文献1には、話者が「123」を「百、二十、三」のように、「百」と「二十」の間と「二十」と「三」との間をそれぞれ空けて発話した場合、「123」が「100203」と誤認識されることが記載されている。この場合、特許文献1に記載の音声認識装置は、最大桁数が「3」の場合において、音声認識結果として数詞「100203」を含む発話文を音声認識サーバから取得したときは、数詞「100203」を最大桁数3桁以下の「123」に補正する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の技術では、数字に関する表示について改善の余地がある。
【0006】
かかる点に鑑みてなされた本開示の目的は、数字に関する表示を改善することにある。
【課題を解決するための手段】
【0007】
本開示の一実施形態に係る制御プログラムは、
表示制御装置に、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む処理を実行させる。
【0008】
本開示の一実施形態に係る表示制御装置は、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示する制御部を備える。
【0009】
本開示の一実施形態に係る制御方法は、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む。
【発明の効果】
【0010】
本開示の一実施形態によれば、数字に関する表示を改善することができる。
【図面の簡単な説明】
【0011】
【
図1】本開示の一実施形態に係る表示システムの概略構成を示す図である。
【
図2】
図1に示す表示システムのブロック図である。
【
図3】第1表示領域及び第2表示領域を第1ユーザから見た構成を示す図である。
【
図4】第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図5】第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図6】第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図7】第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図8】第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図9】本開示の一実施形態に係る制御処理の流れを示すフローチャートである。
【
図10】本開示の一実施形態に係る制御処理の流れを示すフローチャートである。
【
図11】本実施形態の他の実施形態に係る第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図12】本実施形態の他の実施形態に係る第1表示領域及び第2表示領域を第2ユーザから見た構成を示す図である。
【
図13】本開示の他の実施形態に係る制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本開示に係る実施形態について、図面を参照して説明する。
【0013】
(表示システムの構成)
図1に示すような本実施形態に係る表示システム1は、窓口において使用される。表示システム1が使用される窓口は、例えば、政府若しくは自治体等の公的機関の窓口、金融機関の窓口、医療機関の窓口又は公共交通機関等の窓口である。ただし、表示システム1は、窓口以外でも使用されてよい。例えば、表示システム1は、民間事業者の営業店舗又はオフィス内の会議室等において使用されてもよい。
【0014】
表示システム1は、第1ユーザU1と第2ユーザU2との間の対話を支援することができる。第1ユーザU1は、窓口を訪れた来訪者である。第1ユーザU1は、例えば、聴覚障害者である。第2ユーザU2は、窓口を担当する窓口担当者である。このような窓口では、第1ユーザU1と第2ユーザU2とは、互いに向き合う。
【0015】
表示システム1は、
図1に示すように、基材10と、プロジェクタ20とを含む。表示システム1は、
図2に示すように、マイク30と、入力装置40と、電子機器50とを含む。電子機器50は、表示システム1における表示制御装置である。プロジェクタ20、マイク30及び入力装置40と、電子機器50とは、通信線を介して通信可能である。通信線は、例えば、有線又は無線を含んで構成される。プロジェクタ20と、マイク30と、入力装置40と、電子機器50とは、1つの装置として構成されてもよい。
【0016】
基材10は、
図1に示すように、第1ユーザU1と第2ユーザU2との間に位置する。基材10は、例えば、透明部材で構成される。基材10の縦方向の長さは、一般的な人間の上半身の長さ以上の長さであってよい。基材10の横方向の長さは、一般的な人間の肩幅の数倍程度であってよい。近年、感染症を予防するために、第1ユーザU1のような来訪者と第2ユーザU2のような窓口担当者との間に、飛沫対策のためのビニールカーテン又はアクリル板等が設置されることがある。このようなビニールカーテン又はアクリル板等が、基材10として用いられてよい。
【0017】
基材10は、
図2に示すように、面10A,10Bを含む。基材10が第1ユーザU1と第2ユーザU2との間に位置する場合、第1ユーザU1は、面10B側に位置する。また、第2ユーザU2は、面10A側に位置する。基材10は、透明スクリーン11を備える。
【0018】
透明スクリーン11は、
図2に示すように、基材10の面10A,10Bのうち、面10A側に配置される。透明スクリーン11には、後述するように第2ユーザU2の発話内容がプロジェクタ20によって投影される。透明スクリーン11に第2ユーザU2の発話内容が投影されることにより、聴覚障害者である第1ユーザU1は、透明スクリーン11に投影された第2ユーザU2の発話内容を読んで理解することができる。
【0019】
透明スクリーン11は、基材10の任意の箇所に配置されてよい。一例として、透明スクリーン11は、基材10が第1ユーザU1と第2ユーザU2との間に位置する場合、基材10において第1ユーザU1と第2ユーザU2とが互いの顔を目視することを妨げない位置に配置されてよい。この場合、透明スクリーン11は、基材10の中央よりも下側に配置されてよい。透明スクリーン11のサイズは、透明スクリーン11に投影させる情報量に基づいて設定されてよい。
【0020】
透明スクリーン11は、
図2に示すように、スクリーン部12と、遮光部13とを含む。スクリーン部12は、基材10の面10A上に配置される。遮光部13は、スクリーン部12上に配置される。
【0021】
スクリーン部12は、プロジェクタ用スクリーンである。スクリーン部12は、例えば、基材10に張り付け可能なフィルム状、シート状又は板状等の透明部材で構成される。スクリーン部12自体が、「透明スクリーン」と呼ばれることがある。スクリーン部12には、プロジェクタ20の投影光が入射する。スクリーン部12は、入射した投影光の一部を、投影光の入射側及び出射側のそれぞれにおいて拡散させる。第1ユーザU1及び第2ユーザU2は、スクリーン部12によって拡散された投影光が視界に入ることにより、プロジェクタ20が投影した映像を認識することができる。
【0022】
スクリーン部12の形状は、例えば、長方形状である。ただし、スクリーン部12の形状は、長方形状に限定されない。スクリーン部12の形状は、任意の形状であってよい。スクリーン部12のサイズは、スクリーン部12に投影させる情報量に基づいて設定されてよい。
【0023】
遮光部13は、プロジェクタ20から射出される投影光の透過を少なくとも部分的に遮る。本実施形態では、遮光部13は、プロジェクタ20から射出される投影光のうち、所定の波長の透過光を遮断する。遮光部13は、例えば、所定の波長の光を遮断するダイクロイックフィルムで構成される。例えば、遮光部13は、赤色の光を遮断するダイクロイックフィルムで構成される。
【0024】
遮光部13は、スクリーン部12の一部に重ねられてよい。例えば、遮光部13は、スクリーン部12の表面に重ねて配置される。
図2に示すように、遮光部13は、スクリーン部12の表面のうち、中央よりも下側に配置されてよい。
【0025】
遮光部13の形状は、例えば、長方形状である。ただし、遮光部13の形状は、長方形状に限定されない。遮光部13の形状は、任意の形状であってよい。遮光部13のサイズは、遮光部13に投影される情報量に基づいて設定されてよい。
【0026】
スクリーン部12は、表示システム1における表示部となる。スクリーン部12の領域は、
図2に示すように、第1表示領域A1と第2表示領域A2とを含む。
【0027】
第1表示領域A1は、スクリーン部12の領域のうち、遮光部13と重ならない領域である。第1表示領域A1には、プロジェクタ20によって文字等の投影光が照射される。第1表示領域A1をスクリーン部12の領域のうちで遮光部13と重ならない領域とすることにより、第1ユーザU1及び第2ユーザU2の両方がプロジェクタ20によって第1表示領域A1に投影された文字等を視認することができる。本実施形態では、第1表示領域A1は、第1ユーザU1が第2ユーザU2の発話内容を読むために使用される。
【0028】
第2表示領域A2は、スクリーン部12と遮光部13とが重なる領域である。後述するように、第2表示領域A2には、遮光部13によって遮断される所定の波長の投影光がプロジェクタ20によって照射される。このとき、第1ユーザU1は、第2表示領域A2に投影された文字等を視認できなくなる。しかしながら、第2ユーザU2は、第2表示領域A2に投影された文字等を視認することができる。本実施形態では、第2表示領域A2は、第2ユーザU2が自身の発話内容を確認するために使用される。
【0029】
プロジェクタ20は、
図2に示すように基材10の面10A,10Bのうち、面10A側に配置される。プロジェクタ20は、例えば、
図1に示すように基材10よりも第2ユーザU2の方に、配置される。
【0030】
プロジェクタ20は、電子機器50の制御に基づいて、スクリーン部12に投影光を照射する。プロジェクタ20は、スクリーン部12に投影光を照射することにより、文字をスクリーン部12に投影する。プロジェクタ20は、スクリーン部12に投影光を照射することにより、文字に加えて静止画像及び動画像等をスクリーン部12に投影してもよい。
【0031】
マイク30は、
図2に示すように基材10の面10A,10Bのうち、面10A側に配置される。マイク30は、例えば、
図1に示すような基材10よりも第2ユーザU2の方に配置される。一例として、マイク30は、第2ユーザU2の前の机の上に配置されてよい。マイク30は、第2ユーザU2がヘッドセットを装着する場合、そのヘッドセットに取り付けられてもよい。
【0032】
マイク30は、音声を集音する。マイク30によって集音される音声には、第2ユーザU2が発した発話が含まれ得る。マイク30は、集音した音声のデータを電子機器50に送信する。
【0033】
入力装置40は、
図2に示すように基材10の面10A,10Bのうち、面10A側に配置される。入力装置40は、例えば、
図1に示すような基材10よりも第2ユーザU2の方に配置される。一例として、入力装置40は、
図1に示すような第2ユーザU2の前の机の上に配置されてよい。
【0034】
入力装置40は、キーボード又はテンキー等で構成される。入力装置40は、複数のスイッチを含んで構成されてよい。入力装置40は、複数のスイッチのうちの所定スイッチが操作されると、複数のスイッチがテンキーの入力モードに切り替わるように構成されてよい。
【0035】
入力装置40は、第2ユーザU2からの入力を受け付ける。入力装置40は、受け付けた入力のデータを電子機器50に送信する。
【0036】
電子機器50は、例えば、スマートフォン又はタブレット端末等である。電子機器50は、ネットワーク2を介してサーバ3と通信可能である。ネットワーク2は、移動体通信網及びインターネット等を含む任意のネットワークであってよい。
【0037】
サーバ3は、ネットワーク2を介してアクセスできるサーバである。本実施形態に係るサーバ3は、音声認識サービスを提供する音声認識サーバである。音声認識サービスは、音声を文字情報に変換するサービスである。本実施形態に係るサーバ3は、音声のデータを受信すると、受信した音声のデータに対して音声認識処理を実行する。サーバ3は、音声認識処理を実行することにより、受信した音声のデータを文字情報に変換する。サーバ3は、変換後の文字情報を音声のデータの送信元へ送信する。サーバ3は、音声認識サービスを有料又は無料のサービスとして提供する。
【0038】
電子機器50は、
図2に示すように、通信部51と、記憶部52と、制御部53とを備える。
【0039】
通信部51は、ネットワーク2に接続可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、例えば、LTE(Long Term Evolution)、4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応した通信モジュールである。
【0040】
通信部51は、通信線を介してプロジェクタ20と通信可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、電子機器50とプロジェクタ20との間の通信線の規格に対応した通信モジュールである。通信線の規格は、ミラキャスト(Miracast)等の近距離無線通信規格である。
【0041】
通信部51は、通信線を介してマイク30と通信可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、電子機器50とマイク30との間の通信線の規格に対応した通信モジュールである。通信線の規格は、CTIA(Cellular Telephone Industry Association)規格又はOMTP(Open Mobile Terminal Platform)規格等の有線通信規格である。
【0042】
通信部51は、通信線を介して入力装置40と通信可能な少なくとも1つの通信モジュールを含んで構成される。通信モジュールは、電子機器50と入力装置40との間の通信線の規格に対応した通信モジュールである。通信線の規格は、例えば、Bluetooth(登録商標)等の近距離無線通信規格である。
【0043】
記憶部52は、少なくとも1つの半導体メモリ、少なくとも1つの磁気メモリ、少なくとも1つの光メモリ又はこれらのうちの少なくとも2種類の組み合わせを含んで構成される。半導体メモリは、例えば、RAM(Random Access Memory)又はROM(Read Only Memory)等である。RAMは、例えば、SRAM(Static Random Access Memory)又はDRAM(Dynamic Random Access Memory)等である。ROMは、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)等である。記憶部52は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部52は、電子機器50の動作に用いられるデータと、電子機器50の動作によって得られたデータとを記憶する。例えば、記憶部52は、システムプログラム、アプリケーションプログラム及び組み込みソフトウェア等を記憶する。
【0044】
制御部53は、少なくとも1つのプロセッサ、少なくとも1つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、CPU(Central Processing Unit)若しくはGPU(Graphics Processing Unit)等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)等である。制御部53は、電子機器50の各部を制御しながら、電子機器50の動作に関わる処理を実行する。
【0045】
制御部53は、マイク30から、マイク30によって集音された音声のデータを通信部51によって受信する。受信した音声のデータには、第2ユーザU2が発した発話のデータが含まれ得る。制御部53は、受信した音声のデータを、ネットワーク2を介してサーバ3に通信部51によって送信する。サーバ3は、電子機器50から音声のデータを受信すると、受信した音声のデータに対して音声認識処理を実行する。音声認識処理は、音声のデータを文字情報に変換する処理である。サーバ3は、音声のデータを文字情報に変換すると、変換した後の文字情報をネットワーク2を介して電子機器50に送信する。
【0046】
制御部53は、ネットワーク2を介してサーバ3から、音声認識によって変換された後の文字情報を通信部51によって受信する。本実施形態では、制御部53は、サーバ3から文字情報を受信することにより、音声認識によって変換された後の文字情報を取得する。
【0047】
制御部53は、サーバ3から受信した文字情報に数字が含まれるか否かを判定する。
【0048】
<数字が含まれない場合の処理>
制御部53は、サーバ3から受信した文字情報に数字が含まれないと判定した場合、受信した文字情報から第1文字情報及び第2文字情報を生成する。
【0049】
第1文字情報は、第1表示領域A1に表示させる文字情報である。制御部53は、第1表示領域A1において第1ユーザU1から見て正立して表示されるように、第1文字情報を生成する。本開示において「正立」は、ユーザから見て文字等が左右正しく表示された状態を意味する。「正立」は、文字等が左右反転した状態と対比して用いられる。第1文字情報の文字列が第1表示領域A1において並ぶ方向は、言語及び第1表示領域A1における文章の表示態様等に依拠する。一例として、受信した文字情報は、日本語による文字情報であるものとする。また、第1表示領域A1には、後述の
図3に示すように、文章が横書きの表示態様で表示されるものとする。ここで、横書きの日本語の文章は、文章の左側から右側に向けて読まれる。そのため、制御部53は、後述の
図3に示す第1文字情報60のように、受信した文字情報に含まれる文字列が第1ユーザU1から見て左側から右側に向けて並ぶように、第1文字情報を生成する。制御部53は、第1ユーザU1から見て文字情報に含まれる文字列が可読になるように、第1文字情報を生成してもよい。
【0050】
第2文字情報は、第2表示領域A2に表示させる文字情報である。第1文字情報と同じ又は類似に、制御部53は、後述の
図4に示す第2文字情報70のように、第2表示領域A2において文字情報に含まれる文字列が第2ユーザU2から見て正立して表示されるように、第2文字情報を生成する。つまり、第2ユーザU2から見て、第2表示領域A2に表示された第2文字情報と第1表示領域A1に表示される第1文字情報とは、左右反転の関係にあってよい。制御部53は、第2ユーザU2から見て文字情報に含まれる文字列が可読になるように、第2文字情報を生成してもよい。
【0051】
制御部53は、第1文字情報及び第2文字情報を生成すると、第1文字情報を第1表示領域A1に表示し、第2文字情報を第2表示領域A2に表示する。
【0052】
第1文字情報の表示について、制御部53は、プロジェクタ20に制御信号を通信部51によって送信することにより、プロジェクタ20に第1文字情報の投影光を第1表示領域A1に照射させる。第1文字情報の投影光の波長は、第1表示領域A1における文字等の見やすさを考慮して設定されてよい。制御部53は、プロジェクタ20に第1文字情報の投影光を第1表示領域A1に照射させることにより、第1文字情報を第1表示領域A1に表示する。
【0053】
第2文字情報の表示について、制御部53は、プロジェクタ20に制御信号を通信部51によって送信することにより、プロジェクタ20に第2文字情報の投影光を第2表示領域A2に照射させる。第2文字情報の投影光は、遮光部13によって遮断される所定の波長の光である。例えば、遮光部13が赤色の光を遮断するダイクロイックフィルムで構成される場合、第2文字情報の投影光は、赤色の光の波長となる。制御部53は、プロジェクタ20に第2文字情報の投影光を第2表示領域A2に照射させることにより、第2文字情報を第2表示領域A2に表示する。
【0054】
例えば、
図3には、第1表示領域A1及び第2表示領域A2を第1ユーザU1から見た構成を示す。
図4には、第1表示領域A1及び第2表示領域A2を第2ユーザU2から見た構成を示す。
図3及び
図4では、制御部53は、サーバ3から「おはようございます。」との文字情報を受信する。この場合、制御部53は、
図3に示すように「おはようございます。」との文字列が第1ユーザU1から見て正立して表示されるように、第1文字情報60を生成する。また、制御部53は、
図4に示すように「おはようございます。」との文字列が第2ユーザU2から見て正立して表示されるように、第2文字情報70を生成する。つまり、第2ユーザU2から見て、第2表示領域A2に表示された第2文字情報70と第1表示領域A1に表示された第1文字情報60とは、左右反転の関係にある。上述したように、第2文字情報70の投影光は、遮光部13によって遮断される所定の波長の光である。そのため、
図3に示すように、第1ユーザU1は、第2表示領域A2に投影された「おはようござます。」との文字を視認できない。
【0055】
<数字が含まれる場合の処理>
制御部53は、サーバ3から受信した文字情報に数字が含まれると判定した場合、文字情報に数字が含まれないと判定した場合の処理と同じ又は類似に、受信した文字情報から第1文字情報及び第2文字情報を生成する。ただし、第1文字情報の数字については、制御部53は、その数字の視認性を低下させる処理を実行する。制御部53は、第1文字情報の数字の視認性を第1文字情報の数字以外の文字の視認性よりも低下させることができれば、任意の視認性を低下させる処理を実行してよい。数字の視認性を低下する処理は、その数字を伏字又は空欄に置き換える処理であってよい。ただし、数字の視認性を低下する処理は、これらに限られない。第2文字情報の数字については、制御部53は、その数字の視認性を低下させる処理を実行しなくてもよい。
【0056】
制御部53は、第1文字情報を生成すると、第1文字情報と第1通知とを第1表示領域A1に表示する。第1通知は、数字に関する通知である。第1通知の文字列は、第1表示領域A1において第1ユーザU1から見て正立して表示される。第1通知の文字列は、第1ユーザU1から見て可読になるように表示されてよい。プロジェクタ20から照射される第1通知の投影光の波長は、第1表示領域A1における文字等の見やすさを考慮して設定されてよい。第1通知の内容は、後述の第2通知の内容と同じであってもよいし、後述の第2通知の内容とは異なってもよい。第1通知の内容と後述の第2通知の内容とが異なる場合、第1通知は、数字が確認中であることを示す通知であってもよい。制御部53は、第1通知を第1表示領域A1に、第1文字情報とは異なる表示態様で表示してもよいし、第1文字情報と同じ表示態様で表示してもよい。
【0057】
制御部53は、第2文字情報を生成すると、第2文字情報と第2通知とを第2表示領域A2に表示する。第2通知は、数字に関する通知である。第2通知の文字列は、第2表示領域A2において第2ユーザU2から見て正立して表示される。つまり、第2ユーザU2から見て、第2表示領域A2に表示される第2通知と第1表示領域A1に表示される第1通知とは、左右反転の関係にあってよい。第2通知の文字列は、第2ユーザU2から見て可読になるように表示されてよい。第2文字情報と同じ又は類似に、プロジェクタ20から照射させる第2通知の投影光は、遮光部13によって遮断される所定の波長の光である。第2通知は、数字が正しいか否かを問う通知であってよい。
【0058】
また、制御部53は、サーバ3から受信した文字情報に数字が含まれると判定した場合、サーバ3からの文字情報の取得を停止してよい。本実施形態では、制御部53は、サーバ3への音声のデータの送信を停止することにより、サーバ3からの文字情報の取得を停止する。制御部53は、サーバ3からの文字情報の取得を停止させている間、マイク30による音声の集音を停止させてもよいし、停止させなくてもよい。マイク30による音声の集音を停止させない場合、制御部53は、マイク30によって集音した音声のデータを記憶部52に記憶させ続けてもよい。制御部53は、サーバ3からの文字情報の取得を停止することにより、第1表示領域A1への新たな第1文字情報の表示及び第2表示領域A2への新たな第2文字情報の表示を停止する。
【0059】
例えば、
図5には、第1表示領域A1及び第2表示領域A2を第2ユーザU2から見た構成を示す。
図5では、制御部53は、サーバ3から「住民票写しの手数料は、300円です。」との文字情報を受信する。制御部53は、この文字情報に「300」との数字が含まれると判定する。制御部53は、サーバ3からの文字情報の取得を停止する。
【0060】
図5では、制御部53は、「住民票写しの手数料は、XXX円です。」との第1文字情報61と、「[上記金額で正しいですか?]」との第1通知62とを第1表示領域A1に表示する。第1文字情報61では、「300」との数字が「XXX」との伏字61Aに置き換えられる。「300」との数字が「XXX」との伏字61Aに置き換えられることにより、「300」との数字が誤りである場合、第1ユーザU1が誤りである数字を覚えてしまう可能性を低減することができる。また、第1通知62が第1表示領域A1に表示されることにより、第1ユーザU1は、伏字61Aに置き換えられた数字が第2ユーザU2によって確認中であることを知ることができる。ここで、第1通知62は、第1文字情報61とは異なり、括弧を含む。つまり、第1通知62は、第1文字情報61とは異なる表示態様で第1表示領域A1に表示される。第1通知62の表示態様が第1文字情報61の表示態様と異なることにより、第1ユーザU1は、第1通知62が第2ユーザU2の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0061】
図5では、制御部53は、「住民票写しの手数料は300円です。」との第2文字情報71と、「[上記金額で正しいですか?]」との第2通知72とを第2表示領域A2に表示する。第2通知72を表示することにより、「300」との数字が正しいか否かの判断を第2ユーザU2に促すことができる。ここで、第2通知72は、第2文字情報71とは異なり、括弧を含む。つまり、第2通知72は、第2文字情報71とは異なる表示態様で第2表示領域A2に表示される。第2通知72の表示態様が第2文字情報71の表示態様と異なることにより、第2ユーザU2は、第2通知72が自身の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0062】
図5では、サーバ3からの文字情報の取得が停止されることにより、第1文字情報61が表示された後に第2ユーザU2が発話した場合であっても、第2ユーザU2の発話が新たな第1文字情報として第1表示領域A1に表示されなくなる。同じ又は類似に、第2ユーザU2の発話が新たな第2文字情報として第2表示領域A2に表示されなくなる。このような構成により、第2ユーザU2が「300」との数字を確認する前に、第1ユーザU1と第2ユーザU2の対話が進んでしまうことを防ぐことができる。
【0063】
図5では、第1通知62の内容と第2通知72の内容とは、金額が正しいか否かを問う内容である。つまり、第1通知62の内容と第2通知72の内容とは、同じである。ただし、第1通知の内容と第2通知の内容とを異ならせる場合、制御部53は、第1通知62の代わりに、「[上記金額を確認中です。]」との第1通知を第1表示領域A1に表示してもよい。
【0064】
第2ユーザU2は、
図5に示すような第2通知72が表示されると、第2文字情報に含まれる
図5に示す「300」のような数字が正しいか否かを判断する。第2ユーザU2は、第2文字情報に含まれる数字が正しいと判断した場合、数字が正しいことを示す第1入力を入力装置40に入力する。一方、第2ユーザU2は、第2文字情報に含まれる数字が誤りであると判断した場合、数字が誤りであることを示す第2入力を入力装置40に入力する。入力装置40は、第2ユーザU2から第1入力又は第2入力を受け付けると、受け付けた第1入力又は第2入力のデータを、電子機器50に送信する。
【0065】
制御部53は、入力装置40から、第1入力又は第2入力のデータを通信部51によって受信する。制御部53は、第1入力又は第2入力のデータを受信することにより、第2ユーザU2から第1入力又は第2入力を受け付ける。
【0066】
<第1入力を受け付けた場合の処理>
制御部53は、数字が正しいことを示す第1入力を受け付けた場合、視認性を低下させた数字の視認性を上げて第1表示領域A1に表示する。数字の視認性を上げる処理の一例として、制御部53は、第1文字情報において数字を伏字に置き換える処理を実行した場合、第1文字情報の伏字を当該数字に置き換えて第1表示領域A1に表示してよい。制御部53は、伏字を当該数字に置き換えた第1文字情報を生成して第1表示領域A1に表示してもよい。また、制御部53は、第1入力を受け付けると、第1表示領域A1から第1通知を削除し、第2表示領域A2から第2通知を削除する。また、制御部53は、第1入力を受け付けると、サーバ3からの文字情報の取得を再開する。本実施形態では、制御部53は、サーバ3への音声のデータの送信を再開することにより、サーバ3からの文字情報の取得を再開する。制御部53は、サーバ3からの文字情報の取得を再開することにより、新たな第1文字情報を第1表示領域A1に表示し、新たな第2文字情報を第2表示領域A2に表示することができる。
【0067】
例えば、
図5に示す構成において、第2ユーザU2が「300」との数字が正しいと判断し、「300」との数字が正しいことを示す第1入力を入力装置40に入力したものとする。この場合、制御部53は、
図6に示すように、
図5に示す伏字61Aを「300」との数字に置き換えた第1文字情報63を第1表示領域A1に表示する。また、
図6に示すように、制御部53は、第1表示領域A1から
図5に示す第1通知62を削除し、第2表示領域A2から
図5に示す第2通知72を削除する。制御部53は、サーバ3からの文字情報の取得を再開することにより、
図6に示すように「手数料支払機はあちらにあります。」との新たな第1文字情報64を第1表示領域A1に表示する。また、制御部53は、
図6に示すように「手数料支払機はあちらにあります。」との新たな第2文字情報73を第2表示領域A2に表示する。
【0068】
<第2入力を受け付けた場合の処理>
制御部53は、数字が誤りであることを示す第2入力を受け付けた場合、正しい数字の入力を促す第3通知を第2表示領域A2に表示する。制御部53は、第3通知を第2表示領域A2に、第2文字情報とは異なる表示態様で表示してもよいし、第2文字情報と同じ表示態様で表示してもよい。第2文字情報と同じ又は類似に、プロジェクタ20から照射させる第3通知の投影光は、遮光部13によって遮断される所定の波長の光である。
【0069】
例えば、
図5に示す構成において、第2ユーザU2が「300」との数字が誤りであると判断し、「300」との数字が誤りであることを示す第2入力を入力装置40に入力したものとする。この場合、制御部53は、
図7に示すように、「[正しい金額を入力してください。]」との第3通知74を第2表示領域A2に表示する。第3通知74を表示することにより、正しい数字の入力を第2ユーザU2に促すことができる。ここで、第3通知74は、第2文字情報71とは異なり、括弧を含む。このような構成により、
図5に示す第2通知72と同じ又は類似に、第2ユーザU2は、第3通知74が自身の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0070】
第2ユーザU2は、正しい数字の入力を促す第3通知が表示されると、正しい数字を入力装置40に入力する。入力装置40は、第2ユーザU2から数字の入力を受け付けると、受け付けた数字のデータを、電子機器50に送信する。
【0071】
制御部53は、第3通知の表示後、入力装置40から第2ユーザU2が入力した数字のデータを通信部51によって受信する。制御部53は、この数字のデータを受信することにより、第2ユーザU2から数字の入力を受け付ける。
【0072】
制御部53は、第2ユーザU2から数字を示す入力を受け付けると、受け付けた数字を第1表示領域A1に表示する。この処理の一例として、制御部53は、第1文字情報において数字を伏字に置き換える処理を実行した場合、第1文字情報の伏字を受け付けた数字に置き換えて第1表示領域A1に表示してよい。制御部53は、サーバ3から受信した文字情報と受け付けた数字とを含む第1文字情報を生成し、生成した第1文字情報を第1表示領域A1に表示してもよい。
【0073】
また、制御部53は、第2ユーザU2から数字を示す入力を受け付けると、受け付けた数字を第2表示領域A2に表示してよい。この処理の一例として、制御部53は、第2文字情報の数字を受け付けた数字に置き換えて第2表示領域A2に表示してよい。制御部53は、サーバ3から受信した文字情報と、受け付けた数字とを含む第2文字情報を生成し、生成した第2文字情報を第2表示領域A2に表示してもよい。
【0074】
制御部53は、第2ユーザU2から受け付けた数字を第1表示領域に表示すると、第1表示領域A1から第1通知を削除し、第2表示領域A2から第2通知及び第3通知を削除する。また、制御部53は、第1入力を受け付けた場合の処理と同じ又は類似に、サーバ3からの文字情報の取得を再開する。制御部53は、サーバ3からの文字情報の取得を再開することにより、新たな第1文字情報を第1表示領域A1に表示し、新たな第2文字情報を第2表示領域A2に表示することができる。
【0075】
例えば、
図7に示す構成において、第2ユーザU2は、「200円」が正しい金額であり、「200」との数字を入力装置40に入力したものとする。この場合、制御部53は、
図8に示すように、「住民票写しの手数料は200円です。」との第1文字情報65を第1表示領域A1に表示する。第1文字情報65では、
図7に示す伏字61Aが第2ユーザU2から受け付けた「200」との数字に置き換えられる。また、制御部53は、「住民票写しの手数料は200円です。」との第2文字情報75を第2表示領域A2に表示する。第2文字情報75では、
図7に示す第2文字情報71の「300」との数字が第2ユーザU2から受け付けた「200」との数字に置き換えられる。また、制御部53は、
図8に示すように、
図7に示す第1通知62を第1表示領域A1から削除し、
図7に示す第2通知72及び第3通知74を第2表示領域A2から削除する。制御部53は、サーバ3からの文字情報の取得を再開することにより、
図6に示す構成と同じ又は類似に、新たな第1文字情報64を第1表示領域A1に表示し、新たな第2文字情報73を第2表示領域A2に表示する。
【0076】
図9及び
図10は、本開示の一実施形態に係る制御処理の流れを示すフローチャートである。
図9及び
図10に示す制御処理は、本実施形態に係る制御方法に相当する。例えば、制御部53は、入力装置40から透明スクリーン11への文字表示の実行指示を示す入力を通信部51によって受信すると、
図9に示すステップS1の処理を開始する。この入力は、第2ユーザU2によって入力装置40に入力される。
【0077】
以下、
図9及び
図10では、制御部53は、数字の視認性を低下させる処理として数字を伏字に置き換える処理を実行するものとする。
【0078】
制御部53は、マイク30から、マイク30によって集音された音声のデータを通信部51によって受信する(ステップS1)。制御部53は、ステップS1の処理で受信した音声のデータを、ネットワーク2を介してサーバ3に通信部51によって送信する(ステップS2)。制御部53は、ネットワーク2を介してサーバ3から、文字情報を通信部51によって受信する(ステップS3)。ステップS4以降の処理と並行して、制御部53は、ステップS1~S3の処理を繰り返し実行する。
【0079】
制御部53は、ステップS3の処理でサーバ3から受信した文字情報に数字が含まれるか否かを判定する(ステップS4)。制御部53は、サーバ3から受信した文字情報に数字が含まれないと判定した場合(ステップS4:NO)、ステップS5の処理に進む。一方、制御部53は、受信した文字情報に数字が含まれると判定した場合(ステップS4:YES)、
図10に示すステップS8の処理に進む。
【0080】
ステップS5の処理では、制御部53は、ステップS3の処理で受信した文字情報から第1文字情報を生成する。制御部53は、ステップS3の処理で受信した文字情報から第2文字情報を生成する(ステップS6)。制御部53は、ステップS5の処理で生成した第1文字情報を第1表示領域A1に表示し、ステップS6の処理で生成した第2文字情報を第2表示領域A2に表示する(ステップS7)。例えば、制御部53は、
図3に示すように第1文字情報60を第1表示領域A1に表示し、
図4に示すように第2文字情報70を第2表示領域A2に表示する。
【0081】
図10に示すステップS8の処理では、制御部53は、ステップS3の処理で受信した文字情報に含まれる数字を伏字に置き換えた第1文字情報を生成する。制御部53は、ステップS6の処理と同じ又は類似に、ステップS9の処理を実行する。
【0082】
ステップS10の処理では、制御部53は、ステップS8の処理で生成した第1文字情報と第1通知とを第1表示領域A1に表示し、ステップS9の処理で生成した第2文字情報と第2通知とを第2表示領域A2に表示する。例えば、制御部53は、
図5に示すように、第1文字情報61及び第1通知62を第1表示領域A1に表示し、第2文字情報71及び第2通知72を第2表示領域A2に表示する。
【0083】
ステップS11の処理では、ステップS3の処理を停止する。つまり、制御部53は、サーバ3からの文字情報の取得を停止する。
【0084】
ステップS12の処理では、制御部53は、第1入力又は第2入力を受け付ける。
【0085】
ステップS13の処理では、制御部53は、ステップS12の処理で受け付けた入力が第1入力であるか否かを判定する。制御部53は、受け付けた入力が第1入力であると判定した場合(ステップS13:YES)、ステップS14の処理に進む。一方、制御部53は、受け付けた入力が第1入力であると判定しない場合すなわち受け付けた入力が第2入力であると判定した場合(ステップS13:NO)、ステップS16の処理に進む。
【0086】
ステップS14の処理では、制御部53は、第1文字情報の伏字を数字に置き換えて第1表示領域A1に表示する。例えば、制御部53は、
図6に示すように、第1文字情報63を第1表示領域A1に表示する。
【0087】
ステップS15の処理では、制御部53は、第1表示領域A1から第1通知を削除し、第2表示領域A2から第2通知を削除する。例えば、制御部53は、
図6に示すように、第1表示領域A1から
図5に示す第1通知62を削除し、第2表示領域A2から
図5に示す第2通知72を削除する。制御部53は、ステップS15の処理後、ステップS20の処理に進む。
【0088】
ステップS16の処理では、正しい数字の入力を促す第3通知を第2表示領域A2に表示する。例えば、制御部53は、
図7に示すように、第3通知74を第2表示領域A2に表示する。
【0089】
ステップS17の処理では、制御部53は、入力装置40から第2ユーザU2が入力した数字のデータを通信部51によって受信する。制御部53は、この数字のデータを受信することにより、第2ユーザU2から数字の入力を受け付ける。
【0090】
ステップS18の処理では、制御部53は、第1文字情報の伏字をステップS17の処理で受け付けた数字に置き換えて第1表示領域A1に表示する。例えば、
図8に示すように、制御部53は、第1文字情報65を第1表示領域A1に表示する。
【0091】
ステップS19の処理では、制御部53は、第1表示領域A1から第1通知を削除し、第2表示領域A2から第2通知及び第3通知を削除する。例えば、
図8に示すように、制御部53は、
図7に示す第1通知62を第1表示領域A1から削除し、
図7に示す第2通知72及び第3通知74を第2表示領域A2から削除する。
【0092】
ステップS20の処理では、制御部53は、ステップS3の処理を再開する。つまり、制御部53は、サーバ3からの文字情報の取得を再開する。ステップS20の処理後、制御部53は、
図9に示すステップS4の処理に戻る。このような構成により、制御部53は、新たな第1文字情報を第1表示領域A1に表示し、新たな第2文字情報を第2表示領域A2に表示することができる。例えば、
図6及び
図8に示すように、新たな第1文字情報64を第1表示領域A1に表示し、新たな第2文字情報73を第2表示領域A2に表示することができる。
【0093】
ステップS1~S20の処理において、制御部53は、例えば、入力装置40から透明スクリーン11への文字表示の実行停止を示す入力を通信部51によって受信すると、
図9及び
図10に示す制御処理を終了する。この入力は、第2ユーザU2によって入力装置40に入力される。
【0094】
ステップS11の処理によってサーバ3からの文字情報の取得を停止させている間、制御部53は、マイク30による音声の集音を停止させてもよいし、停止させなくてもよい。制御部53は、マイク30による音声の集音を停止させない場合、文字情報の取得を停止してから所定時間以内にマイク30によって音声が検出されたか否かを判定してもよい。所定時間は、第1ユーザU1の利便性を考慮して設定されてよい。制御部53は、文字情報の取得を停止してから所定時間以内にマイク30によって音声が検出された場合、第1表示領域A1及び第2表示領域A2の少なくとも一方に、音声の取得処理が停止中であることを示す通知を表示してもよい。
【0095】
ステップS12の処理において、制御部53は、ステップS10の処理を実行してから所定時間以内に第1入力又は第2入力を受け付けたか否かを判定してもよい。所定時間は、第2ユーザU2の利便性を考慮して設定されてよい。制御部53は、所定時間以内に第1入力又は第2入力を受け付けたと判定した場合、ステップS13の処理に進んでよい。一方、制御部53は、所定時間以内に第1入力又は第2入力を受け付けたと判定しない場合、第1通知及び第2通知を再度表示してもよい。
【0096】
このように電子機器50では、制御部53は、音声認識によって変換された後の文字情報に数字が含まれると判定した場合、当該数字の視認性を低下させた第1文字情報を生成する。さらに、制御部53は、当該数字の視認性を低下させた第1文字情報と、当該数字に関する第1通知とを第1表示領域A1に表示する。当該数字の視認性を低下させた第1文字情報を第1表示領域A1に表示することにより、当該数字が誤りである場合、第1ユーザが誤りである数字を覚えてしまう可能性を低減することができる。例えば、
図5では、「300」との数字が「XXX」との伏字61Aに置き換えられることにより、「300」との数字が誤りである場合、第1ユーザU1が誤りである数字を覚えてしまう可能性を低減することができる。また、数字に関する第1通知を第1表示領域A1に表示することにより、第1ユーザU1は、数字が確認中であることを知ることができる。例えば、
図5では、第1ユーザU1は、伏字61Aに置き換えられた数字が第2ユーザU2によって確認中であることを知ることができる。
【0097】
よって、本実施形態によれば、数字に関する表示を改善することができる。
【0098】
さらに、本実施形態では、制御部53は、第1表示領域A1において受信した文字情報に含まれる文字列が第1ユーザU1から見て正立して表示されるように、第1文字情報を生成してもよい。このような構成により、第1ユーザU1の利便性を向上させることができる。
【0099】
また、本実施形態では、第1表示領域A1は、第1ユーザU1及び第2ユーザU2の両方が第1表示領域A1の表示を視認できるように構成されてもよい。
図2に示すように第1表示領域A1をスクリーン部12の領域のうちで遮光部13と重ならない領域とすることにより、第1ユーザU1及び第2ユーザU2の両方が第1表示領域A1の表示を視認できるように構成することができる。このような構成により、第1ユーザU1及び第2ユーザU2の両方が第1表示領域A1の表示を確認することができる。
【0100】
また、本実施形態では、第2表示領域A2は、第2ユーザU2のみが第2表示領域A2の表示を視認できるように構成されてもよい。つまり、第2表示領域A2は、第1ユーザU1が第2表示領域A2の表示を視認できないように構成されてもよい。
図2に示すように第2表示領域A2をスクリーン部12と遮光部13とが重なる領域であるとすることにより、第2ユーザU2のみが第2表示領域A2の表示を視認できるように構成することができる。第2文字情報は、第2ユーザU2が自身の発話内容を確認するために、第2表示領域A2に表示される。つまり、第2文字情報が第1ユーザU1から見えると、第1ユーザが煩わしく感じる場合がある。第2ユーザU2のみが第2表示領域A2の表示を視認できるように構成することにより、第1ユーザU1が煩わしく感じる可能性を低減することができる。
【0101】
また、本実施形態では、制御部53は、第2文字情報と第2通知とを第2表示領域A2に表示してもよい。第2通知を表示することにより、第2文字情報に含まれる数字が正しいか否かの判断を第2ユーザU2に促すことができる。例えば、
図5では、第2通知72を表示することにより、「300」との数字が正しいか否かの判断を第2ユーザU2に促すことができる。
【0102】
また、本実施形態では、制御部53は、第2表示領域A2において受信した文字情報に含まれる文字列が第2ユーザU2から見て正立して表示されるように、第2文字情報を生成してもよい。つまり、第2ユーザU2から見て、第2表示領域A2に表示される第2文字情報と第1表示領域A1に表示される第1文字情報とは、左右反転の関係にあってよい。このような構成により、第2ユーザU2の利便性を向上させることができる。
【0103】
また、本実施形態では、制御部53は、第2通知を第2文字情報とは異なる表示態様で第2表示領域A2に表示してもよい。第2通知の表示態様が第2文字情報の表示態様と異なることにより、第2ユーザU2は、
図5を参照して上述したように、第2通知が自身の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0104】
また、本実施形態では、制御部53は、第1通知を第1文字情報とは異なる表示態様で第1表示領域A1に表示してもよい。第1通知62の表示態様が第1文字情報61の表示態様と異なることにより、第1ユーザU1は、
図5を参照して上述したように、第1通知が第2ユーザU2の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0105】
また、本実施形態では、制御部53は、数字が誤りであることを示す第2入力を受け付けた場合、正しい数字の入力を促す第3通知を第2表示領域A2に表示してもよい。このような構成により、第2ユーザU2の利便性を向上させることができる。
【0106】
また、本実施形態では、制御部53は、受信した文字情報に数字が含まれると判定した場合、文字情報の取得を停止してもよい。文字情報の取得を停止することにより、第1表示領域A1への新たな第1文字情報の表示及び第2表示領域A2への新たな第2文字情報の表示を停止することができる。このような構成により、第2ユーザU2が
図5に示すような「300」との数字を確認する前に、第1ユーザU1と第2ユーザU2の対話が進んでしまうことを防ぐことができる。
【0107】
また、本実施形態では、制御部53は、文字情報の取得を停止してから所定時間以内にマイク30によって音声が検出された場合、第1表示領域A1に、音声の取得処理が停止中であることを示す通知を表示してもよい。ここで、第1ユーザU1と第2ユーザU2とは、文字情報の取得が停止されていることに気付かずに、対話し続けてしまうことがある。このような場合、音声の取得処理が停止中であることを示す通知が表示されることにより、第1ユーザU1及び第2ユーザU2は、文字情報の取得が停止されていることに気付くことができる。
【0108】
<他の実施形態に係る数字が含まれる場合の処理>
制御部53は、サーバ3から受信した文字情報に数字が含まれると判定した場合、第1文字情報と同じ又は類似に、第2文字情報の数字の視認性を低下させる処理を実行してもよい。第1文字情報と同じ又は類似に、制御部53は、第2文字情報の数字の視認性を第2文字情報の数字以外の文字の視認性よりも低下させることができれば、任意の視認性を低下させる処理を実行してよい。一例として、数字の視認性を低下する処理は、その数字を伏字に置き換える処理であってよい。
【0109】
他の実施形態では、制御部53は、数字の視認性を低下させた第2文字情報を生成すると、第2文字情報と第4通知とを第2表示領域A2に表示する。第4通知は、数字の入力を促す通知である。第2文字情報と同じ又は類似に、プロジェクタ20から照射させる第4通知の投影光は、遮光部13によって遮断される所定の波長の光である。第1通知の内容は、第4通知の内容と同じであってもよいし、第4通知の内容と異なってもよい。
【0110】
例えば、
図11には、第1表示領域A1及び第2表示領域A2を第2ユーザU2から見た構成を示す。
図11では、
図5に示す構成と同じく、制御部53は、サーバ3から「住民票写しの手数料は、300円です。」との文字情報を受信する。制御部53は、
図5に示す構成と同じく、第1文字情報61を第1表示領域A1に表示する。ただし、
図5に示す構成とは異なり、制御部53は、「[金額を入力してください。]」との第1通知66を第1表示領域A1に表示する。第1通知66の内容は、後述の第4通知77の内容と同じである。
【0111】
図11では、制御部53は、「住民票写しの手数料は、XXX円です。」との第2文字情報76と、「[金額を入力してください。]」との第4通知77とを第2表示領域A2に表示する。第2文字情報76では、「300」との数字が「XXX」との伏字76Aに置き換えられる。第4通知77を表示することにより、第2ユーザU2に数字の入力を促すことができる。また、伏字76Aが表示されることにより、第2ユーザU2は、伏字76Aに対応する数字を入力すればよいことを容易に把握することができる。ここで、第4通知77は、第2文字情報76とは異なり、括弧を含む。つまり、第4通知77は、第2文字情報76とは異なる表示態様で第2表示領域A2に表示される。第4通知77の表示態様が第2文字情報76の表示態様と異なることにより、第2ユーザU2は、第4通知77が自身の発話を示すものではなく、表示システム1からの通知であることを容易に知ることができる。
【0112】
図11では、第1通知66の内容と第4通知77の内容とは、同じである。ただし、第1通知の内容と第4通知の内容とを異ならせる場合、制御部53は、第1通知62の代わりに、「[上記金額を入力中です。]」との第1通知を第1表示領域A1に表示してもよい。
【0113】
第2ユーザU2は、第4通知が表示されると、数字を示す第3入力を入力装置40に入力する。入力装置40は、第2ユーザU2から第3入力を受け付けると、受け付けた第3入力のデータを、電子機器50に送信する。
【0114】
制御部53は、入力装置40から、第3入力のデータを通信部51によって受信する。制御部53は、第3入力のデータを受信することにより、第2ユーザU2から第3入力を受け付ける。
【0115】
制御部53は、数字を示す第3入力を受け付けると、第1表示領域において第3入力が示す数字を表示する。この処理の一例として、制御部53は、第1文字情報において数字を伏字に置き換える処理を実行した場合、第1文字情報の伏字を第3入力が示す数字に置き換えて第1表示領域A1に表示してよい。制御部53は、サーバ3から受信した文字情報と、第3入力が示す数字とを含む第1文字情報を生成し、生成した第1文字情報を第1表示領域A1に表示してもよい。
【0116】
制御部53は、数字を示す第3入力を受け付けると、第2表示領域において第3入力が示す数字を表示してもよい。この処理の一例として、制御部53は、第2文字情報において数字を伏字に置き換える処理を実行した場合、第2文字情報の伏字を第3入力が示す数字に置き換えて第2表示領域A2に表示してよい。制御部53は、サーバ3から受信した文字情報と、第3入力が示す数字とを含む第2文字情報を生成し、生成した第2文字情報を第2表示領域A2に表示してもよい。
【0117】
制御部53は、第3入力が示す数字を第1表示領域A1に表示すると、第1表示領域A1から第1通知を削除し、第2表示領域A2から第4通知を削除する。また、制御部53は、第1入力を受け付けた場合の処理と同じ又は類似に、サーバ3からの文字情報の取得を再開する。制御部53は、サーバ3からの文字情報の取得を再開することにより、新たな第1文字情報を第1表示領域A1に表示し、新たな第2文字情報を第2表示領域A2に表示することができる。
【0118】
例えば、
図11に示す構成において、制御部53は、第2ユーザU2から「300」との数字を示す第3入力を受け付けたものとする。この場合、
図12に示すように、制御部53は、
図11に示す伏字61Aを「300」との数字に置き換えた第1文字情報63を第1表示領域A1に表示する。また、
図12に示すように、制御部53は、
図11に示す伏字76Aを「300」との数字に置き換えた第2文字情報78を第1表示領域A1に表示する。また、
図12に示すように、制御部53は、第1表示領域A1から
図11に示す第1通知62を削除し、第2表示領域A2から
図11に示す第4通知77を削除する。
【0119】
図13は、本開示の他の実施形態に係る制御処理の流れを示すフローチャートである。制御部53は、
図9において受信した文字情報に数字が含まれると判定した場合(ステップS4:YES)、ステップS31の処理に進む。
【0120】
以下、
図13では、制御部53は、数字の視認性を低下させる処理として数字を伏字に置き換える処理を実行するものとする。
【0121】
制御部53は、
図10に示すステップS8の処理と同じ又は類似に、ステップS31の処理を実行する。
【0122】
ステップS32の処理では、制御部53は、
図9に示すステップS3の処理で受信した文字情報に含まれる数字を伏字に置き換えた第2文字情報を生成する。
【0123】
ステップS33の処理では、制御部53は、ステップS31の処理で生成した第1文字情報と第1通知とを第1表示領域A1に表示し、ステップS32の処理で生成した第2文字情報と第4通知とを第2表示領域A2に表示する。例えば、制御部53は、
図11に示すように、第1文字情報61及び第1通知66を第1表示領域A1に表示し、第2文字情報76及び第4通知77を第2表示領域A2に表示する。
【0124】
ステップS34の処理では、
図9に示すステップS3の処理を停止する。つまり、制御部53は、サーバ3からの文字情報の取得を停止する。
【0125】
ステップS35の処理では、制御部53は、第3入力を受け付ける。
【0126】
ステップS36の処理では、制御部53は、第1文字情報の伏字を第3入力が示す数字に置き換えて第1表示領域A1に表示する。例えば、制御部53は、
図12に示すように、第1文字情報63を第1表示領域A1に表示する。
【0127】
ステップS37の処理では、制御部53は、第2文字情報の伏字を第3入力が示す数字に置き換えて第2表示領域A2に表示する。例えば、制御部53は、
図12に示すように、第2文字情報78を第1表示領域A1に表示する。
【0128】
ステップS38の処理では、制御部53は、第1表示領域A1から第1通知を削除し、第2表示領域A2から第4通知を削除する。
【0129】
ステップS39の処理では、制御部53は、
図9に示すステップS3の処理を再開する。つまり、制御部53は、サーバ3からの文字情報の取得を再開する。ステップS39の処理後、制御部53は、
図9に示すステップS4の処理に戻る。
【0130】
ステップS1~S30の処理において、制御部53は、上述と同じ又は類似に、入力装置40から透明スクリーン11への文字表示の実行停止を示す入力を通信部51によって受信すると、
図9及び
図13に示す制御処理を終了する。
【0131】
ステップS34の処理によってサーバ3からの文字情報の取得を停止させている間、制御部53は、マイク30による音声の集音を停止させてもよいし、停止させなくてもよい。制御部53は、マイク30による音声の集音を停止させない場合、上述したように、文字情報の取得を停止してから所定時間以内にマイク30によって音声が検出されたか否かを判定してもよい。制御部53は、文字情報の取得を停止してから所定時間以内にマイク30によって音声が検出された場合、第1表示領域A1及び第2表示領域A2の少なくとも一方に、音声の取得処理が停止中であることを示す通知を表示してもよい。
【0132】
ステップS35の処理において、制御部53は、ステップS33の処理を実行してから所定時間以内に第3入力を受け付けたか否かを判定してもよい。所定時間は、第2ユーザU2の利便性を考慮して設定されてよい。制御部53は、所定時間以内に第3入力を受け付けたと判定した場合、ステップS36の処理に進んでよい。一方、制御部53は、所定時間以内に第3入力を受け付けたと判定しない場合、第1通知及び第4通知を再度表示してもよい。
【0133】
このように他の実施形態に係る電子機器50では、制御部53は、音声認識によって変換された後の文字情報に数字が含まれると判定した場合、当該数字の視認性を低下させた第2文字情報を生成する。さらに、制御部53は、当該数字の視認性を低下させた第2文字情報と、第2通知とを第2表示領域A2に表示する。当該数字の視認性を低下させた第2文字情報を第2表示領域A2に表示することにより、第2ユーザU2は、入力すべき数字を容易に把握することができる。例えば、
図11では、第2ユーザU2は、伏字76Aに対応する数字を入力すればよいことを容易に把握することができる。
【0134】
他の実施形態に係る表示システム1の他の構成及び効果は、上述した実施形態に表示システム1の構成及び効果と同じ又は類似である。
【0135】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、1つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0136】
例えば、上述した実施形態では、サーバ3が音声認識処理を実行するものとして説明した。ただし、サーバ3以外の任意の装置が音声認識処理を実行してよい。一例として、電子機器50が音声認識処理を実行してもよい。
【0137】
例えば、汎用のコンピュータを、上述した実施形態に係る電子機器50として機能させる実施形態も可能である。具体的には、上述した実施形態に係る電子機器50の各機能を実現する処理内容を記述したプログラムを、汎用のコンピュータのメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本開示は、プロセッサが実行可能なプログラム、又は、当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
【0138】
例えば、本開示の各実施形態に含まれる構成要素及び機能ブロックは、同じハードウェア又は異なるハードウェアに適宜配置することができる。本開示の各実施形態に係るマイク30は、電子機器50又はプロジェクタ20と同じハードウェアに含まれてもよい。本開示の各実施形態に係る入力装置40は、電子機器50又はプロジェクタ20と同じハードウェアに含まれてもよい。本開示の各実施形態に係る通信部51、記憶部52及び制御部53の一部又は全部は、プロジェクタ20に含まれてもよい。
【0139】
例えば、本開示の表示部は、透明スクリーンを含む構成に限定されない。表示部は、例えば、透明基板内に発光素子が配列された透明有機ELディスプレイ(OLED:Organic Light Emitting Diode)を含むものであってもよい。
【0140】
一実施形態において、(1)制御プログラムは、
表示制御装置に、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む処理を実行させる。
【0141】
(2)上記(1)の制御プログラムでは、
前記表示部は、第1ユーザと第2ユーザとの間に位置し、
前記処理は、前記第1表示領域において前記文字情報に含まれる文字列が前記第1ユーザから見て正立して表示されるように、前記第1文字情報を生成することを含んでもよい。
【0142】
(3)上記(1)又は(2)の制御プログラムでは、
前記表示部は、
前記第1表示領域は、前記第1ユーザ及び前記第2ユーザの両方が前記第1表示領域の表示を視認できるように構成されてもよい。
【0143】
(4)上記(1)から(3)までの何れか1つに記載の制御プログラムでは、
前記表示部は、第2表示領域を含み、前記第2表示領域は、前記第2ユーザのみが前記第2表示領域の表示を視認できるように構成され、
前記処理は、前記文字情報から生成した第2文字情報と、前記数字に関する第2通知とを前記第2表示領域に表示することを含んでもよい。
【0144】
(5)上記(1)から(4)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記第2通知を前記第2文字情報とは異なる表示態様で前記第2表示領域に表示することを含んでもよい。
【0145】
(6)上記(1)から(5)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記第2表示領域において前記文字情報に含まれる文字列が前記第2ユーザから見て正立して表示されるように、前記第2文字情報を生成することを含んでもよい。
【0146】
(7)上記(1)から(6)までの何れか1つに記載の制御プログラムでは、
前記第2通知は、前記数字が正しいか否かを問う通知であり、
前記処理は、前記数字が正しいことを示す第1入力を受け付けた場合、前記視認性を低下させた数字の視認性を上げて前記第1表示領域に表示することを含んでもよい。
【0147】
(8)上記(1)から(7)までの何れか1つに記載の制御プログラムでは、
前記数字の視認性を低下させる処理は、前記数字を伏字に置き換える処理であり、
前記処理は、
前記視認性を低下させた数字の視認性を上げる処理として、前記伏字を前記文字情報に含まれる数字に置き換えることと、
前記数字に置き換えた後、前記第1通知及び前記第2通知を削除することと、を含んでもよい。
【0148】
(9)上記(1)から(8)までの何れか1つに記載の制御プログラムでは、
前記第1通知の内容と前記第2通知の内容とは、同じであってもよい。
【0149】
(10)上記(1)から(9)までの何れか1つに記載の制御プログラムでは、
前記第1通知は、数字が確認中であることを示す通知であってもよい。
【0150】
(11)上記(1)から(10)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記数字が誤りであることを示す第2入力を受け付けた場合、正しい数字の入力を促す第3通知を前記第2表示領域に表示することを含んでもよい。
【0151】
(12)上記(1)から(11)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記第3通知の表示後、数字を示す入力を受け付けた場合、受け付けた数字を前記第1表示領域に表示することを含んでもよい。
【0152】
(13)上記(1)から(12)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記受け付けた数字を前記第2表示領域に表示することを含んでもよい。
【0153】
(14)上記(1)から(13)までの何れか1つに記載の制御プログラムでは、
前記表示部は、第1ユーザと第2ユーザとの間に位置し、
前記表示部は、第2表示領域を含み、前記第2表示領域は、前記第2ユーザのみが前記第2表示領域の表示を視認できるように構成され、
前記処理は、
前記文字情報から生成した第2文字情報であって、前記数字の視認性を低下させた第2文字情報と、数字の入力を促す第4通知とを前記第2表示領域に表示することと、
前記第4通知の表示後、数字を示す第3入力を受け付けた場合、前記第1表示領域において前記第3入力が示す数字を表示することと、を含んでもよい。
【0154】
(15)上記(1)から(14)までの何れか1つに記載の制御プログラムでは、
前記数字の視認性を低下させる処理は、前記数字を伏字に置き換える処理であり、
前記処理は、
前記第1表示領域において前記受け付けた数字を表示することとして、前記第1文字情報の前記伏字を前記第3入力が示す数字に置き換えることと、
前記数字に置き換えた後、前記第1通知及び前記第4通知を削除することと、を含んでもよい。
【0155】
(16)上記(1)から(15)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記第2文字情報の前記伏字を前記第3入力が示す数字に置き換えることを含んでもよい。
【0156】
(17)上記(1)から(16)までの何れか1つに記載の制御プログラムでは、
前記処理は、前記第1通知を前記第1文字情報とは異なる表示態様で前記第1表示領域に表示することを含んでもよい。
【0157】
(18)上記(1)から(17)までの何れか1つに記載の制御プログラムでは、
前記処理は、
前記音声認識によって変換された後の文字情報を取得することと、
前記文字情報に数字が含まれると判定した場合、前記文字情報の取得を停止することと、を含んでもよい。
【0158】
(19)上記(1)から(18)までの何れか1つに記載の制御プログラムでは、
前記処理は、音声認識処理を実行するサーバへの音声のデータを送信を停止することにより、前記文字情報の取得を停止することを含んでもよい。
【0159】
(20)上記(1)から(19)までの何れか1つに記載の制御プログラムでは、
前記処理は、
前記文字情報の取得を停止してから所定時間以内にマイクによって音声が検出された場合、前記第1表示領域に、音声の取得処理が停止中であることを示す通知を表示することを含んでもよい。
【0160】
一実施形態において、(21)表示装置は、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示する制御部を備える。
【0161】
一実施形態において、(22)制御方法は、
音声認識によって変換された後の文字情報に数字が含まれると判定した場合、前記文字情報から生成した第1文字情報であって、前記数字の視認性を低下させた第1文字情報と、前記数字に関する第1通知とを、表示部の第1表示領域に表示することを含む。
【符号の説明】
【0162】
1 表示システム
2 ネットワーク
3 サーバ
10 基材
10A,10B 面
11 透明スクリーン
12 スクリーン部
13 遮光部
20 プロジェクタ
30 マイク
40 入力装置
50 電子機器
51 通信部
52 記憶部
53 制御部
60,61,63,64,65 第1文字情報
61A,76A 伏字
62,66 第1通知
70,71,73,75,76,78 第2文字情報
72 第2通知
74 第3通知
77 第4通知
A1 第1表示領域
A2 第2表示領域