(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110835
(43)【公開日】2024-08-16
(54)【発明の名称】表示制御プログラム、表示制御装置、及び表示制御方法
(51)【国際特許分類】
G06F 3/14 20060101AFI20240808BHJP
G06F 3/16 20060101ALI20240808BHJP
G06F 3/0481 20220101ALI20240808BHJP
G10L 15/22 20060101ALI20240808BHJP
G09G 5/22 20060101ALI20240808BHJP
G09G 5/32 20060101ALI20240808BHJP
G09G 5/26 20060101ALI20240808BHJP
G09G 5/00 20060101ALI20240808BHJP
G02B 27/01 20060101ALN20240808BHJP
【FI】
G06F3/14 350B
G06F3/16 650
G06F3/0481
G10L15/22 460Z
G09G5/22 670Z
G09G5/32 640L
G09G5/26 G
G09G5/00 550B
G09G5/00 510A
G02B27/01
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023015681
(22)【出願日】2023-02-03
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100147692
【弁理士】
【氏名又は名称】下地 健一
(72)【発明者】
【氏名】山本 康司
【テーマコード(参考)】
2H199
5B069
5C182
5E555
【Fターム(参考)】
2H199DA06
2H199DA20
2H199DA28
2H199DA29
5B069BA04
5B069CA13
5B069DB05
5B069KA02
5C182AA02
5C182AA03
5C182AA04
5C182AA22
5C182AB02
5C182AB08
5C182AB11
5C182AB12
5C182AC02
5C182AC03
5C182AC43
5C182BA01
5C182BA03
5C182BA04
5C182BA06
5C182BA35
5C182BA75
5C182BC22
5C182BC25
5C182BC26
5C182CB14
5C182CB34
5C182CC01
5C182CC24
5C182DA65
5C182DA68
5C182DA69
5C182FA61
5C182FA72
5C182FA75
5C182FA77
5E555AA26
5E555AA65
5E555BA04
5E555BB04
5E555BC19
5E555BD07
5E555BE08
5E555CA47
5E555CB64
5E555DB25
5E555DB41
5E555EA23
5E555FA00
(57)【要約】
【課題】発話者が発話者側の表示部の表示内容と聞き手側の表示部の表示内容とを見比べて、表示内容を直感的に理解し易くする。
【解決手段】本開示は、複数のユーザの間に配置される表示部と、複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を表示部に表示させる表示制御装置とを備える表示システムに関する。第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とする。表示部を挟んで第1ユーザの反対側に位置する第2ユーザに対して表示され第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とする。表示制御装置の制御部は、文字情報に含まれる文字数と、第1閾値と、第2閾値とを比較して、第1の文字列及び前記第2の文字列の少なくとも何れかの改行位置を決定する。
【選択図】
図8
【特許請求の範囲】
【請求項1】
複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御プログラムであって、
前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、
前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の少なくとも何れかの改行位置を決定する処理を、前記表示制御装置の制御部に実行させる表示制御プログラム。
【請求項2】
前記制御部は、前記文字情報に含まれる前記文字数が、前記第1閾値及び前記第2閾値のいずれよりも小さい場合、前記改行位置を決定する処理を行わない、請求項1に記載の表示制御プログラム。
【請求項3】
前記制御部は、前記第1閾値が前記第2閾値よりも大きい場合、前記第1の文字列及び前記第2の文字列を前記第2閾値の文字数で改行する、請求項1に記載の表示制御プログラム。
【請求項4】
前記制御部は、前記第1閾値と前記第2閾値とが異なる場合、前記第1閾値と前記第2閾値とが同じになるように調整し、前記第1の文字列及び前記第2の文字列をそれぞれ前記第1閾値及び前記第2閾値の文字数で改行する、請求項1に記載の表示制御プログラム。
【請求項5】
前記制御部は、前記第1閾値が前記第2閾値よりも大きい場合、前記第1の文字列の文字間隔を調整する、請求項4に記載の表示制御プログラム。
【請求項6】
前記制御部は、前記第1閾値が前記第2閾値よりも小さく、かつ、前記文字情報に含まれる前記文字数が前記第1閾値よりも大きい場合、前記第1の文字列に含まれる文字の大きさを調整する、請求項4に記載の表示制御プログラム。
【請求項7】
前記第1ユーザの一続きの音声である第1音声と、前記第1ユーザの前記第1音声に続く一続きの音声である第2音声との間の時間の経過が所定の時間以上となるとき、前記第1音声が変換された文字情報に対応する文字列と、前記第2音声が変換された文字情報に対応する文字列との間で改行を行う処理を、前記制御部に実行させる、請求項1に記載の表示制御プログラム。
【請求項8】
前記第1の文字列は第1表示領域に表示され、前記第2の文字列は第2表示領域に表示され、前記第1閾値は、前記第1表示領域の横幅、及び、前記第1の文字列に含まれる文字の大きさにより決定され、前記第2閾値は、前記第2表示領域の横幅、及び、前記第2の文字列に含まれる文字の大きさにより決定される、請求項1に記載の表示制御プログラム。
【請求項9】
前記文字情報を複数の単語に分解し、前記改行位置を前記複数の単語の間に設定する処理を前記制御部に実行させる、請求項1に記載の表示制御プログラム。
【請求項10】
複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムに含まれる表示制御装置であって、
前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の改行位置を決定する処理を実行する制御部を備える、表示制御装置。
【請求項11】
複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムに含まれる制御部が実行する方法であって、
前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、
前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、
前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の改行位置を決定する
表示制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御プログラム、表示制御装置、及び表示制御方法に関する。
【背景技術】
【0002】
第1ユーザと第2ユーザの二人のユーザが対話するとき、第1ユーザの発話をテキスト化して、第1ユーザ側及び第2ユーザ側の表示部に表示するシステムが提案されている(例えば、特許文献1参照)。
【0003】
特許文献1には、表示部に表示されたテキストに対して、意味及び文脈に応じた改行及び改頁が行われることが記載されている。また、特許文献1には、第1ユーザの発話内容を、第2ユーザ側の表示部に表示させ、第2ユーザの既読動作又は第2ユーザまでの距離に応じて、第2ユーザ側の表示部に表示する文字の大きさ等を変えることが記載されている。さらに、第1ユーザは、第1ユーザ側の表示部を見て、自身の発話内容が正しく音声認識されたか否かを確認することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2018/105373号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の発話をテキスト化して表示するシステムでは、発話者は、聞き手側の表示部に表示される表示内容を直接見て確認することができなかった。従来技術は、発話者が発話者側の表示部の表示内容と聞き手側の表示部の表示内容とを見比べて、表示内容を直感的に理解するうえで改善すべき点がある。
【0006】
したがって、これらの点に着目してなされた本開示の目的は、発話者が発話者側の表示部の表示内容と聞き手側の表示部の表示内容とを見比べて、表示内容を直感的に理解し易くすることにある。
【課題を解決するための手段】
【0007】
一実施形態において、(1)表示制御プログラムは、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御プログラムであって、前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の少なくとも何れかの改行位置を決定する処理を、前記表示制御装置の制御部に実行させる。
【0008】
(2)上記(1)の表示制御プログラムにおいて、前記制御部は、前記文字情報に含まれる前記文字数が、前記第1閾値及び前記第2閾値のいずれよりも小さい場合、前記改行位置を決定する処理を行わないことができる。
【0009】
(3)上記(1)又は(2)の表示制御プログラムにおいて、前記制御部は、前記第1閾値が前記第2閾値よりも大きい場合、前記第1の文字列及び前記第2の文字列を前記第2閾値の文字数で改行することができる。
【0010】
(4)上記(1)から(3)の何れかの表示制御プログラムにおいて、前記制御部は、前記第1閾値と前記第2閾値とが異なる場合、前記第1閾値と前記第2閾値とが同じになるように調整し、前記第1の文字列及び前記第2の文字列をそれぞれ前記第1閾値及び前記第2閾値の文字数で改行することができる。
【0011】
(5)上記(4)の表示制御プログラムにおいて、前記制御部は、前記第1閾値が前記第2閾値よりも大きい場合、前記第1の文字列の文字間隔を調整することができる。
【0012】
(6)上記(4)又は(5)の表示制御プログラムにおいて、前記制御部は、前記第1閾値が前記第2閾値よりも小さく、かつ、前記文字情報に含まれる前記文字数が前記第1閾値よりも大きい場合、前記第1の文字列に含まれる文字の大きさを調整することができる。
【0013】
(7)上記(1)から(6)の何れかの表示制御プログラムにおいて、前記第1ユーザの一続きの音声である第1音声と、前記第1ユーザの前記第1音声に続く一続きの音声である第2音声との間の時間の経過が所定の時間以上となるとき、前記第1音声が変換された文字情報に対応する文字列と、前記第2音声が変換された文字情報に対応する文字列との間で改行を行う処理を、前記制御部に実行させることができる。
【0014】
(8)上記(1)から(7)の何れかの表示制御プログラムにおいて、前記第1の文字列は第1表示領域に表示され、前記第2の文字列は第2表示領域に表示され、前記第1閾値は、前記第1表示領域の横幅、及び、前記第1の文字列に含まれる文字の大きさにより決定され、前記第2閾値は、前記第2表示領域の横幅、及び、前記第2の文字列に含まれる文字の大きさにより決定されることができる。
【0015】
(9)上記(1)から(8)の何れかの表示制御プログラムにおいて、前記文字情報を複数の単語に分解し、前記改行位置を前記複数の単語の間に設定する処理を前記制御部に実行させることができる。
【0016】
一実施形態において、(10)表示制御装置は、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムに含まれる表示制御装置であって、前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の改行位置を決定する処理を実行する。
【0017】
一実施形態において、(11)表示制御方法は、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第1ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムに含まれる制御部が実行する方法であって、前記第1ユーザに対して表示される第1の文字列の一行に表示可能な最大文字数を第1閾値とし、前記表示部を挟んで前記第1ユーザの反対側に位置する第2ユーザに対して表示され前記第1ユーザから視認される第2の文字列の一行に表示可能な最大文字数を第2閾値とし、前記文字情報に含まれる文字数と、前記第1閾値と、前記第2閾値とを比較して、前記第1の文字列及び前記第2の文字列の改行位置を決定する。
【発明の効果】
【0018】
本開示の実施形態によれば、発話者である第1ユーザが第1ユーザ側の表示部の表示内容と聞き手である第2ユーザ側の表示部の表示内容とを見比べて、表示内容を直感的に理解し易くなる。
【図面の簡単な説明】
【0019】
【
図1】一実施形態に係る表示システムの利用シーンを説明する斜視図である。
【
図3】
図1の表示システムの概略構成を示すブロック図である。
【
図4】第1ユーザの側から見た透明スクリーンの表示の一例を示す図である。
【
図5】第2ユーザの側から見た透明スクリーンの表示の一例を示す図である。
【
図6】表示制御装置の制御部が実行する表示制御処理の一例を示すフロー図である。
【
図7】
図6の表示処理の一例を示すフロー図である。
【
図8】
図7の表示領域間の改行位置調整処理の第1例を示すフロー図である。
【
図9】
図8のフロー図に従う改行位置の調整による表示の変化の一例を示す図である。
【
図10】
図7の表示領域間の改行位置調整処理の第2例を示すフロー図である。
【
図11】
図10のフロー図に従う改行位置の調整による表示の変化の一例を示す図である。
【
図12】
図7の単語に応じた改行位置調整の処理の一例を示すフロー図である。
【発明を実施するための形態】
【0020】
以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
【0021】
(表示システムの構成)
一実施形態に係る表示システム1は、
図1及び
図2に示すように、第1ユーザU1と第2ユーザU2との間の対話を支援するシステムである。一例として、第1ユーザU1は、政府、自治体、又は、公的機関の窓口を担当する職員である。第2ユーザU2は、例えば、政府、自治体、又は、公的機関に訪れた聴覚障害者である。表示システム1が使用される場面は、上述のものに限られない。表示システム1は、金融機関、医療機関及び公共交通機関等の窓口、民間事業者の営業店舗、ならびに、オフィス内の会議室等においても使用されうる。
【0022】
近年、感染症の流行により、顧客と接する場面で窓口担当者と顧客との間に、飛沫対策のためのアクリル板又はビニールカーテン等が設置されることがある。表示システム1では、これらのアクリル板又はビニールカーテン等を基材10とし、この基材10に透明スクリーン5を配置する。この、透明スクリーン5に対して、プロジェクタ30から第1ユーザU1の発話内容が投影される。これにより、透明スクリーン5を挟んで第1ユーザU1の反対側に位置する第2ユーザU2は、第1ユーザU1の発話内容を聞き取ることができない場合であっても、第1ユーザU1の発話内容を目視して確認することができる。
【0023】
透明スクリーン5は、基材10の任意の場所に配置することができる。透明スクリーン5は、第1ユーザU1と第2ユーザU2とが互いの顔を目視することを妨げない位置に配置されてよい。例えば、透明スクリーン5は、第1ユーザU1及び第2ユーザU2が、視線を水平方向から下側に下げた位置に配置されてよい。
【0024】
表示システム1は、
図1から
図3に示すように、透明スクリーン5と、表示制御装置20と、プロジェクタ30と、マイク40とを含む。透明スクリーン5及びプロジェクタ30は、表示部を構成する。表示制御装置20と、プロジェクタ30及びマイク40のそれぞれとは、無線又は有線で通信可能に接続される。表示制御装置20は、通信回線を介して音声認識処理を提供する外部のクラウドサーバ60と通信可能に構成される。
【0025】
透明スクリーン5は、基材10に配置されたスクリーン部11と遮光部12とを含む。
【0026】
スクリーン部11は、基材10に張付けることが可能なプロジェクタ投影用のフィルム状、シート状又は板状の部材等とすることができる。一般に、スクリーン部11自体が、「透明スクリーン」と呼ばれることがある。スクリーン部11は、プロジェクタ30から入射した光の一部を、入射側及び出射側に拡散させる。第1ユーザU1及び第2ユーザU2は、スクリーン部11により拡散された光が視界に入ることにより、プロジェクタ30から投影された画像を認識することができる。スクリーン部11の形状は、例えば、長方形とすることができるが、これに限られない。スクリーン部11は、種々の形状にすることができる。
【0027】
遮光部12は、プロジェクタ30から射出される光の透過を少なくとも部分的に遮ることができる光学要素である。遮光部12は、例えば、特定の波長の光を抑制するダイクロイックフィルムである。遮光部12は、例えば、赤色を通さないダイクロイックフィルムを使用することができる。遮光部12は、スクリーン部11の一部に重ねて配置することができる。例えば、遮光部12は、スクリーン部11の表面に重ねて配置される。遮光部12の形状は、例えば、長方形とすることができるが、これに限られない。遮光部12は、種々の形状にすることができる。
【0028】
マイク40は、第1ユーザU1の側に配置される。例えば、マイク40は、第1ユーザU1の前の机の上に配置されてよい。また、マイク40は、第1ユーザU1の装着するヘッドセットに取り付けられていてよい。マイク40は、第1ユーザU1の発する音声を電気信号(以下、「音声信号」とも呼ぶ)に変換して、表示制御装置20に出力する。
【0029】
表示制御装置20は、マイク40から音声信号を取得して、クラウドサーバ60に送信する。表示制御装置20は、クラウドサーバ60で音声信号を音声認識処理により変換した文字情報を取得する。表示制御装置20は、取得した文字情報に基づく画像信号をプロジェクタ30に送信し、透明スクリーン5に文字情報に対応した文字列を投影して表示させる。表示制御装置20は、例えば、携帯電話(スマートフォン)及びパソコン等の汎用の機器、又は、専用機器を使用することができる。表示制御装置20は、通信部21、制御部22、記憶部23、及び、入力部24を含んで構成される。
【0030】
通信部21は、無線又は有線の通信手段により、表示制御装置20の外部の機器と通信を行う。外部の機器には、マイク40、プロジェクタ30及びクラウドサーバ60が含まれる。通信部21は、例えば、シリアル通信規格、有線LAN(local area network)規格、Wifi等の無線LAN規格、並びに、4G(4th Generation)及び5G(5th Generation)等の移動体通信規格等の種々の通信方式による通信に対応してよい。通信部21は、クラウドサーバ60に対する音声信号の送信、及び、音声信号が変換された文字情報の受信を行うことができる。
【0031】
制御部22は、一つ又は複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれる。PLDには、FPGA(Field-Programmable Gate Array)が含まれる。制御部22は、一つ又は複数のプロセッサが協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってよい。
【0032】
制御部22は、表示制御装置20全体を制御するとともに、マイク40により取得される音声信号を、通信部21を介してクラウドサーバ60に送信するように構成される。制御部22は、通信部21を介して、クラウドサーバ60により音声信号から変換された文字情報を取得するように構成される。制御部22は、取得した文字情報を表示物としてプロジェクタ30に表示させる。本開示において「表示物」とは、プロジェクタ30により透明スクリーン5上に表示される対象となる文字列及び画像を意味する。「表示物」は、透明スクリーン5上に画像要素として投影される。
【0033】
制御部22は、クラウドサーバ60から取得した第1ユーザU1の発話内容の文字情報を、表示物としてプロジェクタ30に対して表示させる。制御部22は、透明スクリーン5上での表示物の表示位置及び表示態様を制御することができる。制御部22は、後述するように、第1ユーザU1の発話内容の文字情報に基づく文字列を、第1表示物DO1及び第1表示物DO1を左右反転した第2表示物DO2としてプロジェクタ30に投影させることができる。このため、制御部22は、通信部21を介して、第1表示物DO1と第2表示物DO2とを適宜の位置に表示させる画像信号をプロジェクタ30に送信する。
【0034】
制御部22は、後述するように、第1表示物DO1として表示される文字列(以下、「第1の文字列」という)と第2表示物DO2として表示される第1の文字列の各文字及び配列方向を左右反転した文字列(以下、「第2の文字列」という)の一行に表示可能な最大文字数を管理する。制御部22は、第1の文字列及び第2の文字列の改行位置が同じになるように制御する。
【0035】
記憶部23は、制御部22が実行するプログラム、制御部22が実行する処理に必要な情報、及び、制御部22が実行した結果得られた情報を記憶するように構成される。制御部22は、表示システム1で表示した文字情報の履歴を記憶するログ記憶部として機能してよい。記憶部23には、解説用の静止画像及び/又は動画像を表示可能な特定の単語と、特定の単語に紐づけられたプロジェクタ30で表示するための静止画像及び/又は動画像のデータが図解データとして記憶されてよい。
【0036】
記憶部23は、半導体記憶装置、磁気記憶装置、光記憶装置の少なくとも何れかを含んでよい。半導体記憶装置は、DRAM(Dynamic Random Access Memory)及びSRAM(Static Random Access Memory)等の揮発性メモリ、ならびに、ROM(Read Only Memory)及びフラシュメモリ等の不揮発性メモリを含んでよい。半導体記憶装置には、フラッシュメモリを用いたSSD(Solid State Drive)が含まれる。磁気記憶装置は、磁気テープ、フロッピー(登録商標)ディスク、ハードディスク等が含まれる。光記憶装置は、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、及びブルーレイ(Blu-ray(登録商標))等が含まれる。
【0037】
入力部24は、表示制御装置20に対する第1ユーザU1の操作を受け付ける装置である。入力部24は、例えば、タッチパネル、キーボード、マウス、及び、ペン入力デバイスを含む。入力部24は、表示制御装置20に内蔵されていてよい。入力部24は、表示制御装置20に外付けされた装置であってよい。入力部24は、例えば、プロジェクタ30により透明スクリーン5に投影される文字列の改行位置を調整する改行調整ボタンを含んでよい。
【0038】
プロジェクタ30は、第1ユーザU1の側に配置され、表示制御装置20から受信した画像信号に基づいて、透明スクリーン5に対して表示物を投影する。プロジェクタ30は、文字列からなる表示物に加え、静止画像及び動画像等を透明スクリーン5の所定の位置に投影してよい。
【0039】
クラウドサーバ60は、インターネット等のネットワークを介してアクセスできるサーバである。本実施形態のクラウドサーバ60は、音声認識サービスを提供する音声認識サーバである。クラウドサーバ60は、音声信号を受信すると受信した音声信号に対して音声認識処理を実行する。クラウドサーバ60は、音声認識の結果得られた文字情報を音声信号の送信元へ送信する。クラウドサーバ60は音声認識処理を有料又は無料のサービスとして提供する。
【0040】
(表示システムの表示例)
次に、表示制御装置20からの画像信号に基づいて、プロジェクタ30が透明スクリーン5に表示する画像について説明する。透明スクリーン5において、スクリーン部11上の領域は、第1表示領域A1、第2表示領域A2及び第3表示領域A3に分けて使用される。第1表示領域A1は、スクリーン部11と遮光部12とが重なる領域である。第2表示領域A2は、スクリーン部11と遮光部12とが重ならない領域であって、文字情報が表示される領域である。第3表示領域A3は、スクリーン部11と遮光部12とが重ならない領域であって、静止画像及び/又は動画像が表示される領域である。第3表示領域A3を図解表示領域ともいう。
【0041】
第2表示領域A2は、第1ユーザU1の発話内容を文字情報にして第2ユーザU2に対して表示するために使用される。プロジェクタ30が第2表示領域A2に表示する表示物を第2表示物DO2と呼ぶ。第1表示領域A1は、第2ユーザU2に対して表示される第2表示物DO2の内容を、第1ユーザU1が確認するために、第1ユーザU1に対して表示する領域である。プロジェクタ30が第1表示領域A1に表示する表示物を第1表示物DO1と呼ぶ。第1表示物DO1と第2表示物DO2とは、一方向からみたとき、互いに含まれる文字列の各文字及び配列方向が左右反転している。第1表示物DO1及び第2表示物DO2は、それぞれ、クラウドサーバ60により変換された文字情報を画像化した第1の文字列及び第2の文字列である。
【0042】
図4に一例を示すように、透明スクリーン5は、第1ユーザU1から見たとき、第1表示領域A1に第1表示物DO1(第1の文字列)が表示される。また、第2表示領域A2には、第2表示物DO2(第2の文字列)が表示される。第1ユーザU1に対して、第1表示物DO1(第1の文字列)は正文字として表示される。第2表示物DO2(第2の文字列)は鏡文字として表示される。第1ユーザU1は、第2表示物DO2(第2の文字列)を鏡文字として視認する。「鏡文字」とは、正常な文字の左右を反転させた文字である。「正文字」とは、通常の態様で表示された文字である。
【0043】
一方、プロジェクタ30が透明スクリーン5に投影する画像と同じ画像を、第2ユーザU2側から見ると、
図5に示すように、第2表示物DO2(第2の文字列)は正文字として表示される。第1表示物DO1(第1の文字列)は、遮光部12が無ければ鏡文字として表示される。第1表示物DO1(第1の文字列)は、第2ユーザU2に対して表示する必要のない不要な文字であり、鏡文字であるため第2ユーザU2には紛らわしく感じられうる。スクリーン部11の第1表示領域A1に遮光部12が重ねて配置されることにより、第1表示物DO1(第1の文字列)は、第2ユーザU2に対して表示されない。
【0044】
例えば、遮光部12が、特定の波長(例えば、赤色の波長)の光の透過を妨げるダイクロイックフィルムである場合、プロジェクタ30は、第1表示物DO1(第1の文字列)を同じ特定の波長の光で投影する。これにより、第1表示物DO1(第1の文字列)を透明スクリーン5に向けて投影する投影光は、遮光部12で反射され第1ユーザU1に視認される。一方、同じ投影光は、遮光部12を透過しにくいので、第2ユーザU2の眼には入りにくくなる。これによって、第2ユーザU2は、鏡文字である第1表示物DO1(第1の文字列)を視認しづらくなる。そのため、第2ユーザU2は、第1表示物DO1(第1の文字列)に煩わされにくいというメリットがある。
【0045】
一実施形態において、遮光部12としては、ダイクロイックフィルムではなく、透過した光の伝搬する角度を限定するフィルム又は部材を用いることができる。透過した光の伝搬方向を制御するフィルムには、視野角制御フィルムが含まれる。また、遮光部12としては、偏光フィルムを用いることもできる。プロジェクタ30から第1表示領域A1に照射する光の偏光方向を、遮光部12の偏光フィルムの偏光方向と直交させることにより、第2ユーザU2から第1表示物DO1を視認できないようにすることができる。
【0046】
第3表示領域A3には、制御部22により、第1表示領域A1及び第2表示領域A2に表示されている文字列に関連する静止画像又は動画像が表示される。例えば、第3表示領域A3には、第1表示領域A1及び第2表示領域A2に表示されている文字列に対応する文字情報から抽出された特定の単語に対する図解が表示される。特定の単語は、解説用の静止画像及び/又は動画像を表示可能な単語として、記憶部23に予め登録される。また、記憶部23には、特定の単語に紐づけられた、静止画像及び/又は動画像データが、図解表示用データとして記憶される。
図4及び
図5に図示する例では、文字列の中に、登録された単語である「清水寺」が含まれる。制御部22は、記憶部23から「清水寺」に紐づけられた図解表示用のデータを読み出して、第3表示領域A3に投影される画像信号を生成し、当該画像信号をプロジェクタ30に送信して表示させる。
【0047】
図4及び
図5に示す図は、第1表示領域A1、第2表示領域A2及び第3表示領域A3の配置の一例に過ぎない。第1表示領域A1、第2表示領域A2及び第3表示領域A3の位置、大きさ及び形状等は適宜設定されてよい。
【0048】
図4に戻り、第1表示領域A1に表示される第1表示物DO1である第1の文字列と、第2表示領域A2に表示される第2表示物DO2である第2の文字列とは、第1ユーザU1の選択により大きさ及び/又は文字間隔が異なる態様で表示されることがある。また、第1表示領域A1の幅と第2表示領域A2の幅とは異なることがある。そのため、第1の文字列と第2の文字列との改行位置が、
図4に例示されるように異なることがある。しかし、そのように第1の文字列と第2の文字列との改行位置が異なると、第1ユーザU1がそれらを見比べて表示内容を直感的に理解することが難しくなることがある。本開示の以下に説明する方法では、第1の文字列と第2の文字列との改行位置を同じにすることにより、第1ユーザU1が、表示内容を直感的に把握できるようにする。
【0049】
(制御部の実行する表示制御装置の表示制御方法)
以下に、
図6を参照して表示制御装置20の制御部22が実行する表示制御方法について説明する。表示制御装置20は、以下に説明する制御部22が行う処理を、非一時的なコンピュータ可読媒体に記録された表示制御プログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、CD(Compact Disc)、DVD、ブルーレイディスク(Blu-ray(登録商標) Disc)等の光ディスクを含む。半導体記憶媒体は、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリを含む。
【0050】
最初に、表示システム1の設定段階で、制御部22は、第1の文字列及び第2の文字列の一行当たりの文字数の最大値を設定する(ステップS101)。第1の文字列の一行に表示可能な最大文字数を第1閾値とよぶ。第2の文字列の一行に表示可能な最大文字数を第2閾値とよぶ。第1閾値及び第2閾値は、第1表示領域A1及び第2表示領域A2の横幅、及び、表示される文字列の各文字の大きさ及び文字間隔に基づいて決定される。
【0051】
次に、第1ユーザU1が表示システム1を起動すると、制御部22は、マイク40から通信部21を介して音声信号を取得する(ステップS102)。本実施形態において、マイク40は、第1ユーザU1の近くに配置されるので、第1ユーザU1の発話した音声を取得する。制御部22は、マイク40から取得した音声信号から、雑音を低減し人の音声の信号を選択的に取得するように構成されてよい。
【0052】
制御部22は、通信部21を介して、クラウドサーバ60へステップS102で取得した音声信号を送信する(ステップS103)。クラウドサーバ60に送信された音声信号は、クラウドサーバ60により音声認識処理を受ける。クラウドサーバ60は、音声信号から人の声を抽出し自然言語処理により発話内容を示す文字情報に変換する。
【0053】
クラウドサーバ60は、生成した文字情報を表示制御装置20に対して送信する。これにより、表示制御装置20の制御部22は、通信部21を介してステップS102で送信した音声信号から変換された一続きの文字情報を取得する(ステップS104)。一続きの文字情報は、第1ユーザU1が続けて発話する文章又は句(フレーズ)に相当する。音声信号に、人の声が含まれない場合、クラウドサーバ60は文字情報を表示制御装置20に送信しなくてよい。
【0054】
制御部22は、文字情報を取得すると、その文字情報を文字列としてプロジェクタ30により透明スクリーン5に表示させる表示処理を行う(ステップS105)。表示処理の詳細については、後述する。
【0055】
表示処理の後、第1ユーザU1は、表示されている文字列を見て表示設定を変更することができる。変更する表示設定は、第1表示領域A1及び/又は第2表示領域A2のそれぞれに表示される文字列の文字の大きさ、文字間隔、及び/又は一行辺りの文字数を含む。第1ユーザU1は、入力部24を操作して設定の変更を行うことができる。第1ユーザU1は、改行調整ボタンを用いて、表示された文字列の改行位置を調整してよい。改行位置の調整は、文字列全体の一行の文字数の変更、及び、文字列の特定の位置での改行の設定を含む。制御部22は、第1ユーザU1が表示設定の変更を行っているか否かを確認する(ステップS106)。
【0056】
ステップS106で、第1ユーザU1による表示設定の変更があったとき(ステップS106:Yes)、制御部22は、第1表示領域A1に表示される第1の文字列、及び/又は、第2表示領域A2に表示される第2の文字列の表示を変更する(ステップS107)。制御部22は、設定変更に従って、第1の文字列の第1閾値、及び/又は、第2の文字列の第2閾値を変更する。ステップS107の後、及び、ステップS106で、第1ユーザU1による表示設定の変更がないとき(ステップS106:No)、制御部22は、ステップS108に進む。
【0057】
ステップS108において、制御部22は、表示制御装置20が停止ボタンの操作等の終了の指示を受けない限り(ステップS108:No)、ステップS102からステップS108の処理を繰り返す。ステップS108で、表示制御装置20が終了の指示を受けた場合、制御部22は処理を終了する。
【0058】
次に、ステップS105の表示処理について、
図7のフロー図を参照して説明する。
【0059】
まず、これより前にマイク40から取得した一続きの音声信号である第1音声を変換した文字情報を取得しており、第1音声の後、一定時間以上経過している場合を想定する(ステップS201:Yes)。制御部22は、続いて取得された第2音声が変換された文字情報に対応する文字列の最初に、改行位置を設定する(ステップS202)。制御部22は、音声信号が受信されるタイミングをマイク40から音声信号が取得されるタイミングにより判断してよい。これにより、第2ユーザU2は、第1ユーザU1の発言の切れ目を、第2表示領域A2に表示される第2表示物DO2である第2の文字列から確実に認識することができる。一定時間は、例えば、1秒間から5秒間の範囲から設定しうるが、この範囲の時間に限られない。なお、表示制御装置20が音声信号を取得するタイミングとして、マイク40から音声信号を取得するタイミングに代えて、クラウドサーバ60から音声信号が変換された文字情報を取得するタイミングを用いてもよい。
【0060】
ステップS201で前回の文字情報の取得から所定時間が経過していないとき(ステップS201:No)、及び、ステップS202の後、制御部22はステップS203に進む。
【0061】
ステップS203で、制御部22は、第1表示領域A1に表示する第1の文字列について、取得した文字情報の文字数と第1閾値とを比較する(ステップS203)。取得した文字情報の文字数が、第1閾値よりも大きいとき(ステップS203:Yes)、制御部22は、第1の文字列を一行の文字数が最大となる改行位置、すわなち、第1閾値及びその整数倍の文字数となる位置に改行位置を設定する(ステップS204)。直前に改行された位置から改行されていない文字列があるとき、制御部22は、改行されていない文字列の後に取得した文字情報の文字列を加えて、各行の文字数が第1閾値及びその整数倍となる位置に改行位置を設定する。以下の処理においても、直前に改行された位置から前回までに取得した改行されていない文字列があるとき、制御部22は、改行されていない文字列の後に取得した文字情報の文字列を加えて判定を行うものとする。
【0062】
ステップS203で、取得した文字情報の文字数が第1閾値よりも大きくないとき(ステップS203:No)、及び、ステップS204の後、制御部22は、ステップS205に進む。
【0063】
制御部22は、第2表示領域A2に表示される第2の文字列についても、第2閾値を用いて、ステップS203及びS204の処理を実行する。この時点では、第1閾値と第2閾値とが異なる場合、第1表示領域A1と第2表示領域A2では、表示される第1の文字列と第2の文字列との改行位置が異なることがある。
【0064】
次に、制御部22は、第1の文字列と第2の文字列との改行位置が同じになるように調整を行う(ステップS205)。ステップS205の処理の第1例について、
図8を参照して説明する。
【0065】
まず、制御部22は、現在設定されている第1閾値と第2閾値とを比較する(ステップS301)。
【0066】
ステップS301で、第1閾値が第2閾値よりも大きい場合(ステップS301:Yes)、制御部22は、文字情報の文字数と第2閾値とを比較する(ステップS302)。文字情報の文字数が第2閾値以下の場合(ステップS302:No)、第1の文字列及び第2の文字列ともに、1行の範囲内になるので、改行を設定する必要は無い。したがって、制御部22は、改行位置を決定する処理を行わない。
【0067】
文字情報の文字数が第2閾値より大きい場合(ステップS302:Yes)、少なくとも第2表示領域A2に表示される第2の文字列は、改行をする必要が生じる。制御部22は、第2の文字列と改行位置が同じになるように、第1表示領域A1に表示される第1の文字列の文字の大きさ及び/又は文字間隔等の設定を変更する(ステップS303)。この場合、制御部22は、第1の文字列の文字の大きさを大きくし、及び/又は、文字間隔を広げるように調整する。これにより、第1閾値が変化し、第1閾値と第2閾値とは同じ値となる。
【0068】
ステップS301で、第1閾値が第2閾値以下の場合(ステップS301:No)、制御部22は、文字情報の文字数と第1閾値とを比較する(ステップS304)。文字情報の文字数が第1閾値以下の場合(ステップS304:No)、第1の文字列及び第2の文字列ともに、1行の範囲内になるので、改行を設定する必要は無い。したがって、制御部22は、改行位置を決定する処理を行わない。
【0069】
文字情報の文字数が第1閾値より大きい場合(ステップS304:Yes)、少なくとも第1表示領域A1に表示される第1の文字列は、改行をする必要が生じる。制御部22は、第2の文字列と改行位置が同じになるように、第1表示領域A1に表示される第1の文字列の文字の大きさ及び/又は文字間隔等の設定を変更する(ステップS305)。この場合、制御部22は、第1の文字列の文字の大きさを小さくし、及び/又は、文字間隔を狭めるように調整する。これにより、第1閾値が変化し、第1閾値と第2閾値とは同じ値となる。
【0070】
図8の処理を行うことにより、第1の文字列と第2の文字列とは、改行が無いか、又は、同じ位置で改行されるように設定される。
図9は、その一例を示す。この例では、第1表示領域A1と第2表示領域A2とでは、表示される文字列の改行位置が異なっている。より具体的には、第1閾値<第2閾値となっている。制御部22は、第1表示領域A1に表示される文字列の大きさを調整することにより第1閾値を第2閾値と一致させ、それにより、改行の設定位置を一致させている。より具体的には、制御部22は、「おはようございます。本日のご用件はなんですか。」の文字列に含まれる文字の大きさを小さくすることにより、第1表示領域A1に表示される第1の文字列と、第2表示領域A2に表示される文字列の改行位置を一致させている。
【0071】
次に、
図7のステップS205の処理の第2例について、
図10を参照して説明する。
【0072】
ステップS401、S402及びS404については、
図8のステップS301、S302及びS304と同じであるから、説明を省略する。制御部22は、第1閾値が第2閾値よりも大きく、且つ、文字情報の文字数が第2閾値よりも大きいとき(ステップS402:Yes)、第1の文字列を第2閾値の文字数及びその整数倍の位置で改行するように設定する(ステップS403)。また、制御部22は、第1閾値が第2閾値以下であり、且つ、文字情報の文字数が第1閾値よりも大きいとき(ステップS404:Yes)、第2の文字列を第1閾値の文字数及びその整数倍の位置で改行するように設定する(ステップ:S405)。この方法では、制御部22は、第1の文字列の一行に含まれる文字数と、第2の文字列の一行に含まれる文字数とが同じになるように、第1の文字列及び第2の文字列の改行位置が決定される。
【0073】
図10の処理を行うことにより、第1の文字列と第2の文字列とは、改行が無いか、又は、第1閾値又は第2閾値の何れか小さい方の文字数で改行されるように設定される。
図11は、その一例を示す。この例では、第1表示領域A1と第2表示領域A2とでは、表示される文字列の改行位置が異なっている。より具体的には、第1閾値>第2閾値となっている。制御部22は、第1表示領域A1に表示される文字列を、第2閾値の文字数で改行設定することにより、第1の文字列と第2の文字列との改行の設定位置を一致させている。すなわち、この場合、第1表示領域A1に表示される文字列の第1閾値は変えていないが、第1の文字列は第1閾値よりも小さい文字数で改行されている。
【0074】
図8と
図10のフロー図の処理を組み合わせることも可能である。例えば、制御部22は、
図8のステップS301で第1閾値が第2閾値よりも大きい場合、
図10のステップS402及びS403の処理を実行し、第1閾値が第2閾値よりも大きくない場合、
図8のステップS304及びS305の処理を実行してよい。このようにすることで、制御部22は、第1の文字列の改行位置、又は、文字の大きさ及び/若しくは文字間隔を変更し、第2の文字列の設定を変更しないで、第1の文字列と第2の文字列の改行位置を同じにすることができる。したがって、聞き手である第2ユーザU2から見える第2の文字列は、一定の改行位置、文字の大きさ及び間隔で表示される。したがって、第2ユーザU2に表示が頻繁に切り替わるという違和感を与えることを避けることができる。
【0075】
図7のフロー図に戻り、制御部22はステップS205の後、必須ではないが、単語に応じた改行位置の設定を行い、単語の途中で改行がなされないようにする(ステップS206)。ステップS206の手順が
図12のフロー図に示される。
【0076】
まず、制御部22は、文字情報を単語に分解する(ステップS501)。文字情報の分解には、公知の日本語解析ツール又は日本語解析技術を使用することができる。
【0077】
次に、制御部22は、単語の途中に改行位置が来ているものがあるか検出する(ステップS502)。単語の途中で改行位置がある場合(ステップS502:Yes)、その単語の前に改行位置を移動する(ステップS503)。
【0078】
ステップS503の後、制御部22は、ステップS503による改行位置の移動に伴い、文字列の改行位置全体を再調整する(ステップS504)。ステップS504では、単語の途中に改行位置が来ないように調整する。
【0079】
このように改行位置の調整を行うことにより、単語の途中で文字列が改行されることを防ぐことができる。単語が異なる行に跨らなくなるので、第2ユーザU2にとって、第2の文字列が見やすくなる。また、第1ユーザU1は表示される第1の文字列と第2の文字列との比較が容易となり、表示される内容を速く容易に確認することができる。
【0080】
図12のフロー図では、文字情報を、単語を単位として分解するものとしたが、文字情報は分節を単位に分解してもよい。
【0081】
図7に戻り、制御部22は、ステップS201からステップS206で設定された改行位置に従って改行された第1の文字列及び第2の文字列をプロジェクタ30に表示させる(ステップS207)。制御部22は、第1表示領域A1及び第2表示領域A2に、同じ位置で改行される第1の文字列及び第2の文字列を表示する。
【0082】
以上説明したように、制御部22は、第1閾値、第2閾値及び音声信号から変換された一続きの文字情報の文字数を比較して、第1の文字列及び第2の文字列の改行位置が同じになるように、少なくとも何れかの改行位置を決定する。これによって、発話者である第1ユーザU1が第1ユーザU1側の表示部の表示内容と聞き手である第2ユーザU2側の表示部の表示内容とを見比べて、表示内容を直感的に理解することが容易となる。これにより、第1ユーザU1は、音声認識処理により発話内容が正しく第2ユーザに対して表示されているか否かを素早く確認することが可能になる。
【0083】
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を1つに組み合わせたり、或いは分割したりすることが可能である。
【0084】
本開示において「第1」及び「第2」等の記載は、当該構成を区別するための識別子である。本開示における「第1」及び「第2」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第1表示物DO1は、第2表示物DO2と識別子である「第1」と「第2」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第1」及び「第2」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
【0085】
本開示の各実施形態に含まれる構成要素及び機能ブロックは、適宜同一のハードウェア又は異なるハードウェアに配置することができる。本開示の各実施形態のマイク40は、表示制御装置20又はプロジェクタ30と同じハードウェアに含まれてよい。本開示の実施形態の通信部21、制御部22、記憶部23、及び、入力部24の一部、或いは全部は、プロジェクタ30に含まれてもよい。
【0086】
本発明の表示部は、透明スクリーン5及びプロジェクタ30を含む構成に限定されない。表示部は、例えば、透明基板内に発光素子が配列された透明有機ELディスプレイ(OLED:Organic Light Emitting Diode)を含むものであってもよい。
【0087】
上記実施形態において、音声認識処理はクラウドに置かれた音声認識サーバにより行うものとしたが、本発明はこれに限られない。音声認識処理は、表示制御装置20の近くに配置されたサーバ、又は、表示制御装置20自身で行ってもよい。
【符号の説明】
【0088】
1 表示システム
5 透明スクリーン(表示部)
10 基材
11 スクリーン部
12 遮光部
20 表示制御装置
21 通信部
22 制御部
23 記憶部
24 入力部
30 プロジェクタ(表示部)
40 マイク
60 クラウドサーバ
A1 第1表示領域
A2 第2表示領域(所定の表示領域)