特開 2024-110833 表示制御プログラム、表示制御装置、及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110833

(43)【公開日】2024-08-16

(54)【発明の名称】表示制御プログラム、表示制御装置、及び表示制御方法

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20240808BHJP

   G06F 3/16 20060101ALI20240808BHJP

   G06F 3/14 20060101ALI20240808BHJP

   G06F 3/0481 20220101ALI20240808BHJP

   G10L 15/22 20060101ALI20240808BHJP

   G10L 15/10 20060101ALI20240808BHJP

   G09G 5/00 20060101ALI20240808BHJP

   G09G 5/14 20060101ALI20240808BHJP

   G02B 27/01 20060101ALN20240808BHJP

【ＦＩ】

G06F3/0484

G06F3/16 650

G06F3/14 350B

G06F3/0481

G10L15/22 460Z

G10L15/22 470Z

G10L15/10 500Z

G09G5/00 510Q

G09G5/00 510A

G09G5/00 510H

G09G5/14 A

G06F3/16 680

G02B27/01

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023015673

(22)【出願日】2023-02-03

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100147692

【弁理士】

【氏名又は名称】下地 健一

(72)【発明者】

【氏名】佐々木 匠

【テーマコード（参考）】

2H199

5B069

5C182

5E555

【Ｆターム（参考）】

2H199DA06

2H199DA17

2H199DA20

2H199DA28

2H199DA29

5B069BA04

5B069CA13

5B069DB05

5B069KA02

5C182AA02

5C182AA03

5C182AA04

5C182AA22

5C182AB02

5C182AB08

5C182AB11

5C182AB12

5C182AC02

5C182AC03

5C182AC43

5C182BA01

5C182BA03

5C182BA04

5C182BA06

5C182BA35

5C182BC22

5C182BC25

5C182BC26

5C182CB34

5C182CC24

5C182DA65

5C182DA68

5C182DA69

5C182FA03

5E555AA26

5E555AA58

5E555AA65

5E555BA04

5E555BB04

5E555BC19

5E555BD07

5E555BE08

5E555CA47

5E555CB64

5E555DB25

5E555DB41

5E555EA23

5E555FA00

(57)【要約】

【課題】音声認識の誤変換を発生させる要因に対処して音声認識の精度を高める。
【解決手段】表示制御プログラムは、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第１ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御プログラムである。表示制御プログラムは、所定の条件を満たす場合、前記表示部に誤変換の発生を示唆する通知を表示させる処理を、前記表示制御装置の制御部に実行させる。
【選択図】図６

【特許請求の範囲】

【請求項1】

複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第１ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御プログラムであって、所定の条件を満たす場合、前記表示部に誤変換の発生を示唆する通知を表示させる処理を、前記表示制御装置の制御部に実行させる表示制御プログラム。

【請求項2】

前記表示システムは、漢字と読み方を対応付けた単語群を記憶する記憶部を含み、
前記音声が変換された第１の漢字及び読み方を取得し、前記単語群を参照して前記第１の漢字が前記記憶部に前記音声が変換された読み方に対応づけて記録された第２の漢字と異なる場合、前記第２の漢字を含む通知を前記表示部に表示させる処理を前記制御部に実行させる、請求項１に記載の表示制御プログラム。

【請求項3】

前記表示システムは、前記第１ユーザからの入力を受け付ける入力部をさらに含み、
前記入力部から前記第２の漢字を選択する入力を受け付けると、前記表示部に表示させる文字情報中の前記第１の漢字を前記第２の漢字に変更する処理を前記制御部に実行させる、請求項２に記載の表示制御プログラム。

【請求項4】

前記音声認識により変換される音声の入力レートを取得又は算出し、前記入力レートが第１の閾値よりも大きい場合、前記誤変換の発生を示唆する通知として、発話速度に関する通知を表示させる処理を前記制御部に実行させる、請求項１に記載の表示制御プログラム。

【請求項5】

前記音声認識により変換される音声の入力レートを取得又は算出し、前記入力レートが第２の閾値よりも小さい場合、前記誤変換の発生を示唆する通知として、発話速度に関する通知又は前記音声の入力感度に関する通知を表示させる処理を前記制御部に実行させる、請求項１に記載の表示制御プログラム。

【請求項6】

前記入力レートは、所定時間に前記音声から認識される文字数、及び、音節数、並びに、所定時間に音声を記録したファイルの大きさの少なくとも何れかに基づいて決定される、請求項４又は５に記載の表示制御プログラム。

【請求項7】

前記表示部は、前記第１ユーザに対して前記文字情報を表示し、前記複数のユーザに含まれる前記第１ユーザとは異なる第２ユーザに対して前記文字情報を表示しない所定の表示領域を含み、前記通知を前記所定の表示領域に表示させる処理を前記制御部に実行させる、請求項１に記載の表示制御プログラム。

【請求項8】

請求項１に記載のプログラムを記憶する記憶部と、
前記プログラムを実行する制御部と
を備える表示制御装置。

【請求項9】

複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第１ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御方法であって、
前記表示制御装置の制御部が、所定の条件を満たす場合、前記表示部に誤変換の発生の可能性を示唆する通知を表示させる表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示制御プログラム、表示制御装置、及び表示制御方法に関する。

【背景技術】

【0002】

音声認識技術には、発音の仕方、及び、同音異義語の存在等により認識精度が低下してしまうという課題がある。特許文献１には、誤変換の傾向を学習して誤変換を自動的に修正するために用いられる誤変換辞書を作成する誤変換辞書作成システムが開示されている。この誤変換辞書作成システムは、入力用語を入力用語音声データに変換し、音声解析を行って入力用語音声データを音声解析用語に変換し、入力用語と音声解析用語とが一致しない場合、音声解析用語を入力用語の誤変換用語とする。誤変換辞書作成システムは、入力用語とその誤変換用語とを関連付けて誤変換辞書に記憶する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開第２０２０－１８４０２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、音声認識の認識精度は、話者の発話速度及び周囲の雑音等の種々の要因により低下することがある。ユーザは、音声認識の認識精度を低下させる要因に応じた対応をとることができることが好ましい。

【0005】

したがって、これらの点に着目してなされた本開示の目的は、音声認識の誤変換を発生させる要因に対処して音声認識の精度を高めることにある。

【課題を解決するための手段】

【0006】

一実施形態において、（１）表示制御プログラムは、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第１ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御プログラムであって、所定の条件を満たす場合、前記表示部に誤変換の発生を示唆する通知を表示させる処理を、前記表示制御装置の制御部に実行させる。

【0007】

（２）上記（１）の表示制御プログラムにおいて、前記表示システムは、漢字と読み方を対応付けた単語群を記憶する記憶部を含み、前記表示制御プログラムは、前記音声が変換された第１の漢字及び読み方を取得し、前記単語群を参照して前記第１の漢字が前記記憶部に前記音声信号が変換された読み方に対応づけて記録された第２の漢字と異なる場合、前記第２の漢字を含む通知を前記表示部に表示させる処理を前記制御部に実行させることができる。

【0008】

（３）上記（２）の表示制御プログラムにおいて、前記表示システムは、前記第１ユーザからの入力を受け付ける入力部をさらに含み、前記表示制御プログラムは、前記入力部から前記第２の漢字を選択する入力を受け付けると、前記表示部に表示させる文字情報中の前記第１の漢字を前記第２の漢字に変更する処理を前記制御部に実行させることができる。

【0009】

（４）上記（１）から（３）の表示制御プログラムは、前記音声認識により変換される音声の入力レートを取得又は算出し、前記入力レートが第１の閾値よりも大きい場合、前記誤変換の発生を示唆する通知として、発話速度に関する通知を表示させる処理を前記制御部に実行させることができる。

【0010】

（５）上記（１）から（３）の表示制御プログラムは、前記音声認識により変換される音声の入力レートを取得又は算出し、前記入力レートが第２の閾値よりも小さい場合、前記誤変換の発生を示唆する通知として、発話速度に関する通知又は前記音声の入力感度に関する通知を表示させる処理を前記制御部に実行させることができる。

【0011】

（６）上記（４）又は（５）の表示制御プログラムにおいて、前記入力レートは、所定時間に前記音声から認識される文字数、及び、音節数、並びに、所定時間に音声を記録したファイルの大きさの少なくとも何れかに基づいて決定されることができる。

【0012】

（７）上記（４）又は（５）の表示制御プログラムにおいて、前記表示部は、前記第１ユーザに対して前記文字情報を表示し、前記複数のユーザに含まれる前記第１ユーザとは異なる第２ユーザに対して前記文字情報を表示しない所定の表示領域を含み、前記通知を前記所定の表示領域に表示させる処理を前記制御部に実行させる、請求項４又は５に記載の表示制御プログラム。

【0013】

一実施形態において、（８）表示制御装置は、（１）から（７）の何れかに記載のプログラムを記憶する記憶部と、前記プログラムを実行する制御部とを備える。

【0014】

一実施形態において、（９）表示制御方法は、複数のユーザの間に配置される表示部と、前記複数のユーザに含まれる少なくとも第１ユーザの音声が音声認識によって変換された文字情報を前記表示部に表示させる表示制御装置とを備える表示システムを制御する表示制御方法であって、前記表示制御装置の制御部が、所定の条件を満たす場合、前記表示部に誤変換の発生を示唆する通知を表示させる。

【発明の効果】

【0015】

本開示の実施形態によれば、音声認識の誤変換を発生させる要因に対処して音声認識の精度を高めることが可能になる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る表示システムの利用シーンを説明する斜視図である。

【図2】図１の表示システムを上から見た図である。

【図3】図１の表示システムの概略構成を示すブロック図である。

【図4】第１ユーザの側から見た透明スクリーンの表示の一例を示す図である。

【図5】第２ユーザの側から見た透明スクリーンの表示の一例を示す図である。

【図6】表示制御装置の制御部が実行する表示制御処理の一例を示すフロー図である。

【図7】図６の誤変換発生の可能性評価処理の第１例を示すフロー図である。

【図8】図６の誤変換発生の可能性評価処理の第２例を示すフロー図である。

【図9】図６の誤変換発生の可能性評価処理の第３例を示すフロー図である。

【図10】誤変換発生の可能性が高いときの表示部の表示例を示す図である。

【図11】変換された文字情報に文法の誤りがあるときの表示例を示す図である。

【図12】記憶部に記憶される単語群の一例を示す図である。

【発明を実施するための形態】

【0017】

以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法及び比率等は現実のものとは必ずしも一致していない。

【0018】

（表示システムの構成）
一実施形態に係る表示システム１は、図１及び図２に示すように、第１ユーザＵ１と第２ユーザＵ２との間の対話を支援するシステムである。一例として、第１ユーザＵ１は、政府、自治体、又は、公的機関の窓口を担当する職員である。第２ユーザＵ２は、例えば、政府、自治体、又は、公的機関に訪れた聴覚障害者である。表示システム１が使用される場面は、上述のものに限られない。表示システム１は、金融機関、医療機関及び公共交通機関等の窓口、民間事業者の営業店舗、ならびに、オフィス内の会議室等においても使用されうる。

【0019】

近年、感染症の流行により、顧客と接する場面で窓口担当者と顧客との間に、飛沫対策のためのアクリル板又はビニールカーテン等が設置されることがある。表示システム１では、これらのアクリル板又はビニールカーテン等を基材１０とし、この基材１０に透明スクリーン５を配置する。この、透明スクリーン５に対して、プロジェクタ３０から第１ユーザＵ１の発話内容が投影される。これにより、透明スクリーン５を挟んで第１ユーザＵ１に対向して位置する第２ユーザＵ２は、第１ユーザＵ１の発話内容を聞き取ることができない場合であっても、第１ユーザＵ１の発話内容を目視して確認することができる。

【0020】

透明スクリーン５は、基材１０の任意の場所に配置することができる。透明スクリーン５は、第１ユーザＵ１と第２ユーザＵ２とが互いの顔を目視することを妨げない位置に配置されてよい。例えば、透明スクリーン５は、第１ユーザＵ１及び第２ユーザＵ２が、視線を水平方向から下側に下げた位置に配置されてよい。

【0021】

表示システム１は、図１から図３に示すように、透明スクリーン５と、表示制御装置２０と、プロジェクタ３０と、マイク４０とを含む。透明スクリーン５及びプロジェクタ３０は、表示部を構成する。表示制御装置２０と、プロジェクタ３０及びマイク４０のそれぞれとは、無線又は有線で通信可能に接続される。表示制御装置２０は、通信回線を介して音声認識処理を提供する外部のクラウドサーバ６０と通信可能に構成される。

【0022】

透明スクリーン５は、基材１０に配置されたスクリーン部１１と遮光部１２とを含む。

【0023】

スクリーン部１１は、基材１０に張付けることが可能なプロジェクタ投影用のフィルム状、シート状又は板状の部材等とすることができる。一般に、スクリーン部１１自体が、「透明スクリーン」と呼ばれることがある。スクリーン部１１は、プロジェクタ３０から入射した光の一部を、入射側及び出射側に拡散させる。第１ユーザＵ１及び第２ユーザＵ２は、スクリーン部１１により拡散された光が視界に入ることにより、プロジェクタ３０から投影された画像を認識することができる。スクリーン部１１の形状は、例えば、長方形とすることができるが、これに限られない。スクリーン部１１は、種々の形状にすることができる。

【0024】

遮光部１２は、プロジェクタ３０から射出される光の透過を少なくとも部分的に遮ることができる光学要素である。遮光部１２は、例えば、特定の波長の光を抑制するダイクロイックフィルムである。遮光部１２は、例えば、赤色を通さないダイクロイックフィルムを使用することができる。遮光部１２は、スクリーン部１１の一部に重ねて配置することができる。例えば、遮光部１２は、スクリーン部１１の表面に重ねて配置される。遮光部１２の形状は、例えば、長方形とすることができるが、これに限られない。遮光部１２は、種々の形状にすることができる。

【0025】

マイク４０は、第１ユーザＵ１の側に配置される。例えば、マイク４０は、第１ユーザＵ１の前の机の上に配置されてよい。また、マイク４０は、第１ユーザＵ１の装着するヘッドセットに取り付けられていてよい。マイク４０は、第１ユーザＵ１の発する音声を電気信号（以下、「音声信号」とも呼ぶ）に変換して、表示制御装置２０に出力する。

【0026】

表示制御装置２０は、マイク４０から音声信号を取得して、クラウドサーバ６０に送信する。表示制御装置２０は、クラウドサーバ６０で音声信号を音声認識処理により変換した文字情報を取得する。文字情報は、漢字かな交じりの情報を含んでよい。表示制御装置２０は、取得した文字情報に基づく画像信号をプロジェクタ３０に送信し、透明スクリーン５に文字情報に対応した文字列を投影して表示させる。表示制御装置２０は、例えば、携帯電話（スマートフォン）及びパソコン等の汎用の機器、又は、専用機器を使用することができる。表示制御装置２０は、通信部２１、制御部２２、記憶部２３、及び、入力部２４を含んで構成される。

【0027】

通信部２１は、無線又は有線の通信手段により、表示制御装置２０の外部の機器と通信を行う。外部の機器には、マイク４０、プロジェクタ３０及びクラウドサーバ６０が含まれる。通信部２１は、例えば、シリアル通信規格、有線ＬＡＮ（local area network）規格、Ｗｉｆｉ等の無線ＬＡＮ規格、並びに、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格等の種々の通信方式による通信に対応してよい。通信部２１は、クラウドサーバ６０に対する音声信号の送信、及び、音声信号が変換された文字情報の受信を行うことができる。

【0028】

制御部２２は、一つ又は複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部２２は、一つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

【0029】

制御部２２は、表示制御装置２０全体を制御するとともに、マイク４０により取得される音声信号を、通信部２１を介してクラウドサーバ６０に送信するように構成される。制御部２２は、通信部２１を介して、クラウドサーバ６０により音声信号から変換された文字情報を取得するように構成される。制御部２２は、取得した文字情報を表示物としてプロジェクタ３０に表示させる。本開示において「表示物」とは、プロジェクタ３０により透明スクリーン５上に表示される対象となる文字列及び画像を意味する。「表示物」は、透明スクリーン５上に画像要素として投影される。

【0030】

制御部２２は、クラウドサーバ６０から取得した第１ユーザＵ１の発話内容の文字情報を、表示物としてプロジェクタ３０に対して表示させる。制御部２２は、透明スクリーン５上での表示物の表示位置及び表示態様を制御することができる。制御部２２は、後述するように、第１ユーザＵ１の発話内容の文字情報に基づく文字列を、第１表示物ＤＯ１及び第１表示物ＤＯ１を左右反転した第２表示物ＤＯ２としてプロジェクタ３０に投影させることができる。このため、制御部２２は、通信部２１を介して、第１表示物ＤＯ１と第２表示物ＤＯ２とを適宜の位置に表示させる画像信号をプロジェクタ３０に送信する。

【0031】

制御部２２は、所定の条件が満たされる場合、プロジェクタ３０に誤変換の発生を示唆する通知を表示させる。「所定の条件」とは、クラウドサーバ６０から取得している情報に誤変換を生じさせる条件、及び／又は、クラウドサーバ６０から既に取得した文字情報が誤変換を含んでいる可能性が高いことを示す条件である。「所定の条件」は、マイク４０から取得される音声信号及び／又はクラウドサーバ６０から取得される文字情報に対する条件を含む。「誤変換の発生を示唆する通知」は、話者の発話及び／又は周辺の環境が誤変換を発生する可能性が高い状態にあること、及び／又は、取得した文字情報が誤変換を含んでいる可能性が有ることを示す通知である。制御部２２は、プロジェクタ３０に送信する画像信号に、誤変換の発生を示唆する通知を含ませることができる。

【0032】

記憶部２３は、制御部２２が実行するプログラム、制御部２２が実行する処理に必要な情報、及び、制御部２２が実行した結果得られた情報を記憶するように構成される。記憶部は、漢字を含む単語とその読み方とを対応付けた単語群を記憶してよい。単語群は、漢字とかなとの変換データである。単語群は、表示システム１の用途に応じて用意される。例えば、自治体の窓口用の表示システム１に使用される場合、自治体の窓口で高い頻度で使用される単語群が記憶部２３に記憶される。

【0033】

記憶部２３は、半導体記憶装置、磁気記憶装置、光記憶装置の少なくとも何れかを含んでよい。半導体記憶装置は、ＤＲＡＭ（Dynamic Random Access Memory）及びＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、ならびに、ＲＯＭ（Read Only Memory）及びフラシュメモリ等の不揮発性メモリを含んでよい。半導体記憶装置には、フラッシュメモリを用いたＳＳＤ（Solid State Drive）が含まれる。磁気記憶装置は、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク等が含まれる。光記憶装置は、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、及びブルーレイ（Blu-ray（登録商標））等が含まれる。

【0034】

入力部２４は、表示制御装置２０に対する第１ユーザＵ１の操作を受け付ける装置である。入力部２４は、例えば、タッチパネル、キーボード、マウス、及び、ペン入力デバイスを含む。入力部２４は、表示制御装置２０に内蔵されていてよい。入力部２４は、表示制御装置２０に外付けされた装置であってよい。

【0035】

プロジェクタ３０は、第１ユーザＵ１の側に配置され、表示制御装置２０から受信した画像信号に基づいて、透明スクリーン５に対して表示物を投影する。プロジェクタは、文字列からなる表示物に加え、静止画及び動画等を透明スクリーン５の所定の位置に投影してよい。

【0036】

クラウドサーバ６０は、インターネット等のネットワークを介してアクセスできるサーバである。本実施形態のクラウドサーバ６０は、音声認識サービスを提供する音声認識サーバである。クラウドサーバ６０は、音声信号を受信すると受信した音声信号に対して音声認識処理を実行する。クラウドサーバ６０は、音声認識の結果得られた文字情報を音声信号の送信元へ送信する。クラウドサーバ６０の提供する文字情報は、一部の文字情報が漢字に変換された漢字かな交じりの文字情報と、漢字変換された文字の読み方の情報を含むかな文字による情報とを含む。クラウドサーバ６０は音声認識処理を有料又は無料のサービスとして提供する。

【0037】

他の実施形態において、クラウドサーバ６０は、音声信号を受信して変換した漢字かな交じりの文字情報のみを表示制御装置２０に送信してよい。表示制御装置２０の制御部２２は、漢字かな交じりの文字情報に含まれる漢字を、表示制御装置２０内又は表示制御装置２０の外部の辞書により検索して、読み方の情報を取得してよい。表示制御装置２０は、クラウドサーバ６０ではなく自装置で取得した読み方の情報を用いて、以下に説明する処理を行ってよい。

【0038】

（表示システムの表示例）
次に、表示制御装置２０からの画像信号に基づいて、プロジェクタ３０が透明スクリーン５に表示する画像について説明する。透明スクリーン５において、スクリーン部１１上の領域は、第１表示領域Ａ１と第２表示領域Ａ２とに分けて使用される。第１表示領域Ａ１は、スクリーン部１１と遮光部１２とが重ならない領域である。第２表示領域Ａ２は、スクリーン部１１と遮光部１２とが重なる領域である。第２表示領域Ａ２は、所定の表示領域である。第１表示領域Ａ１は、第１ユーザＵ１の発話内容を文字情報にして第２ユーザＵ２に対して表示するために使用される。プロジェクタ３０が第１表示領域Ａ１に表示する表示物を第１表示物ＤＯ１と呼ぶ。第２表示領域Ａ２は、第２ユーザＵ２に対して表示される第１表示物ＤＯ１の内容を、第１ユーザＵ１が確認するために、第１ユーザＵ１に対して表示する領域である。プロジェクタ３０が第２表示領域Ａ２に表示する表示物を第２表示物ＤＯ２と呼ぶ。第２表示物ＤＯ２は、第１表示物ＤＯ１を左右反転した表示物である。

【0039】

図４に示すように、透明スクリーン５は、第１ユーザＵ１から見たとき、第１表示領域Ａ１に第１表示物ＤＯ１が表示される。また、第２表示領域Ａ２には、第２表示物ＤＯ２が表示される。第１ユーザＵ１に対して、第１表示物ＤＯ１は鏡文字として表示される。第２表示物ＤＯ２は正文字として表示される。「鏡文字」とは、正常な文字の左右を反転させた文字である。「正文字」とは、通常の態様で表示された文字である。

【0040】

一方、プロジェクタ３０が透明スクリーン５に投影する同じ画像を、第２ユーザＵ２側から見ると、図５に示すように、第１表示物ＤＯ１は正文字として表示される。第２表示物ＤＯ２は、遮光部１２が無ければ鏡文字として表示される。第２表示物ＤＯ２は、第２ユーザＵ２に対して表示する必要のない不要な文字であり、鏡文字であるため第２ユーザＵ２には紛らわしく感じられうる。スクリーン部１１の第２表示領域Ａ２に遮光部１２が重ねて配置されることにより、第２表示物ＤＯ２は、第２ユーザＵ２に対して表示されない。

【0041】

例えば、遮光部１２が、特定の波長（例えば、赤色の波長）の波長の光の透過を妨げるダイクロイックフィルムである場合、プロジェクタ３０は、第２表示物ＤＯ２を同じ特定の波長光で投影する。これにより、第２表示物ＤＯ２を透明スクリーン５に向けて投影する投影光は、遮光部１２で反射され第１ユーザＵ１に視認される。一方、同じ投影光は、遮光部１２を透過しにくいので、第２ユーザＵ２の眼には入りにくくなる。これによって、第２ユーザＵ２は、鏡文字である第２表示物ＤＯ２を視認しづらくなる。そのため、第２ユーザＵ２は、第２表示物ＤＯ２に煩わされにくいというメリットがある。

【0042】

図４及び図５に示す図は、第１表示領域Ａ１及び第２表示領域Ａ２の配置の一例に過ぎない。第１表示領域Ａ１及び第２表示領域Ａ２の位置、大きさ及び形状等は適宜変更されてよい。

【0043】

一実施形態において、遮光部１２としては、ダイクロイックフィルムではなく、透過した光の伝搬する角度を限定するフィルム又は部材を用いることができる。透過した光の伝搬方向を制御するフィルムには、視野角制御フィルムが含まれる。また、他の方法として、遮光部１２として偏光フィルムを用いることもできる。プロジェクタ３０から第２表示領域Ａ２に照射する光の偏光方向を、遮光部１２の偏光フィルムの偏光方向と直交させることにより、第２ユーザＵ２から第２表示物ＤＯ２を視認できないようにすることができる。

【0044】

（制御部の実行する表示制御装置の表示制御方法）
以下に、図６を参照して表示制御装置２０の制御部２２が実行する表示制御方法について説明する。表示制御装置２０は、以下に説明する制御部２２が行う処理を、非一時的なコンピュータ可読媒体に記録されたプログラムを読み込んで実装するように構成されてよい。非一時的なコンピュータ可読媒体は、磁気記憶媒体、光学記憶媒体、光磁気記憶媒体、半導体記憶媒体を含むがこれらに限られない。磁気記憶媒体は、磁気ディスク、ハードディスク、磁気テープを含む。光学記憶媒体は、ＣＤ（Compact Disc）、ＤＶＤ、ブルーレイディスク（Blu-ray（登録商標） Disc）等の光ディスクを含む。半導体記憶媒体は、ＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリを含む。

【0045】

まず、第１ユーザＵ１が表示システム１を起動すると、制御部２２は、マイク４０から通信部２１を介して音声信号を取得する（ステップＳ１０１）。本実施形態において、マイク４０は、第１ユーザＵ１の近くに配置されるので、第１ユーザＵ１の発話した音声を取得する。制御部２２は、マイク４０から取得した音声信号から、雑音を低減し人の音声の信号を選択的に取得するように構成されてよい。

【0046】

制御部２２は、通信部２１を介して、クラウドサーバ６０へステップＳ１０１で取得した音声信号を送信する（ステップＳ１０２）。クラウドサーバ６０に送信された音声信号は、クラウドサーバ６０により音声認識処理を受ける。クラウドサーバ６０は、音声信号から人の声を抽出し自然言語処理により発話内容を示す文字情報に変換する。クラウドサーバ６０は、発話内容をかな文字の文字情報と、かな文字の一部を漢字変換した漢字かな交じりの文字情報とを生成する。

【0047】

クラウドサーバ６０は、生成した文字情報を表示制御装置２０に対して送信する。音声信号に、人の声が含まれない場合、クラウドサーバ６０は文字情報を表示制御装置２０に送信しなくてよい。これにより、表示制御装置２０の制御部２２は、通信部２１を介してステップＳ１０２で送信した音声信号から変換された文字情報を取得する（ステップＳ１０３）。

【0048】

制御部２２は、文字情報を取得すると、取得した漢字かな交じりの文字情報に、誤変換が発生している可能性を評価する処理を実行する（ステップＳ１０４）。誤変換の発生の可能性を評価する方法は、１つに限られず複数種類の方法が存在してよい。制御部２２は、複数の誤変換の発生の可能性を評価する処理を、順次又は並行して実行してよい。個々の誤変換の発生の可能性を評価する処理については、図７から図９を参照して後述する。

【0049】

ステップＳ１０５で、誤変換が発生している可能性が高いと評価された場合（ステップＳ１０５：Ｙｅｓ）、制御部２２は、誤変換の発生を示唆する通知を生成する（ステップＳ１０６）。以下において、「誤変換の発生を示唆する通知」を単に「通知」とも呼ぶ。ステップＳ１０６の後、及び、ステップＳ１０５で誤変換が発生している可能性が高くはないと評価された場合（ステップＳ１０５：Ｎｏ）、制御部２２は、ステップＳ１０７に進む。

【0050】

ステップＳ１０７において、制御部２２は、クラウドサーバ６０から取得した文字情報をプロジェクタ３０により透明スクリーン５に表示させる。制御部２２は、取得した文字情報に基づき、透明スクリーン５に投影したとき第２ユーザＵ２から見て正立して見える文字を第１表示物ＤＯ１とし、第１表示物ＤＯ１の左右を反転させた文字を第２表示物ＤＯ２とする。制御部２２は、通信部２１を介してプロジェクタ３０に対して第１表示物ＤＯ１及び第２表示物ＤＯ２を含む画像信号を出力する。プロジェクタ３０は、図１０に示すように、第１表示物ＤＯ１を第１表示領域Ａ１に表示し、第２表示物ＤＯ２を第２表示領域Ａ２に表示する。

【0051】

さらに、ステップＳ１０７の前に、ステップＳ１０６において誤変換の発生を示唆する通知が生成された場合、制御部２２は、プロジェクタ３０にその通知を表示させる。通知は、例えば、第１表示物ＤＯ１及び第２表示物ＤＯ２の文字情報に埋め込まれて表示されてよい。また、通知は、例えば、第２表示領域Ａ２内に設けられた通知表示領域Ａ３に表示されてよい。通知は、少なくとも第１ユーザＵ１が視認できるように表示される。制御部２２は、一続きの文字情報に対応して割り当てられた、誤変換の発生を示す一つ以上のフラグを確認し、フラグがＯＮの場合に通知を表示するように構成されてよい。

【0052】

誤変換の発生を示唆する通知は、誤変換された文字情報の正しい変換候補を含むことがある。制御部２２は、プロジェクタ３０に正しい変換候補を表示させてよい。その場合、制御部２２は、入力部２４から表示されている文字情報に代えて表示する変換候補の文字情報を選択する入力を受け付ける（ステップＳ１０８）。制御部２２は、入力部２４から変換候補の文字情報が選択されたこと示す入力を受けると、現在表示されている文字情報の少なくとも一部を、選択された変換候補を含む文字情報に変更する。表示中の文字情報に変換候補が無い場合、ステップＳ１０８は省略される。

【0053】

制御部２２は、ステップＳ１０９で、入力部２４からの音声変換処理の終了指示、又は、表示制御装置２０の電源ＯＦＦ等の終了の指示を取得しない限り（ステップＳ１０９：Ｎｏ）、ステップＳ１０１からＳ１０８を繰り返す。制御部２２は、ステップＳ１０９で終了の指示を取得すると（ステップＳ１０９：Ｎｏ）、図６のフローチャートの処理を終了させる。

【0054】

（誤変換の発生の可能性評価方法（１））
次に、図７から図９を参照して、ステップＳ１０４の誤変換の発生の可能性評価方法について説明する。

【0055】

図７は、マイク４０からの音声の入力レートに基づいて、誤変換の発生を評価する処理である。

【0056】

制御部２２は、マイク４０から取得した音声の入力レートを取得又は算出する（ステップＳ２０１）。音声の入力レートは、所定時間に音声から認識される文字数、及び、音節数、並びに、所定時間に音声を記録したファイルの大きさの少なくとも何れかに基づいて決定されてよい。所定時間は、例えば、１秒間、３秒間及び５秒間等であるが、これらの時間に限られない。他の方法として、制御部２２は、音声信号をクラウドサーバ６０に送信し、変換された文字情報とともに音声の入力レートを受信してよい。

【0057】

制御部２２は、取得した音声の入力レートが、第１の閾値よりも大きいか否かを判断する（ステップＳ２０２）。取得した音声の入力レートが、第１の閾値よりも大きいことは、プロジェクタ３０に誤変換の発生を示唆する通知を表示させる処理を実行させるための所定の条件の１つである。第１の閾値として、例えば、その値を越えると話者の発話速度が速すぎて、クラウドサーバ６０における音声認識処理、及び／又は、表示制御装置２０における処理が間に合わない可能性が生じる値が設定される。音声の入力レートが、第１の閾値よりも大きいと、クラウドサーバ６０において、変換された文字情報に抜け又は誤変換が生じることがある。

【0058】

ステップＳ２０２において、音声の入力レートが第１の閾値よりも大きいと判断されると（ステップＳ２０２：Ｙｅｓ）、制御部２２は、誤変換の発生を示唆する通知の内容として、発話速度が速すぎることを設定する（ステップＳ２０３）。制御部２２は、記憶部２３の発話速度が速すぎることを示す特定のフラグをＯＮにしいてよい。また、制御部２２は、ステップＳ１０７で通知表示領域Ａ３に表示するための発話速度が速すぎることを示す通知（発話速度に関する通知）を生成してよい。

【0059】

ステップＳ２０２において、音声の入力レートが第１の閾値よりも大きくないと判断されると（ステップＳ２０２：Ｎｏ）、制御部２２は、音声の入力レートが、第２の閾値よりも小さいか否かを判断する（ステップＳ２０４）。音声の入力レートが、第２の閾値よりも小さいことは、所定の条件の１つである。第２の閾値は、例えば、その値を下回ると話者の発話速度が遅すぎて、クラウドサーバ６０が一続きの発話と認識しなくなる可能性が生じる値、及び／又は、通常行われる会話における入力レートの下限値として表示システム１において決定された値が設定される。第２の閾値は第１の閾値よりも小さい。音声の入力レートが、第２の閾値よりも小さいと、クラウドサーバ６０において、発話者の発話内容が意図しない位置で区切られて文字情報に変換される場合がある。また、音声の入力レートが、第２の閾値よりも小さいと、マイク４０の異常及び入力感度が低すぎること等により音声信号が正常に取得されていない可能性がある。

【0060】

ステップＳ２０４において、音声の入力レートが第２の閾値よりも小さいと判断されると（ステップＳ２０４：Ｙｅｓ）、制御部２２は、誤変換の発生を示唆する通知の内容として、発話速度が遅すぎることを設定する（ステップＳ２０５）。制御部２２は、記憶部２３の発話速度が遅すぎることを示す特定のフラグをＯＮにしいてよい。また、制御部２２は、ステップＳ１０７で通知表示領域Ａ３に表示するための発話速度が遅すぎることの通知（発話速度に関する通知）、及び／又は、マイク４０の入力感度を確認及び調整すべきことの通知（入力感度に関する通知）を生成してよい（図１０参照）。

【0061】

ステップＳ２０４において、音声の入力レートが第２の閾値よりも小さくないと判断されると（ステップＳ２０４：Ｎｏ）、制御部２２は、音声の入力レートに問題はないと判定する。制御部２２は、その情報を記憶部２３に設定して図６の処理に戻る。

【0062】

このように、制御部２２は、音声の入力レートの速すぎ又は遅すぎを判断して、図６のフローチャートのステップＳ１０７で、第１ユーザＵ１に対して、発話速度についての通知、又は、音声の入力感度に関する通知を表示させる。これにより、制御部２２は、第１ユーザＵ１に対して適切な速度で発話することを促すことができる。また、制御部２２は、マイク４０の調整が必要な場合、その調整を促すことができる。

【0063】

（誤変換の発生の可能性評価方法（２））
図８は、クラウドサーバ６０から取得した文字情報を文法解析することにより、誤変換の発生を評価する処理である。

【0064】

まず、制御部２２は、クラウドサーバ６０から取得した文字情報に対して、文法解析を行う（ステップＳ３０１）。文法解析には、公知の文法解析技術、及び／又は、公知の文法解析ツールを使用することができる。文法解析は「てにをは」等の助詞の確認、及び品詞（文末表現及び並列助詞等の付属語）の使い方の確認等を含む。

【0065】

ステップＳ３０１の結果、取得した文字情報に文法の誤りがある場合（ステップＳ３０２：Ｙｅｓ）、制御部２２は、ステップＳ３０３の処理に進む。取得した文字情報に文法の誤りがあることは、所定の条件の１つである。マイク４０が取得した音声信号が多くの雑音を含むとき、音声信号から変換された文字情報は文法の誤りを含みうる。

【0066】

ステップＳ３０３において、制御部２２は、文字情報中の文法の誤りのあった箇所を抽出する。例えば、クラウドサーバ６０から取得した文字情報に、「本日のご用件はななんでしょうか？」という一文が含まれる場合を想定する。制御部２２は、全体の文字情報から「本日のご用件はななんでしょうか」の部分、特に、「ななんでしょうか」の部分を誤り箇所として抽出する。制御部２２は、誤り箇所の抽出を、公知の文法解析技術、及び／又は、公知の文法解析ツールの出力を用いて行うことができる。制御部２２は、文字情報に対する記憶部２３の文法誤り有りを示すフラグをＯＮにしてよい。

【0067】

次に、制御部２２は、誤変換箇所の正しい変換を取得し、誤変換の発生を示唆する通知の内容として正誤情報を設定する。正誤情報は、一時的に記憶部２３に記憶されてよい。正誤情報は、文字情報の誤変換された情報（例えば、「本日のご用件はななんでしょうか？」）と、正しい変換情報（例えば、「本日のご用件はなんでしょうか？」）とを組み合わせた情報である。

【0068】

正誤情報は、一例を図１１に示すように、ステップＳ１０７で、通知表示領域Ａ３に表示してよい。誤変換された情報と正しい変換情報とは並べて表示されてよい。誤変換された情報には、誤り箇所を特定するため、下線が付されてよい。通知表示領域Ａ３に正誤情報が表示されたとき、第１ユーザＵ１は、誤りを修正する場合入力部２４を操作する。第１ユーザＵ１が入力部２４を操作して、誤りの修正を指示すると、制御部２２は第１表示領域Ａ１及び第２表示領域Ａ２に表示されている、第１表示物ＤＯ１及び第２表示物ＤＯ２の誤り箇所を正しく変換された情報に置き換える。

【0069】

ステップＳ３０２で文法誤りが無い場合（ステップＳ３０２：Ｎｏ）、制御部２２は文法誤り無しと判定し（ステップＳ３０４）、その情報を記憶部２３に設定して図６の処理に戻る。

【0070】

このように、制御部２２は、音声信号が変換された文字情報の文法誤りを検出して、正しく変換された文字情報を提示して、第１ユーザＵ１に修正を促すことができる。これによって、表示システム１は、誤変換を素早く訂正して、第２ユーザＵ２に対して正しく変換された文字情報を提示することができる。

【0071】

（誤変換の発生の可能性評価方法（３））
図９は、クラウドサーバ６０から取得した文字情報に含まれる漢字の誤変換の可能性を評価する処理である。

【0072】

まず、制御部２２は、クラウドサーバ６０から取得した文字情報から、漢字変換された文字情報と、当該漢字を含む単語の読み方を抽出する（ステップＳ４０１）。

【0073】

次に、制御部２２は、記憶部２３に記憶された単語群の情報から、ステップＳ４０１で抽出された読み方に対応する漢字を含む単語を取得する（ステップＳ４０２）。一例として、記憶部２３に、図１２に示される単語群が記憶されているものとする。例えば、制御部２２がクラウドサーバ６０から、漢字が「甲府」であり読み方が「こうふ」である文字情報を取得した場合を想定する。「甲府」は第１の漢字である。制御部２２は、記憶部２３の単語群から読み方が「こうふ」の単語を抽出する。制御部２２は、単語群の情報から読み方が「こうふ」に対応する漢字として「交付」を取得する。「交付」は第２の漢字である。

【0074】

次に、制御部２２は、クラウドサーバ６０で変換された第１の漢字と、クラウドサーバ６０から取得した読み方に対応して単語群から取得した第２の漢字とが同じか否かを判断する（ステップＳ４０３）。第１の漢字と、第２の漢字とが異なる場合（ステップＳ４０３：Ｎｏ）、制御部２２はステップＳ４０４の処理に進む。例えば、上述の例では「交付」と「甲府」とは異なるので、ステップＳ４０３はＮｏとなる。クラウドサーバ６０で変換された第１の漢字と、記憶部２３の単語群から取得した第２の漢字とが異なることは、所定の条件の１つである。

【0075】

ステップＳ４０４で、制御部２２は、誤変換の発生を示唆する通知の内容として、記憶部２３の単語群に登録された漢字を他の変換候補とする情報を設定する。また、制御部２２は、当該文字情報に関連付けられた漢字変換に誤りがある可能性が有ることを示すフラグをＯＮにする。

【0076】

制御部２２は、後のステップＳ１０７で、漢字変換に誤りがある可能性が有ることを示すフラグがＯＮの場合、例えば図１０に示すように、第１表示領域Ａ１及び第２表示領域Ａ２に表示される文字情報に他の変換候補を表示することができる。第１ユーザＵ１は、ステップＳ１０８で入力部２４を操作して、文字情報中の第１の漢字「甲府」に代えて第２の漢字「交付」を選択することができる。制御部２２は、第１の漢字「甲府」に代えて第２の漢字「交付」を選択する入力を受け付けると、表示される漢字「甲府」を漢字「交付」に変更することができる。

【0077】

ステップＳ４０３で、クラウドサーバ６０で変換された漢字と、記憶部２３の単語群から取得した漢字とが同じである場合（ステップＳ４０３：Ｙｅｓ）、制御部２２は、漢字変換誤りは無いと判定する（ステップＳ４０５）。制御部２２は、その情報を記憶部２３に記憶して図６の処理に戻る。

【0078】

このように、制御部２２は、よく使用される単語群の情報から音声信号が変換された文字情報に含まれる漢字の誤変換の可能性を判断することができる。さらに、制御部２２は、他の変換候補を提示して、第１ユーザＵ１に修正を促すことができる。これによって、漢字の誤変換を素早く訂正して、第２ユーザＵ２に対して正しく変換された文字情報を提示することができる。

【0079】

以上説明したように、表示制御装置２０は、制御部２２が音声認識によって変換された文字情報に誤変換が発生している可能性があることを示す所定の条件が満たされる場合、第１ユーザＵ１に対して誤変換の発生を示唆する通知を表示させることができる。これにより第１ユーザＵ１は、音声認識の認識精度を低下させる要因に応じた対処をして、音声認識の精度を高めることができる。

【0080】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。

【0081】

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１表示物ＤＯ１は、第２表示物ＤＯ２と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【0082】

本開示の各実施形態に含まれる構成要素及び機能ブロックは、適宜同一のハードウェア又は異なるハードウェアに配置することができる。本開示の各実施形態のマイク４０は、表示制御装置２０又はプロジェクタ３０と同じハードウェアに含まれてよい。本開示の実施形態の通信部２１、制御部２２、記憶部２３、及び、入力部２４の一部、或いは全部は、プロジェクタ３０に含まれてもよい。

【0083】

本発明の表示部は、透明スクリーン５及びプロジェクタ３０を含む構成に限定されない。表示部は、例えば、透明基板内に発光素子が配列された透明有機ＥＬディスプレイ（ＯＬＥＤ：Organic Light Emitting Diode）を含むものであってもよい。また、本発明は、実施例のように複数のユーザが表示部を挟んで向かい合って対話するものに限られない。表示部は、液晶ディスプレイ及び有機ＥＬディスプレイ等の一般的な表示装置であってよい。その場合、表示装置は、第２表示領域Ａ２に相当する第２ユーザから見えない表示領域を含まず、第１ユーザ及び第２ユーザの双方から見える表示装置の領域の一部に誤変換の発生を示唆する通知を表示してよい。表示部としては、タブレット端末のディスプレイを使用することもできる。その場合、タブレット本体を表示制御装置とし、タブレット端末のプロセッサを制御部としうる。

【0084】

上記実施形態において、音声認識処理はクラウドに置かれた音声認識サーバにより行うものとしたが、本発明はこれに限られない。音声認識処理は、表示制御装置２０の近くに配置されたサーバ、又は、表示制御装置２０自身で行ってもよい。

【符号の説明】

【0085】

１ 表示システム
５ 透明スクリーン（表示部）
１０ 基材
１１ スクリーン部
１２ 遮光部
２０ 表示制御装置
２１ 通信部
２２ 制御部
２３ 記憶部
２４ 入力部
３０ プロジェクタ（表示部）
４０ マイク
６０ クラウドサーバ
Ａ１ 第１表示領域
Ａ２ 第２表示領域（所定の表示領域）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】