特開 2024-118182 方法、電子機器、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118182

(43)【公開日】2024-08-30

(54)【発明の名称】方法、電子機器、及びプログラム

(51)【国際特許分類】

   G06F 16/338 20190101AFI20240823BHJP

   G06F 3/16 20060101ALI20240823BHJP

   G06F 3/14 20060101ALI20240823BHJP

   G06F 16/90 20190101ALI20240823BHJP

   G10L 15/10 20060101ALI20240823BHJP

   G10L 15/22 20060101ALI20240823BHJP

【ＦＩ】

G06F16/338

G06F3/16 620

G06F3/16 650

G06F3/14 330A

G06F16/90 100

G10L15/10 200W

G10L15/22 460Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023024466

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(72)【発明者】

【氏名】佐々木 匠

(72)【発明者】

【氏名】福繁 竜也

(72)【発明者】

【氏名】飯塚 新人

(72)【発明者】

【氏名】渡邊 亮

(72)【発明者】

【氏名】山本 康司

【テーマコード（参考）】

5B069

5B175

【Ｆターム（参考）】

5B069AA20

5B069BA04

5B175DA01

5B175EA01

5B175JB02

(57)【要約】

【課題】
話し手の音声をテキストに変換し、変換されたテキストを表示手段に表示させ聞き手に提示する表示システムにおいて、ユーザが電子マニュアルを表示手段に表示させたいという需要があった。しかしながら、当該表示システムにおいて単純に電子マニュアルを表示させたとしても、ユーザにとって利便性がよいシステムを提供することは困難であった。
【解決手段】電子機器の制御方法であって、電子マニュアルを通知部に表示させること、ユーザの音声信号に対応する文字情報に変換すること、前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記文字情報に含まれる少なくとも一種類の第２特徴語と、を比較すること、前記比較の結果に対応する通知情報及び前記文字情報を前記通知部（表示手段）に表示させること、を含む方法。

【選択図】 図２

【特許請求の範囲】

【請求項1】

電子機器の制御方法であって、
電子マニュアルを通知部に表示させること、
ユーザの音声信号に対応する文字情報に変換すること、
前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記文字情報に含まれる少なくとも一種類の第２特徴語と、を比較すること、
前記比較の結果に対応する通知情報及び前記文字情報を前記通知部に表示させること、を含む方法。

【請求項2】

前記電子機器は前記通知部として表示部又は投影部の少なくとも一方を備え、
前記表示部又は前記投影部を介して、前記電子マニュアルを表示領域の第１領域に表示すること、を含む請求項１に記載の方法。

【請求項3】

前記音声信号を文字情報に変換し、前記文字情報から前記少なくとも一種類の第２特徴語を特定すること、
前記表示部又は前記投影部を介して、前記文字情報を前記表示領域の第２領域に表示すること、を含む請求項２に記載の方法。

【請求項4】

前記少なくとも一種類の第２特徴語は、前記電子マニュアルを前記第１領域に表示した後に変換された前記文字情報に含まれる文字列である、請求項３に記載の方法。

【請求項5】

前記少なくとも一種類の第１特徴語のうち、前記少なくとも一種類の第２特徴語のいずれにも一致しない第３特徴語があると判断すると、前記通知情報として前記第３特徴語を含む情報である第１情報を前記通知部から通知する、請求項４に記載の方法。

【請求項6】

前記比較の結果において、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が所定の条件を満たす場合、前記通知部から前記ユーザに通知情報を通知すること、を含む請求項４に記載の方法。

【請求項7】

前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が所定の条件を満たす場合、前記通知情報として、前記電子マニュアルが間違っていることを示す第２情報、又は前記電子マニュアルに沿った対応が出来ていないことを示す第３情報を前記通知部から通知すること、を含む請求項６に記載の方法。

【請求項8】

前記電子機器は、前記通知情報として、前記第２情報及び前記第３情報から選択的に通知可能であって、
前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が第１数以下（０を含む）である場合、第３情報を前記通知部から通知すること、
前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が第１数より大きい第２数以下である場合、第２情報を前記通知部から通知すること、を含む請求項７に記載の方法。

【請求項9】

制御部と、
通知部と、
を備え、
ユーザの音声信号に基づき、電子マニュアルを特定し、
前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記音声信号に含まれる少なくとも一種類の第２特徴語と、を比較し、
前記比較の結果に基づいて前記通知部からユーザに通知情報を通知させる電子機器。

【請求項10】

電子機器の制御プログラムにおいて、
ユーザの音声信号に基づき、電子マニュアルを特定すること、
前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記音声信号に含まれる少なくとも一種類の第２特徴語と、を比較すること、
前記比較の結果に基づいて通知部から前記ユーザに通知情報を通知すること、を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、方法、電子機器、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、マイクロフォンが取得した音声データを解析し、当該音声データの内容に対応する業務マニュアルの項目を抽出し、当該項目についての文字データに基づく文章をユーザ端末に表示させる業務マニュアルシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2015-233230号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

話し手の音声をテキストに変換し、変換されたテキストを表示手段に表示させ聞き手に提示する表示システムにおいて、ユーザが電子マニュアルを表示手段に表示させたいという需要があった。

【0005】

しかしながら、当該表示システムに引用文献１のような業務マニュアルシステムを単純に適用したとしても、ユーザにとって利便性がよいシステムを提供することは困難であった。

【0006】

従って、本開示の目的は、電子マニュアルを表示する表示システムにおいて、ユーザにとって利便性の高い方法、電子機器、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

一実施形態において、（1）方法は、電子機器の制御方法であって、電子マニュアルを
通知部に表示させること、ユーザの音声信号に対応する文字情報に変換すること、前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記文字情報に含まれる少なくとも一種類の第２特徴語と、を比較すること、前記比較の結果に対応する通知情報及び前記文字情報を前記通知部に表示させること、を含む。

【0008】

（２）上記（１）の方法は、前記電子機器は前記通知部として表示部又は投影部の少なくとも一方を備え、前記表示部又は前記投影部を介して、前記電子マニュアルを表示領域の第１領域に表示すること、を含む。

【0009】

（３）上記（２）の方法は、前記音声信号を文字情報に変換し、前記文字情報から前記少なくとも一種類の第２特徴語を特定すること、前記表示部又は前記投影部を介して、前記文字情報を前記表示領域の第２領域に表示すること、を含む。

【0010】

（４）上記（２）又は（３）の方法は、前記少なくとも一種類の第２特徴語は、前記電子マニュアルを前記第１領域に表示した後に変換された前記文字情報に含まれる文字列である。

【0011】

（５）上記（４）の方法は、前記少なくとも一種類の第１特徴語のうち、前記少なくとも一種類の第２特徴語のいずれにも一致しない第３特徴語があると判断すると、前記通知情報として前記第３特徴語を含む情報を前記通知部から通知する。

【0012】

（６）上記（４）又は（５）の方法は、前記比較の結果において、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が所定の条件を満たす場合、前記通知部から前記ユーザに通知情報を通知すること、を含む。

【0013】

（７）上記（６）の方法は、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が所定の条件を満たす場合、前記通知情報として、前記電子マニュアルが間違っていることを示す第２情報、又は前記電子マニュアルに沿った対応が出来ていないことを示す第３情報の両方を前記通知部から通知すること、を含む。

【0014】

（８）上記（７）の方法は、前記電子機器は、前記通知情報として、前記第２情報及び前記第３情報から選択的に通知可能であって、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が第１数以下である場合、第３情報を前記通知部から通知すること、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が第１数より小さい第２数以下（０を含む）である場合、第３情報を前記通知部から通知すること、を含む。

【0015】

一実施形態において、電子機器（９）は、制御部と、通信部と、備え、ユーザの音声信号に基づき、電子マニュアルを特定し、前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記音声信号に含まれる少なくとも一種類の第２特徴語と、を比較し、前記比較の結果に基づいて前記通信部からユーザに通知情報を通知させる。

【0016】

一実施形態において、表示制御プログラム（１０）は、電子機器の表示制御プログラムにおいて、ユーザの音声信号に基づき、電子マニュアルを特定すること、前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記音声信号に含まれる少なくとも一種類の第２特徴語と、を比較すること、前記比較の結果に基づいて通知部から前記ユーザに通知情報を通知すること、を含むプログラム。

【発明の効果】

【0017】

本開示の一実施形態によれば、電子マニュアルを表示するシステムにおいて、ユーザにとって利便性のよい方法、プログラム、及び電子機器を提供できる。

【図面の簡単な説明】

【0018】

【図1】図１は、一実施形態に係る表示システムの構成の一例を示す図である。

【図2】図２は、一実施形態に係る電子機器の動作の一例を示す図である。

【図3】図３は、一実施形態に係る表示の一例を示す図である。

【図4】図４は、一実施形態に係る表示の一例を示す図である。

【図5】図５は、一実施形態に係る電子機器の構成の一例を示す図である。

【図6】図６は、一実施形態に係る電子機器の動作の一例を示す図である。

【図7】図７は、一実施形態に係る表示の一例を示す図である。

【図8】図８は、一実施形態に係る電子機器の動作の一例を示す図である。

【図9】図９は、一実施形態に係る表示の一例を示す図である。

【図10】図１０は、一実施形態に係る電子機器の動作の一例を示す図である。

【発明を実施するための形態】

【0019】

以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的な物である。図面上の寸法及び比率等は現実のものとは必ずしも一致していない。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0020】

一実施形態において、表示システムは、投影装置と、前記投影装置に、画像を投影させ
るための制御部と、を備える。制御部は、取得部から取得したユーザの認識能力を示す情報に基づいて、表示画像の表示態様を変更する。

【0021】

図１は、一実施形態に係る表示システムの構成の一例を示す図である。

【0022】

図１に示すように、表示システム１は、電子機器１００と、投影スクリーン２００と、を有する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。

【0023】

電子機器１００は、通信部１１０、音声取得部１２０、投影部１３０、操作部１４０、記憶部１５０、及び制御部１６０を含んで構成される。

【0024】

通信部１１０は、公衆セルラ通信網又はローカルセルラ通信網等のネットワークを介して各種データの送受信を行うように構成される。通信部１１０による通信は有線、無線のいずれで実行されてもよく、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信部１１０は、１以上の通信プロトコルを用いることができる。

【0025】

音声取得部１２０は、周囲の音声を収音する。音声取得部１２０は、収音した音声に対応する信号を制御部１６０に入力する。音声取得部１２０は、マイクを含む。また、音声取得部１２０は、外部のマイクを接続可能な入力インターフェイスであってもよい。外部のマイクは無線又は有線で接続される。入力インターフェイスに接続されるマイクは、例えば電子機器１００に接続可能なヘッドセット等に備えられるマイクである。

【0026】

投影部１３０は、テキスト、静止画像、動画像、及びこれらの一部又は全部の組み合わせたものを含む画像を通知情報として投射スクリーン等の平面に投影する。投影部１３０は、例えば、映写機又はプロジェクター等の投影装置であってもよいが、ディスプレイ等の表示装置であってもよい。

【0027】

操作部１４０は、ユーザの操作を受け付けて、受け付けた操作に応じた信号を制御部１６０に送出する。操作部１４０は、例えば、利用者の操作を受け付けるための１乃至複数のデバイスを有して構成される。デバイスには、例えば、キー、ボタン、及びタッチスクリーン等が含まれる。

【0028】

記憶部１５０は、制御部１６０が実行するプログラム、制御部１６０が実行する処理に必要な情報、及び、制御部１６０が実行した結果得られた情報を記憶するように構成される。記憶部１５０は、例えば、電子マニュアル、及び特徴語と電子マニュアルとを紐づけたテーブルを記憶してよい。電子マニュアルは、例えば、ユーザの業務手順、又はユーザの業務における注意事項等を示す業務マニュアルをデータ化したものである。電子マニュアルは、少なくともテキストを含み、静止画像、動画像、及びこれらの一部又は全部の組み合わせたものをさらに含んでもよい。特徴語は、例えば、電子マニュアルに含まれるテキストのうち、電子マニュアルで説明する業務特有の名詞、動詞、又は業務で注意すべき事項のうち特徴的な名詞を予め決定すればよい。電子マニュアルは、１又は複数記憶してもよい。

【0029】

記憶部１５０は、半導体記憶装置、磁気記憶装置、光記憶装置の少なくとも何れかを含んでよい。半導体記憶装置は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリ、ならびに、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びフラシュメモリ等の不揮発性メモリを含んでよい。半導体記憶装置には、フラッシュメモリを用いたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が含まれる。磁気記
憶装置は、例えば、磁気テープ、フロッピー（登録商標）ディスク、ハードディスク等が含まれる。光記憶装置は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイ（Ｂｌｕ－ｒａｙ（登録商標））等が含まれる。記憶部１５０は、制御プログラム１４１等を記憶する。

【0030】

表示制御プログラム１５１は、電子機器１００を構成するデバイス、例えば、制御部１６０等の制御に基づき、電子マニュアルに含まれる特徴語とユーザの音声の音声信号に含まれる特徴語を比較し、当該比較結果に基づいてユーザに通知情報を通知する機能を提供する。

【0031】

制御部１６０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びコアプロセッサを含むが、これらに限定されない。また、制御部１６０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等を含む。制御部１６０は、複数の演算処理装置から構成されてよく、複数の演算処理装置の協働により、各種の制御を実行してもよい。

【0032】

制御部１６０は、電子機器１００の動作を統括的に制御して各種の機能を実現する。制御部１６０は、操作部１４０が受け付けた入力に基づいて、各種操作を実行する。制御部１６０は、操作部１４０が受け付けた入力に応じた出力を通信部１１０又は投影部１３０等によって行ってもよい。

【0033】

制御部１６０は、制御プログラム１５１を実行することにより、制御プログラム１５１により提供される機能を、制御部１６０による処理として実現する。

【0034】

投影スクリーン２００は、アクリル板等の基材に張付けることが可能な投影用のフィルム状、シート状又は板状の部材等である。一般に、投影スクリーン２００自体が、「透明スクリーン」と呼ばれることがある。投影スクリーン２００は、投影部１３０から入射した光の一部を、入射側及び出射側に拡散させる。ユーザは、投影スクリーン２００により拡散された光が視界に入ることにより、投影部１３０から投影された画像を認識することができる。投影スクリーン２００の形状は、例えば、長方形とすることができるが、これに限られない。投影スクリーン２００は、種々の形状にすることができる。

【0035】

表示システム１は、政府、自治体、又は、公的機関の窓口、金融機関、医療機関、公共交通機関等の窓口、民間事業者の営業店舗、ならびに、オフィス内の会議室等において、種々の情報を含む画像を投影装置に投影させてよい。

【0036】

以下では表示システム１の実施形態をいくつか説明する。表示システム１は、公的機関の窓口に設置されたシステムとして説明するが、これに限定されない。表示システム１は、電子機器１００と、クラウドサーバと、を含む。電子機器１００は、窓口の職員（以下、ユーザともいう）の声を示す音声信号を音声取得部１２０から取得する。電子機器１００は、音声信号に基づき音声情報をクラウドサーバに通信部１１０を介して送信する。なお音声情報は、当該音声信号を示すデータを含む。クラウドサーバは、電子機器１００から取得した音声情報を既知の音声認識処理によって文字情報に変換する。クラウドサーバは、当該文字情報を電子機器１００へ送信する。すなわち電子機器１００は、クラウドサーバから、当該文字情報を通信部１１０を介して取得する。なお、電子マニュアルは、クラウドサーバに記憶されていてもよい。この場合、電子機器１００は、クラウドサーバと通信部１１０を介して通信することで、クラウドサーバが記憶する種々のデータ、例えば
、電子マニュアルを参照してもよい。また電子機器１００は、クラウドサーバを介さずに、当該音声信号に基づき既知の音声認識処理によって文字情報に変換してもよい。

【0037】

電子機器１００は、通知部として投影部１３０を備える。電子機器１００は、窓口の机上に設置された投影スクリーン２００に対し、ユーザの発話内容を投影させる。すなわち、電子機器１００は、ユーザの声を示す音声信号に対応する文字情報をクラウドサーバを介して取得し、当該文字情報が示すテキストを発話内容として投影部１３０に投影させる。また、電子機器１００は、記憶部１５０又はクラウドサーバを参照し、投影部１３０に電子マニュアルを投影させる。具体的に、電子マニュアルは、窓口に来た来訪者へユーザが説明するべき事項を示す情報を含む。

【0038】

つまり、電子機器１００は、ユーザの発話内容、及び／又は電子マニュアル等を投影部１３０に投影させる。

【0039】

一実施形態において、電子機器の制御方法は、電子マニュアルを通知部に表示させること、ユーザの音声信号に対応する文字情報に変換すること、前記電子マニュアルに含まれる少なくとも一種類の第１特徴語と、前記文字情報に含まれる少なくとも一種類の第２特徴語と、を比較すること、前記比較の結果に対応する通知情報及び前記文字情報を前記通知部に表示させること、を含む。

【0040】

図２は、一実施形態に係る表示システムの動作の一例を示す図である。

【0041】

図２に示すように、制御部１６０は、ステップＳ１０１において、電子マニュアル２０２を、通知部である投影部１３０に表示させる。例えば、図３に示すように、制御部１６０は、電子マニュアル２０２が投影スクリーン２００の第１領域２０１に位置するように表示させてよい。

【0042】

ここで制御部１６０は、ユーザの音声信号に基づき、音声信号に対応する電子マニュアルを投影部１３０に表示させてもよい。

【0043】

制御部１６０は、音声取得部１２０が取得したユーザの音声信号を音声認識により文字情報に変換してよい。制御部１６０は、変換した文字情報に特定の特徴語が含まれている場合、当該特定の特徴語に対応する電子マニュアルを選択的に投影部１３０に表示させてもよい。「特定の特徴語」は、電子マニュアルに強く関連するキーワードを予め決定すればよく、予め定めたキーワードと電子マニュアルとを紐づけるテーブルを記憶部１５０に記憶させておけばよい。

【0044】

例えば、制御部１６０は、ユーザの音声情報が「マイナンバーカードの申請ですね。」を示す信号を含む場合、制御部１６０は「マイナンバーカード」を特定の特徴語として抽出する。そして制御部１６０は、図３のように、当該特定の特徴語に基づき、「マイナンバーカードの申請方法」が記載された電子マニュアル２０２を投影部１３０に表示させる。なお、制御部１６０は、記憶部１５０に記憶されたテーブルを参照した際に、同一の特徴語に紐づく電子マニュアルが複数ある場合、同一の特徴語に紐づく電子マニュアルを全て、又は一部を投影部１３０に表示させてもよい。また、前述したように、制御部１６０は、クラウドサーバに音声認識の処理を実行させてもよい。

【0045】

次に、ステップＳ１０２において、制御部１６０は、電子マニュアル２０２に含まれる第１特徴語を抽出する。具体的に、制御部１６０は、電子マニュアルに紐付けられた特徴語を第１特徴語として抽出する。なお、制御部１６０は、電子マニュアル２０２に含まれる文字情報を品詞分解し、当該品詞分解によって得られた名詞を第１特徴語と判定しても
よい。例えば、制御部１６０は、「マイナンバーカードの申請方法」を示す電子マニュアル２０２に含まれる「ＡＢＣ」及び「ＤＥＦ」を第１特徴語として抽出する。「ＡＢＣ」及び「ＤＥＦ」は、例えば、マイナンバーカードの申請に必要な書類を示すキーワードである。

【0046】

ステップＳ１０３において、制御部１６０は、音声取得部１２０が取得したユーザの音声信号を音声認識によって文字情報とし、当該文字情報を品詞分解し、当該品詞分解によって得られた名詞を第２特徴語と判定する。例えば、ユーザが「マイナンバーカードの申請ですね。」に続けて「申請に必要なものは、ＡＢＣです」と来訪者へ話したケースにおいては、制御部１６０は、音声取得部１２０が取得したユーザの音声信号に基づき、「マイナンバーカード」、「ＡＢＣ」のキーワードを第２特徴語として判定する。

【0047】

また制御部１６０は、音声取得部１２０が取得したユーザの音声信号を音声認識によって変換した文字情報を投影部１３０に表示させてもよい。例えば、図３のように、制御部１６０は、音声取得部１２０が取得したユーザの音声信号を音声認識によって変換した文字情報を、投影スクリーン２００の第２領域２０３に位置するよう投影部１３０に表示させる。

【0048】

なお、投影部１３０に表示させる上記文字情報の表示態様は、表示システム１のユースケースに応じて適宜変更されてよい。具体的に、ユーザと来訪者との間に投影スクリーン２００を配置し、ユーザと来訪者とが投影スクリーン２００を挟んで会話するようなユースケースにおいて、制御部１６０は、第２領域２０３に表示させる上記文字情報を左右反転させて表示させてもよい。言い換えると、制御部１６０は、上記文字情報を鏡像文字で表示させてもよい。このようにすることで、ユーザは第１領域２０１を見ることで電子マニュアルを確認できる一方で、来訪者は第２領域２０３を見ることでユーザが話した内容を確認することできるので、会話を円滑に進めやすくできる。また、このようなユースケースにおいては、投影スクリーン２００がパーテンションの役割を果たし、会話で生じる話者の飛沫を防止でき、衛生的な会話ができる。

【0049】

ステップ１０３は、ステップＳ１０１の直後から実行する。ステップＳ１０３は、ステップＳ１０２の前に実行されてもよいし、ステップＳ１０２と並行して実行されてもよい。

【0050】

ステップＳ１０４において、制御部１６０は、第３特徴語があるか判断する。第３特徴語は、第１特徴語に含まれるキーワードのうち、第２特徴語に含まれないキーワードである。具体的に、制御部１６０は、ステップＳ１０２において抽出した第１特徴語に、ステップＳ１０３において抽出した第２特徴語のいずれにも一致しない第３特徴語があるか判断する。ステップＳ１０４において、第３特徴語がある場合、ステップＳ１０５に処理を進める。一方、ステップＳ１０４において、第３特徴語が無い場合、処理を終了する。

【0051】

例えば、制御部１６０は、ステップＳ１０２において「ＡＢＣ」及び「ＤＥＦ」を第１特徴語として判断し、ステップＳ１０３において「マイナンバーカード」、「ＡＢＣ」を第２特徴語として判断した場合、「ＤＥＦ」を第３特徴語として判断する。

【0052】

ステップＳ１０５において、制御部１６０は、第１情報２０４を投影部１３０によって投影スクリーン２００に表示させる。第１情報２０４は、例えば、図４Ａのように、ユーザの音声に第３特徴語が含まれていないことを示す情報であってよいし、図４Ｂのように、電子マニュアルが示す対応をユーザができていないことを示す情報であってもよい。第１情報２０４は、ユーザの音声に第３特徴語が含まれていないことを示す情報と、電子マニュアルが示す対応をユーザができていないことを示す情報と、の両方であってもよい。

【0053】

なお、第１情報２０４は、図４Ａのように、第１領域２０１及び第２領域２０３に重畳され背景が透過するように表示されてよいし、図４Ｂに示すように、第１領域２０１及び第２領域２０３に被らないように表示されてもよい。

【0054】

以上のように、本実施形態において、電子機器１００は、少なくとも一種類の第１特徴語のうち、少なくとも一種類の第２特徴語のいずれにも一致しない第３特徴語があると判断すると、通知情報として第１情報２０４を前記通知部から通知する。すなわち、電子機器１００を利用するユーザは、電子マニュアルが示す業務において応対の不備に気づきやすくなる。なお、本実施形態では、表示システム１が通知部として投影部１３０を備える例を説明したが、一実施形態において、図５のように、表示システム１の通知部として表示部１７０を備えてよい。表示部１７０は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＥＬディスプレイ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又はＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッターディスプレイ等の表示パネルを有して構成さ
れてよい。表示部１７０は、透明有機ＥＬディスプレイ等の透過型ディスプレイでもよい。

【0055】

また、一実施形態において、電子マニュアルに含まれる少なくとも一種類の第１特徴語と、音声信号に含まれる少なくとも一種類の第２特徴語と、を比較し、少なくとも一種類の第１特徴語に一致する少なくとも一種類の第２特徴語の数が所定の条件を満たす場合、通知部から前記ユーザに通知情報を通知してもよい。

【0056】

図６は、一実施形態に係る表示システムの動作の一例を示す図である。

【0057】

なお、図６のステップＳ２０１－Ｓ２０３は、図２のステップＳ１０１－Ｓ１０３と重複するため説明は省略する。

【0058】

ステップＳ２０４において、制御部１６０は、第１特徴語と一致する第２特徴語の数が所定の数以上であるか判断する。具体的に、制御部１６０は、電子マニュアル２０２に含まれる第１特徴語と、ユーザの音声信号を音声認識した文字情報に含まれる第２特徴語とを比較する。制御部１６０は、第１特徴語と一致する第２特徴語が所定の数以上含まれているか判定する。言い換えると、制御部１６０は、ユーザの音声信号に基づき、ユーザの音声に、第１特徴語と一致する第２特徴語が何回含まれていたかを判断する。例えば、電子マニュアル２０２は第１特徴語として「ＡＢＣ」を含み、ユーザが「・・・・・ＡＢＣ・・・・、・・・・・・ＡＢＣ、ＡＢＣ、ＡＢＣ・・・・・。」と発話したケースにおいては、制御部１６０は、第１特徴語と一致する第２特徴語が４つ含まれると判断する。

【0059】

制御部１６０は、第１特徴語と一致する第２特徴語が所定の数以上である場合、ステップＳ２０５に処理を進める。一方で、制御部１６０は、第１特徴語と一致する第２特徴語が所定の数以上でない場合、処理を終了する。なお、第１特徴語が複数ある場合、ステップＳ２０４において、制御部１６０は、各複数の第１特徴語毎に、一致する第２特徴語の数をカウントしてよい。つまり、制御部１６０は、当該カウントした数のうち一つでも所定の数以上であれば、ステップＳ２０５に処理を進めてよい。

【0060】

ステップＳ２０５に処理を進めるための閾値である「所定の数」は、ユーザによって適宜設定できる。

【0061】

例えば、電子マニュアル２０２が業務対応において来訪者に話すべき複数の項目を含むものであって、複数の項目のうち、第１特徴語を含む項目の数より大きい数を「所定の数
」として設定してよい。このように「所定の数」を設定すれば、制御部１６０が第１特徴語と一致する第２特徴語が所定の数以上である場合は、電子マニュアル２０２に従っても来訪者とコミュニケーションがうまくいっていない蓋然性が高い、言い換えると、電子マニュアル２０２が示す業務対応の内容が間違っている、或いは不足している蓋然性が高いといえる。

【0062】

ステップＳ２０５において、制御部１６０は、図７Ａ及び図７Ｂに示すように、通知情報として電子マニュアル２０２が指示する内容が間違っている、或いは不足していることを示す第２情報２０５を投影部１３０に表示させる。なお、第２情報２０５は、図７Ａのように、第１領域２０１及び第２領域２０３に重畳され背景が透過するように表示されてよいし、図７Ｂのように、第１領域２０１及び第２領域２０３に被らないように表示されてもよい。また、制御部１６０は、第２情報を表示した後、ユーザによる特定の入力を受け付けると、表示されている電子マニュアル２０２を編集可能である。編集とは、例えば、電子マニュアル２０２に記載されている内容の削除、又は内容の追加であってよい。ユーザによる特定の入力とは、操作部１４０への入力であってよい。

【0063】

以上のように、本実施形態の電子機器１００によれば、ユーザは電子マニュアル２０２が示す業務対応の内容が間違っている、或いは不足している可能性を直感的に理解しうる。

【0064】

また、一実施形態において、制御部は、電子マニュアルに含まれる少なくとも一種類の第１特徴語と、音声信号に含まれる少なくとも一種類の第２特徴語と、を比較し、前記少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が予定の数よりも少ない場合、電子マニュアルに沿った対応が出来ていないことを示す第３情報２０６を表示させてもよい。

【0065】

図８は、一実施形態に係る表示システムの動作の一例を示す図である。

【0066】

なお、図８のステップＳ３０１－Ｓ３０３は、図６のステップＳ２０１－Ｓ２０３と重複するため説明は省略する。

【0067】

ステップＳ３０４において、制御部１６０は、第１特徴語と一致する第２特徴語の数が所定の数よりも少ないか否か判断する。具体的に、制御部１６０は、電子マニュアル２０２に含まれる第１特徴語と、ユーザの音声信号を音声認識した文字情報に含まれる第２特徴語とを比較する。制御部１６０は、第１特徴語と一致する第２特徴語が所定の数以上含まれているか判定する。言い換えると、制御部１６０は、ユーザの音声情報に基づき、ユーザの音声に、第１特徴語と一致する第２特徴語が何回含まれていたかを判断する。例えば、電子マニュアル２０２は第１特徴語として「ＡＢＣ」を含み、ユーザが「・・・・・ＡＢＣ・・・・、・・・・・・ＡＢＣ、ＡＢＣ、ＡＢＣ・・・・・。」と発話したケースにおいては、制御部１６０は、第１特徴語と一致する第２特徴語が４つ含まれると判断する。制御部１６０は、第１特徴語と一致する第２特徴語が文字情報に所定の数よりも少ない場合、ステップＳ３０５に処理を進める。一方で、制御部１６０は、第１特徴語と一致する第２特徴語が文字情報に所定の数以上の場合、処理を終了する。なお、第１特徴語と一致する第２特徴語が複数種類含まれる場合、制御部１６０は、それぞれの種類の第２特徴語に対して、文字情報に含まれる回数をカウントしてよい。制御部１６０は、それぞれの種類の第２特徴語に対して所定の数よりも少ないか否か判断する。制御部１６０は、文字情報に所定の数以上含まれる第２特徴語が少なくとも１種類あるときステップＳ３０５に処理を進める。一方で、文字情報に所定の数以上含まれる第２特徴語が無い場合、処理を終了する。

【0068】

ステップＳ３０５に処理を進めるための閾値である「所定の数」は、ユーザによって適宜設定できる。

【0069】

例えば、電子マニュアル２０２が業務対応において来訪者に話すべき複数の項目を含むものであって、複数の項目のうち、第１特徴語を含む項目の数以下の数を「所定の数」として設定してよい。このように「所定の数」を設定すれば、制御部１６０が第１特徴語と一致する第２特徴語が所定の数以下である場合は、電子マニュアル２０２に従った案内ができていない蓋然性が高いといえる。

【0070】

ステップＳ３０５において、制御部１６０は、図９Ａ及び図９Ｂに示すように、通知情報として電子マニュアル２０２に沿った対応が出来ていないことを示す第３情報２０６を投影部１３０に表示させる。具体的に、第３情報２０６は「電子マニュアルに沿った対応が出来ていない可能性があります」等の電子マニュアル２０２に沿った対応が出来ていないことを示す文字情報を含む。なお、第３情報２０６は、図９Ａのように、第１領域２０１及び第２領域２０３に重畳され背景が透過するように表示されてよいし、図９Ｂのように、第１領域２０１及び第２領域２０３に被らないように表示されてもよい。

【0071】

以上のように、本実施形態において、制御部１６０は、電子マニュアル２０２に含まれる少なくとも一種類の第１特徴語と、音声信号に含まれる少なくとも一種類の第２特徴語と、を比較し、少なくとも一種類の第１特徴語に一致する前記少なくとも一種類の第２特徴語の数が所定の数よりも少ない場合、電子マニュアル２０２に沿った対応が出来ていないことを示す第３情報２０６を投影部１３０に表示させる。すなわち、制御部は、電子マニュアル２０２に記載されている説明をユーザが行っていないと判断し、電子マニュアル２０２に沿った対応が出来ていないことをユーザに通知する。このような制御部によれば、ユーザは自らの説明が不足している事を直感的に理解しえるため、ユーザの説明が不足することを防ぎえる。

【0072】

また、一実施形態において、制御部は、通知情報として、第２情報及び前記第３情報から選択的に通知可能であって、少なくとも一種類の第１特徴語に一致する少なくとも一種類の第２特徴語の数が第１数以下（０を含む）である場合、第３情報を通知部から通知すること、少なくとも一種類の第１特徴語に一致する少なくとも一種類の第２特徴語の数が第１数より大きい第２数以下である場合、第３情報を前記通知部から通知してもよい。

【0073】

図１０は、一実施形態に係る表示システムの動作の一例を示す図である。

【0074】

なお、図１０のステップＳ４０１－Ｓ４０３は、図５のステップＳ２０１－Ｓ２０３と重複するため説明は省略する。

【0075】

ステップＳ４０４において、制御部１６０は、第１特徴語と一致する第２特徴語の数が第１数（第１数は０を含む）以下か否か判断する。具体的に、制御部１６０は、電子マニュアル２０２に含まれる第１特徴語と、ユーザの音声信号を音声認識した文字情報に含まれる第２特徴語とを比較する。制御部１６０は、第１特徴語と一致する第２特徴語が第１数以下か判定する。言い換えると、制御部１６０は、ユーザの音声情報に基づき、ユーザの音声に、第１特徴語と一致する第２特徴語が何回含まれていたかを判断する。例えば、電子マニュアル２０２は第１特徴語として「ＡＢＣ」を含み、ユーザが「・・・・・ＡＢＣ・・・・、・・・・・・ＡＢＣ、ＡＢＣ、ＡＢＣ・・・・・。」と発話したケースにおいては、制御部１６０は、第１特徴語と一致する第２特徴語が４つ含まれると判断する。制御部１６０は、第１特徴語と一致する第２特徴語が文字情報に第１数以下である場合、ステップＳ４０５に処理を進める。一方で、制御部１６０は、第１特徴語と一致する第２特徴語が文字情報に第１数より多く含まれている場合、ステップＳ４０６に処理を進める
。

【0076】

ステップＳ３０５に処理を進めるための閾値である「所定の数」は、ユーザによって適宜設定できる。

【0077】

例えば、電子マニュアル２０２が業務対応において来訪者に話すべき複数の項目を含むものであって、複数の項目のうち、第１特徴語を含む項目の数以下の数を第１数として設定してよい。このように「所定の数」を設定すれば、制御部１６０が第１特徴語と一致する第２特徴語が所定の数以下である場合は、電子マニュアル２０２に従った案内ができていない蓋然性が高いといえる。

【0078】

ステップＳ４０５において、制御部１６０は、通知情報として電子マニュアル２０２が間違っていることを示す第２情報２０５を投影部１３０に表示させる。なお、第２情報２０５は、図７Ａに示すように背景が透過するように表示されてよいし、図７Ｂに示すように、音声情報及び電子マニュアル２０２に被らないように表示されてもよい。

【0079】

ステップＳ４０６において、制御部１６０は、第１特徴語と一致する第２特徴語の数が第１数よりも大きい第２数よりも小さいか否か判断する。具体的に、制御部１６０は、電子マニュアル２０２に含まれる第１特徴語と、ユーザの音声信号を音声認識した文字情報に含まれる第２特徴語とを比較する。制御部１６０は、第１特徴語と一致する第２特徴語の数が文字情報に第２数よりも小さい場合、ステップＳ４０７に処理を進める。一方で、制御部１６０は、第１特徴語と一致する第２特徴語の数が文字情報に第１数以上含まれている場合、処理を終了する。なお、ステップＳ４０４及びＳ４０６において、第１特徴語と一致する第２特徴語が複数種類含まれる場合、制御部１６０は、それぞれの種類の第２特徴語に対して、文字情報に含まれる回数をカウントしてよい。制御部１６０は、それぞれの種類の第２特徴語に対して所定の数よりも少ないか否か判断してよい。

【0080】

ステップＳ４０７において、制御部１６０は、通知情報として電子マニュアル２０２に沿った対応が出来ていないことを示す第３情報２０６を投影部１３０に表示させる。なお、第３情報２０６は、図９Ａに示すように背景が透過するように表示されてよいし、図９Ｂに示すように、文字情報及び電子マニュアル２０２に被らないように表示されてもよい。

【0081】

以上のように、制御部１６０は、第１特徴語と一致する第２特徴語に対して、各種類の第２特徴語の数に応じて、第２情報２０５及び第３情報２０６を選択的に通知することができる。このような制御部によれば、ユーザは、第１特徴語と一致する第２特徴語の数が第１数よりも少ない場合、電子マニュアル２０２が示す業務対応の内容が間違っている、或いは不足している可能性を直感的に理解でき、第１特徴語と一致する第２特徴語の数が第２数よりも少ない場合、マニュアルに沿った説明ができていない可能性を理解しうる。すなわち、制御部は、第１特徴語と一致する第２特徴語の数に基づいて、ユーザは自分の説明において冗長な部分又は不足している部分を直感的に理解し得るため、ユーザの対応を向上させえる。

【0082】

以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【0083】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、
各構成部に含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部を１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は電子機器が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【0084】

本開示において「第１」、「第２」、及び「第３」等の記載は、当該構成を区別するための識別子である。本開示における「第１」、「第２」、及び「第３」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１情報は、第２情報、及び第３情報と識別子である「第１」、「第２」、及び「第３」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」、「第２」及び「第３」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

【0085】

本開示の各実施形態の通信部、音声取得部、投影部、表示部、操作部、記憶部、及び制御部の一部、或いは全部は、電子装置１００にハードウェアとして、或いはソフトウェアとして含まれてよい。なお、本開示の各実施形態の音声取得部、投影部、表示部、操作部の一部、或いは全部は、電子機器１００に接続する外部機器であってもよい。

【0086】

電子機器１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ又はＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【符号の説明】

【0087】

１ ：表示システム
１００ ：電子機器
１１０ ：通信部
１２０ ：音声取得部
１３０ ：投影部
１４０ ：操作部
１５０ ：記憶部
１５１ ：表示制御プログラム
１６０ ：制御部
１７０ ：表示部
２００ ：投影スクリーン
２０１ ：第１領域
２０２ ：電子マニュアル
２０３ ：第２領域
２０４ ：第１情報
２０５ ：第２情報
２０６ ：第３情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】