特許 7459760 表示システムの制御方法、表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】表示システムの制御方法、表示システム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20240326BHJP

   G10L 15/30 20130101ALI20240326BHJP

   G10L 15/28 20130101ALI20240326BHJP

【ＦＩ】

G06F3/16 630

G06F3/16 620

G06F3/16 670

G06F3/16 650

G10L15/30

G10L15/28 230K

【請求項の数】 9

(21)【出願番号】P 2020179515

(22)【出願日】2020-10-27

(65)【公開番号】P2022070444

(43)【公開日】2022-05-13

【審査請求日】2023-08-04

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100179475

【弁理士】

【氏名又は名称】仲井 智至

(74)【代理人】

【識別番号】100216253

【弁理士】

【氏名又は名称】松岡 宏紀

(74)【代理人】

【識別番号】100225901

【弁理士】

【氏名又は名称】今村 真之

(72)【発明者】

【氏名】三村 乃那

(72)【発明者】

【氏名】友野 充則

【審査官】酒井 優一

(56)【参考文献】

【文献】特開２０２０－１３４９０３（ＪＰ，Ａ）

【文献】特開２０１４－０７１４５７（ＪＰ，Ａ）

【文献】特開２０１８－１９０４３６（ＪＰ，Ａ）

【文献】特開２００５－３２８９６３（ＪＰ，Ａ）

【文献】特開２０２０－０７７４２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００９２００７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３９１６６６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／３０

Ｇ１０Ｌ １５／２８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

画像を表示する表示装置と、前記表示装置に対する複数種類の操作のうち、一部の種類に属する第１類操作を要求する第１音声に基づいて第１音声データを生成し、生成した前記第１音声データをサーバー装置に送信する音声処理装置と、を備え、前記サーバー装置から前記第１類操作を実行する命令を前記表示装置が受信する表示システムの制御方法であって、
前記表示装置は、前記複数種類の操作のうち、前記第１類操作とは異なる第２類操作を要求する第２音声を認識する音声認識部と、前記第１類操作及び前記第２類操作の実行を制御する制御部と、を備え、
前記第２類操作の実行の許可を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、
前記サーバー装置から前記第２類操作の実行を許可する命令を前記表示装置が受信し、
前記制御部は、前記第２類操作の実行を許可する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を開始する、
ことを特徴とする表示システムの制御方法。

【請求項2】

前記音声認識部は、前記第２類操作を要求する前記第２音声が連続するときに、連続する複数の前記第２類操作を一つの要求として認識可能であり、
前記制御部は、前記一つの要求として認識された前記複数の第２類操作を実行する、
ことを特徴とする請求項１に記載の表示システムの制御方法。

【請求項3】

前記制御部は、前記一つの要求として認識された前記複数の第２類操作の中で同じ内容が２回連続するときに、２回目の前記第２類操作の操作量を規定の操作量よりも多くする、
ことを特徴とする請求項２に記載の表示システムの制御方法。

【請求項4】

前記制御部は、前記一つの要求として認識された前記複数の第２類操作の中で相反する２つの内容が連続するときに、２番目の前記第２類操作の操作量を規定の操作量よりも少なくする、
ことを特徴とする請求項２に記載の表示システムの制御方法。

【請求項5】

前記第２類操作の実行が許可される期間に、前記第２類操作の実行の終了を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、前記サーバー装置から前記第２類操作の実行を禁止する命令を前記表示装置が受信し、
前記制御部は、前記第２類操作の実行を禁止する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を終了する、
ことを特徴とする請求項１に記載の表示システムの制御方法。

【請求項6】

前記第２類操作の実行が許可される期間に、前記第１類操作を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、前記サーバー装置から前記第２類操作の実行を禁止する命令を前記表示装置が受信し、
前記制御部は、前記第２類操作の実行を禁止する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を終了する、
ことを特徴とする請求項１に記載の表示システムの制御方法。

【請求項7】

前記音声処理装置は、音を出力するスピーカーを備え、
前記音声処理装置は、前記第２類操作の実行の許可を要求する前記第１音声データに対する許可を示す応答データを前記サーバー装置から受信し、前記応答データに基づいて前記第２類操作の実行を開始することを前記スピーカーから音声で通知する、
ことを特徴とする請求項１に記載の表示システムの制御方法。

【請求項8】

前記制御部は、前記表示装置が前記サーバー装置から前記第２類操作の実行を許可する命令を受信したときに、前記第２類操作を実行可能であることを文字で表示させる、
ことを特徴とする請求項１に記載の表示システムの制御方法。

【請求項9】

画像を表示する表示装置と、前記表示装置に対する複数種類の操作のうち、一部の種類に属する第１類操作を要求する第１音声に基づいて第１音声データを生成し、生成した前記第１音声データをサーバー装置に送信する音声処理装置と、を備え、前記サーバー装置から前記第１類操作を実行する命令を前記表示装置が受信する表示システムであって、
前記表示装置は、前記複数種類の操作のうち、前記第１類操作とは異なる第２類操作を要求する第２音声を認識する音声認識部と、前記第１類操作及び前記第２類操作の実行を制御する制御部と、を備え、
前記第２類操作の実行の許可を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、
前記サーバー装置から前記第２類操作の実行を許可する命令を前記表示装置が受信し、
前記制御部は、前記第２類操作の実行を許可する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を開始する、
ことを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示システムの制御方法、表示システムに関する。

【背景技術】

【0002】

特許文献１は、スマートスピーカーを介してユーザーとの対話により画像形成装置を操作する音声操作システムを開示する。この音声操作システムでは、操作する対象である画像形成装置と、スマートスピーカーと、画像形成装置に操作を命令するサーバーとがネットワークを介して接続される。ユーザーが画像形成装置の操作内容を発話すると、スマートスピーカーがその操作内容をサーバーに送信する。サーバーは、スマートスピーカーから受信した操作内容に基づいて画像形成装置に操作命令を送信する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－８７３４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された音声操作システムでは、ユーザーが操作を所望するたびに、スマートスピーカーからサーバーへの通信と、サーバーから画像形成装置への通信とを要する。このため、ユーザーが発話した操作内容が画像形成装置に操作命令として到達するまでに時間を要する。

【課題を解決するための手段】

【0005】

画像を表示する表示装置と、前記表示装置に対する複数種類の操作のうち、一部の種類に属する第１類操作を要求する第１音声に基づいて第１音声データを生成し、生成した前記第１音声データをサーバー装置に送信する音声処理装置と、を備え、前記サーバー装置から前記第１類操作を実行する命令を前記表示装置が受信する表示システムの制御方法であって、前記表示装置は、前記複数種類の操作のうち、前記第１類操作とは異なる第２類操作を要求する第２音声を認識する音声認識部と、前記第１類操作及び前記第２類操作の実行を制御する制御部と、を備え、前記第２類操作の実行の許可を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、前記サーバー装置から前記第２類操作の実行を許可する命令を前記表示装置が受信し、前記制御部は、前記第２類操作の実行を許可する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を開始する。

【0006】

画像を表示する表示装置と、前記表示装置に対する複数種類の操作のうち、一部の種類に属する第１類操作を要求する第１音声に基づいて第１音声データを生成し、生成した前記第１音声データをサーバー装置に送信する音声処理装置と、を備え、前記サーバー装置から前記第１類操作を実行する命令を前記表示装置が受信する表示システムであって、前記表示装置は、前記複数種類の操作のうち、前記第１類操作とは異なる第２類操作を要求する第２音声を認識する音声認識部と、前記第１類操作及び前記第２類操作の実行を制御する制御部と、を備え、前記第２類操作の実行の許可を要求する前記第１音声に基づいて生成された前記第１音声データを前記音声処理装置が前記サーバー装置に送信し、前記サーバー装置から前記第２類操作の実行を許可する命令を前記表示装置が受信し、前記制御部は、前記第２類操作の実行を許可する命令に基づいて、前記音声認識部で認識される前記第２音声に基づく前記第２類操作の実行を開始する。

【図面の簡単な説明】

【0007】

【図1】第１実施形態の表示システムの構成を説明する図。

【図2】第１実施形態のプロジェクターの構成を説明するブロック図。

【図3】スマートスピーカーの構成を説明するブロック図。

【図4】第１類操作の例と第２類操作の例とを示すシーケンス図。

【図5】第２実施形態のプロジェクターの構成を説明するブロック図。

【発明を実施するための形態】

【0008】

第１実施形態の表示システム１は、図１に示すように、プロジェクター２と、スマートスピーカー３と、サーバー装置４と、を備える。プロジェクター２は、表示装置の一例である。スマートスピーカー３は、音声処理装置の一例である。プロジェクター２と、スマートスピーカー３と、サーバー装置４とは、ネットワーク５を介して互いに接続される。

【0009】

プロジェクター２は、図２に示す画像供給装置６から供給される画像データに基づき、スクリーン７などに画像を表示する。画像供給装置６としては、ディスク型記録メディア再生装置や、テレビチューナー装置、パーソナルコンピューターなどが挙げられる。画像供給装置６からプロジェクター２に供給されるデータは、画像データに限定されず、音声に関するデータも含む。音声に関するデータとしては、例えば映画などの動画の表示とともに音声の再生をともなうものが例示される。また、動画は、映画に限定されず、テレビ番組や、インターネットを介して配信される動画など、種々の動画を含む。さらに、画像供給装置６から供給される画像データは、動画に関するデータに限定されず、静止画も含む。画像供給装置６から供給されるデータは、静止画の表示とともに音声を再生するデータも含む。

【0010】

図１に戻り、スマートスピーカー３は、音声アシスタント機能を実現する装置である。音声アシスタント機能は、ユーザーの発話による問いかけや要求に対して動作を実現する機能である。サーバー装置４は、ネットワーク５を介して接続される機器に種々の情報やデータ、操作命令などを提供する。本実施形態では、ユーザーの発話による音声に基づいて、プロジェクター２を操作することができる。スマートスピーカー３は、ユーザーの発話による音声に基づく音声データを生成する。スマートスピーカー３は、音声データをサーバー装置４に送信する。サーバー装置４は、スマートスピーカー３から受信した音声データを解析して、プロジェクター２に対する操作を実行する命令をプロジェクター２に送信する。プロジェクター２は、サーバー装置４から受信した命令に基づいて操作を実行する。これにより音声アシスタント機能が実現される。

【0011】

ここで、プロジェクター２に対する種々の操作は、複数種類に分類される。複数種類の操作のうち、一部の種類である第１類に属する操作は、第１類操作と呼ばれる。また、複数種類の操作のうち、第１類とは異なる種類である第２類に属する操作は、第２類操作と呼ばれる。そして、表示システム１のユーザーによる発話の内容がプロジェクター２に対する第１類操作を要求するものであるとき、ユーザーによる発話の音声は、第１音声と定義される。第１音声に基づく音声データは第１音声データと呼ばれる。表示システム１のユーザーによる発話の内容がプロジェクター２に対する第２類操作を要求するものであるとき、ユーザーによる発話の音声は、第２音声と定義される。第２音声に基づく音声データは第２音声データと呼ばれる。

【0012】

なお、本実施形態では、ユーザーによる発話の音声が第１類操作を要求する第１音声であるとき、サーバー装置４は、スマートスピーカー３から受信した音声データを解析して、プロジェクター２に対する第１類操作を実行する命令をプロジェクター２に送信する。第２類操作は、サーバー装置４を介さず、プロジェクター２がユーザーによる発話の第２音声を認識することによって実施される。第２類操作には、プロジェクター２の音量の調整、プロジェクター２の表示画像の画質調整が含まれる。さらに、表示画像の画質調整には、表示画像の明るさ調整、表示画像のコントラスト調整、表示画像の拡大縮小などが含まれる。つまり、本実施形態では、これらの調整操作を、サーバー装置４を介さず、プロジェクター２がユーザーによる発話の第２音声を認識することによって実施可能である。

【0013】

図２に示すように、プロジェクター２は、第１制御部１０と、インターフェース部１１と、フレームメモリー１２と、画像処理部１３と、ＯＳＤ処理部１４と、音声入出力部１５と、第１通信部１６と、投写部１７と、駆動部１８と、を備える。これらの各部は、バス１９を介して第１制御部１０とデータ通信可能に接続される。第１制御部１０は、第１プロセッサー２１と、第１記憶部２２とを備える。第１制御部１０がプロジェクター２の動作を統括制御する。第１プロセッサー２１は、第１記憶部２２に保存された制御プログラム２３を読み出して各種処理を実行する。第１制御部１０では、ハードウェア及びソフトウェアの協働により各種処理が実行される。

【0014】

第１制御部１０では、第１プロセッサー２１が制御プログラム２３に基づいて処理を実行することによって、音声データ取得部３１、音声認識部３２、操作処理部３３、及び、投写制御部３４として機能する。第１記憶部２２は、制御プログラム２３の他に、設定データ３６及び音声辞書データ３７を記憶する。第１記憶部２２は、不揮発性記憶領域と、揮発性記憶領域とを有する。制御プログラム２３、設定データ３６及び音声辞書データ３７は、第１記憶部２２の不揮発性記憶領域に保存される。揮発性記憶領域は、第１プロセッサー２１が実行するプログラムや各種データを一時的に記憶するワークエリアを構成する。

【0015】

設定データ３６は、プロジェクター２の動作に関する設定値を含む。設定データ３６に含まれる設定値としては、例えば、後述するスピーカー３８が出力する音声の音量レベルを示す設定値や、画像処理部１３及びＯＳＤ処理部１４が実行する処理内容を示す設定値、画像処理部１３及びＯＳＤ処理部１４の処理に用いるパラメーター等である。音声辞書データ３７は、後述するマイク３９により検出されたユーザーの音声を音声認識部３２で認識可能なデータに変換するためのデータである。例えば、音声辞書データ３７は、ユーザーの音声のデジタルデータを、日本語、英語またはその他の言語のテキストデータに変換するための辞書データを含む。また、音声辞書データ３７には、前述した第２類操作の内容を示すデータも含まれる。

【0016】

インターフェース部１１は、所定の通信規格に準拠したコネクター及びインターフェース回路等の通信ハードウェアを備える。インターフェース部１１は、第１制御部１０による制御に従って、画像供給装置６との間で画像データや音声データ、制御データ等を送受信する。

【0017】

フレームメモリー１２、画像処理部１３、及び、ＯＳＤ処理部１４は、例えば集積回路により構成される。フレームメモリー１２は、画像供給装置６から受信した画像データを一時的に展開する。画像処理部１３は、第１制御部１０による指示に基づいて、フレームメモリー１２に展開された画像データに対して各種の画像処理を施す。画像処理としては、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等が挙げられる。画像処理部１３は、処理の終了した画像データをフレームメモリー１２から読み出してＯＳＤ処理部１４に出力する。

【0018】

ＯＳＤ処理部１４は、第１制御部１０の制御に基づいて、画像処理部１３から入力された画像データが示す画像上に、各種ＯＳＤ（オンスクリーンディスプレイ）画像を重畳する。ＯＳＤ画像としては、プロジェクター２の各種設定にかかるメニュー画像や、各種のメッセージを報知するためのメッセージ画像などが挙げられる。ＯＳＤ処理部１４は、第１制御部１０の制御に基づいて、画像処理部１３から入力された画像データと、ＯＳＤ画像の画像データとを合成する。合成された画像データは、駆動部１８に出力される。なお、第１制御部１０からＯＳＤ画像を重畳する旨の指示がない場合には、ＯＳＤ処理部１４は、画像処理部１３から入力される画像データを加工することなくそのまま駆動部１８に出力する。

【0019】

音声入出力部１５は、スピーカー３８と、マイク３９と、信号処理部４０とを備える。信号処理部４０は、第１制御部１０からデジタルの音声データが入力された場合、入力された音声データをデジタルからアナログに変換する。信号処理部４０は、変換したアナログの音声データをスピーカー３８に出力する。スピーカー３８は、入力される音声データに基づいて音声を出力する。スピーカー３８から出力される音声には、画像供給装置６から供給される音声や、各種のメッセージを報知するための音声などが含まれる。マイク３９は、プロジェクター２の周辺の音声を検出する。信号処理部４０には、マイク３９を介してアナログの音声データが入力される。信号処理部４０は、マイク３９から入力されたアナログの音声データをデジタルの音声データに変換する。信号処理部４０は、デジタルの音声データを第１制御部１０に出力する。

【0020】

第１通信部１６は、所定の通信規格に従った通信ハードウェアを備え、第１制御部１０の制御により、ネットワーク５と接続する機器と所定の通信規格に従って通信する。本実施形態の第１通信部１６は、ネットワーク５を介してサーバー装置４と通信可能である。第１通信部１６が使用する通信規格は、無線通信規格でも有線通信規格でもよい。

【0021】

投写部１７は、光源部４１と、光変調装置４２と、投写光学系４３とを備える。駆動部１８は、光源駆動回路４４と、光変調装置駆動回路４５とを備える。光源駆動回路４４は、バス１９を介して第１制御部１０に接続される。また、光源駆動回路４４は、光源部４１に接続される。光源駆動回路４４は、第１制御部１０の制御に従って光源部４１の発光を制御する。発光の制御には、光源部４１の点灯と消灯の制御だけでなく、光源部４１の発光の強弱の制御も含まれる。

【0022】

光変調装置駆動回路４５は、バス１９を介して第１制御部１０に接続される。また、光変調装置駆動回路４５は、光変調装置４２に接続される。光変調装置駆動回路４５は、第１制御部１０の制御に従って、光変調装置４２を駆動し、光変調装置４２が具備する光変調素子にフレーム単位で画像を描画する。光変調装置駆動回路４５には、画像処理部１３からＲ、Ｇ、Ｂの各原色に対応する画像データが入力される。光変調装置駆動回路４５は、入力された画像データを、光変調装置４２が具備する光変調素子である液晶パネルの動作に適したデータ信号に変換する。光変調装置駆動回路４５は、変換したデータ信号に基づいて、各液晶パネルの各画素に電圧を印加し、各液晶パネルに画像を描画する。

【0023】

光源部４１は、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ、或いは、ＬＥＤやレーザー光源等の固体光源で構成される。光源部４１は、光源駆動回路４４から供給される電力により点灯し、光変調装置４２に向けて光を発する。

【0024】

光変調装置４２は、例えば、Ｒ、Ｇ、及び、Ｂの三原色に対応した３枚の液晶パネルを備える。Ｒは赤色を示し、Ｇは緑色を示し、Ｂは青色を示す。光源部４１から射出される光は、ＲＧＢの３色の色光に分離され、それぞれ対応する液晶パネルに入射される。３枚の液晶パネルの各々は、透過型の液晶パネルであり、透過する光を変調して画像光を生成する。各液晶パネルを通過して変調された画像光は、クロスダイクロイックプリズム等の合成光学系によって合成され、投写光学系４３に射出される。本実施形態では、光変調装置４２が光変調素子として透過型の液晶パネルを備える場合を例示するが、光変調素子は反射型の液晶パネルであってもよいし、デジタルミラーデバイス（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）でもよい。

【0025】

投写光学系４３は、光変調装置４２により変調された画像光をスクリーン７上に結像させるレンズやミラー等を備える。投写光学系４３は、スクリーン７に投写される画像を拡大又は縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構等を備えてもよい。

【0026】

音声データ取得部３１は、音声入出力部１５から、マイク３９が検出した音声を示す音声データを取得する。音声データ取得部３１は、取得した音声データを音声認識部３２に出力する。音声認識部３２は、音声データ取得部３１から入力された音声データに基づいて、マイク３９が検出した音声を認識する。音声認識部３２は、音声認識の結果を、操作処理部３３に出力する。

【0027】

ここで、音声認識部３２による音声の認識は、次のように実施される。音声認識部３２は、マイク３９が収音した音声をテキスト化する。音声認識部３２は、音声辞書データ３７を参照し、テキストの音声データを解析する。このとき、音声認識部３２は、音声辞書データ３７の中に、マイク３９から取得した音声データに示される文言に一致する文言が含まれるか否かを判定する。例えば、音声認識部３２は、テキストの音声データに対して文字列検索を行うことで、マイク３９から取得した音声データに示される文言が音声辞書データ３７の中に含まれるか否かを判定する。

【0028】

マイク３９から取得した音声データに示される文言が音声辞書データ３７の中に含まれるとき、音声認識部３２は、テキスト化した音声データを第２音声データとして生成する。音声認識部３２は、第２音声データを音声認識の結果として、操作処理部３３に出力する。より詳細には、音声認識部３２は、音声認識の結果として、テキスト化した音声データが第２音声データであることを示すフラグを立てて操作処理部３３に出力する。マイク３９から取得した音声データに示される文言が音声辞書データ３７の中に含まれないとき、音声認識部３２は、テキスト化した音声データを音声認識の結果として、操作処理部３３に出力する。より詳細には、音声認識部３２は、音声認識の結果として、テキスト化した音声データが第２音声データであることを示すフラグを立てずに操作処理部３３に出力する。

【0029】

操作処理部３３は、サーバー装置４からの命令に基づいて、プロジェクター２に対する操作を実現する処理を実行する。プロジェクター２に対する操作には、前述したように、第１類操作と第２類操作とが含まれる。サーバー装置４からの命令に基づいて実行される操作は第１類操作である。他方で、第２類操作は、サーバー装置４を介さず、プロジェクター２がユーザーによる発話の第２音声を認識することによって実施される。第２類操作は、サーバー装置４から第２類操作の実行を許可する命令をプロジェクター２が受信したときに実行可能である。つまり、サーバー装置４が許可する期間において第２類操作の実行が可能となる。

【0030】

ユーザーが第２類操作の実行の許可を要求する発話をすると、スマートスピーカー３がその発話の第１音声に基づいて生成した第１音声データをサーバー装置４に送信する。なお、第２類操作の実行の許可は、第１類操作である。サーバー装置４から第２類操作の実行を許可する命令をプロジェクター２が受信したとき、操作処理部３３は、第１制御部１０による命令に基づいて、プロジェクター２に対する第２類操作を実現する処理を実行する。つまり、操作処理部３３は、第２類操作の実行が許可される期間において、第１制御部１０による命令に基づいて、プロジェクター２に対する処理を実行する。このように、操作処理部３３は、第１類操作を実現する処理と、第２類操作を実現する処理とを実行する。

【0031】

投写制御部３４は、画像処理部１３や、ＯＳＤ処理部１４、駆動部１８等を制御して、スクリーン７に画像を表示させる。このとき、投写制御部３４は、画像処理部１３を制御して、フレームメモリー１２に展開された画像データを画像処理部１３に処理させる。また、投写制御部３４は、ＯＳＤ処理部１４を制御して、画像処理部１３から入力された画像データをＯＳＤ処理部１４に処理させる。また、投写制御部３４は、光源駆動回路４４を制御して、光源駆動回路４４によって光源部４１を点灯させる。また、投写制御部３４は、光変調装置駆動回路４５を制御して、光変調装置４２を駆動させ、投写部１７によって画像光を投写してスクリーン７に画像を表示する。また、投写制御部３４は、投写光学系４３の駆動を制御して、投写光学系４３のズームやフォーカスを調整する。

【0032】

図３に示すように、スマートスピーカー３は、第２制御部５０と、第２通信部５１と、音声入出力部５２とを備える。第２制御部５０は、第２プロセッサー５３と、第２記憶部５４とを備える。第２制御部５０がスマートスピーカー３の動作を統括制御する。第２プロセッサー５３は、第２記憶部５４に保存された第２制御プログラム５５を読み出して各種処理を実行する。第２制御部５０では、ハードウェア及びソフトウェアの協働により各種処理が実行される。第２制御部５０では、第２プロセッサー５３が第２制御プログラム５５に基づいて処理を実行することによって、音声データ取得部５６、ウェイクワード判定部５８、及び、応答部５９として機能する。

【0033】

第２記憶部５４は、第２制御プログラム５５の他に、第２設定データ６１、及びウェイクワードデータ６２を記憶する。第２設定データ６１は、スマートスピーカー３の動作に関する設定値を含む。ウェイクワードデータ６２は、予め定められた所定の文言であるウェイクワードを示すデータである。なお、ウェイクワードは、スマートスピーカー３を個別に特定するための文言であり、任意の語を含む文言とすることができる。第２記憶部５４は、不揮発性記憶領域と、揮発性記憶領域とを有する。第２制御プログラム５５、第２設定データ６１、及びウェイクワードデータ６２は、第２記憶部５４の不揮発性記憶領域に保存される。揮発性記憶領域は、第２プロセッサー５３が実行するプログラムや各種データを一時的に記憶するワークエリアを構成する。

【0034】

第２通信部５１は、所定の通信規格に従った通信ハードウェアを備え、第２制御部５０の制御により、ネットワーク５と接続する機器と所定の通信規格に従って通信する。本実施形態の第２通信部５１は、ネットワーク５を介してサーバー装置４と通信可能である。第２通信部５１が使用する通信規格は、無線通信規格でも有線通信規格でもよい。

【0035】

音声入出力部５２は、第２スピーカー６３と、第２マイク６４と、第２信号処理部６５とを備える。第２信号処理部６５は、第２制御部５０からデジタルの音声データが入力された場合、入力された音声データをデジタルからアナログに変換する。第２信号処理部６５は、変換したアナログの音声データを第２スピーカー６３に出力する。第２スピーカー６３は、入力される音声データに基づいて音声を出力する。第２スピーカー６３から出力される音声には、サーバー装置４から供給される音声や、各種のメッセージを報知するための音声などが含まれる。第２マイク６４は、スマートスピーカー３の周辺の音声を検出する。第２信号処理部６５には、第２マイク６４を介してアナログの音声データが入力される。第２信号処理部６５は、第２マイク６４から入力されたアナログの音声データをデジタルの音声データに変換する。第２信号処理部６５は、デジタルの音声データを第２制御部５０に出力する。

【0036】

音声データ取得部５６は、音声入出力部５２から、第２マイク６４が検出した音声を示す音声データを取得する。音声データ取得部５６は、取得した音声データをウェイクワード判定部５８に出力する。ウェイクワード判定部５８は、音声データ取得部５６から入力された音声データに基づいて、音声データにウェイクワードが含まれるか否かを判定する。ウェイクワード判定部５８は、判定結果を、サーバー装置４に出力する。

【0037】

ここで、ウェイクワード判定部５８によるウェイクワードの判定は、次のように実施される。ウェイクワード判定部５８は、第２マイク６４が収音した音声をテキスト化する。ウェイクワード判定部５８は、ウェイクワードデータ６２を参照し、テキストの音声データを解析する。このとき、ウェイクワード判定部５８は、テキストの音声データにウェイクワードと一致する文言が含まれるか否かを判定する。ウェイクワードは、ウェイクワードデータ６２に示される。

【0038】

ウェイクワード判定部５８は、ウェイクワードデータ６２を参照してテキストの音声データにウェイクワードが含まれるか否かを判定する。例えば、ウェイクワード判定部５８は、テキストの音声データに対して文字列検索を行うことで、テキストの音声データにウェイクワードが含まれるか否かを判定する。なお、第２マイク６４が検出した音声に含まれるウェイクワードは、第１音声である。ウェイクワード判定部５８は、判定結果として、ウェイクワードが含まれているか否かを示すウェイクワード検出情報を、サーバー装置４に出力する。

【0039】

第２マイク６４が検出した音声にウェイクワードが含まれるとき、音声データ取得部５６は、ウェイクワードに続く音声データをサーバー装置４に出力する。このとき、ウェイクワードに続く音声データは、第１音声に基づく第１音声データである。

【0040】

サーバー装置４は、音声アシスタント機能を実行する。音声アシスタント機能とは、ウェイクワードに続く音声に対応する操作の処理を行う機能である。音声アシスタント機能としては、例えば、プロジェクター２の電源のオンやオフ、画像表示の開始、画像ソースの切り替え、ＯＳＤ画像の投写、映像や音楽等の情報検索や情報出力等が挙げられる。これらの操作は、複数種類の操作のうちの第１類操作に分類される。ウェイクワードに続く第１類操作を要求する音声は第１音声である。そして、第１類操作を要求する第１音声に基づいて第１音声データが生成される。

【0041】

サーバー装置４は、ウェイクワードに続く第１音声に対応する第１類操作の処理の実行をプロジェクター２に命令する。図２に示すプロジェクター２の操作処理部３３は、サーバー装置４から入力された処理の実行命令に基づいて、第１類操作の処理を実行する。

【0042】

図３に戻り、サーバー装置４は、音声アシスタント機能を実行する旨の応答データをスマートスピーカー３の応答部５９に出力する。応答部５９は、サーバー装置４から入力された応答データに基づいて、音声入出力部５２に第１類操作の要求を受け付けた旨の応答信号を出力する。音声入出力部５２は、入力された応答データに基づいて、第２スピーカー６３から要求を受け付けた旨の音声を出力する。これにより、ユーザーは、要求が受け付けられたことを認識することができる。

【0043】

第１類操作の一例としてプロジェクター２を起動させ、第２類操作の一例として音量を調整する流れを説明する。この操作は、図４に示すように、ステップＳ１においてユーザーがウェイクワードと、プロジェクター２の起動の要求とを発話することによって開始される。例えば、ユーザーがウェイクワードに続けて「プロジェクターを起動して」と発話する。この発話による第１音声に基づいて、スマートスピーカー３がウェイクワードを認識する。ステップＳ２において、スマートスピーカー３は、ウェイクワードに続く「プロジェクターを起動して」という内容の第１音声データをサーバー装置４に送信する。

【0044】

ステップＳ３において、サーバー装置４は、「プロジェクターを起動して」という内容の第１音声データに基づいて、プロジェクター２の電源をオンにさせる命令をプロジェクター２に送信する。ステップＳ４において、プロジェクター２は、電源をオンの命令を受け付けた旨をサーバー装置４に応答する。ステップＳ５において、プロジェクター２は、サーバー装置４からの命令に基づいて、プロジェクター２の電源をオンにする。これにより、第１類操作の一例であるプロジェクター２の起動が実行される。このとき、プロジェクター２は、電源をオンの命令を受け付けた旨をサーバー装置４に応答する。

【0045】

なお、このとき、図２に示すプロジェクター２の第１制御部１０がプロジェクター２の電源をオンにする。また、プロジェクター２の第１制御部１０が、電源をオンの命令を受け付けた旨をサーバー装置４に応答する。図４に戻り、サーバー装置４は、ステップＳ６において、プロジェクター２の起動が受け付けられたことを示す応答データをスマートスピーカー３に送信する。スマートスピーカー３は、ステップＳ７において、サーバー装置４からの応答データに基づいて、ユーザーからの要求が受け付けられたことを音声で報知する。このとき、例えば、スマートスピーカー３は、「わかりました」と音声で報知する。

【0046】

次に、第２類操作の一例であるプロジェクター２の音量調整の流れについて説明する。プロジェクター２の音量調整の処理は、ユーザーがウェイクワードと、プロジェクター２の音量調整の要求とを発話することによって開始される。ステップＳ８において、例えば、ユーザーがウェイクワードに続けて「プロジェクターの音量調整」と発話する。ステップＳ９において、スマートスピーカー３は、ウェイクワードに続く「プロジェクターの音量調整」という内容の第１音声データをサーバー装置４に送信する。

【0047】

ステップＳ１０において、サーバー装置４は、「プロジェクターの音量調整」という内容の第１音声データに基づいて、第２類操作の実行を許可する命令をプロジェクター２に送信する。ステップＳ１１において、プロジェクター２は、サーバー装置４から受信した第２類操作の実行を許可する命令に基づいて、プロジェクター２の音量調整を受け付けることをサーバー装置４に応答する。

【0048】

サーバー装置４は、ステップＳ１２において、第２類操作である音量調整が受け付けられたことを示す応答データをスマートスピーカー３に送信する。スマートスピーカー３は、ステップＳ１３において、サーバー装置４からの応答データに基づいて、ユーザーからの要求が受け付けられたことを音声で報知する。このとき、例えば、スマートスピーカー３は、「音量調整ができます」と音声で報知する。

【0049】

ステップＳ１４において、プロジェクター２は、サーバー装置４から受信した第２類操作の実行を許可する命令に基づいて、第２類操作である音量調整の実行を開始する。このとき、図２に示すプロジェクター２の第１制御部１０が、音声認識部３２で認識される第２音声に基づく第２類操作の実行を開始する。

【0050】

ステップＳ１５において、ユーザーが、例えば、音量を上げることを要求する「上げて」と発話する。ステップＳ１６において、プロジェクター２は、「上げて」という第２音声に基づいて、音量を上げる操作を実行する。ステップＳ１７において、ユーザーが、例えば、音量をさらに上げることを要求する「もっと」と発話する。ステップＳ１８において、プロジェクター２は、「もっと」という第２音声に基づいて、音量を上げる操作を実行する。ここで、「もっと」という第２音声に基づく第２類操作は、プロジェクター２が直前に実行した第２類操作と同一の操作である。つまり、「もっと」という第２音声に基づく第２類操作は、プロジェクター２が直前に実行した第２類操作を繰り返す操作である。ステップＳ１９において、ユーザーが、例えば、音量を下げることを要求する「下げて」と発話する。ステップＳ２０において、プロジェクター２は、「下げて」という第２音声に基づいて、音量を下げる操作を実行する。

【0051】

ここで、音量を上げることを意味する文言は、「上げて」の他、「アップ」、「大きく」、「増大」、「大」、「上」等、種々の文言が図２に示す音声辞書データ３７に保存される。音量を下げることを意味する文言は、「下げて」の他、「ダウン」、「小さく」、「減少」、「小」、「下」等、種々の文言が音声辞書データ３７に保存される。音声認識部３２は、音声辞書データ３７を参照して、音量調整に関連するこれらの文言が音声辞書データ３７に含まれるか否かを判定する。音声辞書データ３７に含まれる文言であるとき、音声認識部３２は、音声認識の結果を第２音声データとして操作処理部３３に出力する。操作処理部３３は、この第２音声データに基づいて、プロジェクター２の音量調整を実行する。なお、音声認識部３２は、ユーザーが発話した文言が音声辞書データ３７に含まれないとき、第２音声データに該当しないという音声認識の結果を操作処理部３３に出力する。このとき、操作処理部３３は、何ら処理を実行しない。

【0052】

プロジェクター２が直前に実行した第２類操作を繰り返すことを意味する文言は、「もっと」の他、「さらに」、「もう一回」、「再度」、「再び」等、種々の文言が音声辞書データ３７に保存される。音声認識部３２は、音声辞書データ３７を参照して、音量調整を含む第２類操作に関連するこれらの文言が音声辞書データ３７に含まれるか否かを判定する。そして、音声認識部３２による判定結果が操作処理部３３に出力される。

【0053】

図４に戻り、第２類操作は、ステップＳ２１においてユーザーがウェイクワードと、プロジェクター２の音量調整の終了の要求を発話することによって終了する。例えば、ユーザーがウェイクワードに続けて「音量調整終り」と発話する。この発話による第１音声に基づいて、スマートスピーカー３がウェイクワードを認識する。ステップＳ２２において、スマートスピーカー３は、ウェイクワードに続く「音量調整終り」という内容の第１音声データをサーバー装置４に送信する。

【0054】

ステップＳ２３において、サーバー装置４は、「音量調整終り」という内容の第１音声データに基づいて、第２類操作の実行を禁止する命令をプロジェクター２に送信する。ステップＳ２４において、プロジェクター２は、サーバー装置４から受信した第２類操作の実行を禁止する命令に基づいて、プロジェクター２の音量調整を終了することをサーバー装置４に応答する。

【0055】

サーバー装置４は、ステップＳ２５において、第２類操作である音量調整を終了することを示す応答データをスマートスピーカー３に送信する。スマートスピーカー３は、ステップＳ２６において、サーバー装置４からの応答データに基づいて、ユーザーからの要求が受け付けられたことを音声で報知する。このとき、例えば、スマートスピーカー３は、「音量調整を終了します」と音声で報知する。ステップＳ２７において、プロジェクター２は、サーバー装置４から受信した第２類操作の実行を終了する命令に基づいて、第２類操作である音量調整の実行を終了する。

【0056】

第１実施形態の表示システム１では、第２類操作の実行の許可を要求する第１音声に基づいて、プロジェクター２がサーバー装置４から第２類操作の実行を許可する命令を受信する。第１制御部１０は、第２類操作の実行を許可する命令に基づいて、音声認識部３２で認識される第２音声に基づく第２類操作の実行を開始する。これにより、第２類操作の実行について、スマートスピーカー３からサーバー装置４への通信とサーバー装置４からプロジェクター２への通信とを省略することができるので、第２類操作の実行にかかる時間を短縮することができる。

【0057】

第２実施形態の表示システム１について説明する。第２実施形態の表示システム１は、第１実施形態の表示システム１のスマートスピーカー３が省略され、かつスマートスピーカー３の機能がプロジェクター２に備えられることを除いて、第１実施形態の表示システム１と同様の構成を有する。以下の第２実施形態の表示システム１の説明では、第１実施形態の表示システム１と同一の構成については、第１実施形態と同一の符号を付して詳細な説明を省略する。

【0058】

第２実施形態の表示システム１では、プロジェクター２は、図５に示すように、ウェイクワード判定部５８と、応答部５９と、ウェイクワードデータ６２とを有する。なお、第２実施形態のプロジェクター２は、図３に示すスマートスピーカー３の第２制御部５０の機能と、第２通信部５１の機能と、音声入出力部５２の機能と、第２プロセッサー５３の機能と、音声データ取得部５６の機能とを有する。

【0059】

第２実施形態のプロジェクター２では、図３に示すスマートスピーカー３の第２制御部５０の機能が第１制御部１０の機能に包含される。同様に、第２実施形態のプロジェクター２では、第２通信部５１の機能が第１通信部１６の機能に包含され、音声入出力部５２の機能が音声入出力部１５の機能に包含され、第２プロセッサー５３の機能が第１プロセッサー２１の機能に包含され、音声データ取得部５６の機能が音声データ取得部３１の機能に包含される。

【0060】

また、第２実施形態のプロジェクター２は、図３に示すスマートスピーカー３の第２制御プログラム５５と、第２設定データ６１とを包含する。第２実施形態のプロジェクター２では、図３に示す第２制御プログラム５５が、図５に示す制御プログラム２３に包含される。同様に、図３に示す第２設定データ６１が、図５に示す設定データ３６に包含される。第２実施形態での操作の処理の流れは、スマートスピーカー３の処理をプロジェクター２が実施することを除いて、第１実施形態での操作の処理の流れと同様である。このため、第２実施形態での操作の処理の流れの説明を省略する。上記の構成により、第２実施形態の表示システム１においても、第１実施形態の表示システム１と同様の効果が得られる。

【0061】

第１実施形態及び第２実施形態では、第２類操作の実行が許可される期間に、第２類操作の実行の終了が要求されると、サーバー装置４から第２類操作の実行を禁止する命令をプロジェクター２が受信する。第１制御部１０は、第２類操作の実行を禁止する命令に基づいて、音声認識部３２で認識される第２音声に基づく第２類操作の実行を終了する。これにより、第２類操作の実行の終了を要求する第１音声に基づいて、第２類操作の実行を終了することができる。

【0062】

なお、第２類操作の実行を終了させるための条件は、第２類操作の実行の終了が要求されることに限定されない。第２類操作の実行を終了させるための条件としては、第２類操作の実行が許可される期間に、第１類操作の実行が要求されることも採用され得る。例えば、第２類操作が許可される期間に、ユーザーが第１類操作の一例である画像ソースの切り替えを要求したことに基づいて第２類操作の実行を終了することができる。この場合、第２類操作が許可される期間に、サーバー装置４から画像ソースの切り替えの命令をプロジェクター２が受信したことに基づいて、第２類操作の実行を終了することができる。

【0063】

つまり、第２類操作の実行が許可される期間に、第１類操作を要求する第１音声に基づいて生成された第１音声データがサーバー装置４に送信される。これに基づいて、サーバー装置４から第２類操作の実行を禁止する命令をプロジェクター２が受信する。第１制御部１０は、第２類操作の実行を禁止する命令に基づいて、音声認識部３２で認識される第２音声に基づく第２類操作の実行を終了する。これにより、第１類操作を要求する第１音声に基づいて、第２類操作の実行を終了することができる。

【0064】

第１実施形態の表示システム１では、スマートスピーカー３は、第２スピーカー６３を備える。スマートスピーカー３は、第２類操作の実行の許可を要求する第１音声データに対する許可を示す応答データをサーバー装置４から受信する。スマートスピーカー３は、この応答データに基づいて第２類操作の実行を開始することを第２スピーカー６３から音声で通知する。これにより、第２類操作の実行を開始することを音声で報知することができる。また、第２実施形態の表示システム１では、プロジェクター２は、スピーカー３８を備える。プロジェクター２は、第２類操作の実行の許可を要求する第１音声データに対する許可を示す応答データをサーバー装置４から受信する。プロジェクター２は、この応答データに基づいて第２類操作の実行を開始することをスピーカー３８から音声で通知する。これにより、第２類操作の実行を開始することを音声で報知することができる。

【0065】

なお、第２類操作の実行を開始する旨の報知は、スマートスピーカー３による音声での報知や、スピーカー３８による音声での報知に限定されない。第２類操作の実行を開始する旨の報知として、プロジェクター２による文字表示での報知も採用され得る。プロジェクター２による文字表示での報知は、ＯＳＤ処理部１４によって実現され得る。第１制御部１０による制御に基づいて、ＯＳＤ処理部１４は、プロジェクター２がサーバー装置４から第２類操作の実行を許可する命令を受信したときに、第２類操作を実行可能であることを文字で表示させる。これにより、第２類操作を実行可能であることを文字で表示させることができる。

【0066】

第１実施形態及び第２実施形態のそれぞれにおいて、第２類操作を要求する第２音声が連続するときに、連続する複数の第２類操作を一つの要求として認識させることができる。例えば、第２類操作の一例である音量調整が許可される期間に、ユーザーが「上げて、上げて」と発話したとき、音声認識部３２は、連続する２回の第２音声を一つの要求として一つの第２音声データに含める。そして、操作処理部３３は、第１制御部１０による命令に基づいて、一つの第２音声データに含まれる複数の第２類操作を実現する処理を実行する。これにより、一つの要求として認識された複数の第２類操作を実行することができるので、一つの要求で一つの第２類操作だけを実行する場合に比較して、複数の第２類操作の実行にかかる時間を短縮することができる。換言すれば、一つの要求として認識された複数の第２類操作を実行することができるので、複数の第２類操作を一つずつ認識して一つずつ実行する場合に比較して、複数の第２類操作の実行にかかる時間を短縮することができる。

【0067】

第１実施形態及び第２実施形態のそれぞれにおいて、一つの要求として認識された複数の第２類操作の中で同じ内容が２回連続するとき、２回目の第２類操作の操作量を規定の操作量よりも多くすることができる。例えば、第２類操作の一例である音量調整では、音量を上げるときの操作量が所定の操作量に規定される。ここで、例えば、ユーザーが「上げて、上げて」と音量を上げる操作を２回連続して発話したとき、２回目の操作量を規定の操作量よりも多くすることができる。これは、２回目の操作量を規定の操作量よりも多く設定することによって実現され得る。これにより、一度に多くの操作量を達成することができるので、一層の時間短縮が図られる。

【0068】

第１実施形態及び第２実施形態のそれぞれにおいて、一つの要求として認識された複数の第２類操作の中で相反する内容が連続するとき、２番目の第２類操作の操作量を規定の操作量よりも少なくすることができる。例えば、第２類操作の一例である音量調整では、音量を下げるときの操作量が所定の操作量に規定される。ここで、例えば、ユーザーが「上げて、下げて」と音量を上げる操作と音量を下げる操作と連続して発話したとき、２番目の操作量を規定の操作量よりも少なくすることができる。これは、２番目の操作量を規定の操作量よりも少なく設定することによって実現され得る。これにより、規定の操作量よりも音量を上げたいけれど２回連続して音量を上げるよりも音量を下げたいというような細かな調整を実現することができる。

【符号の説明】

【0069】

１…表示システム、２…プロジェクター、３…スマートスピーカー、４…サーバー装置、５…ネットワーク、６…画像供給装置、７…スクリーン、１０…第１制御部、１１…インターフェース部、１２…フレームメモリー、１３…画像処理部、１４…ＯＳＤ処理部、１５…音声入出力部、１６…第１通信部、１７…投写部、１８…駆動部、１９…バス、２１…第１プロセッサー、２２…第１記憶部、２３…制御プログラム、３１…音声データ取得部、３２…音声認識部、３３…操作処理部、３４…投写制御部、３６…設定データ、３７…音声辞書データ、３８…スピーカー、３９…マイク、４０…信号処理部、４１…光源部、４２…光変調装置、４３…投写光学系、４４…光源駆動回路、４５…光変調装置駆動回路、５０…第２制御部、５１…第２通信部、５２…音声入出力部、５３…第２プロセッサー、５４…第２記憶部、５５…第２制御プログラム、５６…音声データ取得部、５８…ウェイクワード判定部、５９…応答部、６１…第２設定データ、６２…ウェイクワードデータ、６３…第２スピーカー、６４…第２マイク、６５…第２信号処理部。

【図1】

【図2】

【図3】

【図4】

【図5】