特許 7435125 情報出力制御装置、情報出力システム、情報出力制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】情報出力制御装置、情報出力システム、情報出力制御方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240214BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 7

(21)【出願番号】P 2020054852

(22)【出願日】2020-03-25

(65)【公開番号】P2021157315

(43)【公開日】2021-10-07

【審査請求日】2023-01-31

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】小林 建

(72)【発明者】

【氏名】藤井 利一

(72)【発明者】

【氏名】野村 一夫

(72)【発明者】

【氏名】▲鮭▼川 達弘

(72)【発明者】

【氏名】上村 真史

(72)【発明者】

【氏名】崔 丁珠

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１１３６７１（ＵＳ，Ａ１）

【文献】特開２０１７－１３０２０１（ＪＰ，Ａ）

【文献】特開２００８－２９２７５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

書籍を特定する書籍特定部と、
前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出部と、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、
前記ユーザ検出部が、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、
を備える、情報出力制御装置。

【請求項2】

書籍を特定する書籍特定部と、
前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出部と、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、
前記ユーザ検出部が、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、
を備える、情報出力制御装置。

【請求項3】

請求項１または２に記載の情報出力制御装置と、
前記書籍の内容を表示する表示部と、
前記書籍の内容を音声で出力する音声出力部と、
を備える、情報出力システム。

【請求項4】

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップで、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を含む情報出力制御方法。

【請求項5】

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの目の開閉に基づいて、前記ユーザが前記提示面を注視しているか否かを検出するとともに、前記ユーザの顔の向きを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップで、前記ユーザが目を開いて前記提示面を注視している状態から目を閉じている状態となったことを検出した場合、前記ユーザの顔の位置の変化が少ない場合に、前記ユーザの目が閉じられる直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を情報出力制御装置として動作するコンピュータに実行させるためのプログラム。

【請求項6】

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップが、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を含む情報出力制御方法。

【請求項7】

書籍を特定する書籍特定ステップと、
前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、
前記提示面に対するユーザの視線位置および前記ユーザの顔の向きに基づいて、前記ユーザが顔を前記提示面に向けて注視している状態から前記ユーザの顔の向きが上下方向の変動によって前記提示面に対して顔を向けていない状態となったことを検出するユーザ検出ステップと、
前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、
前記ユーザ検出ステップが、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となることで注視していない状態となったことを検出した場合、前記ユーザが顔を前記提示面に向けて前記提示面を注視している状態から前記提示面に対して顔を向けていない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、
を情報出力制御装置として動作するコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報出力制御装置、情報出力システム、情報出力制御方法およびプログラムに関する。

【背景技術】

【0002】

例えば、スマートフォンまたは電子書籍用端末などを用いた電子書籍が普及している。また、電子書籍等のテキストを音声出力する電子書籍端末が知られている（例えば、特許文献１参照）。視線検出を用いて、ユーザが表示画面を注視することで表示内容を音声出力することが開示されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０２１５６５号公報

【文献】特開２０１４－１０６３２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子書籍の読書中に、目の疲労が発生したり眠くなったりすることもあるが、ユーザは、続きを知りたい欲求もある。ところが、音声出力可能な電子書籍端末は、音声出力させるための操作が必要になる。このため、目の疲労や眠気によって、音声出力を行わせたい場合の操作が煩わしい。また、音声出力を開始する箇所の設定も必要である。

【0005】

本発明は、上記に鑑みてなされたものであって、電子書籍の音声出力を適切なタイミングで行うことを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る情報出力制御装置は、書籍を特定する書籍特定部と、前記書籍特定部が特定した書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得部と、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出部と、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定部と、前記ユーザ検出部が、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御部と、を備える。

【0007】

本発明に係る情報出力システムは、上記の情報出力制御装置と、前記書籍の内容を表示する表示部と、前記書籍の内容を音声で出力する音声出力部と、を備える。

【0008】

本発明に係る情報出力制御方法は、書籍を特定する書籍特定ステップと、前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出ステップと、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、前記ユーザ検出ステップが、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、を含む。

【0009】

本発明に係るプログラムは、書籍を特定する書籍特定ステップと、前記書籍特定ステップによって特定された書籍の内容および、前記書籍を提示する提示面における前記書籍の内容の提示位置を示す書籍情報を取得する書籍情報取得ステップと、前記提示面に対するユーザの視線位置および前記ユーザが前記提示面を注視しているか否かを検出するユーザ検出ステップと、前記提示面に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を閲覧している箇所を特定する特定ステップと、前記ユーザ検出ステップが、前記ユーザが前記提示面を注視している状態から注視していない状態となったことを検出した場合、前記ユーザが前記提示面を注視している状態から注視していない状態となった直前における前記ユーザの視線位置から特定された前記書籍を閲覧している箇所以降の前記書籍の内容を音声で出力する音声出力制御ステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、電子書籍の音声出力を適切なタイミングで行うことができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】図１は、第一実施形態に係る情報出力システムを示す概略図である。

【図2】図２は、第一実施形態に係る情報出力システムの構成例を示すブロック図である。

【図3】図３は、第一実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。

【図4】図４は、第二実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。

【図5】図５は、第三実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。

【図6】図６は、第四実施形態に係る情報出力システムにおける処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に添付図面を参照して、本発明に係る情報出力システム１の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0013】

［第一実施形態］
＜情報出力システム＞
図１は、第一実施形態に係る情報出力システム１を示す概略図である。図２は、第一実施形態に係る情報出力システム１の構成例を示すブロック図である。情報出力システム１は、例えば、電子書籍端末、スマートフォン、タブレット端末、および、携帯用ゲーム機などの、電磁的に記録された書籍である電子書籍（以下、「書籍」という）を閲覧可能な電子機器に適用される。以下の説明では、これらの電子機器を総称して、表示装置という。情報出力システム１は、音声出力装置の一例としてのヘッドホン１０と、書籍を閲覧する電子機器としての表示装置３０と、情報出力制御装置５０とを有する。

【0014】

＜ヘッドホン＞
ヘッドホン１０は、書籍に対応した音声を出力する。ヘッドホン１０は、情報出力制御装置５０から出力される音声データに基づいて、音声を出力する。ヘッドホン１０は、情報出力制御装置５０と有線または無線でデータを送受信可能に接続されている。ヘッドホン１０は、左音声出力部１１と右音声出力部１２とを有する。

【0015】

左音声出力部１１は、左耳用の音声出力部である。左音声出力部１１は、左耳において視聴させる音声を出力する。左音声出力部１１は、情報出力制御装置５０から音声データを取得する。左音声出力部１１は、音声データの左チャンネルデータを出力する。左音声出力部１１は、音声データの左チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

【0016】

右音声出力部１２は、右耳用の音声出力部である。右音声出力部１２は、右耳において視聴させる音声を出力する。右音声出力部１２は、情報出力制御装置５０から音声データを取得する。右音声出力部１２は、音声データの右チャンネルデータを出力する。右音声出力部１２は、音声データの右チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

【0017】

＜表示装置＞
表示装置３０は、書籍を閲覧する装置である。より詳しくは、表示装置３０は、情報出力制御装置５０から出力される書籍の提示面のデータに基づいて、書籍の提示面を表示する。表示装置３０は、書籍データベース部（図２では「書籍ＤＢ部」）３１と、視線センサ３２と、表示部３４と、制御装置としての情報出力制御装置５０とを有する。

【0018】

書籍データベース部３１は、書籍のデータ、いわゆる、書籍情報を記憶するデータベースである。書籍のデータには、書籍の紙面を示す紙面データと、書籍の紙面に含まれる文字を音声で示す音声データとを含む。書籍データベース部３１は、図示しない通信部を介して外部のサーバ等から参照可能な構成であってもよい。

【0019】

視線センサ３２は、表示部３４の表示画面と同じ方向を向いて配置されている。視線センサ３２は、表示部３４の表示画面と対面している人物の視線を検出するセンサである。視線センサ３２は、ユーザが書籍を閲覧している状態では、ユーザの顔と向かい合う位置に配置されている。視線センサ３２は、例えば、表示装置３０の表示画面の上部に配置されている。視線センサ３２は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４へ出力する。

【0020】

視線センサ３２は、例えば、赤外ＬＥＤ群で構成された赤外光発光部と、一対の赤外線カメラとを含む。本実施形態では、視線センサ３２は、一対の赤外光発光部でユーザの顔方向に赤外光を照射し、赤外線カメラで撮影する。このようにして赤外線カメラで撮影した撮影映像から、後述するユーザ検出部５４が、ユーザの瞳孔と角膜反射の位置とに基づいて、ユーザの視線が表示部３４に表示された書籍の提示面を向いているか否かを判定する。さらに、ユーザの瞳孔と角膜反射の位置とに基づいて、表示部３４に表示された書籍の提示面におけるユーザの視線の位置が判定される。視線センサ３２は、同様の機能を有する他の構成であってもよい。視線センサ３２は、赤外発行部および赤外線カメラからなる構成に代えて、可視光を撮影する可視光カメラを用いてもよい。この場合、撮影部３３と同一の可視光カメラを視線センサ３２として用いてもよい。視線センサ３２は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４に出力する。

【0021】

撮影部３３は、表示部３４の表示画面と対面している人物を撮影する可視光カメラである。撮影部３３は、ユーザの顔を撮影する。撮影部３３は、表示部３４に対向する方向を撮影可能な向きに配置されているため、ユーザが書籍を閲覧している状態では、ユーザの顔を撮影可能である。撮影部３３は、例えば、表示装置３０の表示画面の上部に配置されている。撮影部３３は、撮影した映像データを情報出力制御装置５０のユーザ検出部５４へ出力する。

【0022】

表示部３４は、書籍データベース部３１に記憶された、書籍の提示面を表示する。表示部３４は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、電子ペーパーなどを含むディスプレイである。表示部３４は、情報出力制御装置５０の表示制御部５３から出力された表示データに基づいて、書籍の提示面を表示する。

【0023】

＜情報出力制御装置＞
情報出力制御装置５０は、表示部３４の表示画面を用いて書籍の内容を提示する。表示部３４の表示画面は、書籍を提示する提示面である。情報出力制御装置５０は、書籍情報の提示面を注視している状態から注視していない状態になったときに、書籍を閲覧していた箇所以降の書籍の内容を音声で出力する。情報出力制御装置５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または映像処理用プロセッサなどで構成された演算処理装置（制御部）である。情報出力制御装置５０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。情報出力制御装置５０は、書籍情報取得部５１と、書籍特定部５２と、表示制御部５３と、ユーザ検出部５４と、特定部５６と、音声出力制御部５７と、内部メモリである記憶部とが含まれる。情報出力制御装置５０は、一または複数の装置で構成されていてもよい。

【0024】

書籍情報取得部５１は、書籍データベース部３１から書籍情報を取得する。より詳しくは、書籍情報取得部５１は、書籍特定部５２が特定した書籍の内容および内容の提示位置を示す書籍情報を取得する。書籍の内容の提示位置とは、書籍の内容を示すテキストが表示部３４の表示画面に表示されている位置であり、提示されるページ毎に、例えば表示部３４の表示部におけるＸ－Ｙ座標が対応付けられている。書籍の内容の提示位置は、文字毎に表示される位置が対応付けられていてもよく、単語毎に表示される位置が対応付けられていてもよい。

【0025】

書籍特定部５２は、書籍を特定する。より詳しくは、書籍特定部５２は、ユーザが表示しようとしている書籍を特定する。または、書籍特定部５２は、表示部３４に表示されている書籍を特定する。書籍特定部５２は、例えば、図示しない操作部を介したユーザ操作に基づいて選択された書籍や表示された書籍を特定する。

【0026】

表示制御部５３は、書籍情報取得部５１が取得した書籍情報を表示部３４に表示させる。表示制御部５３は、書籍情報取得部５１が取得した書籍情報から、表示部３４に書籍の提示面を表示させる。表示制御部５３は、図示しない操作部を介したユーザ操作に基づいて、提示面において書籍のページをめくったり、書籍を閉じたりするような表示を行う。

【0027】

ユーザ検出部５４は、視線センサ３２が撮影した映像データに基づいて、ユーザの視線の方向を検出する。ユーザ検出部５４は、書籍の提示面に対するユーザの視線位置およびユーザが提示面を注視しているか否かを検出する。本実施形態では、ユーザ検出部５４は、ユーザの目の開閉に基づいてユーザが提示面を注視しているか否かを検出する。視線を検出する方法は限定されないが、本実施形態では、角膜反射によって視線を検出する。ユーザ検出部５４は、視線センサ３２が撮影した映像データに基づいて、ユーザの目の開閉を検出する。

【0028】

特定部５６は、書籍の提示面に対するユーザの視線位置および書籍情報に基づき、ユーザが書籍を閲覧している箇所を特定する。特定部５６は、書籍の提示面に提示されている内容からページ番号を特定し、書籍の提示面におけるユーザの視線位置を検出し、ユーザの視線位置に対応する行数、行頭からの文字数、または、段落、文字、単語などを特定する。

【0029】

音声出力制御部５７は、ヘッドホン１０から書籍の音声データを音として出力する制御を行う。より詳しくは、音声出力制御部５７は、音声データの左チャンネルデータをＤ／Ａ変換して増幅した信号を左音声出力部１１から出力させる。音声出力制御部５７は、音声データの右チャンネルデータをＤ／Ａ変換して増幅した信号を右音声出力部１２から出力させる。音声出力制御部５７は、ユーザ検出部５４が、ユーザが提示面を注視している状態から注視していない状態となったことを検出した場合、ユーザが提示面を注視している状態から注視していない状態となった直前におけるユーザの視線位置から特定された書籍を閲覧している箇所（以下、「閲覧箇所」という。）以降の書籍の内容を音声で出力する。本実施形態では、音声出力制御部５７は、ユーザ検出部５４が、ユーザが目を開いて提示面を注視している状態から目を閉じている状態となったことを検出した場合、ユーザの目が閉じられる直前の閲覧箇所以降の書籍の内容を音声で出力する。

【0030】

音声出力制御部５７による書籍の音声データの出力方法は任意である。例えば、書籍データベース部３１に記憶された音声データの出力、外部に構成された書籍データベース部３１からのストリーミング出力、または書籍データベース部３１に記憶された書籍のテキストデータに基づく音声合成による出力などが適用可能である。

【0031】

閲覧箇所以降とは、閲覧箇所を含み、書籍の内容の区切りのよい箇所以降としてもよい。例えば、末尾位置を含む単語、語句、文、章、または、ページの先頭などの、区切りのよい箇所以降でもよい。ユーザの目が閉じたと判定された時点で閲覧していた内容と、音声出力する内容とが重複してもよい。

【0032】

音声出力制御部５７は、ユーザ検出部５４が書籍の提示面を注視していない状態から注視している状態となったことを検出した場合、書籍の内容の音声出力を停止し、表示部３４の表示画面に書籍の内容を音声出力した末尾位置を含む書籍の内容を表示する。

【0033】

音声出力した末尾位置を含むとは、例えば、音声出力した末尾位置を含む単語、語句、文、章、または、ページの先頭などの区切りのよい箇所のことである。ユーザの目が開いたと判定された時点までに音声出力された内容と、表示の再開後に表示された紙面と
が重複してもよい。

【0034】

次に、図３を用いて、情報出力システム１における情報処理について説明する。図３は、第一実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。図３に示すフローチャートの処理は、表示装置３０の表示部３４に書籍が表示された状態で、ユーザ検出部５４によって、ユーザが書籍を閲覧していると判定される場合に実行される。ユーザが書籍を閲覧していることは、ユーザ検出部５４の検出結果から、ユーザの視線が表示部３４に向いているか否かによって判定可能である。

【0035】

情報出力制御装置５０は、ユーザの目が開いているか否かを判定する（ステップＳ１０１）。より詳しくは、ユーザ検出部５４によって、視線センサ３２が撮影した映像データに基づいて、ユーザの目が閉じられているか否かを判定する。ユーザ検出部５４によって、ユーザの目が開いていると判定する場合（ステップＳ１０１でＹｅｓ）、ステップＳ１０２へ進む。ユーザ検出部５４によって、ユーザの目が開いていると判定しない場合（ステップＳ１０１でＮｏ）、ステップＳ１０５へ進む。

【0036】

ユーザの目が開いていると判定する場合（ステップＳ１０１でＹｅｓ）、情報出力制御装置５０は、読んでいる箇所を特定する（ステップＳ１０２）。より詳しくは、特定部５６によって、書籍の提示面に対するユーザの視線位置および書籍情報に基づき、ユーザが書籍を閲覧している箇所を特定する。情報出力制御装置５０は、ステップＳ１０３へ進む。

【0037】

情報出力制御装置５０は、所定時間以上、ユーザが目を閉じたか否かを判定する（ステップＳ１０３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、ユーザが目を閉じていることが、例えば５秒間など所定時間以上継続されて検出されている場合、所定時間以上、ユーザが目を閉じたと判定して（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、ユーザが目を閉じていることが所定時間以上継続されて検出されていない場合、ユーザが目を閉じたと判定しないで（ステップＳ１０３でＮｏ）、ステップＳ１０５へ進む。

【0038】

所定時間以上、ユーザが目を閉じたと判定した場合（ステップＳ１０３でＹｅｓ）、情報出力制御装置５０は、ユーザの目が閉じられる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１０４）。より詳しくは、音声出力制御部５７によって、ユーザの目が閉じられる直前の閲覧箇所以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１０５へ進む。

【0039】

情報出力制御装置５０は、書籍情報の表示を終了するか否かを判定する（ステップＳ１０５）。情報出力制御装置５０は、図示しない操作部を介してユーザ操作に基づいて、書籍の表示を終了する操作がされた場合、または、表示装置３０の電源がＯＦＦされた場合、書籍情報の表示を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。情報出力制御装置５０は、上記に該当しない場合、書籍情報の表示を終了すると判定せずに（ステップＳ１０５でＮｏ）、ステップＳ１０６へ進む。

【0040】

書籍情報の表示を終了していないと判定する場合（ステップＳ１０５でＮｏ）、情報出力制御装置５０は、ユーザの目が開いたか否かを判定する（ステップＳ１０６）。より詳しくは、ユーザ検出部５４によって、ユーザの目が開いているか否かを判定する。ユーザ検出部５４によって、ユーザの目が開いていると判定する場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７へ進む。ユーザ検出部５４によって、ユーザの目が開いていると判定しない場合（ステップＳ１０６でＮｏ）、ステップＳ１０９へ進む。

【0041】

情報出力制御装置５０は、音声出力箇所を特定する（ステップＳ１０７）。より詳しくは、特定部５６によって、ユーザの目が開いたと判定された時点における、音声データの音声出力箇所を特定する。情報出力制御装置５０は、ステップＳ１０８へ進む。

【0042】

情報出力制御装置５０は、音声出力した末尾を含む項の表示を開始する（ステップＳ１０８）。より詳しくは、音声出力制御部５７によって、ユーザの目が開いたと判定された時点で、音声出力されていた末尾を含む項に対応する書籍の内容の表示を開始する。情報出力制御装置５０は、ステップＳ１０９へ進む。

【0043】

情報出力制御装置５０は、書籍情報の表示を終了するか否かを判定する（ステップＳ１０９）。情報出力制御装置５０は、図示しない操作部を介してユーザ操作に基づいて、書籍の表示を終了する操作がされた場合、または、表示装置３０の電源がＯＦＦされた場合、書籍情報の表示を終了すると判定して（ステップＳ１０９でＹｅｓ）、処理を終了する。情報出力制御装置５０は、上記に該当しない場合、書籍情報の表示を終了すると判定せずに（ステップＳ１０９でＮｏ）、ステップＳ１０１の処理を再度実行する。

【0044】

このようにして、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力する。

【0045】

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態は、書籍の音声出力を適切なタイミングで行うことができる。本実施形態は、書籍の読書を一時的に中断している期間に、シームレスに音声として書籍の続きの内容を聞くことができる。

【0046】

［第二実施形態］
図４を参照しながら、本実施形態に係る情報出力システム１について説明する。図４は、第二実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。以下の説明においては、情報出力システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。

【0047】

ユーザ検出部５４は、ユーザの視線に加えて、撮影部３３が撮影した映像データに基づいて、ユーザの顔の位置の変化を検出する。ユーザの顔の位置を検出する方法は、公知のいずれかの方法で検出すればよく、例えば、人物認識辞書を使用してもよいし、画像処理によって人物の輪郭を検出してもよい。さらに、ユーザ検出部５４は、ユーザの顔の位置の変化、言い換えると、撮影部３３が撮影した映像データにおいて、ユーザの顔が検出されている範囲の位置の変化を検出する。

【0048】

ユーザの顔の位置の変化が小さい場合、ユーザの状態の姿勢の変化も小さい。このような状態とは、ユーザが書籍の閲覧中に、目の疲労を感じて目を閉じた状態である可能性が高い。ユーザの顔の位置の変化が小さいとは、読書中のユーザが、眼の疲労を軽減するために、眼を閉じる際に生じる顔の位置の変化である。ユーザの顔の位置の変化が小さいとは、顔の位置が、例えば、上下方向または左右方向に１０％から２０％程度未満の位置の変化程度とする。ユーザの顔の位置の変化が大きい場合、ユーザの状態の姿勢の変化も大きい。このような場合、ユーザが周辺に注意を移して、書籍の閲覧を中断する意思がある可能性があり、書籍の閲覧を再開する可能性が高い。

【0049】

音声出力制御部５７は、ユーザ検出部５４が、ユーザが目を開いて提示面を注視している状態から目を閉じている状態となったことを検出した場合、ユーザの顔の位置の変化が少ない場合に、ユーザの目が閉じられる直前の閲覧箇所以降の書籍の内容を音声で出力する。

【0050】

次に、図４を用いて、情報出力システム１における情報処理について説明する。図４に示すフローチャートの処理は、表示装置３０の表示部３４に書籍が生じされた状態で、ユーザ検出部５４の検出結果から、ユーザが書籍を閲覧していると判定される場合に実行される。ユーザが書籍を閲覧していることは、ユーザ検出部５４の検出結果から、撮影部３３が撮影した映像データに対して、ユーザの顔が占める面積の割合が、閾値以上であるか否かによって判定可能である。ユーザの顔が占める面積の割合が低い場合、ユーザの顔は表示部３４から離れている。このような場合、ユーザは書籍を閲覧してしない可能性が高い。ユーザの顔が占める面積の割合が高い場合、ユーザの顔は表示部３４に近づいている。このような場合、ユーザは書籍を閲覧している可能性が高い。図４に示すフローチャートのステップＳ１１１ないしステップＳ１１３、ステップＳ１１５ないしステップＳ１２０は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０３、ステップＳ１０４ないしステップＳ１０９と同様の処理を行う。

【0051】

情報出力制御装置５０は、ユーザの顔の位置の変化が小さいか否かを判定する（ステップＳ１１４）。より詳しくは、ユーザ検出部５４の検出結果から、ユーザの顔の位置の変化が小さいと判定する場合（ステップＳ１１４でＹｅｓ）、ステップＳ１１５へ進む。ユーザ検出部５４の検出結果から、ユーザの顔の位置の変化が小さいと判定しない場合（ステップＳ１１４でＮｏ）、ステップＳ１１６へ進む。

【0052】

このようにして、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合であって、顔の位置の変化が小さい場合には、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力する。

【0053】

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが目を閉じた場合であって、顔の位置の変化が小さい場合には、眼が閉じられた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態によれば、書籍の読書中に、ユーザが眼の疲労のためなどの理由で目を閉じた際に、適切に音声出力することができる。

【0054】

［第三実施形態］
図５を参照しながら、本実施形態に係る情報出力システム１について説明する。図５は、第三実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。本実施形態では、撮影部３３を有していなくてもよい。

【0055】

ユーザ検出部５４は、ユーザの視線の向きに基づいて、ユーザが表示部３４に表示された書籍の提示面を注視しているか否かを判定する。

【0056】

音声出力制御部５７は、ユーザ検出部５４が、ユーザの視線向きが提示面を向いている状態から提示面を向いていない状態となったことを検出した場合、ユーザの視線向きが提示面を向いている状態から提示面を向いていない状態となった直前の閲覧箇所以降の書籍の内容を音声で出力する。

【0057】

次に、図５を用いて、情報出力システム１における情報処理について説明する。このような場合、ユーザは書籍を閲覧している可能性が高い。図５に示すフローチャートのステップＳ１２１、ステップＳ１２２、ステップＳ１２５、ステップＳ１２７ないしステップＳ１２９は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０５、ステップＳ１０７ないしステップＳ１０９と同様の処理を行う。

【0058】

情報出力制御装置５０は、所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたか否かを判定する（ステップＳ１２３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、継続してユーザの視線向きが表示部３４に表示された書籍の提示面から逸れている場合（ステップＳ１２３でＹｅｓ）、ステップＳ１２４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定しない場合（ステップＳ１２３でＮｏ）、ステップＳ１２５へ進む。

【0059】

所定時間以上、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定する場合（ステップＳ１２３でＹｅｓ）、情報出力制御装置５０は、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１２４）。より詳しくは、音声出力制御部５７によって、ユーザの視線向きが表示部３４に表示された書籍の提示面から逸れたと判定された直前の閲覧以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１２５へ進む。

【0060】

書籍情報の表示を終了すると判定する場合（ステップＳ１２５でＹｅｓ）、情報出力制御装置５０は、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する（ステップＳ１２６）。より詳しくは、ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する。ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったと判定する場合（ステップＳ１２６でＹｅｓ）、ステップＳ１２７へ進む。ユーザ検出部５４によって、ユーザの視線向きが表示部３４に表示された書籍の提示面に戻ったと判定しない場合（ステップＳ１２６でＮｏ）、ステップＳ１２９へ進む。

【0061】

このようにして、書籍の閲覧中に、所定時間以上、ユーザが提示面から視線を逸らした場合、視線が逸らされた直前の閲覧箇所以降の内容を音声で出力する。

【0062】

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが提示面から視線を逸らした場合、視線が逸らされた直前の閲覧箇所以降の内容を音声で出力することができる。本実施形態は、書籍音声出力を適切なタイミングで行うことができる。

【0063】

［第四実施形態］
図６を参照しながら、本実施形態に係る情報出力システム１について説明する。図６は、第四実施形態に係る情報出力システム１における処理の流れの一例を示すフローチャートである。情報出力システム１は、基本的な構成は第一実施形態の情報出力システム１と同様である。

【0064】

ユーザ検出部５４は、ユーザの視線に加えて、撮影部３３が撮影した映像データに基づいて、ユーザの顔の向きを検出する。ユーザの顔の向きを検出する方法は、公知のいずれかの方法で検出すればよく、例えば、認識したユーザの顔を構成する、目や口、鼻などのパーツの位置関係などから検出する。ユーザ検出部５４は、ユーザの顔の向きに基づいてユーザが提示面を注視しているか否かを検出する。ユーザ検出部５４は、ユーザが顔を提示面に向けて注視している状態からユーザの顔の向きが上下方向の変動によって提示面に対して顔を向けていない状態となったことを検出する。ユーザ検出部５４は、ユーザが顔を提示面に向けて注視している状態からユーザの顔の向きが左右方向の変動によって提示面に対して顔を向けていない状態となったことを検出する。

【0065】

また、ユーザ検出部５４は、ユーザが表示部３４に表示された書籍を閲覧可能な程度に、表示部３４に顔を近づけているか否かを、検出した顔の大きさによって判定可能である。

【0066】

音声出力制御部５７は、ユーザ検出部５４が、ユーザが顔を提示面に向けて注視している状態から提示面に対して顔を向けていない状態となったことを検出した場合、ユーザが顔を提示面に向けて注視している状態から提示面に対して顔を向けていない状態となった直前の閲覧箇所以降の書籍の内容を音声で出力する。

【0067】

次に、図６を用いて、情報出力システム１における情報処理について説明する。このような場合、ユーザは書籍を閲覧している可能性が高い。図６に示すフローチャートのステップＳ１３１、ステップＳ１３２、ステップＳ１３５、ステップＳ１３７ないしステップＳ１３９は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０５、ステップＳ１０７ないしステップＳ１０９と同様の処理を行う。

【0068】

情報出力制御装置５０は、所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたか否かを判定する（ステップＳ１３３）。より詳しくは、情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、継続してユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れている場合（ステップＳ１３３でＹｅｓ）、ステップＳ１３４へ進む。情報出力制御装置５０は、ユーザ検出部５４の検出結果から、所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定しない場合（ステップＳ１３３でＮｏ）、ステップＳ１３５へ進む。

【0069】

所定時間以上、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定する場合（ステップＳ１３３でＹｅｓ）、情報出力制御装置５０は、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れる直前の閲覧箇所以降の内容を音声出力開始する（ステップＳ１３４）。より詳しくは、音声出力制御部５７によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面から逸れたと判定された直前の閲覧箇所以降の内容に対応する音声のヘッドホン１０からの出力を開始する。情報出力制御装置５０は、ステップＳ１３５へ進む。

【0070】

書籍情報の表示を終了すると判定する場合（ステップＳ１３５でＹｅｓ）、情報出力制御装置５０は、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する（ステップＳ１３６）。より詳しくは、ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったか否かを判定する。ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったと判定する場合（ステップＳ１３６でＹｅｓ）、ステップＳ１３７へ進む。ユーザ検出部５４によって、ユーザの顔の向きが表示部３４に表示された書籍の提示面に戻ったと判定しない場合（ステップＳ１３６でＮｏ）、ステップＳ１３９へ進む。

【0071】

このようにして、書籍の閲覧中に、所定時間以上、ユーザが顔の向きを提示面から逸らした場合、顔の向きが逸らされた直前の閲覧箇所以降の内容を音声で出力する。

【0072】

＜効果＞
上述したように、本実施形態は、書籍の閲覧中に、所定時間以上、ユーザが顔の向きを提示面から逸らした場合、顔の向きが逸らされた直前の閲覧箇所以降の内容を音声で出力することができる。

【0073】

図示した情報出力システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0074】

情報出力システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0075】

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【0076】

上記では、音声出力装置の一例としてヘッドホン１０について説明したが、これに限定されない。音声出力装置は、例えば、イヤホン、首掛け式のスピーカ、および、据え置き式のスピーカなどであってもよい。

【0077】

上記において、音声出力をした後、書籍の内容の表示を再開する際に、数秒間程度、音声出力を継続してもよい。また、提示面には音声出力に体操する位置にハイライト表示してもよい。これにより、どこから書籍を閲覧すればよいかがわかりやすい。

【符号の説明】

【0078】

１ 情報出力システム
１０ ヘッドホン
１１ 左音声出力部
１２ 右音声出力部
３０ 表示装置
３１ 書籍データベース部
３２ 視線センサ
３３ 撮影部
３４ 表示部
５０ 情報出力制御装置
５１ 書籍情報取得部
５２ 書籍特定部
５３ 表示制御部
５４ ユーザ検出部
５６ 特定部
５７ 音声出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】