特許 7501348 情報出力装置および情報出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】情報出力装置および情報出力方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240611BHJP

   G06F 3/16 20060101ALI20240611BHJP

   G10L 13/00 20060101ALN20240611BHJP

   G10L 13/10 20130101ALN20240611BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 515

G06F3/16 540

G10L13/00 100B

G10L13/10 114

【請求項の数】 5

(21)【出願番号】P 2020212181

(22)【出願日】2020-12-22

(65)【公開番号】P2022098662

(43)【公開日】2022-07-04

【審査請求日】2023-09-29

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】上村 真史

(72)【発明者】

【氏名】藤井 利一

(72)【発明者】

【氏名】野村 一夫

(72)【発明者】

【氏名】▲鮭▼川 達弘

(72)【発明者】

【氏名】小林 建

(72)【発明者】

【氏名】崔 丁珠

【審査官】九鬼 一慶

(56)【参考文献】

【文献】特開２００７－１０２３６０（ＪＰ，Ａ）

【文献】特開２０１８－０７２８７６（ＪＰ，Ａ）

【文献】特開２０２０－１４０１７８（ＪＰ，Ａ）

【文献】特表２００３－５０９９７６（ＪＰ，Ａ）

【文献】特開２００７－２７１６５５（ＪＰ，Ａ）

【文献】特開２００６－２０１８５３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１７６８１３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １３／００

Ｇ１０Ｌ １３／１０

(57)【特許請求の範囲】

【請求項1】

書籍を特定する書籍特定部と、
前記書籍特定部が特定した書籍の内容を表示部に表示させる表示制御部と、
前記書籍特定部が特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得する書籍情報取得部と、
前記表示部に対するユーザの視線位置を検出する視線検出部と、
前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定する特定部と、
前記ユーザの生体情報を取得して前記ユーザの感情を分析する感情分析部と、
前記特定部で特定した前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記感情分析部が分析した前記ユーザの感情に基づいて選択する音声選択制御部と、
前記音声選択制御部が選択した音声を出力する音声出力制御部と、
を備える情報出力装置。

【請求項2】

前記音声選択制御部は、前記ユーザの感情に基づいて、前記ユーザが前記書籍を読んでいる箇所に対応する音声の種類、音声の音量、または音声の音程の少なくともいずれかを変化させる、
請求項１に記載の情報出力装置。

【請求項3】

前記書籍情報取得部は、前記書籍特定部が特定した書籍の内容の対応する想定感情情報をさらに取得し、
前記音声選択制御部は、前記特定部で特定した、前記ユーザが前記書籍を読んでいる箇所に対応する想定感情情報と、前記ユーザの感情との比較結果に基づいて、前記ユーザが前記書籍を読んでいる箇所に対応する音声を選択する、
請求項１または２に記載の情報出力装置。

【請求項4】

前記音声選択制御部は、前記ユーザの感情が、前記ユーザが前記書籍を読んでいる箇所に対して過剰に反応していることが検出された場合は、前記ユーザの感情を抑制する音声を選択する、
請求項１から３のいずれか１項に記載の情報出力装置。

【請求項5】

書籍を特定するステップと、
特定した書籍の内容を表示部に表示させるステップと、
特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得するステップと、
前記表示部に対するユーザの視線位置を検出するステップと、
前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定するステップと、
前記ユーザの生体情報を取得して前記ユーザの感情を分析するステップと、
前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記ユーザの感情に基づいて選択するステップと、
選択した音声を出力するステップと、
を情報出力装置が実行する情報出力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報出力装置および情報出力方法に関し、特に詳しくは、電子書籍の内容に基づく適切な音声を出力することができる、情報出力装置および情報出力方法に関する。

【背景技術】

【0002】

電子書籍用端末や、スマートフォン等を用いて電子書籍を閲覧するアプリケーションなどが普及している。このような装置においては、電子書籍として、文字や画像を表示することに加えて、電子書籍の文字を音声として出力したり効果音を出力する装置もある。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－０１５６９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子書籍において、ユーザが読んでいる位置に対応した効果音などの音声を出力する場合、ユーザによっては効果音などの音声の効果が感じられない場合や、同一の内容を繰り返し体験することで効果音に対する効果が薄れてくる場合もある。また、ユーザの気分によっても効果の有無は変わってくる。

【0005】

本発明は、上記問題に鑑み、ユーザに適した音声を出力することができる、情報出力装置および情報出力方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る情報出力装置は、書籍を特定する書籍特定部と、前記書籍特定部が特定した書籍の内容を表示部に表示させる表示制御部と、前記書籍特定部が特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得する書籍情報取得部と、前記表示部に対するユーザの視線位置を検出する視線検出部と、前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定する特定部と、前記ユーザの生体情報を取得して前記ユーザの感情を分析する感情分析部と、前記特定部で特定した前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記感情分析部が分析した前記ユーザの感情に基づいて選択する音声選択制御部と、前記音声選択制御部が選択した音声を出力する音声出力制御部と、を備える。

【0007】

本発明に係る情報出力方法は、書籍を特定するステップと、特定した書籍の内容を表示部に表示させるステップと、特定した書籍の内容および内容の前記表示部における表示位置を示す書籍情報を取得するステップと、前記表示部に対するユーザの視線位置を検出するステップと、前記表示部に対する前記ユーザの視線位置および前記書籍情報に基づき、前記ユーザが前記書籍を読んでいる箇所を特定するステップと、前記ユーザの生体情報を取得して前記ユーザの感情を分析するステップと、前記ユーザが前記書籍を読んでいる箇所に対応する音声を、前記ユーザの感情に基づいて選択するステップと、選択した音声を出力するステップと、を情報出力装置が実行する。

【発明の効果】

【0008】

本発明によれば、ユーザに適した音声を出力することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１実施形態に係る情報出力システムの構成を示す概念図である。

【図2】本発明の第１実施形態に係る情報出力装置の構成を示すブロック図である。

【図3】本発明の第１実施形態に係る生体情報取得装置の構成を示すブロック図である。

【図4】本発明の第１実施形態に係る情報出力装置の処理例を示すフローチャートである。

【図5】本発明の第２実施形態に係る情報出力装置の処理例を示すフローチャートである。

【図6】本発明の第３実施形態に係る情報出力装置の処理例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施の形態について説明する。本発明に係る情報出力装置は、電子書籍端末、スマートフォン、タブレット端末、パーソナルコンピュータなど、ユーザが電子書籍を閲覧できる任意の装置が対象である。また、本発明に係る情報出力システムは、情報出力装置に加えて、ユーザの生体情報を取得可能な装置が含まれる。具体例としては、図１に示すように、情報出力装置およびユーザの生体情報を取得可能であり、情報出力装置が出力する音声を出力可能なイヤフォンなどとの組み合わせで構成される。また、本発明は、情報出力装置がユーザの生体情報を取得可能であれば、情報出力装置のみの構成で成立する。また、本発明に係る情報出力システムは、ユーザの生体情報を取得するデバイスとして、スマートウォッチなどを組み合わせてもよい。本実施形態においては、スマートフォンとイヤフォンの組み合わせで実現される例として説明するが、以下の実施形態により本発明が限定されるものではない。

【0011】

以下、図１から図３を参照して、本発明の第１実施形態を説明する。図１は、情報出力装置１０であるスマートフォンと、生体情報取得装置２０であるイヤフォンとの組み合わせによる情報出力システム１を示した概念図である。情報出力装置１０と生体情報取得装置２０は、有線または無線で接続されている。図１における情報出力装置１０は、書籍情報を提示する提示面としての表示部１３と、ユーザの視線検出を行うためにユーザの顔を撮影する撮像部１２が備えられている。生体情報取得装置２０であるイヤフォンは、一般的に右耳用と左耳用の一対で構成されるが、説明を容易とするために右耳用または左耳用のいずれか一方として説明する。

【0012】

図２は、本発明の第１実施形態に係る情報出力システム１を構成する情報出力装置１０としてのスマートフォンの構成を示すブロック図であり、図３は、本発明の第１実施形態に係る情報出力システム１を構成する生体情報取得装置２０としてのイヤフォンの構成を示すブロック図である。

【0013】

図２および図３に図示した構成は、本発明の実現に必要な構成を中心に記載しており、図示している構成以外にも様々な構成要素を含む。

【0014】

図２において、情報出力装置１０であるスマートフォンは、制御部５０、書籍ＤＢ部１１、撮像部１２、表示部１３および通信部１４を備える。

【0015】

書籍ＤＢ部１１は、情報出力装置１０で利用可能な書籍情報を記憶しているデータベースである。書籍ＤＢ部１１は、後述する通信部１４を介して通信可能な外部サーバに構築されているデータベースであってもよい。情報出力装置１０で利用可能な書籍情報とは、情報出力装置１０のユーザが購入した電子書籍、無料で利用可能な電子書籍などである。また、電子書籍は、文字情報としての書籍に限らず、画像で構成される電子書籍であってもよい。書籍ＤＢ部１１は、情報出力装置１０に備えられる記憶部、または情報出力装置１０が利用できる記憶部に備えられている。

【0016】

書籍ＤＢ部１１に含まれる書籍情報は、電子書籍に対する内容および内容の表示位置が含まれる。電子書籍の内容の表示位置とは、電子書籍の内容を示す文字情報などが表示部１３に表示される位置であり、表示されるページ毎に、例えば表示部１３の表示画面におけるＸ－Ｙ座標が対応付けられている。電子書籍の内容の表示位置は、文字毎に表示される位置が対応付けられていてもよく、単語や画像毎に表示される位置が対応付けられていてもよい。

【0017】

また、書籍ＤＢ部１１に含まれる書籍情報は、電子書籍の内容に対する音声情報が含まれる。電子書籍の内容に対応する音声情報とは、例えば、表示部１３に表示されている箇所の電子書籍の内容が、興奮するような内容や喜びに共感するような内容である場合、そのような感情に適した音楽や効果音などの音声情報である。音声情報には、悲しみや恐怖に対応する音声情報も含まれる。

【0018】

さらに、書籍ＤＢ部１１に含まれる書籍情報は、電子書籍の内容に対する想定感情情報も含まれる。電子書籍の内容に対応する想定感情情報とは、例えば、表示部１３に表示されている箇所の電子書籍の内容が、興奮するような内容や喜びに共感するような内容である場合、その箇所を読んだユーザも同様な感情となることを想定することが示された情報である。想定感情情報には、悲しみや恐怖に対応する情報も含まれる。

【0019】

撮像部１２は、例えば可視光カメラまたは赤外光カメラである。撮像部１２は、可視光カメラと赤外光カメラの双方を備えていてもよい。また、単一の撮像素子に、可視光と赤外光とを受光可能な構成であってもよい。撮像部１２は、表示部１３に表示される電子書籍を読んでいるユーザの顔を撮影する。このため、撮像部１２は、表示部１３に対向する方向を撮影可能な向きに配置されている。撮像部１２は、例えば、情報出力装置１０の表示部１３の上部に配置されており、情報出力装置１０であるスマートフォンの所謂インカメラである。撮像部１２は、撮影制御部５３により映像の撮影が制御され、撮影した映像データを撮影制御部５３に出力する。撮像部１２が赤外光カメラである場合は、撮像部１２の撮影方向に赤外光を照射する光源も含まれる。

【0020】

表示部１３は、電子書籍を含む様々な情報を表示する。表示部１３は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、電子ペーパーなどで構成されるディスプレイである。表示部１３は、表示制御部５８によって情報の表示が制御される。

【0021】

通信部１４は、情報出力装置１０が他の装置との間で無線通信を行う通信ユニットであり、通信制御部５９の制御によって通信を行う。通信部１４は、電話回線や、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの通信方式により、他の装置との間で無線通信を行う。情報出力装置１０がスマートフォンである場合は、通信部１４として、電話回線、Ｗｉ－ＦｉおよびＢｌｕｅｔｏｏｔｈの通信ユニットを各々備える。

【0022】

制御部５０は、情報出力装置１０の各部の動作を制御する、所謂、情報出力制御装置である。制御部５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ等を作業領域として実行されることにより、各種機能が実現される。このため、制御部５０は、実施形態に係る情報出力方法を実行する。また、制御部５０は、本発明に係るプログラムを動作させるコンピュータである。制御部５０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部５０は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

【0023】

制御部５０は、その構成および機能として、書籍情報取得部５１、書籍特定部５２、撮影制御部５３、視線検出部５４、特定部５５、感情分析部５６、音声選択制御部５７、表示制御部５８、および通信制御部５９として機能する構成を少なくとも備える。

【0024】

書籍情報取得部５１は、書籍ＤＢ部１１から書籍特定部５２が特定した電子書籍の書籍情報を取得する。書籍情報取得部５１は、取得した書籍情報を表示制御部５８に出力する。また、書籍情報取得部５１は、取得した書籍情報に電子書籍の内容に対応する音声情報を含む場合は、表示制御部５８が、音声情報が対応付けられている電子書籍の内容を表示する際に、対応する音声情報が選択されるように、音声選択制御部５７に出力する。また、書籍情報取得部５１は、取得した書籍情報に想定感情情報が含まれている場合は、感情分析部５６が分析したユーザの感情と比較するために、音声選択制御部５７に出力する。

【0025】

書籍特定部５２は、電子書籍を特定する。より詳しくは、書籍特定部５２は、ユーザが表示しようとしている電子書籍を特定する。または、書籍特定部５２は、表示部１３に表示されている電子書籍を特定する。書籍特定部５２は、例えば、図示しない操作部を介したユーザ操作に基づいて選択された電子書籍や表示された電子書籍を特定する。書籍特定部５２は、電子書籍を特定した情報を、書籍情報取得部５１に出力する。

【0026】

撮影制御部５３は、撮像部１２による映像の撮影を制御し、撮像部１２が撮影した映像データを取得する。撮影制御部５３は、取得した映像データを視線検出部５４に出力する。また、撮像部１２が撮影した映像データを、ユーザの生体検出に用いる場合は、映像データを感情分析部５６に出力する。

【0027】

視線検出部５４は、撮像部１２が撮影した映像データに基づいて、ユーザの視線の方向を検出する。視線を検出する方法は限定されないが、例えば、ユーザの顔、特に両目を赤外光で撮影した映像から角膜反射を検出することでユーザの視線を検出する。視線検出部５４は、ユーザの目の開閉を検出してもよい。視線検出部５４は、検出した視線の向きを示す情報を、特定部５５に出力する。

【0028】

特定部５５は、ユーザの視線位置および書籍情報に基づき、表示部１３に表示されている電子書籍の内容に対する、ユーザが電子書籍を見ている箇所を特定する。特定部５５は、表示部１３に表示されている電子書籍の内容からページ番号を特定し、ユーザの視線位置に対応する電子書籍のページ番号、行数、行頭からの文字数、または、段落、文字、単語などを特定する。特定部５５は、ユーザの視線位置や目の開閉に基づき、ユーザが電子書籍を読んでいるか否かを判断してもよい。

【0029】

感情分析部５６は、通信制御部５９が通信部１４を介して生体情報取得装置２０から取得した生体情報を取得して、ユーザの感情の分析を行う。感情分析部５６は、撮影制御部５３が取得した撮像部１２が撮影した映像データを生体情報として取得し、ユーザの感情の分析を行ってもよい。或いは、生体情報取得装置２０から取得した生体情報と、映像データとして取得した生体情報とを組み合わせて、ユーザの感情の分析を行ってもよい。感情分析部５６がイヤフォンとしての生体情報取得装置２０から取得する生体情報の例として、心拍情報、体温情報、肌導電率などがある。また、感情分析部５６が映像データとして取得する生体情報の例として、心拍情報、表情などがある。さらに、生体情報取得装置２０にスマートウォッチを用いた場合は、心拍情報に加えて、血圧情報などが取得可能である。これらの様々な生体情報も、ユーザの感情の分析に利用可能である。

【0030】

感情分析部５６は、生体情報取得装置２０から取得する生体情報がユーザの心拍情報である場合、心拍変動に基づいて推定されるユーザの自律神経の活動状態から、ユーザが興奮や喜びの状態であるか、または、ストレスや憂鬱な状態であるか、さらには、リラックスしている状態であるかなどを分析する。感情分析部５６は、取得した生体情報を、通信制御部５９の制御によって通信部１４を介して、外部の感情分析用のサーバに送信し、感情分析用のサーバによる分析結果を取得してもよい。感情分析部５６によるユーザの感情の分析は、他のセンサによる測定結果や映像データに基づく分析を組み合わせてもよく、一般的には、ＡＩによる分析が行われる。

【0031】

音声選択制御部５７は、書籍情報取得部５１が取得した書籍情報としての音声情報を選択する。音声選択制御部５７は、特定部５５が特定したユーザが電子書籍を読んでいる箇所に対応する音声情報を選択する。また、音声選択制御部５７は、感情分析部５６が分析したユーザの感情に基づいて、音声を選択する。また、音声選択制御部５７は、感情分析部５６が分析したユーザの感情に基づいて、音声を変化させる。音声の変化とは、音声の種類、音量、音程などを変化させることである。

【0032】

また、音声選択制御部５７は、書籍情報取得部５１が書籍情報としてさらに取得した想定感情情報と、感情分析部５６が分析したユーザの感情とを比較し、その差異などに基づいて、音声の選択し、音声を変化させる。音声選択制御部５７は、例えば、ユーザが電子書籍を読んでいる箇所に対応する想定感情情報が、興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が想定感情情報に示されているような感情を示していない場合や、ユーザの感情が想定感情情報に示されているようなレベルの感情を示していない場合に、興奮や喜びの状態を喚起させるような音声を選択する。また、予めそのような音声が選択されている場合は、音量が大きくなるように変化させたり、さらに興奮や喜びの状態を喚起させるような音声を選択する。

【0033】

また、音声選択制御部５７は、例えば、ユーザが電子書籍を読んでいる箇所に対応する想定感情情報が、恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が想定感情情報に示されているような感情を示していない場合や、ユーザの感情が想定感情情報に示されているようなレベルの感情を示していない場合に、恐怖感を喚起させるような音声を選択する。また、予めそのような音声が選択されている場合は、音量が大きくなるように変化させたり、さらに恐怖感を喚起させるような音声を選択する。

【0034】

表示制御部５８は、書籍情報取得部５１が取得した電子書籍の書籍情報を表示部１３に表示させる。表示制御部５８は、書籍情報取得部５１が取得した書籍情報から、表示部１３に電子書籍の内容を表示させる。表示制御部５８は、図示しない操作部を介したユーザ操作に基づいて、表示部１３において書籍のページをめくったり、書籍を閉じたりするような表示を行う。

【0035】

通信制御部５９は、情報出力装置１０が他の装置との間で無線通信を行い、様々なデータの送受信の制御を行う。通信制御部５９は、複数の通信方式を通信対象となる装置に合わせて使い分ける制御も行う。通信制御部５９は、Ｂｌｕｅｔｏｏｔｈ等の通信方式を用いて、生体情報取得装置２０との通信を確立し、生体情報取得装置２０に対してユーザの生体情報の要求を行い、生体情報取得装置２０からユーザの生体情報を取得する。また、通信制御部５９は、電話回線や、Ｗｉ－Ｆｉ等の通信方式を用いて、外部サーバ等の外部装置と情報の送受信を行う。通信制御部５９は、イヤフォンとしての生体情報取得装置２０に、音声情報を出力するため、情報出力装置１０における音声出力制御部としての機能を有する。

【0036】

図３において、生体情報取得装置２０であるイヤフォンは、制御部７０、生体センサ２１、通信部２２および音声出力部２３を備える。

【0037】

制御部７０は、各種データ処理を行う単数または複数のＣＰＵ（Central Processing Unit）、バッファメモリなどで構成され、プログラムによって様々な処理を実行する。制御部７０は、その構成および機能として、生体情報取得部７１、通信制御部７２、および音声出力制御部７３として機能する構成を少なくとも備える。

【0038】

生体センサ２１は、ユーザの外耳など皮膚に接触するように配置された各種センサである。生体センサ２１は、例えば、心拍センサ、体温センサ、肌導電率センサなどである。生体センサ２１は、測定した生体情報を生体情報取得部７１に出力する。生体センサ２１は、イヤフォンを構成するイヤーピースなど、ユーザの肌に直接触れる位置に配置される。

【0039】

通信部２２は、生体情報取得装置２０が情報出力装置１０などの他の装置との間で無線通信を行う通信ユニットであり、制御部７０の通信制御部７２の制御によって通信を行う。通信部２２は、Ｂｌｕｅｔｏｏｔｈなどの近距離の通信方式により、他の装置との間で無線通信を行う。

【0040】

音声出力部２３は、音声出力制御部７３から出力された音声信号を増幅し、ユーザが音声を聴取できるように、空気振動に変換する。音声出力部２３は所謂アンプと振動ユニットである。

【0041】

生体情報取得部７１は、生体センサ２１が検出した生体情報を示すデータを取得し、通信制御部７２に出力する。

【0042】

通信制御部７２は、情報出力装置１０との間で無線通信を行い、様々なデータを授受する制御を行う。通信制御部７２は、情報出力装置１０から音声情報を受信し、情報出力装置１０に生体情報を示すデータを送信する。

【0043】

音声出力制御部７３は、通信部２２を介して取得した音声情報を音声出力部２３に出力する制御を行う。音声出力制御部７３は、通信部２２を介して取得したデジタル信号による音声情報をアナログ信号による音声情報に変換するＤ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換機能を備える。

【0044】

次に、図４を用いて、本発明に係る情報出力装置１０が実行する処理の流れについて説明する。情報出力装置１０が実行する情報出力方法は、情報出力制御装置として動作するコンピュータとしての制御部５０、または制御部５０および制御部７０が、プログラムに基づき実行する。

【0045】

図４における処理の開始は、ユーザが情報出力装置１０を操作して、所望の電子書籍を選択することや、選択された電子書籍を表示部１３に表示するためのアプリケーションが起動することで開始される。つまり、ユーザによる電子書籍の選択操作に基づき、書籍特定部５２は、書籍情報取得部５１が書籍情報を取得する電子書籍を特定する。

【0046】

図４の処理の開始に伴い、書籍情報取得部５１は、書籍ＤＢ部１１から選択された電子書籍の書籍情報を取得し、表示制御部５８は、書籍情報を表示部１３に表示させる。また、書籍情報の表示に伴い、視線検出部５４は、撮像部１２がユーザを撮影した映像データからユーザの視線を検出し、ユーザが表示部１３を見ている箇所、つまり電子書籍を読んでいる箇所の検出を開始する（ステップＳ１０１）。

【0047】

ステップＳ１０１の処理の開始後、音声選択制御部５７は、書籍情報取得部５１が取得した書籍情報における想定感情情報に基づき、特定部５５が特定したユーザが読んでいる箇所が、感情に訴える箇所であるか否かを判断する（ステップS１０２）。言い換えると、特定部５５が特定したユーザが読んでいる箇所に対応する想定感情情報があるか否かを判断する。つまり、電子書籍におけるユーザが読んでいる箇所が、興奮するような内容や喜びに共感するような内容である箇所や、悲しみや恐怖を感じる箇所などであることが判断される。

【0048】

ステップＳ１０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に推移し、ユーザがステップＳ１０２で判断された感情に対応する感情を示しているか否かを判断する（ステップＳ１０３）。ステップＳ１０２において、ユーザが読んでいる箇所が、感情に訴える箇所ではないと判断された場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０５に推移する。

【0049】

ステップＳ１０３においては、音声選択制御部５７は、感情分析部５６が分析したユーザの感情と想定感情情報とを比較し、ユーザは想定感情情報に示されているような感情を示しているか否かを判断する。ステップＳ１０３での判断は、例えば、ユーザが読んでいる箇所における想定感情情報が興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が同様の感情を示しているか否かを判断する。また、ユーザが読んでいる箇所における想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が同様の感情を示しているか否かを判断する。

【0050】

ステップＳ１０３による判断の他の例としては、例えば、ユーザが読んでいる箇所における想定感情情報がある程度のレベルの興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が同様のレベルの感情を示しているか否かを判断する。このレベルは、数値化されていることが適切である。具体的には、第１レベルの興奮度や喜び度、第１レベルよりは高いレベルである第２レベルの興奮度や喜び度などが想定感情情報として示される。これに対し、感情分析部５６によるユーザの感情の分析は、例えば、第１レベルの興奮度や喜び度に相当する感情、第１レベルよりは高いレベルである第２レベルの興奮度や喜び度に相当する感情などが分析される。恐怖感に対応するレベルも同様である。

【0051】

ステップＳ１０３において、ユーザが、電子書籍を読んでいる箇所に対応する感情を示していると判断された場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に推移する。ステップＳ１０３において、ユーザが、電子書籍を読んでいる箇所に対応する感情を示していないと判断された場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に推移する。

【0052】

ステップＳ１０４においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、想定感情情報に示される感情を喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。つまり、音声選択制御部５７は、音声出力制御部である通信制御部５９に、選択した音声を出力させる。

【0053】

また、ステップＳ１０４においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示されるレベルの感情を示していない場合に、音声選択制御部５７は、想定感情情報に示される感情をさらに喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。

【0054】

ステップＳ１０４で出力された音声は、ユーザが電子書籍を読み進めることで、想定感情情報が対応付けられていない箇所になった場合や、異なる想定感情情報が対応付けられている箇所になった場合に、出力が停止される。

【0055】

ステップＳ１０５においては、音声選択制御部５７は、ユーザによる電子書籍の利用が停止したか否かを判断する。電子書籍の利用が終了していないと判断された場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０２に推移し、電子書籍の利用が終了したと判断された場合（ステップＳ１０５：Ｙｅｓ）、本処理を終了する。ステップＳ１０５においては、例えば、電子書籍を表示部１３に表示するためのアプリケーションが終了または待機状態となった場合や、ユーザが表示部１３を例えば６０秒以上などの所定時間見ていない場合などに、電子書籍の利用が終了したと判断される。

【0056】

このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適した音声を出力することができる。例えば、ユーザが想定感情情報に示される感情を示さない場合や、示していてもレベルが低い場合に、感情を喚起する音楽等の音声が出力されるため、ユーザの感情も音声によって影響を受け、ユーザは電子書籍をさらに楽しむことができる。

【0057】

次に、図５を用いて、本発明の第２実施形態に係る情報出力装置１０が実行する処理の流れについて説明する。第２実施形態における情報出力装置１０および情報出力システム１の構成は、第１実施形態と共通であるため、説明を省略する。図５の処理において、ステップＳ２０１、ステップＳ２０２およびステップＳ２０７は、図４におけるステップＳ１０１、ステップＳ１０２およびステップＳ１０５と共通するため、説明を省略する。

【0058】

ステップＳ２０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ２０２：Ｙｅｓ）、音声選択制御部５７は、ユーザが読んでいる箇所に対応する音声があるか否かを判断する（ステップＳ２０３）。ユーザが読んでいる箇所に対応する音声とは、書籍情報取得部５１が書籍情報として取得した、電子書籍の内容に対応した音楽や効果音などの音声情報である。ステップＳ２０３において、ユーザが読んでいる箇所に対応する音声があると判断された場合（ステップＳ２０３：Ｙｅｓ）、ステップＳ２０４に推移し、ユーザが読んでいる箇所に対応する音声がないと判断された場合（ステップＳ２０３：Ｎｏ）、ステップＳ２０７に推移する。

【0059】

ステップＳ２０４においては、音声選択制御部５７は、ステップＳ２０３で判断された音声を選択し、音声出力制御部である通信制御部５９に、選択した音声を通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。つまり、音声選択制御部５７は、音声出力制御部である通信制御部５９に、選択した音声の出力を開始させる。

【0060】

ステップＳ２０４で、音声の出力を開始した後、ステップＳ２０５に推移し、ユーザがステップＳ２０２で判断された感情に対応する感情を示しているか否かを判断する。ステップＳ２０５におけるユーザの感情に対する判断は、第１実施形態におけるステップＳ１０３における判断と共通するが、ステップＳ２０５においては、ユーザが読んでいる箇所に対応する音声をユーザが聞いている状態での感情の判断である。

【0061】

ステップＳ２０５において、ユーザが、電子書籍を読んでいる箇所に対応する音声を聞いている状態で、その位置に対応する感情を示していると判断された場合（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０７に推移する。ステップＳ２０５において、ユーザが、電子書籍を読んでいる箇所に対応する音声を聞いている状態で、その位置に対応する感情を示していない判断された場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０６に推移する。

【0062】

ステップＳ２０６においては、音声選択制御部５７は、ステップＳ２０４で出力を開始した音声の変更、または音量の変更等を行う。ステップＳ２０６においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声に代えて、想定感情情報に示される感情をさらに喚起するような音楽などの音声を選択し、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。

【0063】

また、ステップＳ２０６においては、電子書籍を読んでいるユーザが、電子書籍を読んでいる箇所における想定感情情報に示される感情を示していない場合に、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量や音程が変化するように、通信制御部５９によってイヤフォンである生体情報取得装置２０に出力させる。

【0064】

例えば、想定感情情報が興奮や喜びの状態となることが想定されることを示している場合に、ユーザの感情が、想定感情情報に示されている感情を示していない場合や、想定感情情報に示されるレベルの感情を示していない場合、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量を、数％大きく変更したり、音程を数％上げる変更を行う。例えば、想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの感情が、想定感情情報に示されている感情を示していない場合や、想定感情情報に示されるレベルの感情を示していない場合、音声選択制御部５７は、ステップＳ２０４で出力が開始された音声の音量を、数％小さく変更したり、音程を数％下げる変更を行う。また、音声が突然中断するような変更を行ってもよい。

【0065】

このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適したように変化させた音声を出力することができる。例えば、ユーザが想定感情情報に示される感情を示さない場合や、示していてもレベルが低い場合に、感情を喚起する音楽等の音声を変化させて出力されるため、ユーザの感情も音声によって影響を受け、ユーザは電子書籍をさらに楽しむことができる。

【0066】

次に、図６を用いて、本発明の第３実施形態に係る情報出力装置１０が実行する処理の流れについて説明する。第３実施形態における情報出力装置１０および情報出力システム１の構成は、第１実施形態と共通であるため、説明を省略する。図６の処理において、ステップＳ３０１、ステップＳ３０２およびステップＳ３０５は、図４におけるステップＳ１０１、ステップＳ１０２およびステップＳ１０５と共通するため、説明を省略する。

【0067】

ステップＳ３０２において、ユーザが読んでいる箇所が、感情に訴える箇所であると判断された場合（ステップＳ３０２：Ｙｅｓ）、ステップＳ３０３に推移し、ユーザがステップＳ１０２で判断された感情に対し、過剰反応を示しているか否かを判断する（ステップＳ３０３）。つまり、ステップＳ３０３においては、ユーザが想定感情情報に示される感情を超えるレベルの感情を示している否かを判断する。

【0068】

ステップＳ３０２においては、特に、想定感情情報が恐怖感のある状態となることが想定されることを示している場合に、ユーザの心拍や体温などの生体情報が異常値を示す場合や、異常値を示す可能性が高くなるような推移を示している場合に、過剰反応を示していると判断する。

【0069】

ステップＳ３０３において、ユーザが、電子書籍を読んでいる箇所に対応する過剰反応を示していると判断された場合（ステップＳ３０３：Ｙｅｓ）、ステップＳ３０４に推移する。ステップＳ３０３において、ユーザが、電子書籍を読んでいる箇所に対応する過剰反応を示していないと判断された場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０５に推移する。

【0070】

ステップＳ３０４においては、想定感情情報が恐怖感のある状態となることが想定されることを示している場合、音声選択制御部５７は、音声の音量を低下させる変更や、気持ちを落ち着かせる音声に変更を行う。また、ステップＳ３０４においては、読んでいる電子書籍の表示を停止してもよく、他の電子書籍に変更することを促してもよい。

【0071】

このような処理によって、情報出力装置１０または情報出力システム１は、電子書籍の内容に基づいて、電子書籍を読んでいるユーザに適した音声の出力、または適した対応をすることができる。

【0072】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、生体情報の取得は、生体情報取得装置２０を用いずに、情報出力装置１０で行ってもよい。さらには、音声の出力は、生体情報取得装置２０を用いずに、情報出力装置１０で行ってもよい。また、各実施形態は、各々の独立した実施に加えて、適宜組み合わせた実施や、並列処理的な実施などが可能である。

【0073】

また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、または様々な通信回線を介して提供可能であり、情報出力装置として動作するコンピュータに供給することができる。

【符号の説明】

【0074】

１ 情報出力システム
１０ 情報出力装置
１１ 書籍ＤＢ部
１２ 撮像部
１３ 表示部
１４ 通信部
２０ 生体情報取得装置
２１ 生体センサ
２２ 通信部
２３ 音声出力部
５０ 制御部
５１ 書籍情報取得部
５２ 書籍特定部
５３ 撮影制御部
５４ 視線検出部
５５ 特定部
５６ 感情分析部
５７ 音声選択制御部
５８ 表示制御部
５９ 通信制御部
７０ 制御部
７１ 生体情報取得部
７２ 通信制御部
７３ 音声出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】