特開 2024-160487 コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160487

(43)【公開日】2024-11-14

(54)【発明の名称】コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241107BHJP

   G06F 3/16 20060101ALI20241107BHJP

   G06F 3/0483 20130101ALI20241107BHJP

【ＦＩ】

G06F3/01 510

G06F3/16 530

G06F3/0483

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023075537

(22)【出願日】2023-05-01

(11)【特許番号】

(45)【特許公報発行日】2023-07-11

(71)【出願人】

【識別番号】523163923

【氏名又は名称】友永 那雄

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(74)【代理人】

【識別番号】100224719

【弁理士】

【氏名又は名称】長谷川 隆治

(72)【発明者】

【氏名】友永 那雄

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA12

5E555AA64

5E555AA76

5E555BA04

5E555BB04

5E555BC04

5E555CA42

5E555CB65

5E555DA23

5E555DB43

5E555DC06

5E555EA20

5E555FA00

(57)【要約】

【課題】 本発明は、コンテンツ提供システム、コンテンツ提供方法、コンテンツ提供プログラムに関する。
【解決手段】 コンテンツ提供システム１は、表示処理部、視線検出部、決定処理部、音声提供部、記憶部、を備える。
記憶部は、文書情報と、文書に対応する音声に関する音声情報を格納する。表示処理部は、文書を含んだコンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信する。
視線検出部は、ユーザから文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、決定処理部は、経時的に変化する前記視線情報に基づいて、視線が検出されてから音声が再生されるまでの待機時間を含んだ優先条件を文書ごとに決定する。
音声提供部は、視線情報と、優先条件と、音声情報と、に基づいて文書に対応する音声を端末へ送信する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンテンツを提供するためのコンテンツ提供システムであって、
当該コンテンツ提供システムは、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、を備え、
前記記憶部は、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部は、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部は、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部は、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部は、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信する、
コンテンツ提供システム。

【請求項2】

前記文書情報は、前記ユーザが前記文書を読み進める順番を示す進行番号を含み、
前記決定処理部は、前記視線が位置する対象文書の進行番号に対して該進行番号が次の候補文書における優先条件を第１優先条件、前記対象文書の進行番号に対して該進行番号が前の既読文書における優先条件を第２優先条件、それ以外の進行番号が付される未読文書における優先条件を第３優先条件、として決定する、
請求項１に記載のコンテンツ提供システム。

【請求項3】

前記候補文書における第１優先条件には、前記既読文書における第２優先条件よりも短い待機時間が設定され、
前記未読文書における第３優先条件には、前記既読文書における第２優先条件よりも長い待機時間が設定される、
請求項２に記載のコンテンツ提供システム。

【請求項4】

前記文書は、前記進行番号が対応付けられるメイン文書と、それ以外のサブ文書と、を有し、
前記記憶部は、前記進行番号に基づく前記サブ文書のサブ音声再生条件を格納し、
前記音声提供部は、前記視線情報と、前記サブ音声再生条件と、に基づいて、前記サブ文書の音声を前記端末へ送信する、
請求項２に記載のコンテンツ提供システム。

【請求項5】

前記文書情報には、前記コンテンツの表示範囲における文書の位置を示す位置情報と、前記文書の表示範囲を示す領域情報と、が対応付けられ、
前記視線検出部は、前記位置情報及び／又は領域情報を利用して、前記視線情報を検出する、
請求項１に記載のコンテンツ提供システム。

【請求項6】

前記コンテンツは電子漫画コンテンツであり、
前記文書は、電子漫画の登場者における台詞を含み、
前記音声情報は、前記電子漫画の登場者における台詞音声を含む、
請求項１～５の何れかに記載のコンテンツ提供システム。

【請求項7】

前記コンテンツ提供システムは、更に音声選択部を備え、
前記記憶部は、複数の前記台詞音声を格納し、
前記音声選択部は、前記ユーザからの入力に基づいて、同一の台詞に対し、複数の台詞音声の中から１の台詞音声を選択可能である、
請求項６に記載のコンテンツ提供システム。

【請求項8】

コンテンツを提供するためのコンテンツ提供システムが実行するコンテンツ提供方法であって、
当該コンテンツ提供システムは、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、を備え、
前記記憶部が、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部が、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部が、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部が、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部が、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信するステップと、を含む、
コンテンツ提供方法。

【請求項9】

コンテンツを提供するためのコンテンツ提供プログラムであって、
コンピュータを、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、として機能させ、
前記記憶部は、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部は、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部は、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部は、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部は、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信する、
コンテンツ提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラムに関する。

【背景技術】

【0002】

従来から電子文書などのコンテンツを提供するためのシステムが開発されている。そして昨今では、コンテンツを提供するための方法を工夫することに加え、当該コンテンツの演出効果を高める様々な工夫がされている。

【0003】

例えば特許文献１には、使用者の視線位置を検出するためのカメラモジュールを利用し、視線位置や検出領域における視線の滞在時間などを求め、視線位置等が所定条件に該当するときに漫画や電子文書における検出領域が使用者に読まれていると判断する電子文書端末が開示されている。

【0004】

また特許文献２には、表示手段と、音声再生手段と、音声記憶手段と、音声データ選択手段と、を備える漫画再生システムが開示されている。本漫画再生システムによれば、利用者が漫画作品に対する音声を選択できるので、利用者の興味を継続させることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５－２１２９８１号公報

【特許文献2】特開２０２３－１１０６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、特許文献１の技術と特許文献２の技術を組み合わせることで、ユーザの利便性に優れ、且つ、演出効果の高いコンテンツ提供システムを実現することが考えられる。

【0007】

すなわち、漫画などのコンテンツにおいて特許文献１の技術を利用してユーザの視線を検出（ユーザに読まれている文書を検出）することに加え、特許文献２の技術を利用することで、検出された文書（例えば漫画における登場人物の台詞など）に対応する音声を付したコンテンツを提供することができる。

【0008】

しかしながら、漫画などのコンテンツでは台詞が読まれる順番をある程度想定していることが多い一方、実際にはユーザの視線が想定された順番に移動するとは限らない。また、ユーザは漫画などの台詞を読み飛ばしたり、読み直しをしたりすることもある。この場合、視線の移動速度が速いと前の音声の再生中に次の音声も再生されてしまい（音声が重なってしまい）、適切に台詞の音声を再生できない恐れがある。

【0009】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、従来よりも適切且つ効果的に音声が対応付けられたコンテンツを提供できるコンテンツ提供システムを提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明は、コンテンツを提供するためのコンテンツ提供システムであって、
当該コンテンツ提供システムは、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、を備え、
前記記憶部は、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部は、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部は、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部は、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部は、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信する。

【0011】

また、本発明は、コンテンツを提供するためのコンテンツ提供システムが実行するコンテンツ提供方法であって、
当該コンテンツ提供システムは、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、を備え、
前記記憶部が、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部が、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部が、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部が、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部が、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信するステップと、を含む。

【0012】

また、本発明は、コンテンツを提供するためのコンテンツ提供プログラムであって、
コンピュータを、表示処理部と、視線検出部と、決定処理部と、音声提供部と、記憶部と、として機能させ、
前記記憶部は、文書に関する文書情報と、該文書に対応する音声に関する音声情報と、を格納し、
前記表示処理部は、前記文書を含んだ前記コンテンツを表示処理し、その表示処理結果をユーザが使用する端末へ送信し、
前記視線検出部は、前記ユーザから前記文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出し、
前記決定処理部は、経時的に変化する前記視線情報に基づいて、前記視線が検出されてから前記音声が再生されるまでの待機時間を含んだ優先条件を前記文書ごとに決定し、
前記音声提供部は、前記視線情報と、前記優先条件と、前記音声情報と、に基づいて前記文書に対応する音声を前記端末へ送信する。

【0013】

このような構成にすることで、視線情報による所定の優先条件を利用して、従来よりも適切且つ効果的に、音声が対応付けられたコンテンツを提供することができる。

【0014】

本発明の好ましい形態では、前記文書情報は、前記ユーザが前記文書を読み進める順番を示す進行番号を含み、
前記決定処理部は、前記視線が位置する対象文書の進行番号に対して該進行番号が次の候補文書における優先条件を第１優先条件、前記対象文書の進行番号に対して該進行番号が前の既読文書における優先条件を第２優先条件、それ以外の進行番号が付される未読文書における優先条件を第３優先条件、として決定する。

【0015】

このような構成にすることで、ユーザから次に閲覧される文書等を予測しながらコンテンツを提供することができる。

【0016】

本発明の好ましい形態では、前記候補文書における第１優先条件には、前記既読文書における第２優先条件よりも短い待機時間が設定され、
前記未読文書における第３優先条件には、前記既読文書における第２優先条件よりも長い待機時間が設定される。

【0017】

このような構成にすることで、より適切に音声が対応付けられたコンテンツを提供することができる。

【0018】

本発明の好ましい形態では、前記文書は、前記進行番号が対応付けられるメイン文書と、それ以外のサブ文書と、を有し、
前記記憶部は、前記進行番号に基づく前記サブ文書のサブ音声再生条件を格納し、
前記音声提供部は、前記視線情報と、前記サブ音声再生条件と、に基づいて、前記サブ文書の音声を前記端末へ送信する。

【0019】

このような構成にすることで、コンテンツの提供において、より効果的な演出を実現することができる。

【0020】

本発明の好ましい形態では、前記文書情報には、前記コンテンツの表示範囲における文書の位置を示す位置情報と、前記文書の表示範囲を示す領域情報と、が対応付けられ、
前記視線検出部は、前記位置情報及び／又は領域情報を利用して、前記視線情報を検出する。

【0021】

このような構成にすることで、精度良くユーザの視線を検出することができる。

【0022】

本発明の好ましい形態では、前記コンテンツは電子漫画コンテンツであり、
前記文書は、電子漫画の登場者における台詞を含み、
前記音声情報は、前記電子漫画の登場者における台詞音声を含む。

【0023】

このような構成にすることで、電子漫画コンテンツにおいて適切に台詞の音声を提供することができる。

【0024】

本発明の好ましい形態では、前記コンテンツ提供システムは、更に音声選択部を備え、
前記記憶部は、複数の前記台詞音声を格納し、
前記音声選択部は、前記ユーザからの入力に基づいて、同一の台詞に対し、複数の台詞音声の中から１の台詞音声を選択可能である。

【0025】

このような構成にすることで、ユーザの要望に応じた台詞の音声を提供することができる。

【発明の効果】

【0026】

本発明によれば、視線情報による所定の優先条件を利用することで、コンテンツ提供システムに係る新規な技術を提供することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係るシステム構成のブロック図を示す。

【図2】本発明の一実施形態に係る情報処理装置及び端末のハードウェア構成の一例の概略図を示す。

【図3】本発明の一実施形態に係るコンテンツ提供システムの概略イメージ図を示す。

【図4】本発明の一実施形態に係るコンテンツ提供システムの処理手順のフローチャートを示す。

【図5】本発明の一実施形態に係るコンテンツ提供システムで利用される各情報の一例を示す。

【図6】本発明の一実施形態に係る表示処理結果の概略イメージ図を示す。

【図7】本発明の一実施形態に係るコンテンツ提供システムで利用される各情報の一例を示す。

【図8】本発明の一実施形態に係る優先条件の概略イメージ図を示す。

【図9】本発明の一実施形態に係る優先条件の概略イメージ図を示す。

【図10】本発明の一実施形態に係る優先条件の概略イメージ図を示す。

【図11】本実施形態に係るコンテンツ提供システムの詳細な処理フローを示す。

【図12】本発明の一実施形態に係るサブ文書を説明するための概略イメージ図を示す。

【発明を実施するための形態】

【0028】

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0029】

例えば、本実施形態ではコンテンツ提供システムの構成、動作等について説明するが、実行される方法（ステップ）、装置、コンピュータプログラム等によっても、同様の作用効果を奏することができる。本実施形態におけるプログラムは、コンピュータが読み取り可能な非一過性の記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよい。

【0030】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。

【0031】

本実施形態において「情報」とは、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。

【0032】

広義の回路とは、回路（Circuit）、回路類（Circuitry）、プロセッサ（Processor）及びメモリ（Memory）等を適宜組み合わせることによって実現される回路である。即ち、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等を含むものである。

【0033】

＜システム構成＞
図１は、本発明の一実施形態に係るシステム構成を示すブロック図である。図１に示すようにコンテンツ提供システム１は、情報処理装置１０及びデータベースＤＢを備える。コンテンツ提供システム１は、ネットワークＮＷを介して複数の端末２（図１では符号２（ａ）～２（ｃ））、及び複数の音声提供サーバ３（図１では符号３（ａ）～３（ｃ））と通信可能に構成されている。

【0034】

情報処理装置１０は、サーバとして動作し、端末２はユーザが漫画などのコンテンツを閲覧等するための端末であり、音声提供サーバ３はコンテンツに含まれる文書に対応する音声を提供するためのサーバである。なお、音声提供サーバ３は本発明を実現するために必ずしも必要な構成ではなく、音声提供サーバ３の機能を情報処理装置１０に含める構成にすることもできる。

【0035】

ネットワークＮＷは、本実施形態では、ＩＰ（Internet Protocol）ネットワークであるが、通信プロトコルの種類に制限はなく、更に、ネットワークの種類、規模にも制限はない。

【0036】

なお、情報処理装置１０として、汎用のサーバ向けのコンピュータやパーソナルコンピュータ等を利用することが可能である。また、後述の機能構成要素を複数のコンピュータに実現させ、コンテンツ提供システム１を構成することも可能である。

【0037】

端末２として、スマートフォンやタブレット端末、パーソナルコンピュータ、ウェアラブルデバイス等を利用することができる。端末２は、ユーザ用のコンテンツ提供アプリプログラムを記憶し、このアプリプログラムはユーザにおいて当該コンテンツ提供システム１から提供されるコンテンツを閲覧し、あるいはユーザがコンテンツを閲覧するために必要な情報を情報処理装置１０に送信するための機能を有して構成される。

【0038】

なお、端末２はユーザ用のコンテンツ提供アプリプログラムを有していない構成にすることもできる。この場合、端末２はウェブブラウザ等を利用して各情報を閲覧等することができる。

【0039】

音声提供サーバ３は、コンテンツに含まれる文書に対応する音声（音声データ）を格納する。図１に示すように、複数の音声提供サーバ３がネットワークＮＷを介して情報処理装置１０と通信接続されている。例えば漫画などのコンテンツにおいて登場人物ごとの声優が所属する会社が異なる場合、情報処理装置１０は複数の音声提供サーバ３からそれぞれの音声データの提供を受けることができる。

【0040】

＜ハードウェア構成＞
図２（ａ）は、情報処理装置１０のハードウェア構成の一例を示す図である。情報処理装置１０は、ハードウェア構成として、制御部１１と、記憶部１２と、通信部１３と、を備える。

【0041】

制御部１１は、ＣＰＵ等の１又は２以上のプロセッサを含み、本発明に係るコンテンツ提供プログラム、ＯＳ、その他のアプリケーションを実行することで、情報処理装置１０の動作処理全体を制御する。

【0042】

記憶部１２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、本発明に係るコンテンツ提供プログラム及び、制御部１１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。制御部１１が、記憶部１２に記憶されているコンテンツ提供プログラムに基づき、処理を実行することによって、後述する機能構成が実現される。

【0043】

通信部１３は、ネットワークＮＷとの通信制御を実行して、情報処理装置１０を動作させるために必要な入力や、動作結果に係る出力を行う。

【0044】

図２（ｂ）は端末９０（図１における端末２）のハードウェア構成の一例を示す図である。端末９０は、ハードウェア構成として、制御部９１と、記憶部９２と、通信部９３と、入力部９４と、出力部９５と、を備える。

【0045】

端末９０の制御部９１は、ＣＰＵ等の１以上のプロセッサを含み、端末９０の動作処理全体を制御する。端末９０の記憶部９２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、上述のコンテンツ提供アプリケーション並びに、制御部９１がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。

【0046】

端末９０の通信部９３は、ネットワークとの通信を制御する。端末９０の入力部９４は、タッチパネル、マウス及びキーボード等であって、ユーザによる操作要求を制御部９１に入力する。端末９０の出力部９５は、ディスプレイ等であって、制御部９１の処理の結果等を表示する。

【0047】

＜機能構成＞
図２（ａ）に示すように、情報処理装置１０は、機能構成として、登録部１０１、表示処理部１０２、視線検出部１０３、決定処理部１０４、音声提供部１０５、音声選択部１０６、を備える。これらは、ソフトウェア（記憶部１２に記憶されている）による情報処理が、ハードウェア（制御部１１等）によって具体的に実現されたものである。

【0048】

登録部１０１は、ユーザにコンテンツを提供するために必要な各種情報を登録する。本実施形態における登録部１０１は、文書情報やコンテンツ情報を登録する。例えば登録部１０１は、音声提供サーバ３から音声情報を取得し、記憶部１２へ登録（格納）することができる。

【0049】

表示処理部１０２は、ユーザからの要求に基づいてコンテンツを表示処理する。本実施形態では、文書を含んだコンテンツを表示処理し、その表示処理結果をユーザが使用する端末２へ送信する。

【0050】

例えば表示処理部１０２は、後述する視線情報に基づいて（視線が対象領域に位置する場合に）対象領域のコンテンツ画像を動作させて表示処理することができる。具体的に表示処理部１０２は、ユーザの視線が対象領域に位置する場合、電子漫画などにおける登場人物の顔の表情、目や口などを動かすアニメーション表示をし、対象領域から視線が外れた後は静止画像として表示することができる。

【0051】

同様に表示処理部１０２は、視線情報に基づいて対象領域のコンテンツ画像の色を変更することができる。例えば表示処理部１０２は、ユーザの視線が対象領域に位置する場合、電子漫画などにおける対象となるコマについてカラー表示を行い、対象領域から視線が外れた後は白黒表示を行うことができる。その他、ＶＲ機器を利用して仮想空間上にコンテンツを表示処理することもできる。これらの表示処理を行うことで本コンテンツ提供システムは、音声と共にさらなる演出効果を提供することができる。

【0052】

視線検出部１０３は、ユーザから端末２へ向けられる視線を検出する。本実施形態における視線検出部１０３は、ユーザからコンテンツに含まれる文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出する。

【0053】

また、視線検出部１０３は、コンテンツの表示範囲における文書の位置を示す位置情報及び／又は文書の表示範囲を示す領域情報を利用して、視線情報を検出することができる。

【0054】

この視線の検出は、端末２に設けられるカメラ（撮像部）によってユーザの動作（顔の動きや目線の動き）を取得し、当該ユーザの動作から視線情報を検出することができる。また、例えば情報処理装置１０（表示処理部１０２）は、コンテンツに含まれる文書の閲覧に影響しない透明レイヤーを当該コンテンツの上に重ねて表示処理し、その透明レイヤーにユーザの視線が位置する場合に視線を検出することもできる。この透明レイヤーはユーザの視線に反応するボタンとして機能する。このように本発明を実現するための視線の検出には、一般的なアイトラッキング技術（視線計測の技術）を利用することができる。

【0055】

決定処理部１０４は、文書に対応する音声を再生するための優先条件を決定する。本実施形態における決定処理部１０４は、経時的に変化する視線情報に基づいて、視線が検出されてから音声が再生されるまでの待機時間を含んだ優先条件を文書ごとに決定する。決定処理部１０４は、視線情報に基づいて、文書ごとに優先条件を判定処理し、その判定処理結果により文書ごとの優先条件を決定することができる。

【0056】

また、決定処理部１０４は、コンテンツに含まれる文書において、現時点においてユーザの視線が位置する対象文書の進行番号（ユーザが文書を読み進める順番を示す進行番号）に対して該進行番号が次の（１つ大きい値の）候補文書（次に読まれることが想定される文書）における優先条件を第１優先条件、対象文書の進行番号に対して該進行番号が前の（１つ小さい値）の既読文書（１つ前に読まれた文書）における優先条件を第２優先条件、それ以外の進行番号が付される未読文書における優先条件を第３優先条件、として決定することもできる。

【0057】

音声提供部１０５は、文書に対応する音声を端末２などへ送信する。本実施形態における音声提供部１０５は、視線情報と、優先条件と、音声情報と、に基づいて文書に対応する音声を端末２へ送信する。

【0058】

また、音声提供部１０５は、視線情報と、上記の進行番号が付されていないサブ文書におけるサブ音声再生条件と、に基づいて、当該サブ文書の音声を端末２へ送信することもできる。

【0059】

音声選択部１０６は、文書に対応する音声を選択する。本実施形態において音声選択部１０６は、ユーザからの入力に基づいて、同一の文書（例えば漫画における台詞）に対し、複数の台詞音声の中から１の台詞音声を選択可能に構成することができる。

【0060】

例えば記憶部１２に、同一の台詞について複数の声優による音声データが格納されている場合、音声選択部１０６はユーザの入力（要求）に基づいてこれら複数の声優による音声データの中から１の音声データを選択することができる。

【0061】

＜データベースＤＢ＞
図１のデータベースＤＢは、コンテンツに含まれる文書に関する文書情報、文書に対応する音声に関する音声情報、コンテンツ情報、優先条件情報、その他コンテンツの閲覧に必要な情報などを格納する。これらの一部又は全部は、記憶部１２等に格納されてもよいし、これらの一部が別のデータベース等に格納されてもよい。

【0062】

以下、図３～１１を参照して、コンテンツ提供システム１の説明及び各機能構成要素による処理内容について説明する。

【0063】

＜コンテンツ提供システムの概要＞
本実施形態に係るコンテンツ提供システム１は、ユーザからの要求に応じて音声付きのコンテンツを提供するためのシステムである。具体的には、コンテンツが表示された端末２へ向けられるユーザからの視線を検出し、その視線に基づいて漫画などのコンテンツと共に、台詞に対応する音声を提供することができる。

【0064】

図３には、本発明の一実施形態に係るコンテンツ提供システムの概略イメージ図を示す。同図に示すように、情報処理装置１０は、端末２に表示されたコンテンツ（例えばコンテンツが漫画の場合には台詞などの文書）へ向けられたユーザからの視線の位置等を視線情報として検出する（図３（ａ））。

【0065】

そして情報処理装置１０は、視線情報を利用して特徴的な所定条件に基づいた音声データを端末２へ送信する（図３（ｂ））。端末２は、ユーザから視線が向けられるコンテンツの文書に対応する音声を再生（出力）する（図３（ｃ））。

【0066】

この図３における（ａ）から（ｃ）の一連の処理が繰り返されることで、ユーザは通常の電子漫画コンテンツに演出効果が付加された、すなわち、音声付の電子漫画コンテンツを楽しむことができる。

【0067】

本実施形態におけるコンテンツ提供システム１は、概略以上のような流れで各処理を行う。以下、本実施形態に係るコンテンツ提供システム１の具体的な処理手順について詳しく説明する。

【0068】

＜各種情報の登録＞
図４は、一実施形態に係るコンテンツ提供システムの処理手順を示すフローチャートである。Ｓ２０１において、情報処理装置１０の登録部１０１は、コンテンツ情報を登録する。コンテンツ情報には、文書情報及び音声情報が対応付けられている。

【0069】

図５（ａ）に示すように、文書情報は、コンテンツに含まれる文書のテキスト、コンテンツの表示範囲における文書の位置を示す位置情報、文書の表示範囲を示す領域情報、メイン文書やサブ文書などの文書種別、文書に対応する音声の音声ＩＤ、文書を読み進める順番を示す進行番号、などの情報を含んでユーザＩＤで管理される。例えば図５（ａ）では、進行番号（１）、（２）、（３）、（４）の順番で文書が読み進められることになる。

【0070】

また、図５（ｂ）に示すように音声情報は、音声データの情報、各音声データを担当する声優名、などの情報を含んで音声ＩＤで管理される。そして図５（ｃ）に示すようにコンテンツ情報は、画像データ、文書ＩＤ、音声ＩＤ、などの情報を含んでコンテンツＩＤで管理される。

【0071】

登録部１０１は、図１の音声提供サーバ３から音声データ等を取得し、この音声データを音声情報として記憶部１２に格納（登録）することもできる。また、登録部１０１は、ユーザの端末２から音声データを音声情報として取得し、記憶部１２に格納（登録）することもできる。

【0072】

例えば登録部１０１は、複数の声優による音声データを、それぞれの声優が属する音声提供サーバ３（ａ）～（ｃ）から取得し、同一の台詞等に対して異なる声優による音声データを登録することもできる。この場合、詳細は後述するが同一の台詞や登場人物に対して複数の声優による音声データを選択的に対応付けることができる。

【0073】

加えて、図５（ｄ）に示すように登録部１０１は、音声を再生するための優先度や条件を示す優先条件情報を登録する。優先条件情報は、後述するメイン文書やサブ文書などの文書種別、第１優先条件や第２優先条件などの項目、ユーザからの視線が検出されてから音声が再生されるまでの待機時間に関する情報、他の音声再生条件、などの情報を含んで優先条件ＩＤで管理される。

【0074】

なお、本実施形態では、画像データと文書とを別々に登録しているが、例えば画像データに漫画などの登場人物や台詞などを含めて登録することもできる。この場合、文書情報には、テキストの情報を含めずに、画像データ内における台詞の位置や範囲等の情報が含まれ、これに加えて当該文書に視線が向けられた際には視線情報を検知するためのボタン（上述した透明なレイヤー）に関する情報を含ませれば良い。

【0075】

また、例えば本コンテンツ提供システムを利用するユーザに対し、あらかじめユーザ登録を行わせることもできる。この場合、ユーザ登録されたユーザのみが本コンテンツ提供システムを利用することができる。

【0076】

＜表示処理及び視線検出＞
Ｓ２０２において、情報処理装置１０の表示処理部１０２は、ユーザからの要求に基づいて漫画などのコンテンツを表示処理し、その表示処理結果を端末２へ送信する。図６には、本発明の一実施形態に係る表示処理結果の一例を示す。同図に示すように本実施形態において端末２に表示されるコンテンツ画像Ｗ１０は電子漫画などである。

【0077】

図６におけるコンテンツ画像Ｗ１０では、登場者（登場人物）として人物１及び人物２が表示されると共に、それぞれの登場者に対する台詞が表示されている。ここでは、台詞が図５（ａ）における文書（文書情報）であり、人物１や人物２（及び図示を省略している背景画像など）が図５（ｃ）における画像データである。なお、上述のとおり、文書と登場者等を合わせて画像データとして表示処理することもできる。なお、登場者は人物に限られるものではない。

【0078】

例えば図６では、台詞に（１）から（７）までの進行番号が付されている。進行番号は、ユーザが文書を読み進める順番を示す番号である。図６では進行番号を説明するために（１）から（７）をコンテンツ画像Ｗ１０に表示しているが、実際の表示処理においてはこの進行番号を表示しなくても良い。

【0079】

Ｓ２０３において、情報処理装置１０の視線検出部１０３は、ユーザからの視線を検出する。具体的に視線検出部１０３は、ユーザから図６における文書へ向けられる視線の位置、及びその位置における視線の滞在時間、を含んだ視線情報を検出する。

【0080】

上述のとおり、この視線の検出は、視線検出部１０３において端末２に設けられるカメラによってユーザの動作（顔の動きや目線の動き）を取得し、当該ユーザの動作から視線情報を検出することができる。あるいは、表示処理部１０２がコンテンツに含まれる文書の閲覧に影響しない透明レイヤーを当該コンテンツに重ねて表示処理し、その透明レイヤーにユーザの視線が位置する場合に視線検出部１０３によって視線を検出することもできる。

【0081】

図７（ａ）に示すように、視線情報は、ユーザから文書へ向けられる視線の位置に関する位置情報、ユーザから文書へ向けられる視線の位置における滞在時間、視線が検出された検出時刻、などの情報を含んで視線情報ＩＤで管理される。

【0082】

視線情報における位置情報には、例えばコンテンツの全体表示に対する文書の位置を示した座標などを利用することができる。また、領域情報には、いわゆるバウンディングボックス（文字列などの周囲を囲む矩形の境界線）の技術を利用することができる。これら視線情報に基づいて後述する音声再生の優先条件が決定される。

【0083】

＜優先条件＞
Ｓ２０４において、情報処理装置１０の決定処理部１０４は、文書ごとの優先条件を決定する。決定処理部１０４は、経時的に変化する視線情報に基づいて、視線が検出されてから音声が再生されるまでの待機時間を含んだ優先条件を文書ごとに決定する。本実施形態では、この優先条件に基づいて文書に対応する音声が再生される。

【0084】

決定処理部１０４は、現時点においてユーザの視線が位置する対象文書の進行番号（ユーザが文書を読み進める順番を示す進行番号）に対して該進行番号が次の（１つ大きい値の）候補文書（次に読まれることが想定される文書）における優先条件を第１優先条件、対象文書の進行番号に対して該進行番号が前の（１つ小さい値の）既読文書（１つ前に読まれた文書）における優先条件を第２優先条件、それ以外の進行番号が付される未読文書における優先条件を第３優先条件、として決定する。

【0085】

なお、進行番号の順番は特に限定されるものではなく、例えば進行番号を逆順、すなわち小さい番号が付された文書の次に大きい番号が付された文書が読まれる順番ではなく、大きい番号が付された文書の次に小さい番号が付された文章が読まれるように進行番号を設定することもできる。

【0086】

優先条件は、経時的に変化する視線情報に基づいて各文書に対して決定され、音声再生情報として管理される。例えば図７（ｂ）に示すように音声再生情報は、視線ＩＤ、音声ＩＤ、コンテンツＩＤ、進行番号、優先条件ＩＤ、第１優先などの項目、及び待機時間、他の音声再生条件、などの情報を含んで管理される。この図７（ｂ）の音声再生情報は、後述する図８のコンテンツ画像Ｗ１０に対応している（視線ＩＤ４０００２は、音声再生中）。

【0087】

なお、ユーザの視線は、経時的に変化するものであり、短時間で各文書に対する優先条件が変化するため、音声再生情報は必ずしも記憶部１２で管理される必要はなく、例えばユーザからの視線の変化に応じてその都度優先条件の決定ないし変更を繰り返し、データとしては管理されない構成にすることもできる。このような構成にすることで記憶部１２におけるデータ容量の削減が期待できる。

【0088】

図８には、本発明の一実施形態に係る優先条件の概略イメージ図を示す。図８では説明を分かりやすくするために、吹き出しとして表現している文書ごとの進行番号を（１）から（７）として表示し、また優先条件に応じてそれぞれの文書の吹き出し部分に色や模様を付している。以下、図８において進行番号（１）が付された文書（台詞）のことを文書（１）、進行番号（２）が付された文書のことを文書（２）と表現する（（３）～（７）についても同様とする）。

【0089】

例えば図８に示すように、文書（２）の台詞にユーザからの視線が向けられると、すなわち、視線検出部１０３がユーザからの視線を検出すると、当該文書（２）の台詞に対して端末２から音声が再生される（詳細は後述）。

【0090】

この時、文書（２）の優先条件は、音声が再生される優先度が最も高い第１優先条件として決定処理部１０４によって決定される。なお、文書（２）のように音声再生中の文書に対しては優先条件を定めないようにすることもできる。例えば音声再生中の文書は、第１優先条件から第２優先条件へ徐々に変化していくように設定することもできる。

【0091】

そして図８に示すように、視線情報に基づいて文書（２）が音声再生中である場合に、決定処理部１０４は、再生中の文書（２）に対して次に位置する（ストーリーの順番として次に読まれる）文書（３）の優先条件を、該優先条件が最も高い第１優先条件として決定する。ユーザは、通常であれば文書（２）の次に文書（３）を読む可能性が高いことから、本実施形態における決定処理部１０４は、文書（３）を第１優先条件として決定する。

【0092】

さらに決定処理部１０４は、音声再生中の文書（２）に対して前に位置する（すでに読み終えた１つ前に位置する）文書（１）の優先条件を、優先度が２番目に高い第２優先条件として決定する。これはユーザが１つ前の文書（１）を読み直す可能性を考慮したものである。

【0093】

そして決定処理部１０４は、文書（２）が音声再生中の状態において、文書（１）及び文書（３）以外の文書（４）、文書（５）、文書（６）、文書（７）に対する優先条件を第３優先条件として決定する。文書（５）などは文書（１）及び文書（３）に対してユーザから視線が向けられる可能性が低いことを考慮したものである。

【0094】

このように決定処理部１０４は、視線情報に基づいて、それぞれの文書に対してユーザが視線を向ける可能性に応じた優先条件を決定する。本実施形態では、この優先条件によって、ユーザから視線を得てから音声を再生するまでの待機時間をそれぞれ設定している。例えば図７（ｂ）では、第１優先条件の待機時間を１．０秒、第２優先条件の待機時間を３．０秒、第３優先条件の待機時間を６．０秒と設定している。この待機時間は、ユーザから（端末２から）の設定変更入力に基づいて任意に変更することができる。

【0095】

例えば第１優先条件における待機時間は、０．１秒から２．０秒程度であることが好ましいく、より好ましくは０．５秒から１．０秒程度であることが好適である。第１優先条件の文書はユーザが次に読む可能性が高く、瞬時に音声を再生させる必要があることからこのように設定している。

【0096】

また、第２優先条件における待機時間は、２．０秒から５．０秒程度であることが好ましく、より好ましくは３．０～４．０秒程度であることが好適である。例えばユーザが台詞の読み直し等をする可能性がある一方、このような場合であっても音声再生まではユーザから望まれておらず、瞬発的に第２優先条件が付された文書に目線を移動させる可能性があり、適切に音声を再生できるようにするためこのように設定している。

【0097】

さらに第３優先条件における待機時間は、５．０秒から１０．０秒程度であることが好ましく、より好ましくは６．０から８．０秒程度であることが好適である。第３優先条件が付される文書は、基本的にユーザから次に読まれる可能性が低い一方、例えばユーザがコンテンツ全体を確認するために高速で視線を移動させる可能性があり、このような場合であっても適切に音声を再生できるようにするためである。言い換えれば、ユーザがコンテンツ全体を確認するために高速で視線を移動させた場合には、音声を再生させないようにするためである。

【0098】

そして図９に示すように、ユーザからの視線によって文書（３）が音声再生中になると決定処理部１０４は、文書（３）に対して進行番号が１つ大きい値を示す文書（４）を第１優先条件として決定（または変更）し、文書（３）に対して進行番号が１つ小さい値を示す文書（２）を第２優先条件として決定し、それ以外の文書（１）、文書（５）、文書（６）、文書（７）は第３優先条件として決定する。

【0099】

また、図１０に示すように、未だコンテンツに含まれる文書に対してユーザからの視線が向けられていない場合、すなわち、当該コンテンツのページをはじめて表示した状態において決定処理部１０４は、文書（１）を第１優先条件として決定し、それ以外の文書（２）～文書（７）は第３優先条件として決定する。

【0100】

本実施形態では、ユーザが図１０の文書（１）に視線を向けて当該文書を読み進めることで、すなわち、決定処理部１０４は経時的に変化するユーザの視線情報に基づいて優先条件を上述した図８や図９の状態へと決定ないし変更していく。

【0101】

そしてＳ２０５において、視線情報と優先条件に基づいた音声を、ユーザが利用する端末２へ送信する。端末２は、所定の優先条件に基づいた音声（音声データ）を受信する。

【0102】

Ｓ２０６において、音声データを受信した端末２において、文書に対応する音声が端末２から出力される。具体的には上述したとおり図８～１０に示したそれぞれの文書には優先条件が決定されているので、ユーザからの視線情報（位置情報、領域情報）に基づいてそれぞれの優先条件に応じた待機時間が経過した後に端末２から音声が再生される。

【0103】

このように優先条件に応じた待機時間を設定することで、例えばユーザが当該コンテンツの台詞全体を確認する場合（視線の位置を高速で切り替えて全体を見ている場合）などには音声は再生されず、ユーザが当該台詞を読みたい適切なタイミングでコンテンツに含まれる文書の音声を再生させることができる。

【0104】

図１１には本実施形態に係るコンテンツ提供システムの詳細な処理フローを示す。同図に示すように、情報処理装置１０は、ユーザからの視線が端末２の対象領域に入ると（Ｓ３０１）、進行度ログを参照し（Ｓ３０２）、優先度を決定（及び判定）する（Ｓ３０３）。そして現時点において前回実行音声を再生中か否かを判定し（Ｓ３０４）、再生中であれば再生中の音声トラックを停止（スキップ）する（Ｓ３０５）。再生中でなければ音声再生を優先条件の待機時間に基づいて待機する（Ｓ３０６）。

【0105】

その後、当該対象領域から視線が外れたか否かを判定し（Ｓ３０７）、視線が外れていれば実行処理をキャンセルし（Ｓ３０８）、当該対象領域から視線が外れなければ文書に対応付けられた音声が端末２から再生され（Ｓ３０９）、進行ログが更新され（Ｓ３１０）、視線が外れたか否かを判定し（Ｓ３１１）、次の音声アルゴリズムに向けてこれら一連の処理が繰り返される。

【0106】

本実施形態においてこれらの処理を行う場合、視線検出部１０３は、Ｓ３０１、Ｓ３０２、Ｓ３０７、Ｓ３１０、Ｓ３１１に関連する処理を実行し、決定処理部１０４はＳ３０３、Ｓ３０４、Ｓ３０５に関連する処理を実行し、音声提供部１０５（または音声を受信した端末２）はＳ３０６、Ｓ３０８、Ｓ３０９に関連する処理を実行し、また記憶部１２は進行度ログ等を管理する。

【0107】

例えば進行度ログと視線情報を利用して、ユーザが注目して複数回閲覧した文書等を数値として解析し、この解析結果を利用してコンテンツの内容や構成が変わる変則的なコンテンツを提供することもできる。

【0108】

＜サブ文書の音声再生＞
本実施形態における文書は、２種類の種別に分かれており、これら複数の文書種別に応じて音声再生を管理することができる。具体的に本実施形態における文書は、進行番号が対応付けられるメイン文書と、それ以外のサブ文書と、を有する（図５（ａ））。なお、文書の種別は２種類に限られず、３種類以上に分類して音声再生を管理することもできる。

【0109】

図１２には、本発明の一実施形態に係るサブ文書を説明するための概略イメージ図を示す。図１２は、図８に示したコンテンツ画像Ｗ１０にサブ文書等が付加されたものである。このサブ文書は、コンテンツにおいてメインとなるストーリーとは関連性の低い文書であり、図８では雨音を「ポツポツ」と表現した文書である。

【0110】

情報処理装置１０の登録部１０１は、あらかじめ進行番号に応じたサブ文書のサブ音声再生条件を登録することができる。例えば図５（ｄ）に示すように、サブ音声再生条件を優先条件情報に含めて登録することができる。

【0111】

図１２（ｂ）には、サブ音声再生情報の設定イメージを示す。同図に示すように、音声提供部１０５は、ユーザからの視線が進行番号（２）～（４）の範囲に位置する場合、すなわち文書（２）～（４）がユーザに読まれている場合において、雨音を表現した「ポツポツ」の音声データを端末２へ送信することができる。

【0112】

このように本実施形態では、コンテンツのストーリーとは関連性が低いものの、演出効果を高めるためのサブ文書等についても所定の条件に基づいて音声を再生することができる。なお、このサブ音声再生条件は、ユーザからの入力に応じて適宜変更することができる。

【0113】

加えて、図１２（ｂ）に示すように、他の演出効果として「ＢＧＭ」を希望する場合、進行番号（１）～（７）に視線があることを条件にＢＧＭの音声が流れるように設定することもできる。この場合、ＢＧＭの音に重ねて文書（２）などの台詞の音声が再生される。

【0114】

また、文書（５）の場面において効果音を出力（再生）することもできる。この場合、ＢＧＭの音に重ねて効果音や文書（５）の音声が再生される。例えば文書（５）の台詞が再生された後や台詞が再生される前に効果音（これに限らずサブ文書の音声）を再生させるように設定することもできる。

【0115】

加えて、この効果音を再生させる回数や再生させる時間なども設定することができる。例えば図１２において文書（５）の台詞音声が再生されている最中は繰り返し効果音を再生させるように設定することもできる。情報処理装置１０は、ユーザからの入力に基づいて端末２から設定変更信号を受け取り、設定変更信号に基づきこれらの設定を変更し、記憶部１２へ格納することができる。

【0116】

このように、本実施形態では、コンテンツにおいてメインとなるストーリーに関連するメイン文書についてはそれぞれ待機時間の異なる優先条件を設定し、さらにストーリーとの関連性の低いサブ文書についてはストーリーの音声を損なうことなく、進行番号に応じた柔軟な演出効果を実現することができる。

【0117】

以上のように本発明に係るコンテンツ提供システム１によれば、視線情報と、該視線情報による所定の優先条件を利用することで、従来よりも適切且つ効果的に音声が付されたコンテンツを提供することができる。

【0118】

また、本実施形態では電子漫画コンテンツについて説明したが、本コンテンツ提供システム１を小説、新聞、雑誌、学習教材などの電子書籍に加えて、テレビゲーム、ビデオゲーム、コンピュータゲームなどのゲームや、他のコンテンツに利用する場合にも本発明と同様の効果を得ることができる。

【符号の説明】

【0119】

１ コンテンツ提供システム
２ 端末
３ 音声提供サーバ
１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
９０ 端末（端末２）
９１ 制御部
９２ 記憶部
９３ 通信部
９４ 入力部
９５ 出力部
１０１ 登録部
１０２ 表示処理部
１０３ 検出処理部
１０４ 決定処理部
１０５ 音声再生部
１０６ 音声選択部
ＮＷ ネットワーク
Ｗ１０ コンテンツ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】