(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166700
(43)【公開日】2024-11-29
(54)【発明の名称】コンテンツ再生装置、及びコンテンツ再生方法
(51)【国際特許分類】
H04N 21/442 20110101AFI20241122BHJP
H04N 21/433 20110101ALI20241122BHJP
【FI】
H04N21/442
H04N21/433
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023082990
(22)【出願日】2023-05-19
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】永野 雅之
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164UA45S
5C164UB10S
5C164UB36P
5C164UB41P
5C164UC31S
(57)【要約】
【課題】ユーザのバイタルデータと、ユーザが視聴しているコンテンツの登場人物のバイタルデータの比較を行うことで適切なコンテンツ分岐を行うことができるコンテンツ再生装置、及びコンテンツ再生方法を提供すること。
【解決手段】本開示に係るコンテンツ再生装置は、画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するコンテンツ再生部と、コンテンツを視聴しているユーザのバイタルデータを取得するバイタルデータ取得部と、コンテンツにおける登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する一致度算出部と、算出された一致度に基づいて、コンテンツの分岐先を決定する分岐先決定部と、を備える。
【選択図】
図7
【特許請求の範囲】
【請求項1】
画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するコンテンツ再生部と、
前記コンテンツを視聴しているユーザのバイタルデータを取得するバイタルデータ取得部と、
前記コンテンツにおける登場人物のバイタルデータと、前記コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する一致度算出部と、
算出された前記一致度に基づいて、前記コンテンツの分岐先を決定する分岐先決定部と、
を備える、コンテンツ再生装置。
【請求項2】
前記ユーザが視聴している前記コンテンツのシーンを特定し、特定したシーンにおける登場人物のバイタルデータの再生を指示するバイタル再生指示部と、をさらに備える、
請求項1に記載のコンテンツ再生装置。
【請求項3】
前記バイタル再生指示部は、前記一致度と前記ユーザのバイタルデータとに基づいて、登場人物のバイタルデータを補正し、登場人物のバイタルデータを振動として再生することを指示する、
請求項2に記載のコンテンツ再生装置。
【請求項4】
前記バイタル再生指示部は、振動を出力する振動デバイスであるバイタル再生部に対してバイタルデータの再生を指示する、
請求項2または請求項3に記載のコンテンツ再生装置。
【請求項5】
画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するステップと、
前記コンテンツを視聴しているユーザのバイタルデータを取得するステップと、
前記コンテンツにおける登場人物のバイタルデータと、前記コンテンツを視聴しているユーザのバイタルデータとの一致度を算出するステップと、
算出された前記一致度に基づいて、前記コンテンツの分岐先を決定するステップと、
を含む、コンテンツ再生方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、コンテンツ再生装置、及びコンテンツ再生方法に関する。
【背景技術】
【0002】
電子書籍や映画、ドラマなどのコンテンツを楽しむユーザが増えている。コンテンツに新たな体験ができる価値を付けることができると、コンテンツの楽しみが増幅されると考えられる。
【0003】
例えば、下記の特許文献1においては、小説や漫画の作者が考える重要性などによって、電子書籍におけるページ送りのスピードをコントロールする漫画データ表示方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の特許文献1に記載の漫画データ表示方法は、書籍の任意のシーンに付随する関連データを任意の装置で再生する仕組みがなく、読書中の読者に関連するデータをフィードバックして活用することはできなかった。
【0006】
本開示は上記課題を鑑み、ユーザのバイタルデータと、ユーザが視聴しているコンテンツの登場人物のバイタルデータの比較を行うことで適切なコンテンツ分岐を行うことができるコンテンツ再生装置、及びコンテンツ再生方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係るコンテンツ再生装置は、画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するコンテンツ再生部と、前記コンテンツを視聴しているユーザのバイタルデータを取得するバイタルデータ取得部と、前記コンテンツにおける登場人物のバイタルデータと、前記コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する一致度算出部と、算出された前記一致度に基づいて、前記コンテンツの分岐先を決定する分岐先決定部と、を備える。
【0008】
上述した課題を解決し、目的を達成するために、本開示に係るコンテンツ再生方法は、画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するステップと、前記コンテンツを視聴しているユーザのバイタルデータを取得するステップと、前記コンテンツにおける登場人物のバイタルデータと、前記コンテンツを視聴しているユーザのバイタルデータとの一致度を算出するステップと、算出された前記一致度に基づいて、前記コンテンツの分岐先を決定するステップと、を含む。
【発明の効果】
【0009】
本開示によれば、ユーザのバイタルデータと、ユーザが視聴しているコンテンツの登場人物のバイタルデータの比較を行うことで適切なコンテンツ分岐を行うことができるコンテンツ再生装置、及びコンテンツ再生方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、本開示に係るコンテンツ再生装置の概要を説明する図である。
【
図2】
図2は、本開示に係るコンテンツ再生システムの構成例を示す図である。
【
図3】
図3は、本開示に係るコンテンツ再生装置の第一実施形態の構成例を示す図である。
【
図4】
図4は、本開示に係るコンテンツ再生装置の第一コンテンツ記憶部に記憶される情報の一例を示す図である。
【
図5】
図5は、本開示に係るサーバ装置の構成例を示す図である。
【
図6】
図6は、本開示に係るコンテンツ再生方法の第一実施形態のフローを示すフローチャートである。
【
図7】
図7は、本開示に係るコンテンツ再生装置の第二実施形態の構成例を示す図である。
【
図8】
図8は、本開示に係るコンテンツ再生装置の第二コンテンツ記憶部に記憶される情報の一例を示す図である。
【
図9】
図9は、本開示に係るコンテンツ再生方法の第二実施形態のフローを示すフローチャートである。
【
図10】
図10は、本開示に係るコンテンツ再生装置の第三実施形態の構成例を示す図である。
【
図11】
図11は、本開示に係るコンテンツ再生装置の第四実施形態の構成例を示す図である。
【
図12】
図12は、本開示に係るコンテンツ再生装置の第五実施形態の構成例を示す図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
【0012】
(コンテンツ再生装置の概要)
まず、本開示に係るコンテンツ再生装置100の概要について、
図1を用いて説明する。
図1は、本開示に係るコンテンツ再生装置の概要を説明する図である。
図1に示すように、本開示に係るコンテンツ再生装置100は、コンテンツを再生して、コンテンツの所定のシーンにおける登場人物のバイタルデータを再生する情報処理装置である。
【0013】
図1に示すように、ユーザUの頭に装着されたバイタルセンサ部140によってユーザUのバイタルデータが計測され、バイタル再生部170によってコンテンツの所定のシーンにおける登場人物のバイタルデータが再生される。なお、バイタルセンサ部140の配置は、ユーザUの頭部に限定されるものではない。
【0014】
なお、
図1に示したコンテンツ再生装置100の態様は一例であって、本開示に係るコンテンツ再生装置100の態様は、
図1に示す態様に限定されるものではない。
【0015】
(コンテンツ再生システムの構成)
次に、本開示に係るコンテンツ再生システム1の構成について、
図2を用いて説明する。
図2は、本開示に係るコンテンツ再生システムの構成例を示す図である。
【0016】
図2に示すように、コンテンツ再生システム1は、コンテンツ再生装置100(100A,100B)と、サーバ装置200と、ネットワークNと、を備える。なお、
図2に示すように、コンテンツ再生システム1は、二つ以上のコンテンツ再生装置100によって構成されてもよい。以下、これらの構成について簡単に説明する。
【0017】
コンテンツ再生装置100は、コンテンツを再生する情報処理装置である。コンテンツ再生装置100は、例えば、スマートフォン、タブレット型端末、デスクトップ型PC(Personal Computer)、ノート型PC、携帯電話機、PDA(Personal Digital Assistant)等の情報処理装置であってよい。コンテンツ再生装置100の概要については前述して説明した通りであるから、ここにおける説明はこの程度に留める。
【0018】
サーバ装置200は、各種の情報を提供する情報処理装置である。サーバ装置200は、例えば、コンテンツ再生装置100にコンテンツを提供する。サーバ装置200は、例えば、PC、WS(Work Station)、サーバの機能を備えるコンピュータなどの情報処理装置により実現されてよい。
【0019】
ネットワークNは、コンテンツ再生装置100とサーバ装置200を無線又は有線により相互に通信可能に接続する。ネットワークNは、IEEE802.11に規定される無線LAN(Local Area Network)や、第4世代移動通信システム(4G)、第5世代移動通信システム(5G)などにより実現されてよい。
【0020】
なお、コンテンツ再生システム1は、コンテンツ再生装置100と、サーバ装置200と、の間においてネットワークNを介して、情報のやり取りが行われることにより、一つのシステムとして機能する。
【0021】
(コンテンツ再生装置の構成)
(コンテンツ再生装置の第一実施形態)
次に、本開示に係るコンテンツ再生装置100の第一実施形態について、
図3を用いて説明する。
図3は、本開示に係るコンテンツ再生装置の第一実施形態の構成例を示す図である。
図3に示すように、本開示に係るコンテンツ再生装置100の第一実施形態は、通信部110と、記憶部120と、制御部130と、バイタルセンサ部140と、音出力部150と、表示部160と、バイタル再生部170と、を備える。以下、これらの構成について、順を追って説明する。
【0022】
通信部110は、コンテンツ再生装置100の内部と外部を相互に通信可能に接続し、コンテンツ再生装置100の内部と外部との間で相互に情報を送受信する。通信部110は、例えば、無線LAN(Local Area Network)カード、Wi-Fi(登録商標)モジュール、Bluetooth(登録商標)モジュール、アンテナ等によって実現されてよい。そして、通信部110は、例えば、ネットワークNと無線で接続され、サーバ装置200との間で相互に情報の送受信を行ってもよい。
【0023】
記憶部120は、各種の情報を記憶する記憶装置である。記憶部120は、主記憶装置と、補助記憶装置と、を備える。主記憶装置は、例えばRAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやSSD(Solid State Drive)、光ディスク等によって実現されてよい。
【0024】
図3に示すように、記憶部120は、第一コンテンツ記憶部121を備える。
【0025】
第一コンテンツ記憶部121は、コンテンツに関係する情報を記憶する。
図4を用いて、第一コンテンツ記憶部121に記憶される情報の一例について説明する。
図4は、本開示に係るコンテンツ再生装置の第一コンテンツ記憶部に記憶される情報の一例を示す図である。
【0026】
図4に示す例において、第一コンテンツ記憶部121は、「コンテンツID」、「コンテンツ」、「シーンID」、「シーンポジション」、「バイタルデータ」という項目に係る情報を紐付けて記憶する。
【0027】
「コンテンツID」は、コンテンツを識別する識別子であり、文字列や番号などによって表される。「コンテンツ」は、「コンテンツID」により識別されるコンテンツのデータであり、例えば、書籍、映画、ドラマ、コンサート映像、音楽などのデータであってよい。ここで、書籍には電子書籍を含むがこれに限定されない。つまり、「コンテンツ」とは、画像、音声、文字情報の少なくともいずれかにより表現される情報のことである。
【0028】
「シーンID」は、「コンテンツID」により識別されるコンテンツのシーン、言い換えると場面を識別する識別子であり、文字列や番号などによって表される。「シーンポジション」は、「シーンID」により識別されるシーンの「コンテンツID」により識別されるコンテンツにおける位置を示し、例えば、コンテンツ全体の長さに対する割合などによって表されてよい。なお、コンテンツが映画やドラマなどの映像情報である場合、「シーンポジション」は、再生時刻を示す。また、コンテンツが書籍などの文字情報である場合、「シーンポジション」は、ページ数、及び行数を示す。
【0029】
「バイタルデータ」は、「コンテンツID」により識別されるコンテンツの「シーンID」により識別されるシーンにおける登場人物の生体状態(脈拍、血圧、体温などの人間が生きていることを示すバイタルサインともいう)に関するデータであり、バイタル再生部170はこれに基づいて登場人物の生体状態を表現する。具体的には、「バイタルデータ」が脈拍である場合のバイタルデータは、脈拍の速度の情報などを含む。バイタルデータには、該当するシーン中にバイタルデータを再生する回数の情報を含んでもよい。「バイタルデータ」には、バイタルデータの再生をしない、つまりバイタルデータがない、という情報も含まれる。
【0030】
すなわち、
図4においては、コンテンツID「CTID#1」により識別されるコンテンツのデータが「CT#1」として記憶されており、当該のコンテンツのシーンID「SCID#1」により識別されるシーンのシーンポジションが「SCPS#1-1」であり、当該のシーンにおける登場人物の生体状態をバイタル再生部170によって表現させるためのバイタルデータが「VTDT#1-1」として記憶されている例が示されている。
【0031】
なお、第一コンテンツ記憶部121は、「コンテンツID」、「コンテンツ」、「シーンID」、「シーンポジション」、「バイタルデータ」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0032】
制御部130は、コンテンツ再生装置100を司り、制御するコントローラである。制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部120に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えばASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
【0033】
図3に示すように、制御部130は、コンテンツ再生部131と、バイタルデータ取得部132と、バイタル再生指示部133と、一致度算出部134と、一致度出力部135と、を備える。制御部130は、記憶部120からプログラム(ソフトウェア)を読み出して実行することで、これらの機能を実現して、これらの処理を実行する。なお、制御部130のこれらの構成は、電子回路によって実現されてもよい。また、制御部130は、1つのCPUによってこれらの処理を実行してもよいし、複数のCPUを備えて、複数のCPUで、これらの処理を並列に実行してもよい。以下、これらの構成について順に説明する。
【0034】
コンテンツ再生部131は、電子書籍、映画、ドラマのうちの少なくとも一つを含むコンテンツを再生する。コンテンツ再生部131は、第一コンテンツ記憶部121からコンテンツを読み出して、読み出したコンテンツを再生する。例えば、コンテンツ再生部131は、音出力部150にコンテンツの音声を出力させて、表示部160にコンテンツの映像を表示させることにより、コンテンツを再生してよい。コンテンツが映像情報である場合、コンテンツ再生部131は、現在の再生時刻情報をバイタル再生指示部133に送信する。コンテンツが電子書籍である場合、コンテンツ再生部131は、現在の再生ページ情報をバイタル再生指示部133に送信する。
【0035】
バイタルデータ取得部132は、コンテンツを視聴しているユーザのバイタルデータを取得する。ここで、以下の説明において、コンテンツの視聴とは、映画などの映像情報を視聴することに加えて、書籍などの文字情報を読むことも含むものとする。バイタルデータ取得部132は、例えば、バイタルデータとして、バイタルセンサ部140の眼電位センサが計測したユーザの眼電位や、視線検出カメラが計測したユーザの視線の方向、皮膚電気活動センサが計測したユーザの皮膚電気活動状態、脈波センサが計測した脈波信号、脈波信号から算出した呼吸数、脳波計が計測した脳波などを取得してよい。なお、バイタルセンサ部140の詳細については、後述して説明する。
【0036】
バイタル再生指示部133は、ユーザが視聴しているコンテンツのシーンを特定し、特定したシーンにおける登場人物のバイタルデータの再生を指示する。例えば、バイタル再生指示部133は、コンテンツが映像情報である場合、コンテンツ再生部131から取得する現在の再生時刻が、ユーザが視聴しているシーンであると特定する。例えば、バイタル再生指示部133は、コンテンツが電子書籍である場合、コンテンツ再生部131から取得する現在の再生ページ数が、ユーザが視聴しているページであり、例えばバイタルセンサ部140などから取得したユーザの視線方向に基づいてユーザが視聴している行を推測することにより、ユーザが視聴しているシーンを特定する。バイタル再生指示部133は、特定したシーンにおける登場人物のバイタルデータの再生を、バイタル再生部170に指示する。なお、前述したように、第一コンテンツ記憶部121には、コンテンツに対して、シーンごとに登場人物のバイタルデータが記憶されている。そのため、バイタル再生指示部133は、コンテンツ再生部131が再生しているコンテンツが所定のシーンに差し掛かったときに、第一コンテンツ記憶部121から再生中のコンテンツの所定のシーンにおける登場人物のバイタルデータを読み出して、バイタル再生部170にバイタルデータの再生を指示する。
【0037】
図4に示すコンテンツに関する情報は、各シーンにおいて再生するバイタルデータに対応する登場人物は1人であるが、これに限らない。コンテンツに関する情報には、一つのシーンIDに対して複数の登場人物それぞれに対応するバイタルデータが含まれていてもよい。例えばコンテンツが映像情報である場合、バイタル再生指示部133は、バイタルセンサ部140などから取得したユーザの視線方向に基づいてユーザが注視している登場人物を特定し、特定した登場人物に対応するバイタルデータの再生を指示してもよい。
【0038】
ここで、コンテンツが電子書籍である場合、ユーザが視聴しているシーンである行数を特定するためには、ユーザの視線などからの推測をしなければならない。バイタルセンサ部140の構成によってはユーザの視線を検知できないケースも考えられる。そこで、
図4に示すコンテンツに関する情報に、有、または無の情報から成る「優先度」の列を加え、視線を検知できなくても、該当するシーンIDの優先度の情報が有の場合には、バイタルデータを再生する、としてもよい。
【0039】
バイタル再生指示部133は、一致度とユーザのバイタルデータとに基づいて、登場人物のバイタルデータを補正した上でバイタル再生部170に再生を指示する。具体的には、例えば、バイタル再生指示部133は、一致度に基づいて、登場人物のバイタルデータをユーザのバイタルデータに近づく方向に補正した登場人物のバイタルデータの再生を指示する。例えば、後述して説明する一致度算出部134が算出した一致度が80%であったとする。この場合、バイタル再生指示部133は、登場人物のバイタルデータに対して、20%の距離だけユーザのバイタルデータに近づく方向に補正した登場人物のバイタルデータの再生を指示する。言い換えると、バイタル再生指示部133は、登場人物のバイタルデータのうち、ユーザのバイタルデータと一致していない20パーセントをユーザのバイタルデータに整合させるように補正をする。具体的には、登場人物のバイタルデータに対して、20%の距離だけユーザのバイタルデータに近づく方向に補正する係数を掛けたバイタルデータの再生を指示してよい。
【0040】
バイタル再生指示部133は、振動を出力する振動デバイスであるバイタル再生部170に対してバイタルデータを振動として再生することを指示する。この場合、バイタル再生部170は、第一コンテンツ記憶部121に記憶されたバイタルデータに基づいて、例えば、登場人物の心臓の鼓動の状態(脈の早遅、強弱など)を振動によって表現するように、振動デバイスを駆動させる。これにより、ユーザに登場人物のドキドキ感などを体験させることが可能となる。また、バイタル再生指示部133は、シーンに登場しない人物の心臓の鼓動を示すバイタルデータや、物語の伏線を表現するバイタルデータ、同じシーンでも登場人物の心情に関する解釈を変えた形のバイタルデータに基づいて、振動デバイスを駆動させてもよい。
【0041】
一致度算出部134は、登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する。例えば、一致度算出部134は、バイタルデータ取得部132が取得したコンテンツを視聴しているユーザのバイタルデータと、コンテンツの登場人物のバイタルデータに対して、正規化を実行したうえで、ユークリッド距離や、マンハッタン距離、チェビシェフ距離などの距離関数を用いて、データ間の距離を算出することにより、一致度を算出してよい。ユーザのバイタルデータに対して、スムージング処理などの前処理をした上で正規化を実行してもよい。一致度算出部134は、登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの相関値から一致度を算出してもよい。ここで、コンテンツ再生前に予めユーザのバイタルデータを、例えば、バイタルセンサ部140などから取得しておき、一致度の算出に利用してもよい。例えば、コンテンツ再生前にユーザの平均心拍数を取得し、平均心拍数に基づいてバイタルデータ取得部132が取得したコンテンツを視聴しているユーザのバイタルデータを補正した上で一致度を算出する。
【0042】
また、バイタル再生指示部133は、一致度に基づいて、ユーザのバイタルデータが登場人物のバイタルデータに近づくと予想される方向に補正し、再生を指示してもよい。具体的には、バイタル再生指示部133は、補正の方向を機械学習モデルによって判定してもよい。この機械学習モデルとは、ユーザのバイタルデータ、登場人物のバイタルデータ、及び一致度が入力されたことに応じて、ユーザのバイタルデータと登場人物のバイタルデータとが近づけるためには登場人物のバイタルデータをどの方向に補正するべきかを出力するように構成されている。この機械学習モデルは、入力データと正解データのペアで構成される訓練データを用いて訓練されたものである。この機械学習モデルの訓練データは例えば、予め各ユーザに対してバイタルデータをどの方向にどの程度補正をするかの入力データと、結果として得られるバイタルデータを正解データとから成る。
【0043】
一致度出力部135は、一致度算出部134によって算出された一致度を出力させる。例えば、一致度出力部135は、表示部160に算出された一致度を表示させることによって一致度を出力してよい。また、一致度出力部135は、音出力部150に算出された一致度を音声として出力させることによって一致度を出力してもよい。また、一致度出力部135は、算出された一致度をデータとして図示しない外部装置などに出力してもよい。
【0044】
バイタルセンサ部140は、ユーザの生体情報、言い換えるとバイタルデータを計測する。バイタルセンサ部140は、例えば、眼電位センサであって、ユーザの眼電位をバイタルデータとして計測してもよい。なお、眼電位センサとは、眼球の角膜側と網膜側との間に生じている電位差を計測するセンサである。ヒトの眼球の角膜側は一般に正の電荷、網膜側は負の電荷を帯びているため、両者の間に電位差が発生する。頭部の特定の位置、例えば目の周囲の皮膚に電極を付けて電位差を測定すると、目の動きや瞬きによってこの電位差が変わるため、電位差を計測することで、目の動き、すなわち視線の方向が分かる。
【0045】
また、バイタルセンサ部140は、視線検知用カメラであり、バイタルデータとしてユーザの視線の方向を計測してもよい。視線検知用カメラは、ユーザの目を撮像するカメラである。視線検知用カメラは、ユーザの目の撮像データを画像解析によって視線検出を行う解析部を備えてもよい。例えば、視線検知用カメラの解析部は、ユーザの目の撮像データから、顔や目などの特徴的な部分(例えば、目頭や目尻)を基準として、動点(虹彩外縁)との位置関係から視線の方向を検出してよい。
【0046】
また、バイタルセンサ部140は、ユーザのバイタルデータとして皮膚の電気活動状態を検出する皮膚電気活動(EDA:Electro Dermal Actibity)センサであってもよい。皮膚電気活動センサは、皮膚の汗腺(例えば、エクリン腺)から分泌される汗による皮膚の電気活動状態を計測する。皮膚電気活動は、皮膚電位と、皮膚コンダクタンスに大別される。皮膚電位は、皮膚電位水準と皮膚電位反射に区別される。皮膚電位水準は、皮膚電位の直流成分であり、覚醒水準が高いときは陰性に高い値を示し、眠気を感じた場合や、リラックスした状態では陽性の値を示す。皮膚電位反射は、皮膚電位の交流成分であり、痛覚、触覚、聴覚、視覚などの刺激の発生時や、深呼吸や身体の動き、暗算や考え事をしている時に皮膚電位反射が頻発する。
【0047】
また、バイタルセンサ部140は、ユーザのバイタルデータとして脈波信号を検出する脈波センサであってもよい。脈波センサは、心臓が血液を送り出すことに伴い発生する血管の容積変化を波形として捉えるセンサである。脈波センサは、赤外線や赤色光、550nm付近の緑色波長の光を生体に向けて照射し、フォトダイオード又はフォトトランジスタを用いて、生体内を反射した光を計測する。動脈の血液内には酸化ヘモグロビンが存在し、入射光を吸収する性質があるため、心臓の脈動に伴って変化する血液量(血管の容量変化)を時系列に計測することで脈波信号を得ることができる。
【0048】
また、バイタルセンサ部140は、ユーザのバイタルデータとして脳波を計測する脳波計(EEG:Electroencephalography)であってもよい。脳波計は、脳内の神経細胞の活動によって生じる生体活動電位(20μV前後)を導出する電極を頭皮に当てて、電極が受け取った信号を増幅して、脳内の神経細胞の生体活動電位(脳波)を計測する。例えば、脳波計は導電性ジェルを頭皮と電極の間に配置することで、電極と頭皮の間の接触抵抗を下げるタイプや、頭皮と電極の間にスポンジを設けてスポンジに電解液を含ませるタイプ、電極の直近にアンプを内蔵し高い入力インピーダンスで電気信号を受け取り、低い出力インピーダンスで出力するタイプなどによって実現されてよい。
【0049】
音出力部150は、制御指令にしたがって音を出力する。音出力部150は、スピーカーであってよく、スピーカーは電気信号をダイヤフラムにより音に変換する。すなわち、スピーカーは、電気信号により与えられる制御指令に基づいて、ダイヤフラムを所定の振幅、振動数によって振動させることにより、ダイヤフラムに接している空気を振動させて音を出力する。音出力部150は、例えば、コンテンツ再生部131が表示部160に表示させるコンテンツの音声を出力してよい。
【0050】
表示部160は、ユーザに向けて各種の情報を表示する。表示部160は、例えば、コンテンツ再生部131の指示に基づいて、コンテンツの映像を表示する。表示部160は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、マイクロLED(Light Emitting Diode)ディスプレイ等によって実現されてよい。
【0051】
バイタル再生部170は、ユーザが視聴しているコンテンツの所定のシーンにおける登場人物のバイタルデータを再生する。バイタル再生部170は、例えば、表示デバイス、音声出力デバイス、振動デバイス、熱源ユニット、芳香ユニットなどにより実現されてよい。表示デバイスは、表示部160と同じように液晶ディスプレイなどにより実現され、映像により登場人物のバイタルデータが示す生体状態を表現する。音声出力デバイスは、音出力部と同じように、スピーカーであり音声により登場人物のバイタルデータが示す生体状態を表現する。振動デバイスは、偏心ローターを取り付けたモーターや、ピエゾ素子の逆圧電効果を利用したアクチュエータなどによって振動を発生させて、登場人物のバイタルデータが示す生体状態を表現する。熱源ユニットは、ペルチェ素子などを備えて、電力によって熱を発生させることにより、バイタルデータが示す登場人物の体温を表現する。また、芳香ユニットは、芳香剤を吐出することにより、コンテンツの所定のシーンにおける登場人物のバイタルデータが示す生体状態をにおいによって表現する。
【0052】
(サーバ装置の構成)
次に、本開示に係るサーバ装置の構成について、
図5を用いて説明する。
図5は、本開示に係るサーバ装置の構成例を示す図である。
図5に示すように、本開示に係るサーバ装置200は、通信部210と、記憶部220と、制御部230と、を備える。
【0053】
通信部210は、例えば、NIC(Network Interface Card)、無線LANカード等によって実現される。そして、通信部210は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、コンテンツ再生装置100との間で各種の情報の送受信を行う。
【0054】
記憶部220は、各種の情報を記憶する記憶装置である。記憶部220は、主記憶装置と補助記憶装置とを備える。主記憶装置は、例えばRAM、ROM、フラッシュメモリ等のような半導体メモリ素子によって実現されてよい。また、補助記憶装置は、例えばハードディスクやSSD、光ディスク等によって実現されてよい。
【0055】
図5に示すように、記憶部220は、コンテンツ記憶部221を備える。
【0056】
なお、コンテンツ記憶部221に記憶される情報は、コンテンツ再生装置100の第二コンテンツ記憶部122に記憶される情報と同じであるから説明を省略する。ただし、それぞれに記憶されるコンテンツの数は、コンテンツ記憶部221と第二コンテンツ記憶部122とで異なっていても構わない。
【0057】
制御部230は、例えば、CPUやMPU等によって、サーバ装置200に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部230は、例えば、ASICやFPGA等の集積回路により実現されてもよい。
【0058】
図5に示すように、制御部230は、受付部231と、提供部232と、を有する。
【0059】
受付部231は、コンテンツの提供要求を受け付ける。例えば、受付部231は、コンテンツ再生装置100の表示部160に、コンテンツ再生装置100のユーザUが求めるコンテンツの種類、コンテンツの名称、コンテンツの容量などの入力画面を含むコンテンツの受け付け画面を表示させて、ユーザからコンテンツの提供要求を受け付けてよい。
【0060】
提供部232は、コンテンツの提供要求に基づいて、コンテンツを提供する。例えば、提供部232は、コンテンツの提供要求に合致するコンテンツをコンテンツ記憶部221から読み出して、読み出されたコンテンツをコンテンツの提供要求が発信されたコンテンツ再生装置100に提供する。
【0061】
(コンテンツ再生方法)
(コンテンツ再生方法の第一実施形態)
次に、本開示に係るコンテンツ再生方法の第一実施形態について、
図6を用いて説明する。
図6は、本開示に係るコンテンツ再生方法の第一実施形態のフローを示すフローチャートである。
図6に示すフローに沿って、本開示に係るコンテンツ再生方法の第一実施形態を説明する。
【0062】
まず、コンテンツ再生装置100は、コンテンツを再生する(ステップS101)。次に、コンテンツ再生装置100は、コンテンツ視聴時のユーザのバイタルデータを取得する(ステップS102)。次に、コンテンツ再生装置100は、コンテンツの所定のシーンにおいて、登場人物のバイタルデータを出力させる(ステップS103)。次に、コンテンツ再生装置100は、登場人物のバイタルデータと、ユーザのバイタルデータの一致度を算出する(ステップS104)。ステップS103の処理の後、ステップS104の処理の前において、例えば1分間など一定期間経過するのを待ってから一致度を算出してもよい。次に、コンテンツ再生装置100は、算出された一致度を出力させる(ステップS105)。
【0063】
これによれば、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの登場人物のバイタルデータとの一致度を算出して、算出された一致度を出力することができる。したがって、ユーザが視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生方法を提供することができる。
【0064】
(コンテンツ再生装置の構成)
(コンテンツ再生装置の第二実施形態)
次に、本開示に係るコンテンツ再生装置100の第二実施形態について、
図7を用いて説明する。
図7は、本開示に係るコンテンツ再生装置の第二実施形態の構成例を示す図である。
図7に示すように、本開示に係るコンテンツ再生装置100の第二実施形態は、通信部110と、記憶部120と、制御部130と、バイタルセンサ部140と、音出力部150と、表示部160と、バイタル再生部170と、を備える。
【0065】
コンテンツ再生装置100の第二実施形態の構成のうち、記憶部120と、制御部130以外は、コンテンツ再生装置100の第一実施形態と同じである。そのため、コンテンツ再生装置100の第二実施形態の構成のうち、コンテンツ再生装置100の第一実施形態の構成と同じ構成については説明を省略し、コンテンツ再生装置100の第一実施形態と異なる構成である記憶部120の第二コンテンツ記憶部122と、制御部130について説明する。
【0066】
図7に示すように、記憶部120は、第二コンテンツ記憶部122を備える。
【0067】
第二コンテンツ記憶部122は、コンテンツに関係する情報を記憶する。
図8を用いて、第二コンテンツ記憶部122に記憶される情報の一例について説明する。
図8は、本開示に係るコンテンツ再生装置の第二コンテンツ記憶部に記憶される情報の一例を示す図である。
【0068】
図8に示す例において、第二コンテンツ記憶部122は、「コンテンツID」、「コンテンツ」、「シーンID」、「シーンポジション」、「バイタルデータ」、「分岐有無」、「分岐後コンテンツ」、「一致度」という項目に係る情報を紐付けて記憶する。なお、「分岐有無」、「分岐後コンテンツ」、「一致度」以外は、第二コンテンツ記憶部122に記憶される情報と同じである。そのため、第二コンテンツ記憶部122に記憶される項目のうち、「分岐有無」、「分岐後コンテンツ」、「一致度」という項目について説明する。
【0069】
「分岐有無」は、コンテンツの「シーンID」により識別されるシーンにおけるコンテンツの分岐の有無を示す情報であり、例えば、有、又は無によって表される。「分岐後コンテンツ」は、「コンテンツID」により識別されるコンテンツの「シーンID」により識別されるシーンにおけるコンテンツの分岐が有る場合の分岐後のコンテンツのデータである。「一致度」は、「分岐後コンテンツ」を分岐後コンテンツとして再生することを決定する場合のユーザのバイタルデータとコンテンツの登場人物のバイタルデータとの一致度の範囲、または閾値を示す。
【0070】
すなわち、
図8においては、コンテンツID「CTID#1」により識別されるコンテンツのコンテンツデータが「CT#1」として記憶されており、当該のコンテンツのシーンID「SCID#1」により識別されるシーンのシーンポジションが「SCPS#1-1」であり、当該のシーンにおける登場人物の生体状態をバイタル再生部170によって表現させるためのバイタルデータが「VTDT#1-1」として記憶されており、当該のシーンにおける分岐有無が「有」であって、当該のシーンにおける分岐後コンテンツが「BRCT#1-1-1」、「BRCT#1-1-2」として記憶されている例が示されている。
【0071】
なお、第二コンテンツ記憶部122は、「コンテンツID」、「コンテンツ」、「シーンID」、「シーンポジション」、「バイタルデータ」、「分岐有無」、「分岐後コンテンツ」、「一致度」という項目に係る情報に限定されることなく、その他の任意のコンテンツに関係する情報が記憶されてよい。
【0072】
図7に示すように、制御部130は、コンテンツ再生部131と、バイタルデータ取得部132と、バイタル再生指示部133と、一致度算出部134と、分岐先決定部136と、を備える。なお、コンテンツ再生装置100の第二実施形態の制御部130の構成は、コンテンツ再生装置100の第一実施形態の制御部130の構成から、一致度出力部135が除かれ、分岐先決定部136が加えられた以外は同じである。そのため、コンテンツ再生装置100の第二実施形態の制御部130の構成のうち、コンテンツ再生装置100の第一実施形態の制御部130の構成と同じ構成についての説明を省略して、コンテンツ再生装置100の第一実施形態の制御部130の構成と異なる構成である分岐先決定部136について説明する。
【0073】
分岐先決定部136は、算出された一致度に基づいて、コンテンツの分岐先を決定する。前述したように、コンテンツ再生装置100の第二実施形態の記憶部120の第二コンテンツ記憶部122には、「分岐後コンテンツ」に対応付けられて「一致度」が記憶されている。分岐先決定部136は、コンテンツ再生部131が再生するコンテンツについて、コンテンツの分岐が有るシーンに差し掛かったときに、一致度算出部134が算出した一致度を参照して、当該の一致度に対応する分岐後コンテンツを、コンテンツの分岐先として決定する。なお、分岐先決定部136は、コンテンツの分岐先を決定したら、分岐後コンテンツをコンテンツ再生部131に再生させる指示を出すように指示を与える。
【0074】
(コンテンツ再生方法)
(コンテンツ再生方法の第二実施形態)
次に、本開示に係るコンテンツ再生方法の第二実施形態について、
図9を用いて説明する。
図9は、本開示に係るコンテンツ再生方法の第二実施形態のフローを示すフローチャートである。
図9に示すフローに沿って、本開示に係るコンテンツ再生方法の第二実施形態を説明する。
【0075】
まず、コンテンツ再生装置100は、コンテンツを再生する(ステップS201)。次に、コンテンツ再生装置100は、コンテンツ視聴時のユーザのバイタルデータを取得する(ステップS202)。次に、コンテンツ再生装置100は、コンテンツの所定のシーンにおいて、登場人物のバイタルデータを出力させる(ステップS203)。次に、コンテンツ再生装置100は、登場人物のバイタルデータと、ユーザのバイタルデータの一致度を算出する(ステップS204)。次に、コンテンツ再生装置100は、一致度に基づいて、コンテンツの分岐先を決定する(ステップS205)。次に、コンテンツ再生装置100は、決定された分岐先のコンテンツを再生する(ステップS206)。
【0076】
これによれば、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの登場人物のバイタルデータとの一致度を算出して、算出された一致度に基づいて、コンテンツの分岐先を決定して、分岐後のコンテンツを再生することができる。したがって、ユーザのバイタルデータと、登場人物のバイタルデータの比較を行うことで適切なコンテンツ分岐を行うことができるコンテンツ再生方法を提供することができる。
【0077】
(コンテンツ再生装置の構成)
(コンテンツ再生装置の第三実施形態)
次に、本開示に係るコンテンツ再生装置100の第三実施形態について、
図10を用いて説明する。
図10は、本開示に係るコンテンツ再生装置の第三実施形態の構成例を示す図である。
図10に示すように、本開示に係るコンテンツ再生装置100の第三実施形態は、通信部110と、記憶部120と、制御部130と、バイタルセンサ部140と、音出力部150と、表示部160と、を備える。
【0078】
コンテンツ再生装置100の第三実施形態は、コンテンツ再生装置100の第一実施形態に対して、制御部130のバイタル再生指示部133が除かれ、バイタル再生部170が除かれた以外は、コンテンツ再生装置100の第一実施形態と同じである。そのため、コンテンツ再生装置100の第三実施形態の構成に関する説明は省略する。
【0079】
このようなコンテンツ再生装置100の第三実施形態によれば、簡易な構成により、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの登場人物のバイタルデータとの一致度を算出して、算出された一致度を出力することができる。そのため、コンテンツを視聴するユーザのコンテンツの登場人物に対する一体感や没入感といったものを一致度合いによって検出することができる。
【0080】
(コンテンツ再生装置の構成)
(コンテンツ再生装置の第四実施形態)
次に、本開示に係るコンテンツ再生装置100の第四実施形態について、
図11を用いて説明する。
図11は、本開示に係るコンテンツ再生装置の第四実施形態の構成例を示す図である。
図11に示すように、本開示に係るコンテンツ再生装置100の第四実施形態は、通信部110と、記憶部120と、制御部130と、バイタルセンサ部140と、を備える。
【0081】
コンテンツ再生装置100の第四実施形態は、コンテンツ再生装置100の第一実施形態に対して、記憶部120から第一コンテンツ記憶部121が除かれ、制御部130からコンテンツ再生部131と、バイタル再生指示部133と、音出力部150と、表示部160が除かれ、バイタル再生部170がコンテンツ再生装置100の外部に設けられた以外は、コンテンツ再生装置100の第一実施形態と同じである。そのため、コンテンツ再生装置100の第四実施形態の構成のうち、コンテンツ再生装置100の第一実施形態の構成と同じ構成についての説明を省略し、コンテンツ再生装置100の第一実施形態の構成と異なる構成であるバイタル再生部170に関して説明する。
【0082】
コンテンツ再生装置100の第四実施形態に係るバイタル再生部170は、コンテンツ再生装置100の外部に設けられ、Wi-Fiモジュールや、Bluetoothなどを備えて、通信部110と無線により相互に通信可能に接続される。バイタル再生部170は、例えば、映画館の座席のシートであって、バイタル再生指示部133の指示にしたがって前後左右や上下に動くことにより、コンテンツの所定のシーンにおける登場人物のバイタルデータを表現することによって再生してよい。また、バイタル再生部170は、ミストや香り、ストロボ、煙、振動、温度などによって、登場人物のバイタルデータを表現してもよい。第四実施形態に係るバイタル再生部170は、一つのコンテンツ再生装置100に対して、複数個接続されてもよい。バイタル再生部170が複数接続される場合、一致度算出部134は例えば、バイタル再生部170を装着した複数人それぞれのバイタルデータと登場人物のバイタルデータとの一致度を算出する。
【0083】
これによれば、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの所定のシーンにおける登場人物のバイタルデータを映画館の座席のシートによって表現することができる。そのため、映画館における映画に対する没入感を高めることができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生装置100を提供することができる。
【0084】
(コンテンツ再生装置の構成)
(コンテンツ再生装置の第五実施形態)
次に、本開示に係るコンテンツ再生装置100の第五実施形態について、
図12を用いて説明する。
図12は、本開示に係るコンテンツ再生装置の第五実施形態の構成例を示す図である。
図12に示すように、本開示に係るコンテンツ再生装置100の第五実施形態は、通信部110と、記憶部120と、制御部130と、バイタルセンサ部140と、音出力部150と、表示部160とを備える。
【0085】
コンテンツ再生装置100の第五実施形態は、コンテンツ再生装置100の第一実施形態に対して、制御部130からコンテンツ再生部131と、バイタル再生指示部133とが除かれ、バイタル再生部170が除かれた以外は、コンテンツ再生装置100の第一実施形態と同じである。そのため、コンテンツ再生装置100の第五実施形態の構成のうち、コンテンツ再生装置100の第一実施形態の構成と同じ構成についての説明を省略し、コンテンツ再生装置100の第一実施形態の構成と異なる構成に関してのみ説明する。
【0086】
コンテンツ再生装置100の第五実施形態に係る一致度算出部134は、コンテンツ再生装置100の第一実施形態と同じく、登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する。しかしながら、コンテンツ再生装置100の第五実施形態は、コンテンツ再生部131を備えないため、ユーザUは登場人物のバイタルデータについて知ることがない。
【0087】
これによれば、コンテンツを視聴するユーザのバイタルデータを取得して、登場人物のバイタルデータとの一致度を算出し、外部に出力することができる。したがって、ユーザのバイタルデータと、ユーザが視聴しているコンテンツの登場人物のバイタルデータとの比較結果を出力することにより一体感に寄与することができるコンテンツ再生装置100を提供することができる。
【0088】
(構成と効果)
本開示に係るコンテンツ再生装置100は、画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するコンテンツ再生部131と、前記コンテンツを視聴しているユーザのバイタルデータを取得するバイタルデータ取得部132と、前記ユーザが視聴しているコンテンツのシーンを特定し、特定したシーンにおける登場人物のバイタルデータの再生を指示するバイタル再生指示部133と、登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの一致度を算出する一致度算出部134と、算出された一致度を出力させる一致度出力部135と、を備える。
【0089】
この構成によれば、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの登場人物のバイタルデータとの一致度を算出して、算出された一致度を出力することができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生装置100を提供することができる。
【0090】
本開示に係るコンテンツ再生装置100のバイタル再生指示部133は、一致度と前記ユーザのバイタルデータとに基づいて、登場人物のバイタルデータを補正し、登場人物のバイタルデータの再生を指示する。
【0091】
この構成によれば、登場人物のバイタルデータをユーザのバイタルデータに近づく方向に補正した登場人物のバイタルデータを再生することができる。そのため、ユーザのバイタルデータが示すユーザの状態を配慮したうえで、ユーザと登場人物の一体感を増幅させることができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生装置100を提供することができる。
【0092】
本開示に係るコンテンツ再生装置100のバイタル再生指示部133は、振動を出力する振動デバイスであるバイタル再生部170に対してバイタルデータを振動として再生することを指示する。
【0093】
この構成によれば、振動デバイスによって登場人物のバイタルデータをユーザに提示することができる。そのため、登場人物の心臓の鼓動の状態(脈の早遅、強弱など)を振動によって適切に表現することができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生装置100を提供することができる。
【0094】
本開示に係るコンテンツ再生装置100は、一致度算出部134により算出された一致度に基づいて、コンテンツの分岐先を決定する分岐先決定部136と、をさらに備える。
【0095】
この構成によれば、一致度に基づいて、コンテンツの分岐先を決定して、分岐先のコンテンツを提供することができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えたうえで、一致度に基づいてコンテンツを分岐させたコンテンツを提供することができるコンテンツ再生装置100を提供することができる。
【0096】
本開示に係るコンテンツ再生方法は、画像、音声、文字情報の少なくともいずれかにより表現される情報であるコンテンツを再生するステップと、前記コンテンツを視聴しているユーザのバイタルデータを取得するステップと、前記ユーザが視聴しているコンテンツのシーンを特定し、特定したシーンにおける登場人物のバイタルデータの再生を指示するステップと、登場人物のバイタルデータと、コンテンツを視聴しているユーザのバイタルデータとの一致度を算出するステップと、算出された一致度を出力させるステップと、を含む。
【0097】
この構成によれば、コンテンツを視聴するユーザのバイタルデータを取得して、コンテンツの登場人物のバイタルデータとの一致度を算出して、算出された一致度を出力することができる。したがって、ユーザの視聴しているコンテンツの登場人物のバイタルデータをユーザに提示することによりユーザに一体感を与えることができるコンテンツ再生方法を提供することができる。
【0098】
以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0099】
1 コンテンツ再生システム
100 コンテンツ再生装置
110 通信部
120 記憶部
121 第一コンテンツ記憶部
122 第二コンテンツ記憶部
130 制御部
131 コンテンツ再生部
132 バイタルデータ取得部
133 バイタル再生指示部
134 一致度算出部
135 一致度出力部
136 分岐先決定部
140 バイタルセンサ部
150 音出力部
160 表示部
170 バイタル再生部
200 サーバ装置
210 通信部
220 記憶部
221 コンテンツ記憶部
230 制御部
231 受付部
232 提供部
N ネットワーク