IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社NeUの特許一覧 ▶ 株式会社CMerTVの特許一覧

特許7121937動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム
<>
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図1
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図2
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図3
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図4
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図5
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図6
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図7
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図8
  • 特許-動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-10
(45)【発行日】2022-08-19
(54)【発明の名称】動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム
(51)【国際特許分類】
   H04N 21/854 20110101AFI20220812BHJP
   A61B 10/00 20060101ALI20220812BHJP
   A61B 5/1455 20060101ALI20220812BHJP
   A61B 5/16 20060101ALI20220812BHJP
【FI】
H04N21/854
A61B10/00 E
A61B5/1455
A61B5/16 100
【請求項の数】 7
(21)【出願番号】P 2018035865
(22)【出願日】2018-02-28
(65)【公開番号】P2019153847
(43)【公開日】2019-09-12
【審査請求日】2021-02-19
(73)【特許権者】
【識別番号】518070663
【氏名又は名称】株式会社NeU
(73)【特許権者】
【識別番号】511218563
【氏名又は名称】株式会社CMerTV
(74)【代理人】
【識別番号】100113608
【弁理士】
【氏名又は名称】平川 明
(74)【代理人】
【識別番号】100123319
【弁理士】
【氏名又は名称】関根 武彦
(74)【代理人】
【識別番号】100123098
【弁理士】
【氏名又は名称】今堀 克彦
(74)【代理人】
【識別番号】100175190
【弁理士】
【氏名又は名称】大竹 裕明
(72)【発明者】
【氏名】長谷川 清
(72)【発明者】
【氏名】井口 誠
【審査官】富樫 明
(56)【参考文献】
【文献】特開2011-193371(JP,A)
【文献】国際公開第2016/084834(WO,A1)
【文献】特開2008-042234(JP,A)
【文献】特開2007-280486(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00-21/858
A61B 10/00
A61B 5/1455
A61B 5/16
(57)【特許請求の範囲】
【請求項1】
複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す脳活動状態と、前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画とを格納する記憶部と、
前記複数の利用者の前記脳活動状態に基づいて、前記所定動画の全期間から1以上の部分期間の動画である部分動画を抽出し、抽出された前記部分動画を結合して第1動画を生成する算出部とを備え、
前記算出部は、前記所定動画の後ろに前記第1動画を結合した第2動画を生成する、
動画生成装置。
【請求項2】
前記算出部は、前記複数の利用者のうちの所定割合以上の利用者の、前記所定動画を視聴したときの前記脳活動状態が所定の閾値以上である1以上の期間を抽出し、前記所定動画の全期間から前記1以上の期間に対応する部分期間の動画を前記部分動画として抽出する、
請求項1に記載の動画生成装置。
【請求項3】
複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す脳活動状態と、前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画とを格納する記憶部と、
前記複数の利用者の前記脳活動状態に基づいて、前記所定動画の全期間から1以上の部分期間を抽出し、抽出された前記1以上の部分期間を前記所定動画の再生期間として含む動画再生情報を生成する算出部とを備え
前記算出部は、抽出された前記1以上の部分期間を前記所定動画の全期間の後ろに結合した前記再生期間を含む前記動画再生情報を生成する、
動画生成装置。
【請求項4】
前記算出部は、前記複数の利用者のうちの所定割合以上の利用者の、前記所定動画を視聴したときの前記脳活動状態が所定の閾値以上である1以上の期間を抽出し、前記所定動
画の全期間のうち前記1以上の期間に対応する部分期間を前記所定動画の再生期間とする、
請求項に記載の動画生成装置。
【請求項5】
動画生成装置、及び、動画再生装置を備える動画生成再生システムであって、
前記動画生成装置が、
複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す脳活動状態と、前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画とを格納する記憶部と、
前記複数の利用者の前記脳活動状態に基づいて、前記所定動画の全期間から1以上の部分期間を抽出し、抽出された前記1以上の部分期間を前記所定動画の全期間の後ろに結合した再生期間を前記所定動画の再生期間として含む動画再生情報を生成する算出部と、
前記動画再生装置に、前記所定動画と前記動画再生情報とを送信する通信部とを備え、
前記動画再生装置が、
前記動画生成装置から、前記所定動画と前記動画再生情報とを受信する通信部と、
前記動画再生情報と前記所定動画とに基づいて、前記所定動画のうち前記動画再生情報に含まれる前記再生期間の動画を再生させる制御部を備える、
動画生成再生システム。
【請求項6】
コンピュータが、
記憶手段に格納される複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す前記複数の利用者の脳活動状態に基づいて、前記記憶手段に格納される前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画の全期間から1以上の部分期間の動画である部分動画を抽出し、抽出された前記部分動画を結合して第1動画を生成し、前記所定動画の後ろに前記第1動画を結合した第2動画を生成する、
ことを実行する動画生成方法。
【請求項7】
コンピュータが、
記憶手段に格納される複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す前記複数の利用者の脳活動状態に基づいて、前記記憶手段に格納される前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画の全期間から1以上の部分期間の動画である部分動画を抽出し、抽出された前記部分動画を結合して第1動画を生成し、前記所定動画の後ろに前記第1動画を結合した第2動画を生成する、
ことを実行するための動画生成プログラム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラムに関する。
【背景技術】
【0002】
従来から、ヘッドセットと呼ばれる頭部装着装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。
【0003】
複数の利用者(被験者)に対して、様々な行動をした際の脳活動状態を計測することが行われている。ある行動をした際の脳活動状態は、当該行動に含まれる様々な性質や利用者の属性等の影響を受けていると考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2005-84770号公報
【文献】特開2005-102322号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
商品やサービスの告知・広告等において、商品やサービスの消費者への認知度を高めるには、消費者に多くの回数、多くの時間、複数のパターンの広告を見せて、接触頻度を高めることが効果的であるとされている。しかし、テレビCMやインターネット上の動画広告を消費者に多くの回数を見せるには、多大な費用がかかる。そのため、効率的に、商品やサービスの認知度を高めることが求められている。VOD(Video on Demand)による
動画コンテンツ配信において、新コンテンツやレコメンドコンテンツを、視聴者に訴求する際も同様である。
【0006】
また、従来、広告の評価をする際には、広告を見た者に対するアンケートを採ることで行っていた。しかし、アンケートでは主観的な評価になりがちで、より客観的な評価をすることが求められている。
【0007】
本発明は、利用者によって測定された脳活動状態に基づいて動画を生成することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、以下の手段を採用する。
即ち、第1の態様は、
複数の利用者の頭部の血流量を検出した検出値に基づく脳活動の程度を示す脳活動状態と、前記検出値が検出されるときに前記複数の利用者がそれぞれ視聴する所定動画とを格納する記憶部と、
前記複数の利用者の前記脳活動状態に基づいて、前記所定動画の全期間から1以上の部分期間の動画である部分動画を抽出し、抽出された前記部分動画を結合して第1動画を生成する算出部と、
を備える動画生成装置である。
【0009】
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
【0010】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的または個別に実行される処理を含む。プログラムを記述するステップの一部が省略されてもよい。
【発明の効果】
【0011】
開示の技術によれば、利用者によって測定された脳活動状態に基づいて動画を生成することができる。
【図面の簡単な説明】
【0012】
図1図1は、動画生成システムの情報処理に関与する構成を例示する図である。
図2図2は、頭部装着装置の構成例を示す図である。
図3図3は、利用者端末20の構成例を示す図である。
図4図4は、サーバの構成例を示す図である。
図5図5は、利用者端末40の構成例を示す図である。
図6図6は、実施形態の動画生成再生システムの動画生成の動作フローの例を示す図である。
図7図7は、利用者が所定の動画の視聴行った際の脳活動状態の時間変化の例を示す図である。
図8図8は、実施形態の動画生成再生システムの動画生成の動作フローの別の例を示す図である。
図9図9は、実施形態の動画生成再生システムの動画再生の動作フローの例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0014】
〔実施形態〕
(構成例)
図1は、本実施形態に係る動画生成再生システムの情報処理に関する構成例を示す図である。本動画生成再生システムは、利用者に動画を視聴させている際に、利用者の頭部から血流量の変化を示す計測データ(検出値ともいう)を検出し、利用者の脳の活動状態を示す脳活動情報(脳活動波形)を取得する。また、本動画生成再生システムは、利用者に視聴させた動画、取得した脳活動情報に基づいて、新たな動画を生成する。ここで生成される動画は、主として、商品、サービス等についてのテレビCMやインターネット上の広告動画等である。また、ここで生成される動画は、VODによる動画コンテンツ配信において、新コンテンツやレコメンドコンテンツを視聴者に訴求するために生成される動画であってもよい。
【0015】
図1のように、動画生成再生システム1は、頭部装着装置10-1、10-2、10-3と、利用者端末20-1、20-2、20-3と、サーバ30と、利用者端末40-1
、40-2、40-3とを有する。ここで、頭部装着装置10-1、10-2、10-3を総称する場合には、頭部装着装置10という。また、利用者端末20-1、20-2、20-3を総称する場合には、利用者端末20という。頭部装着装置10、利用者端末20の数は、それぞれ、3台に限定されるものではない。サーバ30は、動画生成装置の一例である。利用者端末40-1、40-2、40-3を総称する場合には、利用者端末40という。
【0016】
図2は、頭部装着装置の構成例を示す図である。頭部装着装置10は、情報処理の側面としては、制御部11と、無線通信部13と、一対のセンサ115、125とを有する。制御部11は、頭部装着装置10の計測と通信を制御する。制御部11は、例えば、CPU(Central Processing Unit)、あるいはDSP(Digital Signal Processor)等のプロ
セッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部11は、無線通信部13とセンサ115、125を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、FPGA(Field Programmable Gate Array)等であってもよい。また、制御部11は、
CPU、DSP、専用のハードウェア回路等が混在したものであってもよい。
【0017】
頭部装着装置10は、利用者の頭部に装着され、利用者の頭部に固定される構造を有する。
【0018】
無線通信部13は、所定のインターフェースによって、制御部11およびセンサ115、125と接続される。ただし、無線通信部13は、制御部11を介して、センサ115、125からデータを取得する構成であってもよい。無線通信部13は、ネットワークN1を介して、利用者端末20と通信する。ネットワークN1は、例えば、Bluetooth(登
録商標)、無線LAN(Local Area Network)LTE(Long Term Evolution)等の規格
にしたがうネットワークである。無線通信部13は、転送手段の一例である。ただし、動画生成再生システム1において、無線通信部13の無線インターフェースの規格に限定はない。
【0019】
ネットワークN1での通信時、通信ヘッダのヘッダ部分、あるいは、通信データ中の利用者データ部分(ペイロード部分)に、頭部装着装置10を識別する識別子を埋め込んで、利用者端末20が利用者(被験者)を識別できるようにする。
【0020】
また、動画生成再生システム1において、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置10と利用者端末20とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定はなく、動画生成再生システム1の用途に応じてUSB(Universal Serial Bus)、PCI Express(登録商標)等の各種インターフェースを使用できる。
【0021】
センサ115、125は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ115、125は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ115、125は、検出部の一例である。
【0022】
センサ115、125は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、LED(Light Emitting Diodes)、赤
外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、AD(Analog Digital)コンバータとを含む。なお、近赤外線光源と受光部とが対にして設けられなくてもよい。例えば、1つの近赤外線光源に対して、複数の受光部が設けられてもよい。
【0023】
図3は、利用者端末20の構成例を示す図である。利用者端末20は、頭部装着装置10から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。利用者端末20は、情報処理装置(コンピュータ)の一例である。利用者端末20は、PC(Personal Computer)、スマートフォン、携帯電話、タブレット型端末、カーナビゲーション
装置、PDA(Personal Digital Assistant)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【0024】
利用者端末20は、CPU21と、メモリ22と、無線通信部23と、公衆回線通信部24と、表示部25と、操作部26と、出力部27と、撮像部28と、測位部29と、物理センサ部2Aを有する。CPU21は、メモリ22に実行可能に展開されたコンピュータプログラムにより、利用者端末20としての処理を実行する。利用者端末20としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するCPU21は、算出部の一例である。
【0025】
メモリ22は、CPU21で実行されるコンピュータプログラム、あるいは、CPU21が処理するデータを記憶する。メモリ22は、揮発性メモリと不揮発性メモリを含んでよい。
【0026】
無線通信部23は、頭部装着装置10の無線通信部13と同様である。無線通信部23は、受信手段の一例である。また、利用者端末20は、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を有してもよい。
【0027】
公衆回線通信部24は、ネットワークN2を介して、ネットワークN2上のサーバ、例えば、サーバ30等と通信する。ネットワークN2は、公衆回線網であり、例えば、携帯電話網である。ネットワークN2が携帯電話網である場合には、公衆回線通信部24は、携帯電話網の基地局を介してネットワークN2に接続する。ただし、ネットワークN2は、インターネット接続業者の通信装置へのアクセス網とインターネットを含むネットワークであってもよい。インターネット接続業者の通信装置へのアクセス網は、例えば、通信事業者が提供する光ネットワーク、ADSL(Asymmetric Digital Subscriber Line)等である。ネットワークN2は、公衆無線ネットワークの一例である。また、公衆回線通信部24は、通信部の一例である。ただし、動画生成再生システム1において、ネットワークN2は公衆回線網に限定されず、例えば、LAN(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、VPN(Virtual Private Network)等の広域ネットワークであってもよい。
【0028】
表示部25は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)パネル等であり、CPU21からの出力情報を表示する。操作部26は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部27は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部28は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、CCD(Charge-coupled device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージ
センサ等を利用できる。
【0029】
測位部29は、例えば、GPS(Global Positioning System)受信機であり、GPS
衛星からの電波を受信し、現在位置(緯度、経度等)、時刻等を算出する。ただし、測位部29としては、GPS受信機を有するものに限定される訳ではない。例えば、公衆回線通信部24が携帯電話網である場合には、測位部29は、携帯電話基地局からの距離を基に測位を実行してもよい。
【0030】
物理センサ部2Aは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部2Aは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。
【0031】
図4は、サーバの構成例を示す図である。サーバ30は、ネットワークN2に接続される。サーバ30は、一般的な情報処理装置である。情報処理装置は、演算及び制御を行うCPU、演算等で使用されるデータ等を格納するメモリ及び記憶部、利用者等からの情報の入力を受け付ける入力部、画像や音声等により情報を出力する出力部、他の装置等と情報の送受信を行う通信部等を有する。サーバ30は、PC、ワークステーション(WS、Work Station)のような専用または汎用のコンピュータ、あるいは、コンピュータを搭載した電子機器を使用して実現可能である。
【0032】
サーバ30は、CPU31と、メモリ32と、公衆回線通信部34と、表示部35と、操作部36と、出力部37を有する。CPU31は、メモリ32に実行可能に展開されたコンピュータプログラムにより、サーバ30としての処理を実行する。サーバ30としての処理とは、例えば、上記脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するCPU31は、算出部の一例である。
【0033】
メモリ32は、CPU31で実行されるコンピュータプログラム、あるいは、CPU31が処理するデータを記憶する。メモリ32は、揮発性メモリと不揮発性メモリを含んでよい。
【0034】
公衆回線通信部34は、ネットワークN2を介して、ネットワークN2上の装置、例えば、利用者端末20等と通信する。ネットワークN2は、公衆回線網であり、例えば、携帯電話網である。また、公衆回線通信部34は、通信部の一例である。
【0035】
表示部35は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)パネル等であり、CPU31からの出力情報を表示する。操作部36は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部37は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。
【0036】
各利用者端末20とサーバ30とは、ネットワークN2を介さずに直接接続されてもよい。また、サーバ30と各利用者端末40とは、ネットワークN2を介さずに直接接続されてもよい。
【0037】
〈動作例1〉
本実施形態の動画生成再生システムの動画生成の動作例について説明する。動画生成再生システム1は、利用者に動画を視聴させている際に、利用者の脳血流量を測定し、利用者の脳活動情報を取得し、利用者に視聴させた動画、取得した脳活動情報に基づいて、新たな動画を生成する。生成する新たな動画は、利用者にとって記憶に残りやすいものとする。
【0038】
図6は、本実施形態の動画生成再生システムにおける動画生成の動作フローの例を示す図である。本実施形態の動画生成再生システム1の頭部装着装置10は、それぞれ、利用者(被験者)の頭部に装着されており、脳活動状態(脳血流量)を測定できる状態である。頭部装着装置10は、それぞれ、利用者端末20に接続されている。頭部装着装置10のキャリブレーション等は既に行われているとする。利用者端末20は、サーバ30に接続されている。利用者端末20、サーバ30の記憶手段には、所定の動画の動画データが、あらかじめ、格納されているとする。
【0039】
S101では、利用者端末20は、頭部装着装置10を装着した利用者に所定の動画の視聴を行わせる。所定の動画は、例えば、所定の商品やサービスの広告の動画である。当該動画のデータは、あらかじめ、サーバ30等により提供される。所定行動は、特定のアプリケーションにおける特定の行動であってもよい。所定の動画には、あらかじめ、固有の識別子が割り当てられていてもよい。また、各利用者には、あらかじめ、固有の識別子が割り当てられている。利用者端末20は、動画視聴を行わせる際、表示部25に動画を表示させ、出力部27に動画に伴う音声を出力させて、利用者に動画を視聴させる。動画と動画に伴う音声とを含めて、単に動画ともいう。また、利用者端末20は、動画視聴の開始の合図及び終了の合図を、画像や音声により表示部25や出力部27を通じて出力してもよい。
【0040】
ここで、動画を視聴させる対象の利用者は、あらかじめ、動画の製作者等によって抽出されている。例えば、動画の内容に関心が高いと考えられる利用者が抽出される。より具体的には、例えば、動画が、自動車の広告の動画であれば、自動車の運転免許証を有する者とする。また、例えば、動画が、高級自動車の広告の動画であれば、自動車の運転免許書を有する者、かつ、所得が所定額以上の者とする。抽出される利用者は、例えば、30人とする。
【0041】
利用者に動画視聴を行わせている際、利用者端末20は、頭部装着装置10に利用者の脳活動状態を測定させる。各頭部装着装置10は、センサ115及び125により利用者の脳活動状態を測定し、無線通信部13を介して、当該脳活動状態を示す検出値を利用者端末20に送信する。利用者端末20は、無線通信部23を介して頭部装着装置10から脳活動状態を示す検出値(脳活動波形)を受信すると、メモリ22等の記憶手段に格納する。ここで、検出値は、測定された値そのものでもよいし、測定された値を利用者端末20に送信しやすいように処理した情報でもよいし、又は一定期間に測定された値をまとめた情報などでもよい。検出値は、頭部装着装置10が頭部の血流量変化を測定した値に基づいた値であればよい。脳活動状態を示す検出値は、時系列データとして、時刻情報、動画の識別子、利用者の識別子と共に格納される。利用者端末20は、常時、測定結果としての脳活動状態を示す検出値を取得し、動画視聴を行わせている間の脳活動状態を示す検出値を抽出してもよい。検出値(脳活動波形)は、例えば、脳血流量の時間変化、脳血流量の時間微分である。
【0042】
ここでは、利用者端末20の表示部25に表示した動画を利用者に視聴させたが、サーバ30の表示部35やサーバ30に接続された表示装置等において動画を再生して、利用者に視聴させてもよい。
【0043】
S102では、利用者端末20は、記憶手段に格納される脳活動状態を示す検出値(脳活動波形)を、動画の識別子、利用者の識別子、時刻情報とともに、公衆回線通信部24を介して、サーバ30に送信する。サーバ30は、各利用者端末20から、脳活動状態を示す検出値、動画の識別子、利用者の識別子、時刻情報を、公衆回線通信部34を介して、受信する。サーバ30は、メモリ32に、受信した脳活動状態の波形を、動画の識別子(ID)、利用者の識別子(ID)、時刻情報に対応づけて、格納する。サーバ30のメ
モリ32には、様々な利用者の、動画を視聴した際の、脳活動状態の波形が、蓄積される。サーバ30は、脳活動状態の波形の時系列データと、動画の識別子と、当該動画視聴の開始時刻と、当該動画視聴の終了時刻と、当該動画視聴を行った利用者の識別子とを対応付けて、メモリ32に格納してもよい。サーバ30のメモリ32には、特定の利用者が特定の動画視聴を行った際の脳活動状態の波形を抽出できるように、脳活動状態の波形等が格納されていればよい。
【0044】
図7は、利用者が所定の動画の視聴を行った際の脳活動状態の時間変化の例を示す図である。図7のグラフにおいて、横軸は時刻で、縦軸は脳活動状態(ヘモグロビンの濃度変化量)である。脳活動状態の値が大きいほど、脳活動が活発であることを示す。図7のグラフでは、開始時刻t=0から終了時刻t=t5までの期間で、利用者に所定の動画を視聴させている。利用者は、動画の視聴中、頭部装着装置10により脳活動状態を測定されている。動画の視聴中の時刻t=t1から時刻t=t2までの期間及び時刻t=t3から時刻t=t4までの期間で、利用者の脳活動状態が閾値以上である(脳活動状態が高い)。脳活動状態が高い期間では、当該利用者にとって、この期間に視聴している動画に対する関心度が高いことが考えられる。開始時刻t=0から終了時刻t=t5までの期間は、例えば、30秒である。
【0045】
S103では、サーバ30は、メモリ32に蓄積される、同一の所定の動画を視聴した利用者の、所定の動画の視聴を行った際の脳活動状態の波形を抽出する(図7参照)。サーバ30は、抽出したそれぞれの利用者の脳活動状態の波形から、脳活動状態が閾値(例えば、0.1mMmm)以上である期間を抽出する。図7の例では、時刻t=t1から時刻t=t2までの期間及び時刻t=t3から時刻t=t4までの期間である。さらに、サーバ30は、それぞれの利用者の抽出された期間から、所定の割合(例えば、50%)の利用者の脳活動状態が閾値以上である期間(高脳活動期間とする)を抽出する。ここで抽出された高脳活動期間は、所定の動画を視聴した利用者の多くの脳活動状態が高かった期間である。即ち、ここで抽出された高脳活動期間は、脳活動が活発であるため、利用者にとって関心が高く記憶に残りやすい期間であると考えられる。ここで、高脳活動期間を、脳活動状態が閾値以上である期間から所定時間X(例えば3秒)前の期間としてもよい。たとえば、脳活動状態が閾値以上である期間が、時刻t=t1から時刻t=t2までの期間である場合に、高脳活動期間をt1-Xからt2-Xまでとしてもよい。脳活動が活発になってから脳活動状態の波形に表れるまでにタイムラグが生じることがあるからである。所定時間Xは、例えば、0秒から5秒程度が好ましい。
【0046】
また、サーバ30は、同一の所定の動画を視聴した利用者の、所定の動画の視聴を行った際の脳活動状態の波形を時刻毎に平均化して、平均化した脳活動状態の波形において、脳活動状態が閾値以上である期間を抽出して、当該期間を高脳活動期間としてもよい。
【0047】
S104では、サーバ30は、新たな動画を生成する。サーバ30は、所定の動画から、S103で抽出された高脳活動期間に対応する部分の期間(部分期間)の動画(部分動画)を抽出する。サーバ30は、抽出された部分動画を結合して、1つの新たな動画を生成する。サーバ30は、抽出された部分動画が1つの部分である場合には、当該部分動画を新たな動画とする。サーバ30は、生成された新たな動画の動画データを記憶手段に格納する。これにより、利用者にとって関心の高い部分を含む動画が生成される。利用者の脳活動が活発であり関心が高い期間の動画(新たな動画)を利用者に見せることで、動画が利用者の記憶に残りやすくなると考えられる。
【0048】
また、例えば、所定の動画が広告(CM等)である場合、所定の動画の開始から終了までの全期間のうちの一部分を抽出して結合した部分動画では、利用者に広告の内容を理解させることが難しくなることがある。即ち、利用者が何の商品やサービスの広告の動画な
のかを理解できないおそれがある。広告の内容を理解させずに関心度が高い部分の部分動画を見せても、広告としての効果を期待することが難しい。広告としての効果とは、例えば、広告される商品やサービスの購入や利用を促進すること等である。そこで、サーバ30は、所定の動画の後に部分動画を結合した動画を新たな動画とする。これにより利用者に広告の内容を理解させつつ、記憶に残りやすくすることができ、広告の効果をより高めることができる。当該新たな動画の再生時間は、所定の動画の2回分の再生時間よりも短くなる。しかし、当該新たな動画では、関心の高い部分が繰り返されることになるため、当該新たな動画を利用者に視聴させると、所定の動画を2回分視聴させたときと同様の広告効果を期待できる。当該新たな動画の視聴は、動画2回分の再生時間よりも短い時間で、動画2回分の視聴と同様の効果を得られる。動画によるインターネット広告等では、動画の再生時間により広告を出す側が支払う料金が決定されることがある。より短い時間の広告動画とすることにより、広告費用の削減をすることができる。
【0049】
新たな動画(例えば、広告動画)を見せられる対象者は、脳活動状態を計測された利用者以外の者も含まれる。脳活動状態を計測された利用者以外の者であっても、当該利用者と同様の条件の者であれば、所定の動画を見た際に、同様の脳活動状態になると考えられる。
【0050】
サーバ30は、所定の動画の後に結合する部分動画の再生速度を1倍速よりも速くしてもよい。これにより動画の再生時間をより短くすることができる。このとき、新たな動画を視聴する利用者にとっては、繰り返される部分が速く再生されても直前に一度見ているため内容を理解することができるものと考えられる。
【0051】
また、スローモーション効果として部分動画の再生速度を1倍速よりも遅くしたり、抽出した区間(期間)を静止画にして再生したり、静止画にキャプチャーテキストを挿入してもよい。静止画は、抽出した期間の動画の任意の静止画(例えば、当該期間で脳活動状態が最も高い時刻における動画の画面)、抽出した期間の所定時間前(例えば、5秒前)の期間の動画の任意の静止画などとすることができる。
【0052】
サーバ30で生成された新たな動画は、サーバ30によって、利用者端末40等に送信される。利用者端末40は、サーバ30から生成された動画を受信すると、利用者の操作等に基づいて、当該動画を再生する。
【0053】
〈動作例2〉
本実施形態の動画生成再生システムの動画生成の動作の別の例について説明する。動画生成再生システム1は、動作例1と同様に、利用者に動画を視聴させている際に、利用者の脳血流量を測定し、利用者の脳活動情報を取得し、利用者に視聴させた動画、取得した脳活動情報に基づいて、動画再生情報を生成する。動画再生情報は、動画の再生方法を示す情報であり、例えば、動画の再生期間や再生速度等を示す情報である。動画を再生する利用者端末は、動画のデータ及び動画再生情報を取得して、動画再生情報に従って動画を再生する。
【0054】
図8は、本実施形態の動画生成再生システムにおける動画生成の動作フローの別の例を示す図である。本実施形態の動画生成再生システム1の頭部装着装置10は、それぞれ、利用者(被験者)の頭部に装着されており、脳活動状態(脳血流量)を測定できる状態である。頭部装着装置10は、それぞれ、利用者端末20に接続されている。頭部装着装置10のキャリブレーション等は既に行われているとする。利用者端末20は、サーバ30に接続されている。ここでは、動作例1と同様の点については、説明を省略する。
【0055】
S201からS203までの動作は、動作例1のS101からS103までの動作と同
様である。
【0056】
S204では、サーバ30は、所定の動画に対する動画再生情報を生成する。サーバ30は、S203で抽出された高脳活動期間に対応する動画の部分の期間(部分期間)を、所定の動画において再生時に再生する期間(再生期間)として含む動画再生情報を生成する。動画再生情報には、動画そのものの動画データは含まれない。よって、動画再生情報のデータの大きさは、動画データに比べて非常に小さい。サーバ30は、複数の部分期間が抽出されている場合には、当該複数の部分期間を再生期間として含む動画再生情報を生成する。当該部分期間は、例えば、動画の部分期間の開始時刻と終了時刻とで特定される。また、当該部分期間は、動画の部分期間の開始時刻と再生時間とで特定されてもよい。動画再生情報に複数の部分期間が含まれる場合には、動画再生情報において、部分期間の再生順序が指定されてもよい。再生順序は、例えば、各部分期間のうち開始時刻が早いものから順に再生するように指定される。これにより、利用者にとって関心の高い部分を再生することを指定する動画再生情報が生成される。動画再生情報に従って所定の動画を再生することで、利用者の脳活動が活発であり関心が高い期間の動画を利用者に見せることができ、動画が利用者の記憶に残りやすくなると考えられる。サーバ30は、生成された動画再生情報を所定の動画の動画データと対応付けて記憶手段に格納する。
【0057】
また、サーバ30は、所定の動画の再生後に部分動画を再生させるため、動画再生情報に、所定の動画を再生する期間(再生期間)として、所定の動画の開始から終了までの全期間と、部分期間とを含めてもよい。
【0058】
また、サーバ30は、動画の再生速度や、部分区間を静止画として再生する情報を、動画再生情報に含めてもよい。
【0059】
サーバ30で生成された動画再生情報は、所定の動画のデータとともに、サーバ30によって、利用者端末40等に送信される。利用者端末40は、利用者の操作等により、サーバ30から所定の動画の動画データと動画再生情報とを受信すると、動画再生情報に従って、所定の動画を再生する。これにより、サーバ30が新たな動画のデータを作成することなく、利用者端末40において、指定された再生方法で、所定の動画を再生することができる。
【0060】
〈動作例3〉
本実施形態の動画生成再生システムの動画再生の動作例について説明する。ここでは、利用者端末40が、所定の動画の動画データ及び動作例2のように生成された動画再生情報を取得して、動画を再生する。利用者端末40には、あらかじめ、動画再生情報に従って動画を再生するプログラムが導入されているとする。
【0061】
図9は、本実施形態の動画生成再生システムにおける動画再生の動作フローの例を示す図である。ここでは、サーバ30は、動作例2のように所定の動画に対する動画再生情報を生成しているとする。
【0062】
S301では、利用者端末40は、サーバ30から、所定の動画の動画データ及び当該動画の動画再生情報を取得する。当該取得は、利用者端末40の操作部46に対する利用者による入力操作などを契機として行われる。利用者端末40は、利用者の入力操作などに基づいて、所定の動画の動画データ及び当該動画の動画再生情報をサーバ30に要求する。サーバ30は、利用者端末40から当該要求を受信すると、記憶手段から所定の動画の動画データ及び当該動画の動画再生情報を抽出し、公衆回線通信部34を介して、利用者端末40に送信する。利用者端末40は、サーバ30から、公衆回線通信部44を介して、所定の動画の動画データ、当該動画の動画再生情報を受信する。利用者端末40は、
受信した所定の動画の動画データ、動画再生情報をメモリ42等の記憶手段に格納する。
【0063】
S302では、利用者端末40は、動画再生情報に基づいて、所定の動画を再生する。動画再生情報には、動画を再生する期間、再生速度等の情報が含まれる。利用者端末40は、当該情報に従って、所定の動画を再生する。利用者端末40は、例えば、再生する期間(再生期間)として、開始時刻10秒から終了時刻15秒までの期間が指定されている場合には、記憶手段に格納される動画データの動画のうち当該期間の動画を、表示部45や出力部47を通じて再生する。また、利用者端末40は、動画再生情報で再生速度が指定されている場合には、当該再生速度で、動画を再生する。これにより、サーバ30が新たな動画のデータを作成することなく、利用者端末40において、指定された再生方法で、所定の動画を再生することができる。また、動画の再生速度は、利用者端末40の利用者の入力操作によって、変更されてもよい。
【0064】
所定の動画の動画データ、新たな動画の動画データ等は、サーバ30から利用者端末20や利用者端末40に対して、ストリーミング配信されてもよい。
【0065】
(実施形態の作用、効果)
本実施形態の動画生成再生システム1において、利用者端末20は、利用者に所定の動画の視聴を行わせている際の脳活動状態を、頭部装着装置10によって測定する。サーバ30は、利用者端末20から送信される複数の利用者の動画視聴時の脳活動状態を取得する。サーバ30は、測定された複数の脳活動状態に基づいて、動画の視聴において脳活動状態が高い期間を抽出する。サーバ30は、より多くの利用者の動画の視聴において脳活動状態が高い部分の動画を抽出し、結合して新たな動画を生成する。
【0066】
動画生成再生システム1によれば、利用者が動画を視聴した際の客観的な情報(脳活動状態)に基づいて、利用者にとって記憶に残りやすい動画を生成することができる。
【0067】
また、本実施形態の動画生成再生システム1において、サーバ30は、より多くの利用者の動画の視聴において脳活動状態が高い部分の期間に対応する動画の部分期間を再生期間として含む動画再生情報として生成し、動画を再生する利用者端末40に、動画の動画データとともに、送信する。利用者端末40は、動画を動画データと動画再生情報とに基づいて、動画を再生する。これにより、動画生成再生システム1は、部分動画を結合した新たな動画等を生成することなく、多くの利用者の動画の視聴において脳活動状態が高い部分について考慮された動画を再生することができる。
【0068】
上記の実施形態の構成は、可能な限りこれらを組み合わせて実施され得る。
【0069】
〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0070】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、CPU、メモリ等のコンピュータを構成する要素を設け、そのCPUにプログラムを実行させてもよい。
【0071】
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、D
AT、8mmテープ、メモリカード等がある。
【0072】
また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。
【符号の説明】
【0073】
1 :動画生成システム
10 :頭部装着装置
11 :制御部
115 :センサ
125 :センサ
13 :無線通信部
20 :利用者端末
21 :CPU
22 :メモリ
23 :無線通信部
24 :公衆回線通信部
25 :表示部
26 :操作部
27 :出力部
28 :撮像部
29 :測位部
2A :物理センサ部
30 :サーバ
31 :CPU
32 :メモリ
34 :公衆回線通信部
35 :表示部
36 :操作部
37 :出力部
40 :利用者端末
41 :CPU
42 :メモリ
43 :無線通信部
44 :公衆回線通信部
45 :表示部
46 :操作部
47 :出力部
48 :撮像部
49 :測位部
4A :物理センサ部
図1
図2
図3
図4
図5
図6
図7
図8
図9