特許 5920785 体験記録システム、体験記録方法および体験記録プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5920785

(24)【登録日】2016年4月22日

(45)【発行日】2016年5月18日

(54)【発明の名称】体験記録システム、体験記録方法および体験記録プログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20160428BHJP

【ＦＩ】

   H04N5/91 Z

【請求項の数】5

【全頁数】16

(21)【出願番号】特願2012-277957(P2012-277957)

(22)【出願日】2012年12月20日

(65)【公開番号】特開2014-123817(P2014-123817A)

(43)【公開日】2014年7月3日

【審査請求日】2014年12月18日

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】504173471

【氏名又は名称】国立大学法人北海道大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】嶌田 聡

(72)【発明者】

【氏名】東野 豪

(72)【発明者】

【氏名】長谷山 美紀

(72)【発明者】

【氏名】高橋 翔

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開平１０−０２８２５０（ＪＰ，Ａ）

【文献】 特開２０１０−１８３２５３（ＪＰ，Ａ）

【文献】 特開２００７−２０７１９１（ＪＰ，Ａ）

【文献】 特開２０００−１１３２０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ１／００

１１／６０−１３／８０

１７／０５

１９／００−１９／２０

Ｈ０４Ｎ５／２２２−５／２５７

５／７６

５／７６５

５／８０−５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

７／１０

７／１４−７／１７３

７／２０−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

撮影対象のオブジェクトを表したオブジェクトモデルを生成する生成手段と、
体験の様子を撮影する映像撮影手段と、
前記オブジェクトモデルが提示された入力画面を介して、前記体験中に前記オブジェクトモデルに対してリアルタイムに入力されるアノテーションを受け付け、受け付けたアノテーションと、受け付けた時刻と、オブジェクトモデルの位置とをデータ管理手段に登録する受付手段と、
前記映像撮影手段が撮影した体験映像において、前記アノテーションを受け付けた時刻と、前記オブジェクトモデルの位置とを用いて前記アノテーションを付与するフレーム画像を決定し、決定したフレーム画像と当該アノテーションとを対応付けて情報管理手段に登録するアノテーション生成手段と、を備えること
を特徴とする体験記録システム。

【請求項2】

前記アノテーションに、描画で表現された描画アノテーションが含まれる場合には、前記受付手段は、描画アノテーションの位置情報を前記データ管理手段に登録し、前記アノテーション生成手段は、前記描画アノテーションの位置情報を利用して射影変換した変換後の位置情報を前記情報管理手段に登録すること
を特徴とする請求項１に記載の体験記録システム。

【請求項3】

体験記録システムが行う体験記録方法であって、
撮影対象のオブジェクトを表したオブジェクトモデルを生成する生成ステップと、
体験の様子を撮影する映像撮影ステップと、
前記オブジェクトモデルが提示された入力画面を介して、前記体験中に前記オブジェクトモデルに対してリアルタイムに入力されるアノテーションを受け付け、受け付けたアノテーションと、受け付けた時刻と、オブジェクトモデルの位置とをデータ管理部に登録する受付ステップと、
前記映像撮影ステップで撮影した体験映像において、前記アノテーションを受け付けた時刻と、前記オブジェクトモデルの位置とを用いて前記アノテーションを付与するフレーム画像を決定し、決定したフレーム画像と当該アノテーションとを対応付けて情報管理部に登録するアノテーション生成ステップと、を行うこと
を特徴とする体験記録方法。

【請求項4】

前記アノテーションに、描画で表現された描画アノテーションが含まれる場合には、前記受付ステップは、描画アノテーションの位置情報を前記データ管理部に登録し、前記アノテーション生成ステップは、前記描画アノテーションの位置情報を利用して射影変換した変換後の位置情報を前記情報管理部に登録すること
を特徴とする請求項３に記載の体験記録方法。

【請求項5】

請求項１または２に記載の体験記録システムとしてコンピュータを機能させるための体験記録プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像にアノテーションを付与する体験記録システム、体験記録方法および体験記録プログラムに関する。

【背景技術】

【0002】

映像に、意見、感想、コメントなどのアノテーションを付与する技術として、映像の記録と意見や感想の記録とを独立に行う独立記録型と、記録した映像を視聴しながら意見や感想の記録を行う映像記録型の２ 通りがある。

【0003】

（１）独立記録型
映像の記録と意見や感想の記録とを独立に行う独立記録型として、非特許文献１ではウエアラブルカメラで体験の様子を常時撮影し、ユーザが興味ある体験をしたときにはボタンを押下してもらい、ボタンを押下したときの撮影映像にインデックスを付与している。また、体験した後で、ユーザ自身に残しておきたい体験区間を指定してもらい、体験後に、その体験区間に対して、日記の記述や体験の概要をキーワードとして入力するインタフェースを提供している。

【0004】

（２）映像記録型
記録映像を視聴しながら映像に対してアノテーションを付与する映像記録型として、非特許文献２には、再生されている映像の任意の時刻に対して映像への描画やテキストデータを登録し、登録されたデータは付与された映像時刻が再生されたときに画面に提示される技術が記載されている。

【0005】

また、特許文献１には、ネットワーク上で映像を介したコミュニケーションを行う際に、入力されるコメント情報が映像上のどの場所に入力されたものであるかを把握するための技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2006-352779号公報

【非特許文献】

【0007】

【非特許文献1】志村将吾、平野靖、梶田将司、間瀬健二、「体験映像への感情付与インタフェース」、インタラクション2005、A-120、2005年

【非特許文献2】嶌田聡、筒口拳、小島明、小西宏志、東野豪、「映像活用型ナレッジ共有システムSceneKnowledge」、NTT 技術ジャーナル、Vol.23、No.9、2011年

【発明の概要】

【発明が解決しようとする課題】

【0008】

体験の様子を映像として撮影しながら、その映像へのアノテーションを同時に付与することができれば、体験の様子を記録した映像に加え、体験が行われている時の意見や感想を正確に記録することができる。また、体験時の映像を記録した後に記録映像を視聴してアノテーションを付与する場合に比べて、時間と手間が省けるというメリットがある。

【0009】

また、映像へのアノテーションには、映像全体に付与する時間軸へのアノテーションと、映像中の特定の対象の位置や動きに対する意見・感想などの画像空間へのアノテーションがあり、その両方へのアノテーションを付与したいという要求がある。

【0010】

独立記録型の非特許文献１では、興味ある体験の時にボタンを押下し、興味あるシーンであるというインデックスを付与するのみである。体験時に、音声入力やテキスト入力ツールを用いることで、映像の時間軸へのアノテーションは可能となるが、画像空間へのアノテーションについては状況を説明する必要があり、体験と同時にアノテーションを付与する場合には時間的に余裕がないため、そのような複雑な説明までを入力するのは困難である。

【0011】

一方、映像記録型の非特許文献２に特許文献１を用いることで、時間軸へのアノテーションと画像空間へのアノテーションの両方を付与することが考えられる。しかしながら、映像内容は時間とともに変わるので、映像を視聴しながら画像空間へのアノテーションを付与する場合には、所望のシーンで再生を停止する必要がある。たとえば競技スポーツを視聴する場合には1 秒程度でもずれると大きくシーンが変わるので描画するのが困難である。撮影映像を一時的に蓄積しておくことで巻き戻しやコマ送りで現時点より前の所望のシーンを選定することもできるが、体験が行われている最中にこのような操作を行うのは煩雑であり、現実的ではない。

【0012】

また、映像記録型の場合、体験を記録した映像を視聴できる環境が必須となり、記録した映像をライブ配信するなどして記録映像を直接モニターできる環境を用意しなければならない。例えば、映像を撮影する位置とアノテーションを付与する人の位置が離れていたり、体験時に移動したりする場合や、複数のユーザが同時にアノテーションを行う場合には映像を配信する装置が必要となる。

【0013】

以上述べた独立記録型と映像記録型の課題を図９に示す。独立記録型では、画像空間へのアノテーションが容易に行えないこと、映像記録型では記録した映像をライブ配信するなどして撮影映像を直接モニターできる環境を用意しなければならないことと、画像空間へのアノテーションを付与する場合には所望のシーンを選定する手間がかかるという問題がある。

【0014】

本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、体験の様子を映像として撮影しつつ、当該映像への時間軸に対するアノテーションと画像空間に対するアノテーションの両方をより容易に記録することができる体験記録システム、体験記録方法および体験記録プログラムを提供することにある。

【課題を解決するための手段】

【0015】

上記目的を達成するため、本発明は、撮影対象のオブジェクトを表したオブジェクトモデルを生成する生成手段と、体験の様子を撮影する映像撮影手段と、前記オブジェクトモデルが提示された入力画面を介して、前記体験中に前記オブジェクトモデルに対してリアルタイムに入力されるアノテーションを受け付け、受け付けたアノテーションと、受け付けた時刻と、オブジェクトモデルの位置とをデータ管理手段に登録する受付手段と、前記映像撮影手段が撮影した体験映像において、前記アノテーションを受け付けた時刻と、前記オブジェクトモデルの位置とを用いて前記アノテーションを付与するフレーム画像を決定し、決定したフレーム画像と当該アノテーションとを対応付けて情報管理手段に登録するアノテーション生成手段と、を備える体験記録システムである。

【0016】

また、本発明は、体験記録システムが行う体験記録方法であって、撮影対象のオブジェクトを表したオブジェクトモデルを生成する生成ステップと、体験の様子を撮影する映像撮影ステップと、前記オブジェクトモデルが提示された入力画面を介して、前記体験中に前記オブジェクトモデルに対してリアルタイムに入力されるアノテーションを受け付け、受け付けたアノテーションと、受け付けた時刻と、オブジェクトモデルの位置とをデータ管理部に登録する受付ステップと、前記映像撮影ステップで撮影した体験映像において、前記アノテーションを受け付けた時刻と、前記オブジェクトモデルの位置とを用いて前記アノテーションを付与するフレーム画像を決定し、決定したフレーム画像と当該アノテーションとを対応付けて情報管理部に登録するアノテーション生成ステップと、を行う体験記録方法である。

【発明の効果】

【0017】

本発明によれば、体験の様子を映像として撮影しつつ、当該映像への時間軸に対するアノテーションと画像空間に対するアノテーションの両方をより容易に記録可能な体験記録システム、体験記録方法および体験記録プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の実施形態に係る体験記録システムの構成を示すブロック図である。

【図2】アノテーション記録時の処理フローである。

【図3】利用者に提示する入力画面の一例である。

【図4】図３に示す入力画面に入力されたアノテーションの例である。

【図5】映像アノテーションの生成処理の処理フローである。

【図6】アノテーションを体験映像にマッピングした例である。

【図7】利用者に提示する入力画面の一例である。

【図8】図７に示す入力画面に入力されたアノテーションの例である。

【図9】独立記録型と映像記録型の課題を示す表である。

【発明を実施するための形態】

【0019】

以下、本発明の実施の形態について、図面を参照して説明する。

【0020】

図１は、本発明の実施形態に係る体験記録システムの構成図である。図示する体験記録システムは、映像撮影部１と、アノテーション付与部２と、映像アノテーション生成部３とを備える。

【0021】

映像撮影部１は、体験の様子などの撮影対象を映像として撮影し、撮影した体験映像（映像ファイル）を映像アノテーション生成部３に出力する。体験映像は、例えばスポーツ、料理など、実際に何かを体験・経験している様子（動作、行動、状況など）を撮影・記録した映像である。なお、体験は、スポーツや料理に限定されるものではなく、どのようなものであってもよい。

【0022】

アノテーション付与部２は、体験映像に登場するオブジェクト（物体、人など）の形状、位置、位置関係などを表したオブジェクトモデルを生成し、生成したオブジェクトモデルをユーザに提示する。そして、アノテーション付与部２は、ユーザがオブジェクトモデルに対して入力されたアノテーションを受け付け、オブジェクトモデルへリンク付け（関連付け）されたアノテーションデータとして管理する。また、アノテーション付与部２は、オブジェクトモデルへリンク付けされたアノテーションデータを映像アノテーション生成部３に出力する。

【0023】

映像アノテーション生成部３は、映像撮影部１から取得した体験映像と、アノテーション付与部２から取得したアノテーションデータとを用いて、体験映像に付与（マッピング）する映像アノテーションを生成する。

【0024】

次に、本実施形態のアノテーション付与部２と、映像アノテーション生成部３の詳細を説明する。

【0025】

図示するアノテーション付与部２は、オブジェクトモデル生成部４と、データ管理部５と、オブジェクトモデル提示部６と、アノテーション受付部７とを備える。

【0026】

オブジェクトモデル生成部４は、撮影対象の体験に登場するオブジェクトの形状、位置、位置関係などを表したオブジェクトモデルをあらかじめ生成し、データ管理部５に登録する。オブジェクトモデルは、例えば、体験を行う直前に同じシーンのサンプル映像を取り込み、サンプル映像からオブジェクト領域を検出して図形データにする方法、または、サッカーや野球などのスポーツの体験のように、出現するオブジェクトが事前に分かる場合にはフィールドや選手などのオブジェクトを図形データとしてあらかじめ作成する方法などにより実現することができる。

【0027】

オブジェクトモデル提示部６は、データ管理部５に登録されたオブジェクトモデルをアノテーション付与部２が備えるディスプレイ（不図示）に表示して、アノテーションを付与する利用者に提示する。

【0028】

アノテーション受付部７は、利用者がディスプレイに表示されるオブジェクトモデルに対してリアルタイムに入力したアノテーションを受け付け、アノテーションデータとしてデータ管理部５に記憶・登録する。アノテーションデータには、後に、映像撮影部１が撮影した体験映像と対応付けるために、入力されたアノテーションと、入力を受け付けた時刻と、入力された入力位置などを含む。

【0029】

アノテーションを付与する利用者は、実際に体験している様子（撮影対象）を見て、リアルタイムでアノテーションをアノテーション付与部２に入力する。アノテーションには、オブジェクトモデルに対して入力するものと、テキスト領域に入力するコメントとがある。利用者は、タッチパネル、マウス、キーボードなどの入力手段を用いて、アノテーションを入力する。

【0030】

データ管理部５には、オブジェクトモデル生成部４が生成したオブジェクトモデルと、オブジェクトモデルへリンク付けされたアノテーションデータとを記憶・管理し、各部からの要求に応じて必要なデータを出力する。

【0031】

図示する映像アノテーション生成部３は、オブジェクト照合部８と、情報管理部９とを備える。

【0032】

オブジェクト照合部８は、映像撮影部１から体験映像を取得するとともに、アノテーション付与部２からアノテーションデータを取得する。そして、オブジェクト照合部８は、体験映像において、各アノテーションデータ毎に、当該アノテーションデータが入力された時刻を用いて対応するフレーム画像を決定し、決定したフレーム画像からオブジェクトモデルに対応するオブジェクト領域を検出する。そして、検出したオブジェクト領域と、オブジェクトモデルとを照合して対応付けを行い、照合の結果に基づいて、オブジェクトモデルに対して入力されたアノテーションから、決定したフレーム画像の対応する位置に付与する映像アノテーションを生成する。

【0033】

なお、アノテーションの付与対象の出来事が実際に発生した時刻と、アノテーションを入力した時刻とがずれることがある。そのため、オブジェクト照合部８は、オブジェクトモデルへのアノテーションデータが入力された時刻の前後（前後１秒のように事前に設定しておく）の体験映像の分析区間の各フレーム画像からオブジェクト領域を検出し、アノテーションが入力されたときのオブジェクトモデルと各フレーム画像から検出したオブジェクト領域の位置関係が最も類似するフレーム画像を、アノテーションを付与するフレーム画像として決定することとしてもよい。また、オブジェクトモデルに入力されたアノテーションと、各フレーム画像から検出したオブジェクト領域の位置関係が最も類似するフレーム画像を、アノテーションを付与するフレーム画像として決定することとしてもよい。なお、映像へのアノテーション生成の詳細については後述する。

【0034】

情報管理部９には、映像撮影部１より取得した体験映像と、オブジェクト照合部８が生成した映像アノテーションとが記憶される。

【0035】

上記説明した、アノテーション付与部２および映像アノテーション生成部３は、例えば、ＣＰＵと、メモリと、ＨＤＤ等の外部記憶装置と、入力装置と、出力装置とを備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた所定のプログラムを実行することにより、各部の各機能が実現される。例えば、アノテーション付与部２および映像アノテーション生成部３の各機能は、アノテーション付与部２用のプログラムの場合はアノテーション付与部２のＣＰＵが、そして、映像アノテーション生成部３用のプログラムの場合は映像アノテーション生成部３のＣＰＵがそれぞれ実行することにより実現される。また、アノテーション付与部２用のプログラムおよび映像アノテーション生成部３用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ−ＲＯＭなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

【0036】

なお、具体的なハードウエア構成の例としては、映像撮影部１はビデオカメラを、アノテーション付与部２はノートパソコン、タブレット型のパソコン、スマートフォンなどのモバイル端末を、映像アノテーション生成部３は単独のパソコンやネットワーク上のサーバシステムなどを用いることが考えられる。

【0037】

次に、本実施形態の処理について説明する。

【0038】

図２は、撮影対象の体験に関するアノテーション記録時の処理フローである。ここでは、体験としてサッカーを行う場合を例に以下説明する。

【0039】

ステップ１０１において、オブジェクトモデル生成部４は、事前処理として、撮影対象のオブジェクトのオブジェクトモデルを生成し、データ管理部５に登録する。オブジェクトには、時間とともに変化しない静的オブジェクトと、時間とともに変化する動的オブジェクトとがある。サッカーの場合、静的オブジェクトとしては、例えばサッカーのフィールド（フィールドのライン）があり、動的オブジェクトとしては、選手、ボールなどがある。

【0040】

フィールドなどの静的オブジェクトのオブジェクトモデル（基本オブジェクトモデル）については、大きさ、形状、位置関係などがルールで規定されているので、事前に実際のフィールドに相当する図形データを生成すればよい。選手とボールなどの動的オブジェクトのオブジェクトモデル（追加オブジェクトモデル）については、例えば、自チームの選手は○、敵チームの選手は×、ボールは●などのように事前に図形・記号などを設定しておくものとする。

【0041】

ステップ１０２において、映像撮影部１は、体験の様子（ここでは、サッカーの試合）の撮影を開始する。

【0042】

ステップ１０３において、映像撮影部１の撮影と並行して、オブジェクトモデル提示部６は、ステップ１０１で生成したオブジェクトモデルを含むアノテーションの入力画面をディスプレイに表示して、アノテーションを付与する利用者に提示する。

【0043】

図３は、利用者に提示する入力画面（ユーザインターフェース）の一例である。図３では、画面中央は描画可能な描画領域３１であり、その描画領域３１の中には、静的オブジェクトであるフィールドのオブジェクトモデル３２が表示されている。画面右上の追加オブジェクトモデル領域３３は、体験に登場する動的オブジェクトのオブジェクトモデルを示している。ここでは、自チームの選手のオブジェクトモデルを○で、敵チームの選手のオブジェクトモデルを×で、ボールのオブジェクトモデルを●で表している。利用者は、必要に応じて、追加オブジェモデル３３のいずれかのオブジェクトモデルを選択し、描画領域３１の所望の位置に選択したオブジェクトモデルを設定・入力することができる。画面下のテキスト領域３４は、テキストデータによるコメントの入力が可能な領域である。

【0044】

ステップ１０４において、アノテーション受付部７は、利用者が入力したアノテーションを受け付ける。利用者は、体験の様子を見ながら、所望のタイミングで、描画領域３１にアノテーションを描画する、または、テキスト領域３４にテキストデータを入力することで、オブジェクトモデルへのアノテーションを入力する。

【0045】

具体的には、利用者は、アノテーションを入力するときに、画面左下の開始ボタン３５を押下（クリック）する。これにより、アノテーション受付部７は、開始ボタン３５が押下された時刻を、アノテーションの入力受け付け時刻として記憶・登録する。そして、アノテーション受付部７は、利用者にアノテーションの入力中であることを通知するために、開始ボタン３５の中に例えば「付与中」などを表示する。この状態で、利用者は、描画領域３１に描画する、または、テキスト領域３４にテキストデータを入力することで、オブジェクトモデルへのアノテーションを入力する。そして、利用者は、アノテーションの入力後、再度、開始ボタン３５を押下して、入力が終了したことをアノテーション付与部２に通知する。

【0046】

図４は、図３に示す入力画面に入力されたアノテーションの例を示す。図４（ａ）は、描画領域に矢印のアノテーション４１を入力し、テキスト領域にコメント４２を入力した例である。図４（ｂ）は、描画領域に、自チームの２人の選手を表すオブジェクトモデル４３を追加して入力するとともに、矢印のアノテーション４４を入力し、テキスト領域にコメント４５を入力した例である。

【0047】

ステップ１０５において、アノテーション受付部７は、開始ボタンの押下などにより、利用者のアノテーションの入力が終了したことを検知すると、利用者が入力したアノテーションを、データ管理部５に登録するとともに、ステップ１０３に戻り、図３に示すような元の入力画面を提示して、次のアノテーションの入力が可能な状態にする。

【0048】

アノテーション受付部７は、ステップ１０４で入力されたアノテーションと、入力された時刻（ここでは、開始ボタンが押された時刻）とを対応付けてデータ管理部５に登録する。また、描画領域に入力されたアノテーションの場合は、さらに、描画領域おいて入力された位置を示す位置情報（例えば、座標など）も、対応付けてデータ管理部５に登録する。また、アノテーションとともに、描画領域に追加オブジェクトモデルが入力された場合は、追加オブジェクトモデルおよびその位置情報も、併せてデータ管理部５に登録する。

【0049】

例えば、図４（ｂ）の場合、アノテーション受付部７は、開始ボタンが押下された入力時刻と、矢印のアノテーション４４およびその位置情報と、各追加オブジェクトモデル４３およびその位置情報と、テキストのアノテーション４５と、を対応付けたアノテーションデータをデータ管理部５に登録する。

【0050】

利用者が開始ボタン３５を押下してアノテーションを入力する度に、ステップ１０４およびステップ１０５の処理が繰り返し行われ、データ管理部５には利用者が入力した複数のアノテーションデータが記憶される。

【0051】

そして、ステップ１０６において、映像撮影部１は、撮影を終了する。

【0052】

次に、撮影した体験映像と、オブジェクトモデルへ入力されたアノテーションとから、映像アノテーションを生成する処理を説明する。

【0053】

図５は、映像アノテーション生成部３が行う、映像アノテーションの生成処理の処理フローである。

【0054】

ステップ２０１において、オブジェクト照合部８は、映像撮影部１から体験映像を取得し、情報管理部９に格納する。また、オブジェクト照合部８は、データ管理部５に記憶されたアノテーションデータをアノテーション付与部２から取得する。アノテーションデータは、情報管理部９に格納しても、あるいは図示しないメモリなどの記憶部に記憶してもよい。

【0055】

ステップ２０２において、オブジェクト照合部８は、アノテーション付与部２から取得した複数のアノテーションデータからｎ（ｎ＝１、２、３、・・・、Ｎ）個目のアノテーションデータを選択する。そして、選択したアノテーションデータの時刻を用いて、当該アノテーションを付与する体験映像の分析区間（候補とするフレーム画像）を選定する。

【0056】

アノテーションの付与対象の出来事が実際に発生した時刻と、アノテーションを入力した時刻とがずれることがあるため、ここでは、オブジェクト照合部８は、アノテーションが入力された時刻を中心として、当該時刻の前後の時間（マージン）の体験映像の分析区間内の各フレーム画像を選定する。前後の時間は、例えば、入力された時刻前の0.5秒と、入力された時刻後の0.5秒の前後１秒などのように、予め設定しておくものとする。

【0057】

ステップ２０３において、オブジェクト照合部８は、ステップ２０２で特定した分析区間の各フレーム画像から、オブジェクトモデルに対応するオブジェクト領域をそれぞれ検出する。例えば、静的オブジェクトモデルに対応するサッカーフィールドのオブジェクト領域については、色と明度で白線を検出すればよい。求めた白線領域から直線や円をハフ変換で検出することでより、フレーム画像からフィールドのオブジェクト領域を精度よく求めることができる。また、動的な追加オブジェクトモデルの選手およびボールのオブジェクト領域については、選手のユニフォームの色、ボールの色を事前に設定しておくことで、画像の色情報から自チームの選手、相手チームの選手、ボールの各オブジェクト領域を検出することができる。

【0058】

ステップ２０４において、オブジェクト照合部８は、アノテーションが入力されたオブジェクトモデルと、分析区間の各フレーム画像から検出したオブジェクト領域との位置関係を次の方法で照合する。まず、各フレーム画像から求めたフィールドのオブジェクト領域に一致するようにフィールドのオブジェクトモデルの射影変換と、スケールファクターとを算出する。

【0059】

次に、算出した射影変換とスケールファクターとを用いて、オブジェクトモデルに入力されたアノテーション（描画領域に入力されたアノテーション）を、射影変換して各フレーム画像にマッピングする。そして、射影変換後のアノテーションを各フレーム画像にマッピングしたときに、アノテーションに最も近い位置に選手またはボールなどの動的オブジェクトのオブジェクト領域が存在するフレーム画像を選定する。

【0060】

または、アノテーションとともに選手やボールなどの追加オブジェクトモデルを入力した場合は、追加オブジェクトモデルについても、射影変換して各フレーム画像にマッピングする。そして、射影変換後の追加オブジェクトモデルを各フレーム画像にマッピングしたときに、射影変換後の追加オブジェクトモデルの位置（位置関係）と、対応するオブジェクトのオブジェクト領域とが最も近い位置にあるフレーム画像を選定する。

【0061】

そして、処理対象のアノテーションデータを、選定したフレーム画像の時刻における映像へのアノテーションデータに決定する。

【0062】

図６は、図４のオブジェクトモデルへのアノテーションを体験映像にマッピングした図である。図４（ａ）の描画領域には、矢印のアノテーションのみが入力されているため、各フレーム画像にマッピングしたアノテーションの矢印の始点に、選手のオブジェクト領域が最も近く位置するフレーム画像を選択する。図６（ａ）は、選択したフレーム画像に矢印のアノテーションがマッピングされるとともに、フレーム画像の下部に配置されたテキスト領域にコメントのアノテーションが設定された結果である。

【0063】

図４（ｂ）の描画領域には、利用者が入力した自チームの選手２名の追加オブジェクトモデルと矢印のアノテーションが入力されている。各フレーム画像にマッピングした自チームの選手２名の追加オブジェクトモデルの位置と、各画像フレームから検出された自チームの選手のオブジェクト領域とが最も近いフレーム画像を選択する。図６（ｂ）は、選択したフレーム画像に矢印のアノテーションがマッピングされるとともに、フレーム画像の下部に配置されたテキスト領域にコメントのアノテーションが設定された結果である。

【0064】

以上、ステップ２０２からステップ２０４で説明したように、オブジェクト照合部８は、アノテーションを受け付けた時刻と、オブジェクトモデルに入力されたアノテーションと、受け付けた時刻の前後の所定の時間の各フレーム画像から検出したオブジェクト領域とを用いて、アノテーションを付与するフレーム画像を決定する。

【0065】

ステップ２０５において、オブジェクト照合部８は、アノテーションデータから映像アノテーションを生成し、情報管理部９に登録する。すなわち、ステップ２０４で決定したフレーム画像の時刻と、アノテーションデータに含まれる各アノテーション（描画領域および／またはテキスト領域に入力されたアノテーション）と、を対応付けた映像アノテーションを生成し、情報管理部９に登録する。なお、描画領域に入力されたアノテーションについては、さらに、フレーム画像に射影変換された変換後の位置情報（例えば、座標など）も、対応付けて情報管理部９に登録する。

【0066】

ステップ２０６において、ｎ＝Ｎ（最後のアノテーションデータ）であるか否かを判定し、ｎ＜Ｎの場合は（ステップ２０６：ＮＯ）、ｎ＝ｎ＋１でｎを更新し、次のアノテーションデータを選択し、ステップ２０２以降の処理を行う。ｎ＝Ｎの場合（ステップ２０６：ＹＥＳ）は、全てのアノテーションに対して処理が終わっているために、処理を終了する。

【0067】

以上説明した図５の処理により、情報管理部９には、体験映像と、当該体験映像に付与される映像アノテーションとが登録される。これにより、体験映像を再生する際に、リアルタイムで入力されたアノテーションを、体験映像の適切な画像フレーム上の適切な位置に付与（マッピング）することができる。

【0068】

なお、図５で説明した処理は、アノテーションの付与対象の出来事が実際に発生した時刻と、アノテーションを入力した時刻とがずれる場合を考慮して、アノテーションデータが入力された時刻の前後の体験映像の分析区間として選定したが、アノテーションを受け付けた時刻に対応するフレーム画像を決定し、決定したフレーム画像からオブジェクトモデルに対応するオブジェクト領域を検出し、検出したオブジェクト領域とオブジェクトモデルとを照合することで、オブジェクトモデルに対して入力されたアノテーションから、決定したフレーム画像の対応する位置に付与する映像アノテーションを生成することとしてもよい。

【0069】

以上説明した実施例では、サッカーを体験する場合において、サッカーの映像に出現するオブジェクトの画像情報をあらかじめ図形化し、オブジェクトモデルとした。以下では、他の実施例として、マラソンレースのような長距離走を体験する場合について説明する。

【0070】

図７は、長距離走の体験の場合に、アノテーションを付与する利用者に提示する入力画面（ユーザインターフェース）の一例である。図７の入力画面では、描画可能なエリアである描画領域７１と、選手の位置および走行方向を指定する矢印７２と、アノテーションの開始ボタン７３と、テキスト領域７４と、を有する。開始ボタン７３およびテキスト領域７４は、図３および図４と同様であるため、ここでは説明を省略する。

【0071】

描画領域７１の中の図形データは、長距離走のコースを示すマップ（静的オブジェクトモデル）である。図示するマップには、ランナーが走るコースと、複数のカメラのアイコンとが設定されている。各カメラのアイコンは、体験映像を撮影するカメラの位置と撮影方向とを示している。本実施例では、映像撮影部１であるカメラを複数備える。

【0072】

画面右下の矢印７２は、利用者が、アノテーションを付与する選手の位置と走行方向を指定するためのツールである。利用者は、描画領域７１に表示されたマップの中で、アノテーションを付与する選手が走行している位置に、アノテーションとして矢印を設定・入力する。

【0073】

図８は、図７に示す入力画面に入力されたアノテーションの例を示す。ここでは、描画領域には、アノテーションを付与する選手の走行位置と向きを示すための矢印のアノテーションが入力され、テキスト領域には、「4番 ペースが速すぎる」というテキストデータのアノテーションが入力されている。

【0074】

次に、長距離走の実施例の処理について説明する。

【0075】

図２で説明した処理と同様に、利用者が入力したアノテーションを受け付けて、マップ（オブジェクトモデル）に対するアノテーションデータをデータ管理部５に登録するとともに、複数のカメラによる体験映像が記録される。そして、アノテーションデータと体験映像とから、体験映像に付与する映像アノテーションを生成する処理を、前述の図５の処理フローを用いて説明する。

【0076】

ステップ２０１において、前述のとおり、オブジェクト照合部８は、複数のカメラから体験映像を取得し、情報管理部９に格納し、アノテーション付与部２からアノテーションデータを取得する。

【0077】

ステップ２０２において、オブジェクト照合部８は、ｎ（ｎ＝１、２、・・・、Ｎ）個目のアノテーションデータを選択する。そして、オブジェクト照合部８は、選択したアノテーションデータの矢印（アノテーション）から、アノテーション対象の選手が映っているカメラを特定する。次に、アノテーションデータの時刻を用いて、アノテーションを付与する体験映像の分析区間（候補とするフレーム画像）を選定する。具体的には、アノテーションが入力された時刻を基準として、当該時刻の前後の時間の特定したカメラが撮影した体験映像の分析区間内の各フレーム画像を選定する。

【0078】

ステップ２０３において、オブジェクト照合部８は、ステップ２０２で特定した分析区間の各フレーム画像から、動物体領域を選手領域（動的オブジェクトのオブジェクト領域）として検出する。また、オブジェクト照合部８は、検出した選手領域の予め設定した位置から文字のある領域をゼッケン領域として検出する。なお、複数の動物体領域（選手領域）が検出された場合には、それぞれに対してゼッケン領域を検出する。

【0079】

ステップ２０４において、オブジェクト照合部８は、マップのオブジェクトモデルにおけるカメラ位置と、アノテーションの対象として付与された選手位置を示す矢印との位置関係から、特定したカメラが撮影した体験映像における選手の大きさを推定する。そして、オブジェクト照合部８は、分析区間の各フレーム画像から検出した選手領域が、推定した選手の大きさに最も近いフレーム画像を選定する。そして、処理対象のアノテーションデータを、選定したフレーム画像の時刻における映像へのアノテーションデータに決定する。

【0080】

選手領域が複数検出された場合は、ゼッケン領域から文字認識を行い、テキストデータで付与されたアノテーションの「4 番」と同じゼッケン番号の選手領域について大きさの判定を行えばよい。

【0081】

このように、アノテーションを受け付けた時刻と、マップのオブジェクトモデルに付与された選手位置と走行方向を示す矢印のアノテーションと、体験映像のフレーム画像から検出した選手領域とゼッケン領域とを用いて、アノテーション付与部２が受け付けたアノテーションを対応付ける体験映像のフレーム画像を決定する。

【0082】

ステップ２０５において、オブジェクト照合部８は、アノテーションデータから映像アノテーションを生成し、情報管理部９に登録する。すなわち、ステップ２０４で決定したフレーム画像の時刻と、アノテーションデータに含まれる各アノテーション（描画領域および／またはテキスト領域に入力されたアノテーション）とを対応付けた映像アノテーションを生成し、情報管理部９に登録する。なお、描画領域に入力された矢印のアノテーションについては、さらに、ステップ２０４で決定したフレーム画像の選手領域の近傍にマッピングされるように、選手領域の近傍の位置情報（例えば、座標など）も、対応付けて情報管理部９に登録する。

【0083】

ステップ２０６において、ｎ＝Ｎ（最後のアノテーション）であるか否かを判定し、ｎ＜Ｎの場合は（ステップ２０６：ＮＯ）、ｎ＝ｎ＋１でｎを更新し、次のアノテーションを選択し、ステップ２０２以降の処理を行う。ｎ＝Ｎの場合（ステップ２０６：ＹＥＳ）は、全てのアノテーションに対して処理が終わっているために、処理を終了する。

【0084】

なお、図５を用いて説明した長距離走の処理は、アノテーションの付与対象の出来事が実際に発生した時刻と、アノテーションを入力した時刻とがずれる場合を考慮して、アノテーションデータが入力された時刻の前後の体験映像の分析区間として選定したが、アノテーションを受け付けた時刻に対応するフレーム画像を決定し、決定したフレーム画像に付与する映像アノテーションを生成することとしてもよい。

【0085】

以上説明した本実施形態では、体験の様子を映像として撮影しながら、その映像へのアノテーションを同時に付与する。これにより、体験の様子を記録した映像に加え、体験が行われている時の意見や感想を正確に記録することができ、また、体験時の映像を記録した後に記録映像を視聴してアノテーションを付与する場合に比べて、時間と手間が省くことができる。

【0086】

また、本実施形態では、オブジェクトモデルに対して入力されたアノテーションの入力受付時刻を用いて体験映像のフレーム画像を特定するとともに、オブジェクトモデルに対してアノテーションを入力する。これにより、本実施形態では、体験映像への時間軸に対するアノテーションと、画像空間に対するアノテーションの両方をより容易に記録することができる。したがって、体験映像を再生する際に、撮影とともに、リアルタイムで入力されたアノテーションを、体験映像の適切な画像フレーム上の適切な位置に付与（マッピング）することができる。

【0087】

また、本実施形態では、アノテーションを付与する利用者には、映像撮影部が撮影した映像ではなく、オブジェクトモデルが提示された入力画面に対してアノテーションを入力するため、アノテーション入力時に体験映像を視聴可能なシステム環境が不要であり、簡易なシステムで画像空間へのアノテーションの記録を容易に行うことができる。

【0088】

また、本実施形態では、アノテーションを受け付けた時刻と、オブジェクトモデルに入力されたアノテーションと、受け付けた時刻の前後の所定の時間の各フレーム画像から検出したオブジェクト領域とを用いて、アノテーションを付与するフレーム画像を決定する。これにより、本実施形態では、アノテーションの付与対象の出来事が実際に発生した時刻と、アノテーションを入力した時刻とがずれていた場合であっても、最適なフレーム画像にアノテーションを付与することができる。

【0089】

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

【符号の説明】

【0090】

１：映像撮影部
２：アノテーション付与部
３：映像アノテーション生成部
４：オブジェクトモデル生成部
５：データ管理部
６：オブジェクトモデル提示部
７：アノテーション受付部
８：オブジェクト照合部
９：情報管理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】