特許 6694637 注目対象物に関する情報提供システムおよび情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6694637

(24)【登録日】2020年4月22日

(45)【発行日】2020年5月20日

(54)【発明の名称】注目対象物に関する情報提供システムおよび情報提供方法

(51)【国際特許分類】

   H04N 21/4722 20110101AFI20200511BHJP

   G06F 3/01 20060101ALI20200511BHJP

   G06F 13/00 20060101ALI20200511BHJP

   G06Q 50/10 20120101ALI20200511BHJP

   G06T 19/00 20110101ALI20200511BHJP

   H04N 21/414 20110101ALI20200511BHJP

   H04N 21/442 20110101ALI20200511BHJP

【ＦＩ】

   H04N21/4722

   G06F3/01 510

   G06F13/00 540A

   G06Q50/10

   G06T19/00 F

   H04N21/414

   H04N21/442

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2016-167511(P2016-167511)

(22)【出願日】2016年8月30日

(65)【公開番号】特開2018-37755(P2018-37755A)

(43)【公開日】2018年3月8日

【審査請求日】2018年11月1日

【審判番号】不服2019-9138(P2019-9138/J1)

【審判請求日】2019年7月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516137096

【氏名又は名称】株式会社アルファコード

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】水野 拓宏

【合議体】

【審判長】 清水 正一

【審判官】 小池 正彦

【審判官】 菊池 智紀

(56)【参考文献】

【文献】 特開２０１５−１６１２４７（ＪＰ，Ａ）

【文献】 特開２０１２−２３８２３２（ＪＰ，Ａ）

【文献】 特開２０１１−３２２４（ＪＰ，Ａ）

【文献】 特開２０１２−２４９７６４（ＪＰ，Ａ）

【文献】 特許第５９６１７３６（ＪＰ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N21/00-21/858

(57)【特許請求の範囲】

【請求項1】

経時的に変化する画像内に含まれている１以上の対象物に対してそれぞれ付随情報を関連付けて成る３次元画像を再生して、視聴者に装着して使用されるヘッドマウントディスプレイに表示させると共に、上記３次元画像の再生中は、上記ヘッドマウントディスプレイを装着する上記視聴者の頭部の動きに応じて、上記視聴者が向いている方向側の３次元空間が広がるように、上記３次元画像を再生する画像再生部と、
上記画像再生部により表示された３次元画像内に表示された対象物のうち、上記視聴者が注目している１以上の対象物を検出する注目対象物検出部と、
上記画像再生部による上記３次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された１以上の注目対象物を、上記視聴者による注目度合が高い順にランキングするランキング部と、
上記画像再生部による上記３次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された１以上の注目対象物に対応する付随情報を、上記ランキング部により特定されたランキングに従って、上記３次元画像を表示していた上記ヘッドマウントディスプレイとは異なる媒体であって、上記ヘッドマウントディスプレイを外した後に表示内容を視認可能な上記媒体を通じて上記視聴者に提供する付随情報提供部とを備え、
上記付随情報提供部は、上記注目対象物が表示されていたときの上記視聴者の頭部の動きに応じた画像の表示方向を反映した上記３次元画像の再現シーン画像と共に、上記付随情報を提供する
ことを特徴とする注目対象物に関する情報提供システム。

【請求項2】

上記３次元画像は、仮想現実の３次元空間を作るための視差画像であり、
上記再現シーン画像は、上記注目対象物が表示されていたときの３次元画像に対応した非視差画像であることを特徴とする請求項１に記載の注目対象物に関する情報提供システム。

【請求項3】

上記３次元画像を再生する再生装置と、上記３次元画像が表示される上記ヘッドマウントディスプレイと、サーバ装置と、上記視聴者が使用するユーザ端末とを備え、
上記付随情報提供部は、上記付随情報を上記再生装置から上記サーバ装置を介して上記ユーザ端末に提供することを特徴とする請求項１または２に記載の注目対象物に関する情報提供システム。

【請求項4】

上記３次元画像を再生する再生装置と、上記３次元画像が表示される上記ヘッドマウントディスプレイと、上記視聴者が使用するユーザ端末とを備え、
上記付随情報提供部は、上記付随情報を上記再生装置から上記ユーザ端末に提供することを特徴とする請求項１または２に記載の注目対象物に関する情報提供システム。

【請求項5】

上記３次元画像を再生する再生装置と、上記３次元画像が表示される上記ヘッドマウントディスプレイと、上記再生装置に接続された第２のディスプレイとを備え、
上記付随情報提供部は、上記付随情報を上記第２のディスプレイに表示させることを特徴とする請求項１または２に記載の注目対象物に関する情報提供システム。

【請求項6】

情報提供装置において、３次元画像内に表示された対象物のうち視聴者が注目した対象物に関する付随情報を提供するための方法であって、
上記情報提供装置の画像再生部が、経時的に変化する画像内に含まれている１以上の対象物に対してそれぞれ付随情報を関連付けて成る３次元画像を再生して、視聴者に装着して使用されるヘッドマウントディスプレイに表示させると共に、上記３次元画像の再生中は、上記ヘッドマウントディスプレイを装着する上記視聴者の頭部の動きに応じて、上記視聴者が向いている方向側の３次元空間が広がるように、上記３次元画像を再生する第１のステップと、
上記情報提供装置の注目対象物検出部が、上記画像再生部により表示された３次元画像内に表示された対象物のうち、上記視聴者が注目している１以上の対象物を検出する第２のステップと、
上記情報提供装置のランキング部が、上記画像再生部による上記３次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された１以上の注目対象物を、上記視聴者による注目度合が高い順にランキングする第３のステップと、
上記情報提供装置の付随情報提供部が、上記画像再生部による上記３次元画像の再生が終了または停止したとき、上記注目対象物検出部により検出された１以上の注目対象物に対応する付随情報を、上記ランキング部により特定されたランキングに従って、上記３次元画像を表示していた上記ヘッドマウントディスプレイとは異なる媒体であって、上記ヘッドマウントディスプレイを外した後に表示内容を視認可能な上記媒体に向けて送信する第４のステップとを有し、
上記第４のステップにおいて、上記情報提供装置の上記付随情報提供部は、上記注目対象物が表示されていたときの上記視聴者の頭部の動きに応じた画像の表示方向を反映した上記３次元画像の再現シーン画像と共に、上記付随情報を提供する
ことを特徴とする注目対象物に関する情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注目対象物に関する情報提供システムおよび情報提供方法に関し、特に、３次元画像内に表示された対象物のうちユーザが注目した対象物に関する付随情報を提供するシステムに用いて好適なものである。

【背景技術】

【0002】

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲは、コンピュータグラフィックスなどを利用して作成した３次元画像をユーザに提示するものと、現実の世界を撮影して取得した動画をＶＲ用に加工することによって作成した３次元画像をユーザに提示するものとに大別される。後者の一例として、視聴者の視線の動きに合わせて３６０度全方位を見られるようにした３６０度動画と呼ばれるものも提供されている。

【0003】

ＶＲの応用例は様々であるが、ユーザがゴーグルのようなＨＭＤ（ヘッドマウントディスプレー）を装着して、コンピュータによりＨＭＤに対して描き出された３次元空間を自由に歩き回ることにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。ＶＲは、時間や空間という現実の制約を超えた世界をユーザに提示することも可能である。

【0004】

ただ、単純に３次元画像をＨＭＤに表示するだけでは、ユーザにすぐに飽きられてしまう。すなわち、３次元画像そのままでは、有用なコンテンツあるいは情報伝達媒体になり得ない。これに対し、３次元画像において視聴者が注目するオブジェクトを検出し、その注目オブジェクトの属性情報を表示するようにした技術が知られている（例えば、特許文献１，２参照）。

【0005】

特許文献１には、視聴者に配信される３次元画像内において、経時的に変化する画像を見ている視聴者の注目部分を検出することにより、注目部分に対応した有用情報を視聴者に提供することが開示されている。具体的には、時空間ボリュームに対象物の付随情報を付加してなる時空間マーカを設定しておき、注目部分の検出結果に基づき、視聴者が注目する対象物の時空間マーカを特定し、当該時空間マーカ中の付随情報を視聴者に提供することが記載されている。また、特許文献１には、視線データを統合、集計して所定の統計処理を行い、当該集計した全視聴者における各時空間マーカの商品情報の注目度に関するデータを得て、当該データを事業者側コンピュータに提供することも記載されている。

【0006】

特許文献２には、３次元空間で表されるグラフィック内に配置されるオブジェクトの属性情報を記憶しておき、入力手段から入力された検索情報に視点および注視点の移動情報が含まれているとき、検索情報に基づいてオブジェクトの重要度を決定し、決定されたオブジェクトの重要度に基づいて、属性情報を表示するオブジェクトを決定することが記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６−４６７３０号公報

【特許文献2】特許第３０２５１７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、上記特許文献１，２に記載された技術は何れも、３次元画像内でユーザが注目している対象物に対応した付随情報を、その３次元画像の視聴中に３次元画像内に表示するものである。そのため、ＶＲ空間の中で表示可能な付随情報の情報量や情報の種類には限界がある。しかも、その付随情報が表示されるのは、経時的に変化する３次元画像の中で対象物が表示されているわずかな時間に限定される。そのため、有用な情報を視聴者に対して充分に提供することができないという問題があった。

【0009】

本発明は、このような問題を解決するために成されたものであり、３次元画像をより有用な情報伝達媒体として使えるようにすることを目的とする。

【課題を解決するための手段】

【0010】

上記した課題を解決するために、本発明では、経時的に変化する画像内に含まれている１以上の対象物に対してそれぞれ付随情報を関連付けて成る３次元画像を再生して、視聴者に装着して使用されるヘッドマウントディスプレイに表示させると共に、３次元画像の再生中は、ヘッドマウントディスプレイを装着する視聴者の頭部の動きに応じて、視聴者が向いている方向側の３次元空間が広がるように、３次元画像を再生し、当該３次元画像内に表示された対象物のうち、視聴者が注目している１以上の対象物を検出して、それらを注目度合が高い順にランキングする。そして、３次元画像の再生が終了または停止したとき、１以上の注目対象物に対応する付随情報を、ランキングに従って、３次元画像を表示していたヘッドマウントディスプレイとは異なる媒体であって、ヘッドマウントディスプレイを外した後に表示内容を視認可能な媒体を通じて視聴者に提供するようにしている。また、付随情報を提供する際、注目対象物が表示されていたときの視聴者の頭部の動きに応じた画像の表示方向を反映した３次元画像の再現シーン画像と共に付随情報を提供するようにしている。

【発明の効果】

【0011】

上記のように構成した本発明によれば、ＨＭＤ等のディスプレイに３次元画像を表示しているときに検出された注目対象物に対応する付随情報が、３次元画像の再生の終了後または停止後に、上記のディスプレイとは異なる媒体を通じて視聴者に提供される。このため、情報の量や情報の種類、情報の提供時間などの制約を受けずに、より有用な付随情報を視聴者に提供することができる。そして、視聴者は、３次元画像の視聴中に注目した対象物に関して提供される上述のような有用な付随情報を、当該３次元画像の視聴後にじっくりと確認することができる。しかも、１以上の注目対象物に関する付随情報が、注目度合の高い順にランキングした状態で提供されるので、視聴者は興味の高い対象物から優先して付随情報を確認していくことが容易にできる。以上により、本発明によれば、３次元画像をより有用な情報伝達媒体として活用することができるようになる。

【図面の簡単な説明】

【0012】

【図1】本実施形態による情報提供システムの全体構成例を示す図である。

【図2】本実施形態による情報提供システムの機能構成例を示すブロック図である。

【図3】注目対象物の検出方法の一例を説明するための図である。

【図4】本実施形態による付随情報の提供形態の一例を示す図である。

【図5】本実施形態による再生装置の動作例を示すフローチャートである。

【図6】本実施形態によるサーバ装置の動作例を示すフローチャートである。

【図7】本実施形態によるユーザ端末の動作例を示すフローチャートである。

【図8】本実施形態による再生装置の他の機能構成例を示すブロック図である。

【図9】本実施形態による情報提供システムの他の全体構成例を示す図である。

【図10】本実施形態による情報提供システムの他の全体構成例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による注目対象物に関する情報提供システム（以下、単に情報提供システムという）の全体構成例を示す図である。図１に示すように、本実施形態の情報提供システムは、再生装置１００、ＨＭＤ２００、サーバ装置３００およびユーザ端末４００を備えて構成されている。

【0014】

なお、再生装置１００、ＨＭＤ２００およびサーバ装置３００は、図示の通りそれぞれが別体を成す構成でもよいし、再生装置１００とＨＭＤ２００とが１つのコンピュータとして提供される構成であってもよい。また、再生装置１００、ＨＭＤ２００およびサーバ装置３００の全てが１つのコンピュータとして提供される構成であってもよい。

【0015】

再生装置１００は、３次元画像を再生するとともに、３次元画像内の対象物に関連付けられている付随情報を視聴者に提供するものであり、情報提供装置としても機能する。３次元画像は、ＶＲの３次元空間を作るための視差画像であり、再生装置１００により再生された３次元画像は、視聴者が装着したＨＭＤ２００に表示される。ＨＭＤ２００は、特許請求の範囲に記載したディスプレイの一例である。

【0016】

サーバ装置３００は、再生装置１００から送信された付随情報を受信し、あらかじめ指定された視聴者のユーザ端末４００に当該付随情報を送信する。ユーザ端末４００は、視聴者が使用する端末であり、例えばスマートフォンまたはタブレット端末などの携帯端末を用いることが可能である。

【0017】

本実施形態では、ＨＭＤ２００を装着して３次元画像を観ている視聴者が、画像内のどの対象物に注目しているかを再生装置１００にて検出するともに、注目対象物を注目度合の高い順にランキングする。そして、３次元画像の再生が終了または停止した後に、注目対象物に関する付随情報を、ランキングに従って、再生装置１００からサーバ装置３００を介してユーザ端末４００に提供する。

【0018】

すなわち、本実施形態では、ユーザ端末４００のアドレス（例えば、電子メールのアドレス、ショートメッセージのアドレス、コミュニケーションアプリやＳＮＳアプリのアドレスなど）を、ユーザＩＤ等に関連付けてあらかじめサーバ装置３００に登録しておく。再生装置１００は、注目対象物に関する付随情報をユーザＩＤ等と共にサーバ装置３００に提供する。サーバ装置３００は、再生装置１００から送られてきたユーザＩＤに関連付けてあらかじめ登録されているユーザ端末４００のアドレスに従って、付随情報をユーザ端末４００に提供する。

【0019】

図２は、本実施形態による情報提供システムの機能構成例を示すブロック図である。図２に示すように、本実施形態の再生装置１００は、その機能構成として、画像再生部１１、注目対象物検出部１２、ランキング部１３および付随情報送信部１４を備えている。また、本実施形態の再生装置１００は、記憶媒体として、画像記憶部１５を備えている。

【0020】

上記各機能ブロック１１〜１４は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１４は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

【0021】

また、サーバ装置３００は、その機能構成として、付随情報受信部３１、アドレス特定部３２および付随情報送信部３３を備えている。また、サーバ装置３００は、記憶媒体として、アドレス記憶部３４を備えている。上記各機能ブロック３１〜３３も、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。

【0022】

また、ユーザ端末４００は、その機能構成として、付随情報受信部４１および付随情報提供部４２を備えている。これらの各機能ブロック４１〜４２も、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。なお、ソフトウェアによって構成する場合、それは、情報提供を受けるための専用のアプリケーションであってもよい。あるいは、汎用的なアプリケーション（コミュニケーションアプリ、ショートメッセージアプリ、ウェブブラウザ、ＳＮＳアプリなど）を用いることも可能である。

【0023】

再生装置１００の画像記憶部１５は、上述した３次元画像を記憶するものである。この３次元画像は、経時的に内容が変化する画像であり、この３次元画像内には１以上の対象物が含まれている。そして、ぞれぞれの対象物に対して付随情報が関連付けられている。対象物とは、付随情報を付与する対象となるオブジェクトのことであり、画像内に存在するものであれば、何れも対象物として設定することが可能である。言い換えると、付随情報を付与したオブジェクトが、対象物となる。

【0024】

付随情報は、対象物に関連する情報であり、その内容は任意である。例えば、付随情報は、対象物を詳細に説明するための情報であり、テキスト情報、音声情報、画像情報、動画情報の何れか１つまたは複数の組み合わせとすることが可能である。あるいは、対象物が特定の商品である場合に、その商品を購入可能な販売サイトのＵＲＬ（Uniform Resource Locator）、紹介サイトのＵＲＬ、広告情報などを付随情報として関連付けることも可能である。

【0025】

画像内のオブジェクトに対する付随情報の関連付けは、例えば、３次元画像の作成者が手動で行う。具体的には、付随情報が付加されていないオリジナルの３次元画像を再生しながら、画像内の所望のオブジェクトを指定して、そのオブジェクトに対して識別情報を付与する。さらに、その識別情報に所望の付随情報を関連付けて画像記憶部１５に記憶させる。ここで、付随情報は、３次元画像内のオブジェクトの識別情報に関連付けられていればよく、３次元画像とは別に記憶してよい。オブジェクトに対して付随情報をどのように関連付けて記憶するかについては、ここに説明したものは一例であり、本発明はこれに限定されない。

【0026】

なお、３次元画像は経時的に内容が変化する画像（動画）であるから、同じオブジェクトが複数のフレームにわたって表示され続けるのが通常である。この場合、同じオブジェクトが存在している複数のフレームに対して、そのオブジェクトの識別情報がフレーム毎に付与された状態で３次元画像が画像記憶部１５に記憶される。各フレームにおける同じオブジェクトの特定は、画像認識およびオブジェクト追跡に関する公知の画像処理技術を用いて行うことが可能である。

【0027】

画像再生部１１は、画像記憶部１５に記憶されている３次元画像を再生してＨＭＤ２００に表示させる。画像再生部１１は、再生ボタンの押下に応じて３次元画像の再生を開始し、全てを再生し終えた時点で自動的に再生を終了する。また、画像再生部１１は、再生の開始後、停止ボタンが押下された場合には、その時点で３次元画像の再生を停止する。

【0028】

本実施形態では、画像再生部１１は、ＶＲの３次元空間を作るための視差画像から成る３次元画像を再生する。この３次元画像が表示されるＨＭＤ２００には、ジャイロセンサや加速度センサが搭載されており、視聴者の頭の動きを検出することが可能となっている。そして、画像再生部１１は、ＨＭＤ２００のセンサにより検出された視聴者の頭の動きに応じて、ＨＭＤ２００の表示上に実現される３次元空間が動的に変わるように、３次元画像の再生を制御する。

【0029】

すなわち、画像再生部１１は、視聴者が正面を向けば正面の３次元空間が広がるような３次元画像を再生し、視聴者が右を向けば右側の３次元空間が広がるような３次元画像を再生し、視聴者が左を向けば左側の３次元空間が広がるような３次元画像を再生する。

【0030】

注目対象物検出部１２は、画像再生部１１により３次元画像が再生されている間、ＨＭＤ２００に表示された３次元画像内で視聴者が注目している１以上の対象物を検出する。上述の通り、ＨＭＤ２００には、視聴者が向いている方向の３次元画像が常に表示されているので、ＨＭＤ２００に表示されている対象物が注目対象物であると定義することができる。

【0031】

ただし、本実施形態では、図３に示すように、表示画面の中の中央部に設定した所定領域（以下、画面中央領域５１という）に表示されている対象物を注目対象物として検出する。このようにすれば、表示画面の周辺部に偶然に表示されている対象物が注目対象物として検出されることを防ぐことができる。また、本実施形態では、画面中央領域５１に所定時間以上継続して表示され続けている対象物を注目対象物として検出する。このようにすれば、視聴者が頭の向きを変えている途中で偶然に画面中央領域５１に表示された対象物が注目対象物として検出されることを防ぐことができる。

【0032】

ランキング部１３は、画像再生部１１による３次元画像の再生が終了または停止したとき、注目対象物検出部１２により検出された１以上の注目対象物について、視聴者による注目度合をそれぞれ特定し、注目度合が高い順にランキングする。注目度合は、一例として、対象物に注目している時間の長さで評価する。注目している時間が長いほど、注目度合は高いということである。時間の長さは、注目対象物が画面中央領域５１に表示されていたフレームの数と等価である。各々のフレームには、対象物（オブジェクト）毎に識別情報が付与されているので、どの識別情報の対象物が何フレーム連続して画面中央領域５１に表示され続けていたかを検出することが可能である。

【0033】

付随情報送信部１４は、画像再生部１１による３次元画像の再生が終了または停止したとき、注目対象物検出部１２により検出された１以上の注目対象物に対応する付随情報を、ランキング部１３により特定されたランキングに従って、ユーザＩＤ等と共にサーバ装置３００に送信する。すなわち、付随情報送信部１４は、注目対象物の識別情報に対応する付随情報を画像記憶部１５から読み出し、サーバ装置３００に送信する。

【0034】

サーバ装置３００の付随情報受信部３１は、再生装置１００から送られてきたユーザＩＤおよび注目対象物の付随情報を受信する。アドレス特定部３２は、付随情報受信部３１にて受信したユーザＩＤをキーとしてアドレス記憶部３４を参照することにより、当該ユーザＩＤに関連付けてアドレス記憶部３４にあらかじめ記憶されているユーザ端末４００のアドレスを特定する。

【0035】

付随情報送信部３３は、アドレス特定部３２により特定されたアドレスに従って、付随情報受信部３１にて受信した付随情報をユーザ端末４００に送信する。ユーザ端末４００の付随情報受信部４１は、再生装置１００から送られてきた注目対象物の付随情報を受信する。付随情報提供部４２は、付随情報受信部４１にて受信した随情報を、ランキングに従って視聴者に提供する。

【0036】

このように、本実施形態では、画像再生部１１により再生された３次元画像のＨＭＤ２００に対する表示が終了または停止したとき、その再生中に検出された１以上の注目対象物に対応する付随情報を、注目度合のランキングに従って、再生装置１００からサーバ装置３００、サーバ装置３００からユーザ端末４００へと順次送信し、３次元画像を表示していたＨＭＤ２００とは異なる媒体を通じて視聴者に提供する。本実施形態において、ＨＭＤ２００と異なる媒体とは、ユーザ端末４００のことである。

【0037】

なお、再生装置１００の付随情報送信部１４と、サーバ装置３００の付随情報受信部３１、アドレス特定部３２および付随情報送信部３３と、ユーザ端末４００の付随情報受信部４１および付随情報提供部４２とにより、本発明の付随情報提供部が構成される。

【0038】

ここで、ランキングに従って付随情報を提供する形態として、種々の実施形態を適用することが可能である。例えば、図４に示すように、１以上の付随情報をランキングの昇順に一覧表示する態様とすることが可能である。図４の例では、注目対象物を表す名称６１と、概略情報６２と、詳細情報にアクセスするためのリンク６３とが表示されている。この例では、リンク６３をクリックすることにより、詳細な付随情報（テキスト情報、音声情報、画像情報、動画情報など）の提供を受けることが可能となっている。

【0039】

なお、付随情報が、テキスト情報や画像情報など画面表示可能な情報で構成されている場合、１以上の付随情報をそのままランキングの昇順に一覧表示するようにしてもよい。

【0040】

図５〜図７は、上記のように構成した本実施形態による情報提供システムの動作例を示す図である。このうち、図５は再生装置１００の動作例、図６はサーバ装置３００の動作例、図７はユーザ端末４００の動作例をそれぞれ示している。

【0041】

図５に示す再生装置１００のフローチャートは、３次元画像の再生ボタンが押下されたときに開始する。まず、画像再生部１１は、画像記憶部１５に記憶されている３次元画像を再生してＨＭＤ２００に表示させる（ステップＳ１）。ここで、画像再生部１１は、ＨＭＤ２００のセンサにより検出された視聴者の頭の動きに応じて、ＨＭＤ２００の表示上に実現される３次元空間が動的に変わるように、３次元画像の再生を制御する。

【0042】

この３次元画像の再生状態において、注目対象物検出部１２は、画像内で識別情報を付与された対象物が画面中央領域５１に所定時間以上継続して表示され続けているか否か、すなわち、視聴者が対象物を所定時間以上見ているか否かを判定する（ステップＳ２）。そのような対象物が存在しない場合、処理はステップＳ１に戻る。一方、上記のような対象物があると判定された場合、注目対象物検出部１２は、その対象物を注目対象物として検出する（ステップＳ３）。

【0043】

次いで、ランキング部１３は、注目対象物検出部１２により検出された注目対象物が画面中央領域５１に表示され続けている時間の長さ、つまり視聴者が対象物に注目している時間の長さを視聴者による注目度合として測定し、記憶する（ステップＳ４）。すなわち、ランキング部１３は、注目対象物の識別情報と、視聴者が対象物を注目していた時間の長さ（注目度合）とを互いに関連付けて記憶する。

【0044】

その後、画像再生部１１は、３次元画像の再生が終了または停止したか否かを判定し（ステップＳ５）、終了または停止していなければ、ステップＳ１に戻って処理を継続する。以上のようなステップＳ１〜Ｓ５のループ処理により、経時的に変化する３次元画像内から１以上の注目対象物が検出され、それぞれの識別情報が注目時間（注目度合）と共に記憶される。

【0045】

そして、３次元画像の再生が終了または停止した場合、ランキング部１３は、再生中に記憶された１以上の注目対象物と注目時間とに基づいて、当該１以上の注目対象物を注目度合が高い順にランキングする（ステップＳ６）。次いで、付随情報送信部１４は、３次元画像の再生中に注目対象物検出部１２により検出された１以上の注目対象物に対応する付随情報を、注目対象物の識別情報をキーとして画像記憶部１５から読み出し、ランキング部１３により特定されたランキングに従って、サーバ装置３００に送信する（ステップＳ７）。これにより、図５に示す再生装置１００の処理を終了する。

【0046】

図６に示すサーバ装置３００のフローチャートは、サーバ装置３００の電源がオンとなっている間は常時繰り返し実行されている。まず、付随情報受信部３１は、再生装置１００から注目対象物の付随情報を受信したか否かを判定する（ステップＳ１１）。受信していない場合は、ステップＳ１１の判定を繰り返す。

【0047】

再生装置１００から送信された注目対象物の付随情報を付随情報受信部３１が受信した場合、アドレス特定部３２は、付随情報と共に受信されたユーザＩＤをキーとしてアドレス記憶部３４を参照することにより、当該ユーザＩＤに対応するユーザ端末４００のアドレスを特定する（ステップＳ１２）。

【0048】

そして、付随情報送信部３３は、アドレス特定部３２により特定されたアドレスに従って、付随情報受信部３１にて受信した付随情報をユーザ端末４００に送信する（ステップＳ１３）。その後、処理はステップＳ１１に戻り、以上の処理を継続する。

【0049】

図７に示すユーザ端末４００のフローチャートは、例えば、専用のアプリケーションが起動されたときに開始する。まず、付随情報受信部４１は、サーバ装置３００から注目対象物の付随情報を受信したか否かを判定する（ステップＳ２１）。受信していない場合は、ステップＳ２１の判定を繰り返す。

【0050】

サーバ装置３００から送信された注目対象物の付随情報を付随情報受信部４１が受信した場合、付随情報提供部４２は、例えば図４に示すように、受信した１以上の付随情報をランキングの昇順に一覧表示する（ステップＳ２２）。そして、付随情報提供部４２は、一覧表示中の何れかのリンク６３がクリックされたか否かを判定する（ステップＳ２３）。

【0051】

何れかのリンク６３がクリックされた場合、付随情報提供部４２は、付随情報受信部４１にて受信した付随情報を視聴者に提供する（ステップＳ２４）。すなわち、付随情報がテキスト情報、画像情報、動画情報などであれば、ユーザ端末４００のディスプレイにそれらを表示する。付随情報が音声情報であれば、それをユーザ端末４００のスピーカから出力する。これにより、図７に示すフローチャートの処理を終了する。

【0052】

以上詳しく説明したように、本実施形態では、経時的に変化する画像内に含まれている１以上の対象物に対してそれぞれ付随情報を関連付けて成る３次元画像を再生してＨＭＤ２００に表示させ、当該３次元画像内で視聴者が注目している１以上の対象物を検出して、それらを注目度合が高い順にランキングする。そして、３次元画像の再生が終了または停止したとき、１以上の注目対象物に対応する付随情報を、ランキングに従って、ＨＭＤ２００とは異なるユーザ端末４００を通じて視聴者に提供するようにしている。

【0053】

このように構成した本実施形態によれば、ＨＭＤ２００に３次元画像を表示しているときに検出された注目対象物に対応する付随情報が、３次元画像の再生の終了後または停止後に、ユーザ端末４００を通じて視聴者に提供される。このため、情報の量や情報の種類、情報の提供時間などの制約を受けずに、より有用な付随情報を視聴者に提供することができる。

【0054】

そして、視聴者は、ＨＭＤ２００に映し出される３次元画像による仮想空間の中で注目した対象物に関して提供される上述のような有用な付随情報を、ＨＭＤ２００を外した後に自分のユーザ端末４００にてじっくりと確認することができる。しかも、１以上の注目対象物に関する付随情報が、注目度合の高い順にランキングした状態で提供されるので、視聴者は興味の高い対象物から優先して付随情報を確認していくことが容易にできる。

【0055】

以上により、本実施形態によれば、ＶＲの３次元画像をより有用な情報伝達媒体として活用することができるようになる。

【0056】

なお、上記実施形態では、注目対象物の付随情報のみを視聴者に提供する例について説明したが、本発明はこれに限定されない。例えば、注目対象物が表示されていたときの３次元画像の再現シーン画像を、付随情報と共に視聴者に提供するようにしてもよい。図８は、この場合における再生装置１００の機能構成例を示すブロック図である。

【0057】

図８に示す例では、付随情報送信部１４および画像記憶部１５に代えて、付随情報送信部１４’および画像記憶部１５’を備えている。それ以外の画像再生部１１、注目対象物検出部１２およびランキング部１３は、図２に示したものと同一の機能を有するものである。

【0058】

画像記憶部１５’は、ＨＭＤ２００上でＶＲの３次元空間を作り出すための３次元視差画像に加え、当該３次元視差画像に対応する非視差画像を記憶する。非視差画像とは、ユーザ端末４００のディスプレイに対して通常の形態で表示可能な３次元画像または２次元画像である。

【0059】

付随情報送信部１４’は、注目対象物の付随情報と共に、注目対象物がＨＭＤ２００に表示されていたときの３次元画像の再現シーン画像をサーバ装置３００に送信する。ここで言う再現シーン画像とは、注目対象物がＨＭＤ２００に表示されていたときの３次元視差画像に対応する非視差画像のことである。

【0060】

注目対象物がＨＭＤ２００に表示されていたときの３次元視差画像は、例えば、フレーム番号等のフレーム識別子と、視聴者の頭の動きに応じた画像の表示方向を示す情報とにより特定することが可能である。そして、再現シーン画像として用いる非視差画像は、３次元視差画像のフレーム識別子に対応する非視差画像のフレーム識別子と、画像の表示方向を示す情報とによって特定することが可能である。

【0061】

再生装置１００からサーバ装置３００に送信された付随情報および再現シーン画像は、ユーザ端末４００に送信されて、視聴者に提供される。このように、付随情報に加えて再現シーン画像を視聴者に提供することにより、視聴者は、どの対象物に対する付随情報なのかを、ＨＭＤ２００の３次元空間内で観たシーンを思い出しながら確認することができ、便利である。

【0062】

また、上記実施形態では、付随情報を再生装置１００からサーバ装置３００を介してユーザ端末４００に提供する例について説明したが、本発明は、これに限定されない。例えば、付随情報を再生装置１００からユーザ端末４００に直接提供するようにしてもよい。図９は、この場合における情報提供システムの構成例を示す図である。

【0063】

図９に示す例では、情報提供システムは、再生装置１００’と、再生装置１００’で再生された３次元画像が表示されるＨＭＤ２００と、視聴者が使用するユーザ端末４００’とを備えて構成されている。再生装置１００’とユーザ端末４００’との間は、例えば、無線ＬＡＮまたはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線ネットワーク、あるいは、ＵＳＢ（Universal Serial Bus）などの有線ネットワークにより接続される。

【0064】

再生装置１００’の付随情報送信部（図示せず）は、再生装置１００’にあらかじめ登録しておいたユーザ端末４００’のアドレスに従って、付随情報をユーザ端末４００’に送信する。ユーザ端末４００’では、再生装置１００’から受信した付随情報を、ランキングに従って、ユーザ端末４００のディスプレイまたはスピーカを用いて視聴者に提供する。

【0065】

なお、図９のように構成した場合、再生装置１００’がユーザ端末４００’に付随情報を送信する機能と、ユーザ端末４００’が付随情報を受信して視聴者に提供する機能とにより、本発明の付随情報提供部が構成される。

【0066】

また、上記実施形態では、ユーザ端末４００を媒体として付随情報を視聴者に提供する例について説明したが、本発明はこれに限定されない。例えば、図１０に示すように、ＨＭＤ２００とは別に再生装置１００”に接続された第２のディスプレイ２０１を媒体として付随情報を視聴者に提供するようにしてもよい。第２のディスプレイ２０１は、非視差画像を通常の形態で表示可能なものである。このように構成した場合、再生装置１００”が第２のディスプレイ２０１に付随情報を表示させる機能により、本発明の付随情報提供部が構成される。

【0067】

また、上記実施形態では、画面中央領域５１に表示されている対象物を注目対象物として検出する例について説明したが、本発明はこれに限定されない。例えば、ＨＭＤ２００に視線検出センサを設置して視聴者の実際の視線を検出し、その視線の方向に表示されている対象物を注目対象物として検出するようにしてもよい。視線検出センサに代えて、視聴者の目を撮影するカメラを設け、目の撮影画像を画像処理することによって、視聴者の視線を検出するようにしてもよい。なお、視聴者の視線を検出する手段はこの例に限らず、他の公知の手段を用いることも可能である。

【0068】

また、視聴者の視線を検出する機能を備えたＨＭＤ２００を再生装置１００に接続した場合にはその視線検出機能を優先して用い、視線検出機能を持たないＨＭＤ２００を再生装置１００に接続した場合に、画面中央領域５１に表示されている対象物を注目対象物として検出するようにしてもよい。ＨＭＤ２００が視線検出機能を有するか否かは、ユーザが再生装置１００を操作することによって指定するようにしてもよいし、再生装置１００がＨＭＤ２００の識別情報を検出することによって自動的に判別するようにしてもよい。

【0069】

また、上記実施形態では、付随情報をＨＭＤ２００以外の媒体にのみ表示させる例について説明したが、本発明はこれに限定されない。例えば、３次元画像の再生中にも付随情報を３次元画像上に表示させるとともに、再生の終了後または停止後にも付随情報をユーザ端末４００，４００’または第２のディスプレイ２０１に提供するようにしてもよい。この場合、３次元画像の再生中に表示させる付随情報の内容と、再生の終了後または停止後に提供する付随情報の内容とを異ならせてもよい。例えば、３次元画像の再生中には簡易な付随情報を表示させる一方、再生の終了後または停止後は詳細な付随情報を視聴者に提供するといった態様が可能である。

【0070】

また、上記実施形態では、ランキング部１３を再生装置１００，１００’，１００”が備える例について説明したが、サーバ装置３００またはユーザ端末４００が備えるようにしてもよい。この場合、再生装置１００，１００’，１００”は、１以上の注目対象物の付随情報と、それぞれの注目対象物に対する注目時間とをサーバ装置３００またはユーザ端末４００に送信する。

【0071】

また、上記実施形態では、再生装置１００，１００’，１００”が再生する３次元画像として視差画像を用いる例について説明したが、非視差画像であってもよい。

【0072】

また、上記実施形態では、ユーザ端末４００，４００’の一例として、スマートフォンまたはタブレット端末などの携帯端末を挙げて説明したが、本発明はこれに限定されない。例えば、ユーザ端末４００，４００’は、必ずしも携帯端末でなくてもよく、視聴者が使用する端末で、再生装置１００’またはサーバ装置３００に接続可能な端末であれば用いることが可能である。

【0073】

また、上記実施形態では、再生装置１００，１００’，１００”が情報提供装置でもある例について説明したが、３次元画像の再生装置と付随情報の情報提供装置とを分けて構成するようにしてもよい。例えば、図２の画像再生部１１と画像記憶部１５とを再生装置が備え、注目対象物検出部１２、ランキング部１３および付随情報送信部１４を情報提供装置が備えるようにしてもよい。

【0074】

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

【符号の説明】

【0075】

１１ 画像再生部
１２ 注目対象物検出部
１３ ランキング部
１４，１４’ 付随情報送信部
１５，１５’ 画像記憶部
３１ 付随情報受信部
３２ アドレス特定部
３３ 付随情報送信部
４１ 付随情報受信部
４２ 付随情報提供部
１００，１００’，１００” 再生装置
２００ ＨＭＤ
３００ サーバ装置
４００，４００’ ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】