(58)【調査した分野】(Int.Cl.,DB名)
前記動画がパノラマ動画であって、該パノラマ動画から前記表示用画像として得られる前記静止画がパノラマ静止画であることを特徴とする請求項1,2の何れか1項に記載のコンテンツ生成装置。
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、複数の撮影地点で撮影された複数の画像を、情報端末の画面上で切り替え表示しながら、屋内や屋外を案内するサービスが提供されている。しかしながら、広い範囲を案内するコンテンツ(文字、音声、および画像の情報を少なくとも1つを出力するプログラム)を作成する場合は、多数の撮影地点で画像を取得する必要がある。このような場合、撮影地点ごとに、カメラを設置して画像を取得する作業を繰り返し行わなければならず、撮影地点が多くなるほど、撮影に要するコスト及び工数が増加してしまう問題が生じる。
本発明は以上のような事情を背景とし、低コストで短期間に外部の情報端末に表示させる複数の静止画を含むコンテンツを生成することができるコンテンツ生成装置及びコンテンツ生成方法を提供することを目的としてなされたものである。
【課題を解決するための手段】
【0005】
本発明は、外部の情報端末にて表示される複数の表示用画像を含むコンテンツを生成する装置であって、
撮影された動画を
各フレームに対応した多数の静止画に変換する画像変換手段と、
所定の条件に基づいて、これら多数の静止画から特定の静止画を、前記表示用画像として抽出する画像抽出手段と、
前記表示用画像についての撮像位置情報を用いることなく抽出された前記表示用画像
としての特定のフレームに対応した画像同士を関連付けて接続する画像接続手段と、を備え、
前記特定のフレームに対応した画像に基づいて生成された3次元モデルを介することなく、前記動画から得られた前記
特定のフレームに対応した画像を前記表示用画像として前記情報端末の画面上にて切替表示させる前記コンテンツを生成することを特徴とする。
【0006】
本発明のコンテンツ生成装置によれば、複数の静止画を、撮影された動画から得ることができる。静止画を得るための動画は、撮影状態のカメラ(動画撮影用カメラ)を、画像取得したい地点に沿って移動させることで作成することができ、撮影作業は基本1回で完了する。
このため静止画を得るため、従来必要とされていた作業、即ちカメラの設置固定、撮影(静止画を取得)、そして次の撮影地点への移動、といった撮影作業の繰り返しが不要もしくは大幅に削減され、撮影作業に要するコストと工期を削減することができる。
【0007】
撮影された動画はフレームの連続で構成されており、動画からはフレームごとに静止画を取り出すことが可能である。このため、1つの撮影動画から多数の静止画を得ることができる。また本発明では、多数の静止画から所定の条件に基づいて特定の静止画を、表示用画像として抽出する画像抽出手段を備えている。表示用画像を抽出するための抽出条件は適宜決定することが可能である。例えば、動画から抽出したい表示用画像の枚数を5枚と指定して、撮影開始から所定の経過時間ごとに等間隔で5枚の静止画を抽出することができる。また、動画撮影時から経過時間を指定して、3秒目、15秒目、28秒目、・・と、個別に静止画を抽出することも可能である。
【0008】
そして本発明は、画像接続手段を備え、抽出された表示用画像同士を関連付けて接続する。これにより、外部の情報端末にて表示される複数の表示用画像を含むひと纏まりのコンテンツが生成される。
【0009】
以上のように本発明のコンテンツ生成装置によれば、撮影された動画及び抽出条件に基づいて自動的に、外部の情報端末に表示させる複数の静止画を含むコンテンツを生成することができるため、上述の撮影工期の削減を含めて、コンテンツの生成に要する工期を大幅に短縮することができる。
【0010】
ここで本発明では、前記画像接続手段において、撮影順に配列させた際、互い隣接する前記表示用画像同士を
前記情報端末の画面上にて切替表示可能に関連付けて接続
し、
前記情報端末の画面上にて前記表示用画像に重畳して表示された前進用アイコンを選択した際、前記表示用画像を前記動画の撮影経路順に切替表示させる前記コンテンツを生成することができる。このようにすることで、外部の情報端末に表示される画像は、撮影順に切替表示される。このためコンテンツの作成者は、動画撮影に際して、閲覧させたい順に撮影経路を設定し、その経路に沿って動画撮影を行なっておけば、コンテンツを閲覧する端末利用者に対して、撮影経路の順に、即ち作成者の意図する順に複数の画像を閲覧させることできる。
【0011】
本発明では、前記動画をパノラマ動画として、該パノラマ動画から得られる前記表示用画像をパノラマ静止画とすることができる。ここでパノラマ動画及びパノラマ静止画とは、上下方向または左右方向の何れか一方向の画角が少なくとも180度以上、望ましくは上下方向および左右方向の画角が略360度のものをいう。
一方、前記動画を、パノラマ動画ほどの広い画角を有していない一般的な動画として、該動画から得られる前記表示用画像を、パノラマ静止画ほどの広い画角を有していない一般的な静止画とすることができる。
【0012】
本発明のコンテンツ生成装置およびこれにより生成されたコンテンツは、AR(Augmented Reality:拡張現実)、VR(Virtual Reality:仮想現実)、MR(Mixed Reality:複合現実)、SR(Substitutional Reality:代替現実)の分野で好適に用いることができる。
【0013】
本発明は、その他コンテンツの生成方法として構成することも可能である。
【発明の効果】
【0014】
以上のような本発明によれば、外部の情報端末に表示させる複数の静止画を含むコンテンツを低コストで短期間に生成することができるコンテンツ生成装置及びコンテンツの生成方法を提供することができる。
【発明を実施するための形態】
【0016】
次に本発明の実施形態を図面に基づいて詳しく説明する。
図1において、10は本実施形態におけるコンテンツ生成装置としてのサーバ、12はパノラマ動画撮影用のカメラ、14,16,18,20は情報端末である。サーバ10及び各情報端末14,16,18,20は、インターネット15で接続されている。尚、サーバ10と各情報端末14,16,18,20との接続は、インターネット15のほか有線LAN(Local Area Network)、無線LAN(Wireless LAN)等を用いることも可能である。
【0017】
本例では、カメラ12にて作成されたパノラマ動画を利用して、サーバ10がパノラマツアー用のコンテンツを生成する。ここでパノラマツアー用のコンテンツとは、インターネット15で接続された情報端末16等の画面に表示され得る複数のパノラマ静止画を含んで構成されたものである。
【0018】
カメラ12は、上下方向および左右方向に180度以上の画角を有する2つの魚眼レンズ13a,13b及びこれに対応する2つの撮像素子(図示省略)を備え、これら2つの撮像素子から出力された略半球画像同士を合成処理することにより、上下方向および左右方向に略360度の画角の有するパノラマ動画が得られるように構成されている。カメラ12にて作成された動画は、MPEG(Moving Picture Expert Group)等の所定のファイル形式で出力され、カメラ12内部の記憶部12aに記憶される。
【0019】
情報端末14は、サーバ10にアクセスし、サーバ10に対してパノラマツアー用のコンテンツの生成を要求するクライアント用端末である。カメラ12にて撮影された動画ファイル等、コンテンツ生成のために必要な情報は、情報端末14よりサーバ10に送信される。この情報端末14は、PCやスマートフォン等の携帯端末であるが、インターネット15に接続可能で且つWebブラウザ(以下、単にブラウザとする)を備えたものであれば、これらに限られない。
【0020】
情報端末16,18,20は、パノラマツアー用のコンテンツを閲覧するための利用者用端末である。PCやスマートフォン等の携帯端末であるが、インターネット15に接続可能で且つブラウザを備えたものであれば、これらに限られない。
【0021】
サーバ10は、通信部22,制御部24および記憶部26を備えている。
通信部22は、インターネット15を介して情報端末14とデータの受送信を行ない、情報端末14に対し指示情報を送信する一方、情報端末14からパノラマ動画等を取得する。また、インターネット15を介して情報端末16,18,20とデータの受送信を行ない、後述するパノラマツアー用のコンテンツの内容を情報端末16,18,20に提供する。
【0022】
制御部24は、サーバ10の各構成の制御を行うもので、例えばCPUなどのプロセッサとすることができる。この場合、記憶部26に記憶された制御プログラムをCPUなどのプロセッサが実行することにより各構成を制御する。サーバ10における制御部24は、以下に示す画像変換手段30、画像抽出手段32および画像接続手段34を備えている。
【0023】
画像変換手段30は、通信部22を通じて取得したパノラマ動画をフレームごとに分解してパノラマ静止画として出力する。このときパノラマ静止画は、JPEG(Joint Photographic Experts Group)、PNG(Portable Network Graphics)等の所定のファイル形式で出力される。本実施形態では、カメラ12で撮影された略360度の画角を有するパノラマ動画から、略360度の画角を有するパノラマ静止画が出力される。
【0024】
カメラ12で撮影された動画は、フレームの連続で構成されており、単位時間当たりのフレーム数は、通常フレームレートfps(frames per second)で表される。例えば、フレームレート30fpsで動画撮影が行われている場合、1分間(60秒間)の動画からは、第1フレームから第1800フレームまで1800枚のパノラマ静止画が出力され、これらは記憶部26に記憶される。尚、撮影された動画がフレームレート100fpsの場合には、1分間(60秒間)の動画からは、第1フレームから第6000フレームまで6000枚のパノラマ静止画が出力される。
【0025】
画像抽出手段32は、情報端末14から受信した抽出情報を用いて、記憶部26に記憶されている多数のパノラマ静止画の中から特定のパノラマ静止画を表示用画像として抽出する。そして、抽出された表示用画像(パノラマ静止画)には、画像が撮影された順に連番でファイル名が付けられる。
【0026】
画像接続手段34は、抽出された表示用画像同士を関連付けて接続する。上記画像抽出手段32にて抽出された表示用画像を、撮影順に配列させた際、互い隣接する表示用画像同士で関連付けて接続することにより、外部の情報端末16等にて表示される複数の表示用画像を含む、ひと纏まりのパノラマツアー用のコンテンツが生成され、記憶部26に記憶される。
【0027】
次に、パノラマツアー用のコンテンツを作成するための手順について説明する。ここでは一例としてショッピングセンター40の内部の様子を紹介するためのコンテンツを生成するものとする。
コンテンツの生成を希望するクライアントは、まず、カメラ12を用いてパノラマ動画の作成を行う。ここでは
図2に示すようにショッピングセンター40の内部を撮影するため、クライアントは入口41近傍の地点P
Sから撮影を開始し、撮影状態を継続維持したまま中央通路42を図中右方向に略一定速度で移動し、出口43を越えた直後の地点P
Eで撮影を完了する。この時、撮影開始から完了まで要した時間が3分であった場合、撮影時間が3分間のパノラマ動画のファイルがカメラ12内の記憶部12aに記憶される。尚、動画のフレームレートは30fpsとする。
【0028】
次にクライアントは、クライアント用端末14の記憶部(図示省略)に、カメラ12で作成された動画ファイルを、一旦記憶させ、端末14にてサーバ10にアクセスする。すると、
図3に示すように、サーバ10は入力用画面の情報を端末14に送信する(ステップS101)。そして、この情報を受信したクライアント用端末14は入力用画面を表示する(ステップS102)。
【0029】
端末14に表示された入力用画面は、動画ファイル情報の入力部および抽出条件の入力部を有している。クライアントは、入力用画面の入力部に動画ファイル情報及び抽出条件をそれぞれ入力する。ここでは、抽出条件として、抽出したいパノラマ静止画の枚数を「7枚」と規定し、撮影開始から完了までの撮影時間を等分割した際に得られる7枚のパノラマ静止画を抽出すること、とする。そしてクライアントが入力用画面に表示された送信ボタンを選択すると、入力部で指定された動画ファイル及び抽出条件がサーバ10に送信される(ステップS103)。
【0030】
サーバ10は、動画ファイル及び抽出条件を受信すると(ステップS104)、次に受信した動画(パノラマ動画)をパノラマ静止画に変換する(ステップS105)。ここでは、フレームレート30fpsで、撮影時間が3分間のパノラマ動画に基づいて、撮影開始直後の第1フレームのパノラマ静止画から撮影完了時の第5400フレームのパノラマ静止画まで、合計で5400枚のパノラマ静止画が出力され、それぞれ記憶部26に記憶される。
【0031】
次のステップS106では、ステップS104にて受信した抽出条件に基づいて、抽出条件を満足するパノラマ静止画を上記5400枚のパノラマ静止画の中から抽出する。本例では、撮影開始から完了までの撮影時間を等分割した際に得られる、第1フレーム、第900フレーム、第1800フレーム、第2700フレーム、第3600フレーム、第4500フレーム、第5400フレーム、の計7つのパノラマ静止画が表示用画像として抽出される。ここでは抽出された7つの表示用画像は、撮影順(フレーム順)にS−1、S−2、・・、S−7とする。これら7つのパノラマ静止画の撮影地点は、
図2におけるP
1、P
2、・・、P
7にそれぞれ相当する。
【0032】
次のステップS107では、
図4に示すように、抽出された上記7つの表示用画像S−1〜S−7を、撮影順に配列させ、隣接する表示用画像同士を関連付けて接続し、ひと纏まりのパノラマツアー用のコンテンツ45が生成される。ここで隣接する表示用画像同士は、インターネット15を介して接続された外部の情報端末にて、互いに切替表示可能に関連付けて接続されている。そして、生成されたコンテンツ45は、記憶部26の所定の領域に記憶され(ステップ108)、コンテンツ45に対応する固有のURL(Uniform Resource Locater)の情報が生成され、クライアント用端末14に送信される(ステップS109)。
【0033】
一方、クライアント用端末14は、URL情報を受信して、クライアント用端末14の画面にそのURL情報を表示する(ステップS110)。そしてクライアントが、かかるURL情報を自らのホームページ等で公開すれば、クライアント以外の第3者(利用者)は公開されたURL情報を参照して、コンテンツ45の内容を閲覧することができる。
【0034】
例えば、利用者が、URL情報を参照して端末16にてコンテンツ45を閲覧すると、先ず、表示用画像S−1が表示される。この最初の表示用画像S−1は、ショッピングセンター40の入口41近傍の撮影地点P
1において撮影されたパノラマ画像である。
図5は、この表示用画像S−1が端末16の画面16aに表示された状態を示している。同図において、画面16aには表示用画像S−1に重畳して上向きに尖った前進用アイコン50が表示されている。この前進用アイコン50は次の表示用画像に切り替えるためのアイコンで、ポインティングデバイスに連動するカーソルをこの前進用アイコン50上に移動させて、ポインティングデバイスに設けられたボタンを押下(以下、この一連の操作を単に「クリック」とする)すると、
図4において表示用画像S−1と関連付けて接続されている次の表示用画像S−2が表示される。
【0035】
図6は、この表示用画像S−2が端末16の画面16aに表示された状態を示している。この画像は入口41から建屋の内部に入った直後の、
図2における撮影地点P
2において撮影されたパノラマ静止画である。同図に示すように、建屋内の風景を示すこの表示用画像S−2では、画面中央部に前方方向(画面上方)に向かって中央通路42が延びており、その両側にはそれぞれ店舗が映し出されている。
【0036】
同図に示すように画面16aには、上向きに尖った前進用アイコン50に加えて、前進用アイコン50の画面下方側には下向きに尖った後退用のアイコン51が、表示用画像S−2に重畳して表示されている。前進用アイコン50は、
図5の場合と同様に、表示用画像S−2と接続されている次の表示用画像S−3に表示を切り替えるためのアイコンで、前進用アイコン50をクリックすれば、表示用画像S−3が切替表示される。即ち、前進用アイコン50をクリックすることで、端末利用者の視点は動画撮影時の経路に沿って順次移動することとなり、端末利用者はショッピングセンター40の内部を、撮影地点P
1、P
2、・・、P
7の順で移動しながらのパノラマツアーを体験することができる。
【0037】
一方、後退用のアイコン51をクリックした場合には、前進用アイコン50の場合とは逆に先程まで表示されていた表示用画像S−1が切替表示される。
【0038】
尚、
図5、
図6に示すように端末16の画面16aの下端近傍には左、右、上、下の方向をそれぞれ示す矢印状のアイコン52,53,54,55が表示されている。これらは端末利用者の視点の向きを適宜変更するためのアイコンである。例えば、
図6において左方向を示すアイコン52を、端末利用者が選択して押下した場合には、画面上に表示されている画像が右方向に移動して、画面16aの中央には店舗L1の様子が映し出され、端末利用者は店舗L1の内部の様子を伺い知ることができる。また右方向を示すアイコン53を選択して押下した場合には、画面上に表示されている画像が左方向に移動して、画面16aの中央には店舗R1の様子が映し出され、端末利用者は店舗R1の内部の様子を伺い知ることができる。
【0039】
更に上方向を示すアイコン54を選択して押下した場合には、画面上に表示されている画像が下方向に移動して、画面16aの中央には建屋の天井が映し出され、下方向を示すアイコン55を選択して押下した場合には、画面上に表示されている画像が上方向に移動して、画面16aの中央には建屋の床面が映し出される。尚、これら矢印形状のアイコンと並んで表示されているプラス形状のアイコン56を選択して押下した場合には画像が拡大表示され、またマイナス形状のアイコン57を選択して押下した場合には画像が縮小表示される。
【0040】
以上のように本実施形態のサーバ10は、画像変換手段30を備え、複数のパノラマ静止画をパノラマ動画から得ることができる。パノラマ静止画を得るためのパノラマ動画は、
図2で示すように撮影状態を維持したカメラ12を、画像取得したい地点に沿って移動させることで作成することができ、撮影作業は基本1回で完了する。
このため複数の地点でパノラマ静止画を得るため、従来必要とされていたカメラを設置固定、撮影(静止画を取得)、そして次の撮影地点に移動、といった撮影作業の繰り返しが不要となり、撮影作業に要するコストと工期を削減することができる。
【0041】
更にサーバ10では、動画から取り出された多数のパノラマ静止画から特定のパノラマ静止画を表示用画像として抽出する画像抽出手段32と、表示用画像同士を関連付けて接続する画像接続手段34とを備えている。このサーバ10では、パノラマ静止画の変換、抽出および接続が自動的に行われてパノラマツアー用のコンテンツが生成されるため、上述の撮影工数の削減を含めてコンテンツの生成に要する工期を大幅に短縮することができる。
【0042】
また本実施形態では、画像接続手段34において、撮影順に配列させた際に隣接する表示用画像同士を関連付けて接続するため、表示用画像(パノラマ静止画)は、撮影された順に外部の情報端末16等に表示される。このためコンテンツの作成者は、動画撮影時、閲覧させたい順に撮影経路を設定し、その経路に沿って動画撮影を行なうことで、コンテンツ45を閲覧する端末利用者に対して、撮影経路の順に、即ち作成者の意図する順に複数の表示用画像を閲覧させることできる。
【0043】
以上本発明の実施形態を詳述したがこれはあくまで一例示である。上記実施形態では、画角略360度のパノラマ動画から画角略360度のパノラマ静止画を変換・抽出するものであったが、パノラマ動画ほどの広い画角を有していない一般的な動画から、パノラマ静止画ほどの広い画角を有していない一般的な静止画を変換・抽出することも可能である。また、動画から抽出する静止画の枚数や、表示用画像(抽出された静止画)を情報端末に表示させる際の順番等は適宜変更可能である。また上記実施形態では、1つの動画から必要とする静止画を得ているが、場合によっては2つ以上の動画から必要とする静止画を得るようにすることも可能である等、本発明はその趣旨を逸脱しない範囲において種々変更を加えた態様で実施可能である。