【文献】
安田博勇,3D−CG・VRの”民主化”めざして 株式会社AMATELUS JAPANインタビュー|スモビバ!, [オンライン],Yayoi Co., Ltd.,2017年 6月30日,URL,https://www.sumoviva.jp/trend-tips/20170630_1356.html
【文献】
AMATELUS,世界初、スワイプで360°自由視点映像を視聴体験できるWEB動画「SwipeVideo」行政の地方創生プロジェクトで実証実験スタート,[オンライン],PR TIMES Inc.,2017年 8月31日,URL,https://prtimes.jp/main/html/rd/p/000000002.000028108.html
(58)【調査した分野】(Int.Cl.,DB名)
複数の動画データそれぞれについて、動画データを構成するフレームを時系列順にまとめることにより生成された画像データと、当該画像データを指定するための指定値を対応付けて記憶する記憶部と、
ユーザが見たい画像データを指定するための指定値を受け付ける指定値受付部と、
前記指定値受付部が受け付けた指定値に基づいて、前記記憶部に記憶される複数の画像データの中から1の画像データを選択し、選択した画像データを外部の表示装置に送信する選択部と、を備えると共に、
複数の動画データを取得する取得部と、
動画データに基づいて画像データを生成して、画像データを前記記憶部に記憶するデータ生成部と、を更に備え、
前記選択部は、
前記指定値受付部が指定値を受け付けていない場合、既に指定されている指定値に対応する画像データを選択し、選択した画像データを前記表示装置に送信し、
前記指定値受付部によって指定値を受け付けた場合、既に送信している画像データとは異なる別の画像データであって、受け付けた指定値に対応する別の画像データを選択すると共に、指定値を前記指定値受付部で受け付けた時に送信される、画像データを構成するフレームが撮像されたタイミングを示す時間データを基準にして、別の画像データのうち、前記基準となる時間データと同じ時間又は直後の時間となる時間データが含まれるフレームを特定し、特定したフレーム以後の別の画像データを送信している画像データから切り替えて前記表示装置に送信し、
前記データ生成部は、複数のフレームを時系列順にまとめて静止画群を複数生成すると共に、静止画群を構成するフレームの中から1又は複数のフレームを抽出し、静止画群と1又は複数のフレームとをまとめることにより静止画グループを複数生成して画像データを生成する
映像配信装置。
【発明を実施するための形態】
【0024】
本発明の一実施形態について、図面を参照して説明する。
図1は、一実施形態に係る映像配信システムの構成例を示す図である。
映像配信システム1は、被写体Oを取り囲むように配置された複数の携帯端末10(撮像部)と、携帯端末10により撮像した撮像データを配信する映像配信装置20と、映像配信装置20からの映像を表示する表示モニタ36(タッチパネル)を有する情報処理端末30(表示装置)と、を備えている。
【0025】
複数の携帯端末10、映像配信装置20及び情報処理端末30は、通信ネットワークを介して互いに接続されている。通信ネットワークとして、無線LANをはじめとする、様々な通信方式(一例として、WiFi、3G、LTE、Bluetooth(登録商標))のいずれかを利用することができる。なお、通信ネットワークは有線ネットワークであってもよい。
【0026】
複数の携帯端末10は、被写体Oをそれぞれ異なる方向から撮像するカメラを有する。複数の携帯端末10は、撮像により得られる動画の録画機能を有していてもよい。携帯端末10は、撮像した動画を通信ネットワークに送出することができる。カメラは、CCDまたはCMOS等の撮像素子を有している。
なお、以下の説明では、動画データとしてMPEGデータを扱い、画像データとしてJPEGデータを扱う例を示すが、動画データおよび画像データのフォーマットは任意に変更することができる。
【0027】
また本実施形態では、複数の携帯端末10が被写体Oを囲む、いわゆる「バレットタイム撮影」を行っている。バレットタイム撮影は、被写体Oの周囲に複数のカメラを配置して、アングルを動かしたい方向にそれぞれのカメラを順番に連続撮影していくものである。
このバレットタイム撮影では、画像処理によって、被写体Oの動きをスローモーションにしたり、カメラワークが高速で移動する映像を撮影したりすることができる。映像配信装置20は、変速再生するための画像処理部(不図示)を備えてもよい。画像処理部は、例えば、スロー再生、速度アップをすることができる。なお、このような画像処理部を、映像配信装置20ではなく、情報処理端末30が備えていてもよい。
【0028】
次に、映像配信装置20の構成について説明する。なお、以下に説明する映像配信装置20の構成は、あくまで例示であり、以下に説明する必要な機能を確保できる範囲において、種々の変更を行うことができる。
映像配信装置20は、情報処理端末30に対して映像配信システム1のサービスを提供するための装置である。映像配信装置20は、例えば、いわゆるサーバ装置やコンピュータ(例えば、デスクトップ、ラップトップ、タブレットなど)である。
図2は、一実施形態に係る映像配信装置の構成を説明するためのブロック図である。
図3は、画像データの一例について説明するための図である。
【0029】
図2に示すように、映像配信装置20は、取得部21と、データ生成部22と、指定値受付部23と、選択部24と、記憶部25と、ROM26と、RAM27と、I/Oポート28と、ルータと、HUBと、MPEGデコードモジュール29と、を備えている。
【0030】
取得部21、データ生成部22、指定値受付部23及び選択部24は、映像配信装置20の各部を制御する機能を有するプロセッサであり、図示の例では中央処理装置(Central Processing Unit)である。なお、取得部21、データ生成部22、指定値受付部23及び選択部24は、マイクロプロセッサ(microprocessor)、プロセッサコア(processor core)、マルチプロセッサ(multiprocessor)、ASIC(application-specific integrated circuit)、FPGA(field programmable gate array)などであってもよい。
【0031】
取得部21は、異なる地点で撮像した複数の動画データをI/Oポート28を介して取得する。本実施形態では、取得部21は、被写体Oをそれぞれ異なる方向から撮像した複数の動画データを取得する。
すなわち、取得部21は、複数の携帯端末10が被写体Oをそれぞれ撮像することにより得られる複数の動画を、通信ネットワークを介して携帯端末10それぞれから取得する。取得部21が取得した動画データは、記憶部25に記憶される。
取得部21は、動画データの取得に際して、ROM26に記憶されたデータ取得プログラムを実行する。
【0032】
データ生成部22は、動画データに基づいて画像データを生成して、画像データを記憶部25に記憶する。データ生成部22は、複数の動画データそれぞれについて、動画データを構成するフレームを時系列順にまとめることにより画像データを生成する。
【0033】
データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画グループを複数生成することにより画像データ100を生成することが好ましい。すなわち、
図3(A)に例示するように、データ生成部22は、時系列順に複数の静止画グループ101Aを作成する。静止画グループ101Aは、時系列順に並ぶ複数のフレームFをまとめることにより生成される。
図3(A)に例示する場合では、静止画グループ101Aは4枚のフレームFを含むが、この例示に限定されることはない。すなわち、静止画グループ101Aは、2以上のフレームFを含むことができる。なお、複数の静止画グループ101Aそれぞれを構成するフレームFの枚数は、同じであることが好ましい。
【0034】
又は、データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画群を複数生成し、さらに複数の静止画群を時系列順にまとめて静止画グループを複数生成することにより画像データ100を生成することが好ましい。すなわち、
図3(B)に例示するように、データ生成部22は、時系列順に複数の静止画グループ101Bを生成する。静止画グループ101Bは、時系列順に並ぶ複数の静止画群102Bをまとめることにより生成される。静止画群102Bは、時系列順に並ぶ複数のフレームFをまとめることにより生成される。
図3(B)に例示する場合では、静止画グループ101Bは2つの静止画群102Bを含むが、この例に限定されることはない。すなわち、静止画グループ101Bは、2以上の静止画群102Bを含むことができる。また、
図3(B)に例示する場合では、静止画群102Bは5枚のフレームFを含むが、この例示に限定されることはない。すなわち、静止画群102Bは、2以上のフレームFを含むことができる。なお、各静止画グループ101Bを構成する静止画群102Bの数は、同じであることが好ましい。また、各静止画群102Bを構成するフレームの枚数は、同じであることが好ましい。
又は、データ生成部22は、動画データを構成する複数フレーム毎に分割することにより、静止画群102Bを生成してもよい。この場合、静止画群102Bは、分割された動画データとなる。具体的な一例として、データ生成部22は、100ミリ秒毎に動画データを分割して静止画群(分割動画データ)を生成してもよい。この場合、動画が30fpsで撮像されていると、静止画群(分割動画データ)には約3フレームが収められる。動画は、時間方向に対して圧縮が働くため、独立した3枚のフレームで構成されるデータのデータ量に比べて、分割動画データのデータ量を削減することが可能になる。
【0035】
又は、データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画群を複数生成すると共に、静止画群を構成するフレームの中から1又は複数のフレームを抽出し、静止画群と1又は複数のフレームとをまとめることにより静止画グループを複数生成して画像データ100を生成することが好ましい。すなわち、
図3(C)に例示するように、データ生成部22は、時系列順に複数の静止画グループ101Cを生成する。静止画グループ101Cは、1又は複数の静止画群102Cと、1又は複数のフレームF(F1)とをまとめることにより生成される。静止画グループ101Cに静止画群102Cが複数ある場合、それらの複数の静止画群102Cは、時系列で連続して生成されてもよい。また、静止画グループ101Cを構成する1又は複数のフレームF(F1)は、時系列で静止画グループ101Cの初めの部分(先頭部分)又は終わりの部分(最後部分)に配される。
図3(C)に例示する場合、静止画グループ101Cは、1つの静止画群102Cと、時系列的に最後の部分に1枚のフレームF1と、を備える。1又は複数のフレームF(F1)は、直前の静止画群102C又は直後の静止画群102Cから抽出される。より具体的な一例としては、静止画グループ101Cが1枚のフレームF1を備える場合、1枚のフレームF1は、直前の静止画群102Cを構成する複数のフレームFのうち、時系列的に最後のフレームF2を抽出することにより生成される。又は、1枚のフレームF1は、直後の静止画群102Cを構成する複数のフレームFのうち、時系列的に最初のフレームF3を抽出することにより生成される。
データ生成部22は、動画データを構成する複数フレーム毎に分割することにより、静止画群102Cを生成してもよい。この場合、静止画群102Cは、分割された動画データとなる。
【0036】
又は、データ生成部22は、
図3(B)に例示する静止画グループ101B(静止画群102B)と同様の静止画グループ101D(静止画群102D)を生成した場合、後述する指定値受付部23で指定値を受け付けると、静止画グループ101D(静止画群102D)から1又は複数のフレームFを抽出するようにしてもよい(
図3(D)参照)。
図3(D)は1枚のフレームFを抽出する例を示すが、この例に限定されることはない。すなわち、データ生成部22は、静止画グループ101D(静止画群102D)から1以上のフレームFを抽出することができる。
データ生成部22は、動画データを構成する複数フレーム毎に分割することにより、静止画群102Dを生成してもよい。この場合、静止画群102Cは、分割された動画データとなる。
【0037】
データ生成部22は、画像データの生成に際して、ROM26に記憶されたデータ生成プログラムを実行する。データ生成プログラムは、MPEGデコードモジュール29を用いて、記憶部25に記憶された動画データを解凍し、画像データの集合としたうえで、記憶部25に再度保存する。この際、各画像データは、それぞれが撮像されたタイミングを示す時間データと関連付けて保存される。画像データの生成においては、必要に応じて、生成した画像データの一部をRAM27に保存してもよい。
【0038】
すなわち、データ生成部22は、画像データと、その画像データを指定するための指定値を対応付けて記憶部25に記憶する。この場合、データ生成部22は、画像データと、指定値としての、複数の動画データそれぞれを生成するために被写体を撮像した撮像位置を示す位置データとを1対1に対応付けて記憶部25に記憶する。また、データ生成部22は、画像データを構成するフレームと、そのフレームが撮像された時間とを関連付けて記憶部25に記憶する。
【0039】
指定値受付部23は、ユーザが見たい画像データを指定するための指定値を受け付ける。本実施形態では、指定値受付部23は、ユーザ40が見たい画像データにおける被写体Oを撮像した方向を特定可能な方向データを指定する方向指定値を指定値として受付ける。
【0040】
図4は、ユーザが閲覧できる模擬的動画を説明するための図である。
図5は、複数の携帯端末の配置例を示す図である。
【0041】
具体的には、後述する情報処理端末30は、表示モニタ36(タッチパネル)に触れた状態で指を滑らせる操作、いわゆるスワイプ操作などの画面操作により、
図4に例示するように、被写体Oの右側をみたいのか、左側を見たいのかの指示を受け付ける。指定値受付部23は、情報処理端末30で受け付けた指示に基づいて、携帯端末10のうちのA〜L(
図5参照)のどの方向から被写体Oを見るかといった方向の指定を受け付ける。
【0042】
例えば、画面左側から右側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の右側が表示されるように、被写体を見る向きを変化させてもよい。一方、右側から左側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の左側が表示されるように、被写体を見る向きを変化させてもよい。すなわち、この場合には、指の動く方向に沿って、被写体を見るユーザの位置が、被写体に対して変化していることとなる。
【0043】
また例えば、画面左側から右側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の左側が表示されるように、被写体を見る向きを変化させてもよい。一方、画面右側から左側に向けて、画面にタッチした指を滑らせるスワイプ操作を行うことで、被写体の右側が表示されるように、被写体を見る向きを変化させてもよい。すなわちこの場合には、指の動く方向に沿って、被写体をユーザに対して回転させていることとなる。
【0044】
また、スワイプ操作を行わずに、画面のタッチにより、見る方向を変えてもよい。例えば、画面のうち、横方向の中心部に対して右側に位置する部分をタッチするか、左側に位置する部分をタッチするかにより、見る方向を変化させてもよい。
この場合には、タッチする部分の左右方向の中央部からの距離が近い場合に、画面の回転角を小さくし、タッチする部分の左右方向の中央部からの距離が近い場合に画面の回転を小さくしてもよい。
【0045】
図2に示す選択部24は、指定値受付部23が受け付けた指定値に基づいて、記憶部25に記憶される複数の画像データの中から1の画像データを選択し、選択した画像データを外部の情報処理端末30に送信する。この場合、選択部24は、指定値受付部23が指定値を受け付けていない場合、既に指定されている指定値に対応する画像データを選択する。また、選択部24は、指定値受付部23によって指定値を受け付けた場合、受け付けた指定値に対応する画像データを選択すると共に、指定値を指定値受付部23で受け付けた時に対応する1の画像データの時間データを基準にして同じ時間又は直後の時間に対応する新たな画像データを構成するフレームを特定し、特定したフレーム以後の新たな画像データを情報処理端末30送信する。
【0046】
すなわち、選択部24は、指定値に基づいて、画像データを構成する1の静止画グループを送信する。選択部24は、さらに指定値を受け付けていない場合、送信された1つの静止画グループに対して時系列で以後の静止画グループを送信する。選択部24は、新たに指定値を受け付けた場合、新たな指定値に応じた新たな画像データを選択し、新たな画像データのうちの、新たな指定値を受け付けた時を基準にして同じ時間又は直後の時間に対応するフレームを含む静止画グループを送信する。
【0047】
情報処理端末30は、画像データを受信すると、一例としてHTML(Hyper Text Markup Language)データを生成する。ここで、HTMLデータとは、映像を提供するためのウェブページのデータであり、ウェブブラウザを用いて利用することができるHTML形式で配信可能なデータを指す。
【0048】
また、選択部24は、選択した画像データを情報処理端末30に送信する場合、選択した画像データとして、1つの動画データから生成された第1画像データと、第2画像データとを送信してもよい。この場合、第1画像データは、データ生成部22において、複数のフレームを時系列順にまとめて静止画グループを複数生成することにより得られる画像データである。また、第2画像データは、データ生成部22において、複数のフレームを時系列順にまとめて静止画群を複数生成し、さらに複数の静止画群を時系列順にまとめて静止画グループを複数生成することにより得られる画像データである。
【0049】
また、選択部24は、1の画像データを送信している場合に指定値受付部23によって新たな指定値を受け付けると、新たな指定値を受け付けた時に対応する1の画像データを構成するフレームが撮像された時間と同じ時間又は直後の時間に対応する新たな画像データのフレームを特定してもよい。
【0050】
上述したように、記憶部25は、画像データと、その画像データを指定するための指定値を対応付けて記憶する。この場合、画像データは、複数の動画データそれぞれについて、動画データを構成するフレームを時系列順にまとめることにより生成される。また、記憶部25は、画像データを構成するフレームと、そのフレームが撮像された時間とを関連付けて記憶する。記憶部25は、画像データと、前記指定値としての、複数の動画データそれぞれを生成するために被写体を撮像した撮像位置を示す位置データとを1対1に対応付けて記憶する。時間データとしては、時刻情報を記憶してもよいし、それぞれの静止画が撮像されたタイミングを相対的に記したタイムスタンプを記憶するような態様であってもよい。
本実施形態では、位置データとは、被写体Oを撮像した撮像方向を示す方向データである。
【0051】
また、記憶部25は、映像配信装置20が動作するうえで必要とする各種プログラムおよびデータを記憶する機能を有してもよい。記憶部25は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリなどの各種の記録媒体である。
【0052】
なお、上述した映像配信装置は、コンピュータで動作するプログラムの機能として実現されてもよい。プログラムは、光ディスク又はメモリ等の記録媒体に記録されてもよい。
【0053】
次に、情報処理端末30の構成について説明する。
図6は、一実施形態に係る情報処理端末の構成について説明するためのブロック図である。
なお、以下に説明する情報処理端末30の構成は、あくまで例示であり、以下に説明する必要な機能を確保できる範囲において、種々の変更を行うことができる。
情報処理端末30は、例えばユーザ40(
図1参照)が所有するスマートフォンやタブレット等の端末装置であり、選択部24から送信される画像データを受信して表示する。
【0054】
図6に示すように、情報処理端末30は、無線通信部31と、I/Oポート32と、CPU33と、RAMと、ROMと、フラッシュメモリ34と、グラフィックメモリと、描画LSI35と、表示モニタ36と、タッチパネル(タッチパッド)37と、操作認識部38と、JPEGデコードモジュール39と、を備えている。
【0055】
無線通信部31は、映像配信装置20とのデータの送受信をI/Oポート32を介して行う。なお、情報処理端末30は、無線通信部31に代えて、有線通信部を有していてもよい。
フラッシュメモリ34は、映像配信装置20から送信された画像データからHTMLデータを生成して解析、実行するウェブブラウザと、タッチパネル制御フォームウェアと、を備えている。
【0056】
CPU33は、方向指定値に基づいて、表示モニタ36に表示させる画像データを、映像配信装置20に対して要求する要求部として機能する。
また、CPU33は、ウェブブラウザからアクセスされたウェブページ(HTMLデータ)に対して、逐次静止画の内容を時系列に沿って変更することで、ユーザ40に疑似的動画を提供する。このウェブページでは
図4に示すように、情報処理端末30の表示モニタ上において、ユーザ40が被写体Oを見たい方向から見えるようになっている。
【0057】
要求部は、映像配信装置20に対する静止画の要求に際して、フラッシュメモリに記憶された制御プログラムを実行する。制御プログラムに使用する言語としては、JavaScript(登録商標)を採用することができる。
JavaScript内の関数を用いて、画像データを選択する周波数を設定することで、精度よく画像データを要求することができる。なお、制御プログラムに使用する言語としては、JavaScript以外の言語であってもよい。
【0058】
要求部は、例えばROMの要求メモリに記憶された要求プログラムを実行することで、映像配信装置20に対して画像データを要求する。この際、要求プログラムは、後述する操作認識部38が認識し、RAMに保存された方向指定値を用いて、ユーザ40が見たい方向と対応する画像データを特定し、特定した画像データを要求する要求信号を、映像配信装置20に送信する。
要求部は、映像配信装置20における映像配信装置20から受信した画像データを、JPEGデコードモジュール39を用いてデコードし、描画LSI35に転送する。
【0059】
描画LSI35は、HTMLデータを用いて、要求部がI/Oポート32を介して取得した画像データを表示モニタ36に表示する描画部として機能する。描画LSI35は、画像データをグラフィックメモリに描画することで、画像データの表示を行う。本実施形態では、情報処理端末30は、2つのグラフィックメモリA、Bを有している。なお、この説明における画像データのサイズとしては、好ましくは15〜120KB、より好ましくは20〜40KBである。
【0060】
タッチパネル(タッチパッド)37は、例えば、表示モニタ36の背面に配置されている。例えば、タッチパネル37は静電容量式の投影型であり、ユーザ40の指が多点で接触するのを検出することができる。タッチパネル37は、ユーザ40の指の動きによる位置座標の変化と、指が動いた時間と、を用いて、指の速度や加速度を算出し、指の変位量を方向指定値の変化量として検出することができる。これにより、操作認識部38は、ユーザ40からの操作を認識する。タッチパネル(タッチパッド)37と表示モニタ36とを合わせて、「タッチパネル」という場合もある。本発明の「タッチパネル」は、実施形態のタッチパネル(タッチパッド)37と表示モニタ36とを合わせた構成のことをいう。
【0061】
操作認識部38は、表示モニタ36の前方におけるユーザ40の指の動きを方向指定操作として認識して、方向指定値として認識し、RAMに保存する。
本実施形態では、操作認識部38は、表示モニタ36の表面に指が触れた状態でユーザ40が指を滑らせるスワイプ操作を、方向指定操作として認識する。
【0062】
そして本実施形態では、映像配信装置20の選択部24は、指定値受付部23が方向指定値を受け付けていない場合、既に指定されている方向指定値に対応する画像データ(静止画データ)を選択し、選択した画像データ(静止画データ)を情報処理端末30に送信する。
また、選択部24は、方向指定値を受け付けた場合、受け付けた方向指定値に対応する画像データ(静止画データ)を選択すると共に、方向指定値を指定値受付部23で受け付けた時に対応する1の画像データの時間データを基準にして同じ時間又は直後の時間に対応する新たな画像データ(静止画データ)を構成するフレームを特定し、特定したフレーム以後の新たな画像データ(静止画データ)を情報処理端末30に送信する。
【0063】
次に、携帯端末10について説明する。
図5は、被写体Oに対して同一高さの平面において、複数の携帯端末10を円周状に配置した例を示している。なお、この配置例はあくまで例示であり、携帯端末10の数量や配置間隔は任意に変更することができる。
複数の携帯端末10には、それぞれを識別する識別番号(A〜L)が付与されている。識別番号を把握することで、ユーザは、被写体Oを撮像する方向を特定することができる。このため、本実施形態では、この識別番号を情報処理端末30が映像配信装置20に対して指定する方向データとして扱う。
なお、方向データとしては、被写体Oを撮像する方向が特定できる情報であれば、携帯端末10の識別番号の他、携帯端末10が配置された位置を示す座標情報や、上面視で被写体Oを通る所定の基準線からの角度等で表現される情報であってもよい。
【0064】
次に、選択部24で選択する画像データの順番について説明する。
図7は、選択部で選択する画像データの順番について説明するための第1例の図である。
図8は、選択部で選択する画像データの順番について説明するための第2例の図である。
図9は、選択部で選択する画像データの順番について説明するための第3例の図である。
図10は、選択部で選択する画像データの順番について説明するための第4例の図である。
図11は、画像データについて説明するための図である。
【0065】
上述したように、選択部24は、方向指定値を受け付けた場合、受け付けた方向指定値に対応する画像データを選択して、情報処理端末30に送信する。情報処理端末30において携帯端末10Aを指定する方向指定値が入力された場合、選択部24は、
図7に例示するように、携帯端末10Aで撮像された動画データに基づく画像データ100A(フレームA1〜A4を含む静止画グループ101)を選択して、情報処理端末30に送信する。なお、
図7に例示する場合、静止画グループは4枚のフレームから構成される。このため、選択部24は、1つの方向指定値の指示により、4枚のフレームから構成される1つの静止画グループ101を選択して、時系列順に複数のフレーム(1つの静止画グループ101)を情報処理端末30に送信する。
【0066】
また、選択部24は、方向指定値を受け付けていない場合、既に指定されている方向指定値に対応する画像データ100Aを選択して、情報処理端末30に送信する。このため、選択部24は、上記のように携帯端末10Aを指定する方向指定値を受信して、画像データ100A(フレームA1〜A4を含む静止画グループ)を情報処理端末30に送信する場合、新たな方向指定値を受信しないと、時系列で連続する画像データ100A(フレームA5〜A8を含む静止画グループ)を情報処理端末30に送信する。情報処理端末30は、時系列で連続する画像データ100A(フレームA1〜A4を含む静止画グループ101、フレームA5〜A8を含む静止画グループ101)に基づく画像を表示モニタ36に順次表示する。
【0067】
一方、選択部24は、方向指定値を受け付けた場合、受け付けた方向指定値に対応する画像データを選択すると共に、方向指定値を指定値受付部23で受け付けた時に対応する1の画像データの時間データを基準にして直後の時間に対応する新たな画像データを構成するフレームを特定し、特定したフレーム以後の新たな画像データを情報処理端末30に送信する。
【0068】
例えば、選択部24は、携帯端末10Aに対応する画像データ100A(フレームA1〜A4を含む静止画グループ101)を情報処理端末30に送信する場合に、携帯端末10Bを指定する方向指定値を受信すると、携帯端末10Aに対応する画像データ100A(フレームA1〜A4を含む静止画グループ)を情報処理端末30に送信した後、携帯端末10Bに対応する画像データ100B(フレームB5〜B8を含む静止画グループ101)を送信する。この場合、選択部24は、携帯端末10Aに対応する画像データ100A(静止画グループ101)に関連付けられた時間データ(例えば、画像データ100Aを構成するフレームが携帯端末10で撮像された時間)を基準にして、直後の時間となる携帯端末10Bに対応する画像データ100B(フレームB5)を特定し、フレームB5を含む画像データ100B(静止画グループ101)を情報処理端末30に送信する。すなわち、選択部24は、例えば、携帯端末10Aに対応する画像データ100Aから携帯端末10Bに対応する画像データ100Bに切り替えるように、方向指定値に基づいて画像データを切り替える場合でも、フレームA1〜A4を含む静止画グループ101からフレームB5〜B8を含む静止画グループ101へ切り替えるように、時系列で連続するように静止画グループを選択する。ここで、フレームA1〜A8と、フレームB1〜B8とにおいて、同じ数字が付されたフレームは同じ又はほぼ同じ時刻に撮像されたこととしている。
【0069】
図8に例示するように、1つの静止画グループに複数の静止画群を含む場合でも、選択部24は、上記と同様に画像データを選択する。すなわち、選択部24は、携帯端末10Aに対応する1つの静止画グループ101(フレームA1〜A4を含む静止画群102と、フレームA5〜A8を含む静止画群102を含む)を送信する場合に、携帯端末10Bを指定する方向指定値を受信すると、携帯端末10Aに対応する1つの静止画グループ101の送信が終了した後、携帯端末10Bに対応する静止画グループ101(フレームB9〜B12を含む静止画群102と、フレームB13〜B16を含む静止画群102を含む)を送信する。この場合、選択部24は、携帯端末10Aに対応する画像データ100A(静止画グループ101)に関連付けられた時間データを基準にして、直後の時間となる携帯端末10Bに対応する静止画グループ101(フレームB9)を特定し、フレームB9を含む静止画グループ101を情報処理端末30に送信する。
【0070】
また、選択部24は、上記の
図8の例とは異なり、次のように画像データ(静止画グループ)を送信してもよい。すなわち、選択部24は、静止画グループ101を構成するフレームA1〜A4を含む静止画群102を送信する場合に、携帯端末10Bを指定する方向指定値を受信すると、フレームB1〜B4を含む静止画群102とフレームB5〜B8を含む静止画群102とで構成する静止画グループ101を送信してもよい。この場合、情報処理端末30は、携帯端末10Aに対応する静止画グループ101(フレームA1〜A4を含む静止画群102と、フレームA5〜A8を含む静止画群102とを備える)と、携帯端末10Bに対応する静止画グループ101(フレームB1〜B4を含む静止画群102と、フレームB5〜B8を含む静止画群102とを備える)とを映像配信装置20から受信する。情報処理端末30は、フレームA1〜A4を含む静止画群102に基づく画像を表示モニタ36に表示させたのち、フレームA1〜A4を含む静止画群102に付された時間データを基準にして、直後の時間となるフレームB5を含む静止画群102に基づく画像を表示モニタ36に表示させる。このように、情報処理端末30は、方向指定値に基づいて画像データを切り替える場合でも、時間的に連続するように画像データ(静止画群)を表示モニタ36に表示させる。
【0071】
また、
図9に例示するように、1つの静止画グループに、静止画群と、1つのフレームとを含む場合でも、選択部24は、上記と同様に画像データを選択する。すなわち、選択部24は、携帯端末10Aに対応する1つの静止画グループ101(フレームA1〜A4を含む静止画群102と、フレームA4とを含む)を送信する場合に、携帯端末10Bを指定する方向指定値を受信すると、携帯端末10Bに対応する静止画グループ101(フレームB1〜B4の静止画群102とフレームB4を含む静止画グループ101と、フレームB5〜B8の静止画群102とフレームB8とを含む静止画グループ101)を送信する。この場合、情報処理端末30は、携帯端末10Aに対応する静止画グループ101のフレームA4を表示モニタ36に表示させた後、携帯端末10Bに対応する静止画グループ101のフレームB4を表示モニタ36に表示させ、その後、フレームB5〜B8を表示モニタ36に表示させる。情報処理端末30は、フレームA4の時間データを基準にして同じ時刻のフレームB4を含む静止画グループ101(画像データ)に切り替えるので、時間的に連続するように画像データを表示モニタ36に表示させることが可能になる。また、このように、情報処理端末30では、1枚のフレームで構成される部分で画像データを切り替えることにより、静止画群102を構成するフレームで画像データを切り替える場合よりも、切替処理が容易になる。
また、上記とは異なり、情報処理端末30は、携帯端末10Aに対応する静止画群102のいずれかのフレームから、携帯端末10Bに対応する静止画群102のフレームB4に切り替えてもよい。具体例としては、情報処理端末30は、フレームA3から、1枚のフレームで構成されるフレームB4に切り替えてもよい。
【0072】
また、
図10に例示するように、1つの静止画グループに、静止画群と、複数のフレームとを含む場合でも、選択部24は、
図9に例示する場合と同様に画像データを選択する。すなわち、選択部24は、携帯端末10Aに対応する1つの静止画グループ101(フレームA1〜A6を含む静止画群102と、フレームA2,A4,A6を含む)を送信する場合(特にフレームA3を送信する場合)に、携帯端末10Bを指定する方向指定値を受信すると、携帯端末10Bに対応する静止画グループ101(フレームB1〜B6を含む静止画群102と、フレームB2,B4,B6を含む)を送信する。ここでは、選択部24が、静止画群102のフレームA3を送信する場合に、方向指定値を受け付けたとする。このとき、選択部24は、フレームA3に付された時間データを基準にして、同じ時間又は直後の時間が付されたフレームB4を特定し、フレームB4を含む静止画グループ101を送信する。ここで、フレームB4が1枚のフレームとして独立しているため、選択部24は、フレームB4を特定する。なお、選択部24は、直前の時間又は直後の時間に対応するフレームとして、1つの静止画グループ101の中で独立している1枚のフレーム、又は、静止画グループ101若しくは静止画群102を構成する時系列で最初のフレームを特定する。この場合、情報処理端末30は、携帯端末10Aに対応する静止画グループ101のフレームA4を表示モニタ36に表示させた後、携帯端末10Bに対応する静止画グループ101のフレームB4(独立した1枚のフレーム)を表示モニタ36に表示させ、その後、時系列で連続するフレームB6を表示モニタ36に表示させる。さらに、情報処理端末30は、フレームB7から始まる静止画グループ101に基づく画像を表示モニタ36に表示させる。情報処理端末30は、フレームA4の時間データを基準にして同じ時刻の1枚のフレームB4を含む静止画グループ101(画像データ100B)に切り替えるので、時間的に連続するように画像データを表示モニタ36に表示させることが可能になる。また、このように、情報処理端末30では、1枚のフレームで構成される部分で画像データを切り替えることにより、静止画群102を構成するフレームで画像データを切り替える場合よりも、切替処理が容易になる。
【0073】
なお、
図7〜10に示す上記の場合では、選択部24は、隣り合う携帯端末10に対応する画像データ(静止画データ)を例について説明した。画像データの選択は、例えば、
図4に示す携帯端末10Aの画像データから
図4に示す携帯端末10Eの画像データに選択を切り替える場合もある。
この場合、選択部24は、例えば、携帯端末10Aに対応する画像データ、携帯端末10Bに対応する画像データ、携帯端末10Cに対応する画像データ、携帯端末10Dに対応する画像データ、携帯端末10Dに対応する画像データに順次選択して、情報処理端末30に送信するようにしてもよい。すなわち、選択部24は、単位時間当たりの方向指定値の変化量が閾値未満の場合には、方向データが連続的につながるように、画像データを選択する。
【0074】
又は、選択部24は、例えば、携帯端末10Aに対応する画像データ、携帯端末10Cに対応する画像データ、携帯端末10Eに対応する画像データのように間欠的に画像データを選択して、情報処理端末30に送信するようにしてもよい。すなわち、選択部24は、単位時間当たりの方向指定値の変化量が閾値以上の場合には、方向データが間欠的につながるように、画像データを選択する。ここで、「間欠的に」とは、連続的に並ぶ方向データに対して、一部のデータのみを取得することを意味している。
すなわち、ユーザ40が指を大きく、又は速く動かすことで、スワイプ操作による操作量が大きいと操作認識部38が判断した場合には、隣り合う方向データに対応する画像データを取得することなく、元の方向データから、離れた方向データに対応する画像データを取得することができる。これにより、例えばユーザ40が、撮像方向が正反対に位置する携帯端末10から取得した画像データを瞬時に確認することができる。
【0075】
また、選択部24は、画像データを情報処理端末30に送信する場合、第1画像データ及び第2画像データを送信することが可能である。第1画像データは、複数のフレームを時系列順にまとめて静止画グループを複数生成することにより得られる画像データである。第2画像データは、複数のフレームを時系列順にまとめて静止画群を複数生成し、さらに複数の静止画群を時系列順にまとめて静止画グループを複数生成することにより得られる画像データである。この場合、データ生成部22は、第1画像データと、第2画像データとを生成する。選択部24は、方向指定値を受け付けると、方向指定値に対応する第1画像データ及び第2画像データを送信する。
【0076】
図11に例示するように、情報処理端末30は、第1画像データ100Cと、第2画像データ100Dの両方を受け付けると、まず、第1画像データ100Cに基づいて表示モニタ36に表示を行う。第2画像データ100Dは、複数のフレームFが静止画群102Dとしてまとめられているため、1枚のフレームFが順次送信される第1画像データ100Cに比べて、情報処理端末30での受信に時間がかかる。すなわち、情報処理端末30が画像データを受信する初期段階では、第2画像データ100Dに比べて受信に時間のかからない第1画像データ100Cに基づく画像を表示モニタ36に表示する。しかし、第2画像データ100Dは静止画群102D(静止画グループ101D)としてまとまっているため、情報処理端末30が画像データを受信する初期段階後では、複数のフレームFをまとめて受信できる第2画像データ100Dの方が第1画像データ100Cに比べて一時記憶するデータ量は多くなる。すなわち、情報処理端末30は、初期段階後では第2画像データ100Dに基づいて表示モニタ36に表示させた方が、第1画像データ100Cの場合に比べて描画処理が容易になる。情報処理端末30は、第1画像データ100Cから第2画像データ100Dに切り替える場合、第2画像データ100Dを構成する静止画群102Dの時系列で最初のフレームF4に切り替えると、描画処理が容易になる。なお、実施形態によっては、最初のフレームF4に切り替える例に限定されることはなく、フレームF4よりも時系列で後のフレームに切り替えてもよい。
また、上述した第2画像データ100Dでは、静止画群102Dは、分割動画データであってもよい。一例として、5秒分のフレームを包含した動画であっても、分割動画データ(静止画群102D)を含む第2画像データ100Dと、第1画像データ100Cとの両方を利用する(両方を並列で受信する)ことで、情報処理端末30は、スムーズな表示と携帯端末10(画像データ)のスムーズな切り替えを実現することができる。
すなわち、第2画像データ100Dの分割単位が一例として約5秒であった場合、第2画像データ100Dの読み込みに時間がかかるが、第2画像データ100Dと並列して第1画像データ100Cを読み込むことで、第2画像データ100Dの読み込み及び表示が追いつくまでは、第1画像データ100Cに基づいて表示を行う。そして、第2画像データ100Dの読み込みと表示が追いついた場合、シームレスに第1画像データ100Cから第2画像データ100Dに切り替え、第1画像データ100Cの読み込みを停止する。
また、上述した第1画像データ100Cは、静止画だけでなく、分割動画データであってもよい。この場合、第1画像データ100Cの分割動画データは、一例として100ミリ秒等の任意の秒数の分割動画データであってよい。これにより、通信速度によっては、静止画を送信する場合に比べて、短時間の分割動画データを送信することで優位になる場合も生じる。
【0077】
また、変形例として、選択部24は、次のような処理を行うことも可能である。すなわち、上記と同様に、選択部24は、画像データを情報処理端末30に送信する場合、第1画像データ及び第2画像データを送信することが可能である。この場合において、まず、選択部24は、方向指定値に対応する第2画像データ100Dを送信する。この後、
図4に示すようにユーザによって表示モニタ36がスワイプされると、方向指定値に対応する第1画像データ100Cを送信する。ユーザによって表示モニタ36に対する連続したスワイプ操作が行われる場合でも、隣接するカメラ部の選択を連続して又は間欠的に替えるように、方向指定値に応じて第1画像データ100Cを選択する。すなわち、画像データを切り替える場合、選択部24は、第1画像データ100Cを選択する。ユーザのスワイプ操作が終了すると、選択部24は、最後に受け付けた方向指定値に応じた第2画像データ100Dを送信する。なお、この場合、選択部24は、第1画像データ100Cの選択と送信を既に行っているため、第1画像データ100C及び第2画像データ100Dの両方を選択することになる。
情報処理端末30は、上述したものと同様に、第1画像データ100Cと、第2画像データ100Dの両方を受け付けると、まず、第1画像データ100Cに基づいて表示モニタ36に表示を行い、所定のタイミングで切り替えて、第2画像データ100Dに基づいて表示モニタ36に表示する。
【0078】
ここで、情報処理端末30において、描画部が画像データを表示モニタ36に描画する時間TFは、要求部が画像データを選択部24から取得して、描画部に転送する時間TDよりも短い。この点について、
図12を用いて説明する。
図12は、情報処理端末内での処理を説明するシーケンス図である。
【0079】
図12に示すように、要求部は選択部24に要求した画像データを受信すると、JPEGデコードモジュール39に転送する。そして、JPEGデコードモジュール39で画像データのデコードが完了すると、デコードされた画像データが描画部である描画LSI35に転送される。ここで、要求部による画像データの要求から描画部に転送するまでの時間をTDとする。
【0080】
次に、描画部は、転送されてきた画像データをグラフィックメモリに描画する。この際、本実施形態では、2つのグラフィックメモリを交互に使用して、画像データの描画が行われる。グラフィックメモリへの画像データの描画が完了すると、その画像データが表示モニタ36に表示される状態となる。ここで、描画部がグラフィックメモリに描画する時間をTFとする。
そして、本実施形態では、TDがTFよりも短いので、描画部による描画が終わった際に、常に描画部が、次に描画をするべき画像データの転送を待っている状態を実現することができる。これにより、円滑に画像データを再生することができる。
【0081】
次に、一実施形態に係る映像配信方法について説明する。
図13は、一実施形態に係る映像配信方法について説明するためのフローチャートである。
【0082】
ステップST11において、取得部21は、複数の動画データを取得する。複数の動画データは、複数の携帯端末10それぞれにおいて生成される。
【0083】
ステップST12において、データ生成部22は、ステップST11で取得した動画データに基づいて画像データを生成する。
データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画グループを複数生成することにより画像データを生成する。又は、データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画群を複数生成し、さらに複数の静止画群を時系列順にまとめて静止画グループを複数生成することにより画像データを生成する。又は、データ生成部22は、例えば、複数のフレームを時系列順にまとめて静止画群を複数生成すると共に、静止画群を構成するフレームの中から1又は複数のフレームを抽出し、静止画群と1又は複数のフレームとをまとめることにより静止画グループを複数生成して画像データを生成する。
【0084】
ステップST13において、記憶部25は、ステップST12で生成した画像データを記憶する。この場合、記憶部25は、画像データと、その画像データを指定するための指定値を対応付けて記憶する。具体的には、記憶部25は、画像データと、指定値としての、複数の動画データそれぞれを生成するために被写体を撮像した撮像位置を示す位置データとを1対1に対応付けて記憶する。また、記憶部25は、画像データを構成するフレームと、そのフレームが撮像された時間とを関連付けて記憶する。
【0085】
ステップST14において、指定値受付部23は、ユーザが見たい画像データを指定するための指定値を受け付けたか否かを判断する。指定値を受け付けていない場合(No)、処理は、ステップST14の判断を再度行う。指定値を受け付けた場合(Yes)、処理は、ステップST15に進む。
【0086】
ステップST15において、選択部24は、指定値受付部23が受け付けた指定値に基づいて、ステップST13で記憶した複数の画像データの中から1の画像データを選択し、選択した画像データ(静止画グループ)を情報処理端末30に送信する。
【0087】
ステップST16において、指定値受付部23は、新たな指定値を受け付けたか否かを判断する。新たな指定値を受け付けていない場合(No)、処理は、ステップST17に進む。新たな指定値を受け付けた場合(Yes)、処理は、ステップST18に進む。
【0088】
ステップST17において、選択部24は、ステップST15で送信した画像データ(静止画グループ)に時系列で連続する画像データ(静止画グループ)を情報処理端末30に送信する。
【0089】
ステップST18において、選択部24は、指定値受付部23で受け付けた新たな指定値に基づいて、ステップST13で記憶した複数の画像データの中から1の画像データを選択し、選択した画像データ(静止画グループ)を情報処理端末30に送信する。
【0090】
ステップST19において、映像配信装置20のCPUは、情報処理端末30から映像の配信停止の指示を受け付けたか否かを判断する。映像の配信停止の指示を受け付けていない場合(No)、処理は、ステップST16に戻る。映像の配信停止の指示を受け付けた場合(Yes)、処理は終了する。
【0091】
本実施形態では、次のような効果を奏する。
映像配信装置20は、指定値に基づいて、画像データを情報処理端末30に送信する。画像データは、複数のフレームで構成される静止画グループを備える。このように、映像配信装置20は、1の指定値を受信することにより情報処理端末30に静止画グループ(画像データ)を送信するので、フレームを1枚ずつ選択して、送信する場合に比べて、処理負担を軽減することができる。
また、映像配信装置20は、動画データを時系列順に複数のフレーム毎に分割することにより分割動画データ(本発明の「静止画群」の一例に対応する)を生成することができる。
これにより、映像配信装置20は、一例として、3枚のフレームで構成される分割動画データと、1枚のフレームで構成される画像(静止画)が3枚あるデータとでは、分割動画データの方が圧縮され、ファイルサイズを小さくすることができる。これにより、映像配信装置20は、データ送信にかかる時間を従来に比べて短くすることができる。
また、情報処理端末30は、受信した分割動画データを情報処理端末30のハードディスク等の記憶部(図示せず)に全て保存し、映像配信装置20にアクセスすることなく、その記憶部に保存される分割動画データにアクセスすることにより分割動画データに基づく映像を表示する場合でも、他の分割動画データに容易に切り替えることができる。すなわち、情報処理端末30は、1の携帯端末10で撮像された動画に基づく画像データ(一例として、分割動画データ)から他の携帯端末10で撮像された画像に基づく画像データ(一例として、分割動画データ)にシームレスに切り替えることができる。
なお、従来では、通常の動画を情報処理端末で再生する場合、ファイル容量がある程度大きく、及び、携帯端末の数が多いほど、前もって情報処理端末の記憶部にデータを読み込んでおく必要があるが、実際はこれが難しい。すなわち、従来の情報処理端末は、記憶部にアクセスして動画を読み込む場合、読み込みに時間がかかり、動画の読み込み後も切り替えの時間までシークする必要があるために、シームレスな切り替えが困難となる。この点、本実施形態の情報処理端末30は、例えば、分割動画データを記憶部に保存する場合でも、他の分割動画データにシームレスに切り替えることができる。
【0092】
また、映像配信装置20は、1の携帯端末10に対応する1の画像データから他の携帯端末10に対応する他の画像データに切り替える場合、静止画グループ又は静止画群を構成する時系列で最後のフレーム(1の画像データ)から、静止画グループ又は静止画群を構成する時系列で最初のフレーム(他の画像データ)に移行するように切り替える。このため、映像配信装置20は、時系列で連続したデータを情報処理端末30に送信することができる。
なお、上述したように、静止画群は、動画データを複数のフレーム毎に分割することにより生成された分割動画データであってもよい。この場合、静止画グループは、1又は複数の分割動画データを備える構成であってよい。
【0093】
また、映像配信装置20は、1の画像データから他の画像データに切り替える場合、1の画像データを構成する静止画グループ内の1又は複数のフレームから、他の画像データを構成する静止画グループ内の1又は複数のフレームに移行するように切り替える。この場合でも、映像配信装置20は、時系列で連続したデータを情報処理端末30に送信することができる。また、映像配信装置20は、1の画像データから他の画像データに切り替える場合、1枚のフレームの箇所で切り替えるため、静止画グループのみで構成される画像データの場合に比べて、切り替えを容易にすることができる。
【0094】
映像配信システム1は、情報処理端末30から、被写体Oを見るための方向指定値を受け付け、方向指定値を受け付けるごとに当該方向に対応する画像データを取得して再生する。このため、情報処理端末30に対する簡易な操作で、ユーザ40が見たい被写体Oの方向を、色々な方向角度から滑らかに表示することができる。
【0095】
また、選択部24が、時間データを基準にして静止画を選択する際に、その瞬間において選択されている位置データに対応する画像データを最初に選択する。このため、被写体を見る方向が突如変化するのを抑えて、模擬的動画を連続的なつながりのある自然な動画とすることができる。
【0096】
また、情報処理端末30の画面上でのスワイプ操作に応じて、撮像部1台分の画像データだけを連続して送信することにより、映像配信装置20と情報処理端末30との間のデータ通信量を少なくすることができる。これにより、映像配信装置20と情報処理端末30との間の通信ネットワークにおける通信容量に限りがある中で、例えば複数の撮像部それぞれの画像データを同時に送信するような構成と比較して、画像データ一枚当たりの容量を大きくすることができ、情報処理端末30で再生する疑似的動画を高解像度にすることもできる。
【0097】
また、撮像部が、動画の録画機能を有し、録画された動画データを通信ネットワークに送出可能な携帯端末10であるため、通信ネットワークを介して撮像部と映像配信装置20とのデータのやりとりを容易に行うことができる。
【0098】
また、表示モニタ36の画面をスワイプ操作するという簡単な操作により、方向指定操作を行うことができるので、ユーザ40が直感的で簡単な操作により、疑似的動画において、被写体Oを見たい方向を指定することができる。
【0099】
また、ユーザ40が、大きくスワイプ操作した場合等に、選択部24が間欠的に画像データを選択するので、仮に選択部24が連続的に画像データを選択してゆく場合と比較して、情報処理端末30に送信するデータ量を減らすことができる。これにより、ユーザ40の方向指定操作における操作量が大きくなり、操作量と対応するように並ぶ方向データの数量が多くなった場合であっても、映像配信装置20と、情報処理端末30と、の間で通信するデータ量が大きくなるのを確実に抑えることができる。
【0100】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではない。
例えば、上記実施形態では、静止画データに1又は複数の静止画群を備える例を示したが、このような態様に限られない。例えば、静止画群は、動画データを時系列順に分割した所定枚数のフレームからなる動画(分割動画データ)であってもよい。この場合、情報処理端末30は、例えば、情報配信装置から送信された、動画を含む画像データをデコードするためのモジュールを備えることが好ましい。
映像配信装置20から情報処理端末30に送信する画像データを、分割動画データを含む構成とすることにより、例えば、フレーム毎に送信する場合のデータ量(画像1枚分のデータ量)と、複数のフレーム(一例として3フレーム)で構成される分割動画データのデータ量とを同程度にすることができる。すなわち、映像配信装置20から情報処理端末30に送信する画像データを、分割動画データを含む構成とすることにより、送信するデータ量を削減することが可能になる。
このように、分割動画データは複数のフレーム毎に分割されているため、1の画像データから他の画像データに切り替える場合でも、静止画で構成される画像データの場合と遜色なく切り替えることができる。
【0101】
また、映像配信装置20のデータ生成部22は、1の動画データから、静止画のみで構成された画像データと、分割動画データで構成された画像データの2つを生成してもよい。例えば、5秒間撮像されることにより動画データが生成された場合でも、5秒の動画データを時系列順に複数フレーム毎に分割して分割動画データを生成すると共に、静止画で構成される画像データを生成するので、情報処理端末30にスムーズな表示を行うことができ、他の画像データに容易に切り替えることができる。
上記の場合並びに
図3(C)及び
図3(D)の場合、まず、動画データに基づいて分割動画データのみを生成してもよい。その後、1の画像データから他の画像データに切り替える箇所をログ等に記憶し、その切り替えが相対的に多い箇所において、分割動画データから静止画を抜き出す(コピーする)ことにより、静止画の画像データを生成してもよい。
また、1の画像データから他の画像データに切り替える場合、切り替えの動作が遅くなる箇所において、分割動画データから静止画を抜き出す(コピーする)ことにより、静止画の画像データを生成してもよい。これにより、1の画像データから他の画像データへの切り替えが高速になる。
これにより、映像配信装置20は、動画データに基づいて静止画の画像データを最初から作成する場合に比べて、必要な部分のみ静止画の画像データを生成するので、データ量を削減でき、SwipeVideo形式の動画データの生成を高速に行うことができる。
また、映像配信装置20は、1の画像データから他の画像データに切り替える箇所をログ等に記憶し、その切り替えが相対的に少ない箇所(予め設定された閾値よりも少ない箇所)の静止画を削除してもよい。
また、上記の場合では、生成又は削除されるのは静止画の例を説明したかこれに限られず、生成又は削除されるのは、一例として、100ミリ秒等の任意の秒数の分割動画データであってもよい。
【0102】
また、撮像部として、携帯端末10が有するカメラである構成を示したが、このような態様に限られな。すなわち、撮像部はデジタルカメラ等であってもよい。
【0103】
また、上記実施形態では、映像配信装置20から送信された画像データを用いて、情報処理端末30がHTMLデータを生成する構成を示したが、このような態様に限られない。映像配信装置20において、画像データをHTMLデータ化したうえで、情報処理端末30に送信してもよい。
【0104】
また、上記実施形態では、複数の撮像部によるバレットタイム撮影である構成を示したが、このような態様に限られない。例えば、複数の地点で撮影した景色等の動画を用いてもよい。
また、上記実施形態におけるバレットタイム撮影では、複数の携帯端末10が、被写体Oに対して同一高さの平面において、円周状に配置されている構成を示したが、このような態様に限られない。複数の高さに平面を設定し、それぞれの高さの平面において、カメラグループを構成し、このカメラグループをまたぐように、選択部24が画像データを選択してもよい。これにより、被写体Oに対して、3次元的に見る方向を選択することができる。
例えば、被写体を上段から撮像する1又は複数の携帯端末10(Top)、被写体を中段から撮像する1又は複数の携帯端末10(Center)、被写体を下段から撮像する1又は複数の携帯端末10(Bottom)、及び、被写体の拡大像を撮像する1又は複数の携帯端末10(Zoom)とを用意しておき、複数の携帯端末10で動画データを生成する。映像配信装置20は、上記と同様に動画データに基づいて画像データを生成する。情報処理端末30は、ユーザが画面に対してスワイプ操作等を行うことにより、複数の携帯端末10で撮像された動画データに基づく画像データを切り替えて、指定された携帯端末10で撮像された動画を表示することができる。
【0105】
また、撮像部による撮影対象は、
図1のようなスポーツしている人間ではなく、例えば作業をしている人間や、人以外の動物であってもよいし、競技場全体、芸能人、歌手の公演などであってもよい。また、映像配信システム1は、風景にも利用できるが基本的には人間、動物等の動くモノが有効である。それは、この映像配信システム1が、360度動画のような疑似的動画を提供できるため、動的な被写体Oに対して有効であるからである。
【0106】
また、情報処理端末30は、スワイプ操作だけではなく、指の軌跡によって他の方向を指定することも可能である。すなわち、ユーザ40が指を情報処理端末30の表示モニタ36に接触させることなく、画面の前方で移動させることにより、操作指令を入力することができる。この場合には、例えば操作認識部38として、表示モニタ36の前方を撮像して、指の動きを座標化するフォームウェアを、情報処理端末30に別途インストールして実現することができる。
【0107】
また、上記実施形態では、指定値受付部23が方向指定値を受付ける場合において、単位時間当たりの方向指定値の変化量が閾値以上の場合に、方向データが間欠的につながるように、選択部24が、画像データを選択する構成を示したが、このような態様に限られない。
すわなち、このように間欠的に画像データを選択する処理を、映像配信装置20側で行わずに、情報処理端末30側で行ってもよい。
この場合には、例えば、情報処理端末30のうち、操作認識部38が認識した方向指定操作における操作量が閾値以上の場合に、要求部が、表示モニタ36に表示させる画像データを、選択部24に対して間欠的に要求する構成としてもよい。
【0108】
また、映像配信システム1の各機能部は、集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって実現してもよいし、CPU(Central Processing Unit)およびメモリを用いてソフトウェアによって実現してもよい。また、各機能部は、1または複数の集積回路により実現されてよく、複数の機能部の機能を1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。
【0109】
上述した実施形態では、データ取得プログラム、データ生成プログラム、及び、要求プログラムは、ROMに記憶される例について説明したが、本発明はこの例に限定されることはない。例えば、上記の各プログラムは、ハードディスク等の記録媒体に記憶し、それらのプログラムをRAMに読み込んで実行する形態であってもよい。
【解決手段】映像配信装置は、画像データと指定値とを対応付けて記憶する記憶部と、指定値を受け付ける指定値受付部と、受け付けた指定値に基づいて1の画像データを選択し、選択した画像データを表示装置に送信する選択部とを備える。選択部は、指定値受付部が指定値を受け付けていない場合、既に指定されている指定値に対応する画像データを選択して送信する。選択部は、指定値受付部によって指定値を受け付けた場合、受け付けた指定値に対応する画像データを選択し、指定値を指定値受付部で受け付けた時に対応する1の画像データの時間データを基準にして同じ時間又は直後の時間に対応する新たな画像データを構成するフレームを特定し、特定したフレーム以後の新たな画像データを送信する。