特表2023-509746 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ 影石創新科技股▲ふん▼有限公司の特許一覧

特表2023-509746パノラマビデオ編集方法、装置、機器及び記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-09

(54)【発明の名称】パノラマビデオ編集方法、装置、機器及び記憶媒体

(51)【国際特許分類】

H04N 5/91 20060101AFI20230302BHJP

H04N 5/783 20060101ALI20230302BHJP

G11B 20/10 20060101ALI20230302BHJP

G11B 27/02 20060101ALI20230302BHJP

【ＦＩ】

H04N5/91

H04N5/783

G11B20/10 G

G11B20/10 301Z

G11B27/02 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022541890

(86)(22)【出願日】2021-01-07

(85)【翻訳文提出日】2022-09-06

(86)【国際出願番号】 CN2021070702

(87)【国際公開番号】W WO2021139731

(87)【国際公開日】2021-07-15

(31)【優先権主張番号】202010015747.X

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩＶＩＳＩＯＮＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ１１０１，１１０２，１１０３，１１ｔｈＦｌｏｏｒ，Ｂｕｉｌｄｉｎｇ２，ＪｉｎｌｉｔｏｎｇＦｉｎａｎｃｉａｌＣｅｎｔｅｒ，１１００ＸｉｎｇｙｅＲｏａｄ，ＨａｉｗａｎｇＣｏｍｍｕｎｉｔｙ，Ｘｉｎ’ａｎＳｔｒｅｅｔ，Ｂａｏ’ａｎＤｉｓｔｒｉｃｔ，Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ５１８０００，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤寛之

(72)【発明者】

【氏名】姜文杰

(72)【発明者】

【氏名】呂朋偉

(72)【発明者】

【氏名】蔡錦霖

【テーマコード（参考）】

5C053

5D044

5D110

【Ｆターム（参考）】

5C053FA14

5D044AB07

5D044DE14

5D044DE22

5D044FG23

5D044HL14

5D044JJ01

5D044JJ02

5D110AA29

5D110CA05

5D110CC03

5D110CC05

5D110FA02

(57)【要約】

本発明はパノラマビデオの技術分野に関し、パノラマビデオ編集方法、装置、機器及び記憶媒体を提供する。前記方法はパノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録することと；取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得することとと；前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成することとを含む。パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。
【選択図】図１

【特許請求の範囲】

【請求項1】

パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップとを含む、ことを特徴とするパノラマビデオ編集方法。

【請求項2】

前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップは、
元の球面ビデオである前記パノラマビデオに基づいて、前記パノラマカメラの移動撮影時の進行方向を取得し、前記進行方向の画角に対応するレンズ画像を取得することを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。

【請求項3】

取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップは、
前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出することと；
現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得することとを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。

【請求項4】

前記現在顕著なオブジェクトが位置している画角を取得するステップの後に、
前記現在顕著なオブジェクトの追跡停止イベントを検出し、前記現在顕著なオブジェクトの追跡停止イベントが検出された場合、前記パノラマビデオに対してフレーム抽出操作を行うステップに移行して顕著なオブジェクトを検出し続けることをさらに含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。

【請求項5】

前記パノラマビデオフレームに顕著なオブジェクトを検出するステップは、
現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別が検出された場合、最も顕著な値が大きいオブジェクトを、前記現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることを含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。

【請求項6】

予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップは、
前記現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の中心座標を取得し、前記中心座標に基づいて、前記現在顕著なオブジェクトの球面視点座標を計算することと；
前記球面視点座標に基づいて、、前記顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することとを含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。

【請求項7】

前記追跡停止イベントは、前記現在顕著なオブジェクトが失ったことまたは前記追跡枠の面積が予め設定された面積より小さいことである、ことを特徴とする請求項６に記載のパノラマビデオ編集方法。

【請求項8】

前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップは、
前記パノラマビデオフレームをトラバースして、前記パノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を設定することと；
前記パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を確定してクリップし、前記レンズ画像の再生速度を設定することと；
クリップされたレンズ画像と設定された対応する再生速度に基づいて、前記パノラマビデオに対応するオブジェクトビデオを生成することとを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。

【請求項9】

各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップは、
各顕著なオブジェクトが継続的に追跡されたフレームの数を判断し、前記フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定することと；
前記フレームの数が前記設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定することとを含む、ことを特徴とする請求項８に記載のパノラマビデオ編集方法。

【請求項10】

パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するための画角記録ユニットと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するための画角取得ユニットと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するためのビデオ生成ユニットと、
を備えることを特徴とするパノラマビデオ編集装置。

【請求項11】

メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備えるパノラマビデオ編集機器であって、前記プロセッサが前記コンピュータプログラムを実行する際に、請求項１～請求項８のいずれか一つに記載の方法のステップを実現する、ことを特徴とするパノラマビデオ編集機器。

【請求項12】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサに実行されると、請求項１～請求項８のいずれか一つに記載の方法のステップを実現する、ことを特徴とするコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はパノラマビデオの技術分野に関し、特にパノラマビデオ編集方法、装置、機器及び記憶媒体に関するものである。

【背景技術】

【0002】

パノラマビデオは、パノラマカメラで全方位３６０度撮影したビデオであり、ユーザーはパノラマカメラの撮影角度範囲内の動画を任意に観賞することができる。パノラマビデオを観賞するとき、フラットパネルディスプレイでは、ある時刻でパノラマビデオにおける一つ画角の画像しか表示できないため、ユーザーがパノラマビデオの再生中のある期間に、ある顕著なオブジェクトの対象を観賞したい場合、オブジェクトが現在の画角で消えるせいで、画角を回動するようにディスプレイを絶えずに制御する必要があり、操作が比較的に面倒であるとともに、視経験にも影響を及ぼす可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施例は、従来技術では効果的なパノラマビデオ編集方法を提供することができなかったため、出力時のパノラマビデオの滑らかさが悪いという問題を解決するためのパノラマビデオ編集方法、装置、機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本発明の実施例の一観点は、パノラマビデオ編集方法を提供しており、前記方法は、
パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップとを含む。

【0005】

前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップは、
元の球面ビデオである前記パノラマビデオから前記パノラマカメラの移動撮影時の進行方向を取得し、前記進行方向の画角に対応するレンズ画像を取得するステップを含むことが好ましい。

【0006】

取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップは、
前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出するステップと；
現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップとを含むことが好ましい。

【0007】

前記現在顕著なオブジェクトが位置している画角を取得するステップの後に、
前記現在顕著なオブジェクトの追跡停止イベントを検出し、前記現在顕著なオブジェクトの追跡停止イベントが検出された場合、前記パノラマビデオに対してフレーム抽出操作を行うステップに移行して顕著なオブジェクトを検出し続けるステップをさらに含むことがより好ましい。

【0008】

前記パノラマビデオフレームに顕著なオブジェクトを検出するステップは、
現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別が検出された場合、最も顕著な値が大きいオブジェクトを、前記現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとするステップを含むことがさらに好ましい。

【0009】

予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップは、
前記現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の中心座標を取得し、前記中心座標から前記現在顕著なオブジェクトの球面視点座標を計算するステップと；
前記球面視点座標から、前記顕著なオブジェクトが位置している画角に対応するレンズ画像を取得するステップとを含むことがさらに好ましい。

【0010】

前記追跡停止イベントは、前記現在顕著なオブジェクトが喪失したことまたは前記追跡枠の面積が予め設定された面積より小さいことであることが好ましい。

【0011】

前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップは、
前記パノラマビデオフレームをトラバースして、前記パノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を設定するステップ；
前記パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける対応する画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップ；
クリップされたレンズ画像と設定された対応する再生速度に基づいて、前記パノラマビデオに対応するオブジェクトビデオを生成するステップを含むことが好ましい。

【0012】

各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップは、
各顕著なオブジェクトが連続して追跡されたフレームの数を判断し、前記フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定するステップ；
前記フレームの数が前記設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定するステップを含むことがより好ましい。

【0013】

本発明の実施例の別の観点は、パノラマビデオ編集装置を提供しており、前記装置は、
パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するための画角記録ユニットと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するための画角取得ユニットと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するためのビデオ生成ユニットとを備える。

【0014】

本発明の実施例の別の観点は、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備え、前記プロセッサが前記コンピュータプログラムを実行する際に、上記のような方法のステップを実現するパノラマビデオ編集機器を提供する。

【0015】

本発明の実施例の別の観点は、コンピュータ可読記憶媒体を提供しており、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると、上記のような方法のステップを実現する。

【発明の効果】

【0016】

本発明の実施例では、パノラマカメラで撮影したパノラマビデオを取得した後、パノラマカメラの移動撮影時の進行方向の画角を記録し、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得し、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施例によるパノラマビデオ編集方法の実現フローチャートである。

【図2】本発明の第２の実施例によるパノラマビデオ編集装置の構造模式図である。

【図3】本発明の第３の実施例によるパノラマビデオ編集機器の構造模式図である。

【発明を実施するための形態】

【0018】

以下、本発明の目的、技術手段及び利点をより一層明らかにするように、添付図面及び実施例に基づいて本発明をさらに詳細に説明する。ここで記載された具体的な実施例は、本発明を釈明するためのものだけであり、本発明を限定する意図はないことを理解すべきである。

【0019】

以下、具体的な実施例に基づいて本発明の具体的な実現について詳細に説明する。

【0020】

第１の実施例
図１は、本発明の第１の実施例によるパノラマビデオ編集方法の実現の流れを示している。本発明の実施例によるパノラマビデオ編集方法は計算装置に適用することができ、ここで、計算装置は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットパソコンおよびパノラマカメラであってもよいが、これに限定されるものではない。

【0021】

説明の便宜上、図１は本発明の実施例に関連する部分のみを示しており、詳細は以下のとおりである。

【0022】

ステップＳ１０１では、パノラマカメラで撮影したパノラマビデオを取得し、パノラマカメラの移動撮影時の進行方向の画角を記録する。

【0023】

本発明の実施例は、パノラマカメラで撮影したパノラマビデオを編集するためのパノラマビデオ編集に適用され、パノラマカメラは２つ以上の魚眼レンズからなるものであり、それによって得られたパノラマビデオは元の球面ビデオである。パノラマカメラの撮影時の進行方向の画角を記録する時に、具体的には、パノラマビデオからパノラマカメラの移動撮影時の進行方向を取得し、さらに進行方向の画角に対応するレンズ画像を取得することで、進行方向の画角に対応するレンズ画像でパノラマカメラの進行方向の画角の記録を実現する。

【0024】

ステップＳ１０２では、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得する。

【0025】

本発明の実施例では、予め設定された時間間隔で、取得したパノラマビデオに対してフレーム抽出を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得する時に、以下のステップで実現する。

【0026】

（１）パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出する。

【0027】

本発明の実施例では、パノラマビデオフレームに顕著なオブジェクトを検出する際に、現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別における顕著なオブジェクトが検出された場合、最も顕著な値が大きいオブジェクトを、現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることで、複数の顕著なオブジェクトが検出された場合には、現在検出されているパノラマビデオフレームにおける追跡対象の顕著なオブジェクトが正確に取得されており、現在検出されているパノラマビデオフレームからオブジェクト種別における顕著なオブジェクトが検出されていない場合、現在検出されているパノラマビデオフレームには顕著なオブジェクトが存在しないと確認される。オブジェクト種別は、オブジェクトの検出正確性を更に高めるようにパノラマカメラの予め設定された撮影シーンに基づいて設定することができ、例えば、オブジェクト種別は彫刻類、石碑類、花壇類と象徴的な建物類であってもよく、彫刻類における顕著なオブジェクトには、動物彫刻、植物彫刻、人体彫刻などが有りうる。具体的には、パノラマビデオフレームに顕著なオブジェクトを検出する時に、オブジェクトの検出正確性を高めるとともに、オブジェクトの検出安定性を保証するために、ＦＴ（Ｆｒｅｑｕｅｎｃｙ－ｔｕｎｅｄＳａｌｉｅｎｔＲｅｇｉｏｎＤｅｔｅｃｔｉｏｎ、周波数同調による顕著な領域検出）アルゴリズムやスーパーピクセル畳み込みニューラルネットワーク（例えば、ＡＳｕｐｅｒｐｉｘｅｌｗｉｓｅＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｆｏｒＳａｌｉｅｎｔＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ、顕著なオブジェクト検出に用いられるスーパーピクセル畳み込みニューラルネットワーク）などのアルゴリズムを採用することができるが、これらに限定されない。

【0028】

（２）現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。

【0029】

本発明の実施例では、現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。ここで、オブジェクト追跡アルゴリズムは、ＫＣＦ（Ｈｉｇｈ－ｓｐｅｅｄＴｒａｃｋｉｎｇｗｉｔｈＫｅｒｎｅｌｉｚｅｄＣｏｒｒｅｌａｔｉｏｎｆｉｌｔｅｒｓ、核相関フィルタによる高速追跡）アルゴリズムやＤＳＳＴ（ＡｃｃｕｒａｔｅＳｃａｌｅＥｓｔｉｍａｔｉｏｎｆｏｒＲｏｂｕｓｔＶｉｓｕａｌＴｒａｃｋｉｎｇ、ロバスト視覚追跡に用いられる高精度スケール推定）アルゴリズムなどを採用することができるが、これらに限定されるものではない。

【0030】

具体的には、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する時に、現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の面積と中心座標を取得して、中心座標から現在顕著なオブジェクトの球面視点座標を計算し、球面視点座標から顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することで、顕著なオブジェクトが位置している画角の記録方式を簡素化させ、顕著なオブジェクトが位置している画角の取得正確性を高める。

【0031】

本発明の実施例では、追跡した顕著なオブジェクトが位置している画角を取得する時に、現在顕著なオブジェクトの追跡停止イベントを検出し、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続ける。

【0032】

本発明の実施例では、現在検出されているパノラマビデオフレームの次のパノラマビデオフレームのオブジェクト追跡中に、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続け、すなわち、その次のパノラマビデオフレームに顕著なオブジェクトを検出しており、この時、その次のパノラマビデオフレームが現在検出されているパノラマビデオフレームとなり、このように繰り返すことにより、全てのパノラマビデオフレームに対するオブジェクト検出と追跡が実現される。ここで、追跡停止イベントは、オブジェクト追跡を停止するかどうかを正確に判定するために、現在顕著なオブジェクトが喪失したことまたは追跡枠の面積が予め設定された面積より小さいこととする。

【0033】

ステップＳ１０３では、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成する。

【0034】

本発明の実施例では、抽出したパノラマビデオフレームの進行方向の画角と、顕著なオブジェクトが位置している画角の取得または記録ができた後、パノラマビデオに対応するオブジェクトビデオを生成するためにパノラマビデオフレームをトラバースして、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合に、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を設定し、パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定して編集し、レンズ画像の再生速度を設定しており、編集されたレンズ画像と設定された対応する再生速度に基づいて、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。ここで、オブジェクトビデオは単一画角ビデオまたは平面ビデオである。

【0035】

好ましくは、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定することで、ユーザの興味のあるコンテンツに素早く定位し、パノラマビデオの再生コンテンツの有効性と面白さを向上させる。

【0036】

オブジェクトビデオの再生時の滑らかさや、コンテンツの有効性と面白さをさらに向上するために、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける対応する画角のレンズ画像を特定して編集し、前記レンズ画像の再生速度を設定する時に、好ましくは、各顕著なオブジェクトが連続して追跡されたフレームの数を判断し、フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、フレームの数が設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像を編集し、レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定する。第１の期間、第２の期間および第３の期間は、顕著なオブジェクトが連続的に追跡されたフレームの数に対応する期間の一部である。好ましくは、第１の期間、第２の期間および第３の期間は、パノラマビデオの再生コンテンツの有効性と面白さを向上するために、いずれも顕著なオブジェクトが連続的に追跡されたフレームの数に対応する期間の１／３とする。

【0037】

第２の実施例
図２は本発明の第２の実施例によるパノラマビデオ編集装置の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示している。

【0038】

本発明の実施例において、パノラマビデオ編集装置は、画角記録ユニット２１、画角取得ユニット２２およびビデオ生成ユニット２３を備え、詳細は以下のとおりである。

【0039】

画角記録ユニット２１は、パノラマカメラで撮影したパノラマビデオを取得し、パノラマカメラの移動撮影時の進行方向の画角を記録するためのものである。

【0040】

本発明の実施例において、画角記録ユニット２１はパノラマカメラの移動撮影時の進行方向の画角を記録するときに、具体的には、パノラマビデオからパノラマカメラの移動撮影時の進行方向を取得し、さらに進行方向の画角に対応するレンズ画像を取得することで、進行方向の画角に対応するレンズ画像でパノラマカメラの進行方向の画角の記録を実現する。

【0041】

画角取得ユニット２２は、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得するためのものである。

【0042】

【0043】

【0044】

本発明の実施例では、パノラマビデオフレームに顕著なオブジェクトを検出する時に、現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別における顕著なオブジェクトが検出された場合、最も顕著な値が大きいオブジェクトを、現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることで、複数の顕著なオブジェクトが検出された場合には、現在検出されているパノラマビデオフレームにおける追跡対象の顕著なオブジェクトが正確に取得されており、現在検出されているパノラマビデオフレームからオブジェクト種別における顕著なオブジェクトが検出されていない場合、現在検出されているパノラマビデオフレームには顕著なオブジェクトが存在しないと確認される。オブジェクト種別は、オブジェクトの検出正確性を更に高めるようにパノラマカメラの予め設定された撮影シーンに基づいて設定することができる。

【0045】

【0046】

本発明の実施例では、現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。具体的には、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する時に、現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の面積と中心座標を取得して、中心座標から現在顕著なオブジェクトの球面視点座標を計算し、球面視点座標から顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することで、顕著なオブジェクトが位置している画角の記録方式を簡素化させる。

【0047】

【0048】

本発明の実施例では、現在検出されているパノラマビデオフレームの次のパノラマビデオフレームのオブジェクト追跡中に、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続け、すなわち、その次のパノラマビデオフレームに顕著なオブジェクトを検出しており、この時、その次のパノラマビデオフレームが現在検出されているパノラマビデオフレームとなり、このように繰り返すことにより、全てのパノラマビデオフレームに対してオブジェクト検出と追跡を行うようになる。ここで、追跡停止イベントは、オブジェクト追跡を停止するかどうかを正確に判定するために、現在顕著なオブジェクトが喪失したことまたは追跡枠の面積が予め設定された面積より小さいこととする。

【0049】

ビデオ生成ユニット２３は、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成する。

【0050】

【0051】

【0052】

【0053】

本発明の実施例において、パノラマビデオ編集装置の各ユニットは、対応するハードウェアユニットまたはソフトウェアユニットで実現することができ、各ユニットは独立したソフトウェアユニットやハードウェアユニットであっても良いし、一つのソフトウェアユニットやハードウェアユニットに統合されてもよいが、ここで本発明を限定する意図はない。

【0054】

第３の実施例
図３は本発明の第３の実施例によるパノラマビデオ編集機器の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示している。

【0055】

本発明の実施例におけるパノラマビデオ編集機器３は、プロセッサ３０と、メモリ３１と、メモリ３１に記憶され、プロセッサ３０で動作可能なコンピュータプログラム３２とを備える。このプロセッサ３０はコンピュータプログラム３２を実行する際に、上述したパノラマビデオ編集方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０３を実現する。あるいは、プロセッサ３０はコンピュータプログラム３２を実行する際に、上述した装置の実施例における各ユニットの機能、例えば、図２に示すユニット２１～２３の機能を実現する。

【0056】

【0057】

本発明の実施例におけるパノラマビデオ編集機器は、スマートフォン、パーソナルコンピュータ、またはパノラマカメラ自体などであってもよい。このパノラマビデオ編集機器３におけるプロセッサ３０がコンピュータプログラム３２を実行する際にパノラマビデオ編集方法を実現する場合に実現されるステップについては、上記方法の実施例の記載を参照してもよいので、ここでは贅言しない。

【0058】

第４の実施例
本発明の実施例では、コンピュータ可読記憶媒体を提供しており、このコンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサに実行されると、上述したパノラマビデオ編集方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０３を実現する。あるいは、このコンピュータプログラムがプロセッサに実行されると、上述した装置の実施例における各ユニットの機能、例えば、図２に示すユニット２１～２３の機能を実現する。

【0059】

【0060】

本発明の実施例におけるコンピュータ可読記憶媒体は、例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク、フラッシュメモリなどのようなコンピュータプログラムコードを保持可能な任意のエンティティまたは装置、記憶媒体を含んでも良い。

【0061】

以上に述べたのは本発明の好ましい実施例に過ぎず、それによって本発明を限定するものではなく、本発明の精神と原則の範囲内でなされたいかなる修正、等価置換および改良などは、いずれも本発明の保護範囲に含まれるべきである。

【図1】