特許 7048764 パノラマビデオのターゲット追跡方法及びパノラマカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-28

(45)【発行日】2022-04-05

(54)【発明の名称】パノラマビデオのターゲット追跡方法及びパノラマカメラ

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220329BHJP

   H04N 7/18 20060101ALI20220329BHJP

   H04N 5/232 20060101ALI20220329BHJP

【ＦＩ】

G06T7/70 Z

H04N7/18 G

H04N5/232 380

H04N5/232 960

H04N5/232 990

H04N5/232 290

【請求項の数】 11

(21)【出願番号】P 2020565936

(86)(22)【出願日】2019-05-16

(65)【公表番号】

(43)【公表日】2021-10-14

(86)【国際出願番号】 CN2019087274

(87)【国際公開番号】W WO2019228196

(87)【国際公開日】2019-12-05

【審査請求日】2021-01-25

(31)【優先権主張番号】201810541553.6

(32)【優先日】2018-05-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】520159673

【氏名又は名称】影石創新科技股▲ふん▼有限公司

【氏名又は名称原語表記】ＡＲＡＳＨＩ ＶＩＳＩＯＮ ＩＮＣ．

【住所又は居所原語表記】Ｒｏｏｍ １１０１， １１０２， １１０３， １１ｔｈ Ｆｌｏｏｒ， Ｂｕｉｌｄｉｎｇ ２， Ｊｉｎｌｉｔｏｎｇ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ， １１００ Ｘｉｎｇｙｅ Ｒｏａｄ， Ｈａｉｗａｎｇ Ｃｏｍｍｕｎｉｔｙ， Ｘｉｎ’ａｎ Ｓｔｒｅｅｔ， Ｂａｏ’ａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】蔡 錦霖

(72)【発明者】

【氏名】姜 文杰

(72)【発明者】

【氏名】陳 聡

【審査官】鈴木 明

(56)【参考文献】

【文献】特開２００８－２４５３０８（ＪＰ，Ａ）

【文献】国際公開第２０１７／１６９３６９（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０７３１５９９２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７４５２０２２（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７５０７２３０（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７８６２７０４（ＣＮ，Ａ）

【文献】中国特許出願公開第１０７０９３１８８（ＣＮ，Ａ）

【文献】中国特許出願公開第１０６９９１７０４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

パノラマビデオのターゲット追跡方法であって、前記方法は、
球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む、
ことを特徴とする方法。

【請求項2】

前記新しいビデオフレームを取得した後、前記方法は、
カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にするS２０５、を更に含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

S２０１は、具体的には、
球面座標系における追跡ターゲットの位置とスケールを初期化するS２０１１と、
電子雲台によって追跡ターゲットが位置する視角に仮想カメラを回転させ、

初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換するS２０１３と、
電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信するS２０１４と、
電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算するS２０１５と、を含む、
ことを特徴とする請求項１又は請求項２に記載の方法。

【請求項4】

S２０２は、具体的には、
追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングするS２０２１と、

【請求項5】

【請求項6】

【請求項7】

【請求項8】

【請求項9】

【請求項10】

コンピュータ読み取り可能な記録媒体であって、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、請求項１～９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。

【請求項11】

１つ又は複数のプロセッサーと、
記憶装置と、及び、
１つ又は複数のプログラムと、を含むパノラマカメラであって、
前記プロセッサーは、前記プログラムを実行する場合、請求項１～９の何れかに記載のパノラマビデオのターゲット追跡方法のステップを実現する、
ことを特徴とするパノラマカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パノラマカメラの分野に属し、特に、パノラマビデオのターゲット追跡方法及びパノラマカメラに関する。

【背景技術】

【0002】

ターゲット追跡は、コンピュータビジョン研究における古典的な問題であり、コンピュータやビデオカメラなどが、あるアルゴリズムによってターゲットを追跡し位置決めするとともに、ターゲットの位置と動きによって対応する戦略を採用するものである。近年、ターゲット追跡は、ビデオ監視、ビデオエンコーディング、及び軍事工学などのさまざまな分野に広範に適用されている。従来技術のパノラマカメラは、周囲の３６０°ビデオ情報を撮影することができる。例えば、出願公開番号CN107315992Aに公開された「電子雲台に基づく追跡方法及び装置」のように、パノラマビデオにターゲット追跡することを実現できる技術的手段も幾つかある。ところが、当該方法は、特徴点に基づく追跡であり、テクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができない。

【発明の概要】

【0003】

本発明の目的は、パノラマビデオのターゲット追跡方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラを提供することであり、従来技術のパノラマカメラはテクスチャ領域が単色で、特徴点が豊富でないシーンを追跡することができないという問題を解決することを目的とする。

【発明が解決しようとする課題】

【0004】

第１の態様では、本発明は、パノラマビデオのターゲット追跡方法を提供し、前記方法は、
球面座標系における追跡ターゲットの位置とスケール（scale）を初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像にマッピングするS２０１と、
電子雲台の現在の視角画像にマルチスケール（multi-scale）関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得するS２０２と、
新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングするS２０３と、
パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、次に、その後S２０１に戻り、パノラマビデオが終了するまでに行うS２０４と、を含む。

【0005】

第２の態様では、本発明は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。

【0006】

第３の態様では、本発明は、パノラマカメラを提供し、前記パノラマカメラは、
１つ又は複数のプロセッサーと、
記憶装置と、及び、
１つ又は複数のプログラムと、を含むパノラマカメラであって、前記プロセッサーは、前記プログラムを実行する場合、上記のパノラマビデオのターゲット追跡方法のステップを実現する。

【発明の効果】

【0007】

本発明では、マルチスケール相関フィルタに基づいているので、パノラマビデオのターゲットを追跡するために、追跡のロバスト性がより高く、より多くの追跡シーンに適応でき、処理速度もより速い。また、自動電子雲台技術によって、追跡ターゲットを常に画面の中心に位置させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法のフローチャートである。

【図2】図２は、本発明の第３の実施例によって提供されるパノラマカメラの構造図である。

【発明を実施するための形態】

【0009】

本発明の目的、技術的解決策、及び有益な効果をより明確にさせるために、以下、図面及び実施例を参照して、本発明を更に詳細に説明する。ここで説明する具体的な実施例は、本発明を解釈するためにのみ使用され、本発明を限定するものではないことを理解されたい。

【0010】

本発明に記載される技術的解決策を説明するために、以下、具体的な実施例によって説明する。

【0011】

第１の実施例：
図１を参照すると、本発明の第１の実施例によって提供されるパノラマビデオのターゲット追跡方法は、以下のステップを含む。留意する必要があるのは、実質的に結果が同じであれば、本発明のパノラマビデオのターゲット追跡方法は、図１に示すステップの順に限定されないことである。

【0012】

S２０１：球面座標系における追跡ターゲットの位置とスケールを初期化し、電子雲台のパラメータを計算し、パノラマ画像を電子雲台の現在の視角画像、即ち、現在の局部の透視図にマッピングする。

【0013】

S２０２：電子雲台の現在の視角画像にマルチスケール関連フィルタに基づいて、ターゲットを追跡し、新しい追跡ターゲットの位置とスケールを取得する。

【0014】

S２０３：新しい追跡ターゲットの位置をパノラマ球面方位座標にマッピングする。

【0015】

S２０４：パノラマ球面方位座標とスケールに従って電子雲台のパラメータを計算し、電子雲台の現在の視角画像にマッピングし、新しいビデオフレームを取得し、その後S２０１に戻り、パノラマビデオが終了するまでに行う。

【0016】

本発明の第１の実施例において、新しいビデオフレームを取得した後、前記方法は、以下のステップを更に含む。

【0017】

S２０５：カルマンフィルタを用いてビデオフレームの中心の座標点を平滑化し、出力するパノラマビデオをより安定にする。

【0018】

本発明の第１の実施例において、S２０１は、具体的には、以下のステップを更に含むことができる。

【0019】

S２０１１：球面座標系における追跡ターゲットの位置とスケールを初期化する。

【0020】

【0021】

電子雲台技術は、プログラム設定によって、ビデオカメラ内部でレンズの視角とズームを制御する技術である。電子雲台技術は、PTZカメラをシミュレートすることができ、カメラの左右移動、上下傾斜、及びズームを実現する。電子雲台技術は、追跡位置でカメラ運動の平滑化と予測を含む。

【0022】

S２０１３：初期電子雲台のパラメータによってパノラマ画像を再投影して電子雲台の現在の視角画像に変換する。

【0023】

本発明の第１の実施例において、S２０１３は、具体的には、以下のようであってもよい。

【0024】

【0025】

S２０１４：電子雲台の現在の視角画像において、ユーザが手動で選択する追跡ターゲットの位置を受信する。

【0026】

【0027】

S２０１５：電子雲台の現在の視角画像における追跡ターゲットの位置によって球面座標系における追跡ターゲットの位置とスケールを計算する。

【0028】

本発明の第１の実施例において、S２０１５は、具体的には、以下のようであってもよい。

【0029】

【0030】

本発明の第１の実施例において、S２０２は、具体的には、以下のステップを含み得る。

【0031】

S２０２１：追跡ターゲットの隣接領域では、追跡ターゲットを平行移動する矩形フレームを選択して、予定数量のトレーニングサンプルとし、これにより、位置追跡モデルをトレーニングする。

【0032】

本発明の第１の実施例において、S２０２１は、具体的には、以下のステップを含み得る。

【0033】

【0034】

【0035】

【0036】

本発明の第１の実施例において、S２０２２は、具体的には、以下のステップを含み得る。

【0037】

【0038】

【0039】

S２０２３：電子雲台の現在の出力する位置とスケール、及び位置追跡モデルのパラメータによって追跡ターゲットの平行移動位置を予測する。

【0040】

本発明の第１の実施例において、S２０２３は、具体的には、以下のステップを含み得る。

【0041】

【0042】

【0043】

S２０２４：スケール変化によって、追跡ターゲットが置かれる矩形フレームのサイズを拡大又は縮小して、追跡モデルのトレーニングサンプルを取得し、S２０２１ ～ S２０２３を繰り返して相関フィルタのスケールを取得する。

【0044】

本発明の第１の実施例において、S２０２４は、具体的には、以下のステップを含み得る。

【0045】

【0046】

【0047】

【0048】

【0049】

【0050】

【0051】

第２の実施例：
本発明の第２の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体にプログラムが記憶され、前記プログラムは、プロセッサーによって実行される場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。

【0052】

第３の実施例：
図２は、本発明の第３の実施例に提供されたパノラマカメラの構造図を示す。1つのパノラマカメラ１００は、１つ又は複数のプロセッサー１０１、記憶装置１０２、及び１つ又は複数のプログラムを含む。前記プロセッサー１０１と前記記憶装置１０２は、バスによって電気的に接続される。前記１つ又は複数のプログラムは、前記記憶装置１０２に記憶され、且つ、前記１つ又は複数のプロセッサー１０１によって実行されるように配置される。前記プロセッサー１０１は、前記プログラムを実行する場合、本発明の第１の実施例で提供されるようなパノラマビデオのターゲット追跡方法のステップを実現する。

【0053】

本発明では、パノラマビデオのターゲットを追跡するためにマルチスケール相関フィルタに基づいているので、追跡のロバスト性がより高く、より多くの追跡シーンに対応でき、処理速度も速い。また、自動電子雲台技術により、追跡ターゲットを常に画面の中心に位置させることができる。

【0054】

当業者であれば、上記の実施例に記載された方法の全て又は一部のステップが、プログラムによって関連するハードウェアを命令して完了できることを理解することができる。当該プログラムは、コンピュータ読み取り可能な記録媒体に記憶することができ、記憶媒体は、ROM/RAM、磁気ディスク、又は光ディスクを含むことができる。

【0055】

上記は、本発明の好ましい実施例に過ぎず、本発明を制限するものではない。本発明の精神と原則を逸脱することなく行われる、いかなる修正、同等の変更及び改善なども、本発明の保護範囲内に属するべきである。

【図1】

【図2】