▶ 浙江吉利控股集団有限公司の特許一覧 ▶ ジーリー オートモービル リサーチ インスティテュート（ニンボー） カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-21
(54)【発明の名称】ビデオ画像処理方法、装置、機器及び記憶媒体
(51)【国際特許分類】
G06T 1/00 20060101AFI20240313BHJP
G06T 7/70 20170101ALI20240313BHJP
G06T 7/13 20170101ALI20240313BHJP
G06T 7/11 20170101ALI20240313BHJP
G06T 7/00 20170101ALI20240313BHJP
【ＦＩ】
G06T1/00 500A
G06T7/70 A
G06T7/13
G06T7/11
G06T7/00 350C
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023560483
(86)(22)【出願日】2021-03-31
(85)【翻訳文提出日】2023-09-29
(86)【国際出願番号】 CN2021084497
(87)【国際公開番号】W WO2022205108
(87)【国際公開日】2022-10-06
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＷＩＮＤＯＷＳ
２．ＭＡＣ ＯＳ
(71)【出願人】
【識別番号】507362513
【氏名又は名称】浙江吉利控股集団有限公司
【氏名又は名称原語表記】ＺＨＥＪＩＡＮＧ ＧＥＥＬＹ ＨＯＬＤＩＮＧ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】１７６０ Ｊｉａｎｇｌｉｎｇ Ｒｏａｄ， Ｂｉｎｊｉａｎｇ Ｄｉｓｔｒｉｃｔ， Ｈａｎｇｚｈｏｕ Ｚｈｅｊｉａｎｇ３１００００， Ｃｈｉｎａ
(71)【出願人】
【識別番号】523180023
【氏名又は名称】ジーリー オートモービル リサーチ インスティテュート（ニンボー） カンパニー リミテッド
(74)【代理人】
【識別番号】100104329
【弁理士】
【氏名又は名称】原田 卓治
(74)【代理人】
【識別番号】100175019
【弁理士】
【氏名又は名称】白井 健朗
(74)【代理人】
【識別番号】100195648
【弁理士】
【氏名又は名称】小林 悠太
(72)【発明者】
【氏名】ジン、チェン
(72)【発明者】
【氏名】ルー、ホンシー
(72)【発明者】
【氏名】リー、ネン
(72)【発明者】
【氏名】リー、グオチン
(72)【発明者】
【氏名】リー、シャンヤン
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CE05
5B057CE08
5B057DA07
5B057DA08
5B057DA12
5B057DB02
5B057DB09
5B057DC40
5L096AA02
5L096AA06
5L096BA04
5L096CA04
5L096DA01
5L096EA06
5L096FA06
5L096HA09
(57)【要約】
ビデオ画像処理方法、装置、機器及び記憶媒体であって、前記方法は、処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップＳ１０１と、前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップＳ１０３と、所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップＳ１０５と、前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップＳ１０７と、を含み、前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
ビデオ画像処理方法であって、処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理方法。
【請求項2】
前記した、前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップは、前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るステップを含む
ことを特徴とする請求項１に記載のビデオ画像処理方法。
【請求項3】
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、前記した、所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するステップと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップと、を含む
ことを特徴とする請求項２に記載のビデオ画像処理方法。
【請求項4】
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、前記した、前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るステップと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するステップと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、を含む
ことを特徴とする請求項３に記載のビデオ画像処理方法。
【請求項5】
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、前記した、前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、前記第２の目標フレームビデオ画像を得るステップは、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るステップと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するステップと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、含む
ことを特徴とする請求項３に記載のビデオ画像処理方法。
【請求項6】
前記第１の所定条件が第２の所定条件を含む場合、前記した、前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップの後、前記方法は、さらに、前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす第１の処理待ち目標物を第２の処理待ち目標物とするステップを含み、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップの後、前記方法は、さらに、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するステップと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るステップと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むステップと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するステップと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するステップと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるステップと、を含む
ことを特徴とする請求項３に記載のビデオ画像処理方法。
【請求項7】
ビデオ画像処理装置であって、処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュールと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュールと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュールと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュールと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理装置。
【請求項8】
前記目標検出モジュールは、前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るための第１の目標検出結果ユニットを含む
ことを特徴とする請求項７に記載のビデオ画像処理装置。
【請求項9】
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、前記目標分類モジュールは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するための第１の影響因子ユニットと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするための第１の処理待ち目標物ユニットと、を含む
ことを特徴とする請求項８に記載のビデオ画像処理装置。
【請求項10】
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、前記目標代替モジュールは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るための第１の目標分割ユニットと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するための第１の所定の目標代替物確定ユニットと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第１の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第１のエッジ輪郭処理ユニットと、を含む
ことを特徴とする請求項９に記載のビデオ画像処理装置。
【請求項11】
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、前記目標代替モジュールは、さらに、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るための第２の目標分割ユニットと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するための第２の所定の目標代替物確定ユニットと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第２の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第２のエッジ輪郭処理ユニットと、を含む
ことを特徴とする請求項９に記載のビデオ画像処理装置。
【請求項12】
前記第１の所定条件が第２の所定条件を含む場合、前記装置は、さらに、前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とするための第２の処理待ち目標物ユニットと、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するための次のフレームのビデオ画像取得ユニットと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るための第２の目標検出結果ユニットと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むための第２の位置情報ユニットと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するための第２の影響因子ユニットと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するための第１の所定条件判定ユニットと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるための第２の処理待ち目標物置換ユニットと、を含む
ことを特徴とする請求項９に記載のビデオ画像処理装置。
【請求項13】
ビデオ画像処理機器であって、プロセッサおよびメモリを含み、
前記メモリには、請求項１から６のいずれか１項に記載のビデオ画像処理方法を実現するために前記プロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするビデオ画像処理機器。
【請求項14】
コンピュータ読み取り可能な記憶媒体であって、前記記憶媒体には、請求項１から６のいずれか１項に記載のビデオ画像処理方法を実現するためにプロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、画像処理の技術分野に関し、特に、ビデオ画像処理方法、装置、機器及び記憶媒体に関する。
【背景技術】
【0002】
現在、セキュリティ、医療、自動車などの業種では視覚感知または視覚モニタリングに基づいて関連情報の伝達および処理を行う。例えば、自動車業界では車端カメラを利用した環境感知・データ融合・遠隔運転などが可能で、道路カメラを利用した路面モニタリング・交通流制御などが可能である。しかし、現在のネットワーク通信の技術的限界により、マルチチャンネルのビデオデータを遠隔伝送またはリアルタイム伝送する場合、チャンネルの過負荷、伝送速度の遅延が高すぎる、ビデオコーデックの時間が長すぎるなどの問題がある。情報を受信する主体が実際のビデオデータに対する要求が高くない場合、現在、主流の解決策は、伝送前にすべての関連目標物をアニメーションやカラーブロックに変換してから送信し、不要な情報が伝送速度に与える影響を低減することである。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、ビデオ画面中の元目標物を動画やカラーブロックなどの目標代替物に完全に変換すると、元目標物と目標代替物との識別効果の差により、有効な情報の伝達が低下することで、情報を受信する主体が重要な情報を誤認識したり、認識漏れしたりして運転リスクを増加させることができるため、より効果的な技術案を提供する必要がある。
【0004】
本出願は、従来技術の課題を解決するために、ビデオ画像処理方法、装置、機器および記憶媒体を提供する。
【課題を解決するための手段】
【0005】
前記技術案は以下の通りである。
本出願の一態様によれば、ビデオ画像処理方法が提供される。前記方法は、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい。
本出願の一態様によれば、ビデオ画像処理方法が提供される。前記方法は、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい。
【0006】
本出願の他の態様によれば、ビデオ画像処理装置が提供される。前記装置は、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュールと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュールと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュールと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュールと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい。
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュールと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュールと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュールと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュールと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい。
【0007】
本出願の他の態様によれば、ビデオ画像処理機器が提供される。前記機器は、プロセッサおよびメモリを含み、前記メモリには、上述したようなビデオ画像処理方法を実現するために前記プロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている。
【0008】
本出願の他の態様によれば、コンピュータ読み取り可能な記憶媒体が提供される。前記記憶媒体には、上述したようなビデオ画像処理方法を実現するためにプロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている。
【発明の効果】
【0009】
本出願に係るビデオ画像処理方法、装置、機器及び記憶媒体は、以下のような技術的効果を有する。
【0010】
本出願に係る技術案は、ビデオ画面に対して目標検出および分類を行い、すべての目標物における重要な目標物を保留するとともに、他の目標物をデータ量の小さい代替物に変換し、比較的短い遅延時間内で両者を結合して出力することで、ビデオの実際の出力効果に影響を与えずに情報の正確かつタイムリーな伝達が可能となる一方で、ビデオのデータ量を減少させてビデオの伝送速度を向上させ、ビデオの伝送遅延を低減させるものである。
【図面の簡単な説明】
【0011】
本出願の実施例または従来技術における技術案および利点をより明確に説明するために、以下では、実施例または従来技術の説明に必要な添付図面を簡単に説明する。以下の説明における添付図面は本出願のいくつかの実施例に過ぎず、創造的な労力を行うことなく、これらの添付図面から他の添付図面を得ることは当業者にとって明らかである。
【0012】
【図1】本出願の実施例に係るビデオ画像処理方法の流れを示す模式図である。
【図2】本出願の実施例に係る処理待ち目標物確定方法の流れを示す模式図である。
【図3】本出願の実施例に係る処理待ち目標物を所定の目標代替物に置き換える流れを示す模式図である。
【図4】本出願の実施例に係る他の処理待ち目標物を所定の目標代替物に置き換える流れを示す模式図である。
【図5】本出願の実施例に係る第２の処理待ち目標物を追跡する流れを示す模式図である。
【図6】本出願の実施例に係るビデオ画像処理装置の模式図である。
【図7】本出願の実施例に係る目標分類モジュール装置の模式図である。
【図8】本出願の実施例に係る目標代替モジュールの模式図である。
【図9】本出願の実施例に係る他の目標代替モジュールの模式図である。
【図10】本出願の実施例に係るビデオ画像処理サーバのハードウェア構成ブロック図である。
【発明を実施するための形態】
【0013】
以下、本出願の実施例における技術案について、本出願の実施例における添付図面を参照して明確かつ完全に説明するが、記載された実施例は本出願の一部の実施例に過ぎず、全ての実施例ではないことは明らかである。本出願における実施例に基づき、当業者が創造的な労力を行うことなく得たすべての他の実施例は、本出願の保護範囲に含まれる。
【0014】
なお、本出願の明細書と特許請求の範囲及びに上記の添付図面における用語「第１」、「第２」等は、特定の順序又は優先順位を記載することなく類似の対象を区分するためのものである。このようにして使用されるデータは、ここで説明した本出願の実施例が、ここで図示または説明するもの以外の順序で実施できるように、適切な場合にはリアルタイムに交換され得ることを理解されたい。また、用語「包含」と「具有」およびこれらの任意の変形は、排他的でない包含を覆うことを意図しており、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品またはサーバが明確に列挙されているそれらのステップまたはユニットに限定されるものではなく、明確に列挙されていないまたはこれらのプロセス、方法、製品または装置に固有する他のステップまたはユニットを含んでいてもよい。
【0015】
以下、本出願の実施例に係る車両プレ警報方法を説明する。図１は本出願の実施例に係るビデオ画像処理方法の流れを示す模式図である。なお、本明細書では、実施例またはフローチャートに記載された方法の動作ステップを提供しているが、通常または非創造的な労力に基づき、より多いまたはより少ない動作ステップを含むことが可能である。実施例で挙げたステップ順序は、複数のステップの実行順序のうちの１つに過ぎず、一意の実行順序を意味するものではない。実際のシステムまたは製品の実行時には、実施例または添付図面に示される方法に従って順次実行または並列実行することが可能である（例えば、並列プロセッサやマルチスレッド処理の環境）。具体的には、図１に示すように、上記の方法は、ステップＳ１０１～Ｓ１０７を含む。
【0016】
ステップＳ１０１において、処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得する。
【0017】
本明細書の実施例において、具体的には、上記処理待ちの複数フレームのビデオ画像は、ビデオデータにおける複数フレームのビデオ画像であってもよく、上記ビデオデータは車載カメラによって取得された視覚感知または視覚モニタリング用の車端リアルタイムビデオデータを含んでもよく、上記第１の目標フレームビデオ画像は、現車両の複数フレームの車端リアルタイムビデオ画像におけるいずれかのフレームのリアルタイムビデオ画像であってもよい。
【0018】
ステップＳ１０３において、上記第１の目標フレームビデオ画像に対して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定する。
【0019】
本明細書の実施例では、上記した、上記第１の目標フレームビデオ画像に対して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップは、
上記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るステップを含む。
上記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るステップを含む。
【0020】
具体的な一実施例では、上記目標検出モデルは、目標物ラベルが付けられたサンプルビデオ画像に基づき、所定の機械学習モデルを検出訓練した後に得ることができ、具体的に、上記目標検出モデルの訓練方法は、以下のような（１）～（３）を含む。
【0021】
（１）目標物ラベルが付けられたサンプル車端ビデオ画像を取得する。
【0022】
実際の応用においては、ニューラルネットワーク機械学習を行う前に、事前に訓練データを確定してもよく、具体的に、本明細書の実施例では、目標物ラベルが付けられたサンプルビデオ画像を訓練データとして取得してもよい。
【0023】
具体的には、上記サンプル車端ビデオ画像は、相応する目標物を含む車端ビデオ画像を含んでいてもよい。上記目標物ラベルは、相応する目標物の識別子として使用できる。上記目標物は、車端ビデオ画像の実際の感知需要またはモニタリング需要に関連する目標物であってもよく、具体的には、上記目標物は、路側建物、路側設備、歩行者、車両を含み得るが、これらに限定されない。
【0024】
（２）上記サンプルビデオ画像に基づき、所定の機械学習モデルを用いて目標検出訓練を行い、目標検出訓練中に上記所定の機械学習モデルから出力される目標検出結果と上記目標物ラベルがマッチングするまで上記所定の機械学習モデルのモデルパラメータを調整する。
【0025】
具体的には、所定の機械学習モデルは、ニューラルネットワーク機械学習モデルを含むが、これらに限定されるものではなく、上記モデルパラメータは訓練過程において学習されたモデルパラメータ（重み）を含んでもよく、上記目標検出結果はサンプルビデオ画像中の目標物を含む。
【0026】
（３）現在のモデルパラメータに対応する機械学習モデルを上記目標検出モデルとする。
【0027】
以上の本明細書の実施例から分かるように、本実施例は、目標物ラベルが付けられたサンプル車端ビデオ画像を訓練データとしており、機械学習により訓練された目標検出モデルは、訓練データと同じタイプの車端ビデオ画像の目標物ラベルを検出することが可能である。
【0028】
本明細書の実施例において、上記第１の目標検出結果は、上記少なくとも１つの目標物のタイプ情報、第１の位置情報および第１の物理属性情報を更に含んでいてもよい。
【0029】
具体的には、目標検出モデルの訓練過程において、目標物ラベルは、目標物のタイプ情報、位置情報および物理属性情報を更に含むことができ、この目標物ラベルが付けられたサンプル車端ビデオ画像を介して目標検出モデルを訓練することにより、目標検出モデルの目標検出結果が目標物のタイプ情報、位置情報および物理属性情報を含むことも可能である。
【0030】
具体的には、タイプ情報は、目標物の基本分類カテゴリを特徴付けるものであり、タイプ情報としては、建物、街灯、信号灯、樹木、歩行者、車両を含み得るが、これらに限定されない。位置情報は、現在の車両に対するビデオ画像中の目標物の位置情報を特徴付けるものであり、第１の位置情報は、第１の目標フレームビデオ画像中の目標物の位置情報であってもよい。物理属性情報は、ビデオ画像中の目標物の物理属性を特徴付けるものであり、物理属性情報は、輪郭特徴情報を含み得るが、これに限定されるものではなく、第１の物理属性情報は、第１の目標フレームビデオ画像中の目標物の物理属性情報であってもよい。
【0031】
ステップＳ１０５において、所定の処理待ち目標物分類ルールに基づき、上記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定する。
【0032】
本明細書の実施例において、上記第１の処理待ち目標物は、第１の目標フレームビデオ画像における現車両の走行経路に関係ない又は弱相関する目標物であってもよい。
【0033】
【0034】
ステップＳ２０１において、上記各目標物の第１の位置情報及びタイプ情報に基づき、上記各目標物に対応する第１の影響因子を確定する。
【0035】
具体的には、影響因子は、現ビデオ画像における目標物の位置情報及びタイプ情報が現車両の走行経路に与える影響の度合いを特徴付けるものであり、一般に、影響因子が大きいほど影響の度合いが高くなる。本明細書の実施例では、大量のサンプル目標物の位置情報とタイプ情報と対応する所定の影響因子とに基づいて帰納的に総括して影響因子アルゴリズムを得ることができる。影響因子アルゴリズムにより、目標物の位置情報とタイプ情報とを分析し、目標物の影響因子を得る。
【0036】
本明細書の実施例では、上記第１の影響因子は、第１の目標フレームビデオ画像における影響因子であってもよい。
【0037】
ステップＳ２０３において、上記少なくとも一つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を上記第１の処理待ち目標物とする。
【0038】
具体的には、本明細書の実施例において、影響因子は、無相関、弱相関および強相関を含みうるが、これらに限定されるものではない。実際の監視需要および車両の安全プレ警報需要に基づき、影響因子が無相関または弱相関であることを上記第１の所定条件として設定する。本明細書の実施例において、上記第１の処理待ち目標物は、第１の影響因子が無相関または弱相関である目標物であってもよい。
【0039】
実際の応用において、上記第１の処理待ち目標物は、車両計画経路又は実走行経路に相関しない固定目標物及び相関度が小さい静的又は動的な目標物であってもよく、具体的には、上記第１の処理待ち目標物は、建物、街灯、信号灯、道路縁、道路縁における歩行者、路側に駐車された車両を含み得るが、これらに限定されない。
【0040】
ステップＳ１０７では、上記第１の目標フレームビデオ画像において、上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得る。ここで、上記所定の目標代替物のデータ量は、上記第１の処理待ち目標物のデータ量よりも小さい。
【0041】
具体的には、上記所定の目標代替物は、上記第１の処理待ち目標物のタイプ情報及び物理属性情報とマッチングする予め設置された目標代替物であってもよく、上記所定の目標代替物のデータ量は、上記第１の処理待ち目標物のデータ量よりも小さい。
【0042】
選択可能な一実施例では、図３に示すように、上記した、上記第１の目標フレームビデオ画像において、上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップは、ステップＳ３０１～Ｓ３０５を含む。
【0043】
ステップＳ３０１において、上記第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記第１の処理待ち目標物を意味分割（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）し、上記第１の処理待ち目標物に対応する分割領域を得る。
【0044】
実際の応用において、意味分割は、ビデオ画像における各画素に対していずれも対応するカテゴリを区分すること、すなわち画素レベルの分類を実現することになる。
【0045】
具体的には、第１の処理待ち目標物の第１の位置情報に基づき、第１の目標フレームビデオ画像において第１の処理待ち目標物を意味分割し、第１の処理待ち目標物の元画素画像が位置する領域を確定し、第１の処理待ち目標物の元画素画像が位置する領域を第１の処理待ち目標物に対応する分割領域とする。
【0046】
ステップＳ３０３において、上記第１の処理待ち目標物のタイプ情報と第１の物理属性情報とに基づき、上記第１の処理待ち目標物に対応する所定の目標代替物を確定する。
【0047】
具体的には、第１の処理待ち目標物のタイプ情報および第１の物理属性情報とマッチングする所定の目標代替物を確定し、すなわち、所定の目標代替物によって第１の処理待ち目標物のタイプ情報および第１の物理属性情報の識別が可能である。上記所定の目標代替物は、データ量が少ない動画アニメーションまたはカラーブロックを含むことができるが、これらに限定されない。
【0048】
ステップＳ３０５において、上記対応する分割領域において、上記第１の処理待ち目標物を上記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得る。
【0049】
具体的には、第１の目標フレームビデオ画像に対応する分割領域において、第１の処理目標物を所定の動画アニメーションまたはカラーブロックに置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得て、置き換え後の第１の目標フレームビデオ画像のデータ量は第１の目標フレームビデオ画像のデータ量よりも小さい。
【0050】
ステップＳ３０７において、上記置き換え後の第１の目標フレームビデオ画像において、上記対応する分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得る。
【0051】
実際の応用において、分割領域のエッジ輪郭が比較的シャープであり、所定の目標代替物の輪郭と分割領域のエッジ輪郭とを完全に重ね合わせない場合があるため、エッジ輪郭をぼかし平滑化するエッジ処理が必要となり、エッジをより自然に遷移させる。
【0052】
以上説明した本明細書の実施例から分かるように、本実施例では、第１の処理待ち目標物の位置情報及び物理属性情報を保留した場合、第１の処理待ち目標物をデータ量が小さい所定の目標代替物に置き換えることで、実際の出力効果を損なうことなくビデオ画面のデータ量を削減する。
【0053】
他の選択可能な実施例では、図４に示すように、上記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、上記した、上記第１の目標フレームビデオ画像において上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップは、ステップＳ４０１～Ｓ４０７を含む。
【0054】
ステップＳ４０１において、上記複数の第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記複数の第１の処理待ち目標物をインスタンスセグメンテーション（Ｉｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎ）し、上記複数の第１の処理待ち目標物に対応する複数の分割領域を得る。
【0055】
実際の応用において、インスタンスセグメンテーションは画素レベルの分類を行うだけでなく、具体的なカテゴリに基づいて異なるインスタンスを区別し、インスタンスをクラスの具体的な対象とする。
【0056】
具体的には、上記複数の第１の処理待ち目標物の第１の位置情報は、第１の目標フレームビデオ画像において複数の処理待ち目標物をインスタンスセグメンテーションし、複数の第１の処理待ち目標物の元画素画像が位置する領域をそれぞれ確定し、複数の第１の処理待ち目標物の元画素画像が位置する領域を複数の第１の処理待ち目標物に対応する分割領域とする。
【0057】
ステップＳ４０３において、上記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、上記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定する。
【0058】
具体的には、複数の第１の処理待ち目標物のタイプ情報および第１の物理属性情報とマッチングする複数の所定の目標代替物をそれぞれ確定し、すなわち、対応する複数の第１の処理待ち目標物のタイプ情報および第１の物理属性情報を複数の所定の目標代替物によってそれぞれ認識することが可能である。上記所定の目標代替物は、データ量が少ない動画アニメーションまたはカラーブロックを含むことができるが、これらに限定されない。
【0059】
本明細書の実施例では、上記複数の第１の処理待ち目標物が複数の同じタイプの第１の処理待ち目標物を含む場合、上記複数の同じタイプの第１の処理待ち目標物に対応する複数の所定の目標物代替物を、同じタイプ情報を含むが異なるスタイル情報である複数の動画アニメーションまたはカラーブロックと設定する。
【0060】
実際の応用において、上記スタイル情報は、色情報及び陰影情報を含み得るが、これらに限定されない。
【0061】
ステップＳ４０５において、上記対応する複数の分割領域において、上記複数の第１の処理待ち目標物をそれぞれ上記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得る。
【0062】
具体的には、第１の目標フレームビデオ画像に対応する分割領域において、複数の第１の処理待ち目標物をそれぞれ対応する複数の動画アニメーションまたはカラーブロックに置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得て、置き換え後の第１の目標フレームビデオ画像のデータ量は第１の目標フレームビデオ画像のデータ量よりも小さい。
【0063】
ステップＳ４０７において、上記置き換え後の第１の目標フレームビデオ画像において、上記対応する複数の分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得る。
【0064】
具体的には、ここでの複数の分割領域のエッジ輪郭の平滑処理については、上述したＳ４０７の関連説明を参照することができ、ここでは省略する。
【0065】
以上の本明細書の実施例から分かるように、本実施例は、複数の第１の処理待ち目標物を対応する複数のデータ量が小さい所定の目標代替物に置き換え、複数の第１の処理待ち目標物の位置情報と物理的属性情報とを保留した場合、複数の第１の処理待ち目標物において同一タイプに属する複数の第１の処理待ち目標物を区別することで、ビデオ画面のデータ量を削減し、ビデオ画面の伝送遅延を低減する。
【0066】
具体的な一実施例では、図５に示すように、上記第１の所定条件が第２の所定条件を含む場合、上記した、上記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を上記第１の処理待ち目標物とするステップの後、上記方法はステップＳ５０１をさらに含み得る。
【0067】
ステップＳ５０１において、上記第１の処理待ち目標物における対応する第１の影響因子が上記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とする。
【0068】
具体的には、本明細書の実施例では、実際の監視需要と車両の安全プレ警報需要とに基づき、影響因子の弱相関を上記第２の所定条件として設定する。上記第２の処理待ち目標物は、第１の影響因子の弱相関の目標物であってもよい。
【0069】
実際の応用において、上記第２の処理待ち目標物は、車両計画経路または実走行経路との相関度が小さい静的または動的な目標物であってもよく、具体的には、上記第２の処理待ち目標物は、道路縁における歩行者、路側に駐車された車両を含み得るが、これらに限定されない。
【0070】
それに応じて、上記第１の目標フレームビデオ画像において、上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップの後、上記方法は、ステップＳ５０３～Ｓ５１３をさらに含み得る。
【0071】
ステップＳ５０３において、上記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得する。
【0072】
実際の応用において、上述した処理待ちの複数フレームのビデオ画像の時間軸の順序に基づき、第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得する。
【0073】
ステップＳ５０５において、上記次のフレームのビデオ画像を上記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得る。
【0074】
具体的には、ここで次のフレームのビデオ画像に対する目標検出は、Ｓ１０３における第１の目標フレームビデオ画像に対する目標検出のステップと類似であり、具体的なステップは、Ｓ１０３における第１の目標フレームビデオ画像に対する目標検出の関連説明を参照することができるため、ここでは省略する。
【0075】
ステップＳ５０７において、上記第２の目標検出結果に上記第２の処理待ち目標物が含まれる場合、上記第２の目標検出結果は、上記第２の処理待ち目標物の第２の位置情報をさらに含む。
【0076】
具体的には、第２の位置情報は、第２の処理待ち目標物の次のフレームのビデオ画像における位置情報を特徴付けるものである。
【0077】
ステップＳ５０９において、上記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、上記第２の処理待ち目標物の第２の影響因子を確定する。
【0078】
具体的には、第２の影響因子は、第２の処理待ち目標物の次のフレームビデオ画像での現在車両の走行経路に対する影響因子を特徴付けるものであり、第２の処理待ち目標物の第２の影響因子を確定するステップは、Ｓ２０１で目標物の第１の影響因子を確定するステップと類似であり、具体的なステップは、Ｓ２０１で目標物の第１の影響因子を確定する関連説明を参照することができるため、ここでは省略する。
【0079】
ステップＳ５１１において、上記第２の影響因子が上記第１の所定条件を満たしているか否かを判定する。
【0080】
具体的には、第１の目標フレームビデオ画像における第２の処理待ち目標物に対して目標追跡を行い、第２の処理待ち目標物が次のフレームのビデオ画像中で処理待ち目標物として決定されてもよいか否かを判定する。
【0081】
ステップＳ５１３において、ＮＯと判定した場合には、上記第２の処理待ち目標物に対応する所定の目標物代替物を上記第２の処理待ち目標物に置き換える。
【0082】
実際の応用において、第２の処理待ち目標物の行動経路が変化するにつれて、第２の処理待ち目標物の影響因子も変化し、第２の処理待ち目標物の第２の影響因子が第１の所定条件を満たさない場合には、現在車両の走行経路に対する現在の第２の処理待ち目標物の影響度が大きいため、現在の第２の処理待ち目標物を対応する所定の目標代替物に置き換える処理を行わず、現在の第２の処理待ち目標物のリアルタイム元画像を直接伝送することで、ビデオ画像中の重要な情報が正確かつタイムリーに伝達されることを保証する。
【0083】
本出願の実施例は、ビデオ画像処理装置を提供し、図６に示すように、上記装置は、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュール６１０と、
上記第１の目標フレームビデオ画像に対して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュール６２０と、
所定の処理待ち目標物分類ルールに基づき、上記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュール６３０と、
上記第１の目標フレームビデオ画像において、上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュール６４０と、を含み、
ここで、上記所定の目標代替物のデータ量は、上記第１の処理待ち目標物のデータ量よりも小さい。
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュール６１０と、
上記第１の目標フレームビデオ画像に対して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュール６２０と、
所定の処理待ち目標物分類ルールに基づき、上記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュール６３０と、
上記第１の目標フレームビデオ画像において、上記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュール６４０と、を含み、
ここで、上記所定の目標代替物のデータ量は、上記第１の処理待ち目標物のデータ量よりも小さい。
【0084】
本明細書の実施例において、上記目標検出モジュール６２０は、
上記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るための第１の目標検出結果ユニットを含み得る。
上記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、上記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るための第１の目標検出結果ユニットを含み得る。
【0085】
本明細書の実施例において、上記第１の目標検出結果は、上記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み得る。
【0086】
具体的な一実施例では、図７に示すように、上記目標分類モジュール６３０は、
上記各目標物の第１の位置情報及びタイプ情報に基づき、上記各目標物に対応する第１の影響因子を確定するための第１の影響因子ユニット６３１と、
上記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を上記第１の処理待ち目標物とするための第１の処理待ち目標物ユニット６３２と、を含み得る。
上記各目標物の第１の位置情報及びタイプ情報に基づき、上記各目標物に対応する第１の影響因子を確定するための第１の影響因子ユニット６３１と、
上記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を上記第１の処理待ち目標物とするための第１の処理待ち目標物ユニット６３２と、を含み得る。
【0087】
選択可能な一実施例では、図８に示すように、上記第１の目標検出結果は、上記第１の処理待ち目標物の第１の物理属性情報をさらに含み得る。
【0088】
上記目標代替モジュール６４０は、
上記第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記第１の処理待ち目標物を意味分割し、上記第１の処理待ち目標物に対応する分割領域を得るための第１の目標分割ユニット６４１と、
上記第１の処理待ち目標物のタイプ情報と上記第１の物理属性情報とに基づき、上記第１の処理待ち目標物に対応する所定の目標代替物を確定するための第１の所定の目標代替物確定ユニット６４２と、
上記対応する分割領域において、上記第１の処理待ち目標物を上記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第１の所定の目標代替物置換ユニット６４３と、
上記置き換え後の第１の目標フレームビデオ画像において、上記対応する分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得るための第１のエッジ輪郭処理ユニット６４４と、を含み得る。
上記第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記第１の処理待ち目標物を意味分割し、上記第１の処理待ち目標物に対応する分割領域を得るための第１の目標分割ユニット６４１と、
上記第１の処理待ち目標物のタイプ情報と上記第１の物理属性情報とに基づき、上記第１の処理待ち目標物に対応する所定の目標代替物を確定するための第１の所定の目標代替物確定ユニット６４２と、
上記対応する分割領域において、上記第１の処理待ち目標物を上記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第１の所定の目標代替物置換ユニット６４３と、
上記置き換え後の第１の目標フレームビデオ画像において、上記対応する分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得るための第１のエッジ輪郭処理ユニット６４４と、を含み得る。
【0089】
他の選択可能な実施例では、図９に示すように、上記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、上記第１の処理待ち目標検出結果は、上記複数の第１の処理待ち目標物の第１の物理属性情報を含み得る。
【0090】
上記目標代替モジュール６４０は、さらに、
上記複数の第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、上記複数の第１の処理待ち目標物に対応する複数の分割領域を得るための第２の目標分割ユニット６４５と、
上記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、上記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するための第２の所定の目標代替物確定ユニット６４６と、
上記対応する複数の分割領域において、上記複数の第１の処理待ち目標物をそれぞれ上記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第２の所定の目標代替物置換ユニット６４７と、
上記置き換え後の第１の目標フレームビデオ画像において、上記対応する複数の分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得るための第２のエッジ輪郭処理ユニット６４８と、を含み得る。
上記複数の第１の処理待ち目標物の第１の位置情報に基づき、上記第１の目標フレームビデオ画像において上記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、上記複数の第１の処理待ち目標物に対応する複数の分割領域を得るための第２の目標分割ユニット６４５と、
上記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、上記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するための第２の所定の目標代替物確定ユニット６４６と、
上記対応する複数の分割領域において、上記複数の第１の処理待ち目標物をそれぞれ上記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第２の所定の目標代替物置換ユニット６４７と、
上記置き換え後の第１の目標フレームビデオ画像において、上記対応する複数の分割領域のエッジ輪郭を平滑処理し、上記第２の目標フレームビデオ画像を得るための第２のエッジ輪郭処理ユニット６４８と、を含み得る。
【0091】
具体的な実施例において、上記第１の所定条件が第２の所定条件を含む場合、上記装置は、さらに、
上記第１の処理待ち目標物における対応する第１の影響因子が上記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とするための第２の処理待ち目標物ユニットと、
上記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するための次のフレームのビデオ画像取得ユニットと、
上記次のフレームのビデオ画像を上記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るための第２の目標検出結果ユニットと、
上記第２の目標検出結果に上記第２の処理待ち目標物が含まれる場合、上記第２の目標検出結果は、上記第２の処理待ち目標物の第２の位置情報をさらに含むための第２の位置情報ユニットと、
上記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、上記第２の処理待ち目標物の第２の影響因子を確定するための第２の影響因子ユニットと、
上記第２の影響因子が上記第１の所定条件を満たしているか否かを判定するための第１の所定条件判定ユニットと、
ＮＯと判定した場合に、上記第２の処理待ち目標物に対応する所定の目標代替物を上記第２の処理待ち目標物に置き換えるための第２の処理待ち目標物置換ユニットと、を含み得る。
上記第１の処理待ち目標物における対応する第１の影響因子が上記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とするための第２の処理待ち目標物ユニットと、
上記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するための次のフレームのビデオ画像取得ユニットと、
上記次のフレームのビデオ画像を上記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るための第２の目標検出結果ユニットと、
上記第２の目標検出結果に上記第２の処理待ち目標物が含まれる場合、上記第２の目標検出結果は、上記第２の処理待ち目標物の第２の位置情報をさらに含むための第２の位置情報ユニットと、
上記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、上記第２の処理待ち目標物の第２の影響因子を確定するための第２の影響因子ユニットと、
上記第２の影響因子が上記第１の所定条件を満たしているか否かを判定するための第１の所定条件判定ユニットと、
ＮＯと判定した場合に、上記第２の処理待ち目標物に対応する所定の目標代替物を上記第２の処理待ち目標物に置き換えるための第２の処理待ち目標物置換ユニットと、を含み得る。
【0092】
上述した装置実施例における装置と方法実施例とは、同様の発明の思想に基づくものである。
【0093】
本出願の実施例は、ビデオ画像処理機器を提供し、当該ビデオ画像処理機器は、プロセッサおよびメモリを含み、当該メモリには、上記方法の実施例で提供されるビデオ画像処理方法を実現するために前記プロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている。
【0094】
メモリは、ソフトウェアプログラムおよびモジュールを記憶するために使用され、プロセッサは、メモリに記憶されたソフトウェアプログラムおよびモジュールを実行することにより、様々な機能アプリケーションおよびデータ処理を実行する。メモリは、主に操作システム、機能に必要なアプリケーション等を記憶できる記憶プログラム領域と、上記デバイスの使用に応じて作成されたデータ等を記憶できる記憶データ領域とを含み得る。さらに、メモリは、高速ランダムアクセスメモリを含んでもよく、不揮発性メモリをさらに含んでもよく、例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置またはその他の揮発性固体記憶装置が挙げられる。したがって、メモリは、プロセッサによるメモリへのアクセスを提供するメモリコントローラをさらに含んでもよい。
【0095】
本出願の実施例で提供される方法の実施例は、移動端末、コンピュータ端末、サーバまたは類似の演算装置において実行されうる。すなわち、上述したコンピュータデバイスは、移動端末、コンピュータ端末、サーバまたは類似の演算装置を含むことができる。サーバで実行する場合を例にすると、図１０は本出願の実施例に係るビデオ画像処理サーバのハードウェア構成ブロック図である。図１０に示すように、このビデオ画像処理サーバ１０００は、構成や性能によって比較的大きな違いを生じさせることができ、１つまたは１つ以上の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、ＣＰＵ）１０１０（プロセッサ１０１０は、マイクロプロセッサＭＣＵやプログラマブルロジックデバイスＦＰＧＡなどの処理装置を含むことができるがこれらに限定されるものではない）と、データを記憶するためのメモリ１０３０と、アプリケーションプログラム１０２３やデータ１０２２を記憶する１つまたは１つ以上の記憶媒体１０２０（例えば１つまたは１つ以上の大量記憶装置）と、を含み得る。ここで、メモリ１０３０および記憶媒体１０２０は、一時記憶または永続記憶であってもよい。記憶媒体１０２０に記憶されたプログラムは、１つまたは１つ以上のモジュールを含んでいてもよく、各モジュールはサーバにおける一連の指令動作を含むことができる。さらに、中央処理装置１０１０は、記憶媒体１０２０と通信するように構成されていてもよく、記憶媒体１０２０における一連の指令動作は、ビデオ画像処理サーバ１０００上で実行される。ビデオ画像処理サーバ１０００は、１つまたは１つ以上の電源１０６０と、１つまたは１つ以上の有線または無線のネットワークインタフェース１０５０と、１つまたは１つ以上の入出力インタフェース１０４０と、および/または、Ｗｉｎｄｏｗｓ Ｓｅｒｖｅｒ、Ｍａｃ ＯＳ Ｘ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）などの１つまたは１つ以上の操作システム１０２１と、をさらに備えていてもよい。
【0096】
入出力インタフェース１０４０は、１つのネットワークを介してデータを受信または送信するために使用されてもよい。上述したネットワークの具体例としては、ビデオ画像処理サーバ１０００の通信プロバイダが提供する無線ネットワークを含み得る。一実施例では、入出力インタフェース１０４０は、基地局を介して他のネットワークデバイスと接続され、インターネットと通信可能なネットワークアダプタ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ、ＮＩＣ）を含む。一実施例では、入出力インタフェース１０４０は、無線方式によりインターネットと通信するための無線周波数（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）モジュールであってもよい。
【0097】
当業者であれば、図１０に示す構成は模式的なものであり、上述した電子装置の構成に限定されるものではないことを理解できる。例えば、ビデオ画像処理サーバ１０００は、図１０に示した構成よりもより多いまたはより少ないアセンブリを含んでいてもよいし、図１０に示した構成とは異なる構成を有していてもよい。
【0098】
本出願の実施例は、記憶媒体を更に提供し、上記記憶媒体は、方法の実施例の中の一つを実現するためのビデオ画像処理方法に関する少なくとも1つの指令または少なくとも一つのセグメントのプログラムを保存するためにサーバに設けられていてもよく、この少なくとも1つの指令または少なくとも一つのセグメントのプログラムは、上記方法の実施例に係るビデオ画像処理方法を実現するためにプロセッサによってロードされて実行される。
【0099】
選択的に、本実施例において、上記記憶媒体は、コンピュータネットワークの複数のネットワークサーバのうちの少なくとも１つのネットワークサーバに配置されていてもよい。選択的に、本実施例において、上記記憶媒体は、Ｕディスク、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスク又は光ディスク等の各種のプログラムコードを記憶可能な媒体を含み得るがこれらに限定されない。
【0100】
上述した本出願に係るビデオ画像処理方法、装置、機器または記憶媒体の実施例から分かるように、本出願に係る技術案は、ビデオ画面に対して目標検出および分類を行い、全ての目標物のうちの重要な目標物を保留するとともに、他の処理待ち目標物をデータ量の小さい代替物に変換し、比較的短い遅延内で両者を結合して出力することで、ビデオの実際の出力効果に影響を与えずに重要情報の正確かつタイムリーな伝達が可能となる一方で、ビデオのデータ量を減少させてビデオの伝送速度を向上させ、ビデオの伝送遅延を低減させ、また、他の処理待ち目標物における弱相関目標物に対して目標追跡を行い、弱相関目標物から強相関目標物に変換した場合には、弱相関目標物のリアルタイム元画像を直接出力することで、ビデオ画像における重要情報の正確な伝達を保証する。
【0101】
なお、上述した本出願の実施例の優先順位は、単に説明の目的であり、実施例の優劣を示すものではない。以上、本明細書の特定の実施例について説明した。他の実施例は添付の特許請求の範囲内にある。いくつかの場合には、特許請求の範囲に記載されている動作またはステップは、実施例とは異なる順序で実行されてもよく、所望の結果を実現することが可能である。また、添付図面に示されるプロセスは、所望の結果を達成するために、必ずしも示される特定の順序または連続した順序を必要とするものではない。いくつかの実施例では、マルチタスク処理および並列処理も可能であり、または有利かもしれない。
【0102】
本明細書における各実施例は、いずれもインクリメンタル方式で説明され、各実施例間の同一または類似の部分は互いに参照すればよく、各実施例は他の実施例との相違点に重点を置いて説明した。特に、装置、機器および記憶媒体の実施例については、方法の実施例と実質的に類似しているため、説明が簡単であり、関連部分は方法の実施例の一部の説明を参照すればよい。
【0103】
当業者であれば、上述した実施例を実現するためのステップの全部または一部をハードウェアによって達成してもよいし、関連されるハードウェアの完成をプログラムによって指示してもよいし、上記のプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されていてもよく、上述した記憶媒体は、リードオンリーメモリ、磁気ディスクまたは光ディスク等であってもよいことを理解できる。
【0104】
以上の説明は、本出願の好適な実施例に過ぎず、本出願を限定するものではなく、本出願の趣旨および原則の範囲内でなされた、いかなる変更、同等の置換、改良等も本出願の保護範囲内に含まれるものとする。
【0105】
（付記）
（付記１）
ビデオ画像処理方法であって、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理方法。
（付記１）
ビデオ画像処理方法であって、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するステップと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理方法。
【0106】
（付記２）
前記した、前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップは、
前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るステップを含む
ことを特徴とする付記１に記載のビデオ画像処理方法。
前記した、前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するステップは、
前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るステップを含む
ことを特徴とする付記１に記載のビデオ画像処理方法。
【0107】
（付記３）
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、
前記した、所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するステップと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップと、を含む
ことを特徴とする付記２に記載のビデオ画像処理方法。
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、
前記した、所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するステップは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するステップと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップと、を含む
ことを特徴とする付記２に記載のビデオ画像処理方法。
【0108】
（付記４）
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記した、前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るステップと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するステップと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、を含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記した、前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るステップと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するステップと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、を含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
【0109】
（付記５）
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記した、前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、前記第２の目標フレームビデオ画像を得るステップは、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るステップと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するステップと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記した、前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、前記第２の目標フレームビデオ画像を得るステップは、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るステップと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するステップと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るステップと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るステップと、含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
【0110】
（付記６）
前記第１の所定条件が第２の所定条件を含む場合、前記した、前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップの後、前記方法は、さらに、
前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす第１の処理待ち目標物を第２の処理待ち目標物とするステップを含み、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップの後、前記方法は、さらに、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するステップと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るステップと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むステップと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するステップと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するステップと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるステップと、を含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
前記第１の所定条件が第２の所定条件を含む場合、前記した、前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするステップの後、前記方法は、さらに、
前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす第１の処理待ち目標物を第２の処理待ち目標物とするステップを含み、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るステップの後、前記方法は、さらに、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するステップと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るステップと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むステップと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するステップと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するステップと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるステップと、を含む
ことを特徴とする付記３に記載のビデオ画像処理方法。
【0111】
（付記７）
ビデオ画像処理装置であって、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュールと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュールと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュールと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュールと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理装置。
ビデオ画像処理装置であって、
処理待ちの複数フレームのビデオ画像におけるいずれかのフレームのビデオ画像である第１の目標フレームビデオ画像を取得するためのビデオ画像取得モジュールと、
前記第１の目標フレームビデオ画像に対して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を確定するための目標検出モジュールと、
所定の処理待ち目標物分類ルールに基づき、前記少なくとも１つの目標物のうちの第１の処理待ち目標物を確定するための目標分類モジュールと、
前記第１の目標フレームビデオ画像において、前記第１の処理待ち目標物を所定の目標代替物に置き換えることにより、第２の目標フレームビデオ画像を得るための目標代替モジュールと、を含み、
前記所定の目標代替物のデータ量は、前記第１の処理待ち目標物のデータ量よりも小さい
ことを特徴とするビデオ画像処理装置。
【0112】
（付記８）
前記目標検出モジュールは、
前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るための第１の目標検出結果ユニットを含む
ことを特徴とする付記７に記載のビデオ画像処理装置。
前記目標検出モジュールは、
前記第１の目標フレームビデオ画像を目標検出モデルに入力して目標検出を行い、前記第１の目標フレームビデオ画像の中の少なくとも１つの目標物を含む第１の目標検出結果を得るための第１の目標検出結果ユニットを含む
ことを特徴とする付記７に記載のビデオ画像処理装置。
【0113】
（付記９）
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、
前記目標分類モジュールは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するための第１の影響因子ユニットと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするための第１の処理待ち目標物ユニットと、を含む
ことを特徴とする付記８に記載のビデオ画像処理装置。
前記第１の目標検出結果は、前記少なくとも１つの目標物における各目標物のタイプ情報および第１の位置情報をさらに含み、
前記目標分類モジュールは、
前記各目標物の第１の位置情報及びタイプ情報に基づき、前記各目標物に対応する第１の影響因子を確定するための第１の影響因子ユニットと、
前記少なくとも１つの目標物における対応する第１の影響因子が第１の所定条件を満たす目標物を前記第１の処理待ち目標物とするための第１の処理待ち目標物ユニットと、を含む
ことを特徴とする付記８に記載のビデオ画像処理装置。
【0114】
（付記１０）
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記目標代替モジュールは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るための第１の目標分割ユニットと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するための第１の所定の目標代替物確定ユニットと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第１の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第１のエッジ輪郭処理ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
前記第１の目標検出結果は、前記第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記目標代替モジュールは、
前記第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記第１の処理待ち目標物を意味分割し、前記第１の処理待ち目標物に対応する分割領域を得るための第１の目標分割ユニットと、
前記第１の処理待ち目標物のタイプ情報と前記第１の物理属性情報とに基づき、前記第１の処理待ち目標物に対応する所定の目標代替物を確定するための第１の所定の目標代替物確定ユニットと、
前記対応する分割領域において、前記第１の処理待ち目標物を前記対応する所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第１の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第１のエッジ輪郭処理ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
【0115】
（付記１１）
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記目標代替モジュールは、さらに、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るための第２の目標分割ユニットと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するための第２の所定の目標代替物確定ユニットと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第２の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第２のエッジ輪郭処理ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
前記第１の目標検出結果は、前記第１の処理待ち目標物が複数の第１の処理待ち目標物を含む場合、前記複数の第１の処理待ち目標物の第１の物理属性情報をさらに含み、
前記目標代替モジュールは、さらに、
前記複数の第１の処理待ち目標物の第１の位置情報に基づき、前記第１の目標フレームビデオ画像において前記複数の第１の処理待ち目標物をインスタンスセグメンテーションし、前記複数の第１の処理待ち目標物に対応する複数の分割領域を得るための第２の目標分割ユニットと、
前記複数の第１の処理待ち目標物のタイプ情報及び第１の物理属性情報に基づき、前記複数の第１の処理待ち目標物に対応する複数の所定の目標代替物をそれぞれ確定するための第２の所定の目標代替物確定ユニットと、
前記対応する複数の分割領域において、前記複数の第１の処理待ち目標物をそれぞれ前記対応する複数の所定の目標代替物に置き換えることにより、置き換え後の第１の目標フレームビデオ画像を得るための第２の所定の目標代替物置換ユニットと、
前記置き換え後の第１の目標フレームビデオ画像において、前記対応する複数の分割領域のエッジ輪郭を平滑処理し、前記第２の目標フレームビデオ画像を得るための第２のエッジ輪郭処理ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
【0116】
（付記１２）
前記第１の所定条件が第２の所定条件を含む場合、前記装置は、さらに、
前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とするための第２の処理待ち目標物ユニットと、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するための次のフレームのビデオ画像取得ユニットと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るための第２の目標検出結果ユニットと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むための第２の位置情報ユニットと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するための第２の影響因子ユニットと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するための第１の所定条件判定ユニットと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるための第２の処理待ち目標物置換ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
前記第１の所定条件が第２の所定条件を含む場合、前記装置は、さらに、
前記第１の処理待ち目標物における対応する第１の影響因子が前記第２の所定条件を満たす処理待ち目標物を第２の処理待ち目標物とするための第２の処理待ち目標物ユニットと、
前記第１の目標フレームビデオ画像の次のフレームのビデオ画像を取得するための次のフレームのビデオ画像取得ユニットと、
前記次のフレームのビデオ画像を前記目標検出モデルに入力して目標検出を行い、第２の目標検出結果を得るための第２の目標検出結果ユニットと、
前記第２の目標検出結果に前記第２の処理待ち目標物が含まれる場合、前記第２の目標検出結果は、前記第２の処理待ち目標物の第２の位置情報をさらに含むための第２の位置情報ユニットと、
前記第２の処理待ち目標物のタイプ情報及び第２の位置情報に基づき、前記第２の処理待ち目標物の第２の影響因子を確定するための第２の影響因子ユニットと、
前記第２の影響因子が前記第１の所定条件を満たしているか否かを判定するための第１の所定条件判定ユニットと、
ＮＯと判定した場合に、前記第２の処理待ち目標物に対応する所定の目標代替物を前記第２の処理待ち目標物に置き換えるための第２の処理待ち目標物置換ユニットと、を含む
ことを特徴とする付記９に記載のビデオ画像処理装置。
【0117】
（付記１３）
ビデオ画像処理機器であって、
プロセッサおよびメモリを含み、
前記メモリには、付記１から６のいずれか１つに記載のビデオ画像処理方法を実現するために前記プロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするビデオ画像処理機器。
ビデオ画像処理機器であって、
プロセッサおよびメモリを含み、
前記メモリには、付記１から６のいずれか１つに記載のビデオ画像処理方法を実現するために前記プロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするビデオ画像処理機器。
【0118】
（付記１４）
コンピュータ読み取り可能な記憶媒体であって、
前記記憶媒体には、付記１から６のいずれか１つに記載のビデオ画像処理方法を実現するためにプロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
コンピュータ読み取り可能な記憶媒体であって、
前記記憶媒体には、付記１から６のいずれか１つに記載のビデオ画像処理方法を実現するためにプロセッサによってロードされ実行される少なくとも1つの指令または少なくとも一つのセグメントのプログラムが記憶されている
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【符号の説明】
【0119】
６１０ … ビデオ画像取得モジュール
６２０ … 目標検出モジュール
６３０ … 目標分類モジュール
６３１ … 第１の影響因子ユニット
６３２ … 第１の処理待ち目標物ユニット
６４０ … 目標代替モジュール
６４１ … 第１の目標分割ユニット
６４２ … 第１の目標代替物確定ユニット
６４３ … 第１の目標代替物置換ユニット
６４４ … 第１のエッジ輪郭処理ユニット
６４５ … 第２の目標分割ユニット
６４６ … 第２の目標代替物確定ユニット
６４７ … 第２の目標代替物置換ユニット
６４８ … 第２のエッジ輪郭処理ユニット
１０００ … ビデオ画像処理サーバ
１０１０ … 中央処理装置
１０２０ … 記憶媒体
１０２１ … 操作システム
１０２２ … データ
１０２３ … アプリケーションプログラム
１０３０ … メモリ
１０４０ … 入出力インタフェース
１０５０ … 有線または無線のネットワークインタフェース
１０６０ … 電源
６２０ … 目標検出モジュール
６３０ … 目標分類モジュール
６３１ … 第１の影響因子ユニット
６３２ … 第１の処理待ち目標物ユニット
６４０ … 目標代替モジュール
６４１ … 第１の目標分割ユニット
６４２ … 第１の目標代替物確定ユニット
６４３ … 第１の目標代替物置換ユニット
６４４ … 第１のエッジ輪郭処理ユニット
６４５ … 第２の目標分割ユニット
６４６ … 第２の目標代替物確定ユニット
６４７ … 第２の目標代替物置換ユニット
６４８ … 第２のエッジ輪郭処理ユニット
１０００ … ビデオ画像処理サーバ
１０１０ … 中央処理装置
１０２０ … 記憶媒体
１０２１ … 操作システム
１０２２ … データ
１０２３ … アプリケーションプログラム
１０３０ … メモリ
１０４０ … 入出力インタフェース
１０５０ … 有線または無線のネットワークインタフェース
１０６０ … 電源
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】