特開 2022-106926 カメラ遮蔽検出方法、装置、電子機器、記憶媒体およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022106926

(43)【公開日】2022-07-20

(54)【発明の名称】カメラ遮蔽検出方法、装置、電子機器、記憶媒体およびコンピュータプログラム

(51)【国際特許分類】

   G06V 10/40 20220101AFI20220712BHJP

   G06T 7/00 20170101ALI20220712BHJP

   G08B 25/00 20060101ALI20220712BHJP

   G08B 21/00 20060101ALI20220712BHJP

【ＦＩ】

G06V10/40

G06T7/00 300F

G08B25/00 510M

G08B21/00 E

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2022076931

(22)【出願日】2022-05-09

(31)【優先権主張番号】202110934979.X

(32)【優先日】2021-08-16

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】特許業務法人三枝国際特許事務所

(72)【発明者】

【氏名】王向陽

(72)【発明者】

【氏名】▲シン▼懷飛

(57)【要約】      （修正有）

【課題】カメラの遮蔽状態の判別精度を向上させるカメラ遮蔽検出方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
【解決手段】カメラ遮蔽検出方法２００は、カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定するステップ２０１と、現在のフレームの実画像と背景画像とに基づいて、現在のフレームの前景画像を確定するステップ２０２と、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定するステップ２０３と、目標面積に基づいて、現在のフレームにおけるカメラの遮蔽状態を判定するステップ２０４と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定することと、
現在のフレームの実画像および前記背景画像に基づいて、前記現在のフレームの前景画像を確定することと、
前記前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定することと、
前記目標面積に基づいて、前記現在のフレームを撮影した時の前記カメラの遮蔽状態を判定することと、
を含むカメラ遮蔽検出方法。

【請求項2】

前記前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定することは、
前記前景画像に対してモルフォロジーオープニング演算を行い、演算後の画像を得ることと、
前記演算後の画像における個々のオブジェクトの外輪郭をそれぞれ確定することと、
各前記外輪郭に囲まれた面積に基づいて、対応する個々のオブジェクトの実面積をそれぞれ確定することと、
数値が最も大きい実面積を前記目標面積とすることと、を含む請求項１に記載のカメラ遮蔽検出方法。

【請求項3】

現在の時間帯に対応する背景画像を確定することは、
前記カメラの前回移動終了時の目標時刻を確定することと、
前記目標時刻の後に前記カメラによって新たに撮影されたサンプル画像セットを取得することと、
前記サンプル画像セットおよび予め設定された背景モデルに基づいて、目標背景画像を確定することと、
前記目標背景画像を現在の時間帯に対応する背景画像とすることと、
を含む請求項１に記載のカメラ遮蔽検出方法。

【請求項4】

前記サンプル画像セットおよび予め設定された背景モデルに基づいて、目標背景画像を確定することは、
時間軸上ソートされ、時間の早い方の予め設定されたフレーム数のサンプル画像をサンプル画像セットから選択することと、
各前記サンプル画像を同一サイズにスケーリングし、サイズが同一にされたサンプル画像をグレースケールイメージに変換してサンプルグレースケールイメージセットを得ることと、
前記背景モデルを用いて、前記サンプルグレースケールイメージセットに対応する目標背景画像を確定することと、
を含む請求項３に記載のカメラ遮蔽検出方法。

【請求項5】

前記目標面積に基づいて、前記現在のフレームにおける前記カメラの遮蔽状態を判定することは、
前記目標面積が予め設定された面積よりも大きいことに応答して、前記カメラが前記現在のフレームを撮影した時に被遮蔽状態であると判定することと、
前記目標面積が前記予め設定された面積以下であることに応答して、前記カメラが前記現在のフレームを撮影した時に非遮蔽状態であると判定することと、
を含む請求項１に記載のカメラ遮蔽検出方法。

【請求項6】

カメラの移動状態を判定することをさらに含み、
前記カメラの移動状態を判定することは、
時間が前記現在のフレームよりも前で、前記カメラが非遮蔽状態である時に撮影した画像フレームを基準フレームとして確定することと、
前記基準フレームと前記基準フレームの次のフレームにおける位置ずれがあった対応特徴点がすべての対応特徴点に占める実際の比率を確定することと、
前記実際の比率が予め設定された比率よりも小さいことに応答して、前記カメラが静止状態であると判定することと、
前記実際の比率が前記予め設定された比率以上であることに応答して、前記カメラが移動状態であると判定することと、
を含む請求項１に記載のカメラ遮蔽検出方法。

【請求項7】

前記カメラが被遮蔽状態である実フレーム数をカウントすることと、
前記実フレーム数が第１のフレーム数よりも大きく且つ第２のフレーム数よりも小さいことに応答して、前記カメラの被遮蔽アラームを生成することと、
前記実フレーム数が前記第２のフレーム数よりも大きく且つ第３のフレーム数よりも小さいことに応答して、アラームのレベルを下げ、未確認のアラームリマインダーを保留することと、
をさらに含む請求項１に記載のカメラ遮蔽検出方法。

【請求項8】

カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定するように構成される背景画像確定ユニットと、
現在のフレームの実画像および前記背景画像に基づいて、前記現在のフレームの前景画像を確定するように構成される前景画像確定ユニットと、
前記前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定するように構成される目標面積確定ユニットと、
前記目標面積に基づいて、前記現在のフレームを撮影した時の前記カメラの遮蔽状態を判定するように構成される遮蔽状態判定ユニットと、
を備えるカメラ遮蔽検出装置。

【請求項9】

前記目標面積確定ユニットは、さらに
前記前景画像に対してモルフォロジーオープニング演算を行い、演算後の画像を得ることと、
前記演算後の画像における個々のオブジェクトの外輪郭をそれぞれ確定することと、
各前記外輪郭に囲まれた面積に基づいて、対応する個々のオブジェクトの実面積をそれぞれ確定することと、
数値が最も大きい実面積を前記目標面積とすることと、
を行うように構成される請求項８に記載のカメラ遮蔽検出装置。

【請求項10】

前記背景画像確定ユニットは、
前記カメラの前回移動終了時の目標時刻を確定するように構成される目標時刻確定サブユニットと、
前記目標時刻の後に前記カメラによって新たに撮影されたサンプル画像セットを取得するように構成されるサンプル画像セット取得サブユニットと、
前記サンプル画像セットおよび予め設定された背景モデルに基づいて、目標背景画像を確定するように構成される目標背景画像確定サブユニットと、
前記目標背景画像を現在の時間帯に対応する背景画像とするように構成される背景画像確定サブユニットと、
を備える請求項８に記載のカメラ遮蔽検出装置。

【請求項11】

前記目標背景画像確定サブユニットは、さらに
時間軸上ソートされ、時間の早い方の予め設定されたフレーム数のサンプル画像を選択することと、
各前記サンプル画像を同一サイズにスケーリングし、サイズが同一にされたサンプル画像をグレースケールイメージに変換してサンプルグレースケールイメージセットを得ることと、
前記背景モデルを用いて、前記サンプルグレースケールイメージセットに対応する目標背景画像を確定することと、
を行うように構成される請求項１０に記載のカメラ遮蔽検出装置。

【請求項12】

前記遮蔽状態判定ユニットは、さらに
前記目標面積が予め設定された面積よりも大きいことに応答して、前記カメラが前記現在のフレームを撮影した時に被遮蔽状態であると判定することと、
前記目標面積が前記予め設定された面積以下であることに応答して、前記カメラが前記現在のフレームを撮影した時に非遮蔽状態であると判定することと、
を行うように構成される請求項８に記載のカメラ遮蔽検出装置。

【請求項13】

カメラの移動状態を判定するように構成される移動状態判定ユニットをさらに備え、
前記移動状態判定ユニットは、さらに
時間が前記現在のフレームよりも前で、前記カメラが非遮蔽状態である時に撮影した画像フレームを基準フレームとして確定することと、
前記基準フレームと前記基準フレームの次のフレームにおける位置ずれがあった対応特徴点がすべての対応特徴点に占める実際の比率を確定することと、
前記実際の比率が予め設定された比率よりも小さいことに応答して、前記カメラが静止状態であると判定することと、
前記実際の比率が前記予め設定された比率以上であることに応答して、前記カメラが移動状態であると判定することと、
を行うように構成される請求項８に記載のカメラ遮蔽検出装置。

【請求項14】

前記カメラが被遮蔽状態である実フレーム数をカウントするように構成される被遮蔽フレーム数カウントユニットと、
前記実フレーム数が第１のフレーム数よりも大きく且つ第２のフレーム数よりも小さいことに応答して、前記カメラの被遮蔽アラームを生成するように構成される被遮蔽アラーム生成ユニットと、
前記実フレーム数が前記第２のフレーム数よりも大きく且つ第３のフレーム数よりも小さいことに応答して、アラームのレベルを下げ、未確認のアラームリマインダーを保留するように構成されるアラームレベル処理ユニットと、
をさらに備える請求項８～１３のいずれか１項に記載のカメラ遮蔽検出装置。

【請求項15】

少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が格納され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～７のいずれか１項に記載のカメラ遮蔽検出方法を実行させる電子機器。

【請求項16】

コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、
前記コンピュータ指令はコンピュータに請求項１～７のいずれか１項に記載のカメラ遮蔽検出方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。

【請求項17】

プロセッサによって実行されると、請求項１～７のいずれか１項に記載のカメラ遮蔽検出方法が実現されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術分野に関し、具体的には、画像認識、クラウドサービス、異常状態検出などの技術分野、特にカメラ遮蔽検出方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラムに関する。

【背景技術】

【0002】

ビデオによる監視のシーンでは、カメラが異物によって遮られることがあり、その結果、正常な領域を監視できなくなり、監視が無効になる場合すら生じる。

【0003】

人間による主観的な検出は、監視映像を長期間にわたって観察し続ける必要があり、コストが高くて効率が低い。複数のカメラを監視する場合には、全面的でかつタイムリーな検出ができなくなってしまうため、客観的で、迅速でかつ効果的なカメラ検出方法が求められている。

【発明の概要】

【0004】

本開示の実施形態は、カメラ遮蔽検出方法、装置、電子機器、コンピュータ可読記憶媒体、およびコンピュータプログラムを提供する。

【0005】

第１の態様によれば、本開示の実施形態は、カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定することと、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定することと、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定することと、目標面積に基づいて、現在のフレームにおけるカメラの遮蔽状態を判定することと、を含むカメラ遮蔽検出方法を提供する。

【0006】

第２の態様によれば、本開示の実施形態は、カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定するように構成される背景画像確定ユニットと、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定するように構成される前景画像確定ユニットと、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定するように構成される目標面積確定ユニットと、目標面積に基づいて、現在のフレームにおけるカメラの遮蔽状態を判定するように構成される遮蔽状態判定ユニットと、を備えるカメラ遮蔽検出装置を提供する。

【0007】

第３の態様によれば、本開示の実施形態は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納され、当該指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１の態様のいずれかの実施形態に記載のカメラ遮蔽検出方法を実現する電子機器を提供する。

【0008】

第４の態様によれば、本開示の実施形態は、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、当該コンピュータ指令は第１態様のいずれかの実施形態に記載のカメラ遮蔽検出方法をコンピュータに実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

【0009】

第５の態様によれば、本開示の実施形態は、プロセッサによって実行されると、第１の態様のいずれかの実施形態に記載のカメラ遮蔽検出方法が実現されるコンピュータプログラムを提供する。

【0010】

本開示の実施形態に係るカメラ遮蔽検出方法は、まず、カメラが移動していないことを基に、現在の時間帯に対応する背景画像を確定し、次に、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定し、次に、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定し、最後に、目標面積に基づいて、現在のフレームにおけるカメラの遮蔽状態を判定するようにしている。

【0011】

本開示は、背景画像を、カメラの移動が発生していない状態に対応させることで、移動中のカメラを誤って遮蔽状態であると判定することを防止するとともに、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積に基づいて遮蔽状態を判定することで、複数の移動中の小さなオブジェクトの面積の和が面積閾値を超えることによる誤判定を防止でき、カメラの遮蔽状態の検出精度を向上させることができる。

【0012】

なお、発明の概要に記載された内容は、本開示の実施形態のかなめとなる特徴または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明によって理解が容易になる。

【図面の簡単な説明】

【0013】

本開示の他の特徴、目的および利点は、以下の図面を参照してなされる非限定的な実施形態に係る詳細な説明を読むことにより、より明らかになる。

【図1】本開示の適用可能な例示的なシステムアーキテクチャを示す図である。

【図2】本開示の実施形態に係るカメラ遮蔽検出方法のフローチャートである。

【図3】本開示の実施形態に係るもう１つのカメラ遮蔽検出方法のフローチャートである。

【図4】本開示の実施形態に係るカメラが移動したか否かを判定するための方法のフローチャートである。

【図5】本開示の実施形態に係る実際の応用シーンを合わせたカメラ遮蔽検出および早期警告方法のフローチャートである。

【図6】本開示の実施形態に係るカメラ遮蔽検出装置の構造概略図である。

【図7】本開示の実施形態に係るカメラ遮蔽検出方法を実行するために適する電子機器の構造概略図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本開示の例示的な実施形態を説明し、ここで、理解を助けるため、本開示の実施形態の様々な詳細が記載されているが、これらは単なる例示的なものに過ぎないことを理解すべきである。従って、本開示の範囲および要旨を逸脱しない限り、当業者が本明細書の実施形態に対して様々な変更および修正を行うことができることを理解すべきである。なお、以下の説明では、明確化および簡略化のため、公知の機能および構成については説明を省略する。なお、本開示の実施形態および実施形態における特徴は、矛盾が生じない限り、相互に組み合わせることができる。

【0015】

本開示の技術方案では、関連するユーザ個人情報の取得、記憶および応用などは、いずれも関連法律法規の規定に準拠し、必要な秘密保持措置を採用し、且つ公序良俗に反していない。

【0016】

図１は、本開示に係るカメラ遮蔽検出方法、装置、電子機器およびコンピュータ可読記憶媒体の実施形態を適用可能な例示的なシステムアーキテクチャ１００を示している。

【0017】

図１に示すように、システムアーキテクチャ１００は、カメラ１０１と、ネットワーク１０２と、サーバ１０３とを含んでもよい。ネットワーク１０２は、カメラ１０１とサーバ１０３の間で通信リンクを提供するための媒体として使用される。ネットワーク１０２は、有線、無線通信リンクまたは光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

【0018】

カメラ１０１によって撮影された画像またはオーディオ・ビデオ・データは、ネットワーク１０２を介してサーバ１０３に送信され、記憶され、解析され、処理され、サーバ１０３は、ユーザによって入力された制御指令に基づいて、例えば、監視方位の回転制御、シャットダウン、リスタートなどのようにカメラ１０１の動作状態を調整することもできる。カメラ１０１とサーバ１０３には、カメラ１０１とサーバ１０３との間の情報通信を実施するための様々なアプリケーション、例えば、監視アプリケーション、カメラ制御アプリケーション、インスタントメッセージングアプリケーションなどがインストールされてもよい。

【0019】

カメラ１０１は、カメラ機能またはカメラモジュールを備えた各種電子機器、例えば、カメラ付きスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ボールカメラ、ガンカメラなどであってもよい。サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合は、複数のサーバで構成される分散サーバクラスターとして実装されてもよく、単一のサーバとして実装されてもよい。サーバ１０３がソフトウェアである場合は、複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは具体的な限定をしない。

【0020】

サーバ１０３は、内蔵された様々なアプリケーションによって様々なサービスを提供することができ、受信したカメラによって撮影された画像に基づいてカメラの遮蔽状態を解析可能なカメラ遮蔽判別アプリケーションを例にすると、サーバ１０３は、当該カメラ遮蔽判別アプリケーションを実行する際に、まず、カメラ１０１からネットワーク１０２を介してカメラの動作状態を読み取ってカメラ１０１が移動状態であるか否かを判定し、次に、カメラ１０１が移動していないと判定した場合、現在の時間帯に対応する背景画像を確定し、次に、現在のフレームの実画像および背景画像に基づいて現在のフレームの前景画像を確定し、次に、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定し、最後に、目標面積に基づいてカメラの現在のフレームにおける遮蔽状態を判定するという効果を奏することができる。

【0021】

また、サーバ１０３は、確定した具体的な遮蔽状態（被遮蔽状態、非遮蔽状態）に応じて、カメラ１０１に対して各種の制御指令を発行して、カメラ１０１が被遮蔽状態から早期に離脱することを支援するようにすることもできる。

【0022】

なお、各時間帯の背景画像は、ネットワーク１０２を介してカメラ１０１からリアルタイムで取得するようにしてもよいし、様々な方法でサーバ１０３にローカルに事前に記憶しておくようにしてもよい。したがって、サーバ１０３は、ローカルにこれらのデータが既に記憶されていると検出したとき、データ伝送量を削減するためにローカルからこれらのデータを直接取得することを選択してもよい。

【0023】

複数の画像に基づく遮蔽状態の判定は、より多くの演算リソースおよびより強力な演算能力を必要とするので、本開示の後続する実施形態によって提供されるカメラ遮蔽検出方法は、通常より強力な演算能力およびより多くの演算リソースを有するサーバ１０３によって実行され、対応して、カメラ遮蔽検出装置も、通常サーバ１０３内に設置されている。当該サーバ１０３は、ローカルサーバ（例えば、ローカルのカメラ１０１とデータ接続を確立しているユーザパーソナル物理マシン）であってもよいし、リモートサーバであってもよい。

【0024】

図１におけるカメラ、ネットワークおよびサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要に応じて、カメラ、ネットワークおよびサーバの数を任意に加減してもよい。

【0025】

本開示の実施形態に係るカメラ遮蔽検出方法のフローチャートである図２を参照する。フロー２００は以下のステップを含む。

【0026】

ステップ２０１では、カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定する。

【0027】

本ステップは、カメラ遮蔽検出方法の実行主体（例えば、図１に示すサーバ１０３）が、遮蔽状態を判定するためのカメラであるカメラが移動していない場合に、現在の時間帯に対応する背景画像を確定することを目的とする。

【0028】

カメラが移動していないことを基にするのは、移動中のカメラは撮影方位の変化により撮影した内容に変化が生じ、元の背景画像が適用できなくなってしまうためであり、通常の背景に基づいてモデリングしたカメラの遮蔽検出方法は、カメラの移動状態の下で画像全体がほぼ前の背景画像と異なる前景画像であると判別され、誤判定につながることになるため、誤判定を避けるのに、カメラが移動していないことを基にする必要があり、取得した現在の時間帯の背景画像の有効性を確保するためである。

【0029】

具体的には、カメラが移動したか否かは、様々な方法で判別することができ、例えば、カメラの動作状態を直接読み取ることができる場合（例えば、カメラが各動作を実行した際の動作ログを読み取ることができる場合）、読み取った動作状態に基づいてカメラが現在移動したか否かを直接判別することもできるし、撮影した画像における同じオブジェクトの位置にずれがあったか否かという判断結果に基づいてカメラが移動したか否かを判定することもできる。具体的にどの方法を選択するかは、実際の状況に応じて柔軟に選択でき、ここでは特に限定をしない。

【0030】

ステップ２０２では、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定する。

【0031】

本ステップは、ステップ２０１に基づいて、上記実行主体が現在のフレームの実画像および背景画像に基づいて現在のフレームの前景画像を確定することを目的とする。ここで、前景画像とは、実画像のうち、背景画像と区別される部分の画像であり、背景画像とは、カメラが動いておらず、かつ、遮蔽されていないと判定されたときに撮影された画像であり（遮蔽されていないと判定されたカメラによって撮影された少なくとも１つの初期画像フレームに基づいて判定して得ることができる）、一旦あるオブジェクトによって遮蔽されると、その時点での実画像に新たな画像が余分に現れ、すなわち、この新たな画像こそ本開示に記載された「前景画像」となり、遮蔽されていないときに撮影された画像は、本開示に記載された「背景画像」となり、前景画像の画像特性によって、カメラが置かれる具体的な遮蔽状態を判定することができる。

【0032】

ステップ２０３では、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定する。

【0033】

本ステップは、ステップ２０２に基づいて、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定することを目的とする。

【0034】

すなわち、前景画像には、人間、木の葉、跳ね上げられた泥等のような、画像内容が互いに独立して、それぞれ独立した外輪郭を有する個々のオブジェクトが複数存在する場合があるため、従来の遮蔽判別アルゴリズムが、前景画像における個々のオブジェクトのそれぞれの面積の和を直接的用いて、予め設定された面積閾値と比較し、面積の和が予め設定された面積閾値を超えたときはカメラが遮蔽状態であると判別することを回避するために、実際には、複数の小さなオブジェクトの面積の和と面積閾値とを比較する方法を採用する場合は、複数の移動する小さなオブジェクトに起因して誤判定が起こりやすく、実際このような遮蔽の発生はまれであるためである。

【0035】

そこで、判別の精度を高めるために、本ステップでは、前景画像における個々のオブジェクトのそれぞれの外輪郭に基づいて、最大外輪郭を有する個々のオブジェクトを特定し、そして、この最大外輪郭を有する個々のオブジェクトの面積を、カメラの現在の遮蔽状態を判定するための判別パラメータとして確定する。

【0036】

ステップ２０４では、目標面積に基づいて、カメラの現在のフレームにおける遮蔽状態を判定する。

【0037】

本ステップでは、ステップ２０３に基づいて、上記実行主体は、目標面積の大きさに基づいて当該カメラの現在のフレームが撮影された時点での遮蔽状態、すなわち、被遮蔽状態であるか、それとも正常な非遮蔽状態であるかを判定することを目的とする。

【0038】

通常、目標面積が大きいほど、遮蔽物が大きく、カメラの正常な撮影に影響を及ぼす可能性が高くなることを意味するので、遮蔽状態であると判定されるべきであり、そうでないと非遮蔽状態であると判定されるべきである。具体的には、目標面積がどのような遮蔽状態に対応すべきかを測るための臨界値－面積閾値を設けることにより、例えば、当該目標面積が当該面積閾値よりも大きい場合には、そのときのカメラが遮蔽状態であると判定し、逆に、当該目標面積が当該面積閾値以下である場合には、そのときのカメラが未遮蔽状態であると判定するようにしてもよいし、予め異なる遮蔽状態に対応するそれぞれの取り得る面積区間を定め、当該目標面積がどの取り得る面積区間に入ったかによって、その遮蔽状態を判定するようにしてもよい。

【0039】

本開示の実施形態に係るカメラ遮蔽検出方法は、カメラが移動していない状態に対応させるように背景画像を制御することで、移動中のカメラを誤って遮蔽状態であると判定することを防止するとともに、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積に基づいて遮蔽状態を判定することで、移動中の小さなオブジェクトが複数存在する場合にそれらの面積の和が面積閾値を超えたことによる誤判定を防止でき、カメラの遮蔽状態の検出精度を向上させることができる。

【0040】

本開示の実施形態により提供されるもう１つのカメラ遮蔽検出方法のフローチャートである図３を参照する。フロー３００は以下のステップを含む。

【0041】

ステップ３０１では、カメラの前回移動終了時の目標時刻を確定する。

【0042】

すなわち、目標時刻は、当該カメラが現在時刻に最も近い移動の終了時刻であり、現在時刻が１０：０１：００であり、現在時刻に最も近いカメラの移動時間帯が０９：５４：２３～０９：５６：３２であると仮定すると、目標時刻は、少なくとも０９：５６：３２、あるいは０９：５６：３２より少し遅い時刻、例えば０９：５６：３３とすべきである。

【0043】

ステップ３０２では、目標時刻の後にカメラによって新たに撮影されたサンプル画像セットを取得する。

【0044】

本ステップでは、ステップ３０１に基づいて、上記実行主体は、目標時刻の後にカメラによって新たに撮影された画像を取得し、これらの画像をまとめてサンプル画像セットとする。

【0045】

このようにサンプル画像セットを取得する目的は、目標背景画像の有効性を確保するために、目標背景画像を確定するための原始画像が、カメラが移動していない状態で取得したものであることを確保するためである。

【0046】

ステップ３０３では、サンプル画像セットおよび予め設定された背景モデルに基づいて、目標背景画像を確定する。

【0047】

ここで、本ステップで記述した背景モデルは、入力された画像に基づいて実画像のどの部分が前景画像であるかを判定するためのモデルを構築することに特化したモデルであり、つまり、背景モデルは入力された画像に基づいて現在の時間帯の背景画像を維持する。

【0048】

一の実施形態として、次のステップを含んでもよいが、これに限定されることはない。
時間軸上ソートされ時間の早い方の予め設定されたフレーム数のサンプル画像をサンプル画像セットから選択することと、
各サンプル画像を同一サイズにスケーリングし、サイズが同一にされたサンプル画像をグレースケールイメージに変換してサンプルグレースケールイメージセットを得ることと、
背景モデルを用いて、サンプルグレースケールイメージセットに対応する目標背景画像を確定することとを含む。

【0049】

時間軸上ソートされ、時間の早い方の予め設定されたフレーム数のサンプル画像を選択するのは、できるだけ時間的に早い方の画像を選出することで後期における画像内容が変化することを避けるためである。サイズを同一にスケーリングするのは、異なるサイズの画像によって後続する背景画像の確定に与える影響を消去するためであり、グレースケールイメージに変換するのは、グレースケール情報に基づいて背景画像の精度をより高くするためである。もちろん、上記の実施形態を実際の必要に応じて調整し、同一または類似の効果を奏するようにしてもよく、ここでは一々列挙はしない。

【0050】

ステップ３０４では、目標背景画像を現在の時間帯に対応する背景画像とする。

【0051】

フロー２００のステップ２０１について、上記ステップ３０１～ステップ３０４は具体的な実現方法を提供し、カメラの前回の移動時刻に関する情報を取得できた場合に、背景モデルを用いることで、取得した現在の時間帯の背景画像が有効であることを確保した。

【0052】

ステップ３０５では、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定する。

【0053】

ステップ３０６では、前景画像に対してモルフォロジーオープニング演算を行い、演算後の画像を得る。

【0054】

画像に対してモルフォロジーオープニング演算を行うことは、実質的には、まず前景画像に対して侵食演算を行い、続いて侵食演算の結果を膨張演算し、その効果として、細かく連結された２つのオブジェクトを分離したような効果に似ており、本ステップもこの演算により個々のオブジェクトの外輪郭をより正確に確定できるようにした。

【0055】

ステップ３０７では、演算後の画像における個々のオブジェクトのそれぞれの外輪郭を確定する。

【0056】

ステップ３０８では、各外輪郭に囲まれた面積に基づいて、対応する個々のオブジェクトの実面積をそれぞれ確定する。

【0057】

ステップ３０９では、数値が最も大きい実面積を目標面積として確定する。

【0058】

上記ステップ３０６～ステップ３０９は、フロー２００のステップ２０３について具体的な実現方法を提供し、前景画像に対してモルフォロジーオープニング演算を行うことで、個々のオブジェクトのそれぞれの境界をより正確に判別できるようにし、個々のオブジェクトのそれぞれの外輪郭に基づいて対応する面積を確定し、最後に面積の大きさに基づいて最大面積を目標面積として選択する。

【0059】

ステップ３１０では、目標面積が予め設定された面積よりも大きいか否かを判断し、大きい場合はステップ３１１を実行し、そうでない場合はステップ３１２を実行する。

【0060】

ステップ３１１では、現在のフレームにおいてカメラが被遮蔽状態であると判定する。

【0061】

本ステップは、ステップ３１０における目標面積が予め設定された面積よりも大きいという判断結果を基にし、上記実行主体は、予め設定された面積よりも大きい面積の個々の遮蔽物が存在することにより、カメラが現在のフレームで当該遮蔽物によって遮蔽された状態であると判定することを目的とする。

【0062】

ステップ３１２では、現在のフレームにおいてカメラが非遮蔽状態であると判定する。

【0063】

本ステップは、ステップ３１０における目標面積が予め設定された面積以下であるという判断結果を基にし、上記実行主体は、擬似遮蔽物の面積が予め設定された面積以下であることにより、カメラが非遮蔽状態であると仮判定することを目的とする。

【0064】

フロー２００に示した実施形態と異なり、本実施形態におけるステップ３０１～ステップ３０４は、カメラが移動していない場合に背景画像を取得するための具体的な実現方法を提供し、すなわち、カメラの前回の移動時刻に関する情報を取得できる場合、背景モデルを用いることで、取得した現在の時間帯の背景画像が有効であることを確保した。ステップ３０６～ステップ３０９は、目標面積を確定するための具体的な実現方法を提供し、すなわち、前景画像に対してモルフォロジーオープニング演算を行って個々の独立したオブジェクトの境界をより正確に判別できようにし、その後、個々の独立したオブジェクトの外輪郭に基づいて対応する面積を確定し、最後に、面積の大きさに基づいて最大面積を目標面積として選択する。ステップ３１０～ステップ３１２は、予め設定された面積との比較に基づいて、具体的にどの遮蔽状態であるかを確定するための実現方法を提供した。

【0065】

なお、ステップ３０１～ステップ３０４、ステップ３０６～ステップ３０９、ステップ３１０～ステップ３１２のそれぞれに対応する具体的な実施形態の間は、依存関係および因果関係は存在しておらず、上記の３つの部分は、いずれも独立して対応する上位概念の下位実現形態とすることができ、フロー２００に示された実施形態に基づいて対応する上位概念を置き換えることによってそれぞれ異なる実施形態を形成することができる。この実施形態は、上記３つの部分を同時に含む１つの好ましい実施形態として存在するものにすぎない。

【0066】

本開示は、カメラが移動状態であるか否かを判断して背景画像の取得の有効性を確保することを分かりやすくするために、また、多くの場合、動作状態を判断するための実行ログを直接取得することができないことを考慮して、撮影された画像に基づいてカメラが移動しているか否かを判断するための実現方法を、図４を用いて説明する。フロー４００は次のステップを含む。

【0067】

ステップ４０１では、時間が現在のフレームよりも早く、カメラが非遮蔽状態である画像フレームを基準フレームとして確定する。

【0068】

現在のフレームがフレームシーケンスにおける第６０番目のフレームであると仮定し、上記実施形態に係る方法により、隣接する第５５番目のフレーム乃至第５９番目のフレームのカメラはいずれも非遮蔽状態であると判定することができる。

【0069】

背景画像の精度および有効性を可能な限り確保するために、できるだけ現在のフレームから時間的に近いフレームを基準フレームとして選択する必要があるので、第５９番目のフレームを基準フレーム（１フレームだけを、基準フレームとして選択すれば足りる場合）として選択することが好ましい。複数の連続するフレームを連続基準フレームとして選択できる場合は、第５５番目のフレーム乃至第５９番目のフレームを連続基準フレームとして選択してもよい。

【0070】

ステップ４０２では、基準フレームおよび基準フレームの次のフレームにおいて、位置ずれのあった対応特徴点が、すべての対応特徴点に占める実際の比率を確定する。

【0071】

上記の仮定を一例とすると、本ステップでは、第５９番目のフレームと第６０番目のフレーム（現在のフレーム）において位置ずれがあった対応特徴点が、すべての対応特徴点に占める実際の比率を計算し、対応特徴点は、２つのフレームの画像において同じオブジェクトの同じ特徴に対応する点であるため、対応特徴点の位置ずれがあったことは、当該オブジェクトの異なる画像フレームにおける位置が変化したことを意味し、このような状況になることは、通常、２つの原因がある。その一は、当該オブジェクト自体は移動したがカメラが移動していないこと、その二は、当該オブジェクト自体は移動していないがカメラが移動したことになる。

【0072】

具体的に上記のいずれの原因に該当するかは、実際の比率の大きさによって判定することができる。カメラの移動に起因すれば、その実際の比率の大きさが比較的大きい。カメラの移動により、すべてのオブジェクトの対応特徴点が移動してしまうためである。逆に、その実際の比率が小さい場合、往々にして、あるオブジェクトが独立して移動してしまった（すべてのオブジェクトが統一的に移動した確率が小さい）ことが考えられる。

【0073】

ステップ４０３では、実際の比率が予め設定された比率よりも小さいか否かを判断し、小さい場合はステップ４０４を実行し、そうでない場合はステップ４０５を実行する。

【0074】

本ステップは、上記実行主体が実際の比率と予め設定された比率との大きさの関係に基づいて、異なる処理方法を選択することを目的とする。なお、本ステップで用いる予め設定された比率は、実際の比率値がカメラのどの動作状態に具体的に対応するかを判定するのに適した予め選択された臨界値であり、当該臨界値の大きさは実際の状況に応じて柔軟に選択できる。

【0075】

ステップ４０４では、カメラが静止状態であると判定する。

【0076】

本ステップは、ステップ４０３における実際の比率が予め設定された比率よりも小さいという判定結果に基づく。上記実行主体は、実際の比率が予め設定された比率よりも小さいという判定結果により、カメラが現在静止状態、すなわち移動していない状態であると判定することを目的とする。

【0077】

ステップ４０５では、カメラが移動状態であると判定する。

【0078】

本ステップは、ステップ４０３における実際の比率が予め設定された比率以上であるという判定結果に基づく。上記実行主体は、実際の比率が予め設定された比率以上であるため、カメラが現在移動状態であると判定することを目的とする。

【0079】

上記のいずれかの実施形態に基づいて、実際の応用シーンでは、往々にして、被遮蔽状態であるカメラによる遅滞なく修復および修正するとの要求を考慮して、本開示は、合理的な警告方法で管理者または自動化された修復装置にアラームまたはトリガ信号を出すように、被遮蔽アラームを発する次のステップを提供する。

【0080】

カメラが被遮蔽状態である実フレーム数をカウントすることと、
実フレーム数が第１のフレーム数よりも大きく且つ第２のフレーム数よりも小さいことに応答して、カメラの被遮蔽アラームを生成することと、
実フレーム数が第２のフレーム数よりも大きく且つ第３のフレーム数よりも小さいことに応答して、アラームのレベルを下げ、未確認のアラームリマインダーを保留することと、を含む。

【0081】

実フレーム数が第１のフレーム数よりも大きく且つ第２のフレーム数よりも小さい場合、カメラのための被遮蔽アラームを生成することによって偶発的な要素に起因する単一フレームの遮蔽による不要な警報または誤警報を回避し、警報の正確率を向上させ、同時に、アラームの長鳴きによる不必要な迷惑を回避するために、実フレーム数が第２のフレーム数よりも大きく且つ第３のフレーム数よりも小さい場合、アラームのレベルを下げ、かつ未確認のアラームリマインダーを保留するようにした。

【0082】

理解を深めるために、本開示はさらに具体的な応用シーンを踏まえ、図５に示すようなカメラ遮蔽検出方法を提供する。

【0083】

ステップ５０１では、前のＮ個のフレームの画像をスケーリングしてグレースケールイメージに変換して、背景モデルＭを作成する。

【0084】

ステップ５０２では、現在のフレームとその直前のフレームの画像に対して、特徴点の照合と最適化を行う。

【0085】

ステップ５０３では、位置のずれがあった対応特徴点の比率Ｐを計算する。

【0086】

ステップ５０４では、Ｐが閾値Ｐｔ未満であるか、または直前のフレームで遮蔽アラームの発生の有無を判断する。

【0087】

ステップ５０５では、ＰがＰｔ未満である場合、または直前のフレームで遮蔽アラームが発生した場合はカメラが移動していないと判定する。

【0088】

ステップ５０６では、ＰがＰｔ以上であり且つ前のフレームで遮蔽アラームが発生しなかった場合、最大外輪郭の面積がＳ以下であるかまたは遮蔽フレーム数ＦがＦ０以上である場合、遮蔽フレーム数Ｆを０に設定し、新たに取得した画像を用いて背景モデルを更新する。

【0089】

ステップ５０７では、現在のフレームの画像を背景モデルＭに入力して前景画像を得る。

【0090】

ステップ５０８では、前景画像に対してモルフォロジーオープニング演算を行い、最大外輪郭を探す。

【0091】

ステップ５０９では、最大外輪郭の面積が閾値Ｓよりも大きいか否かを判断する。

【0092】

ステップ５１０では、閾値Ｓよりも大きい場合、現在のフレームが被遮蔽状態のカメラによって撮影されたフレームであると判定し、遮蔽フレーム数Ｆに１を加算する。

【0093】

ステップ５１１では、遮蔽フレーム数ＦがＦ０未満であるか否かを判断する。

【0094】

ステップ５１２では、遮蔽フレーム数ＦがＦ０未満である場合、さらに遮蔽フレーム数ＦがＦ１よりも大きく且つＦ２未満であるか否かを判断する。

【0095】

ステップ５１３では、遮蔽フレーム数ＦがＦ１よりも大きく且つＦ２未満である場合、遮蔽アラームを発する。

【0096】

ステップ５１４では、遮蔽フレーム数ＦがＦ１以下である場合、アラームを発しない。

【0097】

上の例では、Ｆ１＜Ｆ２＜Ｆ０である。

【0098】

上記の例におけるステップ５０２～ステップ５０４は、前後の２フレームの画像に移動が発生したか否かを判断するためのものであり、移動が発生した場合、非遮蔽状態であるとする。ステップ５０７～ステップ５０９は、前景画像における輪郭が最大となる面積を計算するためのものであり、複数の個々の小さなオブジェクトによる面積が大きくなってしまうという問題を回避し、遮蔽閾値を超えている場合、現在のフレームに遮蔽が発生したとする。ステップ５１０～ステップ５１２は、遮蔽アラームが発生するか否かを判断するために用いられ、遮蔽フレーム数が大きすぎる場合、すなわちＦ０よりも大きい場合、背景モデルを強制的に更新し、長時間の継続的な誤判定を避け、遮蔽フレーム数がＦ１～Ｆ２の範囲内である場合のみ、遮蔽アラームを発する。

【0099】

すなわち、上記の例では、ステップ５０４の判断において、ＰとＰｔとの関係と、前のフレームにおける遮蔽アラームの発生の有無とを同時に考慮することにより、カメラの移動による遮蔽検出の誤判定の問題を解決した。ステップ５０８により前景画像をモルフォロジーオープニング演算処理した後、すべての輪郭ではなく、最大外輪郭を探すようにし、ステップ５０９において、最大外輪郭の面積が閾値Ｓよりも大きいか否かの判断結果に基づいて判定するように制御することにより、複数の独立した小さなオブジェクトの動きがあった場合、複数の外輪郭が得られ、すべての外輪郭の面積を用いて判断することによる遮蔽の誤判定という問題を回避した。また、ステップ５１１により、遮蔽フレーム数が閾値Ｆ０よりも大きいか否かを判断することにより、遮蔽フレーム数が大きすぎるか、又は継続する時間が長すぎるかを判断し、条件が成立する場合は、背景モデルを強制的に更新し、遮蔽の誤判定に起因した長時間の連続誤判定の問題を防止した。

【0100】

更に図６を参照すると、上記の各図に示された方法の実施態様として、本開示はカメラ遮蔽検出装置の一実施形態を提供し、当該装置の実施形態は図２に示された方法の実施形態に対応しており、当該装置は具体的に様々な電子機器に適用することができる。

【0101】

図６に示すように、本実施形態のカメラ遮蔽検出装置６００は、背景画像確定ユニット６０１と、前景画像確定ユニット６０２と、目標面積確定ユニット６０３と、遮蔽状態判定ユニット６０４とを備えている。背景画像確定ユニット６０１は、カメラが移動していないことに応答して、現在の時間帯に対応する背景画像を確定するように構成される。前景画像確定ユニット６０２は、現在のフレームの実画像および背景画像に基づいて、現在のフレームの前景画像を確定するように構成される。目標面積確定ユニット６０３は、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積を確定するように構成される。遮蔽状態判定ユニット６０４は、目標面積に基づいて、現在のフレームにおけるカメラの遮蔽状態を判定するように構成される。

【0102】

本実施形態において、カメラ遮蔽検出装置６００において、背景画像確定ユニット６０１、前景画像確定ユニット６０２、目標面積確定ユニット６０３および遮蔽状態判定ユニット６０４の具体的な処理およびそれらによって奏される技術的効果はそれぞれ図２の対応する実施形態におけるステップ２０１～２０４の関連する説明を参照することができ、ここでその説明を省略する。

【0103】

本実施形態のいくつかのオプション的な実施形態において、目標面積確定ユニット６０３は、さらに
前景画像に対してモルフォロジーオープニング演算を行い、演算後の画像を得ることと、
演算後の画像における各個々のオブジェクトの外輪郭をそれぞれ確定することと、
各外輪郭に囲まれた面積に基づいて、対応する個々のオブジェクトの実面積をそれぞれ確定することと、
数値が最も大きい実面積を目標面積とすることと、を行うように構成される。

【0104】

本実施形態のいくつかのオプション的な実施形態において、背景画像確定ユニット６０１は、
カメラの前回移動終了時の目標時刻を確定するように構成される目標時刻確定サブユニットと、
目標時刻の後にカメラによって新たに撮影されたサンプル画像セットを取得するように構成されるサンプル画像セット取得サブユニットと、
サンプル画像セットおよび予め設定された背景モデルに基づいて、目標背景画像を確定するように構成される目標背景画像確定サブユニットと、
目標背景画像を、現在の時間帯に対応する背景画像とするように構成される背景画像確定サブユニットと、を備えてもよい。

【0105】

本実施形態のいくつかのオプション的な実施形態において、目標背景画像確定サブユニットはさらに
時間軸上ソートされ時間の早い方の予め設定されたフレーム数のサンプル画像をサンプル画像セットから選択することと、
各サンプル画像を同一サイズにスケーリングし、サイズが同一にされたサンプル画像をグレースケールイメージに変換してサンプルグレースケールイメージセットを得ることと、
背景モデルを用いて、サンプルグレースケールイメージセットに対応する目標背景画像を確定することとを行うように構成されてもよい。

【0106】

本実施形態のいくつかのオプション的な実施形態において、遮蔽状態判定ユニット６０４は、さらに
目標面積が予め設定された面積よりも大きいことに応答して、カメラが前記現在のフレームを撮影した時に被遮蔽状態であると判定することと、
目標面積が予め設定された面積以下であることに応答して、カメラが前記現在のフレームを撮影した時に非遮蔽状態であると判定することと、を行うように構成されてもよい。

【0107】

本実施形態のいくつかのオプション的な実施形態において、カメラ遮蔽検出装置６００において、カメラの移動状態を判定するように構成される移動状態判定ユニットをさらに備えてもよい。移動状態判定ユニットは、さらに
時間が現在のフレームよりも前で、カメラが非遮蔽状態である画像フレームを基準フレームとして確定ことと、
基準フレームと基準フレームの次のフレームにおける位置ずれがあった対応特徴点が、すべての対応特徴点に占める実際の比率を確定ことと、
実際の比率が予め設定された比率よりも小さいことに応答して、カメラが静止状態であると判定することと、
実際の比率が予め設定された比率以上であることに応答して、カメラが移動状態であると判定することと、を行うように構成されてもよい。

【0108】

本実施形態のいくつかのオプション的な実施形態において、カメラ遮蔽検出装置６００は、さらに
カメラが被遮蔽状態である実フレーム数をカウントするように構成される被遮蔽フレーム数カウントユニットと、
実フレーム数が第１のフレーム数よりも大きく且つ第２のフレーム数よりも小さいことに応答して、カメラの被遮蔽アラームを生成するように構成される被遮蔽アラーム生成ユニットと、
実フレーム数が第２のフレーム数よりも大きく且つ第３のフレーム数よりも小さいことに応答して、アラームのレベルを下げ、未確認のアラームリマインダーを保留するように構成されるアラームレベル処理ユニットと、をさらに備えてもよい。

【0109】

この実施形態は、上記の方法の実施形態に対応する装置の実施形態として存在し、本実施形態に係るカメラ遮蔽検出装置は、背景画像をカメラが移動していない状態に対応させるように制御することで、移動中のカメラを誤って遮蔽状態であると判定することを防止するとともに、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積に基づいて遮蔽状態を判定することで、移動中の小さなオブジェクトが複数存在する場合にそれらの面積の和が面積閾値を超えたことによる誤判定を防止でき、カメラの遮蔽状態の検出精度を向上させることができる。

【0110】

本開示の実施形態によれば、本開示はさらに、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が格納され、当該指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに上記のいずれかの実施形態に記載のカメラ遮蔽検出方法を実現する電子機器を提供する。

【0111】

本開示の実施形態によれば、本開示はさらに、上記のいずれかの実施形態に記載のカメラ遮蔽検出方法をコンピュータに実行させるためのコンピュータ指令を格納した読み取り可能な記憶媒体を提供する。

【0112】

本開示の実施形態は、プロセッサによって実行されると、上記のいずれかの実施形態に記載のカメラ遮蔽検出方法を実現可能なコンピュータプログラムを提供する。

【0113】

図７は、本開示の実施形態を実施するために使用できる例示的な電子機器７００の概略ブロック図を示している。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、メインフレームコンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似する計算装置等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも例示であり、ここで記述および／または要求した本開示の実施形態を限定することを意図するものではない。

【0114】

図７に示すように、電子機器７００は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラム又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムによって様々な適当な動作および処理を実行することができる計算ユニット７０１を備える。ＲＡＭ７０３には、機器７００の動作に必要な様々なプログラムおよびデータがさらに格納されることが可能である。計算ユニット７０１、ＲＯＭ７０２およびＲＡＭ７０３は、バス７０４を介して互いに接続されている。入／出力（Ｉ／Ｏ）インタフェース７０５もバス７０４に接続されている。

【0115】

電子機器７００において、キーボード、マウスなどの入力ユニット７０６と、様々なタイプのディスプレイ、スピーカなどの出力ユニット７０７と、磁気ディスク、光ディスクなどの記憶ユニット７０８と、ネットワークカード、モデム、無線通信送受信機などの通信ユニット７０９とを備える複数のコンポーネントは、Ｉ／Ｏインタフェース７０５に接続されている。通信ユニット７０９は、機器７００がインターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して他の装置と情報またはデータのやりとりを可能にする。

【0116】

計算ユニット７０１は、処理および計算機能を有する様々な汎用および／または専用処理コンポーネントであってもよい。計算ユニット７０１のいくつかの例示としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット７０１は、上述したカメラ遮蔽検出方法のような様々な方法および処理を実行する。例えば、いくつかの実施形態では、カメラ遮蔽検出方法は、記憶ユニット７０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施形態では、コンピュータプログラムの一部または全部は、ＲＯＭ７０２および／または通信ユニット７０９を介して機器７００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１によって実行されると、上述したカメラ遮蔽検出方法の１つまたは複数のステップを実行可能である。あるいは、他の実施形態では、計算ユニット７０１は、他の任意の適切な形態によって（例えば、ファームウェアを介して）カメラ遮蔽検出方法を実行するように構成されてもよい。

【0117】

ここで説明するシステムおよび技術の様々な実施形態はデジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの各実施形態は、１つまたは複数のコンピュータプログラムに実装され、当該１つまたは複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／または解釈することができ、当該プログラマブルプロセッサは専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指令を受信することができ、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置および当該少なくとも１つの出力装置に伝送することを含み得る。

【0118】

本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラミング可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。

【0119】

本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、指令実行システム、装置またはデバイスが使用するため、または指令実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線の、または半導体のシステム、装置または機器、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。

【0120】

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（ＣａｔｈｏｄｅＲａｙＴｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実装することができ、ユーザが該キーボードおよび該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置は、さらにユーザとのインタラクションを提供することに用いることができる。例えば、ユーザに提供されるフィードバックは（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく）、且つ音入力、音声入力又は、触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

【0121】

ここで説明したシステムおよび技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステムおよび技術の実施形態とインタラクションしてもよく、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各コンポーネントの間は、通信ネットワーク等、任意の形態または媒体のデジタルデータ通信により接続されていてもよい。通信ネットワークの例示としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットを含む。

【0122】

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してやりとりを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスにおける管理の難度が大きく、業務拡張性が弱いという欠陥を解決する。

【0123】

本開示の実施形態の技術的解決手段によれば、背景画像をカメラの移動が発生していない状態に対応させることで、移動中のカメラを誤って遮蔽状態であると判定することを防止するとともに、前景画像における最大外輪郭を有する個々のオブジェクトの目標面積に基づいて遮蔽状態を判定することで、複数の移動中の小さなオブジェクトの面積の和が面積閾値を超えることによる誤判定を防止でき、カメラの遮蔽状態の検出精度を向上させることができる。

【0124】

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解すべきである。例えば、本開示に記載された各ステップは、本開示に開示された技術的解決手段の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順番で実行されてもよい。本明細書はここで制限することはしない。

【0125】

上記具体的な実施形態は本開示の保護範囲を限定するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを理解すべきである。本開示の趣旨および原理を逸脱せずに行われたあらゆる修正、均等な置換および改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】