特表 2024-544344 カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-28

(54)【発明の名称】カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品

(51)【国際特許分類】

   G06V 10/26 20220101AFI20241121BHJP

   G06V 20/59 20220101ALI20241121BHJP

【ＦＩ】

G06V10/26

G06V20/59

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024538727

(86)(22)【出願日】2022-10-12

(85)【翻訳文提出日】2024-06-25

(86)【国際出願番号】 CN2022124934

(87)【国際公開番号】W WO2023124385

(87)【国際公開日】2023-07-06

(31)【優先権主張番号】202111668662.2

(32)【優先日】2021-12-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】519290264

【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】リー ヤンヤン

(72)【発明者】

【氏名】シュー リアン

(72)【発明者】

【氏名】マオ ニンユエン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA04

5L096CA02

5L096DA02

5L096EA05

5L096FA32

5L096FA37

5L096FA59

5L096GA51

(57)【要約】

本願の実施例は、カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品を提供し、当該カメラ装置の遮蔽検出方法は、カメラ装置を介して車両の運転領域のビデオデータを取得することと、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得ることと、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、ことと、を含む。本願の実施例は、カメラ装置の遮蔽検出精度を向上させることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラ装置の遮蔽検出方法であって、
カメラ装置を介して車両の運転領域のビデオデータを取得することと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得ることと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、ことと、を含む、前記カメラ装置の遮蔽検出方法。

【請求項2】

前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化することは、
前記現在の画像フレームの参照画素閾値を決定することと、
前記現在の画像フレームの各画素点の画素値を前記参照画素閾値と順次比較し、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化して、前記現在の画像フレームの特徴符号化情報を得ることと、を含む、
請求項１に記載のカメラ装置の遮蔽検出方法。

【請求項3】

前記参照画素閾値は、前記現在の画像フレームの平均画素値である、
請求項２に記載のカメラ装置の遮蔽検出方法。

【請求項4】

前記現在の画像フレームの特徴符号化情報および前記所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することは、
前記現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、前記カメラ装置が遮蔽されていると決定することを含む、
請求項１ないし３のいずれか一項に記載のカメラ装置の遮蔽検出方法。

【請求項5】

前記カメラ装置の遮蔽検出方法は、
前記ハミング距離が前記所定閾値以下である場合、前記現在の画像フレームの画素分布ヒストグラムを決定することと、
前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定することと、をさらに含む、
請求項４に記載のカメラ装置の遮蔽検出方法。

【請求項6】

前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定することは、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、前記カメラ装置が遮蔽されていると決定することを含む、
請求項５に記載のカメラ装置の遮蔽検出方法。

【請求項7】

前記カメラ装置の遮蔽検出方法は、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が前記所定の割合閾値以下である場合、前記現在の画像フレームの最大連結領域を決定することと、
前記最大連結領域の面積が所定の面積閾値より大きい場合、前記カメラ装置が遮蔽されていると決定することと、をさらに含む、
請求項５または６に記載のカメラ装置の遮蔽検出方法。

【請求項8】

前記カメラ装置の遮蔽検出方法は、
前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力することをさらに含む、
請求項１ないし７のいずれか一項に記載のカメラ装置の遮蔽検出方法。

【請求項9】

前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力することは、
前記ビデオデータ内の各フレーム画像に対するカメラ装置の検出結果に基づいて、前記カメラ装置の持続遮蔽時間を決定することと、
前記持続遮蔽時間が所定時間に達した場合、前記提示情報を出力することと、を含む、
請求項８に記載のカメラ装置の遮蔽検出方法。

【請求項10】

カメラ装置の遮蔽検出装置であって、
カメラ装置を介して車両の運転領域のビデオデータを取得するように構成される、ビデオ取得モジュールと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得るように構成される、顔検出モジュールと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成される遮蔽決定モジュールであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、遮蔽決定モジュールと、を備える、前記カメラ装置の遮蔽検出装置。

【請求項11】

前記顔検出モジュールはさらに、前記現在の画像フレームの参照画素閾値を決定し、前記現在の画像フレームの各画素点の画素値を前記参照画素閾値と順次比較し、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化して、前記現在の画像フレームの特徴符号化情報を得るように構成される、
請求項１０に記載のカメラ装置の遮蔽検出装置。

【請求項12】

前記参照画素閾値は、前記現在の画像フレームの平均画素値である、
請求項１１に記載のカメラ装置の遮蔽検出装置。

【請求項13】

前記遮蔽決定モジュールはさらに、前記現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される、
請求項１０ないし１２のいずれか一項に記載のカメラ装置の遮蔽検出装置。

【請求項14】

前記遮蔽決定モジュールはさらに、
前記ハミング距離が前記所定閾値以下である場合、前記現在の画像フレームの画素分布ヒストグラムを決定し、前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成される、
請求項１３に記載のカメラ装置の遮蔽検出装置。

【請求項15】

前記遮蔽決定モジュールはさらに、前記画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される、
請求項１４に記載のカメラ装置の遮蔽検出装置。

【請求項16】

前記遮蔽決定モジュールはさらに、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が前記所定の割合閾値以下である場合、前記現在の画像フレームの最大連結領域を決定し、前記最大連結領域の面積が所定の面積閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される、
請求項１３または１４に記載のカメラ装置の遮蔽検出装置。

【請求項17】

前記カメラ装置の遮蔽検出装置はさらに、前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力するように構成される情報出力モジュールを備える、
請求項１０ないし１６のいずれか一項に記載のカメラ装置の遮蔽検出装置。

【請求項18】

前記情報出力モジュールはさらに、前記ビデオデータ内の各フレーム画像に対するカメラ装置の検出結果に基づいて、前記カメラ装置の持続遮蔽時間を決定し、前記持続遮蔽時間が所定時間に達した場合、前記提示情報を出力するように構成される、
請求項１７に記載のカメラ装置の遮蔽検出装置。

【請求項19】

電子機器であって、プロセッサと、メモリと、バスとを備える、
前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が動作するとき、前記プロセッサと前記メモリは、前記バスを介して通信し、前記機械可読命令は、前記プロセッサに、請求項１ないし９のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させる、前記電子機器。

【請求項20】

プロセッサに、請求項１ないし９のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させるためのコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。

【請求項21】

コンピュータプログラム製品であって、プログラムコードが記憶されたコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、コンピュータ機器のプロセッサに、請求項１ないし９のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させる、前記コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
本願は、２０２１年１２月３１日に中国特許局に提出された、出願番号が２０２１１１６６８６６２．２であり、発明の名称が「カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、引用によって本願に援用される。

【0002】

本願の実施例は、画像処理技術分野に関し、特に、カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品に関する。

【背景技術】

【0003】

人々の生活水準の向上に伴い、車両は、人々の生活の中で不可欠な交通手段となっており、車室内のカメラ装置は、運転者の運転行動を制約することで、交通事故の発生の可能性を低減し、運転の安全性の向上に役立つ。

【0004】

しかしながら、実際の使用過程では、カメラ装置が遮蔽される場合があり、カメラ装置が遮蔽されている場合、運転者の行動を正確に検出できなくなり、したがって、カメラ装置が遮蔽されているかどうかを検出すること、およびカメラ装置の遮蔽の検出精度を向上させることは、特に重要である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願の実施例は少なくとも、カメラ装置に対する遮蔽検出を実現できるだけでなく、検出の精度を向上させることができる、カメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品を提供する。

【課題を解決するための手段】

【0006】

本願の実施例は、カメラ装置の遮蔽検出方法を提供し、前記方法は、
カメラ装置を介して車両の運転領域のビデオデータを取得することと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得ることと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、ことと、を含む。

【0007】

本願の実施例は、カメラ装置の遮蔽検出装置を提供し、前記装置は、
カメラ装置を介して車両の運転領域のビデオデータを取得するように構成される、ビデオ取得モジュールと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得るように構成される、顔検出モジュールと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成される遮蔽決定モジュールであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、遮蔽決定モジュールと、を備える。

【0008】

本願の実施例は、プロセッサと、メモリと、バスとを備える、電子機器を提供し、前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が動作するとき、前記プロセッサと前記メモリは、バスを介して通信し、前記機械可読命令は、前記プロセッサに、上記の任意の実施形態に記載のカメラ装置の遮蔽検出方法を実行させる。

【0009】

本願の実施例は、コンピュータ可読記憶媒体を提供し、当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶されており、当該コンピュータプログラムは、プロセッサに、上記の任意の実施形態に記載のカメラ装置の遮蔽検出方法を実行させる。

【0010】

本願の実施例はさらに、プログラムコードが記憶されたコンピュータ可読記憶媒体を含む、コンピュータプログラム製品を提供し、前記プログラムコードに含まれる命令は、コンピュータ機器のプロセッサに、上記の方法を実行させる。

【発明の効果】

【0011】

本願の実施例によるカメラ装置の遮蔽検出方法、装置、電子機器、記憶媒体、並びにコンピュータプログラム製品によれば、顔が識別されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を取得し、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを判断し、このようにして、顔が識別されない場合、画像に対してさらなる判断を行うことができ、これにより、判断の精度を向上させることができる。

【0012】

上記した一般的な説明および後述する詳細な説明は、単なる例示および説明であり、本願を限定するものではないことを理解されたい。

【図面の簡単な説明】

【0013】

【図1】本願の実施例によるカメラ装置の遮蔽検出方法の例示的なフローチャートを示す。

【図2】本願の実施例による、現在の画像フレームの特徴符号化情報を決定する方法の例示的なフローチャートを示す。

【図3】本願の実施例による、カメラ装置の遮蔽検出方法の別の例示的なフローチャートを示す。

【図4】本願の実施例による、提示情報を出力する方法の例示的なフローチャートを示す。

【図5】本願の実施例による、さらに別のカメラ装置の遮蔽検出方法の例示的なフローチャートを示す。

【図6】本願の実施例によるカメラ装置の遮蔽検出装置の例示的な構造図を示す。

【図7】本願の実施例によるカメラ装置の遮蔽検出装置の別の例示的な構造図を示す。

【図8】本願の実施例による電子機器の概略図を示す。

【発明を実施するための形態】

【0014】

本願の実施例の技術的解決策をより明確に説明するために、実施例で必要な図面について上記で簡単に紹介した。ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本願に合う実施例を示すためのものであり、本明細書とともに本願の実施例の技術的解決策を説明するために使用される。図面は、本願の実施例の一部のみを示しているため、本願の範囲を限定するものとして見なされるべきではなく、当業者にとっては、創造的な労力なしに、これらの図面に従って他の関連する図面を得ることもできることを理解されたい。

【0015】

本願の実施例の目的、技術的解決策および利点をより明確にするために、以下では、本願の実施例の図面を参照して、本願の実施例における技術的解決策を明確、且つ完全に説明し、明らかに、説明される実施例は、本願の一部の実施例に過ぎず、すべての実施例ではない。通常、本願の図面で説明および示された本願の実施例のコンポーネンは、様々な異なる構成で配置および設計されることができる。したがって、下記において、図面で提供された本願の実施例の詳細な説明は、本願の範囲を限定するためのものではなく、本願のオプション的な実施例を示すためのものである。本願の実施例に基づいて、創造的な努力なしに当業者によって得られる他のすべての実施例は、本願の保護範囲に含まれるものとする。

【0016】

類似した符号および文字は、次の図面で類似した項目を表し、したがって、何かしらの項目がある図面で定義されたら、後続の図面でそれに対してさらに定義および説明する必要がないことを注意されたい。

【0017】

本明細書における「および／または」という用語は、関連付け関係を説明し、３つの関係が存在し得ることを表し、例えば、Ａおよび／またはＢは、Ａが独立で存在する場合、ＡとＢの両方が存在する場合、Ｂが独立で存在する場合の３つの場合を表すことができる。また、本明細書における「少なくとも１つ」という用語は、複数のうちのいずれか１つ、または複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ、およびＣからなるセットから選択された任意の１つまたは複数の要素を含むことを示す。

【0018】

人々の生活水準の向上に伴い、車両は、人々の生活の中で不可欠な交通手段となっており、車室内のカメラ装置は、運転者の運転行動を制約することで、交通事故の発生の可能性を低減し、運転の安全性の向上に役立つ。しかしながら、実際の使用過程では、カメラ装置が遮蔽される場合があり、カメラ装置が遮蔽されている場合、運転者の行動を正確に検出できなくなる。

【0019】

研究によると、先行技術によれば、カメラ装置が遮蔽されているか否かを検出する方法、例えば、顔検出の方法によってカメラ装置が遮蔽されているか否かを決定する方法などがあるが、当該方法は、画像全体の明るさが高い場合や低い場合、誤判断や判断漏れが生じやすい。

【0020】

上記の研究を鑑み、本願は、カメラ装置の遮蔽検出方法を提供し、当該方法は、カメラ装置を介して車両の運転領域のビデオデータを取得することと、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得ることと、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、ことと、を含む。

【0021】

本願の実施例では、顔が識別されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を取得し、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定し、このようにして、顔が識別されない場合、画像に対してさらなる判断を行うことができ、これにより、判断の精度を向上させることができる。

【0022】

以下では、図面を参照して、本願の実施例によるカメラ装置の遮蔽検出方法について詳細に説明する。図１を参照すると、本願の実施例によるカメラ装置の遮蔽検出方法の例示的なフローチャートが示されており、当該カメラ装置の遮蔽検出方法は、以下のステップＳ１０１～Ｓ１０３を含む。

【0023】

ステップＳ１０１において、カメラ装置を介して車両の運転領域のビデオデータを取得する。

【0024】

ここで、運転領域は、運転者が車両の運転を制御する車両内の領域を指す。車両の走行中、運転者は通常、車両の運転領域に位置し、端末機器は、車両の運転領域のビデオデータを取得することができる。

【0025】

ビデオデータは、連続する画像シーケンスを指し、これは、本質的には、一連の連続する画像からなるものであり、ここで、画像フレームは、ビデオを構成する最小の視覚ユニットであり、１つの静的な画像である。時間的に連続する画像フレームシーケンスを合成したら、動的ビデオが得られる。本実施形態では、後続の検出や識別を容易にするために、前記ビデオデータにおける画像フレームを抽出する必要がある。

【0026】

例示的に、ビデオデータは通常、１秒あたり多数のフレームの画像（例えば、１秒あたり２４フレームの画像）を含むため、前記ビデオデータにおける画像フレームを抽出する過程において、フレーム抽出を実行することができる。ここで、フレーム抽出とは、所定フレーム数間隔でフレーム抽出を実行することを指し、例えば、２０フレームごとに１フレームの画像を抽出することができる。所定時間間隔でフレーム抽出を実行してもよく、１０ミリ秒（ｍｓ）ごとに画像を抽出することができる。

【0027】

説明すべきこととして、所定フレーム数間隔および所定時間間隔は、実際の要件に応じて設定でき、本願はこれに対して限定しない。

【0028】

任意選択的に、運転領域のビデオデータは、車両内に設置されたカメラ装置によって撮影され、そして、端末機器は、撮影装置によって撮影されたビデオデータを取得する。つまり、本願の実施例では、当該カメラ装置の遮蔽検出方法の実行主体は、端末機器であってもよく、ここで、端末機器は、車載機器、ウェアラブル機器、ユーザ端末、およびハンドヘルド機器などを含むが、これらに限定されない。

【0029】

他の実施形態では、当該カメラ装置の遮蔽検出方法の実行主体はサーバであってもよく、ここで、当該サーバは、独立した物理サーバであってもよいし、複数の物理サーバからなるサーバクラスタまたは分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウドストレージ、ビッグデータおよび人工知能プラットフォームなどの基礎的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。

【0030】

いくつかの可能な実施形態では、当該カメラ装置の遮蔽検出方法はまた、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことで実現されることもできる。

【0031】

ステップＳ１０２において、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得る。

【0032】

理解できるように、ビデオデータに対して画像フレームの抽出処理を実行した後、複数の画像フレームが得られる。ここで、現在の画像フレームとは、現在検出識別処理を実行する必要がある画像フレームを指し、ビデオデータにおいてタイミングが現在の画像フレームよりも前にある画像フレームは、前順画像フレームと呼ばれ、タイミングが現在の画像フレームよりも後にある画像フレームは、後順画像フレームと呼ばれる。

【0033】

例示的に、上記のマルチフレームの画像を抽出した後、抽出された画像に対して顔検出を行い、現在の画像フレームに顔が存在するか否かを決定することができる。いくつかの実施例では、現在の画像フレームで顔が検出された場合、運転者が運転領域にあり、且つカメラ装置が遮蔽されていないことを意味し、現在の画像フレームで顔が検出されない場合、判断の精度を向上させるために、現在の画像フレームに対するさらなる判断が必要となる。

【0034】

本実施形態では、現在の画像フレームで顔が識別されない場合、さらに、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得る。いくつかの実施例では、図２を参照すると、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化するステップは、以下のステップＳ１０２１およびＳ１０２２を含み得る。

【0035】

ステップＳ１０２１において、前記現在の画像フレームの参照画素閾値を決定する。

【0036】

本実施形態では、前記参照画素閾値は、前記現在の画像フレームの平均画素値であり、このようにして、当該参照画素閾値に基づいて得られた特徴符号化情報が、現在の画像フレームと唯一の対応関係を有するようにし、これにより、判断の精度をさらに向上させることができる。もちろん、他の実施形態では、当該参照画素閾値は、実際の状況に応じて設定してもよく、例えば、現在の画像フレームの平均画素値ではなく、現在画像の全体的な明るさに応じて、対応する参照画素閾値を決定してもよい。

【0037】

例示的に、参照画素閾値の決定精度を向上させるために、前記現在の画像フレームの参照画素閾値を決定する前に、現在の画像フレームに対してノイズ低減処理を実行することができ、これにより、イメージングノイズの影響を低減することができる。

【0038】

いくつかの実施形態では、ガウス平滑化アルゴリズムを採用して前記現在の画像フレームに対してノイズ低減処理を実行することができる。他の実施例では、メディアンフィルタリングアルゴリズムまたは平均フィルタリングアルゴリズムを用いてノイズ低減処理を実行することもでき、本願はこれに対して限定しない。

【0039】

ステップＳ１０２２において、前記現在の画像フレームの各画素点の画素値を前記参照画素閾値と順次比較し、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化して、前記現在の画像フレームの特徴符号化情報を得る。

【0040】

例示的に、参照画素閾値を決定した後、当該参照画素閾値に基づいて、現在の画像フレームを符号化することができ、符号化プロセスは、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化することにより、前記特徴符号化情報を得ることであってもよい。当該特徴符号化情報は、符号化される現在の画像フレームと同じサイズを有する二次元配列または二次元行列であってもよい。例えば、現在の画像フレームの平均画素が１００である場合、現在の画像フレーム内のある画素点の画素値が１２３である場合、当該画素点を１に符号化し、現在の画像フレーム内のある画素点の画素値が８０である場合、当該画素点を０に符号化する。

【0041】

任意選択的に、特徴符号化情報の次元を減らして計算量を減らすために、現在の画像フレームにおける各画素点を符号化した後、各画素点の符号を一定のスキャン順序（例えば、行をスキャンした後に列をスキャンするなど）に応じて各画素点の符号を順次に直列連結して、一次元配列またはベクトルを形成して、画像フレームの特徴符号化情報として使用することができる。

【0042】

ステップＳ１０３において、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定し、ここで、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む。

【0043】

本実施形態では、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含み、つまり、所定の特徴符号化情報は、前記現在の画像フレームの前順画像フレームの特徴符号化情報であり、前記前順画像フレームは顔を含む。つまり、カメラ装置が起動された後に撮影した、顔を含む画像を、後続の画像フレームにおいてカメラ装置の遮蔽が発生したかどうかを判断する根拠として使用する。

【0044】

理解できるように、カメラ装置は、車両を起動した後に電源が入って動作し、車両の運転領域を撮影し始め、ビデオデータを得ることができ、ビデオデータに基づいて得られた最初のフレームの画像に顔が含まれていない場合、事前に記憶された、顔を含む特徴符号化情報を、当該所定の特徴符号化情報として使用することができ、当該最初のフレームの画像に顔が含まれている場合、当該最初のフレームの画像の特徴符号化情報を当該所定の特徴符号化情報として使用する。

【0045】

説明すべきこととして、ビデオデータに基づいて、連続するマルチフレームの画像に顔が含まれていると決定した場合、所定の特徴符号化情報を更新することができ、つまり、後続の、顔を含む特徴符号化情報を使用して、当該最初のフレームの画像の特徴符号化情報を置き替える。例えば、所定時間間隔で１回更新することができ、所定時間間隔は限定されず、１分であってもよいし、２分であってもよい。

【0046】

例示的に、現在の画像フレームの特徴符号化情報を所定の特徴符号化情報と比較して、カメラ装置が遮蔽されているか否かを決定することができる。いくつかの実施例では、現在の画像フレームの特徴符号化情報と所定の特徴符号化情報との間のハミング距離を計算し、前記現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、前記カメラ装置が遮蔽されていると決定することができる。

【0047】

本願の実施例では、顔が識別されない場合、前記現在の画像フレームの画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを判断し、このようにして、顔が識別されない場合、画像に対してさらなる判断を行うことができ、これにより、判断の精度を向上させることができ、特に、運転者の離席判断がより正確になる。

【0048】

図３を参照すると、本願の実施例によるカメラ装置の遮蔽検出方法の別の例示的なフローチャートであり、以下のステップＳ２０１～Ｓ２０５を含む。

【0049】

ステップＳ２０１において、カメラ装置を介して車両の運転領域のビデオデータを取得する。

【0050】

ここで、当該ステップは、上記のステップＳ１０１と同様である。

【0051】

ステップＳ２０２において、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得る。

【0052】

ここで、当該ステップは、上記のステップＳ１０２と同様である。

【0053】

ステップＳ２０３において、現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きいか否かを判断し、所定閾値より大きい場合、ステップＳ２０５を実行し、そうでない場合、ステップＳ２０４を実行する。

【0054】

ここで、当該ステップは、上記のステップＳ１０３と同様である。

【0055】

ステップＳ２０４において、前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを判断する。

【0056】

例示的に、現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値以下である場合、現在の画像フレームに顔が存在する可能性があり、いくつかの特定の原因（暗い環境光など）によって、顔検出の過程で識別されない可能性があることを意味し、したがって、判断の精度をさらに向上させるために、別の方法で現在の画像フレームを判断して、カメラ装置が遮蔽されているか否かをさらに判断する必要がある。

【0057】

本願の実施例では、現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値以下である場合、現在の画像フレームの画素分布ヒストグラムを決定し、前記画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、前記カメラ装置が遮蔽されていると決定する。

【0058】

いくつかの実施例では、現在の画像フレームにおける各画素点の画素値の分布を統計して、現在の画像フレームの画素分布ヒストグラムを得ることができる。例えば、事前に分割された複数の画素区間に従って、現在の画像フレームにおける各画素点の画素値の分布を統計することができ、当該複数の画素区間は、［０～１９］、［２０～８０］、［８１～１２６］および［１２７～２５５］などであってもよい。理解できるように、本実施形態に示す複数の画素区間は一例であり、他の実施形態では、当該複数の画素区間は、他の要件に応じて分割されてもよい。

【0059】

いくつかの実施形態では、当該所定区間は、カメラ装置の実際の使用環境に基づいて大量のテストを行うことによって得られることができ、例えば、車両運転領域シーンの画像のヒストグラムを統計することができ、カメラ装置が遮蔽されていない場合に撮影した通常の画像における画素区間［２０～８０］の画素数量の割合と、カメラ装置が遮蔽された場合に撮影した画像における画素区間［２０～８０］の画素数量の割合との間に比較的に鮮明な境界があることが判断され、したがって、所定区間を［２０～８０］の画素区間に設定することができる。

【0060】

さらに、画素値が低い（２０未満など）総画素の割合、または高輝度閾値より大きい総画素の割合が大きいほど、画像に有効な内容が存在する確率が小さくなり、よって、他の実施例では、当該所定区間は、画素値が低い区間または画素値が高い区間であってもよく、例えば、［０～２０］の画素区間または［１３０～２５５］の画素区間であってもよく、本願はこれに対して限定しない。

【0061】

本実施形態では、当該所定区間は、当該複数の画素区間のうちの１つであり、例えば、当該所定区間は［２０～８０］であり、当該所定区間［２０～８０］内にある画素点の数が多くかつ所定の割合閾値より大きい場合、カメラ装置が遮蔽されていると決定することができる。

【0062】

ステップＳ２０５において、前記カメラ装置が遮蔽されていると決定する。

【0063】

ステップＳ２０６において、提示情報を出力する。

【0064】

例示的に、カメラ装置が遮蔽されていると決定した後、提示情報を出力して、カメラ装置が運転者の画像を正常に撮影できるように、遮蔽されたカメラ装置を処理するよう運転者に通知し、それにより、運転の安全性の向上を支援することができる。

【0065】

ここで、提示情報は、音声提示情報、グラフィック提示情報、照明提示情報などを含むが、これらに限定されない。例えば、「カメラ装置が遮蔽されています。確認してください」という音声提示情報を出力することができる。

【0066】

いくつかの実施形態では、瞬間的な遮蔽による頻繁な提示情報の出力が車内の人に与える影響を軽減するために、図４に示すように、上記の提示情報を出力するステップＳ２０６は、以下のステップＳ２０６１とＳ２０６２の方式で実行することができる。

【0067】

ステップＳ２０６１において、前記ビデオデータ内の各フレーム画像に対するカメラ装置の検出結果に基づいて、前記カメラ装置の持続遮蔽時間を決定する。

【0068】

ステップＳ２０６２において、前記持続遮蔽時間が所定時間に達した場合、前記提示情報を出力する。

【0069】

本実施形態では、現在の画像フレームに基づいて、カメラ装置が遮蔽されていると決定した場合、後続のフレームの画像の判断結果も、遮蔽されているということであるか否かを決定する必要があり、少なくとも１フレームの後のフレームの画像に基づいて、カメラ装置が遮蔽されていないと判断した場合、現在の遮蔽は瞬間的に現れて消滅する現象にすぎないことを意味し、この場合、提示情報を出力しない。少なくとも１フレームの後のフレームの画像の判断結果も、カメラ装置が遮蔽されているということである場合、つまり、連続するマルチフレームの画像のそれぞれによって、カメラ装置が遮蔽されていると判断した場合、この時点でカメラ装置が遮蔽され続けていることを意味し、意図的な遮蔽であり、誤って遮蔽されたものではなく、前記持続遮蔽時間が所定時間（例えば、５秒など）に達した場合、提示情報を出力して提示する。

【0070】

図５を参照すると、本願の実施例によるカメラ装置の遮蔽検出方法の別の例示的なフローチャートが示されており、以下のステップＳ３０１～Ｓ３１０を含む。

【0071】

ステップＳ３０１において、カメラ装置を介して車両の運転領域のビデオデータを取得する。

【0072】

ここで、当該ステップは、上記のステップＳ１０１と同様である。

【0073】

ステップＳ３０２において、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得る。

【0074】

ここで、当該ステップは、上記のステップＳ１０２と同様である。

【0075】

ステップＳ３０３において、現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きいか否かを判断し、所定閾値より大きい場合、ステップＳ３０８を実行し、そうでない場合、ステップＳ３０４を実行する。

【0076】

例示的に、現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、現在の画像フレームに顔が含まれていないことを意味し、この場合、ステップＳ３０８を実行し、カメラ装置が遮蔽されていると判断する。現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値以下である場合、現在の画像フレームに顔が存在する可能性があることを意味し、さらなる判断が必要であるため、ステップＳ３０４を実行する。

【0077】

ステップＳ３０４において、前記現在の画像フレームの画素分布ヒストグラムを決定する。

【0078】

ここで、当該ステップは、上記のステップＳ２０４と同様である。

【0079】

ステップＳ３０５において、画素分布ヒストグラムにおける所定区間の画素分布の割合が、所定の割合閾値より大きいか否かを判断し、所定の割合閾値より大きい場合、ステップＳ３０８を実行し、そうでない場合、ステップＳ３０６を実行する。

【0080】

例示的に、画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、現在の画像フレームの無効な内容の割合が大きいことを意味し、この場合、ステップＳ３０８を実行し、カメラ装置が遮蔽されていると判断する。画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値以下である場合、現在の画像フレームの有効内容の割合が正常であることを意味し、この場合、ステップＳ３０６を実行して、さらなる判断を行う必要がある。

【0081】

ステップＳ３０６において、前記現在の画像フレームの最大連結領域を決定する。

【0082】

ステップＳ３０７において、前記最大連結領域の面積が所定の面積閾値より大きいか否かを判断し、所定の面積閾値より大きい場合、ステップＳ３０８を実行し、そうでない場合、ステップＳ３１０を実行する。

【0083】

ここで、最大連結領域とは、同じ画素値または一定の誤差以内のすべての画素値を持つ、隣接する画素点で構成される画像領域を指し、最大連結領域は、閉じた領域である。例えば、所定の面積閾値は、画像全体の６０％を占める面積に設定することができ、最大連結領域が当該所定の面積閾値より大きい場合、ステップＳ３０８を実行し、カメラ装置が遮蔽されていると決定し、最大連結領域が当該所定の面積閾値以下である場合、ステップＳ３１０を実行し、前記カメラ装置が遮蔽されていないと決定する。

【0084】

理解できるように、判断精度をさらに向上させ、突然の変化による誤判断（瞬間的な遮蔽よる誤判断など）を低減するために、いくつかの実施形態では、現在の画像フレームの最大連結領域の面積が前記所定の面積閾値より大きいと決定した場合、さらに、以下のステップ（１）～（３）を実行することができる。

【0085】

（１）前記現在の画像フレームの前後の画像フレームのうちの少なくとも１フレームの画像の最大連結領域を決定する。

【0086】

（２）前記現在の画像フレームおよび前記少なくとも１フレームの画像の最大連結領域の面積の平均値を決定する。

【0087】

（３）前記現在の画像フレームおよび前記少なくとも１フレームの画像の最大連結領域の面積の平均値が前記所定の面積閾値より大きい場合、前記カメラ装置が遮蔽されていると決定する。

【0088】

このように、現在の画像フレームの最大連結領域の面積が所定の面積閾値より大きいと決定した場合、さらに、現在の画像フレームの前後のマルチフレームの画像の最大連結領域の面積の平均値を決定することにより、瞬間的に現れて消滅すること（例えば、カメラ装置の前を瞬間的に通過するなど）による誤判断の発生率を低減し、判断の精度をさらに向上させることができる。

【0089】

ステップＳ３０８において、前記カメラ装置が遮蔽されていると決定する。

【0090】

ステップＳ３０９において、提示情報を出力する。

【0091】

ここで、当該ステップは、上記のステップＳ２０６と同様である。

【0092】

ステップＳ３１０において、前記カメラ装置が遮蔽されていないと決定する。

【0093】

当業者であれば理解できるように、上記の特定の実施形態における方法では、各ステップの記述順序は、厳密な実行順序を意味するものではなく、実施プロセスに対するいかなる限定も構成しなく、各ステップの具体的な実行順序は、その機能と内部ロジックによって決定されるべきである。

【0094】

同じ技術的構想に基づいて、本願の実施例は、カメラ装置の遮蔽検出方法に対応するカメラ装置の遮蔽検出装置をさらに提供し、本願の実施例における装置が問題を解决する原理が、上記の本願の実施例におけるカメラ装置の遮蔽検出方法と類似しているため、装置の実施は、方法の実施を参照することができる。

【0095】

図６を参照すると、本願の実施例によるカメラ装置の遮蔽検出装置５００の概略図が示されており、当該カメラ装置の遮蔽検出装置５００は、ビデオ取得モジュール５０１と、顔検出モジュール５０２と、
ビデオ取得モジュール５０１は、カメラ装置を介して車両の運転領域のビデオデータを取得するように構成され、
顔検出モジュール５０２は、前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得るように構成され、
遮蔽決定モジュール５０３は、前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成され、ここで、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む。

【0096】

１つの可能な実施形態では、前記顔検出モジュール５０２はさらに、
前記現在の画像フレームの参照画素閾値を決定し、
前記現在の画像フレームの各画素点の画素値を前記参照画素閾値と順次比較し、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化して、前記現在の画像フレームの特徴符号化情報を得るように構成される。

【0097】

１つの可能な実施形態では、前記参照画素閾値は、前記現在の画像フレームの平均画素値である。

【0098】

１つの可能な実施形態では、前記遮蔽決定モジュール５０３はさらに、
前記現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される。

【0099】

１つの可能な実施形態では、前記遮蔽決定モジュール５０３はさらに、
前記ハミング距離が前記所定閾値以下である場合、前記現在の画像フレームの画素分布ヒストグラムを決定し、
前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成される。

【0100】

１つの可能な実施形態では、前記遮蔽決定モジュール５０３はさらに、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される。

【0101】

１つの可能な実施形態において、前記遮蔽決定モジュール５０３はさらに、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が前記所定の割合閾値以下である場合、前記現在の画像フレームの最大連結領域を決定し、
前記最大連結領域の面積が所定の面積閾値より大きい場合、前記カメラ装置が遮蔽されていると決定するように構成される。

【0102】

図７を参照すると、１つの可能な実施形態では、前記装置はさらに、
前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力するように構成される、情報出力モジュール５０４を備える。

【0103】

１つの可能な実施形態では、前記情報出力モジュール５０４はさらに、
前記ビデオデータ内の各フレーム画像に対するカメラ装置の検出結果に基づいて、前記カメラ装置の持続遮蔽時間を決定し、
前記持続遮蔽時間が所定時間に達した場合、前記提示情報を出力するように構成される。

【0104】

装置内の各モジュールの処理プロセスおよび各モジュール間のインタラクションプロセスの説明は、上記の方法の実施例における関連する説明を参照でき、ここでは詳細に説明しない。

【0105】

同じ技術的構想に基づいて、本願の実施例は、電子機器をさらに提供する。図８を参照すると、本願の実施例による電子機器７００の例示的な構造図が示されており、前記電子機器７００は、プロセッサ７０１と、メモリ７０２と、バス７０３とを備える。ここで、メモリ７０２は、実行命令を記憶するように構成され、内部メモリ７０２１と外部メモリ７０２２とを含み、ここでの内部メモリ７０２１は、内部ストレージとも呼ばれ、プロセッサ７０１の演算データと、ハードディスクなどの外部メモリ７０２２と交換するデータを一時的に格納するように構成され、プロセッサ７０１は、内部メモリ７０２１を介して外部メモリ７０２２とデータを交換する。

【0106】

本願の実施例では、メモリ７０２は、本願の技術案を実行するためのアプリケーションプログラムコードを記憶するように構成され、プロセッサ７０１によって、その実行が制御される。つまり、電子機器７００が動作するとき、プロセッサ７０１とメモリ７０２は、バス７０３を介して通信し、これにより、プロセッサ７０１は、メモリ７０２に記憶されたアプリケーションプログラムコードを実行することによって、前述した任意の実施例に記載の方法を実行する。

【0107】

ここで、メモリ７０２は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能な読み取り専用メモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などであってもよいが、これらに限定されない。

【0108】

プロセッサ７０１は、信号処理能力を備えた集積回路チップであり得る。上記のプロセッサは、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ネットワークプロセッサ（ＮＰ：Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ）などを含む、汎用プロセッサであってもよく、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよく、本願の実施例で開示された各方法、ステップおよび論理ブロック図を実現または実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、または当該プロセッサは、任意の従来のプロセッサなどであってもよい。

【0109】

理解できるように、本願の実施例に示す構造は、電子機器７００への限定を構成しない。本願の他のいくつかの実施例では、電子機器７００は、図示したものよりも多いまたは少ない部品を備えることができ、または特定の部品を組み合わせたり、特定の部品を分割したりするか、または異なる部品配置を有することができる。図示した部品は、ハードウェア、ソフトウェアまたはソフトウェアとハードウェアの組み合わせによって実現されることができる。

【0110】

本願の実施例は、コンピュータプログラムが記憶された、コンピュータ可読記憶媒体をさらに提供し、当該コンピュータプログラムは、プロセッサに、上記の方法の実施例におけるカメラ装置の遮蔽検出方法のステップを実行させる。ここで、当該記憶媒体は、揮発性または不揮発性のコンピュータ可読記憶媒体であり得る。

【0111】

本願の実施例は、コンピュータプログラム製品をさらに提供し、当該コンピュータプログラム製品は、プログラムコードを含み、前記プログラムコードに含まれる命令は、上記の方法の実施例におけるカメラ装置の遮蔽検出方法のステップを実行するために使用され、上記の方法の実施例を参照することができる。

【0112】

ここで、上記したコンピュータプログラム製品は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって実現されることができる。１つの例示的な実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現され、別の例示的な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などのソフトウェア製品として具現される。

【0113】

当業者なら理解できるように、説明の便宜上および簡潔さのために、上記のシステムおよび装置の動作プロセスは、上記の方法の実施例における対応するプロセスを参照することができる。本願で提供されるいくつかの実施例では、開示されたシステム、装置および方法は、他の方式で実現できることを理解されたい。上記で説明された装置の実施例は、例示的なものであり、例えば、前記ユニットの分割は、論理機能の分割であり、実際の実現では、他の分割方式を採用することができ、例えば、複数のユニットまたはコンポーネントを組み合わせるかまたは別のシステムに統合してもよく、その一部の特徴を無視するか実行しなくてもよい。さらに、表示または議論された相互結合または直接結合または通信接続は、いくつかの通信インターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的、機械的、または他の形態であってもよい。

【0114】

前記個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、１箇所に配置される場合もあれば、複数のネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施例における技術的解決策の目的を達成することができる。

【0115】

また、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。

【0116】

前記機能が、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、プロセッサによって実行可能な不揮発のコンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本願の技術的解決策の本質的な部分、即ち、従来技術に貢献のある部分、又は前記技術的解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、前記コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）に、本願の各実施例に記載の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等のプログラムコードを記憶することができる様々な媒体を含む。

【0117】

本願の技術的解決策が個人情報に関わる場合、本願の技術的解決策を適用する製品が個人情報を処理する前に、個人情報の処理規則について明確に知らせ、本人の自らの同意が得られる。本願の技術的解決策が、敏感な個人情報に関わる場合、本願の技術的解決策を適用する製品は、敏感な個人情報を処理する前に、本人の自らの同意が得られ、「明示的な同意」という要件も満たしている。例えば、カメラなどの個人情報収集装置で、明確かつ鮮明な標識を設置して、個人情報収集範囲に入っており、個人情報が収集されることを知らせ、本人が自発的に収集範囲に入った場合、個人情報の収集に同意したと見なす。または、個人情報処理装置において、明示的な標識／情報を用いて個人情報の処理規則を知らせる場合、ポップアップ情報や本人の自発的な個人情報のアップロードなどの方式によって個人の許可を得、ここで、個人情報の処理規則は、個人情報処理者、個人情報処理の目的、処理方式、処理される個人情報の種類などの情報を含み得る。

【0118】

最後に説明すべきこととして、上記の実施例は、本願の技術的解決策を説明するための本願の特定の実施形態に過ぎず、本願を限定するためのものではなく、本願の保護範囲はこれに限定されない。上記の実施例を参照して本願について詳細に説明したが、当業者なら理解するべきこととして、任意の本技術分野に精通している技術者は、本願で開示された技術的範囲内で、上記の実施例で記載された技術的解決策を変更するか、またはその変形を容易に想到し、またはその一部の技術的特徴を同等置換することができ、これらの変更、変形または置換は、対応する技術的解決策の本質を本願の実施例の技術的解決策の趣旨および範囲から逸脱させなく、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の範囲に従うものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-06-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

カメラ装置の遮蔽検出方法であって、
カメラ装置を介して車両の運転領域のビデオデータを取得することと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得ることと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、ことと、を含む、前記カメラ装置の遮蔽検出方法。

【請求項2】

前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化することは、
前記現在の画像フレームの参照画素閾値を決定することと、
前記現在の画像フレームの各画素点の画素値を前記参照画素閾値と順次比較し、前記参照画素閾値より大きい画素点を１に符号化し、前記参照画素閾値以下である画素点を０に符号化して、前記現在の画像フレームの特徴符号化情報を得ることと、を含む、
請求項１に記載のカメラ装置の遮蔽検出方法。

【請求項3】

前記参照画素閾値は、前記現在の画像フレームの平均画素値である、
請求項２に記載のカメラ装置の遮蔽検出方法。

【請求項4】

前記現在の画像フレームの特徴符号化情報および前記所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定することは、
前記現在の画像フレームの特徴符号化情報と前記所定の特徴符号化情報との間のハミング距離が所定閾値より大きい場合、前記カメラ装置が遮蔽されていると決定することを含む、
請求項１に記載のカメラ装置の遮蔽検出方法。

【請求項5】

前記カメラ装置の遮蔽検出方法は、
前記ハミング距離が前記所定閾値以下である場合、前記現在の画像フレームの画素分布ヒストグラムを決定することと、
前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定することと、をさらに含む、
請求項４に記載のカメラ装置の遮蔽検出方法。

【請求項6】

前記現在の画像フレームの画素分布ヒストグラムに基づいて、前記カメラ装置が遮蔽されているか否かを決定することは、
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が所定の割合閾値より大きい場合、前記カメラ装置が遮蔽されていると決定すること、および
前記画素分布ヒストグラムにおける所定区間の画素分布の割合が前記所定の割合閾値以下である場合、前記現在の画像フレームの最大連結領域を決定し、前記最大連結領域の面積が所定の面積閾値より大きい場合、前記カメラ装置が遮蔽されていると決定すること、のうちの少なくとも１つを含む、
請求項５に記載のカメラ装置の遮蔽検出方法。

【請求項7】

前記カメラ装置の遮蔽検出方法は、
前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力することをさらに含む、
請求項１ないし６のいずれか一項に記載のカメラ装置の遮蔽検出方法。

【請求項8】

前記カメラ装置が遮蔽されていると決定した場合、提示情報を出力することは、
前記ビデオデータ内の各フレーム画像に対するカメラ装置の検出結果に基づいて、前記カメラ装置の持続遮蔽時間を決定することと、
前記持続遮蔽時間が所定時間に達した場合、前記提示情報を出力することと、を含む、
請求項７に記載のカメラ装置の遮蔽検出方法。

【請求項9】

カメラ装置の遮蔽検出装置であって、
カメラ装置を介して車両の運転領域のビデオデータを取得するように構成される、ビデオ取得モジュールと、
前記ビデオデータにおける現在の画像フレームに対して顔検出を行い、顔が検出されない場合、前記現在の画像フレームにおける画素値に基づいて、前記現在の画像フレームを符号化し、前記現在の画像フレームの特徴符号化情報を得るように構成される、顔検出モジュールと、
前記現在の画像フレームの特徴符号化情報および所定の特徴符号化情報に基づいて、前記カメラ装置が遮蔽されているか否かを決定するように構成される遮蔽決定モジュールであって、前記所定の特徴符号化情報は、前記ビデオデータにおいて顔を含む画像フレームの特徴符号化情報を含む、遮蔽決定モジュールと、を備える、前記カメラ装置の遮蔽検出装置。

【請求項10】

電子機器であって、プロセッサと、メモリと、バスとを備える、
前記メモリは、前記プロセッサによって実行可能な機械可読命令を記憶し、電子機器が動作するとき、前記プロセッサと前記メモリは、前記バスを介して通信し、前記機械可読命令は、前記プロセッサに、請求項１ないし６のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させる、前記電子機器。

【請求項11】

プロセッサに、請求項１ないし６のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させるためのコンピュータプログラムが記憶された、コンピュータ可読記憶媒体。

【請求項12】

コンピュータプログラム製品であって、プログラムコードが記憶されたコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令は、コンピュータ機器のプロセッサに、請求項１ないし６のいずれか一項に記載のカメラ装置の遮蔽検出方法を実行させる、前記コンピュータプログラム製品。

【国際調査報告】