特許 7429363 画像検出方法、装置、システム、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-31

(45)【発行日】2024-02-08

(54)【発明の名称】画像検出方法、装置、システム、デバイス及び記憶媒体

(51)【国際特許分類】

   H04N 23/71 20230101AFI20240201BHJP

   G06T 7/40 20170101ALI20240201BHJP

   G03B 7/093 20210101ALI20240201BHJP

【ＦＩ】

H04N23/71

G06T7/40

G03B7/093

【請求項の数】 16

(21)【出願番号】P 2022549709

(86)(22)【出願日】2021-12-24

(65)【公表番号】

(43)【公表日】2023-05-25

(86)【国際出願番号】 CN2021141303

(87)【国際公開番号】W WO2022135581

(87)【国際公開日】2022-06-30

【審査請求日】2022-08-17

(31)【優先権主張番号】202011562961.3

(32)【優先日】2020-12-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522327946

【氏名又は名称】リンクシィ・テクノロジーズ・カンパニー，リミテッド

【氏名又は名称原語表記】ＬＹＮＸＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】ＲＭ ８０１，８／Ｆ，Ｎｏ． ６７ Ｎｏｒｔｈ ４ｔｈ Ｒｉｎｇ Ｗｅｓｔ Ｒｏａｄ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８０，Ｃｈｉｎａ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100212705

【弁理士】

【氏名又は名称】矢頭 尚之

(74)【代理人】

【識別番号】100219542

【弁理士】

【氏名又は名称】大宅 郁治

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】ヤン、ジョーイー

(72)【発明者】

【氏名】ホー、ウェイ

(72)【発明者】

【氏名】ウー、ジェンジー

(72)【発明者】

【氏名】ジュー、ヤオロン

【審査官】門田 宏

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１０３１８５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／０２５３６９３（ＵＳ，Ａ１）

【文献】国際公開第２０１２／０２９３０１（ＷＯ，Ａ１）

【文献】特開２０１５－０８２２８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｇ０３Ｂ ７／００ － ７／３０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第一画像センサーによって収集された、検出対象となる画像における各ピクセルドットのピクセル値を取得し、取得したピクセル値に従って、前記検出対象となる画像における各ピクセルドットの第一勾配値を算出するステップと、
第二画像センサーによって収集された、前記検出対象となる画像における各ピクセルドットの第二勾配値を取得するステップと、ここにおいて、前記第二画像センサーは、ピクセルドットの勾配値を収集するためのセンサーである、
前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の露出状態を決定するステップと、
を含むことを特徴とする、画像検出方法。

【請求項2】

前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の露出状態を決定する前記ステップは、
前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の勾配差分を決定するステップと、
前記勾配差分と予め設定した参照勾配差分とに基づき、前記検出対象となる画像の露出状態を決定するステップと、
を含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の勾配差分を決定する前記ステップは、
前記検出対象となる画像における各ピクセルドットに対応する前記第二勾配値と、対応する前記第一勾配値との間の差分に基づき、前記検出対象となる画像における各ピクセルドットの勾配差分を決定するステップと、
前記検出対象となる画像における各ピクセルドットに対応する勾配差分の累積合計結果に基づき、前記検出対象となる画像の勾配差分を決定するステップと、
を含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記勾配差分と予め設定した参照勾配差分とに基づき、前記検出対象となる画像の露出状態を決定する前記ステップは、
前記勾配差分が予め設定した参照勾配差分よりも大きく、かつ、前記検出対象となる画像の平均輝度値が第一の予め設定した輝度値よりも大きい場合には、前記検出対象となる画像の露出状態を露出過度状態として決定するステップと、
前記勾配差分が予め設定した参照勾配差分よりも大きく、かつ、前記検出対象となる画像の平均輝度値が第二の予め設定した輝度値よりも小さい場合には、前記検出対象となる画像の露出状態を露出不足状態として決定するステップと、
前記勾配差分が予め設定した参照勾配差分以下である場合には、前記検出対象となる画像の露出状態を正常露出状態として決定するステップと、
を含むことを特徴とする、請求項２に記載の方法。

【請求項5】

前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の勾配差分を決定する前記ステップの後に、
前記検出対象となる画像の平均輝度値と現在の露出時間を取得するステップと、
平均輝度値、勾配差分と第一加重値の三者間のマッピング関係が記憶された、前記予め設定したルックアップテーブルに、前記検出対象となる画像の平均輝度値と勾配差分を入力してクエリし、第一加重値を取得するステップと、
前記第一加重値と前記現在の露出時間の乗算結果に応じて、前記第一画像センサーの最適な露出時間を決定するステップと、
をさらに含むことを特徴とする、請求項２に記載の方法。

【請求項6】

第二画像センサーによって収集された、前記検出対象となる画像における各ピクセルドットの第二勾配値を取得する前記ステップの後に、
前記検出対象となる画像を、少なくとも一つの明るい領域と少なくとも一つの暗い領域に分割するステップと、
前記明るい領域の第一勾配差分を決定し、前記暗い領域の第二勾配差分を決定するステップと、
前記明るい領域の第一勾配差分と前記暗い領域の第二勾配差分とに基づいて、前記第一画像センサーの最適な露出時間を決定するステップと、
をさらに含むことを特徴とする、請求項１に記載の方法。

【請求項7】

前記明るい領域の第一勾配差分を決定する前記ステップは、
前記明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、前記明るい領域における各ピクセルドットの勾配差分を決定するステップと、
前記明るい領域における各ピクセルドットの勾配差分の累積合計結果に応じて、前記明るい領域の第一勾配差分を決定するステップと、
を含むことを特徴とする、請求項６に記載の方法。

【請求項8】

前記暗い領域の第二勾配差分を決定する前記ステップは、
前記暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との間の差分に基づき、前記暗い領域における各ピクセルドットの勾配差分を決定するステップと、
前記暗い領域における各ピクセルドットの勾配差分の累積合計結果に応じて、前記暗い領域の第二勾配差分を決定するステップと、
を含むことを特徴とする、請求項６に記載の方法。

【請求項9】

前記明るい領域の数は複数であって、
前記明るい領域の第一勾配差分を決定する前記ステップは、
複数の前記明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、複数の前記明るい領域における各ピクセルドットの勾配差分を決定するステップと、
複数の前記明るい領域における各ピクセルドットの勾配差分の累積合計結果に応じて、複数の前記明るい領域の第一勾配差分を決定するステップと、
を含むことを特徴とする、請求項６に記載の方法。

【請求項10】

前記暗い領域の数は複数であって、
前記暗い領域の第二勾配差分を決定する前記ステップは、
複数の前記暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との間の差分に基づき、複数の前記暗い領域における各ピクセルドットの勾配差分を決定するステップと、
複数の前記暗い領域における各ピクセルドットの勾配差分の累積合計結果に応じて、複数の前記暗い領域の第二勾配差分を決定するステップと、
を含むことを特徴とする、請求項６に記載の方法。

【請求項11】

前記明るい領域の第一勾配差分と前記暗い領域の第二勾配差分とに基づいて、前記第一画像センサーの最適な露出時間を決定する前記ステップは、
前記明るい領域の第一勾配差分を、予め設定した最適化アルゴリズムに入力して、前記明るい領域に対応する第一露出値を決定するステップと、
前記暗い領域の第二勾配差分を予め設定した最適化アルゴリズムに入力して、前記暗い領域に対応する第二露出値を決定するステップと、
前記第一露出値と第二露出値とに基づいて、前記第一画像センサーの最適な露出時間を決定するステップと、
を含むことを特徴とする、請求項６に記載の方法。

【請求項12】

前記第一画像センサーのＮ個の最適な露出時間に基づき、Ｎフレームの処理対象となる画像を収集し、そのうち、各フレームの前記処理対象となる画像は、前記第一画像センサーが各最適な露出時間に基づいて収集した画像であり、異なる最適な露出時間は、異なる露出レベルに対応し、Ｎは、１より大きい正の整数であるステップと、
前記Ｎフレームの処理対象となる画像に基づいて、対象画像を生成するステップと、
をさらに含むことを特徴とする、請求項６～１１のいずれか１項に記載の方法。

【請求項13】

前記Ｎフレームの処理対象となる画像に基づいて、対象画像を生成するステップは、
各処理対象となる画像での各ピクセルドットの輻射値と勾配差分とを取得するステップと、
前記輻射値と前記勾配差分とを予め設定したルックアップテーブルに入力してクエリし、各処理対象となる画像での各ピクセルドットの第二加重値を取得し、前記予め設定したルックアップテーブルに輻射値、勾配差分と第二加重値の三者間のマッピング関係が記憶されるステップと、
Ｎフレームの処理対象となる画像での各ピクセルドットの第二加重値と前記輻射値とに基づき、前記対象画像における各ピクセルドットの輻射値を決定するステップと、
前記対象画像における各ピクセルドットの輻射値に基づいて、前記対象画像を生成するステップと、
を含むことを特徴とする、請求項１２に記載の方法。

【請求項14】

検出対象となる画像における各ピクセルドットのピクセル値を収集する第一画像センサーと、
前記検出対象となる画像における各ピクセルドットの第二勾配値を収集する第二画像センサーと、
請求項１～１３のいずれか１項に記載の画像検出方法を実現する画像検出装置と、
を備えることを特徴とする、画像検出システム。

【請求項15】

プロセッサ、通信インターフェース、メモリと通信バスを備え、そのうち、プロセッサ、通信インターフェース、メモリは通信バスを介して互いの通信を完了させ、
前記メモリは、コンピュータプログラムを格納するために使用され、
前記プロセッサは、前記メモリに格納された前記プログラムを実行するときに、請求項１～１３のいずれか１項に記載の画像検出方法を実現することを特徴とする、デバイス。

【請求項16】

コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、
当該プログラムがプロセッサによって実行されるときに、請求項１～１３のいずれか１項に記載の画像検出方法を実現することを特徴とする、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術の分野に関し、特に、画像検出方法、装置、システム、デバイス及び記憶媒体に関するものである。

【背景技術】

【0002】

デジタルカメラと他の撮影装置では、画像の平均輝度と設定された閾値とを比較して、画像が露出過度か露出不足かを検出する自動露出技術がすでに広く用いられている。従来技術では、画像の平均輝度が閾値より高い場合には、画像露出過度として決定し、画像の平均輝度が閾値よりも低い場合には、画像露出不足として決定する。

【発明の概要】

【0003】

本開示の実施例は、画像検出方法、装置、デバイス及び記憶媒体を提供する。

【0004】

本開示の実施例の第一の様態において、第一画像センサーによって収集された、検出対象となる画像における各ピクセルドットのピクセル値を取得し、取得したピクセル値に従って、前記検出対象となる画像における各ピクセルドットの第一勾配値を算出するステップと、
第二画像センサーによって収集された、前記検出対象となる画像における各ピクセルドットの第二勾配値を取得するステップと、
前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の露出状態を決定するステップと、を含む、画像検出方法を提供する。

【0005】

本開示の実施例の第二の様態において、第一画像センサーによって収集された、検出対象となる画像における各ピクセルドットのピクセル値と、第二画像センサーによって収集された、前記検出対象となる画像における各ピクセルドットの第二勾配値と、を取得する第一取得モジュールと、
前記第一画像センサーが取得した前記ピクセル値に基づいて前記検出対象となる画像における各ピクセルドットの第一勾配値を算出する第一算出モジュールと、
前記検出対象となる画像における各ピクセルドットに対応する、前記第一勾配値と前記第二勾配値とに基づき、前記検出対象となる画像の露出状態を決定する第一決定モジュールと、を備える画像検出装置をさらに提供する。

【0006】

本開示の実施例の第三の様態において、検出対象となる画像における各ピクセルドットのピクセル値を収集する第一画像センサーと、前記検出対象となる画像における各ピクセルドットの第二勾配値を収集する第二画像センサーと、上記第二の様態に記載の画像検出装置を含む画像検出装置と、を備える、画像検出システムをさらに提供する。

【0007】

本開示の実施例の第四の様態において、プロセッサ、通信インターフェース、メモリと通信バスを備え、そのうち、プロセッサ、通信インターフェース、メモリは通信バスを介して互いの通信を完了させ、前記メモリは、コンピュータプログラムを格納するために使用され、前記プロセッサは、前記メモリに格納された前記プログラムを実行するときに、第一の様態に記載の画像検出方法を実現するために使用される、デバイスをさらに提供する。

【0008】

本開示の実施例の第五の様態において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されるときに、第一の様態に記載の画像検出方法を実現するコンピュータ可読記憶媒体をさらに提供する。

【0009】

本開示の実施例による画像検出方法及び装置、システム、デバイス、コンピュータ可読記憶媒体の技術案によれば、検出対象となる画像の勾配情報を用いて検出対象となる画像の露出状態を判定し、検出対象となる画像の実際の露出状態を正確に検出でき、検出対象となる画像の実際の露出状態を検出する正確性と効果が効果的に高められ、実用的には、検出された露出状態と、検出対象となる画像の勾配情報とをさらに組み合わせて、露出パラメータの調節を行うことができ、露出パラメータ調整の合理性が高められる。

【0010】

以下、本開示の実施例又は従来技術の技術案をより明確に説明するために、実施例又は従来技術の記述において必要な図面を簡単に説明する。

【図面の簡単な説明】

【0011】

【図1】本開示の実施例による画像検出方法を示すフローチャートである。

【図2】本開示の実施例における、検出対象となる画像における一部のピクセルドットの模式図である。

【図3】本開示の実施例における、検出対象となる画像の露出状態を決定する方法を示すフローチャートである。

【図4】本開示の実施例における、検出対象となる画像の最適な露出時間を決定する方法を示すフローチャートである。

【図5】本開示の実施例における、検出対象となる画像の最適な露出時間を決定する別の方法を示すフローチャートである。

【図6】本開示の実施例における、対象画像を構築する方法を示すフローチャートである。

【図7】本開示の実施例による画像検出装置の構造を示す模式図である。

【図8】本開示の実施例による画像検出システムの構造を示す模式図である。

【図9】本開示の実施例によるデバイスの構造を示す模式図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施例における技術案について、本開示の実施例における図面を組み合わせて説明する。

【0013】

従来技術では、輝度に基づく自動露出調整方案において、通常、閾値を手動で設定する必要があり、平均輝度が閾値より高い画像を露出過度と定義し、閾値よりも低い画像を露出不足と定義し、このような判定の方法は、非常に柔軟性に欠け、合理的でもない。合理的でない点は、撮影環境が白っぽく明るい環境下では、明るめながら正常に露出している画像は露出過度と定義される恐れがあり、同様に、暗めながら正常に露出している画像は露出不足と定義される恐れがあることにある。

【0014】

しかしながら、露出過度と露出不足の本質は、画像全体の輝度が高めまたは低めであることではなく、むしろ、輝度が高めまたは低めであることにより被写体の明るい部分または暗い部分の詳細が失われるため、環境における詳細が良くキャプチャされた場合、全体輝度は露出過度または露出不足を判定するための基準として見做されるべきではないことにある。したがって、従来技術における、輝度に基づいた自動露出調整方案は、画像の実際の露出状態を検出する正確さと効果がいずれも悪く、最終的に露出パラメータの調整が合理的でなくなり、もともと正常に露出しているシーンが明るめまたは暗めに調整される。

【0015】

本開示の実施例による画像検出方法は、ローダイナックレンジ（Ｌｏｗ ＤｙｎａＭｉｃ Ｒａｎｇｅ，ＬＤＲ）画像の露出状態を検出して、ハイダイナックレンジ（ＨｉｇＨ ＤｙｎａＭｉｃ Ｒａｎｇｅ，ＨＤＲ）画像を再構成する応用シーンに適用され、画像の露出状態を検出する正確さと検出効果を効果的に高め、露出パラメータ調整の合理性を向上させることができる。

【0016】

図１は本開示の実施例による画像検出方法を示すフローチャートであり、図１に示すように、本開示の実施例による画像検出方法は、ステップＳ１０１～ステップＳ１０３を含む。

【0017】

ステップＳ１０１：第一画像センサーによって収集された、検出対象となる画像における各ピクセルドットのピクセル値を取得し、取得したピクセル値に従って、前記検出対象となる画像における各ピクセルドットの第一勾配値を算出する。

【0018】

本開示の実施例による画像検出方法は、ローダイナミックレンジ画像であってよい、検出対象となる画像における各ピクセルドットのピクセル値を収集する第一画像センサーを備えて良い画像検出装置に応用することができる。そのうち、第一画像センサーは、任意の適切な画像センサーを用いてよく、本開示の実施例は、第一画像センサーの具体的な実現形態を特に限定せず、第一画像センサーが検出対象となる画像における各ピクセルドットのピクセル値の収集を実現できればよい。

【0019】

ステップＳ１０１において、第一画像センサーによって収集された複数のピクセル値を取得し、取得した各ピクセルドットのピクセル値に基づいて、検出対象となる画像における各ピクセルドットの第一勾配値を算出する。なお、ピクセルドットの勾配値は勾配情報とも称し、勾配値は当該ピクセルドットと周辺のピクセルドットの輝度変化の差異の度合いを反映することができる。

【0020】

図２は本開示の実施例における、検出対象となる画像における一部のピクセルドットの模式図であり、図２を参照すれば、図２は、９個の小さな正方形を含み、小さな正方形の各々を一つのピクセルドットとして定義し、上から下、左から右の順序で、小さな正方形が示すピクセルドットを順に命名し、左上の小さな正方形を１つ目のピクセルドットとし、右上の小さな正方形を３つ目のピクセルドットとし、左下の小さな正方形を７つ目のピクセルドットとし、右下の小さな正方形を９つ目のピクセルドットとすることが得られる。小さな正方形における数値は当該ピクセルドットに対応する重み値を示す。

【0021】

以下、図２における５つ目のピクセルドットの第一勾配値を算出する場合を例として、本開示の実施例における、検出対象となる画像における各ピクセルドットの第一勾配値を算出する1つの例示的な実現形態を説明する。

【0022】

仮に、第一画像センサーによって収集される図２に示す１つ目のピクセルドットのピクセル値が５、３つ目のピクセルドットのピクセル値が５、７つ目のピクセルドットのピクセル値が２、９つ目のピクセルドットのピクセル値が２、５つ目のピクセルドットのピクセル値が４であるとすると、図２に示すように、１つ目のピクセルドット、３つ目のピクセルドット、７つ目のピクセルドットと９つ目のピクセルドットに対応する重み値はいずれも－１であり、５つ目のピクセルドットの対応する重み値は４となる。ピクセルドットのピクセル値を対応する重み値で乗じ、さらに複数の乗積を累積加算して、５つ目のピクセルドットの第一勾配値が得られ、つまり、５つ目のピクセルドットの第一勾配値は（－１ｘ５）＋（－１ｘ５）＋（－１ｘ２）＋（－１ｘ２）＋（４ｘ４）となり、５つ目のピクセルドットの第一勾配値が２となることが得られる。

【0023】

ステップＳ１０２：第二画像センサーによって収集された、検出対象となる画像における各ピクセルドットの第二勾配値を取得する。

【0024】

本開示の実施例において、画像検出装置は、ピクセルドットの輝度変化（勾配）数値を収集できるセンサーであって、検出対象となる画像における各ピクセルドットの第二勾配値を収集するために使用される第二画像センサーをさらに備えて良い。そのうち、第二画像センサーは、任意の適切な画像センサーを用いてよく、本開示の実施例は、第二画像センサーの具体的な実現形態を特に限定せず、第二画像センサーは、検出対象となる画像における各ピクセルドットのピクセル値の収集を実現できればよい。

【0025】

なお、第一画像センサーによって収集された検出対象となる画像および、第二画像センサーによって収集された検出対象となる画像は、同じ目標に対し第一画像センサーと第二画像センサーとによってそれぞれ収集された画像であり、言い換えれば、第一画像センサーによって収集された検出対象となる画像と、第二画像センサーによって収集された検出対象となる画像は、同一のローダイナミックレンジ画像であってよい。

【0026】

そのうち、第一画像センサーと第二画像センサーは異なるセンサーであっても、同一のセンサーシステムであってもよく、当該センサーシステムは検出対象となる画像における各ピクセルドットのピクセル値及びピクセルドットの輝度変化（勾配）数値を収集してもよく、本開示は第一画像センサーと第二画像センサーの形態を制限しない。

【0027】

ステップＳ１０３：検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値とに基づき、検出対象となる画像の露出状態を決定する。

【0028】

検出対象となる画像における各のピクセルドットに対応する第一勾配値と第二勾配値を取得した後に、各ピクセルドットの第一勾配値と第二勾配値に対し関連の演算を行うことにより、検出対象となる画像の露出状態を決定することができる。検出対象となる画像における各ピクセルドットに対応する具体的な第一勾配値と第二勾配値とに基づき、検出対象となる画像の露出状態を決定する具体的な技術案については、後の実施例における説明を参照されたい。

【0029】

本開示の実施例による画像検出方法の技術案によれば、第二画像センサーが明るい環境または暗い環境であっても、検出対象となる画像の輝度変化（勾配）情報を収集することができることから、検出対象となる画像の絶対輝度に関わらず、第二画像センサーによって収集される情報が高いダイナックレンジ（ＤｙｎａＭｉｃ Ｒａｎｇｅ）を含むことになる。第一画像センサーによって収集されたピクセル値に基づいて算出した勾配情報（第一勾配値）、及び第二画像センサーを用いて収集された勾配情報は、いずれも検出対象となる画像の詳細の豊富さを反映し、これら情報を用いて検出対象となる画像の露出状態を判定することにより、検出対象となる画像の実際の露出状態を正確に検出することができ、検出対象となる画像の実際の露出状態を検出する正確さと効果を効果的に高め、実用において、検出した露出状態と検出対象となる画像の勾配情報を組み合わせて、露出パラメータの調節を行うことができ、露出パラメータ調整の合理性が高まる。

【0030】

図３は本開示の実施例における、検出対象となる画像の露出状態を決定する方法を示すフローチャートであり、図３に示すように、本開示のいくつかの実施例では、ステップＳ１０３において、検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値とに基づき、検出対象となる画像の露出状態を決定するステップは、ステップＳ３０１、ステップＳ３０２をさらに含んで良い。

【0031】

ステップＳ３０１：検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値とに基づき、検出対象となる画像の勾配差分を決定する。

【0032】

ステップＳ３０２：検出対象となる画像の勾配差分と予め設定した参照勾配差分とに基づき、検出対象となる画像の露出状態を決定する。

【0033】

ステップＳ３０１において、第一勾配値と第二勾配値に対し関連演算を行い、検出対象となる画像の勾配差分を取得し、この勾配差分は画像の詳細部分を反映することができ、具体的な算出案は後の実施例の説明を参照されたい。

【0034】

ステップＳ３０２において、検出対象となる画像の勾配差分を予め設定した参照勾配差分と比較して、検出対象となる画像の露出状態を決定する。なお、上記露出状態は、露出過度状態、露出不足状態及び正常露出状態を含んでよく、画像が露出過度状態または露出不足状態にある場合には、当該画像が明るい部分または暗い部分の詳細情報を多く失ったことを示す。画像が正常露出状態にある場合には、当該画像は多くの詳細情報を含むことを示す。

【0035】

そのうち、露出状態が露出過度状態または露出不足状態にある場合、収集された現在の画像の露出パラメータ（例えば、露出時間）が合理的ではないものと理解され、露出パラメータを調整することにより、より良い品質の画像を取得することができる。なお、露出状態が正常露出状態である場合には、露出パラメータを調整することにより、収集された画像の品質をさらに向上させることもできる。

【0036】

本開示のいくつかの実施例では、ステップＳ３０１において、検出対象となる画像における各ピクセルドットに対応する、第一勾配値と第二勾配値とに基づき、検出対象となる画像の勾配差分を決定するステップは、検出対象となる画像における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、検出対象となる画像における各ピクセルドットの勾配差分を決定するステップと、検出対象となる画像における各ピクセルドットに対応する勾配差分の累積合計結果に基づき、検出対象となる画像の勾配差分を決定するステップと、をさらに含んでよい。例示的に、各ピクセルドットの勾配差分は各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分であり、検出対象となる画像の勾配差分は、検出対象となる画像における複数のピクセルドットに対応する勾配差分の累積合計結果である。

【0037】

代替的な一実施形態として、検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値を取得した後に、検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値を予め設定した勾配差分計算式に入力して、検出対象となる画像の勾配差分を取得する。

【0038】

そのうち、勾配差分計算式は

【0039】

【数1】

【0040】

である。

【0041】

そのうち、Ｄは検出対象となる画像の勾配差分で、

【0042】

【数2】

【0043】

は検出対象となる画像におけるｉ個目のピクセルドットの第二勾配値で、

【0044】

【数3】

【0045】

は検出対象となる画像におけるｉ個目のピクセルドットの第一勾配値で、ｎは、検出対象となる画像が含むピクセルドットの数である。

【0046】

本開示のいくつかの実施例では、ステップＳ３０２において、検出対象となる画像の勾配差分と予め設定した参照勾配差分とに基づき、検出対象となる画像の露出状態を決定するステップは、検出対象となる画像の勾配差分が予め設定した参照勾配差分よりも大きく、かつ、検出対象となる画像の平均輝度値が第一の予め設定した輝度値よりも大きい場合には、検出対象となる画像の露出状態を露出過度状態として決定するステップと、検出対象となる画像の勾配差分が予め設定した参照勾配差分よりも大きく、かつ、検出対象となる画像の平均輝度値が第二の予め設定した輝度値よりも小さい場合には、検出対象となる画像の露出状態を露出不足状態として決定するステップと、前記勾配差分が予め設定した参照勾配差分以下である場合には、前記検出対象となる画像の露出状態を正常露出状態として決定するステップと、をさらに含んでもよい。

【0047】

本開示のいくつかの実施例では、予め設定した参照勾配差分によって、上記算出した検出対象となる画像の勾配差分を参照勾配差分と比べて、検出対象となる画像の勾配差分が参照勾配差分よりも大きい場合には、検出対象となる画像に露出過度または露出不足現像が存在することを示す。検出対象となる画像の勾配差分が参照勾配差分よりも大きくない場合には、検出対象となる画像に露出過度または露出不足現像が存在しないことを示し、検出対象となる画像の露出効果が良い。

【0048】

このほか、画像の輝度閾値（第一の予め設定した輝度値と第二の予め設定した輝度値）を設定することにより、検出対象となる画像の勾配差分が参照勾配差分よりも大きい場合には、検出対象となる画像の平均輝度値が第一の予め設定した輝度値よりも大きければ、検出対象となる画像を露出過度画像として決定することができ、つまり、検出対象となる画像の露出状態が露出過度状態である。検出対象となる画像の平均輝度値が第二の予め設定した輝度値よりも小さければ、検出対象となる画像を露出不足画像として決定することができ、つまり、検出対象となる画像の露出状態は露出不足状態である。

【0049】

そのうち、参照勾配差分、第一の予め設定した輝度値と第二の予め設定した輝度値はいずれも実際の必要に応じて設定することができ、本開示の実施例はこれらを特に制限しない。

【0050】

本開示のいくつかの実施例では、画像検出方法は、検出対象となる画像の最適な露出時間を決定するステップをさらに含む。そのうち、検出対象となる画像の最適な露出時間は一つ以上であってよい。なお、最適な露出時間は、本開示の実施例に基づいて決定された、現在の露出時間よりも合理的な露出時間であり、必ずしも最も合理的な露出時間ではないと理解されてよい。

【0051】

図４は、本開示の実施例における、検出対象となる画像の最適な露出時間を決定する方法を示すフローチャートであり、図４に示すように、代替的な一実施形態として、検出対象となる画像の最適な露出時間を決定するステップは、ステップＳ４０１～ステップＳ４０３をさらに含んで良い。

【0052】

ステップＳ４０１：検出対象となる画像の勾配差分を決定した後に、検出対象となる画像の平均輝度値と現在の露出時間を取得する。

【0053】

ステップＳ４０２：予め設定したルックアップテーブルに、検出対象となる画像の平均輝度値と勾配差分を入力してクエリし、第一加重値を取得する。

【0054】

そのうち、予め設定したルックアップテーブルには、画像の平均輝度値、勾配差分と第一加重値の三者間のマッピング関係が記憶される。

【0055】

ステップＳ４０３：第一加重値と現在の露出時間の乗算結果に応じて、第一画像センサーの最適な露出時間を決定する。

【0056】

本開示のいくつかの実施例では、画像の平均輝度値、勾配差分と第一加重値の三者間のマッピング関係が記憶されたルックアップテーブルが予め設定されている。ステップＳ４０２において、検出対象となる画像の平均輝度値と勾配差分をルックアップテーブルに入力して、検出対象となる画像に対応する第一加重値をクエリし得る。

【0057】

ステップＳ４０１において、検出対象となる画像の平均輝度値を決定する実施形態は、検出対象となる画像における各ピクセルドットのピクセル値を加算して、検出対象となる画像の輝度値を取得し、上記輝度値を検出対象となる画像のピクセルドットの数で割って検出対象となる画像の平均輝度値を取得するというものであって良い。

【0058】

ステップＳ４０１において、検出対象となる画像の平均輝度値を決定する検出する別の実施形態は、第一画像センサーによって、検出対象となる画像の平均輝度値を直接収集するというものであってよい。

【0059】

ステップＳ４０３において、第一画像センサーによって収集された、検出対象となる画像の最適な露出時間は、第一加重値と現在の露出時間の乗算結果である。

【0060】

代替的な一実施形態として、第一加重値と検出対象となる画像に対応する現在の露出時間とを予め設定した最適な露出時間計算式に入力して、第一画像センサーに対応する最適な露出時間を決定することができ、そのうち、第一画像センサーの露出時間を、検出対象となる画像に対応する現在の露出時間とする。

【0061】

そのうち、最適な露出時間計算式は、
Ｔ_ｏｐｔ＝ｗ（Ｄ，Ｉ_{ｃｕｒｒｅｎｔ}）・Ｔ_{ｃｕｒｒｅｎｔ}である。

【0062】

そのうち、Ｄは、検出対象となる画像の勾配差分で、Ｉ_{ｃｕｒｒｅｎｔ}は検出対象となる画像の平均輝度値で、Ｔ_{ｃｕｒｒｅｎｔ}は第一画像センサーに対応する現在の露出時間で、ｗ（Ｄ，Ｉ_{ｃｕｒｒｅｎｔ}）は第一加重値で、Ｔ_ｏｐｔは第一画像センサーの最適な露出時間である。

【0063】

図５は本開示の実施例における、検出対象となる画像の最適な露出時間を決定する別の方法を示すフローチャートであり、図５に示すように、代替的な一実施形態として、検出対象となる画像の最適な露出時間を決定するステップは、ステップＳ５０１～ステップＳ５０３をさらに含んで良い。

【0064】

ステップＳ５０１：第二画像センサーによって収集された、第二画像における各ピクセルドットの第二勾配値を取得した後に、検出対象となる画像を、少なくとも一つの明るい領域と少なくとも一つの暗い領域に分割する。

【0065】

ステップＳ５０２：明るい領域の第一勾配差分を決定し、暗い領域の第二勾配差分を決定する。

【0066】

ステップＳ５０３：明るい領域の第一勾配差分と暗い領域の第二勾配差分とに基づいて、第一画像センサーの最適な露出時間を決定する。

【0067】

ステップＳ５０１において、検出対象となる画像を、予め設定した数の画像領域に分割し、一部の画像領域を明るい領域として決定し、一部の画像領域を暗い領域として決定する。例示的に、検出対象となる画像の明るい領域と暗い領域を分割する実施形態は、参照輝度値を予め設定し、平均輝度値が参照輝度値よりも高い画像領域を明るい領域として決定し、平均輝度値が参照輝度値よりも高くない画像領域を暗い領域として決定するというものであってよい。例示的に、検出対象となる画像の明るい領域と暗い領域を分割する別の実施形態は、参照輝度値を予め設定し、各画像領域の一定の露出時間内での輝度変化値を算出し、輝度変化値が参照輝度値よりも高い画像領域を明るい領域として決定し、輝度変化値が参照輝度値よりも高くない画像領域を暗い領域として決定するというものであってよい。

【0068】

代替的な一実施形態において、ステップＳ５０２において、各明るい領域における各ピクセルドットの勾配差分に基づいて、各明るい領域の第一勾配差分を決定する。さらに、明るい領域の第一勾配差分を決定するステップは、明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、明るい領域における各ピクセルドットの勾配差分を決定するステップと、明るい領域における各ピクセルドットの勾配差分の累積合計結果に応じて、明るい領域の第一勾配差分を決定するステップとをさらに含んで良い。例示的に、明るい領域における各ピクセルドットの勾配差分は、各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分であり、明るい領域における第一勾配値は、明るい領域における複数のピクセルドットの勾配差分の累積合計結果である。

【0069】

代替的な一実施形態において、ステップＳ５０２において、各暗い領域における各ピクセルドットの勾配差分に基づいて、各暗い領域の第二勾配差分を決定する。さらに、暗い領域の第二勾配差分を決定するステップは、暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、暗い領域における各ピクセルドットの勾配差分を決定するステップと、暗い領域における各ピクセルドットの勾配差分の累積合計結果に応じて、暗い領域の第二勾配差分を決定するステップと、をさらに含んで良い。

【0070】

代替的な別の実施形態において、明るい領域の数は複数であり、ステップＳ５０２において、複数の明るい領域における各ピクセルドットの勾配差分に基づいて、明るい領域の第一勾配差分を決定する。さらに、明るい領域の第一勾配差分を決定するステップは、明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、明るい領域における各ピクセルドットの勾配差分を決定するステップと、複数の明るい領域における各ピクセルドットの勾配差分の累積合計結果に応じて、明るい領域の第一勾配差分を決定するステップと、をさらに含んで良い。例示的に、明るい領域における各ピクセルドットの勾配差分は各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分であり、明るい領域の第一勾配差分は複数の明るい領域における各ピクセルドットの勾配差分の累積合計結果である。

【0071】

代替的な別の実施形態において、暗い領域の数は複数であり、ステップＳ５０２において、複数の暗い領域における各ピクセルドットの勾配差分に基づいて、暗い領域の第二勾配差分を決定する。さらに、暗い領域の第二勾配差分を決定するステップは、暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、暗い領域における各ピクセルドットの勾配差分を決定するステップと、複数の暗い領域における各ピクセルドットの勾配差分の累積合計結果に応じて、暗い領域の第二勾配差分を決定するステップと、をさらに含んで良い。例示的に、暗い領域における各ピクセルドットの勾配差分は各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分であり、暗い領域の第二勾配差分は複数の暗い領域における各ピクセルドットの勾配差分の累積合計結果である。

【0072】

代替的な一実施形態として、ステップＳ５０３において、明るい領域の第一勾配差分と暗い領域の第二勾配差分に基づいて、第一画像センサーの最適な露出時間を決定するステップは、明るい領域の第一勾配差分を、予め設定した最適化アルゴリズムに入力して、明るい領域に対応する第一露出値を決定するステップと、暗い領域の第二勾配差分を予め設定した最適化アルゴリズムに入力して、暗い領域に対応する第二露出値を決定するステップと、第一露出値と第二露出値とに基づいて、第一画像センサーの最適な露出時間を決定するステップと、をさらに含んで良い。

【0073】

該実施例において、最適化アルゴリズムを予め設定し、明るい領域の第一勾配差分を取得した後に、第一勾配差分を最適化アルゴリズムの入力とし、明るい領域に対応する第一露出値を決定する。なお、明るい領域に対応する露出値を第一露出値とした場合には、検出対象となる画像の明るい領域は良好な露出効果を有する。

【0074】

そのうち、最適化アルゴリズムは、

【0075】

【数4】

【0076】

により示して良い。

【0077】

そのうち、

【0078】

【数5】

【0079】

は第一勾配差分または第二勾配差分で、Ｔ^ｏｐｔは第一露出値または第二露出値である。

【0080】

最適化アルゴリズムの算出原理は、画像の明るい領域に対応する第一露出値を決定する時、画像の明るい領域の露出値を、当該露出値に対応する明るい領域の第一勾配差分が最小値となるまで調整し、調整した後の露出値を第一露出値として決定するというものである。検出対象となる画像の暗い領域の第二露出値を算出する方法は第一露出値を算出する上記方法と一致し、画像の暗い領域に対応する第二露出値を決定する時、画像の暗い領域の露出値を、当該露出値に対応する暗い領域の第二勾配差分が最小値となるまで調整し、調整した後の露出値を第二露出値として決定する。

【0081】

代替的な一実施形態として、検出対象となる画像を２つの画像領域に分割し、すなわち、検出対象となる画像を一つの暗い領域と一つの明るい領域に分割すると、第一画像センサーの最適な露出時間は、明るい領域が第一露出値にあるときに第一画像センサーに対応する露出時間と、暗い領域が第二露出値にあるときに第一画像センサーに対応する露出時間とを含む。言い換えれば、この場合には、第一画像センサーは２つの最適な露出時間に対応する。

【0082】

代替的な一実施形態において、検出対象となる画像は複数の（例えば、Ｍ個の）明るい領域と複数の（例えば、Ｌ個の）暗い領域を含み、ＭとＬはいずれも２以上の正整数である。そのうち、
明るい領域の第一勾配差分は、当該明るい領域の各ピクセルドットの勾配差分の和に基づいて決定されたもの、あるいは、Ｍ個の明るい領域における各ピクセルドットの勾配差分の和に基づいて決定されたものであってよい。暗い領域の第二勾配差分は、当該暗い領域の各ピクセルドットの勾配差分の和に基づいて決定されたもの、あるいは、Ｌ個の暗い領域における各ピクセルドットの勾配差分の和に基づいて決定されたものであってよい。

【0083】

例示的に、検出対象となる画像をＭ個の明るい領域とＬ個の暗い領域に分割すると、一実施形態において、各明るい領域の第一勾配差分及び各暗い領域の第二勾配差分をそれぞれ決定することができ、すなわち、検出対象となる画像を（Ｍ＋Ｌ）個の画像領域に分割すると、第一画像センサーは（Ｍ＋Ｌ）個の最適な露出時間に対応して良い。

【0084】

別の実施形態において、Ｍ個の明るい領域の各ピクセルドットの勾配差分の和を前記明るい領域の第一勾配差分として決定し、Ｌ個の暗い領域の各ピクセルドットの勾配差分の和を前記暗い領域の第二勾配差分として決定する。Ｍ個の明るい領域に対し、Ｍ個の明るい領域が第一露出値にあるときに対応する第一画像センサーの露出時間を最適な露出時間として決定する。Ｌ個の暗い領域に対し、Ｌ個の暗い領域が第二露出値にあるときに対応する第一画像センサーの露出時間も最適な露出時間として決定し、この場合には、第一画像センサーは２つの最適な露出時間に対応する。

【0085】

本開示のいくつかの実施例では、第一画像センサーの最適な露出時間を決定した後に、画像検出方法は、最適な露出時間に基づいて収集した処理対象となる画像から対象画像を構築するステップをさらに含んでよい。図６は、本開示の実施例における、対象画像を構築する方法を示すフローチャートであり、図６に示すように、最適な露出時間に基づいて収集した処理対象となる画像から対象画像を構築するステップは、ステップＳ６０１～ステップＳ６０２をさらに含んで良い。

【0086】

ステップＳ６０１：第一画像センサーのＮ個の最適な露出時間に基づき、Ｎフレームの処理対象となる画像を収集する。

【0087】

そのうち、各フレームの処理対象となる画像は、第一画像センサーが各最適な露出時間に基づいて収集した画像であり、Ｎは正の整数である。ステップＳ６０２：Ｎフレームの処理対象となる画像に基づいて、対象画像を生成する。

【0088】

ステップＳ６０１において、各フレームの処理対象となる画像は第一画像センサーが各最適な露出時間に基づいて収集した画像であり、異なる最適な露出時間は異なる露出レベルに対応し、それぞれ異なる最適な露出時間に異なるフレームの処理対象となる画像を収集して得、すなわち、Ｎフレームの処理対象となる画像はＮ個の露出レベルに対応する。

【0089】

代替的な一実施形態において、ステップＳ６０２において、Ｎフレームの処理対象となる画像に基づいて、対象画像を生成するステップは、各処理対象となる画像での各ピクセルドットの輻射値と勾配差分とを取得するステップと、画像の各ピクセルドットの輻射値、勾配差分、第二加重値の三者間のマッピング関係が記憶された予め設定したルックアップテーブルに、各ピクセルドットの輻射値と勾配差分を入力してクエリし、各処理対象となる画像での各ピクセルドットの第二加重値を取得するステップと、Ｎフレームの処理対象となる画像での各ピクセルドットの第二加重値と輻射値とに基づき、対象画像における各ピクセルドットの輻射値を決定するステップと、対象画像における各ピクセルドットの輻射値に基づいて対象画像を生成するステップと、をさらに含んで良い。

【0090】

例えば、各処理対象となる画像における各ピクセルドットの輻射値と勾配差分を取得し、輻射値、勾配差分と第二加重値の三者間のマッピング関係が記憶された予め設定したルックアップテーブルに、各処理対象となる画像における各ピクセルドットの輻射値と勾配差分を入力してクエリし、各ピクセルドットが異なる露出レベルである時の第二加重値、つまり、各処理対象となる画像での各ピクセルドットの第二加重値を取得し、各処理対象となる画像の各ピクセルドットの第二加重値と輻射値を予め設定した輻射値計算式に入力して、対象画像における各ピクセルの輻射値を決定し、対象画像の各ピクセルの輻射値に基づいて対象画像を生成することができる。

【0091】

なお、異なるフレームの画像に対応する露出レベルは異なり、画像の露出レベルは画像の露出時間に関連する。具体的に言えば、画像の露出レベルは、画像センサーの絞りサイズ、露光時間、および感度などのパラメータに関連する。画像センサーの露出時間以外の他のパラメータを固定値とし、画像センサーの露出時間を最適な露出時間としたとき、画像センサーがＮ個の最適な露出時間でそれぞれ収集したＮフレームの画像を、処理対象となる画像とし、かつ各フレームの処理対象となる画像の露出レベルがいずれも異なるというような場合が存在する。

【0092】

本開示のいくつかの実施例では、予め設定したルックアップテーブルには、画像の各ピクセルドットの輻射値、勾配差分と第二加重値の三者間のマッピング関係がさらに記憶されている。そのうち、ピクセルドットの輻射値は輻射輝度値であって、輝度値に関連するものであり（例えば、輝度値または、輝度値に基づいて決定された値であってよい）、第一画像センサーによって各フレームの処理対象となる画像における各ピクセルドットの輻射値を収集することができる。そのうち、上記実施例にて言及されている勾配差分を算出する方法を用いて、各フレームの処理対象となる画像における各ピクセルドットの勾配差分を算出することができる。輻射値と勾配差分をルックアップテーブルに入力して、各ピクセルドットの異なる露出レベルでの第二加重値を取得する。

【0093】

本開示のいくつかの実施例では、さらに、輻射値計算式を予め設定し、第二加重値と輻射値を予め設定した輻射値計算式に入力して、対象画像における各ピクセルドットの輻射値を出力し得る。

【0094】

そのうち、対象画像における各ピクセルドットの輻射値計算式は、

【0095】

【数6】

【0096】

である。

【0097】

そのうち、Ｌ_ｉｊは対象画像におけるピクセルドット（ｉ，ｊ）の輻射値で、w（Ｄ_ｉｊｋ,Ｘ_ｉｊｋ）は、露出レベルをｋとした場合の、処理対象となる画像におけるピクセルドット（ｉ，ｊ）に対応する第二加重値で、Ｘ_ｉｊｋは、露出レベルをｋとした場合の、処理対象となる画像におけるピクセルドット（ｉ，ｊ）の輻射値で、Ｎは処理対象となる画像のフレーム数で、ｋは処理対象となる画像の露出レベルである。

【0098】

本開示のいくつかの実施例では、Ｎフレームの処理対象となる画像と上記検出対象となる画像はいずれも第一画像センサーによって収集されたローダイナックレンジ（ＬＤＲ）画像であり、対象画像はハイダイナックレンジ（ＨＤＲ）画像である。

【0099】

従来技術では、ＬＤＲ画像に基づいて再構成されたＨＤＲ画像の画質は、ＬＤＲ画像の画質に大きく依存しており、ＬＤＲ画像の露出時間やシャッタースピードの設定が適切でないと、ＬＤＲ画像自体には現在の環境下での詳細情報の一部が含まれない可能性が高い。したがって、従来技術では、より良い品質のＨＤＲピクチャを再構成するために、パラメータ間隔が合理的かつ均一に設定され、且つＬＤＲ画像の数が十分である必要があり、これは、同一シーンでの１フレームのＨＤＲ画像は、数多くのフレーム数のＬＤＲ画像を用いて合成して生成する必要があることを意味し、ＨＤＲ画像の生成効率を大きく低下させ、動画像のフレームレートを低下させた。

【0100】

これに対し、本開示のいくつかの実施例では、検出対象となる画像の勾配情報により、検出対象となる画像の露出状態を検出し、最適な露出時間を決定して露出パラメータを調整し、Ｎ個の最適な露出時間に基づいて収集したＮフレームのローダイナミックレンジ画像だけでは１フレームのハイダイナックレンジ画像を合成することができ、かつ、ハイダイナックレンジ画像における各ピクセルドットの輻射値は上記式に基づいて算出することができ、ＨＤＲ画像を再構成するために必要な画像フレーム数を効果的に低減し、ＨＤＲ画像の生成効率を効果的に向上させ、またＨＤＲ画像の再構成の品質を効果的に向上させた。

【0101】

図７は本開示の実施例による画像検出装置の構造を示す模式図であり、図７に示すように、本開示の実施例は、第一取得モジュール７０１、第一算出モジュール７０２と第一決定モジュール７０３を備える画像検出装置７００をさらに提供する。

【0102】

そのうち、第一取得モジュール７０１は、第一画像センサーによって収集された、検出対象となる画像における各ピクセルドットのピクセル値と、第二画像センサーによって収集された、検出対象となる画像における各ピクセルドットの第二勾配値と、を取得するために使用される。第一算出モジュール７０２は取得したピクセル値に基づいて検出対象となる画像における各ピクセルドットの第一勾配値を算出するために使用される。第一決定モジュール７０３は、検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値とに基づき、検出画像の露出状態を決定するために使用される。

【0103】

いくつかの実施例において、第一決定モジュール７０３は、検出対象となる画像における各ピクセルドットに対応する第一勾配値と第二勾配値とに基づき、検出対象となる画像の勾配差分を決定する第一決定ユニットと、検出対象となる画像の勾配差分と予め設定した参照勾配差分に基づいて、検出対象となる画像の露出状態を決定する第二決定ユニットとを備える。

【0104】

いくつかの実施例において、第一決定ユニットは、検出対象となる画像における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、検出対象となる画像における各ピクセルドットの勾配差分を決定することと、検出対象となる画像における各ピクセルドットに対応する勾配差分の累積合計結果に基づき、検出対象となる画像の勾配差分を決定することとに使用される。

【0105】

いくつかの実施例において、第二決定ユニットは、検出対象となる画像の勾配差分が予め設定した参考勾配差分よりも大きく、かつ、検出対象となる画像の平均輝度値が第一の予め設定した輝度値よりも大きい場合には、検出対象となる画像の露出状態を露出過度状態として決定することと、検出対象となる画像の勾配差分が予め設定した参考勾配差分よりも大きく、かつ、検出対象となる画像の平均輝度値が第二の予め設定した輝度値よりも小さい場合には、検出対象となる画像の露出状態を露出不足状態として決定することと、前記勾配差分が予め設定した参考勾配差分以下である場合には、前記検出対象となる画像の露出状態を正常露出状態として決定することとに使用される。

【0106】

いくつかの実施例において、画像検出装置７００は、前記検出対象となる画像の平均輝度値と現在の露出時間を取得する第二取得モジュールと、平均輝度値、勾配差分と第一加重値の三者間のマッピング関係が記憶された予め設定したルックアップテーブルに、検出対象となる画像の平均輝度値と勾配差分を入力してクエリし、第一加重値を取得する第一クエリモジュールと、第一加重値と現在の露出時間の乗算結果に応じて、第一画像センサーの最適な露出時間を決定する第二決定モジュールとをさらに備える。

【0107】

いくつかの実施例において、画像検出装置７００は、検出対象となる画像を少なくとも一つの明るい領域と少なくとも一つの暗い領域に分割する領域分割モジュールと、明るい領域の第一勾配差分と、暗い領域の第二勾配差分を決定するためにさらに使用される第一算出モジュール７０２と、明るい領域の第一勾配差分と暗い領域の第二勾配差分に基づき、第一画像センサーの最適な露出時間を決定する第二算出モジュールと、をさらに備える。

【0108】

いくつかの実施例において、第一算出モジュール７０２は、明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、明るい領域における各ピクセルドットの勾配差分を決定することと、明るい領域における各ピクセルドットの勾配差分の累積合計結果に基づき、明るい領域の第一勾配差分を決定することとに使用される。

【0109】

いくつかの実施例において、第一算出モジュール７０２は、暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、暗い領域における各ピクセルドットの勾配差分を決定することと、暗い領域における各ピクセルドットの勾配差分の累積合計結果に基づき、暗い領域の第二勾配差分を決定することとに使用される。

【0110】

いくつかの実施例において、明るい領域の数は複数であり、第一算出モジュール７０２は、明るい領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、明るい領域における各ピクセルドットの勾配差分を決定することと、複数の明るい領域における各ピクセルドットの勾配差分の累積合計結果に基づき、明るい領域の第一勾配差分を決定することとに使用される。

【0111】

いくつかの実施例において、暗い領域の数は複数であり、第一算出モジュール７０２は、暗い領域における各ピクセルドットに対応する第二勾配値と、対応する第一勾配値との差分に基づき、暗い領域における各ピクセルドットの勾配差分を決定することと、複数の暗い領域における各ピクセルドットの勾配差分の累積合計結果に基づき、暗い領域の第二勾配差分を決定することとに使用される。

【0112】

いくつかの実施例において、第二算出モジュールは、明るい領域の第一勾配差分を予め設定した最適化アルゴリズムに入力して、明るい領域に対応する第一露出値を決定することと、暗い領域の第二勾配差分を予め設定した最適化アルゴリズムに入力して、暗い領域に対応する第二露出値を決定することと、第一露出値と第二露出値とに基づいて、第一画像センサーの最適な露出時間を決定することとに使用される。

【0113】

いくつかの実施例において、前記画像検出装置７００は、第一画像センサーのＮ個の最適な露出時間に基づいて、それぞれが第一画像センサーによって各最適な露出時間に基づいて収集した画像であり、Ｎは正の整数であるＮフレームの処理対象となる画像を収集する処理対象となる画像の収集モジュールと、Ｎフレームの処理対象となる画像に基づいて、対象画像を生成する対象画像生成モジュールと、をさらに備える。

【0114】

いくつかの実施例において、対象画像生成モジュールは、各処理対象となる画像での各ピクセルドットの輻射値と勾配差分とを取得することと、輻射値、勾配差分と第二加重値の三者間のマッピング関係が記憶された予め設定したルックアップテーブルに、輻射値と勾配差分とを入力してクエリし、各処理対象となる画像での各ピクセルドットの第二加重値を取得することと、Ｎフレームの処理対象となる画像での各ピクセルドットの第二加重値と輻射値とに基づき、対象画像における各ピクセルドットの輻射値を決定することと、対象画像における各ピクセルドットの輻射値に基づいて対象画像を生成するために使用される。

【0115】

本開示の実施例において、上記画像検出装置７００は、上記いずれか一つの実施例による画像検出方法を実現するために使用され、具体的な関連説明については、上記実施例による画像検出方法の説明を参照することができ、ここでは繰り返さない。

【0116】

図８は、本開示の実施例による画像検出システムの構造を示す模式図であり、図８に示すように、本開示の実施例は、第一画像センサー８０１、第二画像センサー８０２と画像検出装置８０３を備える画像検出システム８００をさらに提供する。

【0117】

そのうち、第一画像センサー８０１は、検出対象となる画像における各ピクセルドットのピクセル値を収集するために使用される。第二画像センサー８０２は、検出対象となる画像における各ピクセルドットの第二勾配値を収集するために使用される。画像検出装置８０３は、上記実施例で提供された画像検出装置を備え、画像検出装置に関する具体的な説明については、上記実施例の説明を参照することができ、ここでは繰り返さない。

【0118】

いくつかの実施例において、画像検出システム８００は、上記第一画像センサー８０１と第二画像センサー８０２を含むバイモーダル画像収集システムを備える。

【0119】

図９は本開示の実施例によるデバイスの構造を示す模式図であり、本開示の実施例はデバイスをさらに提供し、図９に示すように、当該デバイスはプロセッサ９０１、通信インターフェース９０２、メモリ９０３と通信バス９０４を備え、そのうち、プロセッサ９０１、通信インターフェース９０２、メモリ９０３は通信バス９０４を介して互いの通信を完了させる。メモリ９０３は、コンピュータプログラムを格納するために使用され、プロセッサ９０１は、メモリ９０３に格納されたプログラムを実行するために使用され、前記コンピュータプログラムがプロセッサによって実行されるときに、前記コンピュータプログラムは前記プロセッサ９０１によって上記実施例のいずれか一つに記載の画像検出方法を実現する。

【0120】

上記デバイスで言及されている通信バスは、周辺機器相互接続標準（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ，ＰＣＩ）バス、または拡張工業標準構造（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってよい。当該通信バスは、アドレスバス、データバス、制御バス等に分けて良い。なお、便宜上、図には1本の太線のみで示しているが、1本のバス又は1種類のバスのみを示しているわけではない。

【0121】

通信インターフェースは、上記端末と他のデバイスとの間の通信に用いられる。

【0122】

メモリはランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭという）であっても、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）、例えば少なくとも1つのディスクメモリであってもよい。任意選択で、メモリは、上記プロセッサから離れて位置する少なくとも1つの記憶装置であってもよい。

【0123】

上記プロセッサは、中央処理ユニット（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵという）、ネットワークプロセッサ（ＮｅｔｗｏｒｋＰｒｏｃｅｓｓｏｒ、ＮＰという）などを含む汎用プロセッサであってよく、デジタルシグナルプロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ、ＤＳＰという）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣという）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡという）または他のプログラマブル論理デバイス、ディスクリートゲート若しくはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。

【0124】

本開示による別の実施例において、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されるときに、上記実施例のいずれか一つに記載の画像検出方法がプロセッサによって実現されるコンピュータ可読記憶媒体をさらに提供する。

【0125】

本開示による別の実施例において、コンピュータプログラムまたはコマンドを含むコンピュータプログラム製品であって、コンピュータプログラムまたはコマンドがコンピュータで実行されるときに、上記実施例のいずれか一つに記載の画像検出方法がコンピュータによって実現されるコンピュータプログラム製品をさらに提供する。

【0126】

上記実施例において、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせにより、全部又は一部的に実現することができる。ソフトウェアを用いて実現される場合、全部または部分的に、コンピュータプログラム製品の形態で実現されてよい。前記コンピュータプログラム製品は一つ以上のコンピュータコマンドを含む。前記コンピュータプログラムコマンドは、コンピュータ上でロードされ実行されるとき、本開示の実施例に記載されているフローまたは機能を、全てまたは部分的に実現する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置であってもよい。前記コンピュータコマンドは、コンピュータ可読記憶媒体に記憶されるか、或いは、１台のコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送することができ、例えば、前記コンピュータコマンドは、一つのウェブサイトのサイト、コンピュータ、サーバ、又はデータセンターから、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（ＤＳＬ）又は無線（例えば、赤外線、無線、マイクロ波など）によって、別のウェブサイトのサイト、コンピュータ、サーバ、又はデータセンターに伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータによって格納可能な任意の利用可能な媒体、または一つ以上の利用可能な媒体の統合を含むサーバ、データセンターなどのデータ記憶デバイスであってよい。前記利用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光媒体（例えば、ＤＶＤ）、または半導体媒体（例えば、ソリッドステートドライブＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ））などであってよい。

【0127】

なお、本文において、例えば第一、第二などの関係用語は、単に一の実体または動作を別の実体または動作と区別するために使用されたものにすぎず、必ずしもこれら実体または動作間に何らかのこのような実際の関係または順序が存在することが要求または暗示されるものではない。さらに、用語「備える」、「含む」またはそれらの任意の他の変形例は、非排他的な含有をカバーするように意図され、これにより一連の要素を含むプロセス、方法、物品、またはデバイスは、それらの要素のみならず、明確に列挙されていない他の要素も含むか、或いはこのようなプロセス、方法、物品、またはデバイスに固有の要素も含む。それ以上限定されていない場合には、「……を備える」という文によって限定される要素は、前記要素を含むプロセス、方法、物品、又はデバイスにさらなる別の要素が存在することを排除しない。

【0128】

本明細書における各実施例は、関連する形態を用いて説明し、各実施例間で同一および近似の部分は、相互に参照可能であり、各実施例は、他の実施例との相違点を中心に説明した。特に、システムの実施例について言えば、方法実施例とほぼ類似するので、説明は比較的簡単であり、関連箇所は方法実施例の一部の説明を参照できる。

【0129】

上記実施例は、本開示の好適な実施例に過ぎず、本開示の請求範囲を制限するものではない。本開示の精神及び原則内でなされる任意の修正、等価の置換、改良等はいずれも本開示の請求範囲内に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】