特開 2023-78061 イメージングにおける露出制御方法、装置、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023078061

(43)【公開日】2023-06-06

(54)【発明の名称】イメージングにおける露出制御方法、装置、デバイス及び記憶媒体

(51)【国際特許分類】

   H04N 23/73 20230101AFI20230530BHJP

   G06T 7/11 20170101ALI20230530BHJP

   G06T 7/00 20170101ALI20230530BHJP

   G03B 7/093 20210101ALI20230530BHJP

   H04N 23/71 20230101ALI20230530BHJP

【ＦＩ】

H04N5/235 300

G06T7/11

G06T7/00 350B

G03B7/093

H04N5/235 100

【審査請求】有

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022119977

(22)【出願日】2022-07-27

(31)【優先権主張番号】202111415433.X

(32)【優先日】2021-11-25

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ウェイ、シェンユ

(72)【発明者】

【氏名】ドゥ、ユニン

(72)【発明者】

【氏名】クイ、チェン

(72)【発明者】

【氏名】グオ、ルオユ

(72)【発明者】

【氏名】ドン、シュイロン

(72)【発明者】

【氏名】ル、ビン

(72)【発明者】

【氏名】ガオ、ティンクアン

(72)【発明者】

【氏名】リウ、チウェン

(72)【発明者】

【氏名】フ、シャオグアン

(72)【発明者】

【氏名】ユ、ディアンハイ

(72)【発明者】

【氏名】マ、ヤンジュン

【テーマコード（参考）】

2H002

5C122

5L096

【Ｆターム（参考）】

2H002CC01

5C122FF09

5C122FF13

5C122FF23

5C122FH15

5C122HA46

5C122HA48

5C122HB01

5L096CA02

5L096DA02

5L096FA02

5L096KA04

(57)【要約】      （修正有）

【課題】撮影により生成された画像の品質を効果的に向上させるイメージングにおける露出制御方法、装置、デバイス及び記憶媒体を提供する。
【解決手段】方法は、デジタルカメラ等のような任意の画像生成装置に適用可能なイメージングにおける露出制御方法であって、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得て、セマンティックセグメンテーション画像及びプリイメージング画像に基づいて、各セマンティック領域の露出時間を推定し、各セマンティック領域の露出時間に基づいて、イメージングにおけるセマンティック領域の露出を制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージングにおける露出制御方法であって、
プリイメージング画像にセマンティックセグメンテーションを行って、少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得ることと、
前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露出時間を推定することと、
各前記セマンティック領域の露出時間に基づいて、イメージングにおける各前記セマンティック領域の露出を制御することと、を含む、
イメージングにおける露出制御方法。

【請求項2】

プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得ることは、
予め訓練されたセマンティックセグメンテーションモデルを用いて、前記プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得ること、を含む、
請求項１に記載のイメージングにおける露出制御方法。

【請求項3】

前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露出時間を推定することは、
予め訓練された露出時間推定モデルを用いて、前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露出時間を推定すること、を含む、
請求項１に記載のイメージングにおける露出制御方法。

【請求項4】

各前記セマンティック領域の露出時間に基づいて、イメージングにおける各前記セマンティック領域の露出を制御することは、
各前記セマンティック領域の露光時間に基づいて、イメージングにおける液晶マトリクスシャッタにおける各前記セマンティック領域に対応する液晶シャッタの露光を制御すること、を含む、
請求項１に記載のイメージングにおける露出制御方法。

【請求項5】

各前記セマンティック領域の露光時間に基づいて、イメージングにおける液晶マトリクスシャッタにおける各前記セマンティック領域に対応する液晶シャッタの露光を制御することの前に、
前記セマンティックセグメンテーション画像及び前記液晶マトリクスシャッタに基づいて、各前記セマンティック領域に対応するマトリクスシャッタを決定すること、を更に含む、
請求項４に記載のイメージングにおける露出制御方法。

【請求項6】

プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得ることの前に、前記イメージングにおける露出制御方法は、
ピント合わせ及び／又は測光プロセスにおいて、前記プリイメージング画像を生成すること、を更に含む、
請求項１に記載のイメージングにおける露出制御方法。

【請求項7】

イメージングにおける露出制御装置であって、
プリイメージング画像にセマンティックセグメンテーションを行って、少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得るセマンティックセグメンテーションモジュールと、
前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露光時間を推定する推定モジュールと、
各前記セマンティック領域の露出時間に基づいて、イメージングにおける各前記セマンティック領域の露出を制御する露出制御モジュールと、
を備えるイメージングにおける露出制御装置。

【請求項8】

前記セマンティックセグメンテーションモジュールは、
予め訓練されたセマンティックセグメンテーションモデルを用いて、前記プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得る、
請求項７に記載のイメージングにおける露出制御装置。

【請求項9】

前記推定モジュールは、
予め訓練された露出時間推定モデルを用いて、前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露出時間を推定する、
請求項７に記載のイメージングにおける露出制御装置。

【請求項10】

前記露出制御モジュールは、
各前記セマンティック領域の露光時間に基づいて、イメージングにおける液晶マトリクスシャッタにおける各前記セマンティック領域に対応する液晶シャッタの露光を制御する、
請求項７に記載のイメージングにおける露出制御装置。

【請求項11】

前記セマンティックセグメンテーション画像及び前記液晶マトリクスシャッタに基づいて、各前記セマンティック領域に対応するマトリクスシャッタを決定する決定モジュールを更に備える、
請求項１０に記載のイメージングにおける露出制御装置。

【請求項12】

ピント合わせ及び／又は測光プロセスにおいて、前記プリイメージング画像を生成する生成モジュールをさらに備える、
請求項７に記載のイメージングにおける露出制御装置。

【請求項13】

請求項７～１２のいずれか１項に記載のイメージングにおける露出制御装置を備えるイメージングデバイス。

【請求項14】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか１項に記載のイメージングにおける露出制御方法を実行させる電子デバイス。

【請求項15】

コンピュータに請求項１～６のいずれか一項に記載のイメージングにおける露出制御方法を実行させるためのコンピュータコマンドを記憶する非一時的なコンピュータ可読記憶媒体。

【請求項16】

プロセッサにより実行されると、請求項１～６のいずれか１項に記載のイメージングにおける露出制御方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術の分野に関し、具体的に、機械学習及びインテリジェントイメージングのような人工知能技術の分野に関し、特にイメージングにおける露出制御方法、装置、デバイス及び記憶媒体に関する。

【背景技術】

【0002】

デジタルカメラは通常に、露光時間を制御するためにメカニカルシャッタを使用する。また、同一の画像については、画像中のすべての画素の露光時間は一致する。

【0003】

通常はまずデジタルイメージングアルゴリズムを採用し、例えばグローバル平均、加重平均、局部サンプリングなどの方法を採用して、イメージングに必要な露光時間を測定することができる。そして、ユーザがメカニカルシャッタをクリックしてイメージングしたことを検出すると、計測された露出時間に応じて撮影シーンをイメージングする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、イメージングにおける露出制御方法、装置、デバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得、前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露出時間を推定し、各前記セマンティック領域の露出時間に基づいて、イメージングにおける各前記セマンティック領域の露出を制御することを含むイメージングにおける露出制御方法が提供される。

【0006】

本開示の別の態様によれば、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得るセマンティックセグメンテーションモジュールと、前記セマンティックセグメンテーション画像及び前記プリイメージング画像に基づいて、各前記セマンティック領域の露光時間を推定する推定モジュールと、各前記セマンティック領域の露出時間に基づいて、イメージングにおける各前記セマンティック領域の露出を制御する露出制御モジュールと、を備えるイメージングにおける露出制御装置が提供される。

【0007】

本開示の別の態様によれば、上述した態様及び可能な実施形態のいずれか一つのイメージングにおける露出制御装置を含むイメージングデバイスが提供される。

【0008】

本開示の別の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上述した態様及び可能な実施形態のいずれか一つの方法を実行させる電子デバイスが提供される。

【0009】

本開示の別の態様によれば、コンピュータに上述した態様及び可能な実施形態のいずれか一つの方法を実行させるためのコンピュータコマンドを格納した非一時的なコンピュータ可読記憶媒体が提供される。

【0010】

本開示の別の態様によれば、プロセッサにより実行されると、上述した態様及び可能な実施形態のいずれか一つの方法を実現するコンピュータプログラムを含むコンピュータプログラム製品が提供される。

【0011】

本開示の技術によれば、撮影により生成された画像の品質を効果的に向上させることができる。

【0012】

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要な又は肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。

【図面の簡単な説明】

【0013】

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。

【図1】本開示による第１実施形態の概略図である。

【図2】本開示による第２実施形態の概略図である。

【図3】本開示による第３実施形態の概略図である。

【図4】本開示による第４実施形態の概略図である。

【図5】本開示の実施形態に係る前記方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0014】

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

【0015】

明らかに、記載された実施形態は、本開示の一部の実施形態であり、全ての実施形態ではない。本開示の実施形態に基づいて、当業者が創造的な労働をしていないという前提の下で得た他のすべての実施形態は、本開示の保護の範囲に属する。

【0016】

説明すべきなのは、本開示の実施形態に係る端末装置は、携帯電話、携帯情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、無線ハンドヘルドデバイス、タブレット（Ｔａｂｌｅｔ Ｃｏｍｐｕｔｅｒ）などのスマートデバイスを含むことができるが、これらに限定されない。表示装置は、パーソナルコンピュータ、テレビ等の表示機能を有する装置を含むことができるが、これらに限定されない。

【0017】

さらに、本明細書における用語「及び／又は」は、単に関連オブジェクトを記述する関連関係であり、３つの関係が存在し得ると意味する。例えば、Ａ及び／又はＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという三つの状況を意味することができる。また、本明細書における文字「／」は、一般的に前後の関連オブジェクトが「又は」の関係にあることを意味する。

【0018】

光が複雑なシーンでは、領域によっては明るさが異なり、異なる露光時間が必要になる。一方、従来技術では、露光時間を制御するためにメカニカルシャッタが一般的に使用される。同じ画像におけるすべての画素の露光時間は一致している。この方法は、光が複雑な環境において正確に画像を撮影することができず、しばしば生成された画像に過露出或いは露出不足の問題が存在することを招く。これに基づいて、本開示は、光が複雑な環境におけるイメージングに適用可能な露出制御スキームを提供する。

【0019】

図１は本開示による第１実施形態の概略図である。図１に示すように、本実施形態は、デジタルカメラ等のような任意の画像生成装置に適用可能なイメージングにおける露出制御方法を提供し、具体的に以下のステップを含むことができる。

【0020】

Ｓ１０１において、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得る。

【0021】

Ｓ１０２において、セマンティックセグメンテーション画像とプリイメージング画像とに基づいて、各セマンティック領域の露光時間を推定する。

【0022】

Ｓ１０３において、各セマンティック領域の露出時間に基づいて、イメージングにおける各セマンティック領域の露出を制御する。

【0023】

本実施形態では、プリイメージング画像にセマンティックセグメンテーションを行う際に、参照されるセマンティックは、プリイメージング画像におけるオブジェクトを指してよい。１つのオブジェクトは１つのセマンティックに対応する。

【0024】

画像を撮影する過程において、撮影しようとするオブジェクトを画像に完全に含ませるようにするためには、背景に含まれるオブジェクトような他の関連するオブジェクトが撮影されてしまうことが避けられないため、１枚の画像に少なくとも２つのオブジェクト、すなわち少なくとも２つのセマンティックを含め得る。例えば、本実施形態におけるオブジェクトは、１つの物体、１つの人物、１つの動物であってもよいし、他に、空、白い雲、樹木や草花などを１つの個別のオブジェクトとしてもよい。例えば、人物を撮影した場合、生成される画像では、人物は１つの個別のオブジェクトであり、人物の背景におけるオブジェクトは１つのオブジェクトである。動物、空又は草地も撮影されていれば、動物、空又は草地はすべて個別のオブジェクトである。もちろん、撮影された人物画像に複数の人物が含まれていれば、各人物は個別のオブジェクトとなる。

【0025】

具体的には、プリイメージング画像における異なるオブジェクトを認識し、さらに認識結果に基づいてプリイメージング画像にセマンティックセグメンテーションを行うことにより、少なくとも２つのセマンティック領域を含むセマンティックセグメンテーションマップを得ることができる。セマンティック領域のそれぞれは一つのオブジェクトに対応する。

【0026】

本実施形態のセマンティックセグメンテーション画像は、プリイメージング画像における各セマンティック領域を個別にセグメンテーションすることができる。セマンティック領域のそれぞれは、１つのオブジェクトに対応する。イメージング品質を向上させるために、画像における１つのオブジェクトは１つの露光時間に対応しても良く、セマンティック領域の異なるオブジェクトは異なる露光時間に対応しても良い。本実施形態では、セマンティックセグメンテーション画像に対応する各セマンティック領域のプリイメージング画像における位置を参照して、各セマンティック領域の露出時間を推定することができる。例えば、露光時間は、光に向くセマンティック領域については若干短く、陰になるセマンティック領域については若干長くすることができる。もちろん、各セマンティック領域における対象の異なる感光性に基づいて、対応する露光時間を調整することもできる。

【0027】

各セマンティック領域の露出時間に基づいて、撮影時に各セマンティック領域の露出を制御することにより、撮影により生成された対象画像において、各セマンティック領域の露出時間が異なるようにすることができ、ひいては、生成された対象画像の品質をより向上させることができる。従来技術と比べて、各セマンティック領域の露光時間が異なって良いため、光が複雑なシーンにおいても、異なるオブジェクトの領域の輝度が異なって良い。この考えに基づき、撮影により生成された画像全体の露光時間が同一になることで画像に過露出或いは露出不足の問題が生じることを回避し、画像のイメージング品質を向上させることができる。

【0028】

本実施形態の露出制御方法は、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得、各セマンティック領域の露出時間を推定し、さらに、各セマンティック領域の露出時間に基づいて、イメージングにおける各セマンティック領域の露出を制御することにより、撮影時に同一の画像において異なるセマンティック領域で異なる露出時間を採用することを実現し、光が複雑なシーンにおいても、撮影により生成された画像に過露出や露出不足が存在するという問題を効果的に回避し、画像の撮影品質を向上させることができる。

【0029】

図２は本開示による第２実施形態の概略図である。本実施形態は、イメージングにおける露出制御方法を提供し、上述した図１に示した実施形態の技術案に加えて、本開示の技術案をさらに詳細に説明する。図２に示すように、本実施形態は、イメージングにおける露出制御方法を提供し、具体的に以下のステップを含むことができる。

【0030】

Ｓ２０１において、ピント合わせ及び／又は測光処理において、プレイメージング画像を生成する。

【0031】

デジタルカメラや撮影機能付きスマート端末などの画像生成装置を用いて撮影する場合、本撮影する前にピント合わせや測光を試みることが多い。この場合に、画像イメージング装置は、後続で参照できるように、プリイメージング画像としてその画像を記憶して良い。例えば、あるデジタルカメラは、本撮影する前にシャッターを軽く押すことでピント合わせを実現することができる。この場合にプリイメージング画像を取得することができる。また、例えば、あるスマート端末は、撮影時に、スクリーンをクリックして明るさを調整することができる。このプロセスは測光プロセスである。この場合にはプリイメージング画像を収集することもできる。

【0032】

Ｓ２０２において、予め訓練されたセマンティックセグメンテーションモデルを用いて、プリイメージング画像にセマンティックセグメンテーションを行って、少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得る。

【0033】

本実施形態のセマンティックセグメンテーションモデルは、予め訓練されたニューラルネットワークモデルである。使用される場合に、プリイメージング画像を、プリイメージング画像における各セマンティック領域をセグメンテーションにより得て少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得られるセマンティックセグメンテーションモデルに入力する。具体的には、セグメンテーションが行われた各セマンティック領域のセマンティックセグメンテーション画像は、１つのオブジェクトのみを含む個別の一つの画像となる。

【0034】

オプションとしては、本開示の一実施形態では、セマンティックセグメンテーションモデルが出力する少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像は、各セマンティック領域の境界を識別して個々のセマンティック領域のセグメンテーションを実現する、プリイメージング画像と同一のサイズの画像であってもよい。

【0035】

本実施形態のセマンティックセグメンテーションモデルは、複数の訓練画像と、各訓練画像に対応する少なくとも２つのセマンティックのセマンティックセグメンテーション画像とを用いて、画像における少なくとも２つのセマンティック領域に対するセマンティックセグメンテーションをセマンティックセグメンテーションモデルが学習するように訓練することができる。

【0036】

本実施形態では、このセマンティックセグメンテーションモデルを用いてプリイメージング画像にセマンティックセグメンテーションを行うことにより、セマンティックセグメンテーションの正確性と知能性を向上させることができる。

【0037】

Ｓ２０３において、予め訓練された露出時間推定モデルを用いて、セマンティックセグメンテーション画像とプリイメージング画像とに基づいて、各セマンティック領域の露出時間を推定する、

【0038】

本実施形態では、この露光時間推定モデルは、予め訓練されたニューラルネットワークモデルであっても良い。使用される場合に、セマンティックセグメンテーション画像におけるセマンティック領域の露光時間を予測して出力することができる露光時間推定モデルにセマンティックセグメンテーション画像とプリイメージング画像とを入力する。当該方式により、プリイメージング画像における各セマンティック領域の露出時間を推定することができる。

【0039】

この露出時間推定モデルは、訓練時に、複数の訓練画像と対応する各セマンティックのセマンティックセグメンテーション画像を収集し、各セマンティックセグメンテーション画像に対応するセマンティック領域の露出時間を標識することができる。そして、前記訓練データを用いて、各セマンティックセグメンテーション画像に対応するセマンティック領域の露出時間を予測する能力を学習するように露出時間推定モデルを訓練する。

【0040】

本実施形態では、この露出時間推定モデルを用いて、各セマンティック領域の露出時間を推定することにより、各セマンティック領域の露出時間の正確性と知能を効果的に向上させることができる。

【0041】

Ｓ２０４において、セマンティックセグメンテーション画像と液晶マトリクスシャッタとに基づいて、各セマンティック領域に対応するマトリクスシャッタを決定する。

【0042】

本実施形態では、撮影時に液晶マトリクスシャッタを用いて露出を制御する。具体的には、液晶シャッタは、メカシャッタに代わる露光制御装置である。本実施形態では、グローバル液晶シャッタとは異なり、マトリクス型の液晶シャッタを採用している。例えば、当該制御装置は、Ｎ＊Ｍ個の微小な液晶シャッタをマトリクス状に配置してもよく、各液晶シャッタを個別に制御して光の透過／非透過の２状態に切り換えることができる。各微小な液晶シャッタは、イメージング素子における１つ又は複数の画素領域に対応する。イメージングされる場合に、各液晶シャッタを制御することにより、対応する領域の露光時間を制御することができる。例えば、本実施形態のイメージング素子は、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；ＣＣＤ）や相補型金属酸化膜半導体（Ｃｏｍｐｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；ＣＭＯＳ）であってもよい。

【0043】

具体的には、セマンティックセグメンテーション画像に基づいて、プリイメージング画像における各セマンティック領域の位置を決定し、さらに、各セマンティック領域に含まれる画素点を決定することができる。一方、液晶シャッタマトリクスは、イメージング画像全体の露出を制御するために用いられるため、プリイメージング画像における画素点にも対応関係がある。例えば、液晶シャッタマトリクスに含まれる液晶シャッタが十分に多い場合には、１つの液晶シャッタで１画素点の露出を制御することができるが、コスト等の他の要素を考慮すると、実際の応用において１つの液晶シャッタでイメージング画像における複数の画素点の露出を制御することができる。そのため、セマンティックセグメンテーション画像に対応するセマンティック領域の画素点、及び液晶マトリクスシャッタにおける各液晶シャッタが制御する画素点に基づいて、各セマンティック領域に対応するマトリクスシャッタを確定することができ、各セマンティック領域の露出の正確な制御を実現することを容易にする。

【0044】

Ｓ２０５において、各セマンティック領域の露光時間に基づいて、イメージングにおける液晶マトリクスシャッタにおける各セマンティック領域に対応する液晶シャッタが露光するように制御する。

【0045】

具体的には、各セマンティック領域の露出時間に応じて、各セマンティック領域の液晶シャッタが露出するように制御することにより、撮影された１枚の対象画像において、各セマンティック領域毎に異なる露出時間を用いることで、各セマンティック領域毎に最適な露出を得ることができ、対象画像における過露出や露出不足の問題を回避することができ、対象画像のイメージング品質を効果的に向上させることができる。

【0046】

本実施形態のイメージングにおける露出制御方法は、セマンティックセグメンテーションモデルを採用することにより、セマンティックセグメンテーションの正確性を効果的に向上させることができ、露出時間推定モデルを用いることにより、各セマンティック領域の露出時間の正確性を効果的に向上させることができる。そして、各セマンティック領域の露光時間に基づいて、液晶マトリクスシャッタにおける各セマンティック領域に対応する液晶シャッタの露光を制御することにより、各セマンティック領域の露光に対する正確な制御を実現し、各セマンティック領域を含む高品質な目標画像を生成し、撮影により生成された目標画像の鮮鋭度及び画質を効果的に向上させることができる。

【0047】

また、従来技術では、マルチ露光の方法で露光時間の異なる複数枚の画像を撮影し、適切な露光の１枚の画像を統合して生成することも可能であった。しかし、このマルチ露光の方法では撮影時にカメラを動かさない状態で複数枚の画像を撮影する必要があり、画像生成装置が動いている間に撮影することができず、動いている物体を撮影することもできない。同時に、複数枚の画像を記録するには倍になるストレージが必要であり、リソースの無駄が多い。また、後続でマルチ露光統合の手法で画像を合成する必要があり、手法が煩雑である。

【0048】

一方、本実施形態のイメージングにおける露出制御方法は、１回の露出で済むため、撮影コストや後続の合成コストを大幅に低減することができる。また、イメージングされた後、プリイメージング画像、セマンティックセグメンテーションマップ、異なるセマンティック領域の感度パラメータ例えば露光時間及び生成された対象画像を記憶するだけでよく、複数枚を撮影するマルチ露光方式に比べてデータ量が大幅に削減され、記憶スペースを有効に節約することができる。

【0049】

図３は本開示による第３実施形態の概略図である。図３に示すように、本実施形態は、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得るセマンティックセグメンテーションモジュール３０１と、セマンティックセグメンテーション画像とプリイメージング画像とに基づいて、各セマンティック領域の露光時間を推定する推定モジュール３０２と、各セマンティック領域の露出時間に基づいて、イメージングにおける各セマンティック領域の露出を制御する露出制御モジュール３０３と、を備えるイメージングにおける露出制御装置３００を提供する。

【0050】

本実施形態のイメージングにおける露出制御装置３００は、上述したモジュールを用いてイメージングにおける露出制御を実現する実現原理及び技術的効果は、上述した関連方法の実施形態の実現と同様である。詳細は上記関連の実施形態の記載を参照することができ、ここでは詳しく説明しない。

【0051】

図４は本開示による第４実施形態の概略図である。図４に示すように、本実施形態は、イメージングにおける露出制御装置４００を提供し、上述した図３に示す実施形態に加えて、本開示の技術案をさらに詳細に説明する。図４に示すように、本実施形態のイメージングにおける露出制御装置４００は、図３に示した実施形態における同名且つ同機能のモジュール、即ちセマンティックセグメンテーションモジュール４０１と、推定モジュール４０２と、露出制御モジュール４０３とを備える。

【0052】

本開示の一実施形態では、セマンティックセグメンテーションモジュール４０１は、予め訓練されたセマンティックセグメンテーションモデルを用いて、プリイメージング画像にセマンティックセグメンテーションを行って少なくとも２つのセマンティック領域のセマンティックセグメンテーション画像を得る。

【0053】

本開示の一実施形態では、推定モジュール４０２は、予め訓練された露出時間推定モデルを用いて、セマンティックセグメンテーション画像とプリイメージング画像とに基づいて、各セマンティック領域の露出時間を推定する。

【0054】

本開示の一実施形態では、露出制御モジュール４０３は、各セマンティック領域の露光時間に基づいて、イメージングにおける液晶マトリクスシャッタにおける各セマンティック領域に対応する液晶シャッタの露光を制御する。

【0055】

図４に示すように、本開示の一実施形態では、本実施形態のイメージングにおける露出制御装置４００は、セマンティックセグメンテーション画像と液晶マトリクスシャッタとに基づいて、各セマンティック領域に対応するマトリクスシャッタを決定する決定モジュール４０４をさらに備える。

【0056】

図４に示すように、本開示の一実施形態では、本実施形態のイメージングにおける露出制御装置４００は、ピント合わせ及び／又は測光プロセスにおいて、プリイメージング画像を生成する生成モジュール４０５をさらに備える。

【0057】

本実施形態のイメージングにおける露出制御装置４００は、上述したモジュールを用いてイメージングにおける露出制御を実現する実現原理及び技術的効果は、上述した関連方法の実施形態の実現と同様である。詳細は上記関連の実施形態の記載を参照することができ、ここでは詳しく説明しない。

【0058】

また、本実施形態では、上述した図３又は図４のイメージングにおける露出制御装置を備えたイメージングデバイスであって、具体的に上述した図１又は図２のイメージングにおける露出制御方法を用いて、生成される画像の品質を効果的に向上させることが可能なイメージングにおける露出制御を実現することができるイメージングデバイスを提供する。

【0059】

本開示の技術案において、関わるユーザの個人情報の取得、記憶及び応用等は、いずれも関連法律法規の規定に適合しており、公序良俗に反するものではない。

【0060】

本開示の実施形態によれば、本開示は更に、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品を提供する。

【0061】

図５は、本開示の実施形態を実施可能な例示的な電子デバイス５００の概略的なブロック図を示した。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスは更に、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は要求された本開示の実現を制限することではない。

【0062】

図５に示すように、デバイス５００は、読み取り専用メモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム、又は記憶手段５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる演算手段５０１を含む。ＲＡＭ５０３には、デバイス５００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段５０１、ＲＯＭ５０２及びＲＡＭ５０３は、バス５０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

【0063】

例えばキーボード、マウス等の入力手段５０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段５０７と、例えば磁気ディスク、光ディスク等の記憶手段５０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段５０９を含むデバイス５００の複数の構成要素は、Ｉ／Ｏインターフェース５０５に接続される。通信手段５０９は、デバイス５００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0064】

演算手段５０１は、処理能力及び演算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってよい。演算手段５０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段５０１は、上述した様々な方法及び処理、例えば本開示の前記方法を実行する。例えば、幾つかの実施形態では、本開示の前記方法は、例えば記憶手段５０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。幾つかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ５０２及び／又は通信手段５０９を介してデバイス５００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ５０３にロードされ、演算手段５０１により実行されると、前記本開示の上記方法の１つ又は複数のステップを実行することができる。代替的に、他の実施形態では、演算手段５０１は、本開示の前記方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。

【0065】

本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んで良い。当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができる。当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を転送することができる。

【0066】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシン又はサーバ上で実行されても良い。

【0067】

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置又はデバイスにより使用され、或いは命令実行システム、装置又はデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又はデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0068】

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音入力、音声入力、又は触覚入力を含む）で受信して良い。

【0069】

本明細書に記載されたシステム及び技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

【0070】

コンピュータシステムは、クライアントとサーバーを含み得る。クライアントとサーバーは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバであっても良く、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。

【0071】

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

【0072】

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】