特開 2024-175481 画像処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175481

(43)【公開日】2024-12-18

(54)【発明の名称】画像処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241211BHJP

   G02B 7/34 20210101ALI20241211BHJP

   G02B 7/36 20210101ALI20241211BHJP

   G03B 13/36 20210101ALI20241211BHJP

   G06T 5/70 20240101ALI20241211BHJP

【ＦＩ】

G02B7/28 N

G02B7/34

G02B7/36

G03B13/36

G06T5/00 705

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023093306

(22)【出願日】2023-06-06

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】磯部 真吾

【テーマコード（参考）】

2H011

2H151

5B057

【Ｆターム（参考）】

2H011AA01

2H011BA23

2H011BA34

2H011BB04

2H151BA03

2H151BA47

2H151BA59

2H151BA66

2H151CB26

2H151CE07

2H151CE14

5B057CA08

5B057CA12

5B057CA16

5B057CE02

5B057CE06

5B057CH09

5B057DB02

5B057DB09

5B057DC06

5B057DC16

5B057DC40

(57)【要約】

【課題】低照度環境においてノイズが多い映像においてフォーカスを合わせるために有利な情報を提供する。
【解決手段】入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する。第１の画像とアテンションマップとに基づいて、学習済みの機械学習モデルにより前記第１の画像からノイズが低減された第２の画像を出力する。第２の画像とアテンションマップとに基づいて、撮像装置の焦点の調節のための情報を生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて、学習済みの機械学習モデルにより前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像装置の焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、画像処理装置。

【請求項2】

前記第２の生成手段は、前記撮像装置の焦点を調節するための情報として、オートフォーカスにおける焦点検出を行う、前記第２の画像中の第１の部分領域を示す情報を生成することを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記第１の画像から前記空間周波数に基づいて第２の部分領域を抽出する抽出手段をさらに備え、
前記第１の生成手段は、前記アテンションマップとして、前記第１の画像における前記第２の部分領域を示すマップを生成し、
前記第２の生成手段は、前記アテンションマップの前記第２の部分領域に基づいて前記第１の部分領域を示す情報を生成することを特徴とする、請求項２に記載の画像処理装置。

【請求項4】

前記第１の部分領域は、前記アテンションマップの前記第２の部分領域の重心位置を中心とする、所定の形状の領域であることを特徴とする、請求項３に記載の画像処理装置。

【請求項5】

前記第２の画像の前記第１の部分領域から、コントラスト方式によりオートフォーカスの焦点位置を決定する第１の決定手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。

【請求項6】

前記第２の画像の前記第１の部分領域から、位相差方式によりオートフォーカスの焦点位置を決定する第２の決定手段をさらに備えることを特徴とする、請求項２に記載の画像処理装置。

【請求項7】

前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、マニュアルフォーカス操作中において第２の画像上に重畳表示する、前記第２の部分領域を示す画像を生成することを特徴とする、請求項３に記載の画像処理装置。

【請求項8】

前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、合焦までのフォーカスレンズの移動量を示す情報を生成することを特徴とする、請求項６に記載の画像処理装置。

【請求項9】

前記第２の生成手段は、前記撮像装置の焦点の調節のための情報として、前記撮像装置が合焦しているか否かを示す情報を生成することを特徴とする、請求項６に記載の画像処理装置。

【請求項10】

第１の画像を撮像する撮像手段と、
前記第１の画像を入力として、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて学習済みの機械学習モデルにより、前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像における焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、撮像装置。

【請求項11】

前記撮像手段は、外部から入射した光束を二像に分岐させ、前記二像を焦点検出用にそれぞれ結像する画素構造を有し、
前記二像の位相差に基づいて撮像装置のオートフォーカス制御を行う制御部をさらに備えることを特徴とする、請求項１０に記載の撮像装置。

【請求項12】

前記撮像手段による焦点位置の検出を行うセンサと、
前記センサの出力に応じて撮像装置のオートフォーカス制御を行う制御部と、
をさらに備えることを特徴とする、請求項１０に記載の撮像装置。

【請求項13】

撮像における焦点調節に用いる情報を表示する表示手段をさらに備えることを特徴とする、請求項１０に記載の撮像装置。

【請求項14】

前記表示手段は、撮像装置の外部装置において前記撮像における焦点の調節のための情報を表示させることをさらに特徴とする、請求項１３に記載の撮像装置。

【請求項15】

入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する処理と、
前記第１の画像と前記アテンションマップとに基づいて、学習済みの機械学習モデルにより、前記第１の画像からノイズが低減された第２の画像を出力する処理と、
前記第２の画像と前記アテンションマップとに基づいて、撮像装置の焦点の調節のための情報を生成する処理と、
を備えることを特徴とする、情報処理方法。

【請求項16】

コンピュータを、請求項１乃至９の何れか一項に記載の画像処理装置又は請求項１０乃至１４の何れか一項に記載の撮像装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

監視市場における超低照度環境では、ターゲットとする被写体の視認性の向上が求められており、カメラによる撮影時には非常に高いゲインが適用されることがある。例えば、鑑賞用途としての画質を犠牲にしてでも被写体の視認性を重視してゲインを高くする場合がある。また、このようなシーンでオートフォーカス（以下ＡＦ）を使用する場合には、焦点検出の評価値が通常の場合と比較して変動するため、焦点検出が難しくなるとされている。

【0003】

ＡＦを行う方式としては、映像の高周波成分を焦点評価値とするコントラスト方式、又は撮像素子に入る光束を分岐して二像に結像し、二像の位相差からデフォーカス量を求めて焦点を評価する位相差方式が存在する。特許文献１では、焦点検出処理における前段処理でノイズ低減処理（以下ＮＲ）を実施する技術が開示されており、ＮＲ強度に応じた合焦判定閾値を調整することによりノイズがある被写体による合焦を行っている。また、特許文献２では過去所定フレームにおいて変化量が閾値以上となった回数の合計が閾値以上である場合にＡＦ起動を指示することにより、ノイズ変動による影響を低減させＡＦとしての安定性を向上させる技術が開示されている。

【0004】

特許文献３では相関演算用に第一階層及び縦横縮小した第二階層の二像を用意し、ノイズが多い場合は第二階層の二像データで相関演算する像ズレ量算出装置が開示されている。また、特許文献４に記載の技術では、ノイズ量に応じて相関演算時に算出される信頼性判定の基準値を変更している。特許文献１及び２ではコントラスト方式によりＡＦが行われており、特許文献３及び４では位相差方式によりＡＦが行われている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００８－２９２５４１号公報

【特許文献2】特開２０２２－１１０９９号公報

【特許文献3】特許第６９３１３０６号公報

【特許文献4】特許第６７５８９６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、これらの特許文献に記載の技術では、ノイズが除去しきれず焦点評価値が通常時よりも変動してしまい、ボケによるＡＦの停止が生じる、又はそもそもＡＦが駆動しない場合があった。例えば、高ゲインかつノイズの多い画像に対しては、ノイズが除去しきれないことがある。

【0007】

本発明は、画像のノイズを低減しつつ、焦点を調節するために有利な情報を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の目的を達成するために、例えば、一実施形態に係る画像処理装置は以下の構成を備える。すなわち、第１の画像から、空間周波数に基づいて、アテンション機構による推論を行う機械学習モデルにより用いられるアテンションマップを生成する第１の生成手段と、前記第１の画像を入力として、前記アテンションマップに基づいて前記第１の画像からノイズを低減した画像を生成するよう学習済みの機械学習モデルにより、第１の画像からノイズを低減した第２の画像を出力する出力手段と、前記アテンションマップに基づいて、撮像装置による焦点調節に用いる情報を生成する第２の生成手段と、を備える。

【発明の効果】

【0009】

画像のノイズを低減しつつ、焦点を調節するために有利な情報を提供する。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る画像処理装置のハードウェア構成の一例を示すブロック図。

【図2】実施形態１に係る全体の処理の一例を示すフローチャート。

【図3】実施形態１に係る初期化処理の一例を示すフローチャート。

【図4】実施形態１に係るニューラルネットワークの説明を行うための図。

【図5】実施形態１に係る撮像処理の一例を示すフローチャート。

【図6】実施形態１に係るノイズリダクション処理の一例を示すフローチャート。

【図7】実施形態１に係るアテンションマップ処理の一例を示すフローチャート。

【図8】実施形態１に係る焦点検出処理の一例を示すフローチャート。

【図9】実施形態１に係るコントラスト評価値による判定を説明するための図。

【図10】実施形態１に係るＡＦの目標値設定処理の一例を示すフローチャート。

【図11】実施形態１に係るＭＦアシスト画像重畳処理の一例を示すフローチャート。

【図12】実施形態１に係るＭＦ操作量設定処理の一例を示すフローチャート。

【図13】実施形態１に係る映像の一例を示す図。

【図14】実施形態２に係る画像処理装置のハードウェア構成の一例を示すブロック図。

【図15】実施形態２に係る全体の処理の一例を示すフローチャート。

【図16】実施形態２に係る撮像処理の一例を示すフローチャート。

【図17】実施形態２に係るノイズリダクション処理の一例を示すフローチャート。

【図18】実施形態２に係るアテンションマップ処理の一例を示すフローチャート。

【図19】実施形態２に係る焦点検出処理の一例を示すフローチャート。

【図20】実施形態２に係るＡＦの目標値設定処理の一例を示すフローチャート。

【図21】実施形態２に係るＭＦアシスト画像重畳処理の一例を示すフローチャート。

【図22】実施形態２に係るエッジマップの一例を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

［実施形態１］
本実施形態に係る画像処理装置は、例えば、ニューラルネットワーク（以下ＮＮ）を用いて、入力画像から所望の出力画像を推論し、推論された映像から高周波成分を用いて焦点評価しＡＦする画像処理において用いられる。ＮＮの学習では、生徒画像とそれに対応する教師画像とを複数用意し、生徒画像の特徴分布を教師画像の特徴分布に近づけるなどの学習が行われて、重み又はバイアスなどのネットワークパラメータを最適化することが行われる。これにより、学習されていない入力画像に対しても精度よい推論が可能となる。

【0013】

本実施形態に係る画像処理装置は、前段処理として未知のノイズ入力画像に対する推論を行ってノイズが低減された推論画像を取得し、後段処理として推論画像に対して撮像装置の焦点の調節のための情報を生成する。とくに、後段処理においては、撮像装置によるＡＦ処理を行う。

【0014】

図１は、本実施形態に係る、撮像機能を有する画像処理装置１００のハードウェア構成の一例を示すブロック図である。本実施形態に係る画像処理装置１００はレンズ内蔵型のデジタルビデオカメラであるものとして説明を行うが、後述する処理が可能であればこの構造に限定するわけではない。例えば画像処理装置１００は、レンズ交換式のビデオカメラ、一眼レフカメラ、又はミラーレス一眼カメラなどのレンズ交換式の画像処理装置であってもよい。

【0015】

また、本実施形態に係る画像処理装置１００は、撮像機能を有する撮像装置であるものとして説明を行うが、撮像機能を有さない、外部の撮像装置（不図示）と接続する画像処理装置であるものとしてもよい。その場合、画像処理装置１００は、撮像を行う代わりに外部から画像を取得し、後述するメモリ１４０に格納するものとする。

【0016】

画像処理装置１００は、画像の撮像を行う機能部として、レンズ１００、レンズ制御部１１１、画像処理装置１２０、及び撮像制御部１２１を備える。画像処理装置１００は、外部から入射した光束を、レンズ１１０を通して撮像素子１２０に結像させる。レンズ１１０は、不図示のズームレンズ群、フォーカスレンズ群、及びアイリス機構などによって構成されるレンズであり、レンズ制御部１１１によって制御される。また、画像処理装置１００は、撮像素子１２０において露光する蓄積時間を変更可能であり、撮像素子１２０から読みだした撮影映像にゲインを適用することができる。撮像素子１２０のこれらの機能は、撮像制御部１２１によって制御される。

【0017】

また、画像処理装置１００は、ＣＰＵ１３０、メモリ１４０、操作入力部１５０、焦点検出部１６０、画像信号処理部１７０、映像出力部１８０、及び表示部１９０を備える。ＣＰＵ１３０は、メモリ１４０に格納されているプログラム及び各種データに従った処理を実行する中央処理装置であり、後述する各種処理を実行可能である。ＣＰＵ１３０は、バス１３１を通して撮像制御部１２１及びレンズ制御部１１１と接続され、レンズ１１０並びに撮像素子１２０をリアルタイム制御することができる。撮像素子１２０で露光された撮影映像は、バス１３１を経由してメモリ１４０に格納される。メモリ１４０は、ＲＯＭ又はＲＡＭなどのストレージであり、処理に必要なプログラム及びデータを格納する。

【0018】

操作入力部１５０は、不図示のフォーカスデマンド、ボリューム、及びスイッチなどを備え、ユーザの入力を取得する。操作入力部１５０は、ユーザの入力に応じて、レンズ１１０の操作の実行、又は撮像素子１２０の露光時間若しくはゲインなどの変更など、画像処理装置１００の各種動作指示を行うことができる。操作入力部１５０により入力された操作信号はＣＰＵ１３０によって処理され、撮像制御部１２１又はレンズ制御部１１１で処理される命令や制御信号に変換される。

【0019】

焦点検出部１６０は、メモリ１４０に格納された撮影映像から焦点検出を行う。画像信号処理部１７０は、メモリ１４０に格納された映像の読み書きを行い、画像の現像処理、後述するＮＲ処理、又は画像をユーザインタフェース（以下、ＵＩ）に表示するためのＵＩ画像生成処理などを行い、映像を再びメモリ１４０へ格納する。

【0020】

映像出力部１８０は、画像信号処理部１７０によって処理されメモリ１４０に格納された映像を画像処理装置１００外部へ出力する。映像出力部１８０から出力される出力映像信号は画像処理装置１００が備える不図示のＨＤＭＩ（登録商標）端子又はＳＤＩ端子により外部に出力される。表示部１９０は、画像処理装置１００が備える不図示のパネル又はビューファインダーなどのディスプレイに各種表示を行う。本実施形態に係る表示部１９０は、例えば前述の出力映像信号により示される映像にＵＩ画像を重畳して表示することができる。

【0021】

本実施形態に係る画像処理装置１００のユーザは、表示部１９０の映像及びＵＩ画像を見ながら、ＡＦ及びマニュアルフォーカス（以下ＭＦ）による被写体へのピント調節を行って撮像する。ユーザは、ＡＦを行う際には前述の操作入力部１５０を用いたスイッチ操作によりＡＦを実行することができる。ＵＩ画像としては、後述するＭＦのためのアシスト画像（アシストＵＩ）が表示される。

【0022】

なお、図１では、各機能部が機能ごとに構成要素として分けて示しされているが、これらは１つ又は複数のＡＳＩＣ若しくはプログラマブルロジックアレイ（ＰＬＡ）等のハードウェアによって実現されてもよい。また本実施形態に係る画像処理装置１００による処理は、ＣＰＵ又はＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することにより実現されてもよい。

【0023】

次に、画像処理装置１００のＣＰＵ１３０が行うＡＦ処理の一例について、図２のフローチャートを参照して説明する。本実施形態においては、画像処理装置１００に電源が投入されるとＣＰＵ１３０にメモリ１４０からコンピュータプログラムが読み出され、図２のＳ１００から順番に処理が実行される。なお、図２のＳ１９０までの処理が実行されると再びＳ１１０からのループ処理が開始されることになるが、Ｓ１１０からＳ１９０までの処理は、処理対象として入力される映像の１フレームごとに行われるものとして説明する。

【0024】

Ｓ１００でＣＰＵ１３０は、画像処理装置１００の初期化処理を行う。Ｓ１００のサブルーチンを図３に示す。Ｓ１００に係る処理としては、一般的な撮像装置において行われる公知の初期設定処理を任意に採用することが可能であり、図３において示される処理は一例である。

【0025】

図３は、Ｓ１００で行われる画像処理装置１００の初期化処理の詳細を説明するための図である。Ｓ１０１でＣＰＵ１３０は、入出力の初期化処理を実行する。ここでは、ＣＰＵ１３０は、画像処理装置１００における入出力の準備のため、操作入力部１５０、映像出力部１８０、又は表示部１９０などの初期化を行う。Ｓ１０２でＣＰＵ１３０は、撮像の初期化処理を行う。ここでは、ＣＰＵ１３０は、撮像素子１２０及び撮像制御部１２１の初期化を行い、撮像素子１２０が露光可能な状態にする。

【0026】

Ｓ１０３でＣＰＵ１３０は、レンズの初期化処理を行う。ここでは、ＣＰＵ１３０は、レンズ１１０及びレンズ制御部１１１の初期化を行い、操作入力部１５０によるレンズ操作又は後述するＡＦによるレンズ制御処理を実行可能な状態にする。Ｓ１０４でＣＰＵ１３０は、ＮＲの初期化処理を行う。ここでは、ＣＰＵ１３０は、画像信号処理部１７０で実行されるＮＲ処理を実行するための初期設定として、予め事前学習された学習済みＮＮのパラメータを読み出す。

【0027】

ここで、画像信号処理部１７０に読み出されるＮＮについて、図４を参照して説明する。図４は入力画像に対するＮＮの出力を説明するための図である。図４においては、ＮＮとして畳み込みＮＮ（以降、ＣＮＮとする）を用いる場合について説明を行うが、同様の処理が可能なのであればこれに限定されるわけではない。ＮＮとしては、例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などが用いられてもよく、スキップコネクションを有するＮＮが用いられてもよい。またＮＮは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などのように再帰型であってもよい。

【0028】

図４において、入力画像２０１はＮＮに入力する画像又は後述の特徴マップを表す。演算２０２は畳み込み演算を表す。畳み込み行列２０３は、入力画像２０１に対して畳み込み演算を行うフィルタである。バイアス２０４は、入力画像２０１と畳み込み行列２０３との畳み込み演算２０２によって出力された結果に加算される値である。特徴マップ２０５は、バイアス２０４が加算された後の畳み込み演算結果である。図４に示す各ニューロン、中間層、及びチャネル数は一例であり、ニューロン、層の数、又はニューロン間の結合の数若しくは重みなどは、この例に限定されるものではない。また、図４に示したＮＮがＦＰＧＡ又はＡＳＩＣなどに実装される際には、ニューロン間の結合若しくは重みが削減されてもよい。

【0029】

ＣＮＮでは、入力画像に対し、あるフィルタによって畳み込み演算を実行することで、入力画像の特徴マップが得られる。本実施形態においては、フィルタの大きさは任意に設定可能である。次の層では、前層の特徴マップに対し、別のフィルタによる畳み込み演算を実行することで、異なる特徴マップが得られる。また各層では、入力信号をフィルタと掛け合わせ、バイアスとの和が算出される。次いで、算出された値に対して活性化関数が適用されることにより、各ニューロンにおける出力信号が得られる。ここでは、各層における重み及びバイアスがＮＮパラメータと呼ばれ、学習ではその値（ネットワークパラメータ）を更新する処理が行われる。また活性化関数の例としては、例えばシグモイド関数又はＲｅＬＵ関数などを用いることが可能であるが、とくにこのように限定されるわけではない。本実施形態に係るＣＰＵ１３０は、例えば以下の式（１）に示すＬｅａｋｙ ＲｅＬＵ関数を活性化関数として用いることができる。なお、式（１）において、ｍａｘは、引数のうち最大値を出力する関数を表す。
ｆ（ｘ）＝ｍａｘ（ｘ，ｘ×０．２） 式（１）

【0030】

このＮＮパラメータを得るための事前学習では、生徒画像として画像処理装置１００及び撮像素子１２０のノイズ特性を有する画像を、教師画像として対応する生徒画像のノイズが無い画像を用いて、これらをペアにした学習を実施する。すなわち、ノイズ特性を有する生徒画像を入力としてノイズを有しない教師画像を出力できるよう学習を行い、ＮＲを実現する。

【0031】

本実施形態に係る画像処理装置１００は、撮像画像から、空間周波数に基づいて、アテンション層を用いたアテンション機構による推論を行うＮＮにより用いられるアテンションマップを生成する。次いで画像処理装置１００は、撮像画像とアテンションマップとに基づいて画像からノイズが低減された画像を生成するよう学習済みのＮＮにより、入力画像からノイズが低減された推論画像を出力する。ここでは、空間周波数が高いと判定される高周波領域外の領域に着目するようにアテンションマップ（マスク）が生成され、高周波領域外の領域に対してＮＲによるノイズの低減率がより向上するようなＮＮの学習が行われている。以下においては、そのようなアテンション機構による推論を行うＮＮの例について説明を行うが、この構成は一例であり、公知のアテンション（注意機構）手法により、注目領域へのＮＲによるノイズの低減量を強化できるのであれば以下の構成に限定されるわけではない。アテンションマップとしては、例えば、撮像画像における特定の空間周波数を有する領域（高周波領域を除いた領域）を示すマップが生成される。換言すれば、所定の周波数よりも小さい空間周波数を有する領域を示すマップが生成される。

【0032】

前述の特徴マップ２０５は入力映像のノイズについての特徴を有するものであり、これに別の特徴マップ（アテンションマップ）を畳み込むことにより、ノイズに関する学習に加え、着目領域を設定した学習を行うことができる。例えば、入力画像２０１を、色ごとにチャンネルとして分けたものを入力画像３０１とし、中間層３０２を入力画像３０１をチャンネル方向に平均をとる層、中間層３０３を式（１）で複数回畳み込みを行う中間層とする。続いて、アテンション層３０４を、出力チャンネルが１となるように畳み込みを行う層とする。本実施形態に係るアテンション層３０４は、入力画像中の被写体の高周波成分を除くノイズ領域に特徴量が出現する中間層である。このアテンション層３０４を上述の特徴マップ２０５と一緒に畳み込むことで、入力画像２０１又は入力画像３０１のうち、空間周波数が高周波な領域を除いた領域に着目してＮＲを実行するＮＮを作成することができる。したがって、被写体の存在する領域を高周波領域として想定した上で高周波領域外に重点的にＮＲを行い、被写体外の領域のノイズの低減量を向上させることができる。また、高周波領域外に対して重点的をＮＲ行っているため、ＮＮを用いたＮＲの弊害である高周波領域の平坦化（ひいては画像のコントラストの低下）を防ぐことができる。なお、本実施形態に係るアテンション層３０４は本ＮＮ内に複数構成されるものとする。

【0033】

図３の説明に戻る。Ｓ１０５でＣＰＵ１３０は、画像信号処理部１７０による画像信号処理の初期化処理を行う。画像信号処理部１７０は、Ｓ１０４のＮＲの初期化処理に加え、ホワイトバランス処理又は現像処理などを行うための初期化処理を実施する。Ｓ１０６でＣＰＵ１３０は、後述する焦点検出処理で用いる合焦フラグを初期化（ＯＦＦに）する。Ｓ１０６を実行したあとはサブルーチンＳ１００が終了し、処理は図２のＳ１１０へ進む。

【0034】

Ｓ１１０でＣＰＵ１３０は撮像処理を行う。Ｓ１１０のサブルーチンを図５に示す。Ｓ１１０に係る処理としては、一般的な撮像装置において行われる公知の撮像処理を任意に採用することが可能であり、図５において示される処理は一例である。

【0035】

Ｓ１１１でＣＰＵ１３０は、操作入力部１５０を介して入力された操作に応じて、レンズ制御部１１１を通じてレンズ１１０のアイリス制御を行う。Ｓ１１２でＣＰＵ１３０は、撮像制御部１２１を経由して撮像素子１２０から読み出された映像信号に適用するゲインの制御を行う。Ｓ１１３でＣＰＵ１３０は、撮像制御部１２１を通じて撮像素子１２０のシャッタ制御、すなわち露光制御を行う。Ｓ１１４でＣＰＵ１３０は、撮像素子１２０から映像信号を読み出し、読み出した映像信号を画像データとしてメモリ１４０に格納する。

【0036】

図１３（ａ）及び（ｂ）には、本実施形態に係る映像信号の例が示されている。図１３（ａ）は、本実施形態に係る撮像環境として想定される低照度環境において、通常のカメラ設定に相当する低いゲインで撮像された画像を示している。図１３（ｂ）は、図１３（ａ）のゲインよりも高いゲインによって映像信号の輝度が増幅された画像であり、ノイズを多く含んでいる。Ｓ１１４を実行した後はサブルーチンＳ１１０が終了し、処理は図２のＳ１２０へ進む。なお、図５に示す処理は一般的な撮像技術により可能であるため、詳細な説明は省略する。また、同様にゲイン制御を伴う撮像処理を行うのであれば、Ｓ１１０における撮像処理が異なる態様で行われてもよい。

【0037】

Ｓ１２０でＣＰＵ１３０はＮＲ処理を行う。Ｓ１２０のサブルーチンを図６に示す。Ｓ１２１でＣＰＵ１３０は、Ｓ１１２にて撮像制御部１２１で制御されたゲインに応じた学習済みＮＮパラメータを設定する。ここでは、画像信号処理部１７０に読み出された前述のＮＮが、入力映像信号のゲイン値に応じて学習された適切なＮＮパラメータを有するように、ＮＮパラメータの設定が行われる。

【0038】

Ｓ１２２でＣＰＵ１３０は、ＮＮによる推論処理、すなわちＮＲ処理を行うための入力画像を取得する。ここでは、ＣＰＵ１３０は、入力画像をメモリ１４０から読み出すことにより取得する。Ｓ１２３でＣＰＵ１３０は、入力画像に対する推論処理を実行する。前述の通り、本実施形態に係る画像処理装置１００が行う推論処理においては、ＮＮによりノイズ低減された推論画像とアテンション層３０４とが得られ、それぞれメモリ１４０に格納される。図１３（ｃ）は、ノイズを多く含んだ図１３（ｂ）の画像を入力として、ＮＮによる推論処理によりノイズが低減された画像を示している。

【0039】

Ｓ１２４でＣＰＵ１３０は、メモリ１４０に格納されているアテンション層３０４に相当する中間処理画像を読みだす。Ｓ１２５でＣＰＵ１３０は、メモリ１４０に格納されている推論画像をメモリ１４０から読み出し、サブルーチンＳ１２０を終了して処理を図２のＳ１３０に進める。

【0040】

Ｓ１３０でＣＰＵ１３０は、アテンションマップ処理を行う。本実施形態に係るアテンションマップ処理とは、本実施形態に係るＮＮに含まれる複数のアテンション層３０４により、高周波領域に特徴が出現している中間層を抽出する処理である。Ｓ１３０のサブルーチンを図７に示す。

【0041】

Ｓ１３１でＣＰＵ１３０は、複数のアテンション層３０４のうちある１層を処理対象とするためのインデックスｉを０に初期化する。後続するＳ１３２からＳ１３８までの処理はループ処理であり、インデックスｉに応じてアテンション層３０４が順に参照されていく。Ｓ１３２でＣＰＵ１３０は、アテンション層３０４をメモリ１４０から読み出す。ＣＰＵ１３０は、Ｓ１３３にて読みだしたアテンション層３０４の画像に公知のヒストグラム処理を実施し、Ｓ１３４にて任意の閾値以上に分布があるか否かを判定する。Ｓ１３４で用いる閾値は、ＮＮの事前学習時など事前にユーザによって予め設定が可能であり、ここでは高周波領域が存在するか否かの判定に用いられる値である。

【0042】

Ｓ１３４において任意の閾値以上に分布がある場合には、アテンション層３０４に高周波領域を含む特徴が出現していると判定して処理をＳ１３５へ進め、そうでなければ高周波領域の特徴が出現していないと判定して処理をＳ１３７へ進める。図１３（ｄ）はＳ１３４が偽（Ｎｏ）であった場合のアテンション層３０４であり、図１３（ｅ）はＳ１３４が真（Ｙｅｓ）であった場合のアテンション層３０４である。図１３（ｅ）の画像においては、被写体（ここでは人）のエッジ部分及び顔部分の輝度レベルが低く（暗く）、背景の輝度レベルが高く（明るく）なっている。本実施形態においては、輝度レベルが高い領域は背景と判断され、輝度レベルが低い領域は高周波領域を含む特徴が出現していると判断される。本実施形態に係る画像処理装置１００は、高周波領域を含む特徴が出現していると判断された領域に対して、推論処理によるノイズの低減量を抑えることにより、ＮＲにより推論画像がぼやけてしまうことを抑制することができる。また、高周波領域外の領域に着目してＮＲを行うことにより、そのような高周波領域外の領域におけるノイズの低減量を向上させ、低照度環境でのノイズの多い映像においてもフォーカス精度を向上させることができる。

【0043】

Ｓ１３５でＣＰＵ１３０は、処理対象のアテンション層３０４に対して輝度反転処理及び閾値処理を行い、高周波マップを取得する。ここでは、元々輝度が低い領域は高周波領域であるため、輝度反転処理により、高周波領域は輝度レベルが高い領域に、低周波領域（ＮＲが強くかかる領域）は輝度レベルが低い領域に変換されたアテンション層３０４の画像が得られる。この輝度反転処理後の画像に所定の閾値処理を行うことにより、高周波マップとしての図１３（ｆ）を得る。本実施形態に係る高周波マップは、ノイズの多い画像の中から被写体の高周波成分が抽出された領域を示す画像となる。Ｓ１３６でＣＰＵ１３０は、Ｓ１３５で得られた高周波マップをメモリ１４０に格納する。

【0044】

Ｓ１３７でＣＰＵ１３０は、アテンション層３０４を参照するインデックスｉをインクリメントする。Ｓ１３８でＣＰＵ１３０は、複数のアテンション層３０４をすべて処理対象としたか否かを判定し、すべてを処理対象としていない場合は処理をＳ１３２に戻し、すべて処理対象としている場合はサブルーチンＳ１３０を終了して処理を図２のＳ１４０へ進める。

【0045】

Ｓ１４０でＣＰＵ１３０は、操作入力部１５０への入力に基づいて、画像処理装置１００がＡＦ操作中であるか否かの判定を行う。ここでは、スイッチ操作によりＡＦ操作のＯＮ／ＯＦＦが行われるものとする。ＡＦ操作中である場合には処理がＳ１５０へと進み、そうでない場合には処理はＳ１７０へ進む。

【0046】

本実施形態に係る画像処理装置１００は、画像と、生成したアテンションマップとに基づいて、撮像の焦点の調節のための情報を生成する。例えば画像処理装置１００は、ＡＦを行う場合には、高周波マップに基づいて、撮像画像中のＡＦによる焦点検出を行う部分領域（焦点検出領域）を設定し、設定した焦点検出領域からＡＦを行うことができる。また例えば画像処理装置１００は、ＭＦを行う場合には、高周波マップに基づいて、ＮＲ後の推論画像に重畳することにより高周波部分を強調するアシスト画像を生成することができる。ここで、アシスト画像は、例えば高周波部分を示す領域に所定の着色を行った画像であるものとする。この所定の着色の色は任意に設定が可能であり、またアシスト画像の透明度も任意に設定が可能である。以下、そのような焦点の調節のための情報を用いたフォーカス処理について、ＡＦに関してはＳ１５０～Ｓ１６０で、ＭＦに関してはＳ１７０～Ｓ１８０で説明を行う。

【0047】

Ｓ１５０でＣＰＵ１３０は焦点検出処理を行う。Ｓ１５０のサブルーチンを図８に示す。本実施形態に係る画像処理装置１００は、例えば、高周波マップの重心位置を中心とした所定の領域を焦点検出領域として設定することができる。高周波マップにおいては被写体であることが想定される領域が高周波領域で示されているため、このように焦点検出領域を設定することにより、ＡＦを行う被写体を効率的に探索しＡＦの精度を向上させることができる。なお、以下においては焦点検出領域からのコントラスト方式によるＡＦ処理について説明を行うが、これは一例であり、焦点検出領域におけるＡＦを行うことができるのであればこのような処理に限定するわけではない。

【0048】

Ｓ１５１でＣＰＵ１３０は、Ｓ１３６で格納した高周波マップの重心位置を検出する。Ｓ１５２でＣＰＵ１３０は、Ｓ１５０で検出した重心位置に基づいて設定される所定の領域を、焦点検出領域として設定する。ここでは、重心位置を中心とする所定の領域（例えば、円形又は矩形の領域）を焦点検出領域とする。この焦点検出領域のサイズは任意に設定が可能である。

【0049】

Ｓ１５３でＣＰＵ１３０は、設定された焦点検出領域に対応したＳ１２５で得た推論画像の高周波成分からコントラスト評価値を算出する。Ｓ１５４でＣＰＵ１３０は、算出したコントラスト評価値をフレーム方向で見て、公知のコントラスト方式による合焦の判定（山登り判定）を行う。以下、単に「評価値」と表現する場合、このようなコントラスト評価値を指すものとする。

【0050】

図９は、山登り判定における評価値の軌跡の例を示す図である。図９において、評価値Ｖ（ｋ）は現在のフレームＴ（ｋ）における評価値であり、評価値Ｖ（ｋ－１）は１フレーム前（Ｔ（ｋ－１））における評価値、評価値Ｖ（ｋ－２）は２フレーム前（Ｔ（ｋ－２））である。図９（ａ）のように、評価値が時間経過に対して上昇傾向にある場合は合焦に向かっていると判断できる。また、図９（ｂ）のように、観測範囲（ここではＴ（ｋ－２）～Ｔ（ｋ））においてコントラスト値の頂点が（ここではＴ（ｋ－１）において）得られた場合には、山登り判定により合焦が行われていると判定される。図９（ｃ）のように評価値が時間経過に対して減少傾向にある場合は合焦から逆方向にフォーカスが動いていると判断できる。

【0051】

Ｓ１５４において合焦が行われている（山登りが生じた）と判定された場合には処理がＳ１５５へ進み、合焦フラグがＯＮになる。次いでＳ１５６でＣＰＵ１３０は、山登りが生じた頂点であるフォーカス位置に戻るためにフォーカス方向を反転させるよう設定を行い、Ｓ１５０を終了して処理をＳ１６０へと進める。

【0052】

Ｓ１５４において合焦が行われていない（山登りが生じていない）と判定された場合には処理がＳ１５７に進み、合焦フラグがＯＦＦとなる。Ｓ１５８でＣＰＵ１３０は、評価値が時間経過に対して減少傾向にあるか、例えば図９（ｃ）で示したような状態であるか否かを判定する。減少傾向にある場合は、ＣＰＵ１３０は、処理をＳ１５９へ進め、フォーカス方向を反転させるよう設定を行い、Ｓ１５０を終了して処理をＳ１６０へと進める。減少傾向にない場合には、ＣＰＵ１３０は、Ｓ１５０を終了して処理をＳ１６０へと進める。

【0053】

Ｓ１６０でＣＰＵ１３０は、ＡＦの目標値を設定する。ここでは、ＡＦの目標値とは、ＡＦにおけるフォーカスレンズの次の制御位置を示す値であるものとする。Ｓ１６０のサブルーチンを図１０に示す。Ｓ１６１でＣＰＵ１３０は、設定されている合焦フラグがＯＮかＯＦＦかを判定し、ＯＮである場合は処理をＳ１６２へ進め、ＯＦＦである場合は処理をＳ１６３に進める。Ｓ１６２でＣＰＵ１３０は、図９（ｂ）で検出したＶ（ｋ－１）に相当する評価値のピーク位置をＡＦ目標位置すなわちフォーカスレンズの次の制御目標位置として設定し、Ｓ１６０を終了し処理をＳ１９０へと進める。

【0054】

Ｓ１６３でＣＰＵ１３０は、Ｓ１５３で検出した評価値が閾値αより大きいか否かを判定し、大きい場合には処理をＳ１６４へと進め、そうでない場合には処理をＳ１６５へと進める。ここで、αは任意の値として設定することができる。

【0055】

Ｓ１６４でＣＰＵ１３０は、ＡＦ目標位置をフォーカスステップ量Ａと設定する。また、Ｓ１６５でＣＰＵ１３０は、ＡＦ目標位置をフォーカスステップ量Ｂと設定する。ここで、Ａ及びＢの値は任意に設定可能であるが、Ｓ１６４では評価値がαより大きいことから合焦位置に近いと判断される一方で、Ｓ１６５では逆に合焦位置から遠いと判断されることから、Ａ＜Ｂとなるように設定されるものとする。Ｓ１６４又はＳ１６５が終了した場合、Ｓ１６０は終了し、処理がＳ１９０へと進む。Ｓ１９０でＣＰＵ１３０は、設定されたＡＦ目標位置へとフォーカスレンズの制御を行う。

【0056】

Ｓ１４０においてＡＦ操作中でないと判定された場合の処理であるＳ１７０で、ＣＰＵ１３０は、ＭＦのアシスト画像の重畳処理を行う。Ｓ１７０のサブルーチンを図１１に示す。

【0057】

Ｓ１７１でＣＰＵ１３０は、Ｓ１３６で格納した高周波マップをメモリ１４０から読み出す。Ｓ１７２でＣＰＵ１３０は、Ｓ１２５で格納した推論画像をメモリ１４０から読み出す。Ｓ１７３でＣＰＵ１３０は、Ｓ１７１で読み出した高周波マップをＳ１７２で読み出した推論画像に重畳する処理を画像信号処理部１７０により行い、重畳後の画像（重畳画像）を表示部１９０で表示する。なおこの重畳画像は、表示部１９０ではなく、映像出力部１８０と介して画像処理装置１００外部に出力され、外部装置上で表示されてもよい。Ｓ１７３が終了するとＳ１７０の処理は終了し、処理がＳ１８０へと進む。

【0058】

図１３（ｇ）は高周波マップを推論画像に重畳した重畳画像の一例を示している。図１３（ｇ）においては、図１３（ｃ）の推論画像に図１３（ｅ）の高周波マップが重畳されたことで、被写体である人のエッジが強調され、ユーザがよりピント状況を把握しやすい画像が得られている。

【0059】

Ｓ１８０でＣＰＵ１３０は、ＭＦの操作量を設定する。Ｓ１８０のサブルーチンを図１２に示す。Ｓ１８１でＣＰＵ１３０は、操作入力部１５０であるフォーカスデマンドへのユーザによる操作量を取得する。Ｓ１８２でＣＰＵ１３０は、取得した操作量から現在フォーカスレンズ位置に対する差分量であるフォーカスステップ量Ｃを、次回のフォーカスレンズ制御目標位置（ＡＦ目標位置）として設定する。フォーカスステップ量Ｃは任意の値として設定可能であるが、ユーザのフォーカスデマンドの操作によりピントを合わせられるようにするために、フォーカスレンズを被写界深度よりも十分小さな単位量で制御できることが望ましい。また、フォーカスデマンドの操作量からフォーカスステップ量Ｃへ変換する際の敏感度は、単位時間あたりの操作量又は操作時間などによって設定が可能であるものとしてもよい。Ｓ１８２が終了すると図２のサブルーチンＳ１８０が終了し、処理がＳ１９０へと進み設定されたＡＦ目標位置へとフォーカスレンズの制御が行われる。Ｓ１９０が実行されると処理はＳ１１０に戻り、ループ処理が繰り返し実行される。

【0060】

このような処理によれば、アテンション層を備える機械学習モデルによりノイズを低減した推論画像を出力することができる。また、アテンション層のアテンションマップに基づいて、撮像装置の焦点の調節のための情報を生成することができる。特にＡＦを行う場合には、ＮＮにより推論された出力画像のうち、推論の過程で抽出されたアテンションマップに基づく高周波予測領域のコントラスト情報を用いることによって、低照度環境においてノイズが大きい画像であっても、コントラスト方式によるオートフォーカスを実行することができる。

【0061】

［実施形態２］
以下、実施形態２に係る画像処理装置１０１について説明を行う。実施形態１においては、画像処理装置１００は、ＡＦ処理を行う際、コントラスト方式によるＡＦを行うものとして説明を行った。本実施形態に係る画像処理装置１０１は、実施形態１に係るＮＮと同様のＮＮを用いてＮＲ処理を行った推論画像から、位相差方式のＡＦ処理によりＡＦを行う。

【0062】

図１４は、本実施形態に係る画像処理装置１０１のハードウェア構成の一例を示すブロック図である。本実施形態に係る画像処理装置１０１は、位相差センサ１２２を追加で有することを除き基本的に実施形態１のものと同様の構成を有し、同様の処理を行うことが可能である。以下、画像処理装置の実施形態１と異なる構成及び実行する処理について説明を行う。

【0063】

本実施形態に係る画像処理装置１０１は、撮像素子１２０がマイクロレンズを備え、外部から入射した光束を右目用と左目用との二像に分岐させ、光学的に所定の基線長となる位置に配置された右目用画素及び左目用画素に二像結像する画素構造を有する。この構造により、右目用画素及び左目用画素からの信号を、撮影映像信号として使用することができ、かつ、焦点検出用信号としても使用することができる。被写体に合焦している場合は二像が一致し、非合焦の場合は二像間でずれが生じる。本実施形態においては、このずれ量を計算する既知の相関演算によって位相差が算出され、ＡＦ処理が行われる。位相差方式のＡＦ処理については、公知の技術により行うことが可能であり、詳細な説明は省略する。

【0064】

本実施形態に係る画像処理装置１０１は、レンズ１１０のズームレンズ及びアイリス、並びにフォーカスレンズの位置に基づくレンズ個別の敏感度演算や敏感度テーブルなどにより、現在のフォーカスレンズ位置に対する合焦位置までの差分であるデフォーカス量を求めることができる。このような二像結像した撮像素子１２０から得られる撮像信号としては、二像が加算された映像信号に加え、いずれか一方の片目の像が映像信号として出力されるものがある。画像処理装置１０１は、二像が加算された映像信号と片目の像の映像信号との差分を取ることにより焦点検出用にもう一方の映像信号を得ることができる。

【0065】

なお、画像処理装置１０１は、位相差方式による像信号が得られるものに加え、位相差センサ１２２など、撮像素子１２０とは別の焦点検出用センサを用いて各処理を実行することができる。位相差センサ１２２は、不図示の分岐光学系により、撮像素子１２０と光学的に等価な位置に配置される。画像処理装置１０１は、前述した二像結像可能な構成においても、位相差センサ１２２を用いる構成においても、二像に分岐した焦点検出用画素を用いた位相差方式のＡＦを行うものとして以下の説明を行う。

【0066】

次に、画像処理装置１０１のＣＰＵ１３０が行う処理について、図１５のフローチャートを参照して説明する。図１５に示す処理は、実施形態１の図２に示す処理と同様に開始可能であり、Ｓ１００から順番に処理が実行される。なお、図１５のＳ１９０までの処理が実行されると再びＳ２１０からのループ処理が開始されることになるが、Ｓ２１０からＳ１９０までの処理は、処理対象として入力される映像の１フレームごとに行われるものとして説明する。

【0067】

Ｓ１００でＣＰＵ１３０は、実施形態１のＳ１００と同様に画像処理装置１０１の初期化処理を行い、処理をＳ２１０へと進める。

【0068】

Ｓ２１０でＣＰＵ１３０は撮像処理を行う。Ｓ２１０のサブルーチンを図１６に示す。Ｓ２１０に係る処理としては、一般的な撮像装置において行われる公知の撮像処理を任意に採用することが可能であり、図１６において示される処理は一例である。図１６に係る処理は、Ｓ１１４に続きさらにＳ２１５が行われることを除き図５の処理と同様に行われるため、重複する説明は省略する。

【0069】

Ｓ２１５でＣＰＵ１３０は、Ｓ１１４で読み出された映像信号から位相差演算用の二像を生成しメモリ１４０に格納する。Ｓ２１５実行後はサブルーチンＳ２１０は終了し、処理は図１５のＳ２２０へ進む。

【0070】

Ｓ２２０でＣＰＵ１３０はＮＲ処理を行う。Ｓ２２０のサブルーチンを図１７に示す。図１７に係る処理は、Ｓ１２５に続きさらにＳ２２６が行われることを除き図６の処理と同様に行われるため、重複する説明は省略する。なお、図１７においては、Ｓ１２１～Ｓ２２６の処理が、各像の映像信号１つずつを対象としたループ処理として行われる。Ｓ２２６でＣＰＵ１３０は、二像の映像信号に対しそれぞれ推論画像を取得するため、各像の映像信号の推論を完了したか判定する。各像の映像信号の推論が完了している場合にはサブルーチンＳ２２０が終了して処理がＳ２３０に進み、そうでなければ、残りの映像信号の推論を実施するために処理がＳ１２１からループする。

【0071】

Ｓ２３０でＣＰＵ１３０は、アテンションマップ処理を行う。Ｓ２３０のサブルーチンを図１８に示す。図１８に係る処理は、Ｓ１３５～Ｓ１３６に代わりＳ２３５～Ｓ２３６が行われ、Ｓ１３８に続きＳ２３９が行われることを除き図７の処理と同様に行われるため、重複する説明は省略する。なお、図１８においては、Ｓ１３１～Ｓ２３９の処理が、各像の映像信号１つずつを対象としたループ処理として行われる。

【0072】

Ｓ１３４において任意の閾値以上に分布がある場合には、アテンション層３０４に高周波領域を含む特徴が出現していると判定して処理をＳ２３５へ進め、そうでなければ高周波領域の特徴が出現していないと判定して処理をＳ１３７へ進める。Ｓ２３５でＣＰＵ１３０は、処理対象のアテンション層３０４に対して輝度反転及びエッジフィルタ処理を実行し、高周波マップを取得する。ここでは、元々輝度が低い領域は高周波領域であるため、輝度反転処理により、高周波領域は輝度レベルが高い領域に、低周波領域（ＮＲが強くかかる領域）は輝度レベルが低い領域に変換されたアテンション層３０４の画像が得られる。さらにＣＰＵ１３０は、エッジを抽出するような既知のフィルタ演算処理をアテンション層３０４の画像に実行することによって、エッジマップとして図２２に示すマップを得ることができる。

【0073】

実施形態１においては、高周波領域を得るための閾値処理により図１３（ｆ）の高周波マップが得られたが、本実施形態に係る図２２のエッジマップは、繰り返しのパターン領域を高周波領域から除くためにエッジが抽出されている。一般的に位相差方式のＡＦでは相関演算時に繰り返しのパターンがあると偽合焦となるような相関量が演算されてしまう場合があるため、ここではエッジ領域のみを抽出することにより、そのような偽合焦の発生を抑制することができる。エッジ領域を抽出するための前述のエッジフィルタ処理に適用する係数やフィルタサイズは、相関演算に用いるウィンドウサイズに応じて、ユーザが所望の値に設定することが可能である。

【0074】

Ｓ２３５において、ノイズの多い画像の中から被写体のエッジ成分が抽出された領域を示す画像が得られる。Ｓ２３６でＣＰＵ１３０は、Ｓ２３５で得られたエッジマップをメモリ１４０に格納する。Ｓ１３７及びＳ１３８は実施例１と同様の処理を実行し、Ｓ１３８においてすべてのアテンション層３０４が処理対象とされたと判定された場合には処理がＳ２３９へと進む。図１７と同様に、図１８の処理においては二像の映像信号に対しそれぞれエッジマップが取得されるため、Ｓ２３９でＣＰＵ１３０は、各像の映像信号のエッジマップの取得を完了したかを判定する。完了している場合にはサブルーチンＳ２３０を終了して処理がＳ２４０に進み、そうでない場合には、残りの映像信号の推論を実施するためにＳ１３１から処理がループする。

【0075】

Ｓ２５０でＣＰＵ１３０は焦点検出処理を行う。Ｓ２５０のサブルーチンを図１９に示す。なお、以下においては焦点検出領域からの位相差方式によるＡＦ処理について説明を行うが、これは一例であり、焦点検出領域におけるＡＦを行うことができるのであればこのような処理に限定するわけではない。

【0076】

Ｓ２５１でＣＰＵ１３０は、エッジマップからエッジが存在する箇所を含む領域を焦点評価領域として設定する。Ｓ２５２でＣＰＵ１３０は、Ｓ２５１で設定した焦点評価領域において既知の相関演算により位相差量を算出する。Ｓ２５３でＣＰＵ１３０は、算出した位相差量及び敏感度演算により、現在のフォーカスレンズ位置からのデフォーカス量を算出する。Ｓ２５４でＣＰＵ１３０は、デフォーカス量の絶対値が所定の閾値βよりも小さいか否かを判定する。この閾値βは、閾値β以下となる条件が合焦中と判定できる量であり、被写界深度及びレンズ１１０の光学条件から定まる敏感度により異なるものとする。本実施形態に係る閾値βは例えば被写界深度の１／２となる量とすることができる。またＣＰＵ１３０は、デフォーカス量の符号により前ピンか後ピンかを判断することができる。

【0077】

デフォーカス量の絶対値が閾値βよりも小さい場合には、合焦であると判断して処理がＳ１５５へ進み、合焦フラグがＯＮとなる。デフォーカス量の絶対値が閾値β以上である場合には、非合焦であると判断して処理がＳ１５７へ進み、合焦フラグがＯＦＦとなる。Ｓ１５５又はＳ１５７の処理が完了すると図１９のサブルーチンは終了し、処理はＳ１４０へと進む。

【0078】

Ｓ１４０でＣＰＵ１３０は、操作入力部１５０への入力に基づいて、画像処理装置１００がＡＦ操作中であるか否かの判定を行う。ここでは、スイッチ操作によりＡＦ操作のＯＮ／ＯＦＦが行われるものとする。ＡＦ操作中である場合には処理がＳ２６０へと進み、そうでない場合には処理はＳ２７０へ進む。

【0079】

Ｓ２６０でＣＰＵ１３０は、ＡＦの目標値を設定する。Ｓ２６０のサブルーチンを図２０に示す。Ｓ１６１でＣＰＵ１３０は、図１９のＳ１５５又はＳ１５７で設定された合焦フラグがＯＮであるかを判定する。ＯＮである場合は図２０のサブルーチンは終了し、処理がＳ１９０へと進む。ＯＦＦである場合は処理がＳ２６２へと進む。Ｓ２６２でＣＰＵ１３０は、Ｓ２５３で算出されたデフォーカス量をフォーカス駆動量として設定し、図２０のサブルーチンを終了して処理をＳ１９０へと進める。

【0080】

Ｓ２７０でＣＰＵ１３０は、ＭＦアシストＵＩ（アシスト画像）の表示を行う。Ｓ２７０のサブルーチンを図２１に示す。Ｓ２７１でＣＰＵ１３０は、Ｓ２５３で算出されたデフォーカス量を取得する。Ｓ２５４で説明した通り、デフォーカス量は正負の値を取り、デフォーカス量の符号に基づいて現在のフォーカス位置が合焦位置よりも前ピンか後ピンかの判定を行うことができる。さらに、デフォーカス量の絶対値が大きければ大きいほど、合焦位置から遠い、すなわち大デフォーカス状態であることがわかる。

【0081】

Ｓ２７２でＣＰＵ１３０は、ユーザのＭＦ操作を補助するためのアシスト画像を生成する。本実施形態に係るアシスト画像は、例えば、ＭＦ操作による合焦までのフォーカスレンズの移動量を示す情報を含んでいてもよい。そのようなアシスト画像については既知の表示形態により表示を行うことが可能であり、例えば合焦までの操作量を表示してもよく、合焦状態であることを〇又は±０などにより表示してもよい。また、アシスト画像として、前ピンの操作量を＋、後ピンの操作量を－などの符号とともに表示して良い。また前ピンでかつ大デフォーカスの場合は＋＋、後ピンで大デフォーカスの場合は－－などの符号とともに操作量が表示されてもよい。

【0082】

Ｓ２７３でＣＰＵ１３０は、Ｓ２７２で生成したアシスト画像を撮影本線映像に重畳し、図１４の表示部１９０へ表示する、又は映像出力部１８０から外部装置に出力する。Ｓ２７３の処理が終わると、図２１のサブルーチンが終了し、処理はＳ１８０へと進む。Ｓ１８０～Ｓ１９０は実施形態１における処理と同様である。Ｓ１９０においては、Ｓ２６０で設定したフォーカス駆動量を用いてフォーカス駆動が行われる場合がある。

【0083】

このような処理によれば、ＮＮにより推論された出力画像のうち、推論の過程で抽出されたアテンションマップに基づく高周波予測領域からエッジマップを抽出し、その位相差情報を用いることによって、低照度環境においてノイズが大きい画像であっても、位相差方式によるオートフォーカスを実行することができる。

【0084】

本明細書の開示は、以下の画像処理装置、情報処理方法、及びプログラムを含む。

【0085】

（項目１）
入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて、学習済みの機械学習モデルにより前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像装置の焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、画像処理装置。
（項目２）
前記第２の生成手段は、前記撮像装置の焦点を調節するための情報として、オートフォーカスにおける焦点検出を行う、前記第２の画像中の第１の部分領域を示す情報を生成することを特徴とする、項目１に記載の画像処理装置。
（項目３）
前記第１の画像から前記空間周波数に基づいて第２の部分領域を抽出する抽出手段をさらに備え、
前記第１の生成手段は、前記アテンションマップとして、前記第１の画像における前記第２の部分領域を示すマップを生成し、
前記第２の生成手段は、前記アテンションマップの前記第２の部分領域に基づいて前記第１の部分領域を示す情報を生成することを特徴とする、項目２に記載の画像処理装置。
（項目４）
前記第１の部分領域は、前記アテンションマップの前記第２の部分領域の重心位置を中心とする、所定の形状の領域であることを特徴とする、項目３に記載の画像処理装置。
（項目５）
前記第２の画像の前記第１の部分領域から、コントラスト方式によりオートフォーカスの焦点位置を決定する第１の決定手段をさらに備えることを特徴とする、項目２又は３に記載の画像処理装置。
（項目６）
前記第２の画像の前記第１の部分領域から、位相差方式によりオートフォーカスの焦点位置を決定する第２の決定手段をさらに備えることを特徴とする、項目２又は３に記載の画像処理装置。
（項目７）
前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、マニュアルフォーカス操作中において第２の画像上に重畳表示する、前記第２の部分領域を示す画像を生成することを特徴とする、項目３に記載の画像処理装置。
（項目８）
前記第２の生成手段は、前記撮像装置による焦点調節に用いる情報として、合焦までのフォーカスレンズの移動量を示す情報を生成することを特徴とする、項目１に記載の画像処理装置。
（項目９）
前記第２の生成手段は、前記撮像装置の焦点の調節のための情報として、前記撮像装置が合焦しているか否かを示す情報を生成することを特徴とする、項目１に記載の画像処理装置。
（項目１０）
第１の画像を撮像する撮像手段と、
前記第１の画像を入力として、特定の空間周波数を有する領域を示すアテンションマップを生成する第１の生成手段と、
前記第１の画像と前記アテンションマップとに基づいて学習済みの機械学習モデルにより、前記第１の画像からノイズが低減された第２の画像を出力する出力手段と、
前記第２の画像と前記アテンションマップとに基づいて、撮像における焦点を調節するための情報を生成する第２の生成手段と、
を備えることを特徴とする、撮像装置。
（項目１１）
前記撮像手段は、外部から入射した光束を二像に分岐させ、前記二像を焦点検出用にそれぞれ結像する画素構造を有し、
前記二像の位相差に基づいて撮像装置のオートフォーカス制御を行う制御部をさらに備えることを特徴とする、項目１０に記載の撮像装置。
（項目１２）
前記撮像手段による焦点位置の検出を行うセンサと、
前記センサの出力に応じて撮像装置のオートフォーカス制御を行う制御部と、
をさらに備えることを特徴とする、項目１０に記載の撮像装置。
（項目１３）
撮像における焦点調節に用いる情報を表示する表示手段をさらに備えることを特徴とする、項目１０乃至１２の何れか一項目に記載の撮像装置。
（項目１４）
前記表示手段は、撮像装置の外部装置において前記撮像における焦点の調節のための情報を表示させることをさらに特徴とする、項目１３に記載の撮像装置。
（項目１５）
入力された第１の画像から、特定の空間周波数を有する領域を示すアテンションマップを生成する処理と、
前記第１の画像と前記アテンションマップとに基づいて、学習済みの機械学習モデルにより、前記第１の画像からノイズが低減された第２の画像を出力する処理と、
前記第２の画像と前記アテンションマップとに基づいて、撮像装置の焦点の調節のための情報を生成する処理と、
を備えることを特徴とする、情報処理方法。
（項目１６）
コンピュータを、項目１乃至９の何れか一項目に記載の画像処理装置又は項目１０乃至１４の何れか一項目に記載の撮像装置の各手段として機能させるためのプログラム。

【0086】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0087】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0088】

１００：画像処理装置、１１０：レンズ、１１１：レンズ制御部、１２０：撮像素子、１２１：撮像制御部、１３０：ＣＰＵ、１４０：メモリ、１５０：操作入力部、１６０：焦点検出部、１７０：画像信号処理部、１８０：映像出力部、１９０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】