ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006056
(43)【公開日】2024-01-17
(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 5/50 20060101AFI20240110BHJP
G06T 3/4053 20240101ALI20240110BHJP
G06T 5/73 20240101ALI20240110BHJP
【ＦＩ】
G06T5/50
G06T3/40 730
G06T5/00 710
【審査請求】未請求
【請求項の数】40
【出願形態】ＯＬ
(21)【出願番号】P 2022106600
(22)【出願日】2022-06-30
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】斎藤 太郎
(72)【発明者】
【氏名】田中 康一
(72)【発明者】
【氏名】島田 智大
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5B057CE04
5B057CE06
5B057CE08
5B057CH09
5B057DB02
5B057DB06
5B057DB09
5B057DC16
5B057DC32
(57)【要約】
【課題】処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像よりも、第１ＡＩ処理の影響が目立たない画像を得ることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得し、第１画像と第２画像とを合成することにより、第１ＡＩ処理の過不足を調整する。
【選択図】図５
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得し、第１画像と第２画像とを合成することにより、第１ＡＩ処理の過不足を調整する。
【選択図】図５
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得し、
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整する
画像処理装置。
前記プロセッサは、
処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得し、
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整する
画像処理装置。
【請求項2】
前記第２画像は、ニューラルネットワークを用いない非ＡＩ方式の処理が前記処理対象画像に行われることによって得られた画像である
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
プロセッサを備え、
前記プロセッサは、
処理対象画像に対して第１ＡＩ処理が行われることによって前記処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得し、
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整する
画像処理装置。
前記プロセッサは、
処理対象画像に対して第１ＡＩ処理が行われることによって前記処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得し、
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整する
画像処理装置。
【請求項4】
前記第２画像は、ニューラルネットワークを用いない非ＡＩ方式の処理が前記処理対象画像に行われることによって前記非ノイズ要素が調整された画像である
請求項３に記載の画像処理装置。
請求項３に記載の画像処理装置。
【請求項5】
前記第２画像は、前記非ノイズ要素が調整されていない画像である
請求項３に記載の画像処理装置。
請求項３に記載の画像処理装置。
【請求項6】
前記プロセッサは、前記第１画像と前記第２画像とを、前記第１ＡＩ処理の過不足を調整する割合で合成する
請求項１から請求項５の何れか一項に記載の画像処理装置。
請求項１から請求項５の何れか一項に記載の画像処理装置。
【請求項7】
前記処理対象画像は、撮像装置によって撮像が行われることで得られた画像であり、
前記第１ＡＩ処理は、前記撮像装置の特性に起因して前記処理対象画像に現れる現象をＡＩ方式で補正する第１補正処理を含み、
前記第１画像は、前記第１補正処理が行われることによって得られた第１補正画像を含み、
前記プロセッサは、前記第１補正画像と前記第２画像とを前記割合で合成することにより、前記第１補正処理に由来する要素を調整する
請求項６に記載の画像処理装置。
前記第１ＡＩ処理は、前記撮像装置の特性に起因して前記処理対象画像に現れる現象をＡＩ方式で補正する第１補正処理を含み、
前記第１画像は、前記第１補正処理が行われることによって得られた第１補正画像を含み、
前記プロセッサは、前記第１補正画像と前記第２画像とを前記割合で合成することにより、前記第１補正処理に由来する要素を調整する
請求項６に記載の画像処理装置。
【請求項8】
前記プロセッサは、前記現象を非ＡＩ方式で補正する第２補正処理を行い、
前記第２画像は、前記第２補正処理が行われることによって得られた第２補正画像を含み、
前記プロセッサは、前記第１補正画像と前記第２補正画像とを前記割合で合成することにより、前記第１補正処理に由来する要素を調整する
請求項７に記載の画像処理装置。
前記第２画像は、前記第２補正処理が行われることによって得られた第２補正画像を含み、
前記プロセッサは、前記第１補正画像と前記第２補正画像とを前記割合で合成することにより、前記第１補正処理に由来する要素を調整する
請求項７に記載の画像処理装置。
【請求項9】
前記特性には、前記撮像装置の光学特性が含まれる
請求項７又は請求項８に記載の画像処理装置。
請求項７又は請求項８に記載の画像処理装置。
【請求項10】
前記第１ＡＩ処理は、前記処理対象画像から与えられる視覚的な印象を司る因子をＡＩ方式で変更する第１変更処理を含み、
前記第１画像は、前記第１変更処理が行われることによって得られた第１変更画像を含み、
前記プロセッサは、前記第１変更画像と前記第２画像とを前記割合で合成することにより、前記第１変更処理に由来する要素を調整する
請求項６から請求項９の何れか一項に記載の画像処理装置。
前記第１画像は、前記第１変更処理が行われることによって得られた第１変更画像を含み、
前記プロセッサは、前記第１変更画像と前記第２画像とを前記割合で合成することにより、前記第１変更処理に由来する要素を調整する
請求項６から請求項９の何れか一項に記載の画像処理装置。
【請求項11】
前記プロセッサは、前記因子を非ＡＩ方式で変更する第２変更処理を行い、
前記第２画像は、前記第２変更処理が行われることによって得られた第２変更画像を含み、
前記プロセッサは、前記第１変更画像と前記第２変更画像とを前記割合で合成することにより、前記第１変更処理に由来する要素を調整する
請求項１０に記載の画像処理装置。
前記第２画像は、前記第２変更処理が行われることによって得られた第２変更画像を含み、
前記プロセッサは、前記第１変更画像と前記第２変更画像とを前記割合で合成することにより、前記第１変更処理に由来する要素を調整する
請求項１０に記載の画像処理装置。
【請求項12】
前記因子には、明瞭度、色、階調、解像度、ぼけ、エッジ領域の強調度、画風、及び／又は、肌に関する画質が含まれる
請求項１０又は請求項１１に記載の画像処理装置。
請求項１０又は請求項１１に記載の画像処理装置。
【請求項13】
前記処理対象画像は、撮像装置のレンズによって受光面に結像された被写体光が前記撮像装置によって撮像されることで得られた撮像画像であり、
前記第１画像は、前記撮像画像のうちの前記レンズの収差が反映された領域をＡＩ方式で補正する収差領域補正処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１収差補正画像を含み、
前記第２画像は、前記撮像画像のうちの前記レンズの収差が反映された領域を非ＡＩ方式で補正する処理が行われることによって得られた第２収差補正画像を含み、
前記プロセッサは、前記第１収差補正画像と前記第２収差補正画像とを前記割合で合成することにより、前記収差領域補正処理に由来する要素を調整する
請求項６から請求項１２の何れか一項に記載の画像処理装置。
前記第１画像は、前記撮像画像のうちの前記レンズの収差が反映された領域をＡＩ方式で補正する収差領域補正処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１収差補正画像を含み、
前記第２画像は、前記撮像画像のうちの前記レンズの収差が反映された領域を非ＡＩ方式で補正する処理が行われることによって得られた第２収差補正画像を含み、
前記プロセッサは、前記第１収差補正画像と前記第２収差補正画像とを前記割合で合成することにより、前記収差領域補正処理に由来する要素を調整する
請求項６から請求項１２の何れか一項に記載の画像処理装置。
【請求項14】
前記第１画像は、前記処理対象画像に対して第１領域と前記第１領域と異なる領域である第２領域とをＡＩ方式で弁別可能に彩色する彩色処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１彩色画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像の色を変更する処理が行われることによって得られた第２彩色画像を含み、
前記プロセッサは、前記第１彩色画像と前記第２彩色画像とを前記割合で合成することにより、前記彩色処理に由来する要素を調整する
請求項６から請求項１３の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記処理対象画像の色を変更する処理が行われることによって得られた第２彩色画像を含み、
前記プロセッサは、前記第１彩色画像と前記第２彩色画像とを前記割合で合成することにより、前記彩色処理に由来する要素を調整する
請求項６から請求項１３の何れか一項に記載の画像処理装置。
【請求項15】
前記第２彩色画像は、前記処理対象画像に対して前記第１領域と前記第２領域とを非ＡＩ方式で弁別可能に彩色する処理が行われることによって得られた画像である
請求項１４に記載の画像処理装置。
請求項１４に記載の画像処理装置。
【請求項16】
前記処理対象画像は、第１被写体が撮像されることによって得られた画像であり、
前記第１領域は、前記処理対象画像内のうちの前記第１被写体に含まれる特定被写体が写っている領域である
請求項１４又は請求項１５に記載の画像処理装置。
前記第１領域は、前記処理対象画像内のうちの前記第１被写体に含まれる特定被写体が写っている領域である
請求項１４又は請求項１５に記載の画像処理装置。
【請求項17】
前記第１画像は、ＡＩ方式で前記処理対象画像のコントラストを調整する第１コントラスト調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１コントラスト調整画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像のコントラストを調整する第２コントラスト調整処理が行われることによって得られた第２コントラスト調整画像を含み、
前記プロセッサは、前記第１コントラスト調整画像と前記第２コントラスト調整画像とを前記割合で合成することにより、前記第１コントラスト調整処理に由来する要素を調整する
請求項６から請求項１６の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記処理対象画像のコントラストを調整する第２コントラスト調整処理が行われることによって得られた第２コントラスト調整画像を含み、
前記プロセッサは、前記第１コントラスト調整画像と前記第２コントラスト調整画像とを前記割合で合成することにより、前記第１コントラスト調整処理に由来する要素を調整する
請求項６から請求項１６の何れか一項に記載の画像処理装置。
【請求項18】
前記処理対象画像は、第２被写体が撮像されることによって得られた画像であり、
前記第１コントラスト調整処理は、ＡＩ方式で前記処理対象画像に対して前記第２被写体に応じてコントラストを調整する第３コントラスト調整処理を含み、
前記第２コントラスト調整処理は、非ＡＩ方式で前記処理対象画像に対して前記第２被写体に応じてコントラストを調整する第４コントラスト調整処理を含み、
前記第１画像は、前記第３コントラスト調整処理が行われることによって得られた第３コントラスト画像を含み、
前記第２画像は、前記第４コントラスト調整処理が行われることによって得られた第４コントラスト画像を含み、
前記プロセッサは、前記第３コントラスト画像と前記第４コントラスト画像とを前記割合で合成することにより、前記第３コントラスト調整処理に由来する要素を調整する
請求項１７に記載の画像処理装置。
前記第１コントラスト調整処理は、ＡＩ方式で前記処理対象画像に対して前記第２被写体に応じてコントラストを調整する第３コントラスト調整処理を含み、
前記第２コントラスト調整処理は、非ＡＩ方式で前記処理対象画像に対して前記第２被写体に応じてコントラストを調整する第４コントラスト調整処理を含み、
前記第１画像は、前記第３コントラスト調整処理が行われることによって得られた第３コントラスト画像を含み、
前記第２画像は、前記第４コントラスト調整処理が行われることによって得られた第４コントラスト画像を含み、
前記プロセッサは、前記第３コントラスト画像と前記第４コントラスト画像とを前記割合で合成することにより、前記第３コントラスト調整処理に由来する要素を調整する
請求項１７に記載の画像処理装置。
【請求項19】
前記第１コントラスト調整処理は、前記処理対象画像に含まれる中心画素と前記中心画素の周囲に隣接する複数の隣接画素とのコントラストをＡＩ方式で調整する第５コントラスト調整処理を含み、
前記第２コントラスト調整処理は、前記中心画素と前記複数の隣接画素とのコントラストを非ＡＩ方式で調整する第６コントラスト調整処理を含み、
前記第１画像は、前記第５コントラスト調整処理が行われることによって得られた第５コントラスト画像を含み、
前記第２画像は、前記第６コントラスト調整処理が行われることによって得られた第６コントラスト画像を含み、
前記プロセッサは、前記第５コントラスト画像と前記第６コントラスト画像とを前記割合で合成することにより、前記第５コントラスト調整処理に由来する要素を調整する
請求項１７又は請求項１８に記載の画像処理装置。
前記第２コントラスト調整処理は、前記中心画素と前記複数の隣接画素とのコントラストを非ＡＩ方式で調整する第６コントラスト調整処理を含み、
前記第１画像は、前記第５コントラスト調整処理が行われることによって得られた第５コントラスト画像を含み、
前記第２画像は、前記第６コントラスト調整処理が行われることによって得られた第６コントラスト画像を含み、
前記プロセッサは、前記第５コントラスト画像と前記第６コントラスト画像とを前記割合で合成することにより、前記第５コントラスト調整処理に由来する要素を調整する
請求項１７又は請求項１８に記載の画像処理装置。
【請求項20】
前記第１画像は、ＡＩ方式で前記処理対象画像の解像度を調整する第１解像度調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１解像度調整画像を含み、
前記第２画像は、非ＡＩ方式で前記解像度を調整する第２解像度調整処理が行われることによって得られた第２解像度調整画像を含み、
前記プロセッサは、前記第１解像度調整画像と前記第２解像度調整画像とを前記割合で合成することにより、前記第１解像度調整処理に由来する要素を調整する
請求項６から請求項１９の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記解像度を調整する第２解像度調整処理が行われることによって得られた第２解像度調整画像を含み、
前記プロセッサは、前記第１解像度調整画像と前記第２解像度調整画像とを前記割合で合成することにより、前記第１解像度調整処理に由来する要素を調整する
請求項６から請求項１９の何れか一項に記載の画像処理装置。
【請求項21】
前記第１解像度調整処理は、ＡＩ方式で前記処理対象画像を超解像度化する処理であり、
前記第２解像度調整処理は、非ＡＩ方式で前記処理対象画像を超解像度化する処理である
請求項２０に記載の画像処理装置。
前記第２解像度調整処理は、非ＡＩ方式で前記処理対象画像を超解像度化する処理である
請求項２０に記載の画像処理装置。
【請求項22】
前記第１画像は、ＡＩ方式で前記処理対象画像のダイナミックレンジを拡げる拡張処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１ハイダイナミックレンジ画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像のダイナミックレンジを拡げる処理が行われることによって得られた第２ハイダイナミックレンジ画像を含み、
前記プロセッサは、前記第１ハイダイナミックレンジ画像と前記第２ハイダイナミックレンジ画像とを前記割合で合成することにより、前記拡張処理に由来する要素を調整する
請求項６から請求項２１の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記処理対象画像のダイナミックレンジを拡げる処理が行われることによって得られた第２ハイダイナミックレンジ画像を含み、
前記プロセッサは、前記第１ハイダイナミックレンジ画像と前記第２ハイダイナミックレンジ画像とを前記割合で合成することにより、前記拡張処理に由来する要素を調整する
請求項６から請求項２１の何れか一項に記載の画像処理装置。
【請求項23】
前記第１画像は、ＡＩ方式で前記処理対象画像内のエッジ領域を前記エッジ領域と異なる領域である非エッジ領域よりも強調する強調処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１エッジ強調画像を含み、
前記第２画像は、非ＡＩ方式で前記エッジ領域を前記非エッジ領域よりも強調する処理が行われることによって得られた第２エッジ強調画像を含み、
前記プロセッサは、前記第１エッジ強調画像と前記第２エッジ強調画像とを前記割合で合成することにより、前記強調処理に由来する要素を調整する
請求項６から請求項２２の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記エッジ領域を前記非エッジ領域よりも強調する処理が行われることによって得られた第２エッジ強調画像を含み、
前記プロセッサは、前記第１エッジ強調画像と前記第２エッジ強調画像とを前記割合で合成することにより、前記強調処理に由来する要素を調整する
請求項６から請求項２２の何れか一項に記載の画像処理装置。
【請求項24】
前記第１画像は、ＡＩ方式で前記処理対象画像に対して点像のぼけ量を調整する点像調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１点像調整画像を含み、
前記第２画像は、非ＡＩ方式で前記ぼけ量を調整する処理が行われることによって得られた第２点像調整画像を含み、
前記プロセッサは、前記第１点像調整画像と前記第２点像調整画像とを前記割合で合成することにより、前記点像調整処理に由来する要素を調整する
請求項６から請求項２３の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記ぼけ量を調整する処理が行われることによって得られた第２点像調整画像を含み、
前記プロセッサは、前記第１点像調整画像と前記第２点像調整画像とを前記割合で合成することにより、前記点像調整処理に由来する要素を調整する
請求項６から請求項２３の何れか一項に記載の画像処理装置。
【請求項25】
前記処理対象画像は、第３被写体が撮像されることによって得られた画像であり、
前記第１画像は、ＡＩ方式で前記処理対象画像に対して前記第３被写体に応じたぼけを付与する暈し処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１暈し画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像に対して前記ぼけを付与する処理が行われることによって得られた第２暈し画像を含み、
前記プロセッサは、前記第１暈し画像と前記第２暈し画像とを前記割合で合成することにより、前記暈し処理に由来する要素を調整する
請求項６から請求項２４の何れか一項に記載の画像処理装置。
前記第１画像は、ＡＩ方式で前記処理対象画像に対して前記第３被写体に応じたぼけを付与する暈し処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１暈し画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像に対して前記ぼけを付与する処理が行われることによって得られた第２暈し画像を含み、
前記プロセッサは、前記第１暈し画像と前記第２暈し画像とを前記割合で合成することにより、前記暈し処理に由来する要素を調整する
請求項６から請求項２４の何れか一項に記載の画像処理装置。
【請求項26】
前記第１画像は、ＡＩ方式で前記処理対象画像に対して第１玉ぼけを付与する玉ぼけ処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１玉ぼけ画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像から前記第１玉ぼけを調節するか、又は、非ＡＩ方式で前記処理対象画像に対して第２玉ぼけを付与する処理が行われることによって得られた第２玉ぼけ画像を含み、
前記プロセッサは、前記第１玉ぼけ画像と前記第２玉ぼけ画像とを前記割合で合成することにより、前記玉ぼけ処理に由来する要素を調整する
請求項６から請求項２５の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記処理対象画像から前記第１玉ぼけを調節するか、又は、非ＡＩ方式で前記処理対象画像に対して第２玉ぼけを付与する処理が行われることによって得られた第２玉ぼけ画像を含み、
前記プロセッサは、前記第１玉ぼけ画像と前記第２玉ぼけ画像とを前記割合で合成することにより、前記玉ぼけ処理に由来する要素を調整する
請求項６から請求項２５の何れか一項に記載の画像処理装置。
【請求項27】
前記第１画像は、ＡＩ方式で前記処理対象画像の階調を調整する第１階調調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた第１階調調整画像を含み、
前記第２画像は、非ＡＩ方式で前記処理対象画像の階調を調整する第２階調調整処理が行われることによって得られた第２階調調整画像を含み、
前記プロセッサは、前記第１階調調整画像と前記第２階調調整画像とを前記割合で合成することにより、前記第１階調調整処理に由来する要素を調整する
請求項６から請求項２６の何れか一項に記載の画像処理装置。
前記第２画像は、非ＡＩ方式で前記処理対象画像の階調を調整する第２階調調整処理が行われることによって得られた第２階調調整画像を含み、
前記プロセッサは、前記第１階調調整画像と前記第２階調調整画像とを前記割合で合成することにより、前記第１階調調整処理に由来する要素を調整する
請求項６から請求項２６の何れか一項に記載の画像処理装置。
【請求項28】
前記処理対象画像は、第４被写体が撮像されることによって得られた画像であり、
前記第１階調調整処理は、ＡＩ方式で前記処理対象画像の階調を前記第４被写体に応じて調整する処理であり、
前記第２階調調整処理は、非ＡＩ方式で前記処理対象画像の階調を前記第４被写体に応じて調整する処理である
請求項２７の記載の画像処理装置。
前記第１階調調整処理は、ＡＩ方式で前記処理対象画像の階調を前記第４被写体に応じて調整する処理であり、
前記第２階調調整処理は、非ＡＩ方式で前記処理対象画像の階調を前記第４被写体に応じて調整する処理である
請求項２７の記載の画像処理装置。
【請求項29】
前記第１画像は、ＡＩ方式で前記処理対象画像の画風を変更する画風変更処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた画風変更画像を含み、
前記プロセッサは、前記画風変更画像と前記第２画像とを前記割合で合成することにより、前記画風変更処理に由来する要素を調整する
請求項６から請求項２８の何れか一項に記載の画像処理装置。
前記プロセッサは、前記画風変更画像と前記第２画像とを前記割合で合成することにより、前記画風変更処理に由来する要素を調整する
請求項６から請求項２８の何れか一項に記載の画像処理装置。
【請求項30】
前記処理対象画像は、肌が撮像されることによって得られた画像であり、
前記第１画像は、前記処理対象画像に写っている前記肌に関する画質をＡＩ方式で調整する肌画質調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた肌画質調整画像を含み、
前記プロセッサは、前記肌画質調整画像と前記第２画像とを前記割合で合成することにより、前記肌画質調整処理に由来する要素を調整する
請求項６から請求項２９の何れか一項に記載の画像処理装置。
前記第１画像は、前記処理対象画像に写っている前記肌に関する画質をＡＩ方式で調整する肌画質調整処理が前記第１ＡＩ処理に含まれる処理として行われることによって得られた肌画質調整画像を含み、
前記プロセッサは、前記肌画質調整画像と前記第２画像とを前記割合で合成することにより、前記肌画質調整処理に由来する要素を調整する
請求項６から請求項２９の何れか一項に記載の画像処理装置。
【請求項31】
前記第１ＡＩ処理は、ＡＩ方式で行われる複数の目的別処理を含み、
前記第１画像は、前記処理対象画像に対して前記複数の目的別処理が行われることによって得られた複数処理画像を含み、
前記プロセッサは、前記複数処理画像と前記第２画像とを前記割合で合成する
請求項６から請求項３０の何れか一項に記載の画像処理装置。
前記第１画像は、前記処理対象画像に対して前記複数の目的別処理が行われることによって得られた複数処理画像を含み、
前記プロセッサは、前記複数処理画像と前記第２画像とを前記割合で合成する
請求項６から請求項３０の何れか一項に記載の画像処理装置。
【請求項32】
前記複数の目的別処理は、前記処理対象画像に与える影響の度合いに基づく順番で行われる
請求項３１に記載の画像処理装置。
請求項３１に記載の画像処理装置。
【請求項33】
前記複数の目的別処理は、前記影響の度合いが小さい目的別処理から大きい目的別処理にかけて段階的に行われる
請求項３２に記載の画像処理装置。
請求項３２に記載の画像処理装置。
【請求項34】
前記割合は、前記処理対象画像と前記第１画像との違い、及び／又は、前記第１画像と前記第２画像との違い基づいて定められる
請求項６から請求項３３の何れか一項に記載の画像処理装置。
請求項６から請求項３３の何れか一項に記載の画像処理装置。
【請求項35】
前記プロセッサは、前記処理対象画像に関連する関連情報に応じて前記割合を調整する
請求項６から請求項３４の何れか一項に記載の画像処理装置。
請求項６から請求項３４の何れか一項に記載の画像処理装置。
【請求項36】
請求項１から請求項３５の何れか一項に記載の画像処理装置と、
イメージセンサと、を備え、
前記処理対象画像は、前記イメージセンサによって撮像が行われることで得られた画像である
撮像装置。
イメージセンサと、を備え、
前記処理対象画像は、前記イメージセンサによって撮像が行われることで得られた画像である
撮像装置。
【請求項37】
処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整すること、を含む
画像処理方法。
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整すること、を含む
画像処理方法。
【請求項38】
処理対象画像に対して第１ＡＩ処理が行われることによって前記処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整すること、を含む
画像処理方法。
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整すること、を含む
画像処理方法。
【請求項39】
コンピュータに、
処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整すること、を含む処理を実行させるためのプログラム。
処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより、前記第１ＡＩ処理の過不足を調整すること、を含む処理を実行させるためのプログラム。
【請求項40】
コンピュータに、
処理対象画像に対して第１ＡＩ処理が行われることによって前記処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整すること、を含む処理を実行させるためのプログラム。
処理対象画像に対して第１ＡＩ処理が行われることによって前記処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び前記処理対象画像に対して前記第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、
前記第１画像と前記第２画像とを合成することにより前記非ノイズ要素を調整すること、を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、入力層、出力層、及び入力層と出力層との間に設けられる中間層を有するニューラルネットワークを用いて、入力層に入力される入力画像に対して処理を行う処理部と、中間層に含まれる１以上のノードの少なくとも１つの内部パラメータであって、学習によって算出される内部パラメータを、学習の後に処理を行うとき、入力画像に関連するデータに基づいて調整する調整部と、を備える画像処理システムが開示されている。
【0003】
また、特許文献１に記載の画像処理システムにおいて、入力画像は、ノイズを含む画像であり、入力画像は、処理部が行う処理により、入力画像からノイズを除去、又は低減される。
【0004】
また、特許文献１に記載の画像処理システムにおいて、ニューラルネットワークは、第１のニューラルネットワークと、第２のニューラルネットワークと、入力画像を高周波成分画像と低周波成分画像とに分割し、高周波成分画像を第１のニューラルネットワークに入力する一方、低周波成分画像を第２のニューラルネットワークに入力する分割ユニットと、第１のニューラルネットワークから出力される第１の出力画像と、第２のニューラルネットワークから出力される第２の出力画像とを合成する合成ユニットと、を有し、調整部は、第１のニューラルネットワークの内部パラメータを入力画像に関連するデータに基づいて調整する一方、第２のニューラルネットワークの内部パラメータは調整しない。
【0005】
更に、特許文献１には、ニューラルネットワークを用いて、ノイズが低減された出力画像を入力画像から生成する処理部と、ニューラルネットワークの内部パラメータを、入力画像の撮像条件に応じて調整する調整部と、を備える画像処理システムが開示されている。
【0006】
特許文献２には、被検者の所定部位の医用画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、第１の画像の少なくとも一部の領域に関する情報を用いて得た割合により第１の画像と第２画像とを合成して得た合成画像を表示部に表示させる表示制御部と、を備える医用画像処理装置が開示されている。
【0007】
特許文献３には、少なくとも１つの命令語を保存するメモリと、メモリと電気的に接続され、命令語を実行することで、入力イメージから入力イメージの品質を示すノイズマップを獲得し、入力イメージ及びノイズマップを複数のレイヤを含む学習ネットワークモデルに適用し、入力イメージの品質の改善された出力イメージを獲得するプロセッサと、を含み、プロセッサは、複数のレイヤのうち少なくとも一つの中間レイヤにノイズマップを提供し、学習ネットワークモデルは、複数のサンプルイメージ、各サンプルイメージに対するノイズマップ及び各サンプルイメージに対する原本イメージの関係を人工知能アルゴリズムを通じて学習して獲得された学習済み人口知能モデルである電子装置が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１８－２０６３８２号公報
【特許文献2】特開２０２０－１６６８１４号公報
【特許文献3】特開２０２０－１８４３００号公報
【発明の概要】
【0009】
本開示の技術に係る一つの実施形態は、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像よりも、第１ＡＩ処理の影響が目立たない画像を得ることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0010】
本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得し、第１画像と第２画像とを合成することにより、第１ＡＩ処理の過不足を調整する画像処理装置である。
【0011】
本開示の技術に係る第２の態様は、第２画像が、ニューラルネットワークを用いない非ＡＩ方式の処理が処理対象画像に行われることによって得られた画像である、第１の態様に係る画像処理装置である。
【0012】
本開示の技術に係る第３の態様は、プロセッサを備え、プロセッサが、処理対象画像に対して第１ＡＩ処理が行われることによって処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得し、第１画像と第２画像とを合成することにより非ノイズ要素を調整する画像処理装置である。
【0013】
本開示の技術に係る第４の態様は、第２画像が、ニューラルネットワークを用いない非ＡＩ方式の処理が処理対象画像に行われることによって非ノイズ要素が調整された画像である、第３の態様に係る画像処理装置である。
【0014】
本開示の技術に係る第５の態様は、第２画像が、非ノイズ要素が調整されていない画像である、第３の態様に係る画像処理装置である。
【0015】
本開示の技術に係る第６の態様は、プロセッサが、第１画像と第２画像とを、第１ＡＩ処理の過不足を調整する割合で合成する第１の態様から第５の態様の何れか１つの態様に係る画像処理装置である。
【0016】
本開示の技術に係る第７の態様は、処理対象画像が、撮像装置によって撮像が行われることで得られた画像であり、第１ＡＩ処理が、撮像装置の特性に起因して処理対象画像に現れる現象をＡＩ方式で補正する第１補正処理を含み、第１画像が、第１補正処理が行われることによって得られた第１補正画像を含み、プロセッサが、第１補正画像と第２画像とを割合で合成することにより、第１補正処理に由来する要素を調整する第６の態様に係る画像処理装置である。
【0017】
本開示の技術に係る第８の態様は、プロセッサが、現象を非ＡＩ方式で補正する第２補正処理を行い、第２画像が、第２補正処理が行われることによって得られた第２補正画像を含み、プロセッサが、第１補正画像と第２補正画像とを割合で合成することにより、第１補正処理に由来する要素を調整する第７の態様に係る画像処理装置である。
【0018】
本開示の技術に係る第９の態様は、特性には、撮像装置の光学特性が含まれる第６の態様又は第８の態様に係る画像処理装置である。
【0019】
本開示の技術に係る第１０の態様は、第１ＡＩ処理が、処理対象画像から与えられる視覚的な印象を司る因子をＡＩ方式で変更する第１変更処理を含み、第１画像が、第１変更処理が行われることによって得られた第１変更画像を含み、プロセッサが、第１変更画像と第２画像とを割合で合成することにより、第１変更処理に由来する要素を調整する第６の態様から第９の態様の何れか１つの態様に係る画像処理装置である。
【0020】
本開示の技術に係る第１１の態様は、プロセッサが、因子を非ＡＩ方式で変更する第２変更処理を行い、第２画像が、第２変更処理が行われることによって得られた第２変更画像を含み、プロセッサが、第１変更画像と第２変更画像とを割合で合成することにより、第１変更処理に由来する要素を調整する第１０の態様に係る画像処理装置である。
【0021】
本開示の技術に係る第１２の態様は、因子には、明瞭度、色、階調、解像度、ぼけ、エッジ領域の強調度、画風、及び／又は、肌に関する画質が含まれる第１０の態様又は第１１の態様に係る画像処理装置である。
【0022】
本開示の技術に係る第１３の態様は、処理対象画像が、撮像装置のレンズによって受光面に結像された被写体光が撮像装置によって撮像されることで得られた撮像画像であり、第１画像が、撮像画像のうちのレンズの収差が反映された領域をＡＩ方式で補正する収差領域補正処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１収差補正画像を含み、第２画像が、撮像画像のうちのレンズの収差が反映された領域を非ＡＩ方式で補正する処理が行われることによって得られた第２収差補正画像を含み、プロセッサが、第１収差補正画像と第２収差補正画像とを割合で合成することにより、収差領域補正処理に由来する要素を調整する第６の態様から第１２の態様の何れか１つの態様に係る画像処理装置である。
【0023】
本開示の技術に係る第１４の態様は、第１画像が、処理対象画像に対して第１領域と第１領域と異なる領域である第２領域とをＡＩ方式で弁別可能に彩色する彩色処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１彩色画像を含み、第２画像が、非ＡＩ方式で処理対象画像の色を変更する処理が行われることによって得られた第２彩色画像を含み、プロセッサが、第１彩色画像と第２彩色画像とを割合で合成することにより、彩色処理に由来する要素を調整する第６の態様から第１３の態様の何れか１つの態様に係る画像処理装置である。
【0024】
本開示の技術に係る第１５の態様は、第２彩色画像が、処理対象画像に対して第１領域と第２領域とを非ＡＩ方式で弁別可能に彩色する処理が行われることによって得られた画像である、第１４の態様に係る画像処理装置である。
【0025】
本開示の技術に係る第１６の態様は、処理対象画像が、第１被写体が撮像されることによって得られた画像であり、第１領域が、処理対象画像内のうちの第１被写体に含まれる特定被写体が写っている領域である、第１４の態様又は第１５の態様に係る画像処理装置である。
【0026】
本開示の技術に係る第１７の態様は、第１画像が、ＡＩ方式で処理対象画像のコントラストを調整する第１コントラスト調整処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１コントラスト調整画像を含み、第２画像が、非ＡＩ方式で処理対象画像のコントラストを調整する第２コントラスト調整処理が行われることによって得られた第２コントラスト調整画像を含み、プロセッサが、第１コントラスト調整画像と第２コントラスト調整画像とを割合で合成することにより、第１コントラスト調整処理に由来する要素を調整する第６の態様から第１６の態様の何れか１つの態様に係る画像処理装置である。
【0027】
本開示の技術に係る第１８の態様は、処理対象画像が、第２被写体が撮像されることによって得られた画像であり、第１コントラスト調整処理が、ＡＩ方式で処理対象画像に対して第２被写体に応じてコントラストを調整する第３コントラスト調整処理を含み、第２コントラスト調整処理が、非ＡＩ方式で処理対象画像に対して第２被写体に応じてコントラストを調整する第４コントラスト調整処理を含み、第１画像が、第３コントラスト調整処理が行われることによって得られた第３コントラスト画像を含み、第２画像が、第４コントラスト調整処理が行われることによって得られた第４コントラスト画像を含み、プロセッサが、第３コントラスト画像と第４コントラスト画像とを割合で合成することにより、第３コントラスト調整処理に由来する要素を調整する第１７の態様に係る画像処理装置である。
【0028】
本開示の技術に係る第１９の態様は、第１コントラスト調整処理が、処理対象画像に含まれる中心画素と中心画素の周囲に隣接する複数の隣接画素とのコントラストをＡＩ方式で調整する第５コントラスト調整処理を含み、第２コントラスト調整処理が、中心画素と複数の隣接画素とのコントラストを非ＡＩ方式で調整する第６コントラスト調整処理を含み、第１画像が、第５コントラスト調整処理が行われることによって得られた第５コントラスト画像を含み、第２画像が、第６コントラスト調整処理が行われることによって得られた第６コントラスト画像を含み、プロセッサが、第５コントラスト画像と第６コントラスト画像とを割合で合成することにより、第５コントラスト調整処理に由来する要素を調整する第１７の態様又は第１８の態様に係る画像処理装置である。
【0029】
本開示の技術に係る第２０の態様は、第１画像が、ＡＩ方式で処理対象画像の解像度を調整する第１解像度調整処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１解像度調整画像を含み、第２画像が、非ＡＩ方式で解像度を調整する第２解像度調整処理が行われることによって得られた第２解像度調整画像を含み、プロセッサが、第１解像度調整画像と第２解像度調整画像とを割合で合成することにより、第１解像度調整処理に由来する要素を調整する第６の態様から第１９の態様の何れか１つの態様に係る画像処理装置である。
【0030】
本開示の技術に係る第２１の態様は、第１解像度調整処理が、ＡＩ方式で処理対象画像を超解像度化する処理であり、第２解像度調整処理が、非ＡＩ方式で処理対象画像を超解像度化する処理である、第２０の態様に係る画像処理装置である。
【0031】
本開示の技術に係る第２２の態様は、第１画像が、ＡＩ方式で処理対象画像のダイナミックレンジを拡げる拡張処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１ハイダイナミックレンジ画像を含み、第２画像が、非ＡＩ方式で処理対象画像のダイナミックレンジを拡げる処理が行われることによって得られた第２ハイダイナミックレンジ画像を含み、プロセッサが、第１ハイダイナミックレンジ画像と第２ハイダイナミックレンジ画像とを割合で合成することにより、拡張処理に由来する要素を調整する第６の態様から第２１の態様の何れか１つの態様に係る画像処理装置である。
【0032】
本開示の技術に係る第２３の態様は、第１画像が、ＡＩ方式で処理対象画像内のエッジ領域をエッジ領域と異なる領域である非エッジ領域よりも強調する強調処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１エッジ強調画像を含み、第２画像が、非ＡＩ方式でエッジ領域を非エッジ領域よりも強調する処理が行われることによって得られた第２エッジ強調画像を含み、プロセッサが、第１エッジ強調画像と第２エッジ強調画像とを割合で合成することにより、強調処理に由来する要素を調整する第６の態様から第２２の態様の何れか１つの態様に係る画像処理装置である。
【0033】
本開示の技術に係る第２４の態様は、第１画像が、ＡＩ方式で処理対象画像に対して点像のぼけ量を調整する点像調整処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１点像調整画像を含み、第２画像が、非ＡＩ方式でぼけ量を調整する処理が行われることによって得られた第２点像調整画像を含み、プロセッサが、第１点像調整画像と第２点像調整画像とを割合で合成することにより、点像調整処理に由来する要素を調整する第６の態様から第２３の態様の何れか１つの態様に係る画像処理装置である。
【0034】
本開示の技術に係る第２５の態様は、処理対象画像が、第３被写体が撮像されることによって得られた画像であり、第１画像が、ＡＩ方式で処理対象画像に対して第３被写体に応じたぼけを付与する暈し処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１暈し画像を含み、第２画像が、非ＡＩ方式で処理対象画像に対してぼけを付与する処理が行われることによって得られた第２暈し画像を含み、プロセッサが、第１暈し画像と第２暈し画像とを割合で合成することにより、暈し処理に由来する要素を調整する第６の態様から第２４の態様の何れか１つの態様に係る画像処理装置である。
【0035】
本開示の技術に係る第２６の態様は、第１画像が、ＡＩ方式で処理対象画像に対して第１玉ぼけを付与する玉ぼけ処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１玉ぼけ画像を含み、第２画像が、非ＡＩ方式で処理対象画像から第１玉ぼけを調節するか、又は、非ＡＩ方式で処理対象画像に対して第２玉ぼけを付与する処理が行われることによって得られた第２玉ぼけ画像を含み、プロセッサが、第１玉ぼけ画像と第２玉ぼけ画像とを割合で合成することにより、玉ぼけ処理に由来する要素を調整する第６の態様から第２５の態様の何れか１つの態様に係る画像処理装置である。
【0036】
本開示の技術に係る第２７の態様は、第１画像が、ＡＩ方式で処理対象画像の階調を調整する第１階調調整処理が第１ＡＩ処理に含まれる処理として行われることによって得られた第１階調調整画像を含み、第２画像が、非ＡＩ方式で処理対象画像の階調を調整する第２階調調整処理が行われることによって得られた第２階調調整画像を含み、プロセッサが、第１階調調整画像と第２階調調整画像とを割合で合成することにより、第１階調調整処理に由来する要素を調整する第６の態様から第２６の態様の何れか１つの態様に係る画像処理装置である。
【0037】
本開示の技術に係る第２８の態様は、処理対象画像が、第４被写体が撮像されることによって得られた画像であり、第１階調調整処理が、ＡＩ方式で処理対象画像の階調を第４被写体に応じて調整する処理であり、第２階調調整処理が、非ＡＩ方式で処理対象画像の階調を第４被写体に応じて調整する処理である、第２７の態様に係る画像処理装置である。
【0038】
本開示の技術に係る第２９の態様は、第１画像が、ＡＩ方式で処理対象画像の画風を変更する画風変更処理が第１ＡＩ処理に含まれる処理として行われることによって得られた画風変更画像を含み、プロセッサが、画風変更画像と第２画像とを割合で合成することにより、画風変更処理に由来する要素を調整する第６の態様から第２８の態様の何れか１つの態様に係る画像処理装置である。
【0039】
本開示の技術に係る第３０の態様は、処理対象画像が、肌が撮像されることによって得られた画像であり、第１画像が、処理対象画像に写っている肌に関する画質をＡＩ方式で調整する肌画質調整処理が第１ＡＩ処理に含まれる処理として行われることによって得られた肌画質調整画像を含み、プロセッサが、肌画質調整画像と第２画像とを割合で合成することにより、肌画質調整処理に由来する要素を調整する第６の態様から第２９の態様の何れか１つの態様に係る画像処理装置である。
【0040】
本開示の技術に係る第３１の態様は、第１ＡＩ処理が、ＡＩ方式で行われる複数の目的別処理を含み、第１画像が、処理対象画像に対して複数の目的別処理が行われることによって得られた複数処理画像を含み、プロセッサが、複数処理画像と第２画像とを割合で合成する第６の態様から第３０の態様の何れか１つの態様に係る画像処理装置である。
【0041】
本開示の技術に係る第３２の態様は、複数の目的別処理が、処理対象画像に与える影響の度合いに基づく順番で行われる第３１の態様に係る画像処理装置である。
【0042】
本開示の技術に係る第３３の態様は、複数の目的別処理が、影響の度合いが小さい目的別処理から大きい目的別処理にかけて段階的に行われる第３２の態様に係る画像処理装置である。
【0043】
本開示の技術に係る第３４の態様は、割合が、処理対象画像と第１画像との違い、及び／又は、第１画像と第２画像との違い基づいて定められる第５の態様から第３２の態様の何れか１つの態様に係る画像処理装置である。
【0044】
本開示の技術に係る第３５の態様は、プロセッサが、処理対象画像に関連する関連情報に応じて割合を調整する第６の態様から第３４の態様の何れか１つの態様に係る画像処理装置である。
【0045】
本開示の技術に係る第３６の態様は、第１の態様から第３４の態様の何れか１つの態様に係る画像処理装置と、イメージセンサと、を備え、処理対象画像が、イメージセンサによって撮像が行われることで得られた画像である、撮像装置である。
【0046】
本開示の技術に係る第３７の態様は、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、第１画像と第２画像とを合成することにより、第１ＡＩ処理の過不足を調整すること、を含む画像処理方法である。
【0047】
本開示の技術に係る第３８の態様は、処理対象画像に対して第１ＡＩ処理が行われることによって処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、第１画像と第２画像とを合成することにより非ノイズ要素を調整すること、を含む画像処理方法である。
【0048】
本開示の技術に係る第３９の態様は、コンピュータに、処理対象画像に対して第１ＡＩ処理が行われることによって得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、第１画像と第２画像とを合成することにより、第１ＡＩ処理の過不足を調整すること、を含む処理を実行させるためのプログラムである。
【0049】
本開示の技術に係る第４０の態様は、コンピュータに、処理対象画像に対して第１ＡＩ処理が行われることによって処理対象画像の非ノイズ要素が調整されることで得られた第１画像、及び処理対象画像に対して第１ＡＩ処理が行われずに得られた第２画像を取得すること、並びに、第１画像と第２画像とを合成することにより非ノイズ要素を調整すること、を含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0050】
【図1】撮像装置の全体の構成の一例を示す概略構成図である。
【図2】撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。
【図3】画像処理エンジンの機能の一例を示すブロック図である。
【図4】ＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図5】画像調整部及び合成部の処理内容の一例を示す概念図である。
【図6】画像合成処理の流れの一例を示すフローチャートである。
【図7】第１変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図8】第１変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図9】第１変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図10】非ＡＩ方式処理部が非ＡＩ方式で人物領域と背景領域とを弁別可能に彩色する処理内容の一例を示す概念図である。
【図11】第２変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図12】第２変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図13】第２変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図14】第１明瞭度処理及び第２明瞭度処理の内容の一例を示す概念図である。
【図15】プロセッサが被写体に応じてコントラストを調整する処理内容の一例を示す概念図である。
【図16】第３変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図17】第３変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図18】第３変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図19】第４変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図20】第４変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図21】第４変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図22】第５変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図23】第５変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図24】第５変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図25】第６変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図26】第６変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図27】第６変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図28】第７変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図29】第７変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図30】第７変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図31】第８変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図32】第８変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図33】第８変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図34】非ＡＩ方式処理部がＡＩ方式で生成された第１玉ぼけをフィルタリングすることで第２玉ぼけを生成する処理内容の第１例を示す概念図である。
【図35】非ＡＩ方式処理部がＡＩ方式で生成された第１玉ぼけをフィルタリングすることで第２玉ぼけを生成する処理内容の第２例を示す概念図である。
【図36】第９変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図37】第９変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図38】第９変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図39】第１０変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図40】第１０変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図41】第１０変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図42】第１１変形例に係るＡＩ方式処理部及び非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図43】第１１変形例に係る画像調整部及び合成部の処理内容の一例を示す概念図である。
【図44】第１１変形例に係る画像合成処理の流れの一例を示すフローチャートである。
【図45】ＡＩ方式処理部がＡＩ方式で複数の目的別処理を行う場合の態様例を示す概念図である。
【図46】プロセッサが処理対象画像と第１画像との差分に応じて割合が導出する処理内容の一例を示す概念図である。
【図47】プロセッサが第１画像と第２画像との差分に応じて割合が導出する処理内容の一例を示す概念図である。
【図48】プロセッサが関連情報に基づいて割合を調整する処理内容の一例を示す概念図である。
【図49】撮像システムの構成の一例を示す概念図である。
【発明を実施するための形態】
【0051】
以下、添付図面に従って本開示の技術に係る画像処理装置、撮像装置、画像処理方法、及びプログラムの実施形態の一例について説明する。
【0052】
先ず、以下の説明で使用される文言について説明する。
【0053】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＦＩＲとは、“Finite Impulse Response”の略称を指す。ＩＩＲとは、“Infinite Impulse Response”の略称を指す。ＶＡＥとは、“Variational Auto-Encoder”の略称を指す。ＧＡＮとは、“Generative Adversarial Network”の略称を指す。ＦＩＲとは、“Finite Impulse Response”の略称を指す。
【0054】
本実施形態において、ノイズとは、撮像装置による撮像に起因して生じるノイズ（例えば、撮像されることによって得られた画像（すなわち、電子像）に現れる電気的なノイズ）を指す。換言すると、ノイズとは、不可避的に生じる電気的なノイズ（例えば、電気的な要因によって不可避的に生じるノイズ）を指す。ノイズの具体例としては、アナログゲインの増加に伴って生じるノイズ、暗電流ノイズ、画素欠陥、及び／又はヒートノイズ等が挙げられる。また、以下では、撮像されることによって得られた画像に現れるノイズ以外の要素（すなわち、ノイズ以外で画像を表現する要素）を「非ノイズ要素」と称する。
【0055】
一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、画像処理エンジン１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例である。交換レンズ１８は、本開示の技術に係る「レンズ」の一例である。画像処理エンジン１２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。
【0056】
画像処理エンジン１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合にユーザ等によって操作される。
【0057】
図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に内蔵されるデジタルカメラであってもよい。
【0058】
撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、被写体を撮像することで、画像を示す画像データを生成して出力する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、画像データがイメージセンサ２０によって生成される。
【0059】
本実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
【0060】
撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。
【0061】
レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。
【0062】
撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。
【0063】
タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図２も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。
【0064】
ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。
【0065】
ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。
【0066】
タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。
【0067】
本実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0068】
指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。
【0069】
一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、受光面７２Ａを有しており、受光面７２Ａには、交換レンズ１８を介して被写体光が結像される。受光面７２Ａは、本開示の技術に係る「受光面」の一例である。光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている（図１も参照）。光電変換素子７２は、マトリクス状に配置された複数の感光画素を有しており、受光面７２Ａは、複数の感光画素によって形成されている。各感光画素は、マイクロレンズ（図示省略）を有する。各感光画素は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
【0070】
また、複数の感光画素には、赤（Ｒ）、緑（Ｇ）、又は青（Ｂ）のカラーフィルタ（図示省略）が既定のパターン配列（例えば、ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）でマトリクス状に配置されている。なお、以下では、説明の便宜上、マイクロレンズ及びＲのカラーフィルタを有する感光画素をＲ画素と称し、マイクロレンズ及びＧのカラーフィルタを有する感光画素をＧ画素と称し、マイクロレンズ及びＢのカラーフィルタを有する感光画素をＢ画素と称する。
【0071】
交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（すなわち、物体側）から撮像装置本体１６側（すなわち、像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。
【0072】
また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。
【0073】
なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
【0074】
第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。
【0075】
第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。
【0076】
第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。
【0077】
フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。
【0078】
撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。
【0079】
ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。
【0080】
撮像装置本体１６は、画像処理エンジン１２、イメージセンサ２０、システムコントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２、及びＡ／Ｄ変換器７４を備えている。
【0081】
入出力インタフェース７０には、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。
【0082】
システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭには、非一時的記憶媒体であり、各種パラメータ及び各種プログラムが記憶されている。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図２に示す例では、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。
【0083】
画像処理エンジン１２は、システムコントローラ４４の制御下で動作する。画像処理エンジン１２は、プロセッサ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ここで、プロセッサ６２は、本開示の技術に係る「プロセッサ」の一例である。
【0084】
プロセッサ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図２に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0085】
プロセッサ６２は、ＣＰＵ及びＧＰＵを有しており、ＧＰＵは、ＣＰＵの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ６２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、プロセッサ６２には、マルチコアＣＰＵが含まれていてもよいし、ＴＰＵが含まれていてもよい。
【0086】
ＮＶＭ６４は、非一時的記憶媒体であり、システムコントローラ４４のＮＶＭに記憶されている各種パラメータ及び各種プログラムとは異なる各種パラメータ及び各種プログラムを記憶している。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
【0087】
プロセッサ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６で実行する。プロセッサ６２は、ＲＡＭ６６上で実行するプログラムに従って各種の画像処理を行う。
【0088】
光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、プロセッサ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
【0089】
交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとしてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。
【0090】
Ａ／Ｄ変換器７４は、アナログ画像データをデジタル化することで処理対象画像７５Ａを生成する。処理対象画像７５Ａは、撮像装置１０によって撮像が行われることによって得られた撮像画像であり、本開示の技術に係る「処理対象画像」及び「撮像画像」の一例である。処理対象画像７５Ａは、Ｒ画素、Ｇ画素、及びＢ画素がモザイク状に配列された画像である。
【0091】
本実施形態において、一例として、画像処理エンジン１２のプロセッサ６２は、Ａ／Ｄ変換器７４から処理対象画像７５Ａを取得し、取得した処理対象画像７５Ａに対して各種の画像処理を行う。
【0092】
画像メモリ４６には、処理済み画像７５Ｂが記憶される。処理済み画像７５Ｂは、処理対象画像７５Ａに対してプロセッサ６２によって各種の画像処理が行われることによって得られた画像である。
【0093】
ＵＩ系デバイス４８は、ディスプレイ２８を備えており、プロセッサ６２は、ディスプレイ２８に対して各種情報を表示させる。また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。プロセッサ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。
【0094】
外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。
【0095】
通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続されている。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とシステムコントローラ４４との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、システムコントローラ４４からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してシステムコントローラ４４に出力する。
【0096】
一例として図３に示すように、撮像装置１０のＮＶＭ６４には、画像合成処理プログラム８０が記憶されている。画像合成処理プログラム８０は、本開示の技術に係る「プログラム」の一例である。
【0097】
撮像装置１０のＮＶＭ６４には、生成モデル８２Ａが記憶されている。生成モデル８２Ａの一例としては、学習済みの生成ネットワークが挙げられる。生成ネットワークの一例としては、ＧＡＮ又はＶＡＥ等が挙げられる。プロセッサ６２は、処理対象画像７５Ａ（図２参照）に対してＡＩ方式の処理を行う。ＡＩ方式の処理の一例としては、生成モデル８２Ａを用いた処理が挙げられる。以下では、説明の便宜上、生成モデル８２Ａを用いた処理については、生成モデル８２Ａが主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、生成モデル８２Ａを、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。
【0098】
撮像装置１０のＮＶＭ６４には、デジタルフィルタ８４Ａが記憶されている。デジタルフィルタ８４Ａの一例としては、ＦＩＲフィルタである。なお、ＦＩＲフィルタは、あくまでも一例に過ぎず、ＩＩＲフィルタ等の他のデジタルフィルタであってもよい。以下では、説明の便宜上、デジタルフィルタ８４Ａを用いた処理については、デジタルフィルタ８４Ａが主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、デジタルフィルタ８４Ａを、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。
【0099】
プロセッサ６２は、ＮＶＭ６４から画像合成処理プログラム８０を読み出し、読み出した画像合成処理プログラム８０をＲＡＭ６６上で実行する。プロセッサ６２は、ＲＡＭ６６上で実行する画像合成処理プログラム８０に従って画像合成処理（図６参照）を行う。画像合成処理は、プロセッサ６２が画像合成処理プログラム８０に従ってＡＩ方式処理部６２Ａ１、非ＡＩ方式処理部６２Ｂ１、画像調整部６２Ｃ１、及び合成部６２Ｄ１として動作することによって実現される。生成モデル８２Ａは、ＡＩ方式処理部６２Ａ１によって用いられ、デジタルフィルタ８４Ａは、非ＡＩ方式処理部６２Ｂ１によって用いられる。
【0100】
一例として図４に示すように、ＡＩ方式処理部６２Ａ１及び非ＡＩ方式処理部６２Ｂ１には、処理対象画像７５Ａ１が入力される。処理対象画像７５Ａ１は、図２に示す処理対象画像７５Ａの一例である。図４に示す例では、処理対象画像７５Ａ１のうちの撮像レンズ４０（図２参照）の収差（以下、単に「収差」と称する）の影響を受けた画像領域（すなわち、収差が反映された画像領域）として画像領域７５Ａ１ａが示されている。
【0101】
処理対象画像７５Ａ１は、非ノイズ要素を有する画像である。非ノイズ要素の一例として、画像領域７５Ａ１ａが挙げられる。画像領域７５Ａ１ａは、本開示の技術に係る「処理対象画像の非ノイズ要素」、「撮像装置の特性に起因して処理対象画像に現れる現象」、「ぼけ」、及び「撮像画像のうちのレンズの収差が反映された領域」の一例である。
【0102】
図４に示す例では、画像領域７５Ａ１ａの一例として、像面湾曲が反映された画像領域が示されている。また、図４に示す例では、画像領域７５Ａ１ａとして、像面湾曲に起因して処理対象画像７５Ａ１の中心から径方向の外側に沿って徐々に暗くなっている態様（すなわち、後ぼけが反映された態様）が示されている。
【0103】
なお、ここでは、処理対象画像７５Ａ１に反映される収差として、像面湾曲を挙げているが、これは、あくまでも一例に過ぎず、処理対象画像７５Ａ１に反映される収差は、球面収差、コマ収差、非点収差、歪曲収差、軸上色収差、又は倍率色収差等の他種類の収差であってもよい。収差は、本開示の技術に係る「撮像装置の特性」及び「撮像装置の光学特性」の一例である。
【0104】
ＡＩ方式処理部６２Ａ１は、処理対象画像７５Ａ１に対してＡＩ方式の処理を行う。処理対象画像７５Ａ１に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ１を用いた処理が挙げられる。生成モデル８２Ａ１は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ１は、収差（ここでは、一例として、像面湾曲）の影響を低減させる学習が既に行われた生成ネットワークである。ＡＩ方式処理部６２Ａ１は、処理対象画像７５Ａ１に対して生成モデル８２Ａ１を用いた処理を行うことで第１収差補正画像８６Ａ１を生成する。換言すると、ＡＩ方式処理部６２Ａ１は、ＡＩ方式で処理対象画像７５Ａ１内の非ノイズ要素（ここでは、一例として、画像領域７５Ａ１ａ）を調整することにより第１収差補正画像８６Ａ１を生成する。更に換言すると、ＡＩ方式処理部６２Ａ１は、ＡＩ方式で処理対象画像７５Ａ１内の画像領域７５Ａ１ａ（すなわち、収差が反映された領域）を補正することにより第１収差補正画像８６Ａ１を生成する。ここで、生成モデル８２Ａ１を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１補正処理」、及び「第１収差領域補正処理」の一例である。また、ここで、「第１収差補正画像８６Ａ１を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0105】
生成モデル８２Ａ１には、処理対象画像７５Ａ１が入力される。生成モデル８２Ａ１は、入力された処理対象画像７５Ａ１に基づいて第１収差補正画像８６Ａ１を生成して出力する。第１収差補正画像８６Ａ１は、生成モデル８２Ａ１によって非ノイズ要素が調整されることで得られた画像（すなわち、処理対象画像７５Ａ１に対する生成モデル８２Ａ１を用いた処理によって非ノイズ要素が調整されることで得られた画像）である。換言すると、第１収差補正画像８６Ａ１は、処理対象画像７５Ａ１内の非ノイズ要素が生成モデル８２Ａ１によって補正された画像（すなわち、処理対象画像７５Ａ１に対する生成モデル８２Ａ１を用いた処理によって非ノイズ要素が補正された画像）である。更に換言すると、第１収差補正画像８６Ａ１は、画像領域７５Ａ１ａが生成モデル８２Ａ１によって補正された画像（すなわち、処理対象画像７５Ａ１に対する生成モデル８２Ａ１を用いた処理によって収差の影響が低減されるように画像領域７５Ａ１ａが補正された画像）である。なお、第１収差補正画像８６Ａ１は、本開示の技術に係る「第１画像」、「第１補正画像」、及び「第１収差補正画像」の一例である。
【0106】
非ＡＩ方式処理部６２Ｂ１は、処理対象画像７５Ａ１に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。ここで、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ１を用いない処理が挙げられる。
【0107】
処理対象画像７５Ａ１に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ１を用いた処理が挙げられる。デジタルフィルタ８４Ａ１は、収差（ここでは、一例として、像面湾曲）の影響を低減させるように構成されたデジタルフィルタである。非ＡＩ方式処理部６２Ｂ１は、処理対象画像７５Ａ１に対してデジタルフィルタ８４Ａ１を用いた処理（すなわち、フィルタリング）を行うことで第２収差補正画像８８Ａ１を生成する。換言すると、非ＡＩ方式処理部６２Ｂ１は、非ＡＩ方式で処理対象画像７５Ａ１内の非ノイズ要素（ここでは、一例として、画像領域７５Ａ１ａ）を調整することにより第２収差補正画像８８Ａ１を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ１は、非ＡＩ方式で処理対象画像７５Ａ１内の画像領域７５Ａ１ａ（すなわち、収差が反映された領域）を補正することにより第２収差補正画像８８Ａ１を生成する。ここで、デジタルフィルタ８４Ａ１を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、「第２補正処理」、及び「非ＡＩ方式で補正する処理」の一例である。また、ここで、「第２収差補正画像８８Ａ１を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0108】
デジタルフィルタ８４Ａ１には、処理対象画像７５Ａ１が入力される。デジタルフィルタ８４Ａ１は、入力された処理対象画像７５Ａ１に基づいて第２収差補正画像８８Ａ１を生成する。第２収差補正画像８８Ａ１は、デジタルフィルタ８４Ａ１によって非ノイズ要素が調整されることで得られた画像（すなわち、処理対象画像７５Ａ１に対するデジタルフィルタ８４Ａ１を用いた処理によって非ノイズ要素が調整されることで得られた画像）である。換言すると、第２収差補正画像８８Ａ１は、処理対象画像７５Ａ１内の非ノイズ要素がデジタルフィルタ８４Ａ１によって補正された画像（すなわち、処理対象画像７５Ａ１に対するデジタルフィルタ８４Ａ１を用いた処理によって非ノイズ要素が補正された画像）である。更に換言すると、第２収差補正画像８８Ａ１は、画像領域７５Ａ１ａがデジタルフィルタ８４Ａ１によって補正された画像（すなわち、処理対象画像７５Ａ１に対するデジタルフィルタ８４Ａ１を用いた処理によって収差の影響が低減されるように画像領域７５Ａ１ａが補正された画像）である。なお、第２収差補正画像８８Ａ１は、本開示の技術に係る「第２画像」、「第２補正画像」、及び「第２収差補正画像」の一例である。
【0109】
ところで、ユーザの中には、収差の影響を完全に消し去るのではなく、むしろ、収差の影響を画像内に適度に残しておくことを望むユーザが存在する。図４に示す例では、第１収差補正画像８６Ａ１は、第２収差補正画像８８Ａ１よりも、収差の影響が低減されている。換言すると、第２収差補正画像８８Ａ１には、第１収差補正画像８６Ａ１よりも収差の影響が残されている。しかし、ユーザにとっては、第１収差補正画像８６Ａ１内の収差の影響は無さ過ぎるように感じ、第２収差補正画像８８Ａ１内の収差の影響は有り過ぎるように感じることがある。そのため、第１収差補正画像８６Ａ１及び第２収差補正画像８８Ａ１の一方のみが最終的に出力されると、ユーザの好みに合わない画像がユーザに提供されてしまうことになる。生成モデル８２Ａ１に対する学習量を増やしたり、生成モデル８２Ａ１の中間層数を増やしたりすることによって生成モデル８２Ａ１の高性能化を図れば、ユーザの好みに近い画像が得られる可能性が高まる。しかし、生成モデル８２Ａ１の作成に要するコストが嵩み、結果的に、撮像装置１０の高価格化に繋がる虞がある。
【0110】
そこで、このような事情に鑑み、撮像装置１０では、一例として図５に示すように、第１収差補正画像８６Ａ１及び第２収差補正画像８８Ａ１に対して画像調整部６２Ｃ１の処理及び合成部６２Ｄ１の処理が行われることによって、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが合成される。
【0111】
一例として図５に示すように、ＮＶＭ６４には、割合９０Ａが記憶されている。割合９０Ａは、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とを合成させる割合であり、ＡＩ方式処理部６２Ａ１によるＡＩ方式の処理（すなわち、生成モデル８２Ａ１を用いた処理）の過不足を調整するように定められている。
【0112】
割合９０Ａは、第１割合９０Ａ１と第２割合９０Ａ２とに大別される。第１割合９０Ａ１は、０以上かつ１以下の値であり、第２割合９０Ａ２は、“１”から第１割合９０Ａ１の値を減じた値である。すなわち、第１割合９０Ａ１及び第２割合９０Ａ２は、第１割合９０Ａ１と第２割合９０Ａ２との和が“１”となるように定められている。第１割合９０Ａ１及び第２割合９０Ａ２は、ユーザからの指示によって変更される可変値である。ユーザからの指示は、受付デバイス７６（図２参照）によって受け付けられる。
【0113】
画像調整部６２Ｃ１は、ＡＩ方式処理部６２Ａ１によって生成された第１収差補正画像８６Ａ１を、第１割合９０Ａ１を用いて調整する。例えば、画像調整部６２Ｃ１は、第１収差補正画像８６Ａ１の各画素の画素値に第１割合９０Ａ１を乗じることにより第１収差補正画像８６Ａ１の各画素の画素値を調整する。
【0114】
画像調整部６２Ｃ１は、非ＡＩ方式処理部６２Ｂ１によって生成された第２収差補正画像８８Ａ１を、第２割合９０Ａ２を用いて調整する。例えば、画像調整部６２Ｃ１は、第２収差補正画像８８Ａ１の各画素の画素値に第２割合９０Ａ２を乗じることにより第２収差補正画像８８Ａ１の各画素の画素値を調整する。
【0115】
合成部６２Ｄ１は、画像調整部６２Ｃ１によって第１割合９０Ａ１で調整された第１収差補正画像８６Ａ１と画像調整部６２Ｃ１によって第２割合９０Ａ２で調整された第２収差補正画像８８Ａ１とを合成することで合成画像９２Ａを生成する。すなわち、合成部６２Ｄ１は、第１割合９０Ａ１で調整された第１収差補正画像８６Ａ１と第２割合９０Ａ２で調整された第２収差補正画像８８Ａ１とを合成することにより、ＡＩ方式処理部６２Ａ１によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ１は、第１割合９０Ａ１で調整された第１収差補正画像８６Ａ１と第２割合９０Ａ２で調整された第２収差補正画像８８Ａ１とを合成することにより非ノイズ要素（ここでは、一例として、画像領域７５Ａ１ａ）を調整する。更に換言すると、合成部６２Ｄ１は、第１割合９０Ａ１で調整された第１収差補正画像８６Ａ１と第２割合９０Ａ２で調整された第２収差補正画像８８Ａ１とを合成することにより、生成モデル８２Ａ１を用いた処理に由来する要素（例えば、生成モデル８２Ａ１によって収差の影響が低減された画素の画素値）を調整する。
【0116】
合成部６２Ｄ１によって行われる合成は、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１との間での対応する画素位置の画素値の加算である。ここで、加算とは、例えば、単純加算を指す。図５に示す例では、合成画像９２Ａの一例として、第１割合９０Ａ１の値及び第２割合９０Ａ２の値が共に“０．５”である場合に第１画像８６Ａと第２収差補正画像８８Ａ１とが合成された画像が示されている。この場合、第１収差補正画像８６Ａ１の影響（すなわち、生成モデル８２Ａ１を用いた処理の影響）と第２収差補正画像８８Ａ１の影響（すなわち、デジタルフィルタ８４Ａ１を用いた処理の影響）とが半分ずつ合成画像９２Ａに反映される。
【0117】
第１割合９０Ａ１を第２割合９０Ａ２よりも大きくすれば、第１収差補正画像８６Ａ１の影響が第２収差補正画像８８Ａ１の影響よりも大きく合成画像９２Ａに反映される。逆に、第２割合９０Ａ２を第１割合９０Ａ１よりも大きくすれば、第２収差補正画像８８Ａ１の影響が第１収差補正画像８６Ａ１の影響よりも大きく合成画像９２Ａに反映される。
【0118】
合成部６２Ｄ１は、合成画像９２Ａに対して各種の画像処理（例えば、オフセット補正、ホワイトバランス補正、デモザイク処理、色補正、ガンマ補正、色空間変換、輝度処理、色差処理、及びリサイズ処理等の公知の画像処理）を行う。合成部６２Ｄ１は、合成画像９２Ａに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂ（図２参照）として既定の出力先（例えば、図２に示す画像メモリ４６）に出力する。
【0119】
次に、撮像装置１０の作用について図６を参照しながら説明する。図６には、プロセッサ６２によって実行される画像合成処理の流れの一例が示されている。図６に示す画像合成処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
【0120】
図６に示す画像合成処理では、先ず、ステップＳＴ１０で、ＡＩ方式処理部６２Ａ１は、イメージセンサ２０（図２参照）によって処理対象画像７５Ａ１が生成されたか否かを判定する。ステップＳＴ１０において、イメージセンサ２０によって処理対象画像７５Ａ１が生成されていない場合は、判定が否定されて、画像合成処理はステップＳＴ３２へ移行する。ステップＳＴ１０において、イメージセンサ２０によって処理対象画像７５Ａ１が生成された場合は、判定が肯定されて、画像合成処理はステップＳＴ１２へ移行する。
【0121】
ステップＳＴ１２で、ＡＩ方式処理部６２Ａ１及び非ＡＩ方式処理部６２Ｂ１は、イメージセンサ２０から処理対象画像７５Ａ１を取得する。ステップＳＴ１２の処理が実行された後、画像合成処理はステップＳＴ１４へ移行する。
【0122】
ステップＳＴ１４で、ＡＩ方式処理部６２Ａ１は、ステップＳＴ１２で取得した処理対象画像７５Ａ１を生成モデル８２Ａ１に入力する。ステップＳＴ１４の処理が実行された後、画像合成処理はステップＳＴ１６へ移行する。
【0123】
ステップＳＴ１６で、ＡＩ方式処理部６２Ａ１は、ステップＳＴ１４で処理対象画像７５Ａ１が生成モデル８２Ａ１に入力されることによって生成モデル８２Ａ１から出力された第１収差補正画像８６Ａ１を取得する。ステップＳＴ１６の処理が実行された後、画像合成処理はステップＳＴ１８へ移行する。
【0124】
ステップＳＴ１８で、非ＡＩ方式処理部６２Ｂ１は、ステップＳＴ１２で取得した処理対象画像７５Ａ１に対してデジタルフィルタ８４Ａ１を用いた処理を行うことで収差の影響（すなわち、画像領域７５Ａ１ａ）を補正する。ステップＳＴ１８の処理が実行された後、画像合成処理はステップＳＴ２０へ移行する。
【0125】
ステップＳＴ２０で、非ＡＩ方式処理部６２Ｂ１は、ステップＳＴ１８で処理対象画像７５Ａ１に対してデジタルフィルタ８４Ａ１を用いた処理が行われることによって得られた第２収差補正画像８８Ａ１を取得する。ステップＳＴ２０の処理が実行された後、画像合成処理はステップＳＴ２２へ移行する。
【0126】
ステップＳＴ２２で、画像調整部６２Ｃ１は、ＮＶＭ６４から第１割合９０Ａ１及び第２割合９０Ａ２を取得する。ステップＳＴ２２の処理が実行された後、画像合成処理はステップＳＴ２４へ移行する。
【0127】
ステップＳＴ２４で、画像調整部６２Ｃ１は、ステップＳＴ２２で取得した第１割合９０Ａ１を用いて第１収差補正画像８６Ａ１を調整する。ステップＳＴ２４の処理が実行された後、画像合成処理はステップＳＴ２６へ移行する。
【0128】
ステップＳＴ２６で、画像調整部６２Ｃ１は、ステップＳＴ２２で取得した第２割合９０Ａ２を用いて第２収差補正画像８８Ａ１を調整する。ステップＳＴ２６の処理が実行された後、画像合成処理はステップＳＴ２８へ移行する。
【0129】
ステップＳＴ２８で、合成部６２Ｄ１は、ステップＳＴ２４で調整された第１収差補正画像８６Ａ１とステップＳＴ２６で調整された第２収差補正画像８８Ａ１とを合成することにより、ＡＩ方式処理部６２Ａ１によるＡＩ方式の処理の過不足を調整する。ステップＳＴ２４で調整された第１収差補正画像８６Ａ１とステップＳＴ２６で調整された第２収差補正画像８８Ａ１とが合成されることによって合成画像９２Ａが生成される。ステップＳＴ２８の処理が実行された後、画像合成処理はステップＳＴ３０へ移行する。
【0130】
ステップＳＴ３０で、合成部６２Ｄ１は、合成画像９２Ａに対して各種の画像処理を行う。そして、合成部６２Ｄ１は、合成画像９２Ａに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ３０の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0131】
ステップＳＴ３２で、合成部６２Ｄ１は、画像合成処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としては、画像合成処理を終了させる指示が受付デバイス７６によって受け付けられた、との条件等が挙げられる。ステップＳＴ３２において、終了条件を満足していない場合は、判定が否定されて、画像合成処理はステップＳＴ１０へ移行する。ステップＳＴ３２において、終了条件を満足した場合は、判定が肯定されて、画像合成処理が終了する。
【0132】
以上説明したように、撮像装置１０では、収差の影響が反映された画像領域７５Ａ１ａを有する画像として処理対象画像７５Ａ１がＡＩ方式処理部６２Ａ１及び非ＡＩ方式処理部６２Ｂ１によって取得される。処理対象画像７５Ａ１に対しては、ＡＩ方式処理部６２Ａ１によってＡＩ方式の処理（すなわち、生成モデル８２Ａ１を用いた処理）が行われる。これにより、第１収差補正画像８６Ａ１が生成される。また、処理対象画像７５Ａ１に対しては、非ＡＩ方式処理部６２Ｂ１によって非ＡＩ方式の処理（すなわち、デジタルフィルタ８４Ａ１を用いた処理）が行われる。これにより、第２収差補正画像８８Ａ１が生成される。
【0133】
ところで、仮に、ユーザに対して最終的に提供する画像として第１収差補正画像８６Ａ１をそのまま用いた場合、生成モデル８２Ａ１を用いた処理の影響が目立つため、ユーザの好みに合わない可能性がある。そこで、撮像装置１０では、第１収差補正画像８６Ａ１及び第２収差補正画像８８Ａ１が割合９０Ａによって調整される。すなわち、第１収差補正画像８６Ａ１に対しては第１割合９０Ａ１を用いた調整が行われ、第２収差補正画像８８Ａ１に対しては第２割合９０Ａ２を用いた調整が行われる。そして、第１割合９０Ａ１を用いた調整が行われた第１収差補正画像８６Ａ１と第２割合９０Ａ２を用いた調整が行われた第２収差補正画像８８Ａ１とが合成される。これにより、第１収差補正画像８６Ａ１よりも、生成モデル８２Ａ１を用いた処理の影響（すなわち、生成モデル８２Ａ１を用いた処理によって非ノイズ要素が調整された影響）が目立たない画像（すなわち、合成画像９２Ａ）を得ることができる。
【0134】
本実施形態において、第２収差補正画像８８Ａ１は、処理対象画像７５Ａ１に対してデジタルフィルタ８４Ａ１を用いた処理が行われることによって得られた画像であり、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが合成されることによって合成画像９２Ａが生成される。これにより、合成画像９２Ａに、デジタルフィルタ８４Ａ１を用いた処理の影響を含ませることができる。
【0135】
本実施形態において、第２収差補正画像８８Ａ１は、処理対象画像７５Ａ１の非ノイズ要素が非ＡＩ方式の処理によって調整された画像であり、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが合成されることによって合成画像９２Ａが生成される。これにより、処理対象画像７５Ａ１の非ノイズ要素が非ＡＩ方式の処理によって調整された結果を合成画像９２Ａ１に含ませることができる。
【0136】
本実施形態において、割合９０Ａは、生成モデル８２Ａ１を用いた処理の過不足を調整するように定められている。そして、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが割合９０Ａで合成される。これにより、生成モデル８２Ａ１を用いた処理による影響が画像内に過度に現れることによって画像（すなわち、合成画像９２Ａ）がユーザの好みに合わなくなることを抑制することができる。また、割合９０Ａは、ユーザからの指示に応じて変更されるので、合成画像９２Ａに、生成モデル８２Ａ１を用いた処理の影響を残す度合い、及び合成画像９２Ａに収差の影響を残す度合いをユーザの好みに合わせることができる。
【0137】
本実施形態において、第１収差補正画像８６Ａ１は、撮像装置１０の特性（ここでは、一例として、撮像レンズ４０の光学特性）に起因して処理対象画像７５Ａ１に現れる現象（ここでは、一例として、収差の影響）がＡＩ方式で補正されることで得られた画像である。また、第１収差補正画像８６Ａ１は、撮像装置１０の特性に起因して処理対象画像７５Ａ１に現れる現象が非ＡＩ方式で補正されることで得られた画像である。そして、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが合成されることによって合成画像９２Ａが生成される。従って、合成画像９２Ａに対して、撮像装置１０の特性に起因して処理対象画像７５Ａ１に現れる現象（ここでは、一例として、収差の影響）をＡＩ方式で補正した補正量が過不足することを抑制することができる。また、収差の影響が完全に消されるわけではないので、合成画像９２Ａの見た目の不自然さ（すなわち、生成モデル８２Ａ１によって収差の影響が低減されたことに起因する不自然さ）を緩和することができる。また、合成画像９２Ａに、生成モデル８２Ａ１を用いた処理の影響が過度に反映されず、かつ、収差の影響を適度に残すことができる。
【0138】
なお、上記実施形態では、第１収差補正画像８６Ａ１と第２収差補正画像８８Ａ１とが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第２収差補正画像８８Ａ１に代えて処理対象画像７５Ａ１（すなわち、非ノイズ要素が調整されていない画像）を第１収差補正画像８６Ａ１と合成させることによって、ＡＩ方式の処理に由来する要素が調整されるようにしてもよい。すなわち、第１収差補正画像８６Ａ１と処理対象画像７５Ａ１とが合成されることによって、ＡＩ方式で収差の影響が低減された画像領域（例えば、ここでは、一例として、生成モデル８２Ａ１によって収差の影響が低減された画素の画素値が調整されるようにしてもよい。この場合、ＡＩ方式の処理に由来する要素が合成画像９２Ａに対して及ぼす影響が、処理対象画像７５Ａ１に由来する要素（例えば、画像領域７５Ａ１ａ）によって緩和される。従って、合成画像９２Ａに対して、撮像装置１０の特性に起因して処理対象画像７５Ａ１に現れる現象（ここでは、一例として、収差の影響）をＡＩ方式で補正した補正量が過不足することを抑制することができる。なお、第１収差補正画像８６Ａ１に合成される処理対象画像７５Ａ１は、本開示の技術に係る「第２画像」の一例である。
【0139】
上記実施形態では、撮像装置１０の特性に起因して処理対象画像７５Ａ１に現れる現象の一例として収差の影響（図４に示す例では、画像領域７５Ａ１ａ）を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置１０の特性に起因して処理対象画像７５Ａ１に現れる現象は、撮像レンズ４０に起因して生じるフレア及び／又はゴースト等であってもよく、この場合も、ＡＩ方式の処理及び非ＡＩ方式の処理によってフレア及び／又はゴーストが低減されるようにすればよい。また、撮像レンズ４０の口径に応じて定まる明るさがＡＩ方式の処理及び非ＡＩ方式の処理によって調整されるようにしてもよい。
【0140】
上記実施形態では、処理対象画像７５Ａ１に対して非ＡＩ方式の処理が行われることによって得られた画像として第２収差補正画像８８Ａ１を例示したが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ１とは異なる画像（例えば、連写されることによって得られた処理対象画像７５Ａ１を含む複数の画像のうちの処理対象画像７５Ａ１以外の画像）に対して生成モデル８２Ａ１を用いた処理が行われずに得られた画像を、第２収差補正画像８８Ａ１に代えて適用してもよい。なお、これと同様のことは、以下の第１変形例以降についても当て嵌まる。
【0141】
［第１変形例］
一例として図７に示すように、本第１変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ２を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ２を有する点が異なる。本第１変形例では、本第１変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１変形例よりも前で説明した事項と異なる事項について説明する。
一例として図７に示すように、本第１変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ２を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ２を有する点が異なる。本第１変形例では、本第１変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１変形例よりも前で説明した事項と異なる事項について説明する。
【0142】
ＡＩ方式処理部６２Ａ２及び非ＡＩ方式処理部６２Ｂ２には、処理対象画像７５Ａ２が入力される。処理対象画像７５Ａ２は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ２は、有彩色画像であり、人物領域９４及び背景領域９６を有する。人物領域９４は、人物が写っている画像領域である。背景領域９６は、背景が写っている画像領域である。
【0143】
ここで、処理対象画像７５Ａ２に写っている人物及び背景は、本開示の技術に係る「第１被写体」の一例である。人物領域９４は、本開示の技術に係る「第１領域」及び「特定被写体が写っている領域」の一例である。背景領域９６は、本開示の技術に係る「第１領域と異なる領域である第２領域」の一例である。人物領域９４の色及び背景領域９６の色は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「色」の一例である。
【0144】
ＡＩ方式処理部６２Ａ２は、処理対象画像７５Ａ２に対してＡＩ方式の処理を行う。処理対象画像７５Ａ２に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ２を用いた処理が挙げられる。生成モデル８２Ａ２は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ２は、人物領域９４と背景領域９６とが弁別可能となるように人物領域９４の色及び背景領域９６の色を変更する学習が既に行われた生成ネットワークである。
【0145】
ＡＩ方式処理部６２Ａ２は、ＡＩ方式で、処理対象画像７５Ａ２から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ２は、処理対象画像７５Ａ２に対して生成モデル８２Ａ２を用いた処理を行うことで、処理対象画像７５Ａ２の非ノイズ要素として、処理対象画像７５Ａ２から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ２から与えられる視覚的に印象を司る因子は、人物領域９４の色及び背景領域９６の色である。図７に示す例において、ＡＩ方式処理部６２Ａ２は、処理対象画像７５Ａ２に対して生成モデル８２Ａ２を用いた処理を行うことで第１彩色画像８６Ａ２を生成する。第１彩色画像８６Ａ２は、人物領域９４と背景領域９６とが弁別可能に彩色された画像である。例えば、人物領域９４には有彩色が付けられ、背景領域９６には無彩色が付けられる。
【0146】
ここで、生成モデル８２Ａ２を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「彩色処理」の一例である。第１彩色画像８６Ａ２は、本開示の技術に係る「第１変更画像」及び「第１彩色画像」の一例である。「第１彩色画像８６Ａ２を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0147】
生成モデル８２Ａ２には、処理対象画像７５Ａ２が入力される。生成モデル８２Ａ２は、入力された処理対象画像７５Ａ２に基づいて第１彩色画像８６Ａ２を生成して出力する。
【0148】
非ＡＩ方式処理部６２Ｂ２は、処理対象画像７５Ａ２に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第１変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ２を用いない処理が挙げられる。
【0149】
処理対象画像７５Ａ２に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ２を用いた処理が挙げられる。デジタルフィルタ８４Ａ２は、処理対象画像７５Ａ２内の有彩色を無彩色に変更するように構成されたデジタルフィルタである。非ＡＩ方式処理部６２Ｂ２は、処理対象画像７５Ａ２に対してデジタルフィルタ８４Ａ２を用いた処理（すなわち、フィルタリング）を行うことで第２彩色画像８８Ａ２を生成する。換言すると、非ＡＩ方式処理部６２Ｂ２は、非ＡＩ方式で処理対象画像７５Ａ２内の非ノイズ要素（ここでは、一例として、色）を調整することにより第２彩色画像８８Ａ２を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ２は、非ＡＩ方式で処理対象画像７５Ａ２内の有彩色を無彩色に変更することにより第２彩色画像８８Ａ２を生成する。
【0150】
ここで、デジタルフィルタ８４Ａ２を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２彩色画像８８Ａ２を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0151】
デジタルフィルタ８４Ａ２には、処理対象画像７５Ａ２が入力される。デジタルフィルタ８４Ａ２は、入力された処理対象画像７５Ａ２に基づいて第２彩色画像８８Ａ２を生成する。第２彩色画像８８Ａ２は、デジタルフィルタ８４Ａ２によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ２に対するデジタルフィルタ８４Ａ２を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２彩色画像８８Ａ２は、処理対象画像７５Ａ２内の色がデジタルフィルタ８４Ａ２によって変更された画像（すなわち、処理対象画像７５Ａ２に対するデジタルフィルタ８４Ａ２を用いた処理によって有彩色が無彩色に変更された画像）である。なお、第２彩色画像８８Ａ２は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２彩色画像」の一例である。
【0152】
ところで、処理対象画像７５Ａ２に対してＡＩ方式の処理が行われることによって得られた第１彩色画像８６Ａ２には、生成モデル８２Ａ２の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる色が含まれてしまうことがある。処理対象画像７５Ａ２に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みとは異なる色が目立ってしまうことも考えられる。
【0153】
そこで、このような事情に鑑み、撮像装置１０では、一例として図８に示すように、第１彩色画像８６Ａ２及び第２彩色画像８８Ａ２に対して画像調整部６２Ｃ２の処理及び合成部６２Ｄ２の処理が行われることによって、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２とが合成される。
【0154】
一例として図８に示すように、ＮＶＭ６４には、割合９０Ｂが記憶されている。割合９０Ｂは、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２とを合成させる割合であり、ＡＩ方式処理部６２Ａ２によるＡＩ方式の処理（すなわち、生成モデル８２Ａ２を用いた処理）の過不足を調整するように定められている。
【0155】
割合９０Ｂは、第１割合９０Ｂ１と第２割合９０Ｂ２とに大別される。第１割合９０Ｂ１は、０以上かつ１以下の値であり、第２割合９０Ｂ２は、“１”から第１割合９０Ｂ１の値を減じた値である。すなわち、第１割合９０Ｂ１及び第２割合９０Ｂ２は、第１割合９０Ｂ１と第２割合９０Ｂ２との和が“１”となるように定められている。第１割合９０Ｂ１及び第２割合９０Ｂ２は、ユーザからの指示によって変更される可変値である。
【0156】
画像調整部６２Ｃ２は、ＡＩ方式処理部６２Ａ２によって生成された第１彩色画像８６Ａ２を、第１割合９０Ｂ１を用いて調整する。例えば、画像調整部６２Ｃ２は、第１彩色画像８６Ａ２の各画素の画素値に第１割合９０Ｂ１を乗じることにより第１彩色画像８６Ａ２の各画素の画素値を調整する。
【0157】
画像調整部６２Ｃ２は、非ＡＩ方式処理部６２Ｂ２によって生成された第２彩色画像８８Ａ２を、第２割合９０Ｂ２を用いて調整する。例えば、画像調整部６２Ｃ２は、第２彩色画像８８Ａ２の各画素の画素値に第２割合９０Ｂ２を乗じることにより第２彩色画像８８Ａ２の各画素の画素値を調整する。
【0158】
合成部６２Ｄ２は、画像調整部６２Ｃ２によって第１割合９０Ｂ１で調整された第１彩色画像８６Ａ２と画像調整部６２Ｃ２によって第２割合９０Ｂ２で調整された第２彩色画像８８Ａ２とを合成することで合成画像９２Ｂを生成する。すなわち、合成部６２Ｄ２は、第１割合９０Ｂ１で調整された第１彩色画像８６Ａ２と第２割合９０Ｂ２で調整された第２彩色画像８８Ａ２とを合成することにより、ＡＩ方式処理部６２Ａ２によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ２は、第１割合９０Ｂ１で調整された第１彩色画像８６Ａ２と第２割合９０Ｂ２で調整された第２彩色画像８８Ａ２とを合成することにより非ノイズ要素（ここでは、一例として、色）を調整する。更に換言すると、合成部６２Ｄ２は、第１割合９０Ｂ１で調整された第１彩色画像８６Ａ２と第２割合９０Ｂ２で調整された第２彩色画像８８Ａ２とを合成することにより、生成モデル８２Ａ２を用いた処理に由来する要素（例えば、生成モデル８２Ａ２によって色が変更された画素の画素値）を調整する。
【0159】
合成部６２Ｄ２によって行われる合成は、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２との間での対応する画素位置の画素値の加算である。合成部６２Ｄ２による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｂに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ２によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｂは、合成部６２Ｄ２によって既定の出力先に出力される。
【0160】
図９には、本第１変形例に係る画像合成処理の流れの一例が示されている。図９に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ５０～ステップＳＴ６８を適用した点が異なる。
【0161】
図９に示す画像合成処理では、ステップＳＴ５０で、ＡＩ方式処理部６２Ａ２及び非ＡＩ方式処理部６２Ｂ２は、イメージセンサ２０から処理対象画像７５Ａ２を取得する。ステップＳＴ５０の処理が実行された後、画像合成処理はステップＳＴ５２へ移行する。
【0162】
ステップＳＴ５２で、ＡＩ方式処理部６２Ａ２は、ステップＳＴ５０で取得した処理対象画像７５Ａ２を生成モデル８２Ａ２に入力する。ステップＳＴ５２の処理が実行された後、画像合成処理はステップＳＴ５４へ移行する。
【0163】
ステップＳＴ５４で、ＡＩ方式処理部６２Ａ２は、ステップＳＴ５２で処理対象画像７５Ａ２が生成モデル８２Ａ２に入力されることによって生成モデル８２Ａ２から出力された第１彩色画像８６Ａ２を取得する。ステップＳＴ５４の処理が実行された後、画像合成処理はステップＳＴ５６へ移行する。
【0164】
ステップＳＴ５６で、非ＡＩ方式処理部６２Ｂ２は、ステップＳＴ５０で取得した処理対象画像７５Ａ２に対してデジタルフィルタ８４Ａ２を用いた処理を行うことで処理対象画像７５Ａ２内の色を調整する。ステップＳＴ５６の処理が実行された後、画像合成処理はステップＳＴ５８へ移行する。
【0165】
ステップＳＴ５８で、非ＡＩ方式処理部６２Ｂ２は、ステップＳＴ５６で処理対象画像７５Ａ２に対してデジタルフィルタ８４Ａ２を用いた処理が行われることによって得られた第２彩色画像８８Ａ２を取得する。ステップＳＴ５８の処理が実行された後、画像合成処理はステップＳＴ６０へ移行する。
【0166】
ステップＳＴ６０で、画像調整部６２Ｃ２は、ＮＶＭ６４から第１割合９０Ｂ１及び第２割合９０Ｂ２を取得する。ステップＳＴ６０の処理が実行された後、画像合成処理はステップＳＴ６２へ移行する。
【0167】
ステップＳＴ６２で、画像調整部６２Ｃ２は、ステップＳＴ６０で取得した第１割合９０Ｂ１を用いて第１彩色画像８６Ａ２を調整する。ステップＳＴ６２の処理が実行された後、画像合成処理はステップＳＴ６４へ移行する。
【0168】
ステップＳＴ６４で、画像調整部６２Ｃ２は、ステップＳＴ６０で取得した第２割合９０Ｂ２を用いて第２彩色画像８８Ａ２を調整する。ステップＳＴ６４の処理が実行された後、画像合成処理はステップＳＴ６６へ移行する。
【0169】
ステップＳＴ６６で、合成部６２Ｄ２は、ステップＳＴ６２で調整された第１彩色画像８６Ａ２とステップＳＴ６４で調整された第２彩色画像８８Ａ２とを合成することにより、ＡＩ方式処理部６２Ａ２によるＡＩ方式の処理の過不足を調整する。ステップＳＴ６２で調整された第１彩色画像８６Ａ２とステップＳＴ６４で調整された第２彩色画像８８Ａ２とが合成されることによって合成画像９２Ｂが生成される。ステップＳＴ６６の処理が実行された後、画像合成処理はステップＳＴ６８へ移行する。
【0170】
ステップＳＴ６８で、合成部６２Ｄ２は、合成画像９２Ｂに対して各種の画像処理を行う。そして、合成部６２Ｄ２は、合成画像９２Ｂに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ６８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0171】
以上説明したように、本第１変形例に係る撮像装置１０では、処理対象画像７５Ａ２から与えられる視覚的な印象を司る因子（ここでは、一例として、色）がＡＩ方式の処理で変更されることによって第１彩色画像８６Ａ２が生成される。また、処理対象画像７５Ａ２から与えられる視覚的な印象を司る因子が非ＡＩ方式の処理で変更されることによって第２彩色画像８８Ａ２が生成される。また、第１彩色画像８６Ａ２は第１割合９０Ｂ１に従って調整され、第２彩色画像８８Ａ２は第２割合９０Ｂ２に従って調整される。そして、第１割合９０Ｂ１に従って調整された第１彩色画像８６Ａ２と第２割合９０Ｂ２に従って調整された第２彩色画像８８Ａ２とが合成されることによって合成画像９２Ｂが生成される。これにより、ＡＩ方式の処理に由来する要素（例えば、第１彩色画像８６Ａ２内の色）が調整される。すなわち、ＡＩ方式の処理に由来する要素が合成画像９２Ｂに対して及ぼす影響が、非ＡＩ方式の処理に由来する要素（例えば、第２彩色画像８８Ａ２内の色）によって緩和される。従って、合成画像９２Ｂに対して、処理対象画像７５Ａ２から与えられる視覚的な印象を司る因子をＡＩ方式で変更した変更量が過不足することを抑制することができる。この結果、合成画像９２Ｂは、第１彩色画像８６Ａ２に比べ、ＡＩ方式の処理の影響が目立ち難い画像になり、ＡＩ方式の処理の影響を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0172】
本第１変形例では、処理対象画像７５Ａ２内の人物領域９４と背景領域９６とがＡＩ方式で弁別可能に彩色されることによって第１彩色画像８６Ａ２が生成される。そして、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２とが合成される。これにより、合成画像９２Ｂに対して、ＡＩ方式の処理での彩色が過不足することを抑制することができる。この結果、合成画像９２Ｂは、第１彩色画像８６Ａ２に比べ、ＡＩ方式の処理での彩色が目立ち難い画像になり、ＡＩ方式の処理での彩色を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0173】
本第１変形例では、処理対象画像７５Ａ２内の人物領域９４と背景領域９６とがＡＩ方式で弁別可能に彩色された上で、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２とが合成されるので、人物領域９４に対して、ＡＩ方式の処理での彩色が過不足することを抑制することができる。この結果、合成画像９２Ｂは、第１彩色画像８６Ａ２に比べ、人物領域９４に対するＡＩ方式の処理での彩色が目立ち難い画像になり、人物領域９４に対するＡＩ方式の処理での彩色を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0174】
図７～図９に示す例では、非ＡＩ方式処理部６２Ｂ２は、処理対象画像７５Ａ２内に写っている被写体とは無関係に処理対象画像７５Ａ２内の色を有彩色から無彩色に変更する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、非ＡＩ方式処理部６２Ｂ２は、非ＡＩ方式で、人物領域９４と背景領域９６とを弁別可能に彩色するようにしてもよい。
【0175】
この場合、例えば、図１０に示すように、非ＡＩ方式処理部６２Ｂ２は、処理対象画像７５Ａ２に対してデジタルフィルタ８４Ａ２ａを用いた処理を行う。デジタルフィルタ８４Ａ２ａは、処理対象画像７５Ａ２内の人物領域９４と背景領域９６とを弁別可能に彩色するように構成されたデジタルフィルタである。デジタルフィルタ８４Ａ２ａは、人物領域９４及び背景領域９６のうちの一方を有彩色とし、他方を無彩色とするように構成されたデジタルフィルタであってもよい。また、デジタルフィルタ８４Ａ２ａは、人物領域９４及び背景領域９６の両方を有彩色又は無彩色とし、かつ、人物領域９４と背景領域９６とで階調を変更するように構成されたデジタルフィルタであってもよい。
【0176】
非ＡＩ方式処理部６２Ｂ２は、処理対象画像７５Ａ２に対してデジタルフィルタ８４Ａ２ａを用いた処理を行うことで、人物領域９４と背景領域９６とが弁別可能に彩色された画像を第２彩色画像８８Ａ２として生成する。このように生成された第２彩色画像８８Ａ２と第１彩色画像８６Ａ２とが合成されることにより、ユーザは、合成画像９２Ｂ内の人物領域９４と背景領域８６との違いを視覚的に容易に認識することが可能となる。
【0177】
本第１変形例では、本開示の技術に係る「第１領域」及び「特定被写体が写っている領域」の一例として人物領域９４を挙げたが、これは、あくまでも一例に過ぎず、人物領域９４以外の領域（例えば、特定の車両が写っている領域、特定の動物が写っている領域、特定の植物が写っている領域、特定の建物が写っている領域、及び／又は特定の航空機が写っている領域等）であっても本開示の技術は成立する。
【0178】
本第１変形例では、第１彩色画像８６Ａ２と第２彩色画像８８Ａ２とが合成される形態例を挙げて説明したが、これは、あくまでも一例に過ぎない。例えば、第２彩色画像８８Ａ２に代えて処理対象画像７５Ａ２（すなわち、非ノイズ要素が調整されていない画像）を第１彩色画像８６Ａ２と合成させることによって、ＡＩ方式の処理に由来する要素（例えば、第１彩色画像８６Ａ２内の色）が調整されるようにしてもよい。この場合、ＡＩ方式の処理に由来する要素が合成画像９２Ｂに対して及ぼす影響が、処理対象画像７５Ａ２に由来する要素（例えば、処理対象画像７５Ａ２内の色）によって緩和される。従って、合成画像９２Ｂに対して、処理対象画像７５Ａ２から与えられる視覚的な印象を司る因子をＡＩ方式で変更した変更量が過不足することを抑制することができる。なお、第１彩色画像８６Ａ２に合成される処理対象画像７５Ａ２は、本開示の技術に係る「第２画像」の一例である。
【0179】
［第２変形例］
一例として図１１に示すように、本第２変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ３を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ３を有する点が異なる。本第２変形例では、本第２変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第２変形例よりも前で説明した事項と異なる事項について説明する。
一例として図１１に示すように、本第２変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ３を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ３を有する点が異なる。本第２変形例では、本第２変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第２変形例よりも前で説明した事項と異なる事項について説明する。
【0180】
ＡＩ方式処理部６２Ａ３及び非ＡＩ方式処理部６２Ｂ３には、処理対象画像７５Ａ３が入力される。処理対象画像７５Ａ３は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ３は、有彩色画像であり、人物領域９８及び背景領域１００を有する。人物領域９８は、人物が写っている画像領域である。背景領域１００は、背景が写っている画像領域である。なお、ここでは、処理対象画像７５Ａ３として、有彩色画像を例示しているが、処理対象画像７５Ａ３は、無彩色画像であってもよい。
【0181】
ＡＩ方式処理部６２Ａ３及び非ＡＩ方式処理部６２Ｂ３は、入力された処理対象画像７５Ａ３のコントラストを調整する処理を行う。本第２変形例において、コントラストを調整する処理とは、コントラストを強めたり弱めたりする処理を指す。処理対象画像７５Ａ３のコントラストは、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「処理対象画像のコントラスト」の一例である。
【0182】
ＡＩ方式処理部６２Ａ３は、処理対象画像７５Ａ３に対してＡＩ方式の処理を行う。処理対象画像７５Ａ３に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ３を用いた処理が挙げられる。生成モデル８２Ａ３は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ３は、処理対象画像７５Ａ３のコントラストを調整する学習が既に行われた生成ネットワークである。
【0183】
ＡＩ方式処理部６２Ａ３は、ＡＩ方式で、処理対象画像７５Ａ３から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ３は、処理対象画像７５Ａ３に対して生成モデル８２Ａ３を用いた処理を行うことで、処理対象画像７５Ａ３の非ノイズ要素として、処理対象画像７５Ａ３から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ３から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ３のコントラストである。図１１に示す例において、ＡＩ方式処理部６２Ａ３は、処理対象画像７５Ａ３に対して生成モデル８２Ａ３を用いた処理を行うことで第１コントラスト調整画像８６Ａ３を生成する。第１コントラスト調整画像８６Ａ３は、ＡＩ方式で処理対象画像７５Ａ３のコントラストが調整された画像である。
【0184】
ここで、生成モデル８２Ａ３を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「第１コントラスト調整処理」の一例である。第１コントラスト調整画像８６Ａ３は、本開示の技術に係る「第１変更画像」及び「第１コントラスト調整画像」の一例である。「第１コントラスト調整画像８６Ａ３を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0185】
生成モデル８２Ａ３には、処理対象画像７５Ａ３が入力される。生成モデル８２Ａ３は、入力された処理対象画像７５Ａ３に基づいて第１コントラスト調整画像８６Ａ３を生成して出力する。図１１に示す例では、第１コントラスト調整画像８６Ａ３の一例として、処理対象画像７５Ａ３よりもコントラストが高められた画像が示されている。
【0186】
非ＡＩ方式処理部６２Ｂ３は、処理対象画像７５Ａ３に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第２変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ３を用いない処理が挙げられる。
【0187】
処理対象画像７５Ａ３に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ３を用いた処理が挙げられる。デジタルフィルタ８４Ａ３は、処理対象画像７５Ａ３のコントラストを調整するように構成されたデジタルフィルタである。非ＡＩ方式処理部６２Ｂ３は、処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３を用いた処理（すなわち、フィルタリング）を行うことで第２コントラスト調整画像８８Ａ３を生成する。換言すると、非ＡＩ方式処理部６２Ｂ３は、非ＡＩ方式で処理対象画像７５Ａ３の非ノイズ要素（ここでは、一例として、コントラスト）を調整することにより第２コントラスト調整画像８８Ａ３を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ３は、非ＡＩ方式で処理対象画像７５Ａ３のコントラストに変更することにより第２コントラスト調整画像８８Ａ３を生成する。
【0188】
ここで、デジタルフィルタ８４Ａ３を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２コントラスト調整画像８８Ａ３を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0189】
デジタルフィルタ８４Ａ３には、処理対象画像７５Ａ３が入力される。デジタルフィルタ８４Ａ３は、入力された処理対象画像７５Ａ３に基づいて第２コントラスト調整画像８８Ａ３を生成する。第２コントラスト調整画像８８Ａ３は、デジタルフィルタ８４Ａ３によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ３に対するデジタルフィルタ８４Ａ３を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２コントラスト調整画像８８Ａ３は、処理対象画像７５Ａ３のコントラストがデジタルフィルタ８４Ａ３によって変更された画像（すなわち、処理対象画像７５Ａ３に対するデジタルフィルタ８４Ａ３を用いた処理によってコントラストが変更された画像）である。図１１に示す例では、第２コントラスト調整画像８８Ａ３の一例として、処理対象画像７５Ａ３よりもコントラストが高く、かつ、第１コントラスト調整画像８６Ａ３よりもコントラストが低い画像が示されている。なお、第２コントラスト調整画像８８Ａ３は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２コントラスト調整画像」の一例である。
【0190】
ところで、処理対象画像７５Ａ３に対してＡＩ方式の処理が行われることによって得られた第１コントラスト調整画像８６Ａ３には、生成モデル８２Ａ３の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なるコントラストが含まれてしまうことがある。処理対象画像７５Ａ３に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みとは異なるコントラストが目立ってしまうことも考えられる。
【0191】
そこで、このような事情に鑑み、撮像装置１０では、一例として図１２に示すように、第１コントラスト調整画像８６Ａ３及び第２コントラスト調整画像８８Ａ３に対して画像調整部６２Ｃ３の処理及び合成部６２Ｄ３の処理が行われることによって、第１コントラスト調整画像８６Ａ３と第２コントラスト調整画像８８Ａ３とが合成される。
【0192】
一例として図１２に示すように、ＮＶＭ６４には、割合９０Ｃが記憶されている。割合９０Ｃは、第１コントラスト調整画像８６Ａ３と第２コントラスト調整画像８８Ａ３とを合成させる割合であり、ＡＩ方式処理部６２Ａ３によるＡＩ方式の処理（すなわち、生成モデル８２Ａ３を用いた処理）の過不足を調整するように定められている。
【0193】
割合９０Ｃは、第１割合９０Ｃ１と第２割合９０Ｃ２とに大別される。第１割合９０Ｃ１は、０以上かつ１以下の値であり、第２割合９０Ｃ２は、“１”から第１割合９０Ｃ１の値を減じた値である。すなわち、第１割合９０Ｃ１及び第２割合９０Ｃ２は、第１割合９０Ｃ１と第２割合９０Ｃ２との和が“１”となるように定められている。第１割合９０Ｃ１及び第２割合９０Ｃ２は、ユーザからの指示によって変更される可変値である。
【0194】
画像調整部６２Ｃ３は、ＡＩ方式処理部６２Ａ３によって生成された第１コントラスト調整画像８６Ａ３を、第１割合９０Ｃ１を用いて調整する。例えば、画像調整部６２Ｃ３は、第１コントラスト調整画像８６Ａ３の各画素の画素値に第１割合９０Ｃ１を乗じることにより第１コントラスト調整画像８６Ａ３の各画素の画素値を調整する。
【0195】
画像調整部６２Ｃ３は、非ＡＩ方式処理部６２Ｂ３によって生成された第２コントラスト調整画像８８Ａ３を、第２割合９０Ｃ２を用いて調整する。例えば、画像調整部６２Ｃ３は、第２コントラスト調整画像８８Ａ３の各画素の画素値に第２割合９０Ｃ２を乗じることにより第２コントラスト調整画像８８Ａ３の各画素の画素値を調整する。
【0196】
合成部６２Ｄ３は、画像調整部６２Ｃ３によって第１割合９０Ｃ１で調整された第１コントラスト調整画像８６Ａ３と画像調整部６２Ｃ３によって第２割合９０Ｃ２で調整された第２コントラスト調整画像８８Ａ３とを合成することで合成画像９２Ｃを生成する。すなわち、合成部６２Ｄ３は、第１割合９０Ｃ１で調整された第１コントラスト調整画像８６Ａ３と第２割合９０Ｃ２で調整された第２コントラスト調整画像８８Ａ３とを合成することにより、ＡＩ方式処理部６２Ａ３によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ３は、第１割合９０Ｃ１で調整された第１コントラスト調整画像８６Ａ３と第２割合９０Ｃ２で調整された第２コントラスト調整画像８８Ａ３とを合成することにより非ノイズ要素（ここでは、一例として、コントラスト）を調整する。更に換言すると、合成部６２Ｄ３は、第１割合９０Ｃ１で調整された第１コントラスト調整画像８６Ａ３と第２割合９０Ｃ２で調整された第２コントラスト調整画像８８Ａ３とを合成することにより、生成モデル８２Ａ３を用いた処理に由来する要素（例えば、生成モデル８２Ａ３によってコントラストが変更された画素の画素値）を調整する。
【0197】
合成部６２Ｄ３によって行われる合成は、第１コントラスト調整画像８６Ａ３と第２コントラスト調整画像８８Ａ３との間での対応する画素位置の画素値の加算である。合成部６２Ｄ３による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｃに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ３によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｃは、合成部６２Ｄ３によって既定の出力先に出力される。
【0198】
図１３には、本第２変形例に係る画像合成処理の流れの一例が示されている。図１３に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ１００～ステップＳＴ１１８を適用した点が異なる。
【0199】
図１３に示す画像合成処理では、ステップＳＴ１００で、ＡＩ方式処理部６２Ａ３及び非ＡＩ方式処理部６２Ｂ３は、イメージセンサ２０から処理対象画像７５Ａ３を取得する。ステップＳＴ１００の処理が実行された後、画像合成処理はステップＳＴ１０２へ移行する。
【0200】
ステップＳＴ１０２で、ＡＩ方式処理部６２Ａ３は、ステップＳＴ１００で取得した処理対象画像７５Ａ３を生成モデル８２Ａ３に入力する。ステップＳＴ１０２の処理が実行された後、画像合成処理はステップＳＴ１０４へ移行する。
【0201】
ステップＳＴ１０４で、ＡＩ方式処理部６２Ａ３は、ステップＳＴ１０２で処理対象画像７５Ａ３が生成モデル８２Ａ３に入力されることによって生成モデル８２Ａ３から出力された第１コントラスト調整画像８６Ａ３を取得する。ステップＳＴ１０４の処理が実行された後、画像合成処理はステップＳＴ１０６へ移行する。
【0202】
ステップＳＴ１０６で、非ＡＩ方式処理部６２Ｂ３は、ステップＳＴ１００で取得した処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３を用いた処理を行うことで処理対象画像７５Ａ３のコントラストを調整する。ステップＳＴ１０６の処理が実行された後、画像合成処理はステップＳＴ１０８へ移行する。
【0203】
ステップＳＴ１０８で、非ＡＩ方式処理部６２Ｂ３は、ステップＳＴ１０６で処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３を用いた処理が行われることによって得られた第２コントラスト調整画像８８Ａ３を取得する。ステップＳＴ１０８の処理が実行された後、画像合成処理はステップＳＴ１１０へ移行する。
【0204】
ステップＳＴ１１０で、画像調整部６２Ｃ３は、ＮＶＭ６４から第１割合９０Ｃ１及び第２割合９０Ｃ２を取得する。ステップＳＴ１１０の処理が実行された後、画像合成処理はステップＳＴ１１２へ移行する。
【0205】
ステップＳＴ１１２で、画像調整部６２Ｃ３は、ステップＳＴ１１０で取得した第１割合９０Ｃ１を用いて第１コントラスト調整画像８６Ａ３を調整する。ステップＳＴ１１２の処理が実行された後、画像合成処理はステップＳＴ１１４へ移行する。
【0206】
ステップＳＴ１１４で、画像調整部６２Ｃ３は、ステップＳＴ１１０で取得した第２割合９０Ｃ２を用いて第２コントラスト調整画像８８Ａ３を調整する。ステップＳＴ１１４の処理が実行された後、画像合成処理はステップＳＴ１１６へ移行する。
【0207】
ステップＳＴ１１６で、合成部６２Ｄ３は、ステップＳＴ１１２で調整された第１コントラスト調整画像８６Ａ３とステップＳＴ１１４で調整された第２コントラスト調整画像８８Ａ３とを合成することにより、ＡＩ方式処理部６２Ａ３によるＡＩ方式の処理の過不足を調整する。ステップＳ１１２で調整された第１コントラスト調整画像８６Ａ３とステップＳＴ１１４で調整された第２コントラスト調整画像８８Ａ３とが合成されることによって合成画像９２Ｃが生成される。ステップＳＴ１１６の処理が実行された後、画像合成処理はステップＳＴ１１８へ移行する。
【0208】
ステップＳＴ１１８で、合成部６２Ｄ３は、合成画像９２Ｃに対して各種の画像処理を行う。そして、合成部６２Ｄ３は、合成画像９２Ｃに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ１１８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0209】
以上説明したように、本第２変形例に係る撮像装置１０では、処理対象画像７５Ａ３のコントラストがＡＩ方式で調整されることによって第１コントラスト調整画像８６Ａ３が生成される。また、処理対象画像７５Ａ３のコントラストが非ＡＩ方式で調整されることによって第２コントラスト調整画像８８Ａ３が生成される。そして、第１コントラスト調整画像８６Ａ３と第２コントラスト調整画像８８Ａ３とが合成される。これにより、合成画像９２Ｃに対して、ＡＩ方式の処理でのコントラストが過不足することを抑制することができる。この結果、合成画像９２Ｃは、第１コントラスト調整画像８６Ａ３に比べ、ＡＩ方式の処理でのコントラストが目立ち難い画像になり、ＡＩ方式の処理でのコントラストを過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0210】
図１１～図１３に示す例では、プロセッサ６２が、処理対象画像７５Ａ３の全体を対象にしてコントラストを調整する形態例を挙げて説明したが、本開示の技術はこれに限定されず、プロセッサ６２は、処理対象画像７５Ａ３の明瞭度を調整する処理を行ってもよい。明瞭度とは、複数の画素からなる画素ブロック内の中心画素と中心画素の周囲に隣接する画素とのコントラストを指す。明瞭度を調整する処理には、ＡＩ方式で明瞭度を調整する処理と非ＡＩ方式で明瞭度を調整する処理とがある。
【0211】
ＡＩ方式で明瞭度を調整する処理は、例えば、生成モデル８２Ａ３ａを用いた処理である。この場合、生成モデル８２Ａ３ａは、上述した要領でコントラストを調整し、かつ、第１明瞭度処理を行う学習が既に行われた生成ネットワークである。第１明瞭度処理とは、ＡＩ方式で明瞭度を調整する処理、すなわち、ＡＩ方式でコントラストを局所的に調整する処理を指す。ＡＩ方式でのコントラストの局所的な調整は、例えば、図１４に示すように、人物領域９８のエッジ領域を構成する複数の画素１０４のうちの中心画素１０４Ａの画素値と中心画素１０４Ａの周囲に隣接する複数の隣接画素１０４Ｂとの画素値の差分を大きくしたり小さくしたりすることによって実現される。
【0212】
非ＡＩ方式で明瞭度を調整する処理は、例えば、生成モデル８２Ａ３ａを用いた処理である。この場合、デジタルフィルタ８４Ａ３ａは、上述した要領でコントラストを調整し、かつ、第２明瞭度処理を行うように構成されたデジタルフィルタである。第２明瞭度処理とは、非ＡＩ方式で明瞭度を調整する処理、すなわち、非ＡＩ方式でコントラストを局所的に調整する処理を指す。非ＡＩ方式でのコントラストの局所的な調整は、例えば、図１４に示すように、人物領域９８のエッジ領域を構成する複数の画素１０６のうちの中心画素１０６Ａの画素値と中心画素１０６Ａの周囲に隣接する複数の隣接画素１０６Ｂとの画素値の差分を大きくしたり小さくしたりすることによって実現される。
【0213】
ここで、第１明瞭度処理が行われると、第１コントラスト調整画像８６Ａ３の明瞭度が強められ過ぎることによって、人物領域９８に不自然な縁取りが現れたり、逆に、第１コントラスト調整画像８６Ａ３の明瞭度が弱められ過ぎることによって、人物領域９８の微細な部分が不明瞭になったりする虞がある。そこで、第１明瞭度処理が行われた第１コントラスト調整画像８６Ａ３と第２明瞭度処理が行われた第２コントラスト調整画像８８Ａ３は、割合９０Ｃで合成される。これにより、第１明瞭度処理に由来する要素（例えば、生成モデル８２Ａ３ａによってコントラストが変更された画素の画素値）が調整される。この結果、合成画像９２Ｃとして、第１明瞭度処理の影響が緩和された画像を得ることができる。
【0214】
ここでは、第１明瞭度処理が行われた第１コントラスト調整画像８６Ａ３と第２明瞭度処理が行われた第２コントラスト調整画像８８Ａ３が合成される形態例を挙げたが、第１明瞭度処理が行われた第１コントラスト調整画像８６Ａ３と、第２明瞭度処理が行われていない第２コントラスト調整画像８８Ａ３又は処理対象画像７５Ａ３とが合成されてもよい。この場合も、同様の効果が期待できる。
【0215】
なお、第１明瞭度処理は、本開示の技術に係る「第５コントラスト調整処理」の一例である。第２明瞭度処理は、本開示の技術に係る「第６コントラスト調整処理」の一例である。第１明瞭度処理が行われることによって得られた第１コントラスト調整画像８６Ａ３は、本開示の技術に係る「第５コントラスト画像」の一例である。第２明瞭度処理が行われることによって得られた第２コントラスト調整画像８８Ａ３は、本開示の技術に係る「第６画像」の一例である。
【0216】
図１１～図１３に示す例では、処理対象画像７４Ａ３に人物が写っている場合について説明したが、本開示の技術はこれに限定されない。例えば、図１５に示すように、処理対象画像７４Ａ３に人物と車両（ここでは、一例として、自動車）が写っていてもよい。この場合、処理対象画像７４Ａ３は、人物領域９８及び車両領域１０８を有する。車両領域１０８は、車両が写っている画像領域である。
【0217】
ＡＩ方式処理部６２Ａは、ＡＩ方式で、処理対象画像７５Ａ３に対して被写体に応じてコントラストを調整する。これを実現するために、図１５に示す例では、ＡＩ方式処理部６２Ａによって、生成モデル８２Ａ３ｂを用いた処理が行われる。生成モデル８２Ａ３ｂは、被写体に応じてコントラストを調整する学習が既に行われた生成ネットワークである。ＡＩ方式処理部６２Ａは、生成モデル８２Ａ３ｂを用いて、処理対象画像７５Ａ３内の人物領域９８及び車両領域１０８に応じてコントラストを調整する。すなわち、人物領域９８に対しては、人物領域９８により示される人物に応じたコントラストが付され、車両領域１０８に対しては、車両領域１０８により示される車両に応じたコントラストが付される。図１５に示す例では、車両領域１０８のコントラストが人物領域９８のコントラストよりも高くなっている。
【0218】
非ＡＩ方式処理部６２Ｂは、非ＡＩ方式で、処理対象画像７５Ａ３に対して被写体に応じてコントラストを調整する。これを実現するために、図１５に示す例では、非ＡＩ方式処理部６２Ｂによって、デジタルフィルタ８４Ａ３ｂを用いた処理が行われる。デジタルフィルタ８４Ａ３ｂは、被写体に応じてコントラストを調整するように構成されたデジタルフィルタである。非ＡＩ方式処理部６２Ｂは、デジタルフィルタ８４Ａ３ｂを用いて、処理対象画像７５Ａ３内の人物領域９８及び車両領域１０８に応じてコントラストを調整する。図１５に示す例では、車両領域１０８のコントラストが人物領域９８のコントラストよりも高くなっている。また、第２コントラスト調整画像８８Ａ３内の車両領域１０８のコントラストは、第１コントラスト調整画像８６Ａ３内の車両領域１０８のコントラストよりも低くなっている。また、第２コントラスト調整画像８８Ａ３内の人物領域９８のコントラストは、第１コントラスト調整画像８６Ａ３内の人物領域９８のコントラストよりも低くなっている。
【0219】
ここで、第１コントラスト調整画像８６Ａ３が、生成モデル８２Ａ３ｂを用いた処理の影響を過度に受けてしまうと、第１コントラスト調整画像８６Ａ３内の人物領域９８及び車両領域１０８のコントラストがユーザの好みに合わなくなる虞がある。例えば、ユーザが、第１コントラスト調整画像８６Ａ３内の人物領域９８及び車両領域１０８のコントラストを高過ぎると感じてしまう可能性がある。そこで、処理対象画像７５Ａ３に対して生成モデル８２Ａ３ｂを用いた処理が行われることによって得られた第１コントラスト調整画像８６Ａ３と処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３ｂを用いた処理が行われることによって得られた第２コントラスト調整画像８８Ａ３が、割合９０Ｃで合成される。これにより、生成モデル８２Ａ３ｂを用いた処理に由来する要素（例えば、生成モデル８２Ａ３ｂによってコントラストが変更された画素の画素値）が調整される。これにより、合成画像９２Ｃとして、生成モデル８２Ａ３ｂを用いた処理の影響が緩和された画像を得ることができる。
【0220】
ここでは、処理対象画像７５Ａ３に対して生成モデル８２Ａ３ｂを用いた処理が行われることによって得られた第１コントラスト調整画像８６Ａ３と処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３ｂを用いた処理が行われることによって得られた第２コントラスト調整画像８８Ａ３が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ３に対して生成モデル８２Ａ３ｂを用いた処理が行われることによって得られた第１コントラスト調整画像８６Ａ３と、デジタルフィルタ８４Ａ３ｂを用いた処理が行われていない第２コントラスト調整画像８８Ａ３又は処理対象画像７５Ａ３とが合成されてもよい。この場合も、同様の効果が期待できる。
【0221】
なお、生成モデル８２Ａ３ｂを用いた処理は、本開示の技術に係る「第３コントラスト調整処理」の一例である。デジタルフィルタ８４Ａ３ｂを用いた処理は、本開示の技術に係る「第４コントラスト調整処理」の一例である。処理対象画像７５Ａ３に対して生成モデル８２Ａ３ｂを用いた処理が行われることによって得られた第１コントラスト調整画像８６Ａ３は、本開示の技術に係る「第３コントラスト調整画像」の一例である。処理対象画像７５Ａ３に対してデジタルフィルタ８４Ａ３ｂを用いた処理が行われることによって得られた第２コントラスト調整画像８８Ａ３は、本開示の技術に係る「第４コントラスト調整画像」の一例である。
【0222】
［第３変形例］
一例として図１６に示すように、本第３変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ４を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ４を有する点が異なる。本第３変形例では、本第３変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第３変形例よりも前で説明した事項と異なる事項について説明する。
一例として図１６に示すように、本第３変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ４を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ４を有する点が異なる。本第３変形例では、本第３変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第３変形例よりも前で説明した事項と異なる事項について説明する。
【0223】
ＡＩ方式処理部６２Ａ４及び非ＡＩ方式処理部６２Ｂ４には、処理対象画像７５Ａ４が入力される。処理対象画像７５Ａ４は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ４は、有彩色画像であり、人物領域１１０を有する。人物領域１１０は、人物が写っている画像領域である。なお、ここでは、処理対象画像７５Ａ４として、有彩色画像を例示しているが、処理対象画像７５Ａ４は、無彩色画像であってもよい。
【0224】
ＡＩ方式処理部６２Ａ４及び非ＡＩ方式処理部６２Ｂ４は、入力された処理対象画像７５Ａ４の解像度を調整する処理を行う。本第３変形例において、解像度を調整する処理とは、解像度を高くしたり低くしたりする処理を指す。処理対象画像７５Ａ４の解像度は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「処理対象画像の解像度」の一例である。
【0225】
ＡＩ方式処理部６２Ａ４は、処理対象画像７５Ａ４に対してＡＩ方式の処理を行う。処理対象画像７５Ａ４に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ４を用いた処理が挙げられる。生成モデル８２Ａ４は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ４は、処理対象画像７５Ａ４の解像度を調整する学習が既に行われた生成ネットワークである。本第３変形例において、処理対象画像７５Ａ４の解像度を調整する学習とは、処理対象画像７５Ａ４を超解像度化する学習を指す。
【0226】
ＡＩ方式処理部６２Ａ４は、ＡＩ方式で、処理対象画像７５Ａ４から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ４は、処理対象画像７５Ａ４に対して生成モデル８２Ａ４を用いた処理を行うことで、処理対象画像７５Ａ４の非ノイズ要素として、処理対象画像７５Ａ４から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ４から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ４の解像度である。図１６に示す例において、ＡＩ方式処理部６２Ａ４は、処理対象画像７５Ａ４に対して生成モデル８２Ａ４を用いた処理を行うことで第１解像度調整画像８６Ａ４を生成する。第１解像度調整画像８６Ａ４は、ＡＩ方式で処理対象画像７５Ａ４の解像度が調整された画像である。ここで、ＡＩ方式で処理対象画像７５Ａ４の解像度が調整された画像とは、ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像を指す。
【0227】
ここで、生成モデル８２Ａ４を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「第１解像度調整処理」の一例である。第１解像度調整画像８６Ａ４は、本開示の技術に係る「第１変更画像」及び「第１解像度調整画像」の一例である。「第１解像度調整画像８６Ａ４を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0228】
生成モデル８２Ａ４には、処理対象画像７５Ａ４が入力される。生成モデル８２Ａ４は、入力された処理対象画像７５Ａ４に基づいて第１解像度調整画像８６Ａ４を生成して出力する。図１６に示す例では、第１解像度調整画像８６Ａ４の一例として、処理対象画像７５Ａ４が超解像度化された画像が示されている。
【0229】
非ＡＩ方式処理部６２Ｂ４は、処理対象画像７５Ａ３に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第３変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ４を用いない処理が挙げられる。
【0230】
処理対象画像７５Ａ４に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ４を用いた処理が挙げられる。デジタルフィルタ８４Ａ４は、処理対象画像７５Ａ４の解像度を調整するように構成されたデジタルフィルタである。以下では、デジタルフィルタ８４Ａ４として、処理対象画像７５Ａ４を超解像度化するように構成されたデジタルフィルタを例に挙げて説明する。
【0231】
非ＡＩ方式処理部６２Ｂ４は、処理対象画像７５Ａ４に対してデジタルフィルタ８４Ａ４を用いた処理（すなわち、フィルタリング）を行うことで第２解像度調整画像８８Ａ４を生成する。換言すると、非ＡＩ方式処理部６２Ｂ４は、非ＡＩ方式で処理対象画像７５Ａ４の非ノイズ要素（ここでは、一例として、解像度）を調整することにより第２解像度調整画像８８Ａ４を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ４は、非ＡＩ方式で処理対象画像７５Ａ４の解像度に調整することにより第２解像度調整画像８８Ａ４を生成する。非ＡＩ方式で処理対象画像７５Ａ４の解像度が調整された画像とは、非ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像を指す。
【0232】
ここで、デジタルフィルタ８４Ａ４を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２解像度調整画像８８Ａ４を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0233】
デジタルフィルタ８４Ａ４には、処理対象画像７５Ａ４が入力される。デジタルフィルタ８４Ａ４は、入力された処理対象画像７５Ａ４に基づいて第２解像度調整画像８８Ａ４を生成する。第２解像度調整画像８８Ａ４は、デジタルフィルタ８４Ａ４によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ４に対するデジタルフィルタ８４Ａ４を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２解像度調整画像８８Ａ４は、処理対象画像７５Ａ４の解像度がデジタルフィルタ８４Ａ４によって調整された画像（すなわち、処理対象画像７５Ａ４に対するデジタルフィルタ８４Ａ４を用いた処理によって解像度が調整された画像）である。図１６に示す例では、第２解像度調整画像８８Ａ４の一例として、処理対象画像７５Ａ４が超解像度化されており、かつ、解像度が第１解像度調整画像８６Ａ４よりも低い画像が示されている。なお、第２解像度調整画像８８Ａ４は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２解像度調整画像」の一例である。
【0234】
ところで、処理対象画像７５Ａ４に対してＡＩ方式の処理が行われることによって得られた第１解像度調整画像８６Ａ４の解像度は、生成モデル８２Ａ４の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる解像度になってしまうことがある。処理対象画像７５Ａ４に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みよりも解像度が高過ぎたり、逆に、低過ぎたりしてしまうことも考えられる。
【0235】
そこで、このような事情に鑑み、撮像装置１０では、一例として図１７に示すように、第１解像度調整画像８６Ａ４及び第２解像度調整画像８８Ａ４に対して画像調整部６２Ｃ４の処理及び合成部６２Ｄ４の処理が行われることによって、第１解像度調整画像８６Ａ４と第２解像度調整画像８８Ａ４とが合成される。
【0236】
一例として図１７に示すように、ＮＶＭ６４には、割合９０Ｄが記憶されている。割合９０Ｄは、第１解像度調整画像８６Ａ４と第２解像度調整画像８８Ａ４とを合成させる割合であり、ＡＩ方式処理部６２Ａ４によるＡＩ方式の処理（すなわち、生成モデル８２Ａ４を用いた処理）の過不足を調整するように定められている。
【0237】
割合９０Ｄは、第１割合９０Ｄ１と第２割合９０Ｄ２とに大別される。第１割合９０Ｄ１は、０以上かつ１以下の値であり、第２割合９０Ｄ２は、“１”から第１割合９０Ｄ１の値を減じた値である。すなわち、第１割合９０Ｄ１及び第２割合９０Ｄ２は、第１割合９０Ｄ１と第２割合９０Ｄ２との和が“１”となるように定められている。第１割合９０Ｄ１及び第２割合９０Ｄ２は、ユーザからの指示によって変更される可変値である。
【0238】
画像調整部６２Ｃ４は、ＡＩ方式処理部６２Ａ４によって生成された第１解像度調整画像８６Ａ４を、第１割合９０Ｄ１を用いて調整する。例えば、画像調整部６２Ｃ４は、第１解像度調整画像８６Ａ４の各画素の画素値に第１割合９０Ｄ１を乗じることにより第１解像度調整画像８６Ａ４の各画素の画素値を調整する。
【0239】
画像調整部６２Ｃ４は、非ＡＩ方式処理部６２Ｂ４によって生成された第２解像度調整画像８８Ａ４を、第２割合９０Ｄ２を用いて調整する。例えば、画像調整部６２Ｃ４は、第２解像度調整画像８８Ａ４の各画素の画素値に第２割合９０Ｄ２を乗じることにより第２解像度調整画像８８Ａ４の各画素の画素値を調整する。
【0240】
合成部６２Ｄ４は、画像調整部６２Ｃ４によって第１割合９０Ｄ１で調整された第１解像度調整画像８６Ａ４と画像調整部６２Ｃ４によって第２割合９０Ｄ２で調整された第２解像度調整画像８８Ａ４とを合成することで合成画像９２Ｄを生成する。すなわち、合成部６２Ｄ４は、第１割合９０Ｄ１で調整された第１解像度調整画像８６Ａ４と第２割合９０Ｄ２で調整された第２解像度調整画像８８Ａ４とを合成することにより、ＡＩ方式処理部６２Ａ４によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ４は、第１割合９０Ｄ１で調整された第１解像度調整画像８６Ａ４と第２割合９０Ｄ２で調整された第２解像度調整画像８８Ａ４とを合成することにより非ノイズ要素（ここでは、一例として、解像度）を調整する。更に換言すると、合成部６２Ｄ４は、第１割合９０Ｄ１で調整された第１解像度調整画像８６Ａ４と第２割合９０Ｄ２で調整された第２解像度調整画像８８Ａ４とを合成することにより、生成モデル８２Ａ４を用いた処理に由来する要素（例えば、生成モデル８２Ａ４によって解像度が調整された画素の画素値）を調整する。
【0241】
合成部６２Ｄ４によって行われる合成は、第１解像度調整画像８６Ａ４と第２解像度調整画像８８Ａ４との間での対応する画素位置の画素値の加算である。合成部６２Ｄ４による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｄに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ４によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｄは、合成部６２Ｄ４によって既定の出力先に出力される。
【0242】
図１８には、本第３変形例に係る画像合成処理の流れの一例が示されている。図１８に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ１５０～ステップＳＴ１６８を適用した点が異なる。
【0243】
図１８に示す画像合成処理では、ステップＳＴ１５０で、ＡＩ方式処理部６２Ａ４及び非ＡＩ方式処理部６２Ｂ４は、イメージセンサ２０から処理対象画像７５Ａ４を取得する。ステップＳＴ１５０の処理が実行された後、画像合成処理はステップＳＴ１５２へ移行する。
【0244】
ステップＳＴ１５２で、ＡＩ方式処理部６２Ａ４は、ステップＳＴ１５０で取得した処理対象画像７５Ａ４を生成モデル８２Ａ４に入力する。これにより、処理対象画像７５Ａ４がＡＩ方式で超解像度化される。ステップＳＴ１５２の処理が実行された後、画像合成処理はステップＳＴ１５４へ移行する。
【0245】
ステップＳＴ１５４で、ＡＩ方式処理部６２Ａ４は、ステップＳＴ１５２で処理対象画像７５Ａ４が生成モデル８２Ａ４に入力されることによって生成モデル８２Ａ４から出力された第１解像度調整画像８６Ａ４を取得する。ステップＳＴ１５４の処理が実行された後、画像合成処理はステップＳＴ１５６へ移行する。
【0246】
ステップＳＴ１５６で、非ＡＩ方式処理部６２Ｂ４は、ステップＳＴ１５０で取得した処理対象画像７５Ａ４に対してデジタルフィルタ８４Ａ４を用いた処理を行うことで処理対象画像７５Ａ４の解像度を調整する。これにより、処理対象画像７５Ａ４が非ＡＩ方式で超解像度化される。ステップＳＴ１５６の処理が実行された後、画像合成処理はステップＳＴ１５８へ移行する。
【0247】
ステップＳＴ１５８で、非ＡＩ方式処理部６２Ｂ４は、ステップＳＴ１５６で処理対象画像７５Ａ４に対してデジタルフィルタ８４Ａ４を用いた処理が行われることによって得られた第２解像度調整画像８８Ａ４を取得する。ステップＳＴ１５８の処理が実行された後、画像合成処理はステップＳＴ１６０へ移行する。
【0248】
ステップＳＴ１６０で、画像調整部６２Ｃ４は、ＮＶＭ６４から第１割合９０Ｄ１及び第２割合９０Ｄ２を取得する。ステップＳＴ１６０の処理が実行された後、画像合成処理はステップＳＴ１６２へ移行する。
【0249】
ステップＳＴ１６２で、画像調整部６２Ｃ４は、ステップＳＴ１６０で取得した第１割合９０Ｄ１を用いて第１解像度調整画像８６Ａ４を調整する。ステップＳＴ１６２の処理が実行された後、画像合成処理はステップＳＴ１６４へ移行する。
【0250】
ステップＳＴ１６４で、画像調整部６２Ｃ４は、ステップＳＴ１６０で取得した第２割合９０Ｄ２を用いて第２解像度調整画像８８Ａ４を調整する。ステップＳＴ１６４の処理が実行された後、画像合成処理はステップＳＴ１６６へ移行する。
【0251】
ステップＳＴ１６６で、合成部６２Ｄ４は、ステップＳＴ１６２で調整された第１解像度調整画像８６Ａ４とステップＳＴ１６４で調整された第２解像度調整画像８８Ａ４とを合成することにより、ＡＩ方式処理部６２Ａ４によるＡＩ方式の処理の過不足を調整する。ステップＳＴ１６２で調整された第１解像度調整画像８６Ａ４とステップＳＴ１６４で調整された第２解像度調整画像８８Ａ４とが合成されることによって合成画像９２Ｄが生成される。ステップＳＴ１６６の処理が実行された後、画像合成処理はステップＳＴ１６８へ移行する。
【0252】
ステップＳＴ１６８で、合成部６２Ｄ４は、合成画像９２Ｄに対して各種の画像処理を行う。そして、合成部６２Ｄ４は、合成画像９２Ｄに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ１６８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0253】
以上説明したように、本第３変形例に係る撮像装置１０では、処理対象画像７５Ａ４の解像度がＡＩ方式で調整されることによって第１解像度調整画像８６Ａ４が生成される。そして、第１解像度調整画像８６Ａ４と第２解像度調整画像８８Ａ４とが合成される。これにより、合成画像９２Ｄに対して、ＡＩ方式の処理での解像度が過不足することを抑制することができる。この結果、合成画像９２Ｄは、第１解像度調整画像８６Ａ４に比べ、ＡＩ方式の処理での解像度が目立ち難い画像になり、ＡＩ方式の処理での解像度を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0254】
本第３変形例では、第１解像度調整画像８６Ａ４は、ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像であり、第２解像度調整画像８８Ａ４は、非ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像である。そして、ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像と非ＡＩ方式で処理対象画像７５Ａ４が超解像度化された画像とが合成されることによって合成画像９２Ｄが生成される。従って、合成画像９２Ｄに対して、ＡＩ方式の超解像度化によって得られた解像度が過不足することを抑制することができる。
【0255】
ここでは、処理対象画像７５Ａ４に対して生成モデル８２Ａ４を用いた処理が行われることによって得られた第１解像度調整画像８６Ａ４と処理対象画像７５Ａ４に対してデジタルフィルタ８４Ａ４を用いた処理が行われることによって得られた第２解像度調整画像８８Ａ４が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ４に対して生成モデル８２Ａ４を用いた処理が行われることによって得られた第１解像度調整画像８６Ａ４と処理対象画像７５Ａ４（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0256】
［第４変形例］
一例として図１９に示すように、本第４変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ５を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ５を有する点が異なる。本第４変形例では、本第４変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第４変形例よりも前で説明した事項と異なる事項について説明する。
一例として図１９に示すように、本第４変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ５を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ５を有する点が異なる。本第４変形例では、本第４変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第４変形例よりも前で説明した事項と異なる事項について説明する。
【0257】
ＡＩ方式処理部６２Ａ５及び非ＡＩ方式処理部６２Ｂ５には、処理対象画像７５Ａ５が入力される。処理対象画像７５Ａ５は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ５は、有彩色画像である。なお、ここでは、処理対象画像７５Ａ５として、有彩色画像を例示しているが、処理対象画像７５Ａ５は、無彩色画像であってもよい。
【0258】
ＡＩ方式処理部６２Ａ５及び非ＡＩ方式処理部６２Ｂ５は、入力された処理対象画像７５Ａ５のダイナミックレンジを拡げる処理を行う。処理対象画像７５Ａ５のダイナミックレンジは、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「処理対象画像のダイナミックレンジ」の一例である。
【0259】
ＡＩ方式処理部６２Ａ５は、処理対象画像７５Ａ５に対してＡＩ方式の処理を行う。処理対象画像７５Ａ５に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ５を用いた処理が挙げられる。生成モデル８２Ａ５は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ５は、処理対象画像７５Ａ５のダイナミックレンジを拡げる学習が既に行われた生成ネットワークである。本第４変形例において、処理対象画像７５Ａ５のダイナミックレンジを調整する学習とは、処理対象画像７５Ａ５をハイダイナミックレンジ化する学習を指す。なお、以下では、「ハイダイナミックレンジ」を「ＨＤＲ」と称する。
【0260】
ＡＩ方式処理部６２Ａ５は、ＡＩ方式で、処理対象画像７５Ａ５から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ５は、処理対象画像７５Ａ５に対して生成モデル８２Ａ５を用いた処理を行うことで、処理対象画像７５Ａ５の非ノイズ要素として、処理対象画像７５Ａ５から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ５から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ５のダイナミックレンジである。図１９に示す例において、ＡＩ方式処理部６２Ａ５は、処理対象画像７５Ａ５に対して生成モデル８２Ａ５を用いた処理を行うことで第１ＨＤＲ画像８６Ａ５を生成する。第１ＨＤＲ画像８６Ａ５は、ＡＩ方式で処理対象画像７５Ａ５のダイナミックレンジが拡げられた画像である。
【0261】
ここで、生成モデル８２Ａ５を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「拡張処理」の一例である。第１ＨＤＲ画像８６Ａ５は、本開示の技術に係る「第１変更画像」及び「第１ＨＤＲ画像」の一例である。「第１ＨＤＲ画像８６Ａ５を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0262】
生成モデル８２Ａ５には、処理対象画像７５Ａ５が入力される。生成モデル８２Ａ５は、入力された処理対象画像７５Ａ５に基づいて第１ＨＤＲ画像８６Ａ５を生成して出力する。
【0263】
非ＡＩ方式処理部６２Ｂ５は、処理対象画像７５Ａ５に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第４変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ５を用いない処理が挙げられる。
【0264】
処理対象画像７５Ａ５に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ５を用いた処理が挙げられる。デジタルフィルタ８４Ａ５は、処理対象画像７５Ａ５のダイナミックレンジを拡げるように構成されたデジタルフィルタである。以下では、デジタルフィルタ８４Ａ５として、処理対象画像７５Ａ５をＨＤＲ化するように構成されたデジタルフィルタを例に挙げて説明する。
【0265】
非ＡＩ方式処理部６２Ｂ５は、処理対象画像７５Ａ５に対してデジタルフィルタ８４Ａ５を用いた処理（すなわち、フィルタリング）を行うことで第２ＨＤＲ画像８８Ａ５を生成する。換言すると、非ＡＩ方式処理部６２Ｂ５は、非ＡＩ方式で処理対象画像７５Ａ５の非ノイズ要素を変更することにより第２ＨＤＲ画像８８Ａ５を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ５は、非ＡＩ方式で処理対象画像７５Ａ５のダイナミックレンジに拡げることにより第２ＨＤＲ画像８８Ａ５を生成する。
【0266】
ここで、デジタルフィルタ８４Ａ５を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２ＨＤＲ画像８８Ａ５を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0267】
デジタルフィルタ８４Ａ５には、処理対象画像７５Ａ５が入力される。デジタルフィルタ８４Ａ５は、入力された処理対象画像７５Ａ５に基づいて第２ＨＤＲ画像８８Ａ５を生成する。第２ＨＤＲ画像８８Ａ５は、デジタルフィルタ８４Ａ５によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ５に対するデジタルフィルタ８４Ａ５を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２ＨＤＲ画像８８Ａ５は、処理対象画像７５Ａ５のダイナミックレンジがデジタルフィルタ８４Ａ５によって変更された画像（すなわち、処理対象画像７５Ａ５に対するデジタルフィルタ８４Ａ５を用いた処理によってダイナミックレンジが拡げられた画像）である。なお、第２ＨＤＲ画像８８Ａ５は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２ＨＤＲ画像」の一例である。
【0268】
ところで、処理対象画像７５Ａ５に対してＡＩ方式の処理が行われることによって得られた第１ＨＤＲ画像８６Ａ５のダイナミックレンジは、生成モデル８２Ａ５の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なるダイナミックレンジになってしまうことがある。処理対象画像７５Ａ５に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みよりもダイナミックレンジが拡がり過ぎていたり、逆に、狭くなり過ぎていたりしまうことも考えられる。
【0269】
そこで、このような事情に鑑み、撮像装置１０では、一例として図２０に示すように、第１ＨＤＲ画像８６Ａ５及び第２ＨＤＲ画像８８Ａ５に対して画像調整部６２Ｃ５の処理及び合成部６２Ｄ５の処理が行われることによって、第１ＨＤＲ画像８６Ａ５と第２ＨＤＲ画像８８Ａ５とが合成される。
【0270】
一例として図２０に示すように、ＮＶＭ６４には、割合９０Ｅが記憶されている。割合９０Ｅは、第１ＨＤＲ画像８６Ａ５と第２ＨＤＲ画像８８Ａ５とを合成させる割合であり、ＡＩ方式処理部６２Ａ５によるＡＩ方式の処理（すなわち、生成モデル８２Ａ５を用いた処理）の過不足を調整するように定められている。
【0271】
割合９０Ｅは、第１割合９０Ｅ１と第２割合９０Ｅ２とに大別される。第１割合９０Ｅ１は、０以上かつ１以下の値であり、第２割合９０Ｅ２は、“１”から第１割合９０Ｅ１の値を減じた値である。すなわち、第１割合９０Ｅ１及び第２割合９０Ｅ２は、第１割合９０Ｅ１と第２割合９０Ｅ２との和が“１”となるように定められている。第１割合９０Ｅ１及び第２割合９０Ｅ２は、ユーザからの指示によって変更される可変値である。
【0272】
画像調整部６２Ｃ５は、ＡＩ方式処理部６２Ａ５によって生成された第１ＨＤＲ画像８６Ａ５を、第１割合９０Ｅ１を用いて調整する。例えば、画像調整部６２Ｃ５は、第１ＨＤＲ画像８６Ａ５の各画素の画素値に第１割合９０Ｅ１を乗じることにより第１ＨＤＲ画像８６Ａ５の各画素の画素値を調整する。
【0273】
画像調整部６２Ｃ５は、非ＡＩ方式処理部６２Ｂ５によって生成された第２ＨＤＲ画像８８Ａ５を、第２割合９０Ｅ２を用いて調整する。例えば、画像調整部６２Ｃ５は、第２ＨＤＲ画像８８Ａ５の各画素の画素値に第２割合９０Ｅ２を乗じることにより第２ＨＤＲ画像８８Ａ５の各画素の画素値を調整する。
【0274】
合成部６２Ｄ５は、画像調整部６２Ｃ５によって第１割合９０Ｅ１で調整された第１ＨＤＲ画像８６Ａ５と画像調整部６２Ｃ５によって第２割合９０Ｅ２で調整された第２ＨＤＲ画像８８Ａ５とを合成することで合成画像９２Ｅを生成する。すなわち、合成部６２Ｄ５は、第１割合９０Ｅ１で調整された第１ＨＤＲ画像８６Ａ５と第２割合９０Ｅ２で調整された第２ＨＤＲ画像８８Ａ５とを合成することにより、ＡＩ方式処理部６２Ａ５によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ５は、第１割合９０Ｅ１で調整された第１ＨＤＲ画像８６Ａ５と第２割合９０Ｅ２で調整された第２ＨＤＲ画像８８Ａ５とを合成することにより非ノイズ要素（ここでは、一例として、ダイナミックレンジ）を調整する。更に換言すると、合成部６２Ｄ５は、第１割合９０Ｅ１で調整された第１ＨＤＲ画像８６Ａ５と第２割合９０Ｅ２で調整された第２ＨＤＲ画像８８Ａ５とを合成することにより、生成モデル８２Ａ５を用いた処理に由来する要素（例えば、生成モデル８２Ａ５によってダイナミックレンジが拡げられた画素の画素値）を調整する。
【0275】
合成部６２Ｄ５によって行われる合成は、第１ＨＤＲ画像８６Ａ５と第２ＨＤＲ画像８８Ａ５との間での対応する画素位置の画素値の加算である。合成部６２Ｄ５による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｅに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ５によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｅは、合成部６２Ｄ５によって既定の出力先に出力される。
【0276】
図２１には、本第４変形例に係る画像合成処理の流れの一例が示されている。図２１に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ２００～ステップＳＴ２１８を適用した点が異なる。
【0277】
図２１に示す画像合成処理では、ステップＳＴ２００で、ＡＩ方式処理部６２Ａ５及び非ＡＩ方式処理部６２Ｂ５は、イメージセンサ２０から処理対象画像７５Ａ５を取得する。ステップＳＴ２００の処理が実行された後、画像合成処理はステップＳＴ２０２へ移行する。
【0278】
ステップＳＴ２０２で、ＡＩ方式処理部６２Ａ５は、ステップＳＴ２００で取得した処理対象画像７５Ａ５を生成モデル８２Ａ５に入力する。これにより、処理対象画像７５Ａ５がＡＩ方式でＨＤＲ化される。ステップＳＴ２０２の処理が実行された後、画像合成処理はステップＳＴ２０４へ移行する。
【0279】
ステップＳＴ２０４で、ＡＩ方式処理部６２Ａ５は、ステップＳＴ２０２で処理対象画像７５Ａ５が生成モデル８２Ａ５に入力されることによって生成モデル８２Ａ５から出力された第１ＨＤＲ画像８６Ａ５を取得する。ステップＳＴ２０４の処理が実行された後、画像合成処理はステップＳＴ２０６へ移行する。
【0280】
ステップＳＴ２０６で、非ＡＩ方式処理部６２Ｂ５は、ステップＳＴ２００で取得した処理対象画像７５Ａ５に対してデジタルフィルタ８４Ａ５を用いた処理を行うことで処理対象画像７５Ａ５のダイナミックレンジを拡げる。これにより、処理対象画像７５Ａ５が非ＡＩ方式でＨＤＲ化される。ステップＳＴ２０６の処理が実行された後、画像合成処理はステップＳＴ２０８へ移行する。
【0281】
ステップＳＴ２０８で、非ＡＩ方式処理部６２Ｂ５は、ステップＳＴ２０６で処理対象画像７５Ａ５に対してデジタルフィルタ８４Ａ５を用いた処理が行われることによって得られた第２ＨＤＲ画像８８Ａ５を取得する。ステップＳＴ２０８の処理が実行された後、画像合成処理はステップＳＴ２１０へ移行する。
【0282】
ステップＳＴ２１０で、画像調整部６２Ｃ５は、ＮＶＭ６４から第１割合９０Ｅ１及び第２割合９０Ｅ２を取得する。ステップＳＴ２１０の処理が実行された後、画像合成処理はステップＳＴ２１２へ移行する。
【0283】
ステップＳＴ２１２で、画像調整部６２Ｃ５は、ステップＳＴ２１０で取得した第１割合９０Ｅ１を用いて第１ＨＤＲ画像８６Ａ５を調整する。ステップＳＴ２１２の処理が実行された後、画像合成処理はステップＳＴ２１４へ移行する。
【0284】
ステップＳＴ２１４で、画像調整部６２Ｃ５は、ステップＳＴ２１０で取得した第２割合９０Ｅ２を用いて第２ＨＤＲ画像８８Ａ５を調整する。ステップＳＴ２１４の処理が実行された後、画像合成処理はステップＳＴ２１６へ移行する。
【0285】
ステップＳＴ２１６で、合成部６２Ｄ５は、ステップＳＴ２１２で調整された第１ＨＤＲ画像８６Ａ５とステップＳＴ２１４で調整された第２ＨＤＲ画像８８Ａ５とを合成することにより、ＡＩ方式処理部６２Ａ５によるＡＩ方式の処理の過不足を調整する。ステップＳＴ２１２で調整された第１ＨＤＲ８６Ａ５とステップＳＴ２１４で調整された第２ＨＤＲ画像８８Ａ５とが合成されることによって合成画像９２Ｅが生成される。ステップＳＴ２１６の処理が実行された後、画像合成処理はステップＳＴ２１８へ移行する。
【0286】
ステップＳＴ２１８で、合成部６２Ｄ５は、合成画像９２Ｅに対して各種の画像処理を行う。そして、合成部６２Ｄ５は、合成画像９２Ｅに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ２１８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0287】
以上説明したように、本第４変形例に係る撮像装置１０では、処理対象画像７５Ａ５のダイナミックレンジがＡＩ方式でＨＤＲ化されることによって第１ＨＤＲ画像８６Ａ５が生成される。そして、第１ＨＤＲ画像８６Ａ５と第２ＨＤＲ画像８８Ａ５とが合成される。これにより、合成画像９２Ｅに対して、ＡＩ方式の処理でのダイナミックレンジが過不足することを抑制することができる。この結果、合成画像９２Ｅは、第１ＨＤＲ画像８６Ａ５に比べ、ＡＩ方式の処理でのダイナミックレンジが目立ち難い画像になり、ＡＩ方式の処理でのダイナミックレンジを過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0288】
ここでは、処理対象画像７５Ａ５に対して生成モデル８２Ａ５を用いた処理が行われることによって得られた第１ＨＤＲ画像８６Ａ５と処理対象画像７５Ａ５に対してデジタルフィルタ８４Ａ５を用いた処理が行われることによって得られた第２ＨＤＲ画像８８Ａ５が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ５に対して生成モデル８２Ａ５を用いた処理が行われることによって得られた第１ＨＤＲ画像８６Ａ５と処理対象画像７５Ａ５（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0289】
［第５変形例］
一例として図２２に示すように、本第５変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ６を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ６を有する点が異なる。本第５変形例では、本第５変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第５変形例よりも前で説明した事項と異なる事項について説明する。
一例として図２２に示すように、本第５変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ６を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ６を有する点が異なる。本第５変形例では、本第５変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第５変形例よりも前で説明した事項と異なる事項について説明する。
【0290】
ＡＩ方式処理部６２Ａ６及び非ＡＩ方式処理部６２Ｂ６には、処理対象画像７５Ａ６が入力される。処理対象画像７５Ａ６は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ６は、有彩色画像であり、エッジ領域１１２を有する。エッジ領域１１２は、被写体のエッジが写っている画像領域（例えば、一定値以上の高周波成分）である。なお、ここでは、処理対象画像７５Ａ６として、有彩色画像を例示しているが、処理対象画像７５Ａ６は、無彩色画像であってもよい。
【0291】
ＡＩ方式処理部６２Ａ６及び非ＡＩ方式処理部６２Ｂ６は、入力された処理対象画像７５Ａ６内のエッジ領域１１２を、エッジ領域１１２と異なる領域である非エッジ領域（以下、単に「非エッジ領域」と称する）よりも強調する処理を行う。エッジ領域１１２は、本開示の技術に係る「処理対象画像内のエッジ領域」の一例である。エッジ領域１１２の強調度は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「エッジ領域の強調度」の一例である。
【0292】
ＡＩ方式処理部６２Ａ６は、処理対象画像７５Ａ６に対してＡＩ方式の処理を行う。処理対象画像７５Ａ６に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ６を用いた処理が挙げられる。生成モデル８２Ａ６は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ６は、処理対象画像７５Ａ６内のエッジ領域１１２を非エッジ領域よりも強調する学習が既に行われた生成ネットワークである。
【0293】
ＡＩ方式処理部６２Ａ６は、ＡＩ方式で、処理対象画像７５Ａ６から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ６は、処理対象画像７５Ａ６に対して生成モデル８２Ａ６を用いた処理を行うことで、処理対象画像７５Ａ６の非ノイズ要素として、処理対象画像７５Ａ６から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ６から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ６内のエッジ領域１１２である。図２２に示す例において、ＡＩ方式処理部６２Ａ６は、処理対象画像７５Ａ６に対して生成モデル８２Ａ６を用いた処理を行うことで第１エッジ強調画像８６Ａ６を生成する。第１エッジ強調画像８６Ａ６は、ＡＩ方式で処理対象画像７５Ａ６内のエッジ領域１１２が非エッジ領域よりも強調された画像である。
【0294】
ここで、生成モデル８２Ａ４を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「強調処理」の一例である。第１エッジ強調画像８６Ａ６は、本開示の技術に係る「第１変更画像」及び「第１エッジ強調画像」の一例である。「第１エッジ強調画像８６Ａ６を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0295】
生成モデル８２Ａ６には、処理対象画像７５Ａ６が入力される。生成モデル８２Ａ６は、入力された処理対象画像７５Ａ６に基づいて第１エッジ強調画像８６Ａ６を生成して出力する。
【0296】
非ＡＩ方式処理部６２Ｂ６は、処理対象画像７５Ａ６に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第５変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ６を用いない処理が挙げられる。
【0297】
処理対象画像７５Ａ６に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ６を用いた処理が挙げられる。デジタルフィルタ８４Ａ６は、処理対象画像７５Ａ６内のエッジ領域１１２を非エッジ領域よりも強調するように構成されたデジタルフィルタである。
【0298】
非ＡＩ方式処理部６２Ｂ６は、処理対象画像７５Ａ６に対してデジタルフィルタ８４Ａ６を用いた処理（すなわち、フィルタリング）を行うことで第２エッジ強調画像８８Ａ６を生成する。換言すると、非ＡＩ方式処理部６２Ｂ６は、非ＡＩ方式で処理対象画像７５Ａ６の非ノイズ要素（ここでは、一例として、エッジ領域１１２）を非エッジ領域よりも強調することにより第２エッジ強調画像８８Ａ６を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ６は、非ＡＩ方式で処理対象画像７５Ａ６内のエッジ領域１１２を非エッジ領域よりも強調することにより第２エッジ強調画像８８Ａ６を生成する。
【0299】
ここで、デジタルフィルタ８４Ａ６を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２エッジ強調画像８８Ａ６を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0300】
デジタルフィルタ８４Ａ６には、処理対象画像７５Ａ６が入力される。デジタルフィルタ８４Ａ６は、入力された処理対象画像７５Ａ６に基づいて第２エッジ強調画像８８Ａ６を生成する。第２エッジ強調画像８８Ａ６は、デジタルフィルタ８４Ａ６によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ６に対するデジタルフィルタ８４Ａ６を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２エッジ強調画像８８Ａ６は、処理対象画像７５Ａ６内のエッジ領域１１２がデジタルフィルタ８４Ａ６によって調整された画像（すなわち、処理対象画像７５Ａ６に対するデジタルフィルタ８４Ａ６を用いた処理によってエッジ領域１１２が非エッジ領域よりも強調された画像）である。第２エッジ強調画像８８Ａ６内のエッジ領域１１２の強度は、第１エッジ強調画像８６Ａ６内のエッジ領域１１２の強度よりも低い。第１エッジ強調画像８６Ａ６内のエッジ領域１１２に対する第２エッジ強調画像８８Ａ６内のエッジ領域１１２の強度の低さは、例えば、少なくとも第２エッジ強調画像８８Ａ６内のエッジ領域１１２と第１エッジ強調画像８６Ａ６内のエッジ領域１１２との違いが視覚的に認識可能な程度である。なお、第２エッジ強調画像８８Ａ６は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２エッジ強調画像」の一例である。
【0301】
ところで、処理対象画像７５Ａ６に対してＡＩ方式の処理が行われることによって得られた第１エッジ強調画像８６Ａ６の強度（例えば、明るさ）は、生成モデル８２Ａ６の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる強度になってしまうことがある。処理対象画像７５Ａ６に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みよりも強度が高過ぎたり、逆に、低過ぎたりしてしまうことも考えられる。
【0302】
そこで、このような事情に鑑み、撮像装置１０では、一例として図２３に示すように、第１エッジ強調画像８６Ａ６及び第２エッジ強調画像８８Ａ６に対して画像調整部６２Ｃ６の処理及び合成部６２Ｄ６の処理が行われることによって、第１エッジ強調画像８６Ａ６と第２エッジ強調画像８８Ａ６とが合成される。
【0303】
一例として図２３に示すように、ＮＶＭ６４には、割合９０Ｆが記憶されている。割合９０Ｆは、第１エッジ強調画像８６Ａ６と第２エッジ強調画像８８Ａ６とを合成させる割合であり、ＡＩ方式処理部６２Ａ６によるＡＩ方式の処理（すなわち、生成モデル８２Ａ６を用いた処理）の過不足を調整するように定められている。
【0304】
割合９０Ｆは、第１割合９０Ｆ１と第２割合９０Ｆ２とに大別される。第１割合９０Ｆ１は、０以上かつ１以下の値であり、第２割合９０Ｆ２は、“１”から第１割合９０Ｆ１の値を減じた値である。すなわち、第１割合９０Ｆ１及び第２割合９０Ｆ２は、第１割合９０Ｆ１と第２割合９０Ｆ２との和が“１”となるように定められている。第１割合９０Ｆ１及び第２割合９０Ｆ２は、ユーザからの指示によって変更される可変値である。
【0305】
画像調整部６２Ｃ６は、ＡＩ方式処理部６２Ａ６によって生成された第１エッジ強調画像８６Ａ６を、第１割合９０Ｆ１を用いて調整する。例えば、画像調整部６２Ｃ６は、第１エッジ強調画像８６Ａ６の各画素の画素値に第１割合９０Ｆ１を乗じることにより第１エッジ強調画像８６Ａ６の各画素の画素値を調整する。
【0306】
画像調整部６２Ｃ６は、非ＡＩ方式処理部６２Ｂ６によって生成された第２エッジ強調画像８８Ａ６を、第２割合９０Ｆ２を用いて調整する。例えば、画像調整部６２Ｃ６は、第２エッジ強調画像８８Ａ６の各画素の画素値に第２割合９０Ｆ２を乗じることにより第２エッジ強調画像８８Ａ６の各画素の画素値を調整する。
【0307】
合成部６２Ｄ６は、画像調整部６２Ｃ６によって第１割合９０Ｆ１で調整された第１エッジ強調画像８６Ａ６と画像調整部６２Ｃ６によって第２割合９０Ｆ２で調整された第２エッジ強調画像８８Ａ６とを合成することで合成画像９２Ｆを生成する。すなわち、合成部６２Ｄ６は、第１割合９０Ｆ１で調整された第１エッジ強調画像８６Ａ６と第２割合９０Ｆ２で調整された第２エッジ強調画像８８Ａ６とを合成することにより、ＡＩ方式処理部６２Ａ６によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ６は、第１割合９０Ｆ１で調整された第１エッジ強調画像８６Ａ６と第２割合９０Ｆ２で調整された第２エッジ強調画像８８Ａ６とを合成することにより非ノイズ要素（ここでは、一例として、エッジ領域１１２）を調整する。更に換言すると、合成部６２Ｄ６は、第１割合９０Ｆ１で調整された第１エッジ強調画像８６Ａ６と第２割合９０Ｆ２で調整された第２エッジ強調画像８８Ａ６とを合成することにより、生成モデル８２Ａ６を用いた処理に由来する要素（例えば、生成モデル８２Ａ６によってエッジ領域１１２が非エッジ領域よりも強調された画素の画素値）を調整する。
【0308】
合成部６２Ｄ６によって行われる合成は、第１エッジ強調画像８６Ａ６と第２エッジ強調画像８８Ａ６との間での対応する画素位置の画素値の加算である。合成部６２Ｄ６による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｆに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ６によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｆは、合成部６２Ｄ６によって既定の出力先に出力される。
【0309】
図２４には、本第５変形例に係る画像合成処理の流れの一例が示されている。図２４に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ２５０～ステップＳＴ２６８を適用した点が異なる。
【0310】
図２４に示す画像合成処理では、ステップＳＴ２５０で、ＡＩ方式処理部６２Ａ６及び非ＡＩ方式処理部６２Ｂ６は、イメージセンサ２０から処理対象画像７５Ａ６を取得する。ステップＳＴ２５０の処理が実行された後、画像合成処理はステップＳＴ２５２へ移行する。
【0311】
ステップＳＴ２５２で、ＡＩ方式処理部６２Ａ６は、ステップＳＴ２５０で取得した処理対象画像７５Ａ６を生成モデル８２Ａ６に入力する。ステップＳＴ２５２の処理が実行された後、画像合成処理はステップＳＴ２５４へ移行する。
【0312】
ステップＳＴ２５４で、ＡＩ方式処理部６２Ａ６は、ステップＳＴ２５２で処理対象画像７５Ａ６が生成モデル８２Ａ６に入力されることによって生成モデル８２Ａ６から出力された第１エッジ強調画像８６Ａ６を取得する。ステップＳＴ２５４の処理が実行された後、画像合成処理はステップＳＴ２５６へ移行する。
【0313】
ステップＳＴ２５６で、非ＡＩ方式処理部６２Ｂ６は、ステップＳＴ２５０で取得した処理対象画像７５Ａ６に対してデジタルフィルタ８４Ａ６を用いた処理を行うことで処理対象画像７５Ａ６内のエッジ領域１１２を非エッジ領域よりも強調する。ステップＳＴ２５６の処理が実行された後、画像合成処理はステップＳＴ２５８へ移行する。
【0314】
ステップＳＴ２５８で、非ＡＩ方式処理部６２Ｂ６は、ステップＳＴ２５６で処理対象画像７５Ａ６に対してデジタルフィルタ８４Ａ６を用いた処理が行われることによって得られた第２エッジ強調画像８８Ａ６を取得する。ステップＳＴ２５８の処理が実行された後、画像合成処理はステップＳＴ２６０へ移行する。
【0315】
ステップＳＴ２６０で、画像調整部６２Ｃ６は、ＮＶＭ６４から第１割合９０Ｆ１及び第２割合９０Ｆ２を取得する。ステップＳＴ２６０の処理が実行された後、画像合成処理はステップＳＴ２６２へ移行する。
【0316】
ステップＳＴ２６２で、画像調整部６２Ｃ６は、ステップＳＴ２６０で取得した第１割合９０Ｆ１を用いて第１エッジ強調画像８６Ａ６を調整する。ステップＳＴ２６２の処理が実行された後、画像合成処理はステップＳＴ２６４へ移行する。
【0317】
ステップＳＴ２６４で、画像調整部６２Ｃ６は、ステップＳＴ２６０で取得した第２割合９０Ｆ２を用いて第２エッジ強調画像８８Ａ６を調整する。ステップＳＴ２６４の処理が実行された後、画像合成処理はステップＳＴ２６６へ移行する。
【0318】
ステップＳＴ２６６で、合成部６２Ｄ６は、ステップＳＴ２６２で調整された第１エッジ強調画像８６Ａ６とステップＳＴ２６４で調整された第２エッジ強調画像８８Ａ６とを合成することにより、ＡＩ方式処理部６２Ａ６によるＡＩ方式の処理の過不足を調整する。ステップＳＴ２６２で調整された第１エッジ強調画像８６Ａ６とステップＳＴ２６４で調整された第２エッジ強調画像８８Ａ６とが合成されることによって合成画像９２Ｆが生成される。ステップＳＴ２６６の処理が実行された後、画像合成処理はステップＳＴ２６８へ移行する。
【0319】
ステップＳＴ２６８で、合成部６２Ｄ６は、合成画像９２Ｆに対して各種の画像処理を行う。そして、合成部６２Ｄ６は、合成画像９２Ｆに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ２６８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0320】
以上説明したように、本第５変形例に係る撮像装置１０では、処理対象画像７５Ａ６内のエッジ領域１１２がＡＩ方式で非エッジ領域よりも強調されることによって第１エッジ強調画像８６Ａ６が生成される。また、処理対象画像７５Ａ６内のエッジ領域１１２が非ＡＩ方式で非エッジ領域よりも強調されることによって第２エッジ強調画像８８Ａ６が生成させる。そして、第１エッジ強調画像８６Ａ６と第２エッジ強調画像８８Ａ６とが合成される。これにより、合成画像９２Ｆに対して、ＡＩ方式の処理でのエッジ領域１１２の強度が過不足することを抑制することができる。この結果、合成画像９２Ｆは、第１エッジ強調画像８６Ａ６に比べ、ＡＩ方式の処理でのエッジ領域１１２の強度が目立ち難い画像になり、ＡＩ方式の処理でのエッジ領域１１２の強度を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0321】
ここでは、処理対象画像７５Ａ６に対して生成モデル８２Ａ６を用いた処理が行われることによって得られた第１エッジ強調画像８６Ａ６と処理対象画像７５Ａ６に対してデジタルフィルタ８４Ａ６を用いた処理が行われることによって得られた第２エッジ強調画像８８Ａ６が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ６に対して生成モデル８２Ａ６を用いた処理が行われることによって得られた第１エッジ強調画像８６Ａ６と処理対象画像７５Ａ６（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0322】
［第６変形例］
一例として図２５に示すように、本第６変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ７を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ７を有する点が異なる。本第６変形例では、本第６変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第６変形例よりも前で説明した事項と異なる事項について説明する。
一例として図２５に示すように、本第６変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ７を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ７を有する点が異なる。本第６変形例では、本第６変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第６変形例よりも前で説明した事項と異なる事項について説明する。
【0323】
一例として図２５に示すように、ＡＩ方式処理部６２Ａ７及び非ＡＩ方式処理部６２Ｂ７には、処理対象画像７５Ａ７が入力される。処理対象画像７５Ａ７は、図２に示す処理対象画像７５Ａの一例である。図２５に示す例では、処理対象画像７５Ａ７には点像１１４が含まれている。点像１１４は、点被写体を示す被写体光が受光面７２Ａで結像されることで得られる被写体像であり、撮像レンズ４０の光学特性に由来する点拡がり現象によって、本来の被写体像に比べ、ぼけた状態で処理対象画像７５Ａ７内に現れる。点像１１４のぼけ量は、一般的に知られている点拡がり関数によって表現される。
【0324】
処理対象画像７５Ａ７は、非ノイズ要素として点像１１４を有する画像である。点像１１４は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「撮像装置の特性に起因して処理対象画像に現れる現象」、及び「ぼけ」の一例である。点像１１４のぼけ量は、本開示の技術に係る「点像のぼけ量」の一例である。点拡がり現象は、本開示の技術に係る「撮像装置の特性」及び「撮像装置の光学特性」の一例である。
【0325】
ＡＩ方式処理部６２Ａ７は、処理対象画像７５Ａ７に対してＡＩ方式の処理を行う。処理対象画像７５Ａ７に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ７を用いた処理が挙げられる。生成モデル８２Ａ７は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ７は、点像１１４のぼけ量を調整する学習が既に行われた生成ネットワークである。以下では、点像１１４のぼけ量の調整として、点像１１４のぼけ量の低減（すなわち、点拡がりの縮小）を例に挙げて説明する。
【0326】
ＡＩ方式処理部６２Ａ７は、処理対象画像７５Ａ７に対して生成モデル８２Ａ７を用いた処理を行うことで第１点像調整画像８６Ａ７を生成する。換言すると、ＡＩ方式処理部６２Ａ７は、ＡＩ方式で処理対象画像７５Ａ７内の非ノイズ要素（ここでは、一例として、点像１１４）を調整することにより第１点像調整画像８６Ａ７を生成する。更に換言すると、ＡＩ方式処理部６２Ａ７は、ＡＩ方式で処理対象画像７５Ａ７内の点像１１４のぼけ量を低減することにより第１点像調整画像８６Ａ７を生成する。ここで、生成モデル８２Ａ７を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１補正処理」、及び「点像調整処理」の一例である。また、ここで、「第１点像調整画像８６Ａ７を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0327】
生成モデル８２Ａ７には、処理対象画像７５Ａ７が入力される。生成モデル８２Ａ７は、入力された処理対象画像７５Ａ７に基づいて第１点像調整画像８６Ａ７を生成して出力する。第１点像調整画像８６Ａ７は、生成モデル８２Ａ７によって非ノイズ要素が調整されることで得られた画像（すなわち、処理対象画像７５Ａ７に対する生成モデル８２Ａ７を用いた処理によって非ノイズ要素が調整されることで得られた画像）である。換言すると、第１点像調整画像８６Ａ７は、処理対象画像７５Ａ７内の非ノイズ要素が生成モデル８２Ａ７によって補正された画像（すなわち、処理対象画像７５Ａ７に対する生成モデル８２Ａ７を用いた処理によって非ノイズ要素が補正された画像）である。更に換言すると、第１点像調整画像８６Ａ７は、点像１１４の点拡がりが生成モデル８２Ａ７によって補正された画像（すなわち、処理対象画像７５Ａ７に対する生成モデル８２Ａ７を用いた処理によって点像１１４の点拡がりが縮小されるように補正された画像）である。なお、第１点像調整画像８６Ａ７は、本開示の技術に係る「第１画像」、「第１補正画像」、及び「第１点像調整画像」の一例である。
【0328】
非ＡＩ方式処理部６２Ｂ７は、処理対象画像７５Ａ７に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。ここで、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ７を用いない処理が挙げられる。
【0329】
処理対象画像７５Ａ７に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ７を用いた処理が挙げられる。デジタルフィルタ８４Ａ７は、点像１１４の点拡がりが縮小されるように構成されたデジタルフィルタである。点像１１４の点拡がりが縮小されるように構成されたデジタルフィルタの一例としては、点像１１４を表現する点拡がり関数により示される点拡がりを相殺する解像度補正フィルタが挙げられる。解像度補正フィルタは、点拡がり現象によって本来の可視光画像よりもぼけた状態の可視光画像に対して適用されるフィルタである。解像度補正フィルタの一例としては、ＦＩＲフィルタが挙げられる。なお、解像度補正フィルタは、公知のフィルタであるので、これ以上の詳細な説明は省略する。
【0330】
非ＡＩ方式処理部６２Ｂ７は、処理対象画像７５Ａ７に対してデジタルフィルタ８４Ａ７を用いた処理（すなわち、フィルタリング）を行うことで第２点像調整画像８８Ａ７を生成する。換言すると、非ＡＩ方式処理部６２Ｂ７は、非ＡＩ方式で処理対象画像７５Ａ７内の非ノイズ要素を調整することにより第２点像調整画像８８Ａ７を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ７は、非ＡＩ方式で処理対象画像７５Ａ７内の点拡がりが縮小されるように処理対象画像７５Ａ７を補正することにより第２点像調整画像８８Ａ７を生成する。ここで、デジタルフィルタ８４Ａ７を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、「第２補正処理」、及び「非ＡＩ方式でぼけ量を調整する処理」の一例である。また、ここで、「第２点像調整画像８８Ａ７を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0331】
デジタルフィルタ８４Ａ７には、処理対象画像７５Ａ７が入力される。デジタルフィルタ８４Ａ７は、入力された処理対象画像７５Ａ７に基づいて第２点像調整画像８８Ａ７を生成する。第２点像調整画像８８Ａ７は、デジタルフィルタ８４Ａ７によって非ノイズ要素が調整されることで得られた画像（すなわち、処理対象画像７５Ａ７に対するデジタルフィルタ８４Ａ７を用いた処理によって非ノイズ要素が調整されることで得られた画像）である。換言すると、第２点像調整画像８８Ａ７は、処理対象画像７５Ａ７内の非ノイズ要素がデジタルフィルタ８４Ａ７によって補正された画像（すなわち、処理対象画像７５Ａ７に対するデジタルフィルタ８４Ａ７を用いた処理によって非ノイズ要素が補正された画像）である。更に換言すると、第２点像調整画像８８Ａ７は、処理対象画像７５Ａ７がデジタルフィルタ８４Ａ１によって補正された画像（すなわち、処理対象画像７５Ａ７に対するデジタルフィルタ８４Ａ７を用いた処理によって点拡がりが縮小されるように補正された画像）である。なお、第２点像調整画像８８Ａ７は、本開示の技術に係る「第２画像」、「第２補正画像」、及び「第２点像調整画像」の一例である。
【0332】
ところで、ユーザの中には、点拡がり現象を完全に消し去るのではなく、むしろ、点拡がり現象を画像内に適度に残しておくことを望むユーザが存在する。図２５に示す例では、第１点像調整画像８６Ａ７は、第２点像調整画像８８Ａ７よりも、点像１１４の点拡がりが縮小されている。換言すると、第２点像調整画像８８Ａ７には、第１点像調整画像８６Ａ７よりも点像１１４のぼけが残されている。しかし、ユーザにとっては、第１点像調整画像８６Ａ７内の点像１１４のぼけ量は足りな過ぎるように感じ、第２点像調整画像８８Ａ７内の点像１１４のぼけ量は多過ぎるように感じることがある。そのため、第１点像調整画像８６Ａ７及び第２点像調整画像８８Ａ７の一方のみが最終的に出力されると、ユーザの好みに合わない画像がユーザに提供されてしまうことになる。生成モデル８２Ａ７に対する学習量を増やしたり、生成モデル８２Ａ７の中間層数を増やしたりすることによって生成モデル８２Ａ７の高性能化を図れば、ユーザの好みに近い画像が得られる可能性が高まる。しかし、生成モデル８２Ａ７の作成に要するコストが嵩み、結果的に、撮像装置１０の高価格化に繋がる虞がある。
【0333】
そこで、このような事情に鑑み、撮像装置１０では、一例として図２６に示すように、第１点像調整画像８６Ａ７及び第２点像調整画像８８Ａ７に対して画像調整部６２Ｃ７の処理及び合成部６２Ｄ７の処理が行われることによって、第１点像調整画像８６Ａ７と第２点像調整画像８８Ａ７とが合成される。
【0334】
一例として図２６に示すように、ＮＶＭ６４には、割合９０Ｇが記憶されている。割合９０Ｇは、第１点像調整画像８６Ａ７と第２点像調整画像８８Ａ７とを合成させる割合であり、ＡＩ方式処理部６２Ａ７によるＡＩ方式の処理（すなわち、生成モデル８２Ａ７を用いた処理）の過不足を調整するように定められている。
【0335】
割合９０Ｇは、第１割合９０Ｇ１と第２割合９０Ｇ２とに大別される。第１割合９０Ｇ１は、０以上かつ１以下の値であり、第２割合９０Ｇ２は、“１”から第１割合９０Ｇ１の値を減じた値である。すなわち、第１割合９０Ｇ１及び第２割合９０Ｇ２は、第１割合９０Ｇ１と第２割合９０Ｇ２との和が“１”となるように定められている。第１割合９０Ｇ１及び第２割合９０Ｇ２は、ユーザからの指示によって変更される可変値である。
【0336】
画像調整部６２Ｃ７は、ＡＩ方式処理部６２Ａ７によって生成された第１点像調整画像８６Ａ７を、第１割合９０Ｇ１を用いて調整する。例えば、画像調整部６２Ｃ７は、第１点像調整画像８６Ａ７の各画素の画素値に第１割合９０Ｇ１を乗じることにより第１点像調整画像８６Ａ７の各画素の画素値を調整する。
【0337】
画像調整部６２Ｃ７は、非ＡＩ方式処理部６２Ｂ７によって生成された第２点像調整画像８８Ａ７を、第２割合９０Ｇ２を用いて調整する。例えば、画像調整部６２Ｃ７は、第２点像調整画像８８Ａ７の各画素の画素値に第２割合９０Ｇ２を乗じることにより第２点像調整画像８８Ａ７の各画素の画素値を調整する。
【0338】
合成部６２Ｄ７は、画像調整部６２Ｃ７によって第１割合９０Ｇ１で調整された第１点像調整画像８６Ａ７と画像調整部６２Ｃ７によって第２割合９０Ｇ２で調整された第２点像調整画像８８Ａ７とを合成することで合成画像９２Ｇを生成する。すなわち、合成部６２Ｄ７は、第１割合９０Ｇ１で調整された第１点像調整画像８６Ａ７と第２割合９０Ｇ２で調整された第２点像調整画像８８Ａ７とを合成することにより、ＡＩ方式処理部６２Ａ７によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ７は、第１割合９０Ｇ１で調整された第１点像調整画像８６Ａ７と第２割合９０Ｇ２で調整された第２点像調整画像８８Ａ７とを合成することにより非ノイズ要素を調整する。更に換言すると、合成部６２Ｄ７は、第１割合９０Ｇ１で調整された第１点像調整画像８６Ａ７と第２割合９０Ｇ２で調整された第２点像調整画像８８Ａ７とを合成することにより、生成モデル８２Ａ７を用いた処理に由来する要素（例えば、生成モデル８２Ａ７によって点拡がりが縮小された画素の画素値）を調整する。
【0339】
合成部６２Ｄ７によって行われる合成は、第１点像調整画像８６Ａ７と第２点像調整画像８８Ａ７との間での対応する画素位置の画素値の加算である。合成部６２Ｄ７による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｇに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ７によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｇは、合成部６２Ｄ７によって既定の出力先に出力される。
【0340】
図２７には、本第６変形例に係る画像合成処理の流れの一例が示されている。図２７に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ３００～ステップＳＴ３１８を適用した点が異なる。
【0341】
図２７に示す画像合成処理では、ステップＳＴ３００で、ＡＩ方式処理部６２Ａ７及び非ＡＩ方式処理部６２Ｂ７は、イメージセンサ２０から処理対象画像７５Ａ７を取得する。ステップＳＴ３００の処理が実行された後、画像合成処理はステップＳＴ３０２へ移行する。
【0342】
ステップＳＴ３０２で、ＡＩ方式処理部６２Ａ７は、ステップＳＴ３００で取得した処理対象画像７５Ａ７を生成モデル８２Ａ７に入力する。ステップＳＴ３０２の処理が実行された後、画像合成処理はステップＳＴ３０４へ移行する。
【0343】
ステップＳＴ３０４で、ＡＩ方式処理部６２Ａ７は、ステップＳＴ３０２で処理対象画像７５Ａ７が生成モデル８２Ａ７に入力されることによって生成モデル８２Ａ７から出力された第１点像調整画像８６Ａ７を取得する。ステップＳＴ３０４の処理が実行された後、画像合成処理はステップＳＴ３０６へ移行する。
【0344】
ステップＳＴ３０６で、非ＡＩ方式処理部６２Ｂ７は、ステップＳＴ３００で取得した処理対象画像７５Ａ７に対してデジタルフィルタ８４Ａ７を用いた処理を行うことで処理対象画像７５Ａ７の点拡がり現象を補正する。ステップＳＴ３０６の処理が実行された後、画像合成処理はステップＳＴ３０８へ移行する。
【0345】
ステップＳＴ３０８で、非ＡＩ方式処理部６２Ｂ７は、ステップＳＴ３０６で処理対象画像７５Ａ７に対してデジタルフィルタ８４Ａ７を用いた処理が行われることによって得られた第２点像調整画像８８Ａ７を取得する。ステップＳＴ３０８の処理が実行された後、画像合成処理はステップＳＴ３１０へ移行する。
【0346】
ステップＳＴ３１０で、画像調整部６２Ｃ７は、ＮＶＭ６４から第１割合９０Ｇ１及び第２割合９０Ｇ２を取得する。ステップＳＴ３１０の処理が実行された後、画像合成処理はステップＳＴ３１２へ移行する。
【0347】
ステップＳＴ３１２で、画像調整部６２Ｃ７は、ステップＳＴ３１０で取得した第１割合９０Ｇ１を用いて第１点像調整画像８６Ａ７を調整する。ステップＳＴ３１２の処理が実行された後、画像合成処理はステップＳＴ３１４へ移行する。
【0348】
ステップＳＴ３１４で、画像調整部６２Ｃ７は、ステップＳＴ３１０で取得した第２割合９０Ｇ２を用いて第２点像調整画像８８Ａ７を調整する。ステップＳＴ３１４の処理が実行された後、画像合成処理はステップＳＴ３１６へ移行する。
【0349】
ステップＳＴ３１６で、合成部６２Ｄ７は、ステップＳＴ３１２で調整された第１点像調整画像８６Ａ７とステップＳＴ３１４で調整された第２点像調整画像８８Ａ７とを合成することにより、ＡＩ方式処理部６２Ａ７によるＡＩ方式の処理の過不足を調整する。ステップＳＴ３１２で調整された第１点像調整画像８６Ａ７とステップＳＴ３１４で調整された第２点像調整画像８８Ａ７とが合成されることによって合成画像９２Ｇが生成される。ステップＳＴ３１６の処理が実行された後、画像合成処理はステップＳＴ３１８へ移行する。
【0350】
ステップＳＴ３１８で、合成部６２Ｄ７は、合成画像９２Ｇに対して各種の画像処理を行う。そして、合成部６２Ｄ７は、合成画像９２Ｇに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ３１８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0351】
以上説明したように、本第６変形例に係る撮像装置１０では、処理対象画像７５Ａ７内の点像１１４の点拡がりがＡＩ方式で縮小されることによって第１点像調整画像８６Ａ７が生成される。また、処理対象画像７５Ａ７内の点像１１４の点拡がりが非ＡＩ方式で縮小されることによって第２点像調整画像８８Ａ７が生成される。そして、第１点像調整画像８６Ａ７と第２点像調整画像８８Ａ７とが合成される。これにより、合成画像９２Ｇに対して、ＡＩ方式の処理での点拡がり現象の補正量（すなわち、点像１１４のぼけ量の補正量）が過不足することを抑制することができる。この結果、合成画像９２Ｇは、第１点像調整画像８６Ａ７に比べ、ＡＩ方式の処理での点拡がり現象の補正量が目立ち難い画像になり、ＡＩ方式の処理での点拡がり現象の補正量を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0352】
ここでは、処理対象画像７５Ａ７に対して生成モデル８２Ａ７を用いた処理が行われることによって得られた第１点像調整画像８６Ａ７と処理対象画像７５Ａ７に対してデジタルフィルタ８４Ａ７を用いた処理が行われることによって得られた第２点像調整画像８８Ａ７が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ７に対して生成モデル８２Ａ７を用いた処理が行われることによって得られた第１点像調整画像８６Ａ７と処理対象画像７５Ａ７（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0353】
［第７変形例］
一例として図２８に示すように、本第７変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ８を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ８を有する点が異なる。本第７変形例では、本第７変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第７変形例よりも前で説明した事項と異なる事項について説明する。
一例として図２８に示すように、本第７変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ８を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ８を有する点が異なる。本第７変形例では、本第７変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第７変形例よりも前で説明した事項と異なる事項について説明する。
【0354】
ＡＩ方式処理部６２Ａ８及び非ＡＩ方式処理部６２Ｂ８には、処理対象画像７５Ａ８が入力される。処理対象画像７５Ａ８は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ８は、有彩色画像であり、人物領域１１６を有する。人物領域１１６は、人物が写っている画像領域である。なお、ここでは、処理対象画像７５Ａ８として、有彩色画像を例示しているが、処理対象画像７５Ａ８は、無彩色画像であってもよい。
【0355】
ＡＩ方式処理部６２Ａ８及び非ＡＩ方式処理部６２Ｂ８は、入力された処理対象画像７５Ａ８内に写っている被写体に応じたぼけを処理対象画像７５Ａ８に付与する処理を行う。本第７変形例において、処理対象画像７５Ａ８内に写っている被写体とは、人物を指す。処理対象画像７５Ａ８に写っている人物は、本開示の技術に係る「第３被写体」の一例である。被写体に応じたぼけは、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「第３被写体に応じたぼけ」の一例である。
【0356】
ＡＩ方式処理部６２Ａ８は、処理対象画像７５Ａ８に対してＡＩ方式の処理を行う。処理対象画像７５Ａ８に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ８を用いた処理が挙げられる。生成モデル８２Ａ８は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ８は、人物領域１１６に対してぼけを付与する学習が既に行われた生成ネットワークである。
【0357】
ＡＩ方式処理部６２Ａ８は、ＡＩ方式で、処理対象画像７５Ａ８から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ８は、処理対象画像７５Ａ８に対して生成モデル８２Ａ８を用いた処理を行うことで、処理対象画像７５Ａ８の非ノイズ要素として、処理対象画像７５Ａ８から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ８から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ８内の人物領域１１６に応じたぼけである。図２８に示す例において、ＡＩ方式処理部６２Ａ８は、処理対象画像７５Ａ８に対して生成モデル８２Ａ８を用いた処理を行うことで第１暈し画像８６Ａ８を生成する。第１暈し画像８６Ａ８は、ＡＩ方式で処理対象画像７５Ａ８内の人物領域１１６にぼけが付与された画像である。
【0358】
ここで、生成モデル８２Ａ８を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「暈し処理」の一例である。第１暈し画像８６Ａ８は、本開示の技術に係る「第１変更画像」及び「第１暈し画像」の一例である。「第１暈し画像８６Ａ８を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0359】
生成モデル８２Ａ８には、処理対象画像７５Ａ８が入力される。生成モデル８２Ａ８は、入力された処理対象画像７５Ａ８に基づいて第１暈し画像８６Ａ８を生成して出力する。
【0360】
非ＡＩ方式処理部６２Ｂ８は、処理対象画像７５Ａ８に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第７変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ８を用いない処理が挙げられる。
【0361】
処理対象画像７５Ａ８に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ８を用いた処理が挙げられる。デジタルフィルタ８４Ａ８は、処理対象画像７５Ａ８内の人物領域１１６にぼけを付与するように構成されたデジタルフィルタである。
【0362】
非ＡＩ方式処理部６２Ｂ８は、処理対象画像７５Ａ８に対してデジタルフィルタ８４Ａ８を用いた処理（すなわち、フィルタリング）を行うことで第２暈し画像８８Ａ８を生成する。換言すると、非ＡＩ方式処理部６２Ｂ８は、非ＡＩ方式で処理対象画像７５Ａ８の非ノイズ要素を変更することにより第２暈し画像８８Ａ８を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ８は、非ＡＩ方式で処理対象画像７５Ａ８内の人物領域１１６にぼけを付与することにより第２暈し画像８８Ａ８を生成する。
【0363】
ここで、デジタルフィルタ８４Ａ８を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２暈し画像８８Ａ８を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0364】
デジタルフィルタ８４Ａ８には、処理対象画像７５Ａ８が入力される。デジタルフィルタ８４Ａ８は、入力された処理対象画像７５Ａ８に基づいて第２暈し画像８８Ａ８を生成する。第２暈し画像８８Ａ８は、デジタルフィルタ８４Ａ８によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ８に対するデジタルフィルタ８４Ａ８を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２暈し画像８８Ａ８は、処理対象画像７５Ａ８内の人物領域１１６がデジタルフィルタ８４Ａ８によって調整された画像（すなわち、処理対象画像７５Ａ８に対するデジタルフィルタ８４Ａ８を用いた処理によって人物領域１１６にぼけが付与された画像）である。第２暈し画像８８Ａ８内の人物領域１１６に付与されたぼけの度合いは、第１暈し画像８６Ａ８内の人物領域１１６に付与されたぼけの度合いよりも小さい。なお、第２暈し画像８８Ａ８は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２暈し画像」の一例である。
【0365】
ところで、処理対象画像７５Ａ８に対してＡＩ方式の処理が行われることによって得られた第１暈し画像８６Ａ８のぼけ量は、生成モデル８２Ａ８の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なるぼけ量になってしまうことがある。処理対象画像７５Ａ８に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みよりもぼけ量が多過ぎたり、逆に、少な過ぎたりしてしまうことも考えられる。
【0366】
そこで、このような事情に鑑み、撮像装置１０では、一例として図２９に示すように、第１暈し画像８６Ａ８及び第２暈し画像８８Ａ８に対して画像調整部６２Ｃ８の処理及び合成部６２Ｄ８の処理が行われることによって、第１暈し画像８６Ａ８と第２暈し画像８８Ａ８とが合成される。
【0367】
一例として図２９に示すように、ＮＶＭ６４には、割合９０Ｈが記憶されている。割合９０Ｈは、第１暈し画像８６Ａ８と第２暈し画像８８Ａ８とを合成させる割合であり、ＡＩ方式処理部６２Ａ８によるＡＩ方式の処理（すなわち、生成モデル８２Ａ８を用いた処理）の過不足を調整するように定められている。
【0368】
割合９０Ｈは、第１割合９０Ｈ１と第２割合９０Ｈ２とに大別される。第１割合９０Ｈ１は、０以上かつ１以下の値であり、第２割合９０Ｈ２は、“１”から第１割合９０Ｈ１の値を減じた値である。すなわち、第１割合９０Ｈ１及び第２割合９０Ｈ２は、第１割合９０Ｈ１と第２割合９０Ｈ２との和が“１”となるように定められている。第１割合９０Ｈ１及び第２割合９０Ｈ２は、ユーザからの指示によって変更される可変値である。
【0369】
画像調整部６２Ｃ８は、ＡＩ方式処理部６２Ａ８によって生成された第１暈し画像８６Ａ８を、第１割合９０Ｈ１を用いて調整する。例えば、画像調整部６２Ｃ８は、第１暈し画像８６Ａ８の各画素の画素値に第１割合９０Ｈ１を乗じることにより第１暈し画像８６Ａ８の各画素の画素値を調整する。
【0370】
画像調整部６２Ｃ８は、非ＡＩ方式処理部６２Ｂ８によって生成された第２暈し画像８８Ａ８を、第２割合９０Ｈ２を用いて調整する。例えば、画像調整部６２Ｃ８は、第２暈し画像８８Ａ８の各画素の画素値に第２割合９０Ｈ２を乗じることにより第２暈し画像８８Ａ８の各画素の画素値を調整する。
【0371】
合成部６２Ｄ８は、画像調整部６２Ｃ８によって第１割合９０Ｈ１で調整された第１暈し画像８６Ａ８と画像調整部６２Ｃ８によって第２割合９０Ｈ２で調整された第２暈し画像８８Ａ８とを合成することで合成画像９２Ｈを生成する。すなわち、合成部６２Ｄ８は、第１割合９０Ｈ１で調整された第１暈し画像８６Ａ８と第２割合９０Ｈ２で調整された第２暈し画像８８Ａ８とを合成することにより、ＡＩ方式処理部６２Ａ８によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ８は、第１割合９０Ｈ１で調整された第１暈し画像８６Ａ８と第２割合９０Ｈ２で調整された第２暈し画像８８Ａ８とを合成することにより非ノイズ要素を調整する。更に換言すると、合成部６２Ｄ８は、第１割合９０Ｈ１で調整された第１暈し画像８６Ａ８と第２割合９０Ｈ２で調整された第２暈し画像８８Ａ８とを合成することにより、生成モデル８２Ａ８を用いた処理に由来する要素（例えば、生成モデル８２Ａ８によってぼけが付与された画素の画素値）を調整する。
【0372】
合成部６２Ｄ８によって行われる合成は、第１暈し画像８６Ａ８と第２暈し画像８８Ａ８との間での対応する画素位置の画素値の加算である。合成部６２Ｄ８による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｈに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ８によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｈは、合成部６２Ｄ８によって既定の出力先に出力される。
【0373】
図３０には、本第７変形例に係る画像合成処理の流れの一例が示されている。図３０に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ３５０～ステップＳＴ３６８を適用した点が異なる。
【0374】
図３０に示す画像合成処理では、ステップＳＴ３５０で、ＡＩ方式処理部６２Ａ８及び非ＡＩ方式処理部６２Ｂ８は、イメージセンサ２０から処理対象画像７５Ａ８を取得する。ステップＳＴ３５０の処理が実行された後、画像合成処理はステップＳＴ３５２へ移行する。
【0375】
ステップＳＴ３５２で、ＡＩ方式処理部６２Ａ８は、ステップＳＴ３５０で取得した処理対象画像７５Ａ８を生成モデル８２Ａ８に入力する。ステップＳＴ３５２の処理が実行された後、画像合成処理はステップＳＴ３５４へ移行する。
【0376】
ステップＳＴ３５４で、ＡＩ方式処理部６２Ａ８は、ステップＳＴ３５２で処理対象画像７５Ａ８が生成モデル８２Ａ８に入力されることによって生成モデル８２Ａ８から出力された第１暈し画像８６Ａ８を取得する。ステップＳＴ３５４の処理が実行された後、画像合成処理はステップＳＴ３５６へ移行する。
【0377】
ステップＳＴ３５６で、非ＡＩ方式処理部６２Ｂ８は、ステップＳＴ３５０で取得した処理対象画像７５Ａ８に対してデジタルフィルタ８４Ａ８を用いた処理を行うことで処理対象画像７５Ａ８内の人物領域１１６にぼけを付与する。ステップＳＴ３５６の処理が実行された後、画像合成処理はステップＳＴ３５８へ移行する。
【0378】
なお、ステップＳＴ３５２の処理及びステップＳＴ３５６の処理では、人物領域１１６にぼけが付与される例を挙げているが、これは、あくまでも一例に過ぎず、人物領域１１６以外の画像領域に対しても、人物領域１１６に応じて定められたぼけが付与されるようにしてもよい。人物領域１１６に対してぼけが付与されずに、人物領域１１６以外の画像領域に対して、人物領域１１６に応じて定められたぼけが付与されるようにしてもよい。また、ここでは、人物領域１１６を例示しているが、これは、あくまでも一例に過ぎず、人物以外の被写体（例えば、特定の車両、特定の植物、特定の動物、特定の建物、又は特定の航空機等）が写っている画像領域であってもよい。この場合も、同様の要領で、画像に対して被写体に応じたぼけが付与されるようにすればよい。
【0379】
ステップＳＴ３５８で、非ＡＩ方式処理部６２Ｂ８は、ステップＳＴ３５６で処理対象画像７５Ａ８に対してデジタルフィルタ８４Ａ８を用いた処理が行われることによって得られた第２暈し画像８８Ａ８を取得する。ステップＳＴ３５８の処理が実行された後、画像合成処理はステップＳＴ３６０へ移行する。
【0380】
ステップＳＴ３６０で、画像調整部６２Ｃ８は、ＮＶＭ６４から第１割合９０Ｈ１及び第２割合９０Ｈ２を取得する。ステップＳＴ３６０の処理が実行された後、画像合成処理はステップＳＴ３６２へ移行する。
【0381】
ステップＳＴ３６２で、画像調整部６２Ｃ８は、ステップＳＴ３６０で取得した第１割合９０Ｈ１を用いて第１暈し画像８６Ａ８を調整する。ステップＳＴ３６２の処理が実行された後、画像合成処理はステップＳＴ３６４へ移行する。
【0382】
ステップＳＴ３６４で、画像調整部６２Ｃ８は、ステップＳＴ３６０で取得した第２割合９０Ｈ２を用いて第２暈し画像８８Ａ８を調整する。ステップＳＴ３６４の処理が実行された後、画像合成処理はステップＳＴ３６６へ移行する。
【0383】
ステップＳＴ３６６で、合成部６２Ｄ８は、ステップＳＴ３６２で調整された第１暈し画像８６Ａ８とステップＳＴ３６４で調整された第２暈し画像８８Ａ８とを合成することにより、ＡＩ方式処理部６２Ａ８によるＡＩ方式の処理の過不足を調整する。ステップＳＴ３６２で調整された第１暈し画像８６Ａ８とステップＳＴ３６４で調整された第２暈し画像８８Ａ８とが合成されることによって合成画像９２Ｈが生成される。ステップＳＴ３６６の処理が実行された後、画像合成処理はステップＳＴ３６８へ移行する。
【0384】
ステップＳＴ３６８で、合成部６２Ｄ８は、合成画像９２Ｈに対して各種の画像処理を行う。そして、合成部６２Ｄ８は、合成画像９２Ｈに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ３６８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0385】
以上説明したように、本第７変形例に係る撮像装置１０では、処理対象画像７５Ａ８内の人物領域１１６に対してＡＩ方式で人物領域１１６に応じたぼけが付与されることによって第１暈し画像８６Ａ８が生成される。また、処理対象画像７５Ａ８内の人物領域１１６に対して非ＡＩ方式で人物領域１１６に応じたぼけが付与されることによって第２暈し画像８８Ａ８が生成される。そして、第１暈し画像８６Ａ８と第２暈し画像８８Ａ８とが合成される。これにより、合成画像９２Ｈに対して、ＡＩ方式の処理での人物領域１１６に応じたぼけが過不足することを抑制することができる。この結果、合成画像９２Ｈは、第１暈し画像８６Ａ８に比べ、ＡＩ方式の処理での人物領域１１６に応じたぼけが目立ち難い画像になり、ＡＩ方式の処理での第１暈し画像８６Ａ８内のぼけを過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0386】
ここでは、処理対象画像７５Ａ８に対して生成モデル８２Ａ８を用いた処理が行われることによって得られた第１暈し画像８６Ａ８と処理対象画像７５Ａ８に対してデジタルフィルタ８４Ａ８を用いた処理が行われることによって得られた第２暈し画像８８Ａ８が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ８に対して生成モデル８２Ａ８を用いた処理が行われることによって得られた第１暈し画像８６Ａ８と処理対象画像７５Ａ８（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0387】
［第８変形例］
一例として図３１に示すように、本第８変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ９を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ９を有する点が異なる。本第８変形例では、本第８変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第８変形例よりも前で説明した事項と異なる事項について説明する。
一例として図３１に示すように、本第８変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ９を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ９を有する点が異なる。本第８変形例では、本第８変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第８変形例よりも前で説明した事項と異なる事項について説明する。
【0388】
ＡＩ方式処理部６２Ａ９及び非ＡＩ方式処理部６２Ｂ９には、処理対象画像７５Ａ９が入力される。処理対象画像７５Ａ９は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ９は、有彩色画像である。なお、ここでは、処理対象画像７５Ａ９として、有彩色画像を例示しているが、処理対象画像７５Ａ９は、無彩色画像であってもよい。
【0389】
ＡＩ方式処理部６２Ａ９及び非ＡＩ方式処理部６２Ｂ９は、入力された処理対象画像７５Ａ９に対して玉ぼけを付与する処理を行う。処理対象画像７５Ａ９に対して付与される玉ぼけは、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、「第１玉ぼけ」、及び「第２玉ぼけ」の一例である。
【0390】
ＡＩ方式処理部６２Ａ９は、処理対象画像７５Ａ９に対してＡＩ方式の処理を行う。処理対象画像７５Ａ９に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ９を用いた処理が挙げられる。生成モデル８２Ａ９は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ９は、処理対象画像７５Ａ９に対して玉ぼけを付与する学習が既に行われた生成ネットワークである。
【0391】
ＡＩ方式処理部６２Ａ９は、ＡＩ方式で、処理対象画像７５Ａ９から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ９は、処理対象画像７５Ａ９に対して生成モデル８２Ａ９を用いた処理を行うことで、処理対象画像７５Ａ９の非ノイズ要素として、処理対象画像７５Ａ９から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ９から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ９に対して付与する玉ぼけである。図３１に示す例において、ＡＩ方式処理部６２Ａ９は、処理対象画像７５Ａ９に対して生成モデル８２Ａ９を用いた処理を行うことで第１玉ぼけ画像８６Ａ９を生成する。第１玉ぼけ画像８６Ａ９は、ＡＩ方式で処理対象画像７５Ａ９に第１玉ぼけ１１８が付与された画像である。
【0392】
ここで、生成モデル８２Ａ８を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」、及び「玉ぼけ処理」の一例である。第１玉ぼけ１１８は、本開示の技術に係る「第１玉ぼけ」の一例である。第１玉ぼけ画像８６Ａ９は、本開示の技術に係る「第１変更画像」及び「第１玉ぼけ画像」の一例である。「第１玉ぼけ画像８６Ａ９を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0393】
生成モデル８２Ａ９には、処理対象画像７５Ａ９が入力される。生成モデル８２Ａ９は、入力された処理対象画像７５Ａ９に基づいて第１玉ぼけ画像８６Ａ９を生成して出力する。
【0394】
非ＡＩ方式処理部６２Ｂ９は、処理対象画像７５Ａ９に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第８変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ９を用いない処理が挙げられる。
【0395】
処理対象画像７５Ａ９に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ９を用いた処理が挙げられる。デジタルフィルタ８４Ａ９は、処理対象画像７５Ａ９に玉ぼけを付与するように構成されたデジタルフィルタである。
【0396】
非ＡＩ方式処理部６２Ｂ９は、処理対象画像７５Ａ９に対してデジタルフィルタ８４Ａ９を用いた処理（すなわち、フィルタリング）を行うことで第２玉ぼけ画像８８Ａ９を生成する。換言すると、非ＡＩ方式処理部６２Ｂ９は、非ＡＩ方式で処理対象画像７５Ａ９の非ノイズ要素を変更することにより第２玉ぼけ画像８８Ａ９を生成する。更に換言すると、非ＡＩ方式処理部６２Ｂ９は、非ＡＩ方式で処理対象画像７５Ａ９に第２玉ぼけ１２０を付与することにより第２玉ぼけ画像８８Ａ９を生成する。
【0397】
ここで、デジタルフィルタ８４Ａ９を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２玉ぼけ画像８８Ａ９を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0398】
デジタルフィルタ８４Ａ９には、処理対象画像７５Ａ９が入力される。デジタルフィルタ８４Ａ９は、入力された処理対象画像７５Ａ９に基づいて第２玉ぼけ画像８８Ａ９を生成する。第２玉ぼけ画像８８Ａ９は、デジタルフィルタ８４Ａ９によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ９に対するデジタルフィルタ８４Ａ９を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２玉ぼけ画像８８Ａ９は、処理対象画像７５Ａ９に対して第２玉ぼけ１２０が付与された画像（すなわち、処理対象画像７５Ａ９に対するデジタルフィルタ８４Ａ９を用いた処理によって第２玉ぼけ１２０が付与された画像）である。第２玉ぼけ１２０の特性（例えば、色、鮮明度、及び／又はサイズ等）は、第１玉ぼけ１１８の特性と異なっている。なお、第２玉ぼけ画像８８Ａ９は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２玉ぼけ画像」の一例である。
【0399】
ところで、処理対象画像７５Ａ９に対してＡＩ方式の処理が行われることによって得られた第１玉ぼけ画像８６Ａ９の特性は、生成モデル８２Ａ９の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる特性になってしまうことがある。処理対象画像７５Ａ９に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みの玉ぼけが表現されなくなってしまうことも考えられる。
【0400】
そこで、このような事情に鑑み、撮像装置１０では、一例として図３２に示すように、第１玉ぼけ画像８６Ａ９及び第２玉ぼけ画像８８Ａ９に対して画像調整部６２Ｃ９の処理及び合成部６２Ｄ９の処理が行われることによって、第１玉ぼけ画像８６Ａ９と第２玉ぼけ画像８８Ａ９とが合成される。
【0401】
一例として図３２に示すように、ＮＶＭ６４には、割合９０Ｉが記憶されている。割合９０Ｉは、第１玉ぼけ画像８６Ａ９と第２玉ぼけ画像８８Ａ９とを合成させる割合であり、ＡＩ方式処理部６２Ａ９によるＡＩ方式の処理（すなわち、生成モデル８２Ａ９を用いた処理）の過不足を調整するように定められている。
【0402】
割合９０Ｉは、第１割合９０Ｉ１と第２割合９０Ｉ２とに大別される。第１割合９０Ｉ１は、０以上かつ１以下の値であり、第２割合９０Ｉ２は、“１”から第１割合９０Ｉ１の値を減じた値である。すなわち、第１割合９０Ｉ１及び第２割合９０Ｉ２は、第１割合９０Ｉ１と第２割合９０Ｉ２との和が“１”となるように定められている。第１割合９０Ｉ１及び第２割合９０Ｉ２は、ユーザからの指示によって変更される可変値である。
【0403】
画像調整部６２Ｃ９は、ＡＩ方式処理部６２Ａ９によって生成された第１玉ぼけ画像８６Ａ９を、第１割合９０Ｉ１を用いて調整する。例えば、画像調整部６２Ｃ９は、第１玉ぼけ画像８６Ａ９の各画素の画素値に第１割合９０Ｉ１を乗じることにより第１玉ぼけ画像８６Ａ９の各画素の画素値を調整する。
【0404】
画像調整部６２Ｃ９は、非ＡＩ方式処理部６２Ｂ９によって生成された第２玉ぼけ画像８８Ａ９を、第２割合９０Ｉ２を用いて調整する。例えば、画像調整部６２Ｃ９は、第２玉ぼけ画像８８Ａ９の各画素の画素値に第２割合９０Ｉ２を乗じることにより第２玉ぼけ画像８８Ａ９の各画素の画素値を調整する。
【0405】
合成部６２Ｄ９は、画像調整部６２Ｃ９によって第１割合９０Ｉ１で調整された第１玉ぼけ画像８６Ａ９と画像調整部６２Ｃ９によって第２割合９０Ｉ２で調整された第２玉ぼけ画像８８Ａ９とを合成することで合成画像９２Ｉを生成する。すなわち、合成部６２Ｄ９は、第１割合９０Ｉ１で調整された第１玉ぼけ画像８６Ａ９と第２割合９０Ｉ２で調整された第２玉ぼけ画像８８Ａ９とを合成することにより、ＡＩ方式処理部６２Ａ９によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ９は、第１割合９０Ｉ１で調整された第１玉ぼけ画像８６Ａ９と第２割合９０Ｉ２で調整された第２玉ぼけ画像８８Ａ９とを合成することにより非ノイズ要素を調整する。更に換言すると、合成部６２Ｄ９は、第１割合９０Ｉ１で調整された第１玉ぼけ画像８６Ａ９と第２割合９０Ｉ２で調整された第２玉ぼけ画像８８Ａ９とを合成することにより、生成モデル８２Ａ９を用いた処理に由来する要素（例えば、生成モデル８２Ａ９によって第１玉ぼけ１１８が付与された画素の画素値）を調整する。
【0406】
合成部６２Ｄ９によって行われる合成は、第１玉ぼけ画像８６Ａ９と第２玉ぼけ画像８８Ａ９との間での対応する画素位置の画素値の加算である。合成部６２Ｄ９による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｉに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ９によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｉは、合成部６２Ｄ９によって既定の出力先に出力される。
【0407】
図３３には、本第８変形例に係る画像合成処理の流れの一例が示されている。図３３に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ４００～ステップＳＴ４１８を適用した点が異なる。
【0408】
図３３に示す画像合成処理では、ステップＳＴ４００で、ＡＩ方式処理部６２Ａ９及び非ＡＩ方式処理部６２Ｂ９は、イメージセンサ２０から処理対象画像７５Ａ９を取得する。ステップＳＴ４００の処理が実行された後、画像合成処理はステップＳＴ４０２へ移行する。
【0409】
ステップＳＴ４０２で、ＡＩ方式処理部６２Ａ９は、ステップＳＴ４００で取得した処理対象画像７５Ａ９を生成モデル８２Ａ９に入力する。ステップＳＴ４０２の処理が実行された後、画像合成処理はステップＳＴ４０４へ移行する。
【0410】
ステップＳＴ４０４で、ＡＩ方式処理部６２Ａ９は、ステップＳＴ４０２で処理対象画像７５Ａ９が生成モデル８２Ａ９に入力されることによって生成モデル８２Ａ９から出力された第１玉ぼけ画像８６Ａ９を取得する。ステップＳＴ４０４の処理が実行された後、画像合成処理はステップＳＴ４０６へ移行する。
【0411】
ステップＳＴ４０６で、非ＡＩ方式処理部６２Ｂ９は、ステップＳＴ４００で取得した処理対象画像７５Ａ９に対してデジタルフィルタ８４Ａ９を用いた処理を行うことで処理対象画像７５Ａ９に第２玉ぼけ１２０を付与する。ステップＳＴ４０６の処理が実行された後、画像合成処理はステップＳＴ４０８へ移行する。
【0412】
なお、ステップＳＴ４０２の処理及びステップＳＴ４０６の処理では、処理対象画像７５Ａ９に写っている被写体とは無関係に玉ぼけが生成される形態例を挙げているが、これは、あくまでも一例に過ぎず、処理対象画像７５Ａ９に写っている被写体（例えば、特定の人物、特定の車両、特定の植物、特定の動物、特定の建物、及び／又は特定の航空機等）に応じた定められた玉ぼけが生成されて処理対象画像７５Ａ９に付与されるようにしてもよい。
【0413】
ステップＳＴ４０８で、非ＡＩ方式処理部６２Ｂ９は、ステップＳＴ４０６で処理対象画像７５Ａ９に対してデジタルフィルタ８４Ａ９を用いた処理が行われることによって得られた第２玉ぼけ画像８８Ａ９を取得する。ステップＳＴ４０８の処理が実行された後、画像合成処理はステップＳＴ４１０へ移行する。
【0414】
ステップＳＴ４１０で、画像調整部６２Ｃ９は、ＮＶＭ６４から第１割合９０Ｉ１及び第２割合９０Ｉ２を取得する。ステップＳＴ４１０の処理が実行された後、画像合成処理はステップＳＴ４１２へ移行する。
【0415】
ステップＳＴ４１２で、画像調整部６２Ｃ９は、ステップＳＴ４１０で取得した第１割合９０Ｉ１を用いて第１玉ぼけ画像８６Ａ９を調整する。ステップＳＴ４１２の処理が実行された後、画像合成処理はステップＳＴ４１４へ移行する。
【0416】
ステップＳＴ４１４で、画像調整部６２Ｃ９は、ステップＳＴ４１０で取得した第２割合９０Ｉ２を用いて第２玉ぼけ画像８８Ａ９を調整する。ステップＳＴ４１４の処理が実行された後、画像合成処理はステップＳＴ４１６へ移行する。
【0417】
ステップＳＴ４１６で、合成部６２Ｄ９は、ステップＳＴ４１２で調整された第１玉ぼけ画像８６Ａ９とステップＳＴ４１４で調整された第２玉ぼけ画像８８Ａ９とを合成することにより、ＡＩ方式処理部６２Ａ９によるＡＩ方式の処理の過不足を調整する。ステップＳＴ４１２で調整された第１玉ぼけ画像８６Ａ９とステップＳＴ４１４で調整された第２玉ぼけ画像８８Ａ９とが合成されることによって合成画像９２Ｉが生成される。ステップＳＴ４１６の処理が実行された後、画像合成処理はステップＳＴ４１８へ移行する。
【0418】
ステップＳＴ４１８で、合成部６２Ｄ９は、合成画像９２Ｉに対して各種の画像処理を行う。そして、合成部６２Ｄ９は、合成画像９２Ｉに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ４１８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0419】
以上説明したように、本第８変形例に係る撮像装置１０では、処理対象画像７５Ａ９に対してＡＩ方式で第１玉ぼけ１１８が付与されることによって第１玉ぼけ画像８６Ａ９が生成される。また、処理対象画像７５Ａ９に対して非ＡＩ方式で第２玉ぼけ１２０が付与されることによって第２玉ぼけ画像８８Ａ９が生成される。そして、第１玉ぼけ画像８６Ａ９と第２玉ぼけ画像８８Ａ９とが合成される。これにより、合成画像９２Ｉに対して、ＡＩ方式の処理での第１玉ぼけ１１８の要素が過不足することを抑制することができる。この結果、合成画像９２Ｉは、第１玉ぼけ画像８６Ａ９に比べ、ＡＩ方式の処理での第１玉ぼけ１１８が目立ち難い画像になり、ＡＩ方式の処理での第１玉ぼけ画像８６Ａ９の特性を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0420】
ここでは、処理対象画像７５Ａ９に対して生成モデル８２Ａ９を用いた処理が行われることによって得られた第１玉ぼけ画像８６Ａ９と処理対象画像７５Ａ９に対してデジタルフィルタ８４Ａ９を用いた処理が行われることによって得られた第２玉ぼけ画像８８Ａ９が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ９に対して生成モデル８２Ａ９を用いた処理が行われることによって得られた第１玉ぼけ画像８６Ａ９と処理対象画像７５Ａ９（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0421】
図３１～図３３に示す例では、非ＡＩ方式処理部６２Ｂ９が、処理対象画像７５Ａ９に対して非ＡＩ方式の処理を行うことで、処理対象画像７５Ａ９に第２玉ぼけ１２０を付与する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３４に示すように、非ＡＩ方式処理部６２Ｂ９は、ＡＩ方式処理部６２Ａ９によって生成された第１玉ぼけ画像８６Ａ９に対して非ＡＩ方式の処理を行うことで、第２玉ぼけ１２０を含む第２玉ぼけ画像８６Ｂ９を生成するようにしてもよい。
【0422】
また、例えば、図３５に示すように、非ＡＩ方式処理部６２Ｂ９は、ＡＩ方式処理部６２Ａ９によって生成された第１玉ぼけ画像８６Ａ９に対して非ＡＩ方式の処理を行うことで、第２玉ぼけ１２０よりも鮮明度が高い第２玉ぼけ１２０を含む第２玉ぼけ画像８８Ａ９を生成するようにしてもよい。
【0423】
また、図３１～図３５に示す例では、処理対象画像７５Ａ９に対してＡＩ方式で第１玉ぼけ１１８が付与される形態例を挙げて説明したが、処理対象画像７５Ａ９に玉ぼけが写っている場合に、ＡＩ方式処理部６２Ａ９は、ＡＩ方式で処理対象画像７５Ａ９から玉ぼけを除去するようにしてもよい。
【0424】
［第９変形例］
一例として図３６に示すように、本第９変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１０を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ１０を有する点が異なる。本第９変形例では、本第９変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第９変形例よりも前で説明した事項と異なる事項について説明する。
一例として図３６に示すように、本第９変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１０を有する点、及び非ＡＩ方式処理部６２Ｂ１に代えて非ＡＩ方式処理部６２Ｂ１０を有する点が異なる。本第９変形例では、本第９変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第９変形例よりも前で説明した事項と異なる事項について説明する。
【0425】
ＡＩ方式処理部６２Ａ１０及び非ＡＩ方式処理部６２Ｂ１０には、処理対象画像７５Ａ１０が入力される。処理対象画像７５Ａ１０は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ１０は、有彩色画像であり、人物領域１２４及び背景領域１２６を有する。人物領域１２４は、人物が写っている画像領域である。背景領域１２６は、背景が写っている画像領域である。ここでは、処理対象画像７５Ａ１０として有彩色画像を例示しているが、これは、あくまでも一例に過ぎず、処理対象画像７５Ａ１０は、無彩色画像であってもよい。
【0426】
ここで、処理対象画像７５Ａ１０に写っている人物は、本開示の技術に係る「第４被写体」の一例である。処理対象画像７５Ａ１０の階調は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「処理対象画像の階調」の一例である。
【0427】
ＡＩ方式処理部６２Ａ１０は、処理対象画像７５Ａ１０に対してＡＩ方式の処理を行う。処理対象画像７５Ａ１０に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ１０を用いた処理が挙げられる。生成モデル８２Ａ１０は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ１０は、人物領域１２４に応じて処理対象画像７５Ａ１０の階調を調整する学習が既に行われた生成ネットワークである。人物領域１２４に応じて処理対象画像７５Ａ１０の階調を調整する学習としては、例えば、処理対象画像７５Ａ１０に人物が写っているか否かに応じて処理対象画像７５Ａ１０の階調を変更する学習、又は、処理対象画像７５Ａ１０に写っている人物が有する特徴に応じて処理対象画像７５Ａ１０の階調を変更する学習が挙げられる。
【0428】
ＡＩ方式処理部６２Ａ１０は、ＡＩ方式で、処理対象画像７５Ａ１０から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ１０は、処理対象画像７５Ａ１０に対して生成モデル８２Ａ１０を用いた処理を行うことで、処理対象画像７５Ａ１０の非ノイズ要素として、処理対象画像７５Ａ１０から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ１０から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ１０の階調である。図３６に示す例において、ＡＩ方式処理部６２Ａ１０は、処理対象画像７５Ａ１０に対して生成モデル８２Ａ１０を用いた処理を行うことで第１階調調整画像８６Ａ１０を生成する。第１階調調整画像８６Ａ１０は、処理対象画像７５Ａ１０の階調が人物領域１２４に応じて変更された画像である。例えば、Ｒ画素の画素値、Ｇ画素の画素値、及びＢ画素の画素値が同程度に上げたり下げたりすることによって処理対象画像７５Ａ１０の階調が変更される。また、Ｒ画素、Ｇ画素、及びＢ画素のうちの指定された少なくとも１つの画素の画素値を上げたり下げたりすることによって処理対象画像７５Ａ１０の階調が変更されるようにしてもよい。何れの色の画素値をどの程度変更するかは人物領域１２４（例えば、人物領域１２４の有無、又は、人物領域１２４により示される人物の特徴等）に応じて定まる。
【0429】
ここで、生成モデル８２Ａ１０を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「第１階調調整処理」の一例である。第１階調調整画像８６Ａ１０は、本開示の技術に係る「第１変更画像」及び「第１階調調整画像」の一例である。「第１階調調整画像８６Ａ１０を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0430】
生成モデル８２Ａ１０には、処理対象画像７５Ａ１０が入力される。生成モデル８２Ａ１０は、入力された処理対象画像７５Ａ１０に基づいて第１階調調整画像８６Ａ１０を生成して出力する。
【0431】
非ＡＩ方式処理部６２Ｂ１０は、処理対象画像７５Ａ１０に対して非ＡＩ方式の処理を行う。非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。本第９変形例において、ニューラルネットワークを用いない処理としては、例えば、生成モデル８２Ａ１０を用いない処理が挙げられる。
【0432】
処理対象画像７５Ａ１０に対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ１０を用いた処理が挙げられる。デジタルフィルタ８４Ａ１０は、処理対象画像７５Ａ１０の階調を調整するように構成されたデジタルフィルタである。例えば、デジタルフィルタ８４Ａ１０は、処理対象画像７５Ａ１０に人物領域１２４が含まれている場合に用いられる。この場合、例えば、非ＡＩ方式処理部６２Ｂ１０は、処理対象画像７５Ａ１０に対して公知の人物検出処理を行うことで処理対象画像７５Ａ１０に人物領域１２４が含まれている否かを判定する。そして、非ＡＩ方式処理部６２Ｂ１０は、処理対象画像７５Ａ１０に人物領域１２４が含まれていると判定した場合に、処理対象画像７５Ａ１０に対してデジタルフィルタ８４Ａ１０を用いた処理を行う。
【0433】
なお、人物領域１２４により示される人物の特徴毎にデジタルフィルタ８４Ａ１０が事前に準備されていてもよく、この場合、例えば、非ＡＩ方式処理部６２Ｂ１０は、処理対象画像７５Ａ１０に対して公知の画像認識処理を行うことで、人物領域１２４により示される人物の特徴を取得し、取得した特徴に対応するデジタルフィルタ８４Ａ１０を用いた処理を処理対象画像７５Ａ１０に対して行うようにすればよい。
【0434】
非ＡＩ方式処理部６２Ｂ１０は、処理対象画像７５Ａ１０に対してデジタルフィルタ８４Ａ１０を用いた処理（すなわち、フィルタリング）を行うことで第２階調調整画像８８Ａ１０を生成する。換言すると、非ＡＩ方式処理部６２Ｂ１０は、非ＡＩ方式で処理対象画像７５Ａ１０の非ノイズ要素（ここでは、一例として、処理対象画像７５Ａ１０の階調）を調整することにより第２階調調整画像８８Ａ１０を生成する。
【0435】
ここで、デジタルフィルタ８４Ａ１０を用いた処理は、本開示の技術に係る「ニューラルネットワークを用いない非ＡＩ方式の処理」、及び「因子を非ＡＩ方式で変更する第２変更処理」の一例である。「第２階調調整画像８８Ａ１０を生成する」とは、本開示の技術に係る「第２画像を取得する」の一例である。
【0436】
デジタルフィルタ８４Ａ１０には、処理対象画像７５Ａ１０が入力される。デジタルフィルタ８４Ａ１０は、入力された処理対象画像７５Ａ１０に基づいて第２階調調整画像８８Ａ１０を生成する。第２階調調整画像８８Ａ１０は、デジタルフィルタ８４Ａ１０によって非ノイズ要素が変更されることで得られた画像（すなわち、処理対象画像７５Ａ１０に対するデジタルフィルタ８４Ａ１０を用いた処理によって非ノイズ要素が変更されることで得られた画像）である。換言すると、第２階調調整画像８８Ａ１０は、処理対象画像７５Ａ１０の階調がデジタルフィルタ８４Ａ１０によって変更された画像（すなわち、処理対象画像７５Ａ１０に対するデジタルフィルタ８４Ａ１０を用いた処理によって階調が変更された画像）である。なお、第２階調調整画像８８Ａ１０は、本開示の技術に係る「第２画像」、「第２変更画像」、及び「第２階調調整画像」の一例である。
【0437】
ところで、処理対象画像７５Ａ１０に対してＡＩ方式の処理が行われることによって得られた第１階調調整画像８６Ａ１０の階調は、生成モデル８２Ａ１０の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる階調になってしまうことがある。処理対象画像７５Ａ１０に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みとは異なる階調が目立ってしまうことも考えられる。
【0438】
そこで、このような事情に鑑み、撮像装置１０では、一例として図３７に示すように、第１階調調整画像８６Ａ１０及び第２階調調整画像８８Ａ１０に対して画像調整部６２Ｃ１０の処理及び合成部６２Ｄ１０の処理が行われることによって、第１階調調整画像８６Ａ１０と第２階調調整画像８８Ａ１０とが合成される。
【0439】
一例として図３７に示すように、ＮＶＭ６４には、割合９０Ｊが記憶されている。割合９０Ｊは、第１階調調整画像８６Ａ１０と第２階調調整画像８８Ａ１０とを合成させる割合であり、ＡＩ方式処理部６２Ａ１０によるＡＩ方式の処理（すなわち、生成モデル８２Ａ１０を用いた処理）の過不足を調整するように定められている。
【0440】
割合９０Ｊは、第１割合９０Ｊ１と第２割合９０Ｊ２とに大別される。第１割合９０Ｊ１は、０以上かつ１以下の値であり、第２割合９０Ｊ２は、“１”から第１割合９０Ｊ１の値を減じた値である。すなわち、第１割合９０Ｊ１及び第２割合９０Ｊ２は、第１割合９０Ｊ１と第２割合９０Ｊ２との和が“１”となるように定められている。第１割合９０Ｊ１及び第２割合９０Ｊ２は、ユーザからの指示によって変更される可変値である。
【0441】
画像調整部６２Ｃ１０は、ＡＩ方式処理部６２Ａ１０によって生成された第１階調調整画像８６Ａ１０を、第１割合９０Ｊ１を用いて調整する。例えば、画像調整部６２Ｃ１０は、第１階調調整画像８６Ａ１０の各画素の画素値に第１割合９０Ｊ１を乗じることにより第１階調調整画像８６Ａ１０の各画素の画素値を調整する。
【0442】
画像調整部６２Ｃ１０は、非ＡＩ方式処理部６２Ｂ１０によって生成された第２階調調整画像８８Ａ１０を、第２割合９０Ｊ２を用いて調整する。例えば、画像調整部６２Ｃ１０は、第２階調調整画像８８Ａ１０の各画素の画素値に第２割合９０Ｊ２を乗じることにより第２階調調整画像８８Ａ１０の各画素の画素値を調整する。
【0443】
合成部６２Ｄ１０は、画像調整部６２Ｃ１０によって第１割合９０Ｊ１で調整された第１階調調整画像８６Ａ１０と画像調整部６２Ｃ１０によって第２割合９０Ｊ２で調整された第２階調調整画像８８Ａ１０とを合成することで合成画像９２Ｊを生成する。すなわち、合成部６２Ｄ１０は、第１割合９０Ｊ１で調整された第１階調調整画像８６Ａ１０と第２割合９０Ｊ２で調整された第２階調調整画像８８Ａ１０とを合成することにより、ＡＩ方式処理部６２Ａ１０によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ１０は、第１割合９０Ｊ１で調整された第１階調調整画像８６Ａ１０と第２割合９０Ｊ２で調整された第２階調調整画像８８Ａ１０とを合成することにより非ノイズ要素（ここでは、一例として、処理対象画像７５Ａ１０の階調）を調整する。更に換言すると、合成部６２Ｄ１０は、第１割合９０Ｊ１で調整された第１階調調整画像８６Ａ１０と第２割合９０Ｊ２で調整された第２階調調整画像８８Ａ１０とを合成することにより、生成モデル８２Ａ１０を用いた処理に由来する要素（例えば、生成モデル８２Ａ１０によって階調が変更された画素の画素値）を調整する。
【0444】
合成部６２Ｄ１０によって行われる合成は、第１階調調整画像８６Ａ１０と第２階調調整画像８８Ａ１０との間での対応する画素位置の画素値の加算である。合成部６２Ｄ１０による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｊに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ１０によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｊは、合成部６２Ｄ１０によって既定の出力先に出力される。
【0445】
図３８には、本第９変形例に係る画像合成処理の流れの一例が示されている。図３８に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ４５０～ステップＳＴ４６８を適用した点が異なる。
【0446】
図３８に示す画像合成処理では、ステップＳＴ４５０で、ＡＩ方式処理部６２Ａ１０及び非ＡＩ方式処理部６２Ｂ１０は、イメージセンサ２０から処理対象画像７５Ａ１０を取得する。ステップＳＴ４５０の処理が実行された後、画像合成処理はステップＳＴ４５２へ移行する。
【0447】
ステップＳＴ４５２で、ＡＩ方式処理部６２Ａ１０は、ステップＳＴ４５０で取得した処理対象画像７５Ａ１０を生成モデル８２Ａ１０に入力する。ステップＳＴ４５２の処理が実行された後、画像合成処理はステップＳＴ４５４へ移行する。
【0448】
ステップＳＴ４５４で、ＡＩ方式処理部６２Ａ１０は、ステップＳＴ４５２で処理対象画像７５Ａ１０が生成モデル８２Ａ１０に入力されることによって生成モデル８２Ａ１０から出力された第１階調調整画像８６Ａ１０を取得する。ステップＳＴ４５４の処理が実行された後、画像合成処理はステップＳＴ４５６へ移行する。
【0449】
ステップＳＴ４５６で、非ＡＩ方式処理部６２Ｂ１０は、ステップＳＴ４５０で取得した処理対象画像７５Ａ１０に対してデジタルフィルタ８４Ａ１０を用いた処理を行うことで処理対象画像７５Ａ１０の階調を調整する。ステップＳＴ４５６の処理が実行された後、画像合成処理はステップＳＴ４５８へ移行する。
【0450】
ステップＳＴ４５８で、非ＡＩ方式処理部６２Ｂ１０は、ステップＳＴ４５６で処理対象画像７５Ａ１０に対してデジタルフィルタ８４Ａ１０を用いた処理が行われることによって得られた第２階調調整画像８８Ａ１０を取得する。ステップＳＴ４５８の処理が実行された後、画像合成処理はステップＳＴ４６０へ移行する。
【0451】
ステップＳＴ４６０で、画像調整部６２Ｃ１０は、ＮＶＭ６４から第１割合９０Ｊ１及び第２割合９０Ｊ２を取得する。ステップＳＴ４６０の処理が実行された後、画像合成処理はステップＳＴ４６２へ移行する。
【0452】
ステップＳＴ４６２で、画像調整部６２Ｃ１０は、ステップＳＴ４６０で取得した第１割合９０Ｊ１を用いて第１階調調整画像８６Ａ１０を調整する。ステップＳＴ４６２の処理が実行された後、画像合成処理はステップＳＴ４６４へ移行する。
【0453】
ステップＳＴ４６４で、画像調整部６２Ｃ１０は、ステップＳＴ４６０で取得した第２割合９０Ｊ２を用いて第２階調調整画像８８Ａ１０を調整する。ステップＳＴ４６４の処理が実行された後、画像合成処理はステップＳＴ４６６へ移行する。
【0454】
ステップＳＴ４６６で、合成部６２Ｄ１０は、ステップＳＴ４６２で調整された第１階調調整画像８６Ａ１０とステップＳＴ４６４で調整された第２階調調整画像８８Ａ１０とを合成することにより、ＡＩ方式処理部６２Ａ１０によるＡＩ方式の処理の過不足を調整する。ステップＳＴ４６２で調整された第１階調調整画像８６Ａ１０とステップＳＴ４６４で調整された第２階調調整画像８８Ａ１０とが合成されることによって合成画像９２Ｊが生成される。ステップＳＴ４６６の処理が実行された後、画像合成処理はステップＳＴ４６８へ移行する。
【0455】
ステップＳＴ４６８で、合成部６２Ｄ１０は、合成画像９２Ｊに対して各種の画像処理を行う。そして、合成部６２Ｄ１０は、合成画像９２Ｊに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ４６８の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0456】
以上説明したように、本第９変形例に係る撮像装置１０では、処理対象画像７５Ａ１０の階調がＡＩ方式で調整されることによって第１階調調整画像８６Ａ１０が生成される。また、処理対象画像７５Ａ１０の階調が非ＡＩ方式で調整されることによって第２階調調整画像８８Ａ１０が生成される。そして、第１階調調整画像８６Ａ１０と第２階調調整画像８８Ａ１０とが合成される。これにより、合成画像９２Ｊに対して、ＡＩ方式の処理での階調の調整量が過不足することを抑制することができる。この結果、合成画像９２Ｊは、第１階調調整画像８６Ａ１０に比べ、ＡＩ方式の処理での階調の調整量が目立ち難い画像になり、ＡＩ方式の処理での階調の調整量を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0457】
本第９変形例では、ＡＩ方式での処理対象画像７５Ａ１０の階調が人物領域１２４に応じて調整されることによって第１階調調整画像８６Ａ１０が生成される。また、非ＡＩ方式での処理対象画像７５Ａ１０の階調が人物領域１２４に応じて調整されることによって第２階調調整画像８８Ａ１０が生成される。そして、第１階調調整画像８６Ａ１０と第２階調調整画像８８Ａ１０とが合成される。これにより、合成画像９２Ｊに対して、ＡＩ方式で人物領域１２４に応じて階調を調整した調整量が過不足することを抑制することができる。
【0458】
ここでは、人物領域１２４に応じて階調が調整される形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、背景領域１２６に応じて階調が調整されるようにしてもよい。また、人物領域１２４と背景領域１２６との組み合わせに応じて階調が調整されるようにしてもよい。また、人物領域１２４及び背景領域１２６以外の領域（例えば、特定の車両が写っている領域、特定の動物が写っている領域、特定の植物が写っている領域、特定の建物が写っている領域、及び／又は特定の航空機が写っている領域等）に応じて階調が調整されるようにしてもよい。
【0459】
また、ここでは、処理対象画像７５Ａ１０に対して生成モデル８２Ａ１０を用いた処理が行われることによって得られた第１階調調整画像８６Ａ１０と処理対象画像７５Ａ１０に対してデジタルフィルタ８４Ａ１０を用いた処理が行われることによって得られた第２階調調整画像８８Ａ１０が合成される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、処理対象画像７５Ａ１０に対して生成モデル８２Ａ１０を用いた処理が行われることによって得られた第１階調調整画像８６Ａ１０と処理対象画像７５Ａ１０（すなわち、非ノイズ要素が調整されていない画像）とが合成されてもよい。この場合も、同様の効果が期待できる。
【0460】
［第１０変形例］
一例として図３９に示すように、本第１０変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１１を有する点が異なる。本第１０変形例では、本第１０変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１０変形例よりも前で説明した事項と異なる事項について説明する。
一例として図３９に示すように、本第１０変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１１を有する点が異なる。本第１０変形例では、本第１０変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１０変形例よりも前で説明した事項と異なる事項について説明する。
【0461】
ＡＩ方式処理部６２Ａ１１には、処理対象画像７５Ａ１１が入力される。処理対象画像７５Ａ１１は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ１１は、有彩色画像である。ここでは、処理対象画像７５Ａ１１として有彩色画像を例示しているが、これは、あくまでも一例に過ぎず、処理対象画像７５Ａ１１は、無彩色画像であってもよい。
【0462】
ＡＩ方式処理部６２Ａ１１は、処理対象画像７５Ａ１１に対してＡＩ方式の処理を行う。処理対象画像７５Ａ１１に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ１１を用いた処理が挙げられる。生成モデル８２Ａ１１は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ１１は、処理対象画像７５Ａ１１の画風を変更する学習が既に行われた生成ネットワークである。
【0463】
ここで、処理対象画像７５Ａ１０の画風は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「処理対象画像の画風」の一例である。
【0464】
ＡＩ方式処理部６２Ａ１１は、ＡＩ方式で、処理対象画像７５Ａ１１から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ１１は、処理対象画像７５Ａ１１に対して生成モデル８２Ａ１１を用いた処理を行うことで、処理対象画像７５Ａ１１の非ノイズ要素として、処理対象画像７５Ａ１１から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ１１から与えられる視覚的に印象を司る因子は、処理対象画像７５Ａ１１の画風である。図３９に示す例において、ＡＩ方式処理部６２Ａ１１は、処理対象画像７５Ａ１１に対して生成モデル８２Ａ１１を用いた処理を行うことで画風変更画像８６Ａ１１を生成する。画風変更画像８６Ａ１１は、処理対象画像７５Ａ１１の画風が変更された画像である。図３９に示す例において、画風変更画像８６Ａ１１の画風は、処理対象画像７５Ａ１１の画風に比べ、複数の渦巻き模様が付け足されている点が異なる。
【0465】
ここで、生成モデル８２Ａ１１を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「画風変更処理」の一例である。画風変更画像８６Ａ１１は、本開示の技術に係る「第１変更画像」及び「画風変更画像」の一例である。処理対象画像７５Ａ１１は、本開示の技術に係る「第２画像」の一例である。「画風変更画像８６Ａ１１を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0466】
生成モデル８２Ａ１１には、処理対象画像７５Ａ１１が入力される。生成モデル８２Ａ１１は、入力された処理対象画像７５Ａ１１に基づいて画風変更画像８６Ａ１１を生成して出力する。
【0467】
ところで、処理対象画像７５Ａ１１に対してＡＩ方式の処理が行われることによって得られた画風変更画像８６Ａ１１の画風は、生成モデル８２Ａ１１の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる画風になってしまうことがある。処理対象画像７５Ａ１１に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みとは異なる画風が目立ってしまうことも考えられる。
【0468】
そこで、このような事情に鑑み、撮像装置１０では、一例として図４０に示すように、画風変更画像８６Ａ１１及び処理対象画像７５Ａ１１に対して画像調整部６２Ｃ１１の処理及び合成部６２Ｄ１１の処理が行われることによって、画風変更画像８６Ａ１１と処理対象画像７５Ａ１１とが合成される。
【0469】
一例として図４０に示すように、ＮＶＭ６４には、割合９０Ｋが記憶されている。割合９０Ｋは、画風変更画像８６Ａ１１と処理対象画像７５Ａ１１とを合成させる割合であり、ＡＩ方式処理部６２Ａ１１によるＡＩ方式の処理（すなわち、生成モデル８２Ａ１１を用いた処理）の過不足を調整するように定められている。
【0470】
割合９０Ｋは、第１割合９０Ｋ１と第２割合９０Ｋ２とに大別される。第１割合９０Ｋ１は、０以上かつ１以下の値であり、第２割合９０Ｋ２は、“１”から第１割合９０Ｋ１の値を減じた値である。すなわち、第１割合９０Ｋ１及び第２割合９０Ｋ２は、第１割合９０Ｋ１と第２割合９０Ｋ２との和が“１”となるように定められている。第１割合９０Ｋ１及び第２割合９０Ｋ２は、ユーザからの指示によって変更される可変値である。
【0471】
画像調整部６２Ｃ１１は、ＡＩ方式処理部６２Ａ１１によって生成された画風変更画像８６Ａ１１を、第１割合９０Ｋ１を用いて調整する。例えば、画像調整部６２Ｃ１１は、画風変更画像８６Ａ１１の各画素の画素値に第１割合９０Ｋ１を乗じることにより画風変更画像８６Ａ１１の各画素の画素値を調整する。
【0472】
画像調整部６２Ｃ１１は、処理対象画像７５Ａ１１を、第２割合９０Ｋ２を用いて調整する。例えば、画像調整部６２Ｃ１１は、処理対象画像７５Ａ１１の各画素の画素値に第２割合９０Ｋ２を乗じることにより処理対象画像７５Ａ１１の各画素の画素値を調整する。
【0473】
合成部６２Ｄ１１は、画像調整部６２Ｃ１１によって第１割合９０Ｋ１で調整された画風変更画像８６Ａ１１と画像調整部６２Ｃ１１によって第２割合９０Ｋ２で調整された処理対象画像７５Ａ１１とを合成することで合成画像９２Ｋを生成する。すなわち、合成部６２Ｄ１１は、第１割合９０Ｋ１で調整された画風変更画像８６Ａ１１と第２割合９０Ｋ２で調整された処理対象画像７５Ａ１１とを合成することにより、ＡＩ方式処理部６２Ａ１１によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ１１は、第１割合９０Ｋ１で調整された画風変更画像８６Ａ１１と第２割合９０Ｋ２で調整された処理対象画像７５Ａ１１とを合成することにより非ノイズ要素（ここでは、一例として、処理対象画像７５Ａ１１の画風）を調整する。更に換言すると、合成部６２Ｄ１１は、第１割合９０Ｋ１で調整された画風変更画像８６Ａ１１と第２割合９０Ｋ２で調整された処理対象画像７５Ａ１１とを合成することにより、生成モデル８２Ａ１１を用いた処理に由来する要素（例えば、生成モデル８２Ａ１１によって画風が変更された画素の画素値）を調整する。
【0474】
合成部６２Ｄ１１によって行われる合成は、画風変更画像８６Ａ１１と処理対象画像７５Ａ１１との間での対応する画素位置の画素値の加算である。合成部６２Ｄ１１による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｋに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ１１によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｋは、合成部６２Ｄ１１によって既定の出力先に出力される。
【0475】
図４１には、本第１０変形例に係る画像合成処理の流れの一例が示されている。図４１に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ５００～ステップＳＴ５１４を適用した点が異なる。
【0476】
図４１に示す画像合成処理では、ステップＳＴ５００で、ＡＩ方式処理部６２Ａ１１は、イメージセンサ２０から処理対象画像７５Ａ１１を取得する。ステップＳＴ５００の処理が実行された後、画像合成処理はステップＳＴ５０２へ移行する。
【0477】
ステップＳＴ５０２で、ＡＩ方式処理部６２Ａ１１は、ステップＳＴ５００で取得した処理対象画像７５Ａ１１を生成モデル８２Ａ１１に入力する。ステップＳＴ５１２の処理が実行された後、画像合成処理はステップＳＴ５０４へ移行する。
【0478】
ステップＳＴ５０４で、ＡＩ方式処理部６２Ａ１１は、ステップＳＴ５１２で処理対象画像７５Ａ１１が生成モデル８２Ａ１１に入力されることによって生成モデル８２Ａ１１から出力された画風変更画像８６Ａ１１を取得する。ステップＳＴ５１４の処理が実行された後、画像合成処理はステップＳＴ５０６へ移行する。
【0479】
ステップＳＴ５０６で、画像調整部６２Ｃ１１は、ＮＶＭ６４から第１割合９０Ｋ１及び第２割合９０Ｋ２を取得する。ステップＳＴ５０６の処理が実行された後、画像合成処理はステップＳＴ５０８へ移行する。
【0480】
ステップＳＴ５０８で、画像調整部６２Ｃ１１は、ステップＳＴ５０６で取得した第１割合９０Ｋ１を用いて画風変更画像８６Ａ１１を調整する。ステップＳＴ５０８の処理が実行された後、画像合成処理はステップＳＴ５１０へ移行する。
【0481】
ステップＳＴ５１０で、画像調整部６２Ｃ１１は、ステップＳＴ５０６で取得した第２割合９０Ｋ２を用いて処理対象画像７５Ａ１１を調整する。ステップＳＴ５１０の処理が実行された後、画像合成処理はステップＳＴ５１２へ移行する。
【0482】
ステップＳＴ５１２で、合成部６２Ｄ１１は、ステップＳＴ５０８で調整された画風変更画像８６Ａ１１とステップＳＴ５１０で調整された処理対象画像７５Ａ１１とを合成することにより、ＡＩ方式処理部６２Ａ１１によるＡＩ方式の処理の過不足を調整する。ステップＳＴ５０８で調整された画風変更画像８６Ａ１１とステップＳＴ５１０で調整された処理対象画像７５Ａ１１とが合成されることによって合成画像９２Ｋが生成される。ステップＳＴ５１２の処理が実行された後、画像合成処理はステップＳＴ５１４へ移行する。
【0483】
ステップＳＴ５１４で、合成部６２Ｄ１１は、合成画像９２Ｋに対して各種の画像処理を行う。そして、合成部６２Ｄ１１は、合成画像９２Ｋに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ５１４の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0484】
以上説明したように、本第１０変形例に係る撮像装置１０では、処理対象画像７５Ａ１１の画風がＡＩ方式で調整されることによって画風変更画像８６Ａ１１が生成される。そして、画風変更画像８６Ａ１１と処理対象画像７５Ａ１１とが合成される。これにより、合成画像９２Ｋに対して、ＡＩ方式で変更された画風が過不足することを抑制することができる。この結果、合成画像９２Ｋは、画風変更画像８６Ａ１１に比べ、ＡＩ方式で変更された画風が目立ち難い画像になり、ＡＩ方式で変更された画風を過度に目立たせることを好まないユーザに対して好適な画像を提供することができる。
【0485】
［第１１変形例］
一例として図４２に示すように、本第１１変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１２を有する点が異なる。本第１１変形例では、本第１１変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１１変形例よりも前で説明した事項と異なる事項について説明する。
一例として図４２に示すように、本第１１変形例に係るプロセッサ６２は、図４に示すプロセッサ６２に比べ、ＡＩ方式処理部６２Ａ１に代えてＡＩ方式処理部６２Ａ１２を有する点が異なる。本第１１変形例では、本第１１変形例よりも前で説明した事項と同一の事項についての説明を省略し、本第１１変形例よりも前で説明した事項と異なる事項について説明する。
【0486】
ＡＩ方式処理部６２Ａ１２には、処理対象画像７５Ａ１２が入力される。処理対象画像７５Ａ１２は、図２に示す処理対象画像７５Ａの一例である。処理対象画像７５Ａ１２は、有彩色画像である。ここでは、処理対象画像７５Ａ１２として有彩色画像を例示しているが、これは、あくまでも一例に過ぎず、処理対象画像７５Ａ１２は、無彩色画像であってもよい。
【0487】
処理対象画像７５Ａ１２は、人物領域１２８を有する。人物領域１２８は、人物を示す画像領域である。人物領域１２８は、肌を示す肌領域１２８Ａを有する。また、肌領域１２８Ａには、シミ領域１２８Ａ１が含まれている。シミ領域１２８Ａ１は、肌に生じるシミを示す画像領域である。なお、ここでは、シミを例示しているが、シミに限らず、ホクロ及び／又は傷等であってもよく、肌の審美性を妨げる要素であればよい。
【0488】
ＡＩ方式処理部６２Ａ１２は、処理対象画像７５Ａ１２に対してＡＩ方式の処理を行う。処理対象画像７５Ａ１２に対するＡＩ方式の処理の一例としては、生成モデル８２Ａ１２を用いた処理が挙げられる。生成モデル８２Ａ１２は、図３に示す生成モデル８２Ａの一例である。生成モデル８２Ａ１２は、処理対象画像７５Ａ１２に写っている肌に関する画質（すなわち、肌領域１２８Ａの画質）を調整する学習が既に行われた生成ネットワークである。肌に関する画質の調整とは、例えば、処理対象画像７５Ａ１２内のシミ領域１２８Ａ１を目立たなくする修正（例えば、シミ領域１２８Ａ１の消去）を指す。
【0489】
ここで、肌領域１２８Ａの画質は、本開示の技術に係る「処理対象画像の非ノイズ要素」、「処理対象画像から与えられる視覚的な印象を司る因子」、及び「肌に関する画質」の一例である。
【0490】
ＡＩ方式処理部６２Ａ１２は、ＡＩ方式で、処理対象画像７５Ａ１２から与えられる視覚的に印象を司る因子を変更する。すなわち、ＡＩ方式処理部６２Ａ１２は、処理対象画像７５Ａ１２に対して生成モデル８２Ａ１２を用いた処理を行うことで、処理対象画像７５Ａ１２の非ノイズ要素として、処理対象画像７５Ａ１２から与えられる視覚的に印象を司る因子を変更する。処理対象画像７５Ａ１２から与えられる視覚的に印象を司る因子は、肌領域１２８Ａの画質である。図４２に示す例において、ＡＩ方式処理部６２Ａ１２は、処理対象画像７５Ａ１２に対して生成モデル８２Ａ１２を用いた処理を行うことで肌画質調整画像８６Ａ１２を生成する。肌画質調整画像８６Ａ１２は、処理対象画像７５Ａ１２に含まれる肌領域１２８Ａの画質が調整された画像である。図４２に示す例において、肌画質調整画像８６Ａ１２は、処理対象画像７５Ａ１２に比べ、シミ領域１２８Ａ１が消去されている点が異なる。
【0491】
ここで、生成モデル８２Ａ１２を用いた処理は、本開示の技術に係る「第１ＡＩ処理」、「第１変更処理」及び「肌画質調整処理」の一例である。肌画質調整画像８６Ａ１２は、本開示の技術に係る「第１変更画像」及び「肌画質調整画像」の一例である。処理対象画像７５Ａ１２は、本開示の技術に係る「第２画像」の一例である。「肌画質調整画像８６Ａ１２を生成する」とは、本開示の技術に係る「第１画像を取得する」の一例である。
【0492】
生成モデル８２Ａ１２には、処理対象画像７５Ａ１２が入力される。生成モデル８２Ａ１２は、入力された処理対象画像７５Ａ１２に基づいて肌画質調整画像８６Ａ１２を生成して出力する。
【0493】
ところで、処理対象画像７５Ａ１２に対してＡＩ方式の処理が行われることによって得られた肌画質調整画像８６Ａ１２の肌領域１２８Ａの画質は、生成モデル８２Ａ１２の特性（例えば、中間層数及び／又は学習量等）に起因して、ユーザの好みとは異なる画質になってしまうことがある。処理対象画像７５Ａ１２に対して、ＡＩ方式の処理の影響が過度に反映されると、ユーザの好みとは異なる画質が目立ってしまうことも考えられる。例えば、シミ領域１２８Ａ１が完全に消去されることによって不自然な画像になってしまう虞がある。
【0494】
そこで、このような事情に鑑み、撮像装置１０では、一例として図４３に示すように、肌画質調整画像８６Ａ１２及び処理対象画像７５Ａ１２に対して画像調整部６２Ｃ１２の処理及び合成部６２Ｄ１２の処理が行われることによって、肌画質調整画像８６Ａ１２と処理対象画像７５Ａ１２とが合成される。
【0495】
一例として図４３に示すように、ＮＶＭ６４には、割合９０Ｌが記憶されている。割合９０Ｌは、肌画質調整画像８６Ａ１２と処理対象画像７５Ａ１２とを合成させる割合であり、ＡＩ方式処理部６２Ａ１２によるＡＩ方式の処理（すなわち、生成モデル８２Ａ１２を用いた処理）の過不足を調整するように定められている。
【0496】
割合９０Ｌは、第１割合９０Ｌ１と第２割合９０Ｌ２とに大別される。第１割合９０Ｌ１は、０以上かつ１以下の値であり、第２割合９０Ｌ２は、“１”から第１割合９０Ｌ１の値を減じた値である。すなわち、第１割合９０Ｌ１及び第２割合９０Ｌ２は、第１割合９０Ｌ１と第２割合９０Ｌ２との和が“１”となるように定められている。第１割合９０Ｌ１及び第２割合９０Ｌ２は、ユーザからの指示によって変更される可変値である。
【0497】
画像調整部６２Ｃ１２は、ＡＩ方式処理部６２Ａ１２によって生成された肌画質調整画像８６Ａ１２を、第１割合９０Ｌ１を用いて調整する。例えば、画像調整部６２Ｃ１２は、肌画質調整画像８６Ａ１２の各画素の画素値に第１割合９０Ｌ１を乗じることにより肌画質調整画像８６Ａ１２の各画素の画素値を調整する。
【0498】
画像調整部６２Ｃ１２は、処理対象画像７５Ａ１２を、第２割合９０Ｌ２を用いて調整する。例えば、画像調整部６２Ｃ１２は、処理対象画像７５Ａ１２の各画素の画素値に第２割合９０Ｌ２を乗じることにより処理対象画像７５Ａ１２の各画素の画素値を調整する。
【0499】
合成部６２Ｄ１２は、画像調整部６２Ｃ１２によって第１割合９０Ｌ１で調整された肌画質調整画像８６Ａ１２と画像調整部６２Ｃ１２によって第２割合９０Ｌ２で調整された処理対象画像７５Ａ１２とを合成することで合成画像９２Ｌを生成する。すなわち、合成部６２Ｄ１２は、第１割合９０Ｌ１で調整された肌画質調整画像８６Ａ１２と第２割合９０Ｌ２で調整された処理対象画像７５Ａ１２とを合成することにより、ＡＩ方式処理部６２Ａ１２によるＡＩ方式の処理の過不足を調整する。換言すると、合成部６２Ｄ１２は、第１割合９０Ｌ１で調整された肌画質調整画像８６Ａ１２と第２割合９０Ｌ２で調整された処理対象画像７５Ａ１２とを合成することにより非ノイズ要素（ここでは、一例として、肌領域１２８Ａの画質）を調整する。更に換言すると、合成部６２Ｄ１２は、第１割合９０Ｌ１で調整された肌画質調整画像８６Ａ１２と第２割合９０Ｌ２で調整された処理対象画像７５Ａ１２とを合成することにより、生成モデル８２Ａ１２を用いた処理に由来する要素（例えば、生成モデル８２Ａ１２によって画質が変更された画素の画素値）を調整する。
【0500】
合成部６２Ｄ１２によって行われる合成は、肌画質調整画像８６Ａ１２と処理対象画像７５Ａ１２との間での対応する画素位置の画素値の加算である。合成部６２Ｄ１２による合成は、図５に示す合成部６２Ｄ１による合成と同様の要領で行われる。また、合成画像９２Ｌに対しても、図５に示す合成画像９２Ａと同様の要領で、合成部６２Ｄ１２によって各種の画像処理が行われる。そして、各種の画像処理が行われた合成画像９２Ｌは、合成部６２Ｄ１２によって既定の出力先に出力される。
【0501】
図４４には、本第１１変形例に係る画像合成処理の流れの一例が示されている。図４４に示すフローチャートは、図６に示すフローチャートに比べ、ステップＳＴ１２～ステップＳＴ３０に代えてステップＳＴ５５０～ステップＳＴ５６４を適用した点が異なる。
【0502】
図４４に示す画像合成処理では、ステップＳＴ５５０で、ＡＩ方式処理部６２Ａ１２は、イメージセンサ２０から処理対象画像７５Ａ１２を取得する。ステップＳＴ５５０の処理が実行された後、画像合成処理はステップＳＴ５５２へ移行する。
【0503】
ステップＳＴ５５２で、ＡＩ方式処理部６２Ａ１２は、ステップＳＴ５５０で取得した処理対象画像７５Ａ１２を生成モデル８２Ａ１２に入力する。ステップＳＴ５５２の処理が実行された後、画像合成処理はステップＳＴ５５４へ移行する。
【0504】
ステップＳＴ５５４で、ＡＩ方式処理部６２Ａ１２は、ステップＳＴ５５２で処理対象画像７５Ａ１２が生成モデル８２Ａ１２に入力されることによって生成モデル８２Ａ１２から出力された肌画質調整画像８６Ａ１２を取得する。ステップＳＴ５５４の処理が実行された後、画像合成処理はステップＳＴ５５６へ移行する。
【0505】
ステップＳＴ５５６で、画像調整部６２Ｃ１２は、ＮＶＭ６４から第１割合９０Ｌ１及び第２割合９０Ｌ２を取得する。ステップＳＴ５５６の処理が実行された後、画像合成処理はステップＳＴ５５８へ移行する。
【0506】
ステップＳＴ５５８で、画像調整部６２Ｃ１２は、ステップＳＴ５５６で取得した第１割合９０Ｌ１を用いて肌画質調整画像８６Ａ１２を調整する。ステップＳＴ５５８の処理が実行された後、画像合成処理はステップＳＴ５６０へ移行する。
【0507】
ステップＳＴ５６０で、画像調整部６２Ｃ１２は、ステップＳＴ５５６で取得した第２割合９０Ｌ２を用いて処理対象画像７５Ａ１２を調整する。ステップＳＴ５６０の処理が実行された後、画像合成処理はステップＳＴ５６２へ移行する。
【0508】
ステップＳＴ５６２で、合成部６２Ｄ１２は、ステップＳＴ５５８で調整された肌画質調整画像８６Ａ１２とステップＳＴ５６０で調整された処理対象画像７５Ａ１２とを合成することにより、ＡＩ方式処理部６２Ａ１１によるＡＩ方式の処理の過不足を調整する。ステップＳＴ５５８で調整された肌画質調整画像８６Ａ１２とステップＳＴ５６０で調整された処理対象画像７５Ａ１２とが合成されることによって合成画像９２Ｌが生成される。ステップＳＴ５６２の処理が実行された後、画像合成処理はステップＳＴ５６４へ移行する。
【0509】
ステップＳＴ５６４で、合成部６２Ｄ１２は、合成画像９２Ｌに対して各種の画像処理を行う。そして、合成部６２Ｄ１２は、合成画像９２Ｌに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ５６４の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0510】
以上説明したように、本第１１変形例に係る撮像装置１０では、処理対象画像７５Ａ１２の肌領域１２８Ａの画質がＡＩ方式で調整されることによって肌画質調整画像８６Ａ１２が生成される。そして、肌画質調整画像８６Ａ１２と処理対象画像７５Ａ１２とが合成される。これにより、合成画像９２Ｌに対して、ＡＩ方式で調整された画質の調整量が過不足することを抑制することができる。この結果、合成画像９２Ｌは、肌画質調整画像８６Ａ１２に比べ、ＡＩ方式で変更された画質の調整量が目立ち難い画像になり、ＡＩ方式で変更された画質の調整量を過度に目立たせることを好まないユーザ（例えば、シミ領域１２８Ａ１が完全に消去されることを望まないユーザ）に対して好適な画像を提供することができる。
【0511】
ここでは、シミ領域１２８Ａ１が消去される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ＡＩ方式で、肌領域１２８Ａの輝度が変更されたり、肌領域１２８Ａの色が変更されたりすることにより、処理対象画像７５Ａ１２に写っている肌が美肌化されるようにしてもよい。この場合も、過度な美肌化によって画像に写っている人物の肌が不自然な見た目にならないように、上記のステップＳＴ５５６～ステップＳＴ５６４の処理が行われるようにする。
【0512】
以下では、説明の便宜上、処理対象画像７５Ａ１～７５Ａ１２を区別して説明する必要がない場合、「処理対象画像７５Ａ」と称する。また、以下では、説明の便宜上、割合９０Ａ～９０Ｌを区別して説明する必要がない場合、「割合９０」と称する。また、以下では、説明の便宜上、第１収差補正画像８６Ａ１、第１彩色画像８６Ａ２、第１コントラスト調整画像８６Ａ３、第１解像度調整画像８６Ａ４、第１ＨＤＲ画像８６Ａ５、第１エッジ強調画像８６Ａ６、第１点像調整画像８６Ａ７、第１暈し画像８６Ａ８、第１玉ぼけ画像８６Ａ９、第１階調調整画像８６Ａ１０、画風変更画像８６Ａ１１、及び肌画質調整画像８６Ａ１２を区別して説明する必要がない場合、「第１画像８６Ａ」と称する。第２収差補正画像８８Ａ１、第２彩色画像８８Ａ２、第２コントラスト調整画像８８Ａ３、第２解像度調整画像８８Ａ４、第２ＨＤＲ画像８８Ａ５、第２エッジ強調画像８８Ａ６、第２点像調整画像８８Ａ７、第２暈し画像８８Ａ８、第２玉ぼけ画像８８Ａ９、第２階調調整画像８８Ａ１０、処理対象画像７５Ａ１１、及び処理対象画像７５Ａ１２を区別して説明する必要がない場合、「第２画像８８Ａ」と称する。また、以下では、説明の便宜上、生成モデル８２Ａ１～８２Ａ１２を区別して説明する必要がない場合、「生成モデル８２Ａ」と称する。また、以下では、説明の便宜上、ＡＩ方式処理部６２Ａ１～６２Ａ１２を区別して説明する必要がない場合、「ＡＩ方式処理部６２Ａ」と称する。また、以下では、説明の便宜上、合成画像９２Ａ～９２Ｌを区別して説明する必要がない場合、「合成画像９２」と称する。
【0513】
［第１２変形例］
図１～図４４に示す例では、プロセッサ６２がＡＩ方式で目的別に単一の処理を行うことで第１画像８６Ａを生成する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プロセッサ６２がＡＩ方式で複数の処理を行うようにしてもよい。
図１～図４４に示す例では、プロセッサ６２がＡＩ方式で目的別に単一の処理を行うことで第１画像８６Ａを生成する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、プロセッサ６２がＡＩ方式で複数の処理を行うようにしてもよい。
【0514】
この場合、一例として図４５に示すように、ＡＩ方式処理部６２Ａ１３は、処理対象画像７５Ａに対してＡＩ方式で複数の目的別処理１３０を行う。すなわち、ＡＩ方式処理部６２Ａ１３は、処理対象画像７５Ａに対して複数の生成モデル８２Ａを用いた処理を行う。処理対象画像７５Ａに対してＡＩ方式で複数の目的別処理１３０が行われることによって複数処理画像１３２が生成される。複数処理画像１３２と第２画像８８Ａは、割合９０で合成される。
【0515】
複数の目的別処理１３０には、収差補正処理１３０Ａ、点像調整処理１３０Ｂ、階調調整処理１３０Ｃ、コントラスト調整処理１３０Ｄ、ダイナミックレンジ調整処理１３０Ｅ、解像度調整処理１３０Ｆ、エッジ強調処理１３０Ｇ、明瞭度調整処理１３０Ｈ、玉ぼけ生成処理１３０Ｉ、暈し付与処理１３０Ｊ、肌画質調整処理１３０Ｋ、彩色調整処理１３０Ｌ、及び画風変更処理１３０Ｍが含まれる。
【0516】
収差補正処理１３０Ａの一例としては、図４に示すＡＩ方式処理部６２Ａ１によって行われる処理が挙げられる。点像調整処理１３０Ｂの一例としては、図２５に示すＡＩ方式処理部６２Ａ７によって行われる処理が挙げられる。階調調整処理１３０Ｃの一例としては、図３６に示すＡＩ方式処理部６２Ａ１０によって行われる処理が挙げられる。コントラスト調整処理１３０Ｄの一例としては、ＡＩ方式処理部６２Ａ３によって行われえる処理が挙げられる。ダイナミックレンジ調整処理１３０Ｅの一例としては、図１９に示すＡＩ方式処理部６２Ａ５によって行われる処理が挙げられる。解像度調整処理１３０Ｆの一例としては、図１６に示すＡＩ方式処理部６２Ａ４によって行われる処理が挙げられる。エッジ強調処理１３０Ｇの一例としては、図２２に示すＡＩ方式処理部６２Ａ６によって行われる処理が挙げられる。明瞭度調整処理１３０Ｈの一例としては、図１４に示すＡＩ方式処理部６２Ａ３によって行われる処理が挙げられる。玉ぼけ生成処理１３０Ｉの一例としては、図３１に示すＡＩ方式処理部６２Ａ９によって行われる処理が挙げられる。暈し付与処理１３０Ｊの一例としては、図２８に示すＡＩ方式処理部６２Ａ８によって行われる処理が挙げられる。肌画質調整処理１３０Ｋの一例としては、図４２に示すＡＩ方式処理部６２Ａ１２によって行われる処理が挙げられる。彩色調整処理１３０Ｌの一例としては、図７に示すＡＩ方式処理部６２Ａ２によって行われる処理が挙げられる。画風変更処理１３０Ｍの一例としては、図３９に示すＡＩ方式処理部６２Ａ１１によって行われる処理が挙げられる。
【0517】
複数の目的別処理１３０は、処理対象画像７５Ａに与える影響の度合いに基づく順番で行われる。例えば、複数の目的別処理１３０は、処理対象画像７５Ａに与える影響の度合いが小さい目的別処理１３０から処理対象画像７５Ａに与える影響の度合いが大きい目的別処理１３０にかけて段階的に行われる。図４５に示す例では、処理対象画像７５Ａに対して行われる処理が、収差補正処理１３０Ａ、点像調整処理１３０Ｂ、階調調整処理１３０Ｃ、コントラスト調整処理１３０Ｄ、ダイナミックレンジ調整処理１３０Ｅ、解像度調整処理１３０Ｆ、エッジ強調処理１３０Ｇ、明瞭度調整処理１３０Ｈ、玉ぼけ生成処理１３０Ｉ、暈し付与処理１３０Ｊ、肌画質調整処理１３０Ｋ、彩色調整処理１３０Ｌ、及び画風変更処理１３０Ｍの順に行われる。
【0518】
このように、本第１２変形例では、処理対象画像７５Ａに対してＡＩ方式で複数の目的別処理１３０が行われ、これにより得られた複数処理画像１３２と第２画像８８Ａとが割合９０で合成されるので、図１～図４４に示す例と同様の効果が得られる。
【0519】
また、本第１２変形例では、複数の目的別処理１３０が、処理対象画像７５Ａに与える影響の度合いに基づく順番で行われるので、処理対象画像７５Ａに与える影響の度合いを考慮せずに決めた順番で複数の目的別処理１３０が処理対象画像７５Ａに対して行われる場合に比べ、複数処理画像１３２の見た目が不自然になることを抑制することができる。
【0520】
また、本第１２変形例では、複数の目的別処理１３０は、処理対象画像７５Ａに与える影響の度合いが小さい目的別処理１３０から処理対象画像７５Ａに与える影響の度合いが大きい目的別処理１３０にかけて段階的に行われる。従って、複数の目的別処理１３０が処理対象画像７５Ａに与える影響の度合いが大きい目的別処理１３０から処理対象画像７５Ａに与える影響の度合いが小さい目的別処理１３０にかけて段階的に行われる場合に比べ、複数処理画像１３２の見た目が不自然になることを抑制することができる。
【0521】
［第１３変形例］
図１～図４５に示す例では、ユーザからの指示に従って割合９０が決められる形態例を挙げたが、本開示の技術はこれに限定されず、他の方法で割合９０が決められてもよい。例えば、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いが過度に大きい場合、或いは、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いが過度に小さい場合、ＡＩ方式の処理が第１画像８６Ａに与える影響が大きいと判断することができる。そこで、割合９０は、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違い、或いは、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いに応じて定められるようにしてもよい。
図１～図４５に示す例では、ユーザからの指示に従って割合９０が決められる形態例を挙げたが、本開示の技術はこれに限定されず、他の方法で割合９０が決められてもよい。例えば、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いが過度に大きい場合、或いは、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いが過度に小さい場合、ＡＩ方式の処理が第１画像８６Ａに与える影響が大きいと判断することができる。そこで、割合９０は、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違い、或いは、処理対象画像７５Ａと第１画像８６Ａとの違い、又は、第１画像８６Ａと第２画像８８Ａとの違いに応じて定められるようにしてもよい。
【0522】
この場合、例えば、図４６に示すように、プロセッサ６２は、処理対象画像７５Ａと第１画像８６Ａとの差分１３４に基づいて割合９０を導出する。割合９０は、差分１３４を独立変数とし、割合９０を従属変数とした演算式から算出されるようにしてもよいし、差分１３４と割合９０とが対応付けられたテーブルから割合９０が導出されるようにしてもよい。また、差分１３４に代えて除算値を用いてもよい。差分１３４に代えて用いる除算値の一例としては、処理対象画像７５Ａに含まれる複数の画素（例えば、全画素又は主要被写体が写っている領域を構成する複数の画素）の画素値の統計値（例えば、平均画素値）及び第１画像８６Ａに含まれる複数の画素（例えば、全画素又は主要被写体が写っている領域を構成する複数の画素）の画素値の統計値（例えば、平均画素値）のうちの一方に対する他方の割合が挙げられる。
【0523】
また、例えば、図４７に示すように、プロセッサ６２は、第１画像８６Ａと第２画像８８Ａとの差分１３６に基づいて割合９０を導出するようにしてもよい。この場合も、差分１３６を独立変数とし、割合９０を従属変数とした演算式から割合９０が算出されるようにしてもよいし、差分１３６と割合９０とが対応付けられたテーブルから割合９０が導出されるようにしてもよい。また、差分１３６に代えて除算値を用いてもよい。差分１３６に代えて用いる除算値の一例としては、第１画像８６Ａに含まれる複数の画素（例えば、全画素又は主要被写体が写っている領域を構成する複数の画素）の画素値の統計値（例えば、平均画素値）及び第２画像８８Ａに含まれる複数の画素（例えば、全画素又は主要被写体が写っている領域を構成する複数の画素）の画素値の統計値（例えば、平均画素値）のうちの一方に対する他方の割合が挙げられる。
【0524】
また、差分１３４及び１３６に基づいて割合９０が導出されるようにしてもよい。この場合、差分１３４及び１３６を独立変数とし、割合９０を従属変数とした演算式から割合９０が算出されるようにしてもよいし、差分１３４及び１３６と割合９０とが対応付けられたテーブルから割合９０が導出されるようにしてもよい。
【0525】
このように、本第１３変形例によれば、割合９０が、処理対象画像７５Ａと第１画像８６Ａとの違い、及び／又は、第１画像８６Ａと第２画像８８Ａとの違いに基づいて定められる。従って、割合９０が第１画像８６Ａを考慮せずに定められた固定値である場合に比べ、第１画像８６Ａと第２画像８８Ａとを合成して得た画像の見た目が、ＡＩ方式の処理の影響に起因して不自然になることを抑制することができる。
【0526】
［第１４変形例］
一例として図４８に示すように、プロセッサ６２は、処理対象画像７５Ａに関連する関連情報１３８に応じて割合９０を調整するようにしてもよい。ここで、関連情報１３８の第１例としては、イメージセンサ２０の感度に関連する情報（例えば、ＩＳＯ感度等）が挙げられる。関連情報１３８の第２例としては、処理対象画像７５Ａの明るさに関する情報（例えば、処理対象画像７５Ａの画素値の平均値、中央値、又は最頻値等）が挙げられる。関連情報１３８の第３例としては、処理対象画像７５Ａの空間周波数を示す情報が挙げられる。関連情報１３８の第４例としては、処理対象画像７５Ａ内の被写体画像（例えば、人物画像又は部位画像等）が挙げられる。
一例として図４８に示すように、プロセッサ６２は、処理対象画像７５Ａに関連する関連情報１３８に応じて割合９０を調整するようにしてもよい。ここで、関連情報１３８の第１例としては、イメージセンサ２０の感度に関連する情報（例えば、ＩＳＯ感度等）が挙げられる。関連情報１３８の第２例としては、処理対象画像７５Ａの明るさに関する情報（例えば、処理対象画像７５Ａの画素値の平均値、中央値、又は最頻値等）が挙げられる。関連情報１３８の第３例としては、処理対象画像７５Ａの空間周波数を示す情報が挙げられる。関連情報１３８の第４例としては、処理対象画像７５Ａ内の被写体画像（例えば、人物画像又は部位画像等）が挙げられる。
【0527】
このように、本第１４変形例によれば、割合９０が処理対象画像７５Ａに関連する関連情報１３８に応じて調整される。従って、関連情報１３８が全く考慮されずに割合９０が変更される場合に比べ、第１画像８６Ａと第２画像８８Ａとを合成して得た画像の画質が関連情報１３８に起因して低下することを抑制することができる。
【0528】
［その他の変形例］
上記では、ＡＩ方式処理部６２Ａが生成モデル８２Ａを用いた処理を行う形態例を挙げて説明したが、複数種類の生成モデル８２Ａが条件に応じてＡＩ方式処理部６２Ａによって使い分けられるようにしてもよい。例えば、撮像装置１０によって撮像される撮像シーンに応じてＡＩ方式処理部６２Ａによって用いられる生成モデル８２Ａが切り替えられてもよい。また、ＡＩ方式処理部６２Ａによって用いられる生成モデル８２Ａに応じて割合９０が変更されるようにしてもよい。
上記では、ＡＩ方式処理部６２Ａが生成モデル８２Ａを用いた処理を行う形態例を挙げて説明したが、複数種類の生成モデル８２Ａが条件に応じてＡＩ方式処理部６２Ａによって使い分けられるようにしてもよい。例えば、撮像装置１０によって撮像される撮像シーンに応じてＡＩ方式処理部６２Ａによって用いられる生成モデル８２Ａが切り替えられてもよい。また、ＡＩ方式処理部６２Ａによって用いられる生成モデル８２Ａに応じて割合９０が変更されるようにしてもよい。
【0529】
上記では、撮像装置１０によって撮像されることで得られた有彩色画像又は無彩色画像が処理対象画像７５Ａとして用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されず、処理対象画像７５Ａは距離画像であってもよい。
【0530】
上記では、処理対象画像７５Ａに対して非ＡＩ方式の処理が行われることによって第２画像８８Ａが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されず、処理対象画像７５Ａに対して、非ＡＩ方式の処理と、生成モデル８２Ａとは異なる学習済みモデルを用いた処理とが行われることによって得られた画像を第２画像８８Ａとして用いてもよい。
【0531】
上記では、撮像装置１０に含まれる画像処理エンジン１２のプロセッサ６２によって画像合成処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、画像合成処理を行うデバイスは、撮像装置１０の外部に設けられていてもよい。この場合、一例として図４９に示すように、撮像システム１４０を用いればよい。撮像システム１４０は、撮像装置１０と外部装置１４２を備えている。外部装置１４２は、例えば、サーバである。サーバは、例えば、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部装置１４２の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部装置１４２として用いてもよい。
【0532】
外部装置１４２は、プロセッサ１４４、ＮＶＭ１４６、ＲＡＭ１４８、及び通信Ｉ／Ｆ１５０を備えており、プロセッサ１４４、ＮＶＭ１４６、ＲＡＭ１４８、及び通信Ｉ／Ｆ１５０は、バス１５２で接続されている。通信Ｉ／Ｆ１５０は、ネットワーク１５４を介して撮像装置１０に接続されている。ネットワーク１５４は、例えば、インターネットである。なお、ネットワーク１５４は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮであってもよい。
【0533】
ＮＶＭ１４６には、画像合成処理プログラム８０、生成モデル８２Ａ、及びデジタルフィルタ８４Ａが記憶されている。プロセッサ１４４は、ＲＡＭ１４６上で画像合成処理プログラム８０を実行する。プロセッサ１４４は、ＲＡＭ１４６上で実行する画像合成処理プログラム８０に従って、上述した画像合成処理を行う。プロセッサ１４４は、画像合成処理を行う場合に、上記の各例で説明したように生成モデル８２Ａ及びデジタルフィルタ８４Ａを用いて処理対象画像７５Ａを処理する。処理対象画像７５Ａは、例えば、撮像装置１０からネットワーク１５４を介して外部装置１４２に送信される。外部装置１４２の通信Ｉ／Ｆ１５０は、処理対象画像７５Ａを受信する。プロセッサ１４４は、通信Ｉ／Ｆ１５０によって受信された処理対象画像７５Ａに対して画像合成処理を行う。プロセッサ１４４は、画像合成処理を行うことで合成画像９２を生成し、生成した合成画像９２を撮像装置１０に送信する。撮像装置１０は、外部装置１４２から送信された合成画像９２を通信Ｉ／Ｆ５２（図２参照）で受信する。
【0534】
なお、図４９に示す例において、外部装置１４２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例であり、プロセッサ１４４は、本開示の技術に係る「プロセッサ」の一例である。
【0535】
また、画像合成処理は、撮像装置１０及び外部装置１４２を含む複数の装置によって分散して行われるようにしてもよい。
【0536】
上記では、プロセッサ６２を例示したが、プロセッサ６２に代えて、又は、プロセッサ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
【0537】
上記では、ＮＶＭ６２に画像合成処理プログラム８０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像合成処理プログラム８０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている画像合成処理プログラム８０は、撮像装置１０の画像処理エンジン１２にインストールされる。プロセッサ６２は、画像合成処理プログラム８０に従って画像合成処理を実行する。
【0538】
また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画像合成処理プログラム８０を記憶させておき、撮像装置１０の要求に応じて画像合成処理プログラム８０がダウンロードされ、画像処理エンジン１２にインストールされるようにしてもよい。
【0539】
なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６２に画像合成処理プログラム８０の全てを記憶させておく必要はなく、画像合成処理プログラム８０の一部を記憶させておいてもよい。
【0540】
【0541】
上記では、画像処理エンジン１２が例示されているが、本開示の技術はこれに限定されず、画像処理エンジン１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、画像処理エンジン１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0542】
上述した画像合成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像合成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像合成処理を実行する。
【0543】
画像合成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像合成処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0544】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像合成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像合成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画像合成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0545】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画像合成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0546】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0547】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0548】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0549】
１０ 撮像装置
１２ 画像処理エンジン
１６ 撮像装置本体
１８ 交換レンズ
１８Ａ フォーカスリング
２０ イメージセンサ
２２ レリーズボタン
２４ ダイヤル
２６ 指示キー
２８ ディスプレイ
３０ タッチパネル
３２ タッチパネル・ディスプレイ
３６ 制御装置
３７ 第１アクチュエータ
３８ 第２アクチュエータ
３９ 第３アクチュエータ
４０ 撮像レンズ
４０Ａ 対物レンズ
４０Ｂ フォーカスレンズ
４０Ｃ ズームレンズ
４０Ｄ 絞り
４０Ｄ１ 開口
４０Ｄ２ 絞り羽根
４４ システムコントローラ
４６ 画像メモリ
４８ ＵＩ系デバイス
５０ 外部Ｉ／Ｆ
５２，１５０ 通信Ｉ／Ｆ
５４ 光電変換素子ドライバ
６２，１４４ プロセッサ
６２Ａ１～６２Ａ１２ ＡＩ方式処理部
６２Ｂ１～６２Ｂ１０ 非ＡＩ方式処理部
６２Ｃ１～６２Ｃ１２ 画像調整部
６２Ｄ１～６２Ｄ１２ 合成部
６４，１４６ ＮＶＭ
６６，１４８ ＲＡＭ
６８，１５２ バス
７０ 入出力インタフェース
７２ 光電変換素子
７２Ａ 受光面
７４ Ａ／Ｄ変換器
７５Ａ，７５Ａ１～７５Ａ１２ 処理対象画像
７５Ａ１ａ 画像領域
７５Ｂ 処理済み画像
７６ 受付デバイス
７８ ハードキー部
８０ 画像合成処理プログラム
８２Ａ，８２Ａ１～８２Ａ１２，８２Ａ３ａ，８２Ａ３ｂ 生成モデル
８４Ａ，８４Ａ１～８４Ａ１０，８４Ａ２ａ，８４Ａ３ａ，８４Ａ３ｂ デジタルフィルタ
８６Ａ 第１画像
８８Ａ 第２画像
９０ 割合
９０Ａ１～９０Ｌ１ 第１割合
９０Ａ２～９０Ｌ２ 第２割合
９２ 合成画像
９４，９８，１１０，１１６，１２４，１２８ 人物領域
９６，１００，１２６ 背景領域
１０４Ａ，１０６Ａ 中心画素
１０４Ｂ，１０６Ｂ 隣接画素
１０８ 車両領域
１１２ エッジ領域
１１４ 点像
１１８ 第１玉ぼけ
１２８Ａ 肌領域
１２８Ａ１ シミ領域
１２０ 第２玉ぼけ
１３０ 目的別処理
１３０Ａ 収差補正処理
１３０Ｂ 点像調整処理
１３０Ｃ 階調調整処理
１３０Ｄ コントラスト調整処理
１３０Ｅ ダイナミックレンジ調整処理
１３０Ｆ 解像度調整処理
１３０Ｇ エッジ強調処理
１３０Ｈ 明瞭度調整処理
１３０Ｉ 玉ぼけ生成処理
１３０Ｊ 暈し付与処理
１３０Ｋ 肌画質調整処理
１３０Ｌ 彩色調整処理
１３０Ｍ 画風変更処理
１３２ 複数処理画像
１３４，１３６ 差分
１３８ 関連情報
１４０ 撮像システム
１４２ 外部装置
１５４ ネットワーク
ＯＡ 光軸
１２ 画像処理エンジン
１６ 撮像装置本体
１８ 交換レンズ
１８Ａ フォーカスリング
２０ イメージセンサ
２２ レリーズボタン
２４ ダイヤル
２６ 指示キー
２８ ディスプレイ
３０ タッチパネル
３２ タッチパネル・ディスプレイ
３６ 制御装置
３７ 第１アクチュエータ
３８ 第２アクチュエータ
３９ 第３アクチュエータ
４０ 撮像レンズ
４０Ａ 対物レンズ
４０Ｂ フォーカスレンズ
４０Ｃ ズームレンズ
４０Ｄ 絞り
４０Ｄ１ 開口
４０Ｄ２ 絞り羽根
４４ システムコントローラ
４６ 画像メモリ
４８ ＵＩ系デバイス
５０ 外部Ｉ／Ｆ
５２，１５０ 通信Ｉ／Ｆ
５４ 光電変換素子ドライバ
６２，１４４ プロセッサ
６２Ａ１～６２Ａ１２ ＡＩ方式処理部
６２Ｂ１～６２Ｂ１０ 非ＡＩ方式処理部
６２Ｃ１～６２Ｃ１２ 画像調整部
６２Ｄ１～６２Ｄ１２ 合成部
６４，１４６ ＮＶＭ
６６，１４８ ＲＡＭ
６８，１５２ バス
７０ 入出力インタフェース
７２ 光電変換素子
７２Ａ 受光面
７４ Ａ／Ｄ変換器
７５Ａ，７５Ａ１～７５Ａ１２ 処理対象画像
７５Ａ１ａ 画像領域
７５Ｂ 処理済み画像
７６ 受付デバイス
７８ ハードキー部
８０ 画像合成処理プログラム
８２Ａ，８２Ａ１～８２Ａ１２，８２Ａ３ａ，８２Ａ３ｂ 生成モデル
８４Ａ，８４Ａ１～８４Ａ１０，８４Ａ２ａ，８４Ａ３ａ，８４Ａ３ｂ デジタルフィルタ
８６Ａ 第１画像
８８Ａ 第２画像
９０ 割合
９０Ａ１～９０Ｌ１ 第１割合
９０Ａ２～９０Ｌ２ 第２割合
９２ 合成画像
９４，９８，１１０，１１６，１２４，１２８ 人物領域
９６，１００，１２６ 背景領域
１０４Ａ，１０６Ａ 中心画素
１０４Ｂ，１０６Ｂ 隣接画素
１０８ 車両領域
１１２ エッジ領域
１１４ 点像
１１８ 第１玉ぼけ
１２８Ａ 肌領域
１２８Ａ１ シミ領域
１２０ 第２玉ぼけ
１３０ 目的別処理
１３０Ａ 収差補正処理
１３０Ｂ 点像調整処理
１３０Ｃ 階調調整処理
１３０Ｄ コントラスト調整処理
１３０Ｅ ダイナミックレンジ調整処理
１３０Ｆ 解像度調整処理
１３０Ｇ エッジ強調処理
１３０Ｈ 明瞭度調整処理
１３０Ｉ 玉ぼけ生成処理
１３０Ｊ 暈し付与処理
１３０Ｋ 肌画質調整処理
１３０Ｌ 彩色調整処理
１３０Ｍ 画風変更処理
１３２ 複数処理画像
１３４，１３６ 差分
１３８ 関連情報
１４０ 撮像システム
１４２ 外部装置
１５４ ネットワーク
ＯＡ 光軸
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】
【図45】
【図46】
【図47】
【図48】
【図49】
