ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017409
(43)【公開日】2024-02-08
(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 5/50 20060101AFI20240201BHJP
H04N 23/60 20230101ALI20240201BHJP
G06T 1/40 20060101ALI20240201BHJP
G02B 7/34 20210101ALI20240201BHJP
G03B 13/36 20210101ALI20240201BHJP
【ＦＩ】
G06T5/50
H04N5/232 290
G06T1/40
G02B7/34
G03B13/36
【審査請求】未請求
【請求項の数】37
【出願形態】ＯＬ
(21)【出願番号】P 2022120029
(22)【出願日】2022-07-27
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】島田 智大
(72)【発明者】
【氏名】斎藤 太郎
(72)【発明者】
【氏名】田中 康一
【テーマコード（参考）】
2H011
2H151
5B057
5C122
【Ｆターム（参考）】
2H011BA23
2H151BA02
2H151CB29
2H151CE30
2H151CE34
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057DB02
5B057DB09
5B057DC30
5B057DC40
5C122EA12
5C122EA61
5C122FH09
5C122FH18
5C122GA34
5C122HA88
5C122HB01
(57)【要約】
【課題】合成対象とされる複数の画像の特性を活かした合成画像を得ることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第１画像に対して、又は、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得し、第１画像及び／又は第３画像の指標に応じて第２画像と第４画像とを合成する。
【選択図】図８
【解決手段】画像処理装置は、プロセッサを備える。プロセッサは、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第１画像に対して、又は、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得し、第１画像及び／又は第３画像の指標に応じて第２画像と第４画像とを合成する。
【選択図】図８
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、前記第１画像に対して、又は、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得し、
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成する
画像処理装置。
前記プロセッサは、
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、前記第１画像に対して、又は、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得し、
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成する
画像処理装置。
【請求項2】
前記第３画像は、前記第１画像の内容が別の表現方法で表現された画像である
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
前記第４画像は、被写体に対する距離の分布を示す画像である
請求項１又は請求項２に記載の画像処理装置。
請求項１又は請求項２に記載の画像処理装置。
【請求項4】
前記第２画像と前記第４画像は、前記指標に基づいて導出される信頼度に応じた割合で合成される
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項5】
前記信頼度は、非ＡＩ処理の処理結果から得られる
請求項４に記載の画像処理装置。
請求項４に記載の画像処理装置。
【請求項6】
前記非ＡＩ処理は、前記第１画像及び／又は前記第３画像に対して行われる
請求項５に記載の画像処理装置。
請求項５に記載の画像処理装置。
【請求項7】
前記信頼度は、学習済みモデルによって導出される
請求項４から請求項６の何れか一項に記載の画像処理装置。
請求項４から請求項６の何れか一項に記載の画像処理装置。
【請求項8】
前記学習済みモデルは、信頼度ネットワークであり、
前記信頼度ネットワークは、前記信頼度を出力するニューラルネットワークである
請求項７に記載の画像処理装置。
前記信頼度ネットワークは、前記信頼度を出力するニューラルネットワークである
請求項７に記載の画像処理装置。
【請求項9】
前記信頼度は、前記第１画像及び／又は前記第３画像に対して割り当てられた１つの値であり、
前記第２画像と前記第４画像とが前記信頼度に対応する１つの前記割合で合成される
請求項４から請求項８の何れか一項に記載の画像処理装置。
前記第２画像と前記第４画像とが前記信頼度に対応する１つの前記割合で合成される
請求項４から請求項８の何れか一項に記載の画像処理装置。
【請求項10】
前記信頼度は、前記第１画像に対する信頼可能な度合いを示す第１信頼度、及び／又は前記第３画像に対する信頼可能な度合いを示す第２信頼度を含む
請求項４から請求項９の何れか一項に記載の画像処理装置。
請求項４から請求項９の何れか一項に記載の画像処理装置。
【請求項11】
前記第１信頼度は、複数の第１分割信頼度であり、
前記複数の第１分割信頼度は、前記第１画像内の複数の第１画像領域に対応しており、
前記第１分割信頼度は、対応する前記第１画像領域に対する信頼可能な度合いである
請求項１０に記載の画像処理装置。
前記複数の第１分割信頼度は、前記第１画像内の複数の第１画像領域に対応しており、
前記第１分割信頼度は、対応する前記第１画像領域に対する信頼可能な度合いである
請求項１０に記載の画像処理装置。
【請求項12】
前記複数の第１分割信頼度は、前記複数の第１画像領域に対して分布している
請求項１１に記載の画像処理装置。
請求項１１に記載の画像処理装置。
【請求項13】
前記第２画像と前記第４画像とが合成される場合、前記複数の第１分割信頼度と前記複数の第１画像領域との対応関係を表現した第１信頼度マップ内で前記第１分割信頼度が第１基準値を上回る前記第１画像領域に対応する前記第２画像内での画像領域は、前記第４画像内での対応する画像領域よりも高い割合で合成される
請求項１１又は請求項１２に記載の画像処理装置。
請求項１１又は請求項１２に記載の画像処理装置。
【請求項14】
前記第２画像と前記第４画像とが合成された合成画像内の第１特定画像領域には、前記第２画像内の画像領域は用いられずに、前記第４画像内の画像領域が用いられ、
前記第１特定画像領域に用いられる前記第４画像内の画像領域は、前記第１分割信頼度が前記第１基準値未満の値である第２基準値以下の前記第１画像領域に対応する領域である
請求項１３に記載の画像処理装置。
前記第１特定画像領域に用いられる前記第４画像内の画像領域は、前記第１分割信頼度が前記第１基準値未満の値である第２基準値以下の前記第１画像領域に対応する領域である
請求項１３に記載の画像処理装置。
【請求項15】
前記第２信頼度は、複数の第２分割信頼度であり、
前記複数の第２分割信頼度は、前記第３画像内の複数の第２画像領域に対応しており、
前記第２分割信頼度は、対応する前記第２画像領域に対する信頼可能な度合いである
請求項１０から請求項１４の何れか一項に記載の画像処理装置。
前記複数の第２分割信頼度は、前記第３画像内の複数の第２画像領域に対応しており、
前記第２分割信頼度は、対応する前記第２画像領域に対する信頼可能な度合いである
請求項１０から請求項１４の何れか一項に記載の画像処理装置。
【請求項16】
前記複数の第２分割信頼度は、前記複数の第２画像領域に対して分布している
請求項１５に記載の画像処理装置。
請求項１５に記載の画像処理装置。
【請求項17】
前記第２画像と前記第４画像とが合成される場合、前記複数の第２分割信頼度と前記複数の第４画像領域との対応関係を表現した第２信頼度マップ内で前記第２分割信頼度が第３基準値を上回る前記第２画像領域に対応する前記第４画像内での画像領域は、前記第２画像内での対応する画像領域よりも高い割合で合成される
請求項１５又は請求項１６に記載の画像処理装置。
請求項１５又は請求項１６に記載の画像処理装置。
【請求項18】
前記第２画像と前記第４画像とが合成された合成画像内の第２特定画像領域には、前記第４画像内の画像領域は用いられずに、前記第２画像内の画像領域が用いられ、
前記第２特定画像領域に用いられる前記第２画像内の画像領域は、前記第２分割信頼度が前記第３基準値未満の値である第４基準値以下の前記第４画像領域に対応する領域である
請求項１７に記載の画像処理装置。
前記第２特定画像領域に用いられる前記第２画像内の画像領域は、前記第２分割信頼度が前記第３基準値未満の値である第４基準値以下の前記第４画像領域に対応する領域である
請求項１７に記載の画像処理装置。
【請求項19】
前記第４画像は、前記第１ＡＩ処理と同種の役割を担う非ＡＩ方式の処理が行われていない画像である
請求項１から請求項１８の何れか一項に記載の画像処理装置。
請求項１から請求項１８の何れか一項に記載の画像処理装置。
【請求項20】
前記第２画像と前記第４画像との合成は、前記第２画像と前記第４画像との積和演算によって実現される
請求項１から請求項１９の何れか一項に記載の画像処理装置。
請求項１から請求項１９の何れか一項に記載の画像処理装置。
【請求項21】
前記指標は、マップ化が可能な情報である
請求項１から請求項２０の何れか一項に記載の画像処理装置。
請求項１から請求項２０の何れか一項に記載の画像処理装置。
【請求項22】
前記第２画像の次元と前記第４画像の次元とが異なっている場合に、前記第２画像と前記第４画像は、前記第２画像及び前記第４画像のうちの一方の次元を他方の次元に合わせてから合成される
請求項１から請求項２１の何れか一項に記載の画像処理装置。
請求項１から請求項２１の何れか一項に記載の画像処理装置。
【請求項23】
前記一方の次元を前記他方の次元に合わせる処理として、正規化処理が行われ、
前記正規化処理は、前記第２画像内の複数の第３画像領域に対応する複数の第１代表値と前記第４画像内の複数の第４画像領域に対応する複数の第２代表値とに基づいて前記第２画像又は前記第４画像を正規化する処理であり、
前記複数の第３画像領域と前記複数の第４画像領域は、第１類似度を上回る度合いで互いに類似している
請求項２２に記載の画像処理装置。
前記正規化処理は、前記第２画像内の複数の第３画像領域に対応する複数の第１代表値と前記第４画像内の複数の第４画像領域に対応する複数の第２代表値とに基づいて前記第２画像又は前記第４画像を正規化する処理であり、
前記複数の第３画像領域と前記複数の第４画像領域は、第１類似度を上回る度合いで互いに類似している
請求項２２に記載の画像処理装置。
【請求項24】
前記一方の次元を前記他方の次元に合わせる処理として、正規化処理が行われ、
前記正規化処理は、前記第２画像内の単一の第５画像領域内の複数の第３代表値と、前記第４画像内の単一の第６画像領域内の複数の第４代表値とに基づいて前記第２画像又は前記第４画像を正規化する処理であり、
前記第５画像領域と前記第６画像領域は、第２類似度を上回る度合いで互いに類似している
請求項２２に記載の画像処理装置。
前記正規化処理は、前記第２画像内の単一の第５画像領域内の複数の第３代表値と、前記第４画像内の単一の第６画像領域内の複数の第４代表値とに基づいて前記第２画像又は前記第４画像を正規化する処理であり、
前記第５画像領域と前記第６画像領域は、第２類似度を上回る度合いで互いに類似している
請求項２２に記載の画像処理装置。
【請求項25】
前記第１画像は、被写体が撮像されることにより得られた撮像画像であり、
前記第１ＡＩ処理は、撮像位置から前記被写体までの距離の分布を示す第１距離画像を生成する距離画像生成処理を含み、
前記第４画像は、前記被写体に対して測距が行われた結果の分布を示す第２距離画像である
請求項１から請求項２４の何れか一項に記載の画像処理装置。
前記第１ＡＩ処理は、撮像位置から前記被写体までの距離の分布を示す第１距離画像を生成する距離画像生成処理を含み、
前記第４画像は、前記被写体に対して測距が行われた結果の分布を示す第２距離画像である
請求項１から請求項２４の何れか一項に記載の画像処理装置。
【請求項26】
前記指標は、前記撮像画像内のエッジ領域を含む
請求項２５に記載の画像処理装置。
請求項２５に記載の画像処理装置。
【請求項27】
前記第２画像と前記第４画像とが合成される場合、前記第２距離画像内の前記エッジ領域に対応する画像領域である第１エッジ対応領域は、前記第１距離画像内の前記エッジ領域に対応する画像領域である第２エッジ対応領域よりも大きな割合で合成される
請求項２６に記載の画像処理装置。
請求項２６に記載の画像処理装置。
【請求項28】
前記指標は、前記撮像画像内の非エッジ領域を含む
請求項２５から請求項２７の何れか一項に記載の画像処理装置。
請求項２５から請求項２７の何れか一項に記載の画像処理装置。
【請求項29】
前記第２画像と前記第４画像とが合成される場合、前記第１距離画像内の前記非エッジ領域に対応する画像領域である第１非エッジ対応領域は、前記第２距離画像内の前記非エッジ領域に対応する画像領域である第２非エッジ対応領域よりも大きな割合で合成される
請求項２８に記載の画像処理装置。
請求項２８に記載の画像処理装置。
【請求項30】
前記第１画像は、環境現象と動体とを含む被写体が撮像されることによって得られた画像であり、
前記第４画像は、前記第１画像から前記環境現象の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、
前記指標は、前記第１画像に前記動体が写っているか否かを特定可能な情報を含み、
前記指標から前記第１画像に前記動体が写っていると特定され、かつ、前記第２画像と前記第４画像とが合成される場合、前記第２画像内の前記動体が写っている画像領域は、前記第４画像内の前記動体が写っている画像領域よりも大きな割合で合成される
請求項１から請求項２９の何れか一項に画像処理装置。
前記第４画像は、前記第１画像から前記環境現象の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、
前記指標は、前記第１画像に前記動体が写っているか否かを特定可能な情報を含み、
前記指標から前記第１画像に前記動体が写っていると特定され、かつ、前記第２画像と前記第４画像とが合成される場合、前記第２画像内の前記動体が写っている画像領域は、前記第４画像内の前記動体が写っている画像領域よりも大きな割合で合成される
請求項１から請求項２９の何れか一項に画像処理装置。
【請求項31】
前記第１画像は、霞を含む被写体が撮像されることによって得られた画像であり、
前記第４画像は、前記第１画像から前記霞の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、
前記第２画像は、前記第１画像に対して前記第１ＡＩ処理が行われることによって前記第１画像から前記霞の写り込みが低減された画像であり、
前記指標は、前記第１画像内の前記霞が写っている画像領域である霞領域を特定可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、前記第４画像内の前記指標から特定される前記霞領域に対応する画像領域は、前記第２画像内の前記指標から特定される前記霞領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３０の何れか一項に記載の画像処理装置。
前記第４画像は、前記第１画像から前記霞の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、
前記第２画像は、前記第１画像に対して前記第１ＡＩ処理が行われることによって前記第１画像から前記霞の写り込みが低減された画像であり、
前記指標は、前記第１画像内の前記霞が写っている画像領域である霞領域を特定可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、前記第４画像内の前記指標から特定される前記霞領域に対応する画像領域は、前記第２画像内の前記指標から特定される前記霞領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３０の何れか一項に記載の画像処理装置。
【請求項32】
前記第３画像は、撮像対象領域が撮像されることで得られた赤外光画像であり、
前記第４画像は、前記撮像対象領域内の温度の分布を示し、かつ、前記赤外光画像に基づく第１温度分布画像であり、
前記第２画像は、前記撮像対象領域内の温度の分布を示し、かつ、前記第１画像に対して前記第１ＡＩ処理が行われることによって得られた第２温度分布画像であり、
前記指標は、前記第２温度分布画像内において前記第１温度分布画像に写らない熱放射体を示す画像領域である第１領域と前記第１領域以外の画像領域である第２領域とを区別可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、
前記指標に従って、
前記第１温度分布画像内の前記第２領域に対応する画像領域は、前記第２領域よりも大きな割合で合成され、かつ、前記第１領域は、前記第１温度分布画像内の前記第１領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３１の何れか一項に記載の画像処理装置。
前記第４画像は、前記撮像対象領域内の温度の分布を示し、かつ、前記赤外光画像に基づく第１温度分布画像であり、
前記第２画像は、前記撮像対象領域内の温度の分布を示し、かつ、前記第１画像に対して前記第１ＡＩ処理が行われることによって得られた第２温度分布画像であり、
前記指標は、前記第２温度分布画像内において前記第１温度分布画像に写らない熱放射体を示す画像領域である第１領域と前記第１領域以外の画像領域である第２領域とを区別可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、
前記指標に従って、
前記第１温度分布画像内の前記第２領域に対応する画像領域は、前記第２領域よりも大きな割合で合成され、かつ、前記第１領域は、前記第１温度分布画像内の前記第１領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３１の何れか一項に記載の画像処理装置。
【請求項33】
前記第３画像は、被写体が撮像されることで得られたマルチスペクトル画像であり、
前記第４画像は、前記マルチスペクトル画像に基づく画像であり、
前記第２画像は、前記マルチスペクトル画像に対して前記第１ＡＩ処理が行われることによって得られた画像であり、
前記指標は、前記第２画像内において特定被写体を示す画像領域である特定被写体領域と前記特定被写体領域以外の画像領域である非特定被写体領域とを区別可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、
前記指標に従って、
前記第４画像内の前記非特定被写体領域に対応する画像領域は、前記非特定被写体領域よりも大きな割合で合成され、かつ、前記特定被写体領域は、前記第４画像内の前記特定被写体領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３２の何れか一項に記載の画像処理装置。
前記第４画像は、前記マルチスペクトル画像に基づく画像であり、
前記第２画像は、前記マルチスペクトル画像に対して前記第１ＡＩ処理が行われることによって得られた画像であり、
前記指標は、前記第２画像内において特定被写体を示す画像領域である特定被写体領域と前記特定被写体領域以外の画像領域である非特定被写体領域とを区別可能な情報を含み、
前記第２画像と前記第４画像とが合成される場合、
前記指標に従って、
前記第４画像内の前記非特定被写体領域に対応する画像領域は、前記非特定被写体領域よりも大きな割合で合成され、かつ、前記特定被写体領域は、前記第４画像内の前記特定被写体領域に対応する画像領域よりも大きな割合で合成される
請求項１から請求項３２の何れか一項に記載の画像処理装置。
【請求項34】
プロセッサを備え、
前記プロセッサは、
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得し、
前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成する
画像処理装置。
前記プロセッサは、
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得し、
前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成する
画像処理装置。
【請求項35】
請求項１から請求項３４の何れか一項に記載の画像処理装置と、
イメージセンサと、を備え、
前記第１画像は、前記イメージセンサによって撮像されることによって得られる画像である
撮像装置。
イメージセンサと、を備え、
前記第１画像は、前記イメージセンサによって撮像されることによって得られる画像である
撮像装置。
【請求項36】
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、前記第１画像に対して、又は、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得すること、並びに、
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成すること、を含む
画像処理方法。
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成すること、を含む
画像処理方法。
【請求項37】
コンピュータに、
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、前記第１画像に対して、又は、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得すること、並びに、
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成すること、を含む処理を実行させるためのプログラム。
第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、前記第１画像に対して、又は、第３画像に対して、前記第１ＡＩ処理が行われずに得られた第４画像とを取得すること、並びに、
前記第１画像及び／又は前記第３画像の指標に応じて前記第２画像と前記第４画像とを合成すること、を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、入力層、出力層、及び入力層と出力層との間に設けられる中間層を有するニューラルネットワークを用いて、入力層に入力される入力画像に対して処理を行う処理部と、中間層に含まれる１以上のノードの少なくとも１つの内部パラメータであって、学習によって算出される内部パラメータを、学習の後に処理を行うとき、入力画像に関連するデータに基づいて調整する調整部と、を備える画像処理システムが開示されている。
【0003】
また、特許文献１に記載の画像処理システムにおいて、入力画像は、ノイズを含む画像であり、入力画像は、処理部が行う処理により、入力画像からノイズを除去、又は低減される。
【0004】
また、特許文献１に記載の画像処理システムにおいて、ニューラルネットワークは、第１のニューラルネットワークと、第２のニューラルネットワークと、入力画像を高周波成分画像と低周波成分画像とに分割し、高周波成分画像を第１のニューラルネットワークに入力する一方、低周波成分画像を第２のニューラルネットワークに入力する分割ユニットと、第１のニューラルネットワークから出力される第１の出力画像と、第２のニューラルネットワークから出力される第２の出力画像とを合成する合成ユニットと、を有し、調整部は、第１のニューラルネットワークの内部パラメータを入力画像に関連するデータに基づいて調整する一方、第２のニューラルネットワークの内部パラメータは調整しない。
【0005】
更に、特許文献１には、ニューラルネットワークを用いて、ノイズが低減された出力画像を入力画像から生成する処理部と、ニューラルネットワークの内部パラメータを、入力画像の撮像条件に応じて調整する調整部と、を備える画像処理システムが開示されている。
【0006】
特許文献２には、被検者の所定部位の医用画像である第１の画像を取得する取得部と、機械学習エンジンを含む高画質化エンジンを用いて、第１の画像から、第１の画像と比べて高画質化された第２の画像を生成する高画質化部と、第１の画像の少なくとも一部の領域に関する情報を用いて得た割合により第１の画像と第２画像とを合成して得た合成画像を表示部に表示させる表示制御部と、を備える医用画像処理装置が開示されている。
【0007】
特許文献３には、少なくとも１つの命令語を保存するメモリと、メモリと電気的に接続され、命令語を実行することで、入力イメージから入力イメージの品質を示すノイズマップを獲得し、入力イメージ及びノイズマップを複数のレイヤを含む学習ネットワークモデルに適用し、入力イメージの品質の改善された出力イメージを獲得するプロセッサと、を含み、プロセッサは、複数のレイヤのうち少なくとも一つの中間レイヤにノイズマップを提供し、学習ネットワークモデルは、複数のサンプルイメージ、各サンプルイメージに対するノイズマップ及び各サンプルイメージに対する原本イメージの関係を人工知能アルゴリズムを通じて学習して獲得された学習済み人口知能モデルである電子装置が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１８－２０６３８２号公報
【特許文献2】特開２０２０－１６６８１４号公報
【特許文献3】特開２０２０－１８４３００号公報
【発明の概要】
【0009】
本開示の技術に係る一つの実施形態は、合成対象とされる複数の画像の特性を活かした合成画像を得ることができる画像処理装置、撮像装置、画像処理方法、及びプログラムを提供する。
【課題を解決するための手段】
【0010】
本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第１画像に対して、又は、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得し、第１画像及び／又は第３画像の指標に応じて第２画像と第４画像とを合成する画像処理装置である。
【0011】
本開示の技術に係る第２の態様は、第３画像が、第１画像の内容が別の表現方法で表現された画像である、第１の態様に係る画像処理装置である。
【0012】
本開示の技術に係る第３の態様は、第４画像が、被写体に対する距離の分布を示す画像である、第１の態様又は第２の態様に係る画像処理装置である。
【0013】
本開示の技術に係る第４の態様は、第２画像と第４画像が、指標に基づいて導出される信頼度に応じた割合で合成される、第１の態様に係る画像処理装置である。
【0014】
本開示の技術に係る第５の態様は、信頼度が、非ＡＩ処理の処理結果から得られる、第４の態様に係る画像処理装置である。
【0015】
本開示の技術に係る第６の態様は、非ＡＩ処理が、第１画像及び／又は第３画像に対して行われる、第５の態様に係る画像処理装置である。
【0016】
本開示の技術に係る第７の態様は、信頼度が、学習済みモデルによって導出される、第４の態様から第６の態様の何れか１つの態様に係る画像処理装置である。
【0017】
本開示の技術に係る第８の態様は、学習済みモデルが、信頼度ネットワークであり、信頼度ネットワークが、信頼度を出力するニューラルネットワークである、第７の態様に係る画像処理装置である。
【0018】
本開示の技術に係る第９の態様は、信頼度が、第１画像及び／又は第３画像に対して割り当てられた１つの値であり、第２画像と第４画像とが信頼度に対応する１つの割合で合成される、第４の態様から第８の態様の何れか１つの態様に係る画像処理装置である。
【0019】
本開示の技術に係る第１０の態様は、信頼度が、第１画像に対する信頼可能な度合いを示す第１信頼度、及び／又は第３画像に対する信頼可能な度合いを示す第２信頼度を含む第４の態様から第９の態様の何れか１つの態様に係る画像処理装置である。
【0020】
本開示の技術に係る第１１の態様は、第１信頼度が、複数の第１分割信頼度であり、複数の第１分割信頼度が、第１画像内の複数の第１画像領域に対応しており、第１分割信頼度が、対応する第１画像領域に対する信頼可能な度合いである、第１０の態様に係る画像処理装置である。
【0021】
本開示の技術に係る第１２の態様は、複数の第１分割信頼度が、複数の第１画像領域に対して分布している、第１１の態様に係る画像処理装置である。
【0022】
本開示の技術に係る第１３の態様は、第２画像と第４画像とが合成される場合、複数の第１分割信頼度と複数の第１画像領域との対応関係を表現した第１信頼度マップ内で第１分割信頼度が第１基準値を上回る第１画像領域に対応する第２画像内での画像領域が、第４画像内での対応する画像領域よりも高い割合で合成される、第１１の態様又は第１２の態様に係る画像処理装置である。
【0023】
本開示の技術に係る第１４の態様は、第２画像と第４画像とが合成された合成画像内の第１特定画像領域には、第２画像内の画像領域は用いられずに、第４画像内の画像領域が用いられ、第１特定画像領域に用いられる第４画像内の画像領域が、第１分割信頼度が第１基準値未満の値である第２基準値以下の第１画像領域に対応する領域である、第１３の態様に係る画像処理装置である。
【0024】
本開示の技術に係る第１５の態様は、第２信頼度が、複数の第２分割信頼度であり、複数の第２分割信頼度が、第３画像内の複数の第２画像領域に対応しており、第２分割信頼度が、対応する第２画像領域に対する信頼可能な度合いである、第１０の態様から第１４の態様の何れか１つの態様に係る画像処理装置である。
【0025】
本開示の技術に係る第１６の態様は、複数の第２分割信頼度が、複数の第２画像領域に対して分布している、第１５の態様に係る画像処理装置である。
【0026】
本開示の技術に係る第１７の態様は、第２画像と第４画像とが合成される場合、複数の第２分割信頼度と複数の第４画像領域との対応関係を表現した第２信頼度マップ内で第２分割信頼度が第３基準値を上回る第２画像領域に対応する第４画像内での画像領域が、第２画像内での対応する画像領域よりも高い割合で合成される、第１５の態様又は第１６の態様に係る画像処理装置である。
【0027】
本開示の技術に係る第１８の態様は、第２画像と第４画像とが合成された合成画像内の第２特定画像領域には、第４画像内の画像領域は用いられずに、第２画像内の画像領域が用いられ、第２特定画像領域に用いられる第２画像内の画像領域が、第２分割信頼度が第３基準値未満の値である第４基準値以下の第４画像領域に対応する領域である、第１７の態様に係る画像処理装置である。
【0028】
本開示の技術に係る第１９の態様は、第４画像が、第１ＡＩ処理と同種の役割を担う非ＡＩ方式の処理が行われていない画像である、第１の態様から第１８の態様の何れか１つの態様に係る画像処理装置である。
【0029】
本開示の技術に係る第２０の態様は、第２画像と第４画像との合成が、第２画像と第４画像との積和演算によって実現される、第１の態様から第１９の態様の何れか１つの態様に係る画像処理装置である。
【0030】
本開示の技術に係る第２１の態様は、指標が、マップ化が可能な情報である、第１の態様から第２０の態様の何れか１つの態様に係る画像処理装置である。
【0031】
本開示の技術に係る第２２の態様は、第２画像の次元と第４画像の次元とが異なっている場合に、第２画像と第４画像が、第２画像及び第４画像のうちの一方の次元を他方の次元に合わせてから合成される、第１の態様から第２１の態様の何れか１つの態様に係る画像処理装置である。
【0032】
本開示の技術に係る第２３の態様は、一方の次元を他方の次元に合わせる処理として、正規化処理が行われ、正規化処理が、第２画像内の複数の第３画像領域に対応する複数の第１代表値と第４画像内の複数の第４画像領域に対応する複数の第２代表値とに基づいて第２画像又は第４画像を正規化する処理であり、複数の第３画像領域と複数の第４画像領域が、第１類似度を上回る度合いで互いに類似している、第２２の態様に係る画像処理装置である。
【0033】
本開示の技術に係る第２４の態様は、一方の次元を他方の次元に合わせる処理として、正規化処理が行われ、正規化処理が、第２画像内の単一の第５画像領域内の複数の第３代表値と、第４画像内の単一の第６画像領域内の複数の第４代表値とに基づいて第２画像又は第４画像を正規化する処理であり、第５画像領域と第６画像領域が、第２類似度を上回る度合いで互いに類似している、第２２の態様に係る画像処理装置である。
【0034】
本開示の技術に係る第２５の態様は、第１画像が、被写体が撮像されることにより得られた撮像画像であり、第１ＡＩ処理が、撮像位置から被写体までの距離の分布を示す第１距離画像を生成する距離画像生成処理を含み、第４画像が、被写体に対して測距が行われた結果の分布を示す第２距離画像である、第１の態様から第２４の態様の何れか１つの態様に係る画像処理装置である。
【0035】
本開示の技術に係る第２６の態様は、指標が、撮像画像内のエッジ領域を含む、第２５の態様に係る画像処理装置である。
【0036】
本開示の技術に係る第２７の態様は、第２画像と第４画像とが合成される場合、第２距離画像内のエッジ領域に対応する画像領域である第１エッジ対応領域が、第１距離画像内のエッジ領域に対応する画像領域である第２エッジ対応領域よりも大きな割合で合成される、第２６の態様に係る画像処理装置である。
【0037】
本開示の技術に係る第２８の態様は、指標が、撮像画像内の非エッジ領域を含む、第２５の態様から第２７の態様の何れか１つの態様に係る画像処理装置である。
【0038】
本開示の技術に係る第２９の態様は、第２画像と第４画像とが合成される場合、第１距離画像内の非エッジ領域に対応する画像領域である第１非エッジ対応領域が、第２距離画像内の非エッジ領域に対応する画像領域である第２非エッジ対応領域よりも大きな割合で合成される、第２８の態様に係る画像処理装置である。
【0039】
本開示の技術に係る第３０の態様は、第１画像が、環境現象と動体とを含む被写体が撮像されることによって得られた画像であり、第４画像が、第１画像から環境現象の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、指標が、第１画像に動体が写っているか否かを特定可能な情報を含み、指標から第１画像に動体が写っていると特定され、かつ、第２画像と第４画像とが合成される場合、第２画像内の動体が写っている画像領域が、第４画像内の動体が写っている画像領域よりも大きな割合で合成される、第１の態様から第２９の態様の何れか１つの態様に係る画像処理装置である。
【0040】
本開示の技術に係る第３１の態様は、第１画像が、霞を含む被写体が撮像されることによって得られた画像であり、第４画像が、第１画像から霞の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像であり、第２画像が、第１画像に対して第１ＡＩ処理が行われることによって第１画像から霞の写り込みが低減された画像であり、指標が、第１画像内の霞が写っている画像領域である霞領域を特定可能な情報を含み、第２画像と第４画像とが合成される場合、第４画像内の指標から特定される霞領域に対応する画像領域が、第２画像内の指標から特定される霞領域に対応する画像領域よりも大きな割合で合成される、第１の態様から第３０の態様の何れか１つの態様に係る画像処理装置である。
【0041】
本開示の技術に係る第３２の態様は、第３画像が、撮像対象領域が撮像されることで得られた赤外光画像であり、第４画像が、撮像対象領域内の温度の分布を示し、かつ、赤外光画像に基づく第１温度分布画像であり、第２画像が、撮像対象領域内の温度の分布を示し、かつ、第１画像に対して第１ＡＩ処理が行われることによって得られた第２温度分布画像であり、指標が、第２温度分布画像内において第１温度分布画像に写らない熱放射体を示す画像領域である第１領域と第１領域以外の画像領域である第２領域とを区別可能な情報を含み、第２画像と第４画像とが合成される場合、指標に従って、第１温度分布画像内の第２領域に対応する画像領域が、第２領域よりも大きな割合で合成され、かつ、第１領域は、第１温度分布画像内の第１領域に対応する画像領域よりも大きな割合で合成される、第１の態様から第３１の態様の何れか１つの態様に係る画像処理装置である。
【0042】
本開示の技術に係る第３３の態様は、第３画像が、被写体が撮像されることで得られたマルチスペクトル画像であり、第４画像が、マルチスペクトル画像に基づく画像であり、第２画像が、マルチスペクトル画像に対して第１ＡＩ処理が行われることによって得られた画像であり、指標が、第２画像内において特定被写体を示す画像領域である特定被写体領域と特定被写体領域以外の画像領域である非特定被写体領域とを区別可能な情報を含み、第２画像と第４画像とが合成される場合、指標に従って、第４画像内の非特定被写体領域に対応する画像領域が、非特定被写体領域よりも大きな割合で合成され、かつ、特定被写体領域は、第４画像内の特定被写体領域に対応する画像領域よりも大きな割合で合成される、第１の態様から第３２の態様の何れか１つの態様に係る画像処理装置である。
【0043】
本開示の技術に係る第３４の態様は、プロセッサを備え、プロセッサが、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得し、第３画像の指標に応じて第２画像と第４画像とを合成する画像処理装置である。
【0044】
本開示の技術に係る第３５の態様は、第１の態様から第３４の態様の何れか１つの態様に係る画像処理装置と、イメージセンサと、を備え、第１画像が、イメージセンサによって撮像されることによって得られる画像である、撮像装置である。
【0045】
本開示の技術に係る第３６の態様は、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第１画像に対して、又は、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得すること、並びに、第１画像及び／又は第３画像の指標に応じて第２画像と第４画像とを合成すること、を含む画像処理方法である。
【0046】
本開示の技術に係る第３７の態様は、コンピュータに、第１画像に対して第１ＡＩ処理が行われることによって得られた第２画像と、第１画像に対して、又は、第３画像に対して、第１ＡＩ処理が行われずに得られた第４画像とを取得すること、並びに、第１画像及び／又は第３画像の指標に応じて第２画像と第４画像とを合成すること、を含む処理を実行させるためのプログラムである。
【図面の簡単な説明】
【0047】
【図1】撮像装置の全体の構成の一例を示す概略構成図である。
【図2】イメージセンサの光電変換素子を構成する画素群の配列例を示す概念図である。
【図3】撮像装置の光学系及び電気系のハードウェア構成の一例を示す概略構成図である。
【図4】画像処理エンジンの機能の一例を示すブロック図である。
【図5】第１実施形態に係るＡＩ方式処理部及び信頼度マップ生成部の処理内容の一例を示す概念図である。
【図6】第１実施形態に係る非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図7】第１実施形態に係る正規化処理部の処理内容の一例を示す概念図である。
【図8】第１実施形態に係る割合付与部及び合成部の処理内容の一例を示す概念図である。
【図9A】第１実施形態に係る画像合成処理の流れの一例を示すフローチャートである。
【図10】第２実施形態に係る正規化処理部の処理内容の一例を示す概念図である。
【図11】第３実施形態に係る信頼度マップ生成部の処理内容の一例を示す概念図である。
【図12】第３実施形態に係る信頼度マップ生成部の処理内容の変形例を示す概念図である。
【図13】第４実施形態に係る信頼度マップ生成部の処理内容の一例を示す概念図である。
【図14】第４実施形態に係る割合付与部の処理内容の一例を示す概念図である。
【図15】第４実施形態に係る合成部の処理内容の一例を示す概念図である。
【図16】第５実施形態に係る信頼度マップ生成部の処理内容の一例を示す概念図である。
【図17】第５実施形態に係る割合付与部の処理内容の一例を示す概念図である。
【図18】第５実施形態に係る合成部の処理内容の一例を示す概念図である。
【図19】第６実施形態に係るＡＩ方式処理部及び動体検出部の処理内容の一例を示す概念図である。
【図20】第６実施形態に係る信頼度マップ生成部の処理内容の一例を示す概念図である。
【図21】第６実施形態に係る非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図22】第６実施形態に係る割合付与部及び合成部の処理内容の一例を示す概念図である。
【図23】第７実施形態に係るＡＩ方式処理部及び信頼度マップ生成部の処理内容の一例を示す概念図である。
【図24】第７実施形態に係る非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図25】第７実施形態に係る割合付与部及び合成部の処理内容の一例を示す概念図である。
【図26】第８実施形態に係る撮像装置によって生成される赤外光画像及び可視光画像の一例を示す概念図である。
【図27】第８実施形態に係る非ＡＩ方式処理部の処理内容の一例を示す概念図である。
【図28】第８実施形態に係るＡＩ方式処理部及び信頼度マップ生成部の処理内容の一例を示す概念図である。
【図29】第８実施形態に係る割合付与部及び合成部の処理内容の一例を示す概念図である。
【図30】第９実施形態に係る撮像装置によって生成されるマルチスペクトル画像の一例を示す概念図である。
【図31】撮像システムの構成の一例を示す概念図である。
【発明を実施するための形態】
【0048】
以下、添付図面に従って本開示の技術に係る画像処理装置、撮像装置、画像処理方法、及びプログラムの実施形態の一例について説明する。
【0049】
先ず、以下の説明で使用される文言について説明する。
【0050】
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＵＩとは、“User Interface”の略称を指す。ｆｐｓとは、“frame per second”の略称を指す。ＭＦとは、“Manual Focus”の略称を指す。ＡＦとは、“Auto Focus”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。ＷＡＮとは、“Wide Area Network”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。Ａ／Ｄとは、“Analog/Digital”の略称を指す。ＦＩＲとは、“Finite Impulse Response”の略称を指す。ＩＩＲとは、“Infinite Impulse Response”の略称を指す。ＶＡＥとは、“Variational Auto-Encoder”の略称を指す。ＧＡＮとは、“Generative Adversarial Network”の略称を指す。
【0051】
［第１実施形態］
一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、画像処理エンジン１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例である。画像処理エンジン１２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。
一例として図１に示すように、撮像装置１０は、被写体を撮像する装置であり、画像処理エンジン１２、撮像装置本体１６、及び交換レンズ１８を備えている。撮像装置１０は、本開示の技術に係る「撮像装置」の一例である。画像処理エンジン１２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例である。
【0052】
画像処理エンジン１２は、撮像装置本体１６に内蔵されており、撮像装置１０の全体を制御する。交換レンズ１８は、撮像装置本体１６に交換可能に装着される。交換レンズ１８には、フォーカスリング１８Ａが設けられている。フォーカスリング１８Ａは、撮像装置１０のユーザ（以下、単に「ユーザ」と称する）等が撮像装置１０による被写体に対するピントの調整を手動で行う場合にユーザ等によって操作される。
【0053】
図１に示す例では、撮像装置１０の一例として、レンズ交換式のデジタルカメラが示されている。但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、内視鏡、又は外科顕微鏡等の各種の電子機器に搭載されるデジタルカメラであってもよい。
【0054】
撮像装置本体１６には、イメージセンサ２０が設けられている。イメージセンサ２０は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２０は、ＣＭＯＳイメージセンサである。イメージセンサ２０は、被写体を撮像することで、画像を示す画像データを生成して出力する。交換レンズ１８が撮像装置本体１６に装着された場合に、被写体を示す被写体光は、交換レンズ１８を透過してイメージセンサ２０に結像され、画像データがイメージセンサ２０によって生成される。
【0055】
本第１実施形態では、イメージセンサ２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２０がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
【0056】
撮像装置本体１６の上面には、レリーズボタン２２及びダイヤル２４が設けられている。ダイヤル２４は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、ダイヤル２４が操作されることによって、撮像装置１０では、動作モードとして、撮像モード、再生モード、及び設定モードが選択的に設定される。撮像モードは、撮像装置１０に対して撮像を行わせる動作モードである。再生モードは、撮像モードで記録用の撮像が行われることによって得られた画像（例えば、静止画像及び／又は動画像）を再生する動作モードである。設定モードは、撮像に関連する制御で用いられる各種の設定値を設定する場合などに撮像装置１０に対して設定する動作モードである。
【0057】
レリーズボタン２２は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。撮像装置１０の構成によっては、撮像準備指示状態とは、ユーザの指がレリーズボタン２２に接触した状態であってもよく、撮像指示状態とは、操作するユーザの指がレリーズボタン２２に接触した状態から離れた状態に移行した状態であってもよい。
【0058】
撮像装置本体１６の背面には、指示キー２６及びタッチパネル・ディスプレイ３２が設けられている。
【0059】
タッチパネル・ディスプレイ３２は、ディスプレイ２８及びタッチパネル３０（図３も参照）を備えている。ディスプレイ２８の一例としては、ＥＬディスプレイ（例えば、有機ＥＬディスプレイ又は無機ＥＬディスプレイ）が挙げられる。ディスプレイ２８は、ＥＬディスプレイではなく、液晶ディスプレイ等の他種類のディスプレイであってもよい。
【0060】
ディスプレイ２８は、画像及び／又は文字情報等を表示する。ディスプレイ２８は、撮像装置１０が撮像モードの場合に、ライブビュー画像用の撮像、すなわち、連続的な撮像が行われることにより得られたライブビュー画像の表示に用いられる。ここで、「ライブビュー画像」とは、イメージセンサ２０によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像を得るために行われる撮像（以下、「ライブビュー画像用撮像」とも称する）は、例えば、６０ｆｐｓのフレームレートに従って行われる。６０ｆｐｓは、あくまでも一例に過ぎず、６０ｆｐｓ未満のフレームレートであってもよいし、６０ｆｐｓを超えるフレームレートであってもよい。
【0061】
ディスプレイ２８は、撮像装置１０に対してレリーズボタン２２を介して静止画像用の撮像の指示が与えられた場合に、静止画像用の撮像が行われることで得られた静止画像の表示にも用いられる。また、ディスプレイ２８は、撮像装置１０が再生モードの場合の再生画像等の表示にも用いられる。更に、ディスプレイ２８は、撮像装置１０が設定モードの場合に、各種メニューを選択可能なメニュー画面の表示、及び、撮像に関連する制御で用いられる各種の設定値等を設定するための設定画面の表示にも用いられる。
【0062】
タッチパネル３０は、透過型のタッチパネルであり、ディスプレイ２８の表示領域の表面に重ねられている。タッチパネル３０は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。なお、以下では、説明の便宜上、上述した「全押し状態」には、撮像開始用のソフトキーに対してユーザがタッチパネル３０を介してオンした状態も含まれる。
【0063】
本第１実施形態では、タッチパネル・ディスプレイ３２の一例として、タッチパネル３０がディスプレイ２８の表示領域の表面に重ねられているアウトセル型のタッチパネル・ディスプレイを挙げているが、これはあくまでも一例に過ぎない。例えば、タッチパネル・ディスプレイ３２として、オンセル型又はインセル型のタッチパネル・ディスプレイを適用することも可能である。
【0064】
指示キー２６は、各種の指示を受け付ける。ここで、「各種の指示」とは、例えば、メニュー画面の表示の指示、１つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。また、これらの指示はタッチパネル３０によってされてもよい。
【0065】
一例として図２に示すように、イメージセンサ２０は、光電変換素子７２を備えている。光電変換素子７２は、マトリクス状に配置された複数の感光画素を有する。感光画素は、フォトダイオードを有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。
【0066】
光電変換素子７２に含まれる各フォトダイオードには、カラーフィルタが既定のパターン配列（例えば、ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等）で配置されている。カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑色）波長域に対応するＧフィルタ、Ｒ（赤色）波長域に対応するＲフィルタ、及びＢ（青色）波長域に対応するＢフィルタを含む。
【0067】
光電変換素子７２は、位相差画素と、位相差画素とは異なる画素である非位相差画素Ｎとの２種類の感光画素を含む。位相差画素に対し、非位相差画素Ｎは、通常画素とも称される。光電変換素子７２は、非位相差画素として、Ｒ画素、Ｇ画素、及びＢ画素の３種類の感光画素を有する。Ｒ画素、Ｇ画素、Ｂ画素、及び位相差画素は、行方向（例えば、水平方向）及び列方向（例えば、垂直方向）の各々に既定の周期性で規則的に配置されている。Ｒ画素は、Ｒフィルタが配置されたフォトダイオードに対応する画素であり、Ｇ画素及び位相差画素は、Ｇフィルタが配置されたフォトダイオードに対応する画素であり、Ｂ画素は、Ｂフィルタが配置されたフォトダイオードに対応する画素である。なお、以下では、説明の便宜上、Ｒ画素、Ｇ画素、及びＢ画素を区別して説明する必要がない場合、これらを「可視光画素」と称する。
【0068】
光電変換素子７２の受光面７２Ａには、複数の位相差画素ライン７２Ａ１と複数の非位相差画素ライン７２Ａ２とが配列されている。位相差画素ライン７２Ａ１は、位相差画素を含む水平ラインである。具体的には、位相差画素ライン７２Ａ１は、位相差画素と非位相差画素Ｎとが混在している水平ラインである。非位相差画素ライン７２Ａ２は、複数の非位相差画素Ｎのみを含む水平ラインである。
【0069】
受光面７２Ａには、位相差画素ライン７２Ａ１と、既定ライン数分の非位相差画素ライン７２Ａ２とが列方向に沿って交互に配置されている。ここで言う「既定ライン数」とは、例えば、２ラインを指す。なお、ここでは、既定ライン数として、２ラインを例示しているが、本開示の技術はこれに限らず、既定ライン数は、３ライン以上の数ラインであってもよいし、十数ライン、数十ライン、又は数百ライン等であってもよい。
【0070】
位相差画素ライン７２Ａ１は、１行目から最終行にかけて列方向に２行飛ばしで配列されている。位相差画素ライン７２Ａ１の一部の画素が位相差画素である。具体的には、位相差画素ライン７２Ａ１は、位相差画素と非位相差画素Ｎとが周期的に配列された水平ラインである。位相差画素は、第１位相差画素Ｌと第２位相差画素Ｒとに大別される。位相差画素ライン７２Ａ１には、Ｇ画素として第１位相差画素Ｌと第２位相差画素Ｒとがライン方向に数画素間隔で交互に配置されている。
【0071】
第１位相差画素Ｌ及び第２位相差画素Ｒは、列方向で交互に現れるように配置されている。図２に示す例では、４列目において、１行目から列方向に沿って第１位相差画素Ｌ、第２位相差画素Ｒ、第１位相差画素Ｌ、及び第２位相差画素Ｒの順に配置されている。すなわち、第１位相差画素Ｌと第２位相差画素Ｒとが１行目から列方向に沿って交互に配置されている。また、図２に示す例では、１０列目において、１行目から列方向に沿って第２位相差画素Ｒ、第１位相差画素Ｌ、第２位相差画素Ｒ、及び第１位相差画素Ｌの順に配置されている。すなわち、第２位相差画素Ｒと第１位相差画素Ｌとが１行目から列方向に沿って交互に配置されている。
【0072】
光電変換素子７２は、２つの画素群に区分される。すなわち、光電変換素子７２は、一般撮像系画素群７２ＡＧ１及び測距系画素群７２ＡＧ２を有する。一般撮像系画素群７２ＡＧ１及び測距系画素群７２ＡＧ２は、可視光を受光し、受光量に応じた電気信号を出力する。
【0073】
一般撮像系画素群７２ＡＧ１は、複数の可視光画素による可視光画素群であり、可視光画像の生成に用いられる。測距系画素群７２ＡＧ２は、２次元状に配置された複数の位相差画素による位相差画素群であり、測距に用いられる。なお、測距系画素群は、測距に用いることが可能な画素群であればよく、例えば、測距系画素群に用いられる画素は、デュアルピクセル又はクアッドピクセル等のように、複数のフォトダイオードを含む画素であってもよい。
【0074】
本第１実施形態において、測距とは、受光面７２Ａから被写体までの距離の測定を指す。測距は、レリーズボタン２２及び／又はタッチパネル・ディスプレイ３２等を介してユーザから与えられた指示に応じて実行される。
【0075】
一例として図３に示すように、光電変換素子７２は、受光面７２Ａの中心と光軸ＯＡとが一致するように撮像装置本体１６内に配置されている。受光面７２Ａには、交換レンズ１８を介して被写体光が結像される。
【0076】
交換レンズ１８は、撮像レンズ４０を備えている。撮像レンズ４０は、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄを有する。対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄは、被写体側（すなわち、物体側）から撮像装置本体１６側（すなわち、像側）にかけて、光軸ＯＡに沿って、対物レンズ４０Ａ、フォーカスレンズ４０Ｂ、ズームレンズ４０Ｃ、及び絞り４０Ｄの順に配置されている。
【0077】
また、交換レンズ１８は、制御装置３６、第１アクチュエータ３７、第２アクチュエータ３８、及び第３アクチュエータ３９を備えている。制御装置３６は、撮像装置本体１６からの指示に従って交換レンズ１８の全体を制御する。制御装置３６は、例えば、ＣＰＵ、ＮＶＭ、及びＲＡＭ等を含むコンピュータを有する装置である。制御装置３６のＮＶＭは、例えば、ＥＥＰＲＯＭである。また、制御装置３６のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。制御装置３６において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像レンズ４０の全体を制御する。
【0078】
なお、ここでは、制御装置３６の一例として、コンピュータを有する装置を挙げているが、これは、あくまでも一例に過ぎず、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、制御装置３６として、例えば、ハードウェア構成及びソフトウェア構成の組み合わせによって実現される装置を用いてよい。
【0079】
第１アクチュエータ３７は、フォーカス用スライド機構（図示省略）及びフォーカス用モータ（図示省略）を備えている。フォーカス用スライド機構には、光軸ＯＡに沿ってスライド可能にフォーカスレンズ４０Ｂが取り付けられている。また、フォーカス用スライド機構にはフォーカス用モータが接続されており、フォーカス用スライド機構は、フォーカス用モータの動力を受けて作動することでフォーカスレンズ４０Ｂを光軸ＯＡに沿って移動させる。
【0080】
第２アクチュエータ３８は、ズーム用スライド機構（図示省略）及びズーム用モータ（図示省略）を備えている。ズーム用スライド機構には、光軸ＯＡに沿ってスライド可能にズームレンズ４０Ｃが取り付けられている。また、ズーム用スライド機構にはズーム用モータが接続されており、ズーム用スライド機構は、ズーム用モータの動力を受けて作動することでズームレンズ４０Ｃを光軸ＯＡに沿って移動させる。
【0081】
第３アクチュエータ３９は、動力伝達機構（図示省略）及び絞り用モータ（図示省略）を備えている。絞り４０Ｄは、開口４０Ｄ１を有しており、開口４０Ｄ１の大きさが可変な絞りである。開口４０Ｄ１は、例えば、複数枚の絞り羽根４０Ｄ２によって形成されている。複数枚の絞り羽根４０Ｄ２は、動力伝達機構に連結されている。また、動力伝達機構には絞り用モータが接続されており、動力伝達機構は、絞り用モータの動力を複数枚の絞り羽根４０Ｄ２に伝達する。複数枚の絞り羽根４０Ｄ２は、動力伝達機構から伝達される動力を受けて作動することで開口４０Ｄ１の大きさを変化させる。絞り４０Ｄは、開口４０Ｄ１の大きさを変化させることで露出を調節する。
【0082】
フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６に接続されており、制御装置３６によってフォーカス用モータ、ズーム用モータ、及び絞り用モータの各駆動が制御される。なお、本第１実施形態では、フォーカス用モータ、ズーム用モータ、及び絞り用モータの一例として、ステッピングモータが採用されている。従って、フォーカス用モータ、ズーム用モータ、及び絞り用モータは、制御装置３６からの命令によりパルス信号に同期して動作する。なお、ここでは、フォーカス用モータ、ズーム用モータ、及び絞り用モータが交換レンズ１８に設けられている例が示されているが、これは、あくまでも一例に過ぎず、フォーカス用モータ、ズーム用モータ、及び絞り用モータのうちの少なくとも１つが撮像装置本体１６に設けられていてもよい。なお、交換レンズ１８の構成物及び／又は動作方法は、必要に応じて変更可能である。
【0083】
撮像装置１０では、撮像モードの場合に、撮像装置本体１６に対して与えられた指示に従ってＭＦモードとＡＦモードとが選択的に設定される。ＭＦモードは、手動でピントを合わせる動作モードである。ＭＦモードでは、例えば、ユーザによってフォーカスリング１８Ａ等が操作されることで、フォーカスリング１８Ａ等の操作量に応じた移動量でフォーカスレンズ４０Ｂが光軸ＯＡに沿って移動し、これによって焦点が調節される。
【0084】
ＡＦモードでは、撮像装置本体１６が被写体距離に応じた合焦位置の演算を行い、演算して得た合焦位置に向けてフォーカスレンズ４０Ｂを移動させることで、焦点を調節する。ここで、合焦位置とは、ピントが合っている状態でのフォーカスレンズ４０Ｂの光軸ＯＡ上での位置を指す。
【0085】
撮像装置本体１６は、画像処理エンジン１２、イメージセンサ２０、システムコントローラ４４、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び入出力インタフェース７０を備えている。また、イメージセンサ２０は、光電変換素子７２、及びＡ／Ｄ変換器７４を備えている。
【0086】
入出力インタフェース７０には、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、光電変換素子ドライバ５４、メカニカルシャッタドライバ５６、及びＡ／Ｄ変換器７４が接続されている。また、入出力インタフェース７０には、交換レンズ１８の制御装置３６も接続されている。
【0087】
システムコントローラ４４は、ＣＰＵ（図示省略）、ＮＶＭ（図示省略）、及びＲＡＭ（図示省略）を備えている。システムコントローラ４４において、ＮＶＭには、非一時的記憶媒体であり、各種パラメータ及び各種プログラムが記憶されている。システムコントローラ４４のＮＶＭは、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をシステムコントローラ４４のＮＶＭとして適用してもよい。また、システムコントローラ４４のＲＡＭは、各種情報を一時的に記憶し、ワークメモリとして用いられる。システムコントローラ４４において、ＣＰＵは、ＮＶＭから必要なプログラムを読み出し、読み出した各種プログラムをＲＡＭ上で実行することで撮像装置１０の全体を制御する。すなわち、図３に示す例では、画像処理エンジン１２、画像メモリ４６、ＵＩ系デバイス４８、外部Ｉ／Ｆ５０、通信Ｉ／Ｆ５２、光電変換素子ドライバ５４、及び制御装置３６がシステムコントローラ４４によって制御される。
【0088】
画像処理エンジン１２は、システムコントローラ４４の制御下で動作する。画像処理エンジン１２は、プロセッサ６２、ＮＶＭ６４、及びＲＡＭ６６を備えている。ここで、プロセッサ６２は、本開示の技術に係る「プロセッサ」の一例である。
【0089】
プロセッサ６２、ＮＶＭ６４、及びＲＡＭ６６は、バス６８を介して接続されており、バス６８は入出力インタフェース７０に接続されている。なお、図３に示す例では、図示の都合上、バス６８として１本のバスが図示されているが、複数本のバスであってもよい。バス６８は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
【0090】
プロセッサ６２は、ＣＰＵ及びＧＰＵを有しており、ＧＰＵは、ＣＰＵの制御下で動作し、主に画像処理の実行を担う。なお、プロセッサ６２は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。また、プロセッサ６２には、マルチコアＣＰＵが含まれていてもよいし、ＴＰＵが含まれていてもよい。
【0091】
ＮＶＭ６４は、非一時的記憶媒体であり、システムコントローラ４４のＮＶＭに記憶されている各種パラメータ及び各種プログラムとは異なる各種パラメータ及び各種プログラムを記憶している。ＮＶＭ６４は、例えば、ＥＥＰＲＯＭである。但し、これは、あくまでも一例に過ぎず、ＥＥＰＲＯＭに代えて、又は、ＥＥＰＲＯＭと共に、ＨＤＤ、及び／又はＳＳＤ等をＮＶＭ６４として適用してもよい。また、ＲＡＭ６６は、各種情報を一時的に記憶し、ワークメモリとして用いられる。
【0092】
プロセッサ６２は、ＮＶＭ６４から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６６上で実行する。プロセッサ６２は、ＲＡＭ６６上で実行するプログラムに従って各種の画像処理を行う。
【0093】
光電変換素子７２には、光電変換素子ドライバ５４が接続されている。光電変換素子ドライバ５４は、光電変換素子７２によって行われる撮像のタイミングを規定する撮像タイミング信号を、プロセッサ６２からの指示に従って光電変換素子７２に供給する。光電変換素子７２は、光電変換素子ドライバ５４から供給された撮像タイミング信号に従って、リセット、露光、及び電気信号の出力を行う。撮像タイミング信号としては、例えば、垂直同期信号及び水平同期信号が挙げられる。
【0094】
交換レンズ１８が撮像装置本体１６に装着された場合、撮像レンズ４０に入射された被写体光は、撮像レンズ４０によって受光面７２Ａに結像される。光電変換素子７２は、光電変換素子ドライバ５４の制御下で、受光面７２Ａによって受光された被写体光を光電変換し、被写体光の光量に応じた電気信号を、被写体光を示すアナログ画像データとしてＡ／Ｄ変換器７４に出力する。具体的には、Ａ／Ｄ変換器７４が、露光順次読み出し方式で、光電変換素子７２から１フレーム単位で且つ水平ライン毎にアナログ画像データを読み出す。
【0095】
Ａ／Ｄ変換器７４は、アナログ画像データをデジタル化することで処理対象画像７５Ａを生成する。処理対象画像７５Ａは、撮像装置１０によって撮像が行われることによって得られる。
【0096】
処理対象画像７５Ａは、撮像画像７５Ａ１及び位相差画像７５Ａ２を有する。撮像画像７５Ａ１は、被写体が一般撮像系画素群７２ＡＧ１（図２参照）によって撮像されることで得られる。撮像画像７５Ａ１は、Ｒ画素、Ｇ画素、及びＢ画素が電子像としてモザイク状に配列された画像である。位相差画像７５Ａ２は、被写体が測距系画素群７２ＡＧ２（図２参照）によって撮像されることで得られる画像であり、測距に用いられる。すなわち、位相差画像７５Ａ２は、撮像画像７５Ａ１の内容（例えば、撮像画像７５Ａ１に写っている被写体に関する情報）が別の表現方法（例えば、位相差を検出可能な表現方法）で表現された画像である。
【0097】
撮像画像７５Ａ１は、本開示の技術に係る「第１画像」及び「撮像画像」の一例であり、位相差画像７５Ａ２は、本開示の技術に係る「第３画像」の一例である。
【0098】
本第１実施形態において、一例として、画像処理エンジン１２のプロセッサ６２は、Ａ／Ｄ変換器７４から処理対象画像７５Ａを取得し、取得した処理対象画像７５Ａに対して各種の画像処理を行う。
【0099】
画像メモリ４６には、処理済み画像７５Ｂが記憶される。処理済み画像７５Ｂは、処理対象画像７５Ａに対してプロセッサ６２によって各種の画像処理が行われることによって得られた画像である。
【0100】
ＵＩ系デバイス４８は、ディスプレイ２８を備えており、プロセッサ６２は、ディスプレイ２８に対して各種情報を表示させる。また、ＵＩ系デバイス４８は、受付デバイス７６を備えている。受付デバイス７６は、タッチパネル３０及びハードキー部７８を備えている。ハードキー部７８は、指示キー２６（図１参照）を含む複数のハードキーである。プロセッサ６２は、タッチパネル３０によって受け付けられた各種指示に従って動作する。なお、ここでは、ハードキー部７８がＵＩ系デバイス４８に含まれているが、本開示の技術はこれに限定されず、例えば、ハードキー部７８は、外部Ｉ／Ｆ５０に接続されていてもよい。
【0101】
外部Ｉ／Ｆ５０は、撮像装置１０の外部に存在する装置（以下、「外部装置」とも称する）との間の各種情報の授受を司る。外部Ｉ／Ｆ５０の一例としては、ＵＳＢインタフェースが挙げられる。ＵＳＢインタフェースには、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、及び／又はプリンタ等の外部装置（図示省略）が直接的又は間接的に接続される。
【0102】
通信Ｉ／Ｆ５２は、ネットワーク（図示省略）に接続されている。通信Ｉ／Ｆ５２は、ネットワーク上のサーバ等の通信装置（図示省略）とシステムコントローラ４４との間の情報の授受を司る。例えば、通信Ｉ／Ｆ５２は、システムコントローラ４４からの要求に応じた情報を、ネットワークを介して通信装置に送信する。また、通信Ｉ／Ｆ５２は、通信装置から送信された情報を受信し、受信した情報を、入出力インタフェース７０を介してシステムコントローラ４４に出力する。
【0103】
一例として図４に示すように、撮像装置１０のＮＶＭ６４には、画像合成処理プログラム８０が記憶されている。画像合成処理プログラム８０は、本開示の技術に係る「プログラム」の一例である。
【0104】
撮像装置１０のＮＶＭ６４には、生成モデル８２Ａが記憶されている。生成モデル８２Ａの一例としては、学習済みの生成ネットワークが挙げられる。生成ネットワークの一例としては、ＧＡＮ又はＶＡＥ等が挙げられる。プロセッサ６２は、処理対象画像７５Ａ（図３参照）に対してＡＩ方式の処理を行う。ＡＩ方式の処理の一例としては、生成モデル８２Ａを用いた処理が挙げられる。すなわち、ＡＩ方式の処理の一例としては、ニューラルネットワークを用いた処理が挙げられる。これに対し、非ＡＩ方式の処理とは、ニューラルネットワークを用いない処理を指す。以下では、説明の便宜上、生成モデル８２Ａを用いた処理については、生成モデル８２Ａが主体となって能動的に行う処理として説明する。すなわち、説明の便宜上、生成モデル８２Ａを、入力された情報に対して処理を行って処理結果を出力する機能と見立てて説明する。
【0105】
撮像装置１０のＮＶＭ６４には、デジタルフィルタ８４Ａが記憶されている。デジタルフィルタ８４Ａの一例としては、ＦＩＲフィルタが挙げられる。なお、ＦＩＲフィルタは、あくまでも一例に過ぎず、ＩＩＲフィルタ等の他のデジタルフィルタであってもよい。
【0106】
プロセッサ６２は、ＮＶＭ６４から画像合成処理プログラム８０を読み出し、読み出した画像合成処理プログラム８０をＲＡＭ６６上で実行する。プロセッサ６２は、ＲＡＭ６６上で実行する画像合成処理プログラム８０に従って画像合成処理（図９Ａ及び図９Ｂ参照）を行う。画像合成処理は、プロセッサ６２が画像合成処理プログラム８０に従ってＡＩ方式処理部６２Ａ１、信頼度マップ生成部６２Ｂ１、非ＡＩ方式処理部６２Ｃ１、正規化処理部６２Ｄ１、割合付与部６２Ｅ１、及び合成部６２Ｆ１として動作することによって実現される。生成モデル８２Ａは、ＡＩ方式処理部６２Ａ１によって用いられ、デジタルフィルタ８４Ａは、非ＡＩ方式処理部６２Ｃ１によって用いられる。
【0107】
一例として図５に示すように、ＡＩ方式処理部６２Ａ１及び信頼度マップ生成部６２Ｂ１には、撮像画像７５Ａ１ａが入力される。撮像画像７５Ａ１ａは、図３に示す撮像画像７５Ａ１の一例である。撮像画像７５Ａ１ａは、人物領域８５Ａ及び背景領域８５Ｂを有する。人物領域８５Ａは、人物が写っている画像領域である。背景領域８５Ｂは、背景が写っている画像領域である。背景領域８５Ｂに写っている背景は、例えば、鉛直方向に立設した状態の壁面である。
【0108】
ＡＩ方式処理部６２Ａ１は、撮像画像７５Ａ１ａに対して距離画像生成処理を行う。距離画像生成処理は、ＡＩ方式の処理である。図５に示す例では、距離画像生成処理の一例として、生成モデル８２Ａ１を用いた処理が示されている。生成モデル８２Ａ１は、図４に示す生成モデル８２Ａの一例である。ＡＩ方式処理部６２Ａ１によって行われる距離画像生成処理は、本開示の技術に係る「第１ＡＩ処理」及び「距離画像生成処理」の一例である。
【0109】
生成モデル８２Ａ１は、可視光画像を距離画像に変換する学習が既に行われた生成ネットワークである。本第１実施形態において、距離画像とは、可視光画像により示される被写体に対する距離の分布を示す画像を指す。距離画像において、距離の分布は、画素単位で表現される。また、距離画像において、距離の分布は、撮像位置から被写体までの距離の長短に応じた有彩色で表現される。例えば、撮像位置から被写体までの距離は、距離が長くなるほど長波長側の色で表現される。これにより、撮像位置から被写体までの距離が距離画像内の色から画素単位で特定可能となる。なお、距離の分布を有彩色で表現する方法は、あくまでも一例に過ぎず、距離の分布は、例えば、撮像位置から被写体までの距離が無彩色の濃淡で表現されてもよい。
【0110】
ＡＩ方式処理部６２Ａ１は、撮像画像７５Ａ１ａに対して生成モデル８２Ａ１を用いた処理を行うことで第１距離画像８６を生成する。すなわち、生成モデル８２Ａ１は、入力された撮像画像７５Ａ１ａに基づいて第１距離画像８６を生成して出力する。第１距離画像８６は、撮像位置から被写体までの距離の分布を示す画像である。撮像位置から被写体までの距離とは、例えば、受光面７２Ａ（図２及び図３参照）の位置から被写体（例えば、人物領域８５Ａに写っている人物、及び背景領域８５Ｂに写っている背景）までの距離の分布を示す画像を指す。受光面７２Ａの位置から被写体までの距離の分布は、例えば、撮像画像７５Ａ１ａ内の画素単位で表現される。第１距離画像８６は、本開示の技術に係る「第２画像」の一例である。
【0111】
ところで、プロセッサ６２は、図３に示す位相差画像７５Ａ２を用いることにより、撮像画像７５Ａ１ａに写っているエッジ領域（例えば、ピントを合わせることが可能な模様及び／又は輪郭等がある部分）に対する測距を、非エッジ領域（すなわち、エッジ領域以外の領域）に対する測距よりも高精度に行うことが可能となる。よって、エッジ領域の存否は、位相差画像７５Ａ２を用いた測距の結果が信頼できるか否かを判断する上での重要な判断材料となる。つまり、撮像画像７５Ａ１ａ内のエッジ領域が存在する位置については、位相差画像７５Ａ２を用いた測距の結果を信頼した方が良く、撮像画像７５Ａ１ａ内の非エッジ領域の位置については、位相差画像７５Ａ２を用いた測距の結果を信頼しない方が良い、という判断を下すことが可能となる。
【0112】
そこで、信頼度マップ生成部６２Ｂ１は、非ＡＩ方式の処理を行うことで、撮像画像７５Ａ１ａに対する信頼度の撮像画像７５Ａ１ａ内での分布を示す信頼度マップ８８Ａを生成する。信頼度は、撮像画像７５Ａ１ａに対する信頼可能な度合いを示している。また、本第１実施形態において、信頼度は、撮像画像７５Ａ１ａに対して行われた非ＡＩ方式の処理の結果である。信頼度は、例えば、０．０以上１．０以下の数値内で規定される値であり、信頼度が大きい程、位相差画像７５Ａ２を用いた測距の結果を信頼することができる。例えば、撮像画像７５Ａ１ａにエッジ領域（すなわち、位相差画像７５Ａ２を用いた測距に寄与するエッジ領域）が多く写っているほど、信頼度の値は大きくなる。撮像画像７５Ａ１ａに対する信頼可能な度合いを示す信頼度は、本開示の技術に係る「第１画像に対する信頼可能な度合いを示す第１信頼度」の一例である。
【0113】
信頼度マップ生成部６２Ｂ１は、撮像画像７５Ａ１ａに対して、非ＡＩ方式の処理としてデジタルフィルタ８４Ａ１を用いた処理を行うことで信頼度マップ８８Ａを生成する。デジタルフィルタ８４Ａ１は、図４に示すデジタルフィルタ８４Ａの一例である。デジタルフィルタ８４Ａ１は、位相差画像７５Ａ２を用いた高精度な測距を実現可能な模様及び／又は輪郭等を示す高周波成分をエッジ領域８８Ａ１として検出するハイパスフィルタを有する。エッジ領域８８Ａ１は、撮像画像７５Ａ１ａ内のエッジ領域（すなわち、撮像画像７５Ａ１ａからデジタルフィルタ８４Ａによって検出されたエッジ領域）である。信頼度マップ８８Ａには、エッジ領域８８Ａ１（すなわち、位相差画像７５Ａ２を用いた測距の結果を信頼できる要素）と、エッジ領域８８Ａ１以外の画像領域である非エッジ領域８８Ａ２とが含まれている。例えば、エッジ領域８８Ａ１は、撮像画像７５Ａ１ａに対する信頼度が“１．０”の画像領域であり、非エッジ領域８８Ａ２は、撮像画像７５Ａ１ａに対する信頼度が“０．０”の画像領域である。すなわち、エッジ領域８８Ａ１は、位相差画像７５Ａ２を用いた測距の結果を信頼した方が良い画像領域であり、非エッジ領域８８Ａ２は、位相差画像７５Ａ２を用いた測距の結果を信頼しない方が良い画像領域である。エッジ領域８８Ａ１及び非エッジ領域８８Ａ２は、本開示の技術に係る「指標」及び「マップ化が可能な情報」の一例である。
【0114】
一例として図６に示すように、非ＡＩ方式処理部６２Ｃ１は、位相差画像７５Ａ２から第２距離画像８９を生成する。第２距離画像８９は、被写体に対する距離の分布を示す画像である。換言すると、第２距離画像８９は、被写体（例えば、図５に示す人物領域８５Ａに写っている人物、及び図５に示す背景領域８５Ｂに写っている背景）に対して測距（すなわち、位相差画像７５Ａ２を用いた測距）が行われた結果の分布を示す画像である。第２距離画像８９は、本開示の技術に係る「第１画像に対して第１ＡＩ処理が行われずに得られた第４画像」の一例である。なお、位相差画像７５Ａ２から第２距離画像８９を生成する方法は、公知なので、ここでの説明は省略する。
【0115】
ところで、本第１実施形態において、撮像画像７５Ａ１ａを基に生成された第１距離画像８６と、位相差画像７５Ａ２を基に生成された第２距離画像８９は、互いの次元が異なっている。第１距離画像８６と第２距離画像８９との合成が行われる場合、第１距離画像８６と第２距離画像８９との合成に先立って、第１距離画像８６及び第２距離画像８９のうちの一方の次元を他方の次元に合わせることが好ましい。なぜならば、第１距離画像８６と第２距離画像８９とが次元を合わせた状態で合成された方が、第１距離画像８６と第２距離画像８９とが次元を合わさずに合成される場合に比べ、合成後の画像に対する信頼性が高くなるからである。
【0116】
そこで、一例として図７に示すように、正規化処理部６２Ｄ１は、第２距離画像８９の次元を第１距離画像８６の次元に合わせる処理を行う。ここでは、第２距離画像８９の次元を第１距離画像８６の次元に合わせる処理を例示しているが、これは、あくまでも一例に過ぎず、第１距離画像８６の次元を第２距離画像８９の次元に合わせてもよい。
【0117】
第２距離画像８９の次元を第１距離画像８６の次元に合わせる処理の一例としては、正規化処理が挙げられる。正規化処理は、第１代表値９０Ａ１、第２代表値９０Ｂ１、第３代表値９２Ａ１、及び第４代表値９２Ｂ１に基づいて第２距離画像８９を正規化する処理である。
【0118】
第１代表値９０Ａ１は、第１距離画像８６内の画像領域９０Ａに対応する値である。第２代表値９０Ｂ１は、第１距離画像８６内の画像領域９０Ｂに対応する値である。第３代表値９２Ａ１は、第２距離画像８９内の画像領域９２Ａに対応する値である。第４代表値９２Ｂ１は、第２距離画像８９内の画像領域９２Ｂに対応する値である。
【0119】
第１距離画像８６内での画像領域９０Ａは、第２距離画像８９内での画像領域９２Ａと対応関係にある。すなわち、第１距離画像８６内での画像領域９０Ａの位置は、第２距離画像８９内での画像領域９２Ａの位置と一致している。また、第１距離画像８６と第２距離画像８９との間で、画像領域９０Ａ及び画像領域９２Ａの互いの色の傾向（すなわち、撮像位置から被写体まで距離の傾向）が既定類似度を上回る度合いで類似している。既定類似度の一例としては、第２距離画像８９の正規化を行う上で問題が生じないことが事前に確認された類似度の下限値が挙げられる。本第１実施形態では、画像領域９０Ａ及び画像領域９２Ａとして、第１距離画像８６と第２距離画像８９との間で互いの色の傾向が、既定類似度を上回り、かつ、最も高い類似度で類似している画像領域が適用されている。なお、ここでは、最も高い類似度で類似している画像領域を例示したが、既定類似度を上回る類似度であれば、第１距離画像８６と第２距離画像８９との間で２番目以降に高い類似度で類似している画像領域であってもよい。
【0120】
第１距離画像８６内での画像領域９０Ｂは、第２距離画像８９内での画像領域９２Ｂと対応関係にある。すなわち、第１距離画像８６内での画像領域９０Ｂの位置は、第２距離画像８９内での画像領域９２Ｂの位置と一致している。また、第１距離画像８６と第２距離画像８９との間で、画像領域９０Ｂ及び画像領域９２Ｂの互いの色の傾向（すなわち、撮像位置から被写体まで距離の傾向）で既定類似度を上回る度合いで類似している。本第１実施形態では、画像領域９０Ｂ及び画像領域９２Ｂとして、第１距離画像８６と第２距離画像８９との間で互いの色の傾向が、既定類似度を上回り、かつ、最も高い類似度で類似している画像領域が適用されている。なお、ここでは、最も高い類似度で類似している画像領域を例示したが、既定類似度を上回る類似度であれば、第１距離画像８６と第２距離画像８９との間で２番目以降に高い類似度で類似している画像領域であってもよい。
【0121】
第１代表値９０Ａ１の一例としては、画像領域９０Ａを構成する複数の画素（例えば、画像領域９０Ａ内の全画素、又は、画像領域９０Ａ内の指定された一部領域内の全画素）の画素値のうちの中央値が挙げられる。第２代表値９０Ｂ１の一例としては、画像領域９０Ｂを構成する複数の画素（例えば、画像領域９０Ｂ内の全画素、又は、画像領域９０Ｂ内の指定された一部領域内の全画素）の画素値のうちの中央値が挙げられる。第３代表値９２Ａ１の一例としては、画像領域９２Ａを構成する複数の画素（例えば、画像領域９２Ａ内の全画素、又は、画像領域９２Ａ内の指定された一部領域内の全画素）の画素値のうちの中央値が挙げられる。第４代表値９２Ｂ１の一例としては、画像領域９２Ｂを構成する複数の画素（例えば、画像領域９２Ｂ内の全画素、又は、画像領域９２Ｂ内の指定された一部領域内の全画素）の画素値のうちの中央値が挙げられる。なお、ここでは、中央値を例示したが、中央値は、あくまでも一例に過ぎず、中央値に代えて、平均値、最頻値、最大値、又は最小値等の統計値を適用してもよいし、画像領域９０Ａ、９０Ｂ、９２Ａ及び９２Ｂの各々の代表画素（例えば、中央の画素）の画素値を適用してもよい。
【0122】
ここで、第２距離画像８９内の画素値を“l_B(x,y)”とし、第１代表値９０Ａ１を“l_A1”とし、第２代表値９０Ｂ１を“l_A2”とし、第３代表値９２Ａ１を“l_B1”とし、第４代表値９２Ｂ１を“l_B2”とし、正規化した画素値を“l_B1(x,y)”とした場合、“l_B1(x,y)”は以下の数式（１）によって規定される。正規化処理部６２Ｄ１は、第２距離画像８９内の各画素の画素値（すなわち、“l_B(x,y)”）を、数式（１）を用いて“l_B1(x,y)”に変換することで第２距離画像８９を正規化する。
【0123】
l_B1(x,y)={l_B(x,y)-l_B1}*{(l_A2-l_A1)/(l_B2-l_B1)}+l_A1・・・・（１）
【0124】
図７に示す例において、画像領域９０Ａ及び９０Ｂは、本開示の技術に係る「複数の第３画像領域」の一例であり、画像領域９２Ａ及び９２Ｂは、本開示の技術に係る「複数の第４画像領域」の一例である。また、図７に示す例において、第１代表値９０Ａ１及び第２代表値９０Ｂ１は、本開示の技術に係る「複数の第１代表値」の一例であり、第３代表値９２Ａ１及び第４代表値９２Ｂ１は、本開示の技術に係る「複数の第２代表値」の一例である。既定類似度は、本開示の技術に係る「第１類似度」及び「第２類似度」の一例である。
【0125】
一例として図８に示すように、割合付与部６２Ｅ１は、信頼度マップ生成部６２Ｂ１によって生成された信頼度マップ８８Ａに基づいて割合９４を導出する。割合９４は、ＡＩ方式処理部６２Ａ１によって生成された第１距離画像８６と正規化処理部６２Ｄ１によって正規化された第２距離画像８９とを画素単位で合成する場合に用いる割合である。すなわち、割合９４は、第１距離画像８６と第２距離画像８９とを画素単位で互いにどの程度合成するかを定める値である。
【0126】
割合９４は、第１割合９４Ａと第２割合９４Ｂとに大別される。第１割合９４Ａは、ＡＩ方式処理部６２Ａ１によって生成された第１距離画像８６に用いられ、第２割合９４Ｂは、正規化処理部６２Ｄ１によって正規化された第２距離画像８９に用いられる。第１割合９４Ａ及び第２割合９４Ｂは、信頼度マップ８８Ａ内のエッジ領域８８Ａ１と非エッジ領域８８Ａ２とについて導出される。第１割合９４Ａは、エッジ領域８８Ａ１と非エッジ領域８８Ａ２とで異なり、第２割合９４Ｂも、エッジ領域８８Ａ１と非エッジ領域８８Ａ２とで異なる。
【0127】
エッジ領域８８Ａ１について導出される第２割合９４Ｂは、エッジ領域８８Ａ１について導出される第１割合９４Ａよりも大きい。これは、第１距離画像８６内のエッジ領域９６Ａと第２距離画像８９内のエッジ領域９６Ｂとが合成された場合、エッジ領域９６Ｂがエッジ領域９６Ａよりも支配的に表現されることを意味する。なお、ここで、エッジ領域９６Ａとは、第１距離画像８６内の全画像領域のうちの信頼度マップ８８Ａ内のエッジ領域８８Ａ１の位置に対応する画像領域を指す。また、ここで、エッジ領域９６Ｂとは、第２距離画像８９内の全画像領域のうちの信頼度マップ８８Ａ内のエッジ領域８８Ａ１の位置に対応する画像領域を指す。
【0128】
エッジ領域８８Ａ１についての第１割合９４Ａ及び第２割合９４Ｂは、信頼度マップ８８Ａの内容に応じて導出される。例えば、本第１実施形態において、エッジ領域８８Ａ１についての第１割合９４Ａ及び第２割合９４Ｂは、信頼度マップ８８Ａから特定されるエッジ領域８８Ａ１に応じて導出される。信頼度マップ８８Ａにおいて、エッジ領域８８Ａ１は、信頼度が“１．０”の画像領域である。これは、第１距離画像８６内のエッジ領域９６Ａ（すなわち、第１距離画像８６内の全画像領域のうち、信頼度マップ８８Ａ内のエッジ領域８８Ａ１の位置に対応する画像領域）よりも、第２距離画像８９内のエッジ領域９６Ｂ（すなわち、第２距離画像８９内の全画像領域のうち、信頼度マップ８８Ａ内のエッジ領域８８Ａ１の位置に対応する画像領域）の方が信頼できることを意味する。そのため、図８に示す例では、エッジ領域８８Ａ１について導出される第１割合９４Ａとして、“０．０”が例示されており、エッジ領域８８Ａ１について導出される第２割合９４Ｂとして、“１．０”が例示されている。
【0129】
一方、非エッジ領域８８Ａ２について導出される第１割合９４Ａは、非エッジ領域８８Ａ２について導出される第２割合９４Ｂよりも大きい。これは、第１距離画像８６内の非エッジ領域９８Ａと第２距離画像８９内の非エッジ領域９８Ｂとが合成された場合、非エッジ領域９８Ａが非エッジ領域９８Ｂよりも支配的に表現されることを意味する。なお、ここで、非エッジ領域９８Ａとは、第１距離画像８６内の全画像領域のうちの信頼度マップ８８Ａ内の非エッジ領域８８Ａ２の位置に対応する画像領域を指す。また、ここで、非エッジ領域９８Ｂとは、第２距離画像８９内の全画像領域のうちの信頼度マップ８８Ａ内の非エッジ領域８８Ａ２の位置に対応する画像領域を指す。
【0130】
非エッジ領域８８Ａ２についての第１割合９４Ａ及び第２割合９４Ｂは、信頼度マップ８８Ａの内容に応じて導出される。例えば、本第１実施形態において、非エッジ領域８８Ａ２についての第１割合９４Ａ及び第２割合９４Ｂは、信頼度マップ８８Ａから特定される非エッジ領域８８Ａ２に応じて導出される。信頼度マップ８８Ａにおいて、非エッジ領域８８Ａ２は、信頼度が“０．０”の画像領域である。これは、第２距離画像８９内の非エッジ領域９８Ｂよりも、第１距離画像８６内の非エッジ領域９８Ａの方が信頼できることを意味する。そのため、図８に示す例では、非エッジ領域８８Ａ２について導出される第１割合９４Ａとして、“１．０”が例示されており、非エッジ領域８８Ａ２について導出される第２割合９４Ｂとして、“０．０”が例示されている。
【0131】
割合付与部６２Ｅ１は、エッジ領域８８Ａ１について導出した第１割合９４Ａ（ここでは、一例として、“０．０”）を第１距離画像８６内のエッジ領域９６Ａに付与する。また、割合付与部６２Ｅ１は、エッジ領域８８Ａ１について導出した第２割合９４Ｂ（ここでは、一例として、“１．０”を第２距離画像８９内のエッジ領域９６Ｂに付与する。
【0132】
割合付与部６２Ｅ１は、非エッジ領域８８Ａ２について導出した第１割合９４Ａ（ここでは、一例として、“１．０”）を第１距離画像８６内の非エッジ領域９８Ａに付与する。また、割合付与部６２Ｅ１は、非エッジ領域８８Ａ２について導出した第２割合９４Ｂ（ここでは、一例として、“０．０”）を第２距離画像８９内の非エッジ領域９８Ｂに付与する。
【0133】
合成部６２Ｆ１は、信頼度マップ８８Ａを構成するエッジ領域８８Ａ１及び非エッジ領域８８Ａ２に応じて第１距離画像８６と第２距離画像８９とを合成することで合成画像１００Ａを生成する。例えば、合成部６２Ｆ１は、信頼度マップ８８Ａ内のエッジ領域８８Ａ１及び非エッジ領域８８Ａ２に基づいて導出された信頼度（例えば、エッジ領域８８Ａ１の信頼度及び非エッジ領域８８Ａ２の信頼度）に応じた割合９４に従って第１距離画像８６と第２距離画像８９とを合成することで合成画像１００Ａを生成する。第１距離画像８６と第２距離画像８９との合成は、第１距離画像８６と第２距離画像８９との積和演算（例えば、第１距離画像８６と第２距離画像８９との間での同一の画素位置についての画素値の積和演算）の結果である。
【0134】
第１距離画像８６と第２距離画像８９との合成は、エッジ領域９６Ａと第２距離画像８９内のエッジ領域９６Ｂとの合成、及び、非エッジ領域９８Ａと第２距離画像８９内の非エッジ領域９８Ｂとの合成が行われることによって実現される。この場合、例えば、合成部６２Ｆ１は、エッジ領域８８Ａ１について割合付与部６２Ｅ１によって導出された第１割合９４Ａ及び第２割合９４Ｂに従って、第１距離画像８６内のエッジ領域９６Ａと第２距離画像８９内のエッジ領域９６Ｂとを合成する。また、合成部６２Ｆ１は、非エッジ領域８８Ａ２について割合付与部６２Ｅ１によって導出された第１割合９４Ａ及び第２割合９４Ｂに従って、第１距離画像８６内の非エッジ領域９８Ａと第２距離画像８９内の非エッジ領域９８Ｂとを合成する。
【0135】
エッジ領域８８Ａ１についての第２割合９４Ｂは、エッジ領域８８Ａ１についての第１割合９４Ａよりも大きい。第１距離画像８６と第２距離画像８９とが合成される場合、エッジ領域８８Ａ１についての第２割合９４Ｂは、第２距離画像８９内のエッジ領域９６Ｂに対して用いられ、エッジ領域８８Ａ１についての第１割合９４Ａは、第１距離画像８６内のエッジ領域９６Ａに対して用いられる。従って、第１距離画像８６と第２距離画像８９とが合成される場合、第２距離画像８９内のエッジ領域９６Ｂは、第１距離画像８６内のエッジ領域９６Ａよりも大きな割合で合成される。
【0136】
図８に示す例では、第１距離画像８６内のエッジ領域９６Ａに付与された第１割合９４Ａがエッジ領域９６Ａの画素値に乗じられることによって得られた画素値と、第２距離画像８９内のエッジ領域９６Ｂに付与された第２割合９４Ｂがエッジ領域９６Ｂの画素値に乗じられることによって得られた画素値とが合成される。本第１実施形態では、エッジ領域９６Ｂに付与された第２割合９４Ｂが“１．０”であり、エッジ領域９６Ａに付与された第１割合９４Ａが“０．０”である。この場合、エッジ領域９６Ａの画素値に対して第１割合９４Ａとして“０．０”が乗じられ、エッジ領域９６Ｂの画素値に対して第２割合９４Ｂとして“１．０”が乗じられる。従って、合成画像１００Ａ内のエッジ領域１００Ａ１（すなわち、合成画像１００Ａ内の全画像領域のうちのエッジ領域９６Ａ及び９６Ｂの位置に対応する画像領域）として、エッジ領域９６Ｂが用いられる。
【0137】
非エッジ領域８８Ａ２についての第１割合９４Ａは、非エッジ領域８８Ａ２についての第２割合９４Ｂよりも大きい。第１距離画像８６と第２距離画像８９とが合成される場合、非エッジ領域８８Ａ２についての第１割合９４Ａは、第１距離画像８６内の非エッジ領域９８Ａに対して用いられ、非エッジ領域８８Ａ２についての第２割合９４Ｂは、第２距離画像８９内の非エッジ領域９８Ｂに対して用いられる。従って、第１距離画像８６と第２距離画像８９とが合成される場合、第１距離画像８６内の非エッジ領域９８Ａは、第２距離画像８９内の非エッジ領域９８Ｂよりも大きな割合で合成される。
【0138】
図８に示す例では、第１距離画像８６内の非エッジ領域９８Ａに付与された第１割合９４Ａが非エッジ領域９８Ａの画素値に乗じられることによって得られた画素値と、第２距離画像８９内の非エッジ領域９８Ｂに付与された第２割合９４Ｂが非エッジ領域９８Ｂの画素値に乗じられることによって得られた画素値とが合成される。本第１実施形態では、非エッジ領域９８Ｂに付与された第２割合９４Ｂが“０．０”であり、非エッジ領域９８Ａに付与された第１割合９４Ａが“１．０”である。この場合、非エッジ領域９８Ａの画素値に対して第１割合９４Ａとして“１．０”が乗じられ、非エッジ領域９８Ｂの画素値に対して第２割合９４Ｂとして“０．０”が乗じられる。従って、合成画像１００Ａ内の非エッジ領域１００Ａ２（すなわち、合成画像１００Ａ内の全画像領域のうちの非エッジ領域９８Ａ及び９８Ｂの位置に対応する画像領域）として、非エッジ領域９８Ａが用いられる。
【0139】
エッジ領域９６Ｂは、本開示の技術に係る「第１エッジ対応領域」の一例である。エッジ領域９６Ａは、本開示の技術に係る「第２エッジ対応領域」の一例である。非エッジ領域９８Ａは、本開示の技術に係る「第１非エッジ対応領域」の一例である。非エッジ領域９８Ｂは、本開示の技術に係る「第２非エッジ対応領域」の一例である。
【0140】
合成部６２Ｆ１は、合成画像１００Ａに対して各種の画像処理（例えば、オフセット補正、ホワイトバランス補正、デモザイク処理、色補正、ガンマ補正、色空間変換、輝度処理、色差処理、及びリサイズ処理等の公知の画像処理）を行う。合成部６２Ｆ１は、合成画像１００Ａに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂ（図３参照）として既定の出力先（例えば、図３に示す画像メモリ４６）に出力する。
【0141】
次に、撮像装置１０の作用について図９Ａ及び図９Ｂを参照しながら説明する。図９Ａ及び図９Ｂには、プロセッサ６２によって実行される画像合成処理の流れの一例が示されている。図９Ａ及び図９Ｂに示す画像合成処理の流れは、本開示の技術に係る「画像処理方法」の一例である。
【0142】
図９Ａに示す画像合成処理では、先ず、ステップＳＴ１０で、ＡＩ方式処理部６２Ａ１は、イメージセンサ２０（図１～図３参照）によって処理対象画像７５Ａが生成されたか否かを判定する。ステップＳＴ１０において、イメージセンサ２０によって処理対象画像７５Ａが生成されていない場合は、判定が否定されて、画像合成処理は、図９Ｂに示すステップＳＴ４０へ移行する。ステップＳＴ１０において、イメージセンサ２０によって処理対象画像７５Ａが生成された場合は、判定が肯定されて、画像合成処理はステップＳＴ１２へ移行する。
【0143】
ステップＳＴ１２で、ＡＩ方式処理部６２Ａ１及び信頼度マップ生成部６２Ｂ１は、処理対象画像７５Ａから撮像画像７５Ａ１ａ（図５参照）を取得する。ステップＳＴ１２の処理が実行された後、画像合成処理はステップＳＴ１４へ移行する。
【0144】
ステップＳＴ１４で、ＡＩ方式処理部６２Ａ１は、ステップＳＴ１２で取得した撮像画像７５Ａ１ａを生成モデル８２Ａ１（図５参照）に入力する。ステップＳＴ１４の処理が実行された後、画像合成処理はステップＳＴ１６へ移行する。
【0145】
ステップＳＴ１６で、ＡＩ方式処理部６２Ａ１は、ステップＳＴ１４で撮像画像７５Ａ１ａが生成モデル８２Ａ１に入力されることによって生成モデル８２Ａ１から出力された第１距離画像８６（図５参照）を取得する。ステップＳＴ１６の処理が実行された後、画像合成処理はステップＳＴ１８へ移行する。
【0146】
ステップＳＴ１８で、信頼度マップ生成部６２Ｂ１は、ステップＳＴ１２で取得した撮像画像７５Ａ１ａを用いて信頼度マップ８８Ａを生成する（図５参照）。ステップＳＴ１８の処理が実行された後、画像合成処理はステップＳＴ２０へ移行する。
【0147】
ステップＳＴ２０で、非ＡＩ方式処理部６２Ｃ１は、処理対象画像７５Ａから位相差画像７５Ａ２（図６参照）を取得する。ステップＳＴ２０の処理が実行された後、画像合成処理はステップＳＴ２２へ移行する。
【0148】
ステップＳＴ２２で、非ＡＩ方式処理部６２Ｃ１は、ステップＳＴ２０で取得した位相差画像７５Ａ２を用いて第２距離画像８９（図６参照）を生成する。ステップＳＴ２２の処理が実行された後、画像合成処理はステップＳＴ２４へ移行する。
【0149】
ステップＳＴ２４で、正規化処理部６２Ｄ１は、第１距離画像８６から画像領域９０Ａ及び９０Ｂ（図７参照）を特定し、第２距離画像８９から画像領域９２Ａ及び９２Ｂ（図７参照）を特定する。ステップＳＴ２４の処理が実行された後、画像合成処理はステップＳＴ２６へ移行する。
【0150】
ステップＳＴ２６で、正規化処理部６２Ｄ１は、画像領域９０Ａから第１代表値９０Ａ１（図７参照）を取得し、画像領域９０Ｂから第２代表値９０Ｂ１（図７参照）を取得し、画像領域９２Ａから第３代表値９２Ａ１（図７参照）を取得し、画像領域９２Ｂから第４代表値９２Ｂ１を取得する。ステップＳＴ２６の処理が実行された後、画像合成処理はステップＳＴ２８へ移行する。
【0151】
ステップＳＴ２８で、正規化処理部６２Ｄ１は、ステップＳＴ２６で取得した第１代表値９０Ａ１、第２代表値９０Ｂ１、第３代表値９２Ａ１、及び第４代表値９２Ｂ１を用いて第２距離画像８９を正規化する（図７参照）。ステップＳＴ２８の処理が実行された後、画像合成処理は、図９Ｂに示すステップＳＴ３０へ移行する。
【0152】
図９Ｂに示すステップＳＴ３０で、割合付与部６２Ｅ１は、ステップＳＴ１８で生成された信頼度マップ８８Ａを用いて第１割合９４Ａ及び第２割合９４Ｂを導出する（図８参照）。ステップＳＴ３０の処理が実行された後、画像合成処理はステップＳＴ３２へ移行する。
【0153】
ステップＳＴ３２で、割合付与部６２Ｅ１は、ステップＳＴ３０で導出した第１割合９４Ａを第１距離画像８６に付与する（図８参照）。ステップＳＴ３２の処理が実行された後、画像合成処理はステップＳＴ３４へ移行する。
【0154】
ステップＳＴ３４で、割合付与部６２Ｅ１は、ステップＳＴ３０で導出した第２割合９４Ｂを第２距離画像８９に付与する（図８参照）。ステップＳＴ３４の処理が実行された後、画像合成処理はステップＳＴ３６へ移行する。
【0155】
ステップＳＴ３６で、合成部６２Ｆ１は、第１距離画像８６に付与されている第１割合９４Ａ及び第２距離画像８９に付与されている第２割合９４Ｂに応じて第１距離画像８６と第２距離画像８９とを合成することで合成画像１００Ａを生成する（図８参照）。ステップＳＴ３６の処理が実行された後、画像合成処理はステップＳＴ３８へ移行する。
【0156】
ステップＳＴ３８で、合成部６２Ｆ１は、合成画像１００Ａに対して各種の画像処理を行う。そして、合成部６２Ｆ１は、合成画像１００Ａに対して各種の画像処理を行って得た画像を処理済み画像７５Ｂとして既定の出力先に出力する。ステップＳＴ３８の処理が実行された後、画像合成処理はステップＳＴ４０へ移行する。
【0157】
ステップＳＴ４０で、合成部６２Ｆ１は、画像合成処理を終了する条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としては、画像合成処理を終了させる指示が受付デバイス７６によって受け付けられた、との条件等が挙げられる。ステップＳＴ４０において、終了条件を満足していない場合は、判定が否定されて、画像合成処理はステップＳＴ１０へ移行する。ステップＳＴ４０において、終了条件を満足した場合は、判定が肯定されて、画像合成処理が終了する。
【0158】
以上説明したように、本第１実施形態では、撮像画像７５Ａ１ａに対して生成モデル８２Ａ１を用いた処理が行われることによって第１距離画像８６が得られ、位相差画像７５Ａ２を用いた処理が行われることによって第２距離画像８９が得られる。位相差画像７５Ａ２を用いた測距は、撮像画像７５Ａ１ａに写っている非エッジ領域よりも、撮像画像７５Ａ１ａに写っているエッジ領域に対して高精度に行われる。つまり、位相差画像７５Ａ２から得られる第２距離画像８９内のエッジ領域９６Ｂ（図８参照）に含まれる画素から特定される距離の精度は、第２距離画像８９内の非エッジ領域９８Ｂ（図８参照に）に含まれる画素から特定される距離の精度よりも高い。
【0159】
一方、生成モデル８２Ａ１は、撮像画像７５Ａ１ａに含まれるエッジ領域をノイズ成分であると誤判定したり、ノイズ成分をエッジ領域であると誤判定したりすることがある。このような誤判定は、生成モデル８２Ａ１に対する学習量を多くしたり、生成モデル８２Ａ１の中間層数を増やしたりすることによって、少なくすることは可能であるが、コストの増大につながる。このようなコストをかけなくても、生成モデル８２Ａ１は、第１距離画像８６内の非エッジ領域９８Ａ（図８参照）をエッジ領域９６Ａ（図８参照）よりも高精度に生成することができる。また、第１距離画像８６内の非エッジ領域９８Ａの精度は、第２距離画像８９内の非エッジ領域９８Ｂの精度よりも高い。
【0160】
そこで、撮像装置１０では、信頼度マップ８８Ａ内のエッジ領域８８Ａ１及び非エッジ領域８８Ａ２に応じて第１距離画像８６と第２距離画像８９とが合成される。これにより、合成対象とされる第１距離画像８６及び第２距離画像８９の特性を活かした合成画像１００Ａを得ることができる。つまり、第１距離画像８６の長所（すなわち、非エッジ領域９８Ａ）で第２距離画像８９の短所（すなわち、非エッジ領域９８Ｂ）を補い、第２距離画像８９の長所（すなわち、エッジ領域９６Ｂ）で第１距離画像８６の短所（すなわち、エッジ領域９６Ａ）を補うことができる。この結果、第１距離画像８６又は第２距離画像８９よりも、距離画像として高精度な合成画像１００Ａを得ることができる。
【0161】
本第１実施形態では、撮像画像７５Ａ１ａに写っている被写体が位相差画像７５Ａ２で表現されており、位相差画像７５Ａ２から第２距離画像８９が生成される。また、撮像画像７５Ａ１ａから第１距離画像８６が生成される。つまり、同一の被写体に対して、異なる方法で第１距離画像８６及び第２距離画像８９という２つの距離画像が生成される。従って、第１距離画像８６を生成する方法の特性（例えば、非エッジ領域に対する距離の精度が高いという長所）と第２距離画像８９を生成する方法の特性（例えば、エッジ領域に対する距離の精度が高いという長所）とを活かした合成画像１００Ａを得ることができる。
【0162】
本第１実施形態では、第１距離画像８６と第２距離画像８９とが、エッジ領域８８Ａ１及び非エッジ領域８８Ａ２に基づいて導出される信頼度に応じた割合９４で合成される。従って、エッジ領域８８Ａ１及び非エッジ領域８８Ａ２に基づいて導出される信頼度を考慮せずに定めた割合で第１距離画像８６と第２距離画像８９とが合成される場合に比べ、距離画像として高精度な合成画像１００Ａを得ることができる。
【0163】
本第１実施形態では、撮像画像７５Ａ１ａに対して非ＡＩ方式の処理が行われることによって信頼度マップ８８Ａが生成される。よって、ＡＩ方式で信頼度マップ８８Ａが生成される場合に比べ、簡素な構成で信頼度マップ８８Ａを得ることができる。
【0164】
本第１実施形態では、第１距離画像８６と第２距離画像８９との合成が第１距離画像８６と第２距離画像８９との積和演算によって実現される。よって、第１距離画像８６と第２距離画像８９とを容易に合成することができる。
【0165】
本第１実施形態では、撮像画像７５Ａ１ａ内のエッジ領域及び非エッジ領域が信頼度マップ８８Ａとして表現される。すなわち、撮像画像７５Ａ１ａ内のエッジ領域が、信頼度マップ８８Ａ内でエッジ領域８８Ａ１として表現され、撮像画像７５Ａ１ａ内の非エッジ領域が、信頼度マップ８８Ａ内で非エッジ領域８８Ａ２として表現される。従って、撮像画像７５Ａ１ａ内のエッジ領域及び非エッジ領域がマップ化されていない場合に比べ、信頼度の高い領域（すなわち、撮像画像７５Ａ１ａ内のエッジ領域）と信頼度の低い領域（すなわち、撮像画像７５Ａ１ａ内の非エッジ領域）とを容易に区別することができる。
【0166】
本第１実施形態では、第１距離画像８６と第２距離画像８９は、第２距離画像８９の次元を第１距離画像８６の次元に合わせてから合成される。従って、第１距離画像８６の次元と第２距離画像８９の次元とが異なった状態のまま第１距離画像８６と第２距離画像８９とが合成される場合に比べ、距離画像として高精度な合成画像１００Ａを得ることができる。
【0167】
本第１実施形態では、第１距離画像８６内の画像領域９０Ａと第２距離画像８９内の画像領域９２Ａとが既定類似度を上回る度合いで類似しており、第１距離画像８６内の画像領域９０Ｂと第２距離画像８９内の画像領域９２Ｂとが既定類似度を上回る度合いで類似している。そして、画像領域９０Ａから得られる第１代表値９０Ａ１、画像領域９０Ｂから得られる第２代表値９０Ｂ１、画像領域９２Ａから得られる第３代表値９２Ａ１、及び画像領域９２Ｂから得られる第４代表値９２Ｂ１に基づいて第２距離画像８９が正規化される。これにより、第１距離画像８６の次元と第２距離画像８９の次元とを高精度に合わせることができる。
【0168】
なお、上記第１実施形態では、エッジ領域８８Ａ１の信頼度に対応する割合９４と非エッジ領域８８Ａ２の信頼度に対応する割合９４とに従って第１距離画像８６と第２距離画像８９とが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像７５Ａ１ａに対して１つの信頼度が割り当てられ、１つの信頼度に対応する１つの割合で第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。撮像画像７５Ａ１ａに対して割り当てられた１つの信頼度の一例としては、撮像画像７５Ａ１ａに対してＡＩ方式又は非ＡＩ方式の処理（例えば、被写体としての人物をＡＩ方式又は非ＡＩ方式で検出する処理）が行われることによって得られた１つの信頼度（例えば、人物領域８５Ａに対する人物らしさを示す信頼度）が挙げられる。そして、１つの信頼度に応じた１つの割合が導出され、導出された１つの割合で第１距離画像８６と第２距離画像８９とが合成されるようにする。この場合、複数の信頼度を取得する処理、複数の信頼度から複数の割合を導出する処理、及び複数の割合を用いて第１距離画像８６と第２距離画像８９とを合成する処理が行われる場合に比べ、軽い処理負荷で第１距離画像８６と第２距離画像８９とを合成することができる。
【0169】
ここでは、撮像画像７５Ａ１ａに対して割り当てられた１つの信頼度から導出された１つの割合で第１距離画像８６と第２距離画像８９とが合成される変形例を挙げたが、本開示の技術はこれに限定されない。例えば、位相差画像７５Ａ２に対して割り当てられる１つの信頼度から導出された１つの割合で第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。位相差画像７５Ａ２に対して割り当てられた１つの信頼度の一例としては、位相差画像７５Ａ２に対してＡＩ方式又は非ＡＩ方式の処理（例えば、被写体としての人物にピントが合っているか否かをＡＩ方式又は非ＡＩ方式で判定する処理）が行われることによって得られた１つの信頼度（例えば、ピントが合っているらしさを示す信頼度）が挙げられる。そして、この場合も、１つの信頼度に応じた１つの割合が導出され、導出された１つの割合で第１距離画像８６と第２距離画像８９とが合成されるようにする。これにより、複数の信頼度を取得する処理、複数の信頼度から複数の割合を導出する処理、及び複数の割合を用いて第１距離画像８６と第２距離画像８９とを合成する処理が行われる場合に比べ、軽い処理負荷で第１距離画像８６と第２距離画像８９とを合成することができる。
【0170】
上記第１実施形態では、ＡＩ方式処理部６２Ａ１で行われるＡＩ方式の処理（すなわち、生成モデル８２Ａ１を用いた処理）と同種の役割を担う非ＡＩ方式の処理（すなわち、非ＡＩ方式処理部６２Ｃ１による処理）が行われることによって生成された第２距離画像８９が第１距離画像８６に合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１距離画像８６に合成される画像は、ＡＩ方式処理部６２Ａ１で行われるＡＩ方式の処理と同種の役割を担う非ＡＩ方式の処理が行われていない画像であってもよい。
【0171】
ＡＩ方式処理部６２Ａ１で行われるＡＩ方式の処理と同種の役割を担う非ＡＩ方式の処理が行われていない画像の一例としては、ピント位置特定画像が挙げられる。ピント位置特定画像は、ピントが合っている領域（以下、「合焦領域」と称する）を特定可能なマーク（例えば、枠）を含む画像である。例えば、合焦領域は、撮像画像７５Ａ１ａ又は位相差画像７５Ａ２に対してＡＩ方式又は非ＡＩ方式の処理が行われることによって特定されるようにすればよい。第１距離画像８６とピント位置特定画像（例えば、正規化されたピント位置特定画像）は、特定の割合（例えば、撮像画像７５Ａ１ａに対して割り当てられた１つの信頼度に応じた１つの割合）で合成される。これにより、第１距離画像８６と、距離画像とは異なる画像（ここでは、一例として、ピント位置特定画像）とを合成した画像を得ることができる。
【0172】
ここでは、第１距離画像８６と合成される画像としてピント位置特定画像を例示したが、これは、あくまでも一例に過ぎず、第１距離画像８６と合成される画像は、第１距離画像８６と異なる種類の画像であればよい。第１距離画像８６と異なる種類の画像としては、例えば、撮像画像７５Ａ１ａが挙げられる。また、第１距離画像８６と異なる種類の画像の他例としては、撮像画像７５Ａ１ａの色、ダイナミックレンジ、輝度、及び／又はコントラスト等の各種の画質パラメータが調節されることによって得られた画像が挙げられる。なお、ピント位置特定画像、及び第１距離画像８６と異なる種類の画像は、本開示の技術に係る「第４画像」及び「第１ＡＩ処理と同種の役割を担う非ＡＩ方式の処理が行われていない画像」の一例である。
【0173】
上記第１実施形態では、ＡＩ方式処理部６２Ａ１によって第１距離画像８６が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されず、ＡＩ方式処理部６２Ａ１によって距離画像とは異なる種類の画像が生成されるようにしてもよい。
【0174】
上記第１実施形態では、非ＡＩ方式処理部６２Ｃ１によって第２距離画像８９が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されず、非ＡＩ方式処理部６２Ｃ１によって距離画像とは異なる種類の画像が生成されるようにしてもよい。
【0175】
上記第１実施形態では、撮像画像７５Ａ１ａ内のエッジ領域及び非エッジ領域に応じて第１距離画像８６と第２距離画像８９とが合成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、位相差画像７５Ａ２の指標（例えば、位相差）に応じて第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。例えば、位相差画像７５Ａ２の指標（例えば、位相差）に応じて定まる割合で第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。
【0176】
また、撮像画像７５Ａ１ａの指標（例えば、エッジ領域及び非エッジ領域）及び位相差画像７５Ａ２の指標（例えば、位相差）に応じて第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。例えば、撮像画像７５Ａ１ａの指標（例えば、エッジ領域及び非エッジ領域）及び位相差画像７５Ａ２の指標（例えば、位相差）に応じて定まる割合で第１距離画像８６と第２距離画像８９とが合成されるようにしてもよい。
【0177】
上記第１実施形態では、第２距離画像８９が正規化される形態例を挙げて説明したが、本開示の技術はこれに限定されず、第２距離画像８９が正規化されるのと同様の要領で第１距離画像８６が正規化されるようにしてもよい。
【0178】
［第２実施形態］
上記第１実施形態では、正規化処理部６２Ｄ１が、第１距離画像８６内の画像領域９０Ａ及び９０Ｂから第１代表値９０Ａ１及び第２代表値９０Ｂ１を取得し、第２距離画像８９内の画像領域９２Ａ及び９２Ｂから第３代表値９２Ａ１及び第４代表値９２Ｂ１を取得したが、本開示の技術はこれに限定されない。例えば、図１０に示すように、正規化処理部６２Ｄ１は、第１距離画像８６内の画像領域９０Ｂから第１最大値９０Ｂ２及び第１最小値９０Ｂ３を取得し、第２距離画像８９内の画像領域９２Ｂから第２最大値９２Ｂ２及び第２最小値９２Ｂ３を取得するようにしてもよい。
上記第１実施形態では、正規化処理部６２Ｄ１が、第１距離画像８６内の画像領域９０Ａ及び９０Ｂから第１代表値９０Ａ１及び第２代表値９０Ｂ１を取得し、第２距離画像８９内の画像領域９２Ａ及び９２Ｂから第３代表値９２Ａ１及び第４代表値９２Ｂ１を取得したが、本開示の技術はこれに限定されない。例えば、図１０に示すように、正規化処理部６２Ｄ１は、第１距離画像８６内の画像領域９０Ｂから第１最大値９０Ｂ２及び第１最小値９０Ｂ３を取得し、第２距離画像８９内の画像領域９２Ｂから第２最大値９２Ｂ２及び第２最小値９２Ｂ３を取得するようにしてもよい。
【0179】
ここで、第１最大値９０Ｂ２は、画像領域９０Ｂを構成する全画素の画素値のうちの最大値である。第１最小値９０Ｂ３は、画像領域９０Ｂを構成する全画素の画素値のうちの最小値である。第２最大値９２Ｂ２は、画像領域９２Ｂを構成する全画素の画素値のうちの最大値である。第２最小値９２Ｂ３は、画像領域９２Ｂを構成する全画素の画素値のうちの最小値である。
【0180】
画像領域９０Ｂは、本開示の技術に係る「単一の第５画像領域」の一例である。画像領域９２Ｂは、本開示の技術に係る「単一の第６画像領域」の一例である。第１最大値９０Ｂ２及び第１最小値９０Ｂ３は、本開示の技術に係る「複数の第３代表値」の一例である。第２最大値９２Ｂ２及び第２最小値９２Ｂ３は、本開示の技術に係る「複数の第４代表値」の一例である。
【0181】
正規化処理部６２Ｄ１は、第１最大値９０Ｂ２、第１最小値９０Ｂ３、第２最大値９２Ｂ２、及び第２最小値９２Ｂ３に基づいて第２距離画像８９を正規化する。
【0182】
ここで、第２距離画像８９内の画素値を“l_B(x,y)”とし、第１最大値９０Ｂ２を“l_Amax”とし、第１最小値９０Ｂ３を“l_Amin”とし、第２最大値９２Ｂ２を“l_Bmax”とし、第２最小値９２Ｂ３を“l_Bmin”とし、正規化した画素値を“l_B1(x,y)”とした場合、“l_B1(x,y)”は以下の数式（２）によって規定される。正規化処理部６２Ｄ１は、第２距離画像８９内の各画素の画素値（すなわち、“l_B(x,y)”）を、数式（２）を用いて“l_B1(x,y)”に変換することで第２距離画像８９を正規化する。
【0183】
l_B1(x,y)={l_B(x,y)-l_Bmin}*{(l_Amax-l_Amin)/(l_Bmax-l_Bmin)}+l_Amin・・・・・・（２）
【0184】
このように、本第２実施形態では、画像領域９０Ｂから得られる第１最大値９０Ｂ２及び第１最小値９０Ｂ３、並びに、画像領域９２Ｂから得られる第２最大値９２Ｂ２及び第２最小値９２Ｂ３に基づいて第２距離画像８９が正規化される。これにより、図７に示す例のように１つの距離画像から複数の画像領域を特定する必要がないので、複数の画像領域を特定する必要がない分だけ、第２距離画像８９を正規化するのに要する処理負荷を軽減することができる。
【0185】
なお、上記第２実施形態では、正規化処理部６２Ｄ１が、第１距離画像８６内の画像領域９０Ｂから第１最大値９０Ｂ２及び第１最小値９０Ｂ３を取得し、第２距離画像８９内の画像領域９２Ｂから第２最大値９２Ｂ２及び第２最小値９２Ｂ３を取得する形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、正規化処理部６２Ｄ１は、第１距離画像８６内の画像領域９０Ａ（図７参照）を構成する全画素の画素値のうちの最大値及び最小値を取得し、第２距離画像８９内の画像領域９２Ａ（図７参照）を構成する全画素の画素値のうちの最大値及び最小値を取得するようにしてもよい。
【0186】
つまり、第１距離画像８６内の単一の画像領域から得られた最大値及び最小値と、第２距離画像８９内の単一の画像領域から得られた最大値及び最小値とに基づいて第１距離画像８６又は第２距離画像８９が正規されるようにすればよい。なお、第１距離画像８６内の単一の画像領域と第２距離画像８９内の単一の画像領域は、図７に示す画像領域９０Ａと画像領域９２Ａとの関係と同様に、既定類似度を上回る度合いで互いに類似しており、かつ、第１距離画像８６と第２距離画像８９との間で互いの位置が対応しているという関係性を有する画像領域である。
【0187】
上記第２実施形態では、第１最大値９０Ｂ２及び第１最小値９０Ｂ３を例示したが、これは、あくまでも一例に過ぎず、第１最大値９０Ｂ２及び第１最小値９０Ｂ３に代えて他の値を用いてもよい。例えば、第１最大値９０Ｂ２及び第１最小値９０Ｂ３に代えて、画像領域９０Ｂを構成する全画素の画素値のうちの最大値の次に大きな画素値と、画像領域９０Ｂを構成する全画素の画素値のうちの最小値の次に小さな画素値とを用いてもよい。また、第１最大値９０Ｂ２及び第１最小値９０Ｂ３に代えて、画像領域９０Ｂを構成する全画素の画素値のうちの最大値又は最小値と、画像領域９０Ｂを構成する全画素の画素値のうちの中央値とを用いてもよい。なお、第１最大値９０Ｂ２及び第１最小値９０Ｂ３と同様に、第２最大値９２Ｂ及び第２最小値９２Ｂ３も、他の値に代えてもよい。
【0188】
［第３実施形態］
上記第１実施形態では、撮像画像７５Ａ１ａに対して非ＡＩ方式の処理（すなわち、デジタルフィルタ８４Ａ１を用いた処理）が行われることによって信頼度が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像７５Ａ１ａに対してＡＩ方式の処理が行われることによって信頼度が導出されるようにしてもよい。
上記第１実施形態では、撮像画像７５Ａ１ａに対して非ＡＩ方式の処理（すなわち、デジタルフィルタ８４Ａ１を用いた処理）が行われることによって信頼度が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像７５Ａ１ａに対してＡＩ方式の処理が行われることによって信頼度が導出されるようにしてもよい。
【0189】
この場合、例えば、一例として図１１に示すように、上記第１実施形態で説明した信頼度マップ生成部６２Ｂ１に代えて信頼度マップ生成部６２Ｂ２が用いられる。信頼度マップ生成部６２Ｂ２は、撮像画像７５Ａ１ａに対して、学習済みの信頼度ネットワーク１０２Ａを用いた処理を行うことで信頼度マップ８８Ｂを生成する。信頼度ネットワーク１０２Ａは、本開示の技術に係る「学習済みモデル」及び「ニューラルネットワーク」の一例である。
【0190】
信頼度ネットワーク１０２Ａは、入力された撮像画像７５Ａ１ａから非エッジ領域を検出し、エッジ領域よりも非エッジ領域に対して高い信頼度（例えば、非エッジ領域らしさを示す度合い）を付与するニューラルネットワークである。信頼度ネットワーク１０２Ａは、例えば、物体を検出可能な畳み込みニューラルネットワークを含む学習済みの数理モデルである。
【0191】
信頼度ネットワーク１０２Ａは、入力された撮像画像７５Ａ１ａに基づいて、撮像画像７５Ａ１ａに対応する信頼度マップ８８Ｂを生成して出力する。信頼度マップ８８Ｂは、例えば、畳み込みニューラルネットワークの中間層から得られる特徴量マップに基づいて生成されるマップである。信頼度マップ８８Ｂは、非エッジ領域８８Ｂ１とエッジ領域８８Ｂ２とを含む。非エッジ領域８８Ｂ１は、撮像画像７５Ａ１ａ内の非エッジ領域に対応しており、上記第１実施形態で説明した第１距離画像８６を信頼できる要素である。エッジ領域８８Ｂ２は、撮像画像７５Ａ１ａ内のエッジ領域に対応しており、上記第１実施形態で説明した第２距離画像８９を信頼できる要素である。
【0192】
図１１に示す例において、非エッジ領域８８Ｂ１は、撮像画像７５Ａ１ａに対する信頼度が“１．０”の画像領域であり、エッジ領域８８Ｂ２は、撮像画像７５Ａ１ａに対する信頼度が“０．０”の画像領域である。これは、非エッジ領域８８Ｂ１が、非エッジ領域らしく、エッジ領域８８Ｂ２が、非エッジ領域らしくないことを意味する。換言すると、非エッジ領域８８Ｂ１は、第１距離画像８６を信頼した方が良い画像領域であることを意味しており、エッジ領域８８Ｂ２は、第１距離画像８６を信頼しない方が良い画像領域（すなわち、第２距離画像８９を信頼した方が良い画像領域）であることを意味している。
【0193】
そのため、非エッジ領域８８Ｂ１についての第１割合９４Ａは、非エッジ領域８８Ｂ１についての第２割合９４Ｂよりも大きい。図１１に示す例では、非エッジ領域８８Ｂ１についての第１割合９４Ａが“１．０”であり、非エッジ領域８８Ｂ１についての第２割合９４Ｂが“０．０”である。一方、エッジ領域８８Ｂ２についての第１割合９４Ａは、エッジ領域８８Ｂ２についての第２割合９４Ｂよりも小さい。図１１に示す例では、エッジ領域８８Ｂ２についての第１割合９４Ａが“０．０”であり、エッジ領域８８Ｂ２についての第２割合９４Ｂが“１．０”である。このようにして得られた第１割合９４Ａ及び第２割合９４Ｂは、上記第１実施形態で説明した要領で、割合付与部６２Ｅ１及び合成部６２Ｆ１（図８参照）によって用いられる。よって、撮像画像７５Ａ１ａに対して信頼度ネットワーク１０２Ａを用いた処理が行われることによって得られる信頼度マップ８８Ｂを用いても、上記各実施形態と同様の効果を得ることができる。
【0194】
なお、上記第３実施形態では、撮像画像７５Ａ１ａに対してＡＩ方式の処理が行われることによって信頼度マップ８８Ｂが生成される形態例を挙げたが、第１距離画像８６に対してＡＩ方式の処理が行われることによって信頼度マップ８８Ｂが生成されるようにしてもよい。
【0195】
この場合、例えば、図１２に示すように、図１１に示す信頼度マップ生成部６２Ｂ２に代えて信頼度マップ生成部６２Ｂ３が用いられる。信頼度マップ生成部６２Ｂ３は、信頼度ネットワーク１０２Ｂを用いた処理を行う。信頼度ネットワーク１０２Ｂは、入力された距離画像から非エッジ領域を検出し、エッジ領域よりも非エッジ領域に対して高い信頼度（例えば、非エッジ領域らしさを示す度合い）を付与するニューラルネットワークである。信頼度ネットワーク１０２Ｂは、例えば、物体を検出可能な畳み込みニューラルネットワークを含む学習済みモデルである。
【0196】
信頼度マップ生成部６２Ｂ３は、ＡＩ方式処理部６２Ａ１から第１距離画像８６を取得し、取得した第１距離画像８６を信頼度ネットワーク１０２Ｂに入力する。信頼度ネットワーク１０２Ｂは、入力された第１距離画像８６に基づいて、第１距離画像８６に対応する信頼度マップ８８Ｂを生成する。
【0197】
［第４実施形態］
上記第３実施形態では、撮像画像７５Ａ１ａ内の画素毎の信頼度が導出されてマップ化される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像７５Ａ１ａが複数の画像領域に区分され、区分されて得られた画像領域毎に信頼度が導出されてマップ化されるようにしてもよい。
上記第３実施形態では、撮像画像７５Ａ１ａ内の画素毎の信頼度が導出されてマップ化される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像画像７５Ａ１ａが複数の画像領域に区分され、区分されて得られた画像領域毎に信頼度が導出されてマップ化されるようにしてもよい。
【0198】
この場合、例えば、図１３に示すように、図１１に示す信頼度マップ生成部６２Ｂ２に代えて信頼度マップ生成部６２Ｂ４が用いられる。信頼度マップ生成部６２Ｂ４は、信頼度ネットワーク１０２Ｃを用いた処理を行う。
【0199】
撮像画像７５Ａ１ａは、複数の区分領域１０４に分割されている。複数の区分領域１０４は、撮像画像７５Ａ１ａが行列状に分割されることによって区分された画像領域である。図１３に示す例では、区分領域１０４の一例として、複数の画素からなる矩形状の画像領域が示されている。複数の区分領域１０４は、本開示の技術に係る「複数の第１画像領域」の一例である。
【0200】
信頼度マップ生成部６２Ｂ４は、撮像画像７５Ａ１ａを信頼度ネットワーク１０２Ｃに入力する。信頼度ネットワーク１０２Ｃは、入力された撮像画像７５Ａ１ａに基づいて信頼度マップ８８Ｃを生成する。信頼度ネットワーク１０２Ｃは、図１１に示す信頼度ネットワーク１０２Ａに比べ、信頼度ネットワーク１０２Ａが撮像画像７５Ａ１ａの画素単位で信頼度を導出するのに対し、信頼度ネットワーク１０２Ｃが撮像画像７５Ａ１ａの区分領域１０４毎に信頼度を導出する点が異なる。
【0201】
信頼度ネットワーク１０２Ｃは、区分領域１０４毎に、対応する区分領域１０４に対する信頼可能な度合いである信頼度（すなわち、非エッジ領域らしさを示す信頼度）を導出し、導出した信頼度をマップ化することで信頼度マップ８８Ｃを生成して出力する。区分領域１０４毎に導出される信頼度は、本開示の技術に係る「第１分割信頼度」である。信頼度マップ８８Ｃは、本開示の技術に係る「第１信頼度」及び「複数の第１分割信頼度」の一例である。
【0202】
信頼度マップ８８Ｃは、複数の区分領域１０６に分割されている。信頼度マップ８８Ｃ内での複数の区分領域１０６の位置は、撮像画像７５Ａ１ａ内での複数の区分領域１０４に対応している。信頼度マップ８８Ｃには、導出された信頼度が分布している。すなわち、信頼度マップ８８Ｃには、区分領域１０６毎に、導出された信頼度が割り当てられている。換言すると、信頼度マップ８８Ｃは、導出された複数の信頼度と撮像画像７５Ａ１ａ内の複数の区分領域１０４との対応関係を表現したマップである。
【0203】
一例として図１４に示すように、割合付与部６２Ｅ２は、信頼度マップ８８Ｃ内の区分領域１０６毎に第１割合９４Ａ及び第２割合９４Ｂを導出する。図１４に示す例では、信頼度が“０．０”の区分領域１０６については、第１割合９４Ａが“０．０”であり、第２割合９４Ｂが“１．０”である。また、信頼度が“１．０”の区分領域１０６については、第１割合９４Ａが“１．０”であり、第２割合９４Ｂが“０．０”である。また、信頼度が“０．６”の区分領域１０６については、第１割合９４Ａが“０．６”であり、第２割合９４Ｂが“０．４”である。
【0204】
第１距離画像８６は、複数の区分領域１０８に分割されている。第１距離画像８６内での複数の区分領域１０８の位置は、信頼度マップ８８Ｃ内での複数の区分領域１０６の位置に対応している。また、第２距離画像８９（すなわち、正規化された第２距離画像８９）は、複数の区分領域１１０に分割されている。第２距離画像８９内での複数の区分領域１１０の位置は、信頼度マップ８８Ｃ内での複数の区分領域１０６の位置に対応している。
【0205】
割合付与部６２Ｅ２は、区分領域１０６毎に導出した第１割合９４Ａを、区分領域１０６に対応する区分領域１０８に付与する。また、割合付与部６２Ｅ２は、区分領域１０６毎に導出した第２割合９４Ｂを、区分領域１０６に対応する区分領域１１０に付与する。
【0206】
一例として図１５に示すように、合成部６２Ｆ２は、第１距離画像８６と第２距離画像８９とを、割合付与部６２Ｅ２によって導出された第１割合９４Ａ及び第２割合９４Ｂに応じて合成することで合成画像１００Ｂを生成する。合成画像１００Ｂは、複数の区分領域１１２に分割されている。合成画像１００Ｂ内での複数の区分領域１１２の位置は、信頼度マップ８８Ｃ内での複数の区分領域１０６（図１３及び図１４参照）の位置に対応している。
【0207】
合成画像１００Ｂ内の画素値は、第１距離画像８６内の画素値と第２距離画像８９内の画素値との積和演算（すなわち、第１距離画像８６と第２距離画像８９との間での同一の画素位置についての画素値の積和演算）の結果である。すなわち、合成部６２Ｆ２は、区分領域１０８内の第１画素値と区分領域１１０内の第２画素値とを加算することにより、区分領域１０８及び１１０に対応する区分領域１１２内の画素値を決定する。区分領域１０８内の第１画素値及び区分領域１１０内の第２画素値は、第１距離画像８６と第２距離画像８９との間での同一の画素位置についての画素値である。また、区分領域１０８内の第１画素値は、区分領域１０８内の画素値と区分領域１０８に対して付与された第１割合９４Ａとを乗じることで得た画素値である。区分領域１１０内の第２画素値は、区分領域１１０内の画素値と区分領域１１０に対して付与された第２割合９４Ｂとを乗じることで得た画素値である。
【0208】
信頼度マップ８８Ｃ内で信頼度が第１基準値を上回る区分領域１０４に対応する区分領域１０８は、第２距離画像８９内での対応する区分領域１１０よりも高い割合で合成される。第１基準値の一例としては、“０．５”が挙げられる。また、信頼度マップ８８Ｃ内で信頼度が第１基準値を上回る区分領域１０４に対応する区分領域１０８の一例としては、信頼度マップ８８Ｃ内で信頼度が“１．０”又は“０．６”（図１４参照）の区分領域１０４に対応する区分領域１０８が挙げられる。また、第２距離画像８９内での対応する区分領域１１０よりも高い割合の一例としては、“１．０”又は“０．６”（図１４参照）が挙げられる。
【0209】
ここで、区分領域１０８は、本開示の技術に係る「第１信頼度マップ内で第１分割信頼度が第１基準値を上回る第１画像領域に対応する第２画像内での画像領域」の一例である。また、第２距離画像８９内での対応する区分領域１１０よりも高い割合は、本開示の技術に係る「第４画像内での対応する画像領域よりも高い割合」の一例である。
【0210】
合成画像１００Ｂ内の一部領域には、第１距離画像８６が用いられずに、第２距離画像８９がそのまま用いられる。第２距離画像８９がそのまま用いられる一部領域は、信頼度マップ８８Ｃ内で信頼度が第１基準値未満の値である第２基準値（ここでは、一例として、“０．０”）以下の区分領域１０４に対応する区分領域１１０（ここでは、一例として、第２割合９４Ｂとして“１．０”が付与されている区分領域１１０）である。ここで、合成画像１００Ｂ内の一部領域（すなわち、第２距離画像８９がそのまま用いられる一部領域）は、本開示の技術に係る「第１特定画像領域」の一例である。
【0211】
以上説明したように、本第４実施形態では、撮像画像７５Ａ１ａが、複数の区分領域１０４に分割されており、区分領域１０４毎に、対応する区分領域１０４に対する信頼度が導出される。よって、撮像画像７５Ａ１ａに対して１つの信頼度のみが割り当てられている場合に比べ、距離画像として高精度な合成画像１００Ｂを得ることができる。
【0212】
本第４実施形態では、区分領域１０４毎に導出された信頼度が複数の区分領域１０４に対して分布している信頼度マップ８８Ｃに従って第１距離画像８６と第２距離画像８９とが合成される。よって、画素単位で信頼度が分布しているマップに従って第１距離画像８６と第２距離画像８９とを合成する場合に比べ、第１距離画像８６と第２距離画像８９との合成に要する処理負荷を軽減することができる。また、撮像画像７５Ａ１ａに対して１つの信頼度のみが割り当てられている場合に比べ、距離画像として高精度な合成画像１００Ｂを得ることができる。
【0213】
本第４実施形態では、信頼度マップ８８Ｃ内で信頼度が第１基準値を上回る区分領域１０４に対応する区分領域１０８が、第２距離画像８９内での対応する区分領域１１０よりも高い割合で合成される。従って、信頼度マップ８８Ｃ内で信頼度が第１基準値を上回る区分領域１０４に対応する区分領域１０８が、第２距離画像８９内での対応する区分領域１１０よりも低い割合で合成される場合に比べ、距離画像として高精度な合成画像１００Ｂを得ることができる。
【0214】
本第４実施形態では、信頼度マップ８８Ｃ内で信頼度が第２基準値以下の区分領域１０４に対応する区分領域１１０が合成画像１００Ｂ内の一部領域として用いられる。よって、信頼度マップ８８Ｃ内で信頼度が第２基準値以下の区分領域１０４に対応する区分領域１１０と区分領域１０８とを合成した領域を合成画像１００Ｂ内の一部領域として用いた場合に比べ、距離画像として高精度な合成画像１００Ｂを得ることができる。
【0215】
［第５実施形態］
上記第４実施形態では、撮像画像７５Ａ１ａに対してＡＩ方式の処理が行われることによって撮像画像７５Ａ１ａに対する信頼度が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、位相差画像７５Ａ２に対してＡＩ方式の処理が行われることによって位相差画像７５Ａ２に対する信頼度（すなわち、位相差画像７５Ａ２に対する信頼可能な度合い）が導出されるようにしてもよい。位相差画像７５Ａ２に対する信頼度は、本開示の技術に係る「第２信頼度」の一例である。
上記第４実施形態では、撮像画像７５Ａ１ａに対してＡＩ方式の処理が行われることによって撮像画像７５Ａ１ａに対する信頼度が導出される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、位相差画像７５Ａ２に対してＡＩ方式の処理が行われることによって位相差画像７５Ａ２に対する信頼度（すなわち、位相差画像７５Ａ２に対する信頼可能な度合い）が導出されるようにしてもよい。位相差画像７５Ａ２に対する信頼度は、本開示の技術に係る「第２信頼度」の一例である。
【0216】
一例として図１６に示すように、位相差画像７５Ａ２は、複数の区分領域１１４に分割されており、区分領域１１４毎に信頼度が導出されてマップ化される。複数の区分領域１１４は、位相差画像７５Ａ２が行列状に分割されることによって区分された画像領域である。複数の区分領域１１４は、本開示の技術に係る「複数の第２画像領域」の一例である。
【0217】
本第５実施形態では、図１３に示す信頼度マップ生成部６２Ｂ４に代えて信頼度マップ生成部６２Ｂ５が用いられる。信頼度マップ生成部６２Ｂ５は、信頼度ネットワーク１０２Ｄを用いた処理を行う。
【0218】
信頼度マップ生成部６２Ｂ５は、位相差画像７５Ａ２を信頼度ネットワーク１０２Ｄに入力する。信頼度ネットワーク１０２Ｄは、入力された位相差画像７５Ａ２に基づいて信頼度マップ８８Ｄを生成する。信頼度ネットワーク１０２Ｄは、図１３に示す信頼度ネットワーク１０２Ｃに比べ、信頼度ネットワーク１０２Ｃが撮像画像７５Ａ１ａの区分領域１０４毎に信頼度を導出するのに対し、信頼度ネットワーク１０２Ｄが位相差画像７５Ａ２の区分領域１１４毎に信頼度を導出する点が異なる。
【0219】
信頼度ネットワーク１０２Ｄは、区分領域１１４毎に、対応する区分領域１１４に対する信頼可能な度合いである信頼度（すなわち、エッジ領域らしさを示す信頼度）を導出し、導出した信頼度をマップ化することで信頼度マップ８８Ｄを生成して出力する。区分領域１１４毎に導出される信頼度は、本開示の技術に係る「第２分割信頼度」である。信頼度マップ８８Ｄは、本開示の技術に係る「第２信頼度」及び「複数の第２分割信頼度」の一例である。
【0220】
信頼度マップ８８Ｄは、複数の区分領域１１６に分割されている。信頼度マップ８８Ｄ内での複数の区分領域１１６の位置は、位相差画像７５Ａ２内での複数の区分領域１１４に対応している。信頼度マップ８８Ｄには、導出された信頼度が分布している。すなわち、信頼度マップ８８Ｄには、区分領域１１６毎に、導出された信頼度が割り当てられている。換言すると、信頼度マップ８８Ｄは、導出された複数の信頼度と位相差画像７５Ａ２内の複数の区分領域１１４との対応関係を表現したマップである。
【0221】
一例として図１７に示すように、割合付与部６２Ｅ３は、信頼度マップ８８Ｄ内の区分領域１１６毎に第１割合９４Ａ及び第２割合９４Ｂを導出する。図１７に示す例では、信頼度が“０．０”の区分領域１１６については、第１割合９４Ａが“１．０”であり、第２割合９４Ｂが“０．０”である。また、信頼度が“１．０”の区分領域１１６については、第１割合９４Ａが“０．０”であり、第２割合９４Ｂが“１．０”である。また、信頼度が“０．６”の区分領域１０６については、第１割合９４Ａが“０．４”であり、第２割合９４Ｂが“０．６”である。
【0222】
第１距離画像８６内での複数の区分領域１０８の位置は、信頼度マップ８８Ｄ内での複数の区分領域１１６の位置に対応している。また、第２距離画像８９内での複数の区分領域１１０の位置は、信頼度マップ８８Ｄ内での複数の区分領域１１６の位置に対応している。
【0223】
割合付与部６２Ｅ３は、区分領域１１６毎に導出した第１割合９４Ａを、区分領域１１６に対応する区分領域１０８に付与する。また、割合付与部６２Ｅ３は、区分領域１１６毎に導出した第２割合９４Ｂを、区分領域１１６に対応する区分領域１１０に付与する。
【0224】
一例として図１８に示すように、合成部６２Ｆ３は、第１距離画像８６と第２距離画像８９とを、割合付与部６２Ｅ３によって導出された第１割合９４Ａ及び第２割合９４Ｂに応じて合成することで合成画像１００Ｃを生成する。合成画像１００Ｃは、複数の区分領域１１８に分割されている。合成画像１００Ｃ内での複数の区分領域１１８の位置は、信頼度マップ８８Ｄ内での複数の区分領域１１６（図１６及び図１７参照）の位置に対応している。
【0225】
合成画像１００Ｃ内の画素値は、第１距離画像８６内の画素値と第２距離画像８９内の画素値との積和演算（すなわち、第１距離画像８６と第２距離画像８９との間での同一の画素位置についての画素値の積和演算）の結果である。すなわち、合成部６２Ｆ３は、区分領域１０８内の第１画素値と区分領域１１０内の第２画素値とを加算することにより、区分領域１０８及び１１０に対応する区分領域１１８内の画素値を決定する。区分領域１０８内の第１画素値の意味、及び区分領域１１０内の第２画素値の意味については、上記第４実施形態で説明したので、ここでの説明は省略する。
【0226】
信頼度マップ８８Ｄ内で信頼度が第３基準値を上回る区分領域１１４に対応する区分領域１０８は、第２距離画像８９内での対応する区分領域１１０よりも高い割合で合成される。第３基準値の一例としては、“０．５”が挙げられる。また、信頼度マップ８８Ｄ内で信頼度が第３基準値を上回る区分領域１１４に対応する区分領域１０８の一例としては、信頼度マップ８８Ｄ内で信頼度が“１．０”又は“０．６”（図１７参照）の区分領域１１４に対応する区分領域１０８が挙げられる。また、第２距離画像８９内での対応する区分領域１１０よりも高い割合の一例としては、“１．０”又は“０．６”（図１７参照）が挙げられる。
【0227】
ここで、区分領域１１８は、本開示の技術に係る「第２信頼度マップ内で第２分割信頼度が第３基準値を上回る第２画像領域に対応する第４画像内での画像領域」の一例である。また、第２距離画像８９内での対応する区分領域１１０よりも高い割合は、本開示の技術に係る「第２画像内での対応する画像領域よりも高い割合」の一例である。
【0228】
合成画像１００Ｃ内の一部領域には、第２距離画像８９が用いられずに、第１距離画像８６がそのまま用いられる。第１距離画像８６がそのまま用いられる一部領域は、信頼度マップ８８Ｄ内で信頼度が第３基準値未満の値である第４基準値（ここでは、一例として、“０．０”）以下の区分領域１０４に対応する区分領域１０８（ここでは、一例として、第１割合９４Ａとして“０．０”が付与されている区分領域１０８）である。ここで、合成画像１００Ｃ内の一部領域（すなわち、第１距離画像８６がそのまま用いられる一部領域）は、本開示の技術に係る「第２特定画像領域」の一例である。
【0229】
以上説明したように、本第５実施形態では、位相差画像７５Ａ２が、複数の区分領域１１４に分割されており、区分領域１１４毎に、対応する区分領域１１４に対する信頼度が導出される。よって、位相差画像７５Ａ２に対して１つの信頼度のみが割り当てられている場合に比べ、距離画像として高精度な合成画像１００Ｃを得ることができる。
【0230】
本第５実施形態では、区分領域１１４毎に導出された信頼度が複数の区分領域１１４に対して分布している信頼度マップ８８Ｄに従って第１距離画像８６と第２距離画像８９とが合成される。よって、画素単位で信頼度が分布しているマップに従って第１距離画像８６と第２距離画像８９とを合成する場合に比べ、第１距離画像８６と第２距離画像８９との合成に要する処理負荷を軽減することができる。また、位相差画像７５Ａ２に対して１つの信頼度のみが割り当てられている場合に比べ、距離画像として高精度な合成画像１００Ｃを得ることができる。
【0231】
本第５実施形態では、信頼度マップ８８Ｄ内で信頼度が第３基準値を上回る区分領域１１４に対応する区分領域１０８が、第２距離画像８９内での対応する区分領域１１０よりも高い割合で合成される。従って、信頼度マップ８８Ｄ内で信頼度が第３基準値を上回る区分領域１１４に対応する区分領域１０８が、第２距離画像８９内での対応する区分領域１１０よりも低い割合で合成される場合に比べ、距離画像として高精度な合成画像１００Ｃを得ることができる。
【0232】
本第５実施形態では、信頼度マップ８８Ｄ内で信頼度が第４基準値以下の区分領域１１４に対応する区分領域１１０が合成画像１００Ｃ内の一部領域として用いられる。よって、信頼度マップ８８Ｄ内で信頼度が第４基準値以下の区分領域１１４に対応する区分領域１１０と区分領域１０８とを合成した領域を合成画像１００Ｃ内の一部領域として用いた場合に比べ、距離画像として高精度な合成画像１００Ｃを得ることができる。
【0233】
［第６実施形態］
上記各実施形態では、第１距離画像８６と第２距離画像８９との合成を例示したが、本第６実施形態では、陽炎と動体が写っている撮像画像７５Ａ１を用いた合成処理が行われることによって陽炎と動体が画質の及ぼす影響を低減した画像を生成する形態例について説明する。
上記各実施形態では、第１距離画像８６と第２距離画像８９との合成を例示したが、本第６実施形態では、陽炎と動体が写っている撮像画像７５Ａ１を用いた合成処理が行われることによって陽炎と動体が画質の及ぼす影響を低減した画像を生成する形態例について説明する。
【0234】
一例として図１９～図２２に示すように、プロセッサ６２は、画像合成処理プログラム１２１（図４参照）をＲＡＭ６６上で実行することで、ＡＩ方式処理部６２Ａ２、信頼度マップ生成部６２Ｂ６、非ＡＩ方式処理部６２Ｃ２、正規化処理部６２Ｄ２、割合付与部６２Ｅ４、合成部６２Ｆ４、及び動体検出部１２２として動作する。
【0235】
一例として図１９に示すように、ＡＩ方式処理部６２Ａ２及び動体検出部１２２には、連写が行われることによって得られた複数の撮像画像７５Ａ１ｂが時系列で入力される。撮像画像７５Ａ１ｂは、図３に示す撮像画像７５Ａ１の一例である。撮像画像７５Ａ１ｂは、動体領域１２０Ａ及び陽炎領域１２０Ｂを有する。撮像画像７５Ａ１ｂは、本開示の技術に係る「第１画像」及び「環境現象と動体とを含む被写体が撮像されることによって得られた画像」の一例である。
【0236】
動体領域１２０Ａは、動体（図１９に示す例では、動いている人物）が写っている画像領域である。撮像画像７５Ａ１ｂに写っている動体は、本開示の技術に係る「動体」の一例である。陽炎領域１２０Ｂは、陽炎が写っている画像領域である。撮像画像７５Ａ１ｂに写っている陽炎は、本開示の技術に係る「環境現象」の一例である。なお、ここでは、陽炎を例示しているが、これは、あくまでも一例に過ぎず、降雨、降雪、散乱、乱反射、光源（例えば、規則的又は不規則的に点滅する光源）に起因して色が変化する現象、光源及び撮像装置１０のシャッタの特性に起因して明るさが周期的に変化する現象（例えば、フリッカ）、又はゴースト等の環境現象であってもよい。
【0237】
ＡＩ方式処理部６２Ａ２は、撮像画像７５Ａ１ｂに対してＡＩ方式の処理を行うことで画像１２４を生成する。撮像画像７５Ａ１ｂに対するＡＩ方式の処理とは、例えば、生成モデル８２Ａ２を用いた処理を指す。生成モデル８２Ａ２は、図４に示す生成モデル８２Ａの一例である。撮像画像７５Ａ１ｂに対するＡＩ方式の処理は、本開示の技術に係る「第１ＡＩ処理」の一例である。生成モデル８２Ａ２は、画像に写っている陽炎を低減させる学習が既に行われた生成ネットワークである。画像１２４は、撮像画像７５Ａ１ｂに写っている陽炎が消去された画像である。ここでは、画像１２４として、撮像画像７５Ａ１ｂに写っている陽炎が消去された画像を例示しているが、これは、あくまでも一例に過ぎず、画像１２４は、陽炎が完全に消去されずに僅かに残存している画像であってもよく、画像１２４は、撮像画像７５Ａ１ｂよりも、陽炎の写り込みが低減された画像であればよい。
【0238】
動体検出部１２２は、動体領域１２０Ａを検出する。動体領域１２０Ａの検出方法の第１例としては、非ＡＩ方式の処理を用いた検出方法が挙げられる。動体領域１２０Ａの検出方法の第２例としては、ＡＩ方式の処理を用いた検出方法が挙げられる。動体領域１２０Ａの検出方法の第３例としては、非ＡＩ方式の処理を用いた検出方法とＡＩ方式の処理を用いた検出方法とを組み合わせた検出方法が挙げられる。
【0239】
非ＡＩ方式の処理を用いた検出方法の一例としては、時系列上の複数の撮像画像７５Ａ１ｂ間の差分に基づいて動体領域１２０Ａを検出する方法が挙げられる。ＡＩ方式の処理を用いた検出方法の一例としては、単一の撮像画像７５Ａ１ｂ又は時系列上の複数の撮像画像７５Ａ１ｂに対してＡＩ方式の処理（例えば、畳み込みニューラルネットワークを用いた処理）を行うことで動体領域１２０Ａを検出する方法が挙げられる。非ＡＩ方式の処理を用いた検出方法とＡＩ方式の処理を用いた検出方法とを組み合わせた検出方法の一例としては、非ＡＩ方式の処理を用いた検出方法によって検出された画像領域とＡＩ方式の処理を用いた検出方法によって検出された画像領域とで重複している画像領域を動体領域１２０Ａとして検出する方法が挙げられる。
【0240】
動体検出部１２２は、動体領域１２０Ａを検出した結果として、撮像画像７５Ａ１ｂ内での動体領域１２０Ａの位置を特定可能な位置特定情報１２６を生成して信頼度マップ生成部６２Ｂ６に出力する。位置特定情報１２６は、例えば、動体領域１２０Ａに外接する矩形枠１２６ａの撮像画像７５Ａ１ｂ内での位置を特定可能な複数の座標を含む情報である。なお、位置特定情報１２６は、本開示の技術に係る「指標」及び「第１画像に前記動体が写っているか否かを特定可能な情報」の一例である。
【0241】
信頼度マップ生成部６２Ｂ６は、信頼度ネットワーク１０２Ｅを用いた処理を行う。信頼度マップ生成部６２Ｂ６は、複数の撮像画像７５Ａ１ｂから得られた複数の位置特定情報１２６に基づいて信頼度マップ８８Ｅを生成する。信頼度マップ８８Ｅは、動体領域１２０Ａに対する信頼度（すなわち、信頼可能な度合い）の分布を示すマップであり、撮像画像７５Ａ１ｂと同一のサイズで形成されている。信頼度マップ８８Ｅは、第１領域８８Ｅ１及び第２領域８８Ｅ２を有する。第１領域８８Ｅ１は、複数の位置特定情報１２６から特定される領域（すなわち、動体領域１２０Ａに対応する領域）である。第２領域８８Ｅ２は、第１領域８８Ｅ１以外の残り領域（すなわち、動体領域１２０Ａが存在しない領域）である。図２０に示す例では、第１領域８８Ｅ１の信頼度が“１．０”であり、第２領域８８Ｅ２の信頼度は“０．０”である。
【0242】
なお、本第６実施形態では、動体検出部１２２が撮像画像７５Ａ１ｂから動体領域１２０Ａを検出し、信頼度マップ生成部６２Ｂ６が動体検出部１２２による検出結果に基づいて信頼度を導出する形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、信頼度ネットワーク１０２Ｅが、複数の撮像画像７５Ａ１ｂから動体領域１２０Ａを検出し、検出結果に基づいて信頼度マップ８８Ｅを生成するようにしてもよい。この場合、例えば、信頼度ネットワーク１０２Ｅは、動体領域１２０Ａを検出可能な畳み込みニューラルネットワークであり、信頼度マップ８８Ｅは、信頼度ネットワーク１０２Ｅの中間層から得られる特徴量マップに基づいて生成されるようにすればよい。
【0243】
一例として図２１に示すように、非ＡＩ方式処理部６２Ｃ２は、時系列上の複数の撮像画像７５Ａ１ｂに対して非ＡＩ方式の処理を行うことで画像１２８を生成する。画像１２８は、本開示の技術に係る「第４画像」及び「第１画像から前記環境現象の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像」の一例である。
【0244】
時系列上の複数の撮像画像７５Ａ１ｂに対する非ＡＩ方式の処理の一例としては、時系列上の複数の撮像画像７５Ａ１ｂを平均化する処理が挙げられる。画像１２８は、撮像画像７５Ａ１ｂに写っている陽炎が消去された画像である。ここでは、画像１２８として、撮像画像７５Ａ１ｂに写っている陽炎が消去された画像を例示しているが、これは、あくまでも一例に過ぎず、画像１２８は、陽炎が完全に消去されずに僅かに残存している画像であってもよく、画像１２８は、撮像画像７５Ａ１ｂよりも、陽炎の写り込みが低減された画像であればよい。
【0245】
また、ここでは、時系列上の複数の撮像画像７５Ａ１ｂが平均化されることによって画像１２８が生成される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、撮像画像７５Ａ１ｂに対してデジタルフィルタを用いた処理が行われることによって画像１２８（すなわち、撮像画像７５Ａ１ｂよりも、陽炎の写り込みが低減された画像）が生成されるようにしてもよい。
【0246】
非ＡＩ方式処理部６２Ｃ２は、上記の要領で画像１２８を生成し、生成した画像１２８を正規化処理部６２Ｄ２に出力する。正規化処理部６２Ｄ２は、上記第１又は第２実施形態で説明した正規化処理と同様の要領で、画像１２８を正規化する。そして、このように正規化された画像１２８は、画像１２４（図１９参照）と合成される。
【0247】
ところで、時系列上の複数の撮像画像７５Ａ１ｂに対して非ＡＩ方式の処理（例えば、平均化する処理）が行われることによって画像１２８が生成されると、画像１２８は、撮像画像７５Ａ１ｂよりも、陽炎が低減されるものの、動体領域１２０Ａの残像が生じる。そのため、画像１２８そのものと画像１２４とが合成されると、合成されて得られた画像にも動体領域１２０Ａの残像が生じる。
【0248】
そこで、本第６実施形態では、画像１２８と画像１２４との合成の前段階で、画像１２８内で動体領域１２０Ａの残像が生じている残像領域１３０が信頼度マップ８８Ｅに基づいて特定され、画像１２８と画像１２４との合成で、特定された残像領域１３０に代えて画像１２８内の動体領域１２０Ａが用いられるようにしている。
【0249】
これを実現するために、例えば、図２２に示すように、割合付与部６２Ｅ４は、信頼度マップ８８Ｅ内の第１領域８８Ｅ１の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出し、信頼度マップ８８Ｅ内の第２領域８８Ｅ２の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出する。
【0250】
第１領域８８Ｅ１の信頼度は“１．０”である。この場合、画像１２８と画像１２４との合成により、残像領域１３０に代えて画像１２８内の動体領域１２０Ａが用いられるようにするために、第１領域８８Ｅ１の信頼度に応じて導出される第１割合９４Ａとして“１．０”が用いられ、第１領域８８Ｅ１の信頼度に応じて導出される第２割合９４Ｂとして“０．０”が用いられる。
【0251】
一方、第２領域８８Ｅ２の信頼度は“０．０”である。この場合、第２領域８８Ｅ２の信頼度に応じて導出される第１割合９４Ａは“０．０”であり、第２領域８８Ｅ２の信頼度に応じて導出される第２割合９４Ｂは“１．０”である。なお、第２領域８８Ｅ２の信頼度に応じて導出される第１割合９４Ａは０．０～１．０の範囲内で０．０よりも大きな値であってもよい。この場合の第２割合９４Ｂの値としては、１．０から第１割合９４Ａの値を減じた値が用いられる。
【0252】
割合付与部６２Ｅ４は、第１領域８８Ｅ１の信頼度に応じて導出した第１割合９４Ａを、画像１２４内の全画像領域のうちの第１領域８８Ｅ１に対応する画像領域に対して付与する。また、割合付与部６２Ｅ４は、第１領域８８Ｅ１の信頼度に応じて導出した第２割合９４Ｂを、画像１２８内の全画像領域のうちの第１領域８８Ｅ１に対応する画像領域に対して付与する。
【0253】
割合付与部６２Ｅ４は、第２領域８８Ｅ２の信頼度に応じて導出した第１割合９４Ａを、画像１２４内の全画像領域のうちの第２領域８８Ｅ２に対応する画像領域に対して付与する。また、割合付与部６２Ｅ４は、第２領域８８Ｅ２の信頼度に応じて導出した第２割合９４Ｂを、画像１２８内の全画像領域のうちの第２領域８８Ｅ２に対応する画像領域に対して付与する。
【0254】
合成部６２Ｆ４は、上記各実施形態と同様の要領で、画像１２４と画像１２８とを第１割合９４Ａ及び第２割合９４Ｂで合成することにより、合成画像１００Ｄを生成する。すなわち、画像１２４内の全画像領域のうちの残像領域１３０に対応する画像領域は、画像１２８内の全画像領域のうちの残像領域１３０に対応する画像領域よりも高い割合（ここでは、一例として、“１．０”）で合成される。また、画像１２８内の全画像領域のうちの残像領域１３０以外の領域に対応する画像領域は、画像１２４内の全画像領域のうちの残像領域１３０以外の領域に対応する画像領域よりも高い割合（ここでは、一例として、“１．０”）で合成される。これにより、画像１２８に写っている残像領域１３０を無視して定めた割合で画像１２４と画像１２８とを合成した場合に比べ、陽炎が低減され、かつ、動体の残像が少ない合成画像１００Ｄを得ることができる。
【0255】
［第７実施形態］
上記第６実施形態では、画像内の陽炎の写り込みを低減する形態例を挙げて説明したが、本第７実施形態では、画像内の霞の写り込みを低減する形態例について説明する。
上記第６実施形態では、画像内の陽炎の写り込みを低減する形態例を挙げて説明したが、本第７実施形態では、画像内の霞の写り込みを低減する形態例について説明する。
【0256】
一例として図２３～図２５に示すように、プロセッサ６２は、画像合成処理プログラム１３２（図４参照）をＲＡＭ６６上で実行することで、ＡＩ方式処理部６２Ａ３、信頼度マップ生成部６２Ｂ７、非ＡＩ方式処理部６２Ｃ３、正規化処理部６２Ｄ３、割合付与部６２Ｅ５、及び合成部６２Ｆ５として動作する。
【0257】
一例として図２３に示すように、ＡＩ方式処理部６２Ａ３及び信頼度マップ生成部６２Ｂ７には、撮像画像７５Ａ１ｃが入力される。撮像画像７５Ａ１ｃは、図３に示す撮像画像７５Ａ１の一例である。撮像画像７５Ａ１ｃは、非霞領域１３４Ａ及び霞領域１３４Ｂを有する。撮像画像７５Ａ１ｃは、本開示の技術に係る「第１画像」及び「霞を含む被写体が撮像されることによって得られた画像」の一例である。なお、非霞領域１３４Ａ及び霞領域１３４Ｂは、本開示の技術に係る「指標」及び「霞領域を特定可能な情報」の一例である。
【0258】
非霞領域１３４Ａは、霞が写っていない画像領域（すなわち、霞領域１３４Ｂ以外の画像領域）である。霞領域１３４Ｂは、霞が写っている画像領域である。図２３に示す例では、霞領域１３４Ｂに、人物が写っている人物領域１３５が含まれている。撮像画像７５Ａ１ｃに写っている霞は、本開示の技術に係る「霞」の一例である。霞領域１３４Ｂは、本開示の技術に係る「霞領域」の一例である。
【0259】
ＡＩ方式処理部６２Ａ３は、撮像画像７５Ａ１ｃに対してＡＩ方式の処理を行うことで画像１３６を生成する。撮像画像７５Ａ１ｃに対するＡＩ方式の処理とは、例えば、生成モデル８２Ａ３を用いた処理を指す。生成モデル８２Ａ３は、図４に示す生成モデル８２Ａの一例である。撮像画像７５Ａ１ｃに対するＡＩ方式の処理は、本開示の技術に係る「第１ＡＩ処理」の一例である。生成モデル８２Ａ３は、画像に写っている霞を低減させる学習が既に行われた生成ネットワークである。画像１３６は、撮像画像７５Ａ１ｃに写っている霞が消去された画像である。ここでは、画像１３６として、撮像画像７５Ａ１ｃに写っている霞が消去された画像を例示しているが、これは、あくまでも一例に過ぎず、画像１３６は、霞が完全に消去されずに僅かに残存している画像であってもよく、画像１３６は、撮像画像７５Ａ１ｃよりも、霞の写り込みが低減された画像であればよい。なお、画像１３６は、本開示の技術に係る「第２画像」及び「第１画像に対して第１ＡＩ処理が行われることによって第１画像から霞の写り込みが低減された画像」の一例である。
【0260】
信頼度マップ生成部６２Ｂ７は、信頼度ネットワーク１０２Ｆを用いた処理を行う。例えば、信頼度ネットワーク１０２Ｆは、入力された撮像画像７５Ａ１ｃに基づいて信頼度マップ８８Ｆを生成する。信頼度ネットワーク１０２Ｆは、霞領域１３４Ｂを検出可能な畳み込みニューラルネットワークであり、信頼度マップ８８Ｆは、信頼度ネットワーク１０２Ｆの中間層から得られる特徴量マップに基づいて生成される。
【0261】
信頼度マップ８８Ｆは、霞領域１３４Ｂに対する信頼度（すなわち、信頼可能な度合い）の分布を示すマップであり、撮像画像７５Ａ１ｃと同一のサイズで形成されている。信頼度マップ８８Ｆは、第１領域８８Ｆ１及び第２領域８８Ｆ２を有する。第１領域８８Ｆ１は、霞領域１３４Ｂに対応する領域である。第２領域８８Ｆ２は、非霞領域１３４Ａに対応する領域である。図２３に示す例では、第１領域８８Ｆ１の信頼度が“１．０”であり、第２領域８８Ｆ２の信頼度は“０．０”である。
【0262】
一例として図２４に示すように、非ＡＩ方式処理部６２Ｃ３は、撮像画像７５Ａ１ｃに対して非ＡＩ方式の処理を行うことで画像１３８を生成する。画像１３８は、本開示の技術に係る「第４画像」及び「第１画像から霞の写り込みを低減する非ＡＩ方式の処理が行われることによって得られた画像」の一例である。
【0263】
撮像画像７５Ａ１ｃに対する非ＡＩ方式の処理の一例としては、デジタルフィルタ８４Ａ２を用いた処理が挙げられる。画像１３８は、撮像画像７５Ａ１ｃよりも、霞の写り込みが低減された画像である。霞の写り込みが低減された画像の一例としては、撮像画像７５Ａ１ｃ内の霞の写り込みが消去されずに僅かに残存している画像、又は、撮像画像７５Ａ１ｃ内の霞の写り込みが消去された画像が挙げられる。
【0264】
非ＡＩ方式処理部６２Ｃ３は、上記の要領で画像１３８を生成し、生成した画像１３８を正規化処理部６２Ｄ３に出力する。正規化処理部６２Ｄ３は、上記第１又は第２実施形態で説明した正規化処理と同様の要領で、画像１３８を正規化する。そして、このように正規化された画像１３８は、画像１３６（図２３参照）と合成される。
【0265】
ところで、生成モデル８２Ａ３の性能は、撮像画像７５Ａ１ｃに写っているシーンによってばらつくことがある。そうすると、霞の写り込みの低減が不十分であったり、非霞領域１３４Ａの一部が霞領域１３４Ｂであると誤判定されて削られてしまったりする虞がある。また、ユーザが霞の写り込みを僅かに残しておくことを望んでいるにも拘らず、霞の写り込みが完全に消去されてしまったりする虞もある。
【0266】
そこで、本第７実施形態では、画像１３６と画像１３８との合成の前段階で、撮像画像７５Ａ１ｃ内の霞領域１３４Ｂが信頼度マップ８８Ｆによって特定され、画像１３６と画像１３８との合成で、画像１３６内の霞領域１３４Ｂに代えて、画像１３８内の霞領域１３４Ｂが用いられるようにしている。
【0267】
これを実現するために、例えば、図２５に示すように、割合付与部６２Ｅ５は、信頼度マップ８８Ｆ内の第１領域８８Ｆ１の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出し、信頼度マップ８８Ｆ内の第２領域８８Ｆ２の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出する。
【0268】
第１領域８８Ｆ１の信頼度は“１．０”である。この場合、画像１３６と画像１３８との合成により、画像１３６内の霞領域１３４Ｂに代えて、画像１３８内の霞領域１３４Ｂが用いられるようにするために、第１領域８８Ｆ１の信頼度に応じて導出される第１割合９４Ａとして“１．０”が用いられ、第２領域８８Ｆ２の信頼度に応じて導出される第２割合９４Ｂとして“０．０”が用いられる。なお、第１領域８８Ｆ１の信頼度に応じて導出される第１割合９４Ａは０．０～１．０の範囲内で０．５よりも大きな値であってもよい。この場合の第２割合９４Ｂの値としては、１．０から第１割合９４Ａの値を減じた値が用いられる。
【0269】
一方、第２領域８８Ｆ２の信頼度は“０．０”である。この場合、第２領域８８Ｆ２の信頼度に応じて導出される第１割合９４Ａは“１．０”であり、第２領域８８Ｆ２の信頼度に応じて導出される第２割合９４Ｂは“０．０”である。
【0270】
割合付与部６２Ｅ５は、第１領域８８Ｆ１の信頼度に応じて導出した第１割合９４Ａを、画像１３６内の霞領域１３４Ｂに対して付与する。また、割合付与部６２Ｅ５は、第１領域８８Ｆ１の信頼度に応じて導出した第２割合９４Ｂを、画像１３８内の霞領域１３４Ｂに対して付与する。
【0271】
割合付与部６２Ｅ５は、第２領域８８Ｆ２の信頼度に応じて導出した第１割合９４Ａを、画像１３６内の非霞領域１３４Ａに対して付与する。また、割合付与部６２Ｅ５は、第２領域８８Ｆ２の信頼度に応じて導出した第２割合９４Ｂを、画像１３８内の非霞領域１３４Ａに対して付与する。
【0272】
合成部６２Ｆ５は、上記各実施形態と同様の要領で、画像１３６と画像１３８とを第１割合９４Ａ及び第２割合９４Ｂで合成することにより、合成画像１００Ｅを生成する。すなわち、画像１３８内の霞領域１３４Ｂは、画像１３６内の霞領域１３４Ｂよりも高い割合（ここでは、一例として、“１．０”）で合成される。また、画像１３６内の非霞領域１３４Ａは、画像１３８内の非霞領域１３４Ａよりも高い割合（ここでは、一例として、“１．０”）で合成される。これにより、撮像画像７５Ａ１ｃよりも、霞の写り込みが低減された合成画像１００Ｅを得ることができる。また、生成モデル８２Ａ３の性能が撮像画像７５Ａ１ｃに写っているシーンによってばらつくことに起因して、合成画像１００Ｅにおいて霞の写り込みが低減される度合いが不安定になることを抑制することができる。
【0273】
なお、上記第７実施形態では、ＡＩ方式処理部６２Ａ３及び非ＡＩ方式処理部６２Ｃ３に同一の撮像画像７５Ａ１ｃが入力される形態例を挙げたが、これは、あくまでも一例に過ぎない。例えば、連写が行われることによって得られた複数の撮像画像７５Ａ１ｃのうち、時間的に前後している一対の撮像画像７５Ａ１ｃのうちの一方の撮像画像７５Ａ１ｃがＡＩ方式処理部６２Ａ３に入力され、他方の撮像画像７５Ａ１ｂが非ＡＩ方式処理部６２Ｃ３に入力されるようにしてもよい。この場合、一方の撮像画像７５Ａ１ｃは、本開示の技術に係る「第１画像」の一例であり、他方の撮像画像７５Ａ１ｃは、本開示の技術に係る「第３画像」の一例である。
【0274】
［第８実施形態］
上記各実施形態では、可視光画像に基づいて生成された一対の画像が合成される形態例を挙げて説明したが、本第８実施形態では、赤外光画像と可視光画像に基づいて生成された画像とが合成される形態例について説明する。
上記各実施形態では、可視光画像に基づいて生成された一対の画像が合成される形態例を挙げて説明したが、本第８実施形態では、赤外光画像と可視光画像に基づいて生成された画像とが合成される形態例について説明する。
【0275】
一例として図２６に示すように、撮像装置１０は、赤外光センサ１４０及び可視光センサ１４２を有する。可視光センサ１４２の一例としては、図１～図３に示すイメージセンサ２０が挙げられる。赤外光センサ１４０は、イメージセンサ２０に組み込まれている。
【0276】
赤外光センサ１４０は、被写体１４４を撮像することにより赤外光画像１４６を生成する。被写体１４４は、本開示の技術に係る「撮像対象領域」の一例である。赤外光画像１４６は、本開示の技術に係る「第３画像」及び「赤外光画像」の一例である。可視光センサ１４２は、被写体１４４を撮像することにより可視光画像１４８を生成する。可視光画像１４８は、本開示の技術に係る「第１画像」の一例である。赤外光画像１４６及び可視光画像１４８は、図３に示す撮像画像７５Ａ１の一例である。
【0277】
被写体１４４の表面には、熱放射体１４４Ａが付されている。熱放射体１４４Ａは、熱放射が小さいために、赤外光画像１４６に写り込まないが、可視光画像１４８に写り込む。可視光画像１４８内の全画像領域は、熱放射体１４４Ａを示す画像領域１４８Ａと、画像領域１４８Ａ以外の画像領域１４８Ｂとに区分される。
【0278】
画像領域１４８Ａは、本開示の技術に係る「第２温度分布画像内において前記第１温度分布画像に写らない熱放射体を示す画像領域である第１領域」の一例である。画像領域１４８Ｂは、本開示の技術に係る「第１領域以外の画像領域である第２領域」の一例である。画像領域１４８Ａ及び画像領域１４８Ｂは、本開示の技術に係る「指標」及び「第２温度分布画像内において第１温度分布画像に写らない熱放射体を示す画像領域である第１領域と熱放射体領域以外の画像領域である第２領域とを区別可能な情報」の一例である。
【0279】
一例として図２７～図２９に示すように、プロセッサ６２は、画像合成処理プログラム１４９（図４参照）をＲＡＭ６６上で実行することで、ＡＩ方式処理部６２Ａ４、信頼度マップ生成部６２Ｂ８、非ＡＩ方式処理部６２Ｃ４、正規化処理部６２Ｄ４、割合付与部６２Ｅ６、及び合成部６２Ｆ６として動作する。
【0280】
一例として図２７に示すように、非ＡＩ方式処理部６２Ｃ４は、赤外光画像１４６に対して非ＡＩ方式の処理を行うことで第１温度分布画像１５０を生成する。第１温度分布画像１５０は、本開示の技術に係る「第１温度分布画像」の一例である。第１温度分布画像１５０は、いわゆるサーモグラフィである。非ＡＩ方式処理部６２Ｃ４は、赤外光画像１４６を分析することで被写体１４４の温度の分布を特定し、被写体１４４の温度の分布を有彩色で表現した画像を第１温度分布画像１５０として生成して正規化処理部６２Ｄ４に出力する。なお、赤外光画像１４６に基づいて第１温度分布画像１５０を生成する方法は公知なので、ここでの説明は省略する。
【0281】
正規化処理部６２Ｄ４は、上記第１又は第２実施形態で説明した正規化処理と同様の要領で、第１温度分布画像１５０を正規化する。
【0282】
一例として図２８に示すように、ＡＩ方式処理部６２Ａ４及び信頼度マップ生成部６２Ｂ８には、可視光画像１４８が入力される。
【0283】
ＡＩ方式処理部６２Ａ４は、可視光画像１４８に対してＡＩ方式の処理を行うことで第２温度分布画像１５２を生成する。可視光画像１４８に対するＡＩ方式の処理は、本開示の技術に係る「第１ＡＩ処理」の一例である。第２温度分布画像１５２は、本開示の技術に係る「第２温度分布画像」の一例である。可視光画像１４８に対するＡＩ方式の処理とは、例えば、生成モデル８２Ａ４を用いた処理を指す。生成モデル８２Ａ４は、図４に示す生成モデル８２Ａの一例である。生成モデル８２Ａ４は、可視光が撮像されることで得られた画像から、被写体の温度の分布を有彩色で表現した画像（すなわち、サーモグラフィ）を生成する学習が既に行われた生成ネットワークである。
【0284】
第２温度分布画像１５２は、可視光画像１４８により示される被写体１４４及び熱放射体１４４Ａ（図２６参照）の温度の分布を有彩色で表現した画像（すなわち、サーモグラフィ）である。第２温度分布画像１５２内の全画像領域は、熱放射体１４４Ａを示す画像領域１５２Ａと画像領域１５２Ａ以外の画像領域１５２Ｂとに区分される。第２温度分布画像１５２内での画像領域１５２Ａの位置は、可視光画像１４８内での画像領域１４８Ａの位置に対応している。
【0285】
信頼度マップ生成部６２Ｂ８は、信頼度ネットワーク１０２Ｇを用いた処理を行う。例えば、信頼度ネットワーク１０２Ｇは、入力された可視光画像１４８に基づいて信頼度マップ８８Ｇを生成する。信頼度ネットワーク１０２Ｇは、熱放射体１４４Ａを示す画像を検出可能な畳み込みニューラルネットワークであり、信頼度マップ８８Ｇは、信頼度ネットワーク１０２Ｇの中間層から得られる特徴量マップに基づいて生成される。
【0286】
信頼度マップ８８Ｇは、画像領域１４８Ａに対する信頼度（すなわち、信頼可能な度合い）の分布を示すマップであり、可視光画像１４８と同一のサイズで形成されている。信頼度マップ８８Ｇは、第１領域８８Ｇ１及び第２領域８８Ｇ２を有する。第１領域８８Ｇ１は、画像領域１４８Ａに対応する領域である。第２領域８８Ｇ２は、画像領域１４８Ｂに対応する領域である。図２８に示す例では、第１領域８８Ｇ１の信頼度が“１．０”であり、第２領域８８Ｇ２の信頼度は“０．０”である。
【0287】
ところで、第１温度分布画像１５０には、熱放射体１４４Ａを示す画像領域が含まれていない。そのため、ユーザは、第１温度分布画像１５０を視認しただけでは、被写体１４４に熱放射体１４４Ａが付されていることを認識することができない。
【0288】
そこで、本第８実施形態では、ユーザに対して、被写体１４４に熱放射体１４４Ａが付されていることを画像から視覚的に特定させるために、第１温度分布画像１５０と熱放射体１４４Ａを示す画像領域１５２Ａが含まれている第２温度分布画像１５２との合成が行われる。
【0289】
これを実現するために、例えば、図２９に示すように、割合付与部６２Ｅ６は、信頼度マップ８８Ｇ内の第１領域８８Ｇ１の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出し、信頼度マップ８８Ｇ内の第２領域８８Ｇ２の信頼度に応じた第１割合９４Ａ及び第２割合９４Ｂを導出する。
【0290】
第１領域８８Ｇ１の信頼度は“１．０”である。この場合、第１温度分布画像１５０と第２温度分布画像１５２との合成により、熱放射体１４４Ａを示す画像領域１５２Ａが可視化されるようにするために、第１領域８８Ｇ１の信頼度に応じて導出される第１割合９４Ａとして“１．０”が用いられ、第１領域８８Ｇ１の信頼度に応じて導出される第２割合９４Ｂとして“０．０”が用いられる。
【0291】
ここでは、第１割合９４Ａとして“１．０”が用いられ、第２割合９４Ｂとして“０．０”が用いられる形態例が挙げられているが、本開示の技術はこれに限定されない。例えば、第１割合９４Ａ及び第２割合９４Ｂの各値は、第１温度分布画像１５０と第２温度分布画像１５２とが第１割合９４Ａ及び第２割合９４Ｂに従って合成された場合に熱放射体１４４Ａを示す画像領域１５２Ａが可視化される値であればよい。
【0292】
一方、第２領域８８Ｇ２の信頼度は“０．０”である。この場合、第２領域８８Ｇ２の信頼度に応じて導出される第１割合９４Ａは“０．０”であり、第２領域８８Ｇ２の信頼度に応じて導出される第２割合９４Ｂは“１．０”である。
【0293】
割合付与部６２Ｅ６は、第１領域８８Ｇ１の信頼度に応じて導出した第１割合９４Ａを、第２温度分布画像１５２内の画像領域１５２Ａに付与する。また、割合付与部６２Ｅ６は、第１領域８８Ｇ１の信頼度に応じて導出した第２割合９４Ｂを、第１温度分布画像１５０内の全画像領域のうちの画像領域１５２Ａに対応する画像領域に付与する。
【0294】
割合付与部６２Ｅ６は、第２領域８８Ｇ２の信頼度に応じて導出した第１割合９４Ａを、第２温度分布画像１５２内の画像領域１５２Ｂに付与する。また、割合付与部６２Ｅ６は、第２領域８８Ｇ２の信頼度に応じて導出した第２割合９４Ｂを、第１温度分布画像１５０内の全画像領域のうちの画像領域１５２Ｂに対応する画像領域に付与する。
【0295】
合成部６２Ｆ６は、上記各実施形態と同様の要領で、第１温度分布画像１５０と第２温度分布画像１５２とを第１割合９４Ａ及び第２割合９４Ｂで合成することにより、合成画像１００Ｆを生成する。すなわち、第２温度分布画像１５２内の画像領域１５２Ａは、第１温度分布画像１５０内の全画像領域のうちの画像領域１５２Ａに対応する画像領よりも高い割合（ここでは、一例として、“１．０”）で合成される。また、第１温度分布画像１５０内の全画像領域のうちの画像領域１５２Ｂに対応する画像領域は、第２温度分布画像１５２内の画像領域１５２Ｂよりも高い割合（ここでは、一例として、“１．０”）で合成される。これにより、合成画像１００Ｆ内で熱放射体１４４Ａを示す画像領域１５２Ａが可視化されるので、ユーザは、合成画像１００Ｆを通して、被写体１４４に熱放射体１４４Ａが付されていることを把握することができる。
【0296】
［第９実施形態］
上記第８実施形態では、赤外光センサ１４０によって被写体１４４が撮像されることで赤外光画像１４６が生成され、可視光センサ１４２によって被写体１４４が撮像されることで可視光画像１４８が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、撮像装置１０がマルチスペクトルカメラとしても機能するように構成されており、撮像装置１０によって被写体１４４が撮像されることによって、被写体１４４を示すマルチスペクトル画像１５４が生成されるようにしてもよい。
上記第８実施形態では、赤外光センサ１４０によって被写体１４４が撮像されることで赤外光画像１４６が生成され、可視光センサ１４２によって被写体１４４が撮像されることで可視光画像１４８が生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図３０に示すように、撮像装置１０がマルチスペクトルカメラとしても機能するように構成されており、撮像装置１０によって被写体１４４が撮像されることによって、被写体１４４を示すマルチスペクトル画像１５４が生成されるようにしてもよい。
【0297】
マルチスペクトル画像１５４は、複数の波長帯に分離可能な画像である。図３０に示す例では、マルチスペクトル画像１５４として、赤外光画像１５４Ａと可視光画像１５４Ｂとを含む画像が示されている。可視光画像１５４Ｂ内の全画像領域は、画像領域１５４Ｂ１と画像領域１５４Ｂ２とに区分される。画像領域１５４Ｂ１は、上記第８実施形態で説明した画像領域１４８Ａに相当する画像領域であり、画像領域１５４Ｂ２は、上記第８実施形態で説明した画像領域１４８Ｂに相当する画像領域である。
【0298】
本第９実施形態では、上記第８実施形態と同様の要領で、赤外光画像１５４Ａに基づいて第１温度分布画像１５０（図２７参照）が生成される。また、本第９実施形態では、上記第８実施形態と同様の要領で、可視光画像１５４Ｂに基づいて第２温度分布画像１５２（図２８参照）が生成される。また、本第９実施形態では、上記第８実施形態と同様の要領で、可視光画像１５４Ｂに基づいて信頼度マップ８８Ｇ（図２８参照）が生成される。従って、撮像装置１０がマルチスペクトルカメラとしても機能するように構成されており、撮像装置１０によってマルチスペクトル画像１５４が生成された場合であっても、上記第８実施形態と同様の効果が得られる。
【0299】
なお、本第９実施形態において、マルチスペクトル画像１５４は、本開示の技術に係る「マルチスペクトル画像」の一例である。また、赤外光画像１５４Ａに基づいて生成される第１温度分布画像１５０は、本開示の技術に係る「第４画像」及び「マルチスペクトル画像に基づく画像」の一例である。また、可視光画像１５４Ｂに基づいて生成される第２温度分布画像１５２は、本開示の技術に係る「第２画像」及び「マルチスペクトル画像に対して第１ＡＩ処理が行われることによって得られた画像」の一例である。また、画像領域１５４Ｂ１は、本開示の技術に係る「特定被写体領域」の一例である。また、画像領域１５４Ｂ２は、本開示の技術に係る「非特定被写体領域」の一例である。また、画像領域１５４Ｂ１及び画像領域１５４Ｂ２は、本開示の技術に係る「指標」及び「第２画像内において特定被写体を示す画像領域である特定被写体領域と特定被写体領域以外の画像領域である非特定被写体領域とを区別可能な情報」の一例である。また、図３０に示す被写体１４４は、本開示の技術に係る「被写体」の一例である。また、図３０に示す熱放射体１４４Ａは、本開示の技術に係る「特定被写体」の一例である。
【0300】
［その他の変形例］
以下では、説明の便宜上、画像合成処理プログラム８０、１２１、１３２及び１４９を区別して説明する必要がない場合、符号を付さずに「画像合成処理プログラム」と称する。また、以下では、説明の便宜上、合成画像１００Ａ～１００Ｆを区別して説明する必要がない場合、合成画像１００Ａと称する。
以下では、説明の便宜上、画像合成処理プログラム８０、１２１、１３２及び１４９を区別して説明する必要がない場合、符号を付さずに「画像合成処理プログラム」と称する。また、以下では、説明の便宜上、合成画像１００Ａ～１００Ｆを区別して説明する必要がない場合、合成画像１００Ａと称する。
【0301】
上記第１実施形態では、本開示の技術に係る「第３画像」の一例として位相差画像７５Ａ２を挙げ、上記第８実施形態では、本開示の技術に係る「第３画像」の一例として赤外光画像１４６を挙げたが、これらはあくまでも一例に過ぎない。本開示の技術に係る「第３画像」としては、例えば、次の８つの画像が挙げられる。
【0302】
１つ目の画像は、上述したＡＩ方式の処理も上述した非ＡＩ方式の処理も行われていない画像（以下、「第１未処理画像」と称する）である。第１未処理画像の一例としては、ＲＡＷデータで表現される画像（例えば、可視光画像又は非可視光画像）が挙げられる。２つ目の画像は、第１未処理画像に対して非ＡＩ方式の処理が行われることによって得られた画像である。３つ目の画像は、第１未処理画像に対して、本開示の技術に係る「第１ＡＩ処理」の一例として挙げた処理とは異なるＡＩ処理が行われることによって得られた画像である。４つ目の画像は、第１未処理画像に対して、本開示の技術に係る「第１ＡＩ処理」の一例として挙げた処理とは異なるＡＩ処理が行われ、かつ、非ＡＩ処理が行われることによって得られた画像である。５つ目の画像は、第１未処理画像により示される被写体を第１未処理画像の表現方法（例えば、可視光画像を作る方法）とは異なる表現方法（例えば、位相差画像を作る方法）で表現した画像（以下「第２未処理画像」と称する）である。６つ目の画像は、第２未処理画像に対して非ＡＩ処理が行われることによって得られた画像（例えば、距離画像）である。７つ目の画像は、第２未処理画像に対して、本開示の技術に係る「第１ＡＩ処理」の一例として挙げた処理とは異なるＡＩ処理が行われることによって得られた画像（例えば、距離画像）である。８つ目の画像は、第２未処理画像に対して、本開示の技術に係る「第１ＡＩ処理」の一例として挙げた処理とは異なるＡＩ処理が行われ、かつ、非ＡＩ処理が行われることによって得られた画像（例えば、ＡＩ処理で距離画像が生成され、生成された距離画像に対してフィルタリング処理等の非ＡＩ処理が行われることによって得られた画像）である。
【0303】
上記各実施形態では、プロセッサ６２が生成モデル８２Ａを用いた処理を行う形態例を挙げて説明したが、複数種類の生成モデル８２Ａが条件に応じてプロセッサ６２によって使い分けられるようにしてもよい。例えば、撮像装置１０によって撮像される撮像シーンに応じてプロセッサ６２によって用いられる生成モデル８２Ａが切り替えられてもよい。また、プロセッサ６２によって用いられる生成モデル８２Ａに応じて割合９４が変更されるようにしてもよい。
【0304】
上記各実施形態では、撮像装置１０に含まれる画像処理エンジン１２のプロセッサ６２によって画像合成処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、画像合成処理を行うデバイスは、撮像装置１０の外部に設けられていてもよい。この場合、一例として図３１に示すように、撮像システム１６０を用いればよい。撮像システム１６０は、撮像装置１０と外部装置１６２を備えている。外部装置１６２は、例えば、サーバである。サーバは、例えば、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、外部装置１６２の一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等を外部装置１６２として用いてもよい。
【0305】
外部装置１６２は、プロセッサ１６４、ＮＶＭ１６６、ＲＡＭ１６８、及び通信Ｉ／Ｆ１７０を備えており、プロセッサ１６４、ＮＶＭ１６６、ＲＡＭ１６８、及び通信Ｉ／Ｆ１７０は、バス１７２で接続されている。通信Ｉ／Ｆ１７０は、ネットワーク１７４を介して撮像装置１０に接続されている。ネットワーク１７４は、例えば、インターネットである。なお、ネットワーク１７４は、インターネットに限らず、ＷＡＮ、及び／又は、イントラネット等のＬＡＮであってもよい。
【0306】
ＮＶＭ１７６には、画像合成処理プログラム、生成モデル８２Ａ、及びデジタルフィルタ８４Ａが記憶されている。プロセッサ１６４は、ＲＡＭ１６６上で画像合成処理プログラムを実行する。プロセッサ１６４は、ＲＡＭ１６６上で実行する画像合成処理プログラムに従って、上述した画像合成処理を行う。プロセッサ１６４は、画像合成処理を行う場合に、上記各実施形態で説明したように生成モデル８２Ａ及びデジタルフィルタ８４Ａを用いて処理対象画像７５Ａを処理する。処理対象画像７５Ａは、例えば、撮像装置１０からネットワーク１７４を介して外部装置１６２に送信される。外部装置１６２の通信Ｉ／Ｆ１７０は、処理対象画像７５Ａを受信する。プロセッサ１６４は、通信Ｉ／Ｆ１７０によって受信された処理対象画像７５Ａに対して画像合成処理を行う。プロセッサ１６４は、画像合成処理を行うことで合成画像１００を生成し、生成した合成画像１００を撮像装置１０に送信する。撮像装置１０は、外部装置１６２から送信された合成画像１００を通信Ｉ／Ｆ５２（図２参照）で受信する。
【0307】
なお、図３１に示す例において、外部装置１６２は、本開示の技術に係る「画像処理装置」及び「コンピュータ」の一例であり、プロセッサ１６４は、本開示の技術に係る「プロセッサ」の一例である。
【0308】
また、画像合成処理は、撮像装置１０及び外部装置１６２を含む複数の装置によって分散して行われるようにしてもよい。
【0309】
上記各実施形態では、プロセッサ６２を例示したが、プロセッサ６２に代えて、又は、プロセッサ６２と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。
【0310】
上記では、ＮＶＭ６４に画像合成処理プログラムが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像合成処理プログラムがＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている画像合成処理プログラムは、撮像装置１０の画像処理エンジン１２にインストールされる。プロセッサ６２は、画像合成処理プログラムに従って画像合成処理を実行する。
【0311】
また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画像合成処理プログラムを記憶させておき、撮像装置１０の要求に応じて画像合成処理プログラムがダウンロードされ、画像処理エンジン１２にインストールされるようにしてもよい。
【0312】
なお、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６４に画像合成処理プログラムの全てを記憶させておく必要はなく、画像合成処理プログラムの一部を記憶させておいてもよい。
【0313】
【0314】
上記各実施形態では、画像処理エンジン１２が例示されているが、本開示の技術はこれに限定されず、画像処理エンジン１２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、画像処理エンジン１２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
【0315】
上述した画像合成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、画像合成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで画像合成処理を実行する。
【0316】
画像合成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、画像合成処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0317】
１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、画像合成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、画像合成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、画像合成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0318】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の画像合成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0319】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0320】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0321】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0322】
１０ 撮像装置
１２ 画像処理エンジン
１６ 撮像装置本体
１８ 交換レンズ
１８Ａ フォーカスリング
２０ イメージセンサ
２２ レリーズボタン
２４ ダイヤル
２６ 指示キー
２８ ディスプレイ
３０ タッチパネル
３２ タッチパネル・ディスプレイ
３６ 制御装置
３７ 第１アクチュエータ
３８ 第２アクチュエータ
３９ 第３アクチュエータ
４０ 撮像レンズ
４０Ａ 対物レンズ
４０Ｂ フォーカスレンズ
４０Ｃ ズームレンズ
４０Ｄ 絞り
４０Ｄ１ 開口
４０Ｄ２ 絞り羽根
４４ システムコントローラ
４６ 画像メモリ
４８ ＵＩ系デバイス
５０ 外部Ｉ／Ｆ
５２，１７０ 通信Ｉ／Ｆ
５４ 光電変換素子ドライバ
６２，１４４ プロセッサ
６２Ａ１～６２Ａ４ ＡＩ方式処理部
６２Ｂ１～６２Ｂ８ 信頼度マップ生成部
６２Ｃ１～６２Ｃ４ 非ＡＩ方式処理部
６２Ｄ１～６２Ｄ４ 正規化処理部
６２Ｅ１～６２Ｅ６ 割合付与部
６２Ｆ１～６２Ｆ６ 合成部
６４，１６６ ＮＶＭ
６６，１６８ ＲＡＭ
６８，１７２ バス
７０ 入出力インタフェース
７２ 光電変換素子
７２Ａ 受光面
７２Ａ１ 位相差画素ライン
７２ＡＧ１ 一般撮像系画素群
７２Ａ２ 非位相差画素ライン
７２ＡＧ２ 測距系画素群
７４ Ａ／Ｄ変換器
７５Ａ 処理対象画像
７５Ａ１，７５Ａ１ａ，７５Ａ１ｂ，７５Ａ１ｃ 撮像画像
７５Ａ２ 位相差画像
７５Ｂ 処理済み画像
７６ 受付デバイス
７８ ハードキー部
８０，１２２，１３２，１４９ 画像合成処理プログラム
８２Ａ，８２Ａ１～８２Ａ４ 生成モデル
８４Ａ，８４Ａ１，８４Ａ２ デジタルフィルタ
８５Ａ，１３５ 人物領域
８５Ｂ 背景領域
８６ 第１距離画像
８８Ａ～８８Ｇ 信頼度マップ
８８Ａ１，８８Ｂ２，９６Ａ，９６Ｂ，１００Ａ１ エッジ領域
８８Ａ２，８８Ｂ１，９８Ａ，９８Ｂ，１００Ａ２ 非エッジ領域
８８Ｅ１，８８Ｆ１，８８Ｇ１ 第１領域
８８Ｅ２，８８Ｆ２，８８Ｇ２ 第２領域
８９ 第２距離画像
９０Ａ，９０Ｂ，９２Ａ，９２Ｂ，１４８Ａ，１４８Ｂ，１５２Ａ，１５２Ｂ、１５４Ｂ１，１５４Ｂ２ 画像領域
９０Ａ１ 第１代表値
９０Ｂ１ 第２代表値
９０Ｂ２ 第１最大値
９０Ｂ３ 第１最小値
９２Ａ１ 第３代表値
９２Ｂ１ 第４代表値
９２Ｂ２ 第２最大値
９２Ｂ３ 第２最小値
９４ 割合
９４Ａ 第１割合
９４Ｂ 第２割合
１００Ａ～１００Ｆ 合成画像
１０２Ａ～１０２Ｇ 信頼度ネットワーク
１０４，１０６，１０８，１１０，１１２，１１４，１１６，１１８ 区分領域
１２０Ａ 動体領域
１２０Ｂ 陽炎領域
１２４，１２８、１３６，１３８ 画像
１２６ 位置特定情報
１２６Ａ 矩形枠
１３０ 残像領域
１３４Ａ 非霞領域
１３４Ｂ 霞領域
１４０ 赤外光センサ
１４２ 可視光センサ
１４４ 被写体
１４４Ａ 熱放射体
１４６，１５４Ａ 赤外光画像
１４８，１５４Ｂ 可視光画像
１５０ 第１温度分布画像
１５２ 第２温度分布画像
１５４ マルチスペクトル画像
１５４Ｂ１
１６０ 撮像システム
１６２ 外部装置
１７４ ネットワーク
Ｌ 第１位相差画素
Ｎ 非位相差画素
ＯＡ 光軸
Ｒ 第２位相差画素
１２ 画像処理エンジン
１６ 撮像装置本体
１８ 交換レンズ
１８Ａ フォーカスリング
２０ イメージセンサ
２２ レリーズボタン
２４ ダイヤル
２６ 指示キー
２８ ディスプレイ
３０ タッチパネル
３２ タッチパネル・ディスプレイ
３６ 制御装置
３７ 第１アクチュエータ
３８ 第２アクチュエータ
３９ 第３アクチュエータ
４０ 撮像レンズ
４０Ａ 対物レンズ
４０Ｂ フォーカスレンズ
４０Ｃ ズームレンズ
４０Ｄ 絞り
４０Ｄ１ 開口
４０Ｄ２ 絞り羽根
４４ システムコントローラ
４６ 画像メモリ
４８ ＵＩ系デバイス
５０ 外部Ｉ／Ｆ
５２，１７０ 通信Ｉ／Ｆ
５４ 光電変換素子ドライバ
６２，１４４ プロセッサ
６２Ａ１～６２Ａ４ ＡＩ方式処理部
６２Ｂ１～６２Ｂ８ 信頼度マップ生成部
６２Ｃ１～６２Ｃ４ 非ＡＩ方式処理部
６２Ｄ１～６２Ｄ４ 正規化処理部
６２Ｅ１～６２Ｅ６ 割合付与部
６２Ｆ１～６２Ｆ６ 合成部
６４，１６６ ＮＶＭ
６６，１６８ ＲＡＭ
６８，１７２ バス
７０ 入出力インタフェース
７２ 光電変換素子
７２Ａ 受光面
７２Ａ１ 位相差画素ライン
７２ＡＧ１ 一般撮像系画素群
７２Ａ２ 非位相差画素ライン
７２ＡＧ２ 測距系画素群
７４ Ａ／Ｄ変換器
７５Ａ 処理対象画像
７５Ａ１，７５Ａ１ａ，７５Ａ１ｂ，７５Ａ１ｃ 撮像画像
７５Ａ２ 位相差画像
７５Ｂ 処理済み画像
７６ 受付デバイス
７８ ハードキー部
８０，１２２，１３２，１４９ 画像合成処理プログラム
８２Ａ，８２Ａ１～８２Ａ４ 生成モデル
８４Ａ，８４Ａ１，８４Ａ２ デジタルフィルタ
８５Ａ，１３５ 人物領域
８５Ｂ 背景領域
８６ 第１距離画像
８８Ａ～８８Ｇ 信頼度マップ
８８Ａ１，８８Ｂ２，９６Ａ，９６Ｂ，１００Ａ１ エッジ領域
８８Ａ２，８８Ｂ１，９８Ａ，９８Ｂ，１００Ａ２ 非エッジ領域
８８Ｅ１，８８Ｆ１，８８Ｇ１ 第１領域
８８Ｅ２，８８Ｆ２，８８Ｇ２ 第２領域
８９ 第２距離画像
９０Ａ，９０Ｂ，９２Ａ，９２Ｂ，１４８Ａ，１４８Ｂ，１５２Ａ，１５２Ｂ、１５４Ｂ１，１５４Ｂ２ 画像領域
９０Ａ１ 第１代表値
９０Ｂ１ 第２代表値
９０Ｂ２ 第１最大値
９０Ｂ３ 第１最小値
９２Ａ１ 第３代表値
９２Ｂ１ 第４代表値
９２Ｂ２ 第２最大値
９２Ｂ３ 第２最小値
９４ 割合
９４Ａ 第１割合
９４Ｂ 第２割合
１００Ａ～１００Ｆ 合成画像
１０２Ａ～１０２Ｇ 信頼度ネットワーク
１０４，１０６，１０８，１１０，１１２，１１４，１１６，１１８ 区分領域
１２０Ａ 動体領域
１２０Ｂ 陽炎領域
１２４，１２８、１３６，１３８ 画像
１２６ 位置特定情報
１２６Ａ 矩形枠
１３０ 残像領域
１３４Ａ 非霞領域
１３４Ｂ 霞領域
１４０ 赤外光センサ
１４２ 可視光センサ
１４４ 被写体
１４４Ａ 熱放射体
１４６，１５４Ａ 赤外光画像
１４８，１５４Ｂ 可視光画像
１５０ 第１温度分布画像
１５２ 第２温度分布画像
１５４ マルチスペクトル画像
１５４Ｂ１
１６０ 撮像システム
１６２ 外部装置
１７４ ネットワーク
Ｌ 第１位相差画素
Ｎ 非位相差画素
ＯＡ 光軸
Ｒ 第２位相差画素
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
