知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024174518
(43)【公開日】2024-12-17
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
H04N 13/122 20180101AFI20241210BHJP
H04N 13/239 20180101ALI20241210BHJP
H04N 23/52 20230101ALI20241210BHJP
H04N 23/60 20230101ALI20241210BHJP
G03B 15/00 20210101ALI20241210BHJP
G03B 35/08 20210101ALI20241210BHJP
【ＦＩ】
H04N13/122
H04N13/239
H04N23/52
H04N23/60 500
G03B15/00 H
G03B35/08
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023092378
(22)【出願日】2023-06-05
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】望月 俊宏
(72)【発明者】
【氏名】奥村 直人
【テーマコード（参考）】
2H059
5C122
【Ｆターム（参考）】
2H059AA08
2H059AA18
5C122EA36
5C122EA47
5C122FH09
5C122FH11
5C122FH18
5C122GA01
5C122GA23
5C122HA13
5C122HA35
5C122HB01
5C122HB10
(57)【要約】
【課題】異物による立体視の悪化を抑制することのできる技術を提供する。
【解決手段】本発明の画像処理装置は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正する補正手段とを有することを特徴とする。
【選択図】図２
【解決手段】本発明の画像処理装置は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正する補正手段とを有することを特徴とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正する補正手段と
を有することを特徴とする画像処理装置。
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正する補正手段と
を有することを特徴とする画像処理装置。
【請求項2】
前記第１の画像と前記第２の画像とのうち、過去の画像との相関が弱い方の画像を、前記一方の画像として選択する選択手段
をさらに有する
ことを特徴とする請求項１に記載の画像処理装置。
をさらに有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記所定の条件は、過去の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記所定の条件は、過去の画像との相関が閾値よりも弱い領域からの距離が閾値よりも短いという条件を含む
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記所定の条件は、前記他方の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記補正手段は、
前記他方の画像から第３の画像を生成する生成手段と、
前記一方の画像における複数の領域のそれぞれについて前記異物領域に基づく合成比率で前記一方の画像と画素値と前記第３の画像の画素値とを合成することによって得られる画像に、前記一方の画像を補正する合成手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
前記他方の画像から第３の画像を生成する生成手段と、
前記一方の画像における複数の領域のそれぞれについて前記異物領域に基づく合成比率で前記一方の画像と画素値と前記第３の画像の画素値とを合成することによって得られる画像に、前記一方の画像を補正する合成手段と
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項7】
前記一方の画像における複数の領域のそれぞれについて、前記他方の画像に対する視差に関連した評価値を取得する第２取得手段
をさらに有し、
前記生成手段は、前記複数の領域にそれぞれ対応する複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする請求項６に記載の画像処理装置。
をさらに有し、
前記生成手段は、前記複数の領域にそれぞれ対応する複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記生成手段は、前記異物領域の周囲に対応する評価値を用いて前記異物領域に対応する評価値を補正し、当該補正後の前記複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする請求項７に記載の画像処理装置。
ことを特徴とする請求項７に記載の画像処理装置。
【請求項9】
前記評価値は、前記第１の画像と前記第２の画像との相関の弱さを示す
ことを特徴とする請求項７に記載の画像処理装置。
ことを特徴とする請求項７に記載の画像処理装置。
【請求項10】
前記異物領域が所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域が無効な画像に、前記一方の画像を補正する
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項11】
前記所定の領域は、ユーザによって指定された領域である
ことを特徴とする請求項１０に記載の画像処理装置。
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項12】
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする請求項１０に記載の画像処理装置。
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項13】
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域を含み且つ前記異物領域に外接する領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする請求項１０に記載の画像処理装置。
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項14】
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域の画素値を所定の画素値で置換することによって、前記異物領域を無効化する
ことを特徴とする請求項１０に記載の画像処理装置。
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項15】
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域をトリミングすることによって、前記異物領域を無効化する
ことを特徴とする請求項１０に記載の画像処理装置。
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項16】
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得するステップと、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出するステップと、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正するステップと
を有することを特徴とする画像処理方法。
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出するステップと、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正するステップと
を有することを特徴とする画像処理方法。
【請求項17】
コンピュータを、請求項１～１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項18】
コンピュータを、請求項１～１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関するものである。
【背景技術】
【0002】
立体視が行えるように、互いに視差のある２つの画像を表示する技術が知られている。２つの画像の一方にのみ異物（例えば、撮像に用いる光学系に付着した異物）が写ると、立体視が困難となり、立体視における没入感が損なわれる（立体視の悪化）。
【0003】
特許文献１には、ステレオ画像の視差に基づいて、光学系に付着した異物を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１０－１３０５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に開示の技術を用いて異物が検出できたとしても、光学系から異物を取り除かなければ、立体視は改善されない。ユーザに依っては、異物を上手く取り除けず、光学系にさらに異物を付着させたり、光学系を傷つけたりして、立体視をさらに悪化させてしまうことがある。
【0006】
本発明は、異物による立体視の悪化を抑制することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第１の態様は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正する補正手段とを有することを特徴とする画像処理装置である。
【0008】
本発明の第２の態様は、第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得するステップと、前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出するステップと、前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正するステップとを有することを特徴とする画像処理方法である。
【0009】
本発明の第３の態様は、コンピュータを、上述した画像処理装置の各手段として機能させるためのプログラムである。本発明の第４の態様は、コンピュータを、上述した画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。
【発明の効果】
【0010】
本発明によれば、異物による立体視の悪化を抑制することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る撮像装置の構成の一例を示すブロック図である。
【図2】実施形態１に係る画像処理部の構成の一例を示すブロック図である。
【図3】実施形態１に係る画素値の分布の一例を示す模式図である。
【図4】実施形態１に係る画像補正処理の一例を示すフローチャートである。
【図5】実施形態１に係る各種データの一例を示す模式図である。
【図6】実施形態１に係るイメージサークルの一例を示す模式図である。
【図7】実施形態２に係る画像処理部の構成の一例を示すブロック図である。
【図8】実施形態２に係る有効画角の決定方法の一例を示す模式図である。
【図9】実施形態２に係る画像補正処理の一例を示すフローチャートである。
【図10】実施形態２に係る各種データの一例を示す模式図である。
【発明を実施するための形態】
【0012】
＜実施形態１＞
以下、本発明の実施形態１について説明する。なお、撮像装置に本発明を適用した例を説明するが、本発明を適用可能な装置は撮像装置に限られない。本発明は、撮像された画像に対して画像処理を行うことのできる様々な電子機器（画像処理装置）に適用可能である。例えば、撮像装置に接続されたパーソナルコンピュータ、撮像装置に接続されたヘッドマウントディスプレイ、またはビデオシースルー方式のヘッドマウントディスプレイにも本発明は適用可能である。
以下、本発明の実施形態１について説明する。なお、撮像装置に本発明を適用した例を説明するが、本発明を適用可能な装置は撮像装置に限られない。本発明は、撮像された画像に対して画像処理を行うことのできる様々な電子機器（画像処理装置）に適用可能である。例えば、撮像装置に接続されたパーソナルコンピュータ、撮像装置に接続されたヘッドマウントディスプレイ、またはビデオシースルー方式のヘッドマウントディスプレイにも本発明は適用可能である。
【0013】
（撮像装置）
図１は、実施形態１に係る撮像装置１００の構成の一例を示すブロック図である。
図１は、実施形態１に係る撮像装置１００の構成の一例を示すブロック図である。
【0014】
制御部１０１は、例えばＣＰＵであり、プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することによって、撮像装置１００の各部を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、制御部１０１が実行するプログラム、および各部の制御に必要なパラメータといった様々なデータ（情報）を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各部が出力するデータの一時的な記憶領域として用いられる。
【0015】
光学系１０４Ａ，１０４Ｂのそれぞれは、撮像に使用される光学系であり、レンズと絞りを含む。制御部１０１は、光学系１０４Ａを制御して、光学系１０４Ａを介して撮像される画像のフォーカス調節と露出調節を行うことができる。制御部１０１は、光学系１０４Ｂを制御して、光学系１０４Ｂを介して撮像される画像のフォーカス調節と露出調節を行うこともできる。
【0016】
撮像部１０５は、例えばＣＣＤまたはＣＭＯＳセンサといった撮像素子である。光学系１０４Ａと光学系１０４Ｂは左右に並んでいる。そのため、図６に示すように、撮像部１０５において、光学系１０４ＡのイメージサークルＩＣ１と光学系１０４ＢのイメージサークルＩＣ２とも左右に並ぶ。光学系１０４Ａを通った光はイメージサークルＩＣ１内で結像し、光学系１０４Ｂを通った光はイメージサークルＩＣ２内で結像する。撮像部１０５は、２つのイメージサークルＩＣ１，ＩＣ２内でそれぞれ結像した２つの光学像の光電変換を行い、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を行い、得られたデジタル画像データをＲＡＭ１０３に出力（格納）する。
【0017】
なお、実施形態１では、１つの撮像素子を用いて、２つの光学系をそれぞれ介して撮像された２つの画像の領域を含んだ１つの画像が得られるが、当該２つの画像の取得方法は
これに限られない。例えば、２つの撮像素子を用いて、２つの光学系をそれぞれ介して撮像された２つの画像が個別に得られてもよい。
これに限られない。例えば、２つの撮像素子を用いて、２つの光学系をそれぞれ介して撮像された２つの画像が個別に得られてもよい。
【0018】
画像処理部１０７は、ＲＡＭ１０３に格納されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング、符号化、および復号といった様々な画像処理を行う。画像処理部１０７は、画像データ（図６の２つのイメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像領域を含んだ画像のデータ）に対し、光学中心ずれを考慮して様々な画像処理を行い、立体視用の画像データを生成することもできる。光学中心ずれは、イメージサークルＩＣ１の中心とイメージサークルＩＣ２の中心とのずれに対応し、光学系１０４Ａの光軸と光学系１０４Ｂの光軸とのずれにも対応する。画像処理部１０７は、画像データに対して、２つのイメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像領域の一方に写った異物（例えば、光学系に付着した異物、または光学系の傷）を取り除く画像処理を行うこともできる。
【0019】
記憶媒体１０８は、様々なデータを記憶する。例えば、記憶媒体１０８は、ＲＡＭ１０３に格納されている画像データ（例えば、画像処理部１０７による画像処理後の画像データ、またはＡ／Ｄ変換部１０６から出力された画像データ）を、所定のファイル形式で記憶する。記憶媒体１０８は、撮像装置１００に対して着脱可能な記憶装置であってもよく、例えばメモリカードであってよい。通信部１０９は、有線通信または無線通信によって、外部装置との間で様々なデータを送受信する。例えば、通信部１０９は、記憶媒体１０８に格納されている画像ファイルを外部装置に送信する。
【0020】
表示部１１０は、様々な画像を表示する。例えば、表示部１１０は、撮像されて記憶媒体１０８に格納された画像、ライブビュー画像、またはメニュー画面を表示する。ライブビュー画像を表示することによって、表示部１１０を電子ビューファインダーとして用いることができる。
【0021】
計測部１１２は、ジャイロセンサおよび測距センサといった様々なセンサを含み、撮像装置１００の姿勢の情報、撮像装置１００から被写体までの距離の情報といった様々な情報を取得する。
【0022】
操作部１１１は、ユーザが撮像装置１００に対して様々な指示を入力するための入力デバイス群であり、シャッターボタン、メニューボタン、方向キー、および決定キーといった様々な入力デバイスを含む。表示部１１０がタッチディスプレイである場合には、表示部１１０は操作部１１１を兼ねる。なお、操作部１１１は、マイクロフォンと音声コマンド認識部の組み合わせ、または視線検出センサと視線入力認識部の組み合わせのような、物理的な操作を必要としない入力デバイスを含んでもよい。
【0023】
（画像処理部）
図２は、画像処理部１０７の構成の一例を示すブロック図である。なお、実施形態１では、イメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像領域を含んだ画像が取得されるが、以下では、当該２つの画像領域のそれぞれを画像として説明する。
図２は、画像処理部１０７の構成の一例を示すブロック図である。なお、実施形態１では、イメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像領域を含んだ画像が取得されるが、以下では、当該２つの画像領域のそれぞれを画像として説明する。
【0024】
画像選択部２０１は、光学系１０４Ａ，１０４Ｂをそれぞれ介して撮像された２つの画像（イメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像領域）の一方を参照画像として選択し、当該２つの画像の他方を補正対象画像として選択する。例えば、画像選択部２０１は、撮像された現在の画像（現在のフレーム）とＲＡＭ１０３から読み出した過去の画像（例えば、現在のフレームの１つ前のフレーム）との位置合わせを行って、それら画像間の相関に関連した値（相関値）を算出する。画像選択部２０１は、光学系１０４Ａ（イメージサークルＩＣ１）に対応する現在の画像と、光学系１０４Ｂ（イメージ
サークルＩＣ２）に対応する現在の画像とのそれぞれについて相関値を算出する。そして、画像選択部２０１は、算出した２つの相関値を比較して、現在の２つの画像のうち、過去の画像との相関が強い方の画像を参照画像として選択し、過去の画像との相関が弱い方の画像を補正対象画像として選択する。
サークルＩＣ２）に対応する現在の画像とのそれぞれについて相関値を算出する。そして、画像選択部２０１は、算出した２つの相関値を比較して、現在の２つの画像のうち、過去の画像との相関が強い方の画像を参照画像として選択し、過去の画像との相関が弱い方の画像を補正対象画像として選択する。
【0025】
画像選択部２０１は、例えば、以下の式１を用いて、相関値として、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【数1】
【0026】
式１において、ｆ（ｉ，ｊ）は現在の画像の座標（水平位置，垂直位置）＝（ｉ，ｊ）での画素値を表し、ｇ（ｉ，ｊ）は過去の画像の座標（ｉ，ｊ）での画素値を表す。画素値ｆ（ｉ，ｊ）から画素値ｇ（ｉ，ｊ）を減算した値の絶対値（差分絶対値）が算出され、複数の座標にそれぞれ対応する複数の差分絶対値の総和が、相関値ＳＡＤ１（差分絶対値和）として算出される。相関値ＳＡＤ１が小さいほど現在の画像と過去の画像との相関が強く、相関値ＳＡＤ１が大きいほど現在の画像と過去の画像との相関が弱い。相関値ＳＡＤ１は、現在の画像と過去の画像との類似度に関する値でもある。相関値ＳＡＤ１が小さいほど現在の画像と過去の画像との類似度が高く、相関値ＳＡＤ１が大きいほど現在の画像と過去の画像との類似度が低い。
【0027】
画像選択部２０１は、現在の画像における複数の領域のそれぞれについて、相関値ＳＡＤ１を算出する。そして、画像選択部２０１は、参照画像と補正対象画像を選択する際に、相関値として、複数の領域にそれぞれ対応する複数の相関値ＳＡＤ１の平均値または合計値といった代表値を用いる。画像選択部２０１は、画像全体の差分絶対値和を算出し、参照画像と補正対象画像を選択する際に用いてもよい。相関値ＳＡＤ１を算出する領域は、１画素の領域であってもよいし、複数の画素からなる領域であってもよい。１画素の相関値ＳＡＤ１は、例えば、相関値ＳＡＤ１の算出対象の画素を中心とした所定サイズの領域（例えば水平方向５画素×垂直方向５画素の領域）の差分絶対値和である。複数の領域のパターンは、予め定めらた固定のパターンであってもよいし、そうでなくてもよい。複数のパターンにそれぞれ対応する複数のテンプレートがＲＯＭ１０２に予め用意されていてもよい。そして、画像選択部２０１が、ユーザによって指定されたテンプレート、または撮影条件に応じたテンプレートを複数のテンプレートから選択して使用してもよい。
【0028】
なお、相関値は差分絶対値和に限られず、差分二乗和（ＳＳＤ）または正規化相互相関（ＮＣＣ）といった他の相関値であってもよい。また、画素ごとの相関値と、複数の画素からなる領域ごとの相関値との両方を使用してもよい。参照画像と補正対象画像はユーザが指定してもよい。相関値は、参照画像と補正対象画像の相関に関連した値（例えば相関の強さ（弱さ）を示す値）であれば如何なる値であってもよい。
【0029】
さらに、画像選択部２０１は、補正対象画像から、相関値が閾値よりも大きい（過去の画像との相関が閾値よりも弱い）領域を、仮の異物領域（異物の領域）として検出し、仮の異物領域の情報を出力する。閾値は予め定められた固定値であってもよいし、ユーザによって指定された値であってもよい。ＲＯＭ１０２に複数の閾値が予め用意されていてもよい。そして、画像選択部２０１が、撮影条件に応じた閾値を複数の閾値から選択して使用してもよい。
【0030】
画像選択部２０１は、上述した一連の処理の後、光学系１０４Ａ，１０４Ｂ（イメージサークルＩＣ１，ＩＣ２）にそれぞれ対応する現在の２つの画像、および仮の異物領域の
情報をＲＡＭ１０３に出力（格納）する。
情報をＲＡＭ１０３に出力（格納）する。
【0031】
位相差取得部２０２は、画像選択部２０１によって選択された参照画像と補正対象画像をＲＡＭ１０３から読み出し、補正対象画像における複数の領域のそれぞれについて、参照画像に対する視差に関連した評価値（位相差）を取得する。そして、位相差取得部２０２は、取得した評価値をＲＡＭ１０３に出力（格納）する。
【0032】
図３（Ａ），３（Ｂ）は、参照画像の画素値の分布と補正対象画像の画素値の分布との一例を示す模式図である。図３（Ａ），３（Ｂ）の横軸は水平位置を示し、図３（Ａ），３（Ｂ）の縦軸は画素値を示す。図３（Ａ）は、撮像装置１００から被写体までの距離が長い（画像における被写体の状態が合焦状態から外れている）状況を示す。図３（Ａ）では、参照画像の画素値の分布と補正対象画像の画素値の分布とが互いに大きくずれており、参照画像と補正対象画像の視差が大きい。図３（Ａ）の状況から被写体が撮像装置１００に近づく（被写体の状態が合焦状態に近づく）と、図３（Ｂ）に示すように、参照画像の画素値の分布と補正対象画像の画素値の分布とのずれは小さくなり、参照画像と補正対象画像の視差は小さくなる。図３（Ａ），３（Ｂ）から、参照画像と補正対象画像の相関が、参照画像と補正対象画像の視差に関連することがわかる。
【0033】
位相差取得部２０２は、例えば、以下の式２を用いて、評価値（位相差）として、差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。
【数2】
【0034】
式２において、ｈ（ｉ，ｊ）は参照画像の座標（水平位置，垂直位置）＝（ｉ，ｊ）での画素値を表し、ｋ（ｉ，ｊ）は補正対象画像の座標（ｉ，ｊ）での画素値を表す。画素値ｈ（ｉ，ｊ）から画素値ｋ（ｉ，ｊ）を減算した値の絶対値（差分絶対値）が算出され、複数の座標にそれぞれ対応する複数の差分絶対値の総和が、位相差ＳＡＤ２（差分絶対値和）として算出される。位相差ＳＡＤ２が小さいほど参照画像と補正対象画像の相関が強く、参照画像と補正対象画像の視差が小さい。そして、位相差ＳＡＤ２が大きいほど参照画像と補正対象画像の相関が弱く、参照画像と補正対象画像の視差が大きい。位相差ＳＡＤ２は、参照画像と補正対象画像の類似度に関する値でもある。位相差ＳＡＤ２が小さいほど参照画像と補正対象画像の類似度が高く、位相差ＳＡＤ２が大きいほど参照画像と補正対象画像の類似度が低い。
【0035】
位相差取得部２０２は、現在の画像における複数の領域のそれぞれについて、位相差ＳＡＤ２を算出する。位相差ＳＡＤ２を算出する領域は、１画素の領域であってもよいし、複数の画素からなる領域であってもよい。１画素の位相差ＳＡＤ２は、例えば、位相差ＳＡＤ２の算出対象の画素を中心とした所定サイズの領域（例えば水平方向５画素×垂直方向５画素の領域）の差分絶対値和である。複数の領域のパターンは、予め定めらた固定のパターンであってもよいし、そうでなくてもよい。複数のパターンにそれぞれ対応する複数のテンプレートがＲＯＭ１０２に予め用意されていてもよい。そして、位相差取得部２０２が、ユーザによって指定されたテンプレート、または撮影条件に応じたテンプレートを複数のテンプレートから選択して使用してもよい。
【0036】
なお、評価値（位相差）は差分絶対値和に限られず、差分二乗和（ＳＳＤ）または正規化相互相関（ＮＣＣ）といった他の相関値であってもよい。また、画素ごとの評価値と、複数の画素からなる領域ごとの評価値との両方を使用してもよい。位相差取得部２０２が用いる評価値の算出式は、画像選択部２０１が用いる相関値の算出式と同じであってもよ
いし、異なっていてもよい。評価値は、参照画像に対する補正対象画像の視差に関連した値（例えば視差の大きさを示す値）であれば如何なる値であってもよい。
いし、異なっていてもよい。評価値は、参照画像に対する補正対象画像の視差に関連した値（例えば視差の大きさを示す値）であれば如何なる値であってもよい。
【0037】
位相差補正部２０３は、画像選択部２０１によって検出された仮の異物領域の情報と、位相差取得部２０２によって取得された各領域の位相差とを、ＲＡＭ１０３から読み出し、仮の異物領域に基づいて各領域の位相差を補正する。そして、位相差補正部２０３は、補正後の各領域の位相差をＲＡＭ１０３に出力（格納）する。例えば、位相差補正部２０３は、仮の異物領域からの距離が閾値よりも短く且つ位相差が閾値よりも大きい（参照画像と補正対象画像の相関が閾値よりも弱い）領域を、最終的な異物領域として検出する。そして、位相差補正部２０３は、最終的な異物領域の周囲に対応する複数の領域の位相差を用いたスプライン補間によって得られる評価値に、異物領域に対応する複数の領域の位相差を補正する。距離の閾値と位相差の閾値とは予め定められた固定値であってもよいし、ユーザによって指定された値であってもよい。ＲＯＭ１０２に複数の閾値が予め用意されていてもよい。そして、位相差補正部２０３が、撮影条件に応じた閾値を複数の閾値から選択して使用してもよい。
【0038】
なお、位相差の補正方法は上記方法に限られず、例えば、公知の様々な補間処理を用いることができる。参照画像にハイパスフィルタ処理を施して被写体の境界（輪郭）を検出し、当該境界を考慮して位相差を補正してもよい。撮像装置１００から被写体までの距離の情報を計測部１１２から取得し、当該距離を考慮して位相差を補正してもよい。
【0039】
また、実施形態１では、補正対象画像から、以下の３つの条件１～３の全てを満たす領域が、異物領域として検出されるが、異物領域を検出するための所定の条件は条件１～３に限られない。例えば、条件２，３を考慮せずに、条件１のみを満たす領域（画像選択部２０１によって検出される領域）が、最終的な異物領域として検出されてもよい。条件１，２を考慮せずに、条件３のみを満たす領域が、最終的な異物領域として検出されてもよい。その場合は、画像選択部２０１は仮の異物領域を検出しなくてもよい。
条件１：過去の画像との相関が閾値よりも弱い
条件２：過去の画像との相関が閾値よりも弱い領域からの距離が閾値よりも短い
条件３：参照画像との相関が閾値よりも弱い
条件１：過去の画像との相関が閾値よりも弱い
条件２：過去の画像との相関が閾値よりも弱い領域からの距離が閾値よりも短い
条件３：参照画像との相関が閾値よりも弱い
【0040】
画像推定部２０４は、位相差補正部２０３による補正後の各領域の位相差と、画像選択部２０１によって選択された参照画像とを、ＲＡＭ１０３から読み出し、読み出した各領域の位相差に基づいて、参照画像から推定画像を生成する。そして、画像推定部２０４は、推定画像をＲＡＭ１０３に出力（格納）する。例えば、画像推定部２０４は、位相差から画素ずれ量を判断し、画素ずれ量だけ参照画像の画素（領域）を移動させる処理を、参照画像の各画素（各領域）について行うことによって、推定画像を生成する。なお、推定画像の生成方法はこれに限られず、例えば機械学習の結果（学習済みモデル）を用いて推定画像を生成してもよい。
【0041】
合成比率決定部２０５は、画像選択部２０１によって検出された仮の異物領域の情報と、位相差取得部２０２によって取得された各領域の位相差とを、ＲＡＭ１０３から読み出す。合成比率決定部２０５は、位相差補正部２０３と同様に、仮の異物領域からの距離が閾値よりも短く且つ位相差が閾値よりも大きい（参照画像と補正対象画像の相関が閾値よりも弱い）領域を、最終的な異物領域として検出する。なお、合成比率決定部２０５は、位相差補正部２０３によって検出された最終的な異物領域の情報を取得してもよい。そして、合成比率決定部２０５は、最終的な異物領域に基づいて、補正対象画像に推定画像を合成する際の合成比率を、補正対象画像における複数の領域のそれぞれについて決定する。合成比率決定部２０５は、決定した各領域の合成比率をＲＡＭ１０３に出力（格納）する。例えば、異物領域内では合成比率（補正対象画像に対する推定画像の比率）が１００
％に決定され、異物領域外では、異物領域から遠ざかるにつれ合成比率が１００％から０％まで連続的に変化するように、合成比率が決定される。上述したように、仮の異物領域を最終的な異物領域として用いてもよいし、位相差取得部２０２から出力される位相差が閾値よりも大きい領域（参照画像との相関が閾値よりも弱い領域）を最終的な異物領域として用いてもよい。
％に決定され、異物領域外では、異物領域から遠ざかるにつれ合成比率が１００％から０％まで連続的に変化するように、合成比率が決定される。上述したように、仮の異物領域を最終的な異物領域として用いてもよいし、位相差取得部２０２から出力される位相差が閾値よりも大きい領域（参照画像との相関が閾値よりも弱い領域）を最終的な異物領域として用いてもよい。
【0042】
画像合成部２０６は、画像選択部２０１によって選択された補正対象画像、画像推定部２０４によって生成された推定画像、および合成比率決定部２０５によって決定された各領域の合成比率を、ＲＡＭ１０３から読み出す。そして、画像合成部２０６は、補正対象画像における複数の領域のそれぞれついて、合成比率決定部２０５によって決定された合成比率で補正対象画像の画素値と推定画像の画素値とを合成することによって、合成画像を生成する。これによって、補正対象画像が合成画像に補正される。
【0043】
【0044】
ステップＳ４０１では、制御部１０１は、画像選択部２０１を制御して、光学系１０４Ａ，１０４Ｂ（イメージサークルＩＣ１，ＩＣ２）にそれぞれ対応する２つの画像の一方を参照画像として選択し、当該２つの画像の他方を補正対象画像として選択する。そして、制御部１０１は、ステップＳ４０２に処理を進める。図５（Ａ）は、イメージサークルＩＣ１，ＩＣ２にそれぞれ対応する２つの画像の一例を示す。図５（Ａ）では、イメージサークルＩＣ１に対応する画像には異物が写っていないが、イメージサークルＩＣ２に対応する画像には異物Ｘが写っている。そのため、イメージサークルＩＣ１に対応する画像が参照画像として選択され、イメージサークルＩＣ２に対応する画像が補正対象画像として選択される。
【0045】
ステップＳ４０２では、制御部１０１は、位相差取得部２０２を制御して、補正対象画像における複数の領域のそれぞれについて、参照画像に対する視差に関連した評価値（位相差）を取得する。そして、制御部１０１は、ステップＳ４０３に処理を進める。図５（Ｂ）は、位相差の分布の一例を濃淡で示す。図５（Ｂ）では、位相差が大きいほど淡（薄）い色（参照画像と補正対象画像の相関が弱いほど淡い色、参照画像と補正対象画像の視差が大きいほど淡い色）で位相差が示されている。そして、位相差が小さいほど濃い色（参照画像と補正対象画像の相関が強いほど濃い色、参照画像と補正対象画像の視差が小さいほど濃い色）で位相差が示されている。図５（Ｂ）では、異物Ｘの領域において、参照画像と補正対象画像の相関が弱いため、位相差が大きい（背景の位相差と略等しい）。
【0046】
ステップＳ４０３では、制御部１０１は、位相差補正部２０３を制御して、ステップＳ４０２で取得した各領域の位相差を補正する。そして、制御部１０１は、ステップＳ４０４に処理を進める。図５（Ｃ）は、補正後の各領域の位相差の一例を示す。図５（Ｃ）では、異物Ｘの領域の位相差が、異物Ｘが無い場合の位相差に近い値に補正されている。
【0047】
ステップＳ４０４では、制御部１０１は、画像推定部２０４を制御して、ステップＳ４０３の補正後の各領域の位相差に基づいて、参照画像から推定画像を生成する。そして、制御部１０１は、ステップＳ４０５に処理を進める。図５（Ｄ）は、推定画像の一例を示す。図５（Ｄ）の推定画像には異物は写っていない。
【0048】
ステップＳ４０５では、制御部１０１は、合成比率決定部２０５を制御して、異物領域に基づいて、補正対象画像における複数の領域にそれぞれ対応する複数の合成比率を決定
する。そして、制御部１０１は、ステップＳ４０６に処理を進める。
する。そして、制御部１０１は、ステップＳ４０６に処理を進める。
【0049】
ステップＳ４０６では、制御部１０１は、画像合成部２０６を制御して、補正対象画像における複数の領域のそれぞれついて、ステップＳ４０５で決定した合成比率で補正対象画像の画素値と推定画像の画素値とを合成することによって、合成画像を生成する。これによって、補正対象画像が合成画像に補正される。図５（Ｅ）は、補正後の２つの画像（光学系１０４Ａ，１０４Ｂ（イメージサークルＩＣ１，ＩＣ２）にそれぞれ対応する２つの画像）の一例を示す。図５（Ｅ）では、２つの画像のどちらにも異物は写っていない。
【0050】
以上述べたように、実施形態１によれば、２つの光学系にそれぞれ対応する２つの画像の一方における異物領域の画素値が、当該２つの画像の他方の画素値を用いて補正される。こうすることによって、異物の写っていた画像を、異物の写っていない画像に好適に補正することができ、異物による立体視の悪化を抑制することができる。
【0051】
なお、異物が１つだけ存在する例を説明したが、異物の数は特に限定されず、複数の異物が存在してもよい。また、参照画像と補正対象画像を決定して補正対象画像を補正する例を説明したが、これに限られない。例えば、２つの光学系にそれぞれ対応する２つの画像の両方に異物が写っている場合には、一方の画像を用いて他方の画像の異物を除去し、他方の画像を用いて一方の画像の異物を除去してもよい。
【0052】
＜実施形態２＞
以下、本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。
以下、本発明の実施形態２について説明する。なお、以下では、実施形態１と同じ点（例えば実施形態１と同じ構成および処理）についての説明は省略し、実施形態１と異なる点について説明する。
【0053】
（撮像装置）
実施形態２に係る撮像装置の構成は実施形態１（図１）と同様である。
実施形態２に係る撮像装置の構成は実施形態１（図１）と同様である。
【0054】
【0055】
画角制御部７０７は、画像選択部２０１によって検出された仮の異物領域の情報と、位相差取得部２０２によって取得された各領域の位相差とを、ＲＡＭ１０３から読み出す。画角制御部７０７は、位相差補正部２０３と同様に、仮の異物領域からの距離が閾値よりも短く且つ位相差が閾値よりも大きい（参照画像と補正対象画像の相関が閾値よりも弱い）領域を、最終的な異物領域として検出する。なお、画角制御部７０７は、位相差補正部２０３によって検出された最終的な異物領域の情報を取得してもよい。さらに、画角制御部７０７は、所定の画角（所定の領域）を示す画角情報をＲＡＭ１０３から読み出し、最中的な異物領域と、所定の画角とに基づいて、有効画角を決定する。そして、画角制御部７０７は、決定した有効画角の情報を、ＲＡＭ１０３に出力（格納）する。所定の画角は、許容できる最小の有効画角である。所定の画角は、予め定められた固定の画角であってもよいし、ユーザによって指定された画角であってもよい。ＲＯＭ１０２に複数の画角の情報が予め用意されていてもよい。そして、画角制御部７０７が、撮影条件に応じた画角を複数の画角から選択して使用してもよい。
【0056】
図８（Ａ）～８（Ｃ）は、有効画角の決定方法の一例を示す模式図である。図８（Ａ）～８（Ｃ）では、光学系１０４Ａ（イメージサークルＩＣ１）に対応する画像８０１と、光学系１０４Ｂ（イメージサークルＩＣ２）に対応する画像８０２とのそれぞれに対して
、画角８０３（許容できる最小の有効画角）が予め設定されている。
、画角８０３（許容できる最小の有効画角）が予め設定されている。
【0057】
図８（Ａ）は、画像８０１にも画像８０２にも異物が写っていない場合を示す。この場合には、画像８０１の全体と、画像８０２の全体とのそれぞれが、有効画角として決定される。図８（Ｂ）は、異物Ｘが画角８０３の内側に写っている場合を示す。この場合も、画像８０１の全体と、画像８０２の全体とのそれぞれが、有効画角として決定される。図８（Ｃ）は、異物Ｘが画角８０３の外側に写っている場合を示す。この場合に、画像８０１と画像８０２のそれぞれについて、画角８０４が有効画角として決定される。画角８０４は、画角８０３を含み且つ異物Ｘの領域に外接する画角である。
【0058】
なお、図８（Ｃ）の場合の有効画角は画角８０４に限られず、例えば画角８０３であってもよい。また、有効画角は、必ずしもイメージサークルと同様の形状を有していなくてもよい。例えば、光学系が魚眼レンズを含み、魚眼画像が撮像される場合には、有効画角は、正距円筒変換または透視投影変換といった画像処理後の画像に基づく形状を有してもよい。
【0059】
実施形態２に係る画像合成部２０６は、実施形態１と同様の処理を行って、合成画像を生成する。但し、実施形態２に係る画像合成部２０６は、合成画像を生成する際に、画角制御部７０７によって決定された有効画角の情報をＲＡＭ１０３から読み出し、有効画角の外側の領域を無効化する。例えば、画像合成部２０６は、有効画角の外側の領域の画素値を所定の画素値（例えば黒の画素値）で置換したり、有効画角の外側の領域をトリミングしたりすることによって、当該領域を無効化する。
【0060】
【0061】
ステップＳ９０１～Ｓ９０５は、実施形態１（図４）のステップＳ４０１～Ｓ４０５と同様である。
【0062】
図１０（Ａ）は、光学系１０４Ａ，１０４Ｂ（イメージサークルＩＣ１，ＩＣ２）にそれぞれ対応する２つの画像の一例を示す。図１０（Ａ）では、イメージサークルＩＣ１に対応する画像には異物が写っていないが、イメージサークルＩＣ２に対応する画像には３つの異物Ｘ１～Ｘ３が写っている。そのため、ステップＳ９０１では、イメージサークルＩＣ１に対応する画像が参照画像として選択され、イメージサークルＩＣ２に対応する画像が補正対象画像として選択される。図１０（Ａ）では、参照画像と補正対象画像のそれぞれに対して画角１００３（許容できる最小の有効画角）が予め設定されている。
【0063】
ステップＳ９０２では、例えば、図１０（Ｂ）に示す位相差が取得される。図１０（Ｂ）は、位相差の分布の一例を濃淡で示す。図１０（Ｂ）では、位相差が大きいほど淡（薄）い色（参照画像と補正対象画像の相関が弱いほど淡い色、参照画像と補正対象画像の視差が大きいほど淡い色）で位相差が示されている。そして、位相差が小さいほど濃い色（参照画像と補正対象画像の相関が強いほど濃い色、参照画像と補正対象画像の視差が小さいほど濃い色）で位相差が示されている。図１０（Ｂ）では、異物Ｘ１～Ｘ３の領域において、参照画像と補正対象画像の相関が弱いため、位相差が大きい（背景の位相差と略等しい）。
【0064】
ステップＳ９０３では、例えば、図１０（Ｂ）に示す位相差が図１０（Ｃ）に示す位相差に補正される。図１０（Ｃ）は、補正後の各領域の位相差の一例を示す。図１０（Ｃ）
では、異物Ｘ１～Ｘ３の領域の位相差が、異物Ｘ１～Ｘ３が無い場合の位相差に近い値に補正されている。
では、異物Ｘ１～Ｘ３の領域の位相差が、異物Ｘ１～Ｘ３が無い場合の位相差に近い値に補正されている。
【0065】
【0066】
ステップＳ９０５の次に、ステップＳ９０６で、制御部１０１は、画角制御部７０７を制御して、有効画角を決定する。図１０（Ａ）では、異物Ｘ１は画角１００３（許容できる最小の有効画角）の内側に写っており、異物Ｘ２，Ｘ３は画角１００３に写っている。この場合には、図１０（Ｂ）に示すように、補正対象画像の中心を中心とし、異物Ｘ２，Ｘ３の領域における複数の座標のうち、画角１００３に最も近い座標に接する円形の画角１００４が、有効画角として決定される。
【0067】
ステップＳ９０７では、制御部１０１は、画像合成部２０６を制御して、実施形態１同様の処理と、有効画角の外側の領域の無効化とを行うことによって、合成画像を生成する。図１０（Ｅ）は、補正後の２つの画像（光学系１０４Ａ，１０４Ｂ（イメージサークルＩＣ１，ＩＣ２）にそれぞれ対応する２つの画像）の一例を示す。図１０（Ｅ）では、２つの画像のどちらにも異物は写っていない。また、図１０（Ｅ）では、有効画角である画角１００４の外側の領域が無効化されている。
【0068】
なお、ステップＳ９０６の処理は、ステップＳ９０２～Ｓ９０４のいずれかの処理よりも前に行われてもよい。そして、ステップＳ９０２～Ｓ９０４においては、有効画角の内側のみを対象として処理が行われてもよい。そうすることにより、処理負荷を低減することができる。ステップＳ９０６の処理は、ステップＳ９０２～Ｓ９０４の処理と並列に行われてもよい。
【0069】
以上述べたように、実施形態２によれば、異物領域が所定の領域の外側で検出された場合に、異物領域が無効な画像に、補正対象画像が補正される。これによっても、異物の写っていた画像を、異物の写っていない画像に補正することができる。所定の領域の内側では、実施形態１の方法で異物が取り除かれるため、立体視の悪化を抑制することができる。
【0070】
なお、上記実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。
【0071】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0072】
本実施形態の開示は、以下の構成、方法、プログラム、および媒体を含む。
（構成１）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像と
の他方の画像の画素値を用いて補正する補正手段と
を有することを特徴とする画像処理装置。
（構成２）
前記第１の画像と前記第２の画像とのうち、過去の画像との相関が弱い方の画像を、前記一方の画像として選択する選択手段
をさらに有する
ことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記所定の条件は、過去の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記所定の条件は、過去の画像との相関が閾値よりも弱い領域からの距離が閾値よりも短いという条件を含む
ことを特徴とする構成１～３のいずれかに記載の画像処理装置。
（構成５）
前記所定の条件は、前記他方の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成６）
前記補正手段は、
前記他方の画像から第３の画像を生成する生成手段と、
前記一方の画像における複数の領域のそれぞれについて前記異物領域に基づく合成比率で前記一方の画像と画素値と前記第３の画像の画素値とを合成することによって得られる画像に、前記一方の画像を補正する合成手段と
を有する
ことを特徴とする構成１～５のいずれかに記載の画像処理装置。
（構成７）
前記一方の画像における複数の領域のそれぞれについて、前記他方の画像に対する視差に関連した評価値を取得する第２取得手段
をさらに有し、
前記生成手段は、前記複数の領域にそれぞれ対応する複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする構成６に記載の画像処理装置。
（構成８）
前記生成手段は、前記異物領域の周囲に対応する評価値を用いて前記異物領域に対応する評価値を補正し、当該補正後の前記複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする構成７に記載の画像処理装置。
（構成９）
前記評価値は、前記第１の画像と前記第２の画像との相関の弱さを示す
ことを特徴とする構成７または８に記載の画像処理装置。
（構成１０）
前記異物領域が所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１～９のいずれかに記載の画像処理装置。
（構成１１）
前記所定の領域は、ユーザによって指定された領域である
ことを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１０または１１に記載の画像処理装置。
（構成１３）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域を含み且つ前記異物領域に外接する領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１０または１１に記載の画像処理装置。
（構成１４）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域の画素値を所定の画素値で置換することによって、前記異物領域を無効化する
ことを特徴とする構成１０～１３のいずれかに記載の画像処理装置。
（構成１５）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域をトリミングすることによって、前記異物領域を無効化する
ことを特徴とする構成１０～１３のいずれかに記載の画像処理装置。
（方法）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得するステップと、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出するステップと、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正するステップと
を有することを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
（構成１）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得する取得手段と、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出する検出手段と、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像と
の他方の画像の画素値を用いて補正する補正手段と
を有することを特徴とする画像処理装置。
（構成２）
前記第１の画像と前記第２の画像とのうち、過去の画像との相関が弱い方の画像を、前記一方の画像として選択する選択手段
をさらに有する
ことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記所定の条件は、過去の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記所定の条件は、過去の画像との相関が閾値よりも弱い領域からの距離が閾値よりも短いという条件を含む
ことを特徴とする構成１～３のいずれかに記載の画像処理装置。
（構成５）
前記所定の条件は、前記他方の画像との相関が閾値よりも弱いという条件を含む
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成６）
前記補正手段は、
前記他方の画像から第３の画像を生成する生成手段と、
前記一方の画像における複数の領域のそれぞれについて前記異物領域に基づく合成比率で前記一方の画像と画素値と前記第３の画像の画素値とを合成することによって得られる画像に、前記一方の画像を補正する合成手段と
を有する
ことを特徴とする構成１～５のいずれかに記載の画像処理装置。
（構成７）
前記一方の画像における複数の領域のそれぞれについて、前記他方の画像に対する視差に関連した評価値を取得する第２取得手段
をさらに有し、
前記生成手段は、前記複数の領域にそれぞれ対応する複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする構成６に記載の画像処理装置。
（構成８）
前記生成手段は、前記異物領域の周囲に対応する評価値を用いて前記異物領域に対応する評価値を補正し、当該補正後の前記複数の評価値に基づいて、前記他方の画像から第３の画像を生成する
ことを特徴とする構成７に記載の画像処理装置。
（構成９）
前記評価値は、前記第１の画像と前記第２の画像との相関の弱さを示す
ことを特徴とする構成７または８に記載の画像処理装置。
（構成１０）
前記異物領域が所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１～９のいずれかに記載の画像処理装置。
（構成１１）
前記所定の領域は、ユーザによって指定された領域である
ことを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１０または１１に記載の画像処理装置。
（構成１３）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記所定の領域を含み且つ前記異物領域に外接する領域の外側が無効な画像に、前記一方の画像を補正する
ことを特徴とする構成１０または１１に記載の画像処理装置。
（構成１４）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域の画素値を所定の画素値で置換することによって、前記異物領域を無効化する
ことを特徴とする構成１０～１３のいずれかに記載の画像処理装置。
（構成１５）
前記異物領域が前記所定の領域の外側で検出された場合に、前記補正手段は、前記異物領域をトリミングすることによって、前記異物領域を無効化する
ことを特徴とする構成１０～１３のいずれかに記載の画像処理装置。
（方法）
第１の光学系を介して撮像された第１の画像と、第２の光学系を介して撮像された第２の画像とを取得するステップと、
前記第１の画像と前記第２の画像との一方の画像から、所定の条件を満たす領域を、異物領域として検出するステップと、
前記一方の画像における前記異物領域の画素値を、前記第１の画像と前記第２の画像との他方の画像の画素値を用いて補正するステップと
を有することを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。
（媒体）
コンピュータを、構成１～１５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【符号の説明】
【0073】
１００：撮像装置 １０５：撮像部 １０７：画像処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】