特許 7546369 画像処理装置、画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】画像処理装置、画像処理方法

(51)【国際特許分類】

   G06T 3/00 20240101AFI20240830BHJP

   H04N 23/60 20230101ALI20240830BHJP

【ＦＩ】

G06T3/00 780

H04N23/60 500

【請求項の数】 11

(21)【出願番号】P 2020058310

(22)【出願日】2020-03-27

(65)【公開番号】P2021157600

(43)【公開日】2021-10-07

【審査請求日】2023-03-22

【前置審査】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】三ツ元 信一

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１９／０３１０８６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／００－ ３／６０８

Ｈ０４Ｎ ２３／６０－２３／６９８

(57)【特許請求の範囲】

【請求項1】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成手段と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成手段と
を備え、
前記合成手段は、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成手段は、前記複数の画像のうち、所定の閾値以下のデフォーカス値をより多く含む前記対応領域を有する前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成する
ことを特徴とする画像処理装置。

【請求項2】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成手段と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成手段と
を備え、
前記合成手段は、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成手段は、前記複数の画像のうち、前記対応領域内のデフォーカス値の合計値がより小さい前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成することを特徴とする画像処理装置。

【請求項3】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成手段と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成手段と
を備え、
前記合成手段は、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成手段は、前記複数の画像のうち、前記対応領域内のデフォーカス値の平均値がより小さい前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成することを特徴とする画像処理装置。

【請求項4】

複数の画像のそれぞれに対応するデフォーカスマップを生成する生成手段と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成手段と
を備え、
前記合成手段は、前記合成画像における前記複数の画像が共有する領域に対応する重複領域の画像を、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する領域以外の領域である非対応領域内のデフォーカス値に基づいて生成することを特徴とする画像処理装置。

【請求項5】

前記合成手段は、前記複数の画像のうち前記合成画像における前記複数の画像が共有する領域に対応する重複領域に使用する画像として選択する選択候補を、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値の分布に基づいて決定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記合成画像は、変状の検出に使用される画像であることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成工程と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成工程と
を備え、
前記合成工程では、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成工程では、前記複数の画像のうち、所定の閾値以下のデフォーカス値をより多く含む前記対応領域を有する前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成する
ことを特徴とする画像処理方法。

【請求項8】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成工程と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成工程と
を備え、
前記合成工程では、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成工程では、前記複数の画像のうち、前記対応領域内のデフォーカス値の合計値がより小さい前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成することを特徴とする画像処理方法。

【請求項9】

建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成工程と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成工程と
を備え、
前記合成工程では、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成工程では、前記複数の画像のうち、前記対応領域内のデフォーカス値の平均値がより小さい前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成することを特徴とする画像処理方法。

【請求項10】

複数の画像のそれぞれに対応するデフォーカスマップを生成する生成工程と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成工程と
を備え、
前記合成工程では、前記合成画像における前記複数の画像が共有する領域に対応する重複領域の画像を、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する領域以外の領域である非対応領域内のデフォーカス値に基づいて生成することを特徴とする画像処理方法。

【請求項11】

コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像を位置合わせして合成することで合成画像を生成する技術に関するものである。

【背景技術】

【0002】

建造物の点検において、撮影した画像からひび割れなどの変状を検出する手法では、ピントが合っており、鮮明であることが求められている。また、点検の対象範囲から細かい変状を検出するためには、高解像度な画像（高解像度画像）が必要であるため、複数の高解像度画像を合成して、一枚の合成画像を生成する手法が取られる。合成画像を生成する際は、特許文献１や特許文献２のように、隣り合う画像に対して、撮影時に設定した重なり合う領域を用いて位置合わせを行い、画像の合成を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－１７５６２０号公報

【文献】特許第６５１３３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１や特許文献２に開示されるような技術は、風景写真のようなパノラマ写真として合成画像を生成することを目的としており、画像間の繋ぎ目が目立たないように滑らかに見える処理を行う。この時、位置合わせ用の重複領域に対し、ブレンド処理（画素毎に各画像の画素値の平均を取る処理）を行うが、片方の領域がボケなどの劣化要因を含むと、重複領域の画質に影響が出る。その結果、画像からの細かい変状の検出に影響が出る。

【0005】

本発明では、複数の画像を位置合わせして合成することで合成画像を生成する場合に、該位置合わせにより発生する画像間の重複領域について、該重複領域の画質の劣化を軽減させるための技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一様態は、建造物を撮像することによって取得された複数の画像のそれぞれに対応するデフォーカスマップを生成する生成手段と、
前記複数の画像と、前記複数の画像のそれぞれに対応するデフォーカスマップと、に基づいて前記複数の画像を合成して合成画像を生成する合成手段と
を備え、
前記合成手段は、前記複数の画像において前記建造物の同一部分に対応する重複領域について、前記複数の画像のそれぞれに対応するデフォーカスマップにおいて前記重複領域に対応する対応領域内のデフォーカス値を比較した結果に基づいて、前記複数の画像のいずれかの画像を用いて前記合成画像を生成し、
前記合成手段は、前記複数の画像のうち、所定の閾値以下のデフォーカス値をより多く含む前記対応領域を有する前記デフォーカスマップに対応する画像において前記重複領域に対応する部分画像に基づいて、前記合成画像の前記重複領域を生成する
ことを特徴とする。

【発明の効果】

【0007】

本発明の構成によれば、複数の画像を位置合わせして合成することで合成画像を生成する場合に、該位置合わせにより発生する画像間の重複領域について、該重複領域の画質の劣化を軽減させることができる。

【図面の簡単な説明】

【0008】

【図1】画像処理装置１００のハードウェア構成例を示すブロック図。

【図2】合成画像の生成について説明する図。

【図3】（ａ）はテーブルの構成例を示す図、（ｂ）は重複領域情報の構成例を示す図。

【図4】複数の画像を位置合わせして合成することで合成画像を生成するために画像処理装置１００が行う処理のフローチャート。

【図5】ステップＳ４０３における処理の詳細を示すフローチャート。

【図6】デフォーカスマップの一例を示す図。

【図7】（ａ）は画像２０１のデフォーカスマップの一例を示す図、（ｂ）は画像２０２のデフォーカスマップの一例を示す図。

【図8】合成画像の一例を示す図。

【図9】（ａ）は画像８０１のデフォーカスマップ９０１を示す図、（ｂ）は画像８０２のデフォーカスマップ９０２を示す図。

【図10】画像８０１と画像８０２を位置合わせして合成することで合成画像８０３を生成するために画像処理装置１００が行う処理のフローチャート。

【図11】選択画像が画像８０１である場合に、該画像８０１に対応する部分領域を取得するための処理を説明する図。

【図12】第３の実施形態を説明する図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

［第１の実施形態］
本実施形態では、複数の画像を位置合わせして合成することで合成画像を生成する。その際、該位置合わせにより発生する画像間の重複領域を共有するそれぞれの画像のデフォーカスマップを生成し、該それぞれの画像のうち合成画像の重複領域に用いる画像を、該それぞれの画像のデフォーカスマップに基づいて選択する。そして、該選択された画像において重複領域に対応する部分画像を取得し、該取得した部分画像を合成画像における重複領域に合成する。先ず、本実施形態に係る画像処理装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。

【0011】

ＣＰＵ１０１は、ＲＡＭ１０３やＲＯＭ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０１は、画像処理装置１００全体の動作制御を行うとともに、画像処理装置１００が行うものとして後述する各処理を実行もしくは制御する。

【0012】

ＲＯＭ１０２には、書き換え不要の画像処理装置１００の設定データ、画像処理装置１００の基本動作に係るコンピュータプログラムやデータ、画像処理装置１００の起動に係るコンピュータプログラムやデータが格納されている。

【0013】

ＲＡＭ１０３は、ＲＯＭ１０２やＨＤＤ（ハードディスクドライブ）１０４からロードされたコンピュータプログラムやデータ、通信部１０７により外部装置から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。さらにＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。

【0014】

ＨＤＤ１０４には、ＯＳ（オペレーティングシステム）や、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。ＨＤＤ１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。

【0015】

なお、ＨＤＤ１０４は、記憶装置の一例として挙げたものであり、ＨＤＤ１０４に加えて若しくは代えて、他の種類の記憶装置を用いてもよい。このような記憶装置は、例えば、メディア（記録媒体）と、該メディアに対するコンピュータプログラムやデータの読み書きを行うドライブ装置と、で実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、このような記憶装置としては、ＵＳＢメモリなどのフラッシュメモリや、画像処理装置１００と通信可能に接続されているサーバ装置であってもよい。

【0016】

表示部１０５は、ＣＰＵ１０１による処理結果を画像や文字などでもって表示する装置であり、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ（ＯＬＥＤ）、タッチパネル画面等で実装される。なお、図１では、画像処理装置１００が表示部１０５を有する構成としているが、このような構成に限らず、例えば、表示部１０５は、画像処理装置１００と有線もしくは無線で通信可能な外部装置であってもよい。また、表示部１０５は、画像や文字を投影するプロジェクタなどの投影装置であってもよい。

【0017】

操作部１０６は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。

【0018】

通信部１０７は、外部装置との間のデータ通信を行うための通信インターフェースとして機能し、画像処理装置１００は通信部１０７により外部装置との間のデータ通信を行うことができる。

【0019】

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、表示部１０５、操作部１０６、通信部１０７、は何れも、バス１１０に接続されている。なお、図１に示したハードウェア構成は、以下に説明する各処理を実行可能な構成の一例にすぎず、定義変形／変更しても構わない。

【0020】

次に、複数の画像を位置合わせして合成することで合成画像を生成するために画像処理装置１００が行う処理について、図４のフローチャートに従って説明する。

【0021】

ステップＳ４０１では、ＣＰＵ１０１は先ず、合成対象となる複数の画像（入力画像）を取得する。複数の画像の取得元は特定の取得元に限らない。例えば、ＣＰＵ１０１は、ＨＤＤ１０４から合成対象となる複数の画像を読みだしてもよいし、通信部１０７によって外部装置から合成対象となる複数の画像をダウンロードしてもよい。また、画像処理装置１００の内部若しくは外部に撮像部を設け、ＣＰＵ１０１は、該撮像部により撮像された複数の画像（撮像画像）を合成対象として取得してもよい。

【0022】

本実施形態では、ＨＤＤ１０４には、図３（ａ）に例示する、合成画像の縦横サイズ（幅および高さ）と、合成対象となる画像のファイル名と、を規定したテーブル３０１が予め登録されているものとする。テーブル３０１には、合成画像の幅が５０００画素であり、該合成画像の高さが２０００画素であること、が規定されている。また、テーブル３０１には、合成対象となる画像のファイル名が、ファイル名「ＩＭＧ＿００１３．ｊｐｇ」、「ＩＭＧ＿００１４．ｊｐｇ」であることが規定されている。

【0023】

よって、ステップＳ４０１では、ＣＰＵ１０１は、テーブル３０１に登録されている合成対象の画像のファイル名を参照し、ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像およびファイル名「ＩＭＧ＿００１４．ｊｐｇ」の画像をＨＤＤ１０４等から取得する。以下では、ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像およびファイル名「ＩＭＧ＿００１４．ｊｐｇ」の画像のそれぞれの幅は３０００画素、高さは２０００画素であるものとする。また、合成対象となる画像は、歪み補正やあおり補正を行った画像であっても良い。

【0024】

そしてＣＰＵ１０１は、合成対象として取得した複数の画像（ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像およびファイル名「ＩＭＧ＿００１４．ｊｐｇ」の画像）の位置合わせを行って、合成画像における該複数の画像のそれぞれの位置を決定する。なお、複数の画像の位置合わせは既知の方法で行うことができる。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）手法を用いて各画像から特徴点を算出し、特徴点の画像間マッチングを行うことで、画像間の位置合わせを行う。

【0025】

ステップＳ４０２では、ＣＰＵ１０１は、ステップＳ４０１で行った画像の位置合わせにより発生した画像間の重複領域について、該重複領域を特定するための情報を生成し、該生成した情報を含む重複領域情報を生成する。

【0026】

ここで、ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像およびファイル名「ＩＭＧ＿００１４．ｊｐｇ」の画像を位置合わせして合成することで合成画像を生成するケースについて、図２を用いて説明する。

【0027】

図２（ａ）には、合成対象となる画像２０１（ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像）および画像２０２（ファイル名「ＩＭＧ＿００１４．ｊｐｇ」の画像）を示している。図２（ｂ）には、画像２０１と画像２０２を位置合わせして合成することで生成された合成画像２０３を示している。ここで、図２（ｃ）に示す如く、画像２０１における画像領域２１１に含まれている画像内容と、画像２０２における画像領域２１２に含まれている画像内容と、は同じ（もしくは類似度が高い）である。然るに、画像２０１と画像２０２を位置合わせした結果、画像領域２１１および画像領域２１２は互いに重なる領域（重複領域）となる。画像領域２１１および画像領域２１２は、画像２０１と画像２０１とを合成する際の位置合わせ領域として使用され、その結果、図２（ｄ）に示す如く、画像領域２１１および画像領域２１２は、合成画像２０３における重複領域２１３に該当することになる。

【0028】

よって、ステップＳ４０２では、ＣＰＵ１０１は、画像２０１において重複領域２１３に該当する画像領域２１１を規定する情報と、画像２０２において重複領域２１３に該当する画像領域２１２を規定する情報と、を含む重複領域情報を生成する。重複領域情報の構成例を図３（ｂ）に示す。

【0029】

「重複領域ＩＤ」は、画像２０１と画像２０２の位置合わせにより発生した重複領域ごとにＣＰＵ１０１が発行した、重複領域ごとに固有の識別子である。図２に示す如く、画像２０１と画像２０２の位置合わせにより発生した重複領域は、重複領域２１３の１つのみであるため、図３（ｂ）では、この１つの重複領域２１３についてＣＰＵ１０１が発行した重複領域ＩＤ＝「０」が登録されている。

【0030】

「合成領域座標」は、合成画像２０３の左上隅の位置を原点としたときの該合成画像２０３における重複領域２１３の左上隅の座標（２０００，０）および右下隅の座標（３０００，２０００）である。なお、図３（ｂ）では、重複領域が矩形である例を示しているため、合成領域座標は、この矩形領域を特定可能な座標情報となっている。しかし、重複領域の形状は矩形に限らず、どのような形状であっても、重複領域座標には、合成画像における重複領域を規定する情報が登録される。

【0031】

「画像１＿ファイル名」は、画像２０１のファイル名「ＩＭＧ＿００１３．ｊｐｇ」である。「画像１＿重複領域座標」は、画像２０１の左上隅の位置を原点としたときの、画像２０１において重複領域２１３に該当する画像領域２１１の左上隅の座標（２０００，０）および右下隅の座標（３０００，２０００）である
「画像２＿ファイル名」は、画像２０２のファイル名「ＩＭＧ＿００１４．ｊｐｇ」である。「画像２＿重複領域座標」は、画像２０２の左上隅の位置を原点としたときの、画像２０２において重複領域２１３に該当する画像領域２１２の左上隅の座標（０，０）および右下隅の座標（１０００，２０００）である。

【0032】

このように、重複領域ＩＤ＝「０」に対応する重複領域を共有する画像の数がＮ（Ｎは２以上の整数）の場合、ｉ＝１，…，Ｎについて「画像ｉ＿ファイル名」および「画像ｉ＿重複領域座標」のセットが、重複領域ＩＤ＝「０」と対応付けて重複領域情報に含められる。

【0033】

ステップＳ４０３では、ＣＰＵ１０１は、画像２０１および画像２０２から、重複領域２１３に用いる画像を選択する処理を行う。ステップＳ４０３における処理の詳細については、図５のフローチャートを用いて後述する。

【0034】

ステップＳ４０４ではＣＰＵ１０１は、ステップＳ４０３で選択された画像から、重複領域２１３に対応する画像領域内の画像（部分画像）、つまり、画像２０１であれば画像領域２１１内の画像、画像２０２であれば画像領域２１２内の画像、を抽出する。そしてＣＰＵ１０１は、該抽出した部分画像を、合成画像２０３における重複領域２１３に合成し、該合成を行った合成画像２０３を出力する。合成画像２０３の出力先は特定の出力先に限らない。例えば、ＣＰＵ１０１は、合成画像２０３を表示部１０５に出力することで該合成画像２０３を該表示部１０５に表示させてもよいし、該合成画像２０３をＨＤＤ１０４に出力して該合成画像２０３を該ＨＤＤ１０４に保存させてもよい。また、ＣＰＵ１０１は、通信部１０７を制御して該合成画像２０３を外部装置に対して出力（送信）しても良い。

【0035】

次に、上記のステップＳ４０３における画像の選択処理の詳細について、図５のフローチャートに従って説明する。図５のフローチャートでは、重複領域情報に登録されているそれぞれの重複領域ＩＤについて、ステップＳ５０３～Ｓ５０８の処理を行う。本実施形態では、重複領域情報に登録されている重複領域ＩＤは１つのみであるため、この１つの重複領域ＩＤについて、ステップＳ５０３～Ｓ５０８の処理を行うことになる。

【0036】

ステップＳ５０３では、ＣＰＵ１０１は、重複領域情報に登録されている重複領域ＩＤにおいて未選択の１つを選択重複領域ＩＤとして選択し、該選択重複領域ＩＤと対応付けて重複領域情報に登録されているファイル名を特定する。図３（ｂ）の例では、選択重複領域ＩＤ＝「０」と対応付けて重複領域情報に登録されているファイル名「ＩＭＧ＿００１３．ｊｐｇ」および「ＩＭＧ＿００１４．ｊｐｇ」を特定する。そしてＣＰＵ１０１は、ファイル名「ＩＭＧ＿００１３．ｊｐｇ」の画像２０１および「ＩＭＧ＿００１４．ｊｐｇ」の画像２０２をＨＤＤ１０４等から取得する。

【0037】

ステップＳ５０４では、ＣＰＵ１０１は、ステップＳ５０３でＨＤＤ１０４等から取得した画像２０１および画像２０２のそれぞれについて、該画像の各画素に対応する合焦度を表すデフォーカスマップを生成する。

【0038】

ある画像（着目画像）について生成したデフォーカスマップの一例を図６に示す。デフォーカスマップ６０１の幅および高さはそれぞれ、着目画像の幅および高さと同じである。また、デフォーカスマップ６０１の画素位置（ｘ、ｙ）における値（デフォーカス値）は、着目画像の画素位置（ｘ、ｙ）に写っている対象物に対するピントの前後のズレ量を絶対値として数値化した値である。

【0039】

デフォーカス値は、例えば、着目画像の撮像を行う際に、像面位相差撮像センサを用いることで、画素の位置におけるデフォーカス量の情報として取得することが可能である。なお、デフォーカス値の情報の取得方法に関しては、公知の技術を利用することが可能である。例えば、像面位相差撮像センサから検出したピントの前後のズレ量を用いたオートフォーカス技術が既に広く実用化されている。

【0040】

図６のデフォーカスマップ６０１において「０」が割り当てられている領域は、デフォーカス値「０」を有する画素の集合から成る領域０を示す。図６のデフォーカスマップ６０１において「１」が割り当てられている領域は、デフォーカス値「１」を有する画素の集合から成る領域１を示す。図６のデフォーカスマップ６０１において「２」が割り当てられている領域は、デフォーカス値「２」を有する画素の集合から成る領域２を示す。境界線６０３は、領域（領域０、領域１、領域２）間の境界線を表す。

【0041】

領域０は、着目画像を撮像した撮像装置の合焦単位においてピンボケの無い領域である。領域１は、領域０よりも合焦度が低い（ボケの程度が大きい）領域であり、領域２は、領域１よりも合焦度が低い領域である。このように、より高いデフォーカス値の領域は、より合焦度が低い領域となっている。

【0042】

画像２０１および画像２０２のそれぞれについて生成したデフォーカスマップの一例を、図７（ａ）、図７（ｂ）に示す。画像２０１について生成したデフォーカスマップ７０１において、重複領域２１３（画像領域２１１）に対応する対応領域７１１には、領域０、領域１、領域２が含まれている。画像２０２について生成したデフォーカスマップ７０２において、重複領域２１３（画像領域２１２）に対応する対応領域７１２には、領域０のみが含まれている。

【0043】

ステップＳ５０５では、ＣＰＵ１０１は、画像２０１および画像２０２のうち未選択の１つを選択画像として選択する。そしてＣＰＵ１０１は、選択画像に対応するデフォーカスマップにおいて重複領域２１３に対応する対応領域内のデフォーカス値を取得する。

【0044】

ステップＳ５０６では、ＣＰＵ１０１は、画像２０１および画像２０２の両方を選択画像として選択したか否かを判断する。この判断の結果、画像２０１および画像２０２の両方を選択画像として選択した場合には、処理はステップＳ５０８に進む。一方、画像２０１および画像２０２のうち未だ選択画像として選択してない画像が残っている場合には、処理はステップＳ５０５に進む。

【0045】

このような処理により、ＣＰＵ１０１は、デフォーカスマップ７０１において重複領域２１３に対応する対応領域７１１内のデフォーカス値を取得する。対応領域７１１は、重複領域情報中の「画像１＿重複領域座標」によって特定される画像領域２１１に対応するデフォーカスマップ７０１の領域である。また、ＣＰＵ１０１は、デフォーカスマップ７０２において重複領域２１３に対応する対応領域７１２内のデフォーカス値を取得する。対応領域７１２は、重複領域情報中の「画像２＿重複領域座標」によって特定される画像領域２１２に対応するデフォーカスマップ７０２の領域である。

【0046】

ステップＳ５０８では、ＣＰＵ１０１は、画像２０１および画像２０２のうち合成画像２０３の重複領域２１３に用いる画像を、デフォーカスマップ７０１の対応領域７１１内のデフォーカス値と、デフォーカスマップ７０２の対応領域７１２内のデフォーカス値と、に基づいて選択する。

【0047】

画像２０１および画像２０２のうち合成画像２０３の重複領域２１３に用いる画像を、対応領域７１１内のデフォーカス値と対応領域７１２内のデフォーカス値とに基づいて選択する方法には様々な方法が考えられる。

【0048】

例えば、ＣＰＵ１０１は、対応領域７１１内でデフォーカス値が「０」の画素の数Ｎ１、対応領域７１２内でデフォーカス値が「０」の画素の数Ｎ２、を計数する。そしてＣＰＵ１０１は、Ｎ１＞Ｎ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０１を選択し、Ｎ１＜Ｎ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０２を選択する。図７（ａ）、（ｂ）の例では、上記の如く、対応領域７１１内には、デフォーカス値が「０」以外の画素が含まれているのに対し、対応領域７１２はデフォーカス値「０」の画素のみで構成されているため、Ｎ１＜Ｎ２となる。よってこの場合、合成画像２０３の重複領域２１３に用いる画像として画像２０２が選択される。

【0049】

なお、Ｎ１＝Ｎ２の場合は、例えば、ＣＰＵ１０１は、対応領域７１１内でデフォーカス値が「１」の画素の数Ｍ１、対応領域７１２内でデフォーカス値が「１」の画素の数Ｍ２、を計数する。そしてＣＰＵ１０１は、Ｍ１＞Ｍ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０１を選択し、Ｍ１＜Ｍ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０２を選択する。

【0050】

また、Ｍ１＝Ｍ２の場合は、ＣＰＵ１０１は、対応領域７１１内でデフォーカス値が「２」の画素の数Ｐ１、対応領域７１２内でデフォーカス値が「２」の画素の数Ｐ２、を計数する。そしてＣＰＵ１０１は、Ｐ１＞Ｐ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０１を選択し、Ｐ１＜Ｐ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０２を選択する。

【0051】

また、Ｐ１＝Ｐ２の場合は、合成画像２０３の重複領域２１３に用いる画像として、画像２０１および画像２０２のどちらを選択してもよく、その場合の選択基準は特定の選択基準に限らない。例えば、画像２０１および画像２０２のうち撮影日時がより古い方／より新しい方を選択しても良いし、ランダムに選択してもよい。

【0052】

また、画像２０１および画像２０２のうち合成画像２０３の重複領域２１３に用いる画像を、対応領域７１１内のデフォーカス値と対応領域７１２内のデフォーカス値とに基づいて選択する他の方法には、例えば、次のような方法も考えられる。

【0053】

例えば、ＣＰＵ１０１は、対応領域７１１内のデフォーカス値の合計値／平均値ＡＶ１、対応領域７１２内のデフォーカス値の合計値／平均値ＡＶ２、を求める。そしてＣＰＵ１０１は、ＡＶ１＜Ｎ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０１を選択し、ＡＶ１＞ＡＶ２であれば、合成画像２０３の重複領域２１３に用いる画像として画像２０２を選択する。

【0054】

また、画像２０１および画像２０２のそれぞれのデフォーカスマップにおいて対応領域以外の領域内（非対応領域内）におけるデフォーカス値に基づいて、合成画像２０３の重複領域２１３に用いる画像を選択するようにしてもよい。

【0055】

例えば、ＣＰＵ１０１は、上記のＮ１に「デフォーカスマップ７０１において対応領域７１１以外の領域の画素数に対する該領域におけるデフォーカス値「０」の画素の数の割合」を適用し、上記のＮ２に「デフォーカスマップ７０２において対応領域７１２以外の領域の画素数に対する該領域におけるデフォーカス値「０」の画素の数の割合」を適用してもよい。

【0056】

また例えば、ＣＰＵ１０１は、上記のＮ１に「デフォーカスマップ７０１において対応領域７１１以外の領域におけるデフォーカス値「０」の画素の数」を適用し、上記のＮ２に「デフォーカスマップ７０２において対応領域７１２以外の領域におけるデフォーカス値「０」の画素の数」を適用してもよい。

【0057】

また、画像２０１および画像２０２のそれぞれのデフォーカスマップから、デフォーカス値が０でない画素の分布を取得し、合成画像２０３の重複領域２１３に用いる画像の選択候補を、該分布を用いて絞ってもよい。着目画像のデフォーカスマップにおいて０でないデフォーカス値が分散している場合、該着目画像の撮像時にノイズが発生しているなど、該着目画像は信頼できない可能性があるため、該着目画像は選択候補から除外する。そして選択候補として残った画像から、上記の何れかの方法でもって、合成画像２０３の重複領域２１３に用いる画像を選択する。

【0058】

また、画像２０１および画像２０２のうち合成画像２０３の重複領域２１３に用いる画像を、対応領域７１１、７１２内のデフォーカス値に基づいて選択することに限らず、例えば、次のような選択方法が考えられる。

【0059】

例えば、合成画像の画像領域において、検出対象となるひび割れなどの変状が写るであろう被写体領域を予め特定しておき、該被写体領域に対応する画像２０１および画像２０２のデフォーカス値に基づいて、上記と同様にして画像選択を行ってもよい。

【0060】

このように、本実施形態では、複数の画像を位置合わせして合成する際に重複する画像領域（重複領域）に、ピンボケの少ない画像を適用した合成画像を生成することができる。これにより、鮮明な画像で構成された重複領域を持つ合成画像が得られるため、このような合成画像からより細かいひび割れなどの変状を検出することができる。

【0061】

なお、合成画像からひび割れなどの変状を検出する、いわゆる点検の処理は、画像処理装置１００が行ってもよいし、外部装置が行ってもよい。前者の場合、画像処理装置１００は、このような点検の処理を行った後、該点検の処理の結果を画像や文字でもって表示部１０５に表示する。なお、後者の場合、画像処理装置１００は、生成した合成画像を外部装置もしくは外部装置がアクセス可能な装置に転送する。

【0062】

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、合成画像２０３の重複領域２１３に用いる画像を、画像２０１および画像２０２の何れか一方としていた。本実施形態では、画像２０１および画像２０２のデフォーカスマップにおいて重複領域２１３に対応する対応領域から所定のデフォーカス値を有する部分領域を取得する。そして、画像２０１および画像２０２において該部分領域に対応する画像を組み合わせたものを、合成画像２０３の重複領域２１３に合成する。

【0063】

図８に、本実施形態に係る合成画像の一例を示す。図８では、画像８０１と画像８０２を位置合わせして合成して合成画像８０３を生成している。位置合わせの際に画像８０１と画像８０２とで重複領域が発生する。該重複領域において領域８１１には画像８０１において領域８１１に対応する部分領域内の画像が合成されており、該重複領域において領域８１２には画像８０２において領域８１２に対応する部分領域内の画像が合成されている。

【0064】

図９（ａ）は、画像８０１のデフォーカスマップ９０１を示しており、図９（ｂ）は、画像８０２のデフォーカスマップ９０２を示している。デフォーカスマップ９０１において対応領域９１１は、画像８０１と画像８０２との重複領域に対応する領域であり、デフォーカスマップ９０２において対応領域９１２は、画像８０１と画像８０２との重複領域に対応する領域である。

【0065】

本実施形態では、画像８０１において領域８１１に対応する領域を、対応領域９１１内のデフォーカス値に基づいて決定し、該決定した領域内の画像を領域８１１に合成する。同様に、画像８０２において領域８１２に対応する領域を、対応領域９１２内のデフォーカス値に基づいて決定し、該決定した領域内の画像を領域８１２に合成する。

【0066】

画像８０１と画像８０２を位置合わせして合成することで合成画像８０３を生成するために画像処理装置１００が行う処理について、図１０のフローチャートに従って説明する。なお、図１０において、図５に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

【0067】

ステップＳ１００１では、ＣＰＵ１０１は、ステップＳ５０５で取得した「選択画像に対応するデフォーカスマップにおいて重複領域２１３に対応する対応領域内のデフォーカス値」を参照し、該対応領域から「デフォーカス値が「０」の画素から成る領域」を部分領域として取得する。

【0068】

選択画像が画像８０１である場合に、該画像８０１に対応する部分領域を取得するための処理について、図１１を用いて説明する。ステップＳ１００１では、ＣＰＵ１０１は、図１１（ａ）に示す対応領域９１１から、図１１（ｂ）に示す「デフォーカス値が０ではない画素の領域を囲む矩形領域１１０２」を省いた残りの領域を、図１１（ｃ）に示す部分領域１１０３として取得する。同様の処理は、画像８０２についても行われ、その結果、画像８０２に対応する部分領域を取得する。

【0069】

ステップＳ１００２では、ＣＰＵ１０１は、デフォーカスマップ９０１についてステップＳ１００１で取得した部分領域に対応する画像８０１内の部分画像と、デフォーカスマップ９０２についてステップＳ１００１で取得した部分領域に対応する画像８０２内の部分画像と、を組み合わせ（つなぎ合わせ）て、合成画像８０３の重複領域に合成する画像を生成する。デフォーカスマップ９０１についてステップＳ１００１で取得した部分領域に対応する画像８０１内の部分画像は領域８１１に合成される。また、デフォーカスマップ９０２についてステップＳ１００１で取得した部分領域に対応する画像８０２内の部分画像は領域８１２に合成される。

【0070】

なお、部分画像を組み合わせ（つなぎ合わせ）た際に、部分画像間で重複する部分が発生してしまった場合、該部分には、どの部分画像を用いてもよい。例えば、第１の実施形態で説明したように、撮像日時がより古い画像の部分領域を用いてもよいし、ランダムに選択して用いてもよい。

【0071】

また、合成画像８０３における重複領域で部分画像が存在しない部分（デフォーカス値が０以外の画素の集合）については、合成に使用する画像の該部分のうち、デフォーカス値が最も低い部分を選択する。

【0072】

このように、本実施形態によれば、重複領域を細かく分割した領域毎に、より鮮明な画像を割り当てることが可能となり、その結果、より正確にひび割れなどの変状を検出することができる。

【0073】

なお、本実施形態では、「デフォーカス値が０でない画素の領域」を、該領域を囲む矩形領域１１０２で表し、対応領域９１１から矩形領域１１０２を省いて部分領域１１０３を得た。しかし、「デフォーカス値が０でない画素の領域」を囲む領域は矩形領域に限らず、他の形状の領域であってもよい。また、デフォーカス値が０でない領域Ａに対して、他の画像において該領域Ａに対応する領域Ｂのデフォーカス値が０であれば、領域Ａを領域Ｂに置き換えても良い。

【0074】

［第３の実施形態］
上記の各実施形態では、図２や図８に示す如く、隣り合う２つの画像を合成する例を示したが、これに限定するものでなく、２枚以上の画像を合成する場合においても、同様の処理が適用できる。

【0075】

例えば、図１２（ａ）に示す合成画像１２１１は、画像１２０１、画像１２０２、画像１２０３、画像１２０４を位置合わせして合成した合成画像である。このような位置合わせの結果、図１２（ｂ）に示す如く、２つの画像が重複する重複領域１２２１～１２２４、３つの画像が重複する重複領域１２３１、１２３２、４つの画像が重複する重複領域１２４１が発生する。このような場合、重複領域１２２１と重複領域１２３１と重複領域１２４１に合成する画像には、画像１２０１が使用され、重複領域１２２２と重複領域１２２３と重複領域１２３２に合成する画像には、画像１２０３が使用される。なお、第２の実施形態のように、１つの重複領域に合成する画像を、複数の画像から生成してもよい。

【0076】

なお、上記の説明において使用した数値、処理タイミング、処理順、情報の構成などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順、情報の構成などに限定することを意図したものではない。

【0077】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0078】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0079】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0080】

１００：画像処理装置 １０１：ＣＰＵ １０２：ＲＯＭ １０３：ＲＡＭ １０４：ＨＤＤ １０５：表示部 １０６：操作部 １０７：通信部 １１０：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】