特開 2021-64201 画像検査方法、画像検査装置、及び画像検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-64201(P2021-64201A)

(43)【公開日】2021年4月22日

(54)【発明の名称】画像検査方法、画像検査装置、及び画像検査プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210326BHJP

   H04N 5/232 20060101ALI20210326BHJP

【ＦＩ】

   G06T7/00 300G

   H04N5/232 290

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

【全頁数】27

(21)【出願番号】特願2019-188777(P2019-188777)

(22)【出願日】2019年10月15日

(11)【特許番号】特許第6716769号(P6716769)

(45)【特許公報発行日】2020年7月1日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 平成３０年１１月８日発行の日本写真測量学会平成３０年度秋季学術講演会発表論文集に掲載

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 平成３０年１１月９日アオーレ長岡において開催された日本写真測量学会平成３０年度秋季学術講演会で発表

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和１年７月３０日発行の応用測量論文集３０（ＪＡＳＴＯｌ．３０）に掲載

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和１年７月３０日全水会館において開催された第３０回応用測量技術研究発表会で発表

(71)【出願人】

【識別番号】000213909

【氏名又は名称】朝日航洋株式会社

(71)【出願人】

【識別番号】500316168

【氏名又は名称】近津 博文

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(72)【発明者】

【氏名】▲高▼橋 洋二

(72)【発明者】

【氏名】久原 千賀子

(72)【発明者】

【氏名】近津 博文

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122FH09

5C122FH11

5C122FH13

5C122FH24

5C122HB01

5L096AA06

5L096EA18

5L096EA43

5L096FA09

5L096FA32

5L096FA33

5L096FA35

5L096JA11

5L096MA01

(57)【要約】

【課題】撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供する。
【解決手段】画像検査方法は、撮像画像ＣＩを取得するステップＳ１０１と、撮像画像ＣＩにおいて複数の特徴点Ｐを抽出するステップＳ１０４と、複数の特徴点Ｐのそれぞれについて、勾配方向の平均値である勾配方向平均値を含む勾配特徴量を算出するステップＳ１０５と、勾配方向平均値の出現数の分布を示すヒストグラムＨを生成するステップＳ１０６と、勾配方向平均値の第１範囲におけるヒストグラムＨの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムＨの尖度である第２尖度と、を算出するステップＳ１０７と、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値に基づいて定量値を算出するステップＳ１０８と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像画像を取得する第１工程と、
前記撮像画像において複数の特徴点を抽出する第２工程と、
複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第３工程と、
前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する第４工程と、
前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第５工程と、
前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第６工程と、
を備え、
前記第３工程は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定する第７工程と、
前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出する第８工程と、
前記第８工程で算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する第９工程と、
を含み、前記第７工程、前記第８工程、及び、前記第９工程を複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第５工程は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する第１０工程と、
前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する第１１工程と、
を含む、
画像検査方法。

【請求項2】

前記第６工程は、前記規格化ヒストグラムの歪度の絶対値である第２評価値を算出する第１２工程と、前記第１評価値と前記第２評価値との差である第３評価値を算出する第１３工程とを含む、
請求項１に記載の画像検査方法。

【請求項3】

前記第３工程は、複数の前記特徴点のそれぞれについて勾配の大きさを算出すると共に、前記勾配の大きさの平均値を算出する第１４工程を含み、
前記第６工程は、前記第３評価値を前記勾配の大きさの平均値で除算した値である第４評価値を算出する第１５工程を含む、
請求項２に記載の画像検査方法。

【請求項4】

前記第３工程は、複数の前記特徴点のそれぞれについて勾配の分散値を算出する第１６工程を含み、
前記第６工程は、前記第４評価値を前記勾配の分散値で乗算した値である第５評価値を算出する第１７工程を含む、
請求項３に記載の画像検査方法。

【請求項5】

撮像画像を取得する取得部と、
前記撮像画像において複数の特徴点を抽出する抽出部と、
複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部と、
前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部と、
前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第２算出部と、
前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部と、
を備え、
前記第１算出部は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第２算出部は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する、
画像検査装置。

【請求項6】

コンピュータを、
撮像画像を取得する取得部、
前記撮像画像において複数の特徴点を抽出する抽出部、
複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部、
前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部、
前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第２算出部、及び、
前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部として機能させ、
前記第１算出部は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第２算出部は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する、
画像検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像検査方法、画像検査装置、及び画像検査プログラムに関する。

【背景技術】

【0002】

ヘリコプタを対象地域の上空で飛行させながら、当該ヘリコプタに搭載されたデジタルカメラによって上空から地上の建物等を連続撮像することにより、航空写真を取得する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−２８９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような航空写真等の撮像画像について、地上の建物等が明瞭に撮像されたかを確認するために、ブレの有無等、撮像画像の状態を検査する必要がある。しかしながら、撮像画像の検査作業は、検査員による目視検査に頼らざるを得ず、検査員によって判定結果が異なったり、ブレのある撮像写真の検出漏れが発生したりするおそれがあった。

【0005】

本発明は、撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明者は、鋭意研究を重ねた結果、撮像画像の特徴点の勾配方向に基づいた評価値を算出することにより、撮像画像の状態を定量的に評価できることを見出した。すなわち、例えば撮像画像の画素の輝度値に着目した場合、ブレのない撮像画像においては、エッジ付近の画素間の輝度値の差が大きく、ブレのある撮像画像においては、エッジ付近の画素間の輝度値の差が小さいという特徴がある。そのため、撮像画像のブレの有無及び程度に応じて、撮像画像ごとに画像勾配の傾向が異なる。

【0007】

さらに、一の特徴点に対して、当該一の特徴点を含む所定の範囲に存在する特徴点の勾配方向の平均値（局所的な勾配方向の特徴量）を算出し、これを繰り返し実施することにより、ブレのある撮像画像における複数の特徴点のそれぞれについて勾配方向の平均値を算出し、勾配方向の平均値の出現数の分布を示すヒストグラムを生成した場合、当該ヒストグラムは、２つの山部を有する特徴がある。さらに、当該ヒストグラムのうち最少の出現数に対応する勾配方向の平均値が原点となるように当該ヒストグラムを並べ替えることにより、並び替え後のヒストグラムの分布は、正規分布に類似した形状の２つの範囲に分けることができる。

【0008】

これに対し、ブレのない撮像画像に基づいて当該ヒストグラムを生成した場合、当該ヒストグラムの分布は一様となる特徴がある。発明者は、撮像画像に基づいて生成された当該ヒストグラムが有する特徴を用いて評価値を算出することにより、撮像画像の状態を定量的に評価することができることを見出した。本発明は、これらの知見に基づいてなされたものである。

【0009】

すなわち、本発明に係る画像検査方法は、撮像画像を取得する第１工程と、撮像画像において複数の特徴点を抽出する第２工程と、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第３工程と、勾配方向平均値の出現数の分布を示すヒストグラムを生成する第４工程と、勾配方向平均値の第１範囲におけるヒストグラムの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムの尖度である第２尖度と、を算出する第５工程と、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第６工程と、を備え、第３工程は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定する第７工程と、所定の範囲に含まれる特徴点の勾配方向平均値を算出する第８工程と、第８工程で算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する第９工程と、を含み、第７工程、第８工程、及び、第９工程を複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第５工程は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する第１０工程と、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第１範囲及び第２範囲に分割する第１１工程と、を含む。

【0010】

また、本発明に係る画像検査装置は、撮像画像を取得する取得部と、撮像画像において複数の特徴点を抽出する抽出部と、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部と、勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部と、勾配方向平均値の第１範囲におけるヒストグラムの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムの尖度である第２尖度と、を算出する第２算出部と、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部と、を備え、第１算出部は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、所定の範囲に含まれる特徴点の勾配方向平均値を算出し、算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する処理を、複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第２算出部は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第１範囲及び第２範囲に分割する。

【0011】

さらに、本発明に係る画像検査プログラムは、コンピュータを、撮像画像を取得する取得部、撮像画像において複数の特徴点を抽出する抽出部、複数の特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部、勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部、勾配方向平均値の第１範囲におけるヒストグラムの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムの尖度である第２尖度と、を算出する第２算出部、及び第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部として機能させ、第１算出部は、一の特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、所定の範囲に含まれる特徴点の勾配方向平均値を算出し、算出した勾配方向平均値を当該一の特徴点の勾配方向平均値として設定する処理を、複数の特徴点に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配方向平均値を算出し、第２算出部は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第１範囲及び第２範囲に分割する。

【0012】

これらの方法、装置、及びプログラムにおいては、一の特徴点を含む所定の範囲に存在する特徴点の勾配方向の平均値である勾配方向平均値を設定する処理が、複数の特徴点に対して繰り返し実施されることにより、複数の特徴点のそれぞれについて、勾配方向平均値が算出される。そして、勾配方向平均値の出現数の分布を示すヒストグラムが生成される。そして、勾配方向平均値の第１範囲におけるヒストグラムの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムの尖度である第２尖度と、が算出され、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値が算出される。ヒストグラムの生成から第１尖度及び第２尖度の算出までの過程には、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムが生成され、規格化ヒストグラムが、二値化処理によって分割されることにより、勾配方向平均値の第１範囲及び第２範囲が定められる。

【0013】

例えば、ブレのある撮像画像を検査する場合、二値化処理によって規格化ヒストグラムを第１範囲と第２範囲とに分割すると、上述したように、第１範囲及び第２範囲のそれぞれが正規分布に類似した形状となる。したがって、ブレのある撮像画像について算出された第１範囲についての第１尖度及び第２範囲についての第２尖度は、ブレのない撮像画像に基づいて算出された第１尖度及び第２尖度と比較して高くなる。その結果、第１尖度及び第２尖度に基づいて算出される第１評価値は、撮像画像のブレの有無及び程度に応じた値となる。これにより、撮像画像の状態を定量的に評価することができる。よって、本発明における画像検査方法、画像検査装置、及び画像検査プログラムによれば、撮像画像の状態を適切に検査することができる。

【0014】

本発明に係る画像検査方法においては、第６工程は、規格化ヒストグラムの歪度の絶対値である第２評価値を算出する第１２工程と、第１評価値と第２評価値との差である第３評価値を算出する第１３工程とを含んでもよい。これにより、規格化ヒストグラムの尖度に加え、規格化ヒストグラムの歪度も用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。

【0015】

本発明に係る画像検査方法においては、第３工程は、複数の特徴点のそれぞれについて勾配の大きさを算出すると共に、勾配の大きさの平均値を算出する第１４工程を含み、第６工程は、第３評価値を勾配の大きさの平均値で除算した値である第４評価値を算出する第１５工程を含んでもよい。これにより、勾配の方向に加え、勾配の大きさも用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。

【0016】

本発明に係る画像検査方法においては、第３工程は、複数の特徴点のそれぞれについて勾配の分散値を算出する第１６工程を含み、第６工程は、第４評価値を勾配の分散値で乗算した値である第５評価値を算出する第１７工程を含んでもよい。これにより、勾配の方向及び勾配の大きさに加え、勾配の分散値も用いて撮像画像の状態を評価するため、撮像画像の状態を高精度に検査することができる。

【発明の効果】

【0017】

本発明によれば、撮像画像の状態を適切に検査することのできる画像検査方法、画像検査装置、及び画像検査プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る画像検査装置の機能ブロック図である。

【図2】図１の画像検査装置に係るコンピュータシステムのハードウェア構成を示す図である。

【図3】図１の画像検査装置の画像検査処理における動作手順を示すフローチャートである。

【図4】図３の画像検査処理を説明するための図である。

【図5】図３の画像検査処理を説明するための図である。

【図6】図３の画像検査処理を説明するための図である。

【図7】図３の画像検査処理を説明するための図である。

【図8】図３の勾配特徴量の算出処理の動作を示すフローチャートである。

【図9】図８の勾配特徴量の算出処理を説明するための図である。

【図10】図３のヒストグラム生成の処理を説明するための図である。

【図11】図３の第１尖度及び第２尖度の算出処理の動作を示すフローチャートである。

【図12】図１１の第１尖度及び第２尖度の算出処理を説明するための図である。

【図13】図１１の第１尖度及び第２尖度の算出処理を説明するための図である。

【図14】図１１の第１尖度及び第２尖度の算出処理を説明するための図である。

【図15】図３の定量値の算出処理の動作を示すフローチャートである。

【図16】本実施形態に係る画像検査プログラムの機能ブロック図である。

【図17】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【図18】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【図19】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【図20】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【図21】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【図22】ブレのない画像とブレのある画像との画像検査の比較例のグラフである。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する部分を省略する。

【0020】

図１は、本実施形態に係る画像検査装置１の機能ブロック図である。図２は、画像検査装置１のハードウェア構成を示すブロック図である。図１，２に示される画像検査装置１は、画像検査装置１とは異なる撮像装置（図示省略）から撮像画像を取得し、当該撮像画像の状態を検査するように構成されている。

【0021】

撮像装置は、撮像機能を有するカメラを内蔵する装置であって、例えば、ヘリコプタ等の航空機（図示省略）に設けられている。当該航空機は、撮像の対象地域の上空を飛行する。本実施形態では、撮像画像は、撮像装置によって上空から対象地域が撮像された画像であって、例えば測量等に用いられる。対象地域の例としては、都市部、山間部等が挙げられる。つまり、本実施形態では、画像検査装置１は、上空から地上が撮像された撮像画像の状態を検査する。ここで、「撮像画像の状態」とは、撮像画像のブレの有無及び程度である。撮像画像のブレが発生する一例としては、上空を飛行する航空機の揺れ等に起因して、撮像装置のカメラのシャッターが開いている間にカメラが動くことによって発生するモーションブラーが挙げられる。

【0022】

画像検査装置１は、物理的には、ＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、データ送受信デバイスである通信モジュール１０４、タッチパネルディスプレイ、液晶ディスプレイ等の出力装置１０５、及び、入力キー、タッチセンサ等の入力デバイスである入力装置１０６等を含むコンピュータシステム（情報処理プロセッサ）として構成されている。図１に示される画像検査装置１の各機能は、図２に示されるＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に、本実施形態に係る画像検査プログラムを読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、出力装置１０５、及び入力装置１０６を動作させるとともに、ＲＡＭ１０２等におけるデータの読み出し及び書き込みを行うことで実現される。

【0023】

画像検査装置１は、機能的な構成要素として、取得部２と、切出部３と、選択部４と、抽出部５と、第１算出部６と、ヒストグラム生成部（生成部）７と、第２算出部８と、第３算出部９と、検査結果生成部１０と、出力部１１と、を含んでいる。各構成要素については、ここでは簡単に説明し、後述する各構成要素の処理で詳細に説明する。

【0024】

取得部２は、撮像装置から撮像画像を取得する。撮像画像は、例えば、航空機による地上の撮像が完了した後に、撮像装置から直接的に又は他の機器を介して取得され、画像検査装置１の記憶装置に格納される。撮像装置は、例えばデジタルカメラであり、撮像画像は複数の画素から構成されるデジタル画像である。

【0025】

切出部３は、取得部２によって取得された撮像画像のうち、予め定められた範囲を切り出す（抜き取る）。以下、切り出された撮像画像の各範囲を、部分画像と称する。本実施形態では、切出部３は、複数の部分画像を切り出す。

【0026】

選択部４は、切出部３によって切り出された複数の部分画像のうち１つを選択する。選択部４は、全ての部分画像が選択されるまで、後述する第３算出部９による定量値の算出の後、部分画像の選択を繰り返す。

【0027】

抽出部５は、取得部２が取得した撮像画像のうち、選択部４が選択した部分画像において、複数の特徴点を抽出する。本実施形態では、抽出部５は、選択部４が選択した部分画像に含まれる全ての特徴点を抽出する（後述する勾配特徴量の算出、ヒストグラムの生成等に影響を及ぼさない範囲で、全ての特徴点を抽出しなくてもよい場合もあり得る）。なお、それぞれの特徴点は、部分画像に含まれる１つの画素である。

【0028】

第１算出部６は、抽出部５によって抽出された複数の特徴点のそれぞれについて、勾配特徴量を算出する。勾配特徴量は、特徴点それぞれにおける、勾配方向の平均値である勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値である。勾配特徴量の算出の概略について説明する。まず、第１算出部６は、一の特徴点に対して、当該一の特徴点を含む所定の範囲（画素で指定される範囲）を設定する。続いて、第１算出部６は、所定の範囲に含まれる特徴点の勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値を算出する。

【0029】

そして、第１算出部６は、算出した勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値を、それぞれ、当該一の特徴点の勾配方向平均値、勾配の大きさの平均値、及び勾配の分散値として設定する（すなわち、当該一の特徴点の固有の値として設定する）。第１算出部６は、以上の一連の処理を、部分画像に含まれる複数の特徴点（本実施形態では、全ての特徴点）に対して繰り返し実施することにより、複数の特徴点のそれぞれについて勾配特徴量（勾配方向平均値等）を算出する。

【0030】

ヒストグラム生成部７は、第１算出部６によって算出された複数の特徴点についての勾配方向平均値に基づいて、勾配方向平均値の出現数の分布を示すヒストグラムを生成する。

【0031】

第２算出部８は、ヒストグラム生成部７によって算出されたヒストグラムに基づいて、第１尖度と、第２尖度と、を算出する。第１尖度及び第２尖度の算出の概略について説明する。まず、第２算出部８は、ヒストグラムのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する。続いて、第２算出部８は、規格化ヒストグラムを、二値化処理によって勾配方向平均値の第１範囲及び第２範囲に分割する。続いて、第２算出部８は、勾配方向平均値の第１範囲におけるヒストグラムの尖度である第１尖度と、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムの尖度である第２尖度と、を算出する。

【0032】

第３算出部９は、第２算出部８によって算出された第１尖度及び第２尖度等に基づいて、撮像画像の状態の評価値となる定量値（第５評価値）を算出する。

【0033】

検査結果生成部１０は、選択部４により全ての部分画像の選択が行われた場合に、第３算出部９により算出された少なくとも一部（一例として全て）の部分画像の定量値に基づいて、当該定量値の平均値を算出したり、当該平均値に基づいて撮像画像の状態（ブレの有無及び程度）の結果を生成したりする。

【0034】

出力部１１は、検査結果生成部１０によって生成された検査結果を出力装置１０５に出力する。なお、出力部１１は、定量値を、出力装置１０５に代えて、外部に出力してもよいし、内部の記憶装置に出力してもよい。

【0035】

次に、画像検査装置１の機能的な構成要素の動作（処理）、及び本実施形態に係る画像検査方法について詳細に説明する。図３は、本実施形態に係る画像検査方法を含む方法のフローチャートである。まず、取得部２により、撮像装置から撮像画像ＣＩ（図４参照）が取得される（ステップＳ１０１：第１工程）。上述した様に、撮像画像ＣＩは複数の画素により構成されるデジタル画像である。

【0036】

続いて、切出部３によって、撮像画像ＣＩのうち、予め定められた範囲が切り出される（ステップＳ１０２）。本実施形態では、図４に示されるように、撮像画像ＣＩのうち、縦及び横の画素数が５１２×５１２の大きさの範囲である部分画像Ｉが、等間隔に、縦方向に３か所、且つ横方向に３か所並ぶように、合計９箇所切り出される。すなわち、本実施形態では、１枚の撮像画像ＣＩから９枚の部分画像Ｉが抽出される。

【0037】

続いて、選択部４によって、９枚の部分画像Ｉのうち１枚が選択される（ステップＳ１０３）。本実施形態では、例えば、９枚の部分画像Ｉのうち、一番上段列の左の部分画像Ｉが最初に選択され、他の部分画像Ｉは、後述するステップＳ１０９の処理の後に順次選択される。図５の（ａ）及び図５の（ｂ）に示される部分画像Ｉ１，Ｉ２はそれぞれ、選択部４によって選択された部分画像Ｉの一例である。部分画像Ｉ１，Ｉ２には、複数の建物の像が含まれている。部分画像Ｉ１は、ブレがない状態、すなわち、被写体である建物の屋根の縁（エッジ）が明瞭に認識することができる状態の画像である。これに対し、部分画像Ｉ２は、ブレがある状態、すなわち、一定の方向にずれて流れたように被写体が写るモーションブラーが発生しており、被写体である建物の屋根の縁（エッジ）が、明瞭に認識することができない状態の画像である。

【0038】

続いて、抽出部５によって、選択された部分画像（撮像画像）Ｉにおいて複数の特徴点が抽出される（ステップＳ１０４：第２工程）。複数の特徴点は、部分画像Ｉを構成する全ての画素を対象とした抽出処理を行うことにより抽出される。より具体的には、図６に示されるように、まず、抽出処理を行う１つの画素（中心画素Ｐｉ）を設定すると共に、この中心画素Ｐｉを中心とする５×５の画素数の抽出範囲Ｂを設定する。そして、中心画素Ｐｉの輝度値と、中心画素Ｐｉを除く抽出範囲Ｂ内の他の画素の輝度値とを比較し、所定の条件が満たされる場合、中心画素Ｐｉが特徴点Ｐとして抽出される。所定の条件とは、当該他の画素の輝度値に対して中心画素Ｐｉの輝度値が最も高い場合である。

【0039】

図６の各画素（各枠内）に記載された数値は、各画素の輝度値を表している。この例では、中心画素Ｐｉの輝度値は、抽出範囲Ｂ内の他の全ての画素の輝度値よりも高い。そのため、中心画素Ｐｉは、抽出部５により、特徴点Ｐとして抽出される。このステップＳ１０４では、以上の処理が、部分画像Ｉを構成する全ての画素が中心画素Ｐｉに設定されるように繰り返し行われる。なお、中心画素Ｐｉが部分画像Ｉの縁部に位置する場合には、抽出範囲Ｂの画素数が５×５等の中心画素Ｐｉに対して対称的な範囲でない場合もあり得る。このように、部分画像Ｉに含まれる複数の特徴点Ｐ（本実施形態では、全ての特徴点Ｐ）が抽出される。図７の（ａ）は、抽出された複数の特徴点Ｐが示された部分画像Ｉ１である。図７の（ｂ）は、抽出された複数の特徴点Ｐが示された部分画像Ｉ２である。なお、図７の（ａ）及び図７の（ｂ）に表された白いドット状の点が、特徴点Ｐである。

【0040】

続いて、第１算出部６により、複数の特徴点Ｐのそれぞれについて、勾配特徴量が算出される（Ｓ１０５：第３工程）。ステップＳ１０５の処理については、図８のフローチャートを参照して詳細に説明する。

【0041】

まず、第１算出部６により、ステップＳ１０４で抽出部５により抽出された複数の特徴点Ｐのうち一の特徴点Ｐ（以下、「選択特徴点」という）が選択される（ステップＳ２０１）。続いて、第１算出部６により、選択特徴点に対して、選択特徴点を中心とした対象範囲（一の特徴点を含む所定の範囲）が設定される（ステップＳ２０２：第７工程）。図９は、選択特徴点を中心とした対象範囲の一例である。本実施形態では、選択特徴点Ｐｓを中心とした範囲として、縦及び横の画素数が２５×２５の大きさの対象範囲Ｔが設定される。

【0042】

続いて、第１算出部６により、対象範囲Ｔに対して微分フィルタを適用することにより、対象範囲Ｔ内の各画素に対して勾配の大きさ及び勾配方向が算出される（ステップＳ２０３：第１４工程 ）。図９では、勾配の大きさがベクトルＶで表されており、勾配方向が破線からベクトルＶまでの角度Ａで表されている。微分フィルタとしては、例えばソーベルフィルタが用いられる。本実施形態では、各画素の勾配の大きさは、下記式（１）が用いられることにより算出された∇Ｉの各成分である。

【0043】

【数1】

【0044】

上記式（１）中、∇Ｉは勾配の大きさの画像（本実施形態では、対象範囲Ｔ）を示し、ｇＨはソーベルフィルタを水平方向に適用した場合の画像（本実施形態では、対象範囲Ｔ）を示し、ｇＶはソーベルフィルタを垂直方向に適用した場合の画像（本実施形態では、対象範囲Ｔ）を示す。なお、∇Ｉの各成分が勾配方向の大きさである。また、以下に説明する各式に共通して用いられる符号は、同一の要素を示すものとし、以下説明を省略する。

【0045】

また、本実施形態では、勾配方向は、下記式（２）が用いられることにより算出された∇θの各成分である。

【0046】

【数2】

【0047】

上記式（２）中、∇θは勾配方向の画像（本実施形態では、対象範囲Ｔ）を示す。なお、勾配方向は、例えば、図９に示される破線に示されるようにある位置を起点とした場合の勾配の角度である。また、∇θの各成分が勾配方向である。

【0048】

続いて、第１算出部６により、勾配方向平均値が算出されるとともに（ステップＳ２０４：第３工程及び第８工程）、勾配の大きさの平均値が算出され（ステップＳ２０４：第１４工程）、勾配方向の分散値が算出される（ステップＳ２０４：第１６工程）。勾配方向平均値は、ステップＳ２０３で算出された勾配方向のうち対象範囲内の全ての特徴点Ｐの勾配方向の平均値である。勾配方向の大きさの平均値は、ステップＳ２０３で算出された勾配の大きさのうち対象範囲に含まれる全ての特徴点Ｐの勾配の大きさの平均値である。

【0049】

本実施形態では、勾配方向の分散値は、下記式（３）が用いられることにより算出される。

【0050】

【数3】

【0051】

上記式（３）中、ｐは対象範囲を示し、σ_θ^２（ｐ）は勾配方向の分散値を示し、ｃ_θ（ｐ）^２は勾配方向のｃｏｓ成分の平均値を示し、ｓ_θ（ｐ）^２は勾配方向のｓｉｎ成分の平均値を示し、Ｎ_ｗ（ｐ）は対象範囲内に含まれる全ての特徴点を示す。

【0052】

勾配方向のｃｏｓ成分の平均値であるｃ_θ（ｐ）^２及び勾配方向のｓｉｎ成分の平均値であるｓ_θ（ｐ）^２は、下記式（４）及び式（５）が用いられることにより算出される。

【0053】

【数4】

【0054】

【数5】

【0055】

上記式（４）及び式（５）中、ｑは対象範囲内の一の特徴点を示す。

【0056】

続いて、第１算出部６により、ステップＳ２０４で算出された勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値が、選択特徴点Ｐｓの勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値として設定される（ステップＳ２０５：第９工程）。

【0057】

続いて、第１算出部６により、部分画像Ｉに含まれる全ての特徴点Ｐに対してステップＳ２０１〜Ｓ２０５の処理が実施されたか否かが判定される（ステップＳ２０６）。部分画像Ｉに含まれる全ての特徴点Ｐに対してステップＳ２０１〜Ｓ２０５の処理が実施された場合（ステップＳ２０６：ＹＥＳ）、ステップＳ１０５の処理が終了される。一方、部分画像Ｉに含まれる全ての特徴点Ｐに対してステップＳ２０１〜Ｓ２０５の処理が実施されていない場合（ステップＳ２０６：ＮＯ）、第１算出部６により、ステップＳ２０１に処理が戻り、新たな特徴点Ｐが選択される。つまり、ステップＳ２０２（第７工程）、ステップＳ２０３，ステップＳ２０４（第８工程）、及びステップＳ２０５（第９工程）の処理が、部分画像Ｉに含まれる全ての特徴点Ｐ（複数の特徴点Ｐ）に対して繰り返し実施されることにより、部分画像Ｉに含まれる全ての特徴点Ｐのそれぞれについて、勾配特徴量（勾配方向平均値、勾配の大きさの平均値、及び勾配方向の分散値）が設定される。

【0058】

図３に示される画像検査処理のフローチャートの説明に戻る。続く工程では、ヒストグラム生成部７により、勾配方向平均値の出現数の分布を示すヒストグラムが生成される（ステップＳ１０６：第４工程）。当該ヒストグラムは、ステップＳ１０３で選択された部分画像Ｉに含まれる特徴点Ｐの勾配方向平均値に基づいて生成される。勾配方向平均値は、ステップＳ１０５で算出されたものである。図１０の（ａ）及び図１０の（ｂ）に示されるように、ヒストグラムＨの横軸は、勾配方向平均値を示し、ヒストグラムＨの縦軸は、勾配方向平均値の出現数を示している。

【0059】

図１０の（ａ）に示されるヒストグラムＨ１は、部分画像Ｉ１（すなわち、ブレがない状態の画像）に基づいて生成されたヒストグラムＨの一例である。図１０の（ｂ）に示されるヒストグラムＨ２は、部分画像Ｉ２（すなわち、ブレがある状態の画像）に基づいて生成されたヒストグラムＨの一例である。ヒストグラムＨ１の分布は、偏りが少なく略一様である。これに対し、ヒストグラムＨ２の分布は、２つの山部を有している。換言すれば、ヒストグラムＨ２では、勾配方向平均値の分布に偏りが発生している。これは、ブレがある状態の部分画像Ｉ２においては、エッジ付近の画素間の輝度値の差が小さいことに起因する。

【0060】

続いて、第２算出部８により、第１尖度と、第２尖度と、が算出される（ステップＳ１０７：第５工程）。第１尖度は、勾配方向平均値の第１範囲におけるヒストグラムＨの尖度である。第２尖度は、第１範囲と異なる勾配方向平均値の第２範囲におけるヒストグラムＨの尖度である。ステップＳ１０７の処理については、図１１のフローチャートを参照して詳細に説明する。

【0061】

まず、第２算出部８により、ヒストグラムＨのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムＨが並べ替えられることにより、規格化ヒストグラムが生成される（ステップＳ３０１：第１０工程）。続いて、第２算出部８により、規格化ヒストグラムが、二値化処理によって勾配方向平均値の第１範囲及び第２範囲に分割される（ステップＳ３０２：第１１工程）。本実施形態では、二値化処理として、大津の二値化が用いられる。具体的には、第２算出部８により、規格化ヒストグラムに対して大津の二値化の処理が実施されることにより、しきい値が算出され、０°から当該しきい値までの範囲が第１範囲とされ、当該しきい値から３６０°までの範囲が第２範囲とされる。これにより、規格化ヒストグラムが第１範囲と第２範囲とに分割される。

【0062】

続いて、上述したように、第２算出部８により、第１尖度と、第２尖度と、が算出される（ステップＳ３０３（Ｓ１０７））。本実施形態では、第１尖度及び第２尖度は、下記式（６）が用いられることにより算出される。

【0063】

【数6】

【0064】

上記式（６）中、α_４は尖度を示し，Ｘは各勾配方向平均値（本実施形態では、０°〜３６０°の範囲の値であって、１０°間隔の値）を示し、μは確率分布（勾配方向平均値の分布）の平均値を示し、σ^２は確率分布（勾配方向平均値の分布）の分散値を示す。第１尖度は、規格化ヒストグラムのうち第１範囲におけるヒストグラムに対して上記式（６）が用いられることにより算出される。同様に、第２尖度は、規格化ヒストグラムのうち第２範囲におけるヒストグラムに対して上記式（６）が用いられることにより算出される。

【0065】

図１２の（ａ）に示される規格化ヒストグラムＳ１は、ヒストグラムＨ１に基づいて生成された規格化ヒストグラムＳの一例である。具体的には、規格化ヒストグラムＳ１は、ヒストグラムＨ１のうち最小の出現数に対応する３３０°〜３４０°の勾配方向平均値Ｘ１（図１０の（ａ）参照）が原点となるように、ヒストグラムＨ１が並べ替えられることにより生成される。図１２の（ａ）に示されるしきい値Ｔ１は、二値化処理（大津の二値化の処理）によって算出されたしきい値であって、１８０°である。したがって、図１２の（ａ）に示される例では、第１範囲Ｗ１は、０°〜１８０°の範囲であって、第２範囲Ｗ２は、１８０°〜３６０°の範囲である。

【0066】

図１２の（ｂ）に示される規格化ヒストグラムＳ２は、ヒストグラムＨ２に基づいて生成された規格化ヒストグラムＳの一例である。具体的には、規格化ヒストグラムＳ２は、ヒストグラムＨ２のうち最小の出現数に対応する１２０°〜１３０°の勾配方向平均値Ｘ２（図１０の（ｂ）参照）が原点となるように、ヒストグラムＨ２が並べ替えられることにより生成される。図１２の（ｂ）に示されるしきい値Ｔ２は、二値化処理（大津の二値化の処理）によって算出されたしきい値であって、１６０°である。したがって、図１２の（ｂ）に示される例では、第１範囲Ｗ１は、０°〜１６０°の範囲であって、第２範囲Ｗ２は、１６０°〜３６０°の範囲である。規格化ヒストグラムＳ１の分布は、偏りが少なく略一様であるのに対し、規格化ヒストグラムＳ２の分布は、しきい値Ｔ２を境界として、正規分布に類似した形状の２つの範囲（すなわち、第１範囲Ｗ１及び第２範囲Ｗ２）に分かれている。

【0067】

ここで、部分画像Ｉ１に基づいた第１尖度は、図１３の（ａ）に示されるように、規格化ヒストグラムＳ１のうち第１範囲Ｗ１における部分ヒストグラム（ヒストグラム）Ｓ１１に対して上記式（６）を用いることにより算出される。部分画像Ｉ２に基づいた第１尖度は、図１３の（ｂ）に示されるように、規格化ヒストグラムＳ２のうち第１範囲Ｗ１における部分ヒストグラム（ヒストグラム）Ｓ２１に対して上記式（６）を用いることにより算出される。

【0068】

この例における部分ヒストグラムＳ１１の第１尖度は、−１．１６である。一方、この例における部分ヒストグラムＳ２１の第１尖度は、−０．３７である。つまり、ブレのない状態の部分画像Ｉ１に基づいて算出された第１尖度よりも、ブレのある状態の部分画像Ｉ２に基づいて算出された第１尖度の方がゼロに近い。換言すれば、ブレのない状態の部分画像Ｉ１に基づいて生成された第１範囲Ｗ１における部分ヒストグラムＳ１１よりも、ブレのある状態の部分画像Ｉ２に基づいて生成された第１範囲Ｗ１における部分ヒストグラムＳ２１の方が、正規分布に近い形で分布している。

【0069】

また、部分画像Ｉ１に基づいた第２尖度は、図１４の（ａ）に示されるように、規格化ヒストグラムＳ１のうち第２範囲Ｗ２における部分ヒストグラム（ヒストグラム）Ｓ１２に対して上記式（６）を用いることにより算出される。部分画像Ｉ２に基づいた第２尖度は、図１４の（ｂ）に示されるように、規格化ヒストグラムＳ２のうち第２範囲Ｗ２における部分ヒストグラム（ヒストグラム）Ｓ２２に対して上記式（６）を用いることにより算出される。

【0070】

この例における部分ヒストグラムＳ１２の第２尖度は、−１．１７である。一方、この例における部分ヒストグラムＳ２２の第２尖度は、−０．５３である。つまり、上述した第１尖度と同様に、ブレのない状態の部分画像Ｉ１に基づいて算出された第２尖度よりも、ブレのある状態の部分画像Ｉ２に基づいて算出された第２尖度の方がゼロに近い。換言すれば、ブレのない状態の部分画像Ｉ１に基づいて生成された第２範囲Ｗ２における部分ヒストグラムＳ１２よりも、ブレのある状態の部分画像Ｉ２に基づいて生成された第２範囲Ｗ２における部分ヒストグラムＳ２２の方が、正規分布に近い形で分布している。

【0071】

図３に示される画像検査処理のフローチャートの説明に戻る。続く工程では、第３算出部９により、ステップＳ１０７で算出された第１尖度及び第２尖度等に基づいて、定量値（第５評価値）が算出される（ステップＳ１０８）。ステップＳ１０８の処理については、図１５のフローチャートを参照して詳細に説明する。

【0072】

まず、第３算出部９により、第１評価値が算出される（ステップＳ４０１：第６工程）。第１評価値は、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である。ここでは、第１尖度及び第２尖度は、計算の効率化のため、規格化ヒストグラムＳが一様分布であった場合の尖度で減算された値である。ただし、第１尖度及び第２尖度は、規格化ヒストグラムＳが一様分布であった場合の尖度で減算されていない値であってもよい。
続いて、第３算出部９により、第２評価値が算出される（ステップＳ４０２：第１２工程）。第２評価値は、規格化ヒストグラムＳの歪度の絶対値である。

【0073】

本実施形態では、規格化ヒストグラムＳの歪度は、下記式（７）が用いられることにより算出される。

【0074】

【数7】

【0075】

上記式（７）中、α_３は歪度を示す。なお、規格化ヒストグラムＳの歪度は、第１尖度及び第２尖度とは異なり、規格化ヒストグラムＳ全体に対して算出される。

【0076】

ここで、図１２の（ａ）に示される規格化ヒストグラムＳ１に基づいた歪度は、−０．０２である。一方、図１２の（ｂ）に示される規格化ヒストグラムＳ２に基づいた歪度は、０．２１である。つまり、ブレのない状態の部分画像Ｉ１に基づいて算出された歪度よりも、ブレのある状態の部分画像Ｉ２に基づいて算出された歪度の方が大きい。換言すれば、ブレのない状態の部分画像Ｉ１に基づいて生成された規格化ヒストグラムＳ１よりも、ブレのある状態の部分画像Ｉ２に基づいて生成された規格化ヒストグラムＳ２の方が、分布に偏りがある。

【0077】

続いて、第３算出部９により、第３評価値が算出される（ステップＳ４０３：第１３工程）。第３評価値は、ステップＳ４０１で算出された第１評価値と、ステップＳ４０２で算出された第２評価値との差である。続いて、第３算出部９により、第４評価値が算出される（ステップＳ４０４：第１５工程）。第４評価値は、ステップＳ１０５で算出された勾配の大きさの平均値で、ステップＳ４０３で算出された第３評価値を除算した値である。続いて、第３算出部９により、定量値（第５評価値）が算出される（ステップＳ４０５：第１７工程）。定量値は、ステップＳ１０５で算出された勾配の分散値で、ステップＳ４０４で算出された第４評価値を乗算した値である。

【0078】

図３に示される画像検査処理のフローチャートの説明に戻る。続く工程では、選択部４により、撮像画像ＣＩのうち、全ての部分画像Ｉが選択されたか否かが判定される（ステップＳ１０９）。図４に示される例では、９枚の部分画像Ｉの全てが選択されたか否かが判定される。選択部４により、全ての部分画像Ｉが選択されていないと判定された場合（ステップＳ１０９：ＮＯ）、ステップＳ１０３に処理が戻される。

【0079】

一方、選択部４により、全ての部分画像Ｉが選択されたと判定された場合（ステップＳ１０９：ＹＥＳ）、検査結果生成部１０により、全ての部分画像Ｉの定量値に基づいた検査結果が生成される（ステップＳ１１０）。検査結果は、例えば、全ての部分画像Ｉの定量値の平均値である。ただし、検査結果は、これに限定されるものではなく、例えば、一部の部分画像Ｉの平均値であってもよい。一例として、検査結果は、全ての部分画像Ｉのうち最大の定量値を有する部分画像Ｉ及び最小の定量値を有する部分画像Ｉを除いた部分画像Ｉの平均値であってもよい。また、検査結果は、例えば、全ての部分画像Ｉの定量値の平均値と、予め定められたしきい値とを比較し、当該平均値がしきい値よりも高い場合に、撮像画像ＣＩにブレがあると判定するようにしてもよい。続いて、出力部１１により、ステップＳ１１０で生成された検査結果が出力装置１０５に出力される（ステップＳ１１１）。以上により、画像検査処理の動作が終了される。

【0080】

次に、図１６を参照して、コンピュータを画像検査装置１として機能させるための画像検査プログラムを説明する。

【0081】

画像検査プログラムＰＲ１は、メインモジュールＰＲ１１と、取得モジュールＰＲ１２と、切出モジュールＰＲ１３と、選択モジュールＰＲ１４と、抽出モジュールＰＲ１５と、第１算出モジュールＰＲ１６と、ヒストグラム生成モジュールＰＲ１７と、第２算出モジュールＰＲ１８と、第３算出モジュールＰＲ１９と、検査結果生成モジュールＰＲ２０と、出力モジュールＰＲ２１と、を含んでいる。

【0082】

メインモジュールＰＲ１１は、画像検査装置１の動作を統括的に制御する部分である。メインモジュールＰＲ１１、取得モジュールＰＲ１２、切出モジュールＰＲ１３、選択モジュールＰＲ１４、抽出モジュールＰＲ１５、第１算出モジュールＰＲ１６、ヒストグラム生成モジュールＰＲ１７、第２算出モジュールＰＲ１８、第３算出モジュールＰＲ１９、検査結果生成モジュールＰＲ２０、及び出力モジュールＰＲ２１を実行することにより実現される機能は、それぞれ、取得部２、切出部３、選択部４、抽出部５、第１算出部６、ヒストグラム生成部７、第２算出部８、第３算出部９、検査結果生成部１０、及び出力部１１の機能と同様である。

【0083】

画像検査プログラムＰＲ１は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ若しくはＲＯＭ等のコンピュータが読み取り可能な記憶媒体又は半導体メモリによって提供される。また、画像検査プログラムＰＲ１は、搬送波に重畳されたコンピュータデータ信号として、ネットワークを介して提供されてもよい。

【0084】

以上説明したように、本実施形態に係る画像検査方法、画像検査装置１、及び画像検査プログラムＰＲ１においては、選択特徴点Ｐｓを含む対象範囲Ｔに存在する特徴点Ｐの勾配方向の平均値である勾配方向平均値を設定する処理が、対象範囲Ｔに含まれる全ての特徴点Ｐに対して繰り返し実施されることにより、全ての特徴点Ｐのそれぞれについて、勾配方向平均値が算出される。また、勾配方向平均値の出現数の分布を示すヒストグラムＨが生成される。さらに、勾配方向平均値の第１範囲Ｗ１におけるヒストグラムＨ（より詳細には、ヒストグラムＨが並び替えられた規格化ヒストグラムＳ）の尖度である第１尖度と、第１範囲Ｗ１と異なる勾配方向平均値の第２範囲Ｗ２におけるヒストグラムＨ（より詳細には、ヒストグラムＨが並び替えられた規格化ヒストグラムＳ）の尖度である第２尖度と、が算出される。また、第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値である第１評価値が算出され、第１評価値に基づいた更なる第２評価値〜第４評価値の算出を経て、定量値が算出される。ヒストグラムＨの生成から第１尖度及び第２尖度の算出までの過程では、ヒストグラムＨのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムＨを並べ替えることにより、規格化ヒストグラムＳが生成される。そして、規格化ヒストグラムＳが、二値化処理によって分割されることにより、勾配方向平均値の第１範囲Ｗ１及び第２範囲Ｗ２が定められる。

【0085】

例えば、ブレのある部分画像Ｉ２（図５の（ｂ）参照）を検査する場合、二値化処理によって規格化ヒストグラムＳを第１範囲Ｗ１と第２範囲Ｗ２とに分割すると、第１範囲Ｗ１及び第２範囲Ｗ２のそれぞれが正規分布に類似した形状となる（図１２の（ｂ）参照）。したがって、ブレのある部分画像Ｉ２について算出された第１範囲Ｗ１についての第１尖度及び第２範囲Ｗ２についての第２尖度は、ブレのない部分画像Ｉ１に基づいて算出された第１尖度及び第２尖度と比較して高くなる。その結果、第１尖度及び第２尖度に基づいて算出される定量値は、部分画像Ｉのブレの有無及び程度に応じた値となる。これにより、撮像画像ＣＩの状態（撮像画像ＣＩのブレの有無及び程度）を定量的に評価することができる。よって、本実施形態に係る画像検査方法、画像検査装置１及び画像検査プログラムＰＲ１によれば、撮像画像ＣＩの状態を適切に検査することができる。

【0086】

上述した効果は、例えば、画像の画素数及び撮像枚数の増加の傾向にある空中写真測量の分野において、特に有用である。これは、近年の空中写真測量の分野において、航空機に搭載されるカメラの高性能化、及び撮像対象地域の拡大化の背景による。すなわち、空中写真測量のために、画素数が非常に多い撮像画像ＣＩを大量に画像検査しなければならない場合であっても、本実施形態に係る画像検査方法、画像検査装置１及び画像検査プログラムＰＲ１によれば、撮像画像ＣＩの輝度値に基づいて撮像画像ＣＩの状態の評価値（定量値）を定量的に求めることができるため、画像検査処理の速度を向上させるとともに、撮像画像ＣＩの状態を精度良く検査することができる。

【0087】

また、本実施形態に係る画像検査方法においては、ヒストグラムＨのうち最少の出現数に対応する勾配方向平均値が原点となるようにヒストグラムＨが並べ替えられることにより、規格化ヒストグラムＳが生成され、規格化ヒストグラムＳに対して二値化処理が実施される。これにより、ヒストグラムＨの分布の態様にかかわらず、ヒストグラムＨを第１範囲Ｗ１と第２範囲Ｗ２とに適切に分割することができる。

【0088】

本実施形態に係る画像検査方法においては、切出部３によって、撮像画像ＣＩのうち、予め定められた複数の範囲が等間隔に切り出される（ステップＳ１０２参照）。これにより、撮像画像ＣＩのうち画像検査処理を実施する範囲を限定しつつ、撮像画像ＣＩに含まれる建物、山間部等の様々な対象物が検査対象とすることができるため、画像検査処理の精度を保ちつつ、画像検査処理の処理速度の更なる向上を図ることができる。

【0089】

本実施形態に係る画像検査方法においては、ステップＳ１０８は、規格化ヒストグラムＳの歪度の絶対値である第２評価値を算出する工程（ステップＳ４０２）と、第１評価値と第２評価値との差である第３評価値を算出する工程（ステップＳ４０３）とを含んでいる。これにより、規格化ヒストグラムＳの尖度に加え、規格化ヒストグラムＳの歪度も用いて撮像画像ＣＩの状態を評価するため、撮像画像ＣＩの状態を高精度に検査することができる。

【0090】

本実施形態に係る画像検査方法においては、ステップＳ１０５は、部分画像Ｉに含まれる全ての特徴点Ｐのそれぞれについて勾配の大きさを算出すると共に、勾配の大きさの平均値を算出する工程（ステップＳ２０３，Ｓ２０４）を含んでいる。また、ステップＳ１０８は、第３評価値を勾配の大きさの平均値で除算した値である第４評価値を算出する工程（ステップＳ４０４）を含んでいる。これにより、勾配の方向に加え、勾配の大きさも用いて撮像画像ＣＩの状態を評価するため、撮像画像ＣＩの状態を高精度に検査することができる。

【0091】

上述した効果について補足する。ブレのある撮像画像ＣＩは、一定の方向にずれて流れたように被写体が写っていることから、ブレのない撮像画像ＣＩと比較して、勾配の大きさが小さい傾向にある。本実施形態に係る画像検査方法においては、勾配の大きさの平均値が用いられることにより第４評価値が算出されるため、撮像画像ＣＩの状態をより高精度に検査することができる。

【0092】

本実施形態に係る画像検査方法においては、ステップＳ１０５は、複数の特徴点Ｐのそれぞれについて勾配の分散値を算出する工程（ステップＳ２０４）を含んでいる。また、ステップＳ１０８は、第４評価値を勾配の分散値で乗算した値である第５評価値を算出する工程（ステップＳ４０５）を含んでいる。これにより、勾配の方向及び勾配の大きさに加え、勾配の分散値も用いて撮像画像ＣＩの状態を評価するため、撮像画像ＣＩの状態を高精度に検査することができる。

【0093】

上述した効果について補足する。ブレのある撮像画像ＣＩは、一定の方向にずれて流れたように被写体が写っていることから、勾配の大きさと同様に、ブレのない撮像画像ＣＩと比較して、勾配の分散値が小さい傾向にある。本実施形態に係る画像検査方法においては、勾配の大きさが用いられることにより算出された第４評価値に対して、更に勾配の分散値が用いられることにより定量値が算出されるため、撮像画像ＣＩの状態をより高精度に検査することができる。

【0094】

ここで、図１７〜図２２に示されるグラフを用いて、第１評価値〜第５評価値の算出について説明する。図１７〜図２２に示されるグラフは、ブレのない部分画像Ｉ１及びブレのある部分画像Ｉ２を５枚ずつ本実施形態に係る画像検査方法で検査した結果を示している。図１７に示されるグラフは、ステップＳ４０１の処理（図１５参照）により算出された第１尖度と第２尖度との和と、勾配の大きさの平均値との関係が示されたグラフである。図１８に示されるグラフは、ステップＳ４０１の処理（図１５参照）により算出された第１尖度と第２尖度との差の絶対値と、勾配の大きさの平均値との関係が示されたグラフである。

【0095】

図１９に示されるグラフは、ステップＳ４０１の処理（図１５参照）により算出された第１評価値（第１尖度と第２尖度との和と、第１尖度と第２尖度との差の絶対値と、の差の絶対値）と、勾配の大きさの平均値との関係が示されたグラフである。図１７及び図１８を参照すると、図１７の横軸に示された値（第１尖度と第２尖度との和）及び図１８のグラフの横軸に示された値（第１尖度と第２尖度との差の絶対値）では、ブレのない部分画像Ｉ１とブレのある部分画像Ｉ２との差別化が困難である。一方、図１９を参照すると、ブレのない部分画像Ｉ１の第１評価値と比較して、ブレのある部分画像Ｉ２の第１評価値が高く、当該第１評価値がブレの有無及び程度の評価に有効であることがわかる。

【0096】

図２０に示されるグラフは、ステップＳ４０３の処理（図１５参照）により算出された第３評価値（第１評価値と、第２評価値との差）と、勾配の大きさの平均値との関係が示されたグラフである。図２０を参照すると、図１９と同様に、ブレのない部分画像Ｉ１の第３評価値と比較して、ブレのある部分画像Ｉ２の第３評価値が高く、当該第３評価値がブレの有無及び程度の評価に有効であることがわかる。

【0097】

図２１に示されるグラフは、ステップＳ４０４の処理（図１５参照）により算出された第４評価値（勾配の大きさの平均値で、第３評価値を除算した値）と、勾配の大きさの平均値との関係が示されたグラフである。図２１を参照すると、図１９及び図２０と同様に、ブレのない部分画像Ｉ１の第４評価値と比較して、ブレのある部分画像Ｉ２の第４評価値が高く、当該第４評価値がブレの有無及び程度の評価に有効であることがわかる。

【0098】

図２２に示されるグラフは、ステップＳ４０５の処理（図１５参照）により算出された定量値（勾配の分散値で、第４評価値を乗算した値（第５評価値））と、勾配の大きさの平均値との関係が示されたグラフである。図２２を参照すると、図１９〜図２１と同様に、ブレのない部分画像Ｉ１の定量値と比較して、ブレのある部分画像Ｉ２の定量値が高く、当該定量値がブレの有無及び程度の評価に有効であることがわかる。以上のように、本実施形態に係る画像検査方法によれば、撮像画像（本実施形態では、部分画像Ｉ）の状態の評価値である定量値を算出することにより、撮像画像の状態を定量的に評価することができるといえる。

【0099】

以上の実施形態は、本発明の一形態を説明したものである。したがって、本発明は上述した形態に限定されることなく、任意に変更され得る。

【0100】

例えば、上述した実施形態の画像検査処理では、第１評価値から第４評価値までの算出を経て、定量値が更に算出され、定量値に基づいて検査結果が生成された。しかし、画像検査処理では、例えば、第１評価値を撮像画像ＣＩの評価値としてもよい。これによっても、図１９に参照されるように、第１尖度及び第２尖度に基づいて算出される第１評価値が、撮像画像ＣＩのブレの有無及び程度に応じた値となるため、撮像画像ＣＩの状態を定量的に評価することができる。また、画像検査処理では、図２０に参照されるように第３評価値を撮像画像ＣＩの評価値としてもよく、また、図２１に参照されるように第４評価値を撮像画像ＣＩの評価値としてもよい。

【0101】

上述した実施形態では、抽出範囲Ｂ内の画素の輝度値に基づいて特徴点Ｐを抽出する抽出処理を例示した。しかし、特徴点Ｐの抽出処理は、上述した実施形態に限定されるものではない。一例として、特徴点Ｐは、輝度値以外の画素値に基づいて抽出されてもよい。例えば、特徴点Ｐは、画素の明度に基づいて抽出されてもよい。

【0102】

上述した実施形態の画像検査処理では、１枚の撮像画像ＣＩから９枚の部分画像Ｉが切り出されたが、切り出される範囲及び切り出される箇所については、いずれも本実施形態の態様に限定されるものではない。また、画像検査処理では、撮像画像ＣＩから部分画像Ｉを切り出す処理を実施せず、撮像画像ＣＩ全体に対して特徴点Ｐを抽出してもよい。また、画像検査処理では、部分画像Ｉ内の各画素に対して勾配の大きさ及び勾配方向を算出してから、選択特徴点Ｐｓを中心とした対象範囲Ｔに対して勾配の大きさ及び勾配方向を抽出するようにしてもよい。

【符号の説明】

【0103】

１…画像検査装置、２…取得部、５…抽出部、６…第１算出部、７…ヒストグラム生成部（生成部）、８…第２算出部、９…第３算出部、ＣＩ…撮像画像、Ｈ，Ｈ１，Ｈ２…ヒストグラム、Ｉ，Ｉ１，Ｉ２…部分画像（撮像画像）、Ｐ…特徴点、ＰＲ１…画像検査プログラム、ＰＲ１２…取得モジュール、ＰＲ１５…抽出モジュール、ＰＲ１６…第１算出モジュール、ＰＲ１７…ヒストグラム生成モジュール、ＰＲ１８…第２算出モジュール、ＰＲ１９…第３算出モジュール、Ｓ，Ｓ１，Ｓ２…規格化ヒストグラム、Ｓ１１，Ｓ１２，Ｓ２１，Ｓ２２…部分ヒストグラム（ヒストグラム）、Ｔ…対象範囲（所定の範囲）、Ｗ１…第１範囲、Ｗ２…第２範囲、Ｘ１，Ｘ２…勾配方向平均値。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【手続補正書】

【提出日】2020年4月10日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

取得部と、抽出部と、第１算出部と、生成部と、第２算出部と、第３算出部と、を備える画像検査装置による画像検査方法であって、
前記取得部によって、撮像画像を取得する第１工程と、
前記抽出部によって、前記撮像画像において複数の特徴点を抽出する第２工程と、
前記第１算出部によって、複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第３工程と、
前記生成部によって、前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する第４工程と、
前記第２算出部によって、前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第５工程と、
前記第３算出部によって、前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第６工程と、
を備え、
前記第３工程は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定する第７工程と、
前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出する第８工程と、
前記第８工程で算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する第９工程と、
を含み、前記第７工程、前記第８工程、及び、前記第９工程を複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第５工程は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成する第１０工程と、
前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する第１１工程と、
を含む、
画像検査方法。

【請求項2】

前記第６工程は、前記規格化ヒストグラムの歪度の絶対値である第２評価値を算出する第１２工程と、前記第１評価値と前記第２評価値との差である第３評価値を算出する第１３工程とを含む、
請求項１に記載の画像検査方法。

【請求項3】

前記第３工程は、複数の前記特徴点のそれぞれについて勾配の大きさを算出すると共に、前記勾配の大きさの平均値を算出する第１４工程を含み、
前記第６工程は、前記第３評価値を前記勾配の大きさの平均値で除算した値である第４評価値を算出する第１５工程を含む、
請求項２に記載の画像検査方法。

【請求項4】

前記第３工程は、複数の前記特徴点のそれぞれについて勾配の分散値を算出する第１６工程を含み、
前記第６工程は、前記第４評価値を前記勾配の分散値で乗算した値である第５評価値を算出する第１７工程を含む、
請求項３に記載の画像検査方法。

【請求項5】

撮像画像を取得する取得部と、
前記撮像画像において複数の特徴点を抽出する抽出部と、
複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部と、
前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部と、
前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第２算出部と、
前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部と、
を備え、
前記第１算出部は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第２算出部は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する、
画像検査装置。

【請求項6】

コンピュータを、
撮像画像を取得する取得部、
前記撮像画像において複数の特徴点を抽出する抽出部、
複数の前記特徴点のそれぞれについて、勾配方向の平均値である勾配方向平均値を算出する第１算出部、
前記勾配方向平均値の出現数の分布を示すヒストグラムを生成する生成部、
前記勾配方向平均値の第１範囲における前記ヒストグラムの尖度である第１尖度と、前記第１範囲と異なる前記勾配方向平均値の第２範囲における前記ヒストグラムの尖度である第２尖度と、を算出する第２算出部、及び、
前記第１尖度と前記第２尖度との和と、前記第１尖度と前記第２尖度との差の絶対値と、の差の絶対値である第１評価値を算出する第３算出部として機能させ、
前記第１算出部は、
一の前記特徴点に対して、当該一の特徴点を含む所定の範囲を設定し、前記所定の範囲に含まれる前記特徴点の前記勾配方向平均値を算出し、算出した前記勾配方向平均値を当該一の特徴点の前記勾配方向平均値として設定する処理を、複数の前記特徴点に対して繰り返し実施することにより、複数の前記特徴点のそれぞれについて前記勾配方向平均値を算出し、
前記第２算出部は、
前記ヒストグラムのうち最少の前記出現数に対応する前記勾配方向平均値が原点となるように前記ヒストグラムを並べ替えることにより、規格化ヒストグラムを生成し、前記規格化ヒストグラムを、二値化処理によって前記勾配方向平均値の前記第１範囲及び前記第２範囲に分割する、
画像検査プログラム。