(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】画像処理システム、及び画像処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231219BHJP
【FI】
G06T7/00 350D
G06T7/00 350B
(21)【出願番号】P 2020052175
(22)【出願日】2020-03-24
【審査請求日】2023-02-15
(73)【特許権者】
【識別番号】000003768
【氏名又は名称】東洋製罐グループホールディングス株式会社
(74)【代理人】
【識別番号】100154184
【氏名又は名称】生富 成一
(72)【発明者】
【氏名】柏原 賢
(72)【発明者】
【氏名】高橋 直己
(72)【発明者】
【氏名】中村 圭亨
(72)【発明者】
【氏名】原 萌子
【審査官】片岡 利延
(56)【参考文献】
【文献】特開2020-107008(JP,A)
【文献】特開2017-010475(JP,A)
【文献】特開2009-175925(JP,A)
【文献】特開2008-090792(JP,A)
【文献】特許第6646234(JP,B2)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、
複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部と、
複数の学習用画像を記憶する画像記憶部と、
前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部と、
前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部と、
前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部と、
前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部と、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部と、を備える
ことを特徴とする画像処理システム。
【請求項2】
前記特異点探索用領域と前記分類用領域とが、同一の個体情報において連続的に含まれ、又は、別個の個体情報に含まれたことを特徴とする請求項1記載の画像処理システム。
【請求項3】
前記分類部が、前記特異点探索結果における特異点の特徴量を計算する特徴量計算部と、前記特異点の特徴量にもとづき前記特異点を分類する前記分類器の機械学習を行う分類器学習部を有する
ことを特徴とする請求項1又は2記載の画像処理システム。
【請求項4】
前記分類用領域が、サポートベクターマシン(Support Vector Machine)、ニューラルネットワーク、ランダムフォレスト、若しくはスパースモデリングからなる群から選択されたいずれかの教師あり学習を行う分類器、又は、マハラノビスタグチ法、ワンクラスサポートベクターマシン(One Class Support Vector Machine)、オートエンコーダ、混合ガウス法、若しくはk-means法からなる群から選択されたいずれかの教師なし学習を行う分類器を含む
ことを特徴とする請求項1~3のいずれかに記載の画像処理システム。
【請求項5】
前記分類用領域が、前記教師なし学習を行う分類器を含み、
前記画像記憶部が、複数の検証用画像をさらに記憶し、
前記特異点探索部が、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記検証用画像を処理して、特異点探索結果を生成し、
前記分類部が、前記特異点探索結果における特異点の特徴量を計算し、前記特異点の特徴量にもとづいて、前記学習済み分類器を用いて前記検証用画像における前記特異点を分類する
ことを特徴とする請求項
4記載の画像処理システム。
【請求項6】
前記特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割する特異点分割部をさらに備え、
前記分類部が、前記個体情報における前記分類用領域の機能単位にもとづき前記学習用特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記個体情報における前記分類用領域の機能単位にもとづき前記検証用特異点探索結果を処理すると共に、前記学習済み分類器を用いて前記検証用画像における特異点を分類する分類結果を生成する
ことを特徴とする請求項5記載の画像処理システム。
【請求項7】
前記分類結果と比較するための前記学習用画像に対応付けられた比較情報を記憶する比較情報記憶部をさらに備え、
前記評価部が、前記分類結果と前記比較情報にもとづき前記分類結果の評価値を計算する
ことを特徴とする請求項1~6のいずれかに記載の画像処理システム。
【請求項8】
画像の特異点を探索する特異点探索用の複数の機能単位と、分類器を含む検出対象を分類する分類用の複数の機能単位を記憶する機能単位記憶部と、
前記機能単位記憶部から機能単位を選択して配列することによって、前記特異点探索用領域及び前記分類用領域を備えた個体情報を生成する個体生成部、又は、前記特異点探索用領域を備えた個体情報と前記分類用領域を備えた個体情報を別個に生成する個体生成部と、をさらに備えた
ことを特徴とする請求項1~7のいずれかに記載の画像処理システム。
【請求項9】
前記個体情報において、複数の機能単位の実行順序が有閉路を含み得るネットワーク状に定義されていることを特徴とする請求項1~8のいずれかに記載の画像処理システム。
【請求項10】
前記遺伝子操作部が、
前記評価値が高い個体情報を次世代に残すエリート保存部と、
前記評価値にもとづいて、一定の確率で個体情報を次世代に残す選択部と、
2つの個体情報の一部を相互に交換する交叉処理部と、
選択された1つの個体情報の一部又は全部をランダムに書き換える突然変異部と、を有する
ことを特徴とする請求項1~9のいずれかに記載の画像処理システム。
【請求項11】
前記遺伝子操作部が、前記個体群記憶部を更新することにより、新たな世代の複数の個体情報を繰り返し作成し、
前記特異点探索部及び前記分類部が、前記遺伝子操作部により新たな世代の複数の個体情報が作成されると、当該新たな世代の複数の個体情報を前記複数の個体情報として使用する
ことを特徴とする請求項1~10のいずれかに記載の画像処理システム。
【請求項12】
前記個体群記憶部が、最終的に得られた最適化された個体情報を記憶し、
前記学習済み分類器記憶部が、最終的に得られた学習済み分類器を記憶し、
画像記憶部が、検査対象画像を記憶し、
前記特異点探索部が、前記最適化された個体情報における前記特異点探索用領域の機能単位にもとづき前記検査対象画像を処理して、特異点探索結果を生成し、
前記分類部が、前記最適化された個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理し、前記学習済み分類器を用いて、前記検査対象画像における特異点を分類する分類結果を生成する
ことを特徴とする請求項1~11のいずれかに記載の画像処理システム。
【請求項13】
生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理プログラムであって、
コンピュータを、
生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、
複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部、
複数の学習用画像を記憶する画像記憶部、
前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部、
前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部、
前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部、
前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部、及び、
前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像から検出対象を見つけ出す画像処理技術に関し、特に画像処理を最適化する画像処理システムに関する。
【背景技術】
【0002】
従来、画像から検出対象を見つけ出す画像処理アルゴリズムの自動生成において、複数の機能単位の実行順序を定義する個体情報を用いて学習用画像に対して画像処理を行い、得られた出力画像を教師画像と比較して評価値を計算し、その結果を個体情報に反映させることにより学習を行って、画像処理を最適化することが行われている。
このような画像処理として、画像の特異点の探索、特異点の特徴量計算、及び特異点の分類等を挙げることができる。
【0003】
ところで、探索によって得られた特異点には、許容できるもの(以下、良品)と許容できないもの(以下、不良品)が含まれる可能性がある。このため、特異点の探索において、良品の特異点が検出された場合には、特異点は良品として分類され、不良品の特異点が検出された場合には、特異点は不良品として分類されることが望ましい。また、不良品の種類を分類できればより望ましい。
【0004】
また、特異点の探索、特異点の特徴量計算、及び特異点の分類には関連性があるため、分類結果が特異点の探索に反映されると、これらの処理の関連性にもとづく相乗効果が期待できる。
一方、これらの処理を個別に最適化する画像処理システムでは、その関連性が反映されないため、相乗効果を期待することができない。また、関連性を人間が考慮してチューニングすることは非常に難しく、現実的には不可能である。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第4660765号公報
【文献】特許第4688954号公報
【文献】特許第6646234号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、画像を分類するため最適な特徴量を見つけ出す画像処理アルゴリズムの自動生成技術として、特許文献1に記載の進化型画像自動分類装置を挙げることができる。この装置では、進化的計算の一つである遺伝的アルゴリズムを用いて、画像分類を目的とした画像処理および特徴量の探索の最適化が行われている。
また、特許文献2に記載の特徴量選択装置では、画像の特徴量計算について、遺伝的アルゴリズムを用いた最適化が行われている。
さらに、特許文献3に記載のプログラム生成装置では、画像処理および特徴量計算、及び画像の分類手法について、遺伝的プログラミングを用いた最適化が行われている。
【0007】
しかしながら、これらの手法は画像単位で分類を実施するため、複数の検出対象が写る画像に対して検出対象ごとに分類する機能や、これらの画像処理の関連性にもとづく相乗効果及び分類精度をより一層高めることが可能な画像処理システムの提供が望まれていた。
本発明は、上記事情に鑑みてなされたものであり、画像処理アルゴリズムの自動生成において、画像に写る検出対象である特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能な画像処理システム、及び画像処理プログラムの提供を目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため、本発明の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部と、複数の学習用画像を記憶する画像記憶部と、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部と、前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部と、前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部と、前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部と、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部とを備える構成としてある。
【0009】
また、本発明の画像処理システムは、前記特異点探索用領域と前記分類用領域とが、同一の個体情報において連続的に含まれ、又は、別個の個体情報に含まれた構成としてある。
【0010】
また、本発明の画像処理システムは、前記分類部が、前記特異点探索結果における特異点の特徴量を計算する特徴量計算部と、前記特異点の特徴量にもとづき前記特異点を分類する前記分類器の機械学習を行う分類器学習部を有する構成としてある。
【0011】
また、本発明の画像処理システムを、前記分類用領域が、サポートベクターマシン(Support Vector Machine)、ニューラルネットワーク、ランダムフォレスト、若しくはスパースモデリングからなる群から選択されたいずれかの教師あり学習を行う分類器、又は、マハラノビスタグチ法、ワンクラスサポートベクターマシン(One Class Support Vector Machine)、オートエンコーダ、混合ガウス法、若しくはk-means法からなる群から選択されたいずれかの教師なし学習を行う分類器を含む構成とすることも好ましい。
【0012】
また、本発明の画像処理システムを、前記分類用領域が、前記教師なし学習を行う分類器を含み、前記画像記憶部が、複数の検証用画像をさらに記憶し、前記特異点探索部が、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記検証用画像を処理して、特異点探索結果を生成し、前記分類部が、前記特異点探索結果における特異点の特徴量を計算し、前記特異点の特徴量にもとづいて、前記学習済み分類器を用いて前記検証用画像における前記特異点を分類する構成とすることも好ましい。
【0013】
また、本発明の画像処理システムを、前記特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割する特異点分割部をさらに備え、前記分類部が、前記個体情報における前記分類用領域の機能単位にもとづき前記学習用特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記個体情報における前記分類用領域の機能単位にもとづき前記検証用特異点探索結果を処理すると共に、前記学習済み分類器を用いて前記検証用画像における特異点を分類する分類結果を生成する構成とすることも好ましい。
【0014】
また、本発明の画像処理プログラムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理プログラムであって、コンピュータを、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出して、その検出対象を分類する処理を最適化する画像処理システムであって、複数の機能単位の実行順序を定義する複数の個体情報を、検出対象である特異点を探索する機能単位からなる特異点探索用領域と、探索された特異点を分類する機能単位からなる、分類器を含む分類用領域とを備えた構成で記憶する個体群記憶部、複数の学習用画像を記憶する画像記憶部、前記個体情報における前記特異点探索用領域の機能単位にもとづき前記学習用画像を処理して、特異点探索結果を生成する特異点探索部、前記個体情報における前記分類用領域の機能単位にもとづき前記特異点探索結果を処理すると共に、前記分類器の機械学習を行って学習済み分類器を生成し、前記学習用画像における特異点を分類する分類結果を生成する分類部、前記特異点探索結果を評価するための前記学習用画像に対応付けられた教師情報を記憶する教師情報記憶部、前記特異点探索結果と前記教師情報を比較して特異点探索の評価値を計算し、前記分類結果にもとづき分類の評価値を計算し、前記特異点探索の評価値と前記分類の評価値にもとづき前記個体情報の評価値を計算して前記個体情報を順位付けする評価部、及び、前記個体情報の順位付け情報にもとづき前記個体情報の選択又は変更を行って、前記個体群記憶部を更新する遺伝子操作部として機能させる構成としてある。
【発明の効果】
【0015】
本発明によれば、画像処理アルゴリズムの自動生成において、画像に写る検出対象である特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能な画像処理システム、及び画像処理プログラムの提供が可能となる。
【図面の簡単な説明】
【0016】
【
図1】本発明の第一実施形態の画像処理装置の構成を示すブロック図である。
【
図2A】本発明の第一実施形態の画像処理装置における機能単位記憶部のデータ例を示す図である。
【
図2B】本発明の第一実施形態の画像処理装置における機能単位記憶部のデータ例を示す図である。
【
図2C】本発明の第一実施形態の画像処理装置における機能単位記憶部のデータ例を示す図である。
【
図3】本発明の第一実施形態の画像処理装置における個体群記憶部の個体情報(遺伝子連続型)を示す図である。
【
図4A】本発明の第一実施形態の画像処理装置における個体群記憶部(個体情報における特異点探索用ノード領域)のデータ例を示す図である。
【
図4B】本発明の第一実施形態の画像処理装置における個体群記憶部(個体情報における分類用ノード領域)のデータ例を示す図である。
【
図5】本発明の第一実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図6】本発明の第一実施形態の画像処理装置による遺伝子操作の処理手順を示すフローチャートである。
【
図7】本発明の第二実施形態の画像処理装置の構成を示すブロック図である。
【
図8】本発明の第二実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図9】本発明の第三実施形態の画像処理装置の構成を示すブロック図である。
【
図10】本発明の第三実施形態の画像処理装置における個体群記憶部の個体情報(遺伝子分離型)を示す図である。
【
図11】本発明の第三実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図12】本発明の第四実施形態の画像処理装置の構成を示すブロック図である。
【
図13】本発明の第四実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図14】本発明の第五実施形態の画像処理装置の構成を示すブロック図である。
【
図15】本発明の第五実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図16】本発明の第六実施形態の画像処理装置の構成を示すブロック図である。
【
図17】本発明の第六実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図18】本発明の第七実施形態の画像処理装置の構成を示すブロック図である。
【
図19】本発明の第七実施形態の画像処理装置による処理手順を示すフローチャートである。
【
図20A】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20B】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20C】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20D】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20E】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20F】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20G】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20H】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20I】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20J】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20K】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【
図20L】本発明の各実施形態の画像処理装置における機能単位記憶部の詳細データ例を示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の画像処理システム、及び画像処理プログラムの実施形態について詳細に説明する。ただし、本発明は、以下の実施形態の具体的な内容に限定されるものではない。
【0018】
[第一実施形態]
まず、本発明の第一実施形態に係る画像処理システム、及び画像処理プログラムについて、
図1、
図2A,B,C、
図3、及び
図4A,Bを参照して説明する。
図1は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
図2A,B,Cは、当該画像処理装置における機能単位記憶部のデータ例を示す図である。
図3は、当該画像処理装置におけるにおける個体群記憶部の個体情報(遺伝子連続型)を示す図である。
図4Aは、当該画像処理装置における個体群記憶部(個体情報における特異点探索用ノード領域)のデータ例を示す図であり、
図4Bは、当該画像処理装置における個体群記憶部(個体情報における分類用ノード領域)のデータ例を示す図である。
【0019】
本実施形態の画像処理システムは、生物の進化を数学的に模擬した最適化手法である遺伝的操作を用いて、画像から検出対象を検出する画像処理を最適化するものである。
具体的には、本実施形態の画像処理装置1は、
図1に示すように、機能単位記憶部10、個体生成部11、個体群記憶部12、画像入力部13、画像記憶部14、教師情報入力部15、教師情報記憶部16、比較情報入力部17、比較情報記憶部18、特異点探索画像処理部19、特異点探索結果記憶部20、探索評価値計算部21、探索評価結果記憶部22、特徴量計算部23、特徴量記憶部24、分類器学習部25、学習済み分類器記憶部26、分類結果記憶部27、分類評価値計算部28、分類評価結果記憶部29、個体評価値計算部30、個体評価結果記憶部31、及び遺伝子操作部32を備えている。
【0020】
本実施形態において、特異点探索画像処理部19と特異点探索結果記憶部20を含む構成を「特異点探索部」1(A)と総称する。また、特徴量計算部23と特徴量計算部24と分類器学習部25と学習済み分類器記憶部26と分類結果記憶部27を含む構成を「分類部」1(B)と総称する。また、探索評価値計算部21と探索評価結果記憶部22と分類評価値計算部28と分類評価結果記憶部29と個体評価値計算部30と個体評価結果記憶部31を含む構成を「評価部」1(C)と総称する。
本実施形態の画像処理装置1におけるこれらの各構成は、
図1に示すように一個の情報処理装置に全て備えることができる。また、これらの各構成は、複数の情報処理装置からなる画像処理システムの各装置に分散して備えてもよい。これは、後述する各実施形態についても同様である。
【0021】
機能単位記憶部10は、ある処理を実行する機能単位であるノード(遺伝子に相当する)をノード番号ごとに記憶する。
ノードの種類としては、
図2A,Bに示すような様々な処理を行うものを用いることができる。すなわち、例えば色空間処理(グレー変換、RGB変換、Lab変換、XYZ変換、HSV変換)、特徴量抽出範囲の変形処理(膨張、縮小、穴埋め、周囲)、特徴量抽出処理(特徴量抽出範囲の輝度の平均値、標準偏差、最大値、最小値、最大値-最小値、中央値、歪度、尖度、特徴量抽出範囲の面積、周囲長、円形度、外接四角形アスペクト比、外接四角形面積比)、ノイズ除去処理(移動平均フィルタ、ガウシアン、バイラテラル、最大値フィルタ、最小値フィルタ、中央値フィルタ、閾値付き移動平均フィルタ、閾値付きガウシアンフィルタ、閾値付き中央値フィルタ)、輝度補正処理(シグモイド補正、ガンマ補正、ヒストグラム平坦化、輝度減算、輝度反転、正規化、シェーディング補正)、2値化処理(範囲内を白、範囲内を黒、その他各種判別分析法)、エッジ検出処理(ソーベル、ラプラシアン(4近傍)、ラプラシアン(8近傍)、キャニー、アンシャープフィルタ)、周波数フィルタ処理(ローパスフィルタ、ハイパスフィルタ)、演算処理(最大値、最小値、加算、減算、積算、除算、代数和、代数積、限界積、激烈和、激烈積)、モフォロジ処理(オープニング、クロージング)、検出対象判定処理(ラベリング、面積判定、円形度判定、外接四角形アスペクト比判定、外接四角形面積比判定、輝度平均判定、輝度標準偏差判定、輝度最大値判定、輝度最小値判定)、分岐処理(輝度の平均値、輝度の標準偏差、輝度の最大値、輝度の最小値、輝度の最大値-最小値、輝度の中央値)、教師あり学習(サポートベクターマシン(SVM)、ニューラルネットワーク、ランダムフォレスト、スパースモデリング)、教師なし学習(マハラノビスタグチ法(MT法)、one class サポートベクターマシン(SVM)、オートエンコーダ、混合ガウス法、k-means(多クラス分類))、及び特定の処理を行わないもの(処理無し)を用いることができる。
これらのノードは、それぞれの処理の実行に用いるパラメータが存在する場合には、そのパラメータと共に機能単位記憶部10に記憶される。なお、これらのノードのより詳細なデータを
図20A~Lに示す。
【0022】
また、ノードとして、上記のように特定の処理を行わないものを用いてもよく、複数の処理を実行する機能単位をまとめたものを1個のノード(ノードセット)として用いてもよい。ノードとして特定の処理を実行しないものを含めて用いることにより、例えば個体情報を生成するための初期ノード数の設定値が多すぎた場合などに、実質的なノード数を減らすことができる。
【0023】
個体生成部11は、機能単位記憶部10に記憶されているノードを用いて、複数のノードの配列からなる複数の個体情報を生成する。この個体情報が、画像処理アルゴリズムを構成する。
本実施形態において、個体情報は、
図3に示すように、特異点探索用のノードからなる領域(以下、特異点探索用ノード領域)と、分類用のノードからなる領域(以下、分類用ノード領域)とを有している。なお、前述のとおり、個体情報には、特定の処理を行わないノードが含まれる場合があるが、これについては省略する。以下の実施形態においても同様である。
【0024】
特異点探索用ノード領域には、画像における検出対象である特異点を探索して、特異点が存在する場合に、その範囲及び特徴の特定に用いることが可能な各種ノードが備えられている。
具体的には、特異点探索用ノード領域におけるノードとして、
図4Aに示すように、色空間(例えば、グレー変換)、ノイズ除去(例えば、移動平均フィルタ)、輝度補正(例えば、シグモイド補正)、2値化(例えば、範囲内を白)、エッジ検出(例えば、ソーベル)、周波数フィルタ(例えば、ローパスフィルタ)、演算(例えば、最大値)、モフォロジ(例えば、オープニング)、ラベリング(例えば、ラベリング)、検出対象判定(例えば、面積判定)、分岐(例えば、輝度の平均値)等の各処理を行うものを好適に用いることができる。
【0025】
分類用ノード領域には、特異点探索結果などにもとづいて、特異点の特徴量を計算し、得られた特徴量にもとづき、特異点を分類することに用いることが可能な各種ノードが備えられている。
ここで、分類で使用される特徴量には、複数のものが存在しており、分類用ノード領域には、それらの特徴量を抽出するための複数の処理セットを構成する各種ノードが含まれる。
【0026】
具体的には、分類用ノード領域におけるノードとして、
図4Bに示すように、5個の特徴量が抽出される場合、1つ目の特徴量抽出用として、後述する特異点探索結果記憶部における画像に対して特徴量抽出範囲の変形(例えば、拡大)、後述する画像記憶部における画像に対して色空間(例えば、グレー変換)、ノイズ除去(例えば、移動平均フィルタ)、輝度補正(例えば、シグモイド補正)、特徴量抽出(例えば、特徴量抽出範囲の輝度の平均値)等の各処理を行うものを用いることができる。
また、2つ目の特徴量抽出用として、特異点探索結果記憶部における画像に対して特徴量抽出範囲の変形(例えば、拡大)、特徴量抽出(例えば、特徴量抽出範囲の面積)等の各処理を行うものを用いることができる。
そして、分類用ノード領域においてさらに3つの処理セットを構成する各種ノードが含められると共に、分類器(教師あり学習)として、例えば、サポートベクターマシンのノードを含むものを好適に用いることができる。
【0027】
個体生成部11は、これらの各種ノードを用いて、特異点探索用ノード領域と分類用ノード領域ごとにそれぞれ所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の個体情報を生成することができる。
またこのとき、個体生成部11は、個体情報において、直線構造、木構造、又はネットワーク状に複数のノードの実行順序を定義することができる。ネットワークは、向きが付いたリンクにより構成される有向ネットワークであり、フィードバックを含むものとすることができる。
【0028】
なお、ネットワーク状の個体情報を用いれば、直線構造や木構造のみからなる個体情報を用いる場合に比較して、より柔軟な表現力を持つネットワーク構造を含めて学習を行うことができるため、最適解(実用上の最適解、実用解)を導き出す上で優位性がある。すなわち、問題に対してどの構造体が最適解になるかは人が事前に把握することができないため、機械学習の前に構造体の条件を決定することは難しい。このため、個体情報として、有閉路を含み得るネットワーク状に複数のノードの実行順序を定義するものを使用して、幅広い条件で最適解を探索することは、真の最適解を導き出せる可能性を高める上で有効と考えられる。
【0029】
個体群記憶部12は、個体生成部11によって生成された複数の個体情報からなる個体群を記憶する。この個体群として、1つの世代又は複数の世代を個体群記憶部12に記憶させることができ、世代番号ごとに個体情報を個体群記憶部12に記憶させることができる。
【0030】
ここで、本実施形態において、個体情報の特異点探索用ノード領域にもとづく特異点探索処理については、教師あり学習が行われる。特異点探索処理について教師あり学習を行う点については、以下の実施形態でも同様である。
また、本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理についても、教師あり学習が行われ、分類器として、教師あり学習であるサポートベクターマシン、ニューラルネットワーク、ランダムフォレスト、スパースモデリング等のいずれかがランダムに選択される。なお、本実施形態において、分類器は教師あり学習であれば良く、その種類はこれらに限定されない。教師あり学習又は教師なし学習の種類がそれぞれ限定されない点については、以下の実施形態についても同様である。
さらに、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
【0031】
画像入力部13は、複数の学習用画像を画像処理装置1に入力して、画像の識別情報ごとに画像記憶部14に記憶させる。
教師情報入力部15は、特異点探索結果を評価するための教師情報を入力し、対応する画像の識別情報ごとに教師情報記憶部16に記憶させる。
この教師情報としては、学習用画像に対応する教師画像などを用いることができる。また、教師情報として、画像における検出対象の個数や位置、あるいは検出対象が存在する範囲などを用いることもできる。
【0032】
比較情報入力部17は、特異点を分類するための比較情報(ラベル)を入力し、対応する画像の識別情報ごとに比較情報記憶部18に記憶させる。
この比較情報としては、画像における特異点の種類及びその程度等を用いることができる。例えば、比較情報が種類であれば傷や打痕など、程度であれば傷の酷さなどを用いることができる。
【0033】
特異点探索画像処理部19は、画像記憶部14から画像を入力すると共に、個体群記憶部12から個体情報を入力して、その個体情報にもとづき当該個体情報における特異点探索用ノード領域に含まれる複数のノードを順次実行する。この特異点探索画像処理は、検出対象候補を見つけるための処理として行われる。なお、特異点探索画像処理部19は、画像の入力処理、及び出力画像の保存処理を行うために、それぞれを実行するためのノードも実行する。
【0034】
このとき、各ノードは、画像から得られる情報を用いて、それぞれの機能に対応する処理を実行する。また、各ノードは、その処理結果にもとづいて、処理結果に対応する次のノードを選択的に実行し得る。したがって、個体情報に含まれるノードであっても、画像処理において、必ずしも全てのノードが実行される訳ではない。勿論、個体情報における全てのノードが実行される場合はある。また、フィードバックが行われることによって、一つの個体情報において1つのみ定義されているノードが、複数回実行されることもあり得る。
【0035】
特異点探索画像処理部19は、画像ごとに特異点探索結果としての画像などを作成して、個体情報(の識別情報)ごと且つ画像(の識別情報)ごとに特異点探索結果記憶部20に記憶させる。
特異点探索結果として画像を作成する場合、検出対象(特異点)が検出された場合は、検出対象が存在する領域を示す情報(特異点領域情報)が付加された画像を作成し、検出対象が検出されなかった場合は、当該情報が付加されていない画像を作成する。
なお、教師情報が、画像における検出対象の個数、位置、又は検出対象が存在する範囲である場合は、それぞれ検出対象の個数、位置、又は検出対象が存在する範囲が特異点探索結果として作成され、特異点探索結果記憶部20に記憶される。
【0036】
特異点探索結果記憶部20は、特異点探索結果を個体情報ごと且つ画像ごとに記憶する。
【0037】
探索評価値計算部21は、特異点探索結果記憶部20から特異点探索結果を入力すると共に、教師情報記憶部16からその特異点探索結果に対応する教師情報を入力する。
そして、特異点探索結果と教師情報を比較して、特異点探索の評価値(探索評価値)を計算し、算出された探索評価値を個体情報ごと且つ画像ごとに探索評価結果記憶部22に記憶させることができる。
【0038】
このとき、探索評価値計算部21は、教師画像、教師個数、教師位置、教師範囲等の指標にもとづいて、指標評価値(指標値)を計算する。
また、探索評価値計算部21は、画像処理装置1の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値(指標値)を計算することもできる。
そして、探索評価値計算部21は、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、探索評価値を計算することができる。
【0039】
教師画像を用いる場合、その探索評価値の計算は、例えば平均二乗誤差を用いて、以下の式により行うことができる。
【数1】
【0040】
探索評価結果記憶部22は、探索評価値を個体情報ごと且つ画像ごとに記憶する。
【0041】
特徴量計算部23は、特異点探索によって見つかった検出対象候補である特異点の特徴量を計算するものであり、特異点探索結果記憶部20から特異点探索結果を入力すると共に、個体群記憶部12から個体情報を入力して、その個体情報にもとづき当該個体情報における分類用ノード領域に含まれる複数のノード(分類器を除く)を順次実行する。また、特徴量計算部23は、画像記憶部14から画像を入力して、画像を用いるノードを実行することもできる。これは、以下の実施形態においても同様である。
【0042】
このとき、特徴量計算部23は、例えば、画像記憶部14から入力した画像に色空間処理を実施し、変更後の画像に対してノイズ除去、輝度補正、エッジ検出、周波数フィルタ等の処理を行うと共に、特異点探索結果の画像に対して特徴量抽出範囲の変形、検出対象判定等を実施して、算出された特徴量を個体情報ごと且つ画像ごと且つ特異点ごとに特徴量記憶部24に記憶させることができる。
【0043】
特徴量記憶部24は、特徴量を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
【0044】
分類器学習部25は、特徴量記憶部24から特徴量を入力すると共に、個体群記憶部12から個体情報を入力して、その個体情報にもとづき当該個体情報における分類用ノード領域に含まれる分類器の機械学習を実行する。
このとき、分類器学習部25は、例えば、比較情報記憶部18から特異点を分類するための比較情報(ラベル)を入力し、分類器として教師あり学習であるサポートベクターマシンによる機械学習を実行する。
そして、分類器学習部25は、学習済み分類器を学習済み分類器記憶部26に記憶させると共に、分類結果を個体情報ごと且つ画像ごと且つ特異点ごとに分類結果記憶部27に記憶させることができる。
【0045】
分類結果記憶部27は、分類結果を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
【0046】
分類評価値計算部28は、分類結果記憶部27から分類結果を入力すると共に、比較情報記憶部18からその分類結果に対応する比較情報を入力する。
そして、分類結果と比較情報を比較して検出対象候補の分類の評価値(分類評価値)を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部29に記憶させることができる。
【0047】
このとき、分類評価値計算部28は、分類の正確度、再現性、適合度、F値等の指標にもとづいて、指標評価値(指標値)を計算する。
また、分類評価値計算部28は、画像処理装置1の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値(指標値)を計算することもできる。
そして、分類評価値計算部28は、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、分類評価値を計算することができる。
【0048】
分類評価結果記憶部29は、分類評価値を個体情報ごと且つ画像ごと且つ特異点ごとに記憶する。
【0049】
個体評価値計算部30は、探索評価結果記憶部22から探索評価結果を入力すると共に、分類評価結果記憶部29から分類評価結果を入力して、個体情報の評価値を計算する。そして、算出された個体情報の評価値を個体評価結果記憶部31に記憶させる。
このとき、個体評価値計算部30は、例えば、探索評価結果と分類評価結果を個体情報ごとに重み付きの足し合わせなどを行うことによって、個体情報の評価値を計算することができる。
【0050】
また、個体評価値計算部30は、個体群記憶部12に記憶されている全ての個体情報(又は設定された世代分の個体情報)につき個体評価値を計算し終えて個体評価結果記憶部31に記憶させたタイミングなどで、それらの評価値にもとづき世代ごと又は設定された世代ごとに個体情報を順位付け(ランキング)して、得られた順位付け情報を個体評価結果記憶部31に記憶させることができる。
【0051】
さらに、個体評価値計算部30は、画像処理装置1による処理を終了するか否かを判定するための終了判定を行うことができる。終了判定は、終了条件を満たすか否かにもとづき行うことができ、終了条件を満たす場合、画像処理装置1による処理を終了させることができる。そして、個体評価結果記憶部31に記憶された最も評価値の高い個体情報が、画像処理を行うための最適化された個体情報として得られる。
【0052】
終了条件としては、予め設定した全ての世代の個体群について画像処理を完了した場合や、一定の世代数以上で進化が発生していない場合などを挙げることができる。
進化が発生していない場合とは、評価値が、比較対象の時点よりも改善されていない場合である。
なお、個体評価値計算部30からこの終了判定の機能を分離して、本実施形態の画像処理装置1において終了判定を行うための終了判定部を備えてもよい。
【0053】
個体評価結果記憶部31は、個体評価値を個体情報ごとに記憶する。また、世代ごと又は設定された世代ごとに個体情報の順位付け情報を記憶する。
【0054】
遺伝子操作部32は、個体評価結果記憶部31における個体情報の順位付け情報にもとづいて、個体情報の選択又は変更を行って、個体群記憶部12を更新する。
これによって、個体群記憶部12に新たな世代の個体群の個体情報を順次追加することができる。
【0055】
具体的には、遺伝子操作部32は、評価値が高い個体情報を次世代に残すエリート個体保存部と、評価値にもとづいて、一定の確率で個体情報を次世代に残す個体選択部と、2つの個体情報の一部を相互に交換する交叉部と、選択された1つの個体情報の一部又は全部やノードのパラメータをランダムに書き換える突然変異部とを有するものとすることができる。
【0056】
エリート個体保存部は、各世代の個体群において、一番評価値の良い個体情報などを、無条件で次世代に残す処理を行うことができる。
個体選択部は、各世代の個体群において、評価値の順位の高い個体情報を高い確率で選択して、次世代に残す処理等を行うことができる。
【0057】
交叉部は、交叉処理として、複数の個体情報の各ノードの配列における同一(ノード番号)の並びについて、ある確率で入れ替える1様交叉を行うことができる。また、交叉部は、交叉処理として、各ノードの配列における同一の並びの1点を境として、一方の配列を相互に入れ替える1点交叉や、同一の並びの複数点を境として配列を相互に入れ替える複数点交叉を行うこともできる。交叉部は、このような交叉処理を、個体選択部により選択された個体情報に対して行うことができる。
【0058】
突然変異部は、突然変異処理として、機能単位記憶部10に記憶されているノードを用いて、個体情報ごとに一定の確率でその個体情報の一部を書き換えたり、その個体情報の全てを書き換えることができる。突然変異部は、このような突然変異処理を、個体選択部により選択された個体情報に対して行うことができる。また、突然変異部は、突然変異処理として、機能単位記憶部10に記憶されているノードを用いて、新しい個体情報を生成することもできる。さらに、突然変異部に、突然変異処理として、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによって、パラメータ変異を行わせることもできる。
【0059】
なお、同じ個体情報にもとづいて生成された同系列個体が増えると、多様性が失われて進化が袋小路(数学的に局所解に陥った状態)に入ってしまう。一方、同系列以外の個体を増やしすぎると、ランダム探索に近づき、効率的な進化が行われない。
そこで、学習初期では多様性を持たせるために、同系列以外の個体を増やすように突然変異部による処理を行い、学習中期では効率的な進化を実施するために、個体選択部により同系列を増やすことが好ましい。また、進化が止まった場合には、再度多様性を持たせるために突然変異部により同系列以外を増やすことなどを好適に行うことができる。
【0060】
そして、遺伝子操作部32は、新たな世代の個体群を生成して、個体群記憶部12に記憶させる。このとき、遺伝子操作部32は、前の世代の個体群を上書きすることにより、個体群記憶部12を更新することができる。また、複数世代の個体群を世代ごとに記憶させることにより、個体群記憶部12を更新することもできる。
【0061】
次に、本実施形態の画像処理装置による処理手順について、
図5及び
図6を参照して説明する。
図5は、本実施形態の画像処理装置による処理手順を示すフローチャートであり、
図6は、同画像処理装置による遺伝子操作の処理手順を示すフローチャートである。
【0062】
まず、画像処理装置1における画像入力部13が、学習用画像を入力して、画像記憶部14に記憶させる(ステップ10)。また、教師情報入力部15が、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部16に記憶させる(ステップ11)。さらに、比較情報入力部17が、特異点を分類するための比較情報(ラベル)を入力し、比較情報記憶部18に記憶させる(ステップ12)。
【0063】
次に、個体生成部11が、初期個体群を生成する(ステップ13)。
具体的には、個体生成部11は、機能単位記憶部10に記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の個体情報を生成して、個体群記憶部12に記憶させる。
なお、ステップ10~13の各ステップの実行順序は、入れ替えてもよい。
【0064】
このとき、個体生成部11は、複数の個体情報からなる個体群を一つの世代として、世代番号ごとに個体群を個体群記憶部12に記憶させることができる。
なお、新たな世代の個体群は、個体群記憶部12に記憶されている個体情報に対して、遺伝子操作部32が遺伝子操作を行うことによって作成することができる。すなわち、新たな世代の個体群は、遺伝子操作部32により個体情報の選択又は変更が行われ、個体群記憶部12が更新されることによって作成することができる。
【0065】
このように、個体群記憶部12における世代は、ステップ14に示す世代ループの実行に従って順次追加されるようにすることができる。
世代ループは、予め設定された世代数分について実行される。なお、後述する終了判定で終了条件が満たされる場合、設定された世代数分の実行前に世代ループが終了することがある。
【0066】
世代ループにおいて、個体群ループが、個体群記憶部12における当該世代の全ての個体情報について実行される(ステップ15)。
まず、特異点探索画像処理部19が、個体群記憶部12における個体情報における特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する(ステップ16)。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20に記憶させる。
【0067】
次に、探索評価値計算部21が、特異点探索結果記憶部20から特異点探索結果を入力すると共に、教師情報記憶部16からその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部22に記憶させる(ステップ17)。
【0068】
次に、特徴量計算部23が、特異点探索結果記憶部20から特異点探索結果を入力し、個体群記憶部12における個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各特異点の特徴量を計算する(ステップ18)。また、特徴量計算部23は、画像記憶部14から画像を入力して、その画像を用いるノードを実行することもできる。
そして、特徴量計算部23は、算出された特徴量を特徴量記憶部24に記憶させる。
【0069】
次に、分類器学習部25が、特徴量記憶部24から特徴量を入力し、個体群記憶部12における個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する(ステップ19)。
そして、分類器学習部25は、学習済み分類器を学習済み分類器記憶部26に記憶させ、分類結果を分類結果記憶部27に記憶させる。
【0070】
次に、分類評価値計算部28が、分類結果記憶部27から分類結果を入力すると共に、比較情報記憶部18からその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29に記憶させる(ステップ20)。
【0071】
次に、個体評価値計算部30が、探索評価結果記憶部22から探索評価結果を入力すると共に、分類評価結果記憶部29から分類評価結果を入力して、個体情報の評価値を計算し、算出された個体情報の評価値を個体評価結果記憶部31に記憶させる。
そして、個体評価値計算部30は、個体評価結果記憶部31に記憶されている評価値にもとづいて、個体情報の順位付けを行い、その結果を個体評価結果記憶部31に記憶する(ステップ21)。
【0072】
次に、個体評価値計算部30は、終了条件が満たされているか否かの判定処理を行う(ステップ22)。
終了条件が満たされている場合は、画像処理装置1による処理を終了する。
終了条件が満たされていない場合は、遺伝子操作部32が、遺伝子操作処理を実行する(ステップ23)。これにより、遺伝子操作部32は、個体群記憶部12に新たな世代の個体群を追加更新することができる。
【0073】
具体的には、
図6に示すように、遺伝子操作部32におけるエリート個体保存部が、最も評価値の高い個体情報を次世代の個体群の個体情報として選択する(ステップ30)。
また、遺伝子操作部32における個体選択部が、評価値の順位の高い個体情報ほど高い確率で次世代の個体群の個体情報として選択する(ステップ31)。
【0074】
さらに、遺伝子操作部32における交叉部が、個体選択部により選択された個体情報に対して、交叉処理を実行して、新たな個体情報を生成する(ステップ32)。
また、遺伝子操作部32における突然変異部が、個体選択部により選択された個体情報にもとづいて、またはこれらの個体情報を用いることなく、突然変異処理等を行い、新たな個体情報を生成する(ステップ33)。
なお、エリート個体保存部、個体選択部、交叉部、突然変異部による各処理の順序を、各処理を実行可能な順序の範囲で入れ替えて実行してもよい。
【0075】
この遺伝子操作処理によって、個体群記憶部12に次の世代の個体群の個体情報を追加することができる。
このように、世代ループを繰り返すことで、個体群記憶部12において、新たな世代の個体群の個体情報を順次追加することができる。
以上の処理の結果、個体評価結果記憶部31にはどの個体情報が最適であるかが記憶され、個体群記憶部12には最適化された個体情報が記憶される。
【0076】
このような本実施形態によれば、画像処理アルゴリズムの自動生成において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能である。
例えば、特異点の探索のみを最適化するケースにおいては、検出対象と非検出対象が似ているために区別することが難しく且つ検出対象の数が非検出対象に対して少ない場合には、非検出対象を検出しないように学習が進んで、偽陰性(検出対象を検出しない)を発生させることが多い。
しかし、本実施形態によれば、特異点の探索において検出対象を陽性(検出対象を検出する)とし、非検出対象を偽陽性(非検出対象を検出する)した場合であっても、特異点の分類において、偽陽性判定された検出対象を陰性判定に変更するように進化させることが可能となる。
【0077】
[第二実施形態]
次に、本発明の第二実施形態に係る画像処理システム、及び画像処理プログラムについて、
図7を参照して説明する。
図7は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
【0078】
本実施形態の画像処理装置1aは、
図7に示すように、機能単位記憶部10a、個体生成部11a、個体群記憶部12a、画像入力部13a、画像記憶部14a、教師情報入力部15a、教師情報記憶部16a、比較情報入力部17a、比較情報記憶部18a、特異点探索画像処理部19a、特異点探索結果記憶部20a、探索評価値計算部21a、探索評価結果記憶部22a、特徴量計算部23a、特徴量記憶部24a、分類器学習部25a、学習済み分類器記憶部26a、分類結果記憶部27a、分類評価値計算部28a、分類評価結果記憶部29a、個体評価値計算部30a、個体評価結果記憶部31a、及び遺伝子操作部32aを備えている。また、個体群記憶部12aは、親個体群記憶部121aと子個体群記憶部122aを備えている。
【0079】
本実施形態の画像処理装置1aにおける機能単位記憶部10a、画像入力部13a、画像記憶部14a、教師情報入力部15a、教師情報記憶部16a、比較情報入力部17a、比較情報記憶部18a、特異点探索結果記憶部20a、探索評価値計算部21a、探索評価結果記憶部22a、特徴量記憶部24a、学習済み分類器記憶部26a、分類結果記憶部27a、分類評価値計算部28a、分類評価結果記憶部29a、及び個体評価結果記憶部31aは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置1aにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。
【0080】
個体生成部11aは、機能単位記憶部10aに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部12aにおける親個体群記憶部121aに記憶させる。
【0081】
個体群記憶部12aは、親個体群記憶部121aと子個体群記憶部122aを備えている。
親個体群記憶部121aは、個体生成部11aによって生成された複数の親個体情報からなる親個体群を記憶する。また、1つの世代又は複数の世代の親個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。
子個体群記憶部122aは、遺伝子操作部32aによって生成された複数の子個体情報からなる子個体群を記憶する。また、親個体群に対応する1つの世代又は複数の世代の子個体群を記憶させることができ、世代番号ごとに各個体情報を記憶させることができる。
【0082】
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師あり学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
【0083】
遺伝子操作部32aは、親個体群記憶部121aにおける親個体情報に対して遺伝子操作を実行し、親個体群に対応する複数の子個体情報からなる子個体群を生成して、子個体群記憶部122aに記憶させることができる。
本実施形態では、親個体群と子個体群のセットが1つの世代に含められ、これらのセットが複数の世代分生成されて、それぞれ親個体群記憶部121aと子個体群記憶部122aに記憶される。
【0084】
具体的には、遺伝子操作部32aは、まず、親個体群記憶部121aにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。次に、選択した親個体情報と同一の子個体情報からなる子個体群を子個体群記憶部122aに記憶させる。また、選択された親個体情報に対して交叉処理を実行して複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部122aに記憶させる。
【0085】
また、遺伝子操作部32aは、機能単位記憶部10aに記憶されているノードを用いて、選択された親個体情報に対して突然変異処理を実行し、一定の確率で親個体情報の一部又は全部を書き換えることによって得られた子個体情報からなる子個体群を子個体群記憶部122aに記憶させることもできる。さらに、突然変異処理として、機能単位記憶部10aに記憶されているノードを用いて、新しい個体情報を生成することもでき、選択された親個体情報のノードのパラメータの一部又は全部をランダムに書き換えることなどによりパラメータ変異を行わせることもできる。
【0086】
このように、遺伝子操作部32aは、親個体群記憶部121aにおける親個体情報に対して遺伝子操作を実行することにより、複数の子個体情報からなる子個体群を生成して、これらを子個体群記憶部122aに記憶させる。
【0087】
また、遺伝子操作部32aは、個体評価結果記憶部31aにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、親個体群記憶部121aにおける親個体情報を更新することができる。
これにより、遺伝子操作部32aは、個体群記憶部12aにおける親個体群記憶部121aに新たな親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部12aにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
【0088】
特異点探索画像処理部19aは、子個体群記憶部122aにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する。そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20aに記憶させる。
【0089】
特徴量計算部23aは、特異点探索結果記憶部20aから特異点探索結果を入力し、子個体群記憶部122aにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各特異点の特徴量を計算する。そして、算出された特徴量を特徴量記憶部24aに記憶させる。
【0090】
分類器学習部25aは、特徴量記憶部24aから特徴量を入力し、子個体群記憶部122aにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する。そして、学習済み分類器を学習済み分類器記憶部26aに記憶させ、分類結果を分類結果記憶部27aに記憶させる。
【0091】
個体評価値計算部30aは、探索評価結果記憶部22aから探索評価結果を入力すると共に、分類評価結果記憶部29aから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部31aに記憶させる。そして、個体評価結果記憶部31aに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部31aに記憶する。
【0092】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図8を参照して説明する。
図8は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0093】
まず、画像処理装置1aにおける画像入力部13aが、学習用画像を入力して、画像記憶部14aに記憶させる(ステップ40)。また、教師情報入力部15aが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部16aに記憶させる(ステップ41)。さらに、比較情報入力部17aが、特異点を分類するための比較情報(ラベル)を入力し、比較情報記憶部18aに記憶させる(ステップ42)。
【0094】
次に、個体生成部11aが、初期の親個体群を生成する(ステップ43)。
具体的には、個体生成部11aは、機能単位記憶部10aに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部12aにおける親個体群記憶部121aに記憶させる。
なお、ステップ40~43の各ステップの実行順序は、入れ替えてもよい。
【0095】
この親個体群記憶部121aにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる(ステップ44)。
【0096】
次に、世代ループにおいて、遺伝子操作部32aが、親個体群記憶部121aにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。(ステップ45)。そして、選択された親個体情報に対して遺伝子操作を実行する(ステップ46)。なお、ステップ45の親個体情報の選択を、ステップ46の遺伝子操作の一部として実行してもよい。これは、以下の実施形態においても同様である。
このとき、遺伝子操作部32aは、親個体情報に対して交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部122aに記憶させる。
【0097】
次に、子個体群ループにおいて(ステップ47)、特異点探索画像処理部19aが、子個体群記憶部122aにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する(ステップ48)。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20aに記憶させる。
【0098】
次に、探索評価値計算部21aが、特異点探索結果記憶部20aから特異点探索結果を入力すると共に、教師情報記憶部16aからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部22aに記憶させる(ステップ49)。
【0099】
次に、特徴量計算部23aが、特異点探索結果記憶部20aから特異点探索結果を入力し、子個体群記憶部122aにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各特異点の特徴量を計算する(ステップ50)。
そして、特徴量計算部23aは、算出された特徴量を特徴量記憶部24aに記憶させる。
【0100】
次に、分類器学習部25aが、特徴量記憶部24aから特徴量を入力し、子個体群記憶部122aにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する(ステップ51)。
そして、分類器学習部25aは、学習済み分類器を学習済み分類器記憶部26aに記憶させ、分類結果を分類結果記憶部27aに記憶させる。
【0101】
次に、分類評価値計算部28aが、分類結果記憶部27aから分類結果を入力すると共に、比較情報記憶部18aからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29aに記憶させる(ステップ52)。
そして、子個体群記憶部122aにおける全ての子個体情報について、ステップ48からステップ52までの処理を繰り返し実行する。
【0102】
次に、個体評価値計算部30aが、探索評価結果記憶部22aから探索評価結果を入力すると共に、分類評価結果記憶部29aから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部31aに記憶させる。
そして、個体評価値計算部30aは、個体評価結果記憶部31aに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部31aに記憶させる(ステップ53)。
【0103】
そして、遺伝子操作部32aは、個体評価結果記憶部31aにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ45において親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、個体群記憶部12aにおける親個体群記憶部121aの親個体情報を更新することができる(ステップ54)。
【0104】
遺伝子操作部32aのこのような処理によって、個体群記憶部12aにおける親個体群記憶部121aに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部12aにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
【0105】
また、個体評価値計算部30aは、終了条件が満たされているか否かの判定処理を行い(ステップ55)、終了条件が満たされている場合、画像処理装置1aによる処理を終了する。
以上の処理の結果、個体評価結果記憶部31aにはどの個体情報が最適であるかが記憶され、個体群記憶部12aには最適化された個体情報が記憶される。
【0106】
このような本実施形態の画像処理システムによれば、親個体群から親を選択して子個体情報を生成する時に遺伝子操作が実行されると共に、特定の子個体情報を親個体群における親個体情報と入れ替えることにより親個体群を更新して、新たな世代の個体情報を追加することができる。これにより、第一実施形態に比較して、進化の多様性をより保った状態で、最適な個体情報を探すことが可能となっている。
【0107】
[第三実施形態]
次に、本発明の第三実施形態に係る画像処理システム、及び画像処理プログラムについて、
図9及び
図10を参照して説明する。
図9は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
図10は、当該画像処理装置における個体群記憶部の個体情報(遺伝子分離型)を示す図である。
【0108】
本実施形態の画像処理装置1bは、
図9に示すように、第二実施形態と比較して、最良組合せ判定部33bと組合せ判定結果記憶部34bをさらに備えると共に、個体評価値計算部30aと個体評価結果記憶部31aに相当する構成を備えていない点で相違する。
また、本実施形態の画像処理装置1bは、個体群記憶部12bにおいて、個体情報(親個体情報及び子個体情報)として、特異点探索用ノード領域を備えたものと、分類用ノード領域を備えたものとが分離して記憶されている点で第二実施形態と相違している。
また、本実施形態の画像処理装置1bにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
【0109】
個体生成部11bは、機能単位記憶部10bに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部12bにおける親個体群記憶部121bに記憶させる。
また、個体生成部11bは、機能単位記憶部10bに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部12bにおける親個体群記憶部121bに記憶させる。
【0110】
個体群記憶部12bは、親個体群記憶部121bと子個体群記憶部122bを備えている。
本実施形態では、
図10に示すように、親個体情報及び子個体情報として、それぞれ特異点探索用ノード領域を備えた特異点探索用の個体情報と、分類用ノード領域を備えた分類用の個体情報とが、親個体群記憶部121bと子個体群記憶部122bのそれぞれにおいて別個に備えられている。
【0111】
本実施形態において、分類用の個体情報における分類器にもとづく分類処理については、教師あり学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用と分類用とが別個に備えられた遺伝子分離型である。
【0112】
特異点探索画像処理部19bは、子個体群記憶部122bにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行し、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20bに記憶させる。
【0113】
探索評価値計算部21bは、探索評価結果記憶部22bに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部22bに記憶する。
【0114】
特徴量計算部23bは、特異点探索結果記憶部20bから特異点探索結果を入力し、子個体群記憶部122bにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、各特異点の特徴量を計算し、算出された特徴量を特徴量記憶部24bに記憶させる。
【0115】
分類器学習部25bは、特徴量記憶部24bから特徴量を入力し、子個体群記憶部122bにおける分類用の子個体情報に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部26bに記憶させ、分類結果を分類結果記憶部27bに記憶させる。
【0116】
分類評価値計算部28bは、分類評価結果記憶部29bに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部29bに記憶する。
【0117】
最良組合せ判定部33bは、探索評価結果記憶部22bから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部29bから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する。最良の組合せとしては、探索評価値の最も高い特異点探索用の子個体情報と分類評価値の最も高い分類用の子個体情報の組合せなどとすることができる。
また、最良組合せ判定部33bは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部34bに記憶させる。この組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
【0118】
遺伝子操作部32bは、親個体群記憶部121bにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
また、遺伝子操作部32bは、親個体群記憶部121bにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
【0119】
さらに、遺伝子操作部32bは、組合せ判定結果記憶部34bにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部12bにおける親個体群記憶部121bの親個体情報を更新することができる。
【0120】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図11を参照して説明する。
図11は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0121】
まず、画像処理装置1bにおける画像入力部13bが、学習用画像を入力して、画像記憶部14bに記憶させる(ステップ60)。また、教師情報入力部15bが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部16bに記憶させる(ステップ61)。さらに、比較情報入力部17bが、特異点を分類するための比較情報(ラベル)を入力し、比較情報記憶部18bに記憶させる(ステップ62)。
【0122】
次に、個体生成部11bが、初期の親個体群を生成する。
具体的には、個体生成部11bは、機能単位記憶部10bに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部12bにおける親個体群記憶部121bに記憶させる(ステップ63)。
また、個体生成部11bは、機能単位記憶部10bに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部12bにおける親個体群記憶部121bに記憶させる(ステップ64)。
なお、ステップ60~64の各ステップの実行順序は、入れ替えてもよい。
【0123】
この親個体群記憶部121bにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる(ステップ65)。
【0124】
次に、世代ループにおいて、遺伝子操作部32bが、親個体群記憶部121bにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して(ステップ66)、選択された親個体情報に対して遺伝子操作を実行する(ステップ67)。また、遺伝子操作部32bが、親個体群記憶部121bにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して(ステップ66)、選択された親個体情報に対して遺伝子操作を実行する(ステップ68)。
【0125】
このとき、遺伝子操作部32bは、特異点探索用の親個体情報と分類用の親個体情報に対して交叉処理や突然変異処理を実行して、特異点探索用の複数の子個体情報と分類用の複数の子個体情報をそれぞれ生成し、各子個体情報からなる特異点探索用の子個体群と分類用の子個体群を子個体群記憶部122bに記憶させる。
【0126】
次に、特異点探索用の子個体群ループにおいて(ステップ69)、特異点探索画像処理部19bが、子個体群記憶部122bにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行する(ステップ70)。
そして、各学習用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20bに記憶させる。
【0127】
次に、探索評価値計算部21bが、探索評価結果記憶部22bから特異点探索結果を入力すると共に、教師情報記憶部16bからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部22bに記憶させる(ステップ71)。
そして、子個体群記憶部122bにおける全ての特異点探索用の子個体情報について、ステップ70からステップ71までの処理を繰り返し実行する。
さらに、探索評価値計算部21bは、探索評価結果記憶部22bに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部22bに記憶させる(ステップ72)。
【0128】
次に、分類用の子個体群ループにおいて(ステップ73)、特徴量計算部23bが、特異点探索結果記憶部20bから特異点探索結果を入力し、子個体群記憶部122bにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、各特異点の特徴量を計算する(ステップ74)。なお、このとき入力する特異点探索結果としては、特異点探索の子個体群における最良の個体情報を用いて得られたものなどを使用するができる。
そして、特徴量計算部23bは、算出された特徴量を特徴量記憶部24bに記憶させる。
【0129】
次に、分類器学習部25bが、特徴量記憶部24bから特徴量を入力し、子個体群記憶部122bにおける分類用の子個体情報に含まれる分類器の機械学習を実行する(ステップ75)。
そして、分類器学習部25bは、学習済み分類器を学習済み分類器記憶部26bに記憶させ、分類結果を分類結果記憶部27bに記憶させる。
【0130】
次に、分類評価値計算部28bが、分類結果記憶部27bから分類結果を入力すると共に、比較情報記憶部18bからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29bに記憶させる(ステップ76)。
そして、子個体群記憶部122bにおける全ての分類用の子個体情報について、ステップ73からステップ76までの処理を繰り返し実行する。
【0131】
さらに、分類評価値計算部28bは、分類評価結果記憶部29bに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部29bに記憶する(ステップ77)。
【0132】
次に、最良組合せ判定部33bが、探索評価結果記憶部22bから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部29bから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する(ステップ78)。
そして、最良組合せ判定部33bは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部34bに記憶させる。また、組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
【0133】
そして、遺伝子操作部32bは、組合せ判定結果記憶部34bにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ66において親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部12bにおける親個体群記憶部121bの親個体情報を更新する(ステップ79)。
【0134】
遺伝子操作部32bのこのような処理によって、個体群記憶部12bにおける親個体群記憶部121bに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部12bにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
【0135】
また、最良組合せ判定部33bは、終了条件が満たされているか否かの判定処理を行い(ステップ80)、終了条件が満たされている場合、画像処理装置1bによる処理を終了する。
以上の処理の結果、組合せ判定結果記憶部34bにはどの個体情報の組合せが最適であるかが記憶され、個体群記憶部12bには最適化された特異点探索用の子個体情報と分類用の子個体情報が記憶される。
【0136】
このような本実施形態の画像処理装置によれば、特異点探索用の個体情報と分類用の個体情報を分離しつつ、これらの組合せを進化的計算に反映することが可能となる。
例えば、特異点探索において評価の悪い子個体情報に対しては、子個体群(分類)ループ処理を実施しないようにするなど、計算時間の短時間化が可能である。また、評価の良い特異点探索用の子個体情報について、最適な分類用の子個体情報を集中的に探索できるため、画像処理装置の性能をより向上させることが可能である。
【0137】
[第四実施形態]
次に、本発明の第四実施形態に係る画像処理システム、及び画像処理プログラムについて、
図12を参照して説明する。
図12は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
【0138】
本実施形態の画像処理装置1cは、
図12に示すように、第二実施形態と比較して、検証用特徴量計算部35c、検証用特徴量記憶部36c、分類処理部37cをさらに備えると共に、特徴量計算部23aと特徴量記憶部24aに変えて学習用特徴量計算部23cと学習用特徴量記憶部24cを備えている点で相違している。
本実施形態の画像処理装置1cにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
【0139】
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師なし学習が行われ、分類器として、教師なし学習であるマハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-mean等のいずれかがランダムに選択される。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
【0140】
画像入力部13cは、学習用画像と検証用画像を入力して、これらを画像記憶部14cに記憶させる。
特異点探索画像処理部19cは、各学習用画像及び各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20cに記憶させる。
【0141】
学習用特徴量計算部23cは、特異点探索結果記憶部20cから特異点探索結果を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、学習用画像の各特異点の特徴量を計算する。
学習用特徴量計算部23cは、学習用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに学習用特徴量記憶部24cに記憶させる。
【0142】
分類器学習部25cは、学習用特徴量記憶部24cから学習用画像の各特異点の特徴量を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部26cに記憶させる。
【0143】
検証用特徴量計算部35cは、特異点探索結果記憶部20cから特異点探索結果を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、検証用画像の各特異点の特徴量を計算する。
検証用特徴量計算部35cは、検証用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに検証用特徴量記憶部36cに記憶させる。
【0144】
分類処理部37cは、検証用特徴量記憶部36cから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部26cに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部27cに記憶させる。
【0145】
分類評価値計算部28cは、分類結果記憶部27cから分類結果を入力すると共に、比較情報記憶部18cからその分類結果に対応する比較情報を入力して、分類結果と比較情報を比較して検出対象候補の分類の評価値を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部29cに記憶させることができる。なお、分類器が2分類で処理するものである場合、例えばマハラノビスタグチ法又はone class サポートベクターマシンである場合であって、教師情報が画像の場合は、比較情報がなくても分類できるため、分類評価値計算部28cによる比較情報の入力及び比較情報との比較を省略して分類の評価値を計算することができる。
【0146】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図13を参照して説明する。
図13は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0147】
まず、画像処理装置1cにおける画像入力部13cが、学習用画像と検証用画像を入力して、これらを画像記憶部14cに記憶させる(ステップ90)。また、教師情報入力部15cが、学習用画像と検証用画像の特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部16cに記憶させる(ステップ91)。さらに、比較情報入力部17cが、特異点を分類するための比較情報(ラベル)を入力し、比較情報記憶部18cに記憶させる(ステップ92)。
【0148】
次に、個体生成部11cが、初期の親個体群を生成する(ステップ93)。
具体的には、個体生成部11cは、機能単位記憶部10cに記憶されている各種ノードにもとづいて、特異点探索用ノード領域と分類用ノード領域ごとに、それぞれに用いることのできるノードを所定の条件下でランダムに選択して配列することにより、特異点探索用ノード領域と分類用ノード領域を有する複数の親個体情報を生成して、個体群記憶部12cにおける親個体群記憶部121cに記憶させる。
なお、ステップ90~93の各ステップの実行順序は、入れ替えてもよい。
【0149】
この親個体群記憶部121cにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる(ステップ94)。
【0150】
次に、世代ループにおいて、遺伝子操作部32cが、親個体群記憶部121cにおける親個体群からランダムに、子個体情報を生成する親個体情報を選択する。(ステップ95)。そして、選択された親個体情報に対して遺伝子操作を実行する(ステップ96)。
このとき、遺伝子操作部32cは、親個体情報に対して交叉処理や突然変異処理を実行して、複数の子個体情報を生成し、これら子個体情報からなる子個体群を子個体群記憶部122cに記憶させる。
【0151】
次に、子個体群ループにおいて(ステップ97)、特異点探索画像処理部19cが、子個体群記憶部122cにおける子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する(ステップ98)。
そして、各学習用画像と各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20cに記憶させる。
【0152】
次に、探索評価値計算部21cが、探索評価結果記憶部22cから特異点探索結果を入力すると共に、教師情報記憶部16cからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部22cに記憶させる(ステップ99)。
【0153】
次に、学習用特徴量計算部23cが、特異点探索結果記憶部20cから特異点探索結果を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、学習用画像の各特異点の特徴量を計算する(ステップ100)。また、学習用特徴量計算部23cは、画像記憶部14cから画像を入力して、画像を用いるノードを実行することもできる。これは、検証用特徴量計算部35cについても同様であるが、
図12において省略している。
そして、学習用特徴量計算部23cは、算出された学習用画像の各特異点の特徴量を学習用特徴量記憶部24cに記憶させる。
【0154】
次に、分類器学習部25cが、学習用特徴量記憶部24cから学習用画像の各特異点の特徴量を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する(ステップ101)。
そして、分類器学習部25cは、学習済み分類器を学習済み分類器記憶部26cに記憶させる。
【0155】
次に、検証用特徴量計算部35cが、特異点探索結果記憶部20cから特異点探索結果を入力し、子個体群記憶部122cにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、検証用画像の各特異点の特徴量を計算する(ステップ102)。
そして、検証用特徴量計算部35cは、算出された検証用画像の各特異点の特徴量を検証用特徴量記憶部36cに記憶させる。
【0156】
次に、分類処理部37cが、検証用特徴量記憶部36cから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部26cに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部27cに記憶させる(ステップ103)。
【0157】
次に、分類評価値計算部28cが、分類結果記憶部27cから分類結果を入力すると共に、比較情報記憶部18cからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29cに記憶させる(ステップ104)。
そして、子個体群記憶部122cにおける全ての子個体情報について、ステップ98からステップ104までの処理を繰り返し実行する。
【0158】
次に、個体評価値計算部30cが、探索評価結果記憶部22cから探索評価結果を入力すると共に、分類評価結果記憶部29cから分類評価結果を入力して、子個体情報の評価値を計算し、算出された子個体情報の評価値を個体評価結果記憶部31cに記憶させる。
そして、個体評価値計算部30cは、個体評価結果記憶部31cに記憶されている評価値にもとづいて、子個体情報の順位付けを行い、その結果を個体評価結果記憶部31cに記憶する(ステップ105)。
【0159】
そして、遺伝子操作部32cは、個体評価結果記憶部31cにおける子個体情報の順位付け情報にもとづいて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ95において親個体群からランダムに選択された上記の親個体情報と入れ替えることなどによって、個体群記憶部12cにおける親個体群記憶部121cの親個体情報を更新することができる(ステップ106)。
【0160】
遺伝子操作部32cのこのような処理によって、個体群記憶部12cにおける親個体群記憶部121cに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部12cにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
【0161】
また、個体評価値計算部30cは、終了条件が満たされているか否かの判定処理を行い(ステップ107)、終了条件が満たされている場合、画像処理装置1cによる処理を終了する。
以上の処理の結果、個体評価結果記憶部31cにはどの個体情報が最適であるかが記憶され、個体群記憶部12cには最適化された個体情報が記憶される。
【0162】
このような本実施形態の画像処理システムによれば、マハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-meansなどの教師なし学習を行う分類器を用いる場合において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能である。また、このような教師なし学習を用いることで、画像に写る検出対象のラベリング作業を行うことなく、特異点探索における偽陽性に対する修正を行うことが可能となる。
【0163】
[第五実施形態]
次に、本発明の第五実施形態に係る画像処理システム、及び画像処理プログラムについて、
図14を参照して説明する。
図14は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
【0164】
本実施形態の画像処理装置1dは、
図14に示すように、第二実施形態と比較して、最良組合せ判定部33dと組合せ判定結果記憶部34dをさらに備えると共に、個体評価値計算部30aと個体評価結果記憶部31aに相当する構成を備えていない点で相違する。
また、本実施形態の画像処理装置1dは、個体群記憶部12dにおいて、個体情報(親個体情報及び子個体情報)として、特異点探索用ノード領域を備えたものと、分類用ノード領域を備えたものとが分離して記憶されている点で第二実施形態と相違している。
さらに、本実施形態の画像処理装置1dは、検証用特徴量計算部35d、検証用特徴量記憶部36d、分類処理部37dをさらに備えると共に、特徴量計算部23aと特徴量記憶部24aに変えて学習用特徴量計算部23dと学習用特徴量記憶部24dを備えている点で第二実施形態と相違している。
本実施形態の画像処理装置1dにおけるその他の構成については、以下に説明する点を除いて、第二実施形態と同様のものとすることができる。
【0165】
個体生成部11dは、機能単位記憶部10dに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部12dにおける親個体群記憶部121dに記憶させる。
また、個体生成部11dは、機能単位記憶部10dに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部12dにおける親個体群記憶部121dに記憶させる。
【0166】
個体群記憶部12dは、親個体群記憶部121dと子個体群記憶部122dを備えている。
本実施形態では、親個体情報及び子個体情報として、それぞれ特異点探索用ノード領域を備えた特異点探索用の個体情報と、分類用ノード領域を備えた分類用の個体情報とが、親個体群記憶部121dと子個体群記憶部122dのそれぞれにおいて別個に備えられている。
【0167】
本実施形態において、分類用の個体情報における分類器にもとづく分類処理については、教師なし学習によって学習が行われる。
また、本実施形態において、個体情報は、特異点探索用と分類用とが別個に備えられた遺伝子分離型である。
【0168】
画像入力部13dは、学習用画像と検証用画像を入力して、これらを画像記憶部14dに記憶させる。
【0169】
特異点探索画像処理部19dは、子個体群記憶部122dにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行し、学習用画像と検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20dに記憶させる。
【0170】
探索評価値計算部21dは、探索評価結果記憶部22dに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部22dに記憶する。
【0171】
学習用特徴量計算部23dは、特異点探索結果記憶部20dから特異点探索結果を入力し、子個体群記憶部122dにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、学習用画像の各特異点の特徴量を計算する。
学習用特徴量計算部23dは、学習用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに学習用特徴量記憶部24dに記憶させる。
【0172】
分類器学習部25dは、学習用特徴量記憶部24dから学習用画像の各特異点の特徴量を入力し、子個体群記憶部122dにおける分類用の子個体情報に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部26dに記憶させる。
【0173】
検証用特徴量計算部35dは、特異点探索結果記憶部20dから特異点探索結果を入力し、子個体群記憶部122dにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、検証用画像の各特異点の特徴量を計算する。
検証用特徴量計算部35dは、検証用画像の各特異点の特徴量を個体情報ごと且つ画像ごとに検証用特徴量記憶部36dに記憶させる。
【0174】
分類処理部37dは、検証用特徴量記憶部36dから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部26dに記憶された学習済み分類器により特異点を分類して、分類結果を分類結果記憶部27dに記憶させる。
【0175】
分類評価値計算部28dは、分類結果記憶部27dから分類結果を入力すると共に、比較情報記憶部18dからその分類結果に対応する比較情報を入力して、分類結果と比較情報を比較して検出対象候補の分類の評価値を計算し、得られた評価値を個体情報ごと且つ画像ごと且つ特異点ごとに分類評価結果記憶部29dに記憶させることができる。
【0176】
このとき、分類評価値計算部28dは、分類の正確度、再現性、適合度、F値等の指標にもとづいて、指標評価値を計算する。
また、分類評価値計算部28dは、画像処理装置1の処理速度、個体情報におけるノード使用率、個体情報の大きさ等の指標にもとづいて、指標評価値を計算することもできる。
そして、分類評価値計算部28dは、これらの指標評価値を用いて、重み付きの足し合わせなどを行うことによって、分類評価値を計算することができる。
【0177】
最良組合せ判定部33dは、探索評価結果記憶部22dから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部29dから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する。最良の組合せとしては、探索評価値の最も高い特異点探索用の子個体情報と分類評価値の最も高い分類用の子個体情報の組合せなどとすることができる。
また、最良組合せ判定部33dは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部34dに記憶させる。この組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
【0178】
遺伝子操作部32dは、親個体群記憶部121dにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
また、遺伝子操作部32dは、親個体群記憶部121dにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して、選択された親個体情報に対して遺伝子操作を実行する。
【0179】
さらに、遺伝子操作部32dは、組合せ判定結果記憶部34dにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部12dにおける親個体群記憶部121dの親個体情報を更新することができる。
【0180】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図15を参照して説明する。
図15は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0181】
まず、画像処理装置1dにおける画像入力部13dが、学習用画像と検証用画像を入力して、画像記憶部14dに記憶させる(ステップ110)。また、教師情報入力部15dが、特異点探索用の教師情報としての教師画像を入力し、教師情報記憶部16dに記憶させる(ステップ111)。さらに、比較情報入力部17dが、特異点を分類するための比較情報(ラベル)を入力し、比較情報記憶部18dに記憶させる(ステップ112)。
【0182】
次に、個体生成部11dが、初期の親個体群を生成する。
具体的には、個体生成部11dは、機能単位記憶部10dに記憶されている各種ノードにもとづいて、特異点探索に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、特異点探索用の複数の親個体情報を生成して、個体群記憶部12dにおける親個体群記憶部121dに記憶させる(ステップ113)。
また、個体生成部11dは、機能単位記憶部10dに記憶されている各種ノードにもとづいて、特異点の分類に用いることのできるノード群からノードを所定の条件下でランダムに選択して配列することにより、分類用の複数の親個体情報を生成して、個体群記憶部12dにおける親個体群記憶部121dに記憶させる(ステップ114)。
なお、ステップ110~114の各ステップの実行順序は、入れ替えてもよい。
【0183】
この親個体群記憶部121dにおける親個体群は、後述する親個体群の更新処理によって更新され、世代ループにおいて、設定された世代について以下の処理が繰り返し行われる(ステップ115)。
【0184】
次に、世代ループにおいて、遺伝子操作部32dが、親個体群記憶部121dにおける特異点探索用の親個体群からランダムに子個体情報を生成する親個体情報を選択して(ステップ116)、選択された親個体情報に対して遺伝子操作を実行する(ステップ117)。また、遺伝子操作部32dが、親個体群記憶部121dにおける分類用の親個体群からランダムに子個体情報を生成する親個体情報を選択して(ステップ116)、選択された親個体情報に対して遺伝子操作を実行する(ステップ118)。
【0185】
このとき、遺伝子操作部32dは、特異点探索用の親個体情報と分類用の親個体情報に対して交叉処理や突然変異処理を実行して、特異点探索用の複数の子個体情報と分類用の複数の子個体情報をそれぞれ生成し、各子個体情報からなる特異点探索用の子個体群と分類用の子個体群を子個体群記憶部122dに記憶させる。
【0186】
次に、特異点探索用の子個体群ループにおいて(ステップ119)、特異点探索画像処理部19dが、子個体群記憶部122dにおける特異点探索用の子個体情報にもとづいて、特異点探索画像処理を実行する(ステップ120)。
そして、各学習用画像と各検証用画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20dに記憶させる。
【0187】
次に、探索評価値計算部21dが、探索評価結果記憶部22dから特異点探索結果を入力すると共に、教師情報記憶部16dからその特異点探索結果に対応する教師情報を入力し、特異点探索結果と教師情報を比較して探索評価値を計算し、算出された評価値を探索評価結果記憶部22dに記憶させる(ステップ121)。
そして、子個体群記憶部122dにおける全ての特異点探索用の子個体情報について、ステップ120からステップ121までの処理を繰り返し実行する。
さらに、探索評価値計算部21dは、探索評価結果記憶部22dに記憶されている探索評価値にもとづいて、特異点探索用の子個体情報の順位付けを行い、その結果を探索評価結果記憶部22dに記憶する(ステップ122)。
【0188】
次に、分類用の子個体群ループにおいて(ステップ123)、学習用特徴量計算部23dが、特異点探索結果記憶部20dから学習用画像の特異点探索結果を入力し、子個体群記憶部122dにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、学習用画像の各特異点の特徴量を計算する(ステップ124)。なお、このとき入力する特異点探索結果としては、特異点探索の子個体群における最良の個体情報を用いて得られたものなどを使用するができる。
そして、学習用特徴量計算部23dは、算出された学習用画像の各特異点の特徴量を学習用特徴量記憶部24dに記憶させる。
【0189】
次に、分類器学習部25dが、学習用特徴量記憶部24dから学習用画像の各特異点の特徴量を入力し、子個体群記憶部122dにおける分類用の子個体情報に含まれる分類器の機械学習を実行する(ステップ125)。
そして、分類器学習部25dは、学習済み分類器を学習済み分類器記憶部26dに記憶させる。
【0190】
次に、検証用特徴量計算部35dが、特異点探索結果記憶部20dから検証用画像の特異点探索結果を入力し、子個体群記憶部122dにおける分類用の子個体情報の各ノード(分類器を除く)を順次実行することにより、検証用画像の各特異点の特徴量を計算する(ステップ126)。
そして、検証用特徴量計算部35dは、算出された検証用画像の各特異点の特徴量を検証用特徴量記憶部36dに記憶させる。
【0191】
次に、分類処理部37dが、検証用特徴量記憶部36dから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部26dに記憶された学習済み分類器により特異点を分類して、分類結果を分類結果記憶部27dに記憶させる(ステップ127)。
【0192】
次に、分類評価値計算部28dが、分類結果記憶部27dから分類結果を入力すると共に、比較情報記憶部18dからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29dに記憶させる(ステップ128)。
そして、子個体群記憶部122dにおける全ての分類用の子個体情報について、ステップ124からステップ128までの処理を繰り返し実行する。
【0193】
さらに、分類評価値計算部28dは、分類評価結果記憶部29dに記憶されている分類評価値にもとづいて、分類用の子個体情報の順位付けを行い、その結果を分類評価結果記憶部29dに記憶させる(ステップ129)。
【0194】
次に、最良組合せ判定部33dが、探索評価結果記憶部22dから特異点探索用の子個体情報の順位付け情報を入力すると共に、分類評価結果記憶部29dから分類用の子個体情報の順位付けを入力して、特異点探索用の子個体情報と分類用の子個体情報の最良の組合せを判定する(ステップ130)。
そして、最良組合せ判定部33dは、最良の組合せ情報を含む組合せ判定結果を組合せ判定結果記憶部34dに記憶させる。また、組合せ判定結果には、特異点探索用の子個体情報と分類用の子個体情報の順位付け情報を含めることができる。
【0195】
そして、遺伝子操作部32dは、組合せ判定結果記憶部34dにおける組合せ判定結果にもとづいて、特異点探索用の子個体情報と分類用の子個体情報のそれぞれについて、一番評価値の良い子個体情報及び確率で選択された子個体情報を、ステップ116において親個体群から選択された親個体情報の一部と入れ替えることなどによって、個体群記憶部12dにおける親個体群記憶部121dの親個体情報を更新することができる(ステップ131)。
【0196】
遺伝子操作部32dのこのような処理によって、個体群記憶部12dにおける親個体群記憶部121dに新たな世代としての親個体群の個体情報を追加することができる。
そして、世代ループを繰り返すことで、個体群記憶部12dにおいて、新たな世代の親個体群の個体情報を順次追加することができる。
【0197】
また、最良組合せ判定部33dは、終了条件が満たされているか否かの判定処理を行い(ステップ132)、終了条件が満たされている場合、画像処理装置1dによる処理を終了する。
以上の処理の結果、組合せ判定結果記憶部34dにはどの個体情報の組合せが最適であるかが記憶され、個体群記憶部12dには最適化された特異点探索用の子個体情報と分類用の子個体情報が記憶される。
【0198】
このような本実施形態の画像処理装置によれば、マハラノビスタグチ法、one class サポートベクターマシン、オートエンコーダ、混合ガウス法、k-meansなどの教師なし学習を行う分類器を用いる場合において、特異点の探索、特異点の特徴量計算、及び特異点の分類の相乗効果及び分類精度を、遺伝的操作を用いて最適化することが可能となり、また特異点探索用の個体情報と分類用の個体情報を分離しつつ、その組合せを進化的計算に反映することが可能となる。
【0199】
例えば、特異点探索において評価の悪い子個体情報に対しては、子個体群(分類)ループ処理を実施しないようにするなど、計算時間の短時間化が可能である。また、評価の良い特異点探索用の子個体情報について、最適な分類用の子個体情報を集中的に探索できるため、画像処理装置の性能をより向上させることが可能である。さらに、このような教師なし学習を用いることで、画像に写る検出対象のラベリング作業を行うことなく、特異点探索における偽陽性に対する修正を行うことが可能となる。
【0200】
[第六実施形態]
次に、本発明の第六実施形態に係る画像処理システム、及び画像処理プログラムについて、
図16を参照して説明する。
図16は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
【0201】
本実施形態の画像処理装置1eは、
図16に示すように、第四実施形態と比較して、特異点分割部38eをさらに備えている点で相違している。
本実施形態の画像処理装置1eにおけるその他の構成については、以下に説明する点を除いて、第四実施形態と同様のものとすることができる。
【0202】
本実施形態において、個体情報の分類用ノード領域における分類器にもとづく分類処理については、教師なし学習が行われる。
また、本実施形態において、個体情報は、特異点探索用ノード領域と分類用ノード領域が連続して配置された遺伝子連続型である。
【0203】
特異点分割部38eは、教師情報記憶部16eから教師情報を入力すると共に、これに対応する特異点探索結果を特異点探索結果記憶部20eから入力して、その特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割して、特異点探索結果記憶部20eに記憶させる。
ここで、探索して得られた特異点は、教師情報にもとづき良品と不良品に分類できる。そこで、特異点分割部38eにより、特異点探索結果を例えば良品の特異点情報を示す学習用特異点探索結果と、良品及び不良品の特異点情報を示す検証用特異点探索結果とに分割することで、これらを用いて教師なし学習の分類器の学習を実行可能にしている。
【0204】
学習用特徴量計算部23eは、特異点探索結果記憶部20eから学習用特異点探索結果を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各学習用特異点の特徴量を計算する。
学習用特徴量計算部23eは、算出された各学習用特異点の特徴量を個体情報ごと且つ画像ごとに且つ特異点ごとに学習用特徴量記憶部24eに記憶させる。
【0205】
分類器学習部25eは、学習用特徴量記憶部24eから各学習用特異点の特徴量を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行し、学習済み分類器を学習済み分類器記憶部26eに記憶させる。
【0206】
検証用特徴量計算部35eは、特異点探索結果記憶部20eから検証用特異点探索結果を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各検証用特異点の特徴量を計算し、算出された各検証用特異点の特徴量を検証用特徴量記憶部36eに記憶させる。
【0207】
分類処理部37eは、検証用特徴量記憶部36eから各検証用特異点の特徴量を入力し、学習済み分類器記憶部26eに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部27eに記憶させる。
【0208】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図17を参照して説明する。
図17は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0209】
まず、画像処理装置1eにおける画像入力部13eが、学習用画像を入力して、これらを画像記憶部14eに記憶させる(ステップ140)。
次に、特異点探索用の教師情報の入力(ステップ141)から特異点探索結果の評価値計算(ステップ149)までの各処理の内容は、
図13に示す第四実施形態におけるステップ91~99と同様である。
【0210】
次に、特異点分割部38eが、教師情報記憶部16eから教師情報を入力すると共に、これに対応する特異点探索結果を特異点探索結果記憶部20eから入力して、その特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割して、特異点探索結果記憶部20eに記憶させる(ステップ150)。
【0211】
次に、学習用特徴量計算部23eが、特異点探索結果記憶部20eから学習用特異点探索結果を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各学習用特異点の特徴量を計算する(ステップ151)。
そして、学習用特徴量計算部23eは、算出された各学習用特異点の特徴量を学習用特徴量記憶部24eに記憶させる。
【0212】
次に、分類器学習部25eが、学習用特徴量記憶部24eから各学習用特異点の特徴量を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域に含まれる分類器の機械学習を実行する(ステップ152)。
そして、分類器学習部25eは、学習済み分類器を学習済み分類器記憶部26eに記憶させる。
【0213】
次に、検証用特徴量計算部35eが、特異点探索結果記憶部20eから検証用特異点探索結果を入力し、子個体群記憶部122eにおける子個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、各検証用特異点の特徴量を計算する(ステップ153)。
そして、検証用特徴量計算部35eは、算出された各検証用特異点の特徴量を検証用特徴量記憶部36eに記憶させる。
【0214】
次に、分類処理部37eが、検証用特徴量記憶部36eから各検証用特異点の特徴量を入力し、学習済み分類器記憶部26eに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部27eに記憶させる(ステップ154)。
【0215】
次に、分類評価値計算部28eが、分類結果記憶部27eから分類結果を入力すると共に、比較情報記憶部18eからその分類結果に対応する比較情報を入力し、分類結果と比較情報を比較して分類評価値を計算し、算出された評価値を分類評価結果記憶部29eに記憶させる(ステップ155)。
そして、子個体群記憶部122eにおける全ての子個体情報について、ステップ148からステップ155までの処理を繰り返し実行する。
以降の子個体情報の順位付け(ステップ156)から終了判定(ステップ158)までの各処理内容は、第四実施形態におけるステップ105~107と同様である。
【0216】
なお、前述した第五実施形態の画像処理装置1dに特徴量分割部を備えて、
図15の子個体群(分類)ループ(ステップ123)の前に、上記の学習用特異点探索結果と検証用特異点探索結果の分割(ステップ150)を実行し、
図15のステップ124~128に変えて、上記のステップ151~155を実行することで、個体情報が遺伝分離型の場合について、本実施形態を適用することも可能である。
【0217】
このような本実施形態の画像処理システムによれば、教師なし学習を行う分類器を用いる場合において、特異点探索結果を学習用特異点探索結果と検証用特異点探索結果に分割することによって、学習用特異点と検証用特異点の特徴量を効率的に計算することが可能になっている。
すなわち、本実施形態によれば、入力する画像を事前に学習用画像と検証用画像に分割する必要がない。また、特異点の探索結果を用いて学習用特異点と検証用特異点を分割するため、学習用特異点と検証用特異点の数をバランスよく分けることができ、画像処理システムの性能をより向上させることが可能となる。
【0218】
[第七実施形態]
次に、本発明の第七実施形態に係る画像処理システム、及び画像処理プログラムについて、
図18を参照して説明する。
図18は、本実施形態の画像処理システムに対応する画像処理装置の構成を示すブロック図である。
【0219】
本実施形態の画像処理装置1fは、最適化された個体情報と学習済み分類器を用いて、検査対象画像における特異点を分類するものであり、
図18に示すように、個体群記憶部12f、画像入力部13f、画像記憶部14f、特異点探索画像処理部19f、特異点探索結果記憶部20f、特徴量計算部23f、特徴量記憶部24f、学習済み分類器記憶部26f、分類結果記憶部27f、分類処理部37fを備えている。
【0220】
本実施形態の画像処理装置1fにおける画像記憶部14f、特異点探索結果記憶部20f、特徴量記憶部24f、分類結果記憶部27fは、第一実施形態と同様のものとすることができる。また、本実施形態の画像処理装置1fにおけるその他の構成についても、以下に説明する点を除いて、第一実施形態と同様のものとすることができる。
なお、これらの構成を、第一実施形態~第六実施形態の画像処理システムにおいて備えることも好ましい。
【0221】
個体群記憶部12fは、最終的に得られた最適化された個体情報を記憶する。
以下は、個体情報が遺伝子連続型である場合について説明しているが、遺伝子分離型の個体情報についても同様に適用することができる。
画像入力部13fは、検査対象画像を入力して、画像記憶部14fに記憶させる。
学習済み分類器記憶部26fは、最終的に得られた学習済み分類器を記憶する。
【0222】
特異点探索画像処理部19fは、個体群記憶部12fにおける最適化された子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行し、各検査対象画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20fに記憶させる。
【0223】
特徴量計算部23fは、特異点探索結果記憶部20fから特異点探索結果を入力し、個体群記憶部12fにおける最適化された個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、検査対象画像の各特異点の特徴量を計算し、算出された検査対象画像の各特異点の特徴量を特徴量記憶部24fに記憶させる。
【0224】
分類処理部37fは、特徴量記憶部24fから検査対象画像の各特異点の特徴量を入力し、学習済み分類器記憶部26fに記憶された学習済み分類器を実行することにより検査対象画像の各特異点を分類して、分類結果を分類結果記憶部27fに記憶させる。
【0225】
次に、本実施形態の画像処理システムに対応する画像処理装置の処理手順について、
図19を参照して説明する。
図19は、本実施形態の画像処理システムに対応する画像処理装置による処理手順を示すフローチャートである。
【0226】
まず、画像処理装置1fにおける画像入力部13fが、検査対象画像を入力して、画像記憶部14fに記憶させる(ステップ170)。
次に、特異点探索画像処理部19fが、個体群記憶部12fにおける最適化された子個体情報の特異点探索用ノード領域の各ノードにもとづいて、特異点探索画像処理を実行する(ステップ171)。そして、各検査対象画像に対応する特異点探索結果としての画像等を作成して、特異点探索結果記憶部20fに記憶させる。
【0227】
次に、特徴量計算部23fが、特異点探索結果記憶部20fから特異点探索結果を入力し、個体群記憶部12fにおける最適化された個体情報の分類用ノード領域の各ノード(分類器を除く)を順次実行することにより、検証用画像の各特異点の特徴量を計算する(ステップ172)。そして、特徴量計算部23fは、算出された検証用画像の各特異点の特徴量を特徴量記憶部24fに記憶させる。
【0228】
次に、分類処理部37fが、検証用特徴量記憶部36eから検証用画像の各特異点の特徴量を入力し、学習済み分類器記憶部26fに記憶された学習済み分類器を実行することにより特異点を分類して、分類結果を分類結果記憶部27fに記憶させる(ステップ173)。
【0229】
このような本実施形態の画像処理システムによれば、最適化された個体情報と学習済み分類器を用いて、検査対象画像における特異点を分類することが可能である。
【0230】
上記実施形態の画像処理装置は、本発明の画像処理プログラムに制御されたコンピュータを用いて実現することができる。コンピュータのCPUは、画像処理プログラムにもとづいてコンピュータの各構成要素に指令を送り、画像処理装置の動作に必要となる所定の処理、例えば、個体生成処理、特異点探索画像処理、評価値計算処理、特徴量計算処理、分類器学習処理、遺伝子操作処理、最良組合せ判定処理、特異点分割処理等を行わせる。このように、本発明の画像処理装置における各処理、動作は、プログラムとコンピュータとが協働した具体的手段により実現できるものである。
【0231】
プログラムは予めROM、RAM等の記録媒体に格納され、コンピュータに実装された記録媒体から当該コンピュータにプログラムを読み込ませて実行されるが、例えば通信回線を介してコンピュータに読み込ませることもできる。
また、プログラムを格納する記録媒体は、例えば半導体メモリ、磁気ディスク、光ディスク、その他任意のコンピュータで読取り可能な任意の記録手段により構成できる。
【0232】
本発明は、以上の実施形態に限定されるものではなく、本発明の範囲内において、種々の変更実施が可能であることは言うまでもない。
例えば、画像処理装置における各構成を複数の情報処理装置に分散して持たせたり、ノードとして実施形態に示したもの以外のものを含めて使用したりすることができる。また、第一実施形態から第七実施形態の画像処理システムを様々に組み合わせた構成をコンピュータに備えて、各画像処理システムを切替可能にすることも可能である。
【産業上の利用可能性】
【0233】
本発明は、設備や製品などの画像データにもとづき検査などを行う場合であって、画像処理が最適化された画像検査用の情報処理装置を得るために、好適に利用することが可能である。
【符号の説明】
【0234】
1,1a 画像処理装置
10,10a 機能単位記憶部
11,11a 個体生成部
12,12a 個体群記憶部
121a 親個体群記憶部
122a 子個体群記憶部
13,13a 画像入力部
14,14a 画像記憶部
15,15a 教師情報入力部
16,16a 教師情報記憶部
17,17a 比較情報入力部
18,18a 比較情報記憶部
19,19a 特異点探索画像処理部
20,20a 特異点探索結果記憶部
21,21a 探索評価値計算部
22,22a 探索評価結果記憶部
23,23a 特徴量計算部
23c 学習用特徴量計算部
24,24a 特徴量記憶部
24c 学習用特徴量記憶部
25,25a 分類器学習部
26,26a 学習済み分類器記憶部
27,27a 分類結果記憶部
28,28a 分類評価値計算部
29,29a 分類評価結果記憶部
30,30a 個体評価値計算部
31,31a 個体評価結果記憶部
32,32a 遺伝子操作部
33b 最良組合せ判定部
34b 組合せ判定結果記憶部
35c 検証用特徴量計算部
36c 検証用特徴量記憶部
37c 分類処理部
38e 特異点分割部