特開2019-215698(P2019-215698A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アズビル株式会社の特許一覧
<>
  • 特開2019215698-画像検査支援装置および方法 図000003
  • 特開2019215698-画像検査支援装置および方法 図000004
  • 特開2019215698-画像検査支援装置および方法 図000005
  • 特開2019215698-画像検査支援装置および方法 図000006
  • 特開2019215698-画像検査支援装置および方法 図000007
  • 特開2019215698-画像検査支援装置および方法 図000008
  • 特開2019215698-画像検査支援装置および方法 図000009
  • 特開2019215698-画像検査支援装置および方法 図000010
  • 特開2019215698-画像検査支援装置および方法 図000011
  • 特開2019215698-画像検査支援装置および方法 図000012
  • 特開2019215698-画像検査支援装置および方法 図000013
  • 特開2019215698-画像検査支援装置および方法 図000014
  • 特開2019215698-画像検査支援装置および方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-215698(P2019-215698A)
(43)【公開日】2019年12月19日
(54)【発明の名称】画像検査支援装置および方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20191122BHJP
   G06N 20/00 20190101ALI20191122BHJP
   G06N 3/08 20060101ALI20191122BHJP
【FI】
   G06T7/00 350C
   G06N99/00 153
   G06N3/08
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】24
(21)【出願番号】特願2018-112516(P2018-112516)
(22)【出願日】2018年6月13日
(71)【出願人】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】中澤 友哉
(72)【発明者】
【氏名】田原 鉄也
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA23
5L096FA34
5L096GA51
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる画像検査支援装置を提供する。
【解決手段】
画像検査支援装置1は、製品の良否を判別する画像検査装置の学習に用いられた画像を学習してニューラルネットワークを構築し、学習済みのニューラルネットワークを用いて判定用の画像の特徴量を抽出する。画像検査支援装置1は、抽出された判定用の画像の特徴量に基づき画像間の相関性を示す指標値である類似度を算出する。そして、画像検査支援装置1は、算出された類似度と判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する。
【選択図】 図3
【特許請求の範囲】
【請求項1】
学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援装置であって、
学習および判定に用いられる画像を取得する画像取得部と、
取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習部と、
前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、その特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定部と
を備え、
前記取得された判定用の画像は、予め付与されているラベルを含む
ことを特徴とする画像検査支援装置。
【請求項2】
請求項1に記載の画像検査支援装置において、
前記学習部は、
前記学習用の画像を入力として、畳み込み層の演算を行い、前記学習用の画像の特徴量を抽出する第1特徴量抽出部と、
前記第1特徴量抽出部によって抽出された前記特徴量を入力として、前記畳み込み層に対応する逆構造を有する逆畳み込み層の演算を行い、前記学習用の画像が復元された復元画像を出力する画像復元部と、
前記第1特徴量抽出部に入力された前記学習用の画像と、前記復元画像との誤差を算出する誤差算出部と、
算出された前記誤差がより小さくなるように、誤差逆伝搬法を用いて前記畳み込み層および前記逆畳み込み層を学習する誤差逆伝搬部と、
を備え、
前記判定部は、
前記判定用の画像を入力として、前記学習部による学習で得られた学習済みの畳み込み層の演算を行い、前記判定用の画像の特徴量を抽出する第2特徴量抽出部と、
前記第2特徴量抽出部によって抽出された前記特徴量に基づいて前記指標値を算出する類似度算出部と、
前記指標値より、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在し、かつ、その類似する前記他の判定用の画像に付されたラベルと、前記対象とする判定用の画像に付されたラベルとが互いに異なる場合には、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定する分析部と、
前記分析部による判定結果を出力する結果出力部と、
を備える
ことを特徴とする画像検査支援装置。
【請求項3】
請求項2に記載の画像検査支援装置において、
前記分析部は、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在しない場合に、前記対象とする判定用の画像に付されているラベルについて、修正のための確認をしてもよいと判定することを特徴とする画像検査支援装置。
【請求項4】
請求項2または請求項3に記載の画像検査支援装置において、
前記分析部は、
前記類似度算出部によって算出された前記指標値を前記判定用の画像毎に保存する類似度保存部と、
前記指標値に対してしきい値を設定するしきい値設定部と、
前記類似度保存部によって保存された前記指標値と、前記しきい値と、前記判定用の画像に付されたラベルとに基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定するラベル付け判定部と、
を備え、
前記類似度保存部は、前記判定用の画像毎に、前記指標値を用いて、前記対象とする判定用の画像との類似性がより高い前記他の判定用の画像から順に所定の数だけ選択し、選択した前記他の判定用の画像をラベルと共に保存し、
前記ラベル付け判定部は、前記対象とする判定用の画像について算出された前記指標値と、前記しきい値とを比較し、比較の結果に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する
ことを特徴とする画像検査支援装置。
【請求項5】
請求項4に記載の画像検査支援装置において、
前記ラベル付け判定部は、前記対象とする判定用の画像に付されたラベルと、前記類似度保存部に保存されている前記他の判定用の画像に付されたラベルとが互いに異なる場合に、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定することを特徴とする画像検査支援装置。
【請求項6】
請求項2から請求項5のいずれか1項に記載の画像検査支援装置において、
前記結果出力部は、
前記第2特徴量抽出部によって抽出された前記特徴量の次元を圧縮する特徴量圧縮部と、
圧縮された前記特徴量から前記判定用の画像毎の散布図を生成して表示装置に表示させる特徴量可視化部と、
前記表示装置に表示された前記対象とする判定用の画像に対するラベルの修正指示を外部から受け付ける操作部と、
前記修正指示に基づいて、前記対象とする判定用の画像に付されたラベルを修正して、記憶部に記憶するデータ修正部と
を備えることを特徴とする画像検査支援装置。
【請求項7】
学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援方法であって、
学習および判定に用いられる画像を取得する画像取得ステップと、
取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習ステップと、
前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、抽出された特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定ステップと
を備え、
前記取得された判定用の画像は、予め付与されているラベルを含む
ことを特徴とする画像検査支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検査支援装置および方法に関し、特に画像検査に用いる画像に付されたラベルの確認を支援する技術に関する。
【背景技術】
【0002】
従来より、人が目視で行っていた製品の検査を自動化する手法として、検査対象の画像を用いて製品が良品であるか不良品であるかを判別する画像検査が知られている。
【0003】
近年、ディープラーニングに代表される機械学習の進展により、学習型の画像検査手法が開発されている。これは、事前に良品、不良品の区別がラベル付けされた画像を用いて良品と不良品との特徴の違いを学習し、学習した結果を用いて製品の検査を行うものである。この手法は、検査対象や画像処理に関する深い知識がなくても、学習用の画像を用意すれば画像検査が可能という長所がある。
【0004】
学習には、良品または不良品の区別がラベル付けされた画像が必要である。このようなデータは自動で生成できないことも多く、人が目視で検査した結果を用いて画像にラベル付けしなければならないことも多い。
【0005】
画像を用いて製品が良品か不良品であるかを判別する画像検査システムにおいて、アルゴリズムに機械学習を用いる場合、画像に付されたラベルの正確さは判別性能に大きく影響する。しかし、前述のように画像に対するラベル付けを人手で行う場合、ラベル付けにミスが生じやすい。また、一度画像にラベル付けをしてしまうと、その後の工程で直接ラベル付けされた画像を確認することはほとんどない。そのため、そのミスに気付かずに学習に使用してしまい、判別性能に大きく影響を与えてしまうことがある。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】Pascal Vincent, Hugo Larochelle,Isabelle Lajoie,Yoshua Bengio,and Pierre−Antoine Manzagol.Stacked denoising autoencoders:Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research,11(Dec):3371−3408,2010.
【非特許文献2】L.J.P.van der Maaten and G.E.Hinton.Visualizing High−Dimensional Data Using t−SNE.Journal of Machine Learning Research 9(Nov):2579−2605,2008.
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の学習型の画像検査システムにおいて、ラベル付けの誤りに起因した判別精度の低下を抑制するためには、そのようなラベル付けの誤りを確認する作業が必要となる。一般にディープラーニングを用いた機械学習には大量のデータが必要である。学習型の画像検査システムにおいても大量の画像データが用意されることから、これらの画像の全てを一枚一枚確認する必要がある。しかし、この大量の画像を作業者が目視で確認するには、多大な工数と労力が必要となる問題があった。
【0008】
本発明は、上述した課題を解決するためになされたものであり、画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる画像検査支援装置を提供する。
【課題を解決するための手段】
【0009】
上述した課題を解決するために、本発明に係る画像検査支援装置は、学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援装置であって、学習および判定に用いられる画像を取得する画像取得部と、取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習部と、前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、その特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定部とを備え、前記取得された判定用の画像は、予め付与されているラベルを含むことを特徴とする。
【0010】
また、本発明に係る画像検査支援装置において、前記学習部は、前記学習用の画像を入力として、畳み込み層の演算を行い、前記学習用の画像の特徴量を抽出する第1特徴量抽出部と、前記第1特徴量抽出部によって抽出された前記特徴量を入力として、前記畳み込み層に対応する逆構造を有する逆畳み込み層の演算を行い、前記学習用の画像が復元された復元画像を出力する画像復元部と、前記第1特徴量抽出部に入力された前記学習用の画像と、前記復元画像との誤差を算出する誤差算出部と、算出された前記誤差がより小さくなるように、誤差逆伝搬法を用いて前記畳み込み層および前記逆畳み込み層を学習する誤差逆伝搬部と、を備え、前記判定部は、前記判定用の画像を入力として、前記学習部による学習で得られた学習済みの畳み込み層の演算を行い、前記判定用の画像の特徴量を抽出する第2特徴量抽出部と、前記第2特徴量抽出部によって抽出された前記特徴量に基づいて前記指標値を算出する類似度算出部と、前記指標値より、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在し、かつ、その類似する前記他の判定用の画像に付されたラベルと、前記対象とする判定用の画像に付されたラベルとが互いに異なる場合には、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定する分析部と、前記分析部による判定結果を出力する結果出力部と、を備えていてもよい。
【0011】
また、本発明に係る画像検査支援装置において、前記分析部は、前記対象とする判定用の画像と類似する前記他の判定用の画像が存在しない場合に、前記対象とする判定用の画像に付されているラベルについて、修正のための確認をしてもよいと判定してもよい。
【0012】
また、本発明に係る画像検査支援装置において、前記分析部は、前記類似度算出部によって算出された前記指標値を前記判定用の画像毎に保存する類似度保存部と、前記指標値に対してしきい値を設定するしきい値設定部と、前記類似度保存部によって保存された前記指標値と、前記しきい値と、前記判定用の画像に付されたラベルとに基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定するラベル付け判定部と、を備え、前記類似度保存部は、前記判定用の画像毎に、前記指標値を用いて、前記対象とする判定用の画像との類似性がより高い前記他の判定用の画像から順に所定の数だけ選択し、選択した前記他の判定用の画像をラベルと共に保存し、前記ラベル付け判定部は、前記対象とする判定用の画像について算出された前記指標値と、前記しきい値とを比較し、比較の結果に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定してもよい。
【0013】
また、本発明に係る画像検査支援装置において、前記ラベル付け判定部は、前記対象とする判定用の画像に付されたラベルと、前記類似度保存部に保存されている前記他の判定用の画像に付されたラベルとが互いに異なる場合に、前記対象とする判定用の画像に付されたラベルは修正のための確認が必要であると判定してもよい。
【0014】
また、本発明に係る画像検査支援装置において、前記結果出力部は、前記第2特徴量抽出部によって抽出された前記特徴量の次元を圧縮する特徴量圧縮部と、圧縮された前記特徴量から前記判定用の画像毎の散布図を生成して表示装置に表示させる特徴量可視化部と、前記表示装置に表示された前記対象とする判定用の画像に対するラベルの修正指示を外部から受け付ける操作部と、前記修正指示に基づいて、前記対象とする判定用の画像に付されたラベルを修正して、記憶部に記憶するデータ修正部とを備えていてもよい。
【0015】
また、本発明に係る画像検査支援方法は、学習型の画像検査装置の学習で用いられる画像に付されたラベルの確認を支援する画像検査支援方法であって、学習および判定に用いられる画像を取得する画像取得ステップと、取得された学習用の画像に基づいてニューラルネットワークの学習を行い、前記学習用の画像が復元できる特徴量を出力する学習済みのニューラルネットワークを構築する学習ステップと、前記学習済みのニューラルネットワークを用いて、取得された判定用の画像の特徴量を抽出し、抽出された特徴量から算出された、対象とする判定用の画像と他の判定用の画像のそれぞれとの互いの相関性を示す指標値に基づいて、前記対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定して判定結果を出力する判定ステップとを備え、前記取得された判定用の画像は、予め付与されているラベルを含むことを特徴とする。
【発明の効果】
【0016】
本発明によれば、画像に基づいて学習したニューラルネットワークで抽出した判定用の画像の特徴量から画像間の相関性を示す指標値を算出し、その指標値に基づいて、判定用の画像に付されたラベルを修正するための確認の要否を判定するので、画像に付されたラベルの誤りを確認する作業を省力化し、その確認に必要な工数と労力を削減することができる。
【図面の簡単な説明】
【0017】
図1図1は、本発明に係る画像検査支援装置の原理を説明する図である。
図2図2は、本発明に係る画像検査支援装置の原理を説明する図である。
図3図3は、本発明の第1の実施の形態に係る画像検査支援装置の機能ブロック図である。
図4図4は、本発明の第1の実施の形態に係る画像検査支援装置のハードウェア構成を示すブロック図である。
図5図5は、本発明の第1の実施の形態に係る画像検査支援装置の全体の動作を説明するフローチャートである。
図6図6は、本発明の第1の実施の形態に係る学習処理を説明するフローチャートである。
図7図7は、本発明の第1の実施の形態に係る判定処理を説明するフローチャートである。
図8図8は、本発明の第2の実施の形態に係る画像検査支援装置の機能ブロック図である。
図9図9は、本発明の第2の実施の形態に係る判定処理を説明するフローチャートである。
図10図10は、本発明の第3の実施の形態に係る画像検査支援装置の機能ブロック図である。
図11図11は、本発明の第3の実施の形態に係る判定処理を説明するフローチャートである。
図12図12は、本発明の第3の実施の形態に係る表示処理を説明するフローチャートである。
図13図13は、本発明の第3の実施の形態に係る結果出力部による表示例を示す図である。
【発明を実施するための形態】
【0018】
[発明の原理]
はじめに、本発明の原理について説明する。
学習型の画像検査の学習に用いられる画像においては、各画像によく似た別の画像が存在することが多い。そして、このよく似た画像同士でラベル付けが同じならば、それらがラベル付けを誤っている可能性は非常に低い。なぜならば、一枚一枚ではたまたま作業者が画像を誤認する可能性があったとしても、同じ誤りを別の似た画像に対して何枚も繰り返すことはあまりないと考えるからである。
【0019】
この考えを利用すると、互いに類似した画像が存在し、かつ、それらの画像に付されたラベルが一定していれば、その全ての画像に付されたラベルを確認する必要はないということになる。一方、この条件に該当しない画像のラベルだけを確認すればよいので、作業者においてラベル付けの誤りを確認する作業が大幅に軽減される。
【0020】
図1は上記の本発明の原理をまとめた説明図である。類似画像が何枚か存在し、それらの画像間でラベルが一貫していれば、類似する全ての画像に付されているラベルの確認は不要である。類似画像が存在しており、その画像間でラベルが互いに一定でない場合は、似た画像間で異なるラベル付けをしている恐れがあるので、それらの画像のラベルを確認する必要がある。また、類似画像の数がごく少ない場合は、対象となる画像に付されたラベルの確認の要否について、類似画像に付されているラベルを参考にできないので、ラベル付けの誤りが無いことを保証できない。この場合にも、対象となる画像のラベルを確認する方が望ましいといえる。
【0021】
ところで、上述したような、画像に付されたラベルの誤りを確認する方法を実現するためには、人による目視で似ていると感じる画像を自動で見つけられるようにする必要がある。そこで、発明者らは、図2に示すような、ラベル情報に依存せず画像だけで学習できるニューラルネットワークに着目した。
【0022】
図2に示すニューラルネットワークの例としては、入力した画像を復元するように学習するオートエンコーダ、特に畳み込み型自己符号化器や、敵対的生成ネットワーク(GAN)などが挙げられる。これらのニューラルネットワークは、復元画像が入力画像とできるだけ近くなるようにニューラルネットワークを学習する。そのため、これらのニューラルネットワークによって生成される変数は、人による目視で似ているかどうかを反映するような特徴量になっていることが期待できる。この特徴量に基づいて類似画像かどうかを判定することで、人が目視で似ていると感じる画像を抽出することを可能にする。
【0023】
ここで、画像だけで学習したニューラルネットワークによって特徴量が生成されることに意味がある。同様な特徴量は学習型の画像検査システム内部にも存在するが、これらの特徴量はラベル付けされたデータの学習によって生成されるので、ラベルに依存した特徴量となっており、ラベル付けの誤りを見つけるために使うには適さない。
【0024】
また、人が経験等によって手動で特徴量を設定するのは、特徴量の開発と調整に時間がかかる可能性があり、工数と労力を削減するという本発明の目的と合わない。本発明は画像だけで学習したニューラルネットワークによって生成された特徴量を用いるので、ラベルに依存せず、かつ、製品の知識が不要である。よって、ラベル付けを誤った画像を自動で発見するのに適している。
【0025】
以上説明した本発明の特徴は、以下の2点にまとめることができる。
(i)個々の学習用の画像について、類似画像の有無と、類似画像に付されたラベルとの一貫性を調べ、確認が必要な画像を絞り込む。
(ii)類似画像かどうかの判断を、ラベルに依存せず画像だけで学習可能なニューラルネットワークにより抽出された特徴量に基づいて行う。
【0026】
以下、本発明の好適な実施の形態について、図3から図13を参照して詳細に説明する。
【0027】
[第1の実施の形態]
図3は、本発明の第1の実施の形態に係る画像検査支援装置1の機能ブロック図である。
画像検査支援装置1は、製品の良否を判別する画像検査装置の学習に用いられた画像を学習してニューラルネットワークを構築し、学習済みのニューラルネットワークを用いて判定用の画像の特徴量を抽出する。画像検査支援装置1は、抽出された判定用の画像の特徴量に基づき画像間の相関性を示す指標値である類似度を算出する。そして、画像検査支援装置1は、算出された類似度と判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルを修正するための確認の要否を判定する。
【0028】
[画像検査支援装置の機能ブロック]
画像検査支援装置1は、画像取得部10、前処理部11、記憶部12、学習部13、および判定部14を備える。
【0029】
画像取得部10は、製品の良否を判別する学習型の画像検査装置(図示しない)の学習に用いられた画像を、通信ネットワークを介して画像検査装置や外部の記憶装置から取得する。より詳細には、画像取得部10は、後述する学習部13が学習に用いる学習用の画像を取得する。また、画像取得部10は、後述する判定部14がラベルの確認の要否を判定する対象である判定用の画像を取得する。判定用の画像には、予めラベルが付与されている。
【0030】
画像取得部10が取得する学習用の画像は、ラベル付けを確認する対象となる全ての画像を含むのが一般的である。なお、画像取得部10は、学習用の画像として、同じ検査対象が撮像されている異なる画像を取得してもよい。例えば、同じ検査対象だがラベル付けされていない画像を加えて、画像検査支援装置1における学習データの量を増やすことも可能である。
【0031】
前処理部11は、画像取得部10によって取得された画像の前処理を必要に応じて行う。より詳細には、前処理部11は、画像取得部10によって取得された画像に対して、フィルタリングなどによるノイズの除去や画像の明るさの正規化などを行う。
【0032】
記憶部12は、画像取得部10によって取得され、前処理部11によって前処理が行われた画像を記憶する。また、記憶部12は、後述する学習部13や判定部14によって用いられるニューラルネットワークに関する情報や、抽出された特徴量などの演算結果を記憶する。また、記憶部12は、後述する分析部142によって用いられる予め設定された判定の基準を記憶する。
【0033】
学習部13は、第1特徴量抽出部130、画像復元部131、誤差算出部132、および誤差逆伝搬部133を備える。
【0034】
学習部13は、学習用の画像の特徴量を学習する。より詳細には、学習部13は、ラベルに依存せず教師なしで学習できるニューラルネットワークであるオートエンコーダ(自己符号化器)、その中でも畳み込み層を有する畳み込み型自己符号化器(非特許文献1参照)を用いて画像の特徴量を学習する。
【0035】
学習部13が用いる自己符号化器とは、入力した画像データを復元するように学習するニューラルネットワークである。自己符号化器は学習にラベルを必要としないという特徴があり、本発明ではこの点に着目している。
【0036】
第1特徴量抽出部130は、少なくとも1層の畳み込み層により構成され、画像復元部131は、少なくとも1層の逆畳み込み層で構成され、学習部13の畳み込み型自己符号化器を実現する。画像復元部131を構成する逆畳み込み層は、第1特徴量抽出部130を構成する畳み込み層に対応する逆構造を有する。
【0037】
第1特徴量抽出部130は、画像取得部10によって取得された学習用の画像を入力として、畳み込み層の演算を行い、入力画像の特徴量を抽出する。第1特徴量抽出部130によって抽出された特徴量は、後に判定部14によって、ラベル付けの確認の要否を判定する際に用いられる。
【0038】
画像復元部131は、第1特徴量抽出部130によって抽出された特徴量を入力として、逆畳み込み層の演算を行い、学習用の画像を復元した復元画像を出力する。
【0039】
誤差算出部132と誤差逆伝搬部133とは、第1特徴量抽出部130および画像復元部131を学習させる。
誤差算出部132は、第1特徴量抽出部130に入力された画像と画像復元部131によって復元された復元画像との誤差を算出する。
【0040】
誤差逆伝搬部133は、第1特徴量抽出部130および画像復元部131の学習を行う。より詳細には、誤差逆伝搬部133は、誤差算出部132によって算出された画像の誤差が十分に小さくなるように第1特徴量抽出部130および画像復元部131を構成する畳み込み型自己符号化器のパラメータの値を調整する。誤差逆伝搬部133は、例えば、よく知られている誤差逆伝搬法を用いて学習を行う。
【0041】
誤差算出部132および誤差逆伝搬部133は、第1特徴量抽出部130に入力された画像と画像復元部131によって復元された画像との誤差が十分に小さくなるまで反復して学習を行い、その誤差が十分に小さくなれば学習は完了とする。
【0042】
判定部14は、第2特徴量抽出部140、類似度算出部141、分析部142、および結果出力部143を備える。
判定部14は、学習部13によって学習された画像の特徴量を用いて、判定用の画像に付されたラベルを修正するための確認が必要か否かを判定する。
【0043】
第2特徴量抽出部140は、画像取得部10によって取得されたラベルの確認の要否を判定する対象となる画像を入力とし、画像の特徴量を抽出する。より詳細には、第2特徴量抽出部140は、学習部13によって学習された畳み込み層の演算を行い、判定用の画像の特徴量を抽出する。すなわち、第2特徴量抽出部140は、学習済みの第1特徴量抽出部を利用する。
【0044】
類似度算出部141は、第2特徴量抽出部140によって抽出された画像の特徴量から対象とする判定用の画像と他の判定用の画像それぞれとの相関性を示す指標値である類似度を算出する。
【0045】
より詳細には、類似度算出部141は、第2特徴量抽出部140によって抽出された特徴量の次元が大きすぎる場合には、特徴量の次元圧縮を行ってから類似度を算出してもよい。これにより、第2特徴量抽出部140によって抽出された特徴量の次元が大きすぎる場合に、この後の処理で膨大な計算時間が必要となることを防止できる。具体的には、類似度算出部141は、主成分分析(PCA:Principal Component Analysis)によって特徴量の次元圧縮を行う。なお、不要であればこの処理は省略してよい。
【0046】
類似度算出部141によって算出される類似度は、2つの画像が類似しているかどうかを判断する際に使用される指標である。本実施の形態では、画像間の類似度が高いほど2つの画像が互いに類似しているものとして説明する。
【0047】
類似度算出部141が算出する画像間の類似度としては、例えば、ユークリッド距離やマハラノビス距離といった、2つのデータ間の相関性を数値化できるものを用いる。類似度算出部141は、画像間の類似度の算出を、画像取得部10によって取得された画像の全てについて予め行って、類似度を記憶部12に記憶してもよい。また、後述する分析部142において類似度の値が必要となる都度、類似度を算出してもよい。なお、類似度算出部141は、上記類似度に相当する指標値を算出してもよい。
【0048】
分析部142は、類似度算出部141によって算出された判定用の画像間の類似度と、判定用の画像に付されたラベルとに基づいて、対象となる判定用の画像に付されたラベルを修正するための確認の要否を判定する。
【0049】
分析部142は、算出された類似度に関する所定の条件に基づいて、画像に付されたラベルの確認が不要である、画像に付されたラベルの確認が必要である、または必要に応じて画像に付されたラベルの確認をしてもよい旨の判定を行う。
【0050】
分析部142は、対象とする判定用の画像について、画像取得部10によって取得された、その対象とする判定用の画像以外の他の判定用の画像のうち、予め設定された基準値を満たした類似度を有する画像が存在するか否かを上記所定の条件として用いる。
【0051】
より詳細には、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、それらの他の判定用の画像には全て同じラベルが付されている場合、分析部142は、対象とする判定用の画像に付されたラベルは誤っている可能性は低いため、対象とする判定用の画像におけるラベルの確認は不要であると判定する。すなわち、互いに類似する画像に対して同一のラベルが付されている場合には、対象とする判定用の画像のラベルの再確認は不要とする。
【0052】
また、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、それらの他の判定用の画像の中に、対象とする判定用の画像のラベルとは異なるラベルが付された画像が存在する場合、分析部142は、対象とする判定用の画像に付されたラベルは誤っている可能性が高いため、その画像のラベルの確認が必要であると判定する。すなわち、互いに類似する画像に対して異なるラベルが付されている場合には、対象とする判定用の画像のラベルの再確認を必要とする。
【0053】
また、予め設定された基準値を満たした類似度を有する他の判定用の画像が存在し、かつ、他の判定用の画像数が所定の枚数以下しか存在しない場合、分析部142は、対象とする判定用の画像に類似する画像が十分に存在しないため、ラベル付けの確認の要否の判定はできない状態であると分析する。この場合、分析部142は、対象とする判定用の画像について付されたラベルの再確認は強く推奨される状態ではないが、潜在的なラベル付けの誤りが含まれる恐れを否定できないため、必要に応じたラベルの確認をしてもよいとの判定を行う。なお、基準値を満たした類似度を有する他の判定用の画像が1枚も存在しない場合についても同様に判定の対象となる。
【0054】
結果出力部143は、分析部142による判定結果を出力する。より具体的には、結果出力部143は、少なくとも分析部142によってラベルの確認が必要であると判定された画像に関する情報を、後述する表示装置107の所定の画面に表示する。結果出力部143は、必要に応じてラベルの確認をしてもよいと分析部142により判定された画像に関する情報ついても、表示装置107の所定の画面に表示してもよい。結果出力部143は、表示装置107の画面に判定結果を表示する他、記憶部12の所定の領域においてファイルやデータベースとして記録してもよい。
【0055】
[画像検査支援装置のハードウェア構成]
次に、上述した機能を有する画像検査支援装置1のハードウェア構成について図4を参照して説明する。
画像検査支援装置1は、バス101を介して接続されるCPU103と主記憶装置104とを有する演算装置102、通信制御装置105、外部記憶装置106、表示装置107、入力装置108等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【0056】
CPU103と主記憶装置104とは、演算装置102を構成する。主記憶装置104には、CPU103が各種制御や演算を行うためのプログラムが予め格納されている。なお、演算装置102は、CPU103の他、必要に応じてGPU(Graphics Processing Unit)を用いてもよい。
【0057】
通信制御装置105は、画像検査支援装置1と各種外部電子機器との間を通信ネットワークNWを介して接続するための制御装置である。通信制御装置105は、通信ネットワークNWを介して外部に設置された画像検査装置やサーバなどからラベル付けされた画像を受信してもよい。また、通信制御装置105は、画像検査支援装置1によって得られた判定用の画像に付されたラベルの確認についての要否を示す判定結果を、通信ネットワークNWを介して外部の機器などに送信してもよい。
【0058】
外部記憶装置106は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置106には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置106は、画像データ記憶部106a、設定情報記憶部106b、学習情報記憶部106c、判定情報記憶部106d、プログラム格納部106e、図示しないその他の格納装置で、例えば、この外部記憶装置106内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。
【0059】
画像データ記憶部106aは、図3で説明した画像取得部10によって外部の画像検査装置や記憶装置などから取得された画像を記憶する。画像データ記憶部106aは、画像とその画像に付与されたラベルと画像のタイトルを含む画像データを記憶する。
【0060】
設定情報記憶部106bは、図3で説明した学習部13および判定部14が用いるニューラルネットワークに関する設定情報や、判定部14の分析部142が用いる基準や所定の条件など画像検査支援装置1における各種設定情報を記憶する。
【0061】
学習情報記憶部106cは、図3で説明した学習部13によって抽出された特徴量などの情報を記憶する。
判定情報記憶部106dは、図3で説明した判定部14による判定結果などを記憶する。
なお、画像データ記憶部106a、設定情報記憶部106b、学習情報記憶部106c、および判定情報記憶部106dは、図3で説明した記憶部12に対応する。
【0062】
プログラム格納部106eには、本実施の形態における画像の取得処理、学習処理、類似度算出処理、判定処理など画像検査支援装置1が画像検査の支援に必要な演算処理を実行するための各種プログラムが格納されている。
【0063】
表示装置107は、例えば、図3で説明した結果出力部143の表示画面を構成する。表示装置107は液晶ディスプレイなどによって実現される。
【0064】
入力装置108は、キーボード、マウス、タッチパネルなどにより構成される。入力装置108は、作業者のキー入力、アイコンなどのクリック、タッチパネルのタッチ位置に対応した機能や操作入力を受け付ける。
【0065】
[画像検査支援装置の動作]
上述した構成を有する画像検査支援装置1の動作について図5から図7のフローチャートを参照して説明する。
【0066】
まず、画像検査支援装置1の動作の全体について図5を用いて説明する。
画像取得部10は、外部の画像検査装置や記憶装置などから検査対象の画像を複数取得する(ステップS1)。次に、前処理部11は、画像取得部10によって取得された画像のフィルタリングや正規化などを行い、必要に応じた画像の前処理を行う(ステップS2)。前処理がなされた画像は記憶部12に記憶される。
【0067】
なお、画像取得部10が取得する学習用の画像は、ラベル付けを確認する対象となる全ての判定用の画像を含む。以下、学習用および判定用には予め付与されたラベル情報が含まれており、学習用の画像および判定用の画像を単に「画像」と称することがある。
【0068】
次に、画像検査支援装置1の演算装置102は、学習部13によって既に画像の特徴量を抽出する特徴量抽出器が学習済みである場合には(ステップS3:YES)、判定部14による判定処理に移行する(ステップS5)。一方、特徴量抽出器を未だ学習していない場合には(ステップS3:NO)、学習部13による学習処理に移行する(ステップS4)。
【0069】
学習部13によって学習処理が実行されると(ステップS4)、判定部14により判定用の画像に付されたラベルを修正するための確認が必要であるか否かを判定する判定処理が実行され(ステップS5)、処理は終了する。
【0070】
[学習処理]
次に、学習部13による学習処理(ステップS4)について図6を参照してより詳細に説明する。
まず、第1特徴量抽出部130は、画像取得部10によって取得された学習用の画像を入力として、画像の特徴量を抽出する(ステップS40)。次に、画像復元部131は、ステップS40で抽出された画像の特徴量を入力として、画像を復元する(ステップS41)。
【0071】
その後、誤差算出部132は、第1特徴量抽出部130に入力された画像と、画像復元部131から出力された復元画像との誤差を算出する(ステップS42)。次に、誤差逆伝搬部133は、誤差算出部132によって算出された入力画像と復元画像との誤差が減少するように、よく知られている誤差逆伝搬法を用いて第1特徴量抽出部130および画像復元部131を構成する畳み込み層および逆畳み込み層の学習を行う(ステップS44)。
【0072】
誤差逆伝搬部133によって畳み込み層および逆畳み込み層が学習されてパラメータの値が更新されると、再び、ステップS40からステップS44までの処理が繰り返えし実行される。その後、誤差算出部132は、再度算出された、入力画像と復元画像との誤差が十分に小さくなると(ステップS45:YES)、学習は完了し、判定部14による判定処理(ステップS5)に移行する。
【0073】
なお、誤差逆伝搬部133によって入力画像と復元画像との誤差が小さくなるように更新され最終的に決定された畳み込み層および逆畳み込み層を含むニューラルネットワークのパラメータの値は、特徴量を示す情報として記憶部12に記憶される。
【0074】
[判定処理]
次に、判定部14によって実行される判定処理(ステップS5)について図7を参照してより詳細に説明する。
まず、第2特徴量抽出部140は、ステップS1で画像取得部10が取得した判定用の画像を入力とし、学習部13による学習で得られた畳み込み層の演算を行い、判定用の画像の特徴量を抽出する(ステップS50)。
【0075】
次に、類似度算出部141は、類似度を算出する前に、必要に応じてステップS50で抽出された判定用の画像の特徴量についての次元圧縮を行う(ステップS51)。類似度算出部141は、PCAにより特徴量の次元圧縮を行えばよい。
【0076】
次に、類似度算出部141は、ステップS51で次元が圧縮された特徴量に基づいて、判定用の画像間の類似度を算出する(ステップS52)。類似度算出部141は、例えば、ユークリッド距離を用いて判定用の画像同士の相関関係を示す指標である類似度を判定用の画像ごとに算出する。より詳細には、類似度算出部141は、ステップS50で抽出され、ステップS51で次元圧縮された判定用の画像の特徴量の類似度を算出する。
【0077】
次に、分析部142は、ステップS52で算出された、判定用の画像の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する(ステップS53)。より詳細には、分析部142は、ステップS52で算出された、判定用の画像の類似度に関する所定の条件に基づいて、対象とする判定用の画像に付されたラベルの確認が不要である、画像に付されたラベルの確認が必要である、または必要に応じて画像に付されたラベルの確認をしてもよい旨の判定を行う。
【0078】
具体的には、分析部142は、判定に用いる所定の条件を記憶部12から読み出す。所定の条件とは、対象とする判定用の画像について算出された類似度に対して予め設定された基準値を満たす類似度を有する他の判定用の画像が存在するか、あるいは一定の枚数以下しか存在しないことである。
【0079】
そして、ステップS52で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部12に存在し、かつ、それらの他の判定用の画像に全て同じラベルが付されている場合、分析部142は、対象とする判定用の画像に付されたラベルは誤っている可能性が低いと分析する。この場合、分析部142は、対象とする判定用の画像のラベルの確認は不要であると判定する。
【0080】
また、ステップS52で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部12に存在し、かつ、それらの他の判定用の画像の中に異なるラベルが付された画像が存在する場合、分析部142は、対象とする判定用の画像に付されたラベルは誤っている可能性が高いと分析する。この場合、分析部142は、対象とする判定用の画像のラベルの確認が必要であると判定する。
【0081】
また、ステップS52で算出された、対象とする判定用の画像の類似度に対して予め設定された基準値を満たした類似度を有する他の判定用の画像が記憶部12に存在するが、それらの他の判定用の画像数が所定の枚数以下しか存在しない場合、分析部142は、対象とする判定用の画像に類似する画像が十分に存在しないため、ラベル付けの確認の要否の判定はできない状態にあると分析する。この場合、分析部142は、必要に応じたラベル付けの確認をしてもよいとの判定を行う。
【0082】
分析部142による判定結果は、記憶部12に記憶される。
その後、結果出力部143は、分析部142による判定結果を出力する(ステップS54)。結果出力部143は、例えば、表示装置107の所定の画面に、ラベルの確認が必要であると判定された画像に関する情報を表示してもよい。
【0083】
以上説明したように、第1の実施の形態によれば、画像検査支援装置1は、ラベル付けされた画像の特徴量を画像のみに基づいて学習し、学習により構築されたニューラルネットワークを用いて判定用の画像の特徴量を抽出する。さらに、画像検査支援装置1は、抽出された判定用の画像の特徴量に基づいて、画像間の類似度を算出し、判定用の画像の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定し、判定結果を出力する。
【0084】
そのため、ラベル付けが誤っている画像についてのラベルの確認作業が省力化され、その確認に必要な工数と労力を削減することができる。また、画像検査支援装置1は、ラベル付けされている画像を入力画像として用いることで、ラベル付けの確認の要否を示す判定結果の出力まで自動化することが可能となる。したがって、作業者におけるラベル付けの確認作業に要する労力を大幅に削減できる。
【0085】
また、本実施の形態に係る画像検査支援装置1は、ユークリッド距離をはじめとしたアルゴリズムを用いて画像間の類似度を算出する。このような類似度の計算はアルゴリズムとしても単純なものであり、判定部14の実装が容易となる。
【0086】
また、本実施の形態に係る画像検査支援装置1は、画像間の類似度に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定するので、潜在的なラベル付けの誤りも含めて情報を提示することが可能となる。
【0087】
また、本実施の形態に係る画像検査支援装置1は、学習部13によって入力画像の学習を少なくとも1回は行うことが必要であるが、いったん学習用の画像により特徴量抽出器を学習すれば、学習済みの特徴量抽出器による判定用の画像の特徴量抽出と、類似度の計算のみを実行すればよい。そのため、作業者が全て目視により行うラベルの確認作業よりも高速な確認作業が実現される。
【0088】
なお、説明した実施の形態では、分析部142は、対象とする判定用の画像に付されたラベルの確認が不要である旨の判定、対象とする判定用の画像に付されたラベルの確認が必要である旨の判定、または、必要に応じてラベルを確認してもよい旨の判定を行う場合について説明した。しかし、分析部142は、対象とする判定用の画像に付されたラベルの確認が必要である場合だけを検出する構成を採用してもよい。
【0089】
この場合、分析部142は、画像取得部10によって取得された画像のうち、例えば、「不良品」とのラベル付けがされた画像だけを記憶部12から読み出して、互いに類似する画像の中に「良品」とラベル付けされた他の画像の存在を検出して、ラベルの確認が必要な画像として判定すればよい。この構成では、分析部142は、画像取得部10によって取得された画像の全てに対して分析や判定を行う必要がなく、不良品の割合が低いような場合に計算量がより少なくなる利点がある。
【0090】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、以下の説明では、上述した第1の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0091】
第1の実施の形態では、分析部142が記憶部12に記憶されている所定の条件に基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する場合について説明した。これに対し、第2の実施の形態では、分析部142Aはしきい値処理により対象とする判定用の画像に付されたラベルの確認の要否を判定する。第2の実施の形態に係る画像検査支援装置1Aにおいて、分析部142A以外の構成は、第1の実施の形態に係る画像検査支援装置1の構成と同様である。以下、第1の実施の形態と異なる構成を中心に説明する。
【0092】
[分析部の機能ブロック]
分析部142Aは、類似度保存部420、しきい値設定部421、およびラベル付け判定部422を備える。
【0093】
類似度保存部420は、類似度算出部141によって算出された各画像の特徴量に基づく画像同士の類似度について、類似度の高い画像から順に、予め設定された任意の画像数だけ選択し、選択された画像のラベルと類似度とを関連付けて保存する。類似度保存部420が選択する画像の数は最小で1枚、最大でサンプル数−1だけ選択することが可能だが、3−5枚程度の画像を選択することで十分実用できる。
【0094】
しきい値設定部421は、2つの画像が互いに類似しているとする特徴量のしきい値を設定する。しきい値設定部421は、類似度保存部420によって保存された類似度の分布やその統計量などに基づいて、画像の類似度がより低いと判断する値をしきい値として設定してもよい。
【0095】
しきい値設定部421は、設計に応じて適したしきい値を設定すればよく、例えば、類似度の高い画像からソートして、その順位が全画像データの1%に相当する類似度をしきい値に設定してもよい。その他、しきい値設定部421は、類似度保存部420に保存されている類似度に関する情報に基づいて生成される分布グラフや画像の表示に基づいて、作業者が設定したしきい値を入力装置108を介して受け付けてもよい。
【0096】
ラベル付け判定部422は、類似度保存部420に保存されている類似度と、しきい値設定部421によって設定されたしきい値と、判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する。
【0097】
より詳細には、ラベル付け判定部422は、対象とする判定用の画像と類似度が高いとされる画像のラベルが、対象とする判定用の画像に付されたラベルと異なる場合には、対象とする判定用の画像のラベル付けの誤りが疑われると分析し、対象とする判定用の画像のラベルの確認が必要であると判定する。
【0098】
また、ラベル付け判定部422は、類似度算出部141によって算出された類似度がしきい値設定部421により設定されたしきい値を下回っていれば、対象とする判定用の画像はどの他の判定用の画像とも類似度が低いため、対象とする判定用の画像におけるラベル付けには潜在的な誤りがあると分析する。この場合、ラベル付け判定部422は、対象とする判定用の画像については、必要に応じてラベルの確認をしてもよい旨の判定をする。なお、ラベル付け判定部422は、設計に応じて適切な手法を加え、また不要な手法を削除した構成を用いればよい。
【0099】
また、ラベル付け判定部422は、ラベルの確認が必要であると判定した画像のうち、優先的にラベルの確認をすべき画像を選定して出力してもよい。より詳細に説明すると、もしも、対象とする判定用の画像の特徴量と類似度が高いとされる特徴量を有する少なくとも2枚以上の判定用の画像のラベルが、その対象とする判定用の画像のラベルとは異なる場合には、対象とする判定用の画像のラベルの方が誤っている可能性が高い。
【0100】
なぜならば、個々のラベル付けを間違える確率が同じであれば、複数ある他の画像のラベルを全て間違えるよりも、対象とする判定用の画像1枚だけが誤っている可能性の方がより高いと考えられるからである。よって、上記条件に該当する画像を選定して優先的に出力することで、より効率的なラベルの確認や修正が可能となる。
【0101】
また、ラベル付け判定部422は、ラベルの確認が必要である画像として優先的に出力した画像について、ラベルが修正された後に、再び判定を行うと、誤っていたラベルは修正されているため、より効率的なラベルの確認や修正が実施されることになる。
【0102】
[判定処理]
次に、判定部14Aによって実行される判定処理について図9のフローチャートを参照して説明する。なお、画像検査支援装置1Aの全体のフローおよび学習処理は、第1の実施の形態と同様である。そのため、以下においては、判定部14Aによって実行される判定処理について詳細に説明する。
【0103】
まず、第2特徴量抽出部140は、学習部13が学習用の画像を入力として学習した画像の特徴量、すなわち学習済みのニューラルネットワークを用いて、判定用の画像の特徴量を抽出する(ステップS50A)。
【0104】
次に、類似度算出部141は、類似度を算出する前に、必要に応じてステップS50Aで抽出された判定用の画像の特徴量についての次元圧縮を行う(ステップS51A)。類似度算出部141は、PCAにより特徴量の次元圧縮を行えばよい。
【0105】
次に、類似度算出部141は、ステップS51Aで次元が圧縮された判定対象の画像の特徴量に基づいて画像間の類似度を算出する(ステップS52A)。次に、類似度保存部420は、ステップS52Aで算出された画像間の類似度のうち、類似度が高い画像から順に、予め定められた任意の画像数に対応する特徴量を選択し、その特徴量の元データである画像に付されたラベルと類似度とを関連付けて保存する(ステップS53A)。より詳細には、類似度保存部420は、画像の識別情報と、その画像に付されたラベルと、類似度とを互いに関連付けて保存する。
【0106】
次に、しきい値設定部421は、類似度保存部420によって保存された判定用の画像の類似度に対するしきい値を設定する(ステップS54A)。その後、ラベル付け判定部422は、類似度保存部420によって保存されている判定用の画像各々の類似度についてしきい値処理を行い、対象とする判定用の画像に付されたラベルの確認の要否を判定する(ステップS55A)。
【0107】
より詳細には、ラベル付け判定部422は、潜在的なラベル付けの誤りを含めたラベル付けの誤りを検出するため、対象とする判定用の画像について算出された類似度の値がしきい値より小さい場合には、その対象とする判定用の画像に付されたラベルの確認が必要であると判定する。これにより、ラベル付けの潜在的な誤りを検出することができる。
【0108】
また、対象とする判定用の画像について算出された類似度の値がしきい値以上である場合において、対象とする判定用の画像のラベルと、他の判定用の画像に付されたラベルとが一致している場合を考える。この場合、ラベル付け判定部422は、対象とする判定用の画像に付されたラベルの確認は不要であると判定する。
【0109】
一方、ラベル付け判定部422は、類似度の値がしきい値以上である場合において、対象とする判定用の画像のラベルと、他の判定用の画像のラベルとが互いに異なっている場合には、対象とする判定用の画像に付されたラベルの確認が必要であると判定する。
【0110】
これにより、類似度の値がしきい値以上である、すなわち潜在的な誤り以外のラベル付けの誤りを検出することができる。ラベル付け判定部422による判定結果は記憶部12に記憶される。
【0111】
その後、結果出力部143は、ラベル付け判定部422による判定結果を出力する(ステップS56A)。
【0112】
以上説明したように、第2の実施の形態によれば、画像検査支援装置1Aは、判定用の画像間の類似度を算出し、算出された類似度に対してしきい値を設定する。そして、判定用の画像の特徴量における類似度と、しきい値と、判定用の画像に付されたラベルとに基づいて、対象とする判定用の画像に付されたラベルの確認の要否を判定する。そのため、画像検査支援装置1Aは、ラベル付けを誤った画像の確認作業を省力化し、その確認に必要な工数と労力を削減することができる。
【0113】
なお、説明した実施の形態において、ラベル付け判定部422は、ラベル付けの確認が必要である旨の判定を行った画像のうち、優先的にラベルの確認をすべき画像を選定する場合について説明した。この場合、例えば入力装置108を介して作業者から受け付けた、ラベルの修正指示に基づいて、画像検査支援装置1の演算装置102は対象とする判定用の画像のラベルを修正し、記憶部12に記憶されている画像データを更新する。その後、再び図9に示す判定処理を繰り返し実行してもよい。これにより、より効率的なラベルの確認や修正が実現される。
【0114】
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。なお、以下の説明では、上述した第1の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0115】
第1および第2の実施の形態では、対象とする判定用の画像に付されたラベルの確認の要否を示す判定部14、14Aによる判定結果は、結果出力部143から出力される場合について説明した。これに対し、第3の実施の形態では、ユーザインターフェース(以下「UI」という。)で構成される結果出力部143Bを備え、結果出力部143Bは判定結果を表示し、作業者による修正指示を受け付ける。
【0116】
第3の実施の形態に係る画像検査支援装置1Bの結果出力部143B以外の構成は、第1および第2の実施の形態に係る画像検査支援装置1、1Aと同様である。以下において、第1および第2の実施の形態と異なる構成を中心に説明する。
【0117】
[結果出力部の機能ブロック]
図10に示すように、結果出力部143Bは、特徴量圧縮部430、特徴量可視化部431、結果詳細表示部432、選択画像表示部433、操作部434、およびデータ修正部435を備える。
【0118】
特徴量圧縮部430は、記憶部12に記憶されている第2特徴量抽出部140によって抽出された判定用の画像の特徴量を1次元から3次元のデータに圧縮する。通常、画像の特徴量は高次元であり、表示装置107の画面上において、人が識別できる程度に特徴量の類似関係を表示することは難しい。そのため、特徴量圧縮部430は、画面上で表示可能で、かつ、人が識別可能な1次元から3次元のデータに特徴量を圧縮する。なお、第2特徴量抽出部140によって抽出された特徴量の次元が大きすぎる場合、特徴量圧縮に膨大な時間を要することがあるため、特徴量圧縮前にPCAによる次元圧縮を行ってもよい。
【0119】
特徴量圧縮部430による特徴量の圧縮の手法はいくつか存在するが、より好適には多様体学習(t−Distributed Stochastic Neighbor Embedding:t−SNE)を用いて圧縮する(非特許文献2参照)。特徴量圧縮部430によって圧縮された画像の特徴量は記憶部12に記憶される。
【0120】
特徴量可視化部431は、特徴量圧縮部430によって1次元から3次元に圧縮された画像の特徴量の散布図を生成し、特徴量の可視化を行う。より具体的には、特徴量可視化部431は、圧縮された特徴量のデータに基づいて生成した散布図において、各プロットは分析部142Aによる分析結果を反映させ、色や形などで区別可能なデータを作成する。
【0121】
また、特徴量可視化部431は、生成した画像の特徴量の散布図において、各プロットを対応する画像とリンクさせる。特徴量可視化部431は、散布図におけるプロットの選択操作に応じて、選択されたプロットに対応する画像およびその画像と類似度が高い画像を表示装置107の所定の画面領域に表示させる。これにより、作業者によるラベルの確認作業がより効率化される。
【0122】
結果詳細表示部432は、記憶部12に記憶されている画像のタイトルとラベルとを含む画像データ、分析部142Aによる判定結果、および類似度保存部420によって保存されている画像の類似度とその画像に付されているラベルの一覧表を作成して表示装置107の所定の画面領域に表示する。
【0123】
結果詳細表示部432は、分析部142Aによる判定結果として、例えば、ラベル付けの確認の要否について段階的に数値化した情報を表示する。例えば、画像に付されたラベルの誤りが疑われ、確認が必要であると判定された画像については「2」、潜在的なラベル付けの誤りの可能性があり必要に応じた確認をしてもよいと判定された画像については「1」と表示する。また、結果詳細表示部432は、ラベル付けが正しく、確認は不要であると判定された画像については「0」と表示する。
【0124】
結果詳細表示部432は、上記のような分析結果を表す数値の降順で全ての画像に対する情報を表示装置107に表示させることで、作業者は修正すべき画像を容易に確認できるようになる。
【0125】
選択画像表示部433は、特徴量可視化部431で生成された画像の特徴量の散布図に含まれるプロットの選択操作を受け付け、選択されたプロットに応じた画像およびその画像と類似度が高い画像を表示装置107の所定の画面領域に表示させる。
【0126】
操作部434は、表示装置107の画面上に表示されるアイコンやテキストボックスなどによって構成される。操作部434は、しきい値設定部421によって設定されたしきい値の変更、類似度保存部420によって保存された画像数の変更、およびラベルの修正を、入力装置108を介して受け付ける。
【0127】
データ修正部435は、操作部434によって受け付けられた修正や変更操作に基づいて、情報を修正または変更して記憶部12や類似度保存部420の情報を更新する。データ修正部435は、表示装置107の画面上に表示される修正ボタン、変更ボタンや終了ボタンで実現される。
【0128】
具体的には、操作部434から、しきい値やラベルの修正や変更を指示する操作信号の入力があると、データ修正部435は記憶部12に記憶されているしきい値やラベル情報を更新する。また、類似度保存部420に保存されているデータ数の変更があると、データ修正部435は類似度保存部420の情報を更新する。
【0129】
[判定処理]
次に、上述した構成を有する画像検査支援装置1の動作について説明する。なお、画像検査支援装置1の全体のフローおよび学習処理については、第1および第2の実施の形態と同様であるため説明を省略する。以下においては、判定部14Bによる判定処理について詳細に説明する。
【0130】
図11は、本実施の形態に係る判定処理を説明するフローチャートである。図12は、表示処理を説明するフローチャートである。また、図13は、結果出力部143Bによる表示例を説明する図である。
【0131】
まず、第2特徴量抽出部140は、学習部13によって得られた学習済みのニューラルネットワークを用いて、判定用の画像の特徴量を抽出する(ステップS50B)。
【0132】
次に、類似度算出部141は、類似度を算出する前に、必要に応じてステップS50Bで抽出された判定用の画像の特徴量について次元圧縮を行う(ステップS51B)。類似度算出部141は、PCAにより特徴量の次元圧縮を行えばよい。
【0133】
次に、類似度算出部141は、ステップS51Bで次元が圧縮された判定用の画像の特徴量の類似度を算出する(ステップS52B)。次に、類似度保存部420は、ステップS52Bで算出された類似度のうち、類似度が高い画像から順に、予め定められた任意の画像数に対応する特徴量を選択し、その特徴量の元データである判定用の画像に付されたラベルと類似度とを関連付けて保存する(ステップS53B)。
【0134】
次に、しきい値設定部421は、類似度保存部420によって保存された判定用の画像の類似度に対するしきい値を設定する(ステップS54B)。その後、ラベル付け判定部422は、類似度保存部420によって保存されている画像の類似度に基づいて、判定用の画像についてのしきい値処理を行い、対象とする判定用の画像に付されたラベルの確認の要否を判定する(ステップS55B)。
【0135】
次に、結果出力部143Bは、ラベル付け判定部422による判定結果に関する情報を表示装置107の画面に表示する(ステップS56B)
【0136】
ここで、結果出力部143Bによる表示処理について図12を参照してより詳細に説明する。
まず、特徴量圧縮部430は、必要に応じて記憶部12に記憶されている画像の特徴量をPCAにより次元圧縮する(ステップS560)。
【0137】
次に、特徴量圧縮部430は、ステップS560で次元圧縮された画像の特徴量を1次元から3次元のデータに圧縮する(ステップS561)。具体的には、特徴量圧縮部430は、t−SNEを用いて特徴量を圧縮する(非特許文献2参照)。次に、特徴量可視化部431は、ステップS561で圧縮された特徴量のデータの散布図を生成し、表示装置107の所定の画面領域に表示させる(ステップS562)。
【0138】
具体的には、特徴量可視化部431は、図13に示すように、表示装置107の画面領域a1に、生成した散布図を表示する。また、特徴量可視化部431は、散布図において、各プロットには分析部142Aによる判定の結果を反映させて表示する。
【0139】
例えば、特徴量可視化部431は、スタイルシート(CSS)において、分析部142Aによりラベルの確認が必要であると判定された画像を示すプロットについては「赤色」の表示色の指定をする。また、特徴量可視化部431は、潜在的なラベル付けの誤りの可能性があり、必要に応じたラベルの確認を勧める判定がされた画像を示すプロットについては「オレンジ色」の表示色の指定をする。また、特徴量可視化部431は、ラベル付けが正しく、確認が不要であると判定された画像を示すプロットについては「緑色」の表示色の指定をする。
【0140】
次に、結果詳細表示部432は、類似度保存部420により保存された画像のタイトル、ラベル、類似度、およびラベル付け判定部422による判定結果を含む情報の一覧表を作成して所定の画面領域に表示する(ステップS563)。具体的には、結果詳細表示部432は、図13に示すように、画面領域a2に一覧表を表示する。
【0141】
次に、選択画像表示部433は、ステップS562で表示された散布図において、外部からの所定のプロットの選択を受け付けると、選択された画像を表示装置107の所定の画面領域に表示させる(ステップS564)。
【0142】
具体的には、選択画像表示部433は、図13に示すように、作業者が入力装置108を介して選択したプロットに対応する画像を、画面領域a3の上段に表示する。選択画像表示部433は、画面領域a3の上段において、画像のタイトルとそのサムネイルを表示する。また、選択画像表示部433は、画面領域a3の下段に、選択された画像と類似度が高いとされる画像のタイトルとサムネイルを表示する。
【0143】
図11の判定処理に戻り、操作部434は、外部から表示装置107に表示された、対象とする判定用の画像(選択画像)の判定結果に関する情報に対する操作を受け付ける(ステップS57B)。操作部434は、例えば、作業者が入力装置108から入力した操作指示を受け付ける。
【0144】
次に、操作部434が受け付けた操作指示が、しきい値設定部421により設定された画像の類似度に対するしきい値を変更する指示、または類似度保存部420により保存されたデータの数の変更指示である場合には(ステップS58B:YES)、データ修正部435は、それらの指示に応じてしきい値またはデータ数を変更する(ステップS59B)。
【0145】
より詳細には、データ修正部435は、記憶部12に記憶されている画像の類似度に対するしきい値を変更して記憶する。また、データ修正部435は、類似度保存部420によって保存されている画像の枚数を変更指示に応じた枚数とする指示を類似度保存部420に送る。データ修正部435によるデータの修正または修正指示に基づいて、ステップS53BからステップS57Bが繰り返して実行される。
【0146】
一方、操作部434が受け付けた操作指示が、選択された画像に付されたラベルを修正する操作指示である場合(ステップS58B:NO、ステップS60B:YES)、データ修正部435は、選択された画像のラベルを修正して記憶部12に記憶する(ステップS61B)。データ修正部435によるラベルの修正の後、結果出力部143Bによる表示処理が実行される。
【0147】
ここで、図13に示す表示装置107における表示例を参照して、上述したステップS57BからステップS61Bまでの処理についての画像検査支援装置1Bの使用例を説明する。
図13に示すように、操作部434は、しきい値変更入力部I1、保存数変更入力部I2、およびラベル修正入力部I3で構成される。操作部434は、画面領域a4に設けられたテキストボックスにより実現される。
【0148】
データ修正部435は、変更ボタンI4、修正ボタンI5、および終了ボタンI6で構成される。データ修正部435は、画面領域a4に設けられたボタン実現される。
【0149】
作業者は、表示装置107の画面領域a3に表示されている選択画像および選択画像と類似度が高い画像と、画面領域a2に表示されている分析の結果とを画面上で確認する。そして、作業者は、画像の類似度に対するしきい値、または類似度保存部420で保存する画像数の変更を必要に応じて行う。この場合に、作業者は、入力装置108を介して、画面領域a4に表示されているしきい値変更入力部I1、または保存数変更入力部I2に、変更するしきい値、および新たな画像数を入力する。
【0150】
その後、作業者は入力装置108を介して、画面領域a4に表示されている変更ボタンI4をクリックすることで、変更を確定することができる。
【0151】
また、画面領域a3に表示されている選択画像のラベルを修正する場合には、作業者は、入力装置108を介して画面領域a4に表示されているラベル修正入力部I3に修正するラベル情報を入力する。その後、作業者は入力装置108を介して修正ボタンI5をクリックすることで、ラベルの修正を確定させることができる。
【0152】
また、ラベルの修正を確定させた後、終了ボタンI6がクリックされることで、ラベルの修正作業が終了する。
【0153】
以上説明したように、第3の実施の形態に係る画像検査支援装置1Bによれば、結果出力部143Bを備えるので、作業者は、UIを通してラベルの確認の要否を示す判定結果を確認し、ラベルの修正を行うことができる。このようなUIを用いることで、膨大な画像データが含まれるディレクトリやデータベースなどから修正すべき画像データを探してラベルの修正作業を行う必要がなくなり、作業者におけるラベルの確認および修正作業が容易となる。
【0154】
また、画像検査支援装置1Bは、操作部434を備え、画像に付されたラベルの確認の要否判定に用いる条件を必要に応じて変更することができるので、容易に試行錯誤ができる。その結果として、ラベル付けを誤った画像の確認を省力化し、その確認に必要な工数と労力を削減することができる。
【0155】
以上、本発明の画像検査支援装置および画像検査支援方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【0156】
例えば、説明した実施の形態では、学習部13と判定部14とは同一の計算機に実装されている場合について説明したが、学習部13と判定部14とはそれぞれ別々の計算機に実装されていてもよい。
【符号の説明】
【0157】
1、1A、1B…画像検査支援装置、10…画像取得部、11…前処理部、12…記憶部、13…学習部、14…判定部、130…第1特徴量抽出部、131…画像復元部、132…誤差算出部、133…誤差逆伝搬部、140…第2特徴量抽出部、141…類似度算出部、142…分析部、143…結果出力部、101…バス、102…演算装置、103…CPU、104…主記憶装置、105…通信制御装置、106…外部記憶装置、107…表示装置、108…入力装置、106a…画像データ記憶部、106b…設定情報記憶部、106c…学習情報記憶部、106d…判定情報記憶部、106e…プログラム格納部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13