(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037255
(43)【公開日】2024-03-19
(54)【発明の名称】検出装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240312BHJP
G06V 10/72 20220101ALI20240312BHJP
G01N 21/88 20060101ALI20240312BHJP
E01D 22/00 20060101ALI20240312BHJP
【FI】
G06T7/00 350B
G06V10/72
G01N21/88 J
E01D22/00 A
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022141960
(22)【出願日】2022-09-07
(71)【出願人】
【識別番号】304026696
【氏名又は名称】国立大学法人三重大学
(71)【出願人】
【識別番号】599121654
【氏名又は名称】宇野重工株式会社
(74)【代理人】
【識別番号】100174757
【弁理士】
【氏名又は名称】岡田 伸一郎
(72)【発明者】
【氏名】盛田 健人
(72)【発明者】
【氏名】手島 海渡
(72)【発明者】
【氏名】宇佐美 和彦
(72)【発明者】
【氏名】大塚 慎也
【テーマコード(参考)】
2D059
2G051
5L096
【Fターム(参考)】
2D059AA05
2D059AA16
2D059GG39
2D059GG55
2G051AA90
2G051AB14
2G051AC15
2G051CA04
2G051EA12
2G051EB10
2G051ED04
2G051ED11
5L096BA03
5L096FA16
5L096FA35
5L096FA54
5L096FA59
5L096FA64
5L096FA77
5L096GA17
5L096GA30
5L096GA51
5L096GA57
5L096HA08
5L096HA11
5L096HA13
5L096JA11
5L096KA04
(57)【要約】
【課題】入力画像に写った検出対象物を精度よく検出できる検出装置を提供すること。
【解決手段】サポートベクターマシンによる機械学習がなされた学習モデル13より、入力画像に対して設定された探索ウインドウから抽出されるHOG特徴量に基づいて出力される、その探索ウインドウにおけるボルトの存在確率を取得する存在確率取得部14と、探索ウインドウ設定部11により設定された各々の探索ウインドウに対して取得された各ボルトの存在確率に基づき、入力画像におけるボルトの存在確率マップを生成するマップ生成部15と、各々の探索ウインドウにおいて、存在確率が所定確率以上の探索ウインドウを、ボルトの検出候補枠として設定する検出候補枠設定部16と、1のボルトに対して設定されたと認められる複数の検出候補枠を、存在確率マップを用いて1つの検出枠に統合する検出枠統合部18と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
入力画像に写った検出対象物を検出する検出装置であって、
前記入力画像に対して所定画像サイズの探索ウインドウを設定し、設定する探索ウインドウを前記所定画像サイズよりも少ない画素数でずらしながらラスタ走査する探索ウインドウ設定部と、
前記検出対象物の写った前記所定画像サイズである複数の学習用画像データと、前記検出対象物の写っていない前記所定画像サイズである複数の学習用画像データとに基づき機械学習がなされたAI学習ツールを用いて、前記入力画像に対して設定された前記探索ウインドウにおける前記検出対象物の存在確率を取得する存在確率取得部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウに対して前記存在確率取得部により取得された各存在確率に基づき、前記入力画像における前記検出対象物の存在確率マップを生成するマップ生成部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウにおいて、前記存在確率取得部により取得された各存在確率が所定確率以上の探索ウインドウを、前記検出対象物の検出候補枠として設定する検出候補枠設定部と、
1の検出対象物に対して前記検出候補枠設定部により設定されたと認められる複数の前記検出候補枠を、前記存在確率マップを用いて前記1の検出対象物に対する1つの検出枠に統合する検出枠統合部と、
を備えることを特徴とする検出装置。
【請求項2】
前記検出枠統合部は、
前記検出候補枠設定部により設定された前記検出候補枠の中から前記存在確率が最も高い検出候補枠を基準検出枠として選択する基準検出枠選択部と、
その基準検出枠選択部により選択された前記基準検出枠と重なり具合が所定の閾値以上である前記検出候補枠を統合対象検出枠として選択する統合対象検出枠選択部と、
前記存在確率マップに基づき前記存在確率が所定値よりも低い領域を取り除くように、前記基準検出枠及び前記統合対象検出枠のそれぞれを収縮する収縮部と、
その収縮部により収縮された前記基準検出枠及び前記統合対象検出枠の全てを外接するように囲う外接枠を前記1の検出対象物に対する統合された1つの検出枠として決定する検出枠決定部と、を備え、
前記基準検出枠又は前記統合対象検出枠として選択された前記検出候補枠を除外して、前記検出候補枠が無くなるまで、前記基準検出枠を用いた前記1の検出対象物に対する統合された1つの検出枠の決定を繰り返すことを特徴とする請求項1記載の検出装置。
【請求項3】
前記検出枠統合部は、
前記収縮部により収縮された前記基準検出枠及び前記統合対象検出枠のうち、収縮された面積が収縮前よりも所定割合以上収縮された前記基準検出枠及び前記統合対象検出枠を、前記検出枠決定部に用いられる前記基準検出枠及び前記統合対象検出枠から削除する削除部を備えることを特徴とする請求項2記載の検出装置。
【請求項4】
前記AI学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、
前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものであることを特徴とする請求項1記載の検出装置。
【請求項5】
前記AI学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、
前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものであり、
前記基準検出枠選択部は、前記検出候補枠のうち画像サイズが最も大きい前記検出候補枠の中で前記存在確率が最も高い検出候補枠を基準検出枠として選択することを特徴とする請求項2記載の検出装置。
【請求項6】
前記AI学習ツールは、サポートベクターマシン、決定木若しくは深層学習を除くニューラルネットワーク又はこれらを用いたアンサンブル学習によって構成されるものであることを特徴とする請求項1記載の検出装置。
【請求項7】
前記AI学習ツールは、各学習用画像データから抽出されるHOG特徴量に基づき機械学習を行うものであり、
前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウから抽出されるHOG特徴量に基づいて前記AI学習ツールより出力される前記探索ウインドウにおける前記検出対象物の存在確率を取得することを特徴とする請求項1記載の検出装置。
【請求項8】
前記検出枠統合部により1つに統合された検出枠を、その検出枠に統合された前記検出候補枠の数と、前記検出枠内の前記存在確率とに基づいて、ファジィ推論により誤検出か否かを判定し、誤検出と判定された前記検出枠を削除する誤検出判定部と、を備えることを特徴とする請求項1から7のいずれかに記載の検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力画像に写った検出対象物を検出する検出装置に関するものである。
【背景技術】
【0002】
例えば鋼橋の架設では、複数の鋼材を接合するために数千本の高力ボルトが使用されており、作業員はボルトの締め付けが正しく行われているか判断するため、ボルトに施されたマーキングを確認する必要がある。しかしながら、鋼橋架設は高所での屋外作業となるため、大量のボルト検査は作業員の負担が大きく、ボルトの見落としや注意力低下による事故も懸念された。
【0003】
そこで、近年、作業員が携帯情報端末等によって本締め後のボルト群を撮影することで、その場でボルトの締め付けを自動検査する手法が提案されている。例えば、非特許文献1には、深層学習を用いたボルトの自動検査手法が提案されている。この自動検査手法では、ボルト抽出、マーカー検出、締め付け判定を、それぞれYOLOv3、DeepCrack、CNNを用いて行っており、高い精度で自動判定が行われる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】福岡知隆,他3名,“画像処理によるボルト本締め確認作業自動化システムの作成”,AI・データサイエンス論文集,公益社団法人土木学会,2020年11月11日,1巻,J1号,p.295-300
【発明の概要】
【発明が解決しようとする課題】
【0005】
非特許文献1のような深層学習を用いたボルトの自動検査手法は、高精度の自動判定が期待できるものの、高い処理性能と大きなメモリ容量が要求される。一方で、このような深層学習に限らず、入力画像に写った検索対象物の検出を、精度よく検出可能な検出装置が要望されている。
【0006】
本発明は、上記事情に鑑みてなされたものであり、入力画像に写った検出対象物を精度よく検出できる検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この目的を達成するために本発明の第1の態様は、入力画像に写った検出対象物を検出する検出装置であって、前記入力画像に対して所定画像サイズの探索ウインドウを設定し、設定する探索ウインドウを前記所定画像サイズよりも少ない画素数でずらしながらラスタ走査する探索ウインドウ設定部と、前記検出対象物の写った前記所定画像サイズである複数の学習用画像データと、前記検出対象物の写っていない前記所定画像サイズである複数の学習用画像データとに基づき機械学習がなされたAI学習ツールを用いて、前記入力画像に対して設定された前記探索ウインドウにおける前記検出対象物の存在確率を取得する存在確率取得部と、前記探索ウインドウ設定部により設定された各々の探索ウインドウに対して前記存在確率取得部により取得された各存在確率に基づき、前記入力画像における前記検出対象物の存在確率マップを生成するマップ生成部と、前記探索ウインドウ設定部により設定された各々の探索ウインドウにおいて、前記存在確率取得部により取得された各存在確率が所定確率以上の探索ウインドウを、前記検出対象物の検出候補枠として設定する検出候補枠設定部と、1の検出対象物に対して前記検出候補枠設定部により設定されたと認められる複数の前記検出候補枠を、前記存在確率マップを用いて前記1の検出対象物に対する1つの検出枠に統合する検出枠統合部と、を備える。
【0008】
本発明の第2の態様は、第1の態様に係る検出装置において、前記検出枠統合部は、前記検出候補枠設定部により設定された前記検出候補枠の中から前記存在確率が最も高い検出候補枠を基準検出枠として選択する基準検出枠選択部と、その基準検出枠選択部により選択された前記基準検出枠と重なり具合が所定の閾値以上である前記検出候補枠を統合対象検出枠として選択する統合対象検出枠選択部と、前記存在確率マップに基づき前記存在確率が所定値よりも低い領域を取り除くように、前記基準検出枠及び前記統合対象検出枠のそれぞれを収縮する収縮部と、その収縮部により収縮された前記基準検出枠及び前記統合対象検出枠の全てを外接するように囲う外接枠を前記1の検出対象物に対する統合された1つの検出枠として決定する検出枠決定部と、を備え、前記基準検出枠又は前記統合対象検出枠として選択された前記検出候補枠を除外して、前記検出候補枠が無くなるまで、前記基準検出枠を用いた前記1の検出対象物に対する統合された1つの検出枠の決定を繰り返す。
【0009】
本発明の第3の態様は、第2の態様に係る検出装置において、前記検出枠統合部は、前記収縮部により収縮された前記基準検出枠及び前記統合対象検出枠のうち、収縮された面積が収縮前よりも所定割合以上収縮された前記基準検出枠及び前記統合対象検出枠を、前記検出枠決定部に用いられる前記基準検出枠及び前記統合対象検出枠から削除する削除部を備える。
【0010】
本発明の第4の態様は、第1から第3のいずれかの態様に係る検出装置において、前記AI学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される、前記探索ウインドウにおける前記検出対象物の存在確率を取得するものである。
【0011】
本発明の第5の態様は、第2又は第3の態様に係る検出装置において、前記AI学習ツールは、それぞれ前記所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されるものであり、前記探索ウインドウ設定部は、前記複数の学習モデルのそれぞれに対応する前記所定画像サイズの探索ウインドウを設定し、前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウの前記所定画像サイズに対応する前記学習モデルより出力される前記探索ウインドウにおける前記検出対象物の存在確率を取得するものであり、前記基準検出枠選択部は、前記検出候補枠のうち画像サイズが最も大きい前記検出候補枠の中で前記存在確率が最も高い検出候補枠を基準検出枠として選択する。
【0012】
本発明の第6の態様は、第1から第5のいずれかの態様に係る検出装置において、前記AI学習ツールは、サポートベクターマシン、決定木若しくは深層学習を除くニューラルネットワーク又はこれらを用いてアンサンブル学習によって構成されるものである。
【0013】
本発明の第7の態様は、第1から第6のいずれかの態様に係る検出装置において、前記AI学習ツールは、各学習用画像データから抽出されるHOG特徴量に基づき機械学習を行うものであり、前記存在確率取得部は、前記入力画像に対して設定された前記探索ウインドウから抽出されるHOG特徴量に基づいて前記AI学習ツールより出力される前記探索ウインドウにおける前記検出対象物の存在確率を取得する。
【0014】
本発明の第8の態様は、第1から第7のいずれかの態様に係る検出装置において、前記検出枠統合部により1つに統合された検出枠を、その検出枠に統合された前記検出候補枠の数と、前記検出枠内の前記存在確率とに基づいて、ファジィ推論により誤検出か否かを判定し、誤検出と判定された前記検出枠を削除する誤検出判定部と、を備える。
【発明の効果】
【0015】
本発明の第1の態様に係る検出装置によれば、検出対象物の写った所定画像サイズである複数の学習用画像データと、検出対象物の写っていない前記所定画像サイズである複数の学習用画像データとに基づき機械学習がなされたAI学習ツールが用いられる。入力画像は、探索ウインドウ設定部により、所定画像サイズの探索ウインドウが設定される。探索ウインドウは、所定画像サイズよりも少ない画素数でずらされながらラスタ走査される。探索ウインドウが設定されると、AI学習ツールを用いて、設定された探索ウインドウにおける検出対象物の存在確率が存在確率取得部により取得される。そして、各々の探索ウインドウに対して取得された各存在確率に基づき、入力画像における検出対象物の存在確率マップがマップ生成部により生成される。また、取得された存在確率が所定確率以上の探索ウインドウが、検出対象物の検出候補枠として検出候補枠設定部により設定される。そして、1の検出対象物に対して検出候補枠設定部により設定されたと認められる複数の前記検出候補枠が、検出枠統合部により、存在確率マップを用いて1の検出対象物に対する1つの検出枠に統合される。このように、設定された探索ウインドウ毎に、AI学習モデルより検出対象物の存在確率が取得され、それに基づいて検出対象物の存在確率マップが生成されて、その存在確率マップより1の検出対象物に対して1つの検出枠を得ることができる。よって、入力画像に写った検出対象物を精度よく検出できるという効果がある。
【0016】
本発明の第2の態様に係る検出装置によれば、第1の態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、検出枠統合部による検出枠の統合は、次のように行われる。まず、検出候補枠設定部により設定された検出候補枠の中から、存在確率が最も高い検出候補枠が、基準検出枠選択部により基準検出枠として選択される。また、その基準検出枠と重なり具合が所定の閾値以上である検出候補枠が、統合対象検出枠選択部により統合対象検出枠として選択される。次に、存在確率マップに基づき存在確率が所定値よりも低い領域を取り除くように、基準検出枠及び統合対象検出枠のそれぞれが収縮部により収縮される。そして、その収縮された基準検出枠及び統合対象検出枠の全てを外接するように囲う外接枠が、1の検出対象物に対する統合された1つの検出枠として検出枠決定部により決定される。基準検出枠又は統合対象検出枠として選択された検出候補枠を除外して、検出候補枠が無くなるまで、この基準検出枠を用いた1の検出対象物に対する統合された1つの検出枠の決定が繰り返される。これにより、1の検出対象物に対して複数設定された検出候補枠を適切に1つの検出枠に統合できると共に、その1の検出対象物に対して、検出枠を適切な大きさに設定できるという効果がある。
【0017】
本発明の第3の態様に係る検出装置によれば、第2の態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、収縮部により収縮された基準検出枠及び統合対象検出枠のうち、収縮された面積が収縮前よりも所定割合以上収縮された基準検出枠及び統合対象検出枠は、もともと検出対象物を含んだ検出候補枠ではなかった可能性が高い。このような基準検出枠及び統合対象検出枠は、削除部により、検出枠決定部に用いられる基準検出枠及び統合対象検出枠から削除されるので、1の検出対象物に対する検出枠をより適切に設定できるという効果がある。
【0018】
本発明の第4の態様に係る検出装置によれば、第1から第3のいずれかの態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、AI学習ツールとして、それぞれ所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されたものが用いられる。その上で、入力画像に対して、複数の学習モデルのそれぞれに対応する所定画像サイズの探索ウインドウが探索ウインドウ設定部により設定される。そして、入力画像に対して設定された探索ウインドウの所定画像サイズに対応する学習モデルより出力される、その探索ウインドウにおける検出対象物の存在確率が、存在確率取得部により取得される。これにより、入力画像に種々の大きさの検出対象物が写ったとしても、それぞれ異なる所定画像サイズにて学習が行われた複数の学習モデルによって、検出対象物を精度よく検出できるという効果がある。
【0019】
本発明の第5の態様に係る検出装置によれば、第2又は第3の態様に係る検出装置の効果に加え、次の効果を奏する。即ち、AI学習ツールとして、それぞれ所定画像サイズが異なる学習用画像データに基づき学習された複数の学習モデルにより構成されたものが用いられる。その上で、入力画像に対して、複数の学習モデルのそれぞれに対応する所定画像サイズの探索ウインドウが探索ウインドウ設定部により設定される。そして、入力画像に対して設定された探索ウインドウの所定画像サイズに対応する学習モデルより出力される、その探索ウインドウにおける検出対象物の存在確率が、存在確率取得部により取得される。これにより、入力画像に種々の大きさの検出対象物が写ったとしても、それぞれ異なる所定画像サイズにて学習が行われた複数の学習モデルによって、検出対象物を精度よく検出できるという効果がある。また、検出枠統合部による検出枠の統合において、検出候補枠のうち、画像サイズが最も大きい検出候補枠の中で存在確率が最も高い検出候補枠が、基準検出枠選択部により基準検出枠として選択される。これにより、画像サイズが最も大きい検出候補枠が優先して基準検出枠とされ、その基準検出枠と重なり具合が所定の閾値以上である検出候補枠がすべて統合対象検出枠として選択されるので、1の検出対象物に対して設定されたと見なされる様々な所定画像サイズの検出候補枠を、漏れなく1つの検出枠として統合できるという効果がある。
【0020】
本発明の第6の態様に係る検出装置によれば、第1から第5のいずれかの態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、AI学習ツールとして、サポートベクターマシン、決定木若しくは深層学習を除くニューラルネットワーク又はこれらを用いてアンサンブル学習によって構成されたものが用いられる。これにより、処理で必要となる負荷やメモリ容量を抑制できるという効果がある。
【0021】
本発明の第7の態様に係る検出装置によれば、第1から第6のいずれかの態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、AI学習ツールとして、各学習用画像データから抽出されるHOG特徴量に基づき機械学習が行われるものが用いられる。そして、入力画像に対して設定された探索ウインドウから抽出されるHOG特徴量に基づいて、AI学習ツールより出力される、探索ウインドウにおける検出対象物の存在確率が、存在確率取得部により取得される。このように、HOG特徴量が用いられることで、処理で必要となる負荷やメモリ容量を抑制できるという効果がある。
【0022】
本発明の第8の態様に係る検出装置によれば、第1から第7のいずれかの態様に係る検出装置の奏する効果に加え、次の効果を奏する。即ち、検出枠統合部により1つに統合された検出枠が、その検出枠に統合された検出候補枠の数と、検出枠内の存在確率とに基づいて、ファジィ推論により誤検出か否かが誤検出判定部により判定され、誤検出と判定された検出枠が削除される。このように、検出枠に統合された検出候補枠の数と、検出枠内の存在確率とに基づいて、ファジィ推論により検出枠の誤検出を判定するので、検出対象物の検出の精度を高めることができるという効果がある。
【図面の簡単な説明】
【0023】
【
図1】(a)本発明の一実施形態に係る検出装置の概略構成図であり、(b)は、同検出装置のHOG特徴量抽出部及び学習モデルの概略構成図である。
【
図2】同検出装置の学習モデルの学習段階の流れを模式的に示した模式図である。
【
図3】同検出装置の学習モデルに対応する所定画像サイズの一例を示した図である。
【
図4】(a)は、HOG特徴量の抽出単位となるセル及びブロックを説明する図であり、(b)は、同検出装置のHOG特徴量抽出部にて、ブロック単位で実行されるHOG特徴量抽出処理を示すフローチャートであり、(c)は、HOG特徴量を構成する勾配ヒストグラムにおいて分類される各画素の輝度の勾配方向を説明する図であり、(d)は、HOG特徴量を構成する勾配ヒストグラムを模式的に示した模式図である。
【
図5】(a)は、同検出装置のマップ生成部によるボルトの存在確率の生成方法を示した図であり、(b)は、ボルトの存在確立マップの生成例を示した図であり、(c)は、入力画像に対して同検出装置の検出候補枠設定部により設定された検出候補枠を四角の線で示した図である。
【
図6】(a)は、同検出装置の検出枠統合部において実行される検出枠統合処理を示すフローチャートであり、(b)は、1つのボルトに対して設定された検出候補枠の中から基準検出枠を設定する様子を示した図であり、(c)は、同基準検出枠に対して統合すべき検出候補枠である統合対象検出枠を設定する様子を示した図であり、(d)は、検出候補枠を統合する1つのボルトに対して生成された存在確率マップを示した図であり、(e)は、基準検出枠及び統合対象検出枠を収縮させる様子を示した図であり、(f)は、1つのボルトに対して1つの検出枠に統合した様子を示した図である。
【
図7】(a)は、同検出装置の誤検出判定部のファジィ推論で使用する、誤検出を判定する検出枠における統合された検出候補枠の数、及び、検出枠内のボルトの存在確率の平均値に対するメンバーシップ関数の一例を示した図であり、(b)は、同誤検出判定部のファジィ推論で使用する推論規則の一例を示した図であり、(c)は、同誤検出判定部のファジィ推論で使用する誤検出された検出枠削除のためのメンバーシップ関数の一例を示した図である。
【発明を実施するための形態】
【0024】
以下、本発明を実施するための形態について添付図面を参照して説明する。なお、以下に説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。よって、以下の実施の形態で示される、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であって本発明を限定する主旨ではない。従って、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【0025】
まず、
図1を参照して、本発明の一実施形態に係る検出装置1の概略構成について説明する。
図1(a)は、同検出装置1の概略構成図であり、
図1(b)は、同検出装置1のHOG特徴量抽出部12及び学習モデル13の概略構成図である。
【0026】
検出装置1は、入力画像が入力されると、その入力画像に写った検出対象物である高力ボルト(以下、単に「ボルト」と称す。)を検出し、ボルトが写った領域を検出枠Rn(
図6(f)参照)として出力するする装置である。なお、検出装置1の検出対象物であるボルトは一例であり、検出装置1の検出対象物は任意のものであってよい。
【0027】
この検出装置1は、例えばスマートホンやタブレット端末等の携帯情報端末において、その携帯情報端末に設けられたCPU(Central Processing Unit、中央演算処理装置)が所定のプログラムを実行することによって実現される。
【0028】
検出装置1を構成する各部は、全て所定のプログラムを実行するCPUによって実現されてもよいし、一部又は全部が専用のLSI(Large Scale Integration、大規模集積回路)といったハードウエアにより実現されてもよい。また、検出装置1は、携帯情報端末及び/又はクラウド上に設けられたサーバや各種ハードウエアが連携して動作することにより構成されたものであってもよい。例えば、学習モデル13はクラウド上に設けられ、携帯情報端末に実装された各部と連携することで、検出装置1が構成されてもよい。また、予め性能の高いコンピュータを用いて機械学習が行われた学習済みの学習モデル13が、検出装置1に実装されてもよい。
【0029】
検出装置1は、
図1(a)に示す通り、探索ウインドウ設定部11、HOG特徴量抽出部12、学習モデル13、存在確率取得部14、マップ生成部15、検出候補枠設定部16、検出枠統合部17、誤検出判定部18を少なくとも有して構成される。
【0030】
まず、
図2を参照して、学習モデル13について説明する。
図2は、学習モデル13の学習段階の流れを模式的に示した模式図である。
【0031】
学習モデル13は、本発明のAI学習ツール(AI:Artifical Intelligence、人工知能)に該当し、所定画像サイズの画像データに検出対象物であるボルトが存在するか(写っているか)を示すために、サポートベクターマシンによる機械学習が行われたモデルである。サポートベクターマシンは、入力データを2クラスのパターンに分類するために広く用いられる学習モデルであり、深層学習と比して必要となるメモリ容量を小さくでき、また処理にかかる負荷も抑えることができる。
【0032】
学習モデル13の学習では、ボルトの写った所定画像サイズである複数の学習用画像データと、ボルトが写っていない(例えばボルトと一緒に写る可能性のある鋼橋等の構造物が写った)所定画像サイズである複数の学習用画像データとが用いられる。
【0033】
これらの学習用画像データはそれぞれ、
図2に示す通り、HOG特徴量抽出部12によってHOG(Histgrams of Oriented Gradients)特徴量が抽出される。抽出されたHOG特徴量が、ボルトの写った学習用画像データであるのか、ボルトの写っていない学習用データであるのかを示す教師データと合わせて学習モデル13に入力され、学習モデル13の学習が行われる。HOG特徴量の抽出方法については、
図4を参照して後述する。
【0034】
このようにして学習が行われた学習モデル13は、利用段階において所定画像サイズの画像データから抽出されたHOG特徴量が入力されると、その所定画像サイズの画像データにボルトが存在するか否か(写っているか否か)を、存在確率という形で出力する。
【0035】
ここで、
図1(b)に示す通り、学習モデル13は、所定画像サイズが異なる7つの学習モデル13a~13gが用意される。即ち、所定画像サイズが基本画像サイズである基本画像学習モデル13a、所定画像サイズが10%縮小サイズである10%縮小学習モデル13b、所定画像サイズが20%縮小サイズである20%縮小学習モデル13c、所定画像サイズが30%縮小サイズである30%縮小学習モデル13d、所定画像サイズが10%拡大サイズである10%拡大学習モデル13e、所定画像サイズが20%拡大サイズである20%拡大学習モデル13f、所定画像サイズが30%拡大サイズである30%拡大学習モデル13gが用意されている。
【0036】
本実施形態では、基本画像を100×100画素として、10%縮小サイズを90×90画素、20%縮小サイズを80×80画素、30%縮小サイズを70×70画素、10%拡大サイズを110×110画素、20%拡大サイズを120×120画素、30%拡大サイズを130×130画素とした。ただし、後述のHOG特徴量の算出の単位であるセル(6×6画素)に分割できるように、実際には各学習モデル13a~13gに対応する所定画像サイズを
図3に示す通りに規定した。即ち、各学習モデル13a~13gに対応する所定画像サイズは、基本画像サイズである102×102画素を中心として、10%縮小サイズとして90×90画素、20%縮小サイズとして84×84画素、30%縮小サイズとして72×72画素、10%拡大サイズとして114×114画素、20%拡大サイズとして120×120画素、30%拡大サイズとして132×132画素が用いられる。これらの所定画像サイズは、後述する探索ウインドウ設定部11による探索ウインドウの設定にも用いられる。
【0037】
このように、種々の所定画像サイズに対応した学習モデル13a~13gを用意することで、入力画像に種々の大きさのボルトが写ったとしてもボルトを精度よく検出できる。なお、
図3に示した各所定画像サイズは一例であり、他の画素数が採用されてもよい。
【0038】
図1(a)に戻り、検出装置1の説明を続ける。検出装置1は、上記により学習した学習モデル13を用いて、入力画像に写ったボルトを検出し、ボルトが写った領域を検出枠Rn(
図6(f)参照)として出力する。入力画像は、例えば、携帯情報端末に設けられたカメラにより撮像された写真が用いられる。また、携帯情報端末に予め保存された画像が、入力画像として用いられてもよい。入力画像は、探索ウインドウ設定部11に入力される。
【0039】
探索ウインドウ設定部11は、入力画像に対して、各学習モデル13a~13gで用いられる所定画像サイズの探索ウインドウを、所定画像サイズ毎に設定する。例えば、探索ウインドウ設定部11は、基本画像学習モデル13aに対して、基準画像サイズの探索ウインドウを設定する。10%縮小学習モデル13bに対して、10%縮小サイズの探索ウインドウを設定する。
【0040】
また、探索ウインドウ設定部11は、所定画像サイズ毎に、探索ウインドウを入力画像の左上端から順にラスタ走査しながら設定する。即ち、探索ウインドウ設定部11は、まず、探索ウインドウを入力画像の左上角に設定すると、次いで、次の探索ウインドウを6画素分(後述する1セル分)だけ右方向にシフトさせて設定する。そして、探索ウインドウが入力画像の右端に設定されるまで、探索ウインドウ設定部11は、6画素分ずつ右方向にシフトさせながら探索ウインドウを設定し続ける。
【0041】
探索ウインドウが入力画像の右端まで設定されると、探索ウインドウ設定部11は、入力画像6画素分(1セル分)だけ下方向にシフトし、再度、左端から右端まで6画素ずつシフトさせながら探索ウインドウを設定する。そして、探索ウインドウ設定部11は、探索ウインドウの左端から右端までのシフトと、下方向へのシフトとを行いながら、入力画像の右下角に至るまで探索ウインドウを順にラスタ走査して設定する。探索ウインドウ設定部11は、このラスタ走査を全ての所定画像サイズについて行いながら、所定画像サイズ毎に探索ウインドウを設定する。
【0042】
探索ウインドウ設定部11により探索ウインドウが設定されると、その設定された探索ウインドウ内の入力画像の画像データがHOG特徴量抽出部12に入力される。HOG特徴量抽出部12には、学習モデル13の学習段階においても学習用画像データが入力される。HOG特徴量抽出部12は、
図1(b)に示す通り、探索ウインドウ及び学習用画像データの7つの所定画像サイズのそれぞれに対応する、7つのHOG特徴量抽出部12a~12gが用意されている。
【0043】
即ち、基本画像サイズに対応する基本画像HOG特徴量抽出部12a、10%縮小サイズに対応する10%縮小HOG特徴量抽出部12b、20%縮小サイズに対応する20%縮小HOG特徴量抽出部12c、30%縮小サイズに対応する30%縮小HOG特徴量抽出部12d、10%拡大サイズに対応する10%拡大HOG特徴量抽出部12e、20%拡大サイズに対応する20%拡大HOG特徴量抽出部12f、30%拡大サイズに対応する30%拡大HOG特徴量抽出部12gが設けられている。探索ウインドウ及び学習用画像データの画像サイズに応じて、使用するHOG特徴量抽出部12a~12gが選択される。
【0044】
各HOG特徴量抽出部12a~12gにて抽出されたHOG特徴量は、
図1(b)に示す通り、それぞれ対応する所定画像サイズの学習モデル13a~13gに入力される。そして、学習モデル13の学習段階においては、そのHOG特徴量に基づいて、学習モデル13a~13gの学習が行われる。また、学習モデル13の利用段階においては、そのHOG特徴量に基づいて、HOG特徴量が抽出された検索ウインドウにおけるボルトの存在確率が学習モデル13a~13gから出力される。
【0045】
ここで、
図4を参照して、HOG特徴量の抽出方法について説明する。
図4(a)は、HOG特徴量の抽出単位となるセル及びブロックを説明する図である。
図4(b)は、HOG特徴量抽出部12a~12gのそれぞれにて、ブロック単位で実行されるHOG特徴量抽出処理を示すフローチャートである。
図4(c)は、HOG特徴量を構成する勾配ヒストグラムにおいて分類される各画素の輝度の勾配方向を説明する図である。
図4(d)は、HOG特徴量を構成する勾配ヒストグラムを模式的に示した模式図である。
【0046】
HOG特徴量抽出部12a~12gはそれぞれ、入力された探索ウインドウ又は学習用画像データを、1ブロック毎に、そのブロックに含まれる各セルの勾配ヒストグラムを生成する。セル及びブロックの大きさは、適宜設定されるものであるが、例えば
図4(a)に示すように、1セルを6×6画素で構成し、1ブロックを3×3セルで構成する。
【0047】
HOG特徴量抽出部12a~12gは、まず、探索ウインドウ又は学習用画像データの左上端に1ブロックを設定し、
図4(b)に示すHOG特徴量抽出処理に従って各セルの勾配ヒストグラムを生成する。そして、ブロックを右方向に1セルずつシフトさせながら、各ブロックについて各セルの勾配ヒストグラムを生成する。探索ウインドウ又は学習用画像データの右端までブロックが設定されると、次いで下方向に1セル分シフトさせた上で、再度左端から右方向に向けてブロックをシフトさせながら、各ブロックについて各セルの勾配ヒストグラムを生成する。
【0048】
ブロック毎にHOG特徴量抽出部12a~12gにて実行されるHOG特徴量抽出処理では、
図4(b)に示す通り、まず、設定されたブロックに含まれるセル毎に、そのセル内の各画素に対して輝度を二次元微分する(S11)。二次元微分は、例えば次の数1を用いて行われる。
【0049】
【数1】
ここで、(x,y)は、探索ウインドウ又は学習用画像データの画素位置を示す水平方向(x方向)及び垂直方向(y方向)の座標であり、I(x,y)は、座標(x,y)で示される画素の輝度であり、Ix(x,y)は、座標(x,y)で示される画素のx方向の輝度の微分値であり、Iy(x,y)は、座標(x,y)で示される画素のy方向の輝度の微分値である。
【0050】
次に、HOG特徴量抽出処理では、各画素における輝度の勾配方向を次の数2を用いて算出し、算出した各画素の勾配方向を、
図4(c)に示した20度間隔の9つの方向A~Iに量子化する(S12)。
【0051】
【数2】
ここで、θ(x,y)は、座標(x,y)で示される画素における輝度の勾配方向であり、0~180°の範囲で算出される。S12の処理にて行われる量子化は、θ(x、y)の値に基づき、その値が0°以上20°未満である場合に方向A、20°以上40°未満である場合に方向B、40°以上60°未満である場合に方向C、60°以上80°未満である場合に方向D、80°以上100°未満である場合に方向E、100°以上120°未満である場合に方向F、120°以上140°未満である場合に方向G、140°以上160°未満である場合に方向H、160°以上180°以下である場合に方向Iとする。
【0052】
次に、HOG特徴量抽出処理では、各画素における輝度の勾配強度を次の数3を用いて算出し、算出した各画素の勾配強度を、その画素の量子化した勾配方向に対して加算することで、各画素の勾配強度が9方向毎に積算された勾配ヒストグラムをセル毎に生成する(S13)。即ち、S13の処理では、1ブロックに含まれる9つのセルについて、それぞれ
図4(d)に示すような勾配ヒストグラムが生成される。
【0053】
【数3】
ここで、m(x,y)は、座標(x,y)で示される画素における輝度の勾配強度である。
【0054】
次に、HOG特徴量抽出処理では、当該ブロックで生成された9つのセル分の勾配ヒストグラムについて、正規化する(S14)。この正規化は、1ブロック分のHOG特徴量の総和Dを数4により算出し、各セルの各勾配方向の勾配ヒストグラムを、それぞれ1ブロック分のHOG特徴量の総和Dで除算することで行われる。
【0055】
【数4】
ここで、mは当該ブロックに属するセルを特定する番号(1~9)であり、Nは、勾配方向を特定するための番号(1~9)であり、d(k)は、k=m×Nにより、mで特定されるセルにおけるNで特定される勾配方向にて積算された勾配強度の総和である。
【0056】
このようにして、探索ウインドウ又は学習用画像データの右下端までブロックが設定され、各セルの勾配ヒストグラムが生成されると、全ブロックについて生成された各セルの勾配ヒストグラムをまとめて、探索ウインドウ又は学習用画像データのHOG特徴量として、対応する学習モデル13a~13gに入力される。
【0057】
図1(a)及び(b)に戻り、検出装置1の説明を続ける。上記した通り、学習モデル13の利用段階において、入力画像に対して所定画像サイズ毎にラスタ走査にて検索ウインドウが順次設定されると、その検索ウインドウに対して抽出されたHOG特徴量に基づいて、その検索ウインドウにおけるボルトが存在する確率(存在確率)が、対応する画像サイズの学習モデル13a~13gより出力される。出力されたボルトの存在確率は、存在確率取得部14にて取得され、マップ生成部15及び検出候補枠設定部16に出力される。
【0058】
マップ生成部15は、各々の探索ウインドウに対して存在確率取得部14により取得されたボルトの存在確率に基づき、入力画像におけるボルトの存在確率マップを生成する。
【0059】
ここで、
図5(a)、(b)を参照して、マップ生成部15による存在確率マップの生成方法について説明する。
図5(a)は、ボルトの存在確率マップの生成方法を示した図であり、
図5(b)は、ボルトの存在確立マップの生成例を示した図である。
【0060】
図5(a)に示す通り、四角で囲んだ探索ウインドウに対して、その探索ウインドウの画像サイズに対応する学習モデル13a~13gからボルトの存在確率が取得されると、その取得された存在確率を、2次元のガウス関数を用いて中心ほど高い重みを付けた上で存在確率マップに加算する。これにより、ボルトの中心が辺縁に比べて高い値を取るボルトの存在確立マップを得ることができる。
【0061】
この存在確率マップに対するボルトの存在確率の加算は、7つの所定画像サイズ毎に設定した全ての検索ウインドウについて学習モデル13a~13gより得られた存在確率を基に行われる。これにより、例えば
図5(b)の左側に示した入力画像に対して、右側に示した存在確率マップが生成される。
【0062】
図1(a)に戻り、検出候補枠設定部16は、設定された各々の探索ウインドウにおいて、存在確率取得部14により取得された各ボルトの存在確率が所定確率以上であった場合に、その探索ウインドウをボルトの検出候補枠として設定する。
図5(c)は、入力画像に対して検出候補枠設定部16により設定された検出候補枠を四角の線で示した図である。
図5(c)のように、ボルトの存在確率が高いと判断される箇所に設定された検索ウインドウが、検索候補枠として設定される。
【0063】
ただし、7つの所定画像サイズ毎に探索ウインドウが設定されること、また、探索ウインドウは、その画像サイズよりも少ない画素数(セルのサイズである6画素)でシフトさせながらラスタ走査されることにより、
図5(c)に示す通り、1つのボルトに対して複数の検出候補枠が設定され得る。
【0064】
そこで、
図1(a)に示す検出枠統合部17により、1つのボルトに対して複数設定された検出候補枠を、1つの検出枠Rnに統合する。検出枠統合部17は、検出候補枠設定部16により1つのボルトに対して設定されたと認められる複数の検出候補枠を、存在確率マップを用いて1つの検出枠Rnに統合するものである。
【0065】
ここで、
図6を参照して、検出枠統合部17による検出候補枠の統合方法について説明する。
図6(a)は、検出枠統合部17において実行される検出枠統合処理を示すフローチャートである。
図6(b)は、1つのボルトに対して設定された検出候補枠の中から基準検出枠Rcを設定する様子を示した図である。
図6(c)は、設定された基準検出枠Rcに対して統合すべき検出候補枠である統合対象検出枠Rsを設定する様子を示した図である。
図6(d)は、検出候補枠を統合する1つのボルトに対して生成された存在確率マップを示した図である。
図6(e)は、基準検出枠Rc及び統合対象検出枠Rsを収縮させる様子を示した図である。
図6(f)は、1つのボルトに対して1つの検出枠Rnに統合した様子を示した図である。
【0066】
図6(a)に示す検出枠統合部17により実行される検出枠統合処理では、まず、
図6(b)に示すように、基準検出枠Rcを1つ選択する(S21)。このS21の処理は、本発明の基準検出枠選択部に相当するもので、検出候補枠設定部16により設定された検出候補枠のうち、画像サイズが最も大きい検出候補枠の中で、その検出候補枠内におけるボルトの存在確率の平均が最も高い検出候補枠を基準検出枠Rcとして選択する。各検出候補枠内におけるボルトの存在確率の平均は、マップ生成部15により生成されたボルトの存在確率マップを用いて算出する。
【0067】
次いで検出枠統合処理では、
図6(c)に示すように、基準検出枠Rcと統合する統合対象検出枠Rsを選択する(S22)。このS22の処理は、本発明の統合対象検出枠選択部に相当し、全ての所定画像サイズの探索ウインドウより設定された検出候補枠の中から、S21の処理により選択された基準検出枠Rcとの重なり具合が所定の閾値以上(例えば、基準検出枠Rcと重なった面積が枠の面積の30%以上)である検出候補枠を統合対象検出枠Rsとして選択する。検出枠統合処理は、S21により選択された基準検出枠RcとS22により選択された統合対象検出枠Rsとで1つの統合グループを形成する。
【0068】
次いで検出枠統合処理では、1つの統合グループに含まれる基準検出枠Rc及び統合対象検出枠Rsに対し、収縮処理を実行する(S23)。このS23の処理は、本発明の収縮部に相当する。具体的には、S23の処理では、入力画像に対して統合グループが形成された位置における
図6(d)に示す存在確率マップに基づき、基準検出枠Rc及び統合対象検出枠Rsそれぞれについて、枠の辺近辺にある画素のボルトの存在確率を判断する。そして、辺近辺にある画素のボルトの存在確率が所定値よりも低い場合、その存在確率の低い領域を取り除くように基準検出枠Rc及び統合対象検出枠Rsの各辺を移動させ、収縮させる。
【0069】
これにより、
図6(e)に示すように、ボルトが存在しない領域を含んで設定されていた基準検出枠Rc及び統合対象検出枠Rsから、そのボルトが存在しないと見なせる領域を取り除くことができる。
【0070】
次いで検出枠統合処理では、S23の処理において収縮した面積が収縮前よりも所定割合以上(例えば、40%以上)収縮された基準検出枠Rc及び統合対象検出枠Rsを統合グループから削除する(S24)。このS24の処理は、本発明の削除部に相当する。S23の処理により所定割合以上収縮された基準検出枠Rc及び統合対象検出枠Rsは、もともとボルトを含んだ検出候補枠ではなかった可能性が高い。S24の処理では、そのような基準検出枠Rc及び統合対象検出枠Rsを統合グループから削除することで、1つのボルトに対する検出枠Rnをより適切に設定できる。
【0071】
ここで、上記の所定割合は、使用者により設定・変更可能にしてもよい。また、S24の処理を行うか否かを使用者が設定できるようにしてもよい。
【0072】
次いで検出枠統合処理では、1つの統合グループに含まれる収縮後の基準検出枠Rc及び統合対象検出枠Rsを1つの検出枠Rnとして統合する(S25)。このS25の処理は、本発明の検出枠決定部に相当し、
図5(f)に示す通り、S23の処理により収縮され、S24の処理により削除されなかった基準検出枠Rc及び統合対象検出枠Rsの全てを外接するように囲う外接枠を、1つのボルトに対する統合された1つの検出枠Rnとして決定する。
【0073】
次いで検出枠統合処理では、1つの統合グループを形成するためにS21の処理により選択された基準検出枠RcとS22の処理により選択された統合対象検出枠Rsとを除外し(S26)、その上で、統合グループの形成に用いられていない検出候補枠があるか否かを判断する(S27)。そして、統合グループの形成に用いられていない検出候補枠がある場合は(S27:Yes)、S21の処理に戻り、統合グループの形成に用いられていない検出候補枠についてS21以降の処理を再び実行する。
【0074】
一方、S27の判断の結果、統合グループの形成に用いられていない検出候補枠はなく、全ての検出候補枠が統合グループの形成に用いられたと判断される場合は(S27:No)、検出枠統合処理を終了する。
【0075】
この検出枠統合処理が実行されることにより、検出候補枠設定部16により1つのボルトに対して設定されたと認められる複数の検出候補枠を、適切に1つの検出枠Rnとして統合できる。また、S23の処理により、ボルトの存在確率が所定値よりも低い領域を取り除くように、基準検出枠Rc及び統合対象検出枠Rsのそれぞれを収縮するので、過剰な大きさの検出枠Rnの生成を抑制し、検出枠Rnを適切な大きさに設定できる。
【0076】
また、S21の処理において、検出候補枠内のボルトの存在確率の平均値が最も高い検出候補枠を基準検出枠Rcとして選択するので、ボルトの中心付近にある検出候補枠を基準検出枠Rcとした上で、その基準検出枠Rcとの重なり具合(検出候補枠の面積に対して基準検出枠Rcと重なっている領域の面積の割合)が所定閾値以上の統合対象検出枠Rsを統合することで、ボルトを中心として適切に検出枠Rnを決定できる。また、S21の処理では、画像サイズが最も大きい検出候補枠が優先して基準検出枠Rcとして選択され、その基準検出枠Rcとの重なり具合が所定の閾値以上である検出候補枠がすべて統合対象検出枠Rsとして選択されるので、1つのボルトに対して設定されたと見なされる様々な所定画像サイズの検出候補枠を漏れなく1つの統合グループに含めることができ、それらを1つの検出枠Rnとして統合できる。
【0077】
図1に戻り、検出装置1の説明を続ける。誤検出判定部18は、検出枠統合部17にて1つに統合された検出枠Rnを、検出枠Rnに統合された検出候補枠の数と、検出枠Rn内のボルトの存在確率とに基づいて、ファジィ推論により誤検出か否かを判定する。そして、誤検出判定部18は、誤検出と判定された検出枠Rnを削除し、削除されなかった検出枠Rnを、入力画像に写ったボルトの検出枠Rnとして検出装置1より出力する。
【0078】
ここで
図7を参照して、誤検出判定部18による統合された検出枠Rnの誤検出判定方法について説明する。
図7(a)は、誤検出判定部18のファジィ推論で使用する、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数、及び、検出枠Rn内のボルトの存在確率の平均値に対するメンバーシップ関数の一例を示した図であり、
図7(b)は、誤検出判定部18のファジィ推論で使用する推論規則の一例を示した図であり、
図7(c)は、誤検出判定部18のファジィ推論で使用する誤検出された検出枠Rn削除のためのメンバーシップ関数の一例を示した図である。
【0079】
なお、
図7及び以下の説明で示すメンバーシップ関数及び推論規則は一例であり、これに限られるものではなく、誤検出判定の精度に応じて適宜調整されてよい。また、以下の説明において、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数に対するメンバーシップ関数と、検出枠Rn内のボルトの存在確率の平均値に対するメンバーシップ関数とで同じ関数を使用するが、これらのメンバーシップ関数は異なるものが用意されてもよい。
【0080】
誤検出判定部18は、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数を、誤検出判定対象となる全ての検出枠Rnにおける統合された検出候補枠の最大数を用いて0~1の範囲に正規化し、
図7(a)に示すメンバーシップ関数を用いて、各条件An~Knの帰属度を算出する。条件An~Knが、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数に対応したファジィ推論の条件である。
図7(a)に示す例では、統合された検出候補枠が多いほど(正規化した値が1に近いほど)、条件Anの帰属度が設定され、統合された検出候補枠が少ないほど(正規化した値が0に近いほど)、条件Knの帰属度が設定される。
【0081】
例えば、一の検出枠Rnにおいて、統合された検出候補枠の正規化された数が0.625の場合、
図7(a)に示すメンバーシップ関数より、条件Dnが帰属度0.25、条件Enが帰属度0.75、その他の条件An~Cn、Fn~Knが帰属度0として算出される。
【0082】
また、誤検出判定部18は、誤検出を判定する検出枠Rnにおけるボルトの存在確率の平均値を存在確率マップより算出したうえで、その存在確率の平均値を、誤検出判定対象となる全ての検出枠Rnにおけるボルトの存在確率の平均値の最大数を用いて0~1の範囲に正規化し、
図7(a)に示すメンバーシップ関数を用いて、各条件Am~Kmの帰属度を算出する。条件Am~Kmが、誤検出を判定する検出枠Rnにおけるボルトの存在確率の平均値に対応したファジィ推論の条件である。
図7(a)に示す例では、ボルトの存在確率の平均値が高いほど(正規化した値が1に近いほど)、条件Anの帰属度が設定され、ボルトの存在確率の平均値が低いほど(正規化した値が0に近いほど)、条件Knの帰属度が設定される。
【0083】
例えば、一の検出枠Rnにおいて、ボルトの存在確率の平均値の正規化された数が0.475の場合、
図7(a)に示すメンバーシップ関数より、条件Fmが帰属度0.75、条件Gmが帰属度0.25、その他の条件Am~Em、Hm~Kmが帰属度0として算出される。
【0084】
誤検出判定部18は、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数の条件An~Kn及びボルトの存在確率の平均値の条件Am~Kmに対応する結論を、結論Az~Ezの中から
図7(b)に示す推論規則を用いて導く。結論Azは、検出枠Rnが正しく検出された枠である可能性が極めて高いことを意味し、結論Bzは、検出枠Rnが正しく検出された枠である可能性が高いことを意味し、結論Czは、検出枠Rnが正しく検出された枠である可能性があることを意味し、結論Dzは、検出枠Rnが誤って検出された枠である可能性が高いことを意味し、結論Ezは、検出枠Rnが誤って検出された枠である可能性が極めて高いことを意味している。
【0085】
図7(b)に示す推論規則の例では、誤検出を判定する検出枠Rnにおいて、統合された検出候補枠が多く、ボルトの存在確率の平均値が高いほど、結論Azが導かれ、統合された検出候補枠が少なく、ボルトの存在確率の平均値が低いほど、結論Ezが導かれるように定められている。例えば、条件Dn且つ条件Fmは結論Bzが導かれ、条件Dn且つ条件Gmは結論Bzが導かれ、条件En且つ条件Fmは結論Czが導かれ、条件En且つ条件Gmは結論Czが導かれる。
【0086】
誤検出判定部18は、誤検出を判定する検出枠Rnにおける統合された検出候補枠の数に対応した条件An~Knの帰属度と、誤検出を判定する検出枠Rnにおけるボルトの存在確率の平均値に対応した条件Am~Kmの帰属度と、これらの条件から推論規則により導かれる結論Az~Ezとから、
図7(c)に示すメンバーシップ関数を用いて、代数積加算重心法により、誤検出の判定対象の検出枠Rnにおけるボルトの正常判定度合いを算出する。
【0087】
上記の例では、条件Dn且つ条件Fmから導かれる結論Bzの帰属度が0.25、条件Dn且つ条件Gmから導かれる結論Bzの帰属度が0.25、条件En且つ条件Fmから導かれる結論Czの帰属度が0.75、条件En且つ条件Gmから導かれる結論Czの帰属度が0.25となるため、代数積加算重心法により、誤検出の判定対象の検出枠Rnにおけるボルトの正常判定度合いは約60と算出される。
【0088】
誤検出判定部18は、ファジィ推論により誤検出の判定対象の検出枠Rnにおけるボルトの正常判定度合いを算出すると、その正常判定度合いが所定値(例えば、50)以下の検出枠Rnについて誤検出であったと判定する。誤検出判定部18は、誤検出であったと判定した検出枠Rnを削除し、削除されなかった検出枠Rnを、入力画像に写ったボルトの検出枠Rnとして検出装置1より出力する。
【0089】
ここで、検出枠Rnが誤検出であったと判定される正常判定度合いの所定値が、使用者によって変更可能に構成されてもよい。これにより、誤検出された検出枠Rnが多く残って出力されるような場合には、使用者が所定値を大きい値に変更することで誤検出の判定を厳しくして、誤検出された検出枠Rnを確実に削除できる。また、正しく検出された検出枠Rnまで誤検出と判定されて削除されるような場合は、使用者が所定値を小さい値に変更することで誤検出の判定を緩くし、正しく検出された検出枠Rnが削除されることを抑制できる。
【0090】
以上説明した本実施形態に係る検出装置1は、次の作用効果を奏する。
【0091】
(1)学習段階において、学習モデル13は、ボルトの写った所定画像サイズの複数の学習用画像データと、ボルトの写っていない前記所定画像サイズの複数の学習用画像データとを用いて、各学習用画像データから抽出されるHOG特徴量に基づき、サポートベクターマシンによる機械学習がなされる。
【0092】
一方、利用段階では、検出装置1への入力画像に対し、探索ウインドウ設定部11により、所定画像サイズの探索ウインドウが設定される。その探索ウインドウは、所定画像サイズよりも少ない画素数(1セル分の6画素)シフトされながらラスタ走査される。設定された探索ウインドウからHOG特徴量が抽出されると、抽出されたHOG特徴量に基づいて、学習モデル13よりボルトの存在確率が存在確率取得部14により取得される。そして、各々の探索ウインドウに対して取得された各存在確率に基づき、入力画像におけるボルトの存在確率マップがマップ生成部15により生成される。また、取得された存在確率が所定確率以上の探索ウインドウが、ボルトの検出候補枠として検出候補枠設定部16により設定される。そして、1つのボルトに対して検出候補枠設定部16により設定されたと認められる複数の検出候補枠が、検出枠統合部17により、存在確率マップを用いて1つのボルトに対する1つの検出枠Rnに統合される。
【0093】
このように、設定された探索ウインドウ毎に、学習モデル13よりボルトの存在確率が取得され、それに基づいてボルトの存在確率マップが生成されて、その存在確率マップより1つのボルトに対して1つの検出枠Rnを得ることができる。よって、入力画像に写ったボルトを精度よく検出できる。また、AI学習ツールとして、サポートベクターマシンによる機械学習がなされた学習モデル13が用いられる。これにより、深層学習による学習モデルが使用される場合と比べ、処理で必要となる負荷やメモリ容量を抑制できる。また、学習モデル13の学習およびその学習モデル13からのボルトの存在確率の取得において、HOG特徴量を用いるので、この点からも処理で必要となる負荷やメモリ容量を抑制できる。よって、処理で必要となる負荷やメモリ容量を抑制しつつ、入力画像に写ったボルトを検出できるという効果がある。
【0094】
(2)検出枠統合部17による検出枠Rnへの統合は、検出枠統合処理によって次のように行われる。まず、検出候補枠設定部16により設定された検出候補枠の中から、存在確率が最も高い検出候補枠が基準検出枠Rcとして選択される。また、その基準検出枠Rcと重なり具合が所定の閾値以上である検出候補枠が、統合対象検出枠Rsとして選択される。次に、マップ生成部15により生成された存在確率マップに基づき存在確率が所定値よりも低い領域を取り除くように、基準検出枠Rc及び統合対象検出枠Rsのそれぞれが収縮される。そして、その収縮された基準検出枠Rc及び統合対象検出枠Rsの全てを外接するように囲う外接枠が、1つのボルトに対する統合された1つの検出枠Rnとして決定される。以上の処理を、基準検出枠Rc又は統合対象検出枠Rsとして選択された検出候補枠を除外していきながら、検出候補枠が無くなるまで、基準検出枠Rcを用いた1つのボルトに対する統合された1つの検出枠Rnの決定が繰り返される。
【0095】
これにより、1つのボルトに対して複数設定された検出候補枠を適切に1つの検出枠Rnに統合できると共に、その1つのボルトに対して、検出枠Rnを適切な大きさに設定できる。
【0096】
(3)検出枠統合部17による処理において、収縮された基準検出枠Rc及び統合対象検出枠Rsのうち、収縮された面積が収縮前よりも所定割合以上収縮された基準検出枠Rc及び統合対象検出枠Rsが、検出枠決定部に用いられる基準検出枠Rc及び統合対象検出枠Rsから削除される。収縮された面積が収縮前よりも所定割合以上収縮された基準検出枠Rc及び統合対象検出枠Rsは、もともとボルトを含んだ検出候補枠ではなかった可能性が高い。このような基準検出枠Rc及び統合対象検出枠Rsを削除することにより、1つのボルトに対する検出枠Rnをより適切に設定できる。
【0097】
(4)学習モデル13として、それぞれ所定画像サイズが異なる学習用画像データにより学習された複数の学習モデル13a~13gにより構成されたものが用いられる。その上で、入力画像に対して、複数の学習モデル13a~13gのそれぞれに対応する所定画像サイズの探索ウインドウが探索ウインドウ設定部11により設定される。そして、入力画像に対して設定された探索ウインドウから抽出されるHOG特徴量に基づいて、その探索ウインドウの所定画像サイズに対応する学習モデル13a~13gより出力される、その探索ウインドウにおけるボルトの存在確率が、存在確率取得部14により取得される。これにより、入力画像に種々の大きさのボルトが写ったとしても、それぞれ異なる所定画像サイズにて学習が行われた複数の学習モデル13a~13gによって、ボルトを精度よく検出できる。
【0098】
(5)検出枠統合部17による検出枠Rnの統合において、検出候補枠のうち、画像サイズが最も大きい検出候補枠の中で存在確率が最も高い検出候補枠が基準検出枠Rcとして選択される。そして、その基準検出枠Rcと重なり具合が所定の閾値以上である検出候補枠がすべて統合対象検出枠Rsとして選択される。これにより、1つのボルトに対して設定されたと見なされる様々な所定画像サイズの検出候補枠を、漏れなく1つの検出枠Rnとして統合できる。
【0099】
(6)検出枠統合部17により1つに統合された検出枠Rnが、その検出枠Rnに統合された検出候補枠の数と、検出枠Rn内の存在確率の平均値とに基づいて、ファジィ推論により誤検出か否かが誤検出判定部18により判定される。そして、誤検出と判定された検出枠Rnが削除された上で、削除されなかった検出枠Rnがボルトの検出結果として出力される。このように、検出枠Rnに統合された検出候補枠の数と、検出枠Rn内の存在確率とに基づいて、ファジィ推論により検出枠Rnの誤検出を判定するので、ボルトの検出の精度を高めることができる。
【0100】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。上記実施形態で挙げた数値は一例であり、他の数値を採用することは当然可能である。
【0101】
上記実施形態では、学習モデル13として、サポートベクターマシンによる機械学習が行われるものについて説明したが、機械学習の方法としてはこれに限られるものではなく、例えば、決定木を弱学習器とするアンサンブル学習の1つであるランダムフォレストや、XGboost(eXtreme Gradient Boosting)、LightBGM(Gradient Boosting Machine)、また、サポートベクターマシン、決定木若しくはニューラルネットワーク又はこれらを用いてアンサンブル学習によって構成されるものであってもよい。ここで、ニューラルネットワークは深層学習によるものであってもよいし、深層学習によらないものであってもよい。ただし、サポートベクターマシン、決定木若しくは深層学習を除くニューラルネットワーク又はこれらを用いてアンサンブル学習によって学習モデル13を構成すれば、深層学習を用いる場合よりも、処理で必要となる負荷やメモリ容量を抑制できる。
【0102】
上記実施形態では、学習モデル13として、HOG特徴量に基づき機械学習が行われるものを用いたが、これに限られるものではなく、何らかの方法に基づき算出される特徴量に基づいて、機械学習が行われるものであってもよい。
【0103】
なお、本発明は、その下位概念として、以下を特徴とするものも含んでいる。即ち、
入力画像に写った検出対象物を検出する検出装置であって、
前記入力画像に対して複数の所定画像サイズの探索ウインドウを設定し、その所定画像サイズ毎に、設定する探索ウインドウを前記所定画像サイズよりも少ない画素数でずらしながらラスタ走査する探索ウインドウ設定部と、
各々の所定画像サイズに対応して用意された学習モデルであって、対応する所定画像サイズで且つ前記検出対象物の写った複数の学習用画像データと、対応する所定画像サイズで且つ前記検出対象物の写っていない複数の学習用画像データとを用いて、各学習用画像データから抽出されるHOG特徴量に基づきサポートベクターマシンによる機械学習がなされた各学習モデルのうち、前記入力画像に対して設定された前記探索ウインドウの所定画像サイズに対応する学習モデルより、その探索ウインドウから抽出されるHOG特徴量に基づいて出力される前記探索ウインドウにおける前記検出対象物の存在確率を取得する存在確率取得部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウに対して前記存在確率取得部により取得された各存在確率に基づき、前記入力画像における前記検出対象物の存在確率マップを生成するマップ生成部と、
前記探索ウインドウ設定部により設定された各々の探索ウインドウにおいて、前記存在確率取得部により取得された各存在確率が所定確率以上の探索ウインドウを、前記検出対象物の検出候補枠として設定する検出候補枠設定部と、
1の検出対象物に対して前記検出候補枠設定部により設定されたと認められる複数の前記検出候補枠を、前記存在確率マップを用いて前記1の検出対象物に対する1つの検出枠に統合する検出枠統合部と、
を備え、
前記検出枠統合部は、
前記検出候補枠設定部により設定された前記検出候補枠のうち画像サイズが最も大きい前記検出候補枠の中で前記存在確率が最も高い検出候補枠を基準検出枠として選択する基準検出枠選択部と、
前記検出候補枠のうち、その検出候補枠の面積に対して前記基準検出枠選択部により選択された前記基準検出枠と重なっている領域の面積の割合が所定の閾値以上である前記検出候補枠を統合対象検出枠として選択する統合対象検出枠選択部と、
前記存在確率マップに基づき前記存在確率が所定値よりも低い領域を取り除くように、前記基準検出枠及び前記統合対象検出枠のそれぞれを収縮する収縮部と、
その収縮部により収縮された前記基準検出枠及び前記統合対象検出枠の全てを外接するように囲う外接枠を前記1の検出対象物に対する統合された1つの検出枠として決定する検出枠決定部と、を備え、
前記基準検出枠又は前記統合対象検出枠として選択された前記検出候補枠を除外して、前記検出候補枠が無くなるまで、前記基準検出枠を用いた前記1の検出対象物に対する統合された1つの検出枠の決定を繰り返すことを特徴とする検出装置。
【0104】
この検出装置によれば、入力画像に対して設定される探索ウインドウの複数の所定画像サイズに対応して、学習モデルが用意される。各学習モデルは、対応する所定画像サイズで且つ検出対象物の写った複数の学習用画像データと、対応する所定画像サイズで且つ検出対象物の写っていない複数の学習用画像データとを用いて、各学習用画像データから抽出されるHOG特徴量に基づきサポートベクターマシンによる機械学習がなされる。入力画像は、探索ウインドウ設定部により、各所定画像サイズの探索ウインドウが設定される。探索ウインドウは、所定画像サイズ毎に、その所定画像サイズよりも少ない画素数でずらされながらラスタ走査される。
【0105】
設定された探索ウインドウからHOG特徴量が抽出されると、その探索ウインドウの所定画像サイズに対応する学習モデルより、抽出されたHOG特徴量に基づいて、その探索ウインドウにおける検出対象物の存在確率が存在確率取得部により取得される。そして、各々の探索ウインドウに対して取得された各存在確率に基づき、入力画像における検出対象物の存在確率マップがマップ生成部により生成される。また、取得された存在確率が所定確率以上の探索ウインドウが、検出対象物の検出候補枠として検出候補枠設定部により設定される。
【0106】
そして、1の検出対象物に対して検出候補枠設定部により設定されたと認められる複数の前記検出候補枠が、検出枠統合部により、次のようにして、存在確率マップを用いて1の検出対象物に対する1つの検出枠に統合される。
【0107】
まず、検出候補枠設定部により設定された検出候補枠のうち画像サイズが最も大きい検出候補枠の中で存在確率が最も高い検出候補枠が、基準検出枠選択部により基準検出枠として選択される。また、検出候補枠のうち、その検出候補枠の面積に対して、選択された基準検出枠と重なっている領域の面積の割合が所定の閾値以上である検出候補枠が、統合対象検出枠選択部により統合対象検出枠として選択される。
【0108】
次に、存在確率マップに基づき存在確率が所定値よりも低い領域を取り除くように、基準検出枠及び統合対象検出枠のそれぞれが収縮部により収縮される。そして、その収縮された基準検出枠及び統合対象検出枠の全てを外接するように囲う外接枠が、1の検出対象物に対する統合された1つの検出枠として検出枠決定部により決定される。その後、基準検出枠又は統合対象検出枠として選択された検出候補枠を除外して、検出候補枠が無くなるまで、この基準検出枠を用いた1の検出対象物に対する統合された1つの検出枠の決定が繰り返される。
【0109】
このように、学習モデルとして、サポートベクターマシンによる機械学習がなされた学習モデルが用いられ、設定された探索ウインドウ毎に、その学習モデルから取得される存在確率から、1の検出対象物に対して1つの検出枠を得ることができる。よって、処理で必要となる負荷やメモリ容量を抑制しつつ、入力画像に写った検出対象物を検出できる。
【0110】
また、入力画像に対して設定される探索ウインドウは、複数の所定画像サイズのものが設定され、また、それぞれの所定画像サイズに対応する学習モデルが用意されるので、入力画像に種々の大きさの検出対象物が写ったとしても、それぞれ異なる所定画像サイズにて学習が行われた複数の学習モデルによって、検出対象物を精度よく検出できる。
【0111】
また、検出枠統合部による検出枠の統合において、検出候補枠のうち、画像サイズが最も大きい検出候補枠の中で存在確率が最も高い検出候補枠が、基準検出枠選択部により基準検出枠として選択され、その基準検出枠との重なっている面積の割合が所定の閾値以上である検出候補枠がすべて統合対象検出枠として選択される。よって、1の検出対象物に対して設定されたと見なされる様々な所定画像サイズの検出候補枠を、漏れなく1つの検出枠として統合できる。
【0112】
また、収縮部によって、存在確率マップに基づき存在確率が所定値よりも低い領域を取り除くように、基準検出枠及び統合対象検出枠のそれぞれが収縮されるので、1つの検出対象物に対して設定されたと見なされる様々な所定画像サイズの検出候補枠を統合したとしても、検出枠を検出対象物に対して適切な大きさに設定できる。
【0113】
なお、上記の下位概念となる発明において、発明が未完成とならない程度に一部の構成が省略・変更されてもよい。
【符号の説明】
【0114】
1 検出装置
11 検索ウインドウ設定部
13 学習モデル
14 存在確率取得部
15 マップ生成部
16 検出候補枠設定部
17 検出枠統合部
18 誤検出判定部
Rc 基準検出枠
Rs 統合対象検出枠
Rn 検出枠