特許 7629399 画像処理装置及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-04

(45)【発行日】2025-02-13

(54)【発明の名称】画像処理装置及び画像処理プログラム

(51)【国際特許分類】

   H04N 23/72 20230101AFI20250205BHJP

   G03B 15/03 20210101ALI20250205BHJP

   G03B 15/05 20210101ALI20250205BHJP

   H04N 23/56 20230101ALI20250205BHJP

   H04N 23/60 20230101ALI20250205BHJP

   H04N 23/74 20230101ALI20250205BHJP

   G03B 15/00 20210101ALN20250205BHJP

【ＦＩ】

H04N23/72

G03B15/03 W

G03B15/05

H04N23/56

H04N23/60

H04N23/74

G03B15/00 H

G03B15/00 T

【請求項の数】 4

(21)【出願番号】P 2021522908

(86)(22)【出願日】2020-05-29

(86)【国際出願番号】 JP2020021406

(87)【国際公開番号】W WO2020241844

(87)【国際公開日】2020-12-03

【審査請求日】2023-05-08

(31)【優先権主張番号】P 2019102259

(32)【優先日】2019-05-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000163006

【氏名又は名称】興和株式会社

(74)【代理人】

【識別番号】100188662

【弁理士】

【氏名又は名称】浅見 浩二

(74)【代理人】

【識別番号】100177895

【弁理士】

【氏名又は名称】山田 一範

(72)【発明者】

【氏名】水草 豊

(72)【発明者】

【氏名】清水 国俊

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１８－０１３７４０（ＪＰ，Ａ）

【文献】特開２０１２－２４３０９７（ＪＰ，Ａ）

【文献】特開２０１５－２３２４８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７２

Ｇ０３Ｂ １５／０３

Ｇ０３Ｂ １５／０５

Ｈ０４Ｎ ２３／５６

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７４

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

対象物に光を照射するための複数の光源と、これら複数の光源の発光を制御するための制御回路とからなる照明部と、
前記対象物を撮影するためのカメラ部と、
前記照明部における光源の発光パターンの切替制御と、前記カメラ部における撮影実行タイミングの制御とを行うための制御部とを備え、
前記制御部は、
前記照明部の複数の光源を複数の発光パターンで発光可能に制御する発光パターン制御部と、
前記複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいて撮影を実行して中間画像を得る撮影処理部と、
少なくとも１以上の画素を含む領域であって複数の前記中間画像それぞれの同じ位置にある複数の領域について濃淡値に基づく順位付けを行い、この順位付けの結果として濃淡値の中央値を持つ領域を代表領域として抽出し、その代表領域を組み合わせて１つの最終画像を生成する画像生成部と
を備え、
前記画像生成部は、前記濃淡値について予め定められた上限側の閾値よりも高い値の箇所及び／又は前記濃淡値について予め定められた下限側の閾値よりも低い値の箇所に複数の分布が存在する場合に、実際の分布数に関わらず所定の固定数だけ分布しているものとみなして前記濃淡値に基づく順位付けを行う
画像処理装置。

【請求項2】

前記制御部は、前記複数の光源を複数のブロックに分類し、ブロック毎にオン／オフ制御を行うことで前記発光パターンを変化させる
請求項１記載の画像処理装置。

【請求項3】

前記制御部は、前記複数の光源を複数のブロックに分類し、前記複数の光源の輝度及び／又は色調をブロック毎に変化させることで前記発光パターンを変化させる
請求項１記載の画像処理装置。

【請求項4】

対象物を複数回撮影して得た複数の中間画像から１つの最終画像を得る画像生成処理をコンピュータに実現させるための画像処理プログラムであって、
前記コンピュータに、
前記対象物に光を照射するための複数の光源を複数の発光パターンで発光制御する発光パターン制御機能と、
前記複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいてカメラによって前記対象物の撮影を実行して中間画像を得る撮影処理機能と、
少なくとも１以上の画素を含む領域であって複数の前記中間画像それぞれの同じ位置にある複数の領域について濃淡値に基づく順位付けを行い、この順位付けの結果として濃淡値の中央値を持つ領域を代表領域として抽出し、その代表領域を組み合わせて１つの最終画像を生成する画像生成機能と
を実現させ、
前記画像生成機能は、前記濃淡値について予め定められた上限側の閾値よりも高い値の箇所及び／又は前記濃淡値について予め定められた下限側の閾値よりも低い値の箇所に複数の分布が存在する場合に、実際の分布数に関わらず所定の固定数だけ分布しているものとみなして前記濃淡値に基づく順位付けを行う
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、鏡面反射等が原因で生じる白飛びや光が届きにくい個所に生じる黒つぶれのない検査用画像を得るための画像処理装置及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、不良品チェックや異常検出の手段として対象物を撮影した撮影画像に基づく画像診断が行われている。近年は、正常画像と異常画像を用いて予め深層学習を行った学習済モデルを用いた画像診断、いわゆるＡＩによる画像診断等も行われている。

【0003】

画像診断に用いる画像においては、対象を正確に撮影することが求められるが、光源の位置条件と対象物の素材や面の角度等の条件によっては鏡面反射が生じてその箇所が白飛びしてしまい、対象物の状態を把握できない撮影画像となってしまうことがある。白飛びや黒つぶれが生じて対象物の状態が撮影画像に反映されないと、画像診断において不良品や異常個所を見落とすおそれがある。

【0004】

ここで、特許文献１には、白飛びや黒つぶれのないきれいな画像をより簡単に撮影することができる撮影画像処理装置が開示されている。この特許文献１に記載の撮影画像処理装置は、撮影画像の明度が所定の明度範囲内に収まっているかを判別して、白飛びや黒つぶれとなる明度状態を判別した場合には、明度を調整してから再度撮影を行うことで、白飛びや黒つぶれを防止している。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００１－１４５０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記の特許文献１に記載の撮影画像処理装置においては、撮影画像に白飛びや黒つぶれが生じている場合に、明度を調整して再撮影する構成であるが、光源の位置条件と対象物の素材や面の角度等の条件は変化しないため、根本的な鏡面反射の影響を取り除くことはできず、明度調整を行ったとしても依然として対象物の状態を把握できない撮影画像となってしまうおそれがある。

【0007】

本発明は、上記問題点に鑑みなされたものであり、鏡面反射等が原因で生じる白飛びや光が届きにくい個所に生じる黒つぶれのない検査用画像を得るための画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る画像処理装置は、対象物に光を照射するための複数の光源と、これら複数の光源の発光を制御するための制御回路とからなる照明部と、前記対象物を撮影するためのカメラ部と、前記照明部における光源の発光パターンの切替制御と、前記カメラ部における撮影実行タイミングの制御とを行うための制御部とを備え、前記制御部は、前記照明部の複数の光源を複数の発光パターンで発光可能に制御する発光パターン制御部と、前記複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいて撮影を実行して中間画像を得る撮影処理部と、取得した複数の前記中間画像に基づいて１つの最終画像を生成する画像生成部とを備えることを特徴とする。

【0009】

また、本発明に係る画像処理装置は、前記画像生成部は、少なくとも１以上の画素を含む領域であって複数の前記中間画像それぞれの同じ位置にある複数の領域から代表領域を抽出し、その代表領域を組み合わせて前記最終画像を生成することを特徴とする。

【0010】

また、本発明に係る画像処理装置は、前記画像生成部は、少なくとも１以上の画素を含む領域であって複数の前記中間画像それぞれの同じ位置にある複数の領域について濃淡値に基づく順位付けを行い、この順位付けに基づいて代表領域を抽出し、その代表領域を組み合わせて前記最終画像を生成することを特徴とする。

【0011】

また、本発明に係る画像処理装置は、前記画像生成部は、前記濃淡値に基づく順位付けの結果として濃淡値の中央値を持つ領域を前記代表領域として抽出することを特徴とする。

【0012】

また、本発明に係る画像処理装置は、前記画像生成部は、前記濃淡値について予め定められた上限側の閾値よりも高い値の箇所及び／又は前記濃淡値について予め定められた下限側の閾値よりも低い値の箇所に複数の分布が存在する場合に、実際の分布数に関わらず所定の固定数だけ分布しているものとみなして前記濃淡値に基づく順位付けを行うことを特徴とする。

【0013】

また、本発明に係る画像処理装置は、前記制御部は、前記複数の光源を複数のブロックに分類し、ブロック毎にオン／オフ制御を行うことで前記発光パターンを変化させることを特徴とする。

【0014】

また、本発明に係る画像処理装置は、前記制御部は、前記複数の光源を複数のブロックに分類し、前記複数の光源の輝度及び／又は色調をブロック毎に変化させることで前記発光パターンを変化させることを特徴とする。

【0015】

本発明に係る画像処理プログラムは、対象物を複数回撮影して得た複数の中間画像から１つの最終画像を得る画像生成処理をコンピュータに実現させるための画像処理プログラムであって、前記コンピュータに、前記対象物に光を照射するための複数の光源を複数の発光パターンで発光制御する発光パターン制御機能と、前記複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいてカメラによって前記対象物の撮影を実行して中間画像を得る撮影処理機能と、取得した複数の前記中間画像に基づいて１つの最終画像を生成する画像生成機能とを実現させることを特徴とする。

【発明の効果】

【0016】

本願の実施の形態により１又は２以上の不足が解決される。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態の少なくとも１つに対応する画像処理装置の構成の一例を示すブロック図である。

【図2】本発明の実施の形態の少なくとも１つに対応する画像処理装置の構成の一例を示す概念図である。

【図3】本発明の実施の形態の少なくとも１つに対応する画像生成処理の流れの一例を示すフローチャート図である。

【図4】本発明の実施の形態の少なくとも１つに対応する画像生成処理における代表画素を決定する方法について説明した説明図である。

【図5】本発明の実施の形態の少なくとも１つに対応する画像処理装置を用いた結果の一例を表した説明図である。

【図6】本発明の実施の形態の少なくとも１つに対応する画像生成処理における代表画素を決定する方法について説明した説明図である。

【図7】本発明の実施の形態の少なくとも１つに対応する画像処理装置における照明部及びカメラ部の配置の一例を表した説明図である。

【発明を実施するための形態】

【0018】

［第１の実施の形態］
以下、図面を参照しながら、本発明の第１の実施の形態に係る画像処理装置の例について説明する。図１は、本発明の実施の形態の少なくとも１つに対応する画像処理装置の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、照明部１０と、カメラ部２０と、制御部３０を備える。

【0019】

なお、画像処理装置１００は、専用マシンとして設計した装置であってもよいが、画像処理装置１００の制御部３０における処理は、一般的なコンピュータによって実現可能なものであるものとする。すなわち、画像処理装置１００の制御部３０については、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）と、メモリと、ハードディスクドライブ、ＳＳＤ等のストレージとを備えており、また、マウス、キーボード等の入力装置と、ディスプレイ、プリンタ等の出力装置と、通信ネットワークと接続するための通信装置とを備えており、これらがバスを介して接続されている構成であってもよい。画像処理装置１００の制御部３０の各部における処理は、これらの各部における処理を実行するためのプログラムをメモリから読み込んで制御回路（Processing circuit、Processing circuitry）として機能するＣＰＵやＧＰＵにおいて実行することで実現する。言い換えると、当該プログラムの実行により、プロセッサ（処理回路）が、各装置の各処理を実行できるように構成される。また、画像処理装置１００を専用マシンとして実現する場合としては、例えば、組み込みＣＰＵで照明部１０及びカメラ部２０に対する制御を行い、カメラ部２０の撮影によって取得した画像をフレームメモリとＦＰＧＡにて処理するといった構成が考えられる。

【0020】

本例における撮影の対象物は、画像診断を行う対象であればどのようなものであってもよいが、例えば、切削加工工具のドリルやエンドミルなどが対象物となり得る。ドリルやエンドミルの傷、摩耗、欠損等を検出するための画像診断用画像を得るために、本例の画像処理装置１００が適用可能である。これに限らず、鏡面反射等が原因の白飛びや光が届きにくいことが原因の黒つぶれが生じることで不良品や異常個所を見落とすおそれのあるものは全て本例の対象物となり得る。

【0021】

照明部１０は、撮影の対象物に光を照射するための複数の光源と、これら複数の光源の発光を制御するための制御回路とからなる。光源は、蛍光灯、白熱灯、ＬＥＤ、エレクトロルミネセンスライトなどの他、例示しないものも含めた様々な光源を採用することが可能であるが、例えば、複数のＬＥＤを採用することが可能である。また、光源は、発光のオン／オフを任意に切替可能である必要があり、さらに、発光の強度を変化させる制御が可能であることが好ましい。また、複数の光源の配置は様々に設定可能であるが、撮影の対象物に対して様々な方向から光を照射することが可能な配置とすることが望ましい。

【0022】

カメラ部２０は、対象物を撮影するための機能を備える。このカメラ部２０による撮影処理は、制御部３０によって制御可能に構成される。

【0023】

制御部３０は、照明部１０における光源の発光パターンの切替制御と、カメラ部２０における撮影実行タイミングの制御とを行う機能を備える。具体的には、制御部３０は、発光パターン制御部３１と、撮影処理部３２と、画像生成部３３と、記憶部３４を備えている。

【0024】

発光パターン制御部３１は、照明部１０の複数の光源を複数の発光パターンで発光可能に制御する機能を有する。複数の光源を複数の発光パターンで発光させる制御を行うことで、撮影の対象物に様々な方向から光を照射することが可能となる。発光パターンはどのようなものであってもよいが、例えば、複数の光源を複数のブロック（グループ）に分類し、ブロック毎にオン／オフ制御を行うようにし、何れのブロックをオンにして何れのブロックをオフにするかの組み合わせによって発光パターンを複数構成して制御を実行する方法が考えられる。さらに、複数のブロックのうちの発光がオンのブロックについて、複数の光源の輝度をブロック毎に変化させる制御を可能にすることで、輝度の強弱変化が異なる発光パターンを複数構成して制御を実行するようにしてもよい。なお、発光パターンの制御は、必ずしもブロックに分類して実行する必要はなく、個別の光源の発光のオン／オフ及び発光強度の調整をランダムに切り替えるような制御方法であってもよいし、徐々に発光エリアと発光強度が特定方向に変化していくグラデーションとなるような発光制御を行うものであってもよい。また、ランダム制御やグラデーション制御をブロックに分類した上で適用してもよい。さらに、発光パターンの制御として、光源の色調を変化させるようにしてもよい。色調によって反射率が相違するので、対象物に照射する光の色調を変化させることにより対象物の特徴を抽出し得る可能性があるからである。以上のように、本例において発光パターンを変化させるとは、光源のオン／オフ制御による変化の他、光源の輝度の強度を変化させる制御や、光源の色調を変化させる制御を含み得るものとする。

【0025】

撮影処理部３２は、複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいて撮影を実行して中間画像を得る機能を有する。すなわち、撮影の対象物に対して異なる光の照射状況での撮影を実行して複数の中間画像を得る。好ましくは、発光パターン制御部３１における発光パターンが切り替わったタイミングで撮影を行う、すなわち、発光パターンの切替制御と同期させたタイミングで撮影を実行すれば、複数の発光パターンの数と同数の中間画像が得られる。なお、必ずしも発光パターンの切替制御と同期させたタイミングで撮影を行う必要はなく、それぞれ異なるタイミングで制御を行って撮影を行うものであってもよい。得られた複数の中間画像は、例えば、記憶部３４に記憶される。

【0026】

画像生成部３３は、取得した複数の中間画像に基づいて１つの最終画像を生成する機能を有する。具体的には、複数の中間画像それぞれの同じ位置にある複数の画素から代表画素を抽出し、その代表画素を組み合わせて前記最終画像を生成する手法が考えられる。すなわち、各画素位置毎に全ての中間画像の中から代表画素を選択する処理を全画素位置について実行することで代表画素の組み合わせからなる最終画像を得るという処理である。

【0027】

代表画素を選択する方法は、例えば、複数の中間画像それぞれの同じ位置にある複数の画素についての濃淡値を取得して濃淡値に基づく順位付けを行い、この順位付けに基づいて代表画素を抽出するという手法が考えられる。ここで、濃淡値とは、画素の輝度情報のことをいう。画素がＲＧＢ情報で表現されている場合には、公知の変換式に基づいてＲＧＢ情報を輝度情報に変換して順位づけを行う。また、順位付けとは、輝度値の大きい画素から輝度値の小さい画素までを順位付けすることを意味し、これは、各画素の配置位置が特定可能な状態で階調ヒストグラムを作成することと同義である。なお、輝度の明るい方を上位とするか輝度の暗い方を上位とするかに違いはなく、何れの方法であっても問題ない。順位付けに基づいて代表画素を抽出する方法は、輝度値の順位がメディアン値（中央値）に位置する画素を代表画素とする方法、輝度値の順位が上位何％に位置するなど所定の順位位置の画素を代表画素とする方法などが考えられる。

【0028】

記憶部３４は、画像処理装置１００における各部の処理に必要な情報を記憶し、また、各部の処理で生じた各種の情報を記憶する機能を有する。

【0029】

次に、本発明の実施の形態の少なくとも１つに対応する画像処理装置の構成例について説明を行う。図２は、本発明の実施の形態の少なくとも１つに対応する画像処理装置の構成の一例を示す概念図である。この図２の例では、照明部１０の構成として、光源固定板に複数の光源１１としてのＬＥＤを配置した例を示している。また、この図２の例では、光源固定板の概略中央の位置にカメラ部２０のレンズを背面側から正面側に向けて突出させて構成している。このように、カメラ部２０のレンズの上下左右に略均等に複数の光源１１を配置することで、撮影の対象物にレンズの光軸が向くように照明部１０及びカメラ部２０を正対させると、対象物に対して上下左右から光を照射することが可能となる。照明部１０及びカメラ部２０は、それぞれが制御部３０としてのコンピュータに信号ケーブル４０を介して接続される。制御部３０としてのコンピュータには表示装置５０や、キーボード６１やマウス６２といった入力装置６０が接続されて使用される。なお、この図２における照明部１０及びカメラ部２０を同一の光源固定板に固定する例は、あくまで一例であり、これに限定されるものではない。

【0030】

次に、本発明の実施の形態の少なくとも１つに対応する画像処理装置１００における画像生成処理の流れについて説明を行う。図３は、本発明の実施の形態の少なくとも１つに対応する画像生成処理の流れの一例を示すフローチャート図である。この図３において、画像生成処理は、画像処理装置１００の制御部３０において、中間画像データを取得のために、光源の発光パターンを制御することによって開始される（ステップＳ１０１）。次に、画像処理装置１００の制御部３０は、制御された発光パターンで光が照射された対象物について撮影を実行して中間画像データを取得する（ステップＳ１０２）。ここで、中間画像の画像サイズは、横方向の画素数がＸｗ個、縦方向の画素数がＹｗ個であるものとする。すなわち、中間画像の画素数は、Ｘｗ×Ｙｗと表現することができる。次に、画像処理装置１００の制御部３０は、撮影済みの中間画像データが予め設定した所定枚数であるｍ枚に到達したかを判定する（ステップＳ１０３）。画像処理装置１００の制御部３０は、中間画像データがｍ枚に到達していない場合（Ｓ１０３－ＮＯ）には、Ｓ１０１～Ｓ１０３のステップを繰り返して、異なる発光パターンによる中間画像データを取得する。一方、中間画像データがｍ枚に到達した場合（Ｓ１０３－ＹＥＳ）には、中間画像の全ての座標（Ｘｉ，Ｙｊ）について、ステップＳ１０５、Ｓ１０６を繰り返し実行する（Ｓ１０４のループ構造）ここで、ｉは、横方向の画素位置についての座標情報を表していて、ｉ＝１～Ｘｗの範囲となり、ｊは、縦方向の画素位置についての座標情報を表していて、ｊ＝１～Ｙｗの範囲となる。次に、画像処理装置１００の制御部３０は、取得したｍ枚の中間画像データのそれぞれの座標（Ｘｉ，Ｙｊ）の画素の階調情報を取得して、階調ヒストグラム（順位付け）を生成する（ステップＳ１０５）。次に、画像処理装置１００の制御部３０は、生成した階調ヒストグラム（順位付け）に基づいて、現在の着目している座標（Ｘｉ，Ｙｊ）の画素についての代表画素を抽出する（ステップＳ１０６）。代表画素の抽出は、例えば、階調ヒストグラムにおけるメディアン値に相当する画素を代表画素として抽出しても良いし、階調ヒストグラムにおける上或いは下から所定番目の値を持つ画素を代表画素として抽出しても良い。このようにして、画像処理装置１００の制御部３０は、Ｓ１０５、Ｓ１０６のステップを繰り返すことで中間画像データの全ての座標（Ｘｉ，Ｙｊ）について代表画素を抽出する処理を行う。最後に、画像処理装置１００は、抽出した全ての代表画素を組み合わせて最終画像データを生成する（Ｓ１０７）。

【0031】

図４は、本発明の実施の形態の少なくとも１つに対応する画像生成処理における代表画素を決定する方法について説明した説明図である。図４は、複数の中間画像それぞれの同じ位置にある複数の画素についての濃淡値による順位付け、すなわち階調ヒストグラムに基づいて代表画素を抽出する方法の一例として、濃淡値（輝度値）の順位がメディアン値（中央値）に位置する画素を代表画素とする手法を採用する場合である。この図４の例は、対象物について９枚の撮影を行って中間画像データを９個取得した場合に、それぞれの中間画像データの所定の座標（Ｘｉ，Ｙｊ）にある画素の濃淡値を取得して順位付けを行った結果、９個の濃淡値のデータが均一に分布していた場合を表している。この場合メディアン値に相当するのは図４の階調ヒストグラムにおける左右どちらから数えても５つ目の値がメディアン値になるので、このメディアン値を持つ画素を代表画素として抽出する。なお、同じ濃淡値を持つ画素が複数存在してその複数分布した箇所がメディアン値であった場合には、複数の中間画像の何れの画素を代表画素として採用しても同じ内容となるので問題はない。

【0032】

図５は、本発明の実施の形態の少なくとも１つに対応する画像処理装置を用いた結果の一例を表した説明図である。図５（ａ）は、対象物としてのドリルの刃についてｍ枚の撮影を行ってｍ個の中間画像データを取得した場合において、その一部の中間画像データを表した写真である。この図５（ａ）に示すように、光源の発光パターンを様々に変化させて撮影を実行しているため、鏡面反射が原因で白飛びしている箇所を含む中間画像データもあれば、黒つぶれに近い状態を含む中間画像データも存在する。これに対して、図５（ｂ）に示すのは、ｍ個の中間画像データを用いてメディアン値を代表画素として採用する手法で生成した最終画像データの一例を表している。この図５（ｂ）に示すように、白飛びや黒つぶれの状況がほぼ無い状態まで改善されつつも、ドリルのエッジや表面の質感などは失われていない最終画像が得られることが分かる。

【0033】

以上に説明したように、本発明に係る画像処理装置によれば、対象物に光を照射するための複数の光源と、これら複数の光源の発光を制御するための制御回路とからなる照明部と、前記対象物を撮影するためのカメラ部と、前記照明部における光源の発光パターンの切替制御と、前記カメラ部における撮影実行タイミングの制御とを行うための制御部とを備え、前記制御部は、前記照明部の複数の光源を複数の発光パターンで発光可能に制御する発光パターン制御部と、前記複数の発光パターンのうちの少なくも２パターン以上のタイミングにおいて撮影を実行して中間画像を得る撮影処理部と、取得した複数の前記中間画像に基づいて１つの最終画像を生成する画像生成部とを備えるようにしたので、鏡面反射等が原因で生じる白飛びや光が届きにくい個所に生じる黒つぶれのない検査用画像を得ることが可能となる。

【0034】

［第２の実施の形態］
第１の実施の形態においては、代表画素を抽出する方法として、濃淡値に基づいて順位付けした場合のメディアン値に相当する画素を代表画素として抽出する例を挙げて説明を行ったが、これに限定されるものではない。より一層、白飛びや黒つぶれが発生しない代表画素の抽出方法を採用することもできる。

【0035】

図６は、本発明の実施の形態の少なくとも１つに対応する画像生成処理における代表画素を決定する方法について説明した説明図である。図６（ａ）は、鏡面反射が多く発生した場合の階調ヒストグラムの一例を表している。鏡面反射が多く発生すると、白飛びに近い輝度値の高い個所に多くの画素の分布が集中することになる。この状態でメディアン値の画素を代表画素として抽出すると、ほぼ白飛びに近い個所から代表画素が抽出されてしまい、最終画像に鏡面反射の影響が残ってしまうことになる。そこで、図６（ａ）に示すように、階調ヒストグラムの所定の輝度値にスレッショルド（閾値）を設定して、スレッショルドよりも輝度値の高い個所に多数の画素が分布しているとしても、スレッショルドよりも輝度値の高い個所の分布を「１」とみなし、その状態でメディアン値となる代表画素を抽出するようにする。このように、スレッショルドよりも輝度値の高い個所の分布を「１」とみなすことで、メディアン値が輝度値の高い個所から中間的な輝度値の位置に移動することになり、代表画素として選ばれる画素の輝度値が白飛びから離れた値となる。結果として、鏡面反射の影響がほとんど残らない最終画像を得ることが可能となる。なお、図５（ａ）のｍ枚の中間画像データについて、この図６（ａ）の代表画素決定処理を採用すると、図５（ｃ）に示す最終画像データを得ることができる。この図５（ｃ）の画像を単純メディアン値採用の図５（ｂ）と比較すると、図５（ｃ）の方がより一層鏡面反射の影響が弱まっていることが分かる。

【0036】

図６（ｂ）は、黒つぶれに近い状況が多く発生した場合の階調ヒストグラムの一例を表している。黒つぶれに近い状況が多く発生すると、黒つぶれに近い輝度値の低い個所に多くの画素の分布が集中することになる。この状態でメディアン値の画素を代表画素として抽出すると、代表画素として抽出する画素の輝度値も低いものとなってしまい、最終画像も暗いものになってしまうことになる。そこで、図６（ｂ）に示すように、階調ヒストグラムの所定の輝度値にスレッショルド（閾値）を設定して、スレッショルドよりも輝度値の低い個所に多数の画素が分布しているとしても、スレッショルドよりも輝度値の低い個所の分布を「０」とみなし、その状態でメディアン値となる代表画素を抽出するようにする。このように、スレッショルドよりも輝度値の低い個所の分布を「０」とみなすことで、メディアン値が輝度値の低い個所から中間的な輝度値の位置に移動することになり、代表画素として選ばれる画素の輝度値が黒つぶれから離れた値となる。結果として、黒つぶれに近い中間画像が多い場合でも暗くなり過ぎない最終画像を得ることが可能となる。

【0037】

図６（ａ）及び（ｂ）の例においてはスレッショルドの外側の分布を「１」や「０」とみなしているが、これはあくまで一例である。すなわち、一般化して表現すれば、画像生成部３３は、濃淡値について予め定められた上限側の閾値よりも高い値の箇所及び／又は濃淡値について予め定められた下限側の閾値よりも低い値の箇所に複数の分布が存在する場合に、実際の分布数に関わらず所定の固定数だけ分布しているものとみなして濃淡値に基づく順位付けを行うということである。ここでの所定の固定数は、分布数より大きい値では効果がないが、分布数に比較して小さい値となると想定される固定数であれば、「１」や「０」でなくとも、白飛びや黒つぶれが発生しないように代表画素を抽出することが可能となる。

【0038】

［第３の実施の形態］
第１及び第２の実施の形態においては、照明部１０の光源１１の具体的配置については説明を行っていなかったが、例えば、図７に示すような光源１１の配置としてもよい。

【0039】

図７は、本発明の実施の形態の少なくとも１つに対応する画像処理装置における照明部及びカメラ部の配置の一例を表した説明図である。図７（ａ）は、中央にカメラ部２０を配置するとともに、光源１１としてのＬＥＤを縦列方向に整列させるように配置して、縦方向に近接する複数の光源としてのＬＥＤでブロック（グループ）を形成した例を表しており、Ａ～Ｌの１２個のブロックが形成されている。このような構成において、例えば、上下に位置する２つのブロックであるＡとＧ、ＢとＨ、ＣとＩ、ＤとＪ、ＥとＫ、ＦとＬを同時に発光させるようにし、左側のＡとＧから順次発光列が右方向に移動するように発光パターンを制御するという制御内容が考えられる。このような制御は、上下方向に光源の位置を変化させる必要性は乏しいが、左右方向には光源位置を変化させて撮影を行いたいといった対象物の場合に有効な制御内容であるといえる。

【0040】

図７（ｂ）は、中央にカメラ部２０を配置するとともに、正方形状の光源固定板をその対角線によって４つのエリアに分割した場合に、三角形状の各エリアに複数の光源１１としてのＬＥＤを配置して、さらに各エリア内でそれぞれ３つのブロック（グループ）を形成した例を表しており、Ａ～Ｌの１２個のブロックが形成されている。このような構成において、例えば、４つのエリアに位置する各３つのブロックＡ～Ｃ、Ｄ～Ｆ、Ｇ～Ｉ、Ｊ～Ｌをエリア毎にオン／オフを制御して発光させることで、上下左右の何れの方向についても、光が照射される状況と光が照射されない状況を使い分けることが可能となる。さらに、同じエリアの３つのブロックの何れを発光させるかによって光の強度を調整することも可能である。このような制御は、上下左右の何れの方向からも万遍なく光を照射させて撮影又は上下左右の何れかの方向から照射させずに撮影を行いたい対象物の場合に有効な制御内容であるといえる。

【0041】

また、図７（ａ）及び（ｂ）に示す照明部１０とカメラ部２０の配置によれば、工作機械付近など防塵、耐油、耐水性が求められる場所でも有利な効果がある。
従来、ドリルなどの円柱形状の対象物に対して多方向から光を照射する場合、所謂リング照明と呼ばれる円筒形又は半円筒形の照明装置が使われている。但し、リング照明の場合、リング照明はその径の中心近くに対象物を置いて用いられるため、対象物の近くに配置されることが多くなる。一方、カメラは、対象物の適切な撮影のために、ある程度対象物から距離を置いて配置されることになる。その結果、リング照明とカメラは、ある程度離れて位置に配置されることなる。
ここで、防塵等を考えた場合、カメラと照明装置をハウジングに収容しておくことが望ましいが、リング照明を採用する場合、上記事情があるため、カメラとリング照明のそれぞれに別のハウジングを用意するか、或いは、大きいサイズのハウジングを用意する必要があった。その結果、工作機械付近など十分なスペースが確保できない場所には配置しにくい点が問題となる。さらに、リング照明を収容するハウジングに至っては、リング照明と同様に対象物を取り囲むような形状となるため、その形状が複雑になる点も問題となる。
その点、本実施の形態の照明部１０は、平面構造であり対象物との距離を確保できるため、図７（ａ）及び（ｂ）に示すように、照明部１０をカメラ部２０に近接させて配置することができる。そのため、照明部１０とカメラ部２０とともに１つのハウジングに収めることが容易となる。また、照明部１０によれば、リング照明のように対象物を取り囲む必要がないため、それを収容するハウジングを単純に形状で構成できる。さらに、これらの点からハウジングのサイズを小さくすることも容易である。その結果、リング照明を採用する場合に比べ、小さなスペースしか確保できない工作機械付近などでも導入し易いという有利な効果を持つ。なお、対象物への光の照射と対象物の撮影のため、ハウジングには照明部１０とカメラ部２０の前方になるべく小さな口を開けておいても良いが、防塵等の面では、ハウジングの全部又は照明部１０とカメラ部２０の前方のみをガラス等の透明な部材で形成しておく方が望ましい。

【0042】

［第４の実施の形態］
第１乃至第３の実施の形態においては、画像生成部３３での最終画像データ生成のために１画素ごとに複数の中間画像データの濃淡値について順位付けを行って代表画素を抽出する構成としていたが、これに限定されるものではない。例えば、１画素ごとではなく、複数の画素が含まれる所定の領域を比較単位としてもよい。

【0043】

例えば、２×２の４画素を比較単位としての領域に設定したり、３×３の９画素を比較単位としての領域に設定したりすることも可能である。この場合、領域内の何れの画素に基づいて濃淡値の順位付けを行うかを予め決めておくことが考えられる。例えば、２×２の４画素の場合には左上の画素を順位付けのための比較に用いるようにしてもよいし、３×３の９画素の場合には中央の画素を順位付けのための比較に用いるようにしてもよい。そして、複数の中間画像のそれぞれ同じ位置にある領域について濃淡値に基づく順位付けを行うために、領域内で予め定めた位置の画素の濃淡値をその領域の濃淡値として比較を行う。そして、例えば、メディアン値の濃淡値に相当する画素が含まれる中間画像データの当該領域を代表領域として抽出する。すなわち、濃淡値の比較は領域内の１つの画素の濃淡値に基づいて行うが、代表領域に含まれる全ての画素データを最終画像に採用することになる。これらを一般化すると、画像生成部３３は、少なくとも１以上の画素を含む領域であって複数の前記中間画像それぞれの同じ位置にある複数の領域について濃淡値に基づく順位付けを行い、この順位付けに基づいて代表領域を抽出し、その代表領域を組み合わせて前記最終画像を生成する構成であるといえる。

【0044】

以上のように、２×２の４画素であったり、３×３の９画素であったりを比較単位としての領域と定めても、領域の比較は１画素のみによって行う構成であるため、全ての画素について代表画素抽出の処理を実行する第１乃至第３の実施の形態の例に比較して、演算量を低減させることが可能となる。

【符号の説明】

【0045】

１００ 画像処理装置
１０ 証明部
１１ 光源
２０ カメラ部
３０ 制御部
３１ 発光パターン制御部
３２ 撮影処理部
３３ 画像生成部
３４ 記憶部
４０ 信号ケーブル
５０ 表示装置
６０ 入力装置
６１ キーボード
６２ マウス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】