IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特開2025-10546画像形成システム、画像形成方法、及びプログラム
<>
  • 特開-画像形成システム、画像形成方法、及びプログラム 図1
  • 特開-画像形成システム、画像形成方法、及びプログラム 図2
  • 特開-画像形成システム、画像形成方法、及びプログラム 図3
  • 特開-画像形成システム、画像形成方法、及びプログラム 図4
  • 特開-画像形成システム、画像形成方法、及びプログラム 図5
  • 特開-画像形成システム、画像形成方法、及びプログラム 図6
  • 特開-画像形成システム、画像形成方法、及びプログラム 図7
  • 特開-画像形成システム、画像形成方法、及びプログラム 図8
  • 特開-画像形成システム、画像形成方法、及びプログラム 図9
  • 特開-画像形成システム、画像形成方法、及びプログラム 図10
  • 特開-画像形成システム、画像形成方法、及びプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025010546
(43)【公開日】2025-01-22
(54)【発明の名称】画像形成システム、画像形成方法、及びプログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20250115BHJP
【FI】
G01N21/88 Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021192820
(22)【出願日】2021-11-29
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】田尾 祥一
(72)【発明者】
【氏名】岡野 誉之
(72)【発明者】
【氏名】斉藤 真一郎
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA07
2G051AB02
2G051BB11
2G051BC10
2G051CA03
2G051CA04
2G051CA07
2G051CB01
2G051CD06
2G051EA09
2G051EA23
2G051ED21
(57)【要約】
【課題】安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現すること。
【解決手段】
画像形成システム100は、二次元の照明パターンの光を測定対象物に照射する照明投影部12と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部13と、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部から光を照射させる照明制御部(制御部11)と、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部ごとに、二次元に再構成された第1画像を生成する第1画像生成部(制御部11)と、検出部ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部(制御部11)と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
二次元の照明パターンの光を測定対象物に照射する照明投影部と、
異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、
複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部と、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに、二次元に再構成された第1画像を生成する第1画像生成部と、
前記検出部ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部と、
を備えることを特徴とする画像形成システム。
【請求項2】
前記検出部は、フォトダイオードであることを特徴とする請求項1に記載の画像形成システム。
【請求項3】
前記照明投影部は、DMDを含み、
前記照明制御部は、前記DMDのクロック周波数に対して、RGB画像のビットごとの画像を対応させ、
RGB画像のビットごとの画像を、独立したパターンとして、前記照明投影部に投影させることを特徴とする請求項1又は2に記載の画像形成システム。
【請求項4】
前記第2画像生成部は、複数の前記第1画像における各同一ピクセルの前記光強度を比較して所定の処理を行うことを特徴とする請求項1から3のいずれか一項に記載の画像形成システム。
【請求項5】
前記第2画像生成部は、前記複数の第1画像から、前記処理によりハレーション除去及びハレーション発生該当部の画像を復元させた画像を前記第2画像として生成することを特徴とする請求項4に記載の画像形成システム。
【請求項6】
前記第2画像生成部は、前記複数の第1画像から、前記処理により傷を判別し、前記傷部分を強調処理した画像を前記第2画像として生成することを特徴とする請求項4に記載の画像形成システム。
【請求項7】
前記第2画像生成部は、前記複数の第1画像における各同一ピクセルの前記光強度から、散乱異方性を表す特徴量を算出し、前記特徴量に基づき、前記第2画像として散乱異方性画像を生成することを特徴とする請求項1から3のいずれか一項に記載の画像形成システム。
【請求項8】
複数の二次元の照明パターンの中から順次前記照明パターンを切り替えて光を測定対象物に照射し、
異なる場所において、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出し、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、光強度を検出した前記異なる場所ごとに二次元に再構成された複数の第1画像を生成し、
前記複数の第1画像における各同一ピクセルの前記光強度に処理を施し、新たな第2画像を生成する画像形成方法。
【請求項9】
二次元の照明パターンの光を測定対象物に照射する照明投影部と、異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、とを備える画像形成システムのコンピューターを、
複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに二次元に再構成された第1画像を生成する第1画像生成部、
前記検出部ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像形成システム、画像形成方法、及びプログラムに関する。
【背景技術】
【0002】
従来、フィルム加工、メッキ加工、又は塗装がされた部材のように、光沢のある部材の品質検査(外観検査)は、目視による検査が行われていた。
目視による検査では、光の当て方や見る方向を随時変えながら、細かい傷や欠陥を見つけるのが一般的であり、手間や時間を要する作業であった。
【0003】
最近では、このような目視による検査を装置による自動検査で代替しようとする試みがされており、例えば特許文献1では、顕微鏡のリング照明の領域毎に照射タイミングをずらして、領域数分だけ画像撮影し、画像処理によってハレーションの除去や傷部分の強調などが行われている。
なお、通常、リング照明を使用するのであれば、上記以外にも、対象物から離れた位置に設置する場合に加えて、対象物の近くに設置するローアングル照明を使用する場合などが存在し、取得したい画像の特徴に応じて使い分ける、または併用する方法なども考えられる。
更に、より広い領域の検査では、例えば時間変化する縞模様の照明を物体に照射し、時系列で測定した画像から、画像処理によって傷部分を強調する検査方法が知られている。
【0004】
また、特許文献2でも、ハレーションを除去した外観検査方法が紹介されている。特許文献2では、照明によるハレーションを除去するために、対象物を複数の照明で直接照らさずに、対象物と照明との間に半円柱の拡散板をもちいることで、2次的に拡散型のドーム光源を作り出し、このドーム光源による照射の反射光により対象物を1つのカメラで観察する検査方法が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2015-40796号
【特許文献2】特許6616040号
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1のように、複数の照明条件で撮影した複数の画像をもとに、画像処理を経てハレーション除去や傷強調を行う際には、通常、照明が複数個あってカメラが固定の1個を用いる構成がとられる。これは、複数枚の画像をもとに一枚の画像を生成する際に、視点が異なると、各々のカメラと測定対象物との位置関係を把握して、適切な画像処理を施す必要があり、画像生成(画像合成)が困難であることに起因する。
そのため、照明条件数に比例して撮影時間が長くなること、対象物の大きさが照明器具の大きさの制約を受けること、または、対象物を動かす機構を設けることなどの欠点がある。
【0007】
また、特許文献2では、対象物が大きくなると、付随して拡散型ドームの拡散板も大きな物を用意しなければならず、また、対象物とカメラとの光路内には、拡散板の穴を設ける関係上、装置全体や照明部も大掛かりにならざるをえない。
【0008】
したがって、本発明の課題は、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することである。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明の画像形成システムは、
二次元の照明パターンの光を測定対象物に照射する照明投影部と、
異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、
複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部と、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに、二次元に再構成された第1画像を生成する第1画像生成部と、
前記検出部ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部と、
を備えることを特徴とする。
【0010】
また、本発明の画像形成方法は、
複数の二次元の照明パターンの中から順次前記照明パターンを切り替えて光を測定対象物に照射し、
異なる場所において、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出し、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、光強度を検出した前記異なる場所ごとに二次元に再構成された複数の第1画像を生成し、
前記複数の第1画像における各同一ピクセルの前記光強度に処理を施し、新たな第2画像を生成する。
【0011】
また、本発明のプログラムは、
二次元の照明パターンの光を測定対象物に照射する照明投影部と、異なる場所に設置され、前記照明パターンの光による前記測定対象物からの反射光の光強度を検出する複数の検出部と、とを備える画像形成システムのコンピューターを、
複数の前記照明パターンの中から順次前記照明パターンを切り替えて前記照明投影部から光を照射させる照明制御部、
前記照明パターンと当該照明パターンに対応した反射光の前記光強度から、前記検出部ごとに二次元に再構成された第1画像を生成する第1画像生成部、
前記検出部ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部、
として機能させる。
【発明の効果】
【0012】
本発明によれば、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
【図面の簡単な説明】
【0013】
図1】画像形成システムの概略構成を示す概略図である。
図2】画像形成システムの機能構成を示すブロック図である。
図3】照明投影部による対象物への照明パターンの例である。
図4】照明投影部及び複数の検出部の配置の形態例である。
図5】照明投影部及び複数の検出部の配置の形態例である。
図6】画像形成処理のフローチャートである。
図7】ハレーション除去処理のフローチャートである。
図8】傷強調画像生成処理のフローチャートである。
図9】散乱異方性画像生成処理のフローチャートである。
図10】散乱異方性画像生成処理における照明投影部及び複数の検出部の配置の形態例である。
図11】散乱異方性画像生成処理における視点位置と光強度である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態および図示例に限定するものではない。特に、図面は、説明の都合上簡略されており、照明パターンと対象物との比率とは異なる場合がある。
【0015】
(画像形成システムの構成)
図1は、本実施形態の画像形成システム100の概略構成を示す概略図である。そして、画像形成システム100は、主に非発光物体である対象物の外観に関する情報を出力するために用いられる。
【0016】
図1は、金属製の電動のこぎり刃のような光沢面を有する測定対象物Hを観察する場合の例である。図2は、本実施形態の画像形成システム100の機能構成を示すブロック図である。ここで、測定対象物Hである電動のこぎり刃は、台座部18に配置されている。
【0017】
図1図2に示すように、画像形成システム100は、制御部11、照明投影部12、検出部13、記憶部14、表示部15、操作部16、通信部17などを備える。
【0018】
画像形成システム100では、照明投影部12により二次元の照明パターンPを特定時間毎に変更し、該当する照明パターンの光を測定対象物Hに投影する。そして、測定対象物Hからの反射光を検出部13が検出し、時間変動する受光信号Sを制御部11に送る。そして、制御部11は、特定時間毎に変更された二次元の照明パターンPと、それに対応する時間変動する一次元の受光信号Sを基に、SPI(Single-pixel imaging)技術を用いて二次元に再構成された再構成画像(第1画像)を生成する。
なお、照明パターンPと受光信号Sを基に、再構成画像を生成するので、一つの検出部13に対して、一つの再構成画像が生成される。
【0019】
制御部11は、CPU(Central Processing Unit)やRAM(Random Access Memory)等から構成されている。制御部11は、画像形成システム100の各部(照明投影部12、検出部13、記憶部14、表示部15、操作部16、通信部17)に接続されており、各部の動作を制御する。また、制御部11は、記憶部14に記憶されているプログラムとの協働により、後述する画像形成処理を始めとする各種処理を実行する。
制御部11は、照明制御部として照明投影部12の照明パターンPを制御する。
また、制御部11は、照明パターンPに対応した光強度(受光信号S)を複数の検出部13から取得し、照明パターンPと光強度(受光信号S)から、検出部13ごとに、二次元に再構成された第1画像を生成する第1画像生成部として機能する。
また、制御部11は、検出部13ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部として機能する。
また、制御部11は、複数の照明パターンPを生成し、記憶部14に記憶させる。
例えば、再構成に必要な全枚数が記憶部14に格納可能でない場合は、全枚数のうち格納可能な枚数分のみを生成する。
また、再構成画像のピクセル解像度に応じた照明パターンPを生成してもよい。
また、再構成画像の空間解像度に応じた照明パターンPを生成してもよい。
また、撮像範囲の大きさに応じた照明パターンPを生成してもよい。
また、低空間周波数の照明パターンPから生成してもよい。つまり、4000枚の照明パターンPが必要な場合、低周波側から照明パターンPを100枚生成し、次のタイミングでその次の低周波側から照明パターンPを100枚生成し、最後に高周波の照明パターンPを生成する。また、高空間周波数の照明パターンPから生成してもよい。なお、低空間周波数の照明パターンPから照明投影部12に照射させた方が、測定対象物Hの大まかな再構成画像を早く得られやすい。
また、測定対象物Hの表面状態に応じた明るさの照明パターンを生成してもよい。つまり、検出部13のダイナミックレンジを有効に使用するために、白黒の2値画像を照明パターンPとし、各ピクセルが0から255の範囲を取るとした場合、測定対象物Hの表面が正反射の大きそうな金属面やガラス面等では、例えば黒は0、白は15のように、少し暗めの照明パターンPとし、正反射が小さそうなものでは、例えば黒は0、白は255のように明るめの照明パターンPとする。
【0020】
照明投影部12は、例えば、DMD(Digital Mirror Device)を用いた投影プロジェクタである。なお、照明投影部12は、各種プロジェクタでもよく、DMDを用いた投影プロジェクタに限定されない。
照明投影部12は、制御部11により制御され、例えば、図3に示す二次元の照明パターンPを、特定時間毎に変更し、測定対象物Hに対して投影する。なお、照明パターンPは、制御部11にて作成される。また、照明パターンPは、あらかじめ記憶部14に記憶されていてもよい。
なお、照明投影部12により投影される二次元の照明パターンPの解像度は、再構成画像の解像度に影響すると共に、投影する二次元の照明パターンPの投影枚数も再構成画像の解像度にも影響する。
また、DMDのフレームレートは60Hzとか120Hzではあるが次の手法により、単位時間当たりの二次元の照明パターンPを増加させる事が出来る。
DMDはその原理的な特徴から、画像のビットを順々に投影することが可能である。また、一般に画像の1画素はRGB各8ビットの計24ビットで構成されており、各ビットを1枚の画像としてDMDのクロック周波数に対して対応させ、順々に投影する。ただし、1画素が1ビットで表現される画像は諧調の表現は不可能であり、いわゆる白黒画像のみが投影可能である。例えばアダマール照明のように、いわゆる白黒画像として表現される画像を照明パターンとして用いることで、フレームレートの24倍の画像を単位時間で投影可能となる。
【0021】
検出部13は、特定時間毎に変動する各照明パターンPの光に対する測定対象物Hからの反射光の光強度(受光信号S)の時間変動を測定する。
検出部13は、例えば、CCD(Charge-Coupled Device)のような二次元センサー、ラインCCDのような一次元センサー、フォトダイオード(フォトディテクター)のアレイ、単一のフォトダイオード(フォトディテクター)等が使用可能である。
図1に示す概略図では、検出部13が一つであるが、本実施形態では、複数個の検出部13が各々異なる場所に配置されており、例えば、図4に示すように、測定対象物Hを囲むような円周上(3次元的な球面上)に検出部13を配置する形態がある。
なお、図5に示す形態例のように、直線状に検出部13を配置してもよい。
また、図4図5は図面上に簡易的に記載しており、7つの検出部13を上空俯瞰で見た場合に分散させて配置しても十分に解析処理可能である。
【0022】
記憶部14は、不揮発性の半導体メモリーやハードディスク等により構成され、制御部11により実行されるプログラムやプログラムの実行に必要なデータ、照明パターン、検出部13の受光信号S、各種生成された画像、撮影履歴等を記憶している。
【0023】
表示部15は、制御部11の表示制御に従って、ディスプレイに操作画面、画像形成システム100の動作状況等を表示する。
【0024】
操作部16は、処理開始等の入力操作に用いるキー群の他、表示部15のディスプレイと一体に構成されたタッチパネルを備え、これらの操作に応じた操作信号を生成して制御部11に出力する。
【0025】
通信部17は、通信インターフェイスを備え、ネットワーク上の外部機器と通信を行う。
【0026】
(画像形成処理)
画像形成処理のフローを、図6を用いて説明する。なお、検出部13は、7つ配置されているとする。
まず、制御部11は、所定数の照明パターンPを生成し、記憶部14に記憶させる(ステップS11)。なお、あらかじめ記憶部14に記憶された照明パターンPから、ユーザーが、測定対象物Hに応じて照射する照明パターンPを所定数選択し、制御部11は、記憶部14から照明パターンPを取得してもよい。
【0027】
次に、制御部11は、照明投影部12に、ステップS11にて記憶部14に記憶させた照明パターンPの内、1つの照明パターンPを測定対象物Hに照射させる(ステップS12)。
【0028】
次に、制御部11は、複数の検出部13から、検出部13ごとに、測定対象物Hからの光を受信した受光信号Sを取得する(ステップS13)。
【0029】
次に、制御部11は、ステップS11にて記憶部14に記憶させた所定数の照明パターンPを全て照明投影部12に照射させたか判断する(ステップS14)。全ての照明パターンPを照明投影部12に照射させた場合(ステップS14;YES)、ステップS15に進み、全ての照明パターンPを照明投影部12に照射させ終わっていない場合(ステップS14;NO)、ステップS12に進み、制御部11は、照明投影部12に次の照明パターンPを照射させる。
【0030】
次に、制御部11は、完了した照明パターンP(ステップS11にて記憶部14に記憶させた全照明パターンP)と複数の検出部13ごとの受光信号Sから、複数の検出部13ごとに二次元の画像に再構成を行い、複数の再構成画像(第1画像)を生成する(ステップS15)。
ここで、第1画像は、各検出部13から測定対象物Hを見たアングルで生成される。例えば、図4図5の形態では、7枚の再構成画像が生成される。
【0031】
次に、制御部11は、第1画像の生成に十分な数の照明パターンPを照明投影部12に照射させたか判断する(ステップS16)。照射させた場合(ステップS16;YES)、ステップS15では、7枚の第1画像が完成され、ステップS17に進むこととなる。また、照射させ終わっていない場合(ステップS16;NO)、ステップS11に進み、さらに所定数の異なる照明パターンPを新たに作成し、処理を続ける。
なお、ステップS16における判断は、照射させた照明パターンPの数を基に行うのではなく、ステップS15にて生成した再構成画像(第1画像)の品質(例えばSN比)を算出し、その品質が所定の基準を満たしているかどうかを基に行ってもよい。
また、ステップS15における第1画像の生成においては、第1画像の生成直前のステップS11にて生成された全ての照明パターンPを用いて、再構成画像の生成が行われ、処理が開始されてから第1画像の生成までに生成された再構成画像を足し合わせることで、第1画像を生成する。つまり、処理が開始されてから第1画像の生成までにステップS11にて生成された照明パターンPの全てを用いた第1画像(再構成画像)が生成されることとなる。具体的には、再構成に必要な照明パターンPの数が1000の場合、まず、所定数として100個(1~100)の照明パターンを照射し、1~100パターンを用いて再構成画像1を生成する。次に、所定数として100個(101~200)の照明パターンを照射し、101~200パターンを用いて再構成画像2を生成する。次に、所定数として100個(201~300)の照明パターンを照射し、201~300パターンを用いて再構成画像3を生成するということを繰り返す。そして、再構成画像1と再構成画像2と再構成画像3・・・を足し合わせることで、第1画像(再構成画像)が生成される。
また、複数の検出部13ごとに第1画像(再構成画像)の信号強度を規格化してもよい。例えば、測定対象物Hの背景であることが既知の画素の信号強度が0になるように、背景強度を除去する。また、画像の最小強度を背景強度とみなして、最小強度が0になるように背景強度を除去してもよい。また、画像の平均強度が各第1画像で同一になるように、各第1画像の信号強度を定数倍してもよい。
【0032】
次に、制御部11は、複数の検出部13の数だけ作成された第1画像を用いて、新たな第2画像を生成する第2画像生成処理を行う(ステップS17)。例えば、第2画像生成処理は、後述するハレーション除去処理や、傷強調画像生成処理、散乱異方性画像生成処理である。各処理の具体的なフローは後述する。
なお、第2画像生成処理において、複数の第1画像の位置合わせは不要である。なぜなら、再構成画像は、既知の二次元座標の照明パターンPと1次元情報の受光信号Sを基に演算により生成されるためである。
【0033】
次に、制御部11は、表示部15に、第2画像を表示する(ステップS18)。
【0034】
(第2画像生成処理;ハレーション除去処理)
ハレーション除去処理のフローを、図7を用いて説明する。ハレーション除去処理とは、7つの再構成画像(第1画像)の各同一ピクセルの信号値に対して、所定の処理を実施して、ハレーション除去した出力画像(第2画像)を作成するものである。
なお、図6のステップS17が、図7のステップS21からステップS25にあたる。
【0035】
まず、制御部11は、複数の検出部13ごとの第1画像の各同一ピクセルの信号値を取得する(ステップS21)。なお、第1画像にユーザー指定等により特定の仮想画素を当てはめてもよい。その場合、仮想画素毎の信号値を制御部11にて取得する。
【0036】
次に、制御部11は、同一ピクセルの信号値に対し、異常値を除外する(ステップS22)。例えば、最大値N個及び最小値N個を除外する。つまり、フィルムのハレーションであれば表面における光の正反射現象により発生している場合が多く、当該箇所の反射率は周辺箇所よりも極端に高い異常値となるため、除外する。なお、低い異常値も除外する。他の例としては、中央値を使用し、中央値以外を除外してもよい。また、異常値を閾値で判断してもよい。また、各種統計処理方法を用い、異常値を除外してもよい。
【0037】
次に、制御部11は、残った信号値の平均を算出する(ステップS23)。
【0038】
次に、制御部11は、全ピクセルで算出完了したか判断する(ステップS24)。算出完了した場合(ステップS24;YES)、ステップS25に進み、算出完了していない場合(ステップS24;NO)、ステップS21に進み、制御部11は、算出完了していないピクセルの信号値を取得する。
【0039】
次に、制御部11は、各ピクセルで算出した平均値から画像(第2画像)を生成する(ステップS25)。
【0040】
(第2画像生成処理;傷強調画像生成処理)
傷強調画像生成処理のフローを、図8を用いて説明する。傷強調画像生成処理とは、7つの再構成画像(第1画像)の各同一ピクセルの信号値に対して、所定の処理した信号値と比較し、強度差が所定の割合以上となったピクセルを抽出し、抽出したピクセルの信号値等に基づき、傷強調画像(第2画像)を作成するものである。
なお、図6のステップS17が、図8のステップS31からステップS38にあたる。なお、ステップS31からステップS35は、図7のステップS21からステップS25と同じである。
【0041】
次に、制御部11は、複数の検出部13ごとの第1画像の各同一ピクセルの信号値と、ステップS35にて平均値から生成した画像(平均値画像)の同一ピクセルの信号値とを比較し、所定の割合以上の強度差があるピクセルの信号値を、複数の第1画像から抽出する(ステップS36)。
【0042】
次に、制御部11は、複数の第1画像から抽出されたピクセルの信号値を基に傷領域画像を生成する(ステップS37)。例えば、抽出したピクセルの信号値を、同一ピクセルごとに平均などの統計処理などをし、処理された信号値を、そのピクセルの元の位置に並べることで傷領域画像を生成する。
【0043】
次に、制御部11は、傷領域画像と平均値画像とを重畳して、傷強調画像(第2画像)を生成する(ステップS38)。
【0044】
(第2画像生成処理;散乱異方性画像生成処理)
散乱異方性画像生成処理のフローを、図9を用いて説明する。散乱異方性画像生成処理とは、拡散面による散乱の異方性を、例えば散乱強度の角度依存性として表現し、散乱面の散乱の程度を指標化する処理である。
なお、図6のステップS17が、図9のステップS41からステップS44にあたり、図9のステップS41は、図7のステップS21と同じである。
そして、検出部の配置は図4又は図5でも構わないが、図4に示す円周上(3次元的な球面上)に配置するものが好ましい。
【0045】
次に、制御部11は、複数の検出部13の位置情報を基に、散乱強度の角度依存性を評価し、特徴量を算出する(ステップS42)。
【0046】
ここで、ステップS42における特徴量の算出方法を説明する。図10は、複数の検出部13の位置(視点位置0~8)と照明投影部12から投影された光がどのように反射するかということを表した図である。なお、測定対象物Hの上部に光沢があるとする。
光の反射成分には、光沢による反射成分と拡散による反射成分があり、光沢による反射成分は投影された光と光沢面がなす入射角に対応する反射角の方向に強く反射され、一方、拡散による反射成分は全体的に反射される。
【0047】
図11は、視点位置ごとの光強度を表した図である。光沢部材(測定対象物H)では、図10の配置とすると、その光沢面で反射された光は視点位置4に多く反射されるため、視点位置4における光強度が強く表れている。なお、拡散部材の場合は、視点位置ごとの光強度に大きな差はない。
【0048】
そして、反射には、上記のような性質があるため、次の式(1)を用いることで、制御部11は、複数の検出部13ごとの第1画像の同一ピクセルごとに光沢による1つの特徴量を算出できる。つまり、制御部11は、反射成分の内、光沢による反射成分(例えば、視点位置4)の割合(1つの特徴量)を算出できる。
特徴量(光沢指標)=光沢強度/(光沢強度+拡散強度)・・・式(1)
なお、例えば、拡散強度は、測定対象物Hと同一素材、同一形状で光沢がない別のサンプルを用いて予め取得しておき、本散乱異方性画像生成処理にて取得した光沢強度と比較するといった方法が挙げられる。また、本散乱異方性画像生成処理にて、複数の検出部13ごとの第1画像の同一ピクセルの信号値の内、最小の値を拡散強度とすることでも、各位置における光沢による反射成分の割合を算出できる。
なお、上記式(1)は例であり、これに限られない。
【0049】
次に、制御部11は、全ピクセルで算出完了したか判断する(ステップS43)。算出完了した場合(ステップS43;YES)、ステップS44に進み、算出完了していない場合(ステップS43;NO)、ステップS41に進み、制御部11は、算出完了していないピクセルの信号値を取得する。
【0050】
次に、制御部11は、算出した特徴量を基に、拡散の程度を表す画像(第2画像)を生成する(ステップS44)。例えば、複数の検出部13ごとの第1画像の同一ピクセルごとに上記式(1)で求めた1つの特徴量(光沢指標)を、そのピクセルの元の位置に並べ、特徴量(光沢指標)の大きさにより色を変えることで、最終的に1つのヒートマップ画像(第2画像)が生成される。
【0051】
以上のことから、画像形成システム100は、二次元の照明パターンの光を測定対象物に照射する照明投影部12と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部13と、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部から光を照射させる照明制御部(制御部11)と、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部13ごとに、二次元に再構成された第1画像を生成する第1画像生成部(制御部11)と、検出部13ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部(制御部11)と、を備えるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
例えば、フィルムのように対象物上に目印となる構造が存在しない場合や、樹脂成型物のように多様な形状をとり平面とは限らないような物体の場合でも、容易に第1画像を用いて、第2画像を生成することが可能となる。
【0052】
また、検出部13は、フォトダイオードであるため、安価である。
【0053】
また、照明投影部12は、DMDを含み、制御部11は、DMDのクロック周波数に対して、RGB画像のビットごとの画像を対応させ、RGB画像のビットごとの画像を、独立したパターンとして、照明投影部12に投影させるため、単位時間当たりの二次元照明パターンを増加させる事が可能となる。
【0054】
また、第2画像生成部(制御部11)は、複数の第1画像における各同一ピクセルの光強度を比較して所定の処理を行う。
【0055】
また、第2画像生成部(制御部11)は、複数の第1画像から、処理によりハレーション除去及びハレーション発生該当部の画像を復元させた画像を第2画像として生成する。
したがって、異常値が、どの検出部13で発生したかをユーザー判断することなく、自動的に除去され、ハレーション発生該当部の画像を復元することが可能となる。つまり、ハレーションは照明を当てて初めて、どのように発生するのか分かるため、実際に装置に投入してみないとハレーションの発生有無は事前には分からないという実態において、ユーザーが被写体や照明の位置を考える必要が減ることとなる。
また、対象物がラフに装置に対して置かれても、また対象物が入れ替わって状況が変わったときも(光沢面のあるフィルムの次が、革シートが来た場合など)、検出部13の位置を都度修正することなく、自動的にハレーション除去できる。
また、処理は、例えば、統計処理等であるから、簡単に実現できる。
【0056】
また、第2画像生成部(制御部11)は、複数の第1画像から、処理により傷を判別し、傷部分を強調処理した画像を第2画像として生成する。
したがって、観察する対象物を照明投影部12や検出部13の位置に対してラフに配置したとしても、容易に対象物の任意箇所に発生する傷を検出することが可能となる。つまり、対象物の傷を自動判定することが可能となる。
特に、対象物に発生する傷に関しては、その発生有無や発生位置や状況は基本的にはランダムには発生するので、事前に傷の状況を予想することは難しいため、ラフに配置できるということは有用である。
【0057】
また、第2画像生成部(制御部11)は、複数の第1画像における測定対象物の特定箇所の光強度から、散乱異方性を表す特徴量を算出し、特徴量に基づき、第2画像として散乱異方性画像を生成する。
したがって、安価で簡単な構成、及び簡易な画像処理にて、対象物の散乱異方性を確認することが可能となる。
【0058】
また、画像形成方法は、複数の二次元の照明パターンの中から順次照明パターンを切り替えて光を測定対象物に照射し、異なる場所において、照明パターンの光による測定対象物からの反射光の光強度を検出し、照明パターンと当該照明パターンに対応した反射光の光強度から、光強度を検出した異なる場所ごとに再構成された複数の第1画像を生成し、複数の第1画像における各同一ピクセルの光強度に処理を施し、新たな第2画像を生成する方法であるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
【0059】
また、プログラムは、二次元の照明パターンの光を測定対象物に照射する照明投影部12と、異なる場所に設置され、照明パターンの光による測定対象物からの反射光の光強度を検出する複数の検出部13と、とを備える画像形成システム100のコンピューターを、複数の照明パターンの中から順次照明パターンを切り替えて照明投影部12から光を照射させる照明制御部(制御部11)、照明パターンと当該照明パターンに対応した反射光の光強度から、検出部13ごとに再構成された第1画像を生成する第1画像生成部(制御部11)、検出部13ごとに生成された複数の第1画像に基づいて、新たな第2画像を生成する第2画像生成部(制御部11)、として機能させるため、安価で簡単な構成、及び簡易な画像処理にて、対象物の外観検査を実現することが可能となる。
【0060】
以上、本発明の実施形態及びその変形例について説明したが、上述した本実施形態における記述は、本発明に係る好適な一例であり、これに限定されるものではない。
【0061】
例えば、対象物検知という観点では、対象物の台座部18は投影プロジェクタの光を反射しにくい部材で構成することが望ましい。また、照明投影部12以外の例えば室内照明からの光も対象物で反射し解析装置のS/N比を低下させる要因にはなるが、SPI解析の中でもこの影響を加味した上で再構成画像を作成しうる。
【0062】
なお、上記ハレーションは実際に装置に投入してみないとハレーションの発生有無は事前には分からないという実態とは、すなわち、ハレーションは、対象物の巨視的な湾曲にも依存するため、ある位置の検出部13ではハレーションが発生するかもしれないが、どの位置の検出部13で発生するかは不明である。また、ハレーションは、対象物の状態に依存するため、すべての位置でハレーションが発生しないかもしれない。一方で、全ての方向に光が向かうとなるとこれは当該箇所で散乱が発生している事となり、通常は異常値とまではいかず、通常の対象物の反射率と同等と考えられるため、全ての検出部13でハレーションが発生する可能性は低い。つまり、ハレーションの発生有無は事前には予測が難しいという実態である。
また、そもそもハレーション発生有無が発生する要因は、照明投影部12の光軸であったり検出部13の軸の向きであったり配置位置、更に対象物の表面状態や対象物の向きが挙げられる。したがって、対象物が別の物になると、同一の方向から照射している光に対して発生するハレーションの方向が変わることとなる。
【0063】
また、傷強調画像生成処理に関し、本実施形態はこれに限るものではない。重畳処理に関しては傷領域の輪郭を表現するものであってもよいし、平均値画像の取得方法は外れ値の除去を考慮しないものであってもよい。また、その形状をさらに分析することで、傷かハレーションかを判断する処理を追加してもよい。
また、図8のフローは、図7のフローに、ステップS36からステップS38を追加したものであるため、ハレーション除去処理と傷強調画像生成処理とを併せて実施する場合、ステップS31からステップS35を重複実施する必要はないことは言うまでもない。
【0064】
また、散乱異方性画像生成処理に関し、本実施形態はこれに限るものではない。例えば、散乱異方性から傷の凹凸を判断するものであってもよいし、傷強調画像生成処理同様に重畳処理を実施してもよい。
また、図9のフローの前に、再構成画像ごとにハレーション除去処理にてハレーション除去した画像を、図9の処理の最初の画像に適用しても構わない。
【0065】
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
【0066】
その他、画像形成システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【0067】
100 画像形成システム
11 制御部
12 照明投影部
13 検出部
14 記憶部
15 表示部
16 操作部
17 通信部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11