【解決手段】一の対象物を撮像し検査処理を行う撮像処理装置20であって、一の対象物を撮像した撮像画像を得る撮像部211と、撮像画像に基づいた検査処理により検査結果を得る検査部212と、少なくとも撮像部を制御する制御部216と、撮像画像、検査結果及び自身を特定する撮像処理装置特定情報を送信する送信部214と、を備える。
前記検査部は、複数個の良品と複数個の不良品とを学習することにより、又は複数個の良品を学習することにより、対象物に対する検査処理を行うことを特徴とする請求項1〜3のいずれかに記載の撮像処理装置。
前記撮像部の傾斜角を検出する傾斜角検出部をさらに備え、前記傾斜角検出部は少なくとも加速度センサを有し、前記送信部は前記傾斜角を送信することを特徴とする請求項1〜4のいずれかに記載の撮像処理装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1記載のもののように、撮像部と画像処理装置とが別々の構成であれば、装置全体が大型化しコストアップにつながるという問題があった。
【0007】
また、特許文献2記載のもののように、複数カメラに対して画像を処理する特徴抽出手段が1つであれば、各カメラが撮像した画像に対する処理が順番に1つずつ処理されることになり、時間がかかるとともに、システムが複雑になるという問題があった。
【0008】
本発明は、上記問題点を解決して、撮像画像を独立して検査処理できるコンパクトで設置等の取り扱いが容易な撮像処理装置を実現することを課題とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために本発明は、一の対象物を撮像し検査処理を行う撮像処理装置であって、
前記一の対象物を撮像した撮像画像を得る撮像部と、
前記撮像画像に基づいた検査処理により検査結果を得る検査部と、
少なくとも前記撮像部を制御する制御部と、
前記撮像画像、前記検査結果、及び自身を特定する撮像処理装置特定情報を送信する送信部と、を備えたことを特徴とする撮像処理装置を提供するものである。
【0010】
この構成により、撮像画像を独立して検査処理できるコンパクトで設置等の取り扱いが容易な撮像処理装置を実現することができる。
【0011】
前記撮像処理装置特定情報は、前記撮像画像を得た撮像時刻である構成としてもよい。
【0012】
この構成により、一の対象物を複数の撮像処理装置が撮像、検査する場合に、一の対象物を撮像した複数の撮像処理装置を特定することが容易な構成とすることができる。
【0013】
さらに照明部と受信部を備え、前記受信部は前記照明部及び前記撮像部に対する制御情報を受信し、前記制御部は前記制御情報に基づいて、前記照明部と前記撮像部とをそれぞれ制御する構成としてもよい。
【0014】
この構成により、照明部と撮像部とを別々に制御することができ、例えば、照明部を稼働、撮像部を非稼働に制御すれば、撮像処理装置を単なる照明装置として用いることができ、また複数の撮像処理装置の利用により斜光撮影や逆光撮影など利用範囲を拡大することができる。
【0015】
前記検査部は、複数個の良品と複数個の不良品とを学習することにより、又は複数個の良品を学習することにより、対象物に対する検査処理を行う構成としてもよい。
【0016】
この構成により、生産現場での調整作業を簡易にすることができるとともに、コンパクトな検査部を実現することができる。
【0017】
前記撮像部の傾斜角を検出する傾斜角検出部をさらに備え、前記傾斜角検出部は少なくとも加速度センサを有し、前記送信部は前記傾斜角を送信する構成としてもよい。
【0018】
この構成により、撮像処理装置の傾きを検出することができ、撮像処理装置の設置角度の調整、又は検出した傾斜角を補正した検査処理を容易にすることができる。
【0019】
少なくとも前記撮像部、前記検査部、前記制御部、及び前記送信部を同一の筐体に収納した構成としてもよい。
【0020】
この構成により、コンパクトな撮像処理装置を実現することができる。
【発明の効果】
【0021】
本発明の撮像処理装置により、撮像画像を独立して検査処理できるコンパクトで設置等の取り扱いが容易な撮像処理装置を実現することができる。
【発明を実施するための形態】
【実施例1】
【0023】
本発明の実施例1について、
図1、
図2を参照して説明する。
図1は、本発明の実施例1における撮像処理装置の利用例を説明する図である。
図2は、本発明の実施例1における撮像処理装置の構成を説明する図である。
【0024】
図1に示すように、実施例1における撮像処理装置20は、筐体21を備えている。撮像処理装置20は、対象物1を撮像し、撮像した撮像画像に基づいて対象物1の検査を行なう。また、撮像した撮像画像を情報端末3に送信して、検査結果及び自身を特定する撮像処理装置特定情報とともに表示することができる。筐体21には、
図2に示すように、撮像部211、検査部212、記憶部213、送信部214、及び制御部216が収納されている。また、撮像部211の対象物側には必要に応じて、レンズが設けられる。
【0025】
撮像処理装置20は、撮像部211にて対象物1を撮像する。対象物1は、機械部品、プリント基板、電子部品、医薬品等様々なものを対象とすることができる。撮像部211は、CMOSセンサによって構成されカラー画像を撮像する。その解像度は任意であるが、実施例1においては、640×480画素としている。これは、後述する送信部214による通信帯域の輻輳を考慮したためである。制御部216は、対象物1が撮像処理装置20により撮像可能な位置に配置されたことを撮像画像から判断するか、又は図示しないセンサ等にて検知し、撮像部211に電子シャッター等の指示を行って撮像させる。その際、撮像部211が対象物1を撮像した撮像画像を記憶部213に記憶する。記憶部213には、予め当該撮像処理装置20を特定する撮像処理装置特定情報としてIDを記憶し外部からの参照を可能としている。当該IDは、ユーザが指定して記憶部213に記憶させるか、又は、指定がなければMACアドレス等で自動的にIDを識別して記憶部213に記憶させる。
【0026】
なお、実施例1においては、撮像部211をCMOSセンサで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、CCDセンサで構成してもよいし、赤外線センサで構成してもよい。また、カラー画像を撮像するようにしたが、白黒画像を撮像するように構成してもよい。さらに、実施例1においては、撮像部211の解像度を640×480画素に構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、1000×1000画素で構成してもよいし、320×240画素で構成してもよい。
【0027】
撮像画像は、検査部212に入力されて検査処理が行われる。検査部212は、サポートベクターマシンと呼ばれる人工知能によって構成される。サポートベクターマシンは、実際の検査処理を行う前に、予め対象物1の良品と不良品とをそれぞれ複数個ずつ学習し、その境界を設定しておくことにより検査を行なうことができる。検査処理の内容は、対象物1により様々なものとすることができる。例えば、傷欠陥検査、位置ずれ検査、有無検査等とすることができる。
【0028】
ここで、検査部212は良品画像との類似度の計算、またはクラス分類を行うことで、入力画像に対する判定あるいは分類を行う。
【0029】
実施例1においては、検査部212をサポートベクターマシンで構成しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、線形判別、単純ベイズ、ベイズネットワークや畳み込みニューラルネット(CNN)で検査部212を構成してもよい。
【0030】
また、実施例1においては、予め対象物1の良品と不良品とをそれぞれ複数個ずつ学習するようにしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、複数個の良品を学習するようにしてもよい。
【0031】
撮像画像、検査結果、及び撮像処理装置特定情報が、送信部214から無線LANにより送信される。送信する先は、任意のものが選択できる。例えば、パソコン等のコンピュータでもよいし、スマートフォン等の情報端末であってもよく、つまり無線LANに接続できるものであればよい。実施例1においては、情報端末3に撮像画像、検査結果、及び撮像処理装置特定情報が送信されて表示される。
図1の情報端末3の画面に「×」と表示されているのは、検査結果が不良であったことを示している。
【0032】
なお、実施例1においては、無線LANによって送信部214から送信する構成としたが、必ずしもこれに限定されず、適宜変更が可能である。例えば、ブルーツゥース(登録商標。以下同じ)で送信してもよいし、有線で送信するように構成してもよい。
【0033】
以上、述べたように、実施例1においては、従来のように撮像部と検査部とが別々の構成ではなく、撮像部211、検査部212、記憶部213、制御部216、及び送信部214が一体化されて同一の筐体21に収納されているため、撮像画像を独立して検査処理できるとともにコンパクトな構成とすることができる。
【0034】
なお、実施例1においては、撮像部211、検査部212、記憶部213、送信部214、及び制御部216を一体化して同一の筐体21に収納された構成としたが、必ずしもこれに限定されず、適宜変更が可能である。例えば、記憶部をSDカード等の取外し可能なものにして外付けにしてもよい。少なくとも撮像部211、検査部212、制御部216、及び送信部214が一体化されて同一の筐体21に収納されていればよい。
【0035】
このように実施例1においては、一の対象物を撮像し検査処理を行う撮像処理装置であって、前記一の対象物を撮像した撮像画像を得る撮像部と、前記撮像画像に基づいた検査処理により検査結果を得る検査部と、少なくとも前記撮像部を制御する制御部と、前記撮像画像、前記検査結果、及び自身を特定する撮像処理装置特定情報を送信する送信部と、を備えたことを特徴とする撮像処理装置により、撮像画像を独立して検査処理できるコンパクトで設置等の取り扱いが容易な撮像処理装置を実現することができる。
【実施例2】
【0036】
本発明の実施例2は、撮像処理装置特定情報として撮像時刻を記憶し撮像画像や検査結果とともに送信する機能を有する点で実施例1と異なっている。すなわち、記憶部213に撮像画像とともに、撮像時刻を記憶するように構成されており、記憶された撮像時刻を撮像画像、検査結果とともに送信部より送信される。撮像時刻は、工場での生産工程を考慮して、ミリ秒単位まで把握することが望ましい。つまり、撮像時刻は、〇年〇月〇日〇時〇分〇秒〇ミリ秒のように把握し記憶、送信される。
【0037】
複数の工程が存在し、これら各工程において同一の対象物を複数の撮像処理装置20が撮像、検査する場合に、撮像時刻を送信された外部の機器では、当該撮像時刻によって同一工程の同一対象物1を撮像した撮像処理装置20を特定することができる。
【0038】
このように、実施例2においては、前記撮像処理装置特定情報は、前記撮像画像を得た撮像時刻であるように構成したことにより、事前にIDを各撮像処理装置に割り振らなくても同一の対象物を撮像した撮像処理装置を特定することができる。
【実施例3】
【0039】
本発明の実施例3は、撮像処理装置が照明部及び受信部を備えている点で実施例1又は実施例2と異なっている。実施例3について、
図3、
図4を参照して説明する。
図3は、本発明の実施例3における撮像処理装置の利用例を説明する図である。
図4は、本発明の実施例3における撮像処理装置の構成を説明する図である。
【0040】
図3に示すように、実施例3における撮像処理装置30は、筐体31及び照明部32を備えている。撮像処理装置30は、対象物1を撮像し、撮像画像に基づいて対象物1の検査を行なう。また、撮像した撮像画像を情報端末3に送信し検査結果、及び撮像処理装置特定情報とともに表示することができる。筐体31には、
図4に示すように、撮像部311、検査部312、記憶部313、送信部314、受信部315、及び制御部316が収納されている。また、実施例3における照明部32は、筐体31に取り付けられている。撮像部311の対象物側には必要に応じて、レンズが設けられる。
【0041】
撮像処理装置30は、撮像部311にて対象物1を撮像する。対象物1は、機械部品、プリント基板、電子部品、医薬品等様々なものを対象とすることができる。撮像部311は、CMOSセンサによって構成されカラー画像を撮像する。その解像度は任意であるが、実施例3においては、640×480画素としている。これは、後述する送信部314における通信帯域の輻輳を考慮したためである。制御部316は、対象物1が撮像処理装置30により撮像可能な位置に配置されたことを撮像画像から判断するか、又は図示しないセンサ等により検知し、撮像部311に電子シャッター等の指示を行って撮像させる。撮像部311が対象物1を撮像した撮像画像を記憶部313に記憶する。その際、撮像時刻を撮像画像とともに記憶部313に記憶してもよい。
【0042】
なお、実施例3においては、撮像部311をCMOSセンサで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、CCDセンサで構成してもよいし、赤外線センサで構成してもよい。また、カラー画像の撮像ではなく白黒画像を撮像するように構成してもよい。さらに、実施例3においては、撮像部311の解像度を640×480画素に構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、1000×1000画素で構成してもよいし、320×240画素で構成してもよい。
【0043】
撮像画像は、検査部312に入力されて検査処理が行われる。検査処理は、サポートベクターマシンと呼ばれる人工知能によって実施される。サポートベクターマシンは、実際の検査処理を行う前に、予め対象物1の良品と不良品とをそれぞれ複数個ずつ学習して、その境界を設定しておくことにより検査を行なうことができる。検査処理の内容は、対象物1により様々なものとすることができる。例えば、傷欠陥検査、位置ずれ検査、有無検査等とすることができる。
【0044】
ここで、検査部312は良品画像との類似度の計算、またはクラス分類を行うことで入力画像に対する判定、あるいは分類を行う。
【0045】
実施例3においては、検査部312をサポートベクターマシンで構成したが、必ずしもこれに限定されず適宜変更が可能である。例えば、線形判別、単純ベイス、ベイズネットワークや畳み込みニューラルネット(CNN)を用いて検査部312を構成してもよい。
【0046】
また、実施例3においては、予め対象物1の良品と不良品とをそれぞれ複数個ずつ学習させるようにしたが、必ずしもこれに限定されず適宜変更が可能である。例えば、複数個の良品を学習させるようにしてもよい。
【0047】
撮像画像、検査結果、及び撮像処理装置特定情報は、送信部314から無線LANにより送信される。例えば、工程が複数存在し、各工程において複数の撮像処理装置30が同一の対象物1を撮像、検査する場合に、この撮像処理装置特定情報によって同一の対象物1を撮像した複数の撮像処理装置30を特定することができる。実施例3においては、情報端末3に撮像画像、検査結果、及び撮像処理装置特定情報が送信されて、表示される。
図3の情報端末3の画面に「×」と表示されているのは、検査結果が不良であったことを示している。また、図示していないが、撮像処理装置特定情報として撮像時刻を表示してもよい。実施例3においては、スマートフォンを外部機器である情報端末3として構成しているが、必ずしもこれに限定されず適宜変更が可能である。例えば、タブレットを用いてもよいし、パソコンやサーバであってもよい。
【0048】
実施例3においては、前述のように、照明部32と受信部315を備えている。受信部315は、少なくとも照明部32と撮像部311を制御する制御情報を受信することができる。制御部316は、この制御情報に基づいて、照明部32と撮像部311を制御する。その際、照明部32へは、制御部316からブルーツゥースにより制御情報が送信される。
【0049】
具体的には、照明部32に対して、点灯又は消灯、その照度、又は色合い等を制御することができる。対象物1の光沢や色合い、撮像角度により制御する項目を選択する。また撮像部311に対して、撮像又は非撮像、又はシャッター速度等を制御することができる。対象物1の移動速度や撮像角度により制御する項目を選択する。照明部32と撮像部311に対する制御情報は無線LANを介して受信部315で受信される。
【0050】
受信部315が受信する制御情報は、例えば、情報端末3から送信するようにしてよい。情報端末3は、スマートフォン、タブレット、パソコン、サーバ等から適切なものを選択することができる。
【0051】
なお、実施例3においては、制御部316から照明部32へブルーツゥースにより制御情報を送信する構成としたが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、無線LANで送信するように構成してもよいし、有線で送信する構成としてもよい。また、情報端末3から受信部315へは、無線LANを介して送信するように構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、ブルーツゥースで送信する構成としてもよいし、有線で送信する構成としてもよい。
【0052】
ここで、撮像処理装置30を複数用いて、複数角度から対象物1を撮像して検査する場合が想定される。この場合に、一の撮像処理装置30の撮像部311が対象物1を撮像するように制御し照明部32を消灯するように制御するとともに、他の撮像処理装置30の撮像部311を非撮像に制御し照明部32を対象物1に対して点灯するように制御すれば、他の撮像処理装置30による照明光によって一の撮像処理装置30は対象物1を撮像することができる。つまり、他の撮像処理装置30を単なる照明装置としても活用することができる。
【0053】
また、照明部32の構造は、任意に選択することができる。例えば、円周状にLEDを配置したリング照明、LEDを配置した形状がドーム形状を有したドーム照明、又は同軸落射照明等を選択することができ、それらを交換可能に撮像処理装置30の筐体31に取り付けることができる。
【0054】
このように、実施例3においては、さらに照明部と受信部を備え、前記受信部は前記照明部及び前記撮像部に対する制御情報を受信し、前記制御部は前記制御情報に基づいて、前記照明部と前記撮像部とをそれぞれ制御することにより、照明部を備えたコンパクトな撮像処理装置を実現するとともに、外部から制御情報を送信することにより撮像部や照明部の制御が可能となり利用範囲を拡大することができる。
【実施例4】
【0055】
本発明の実施例4は、照明部が筐体に取り付けられず、撮像処理装置以外の任意の場所に設けられる点で実施例3と異なっている。実施例4について、
図5を参照して説明する。
図5は、本発明の実施例4における撮像処理装置の利用例を説明する図である。
【0056】
撮像処理装置40は、対象物1を撮像して検査処理を実施する。撮像の際には、照明部42が対象物1を照明する。得られた撮像画像、検査結果、及び撮像処理装置特定情報を送信する。実施例4においては、情報端末3に送信することにより、情報端末3にこれらの情報を表示することができる。
【0057】
実施例4においても、照明部42と図示しない受信部、撮像部、記憶部、及び制御部を備えている。受信部は、照明部42と撮像部を制御する制御情報を受信することができる。制御部は、この制御情報に基づいて、照明部42と撮像部を制御する。その際、照明部42へは、制御部からブルーツゥースにより制御情報が送信される。
【0058】
具体的には、照明部42に対して、点灯又は消灯、その照度、又は色合い等を制御することができる。対象物1の光沢や色合い、撮像角度により制御する項目を選択する。また撮像部に対して、撮像又は非撮像、又はシャッター速度等を制御することができる。対象物1の移動速度や撮像角度により制御する項目を選択する。
【0059】
情報端末3としては、スマートフォン、タブレット、パソコン又はサーバ等を用いることができる。照明部42と撮像部に対する制御情報は無線LANを介して受信部に送信される。
【0060】
なお、実施例4においては、制御部から照明部へブルーツゥースにより制御情報を送信する構成としたが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、無線LANで送信するように構成してもよいし、有線で送信する構成としてもよい。また、情報端末3から受信部へは、無線LANを介して送信するように構成したが、必ずしもこれに限定されず装置の都合により適宜変更が可能である。例えば、ブルーツゥースで送信する構成としてもよいし、有線で送信する構成としてもよい。
【0061】
照明部42は、その構造を任意に選択し、任意の場所に設置することができる。例えば、円周状にLEDを配置したリング照明、LEDを配置した形状がドーム形状を有したドーム照明、又は同軸落射照明等を選択することができ、それらを交換可能に対象物に対して任意の角度や距離に設けることができる。
【0062】
このように、実施例4においては、照明部を撮像処理装置とは別に設置することにより、対象物に対して照明角度や距離を自由に変更することができるとともに、撮像処理装置の制御部から照明部を制御することができる。
【実施例5】
【0063】
本発明の実施例5は、撮像部の傾斜角を検出する傾斜角検出部をさらに備えた点で実施例1〜4とは異なる。実施例5について説明する。
【0064】
傾斜角検出部は、筐体内に収納された加速度センサを少なくとも2軸分備えている。これらの加速度センサにより公知の方法により撮像部の傾斜角を検出することができる。なお、実施例5においては、傾斜角検出部に、加速度センサを少なくとも2軸分備える構成としてが、必ずしもこれに限定されず適宜変更が可能である。例えば、加速度センサに地磁気センサを加えた構成としてもよいし、加速度センサにジャイロセンサを加えた構成としてもよい。
【0065】
検出した傾斜角は、送信部より任意のタイミングで情報端末3等に送信することができる。これにより、撮像処理装置を台等に取り付けたときに傾斜角を情報端末3等にて知ることができ、撮像処理装置を取り付けた台等を手動又は自動で移動させることにより、取付けの傾斜角を容易に調整することができる。また、この傾斜角により撮像処理装置の撮像角度を情報端末3等において認識することができる。例えば、統括サーバが複数の撮像角度で撮像した撮像画像を複数の撮像処理装置から受信する場合、この傾斜角を用いて各撮像処理装置の撮像角度を特定して対象物1の総合的な良否判定に用いることができる。
【0066】
このように、実施例5においては、撮像処理装置の撮像部の傾斜角を検出することにより、撮像処理装置を正確に取り付けられ、また、撮像処理装置の撮像角度を外部の機器において認識できるため、撮像画像を独立して検査処理できるコンパクトで設置等の取り扱いが容易な撮像処理装置を実現することができる。