(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-07
(45)【発行日】2024-11-15
(54)【発明の名称】外観検査支援装置、外観検査支援方法、及び外観検査支援プログラム
(51)【国際特許分類】
G01N 21/84 20060101AFI20241108BHJP
【FI】
G01N21/84 D
(21)【出願番号】P 2020169120
(22)【出願日】2020-10-06
【審査請求日】2023-09-07
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】100095407
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100131152
【氏名又は名称】八島 耕司
(74)【代理人】
【識別番号】100147924
【氏名又は名称】美恵 英樹
(74)【代理人】
【識別番号】100148149
【氏名又は名称】渡邉 幸男
(74)【代理人】
【識別番号】100181618
【氏名又は名称】宮脇 良平
(74)【代理人】
【識別番号】100174388
【氏名又は名称】龍竹 史朗
(72)【発明者】
【氏名】長岡 孝忠
【審査官】福村 拓
(56)【参考文献】
【文献】特開2009-198219(JP,A)
【文献】特開2019-196964(JP,A)
【文献】特開2018-040767(JP,A)
【文献】特開2010-266430(JP,A)
【文献】特開2019-148497(JP,A)
【文献】特開2012-145427(JP,A)
【文献】特開2010-139461(JP,A)
【文献】特開2017-045904(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N21/84-21/958
(57)【特許請求の範囲】
【請求項1】
被検査品に実施される外観検査を支援する外観検査支援装置であって、
前記被検査品のうちの不良が発見された不良品の不良箇所を示す不良箇所データが入力される入力部と、
複数の前記不良品の前記不良箇所データに基づいて前記不良箇所を含む領域の傾向を分析し、前記不良が発生する傾向が基準以上の領域を前記不良が発生する傾向の高い領域として特定する分析部と、
前記外観検査を担当する作業者の習熟度に応じて、前記不良が発生する傾向の高い領域を示す情報を出力する出力部と、
を備える、外観検査支援装置。
【請求項2】
前記分析部は、前記不良箇所の発生件数を示す不良発生件数を取得し、前記不良発生件数が第1不良閾値以上の領域を前記不良が発生する傾向の高い領域として特定する、請求項1に記載の外観検査支援装置。
【請求項3】
前記分析部は、前記不良発生件数に基づいて、前記不良が発生する傾向の高い領域ごとに重みを設定し、
前記出力部は、出力対象として指定された前記重みの前記不良が発生する傾向の高い領域を示す情報を出力する、請求項2に記載の外観検査支援装置。
【請求項4】
前記分析部は、
前記不良が発生した時間及び前記不良箇所を含む領域ごとに、前記不良箇所の前記不良発生件数を分析し、
前記不良が発生した時間及び前記不良箇所を含む領域ごとの前記不良発生件数が、第2不良閾値以上の前記不良箇所を含む領域を、前記不良が発生する傾向が高い領域として特定し、
前記出力部は、前記外観検査が実施される時間に対応する前記不良が発生する傾向が高い領域を示す情報を出力する、請求項2
又は3に記載の外観検査支援装置。
【請求項5】
前記不良発生件数と、実施済みの改善策に関する事項と、に基づいて、前記被検査品の改善すべき改善対象領域を提示する改善策提示部を更に備える、請求項2から
4のいずれか1項に記載の外観検査支援装置。
【請求項6】
前記改善策提示部は、
前記実施済みの改善策に関するデータを学習した学習済みモデルを生成する学習部と、
前記実施済みの改善策に関するデータを前記学習済みモデルに入力して、前記改善対象領域を示すデータ、及び改善優先ポイントを示すデータを出力する推論部と、
を備え、
前記改善策提示部は、
前記推論部が出力した前記改善優先ポイントを示すデータに基づいて、改善が必要な順位を優先順位として前記改善対象領域ごとに設定し、
前記優先順位と前記改善対象領域とを提示する、請求項
5に記載の外観検査支援装置。
【請求項7】
前記出力部から前記不良が発生する傾向の高い領域を示す情報が入力されるプロジェクタを更に備え、
前記プロジェクタは、前記出力部から入力された前記不良が発生する傾向の高い領域を示す情報に基づいて、前記被検査品に画像を投影する、請求項1から
6のいずれか1項に記載の外観検査支援装置。
【請求項8】
前記不良品を撮影して、前記不良品の画像のデータを生成するカメラを更に備え、
前記カメラは、前記不良品の画像のデータを前記不良箇所データとして前記入力部に出力する、請求項1から
7のいずれか1項に記載の外観検査支援装置。
【請求項9】
被検査品のうちの不良が発見された不良品の不良箇所を示す不良箇所データが入力される入力ステップと、
複数の前記不良品の前記不良箇所データに基づいて前記不良箇所を含む領域の傾向を分析し、前記不良が発生する傾向が基準以上の領域を前記不良が発生する傾向の高い領域として特定する分析ステップと、
外観検査を担当する作業者の習熟度に応じて、前記不良が発生する傾向の高い領域を示す情報を出力する出力ステップと、
を含む、外観検査支援方法。
【請求項10】
請求項
9に記載の外観検査支援方法をコンピュータに実行させる外観検査支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、外観検査支援装置、外観検査支援方法、及び外観検査支援プログラムに関する。
【0002】
製品の不良の有無を検査する外観検査を支援するための技術が知られている。例えば、特許文献1には、被検査部品に光を照射して、被検査部品からの反射光に基づいて不良の有無を検査する外観検査装置を利用することにより、外観検査を支援する方法が開示されている。特許文献1に開示の外観検査装置は、被検査部品からの正反射光を撮影した画像と、被検査部品からの乱反射光を撮影した画像と、に基づいて、被検査品のキズ、色むらなどの不良の有無を判定している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、外観検査の完全な自動化は困難であり、目視による外観検査が依然として重要である。一方、目視による外観検査では、検査品質に属人性があり、未習熟な作業者では、検査の品質が低下しやすいという問題がある。
【0005】
本開示は、上記課題に鑑みてなされたものであり、目視による外観検査の高品質化を図ることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本開示の外観検査支援装置は、被検査品に実施される外観検査を支援する。外観検査支援装置は、入力部と、分析部と、出力部と、を備える。入力部には、被検査品のうちの不良が発見された不良品の不良箇所を示す不良箇所データが入力される。分析部は、複数の不良品の不良箇所データに基づいて不良箇所を含む領域の傾向を分析し、不良が発生する傾向が基準以上の領域を不良が発生する傾向の高い領域として特定する。出力部は、外観検査を担当する作業者の習熟度に応じて、不良が発生する傾向の高い領域を示す情報を出力する。
【発明の効果】
【0007】
本開示によれば、不良が発生する領域の傾向が分析され、外観検査を担当する作業者の習熟度に応じて、不良が発生する傾向の高い領域を示す情報が出力される。このため、外観検査の高品質化を図ることができる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態1に係る外観検査支援装置の概要を示す図
【
図2A】実施の形態1に係る特定領域の一例を示す図
【
図2B】実施の形態1に係る被検査品に表示される注意喚起画像の一例を示す図
【
図3】実施の形態1に係る外観検査支援装置の構成を示すブロック図
【
図4】実施の形態1に係る制御装置の機能を示すブロック図
【
図5】実施の形態1に係る生産スケジュール記憶部の一例を示す図
【
図6】実施の形態1に係る機器マスタ記憶部の一例を示す図
【
図7】実施の形態1に係る良品画像関連データ記憶部の一例を示す図
【
図8】実施の形態1に係る不良品画像関連データ記憶部の一例を示す図
【
図9】実施の形態1に係る出力準備データ記憶部の一例を示す図
【
図10】実施の形態1に係る入力処理を示すフロー図
【
図11A】実施の形態1に係る不良品画像の一例を示す図
【
図11B】実施の形態1に係る良品画像の一例を示す図
【
図12】実施の形態1に係る分析処理を示すフロー図
【
図13】実施の形態1に係る出力処理を示すフロー図
【
図14】実施の形態2に係る分析処理を示すフロー図
【
図15】実施の形態2に係る出力準備データ記憶部の一例を示す図
【
図16】実施の形態3に係る制御装置の機能を示すブロック図
【
図17】実施の形態3に係る担当スケジュール記憶部の一例を示す図
【
図18】実施の形態3に係る作業者マスタ記憶部の一例を示す図
【
図19】実施の形態3に係る入力処理を示すフロー図
【
図20】実施の形態3に係る不良品画像関連データ記憶部の一例を示す図
【
図21】実施の形態3に係る出力処理を示すフロー図
【
図22】実施の形態3に係る出力準備データ記憶部の一例を示す図
【
図23】実施の形態3に係る注意喚起画像の一例を示す図
【
図24】実施の形態3に係る注意喚起画像の他例を示す図
【
図25】実施の形態4に係る入力処理を示すフロー図
【
図26】実施の形態4に係る不良品画像関連データ記憶部の一例を示す図
【
図27】実施の形態4に係る出力準備データ記憶部の一例を示す図
【
図28】実施の形態4に係る出力処理を示すフロー図
【
図29】実施の形態5に係る制御装置の機能を示すブロック図
【
図30】実施の形態5に係る学習処理を示すフロー図
【
図31】実施の形態5に係る推論処理を示すフロー図
【
図32】実施の形態5に係る改善策データ記憶部の一例を示す図
【
図33】実施の形態5に係る改善策データ記憶部の他例を示す図
【発明を実施するための形態】
【0009】
以下、本開示に係る外観検査支援装置、外観検査支援方法、及び外観検査支援プログラムの実施の形態について図面を参照して説明する。
【0010】
[実施の形態1]
図1を参照して、外観検査支援装置100の概要について説明する。
図1に示すように、外観検査支援装置100は、工場で生産される製品PRに実施される外観検査を支援する。外観検査では、作業者Pは、キズ、色むらなどの不良が製品PRにあるか否かを目視で判定する。以下、外観検査の対象である製品PRを「被検査品W」といい、外観検査において不良が発見された被検査品Wを「不良品D」という。なお、製品PRは、例えば、除湿器、炊飯器、掃除機などの電化製品である。
【0011】
外観検査支援装置100は、不良が発生した箇所を含む領域の傾向を統計的に分析して不良が発生する確率が、基準以上の領域を特定し、その特定された領域を作業者Pに提示する。以下、不良品Dの不良箇所が存在する位置を「不良位置」といい、不良箇所を含む領域を「不良領域」という。また、不良が発生する傾向の高い領域、即ち、不良が発生する確率の高い領域として特定された領域を「特定領域」という場合がある。
【0012】
外観検査支援装置100は、不良品Dを撮影して不良品Dの画像のデータを生成するカメラ1、カメラ1から入力された複数の不良品Dの画像のデータに基づいて、不良位置を含む領域を分析し、不良が発生する傾向の高い領域を特定する制御装置10、及び、制御装置10によって特定された領域を示す情報を、被検査品Wに画像として投影するプロジェクタ2を備える。
【0013】
カメラ1は、不良品置場SDの天井面、壁面など、不良品Dを撮影できる場所に設置される。
【0014】
作業者Pは、被検査品Wが不良品Dであると判定すると、外観検査を実施する外観検査場SVから不良品置場SDへ不良品Dを移動させる。なお、以下では、被検査品Wの外観形状は、直方体であるものとする。また、外観検査は、不良品Dの6つの面ごとに、外観検査場SVが異なり、担当する作業者Pも異なるものとする。各不良品置場SDには、カメラ1が1つずつ配置される。すなわち、カメラ1は、不良品置場SDの数に相当する台数、本実施の形態では、6台設置される。
【0015】
作業者Pは、不良品Dを不良品置場SDへ移動させる度に、不良品Dをカメラ1に撮影させる。以下、不良品Dを示す画像を「不良品画像」という。
【0016】
カメラ1は、不良品Dを撮影して、撮像データを制御装置10に出力する。なお、不良品画像のデータは、「不良箇所データ」の一例である。
【0017】
制御装置10は、例えば、パーソナルコンピュータ、タブレット端末、PLC(Programmable Logic Controller)などで構成される。
【0018】
制御装置10は、カメラ1から出力された撮像データに基づいて、不良領域の傾向を分析し、不良が発生する傾向が高い領域を特定する。
【0019】
不良が発生する傾向の高い領域は、利用者によって予め設定された期間において、発生した不良の数が第1不良閾値T1以上の領域である。第1不良閾値T1は、「3」、「5」、「10」などの値が、外観検査支援装置100の利用者によって予め設定される。利用者は、生産管理者、生産技術者、不良分析担当者などを含む。なお、第1不良閾値T1は、基準の一例である。
【0020】
制御装置10は、不良が発生する傾向の高い領域を特定領域として特定すると、特定領域を指し示す画像のデータを生成し、プロジェクタ2へ出力する。
【0021】
プロジェクタ2は、外観検査場SVの数に相当する台数、本実施の形態では、6台設置される。プロジェクタ2は、入力された画像のデータに基づいて、被検査品Wに向けて不良が発生する傾向の高い領域を指し示す画像を投影することにより、被検査品Wの表面に画像を表示する。以下、プロジェクタ2が被検査品Wに向けて画像を投影することにより、被検査品Wの表面に画像を表示することを単に「画像を表示する」という場合がある。また、被検査品Wに表示される画像を「注意喚起画像」という。なお、注意喚起画像のデータは、「不良が発生する傾向の高い領域を示す情報」の一例である。
【0022】
被検査品Wは、各外観検査場SVの検査台の予め設定された位置に予め定めされた向きで配置される。詳しくは、被検査品Wは、検査対象の面が注意喚起画像を表示できる形態で外観検査場SVの検査台の予め定められた位置に定められた向きで配置される。プロジェクタ2は、被検査品Wの検査対象の面に、注意喚起画像を表示できる位置に設置される。
【0023】
図2A及び
図2Bを参照して、被検査品Wに表示される注意喚起画像GCについて説明する。
図2Aは、制御装置10によって不良が発生する傾向の高い領域として特定された特定領域R1の一例を示す図であり、
図2Bは、被検査品Wに表示される注意喚起画像GCの一例を示す図である。なお、
図2A及び
図2Bに示すX軸及びY軸は、被検査品Wが配置される検査台上の座標軸であるものとする。X軸は、作業者Pからみて被検査品Wの左右方向であり、Y軸は、作業者Pからみて被検査品Wの前後方向であり、X軸と直交する。
【0024】
図2Aに示すように、特定領域R1が、製品PRの+X側かつ-Y側の角近傍である場合、
図1を参照して説明したプロジェクタ2は、
図2Bに示すように、被検査品Wの+X側かつ-Y側の角部分を囲う画像GC1を投影する。この結果、被検査品Wに特定領域R1を指し示す画像GC1を含む注意喚起画像GCが表示される。なお、注意喚起画像GCは、特定領域R1が複数である場合、複数の特定領域R1を囲む画像を含む。
【0025】
次に、
図1に示す制御装置10の構成について、
図3及び
図4を参照して詳細に説明する。
【0026】
図3に示すように、制御装置10は、利用者による操作を受け付ける操作部11、画像を表示するディスプレイ12、複数のカメラ1からの撮像データが入力される入力部13、注意喚起画像GCのデータを出力する出力部14、各種処理を実行するプロセッサ15、プロセッサ15の作業領域として用いられる主記憶装置16a、及びプログラムなどの各種データを記憶する補助記憶装置16bを更に備える。主記憶装置16aは、RAM(Random Access Memory)を含む。補助記憶装置16bは、フラッシュメモリ、HDD(Hard Disk Drive)、SDD(Solid State Drive)などの不揮発性メモリを含む。
【0027】
操作部11は、利用者による操作を受け付けると、その操作に応じた信号をプロセッサ15へ出力する。操作部11は、例えば、タッチセンサ、キーボード、マウスなどである。
【0028】
ディスプレイ12は、プロセッサ15から出力された信号に基づいて画像を表示する。ディスプレイ12は、例えば、液晶ディスプレイ、有機EL(Organic Electro Luminescence)ディスプレイなどである。
【0029】
入力部13は、複数のカメラ1の各々と接続し、各カメラ1から出力された撮像データが入力される。入力部13は、撮像データが入力可能な機器であればよく、例えば、ビデオカード、グラフィックカードなどである。なお、入力部13は、例えば、イーサネット、USB(Universal Serial Bus)などの通信規格に対応する通信を行う通信機器であってもよい。
【0030】
出力部14は、複数のプロジェクタ2の各々と接続し、注意喚起画像GCのデータを各プロジェクタ2に出力する。出力部14は、注意喚起画像GCのデータをプロジェクタ2へ出力可能な機器であればよく、例えば、ビデオカード、グラフィックカードなどである。なお、出力部14は、例えば、イーサネット、USBなどの通信規格に対応する通信を行う通信機器であってもよい。
【0031】
プロセッサ15は、MPU(Micro processing Unit)、CPU(Central Processing Unit)などである。プロセッサ15は、補助記憶装置16bに記憶されている外観検査支援プログラムを主記憶装置16aに読み出して実行する。
【0032】
補助記憶装置16bは、
図4に示すデータ記憶部16を含む。データ記憶部16は、複数の不良品Dに関するデータを記憶する。複数の不良品Dに関するデータは、不良が発生した領域の傾向を分析する際に使用される。
【0033】
データ記憶部16は、不良品画像のデータを記憶する画像データ記憶部160を含む。
【0034】
画像データ記憶部160は、利用者によって予め撮影された良品画像のデータを更に記憶する。良品画像のデータは、不良領域を特定する際に利用される。利用者は、良品画像を撮影すると、操作部11を操作することにより、入力部13を介して良品画像のデータを制御装置10に入力し、画像データ記憶部160に記憶させる。なお、良品画像は、機種ごとの全面の画像を含む。
【0035】
また、データ記憶部16は、工場の生産スケジュールを示すデータを記憶する生産スケジュール記憶部161、外観検査支援装置100が備える機器に関するデータを記憶する機器マスタ記憶部162、良品画像に関するデータを記憶する良品画像関連データ記憶部163、カメラ1によって撮影された不良品画像に関するデータを記憶する不良品画像関連データ記憶部164、及び
図1に示すプロジェクタ2への出力に必要な出力準備データを記憶する出力準備データ記憶部165を含む。
【0036】
生産スケジュール記憶部161は、
図5に示すように、工場で生産する製品PRの機種を示す機種データ161aと、その機種の製品PRを生産するスケジュールを示す生産スケジュールデータ161bと、を関連付けて記憶する。生産スケジュールデータ161bは、生産開始日時を示す生産開始日時データ161c及び生産終了日時を示す生産終了日時データ161dを含む。生産スケジュール記憶部161に記憶されるデータは、利用者によって予め登録される。
【0037】
図4に示す機器マスタ記憶部162は、
図6に示すように、外観検査支援装置100が備える機器の機器名を示す機器名データ162aと、機器の識別名を示す機器識別名データ162bと、機器が設置される場所を示す設置場所データ162cと、機器が設置される場所に対応する外観検査の内容を示す検査内容データ162dと、を関連付けて記憶する。機器識別名データ162bは、例えば、機器のMACアドレス、IPアドレスなどの識別データである。設置場所データ162cは、その機器の機能に応じた設置場所を示す。設置場所としては、例えば、不良品置場SD、外観検査場SVなどがある。検査内容データ162dは、その設置場所でその機器が供される外観検査の対象の面を示す。機器マスタ記憶部162に記憶されるデータは、利用者によって予め登録される。
【0038】
図4に示す良品画像関連データ記憶部163は、
図7に示すように、良品画像を識別する良品画像識別名データ163aと、良品画像によって示される良品の機種を示す機種データ163bと、良品画像の撮影部分を示す撮影部分データ163cと、を関連付けて記憶する。良品画像関連データ記憶部163に記憶される良品画像に関するデータは、利用者によって良品画像関連データ記憶部163に予め登録されている。
【0039】
図4に示す不良品画像関連データ記憶部164は、
図8に示すように、不良品画像を識別する不良品画像識別名データ164aと、不良品画像によって示される不良品Dの機種を示す機種データ164bと、不良品Dの撮影部分を示す撮影部分データ164cと、不良が発見された日時を示す発見日時データ164dと、不良領域を示す不良領域データ164eと、を関連付けて記憶する。不良品画像関連データは、
図4に示す入力処理部151が入力処理を実行することにより、不良品画像関連データ記憶部164に記憶される。
【0040】
図4に示す出力準備データ記憶部165は、
図9に示すように、被検査品Wの機種を示す機種データ165aと、被検査品Wの注意喚起画像GCが表示される部分を示す撮影部分データ165bと、注意喚起画像GCが指し示す特定領域R1を示す特定領域データ165cと、を関連付けて記憶する。
【0041】
図3に示すプロセッサ15は、
図4に示すように、入力処理を実行する入力処理部151、分析処理を実行する分析部152、及び、出力処理を実行する出力処理部153として機能する。
【0042】
入力処理部151は、入力部13を介してカメラ1から撮像データが入力されると、不良領域を分析するために必要なデータを取得して、データ記憶部16に記憶させる入力処理を実行する。
【0043】
分析部152は、カメラ1から撮像データが入力されて、画像データ記憶部160に不良領域の傾向を分析するためのデータが記憶されると、画像データ記憶部160に記憶されたデータに基づいて、不良領域の傾向を分析し、不良が発生する傾向の高い領域を特定する分析処理を実行する。
【0044】
出力処理部153は、分析部152によって特定された不良が発生する傾向の高い領域を指し示す注意喚起画像GCのデータを生成し、プロジェクタ2へ注意喚起画像GCのデータを出力する出力処理を実行する。
【0045】
以下、
図10から
図13を参照して、入力処理、分析処理、及び出力処理について説明する。なお、入力処理は、入力ステップの一例であり、分析処理は、分析ステップの一例であり、出力処理は、出力ステップの一例である。
【0046】
工場では、作業者Pは、担当する外観検査場SVに、被検査品Wが搬送されてくると、その被検査品Wを検査台に載置する。この際、作業者Pは、検査台の予め定められた位置に被検査品Wを載置する。詳しくは、作業者Pは、予め定められた向きで検査台の予め定められた位置に被検査品Wを載置する。作業者Pは、その外観検査場SVでの検査部位、実施の形態1では、6つの面のいずれかを上向にして被検査品Wを検査台に載置する。
【0047】
次に、作業者Pは、被検査品Wの検査対象の面を目視で検査する。この際、その外観検査場SVに設置されたプロジェクタ2が、被検査品Wに向けて注意喚起画像GCを投影する。これにより、被検査品Wの表面に不良が発生する傾向の高い領域が指し示されて、作業者Pの注意を喚起する。
【0048】
作業者Pは、不良箇所を発見すると、その被検査品Wを、不良品Dとして不良品置場SDに移動させる。本実施の形態では、作業者Pは、被検査品Wの不良箇所を含む面を上向きにして不良品置場SDの作業台に被検査品Wを載置する。
【0049】
次に、作業者Pは、操作部11を操作して、不良品Dをカメラ1に撮影させる指示を制御装置10に入力する。プロセッサ15は、操作部11からの信号に応答して、カメラ1に不良品Dの不良箇所を含む面を撮影させる。この結果、撮像データが生成されて制御装置10へ出力される。
【0050】
次に、プロセッサ15は、入力処理部151として、
図10に示す入力処理を開始する。入力処理部151は、カメラ1から不良品画像のデータを、入力部13を介して取り込み、取り込んだ不良品画像のデータを、
図4に示す画像データ記憶部160に記憶させる(
図10のステップS102)。
【0051】
次に、入力処理部151は、不良品画像を識別するデータを取得する(ステップS104)。不良品画像を識別するデータは、カメラ1から入力された撮像データに含まれ、例えば、不良品画像のファイル名、保存先などを示すデータである。
【0052】
次に、入力処理部151は、撮像データに含まれる撮影時刻に基づいて、不良品Dの機種を特定する(ステップS106)。詳しくは、入力処理部151は、不良品画像が撮影された撮影時刻データを検索条件として、
図5に示す生産スケジュール記憶部161から、撮影時刻データが、生産開始日時データ161cが示す日時以降、かつ生産終了日時データ161dが示す日時以前のレコードを検索する。入力処理部151は、検索条件に合致するレコードを発見すると、そのレコードの機種データ161aを取得することにより、不良品Dの機種を特定する。
【0053】
次に、入力処理部151は、不良品Dの撮影された面を特定する(
図10のステップS108)。以下、撮影された面を「撮影部分」という。
【0054】
詳しくは、入力処理部151は、撮像データに含まれるカメラ1の識別名を示すデータを検索条件として、
図6に示す機器マスタ記憶部162から、カメラ1の識別名を示すデータが機器識別名データ162bと一致するレコードを検索する。入力処理部151は、検索条件に合致するレコードを発見すると、そのレコードの検査内容データ162dを取得することにより、不良品Dの撮影部分を特定する。
【0055】
次に、入力処理部151は、その不良品画像によって示される不良領域を特定する(
図10のステップS110)。詳しくは、入力処理部151は、
図7に示す良品画像関連データ記憶部163に記憶されたデータから、機種データ163bがステップS106で取得した機種データ161aに一致し、撮影部分データ163cがステップS108において取得した検査内容データ162dと一致するレコードを検索する。入力処理部151は、検索条件に合致するレコードを発見すると、発見したレコードの良品画像識別名データ163aを検索条件として、画像データ記憶部160に記憶されたデータの中から良品画像のデータを取得する。入力処理部151は、良品画像のデータを取得すると、不良品画像と良品画像とを比較することにより、不良領域を特定する。
【0056】
以下、
図11A及び
図11Bを参照して、不良領域の特定方法について説明する。
図11Aは、不良品画像GDの一例を示す図であり、
図11Bは、良品画像GRの一例を示す図である。
【0057】
入力処理部151は、
図11A及び
図11Bに示すように、不良品画像GD及び良品画像GRのそれぞれを9つの区画SCに分割する。
図11A及び
図11Bでは、理解を容易にするために、各区画SCの境界を2点鎖線で示している。なお、分割する区画SCの数は、9つに限定されず、利用者によって予め設定される。
【0058】
以下では、-X側かつ+Y側の区画SCを「SECTION1」とし、「SECTION1」から+X側へ順次「SECTION2」、「SECTION3」とする。また、「SECTION1」の-Y側に隣接する区画SCを「SECTION4」とし、「SECTION4」から+X側へ順次「SECTION5」、「SECTION6」とする。更に、「SECTION4」の-Y側に隣接する区画SCを「SECTION7」とし、「SECTION7」から+X側へ順次「SECTION8」、「SECTION9」とする。
【0059】
各区画SCの位置を示すデータは、例えば、分割する区画SCの数が設定されると、各区画SCに応じた座標データがプロセッサ15によって演算されて補助記憶装置16bに記憶される。
【0060】
入力処理部151は、区画SCごとに不良品画像GDと良品画像GRとをマッチングし、不良品画像GDと良品画像GRとの画像が異なる区画SC、すなわち、不良箇所を含む領域を不良領域として特定する。
【0061】
図11A及び
図11Bに示す例では、不良品画像GDの「SECTION9」に、キズを示す画像GSが含まれる。このため、入力処理部151は、不良品画像GDの「SECTION9」の画像と、良品画像GRの「SECTION9」の画像とが一致しないと判定し、「SECTION9」を不良領域として特定する。入力処理部151は、特定した不良領域を示すデータを生成する。
【0062】
入力処理部151は、不良領域を特定すると、
図10のステップS104からステップS110で取得したデータを関連付けて、
図8に示す不良品画像関連データ記憶部164に記憶させる(ステップS112)。詳しくは、入力処理部151は、ステップS104からステップS110で取得したデータをそれぞれ、「不良品画像識別名データ164a」、「機種データ164b」、「撮影部分データ164c」、「不良領域データ164e」として、不良品画像関連データ記憶部164に記憶させる。また、入力処理部151は、不良品画像GDを撮影した時刻を示す撮影時刻データを「発見日時データ164d」として、不良品画像関連データ記憶部164に記憶させる。
【0063】
以上で、入力処理部151は、入力処理を終了する。
【0064】
次に、
図12を参照して、分析処理について説明する。分析処理は、例えば、工場が終業する度に実行される。なお、分析処理が実行されるタイミングは、利用者によって予め設定される。
【0065】
プロセッサ15は、予め設定された開始時刻になると、分析部152として、
図12に示す分析処理を開始する。
【0066】
分析部152は、
図8に示す不良品画像関連データ記憶部164に蓄積された複数の不良品Dの画像(不良品画像GD)に関するデータを、機種、撮影部分、及び不良領域ごとに集計し、集計されたレコード数を不良発生件数として取得する(
図12のステップS202)。なお、不良発生件数は、不良が発生した件数である。分析部152は、例えば、1日、1週間など、予め設定された期間に蓄積された不良品画像GDに関するデータに基づいて不良発生件数を集計する。
【0067】
分析部152は、不良発生件数に基づいて、不良が発生する傾向が高い領域を特定する(ステップS204)。分析部152は、ステップS202で集計された結果である不良発生件数が第1不良閾値T1以上の不良領域を、不良が発生する傾向が高い領域、すなわち、特定領域R1として特定する。なお、第1不良閾値T1は、不良発生件数を集計する期間に応じた値が、利用者によって予め設定される。
【0068】
例えば、利用者によって設定された期間が1日間、かつ第1不良閾値T1が「3」に設定されている場合、
図8に示す不良品画像関連データ記憶部164のデータを、機種、撮影部分、及び不良領域ごとに集計すると、「2020年8月26日」の1日間で、機種「炊飯器」、撮影部分「天面」、及び不良領域「SECTION9」のレコードの件数が7件となり、3件以上になる。したがって、分析部152は、機種「炊飯器」、及び撮影部分「天面」の不良領域「SECTION9」を不良が発生する傾向が高い領域、すなわち、特定領域R1として特定する。
【0069】
分析部152は、特定領域R1を特定すると、出力処理部153による出力に必要なデータを、
図9に示す出力準備データ記憶部165に記憶させる(
図12のステップS206)。詳しくは、分析部152は、不良品画像関連データ記憶部164から抽出したレコードの機種データ164b、撮影部分データ164c、不良領域データ164eを「機種データ165a」、「撮影部分データ165b」、「特定領域データ165c」として、出力準備データ記憶部165に記憶させる。
【0070】
以上で、分析部152は、分析処理を終了する。
【0071】
プロセッサ15は、目視による外観検査の実行期間中、例えば、定期的に、出力処理部153として、出力処理を実行する。
【0072】
図13に示すように、出力処理部153は、被検査品Wの機種を特定するために、直近n時間に生産される生産対象の機種を特定する(ステップS302)。詳しくは、出力処理部153は、タイマから現在時刻を示すデータを取得する。出力処理部153は、取得した現在時刻データを検索条件として、
図5に示す生産スケジュール記憶部161に記憶されたデータを検索する。出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの機種データ161aが示す機種を、直近n時間に工場で生産され、外観検査の対象とされる機種として特定する。
【0073】
次に、出力処理部153は、各プロジェクタ2について、そのプロジェクタ2が設置される外観検査場SVで実施される外観検査の内容を特定する(ステップS304)。詳しくは、出力処理部153は、各プロジェクタ2の識別名を示すデータを検索条件として、
図6に示す機器マスタ記憶部162を検索する。出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの検査内容データ162dが示す検査内容を、各プロジェクタ2が設置される外観検査場SVで実施される外観検査として特定する。なお、プロジェクタ2の識別名を示すデータは、例えば、操作部11を介して利用者によって入力される。
【0074】
次に、出力処理部153は、ステップS302で取得した機種データ161aが機種データ165aと一致し、ステップS304で取得した検査内容データ162dが撮影部分データ165bと一致するレコードを
図9に示す出力準備データ記憶部165に記憶されたデータの中から検索する。出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの特定領域データ165cを取得する。出力処理部153は、取得した特定領域データ165cが示す特定領域R1を指し示す注意喚起画像GCのデータを生成する。出力処理部153は、注意喚起画像GCのデータを、出力部14を介して、対応するプロジェクタ2へ出力して(ステップS306)、出力処理を終了する。なお、出力処理部153は、出力処理において、プロジェクタ2ごとに注意喚起画像GCのデータを生成し、対応するプロジェクタ2へ出力する。
【0075】
プロジェクタ2は、出力部14から注意喚起画像GCのデータが入力されると、入力された注意喚起画像GCのデータに基づいて、
図2Bに示すように、特定領域R1を指し示す注意喚起画像GCを被検査品Wの表面に表示する。
【0076】
作業者Pは、注意喚起画像GCが指し示す領域に不良が発生する傾向があることを意識した上で、目視による外観検査を実施する。なお、出力処理部153は、n時間経過する度、あるいは、製造する製品PRが切り替わる度に、出力処理を実行し、機種の切り替えに対応する。
【0077】
以上説明したように、実施の形態1に係る外観検査支援装置100によれば、不良が発生する傾向が高い領域を指し示す注意喚起画像GCが被検査品Wの表面に表示される。このため、作業者Pは、不良が発生する傾向の高い領域を容易に把握できる。これにより、習熟度の低い作業者Pが外観検査を担当した場合であっても、不良の見落としを抑制できる。この結果、外観検査の品質を保つことができる。すなわち、外観検査の高品質化を図ることができる。
【0078】
また、作業者Pが特定領域R1を容易に把握できるため、外観検査に要する時間を短縮することができ、外観検査の効率化を図ることができる。
【0079】
また、作業者Pが特定領域R1を容易に把握できることにより、作業者Pの早期習熟化を図ることができる。
【0080】
作業者Pが不良を見落としてしまうと、被検査品Wが戻る所謂「手戻り」が発生し、生産ロス、生産時間ロスなどが生じる虞がある。しかしながら、外観検査支援装置100によれば、作業者Pが特定領域R1を容易に把握できるため、不良が見落されることが抑制される。これにより、手戻りの発生が抑制され、生産ロス、生産時間ロスなどの発生を低減することができる。
【0081】
また、作業者Pは、不良品Dを不良品置場SDへ移動させる度に、不良品Dをカメラ1に撮影させる。すなわち、作業者Pは、すべての不良品Dをカメラ1に撮影させる。この結果、外観検査支援装置100は、不良が発生したすべての不良品Dに関するデータを収集し、統計的に分析することができる。したがって、例えば、人手により不良の傾向を分析するといった理由により、発生したすべての不良に関するデータを分析できない場合と比べて、分析結果の信頼性を向上させることができる。
【0082】
また、外観検査支援装置100は、不良が存在する被検査品Wについてのみ、特定領域R1を特定できればよい。このため、外観検査を完全自動化する場合と比べて、外観検査支援装置100の処理負担を軽減することができる。外観検査支援装置100の処理負担を軽減できることにより、外観検査の判定の高速化を実現することができる。あるいは、特定領域R1を特定する品質を向上させることができる。
【0083】
[実施の形態1の変形例]
なお、実施の形態1では、作業者Pが操作部11を操作することにより不良品Dを撮影したが、不良品Dを撮影する撮影者は、作業者Pに限定されず、例えば、生産管理者、分析担当者などであってもよい。
【0084】
また、実施の形態1では、不良品置場SDに配置される度に不良品Dが撮影されたが、不良品Dは、不良品置場SDに配置される度に撮影されなくてもよく、例えば、不良品Dは、半日単位又は1日単位でまとめて撮影されてもよい。この場合、不良が発生した日時を示すデータは、例えば、不良発見シートといった書類に記録された内容に基づいて、撮影者によって制御装置10に入力される。
【0085】
また、不良品Dを撮影するタイミングは、作業者P、生産管理者、分析担当者などの人によって決定される場合に限定されず、カメラ1が決定してもよい。カメラ1は、例えば、不良品Dが不良品置場SDに配置されたことを画像認識技術を利用して検知すると、不良品Dを撮影する。あるいは、カメラ1は、不良品置場SDに設置された不良品Dの有無を検知するセンサから不良品Dを検知したことを示す信号を受信すると、不良品Dを撮影してもよい。なお、センサは、不良品Dの有無を検知できればよく、反射型センサ、透過型センサなどが利用できる。
【0086】
また、不良領域は、不良品画像GD及び良品画像GRがそれぞれ9つの区画SCに分割して比較することにより特定されたが、不良品画像GD及び良品画像GRを、例えば、取手部、蓋部などパーツごとに分割して比較することにより、特定されてもよい。
【0087】
また、不良領域は、機械学習の技術が利用されて特定されてもよい。例えば、入力処理部151は、不良品画像GDのデータに、不良領域を示すデータを付加した教師データを用いて学習させた学習済みモデルを生成する。入力処理部151は、生成された学習済みモデルに不良品画像GDのデータを入力パラメータとして入力し、出力パラメータとして出力された不良領域を示すデータを取得することにより、不良領域を特定してもよい。
【0088】
また、画像データ記憶部160に記憶されるデータは、適宜変更可能である。例えば、画像データ記憶部160は、出力準備データ記憶部165を省略できる。この場合、分析部152は、特定領域R1を他の不良領域と識別するためにフラグを利用してもよい。フラグは、特定領域R1と関連付けて不良品画像関連データ記憶部164に更に記憶される。出力処理部153は、不良品画像関連データ記憶部164に記憶されたフラグに基づいて、特定領域R1を指し示す画像データを生成し、プロジェクタ2へ出力してもよい。
【0089】
[実施の形態2]
図14から
図15を参照して、実施の形態2に係る外観検査支援装置100について説明する。実施の形態2に係る外観検査支援装置100の基本構成及び基本動作は、実施の形態1の外観検査支援装置100の基本構成及び基本動作と同様である。ただし、不良発見件数に基づいて、不良の重みが設定される点、及び、プロジェクタ2へ出力する特定領域R1の重みを利用者が指定できる点が実施の形態1と異なる。以下、実施の形態1と異なる点を中心に説明する。
【0090】
分析部152は、分析処理において、利用者によって設定された期間における不良発生件数に基づいて、重みを特定領域R1ごとに設定する。重みは、特定領域R1の重要性を評価する値であり、その値が高いほど、特定領域R1の重要性が高い。
【0091】
図14に示すように、分析部152は、
図8に示す不良品画像関連データ記憶部164に記憶された不良品画像GDに関するデータを、機種、撮影部分、及び不良領域ごとに集計し(ステップS202)、集計されたレコード数、すなわち、機種、撮影部分、及び不良領域ごとの不良発生件数に基づいて、特定領域R1に重みを設定する(ステップS402)。
【0092】
例えば、分析部152は、利用者によって予め設定された期間における不良発生件数が3件以上5件未満の特定領域R1の重みを「1」、不良発生件数が5件以上の特定領域R1の重みを「2」に設定する。なお、重みは、2段階に限定されず、5段階、10段階など、利用者によって予め設定できる。また、重みは、予め定められた重み基準値以上、例えば「2」を「高い」といい、重み基準値未満、例えば、「1」を「低い」という。
【0093】
図8に示す例において、「2020年08月26日」の1日間で、機種「炊飯器」、撮影部分「天面」、及び不良領域「SECTION9」のレコードの件数は、7件である。したがって、分析部152は、特定領域R1「SECTION9」の重みを「2」に設定する。分析部152は、重みを設定すると、設定した重みを示すデータを生成する。
【0094】
分析部152は、生成した重みを示すデータを「重みデータ165d」として、
図15に示す出力準備データ記憶部165に更に記憶させて(
図14のステップS206)、分析処理を終了する。
【0095】
図15に示す出力準備データ記憶部165は、機種データ165aと、撮影部分データ165bと、特定領域データ165cとに加え、重みデータ165dを更に関連付けて記憶する。
【0096】
出力処理部153は、出力処理において、利用者によって、出力対象として指定された重みの特定領域R1を指し示す注意喚起画像GCのデータを生成し、出力部14を介してプロジェクタ2へ出力する。なお、利用者は、操作部11を操作することにより重みを指定できる。出力処理部153は、操作部11から指定された重みを示すデータを受信すると、その重みを示すデータを生成する。生成された重みを示すデータは、例えば、補助記憶装置16bに記憶される。出力処理部153は、補助記憶装置16bに記憶された重みを示すデータを参照することにより、注意喚起画像GCのデータを生成する。
【0097】
詳しくは、
図13に示す出力処理のステップS306において、出力処理部153は、ステップS302及びステップS304で取得したデータに加え、指定された重みを示すデータを含むレコードを、
図15に示す出力準備データ記憶部165に記憶されたデータの中から検索する。具体的には、出力処理部153は、ステップS302で取得した機種データ161aが機種データ165aと一致し、ステップS304で取得した検査内容データ162dが撮影部分データ165bと一致し、かつ指定された重みを示す重みデータ165dのレコードを、出力準備データ記憶部165に記憶されたデータの中から検索する。
【0098】
出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの特定領域データ165cが示す特定領域R1を指し示す注意喚起画像GCのデータを生成する。出力処理部153は、注意喚起画像GCのデータを、出力部14を介してプロジェクタ2へ出力して(
図13のステップS306)、出力処理を終了する。
【0099】
例えば、重みとして「2」が指定されている場合、
図2Bに示すように、「SECTION9」を指し示す注意喚起画像GCが被検査品Wに表示される。以上の処理により、利用者により指定された重みが設定された特定領域R1を指し示す注意喚起画像GCが被検査品Wに表示される。
【0100】
以上説明したように、実施の形態2の外観検査支援装置100によれば、指定した重みが設定された注意喚起画像GCを被検査品Wに表示させることができる。したがって、作業者Pの利便性を図ることができ、外観検査の高品質化を図ることができる。
【0101】
[実施の形態2の変形例]
なお、出力処理部153は、作業者Pに特定領域R1の重み、すなわち、重要度を容易に把握させるために、例えば、重みに応じて注意喚起画像GCに含まれる画像の色、明るさ、太さなどの属性を変化させてもよい。
【0102】
[実施の形態3]
図16から
図24を参照して、実施の形態3に係る外観検査支援装置100について説明する。実施の形態3は、外観検査を担当する作業者Pの習熟度に応じて、被検査品Wに表示される注意喚起画像GCが変化する点が実施の形態1及び2と異なる。以下、実施の形態1及び2と異なる点を中心に説明する。
【0103】
図16に示すデータ記憶部16は、外観検査を担当する作業者Pの習熟度を特定するために必要なデータを更に含む。データ記憶部16は、外観検査を担当する作業者Pの担当スケジュールに関するデータを記憶する担当スケジュール記憶部166、及び作業者Pの習熟度に関するデータを記憶する作業者マスタ記憶部167を更に含む。
【0104】
図17に示す担当スケジュール記憶部166は、外観検査を担当する担当者データ166aと、作業者Pが外観検査を担当するスケジュールを示す担当スケジュールデータ166bと、担当する外観検査の検査内容を示す検査内容データ166eと、を関連付けて記憶する。担当スケジュールデータ166bは、担当開始日時を示す担当開始日時データ166c及び担当終了日時を示す担当終了日時データ166dを含む。担当スケジュールに関するデータは、例えば、利用者によって、担当スケジュール記憶部166に予め登録される。
【0105】
図18に示す作業者マスタ記憶部167は、外観検査を担当する作業者Pを示す作業者データ167aと、作業者Pの習熟度を示す習熟度データ167bと、を関連付けて記憶する。習熟度データ167bには、作業者Pの勤続年数、経験、技術力などに基づいて、例えば、3段階で評価された値(「1」~「3」)が設定される。習熟度は、その値が大きいほど、作業者Pの習熟度が高いことを示す。なお、習熟度の評価は、3段階に限定されず、5段階、10段階など利用者によって予め設定される。また、習熟度は、予め定められた習熟度基準値以上、例えば、「2」以上を「高い」といい、習熟度基準値未満、例えば、「1」を「低い」という。
【0106】
入力処理部151は、
図19に示す入力処理において、不良領域を特定すると(ステップS110)、不良を発見した作業者Pを特定する(ステップS502)。入力処理部151は、ステップS108で取得した検査内容データ162dと、撮影時刻データと、を検索条件として、
図17に示す担当スケジュール記憶部166に記憶されたデータの中から、検索条件に合致するレコードを検索する。
【0107】
詳しくは、入力処理部151は、
図19のステップS108で取得した検査内容データ162dが検査内容データ166eと一致し、撮影時刻データが担当開始日時データ166c以降、かつ担当終了日時データ166d以前のレコードを、担当スケジュール記憶部166に記憶されたデータの中から検索する。入力処理部151は、検索条件に合致するレコードを発見すると、そのレコードの担当者データ166aを取得することにより、不良を発見した作業者Pを特定する。
【0108】
入力処理部151は、不良を発見した作業者Pを特定すると、ステップS104からステップS502で取得したデータを関連付けて、
図20に示すように、不良品画像関連データ記憶部164に記憶させる(
図19のステップS112)。詳しくは、入力処理部151は、ステップS502で取得した担当者データ166aを「作業者データ164f」として、不良品画像関連データ記憶部164に更に記憶させて、入力処理を終了する。
【0109】
不良品画像関連データ記憶部164は、不良品画像識別名データ164aと、機種データ164bと、撮影部分データ164cと、発見日時データ164dと、不良領域データ164eと、に加え、不良を発見した作業者Pを示す作業者データ164fを更に関連付けて記憶する。
【0110】
出力処理部153は、出力処理において、外観検査を担当する作業者Pを特定し、その作業者Pの習熟度に応じた注意喚起画像GCのデータを、出力部14を介してプロジェクタ2に出力する。すなわち、出力処理部153は、外観検査を担当する作業者Pの習熟度に応じて、注意喚起画像GCのデータを出力する。
【0111】
図21に示すように、出力処理部153は、外観検査の内容を特定すると(ステップS304)、出力対象のプロジェクタ2が設置される外観検査場SVで外観検査を担当する作業者Pを特定する(ステップS602)。出力処理部153は、ステップS304で取得した検査内容データ162dと、現在時刻を示すデータとを検索条件として、
図17に示す担当スケジュール記憶部166に記憶されたデータを検索する。
【0112】
詳しくは、出力処理部153は、ステップS304で取得した検査内容データ162dが検査内容データ166eと一致し、撮影時刻データが担当開始日時データ166c以降で、かつ担当終了日時データ166d以前のレコードを、担当スケジュール記憶部166に記憶されたデータの中から検索する。出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの担当者データ166aを取得することにより、出力対象のプロジェクタ2が設置される外観検査場SVで外観検査を担当する作業者Pを特定する。
【0113】
次に、出力処理部153は、
図21のステップS602で特定した作業者Pの習熟度を特定する(ステップS604)。出力処理部153は、ステップS602で取得した担当者データ166aを検索条件として、
図18に示す作業者マスタ記憶部167に記憶されたデータを検索する。
【0114】
詳しくは、出力処理部153は、ステップS602で取得した担当者データ166aが作業者データ167aと一致するレコードを、作業者マスタ記憶部167に記憶されたデータの中から検索する。出力処理部153は、検索条件に合致するレコードを発見すると、そのレコードの習熟度データ167bを取得することにより、作業者Pの習熟度を特定する。
【0115】
出力処理部153は、作業者Pの習熟度を特定すると、
図22に示す出力準備データ記憶部165に記憶されたデータの中から、特定した作業者Pの習熟度に関連付けられた特定領域データ165cを取得する。
【0116】
出力準備データ記憶部165は、機種データ165aと、撮影部分データ165bと、特定領域データ165cと、に加え、習熟度データ165eを更に関連付けて記憶する。なお、習熟度データ165eは、例えば、
図20に示す不良品画像関連データ記憶部164に記憶されたデータに基づいて、利用者によって登録される。
【0117】
出力処理部153は、特定した作業者Pの習熟度に関連付けられた特定領域データ165cを取得すると、取得した特定領域データ165cが示す特定領域R1を指し示す注意喚起画像GCのデータを生成する。出力処理部153は、生成した注意喚起画像GCのデータを、出力部14を介してプロジェクタ2へ出力して(
図21のステップS306)、出力処理を終了する。
【0118】
各プロジェクタ2は、出力処理部153から注意喚起画像GCのデータが入力されると、入力された注意喚起画像GCのデータに基づいて、注意喚起画像GCを被検査品Wの表面に投影する。
【0119】
例えば、
図22に示す例において、直近n時間における生産対象の機種が「炊飯器」で、注意喚起画像GCのデータを出力するプロジェクタ2が設置される外観検査場SVで実施される外観検査の内容が「天面」、外観検査を担当する作業者Pの習熟度が「1」の場合、
図23に示すように、特定領域R1「SECTION1」を指し示す画像GC2、及び特定領域R1「SECTION9」を指し示す画像GC1を含む注意喚起画像GCがプロジェクタ2によって被検査品Wへ向けて投影されて、被検査品Wの表面に表示される。一方、作業者Pの習熟度が「3」の場合、
図24に示すように、特定領域R1「SECTION1」を指し示す画像GC2を含む注意喚起画像GCが被検査品Wの表面に表示される。
【0120】
例えば、習熟度が高い作業者Pは、特定領域R1を指し示す画像が被検査品Wの表面に多く表示されると、煩雑さを感じる虞がある。一方、習熟度の低い作業者Pは、すべての特定領域R1を指し示す画像が被検査品Wの表面に表示されないと、不良を見落としてしまう虞がある。実施の形態3に係る外観検査支援装置100によれば、被検査品Wの表面に表示される注意喚起画像GCを作業者Pの習熟度に応じて変化させることができる。これにより、作業者Pの利便性を図ることができ、外観検査の高品質化を図ることができる。
【0121】
また、実施の形態3によれば、作業者Pごとに発見した不良領域を集計することができるため、利用者は、作業者Pの習熟度を客観的に把握することができる。
【0122】
[実施の形態3の変形例]
なお、入力処理が実行される順番は、適宜変更可能である。
図19に示すステップS502の処理は、ステップS108よりも後であって、ステップS112よりも前に実行されればよく、例えば、ステップS108とステップS110との間で実行されてもよい。
【0123】
[実施の形態4]
図25から
図28を参照して、実施の形態4に係る外観検査支援装置100について説明する。実施の形態4は、時間帯ごとの不良領域の傾向が分析され、外観検査が行われる時間帯に応じて、注意喚起画像GCが変化する点が実施の形態1から3と異なる。以下、実施の形態1から3と異なる点を中心に説明する。
【0124】
図25に示すように、入力処理部151は、不良領域を特定すると(ステップS110)、その不良が発見された時間帯を特定する(ステップS702)。入力処理部151は、撮影時刻データに基づいて、不良が発見された時間帯が5つの時間帯「第1時間帯」、「第2時間帯」、「第3時間帯」、「第4時間帯」、及び「その他」のいずれに属するかを判定する。
【0125】
5つの時間帯「第1時間帯」、「第2時間帯」、「第3時間帯」、「第4時間帯」、及び「その他」の時間範囲は、利用者によって予め設定される。利用者は、例えば、「第1時間帯」を始業後の「9:00~10:00」、「第2時間帯」を昼食前の「11:00~12:00」、「第3時間帯」を昼食後の「13:00~14:00」、「第4時間帯」を終業前の「16:00~17:00」、及び「第1時間帯」~「第4時間帯」以外の時間範囲を「その他」として設定する。入力処理部151は、不良箇所が発見された時間帯を特定すると、その時間帯を示すデータを生成する。
【0126】
次に、入力処理部151は、ステップS104からステップS702で取得したデータを関連付けて記憶させる(ステップS112)。詳しくは、入力処理部151は、ステップS702で取得した時間帯を示すデータを「時間帯データ164g」として、
図26に示す不良品画像関連データ記憶部164に更に記憶させて、入力処理を終了する。
【0127】
図26に示す不良品画像関連データ記憶部164は、不良品画像識別名データ164aと、機種データ164bと、撮影部分データ164cと、発見日時データ164dと、不良領域データ164eと、に加え、不良が発見された時間帯を示す時間帯データ164gを更に関連付けて記憶する。
【0128】
分析部152は、分析処理において、利用者によって設定された期間における不良が発生した時間帯ごとの不良領域の不良発生件数を分析する。分析部152は、時間帯ごとの不良発生件数が第2不良閾値T2以上の不良領域を、その時間帯における不良が発生する傾向が高い領域として特定する。なお、第2不良閾値T2は、第1不良閾値T1と同じ値が設定されてもよいし、異なる値が設定されてもよい。第2不良閾値T2は、基準の一例である。
【0129】
詳しくは、
図12に示す分析処理のステップS202において、分析部152は、不良品画像関連データ記憶部164に記憶された不良品画像GDに関するデータを、機種、撮影部分、不良領域、及び時間帯ごとに集計する。
【0130】
次に、分析部152は、集計されたレコード数、すなわち、不良発生件数に基づいて、不良の発生する傾向が高い領域を時間帯ごとに特定する(ステップS204)。例えば、第2不良閾値T2が「3」に設定されている場合、
図26に示す不良品画像関連データ記憶部164のデータを、「2020年8月26日」の1日間で、機種、撮影部分、不良領域、及び時間帯ごとに集計すると、機種「炊飯器」、撮影部分「天面」、時間帯「第4時間帯」、及び不良領域「SECTION9」のレコードの件数が4件となり、3件以上になる。したがって、分析部152は、時間帯「第4時間帯」において、機種「炊飯器」、及び撮影部分「天面」の不良領域「SECTION9」を不良が発生する傾向が高い領域、すなわち、特定領域R1として特定する。
【0131】
分析部152は、時間帯ごとの特定領域R1を特定すると、集計に使用した時間帯を示すデータを「時間帯データ165f」として、
図27に示す出力準備データ記憶部165に更に記憶させて(
図12のステップS206)、分析処理を終了する。
【0132】
図27に示す出力準備データ記憶部165は、機種データ165aと、撮影部分データ165bと、特定領域データ165cと、に加え、時間帯データ165fを更に関連付けて記憶する。
【0133】
出力処理部153は、出力処理において、外観検査が実施される時間帯の特定領域R1を指し示す画像を含む注意喚起画像GCのデータを生成し、出力部14を介してプロジェクタ2へ出力する。
【0134】
図28に示す出力処理において、出力処理部153は、外観検査の内容を特定すると(ステップS304)、現在時刻データに基づいて、直近1時間が5つのいずれの時間帯に属するかを特定する(ステップS802)。
【0135】
次に、出力処理部153は、
図27に示す出力準備データ記憶部165に記憶されたデータから、特定した時間帯に関連付けられた特定領域データ165cを取得する。
【0136】
出力処理部153は、特定した時間帯に関連付けられた特定領域データ165cを取得すると、取得した特定領域データ165cが示す特定領域R1を指し示す注意喚起画像GCのデータを生成する。出力処理部153は、注意喚起画像GCのデータを、出力部14を介してプロジェクタ2へ出力して(
図28のステップS306)、出力処理を終了する。
【0137】
プロジェクタ2は、出力処理部153から注意喚起画像GCのデータが入力されると、入力された注意喚起画像GCのデータに基づいて、注意喚起画像GCを被検査品Wの表面に投影する。以上の処理により、外観検査が行われる時間帯に応じた注意喚起画像GCが被検査品Wの表面に表示される。
【0138】
一般的に、時間帯が変化すると、発生する不良の傾向が変化する。例えば、始業直後は、各工程の作業者の集中力が高く、終業直前は、作業者の集中力が始業直後よりも低下する傾向がある。このため、終業直前は、部品をコンベアに接触させることに起因する不良といった作業者の不注意による不良が始業直後よりも多く発生する傾向がある。一方、始業直後は、作業者による不注意による不良よりも、生産ラインの問題、又は製品設計上の問題による不良が発生する傾向がある。実施の形態4に係る外観検査支援装置100によれば、外観検査が実施される時間帯に応じて、被検査品Wの表面に表示される注意喚起画像GCが変化する。したがって、外観検査の効率化を図ることができる。
【0139】
[実施の形態4の変形例]
なお、入力処理が実行される順番は、適宜変更可能である。
図25に示すステップS702の処理は、ステップS112よりも前に実行されればよく、例えば、ステップS108とステップS110との間で実行されてもよい。また、同様に出力処理が実行される順番は、適宜変更可能である。
図28に示すステップS802の処理は、ステップS306よりも前に実行されればよく、例えば、ステップS302とステップS304との間で実行されてもよい。
【0140】
[実施の形態5]
図29から
図33を参照して、実施の形態5に係る外観検査支援装置100について説明する。実施の形態5は、外観検査支援装置100が、不良発生件数と、過去に発生した不良に対して実施済みの実施済み改善策に関する事項と、に基づいて、被検査品Wの改善すべき改善対象領域を提示する点が実施の形態1から4と異なる。以下、実施の形態5について実施の形態1から4と異なる点を中心に説明する。
【0141】
図29に示すように、外観検査支援装置100は、不良発生件数と、実施済み改善策に関する事項と、に基づいて、改善対象領域を提示する改善策提示部154を更に備える。改善策提示部154は、
図3に示すプロセッサ15が、制御プログラムを実行することにより、操作部11、ディスプレイ12、入力部13、出力部14、主記憶装置16a及び補助記憶装置16bを資源として利用することにより実現される。
【0142】
データ記憶部16は、学習済みモデル記憶部168及び改善策データ記憶部169を更に含む。
【0143】
学習済みモデル記憶部168は、学習済みモデルを記憶する。学習済みモデルは、公知の機械学習ライブラリを利用し、例えば、学習データに正解ラベルを付けたデータの組を学習させる「教師あり学習方法」によって生成される。なお、学習済みモデルは、「教師なし学習方法」、「強化学習方法」、「半教師あり学習方法」などの他の学習方法によって学習し生成されてもよい。
【0144】
学習アルゴリズムは、ニューラルネットワークといった公知の学習アルゴリズムを利用することができる。ニューラルネットワークは、異なる入力パラメータが入力される複数のノードで構成される入力層、入力層の各ノードから出力された信号が入力される中間層、及び、中間層から出力された信号が入力され、出力パラメータを出力する出力層を有する。なお、ニューラルネットワークの中間層は、1又は2以上で構成されてもよい。
【0145】
学習データとしては、実施済み改善策に関するデータが用いられ、正解ラベルとして、改善対象領域を示すデータ及び改善優先ポイントを示すデータが用いられる。
【0146】
実施済み改善策に関する事項は、機種を示すデータと、被検査品Wの検査対象の面を示すデータと、不良領域を示すデータと、不良発生件数を示すデータと、不良を改善する際に発生した手戻り時間に基づいて設定される手戻係数を示すデータと、不良を改善するために要した代替品の費用に基づいて設定される代替係数を示すデータと、を含む。機種を示すデータと、被検査品Wの検査対象の面を示すデータと、不良領域を示すデータと、不良発生件数を示すデータと、手戻係数を示すデータと、代替係数を示すデータと、は互いに関連付けられている。なお、不良発生件数は、機種、被検査品Wの検査対象の面、及び不良領域ごとに集計されて求められる。
【0147】
正解ラベルに用いられる改善優先ポイントは、機種、被検査品Wの検査対象の面、及び不良領域ごとに設定される。改善優先ポイントは、不良発生件数と、手戻り時間係数と、代替係数と、を乗算することにより求められる。改善優先ポイントは、不良発生件数と、手戻り時間係数と、代替係数と、を乗算して得られた値が大きいものから順に、高いポイントが設定される。あるいは、改善優先ポイントは、例えば、乗算して得られた値の幅に応じてポイントが設定されてもよい。改善対策ポイントは、乗算して得られた値が1以上10未満の場合に「1」が設定され、乗算して得られた値が10以上50未満の場合に「2」が設定されてもよい。
【0148】
改善策提示部154は、学習済みモデルを生成し、生成した学習済みモデルを利用して改善策を利用者に提示する。
【0149】
図29に示すように、改善策提示部154は、学習済みモデルを生成する学習部154a、及び学習済みモデルを利用して改善策を推論する推論部154bを含む。
【0150】
以下、学習部154aによる学習処理について説明する。
図30に示す学習処理は、利用者による実行を指示する操作を操作部11が受け付けると開始される。
【0151】
学習部154aは、正解ラベルが付加された実施済み改善策に関するデータを教師データとして受け付ける(ステップS902)。教師データは、入力部13を介して学習部154aに入力される。
【0152】
学習部154aは、教師データを用いて繰り返し学習し(ステップS904)、教師データに含まれるデータの特徴、規則などを解析する。学習部154aは、学習済みモデルを学習済みモデル記憶部168に記憶させて(ステップS906)、学習処理を終了する。
【0153】
推論部154bは、学習済みモデルを利用して、
図31に示す推論処理を実行する。推論処理は、利用者によって予め設定されたタイミングで実行される。利用者は、推論処理を実行するタイミングとして、例えば、1週間単位又は1か月単位に設定する。
【0154】
推論部154bは、入力パラメータとして実施済み改善策に関するデータを学習済みモデルへ入力する(ステップS1002)。入力パラメータは、操作部11、入力部13などを介して入力されるデータが利用される。
【0155】
推論部154bは、学習済みモデルを利用して、入力パラメータに基づく推論を実行し(ステップS1004)、改善対象領域を示すデータ及び改善優先ポイントを示すデータを出力パラメータとして出力して(ステップS1006)、推論処理を終了する。
【0156】
改善策提示部154は、推論部154bから出力された出力パラメータを改善策データとして取得する。改善策提示部154は、改善策データを取得すると、
図32に示す改善策データ記憶部169に改善策データを記憶させる。
【0157】
改善策データ記憶部169には、改善が必要な順位である優先順位を示す優先順位データ169aと、機種を示す機種データ169bと、被検査品Wの検査対象の面を示す部分データ169cと、改善対象領域を示す改善対象領域データ169dと、が関連付けて記憶される。改善策提示部154は、出力パラメータに含まれる改善対象領域を示すデータを改善対象領域データ169dとして記憶させる。改善策提示部154は、推論部154bが出力した出力パラメータに含まれる改善優先ポイントを示すデータに基づいて優先順位を設定し、その設定したデータを優先順位データ169aとして記憶させる。改善策提示部154は、例えば、改善優先ポイントの値が高い順に優先順位を高く設定する。
【0158】
改善策提示部154は、改善策データを取得すると、取得した改善策データに基づいて、優先順位が付された改善対象領域を改善策として利用者に提示する。
【0159】
改善策提示部154は、例えば、改善策データに基づいて、表計算ソフトといったアプリケーションを利用して、ディスプレイ12に改善策を表示してもよい。改善策データは、新人の教育資料として活用することができる。また、改善策データは、類似の不良が発生した際に参考資料として利用できる。
【0160】
以上説明したように、実施の形態5の外観検査支援装置100によれば、改善策提示部154は、過去に発生した不良に対する手戻り時間、代替品の費用などを含むデータで学習した学習済みモデルを利用して改善策を利用者に提示する。すなわち、改善策提示部154は、過去に発生した不良に対する手戻り時間、代替品の費用などのロスが考慮された改善策を利用者に提示する。利用者は、改善策提示部154が提示した改善策を実施することにより、効率のよい改善活動を実施できる。この結果、不良の発生が低減し、外観検査の作業負担が軽減する。よって、外観検査の効率化を図ることができ、外観検査の高品質化を図ることができる。
【0161】
改善策提示部154は、優先順位を付した改善対象領域を利用者に提示するため、利用者は、効率よく改善活動を実施できる。
【0162】
また、時間の制約により、発生したすべての不良を分析できない工場もあるが、発生した一部の不良に基づいて分析された結果の信頼度は低く、信頼度の低い分析結果に基づく改善策は、実情に即していない可能性がある。実情に即していない改善策は、各工程を担当する作業者が要望する改善策と乖離している場合が多く、作業者の要望と乖離する改善策では効率のよい改善活動が実施できない。しかしながら、外観検査支援装置100によれば、発生したすべての不良に関するデータが収集されて分析されるため、信頼度の高い分析結果を得ることができる。したがって、実情に即した改善策を利用者に提示することができ、効率のよい改善活動を実施することができる。
【0163】
また、不良が発生したタイミングと改善活動の実施タイミングとの間のタイムラグが発生すると、改善活動で実施する改善策が実情に即していない可能性があるが、実施の形態5に係る外観検査支援装置100によれば、不良が発生したタイミングと改善活動の実施タイミングとの間のタイムラグの発生を抑制することができる。これにより、実情に即した改善策を利用者に提示することができ、効率のよい改善活動を実施することができる。
【0164】
[実施の形態5の変形例]
なお、改善策データ記憶部169は、
図33に示すように、利用者によって設定された期間において発生した不良発生件数を示す件数データ169e、過去に発生した不良を改善する際に発生した手戻り時間を示す手戻り時間データ169f、及び過去に発生した不良を改善するために要した代替品の費用を示す代替費用データ169gを更に関連付けて記憶してもよい。手戻り時間データ169fは、手戻り係数に基づいて求められ、代替費用データ169gは、代替係数に基づいて求められる。
【0165】
改善策提示部154は、改善策データ記憶部169に記憶されたデータに基づいて、不良発生件数、手戻り時間、及び代替費用を更に利用者に提示してもよい。これにより、利用者は、手戻り時間、代替費用など発生した不良に関する事項を定量的、かつ客観的に把握することができる。
【0166】
また、改善策提示部154は、優先順位が付された改善対象領域を改善策として利用者に提示したが、優先順位を付さなくてもよい。この場合、学習部154aが学習する教師データは、改善優先ポイントを省略することができる。また、推論部154bは、出力パラメータとして、改善対象領域を示すデータを出力する。
【0167】
また、学習部154aに入力される入力パラメータは、改善困難度を示すデータを更に含んでもよい。改善困難度は、不良の要因(キズ、色むら)と、不良の領域と、に基づいて、3段階、5段階など、利用者によって予め設定される。例えば、被検査品Wの汚れは、汚れの拭き取り作業といった比較的容易な作業で不良が改善されるため、改善困難度として「1」に設定される。また、被検査品Wの打痕は、汚れの拭き取り作業よりも手間を要する打痕箇所の修正作業によって不良が改善されるため、改善困難度が「2」に設定される。また、被検査品Wのキズは、汚れの拭き取り作業及び打痕箇所の修正作業よりも手間を要する部品の交換によって不良が改善されるため、改善困難度が「3」に設定される。学習部154aに入力される入力パラメータとして、改善困難度が更に含まれることにより、より効率的な改善活動を実施することができる。
【0168】
実施の形態5では、学習部154aがニューラルネットワークを学習アルゴリズムとして利用する場合を例に説明したが、学習部154aは、他の公知の方法、例えば、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどを学習アルゴリズムとして利用してもよい。
【0169】
実施の形態5において、学習部154aと推論部154bとが制御装置10に備えられたが、学習部154aと推論部154bとは、制御装置10とは異なる装置に設けられてもよい。改善策提示部154は、制御装置10とは異なる装置に設けられた推論部154bから出力された出力パラメータを改善策データとして取得する。
【0170】
また、改善策データ記憶部169は、複数の部門間で共有可能な装置に記憶されてもよい。例えば、工場の各工程の作業において、作業品の持ち方を工夫することにより、コンベア、作業台などといった工場の設備と作業品との衝突が抑制され、不良の発生が低減できることが多い。したがって、複数の部門で共有可能な形態で改善策データ記憶部169が記憶されることにより、有効な改善策が工場全体に展開され、改善活動を効率よく実施することができる。
【0171】
また、改善策提示部154は、同一機種だけでなく類似の機種の実施済み改善策に関するデータを利用してもよい。すなわち、改善策提示部154は、学習データとして類似機種の実施済み改善策に関するデータを利用することもできる。
【0172】
なお、本開示は、上述した実施の態様の例に限定されることなく、適宜の変更を加えることにより、その他の態様で実施できる。
【0173】
例えば、実施の形態1~5は、適宜組み合わせ可能である。詳しくは、被検査品Wに表示される注意喚起画像GCは、実施の形態2で説明した重みと、実施の形態3を参照して説明した外観検査を担当する作業者Pの習熟度とに応じて変化してもよい。例えば、注意喚起画像GCは、外観検査を担当する作業者Pの習熟度が低い「1」である場合、すべての重み「1」-「3」が設定された特定領域R1を指し示す画像を含み、外観検査を担当する作業者Pの習熟度が高い「3」である場合、重みの高い「3」が設定された特定領域R1を指し示す画像を含んでもよい。
【0174】
本開示では、不良の傾向として、不良領域の傾向が分析されたが、外観検査支援装置100が分析する傾向は、不良領域に限定されず、キズ、色むらといった不良の要因であってもよい。また、不良領域の傾向として、不良が発生する傾向が高い領域が特定されたが、不良が発生する傾向の低い領域が特定されてもよい。
【0175】
本開示では、不良箇所データが不良品画像GDのデータであったが、不良箇所データは、不良品Dの不良箇所に関するデータであればよく、不良品画像GDのデータに限定されない。不良箇所データは、例えば、テキストデータ、音声データなどであってもよい。
【0176】
本開示では、注意喚起画像GCがプロジェクタ2によって被検査品W上に投影されたが、作業者Pが被検査品W上の領域を識別できればよく、注意喚起画像GCは、例えば、外観検査場SVに設置されたモニタに表示されてもよい。
【0177】
本開示では、不良が発生する傾向の高い領域を示す情報として、特定領域R1を指し示す注意喚起画像GCを示すデータが出力されたが、不良が発生する傾向の高い領域情報は、注意喚起画像GCを示すデータに限定されず、特定領域R1を説明する音声データであってもよい。
【0178】
また、特定領域R1を指し示す画像GC1、GC2は、作業者Pが特定領域R1を認識できる画像であればよく、その形状は、任意であって円形に限定されない。特定領域R1を指し示す画像GC1、GC2は、四角形、楕円形、矢印などであってもよい。あるいは、被検査品Wの外観色とは異なる色のソリッド画像であってもよい。あるいは、「SECTION9」、「SECTION9に注意」などのテキストの画像であってもよい。
【0179】
本開示では、データ記憶部16は、制御装置10の補助記憶装置16bに記憶されたが、データ記憶部16は、制御装置10とは異なる装置、例えば、社内の共有サーバ、クラウドサーバなどの装置の記憶領域に記憶されてもよい。
【0180】
本開示では、製品PRが電化製品であったが、製品PRは、電化製品に限らず、外観検査を必要とする製品であり得る。
【符号の説明】
【0181】
1…カメラ、2…プロジェクタ、10…制御装置、11…操作部、12…ディスプレイ、13…入力部、14…出力部、15…プロセッサ、16…データ記憶部、16a…主記憶装置、16b…補助記憶装置、100…外観検査支援装置、151…入力処理部、152…分析部、153…出力処理部、154…改善策提示部、154a…学習部、154b…推論部、160…画像データ記憶部、161…生産スケジュール記憶部、161a…機種データ、161b…生産スケジュールデータ、161c…生産開始日時データ、161d…生産終了日時データ、162…機器マスタ記憶部、162a…機器名データ、162b…機器識別名データ、162c…設置場所データ、162d…検査内容データ、163…良品画像関連データ記憶部、163a…良品画像識別名データ、163b…機種データ、163c…撮影部分データ、164…不良品画像関連データ記憶部、164a…不良品画像識別名データ、164b…機種データ、164c…撮影部分データ、164d…発見日時データ、164e…不良領域データ、164f…作業者データ、164g…時間帯データ、165…出力準備データ記憶部、165a…機種データ、165b…撮影部分データ、165c…特定領域データ、165d…重みデータ、165e…習熟度データ、165f…時間帯データ、166…担当スケジュール記憶部、166a…担当者データ、166b…担当スケジュールデータ、166c…担当開始日時データ、166d…担当終了日時データ、166e…検査内容データ、167…作業者マスタ記憶部、167a…作業者データ、167b…習熟度データ、168…学習済みモデル記憶部、169…改善策データ記憶部、169a…優先順位データ、169b…機種データ、169c…部分データ、169d…改善対象領域データ、169e…件数データ、169f…手戻り時間データ、169g…代替費用データ、D…不良品、GC…注意喚起画像、GD…不良品画像、GR…良品画像、P…作業者、PR…製品、R1…特定領域、SC…区画、SD…不良品置場、SV…外観検査場、T1…第1不良閾値、T2…第2不良閾値、W…被検査品。