(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-11
(45)【発行日】2022-01-24
(54)【発明の名称】良否判定システム、サーバ及び良否判定方法
(51)【国際特許分類】
G06Q 50/04 20120101AFI20220117BHJP
G06N 20/00 20190101ALI20220117BHJP
【FI】
G06Q50/04
G06N20/00 130
(21)【出願番号】P 2019172373
(22)【出願日】2019-09-22
【審査請求日】2020-06-19
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】519146053
【氏名又は名称】株式会社リョーワ
(74)【代理人】
【識別番号】100163267
【氏名又は名称】今中 崇之
(72)【発明者】
【氏名】田中 裕弓
(72)【発明者】
【氏名】津田 貴史
【審査官】貝塚 涼
(56)【参考文献】
【文献】特開2018-152063(JP,A)
【文献】特開2008-147443(JP,A)
【文献】特開2019-91249(JP,A)
【文献】特開平8-114556(JP,A)
【文献】特開2019-101807(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
ユーザに対し
輸送機械の部品の良否を判定する良否判定サービスを提供するサービス提供会社によって管理されるサーバと、
前記ユーザによって管理され、前記サーバにインターネットを介して接続された制御装置と、
前記ユーザによって管理され、前記
輸送機械の部品を製造する製造設備に設けられ、前記制御装置によって制御され、該
輸送機械の部品を撮像する撮像部と、を備えた良否判定システムであって、
前記サーバが、予め撮像された
輸送機械の部品の画像をフィルタ処理し、該
輸送機械の部品の良否を判定する機械学習モデルを構築するための教示データを作成する前処理部と、
クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが前記教示データに基づいて構築した該機械学習モデルの精度を検証する検証部と、
前記撮像部の稼働状態に関する稼働情報を管理する管理部と、を有し、
前記制御装置が、前記機械学習モデルを
セキュア通信によりダウンロードする機械学習モデル受信部と、
前記撮像部の稼働状態に関する稼働情報を前記管理部に送信する送信部と、を有し、
前記撮像部が、出荷前の検査工程にて、前記
輸送機械の部品の画像を撮像するカメラ部と、
前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、
GPUによって少なくとも構成され、前記記憶部に記憶された前記機械学習モデルに基づいて、前記
輸送機械の部品の良否を判定する判定部と、を有
し、
前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報である良否判定システム。
【請求項2】
請求項
1記載の良否判定システムにおいて、
前記制御装置が、前記製造設備を制御するコントローラの上位コントローラである良否判定システム。
【請求項3】
請求項1
又は2記載の良否判定システムが備えるサーバ。
【請求項4】
請求項1
又は2記載の良否判定システムによる
輸送機械の部品の良否判定方法であって、
前記前処理部が、予め撮像された前記
輸送機械の部品の画像を
フィルタ処理し、前記教示データを作成する第1のステップと、
前記検証部が、前記機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルを検証する第2のステップと、
前記機械学習モデル受信部が、前記機械学習モデルを
前記セキュア通信によりダウンロードする第3のステップと、
前記記憶部が、ダウンロードされた前記機械学習モデルを記憶する第4のステップと、
出荷前の検査工程にて、前記カメラ部が、前記
輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記
輸送機械の部品の良否を判定する第5のステップと、
前記送信部が、前記
時間の情報を前記管理部に送信する第6のステップと、を含み、
前記第2のステップにて検証された前記機械学習モデルの精度が悪い場合に、前記
輸送機械の部品の画像を異なる方法で
フィルタ処理することにより前記第1のステップが実行される良否判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、良否判定システム、サーバ及び良否判定方法に関する。
【背景技術】
【0002】
特許文献1には、人工知能による機械学習を利用したサービスを提供するサービス提供システムが記載されている。このサービス提供システムは、人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、ユーザから送られてくる情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、ユーザが簡単に導入できる、検査対象の良否を判定する良否判定システム、サーバ及び良否判定方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
請求項1に記載の発明は、ユーザに対し輸送機械の部品の良否を判定する良否判定サービスを提供するサービス提供会社によって管理されるサーバと、前記ユーザによって管理され、前記サーバにインターネットを介して接続された制御装置と、前記ユーザによって管理され、前記輸送機械の部品を製造する製造設備に設けられ、前記制御装置によって制御され、該輸送機械の部品を撮像する撮像部と、を備えた良否判定システムであって、前記サーバが、予め撮像された輸送機械の部品の画像をフィルタ処理し、該輸送機械の部品の良否を判定する機械学習モデルを構築するための教示データを作成する前処理部と、クラウドコンピューティングサービスとして提供され前記機械学習モデルを構築する機械学習モデル構築サービスが前記教示データに基づいて構築した該機械学習モデルの精度を検証する検証部と、前記撮像部の稼働状態に関する稼働情報を管理する管理部と、を有し、
前記制御装置が、前記機械学習モデルをセキュア通信によりダウンロードする機械学習モデル受信部と、前記撮像部の稼働状態に関する稼働情報を前記管理部に送信する送信部と、を有し、前記撮像部が、出荷前の検査工程にて、前記輸送機械の部品の画像を撮像するカメラ部と、前記機械学習モデル受信部がダウンロードした前記機械学習モデルを記憶する記憶部と、GPUによって少なくとも構成され、前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する判定部と、を有し、前記稼働情報が、前記撮像部が前記画像の撮像を開始してから終了するまでの時間の情報である良否判定システムである。
【0006】
請求項2に記載の発明は、請求項1記載の良否判定システムにおいて、前記制御装置が、前記製造設備を制御するコントローラの上位コントローラである。
【0007】
請求項3に記載の発明は、請求項1又は2記載の良否判定システムが備えるサーバである。
【0008】
請求項4に記載の発明は、請求項1又は2記載の良否判定システムによる輸送機械の部品の良否判定方法であって、前記前処理部が、予め撮像された前記輸送機械の部品の画像をフィルタ処理し、前記教示データを作成する第1のステップと、前記検証部が、前記機械学習モデル構築サービスが前記教示データに基づいて構築した前記機械学習モデルを検証する第2のステップと、前記機械学習モデル受信部が、前記機械学習モデルを前記セキュア通信によりダウンロードする第3のステップと、前記記憶部が、ダウンロードされた前記機械学習モデルを記憶する第4のステップと、出荷前の検査工程にて、前記カメラ部が、前記輸送機械の部品の画像を撮像し、前記判定部が、前記カメラ部が撮像した前記画像及び前記記憶部に記憶された前記機械学習モデルに基づいて、前記輸送機械の部品の良否を判定する第5のステップと、前記送信部が、前記時間の情報を前記管理部に送信する第6のステップと、を含み、前記第2のステップにて検証された前記機械学習モデルの精度が悪い場合に、前記輸送機械の部品の画像を異なる方法でフィルタ処理することにより前記第1のステップが実行される良否判定方法である。
【発明の効果】
【0009】
本発明によれば、ユーザが簡単に導入できる、検査対象の良否を判定する良否判定システム、サーバ及び良否判定方法を提供できる。
【図面の簡単な説明】
【0010】
【
図1】本発明の一実施の形態に係る良否判定システムの構成図である。
【
図2】同良否判定システムが備えるパソコンの説明図である。
【
図3】同良否判定システムが備えるサーバの説明図である。
【
図4】同良否判定システムが備えるパソコンの説明図である。
【
図5】同良否判定システムが備える撮像部の説明図である。
【
図6】同良否判定システムの動作を示すフロー図である。
【発明を実施するための形態】
【0011】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。
【0012】
本発明の一実施の形態に係る良否判定システム10(
図1参照)は、機械学習により、ユーザの製造設備12にて製造された検査対象14の外観の良否を判定することができる。この外観の良否は、欠陥の有無により判定される。検査対象14は、例えば、自動車や航空機等の輸送機械の部品及び食品である。
この良否判定システム10による良否判定サービスは、サービス提供会社によって、製造設備12を保有するユーザに対して提供される。
【0013】
良否判定システム10は、
図1に示すように、パソコン20、サーバ30、パソコン40、PLC(Programmable Logic Controller)50及び撮像部60を備えている。
パソコン20、サーバ30、及びパソコン40はインターネットNを介して互いに接続されている。
【0014】
パソコン20は、製造設備12を保有するユーザ又はサービス提供会社によって管理され、
図2に示すように、教示データ作成部202を有している。
教示データ作成部(教示データ作成手段の一例)202は、機械学習モデルを構築するための検査対象14の教示データを作成できる。
なお、パソコン20は、パソコン20にて実行されるプログラムによって、教示データ作成手段として機能する。パソコン20は、スマートフォン等の携帯端末であってもよい。
【0015】
サーバ30は、サービス提供会社によって管理され、
図3に示すように、前処理部302、送信部304、検証部306及び管理部308を有している。
前処理部(前処理手段の一例)302は、教示データ作成部202が作成した教示データを前処理し、前処理後の教示データを作成する。この前処理は、精度が高い機械学習モデルを構築するために必要な処理であり、例えば画像データに対する最適なフィルタ処理である。
送信部(送信手段の一例)304は、ユーザの操作により生成された前処理後の教示データを機械学習モデル構築サービス80(
図1参照)にアップロードできる。
【0016】
ここで、機械学習モデル構築サービス80は、クラウドコンピューティングサービスとして提供され、アップロードされた教示データに基づいて、機械学習モデルを構築できる。この機械学習モデル構築サービス80は、例えば、Google Cloud Platform(GCP)にて提供されるCloud AutoML Visionである。
【0017】
検証部(検証手段の一例)306(
図3参照)は、機械学習モデル構築サービス80が構築した学習済みの機械学習モデルの良否を検証できる。
管理部(管理手段の一例)308は、良否判定システム10の状態を管理できる。詳細には、管理部308は、撮像部60(
図1参照)の稼働状態に関する稼働情報を記録できる。この稼働情報については後述する。
【0018】
なお、サーバ30は、サーバ30にて実行されるプログラムによって、前処理手段、送信手段、検証手段、及び管理手段として機能する。
【0019】
パソコン(制御装置の一例)40は、PLC50の上位コントローラであり、ユーザによって管理される。
パソコン40は、
図4に示すように、機械学習モデル受信部402、制御部404、第1の送信部406及び第2の送信部408を有している。
【0020】
機械学習モデル受信部(受信手段の一例)402は、機械学習モデル構築サービス80が構築した機械学習モデルをダウンロードできる。その際、機械学習モデルのダウンロードは、セキュア通信によりなされる。
制御部(制御手段の一例)404は、PLC50及び撮像部60を制御できる。
第1の送信部(第1の送信手段の一例)406は、ダウンロードした機械学習モデルを撮像部60に送信できる。
第2の送信部(第2の送信手段の一例)408は、撮像部60の稼働状態に関する稼働情報をサーバ30の管理部308に送信できる。この稼働情報は、例えば、撮像部60が画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、撮像部60が撮像した画像の枚数の情報であってもよい。
【0021】
なお、パソコン40は、パソコン40にて実行されるプログラムによって、受信手段、制御手段、第1の送信手段及び第2の送信手段として機能する。
また、1台のパソコン40が機械学習モデル受信部402、制御部404、第1の送信部406及び第2の送信部408を全て有していることに限定されるものではなく、各部が互いに接続された複数のパソコンに分かれて存在していてもよい。
【0022】
PLC50は、ユーザによって管理され、
図1に示すように、検査対象14を製造する製造設備12を制御するコントローラである。
【0023】
撮像部60は、ユーザによって管理され、製造設備12に設置される。撮像部60は、製造設備12によって製造された出荷前の検査対象14の画像を撮像できる。
撮像部60は、
図5に示すように、カメラ部602、記憶部604及び判定部606を有している。
【0024】
カメラ部602は、検査対象14の画像を撮像し、撮像した画像データを取得できる。
記憶部604は、パソコン40の第1の送信部406から送信された機械学習モデルを記憶できる。
判定部606は、カメラ部602が撮像した検査対象14の画像データ及び記憶部604に記憶された機械学習モデルに基づいて、検査対象14の欠陥の有無、すなわち、検査対象14の良否を判定できる。判定部606は、機械学習モデルによる演算処理を高速に行うことができ、例えば、GPU(Graphics Processing Unit)により少なくとも構成されている。
【0025】
次に、良否判定システム10の動作(検査対象14の良否判定方法)について説明する。良否判定システム10は、以下のステップS1~S7に従って動作する。ただし、可能な場合には、各ステップS1~S7は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
【0026】
(ステップS1)
パソコン20(
図1参照)の教示データ作成部202(
図2参照)が、撮像部60が撮像した検査対象14の画像データに基づいて、教示データとなる検査対象14の画像データを複数作成する。
教示データは、規定の欠陥を含む検査対象14の複数の画像データ及び規定の欠陥を含まない検査対象14の複数の画像データ群である。なお、欠陥の種類には、例えば、傷、ボイド、汚れ、及び異物混入等があり、検査対象とすべき欠陥は、検査対象14によって異なる。
作成された複数の検査対象14の画像は、図示しない記憶手段に記憶され、サーバ30に送信される。
教示データは、教示データ作成部202が作成することに代えて、予め準備された検査対象14の画像データに基づいて手作業により作成されてもよい。
【0027】
(ステップS2)
サーバ30の前処理部302(
図3参照)が、パソコン20が生成した検査対象14の画像を前処理し、前処理後の教示データを作成する。
その後、ユーザの操作により、送信部304が、前処理後の教示データを機械学習モデル構築サービス80にアップロードする。
ノウハウが必要な教示データの前処理をユーザではなくサービス提供業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム10を導入できる。
(ステップS3)
【0028】
機械学習モデル構築サービス80によって機械学習モデルが構築される。
構築された学習済みの機械学習モデルは、サーバ30の検証部306によってモデルの精度が検証される。
なお、精度が悪い場合には、前ステップS2に戻り、前処理部302は、検査対象14の画像を異なる方法で前処理する。
(ステップS4)
【0029】
ユーザの操作により、パソコン40の機械学習モデル受信部402(
図4参照)が、機械学習モデル構築サービス80によって構築された学習済みの機械学習モデルをダウンロードする。
(ステップS5)
【0030】
撮像部60の記憶部604(
図5参照)が、機械学習モデル受信部402によってダウンロードされた機械学習モデルを記憶する。
(ステップS6)
【0031】
パソコン40の制御部404(
図4参照)がPLC50及び撮像部60を制御し、製造設備12(
図1参照)にて製造された検査対象14の良否を判定する。
詳細には、出荷前の検査工程にて、撮像部60のカメラ部602(
図5参照)が検査対象14の画像を撮像し、判定部606が、撮像された画像及び記憶部604に記憶された機械学習モデルに基づいて、検査対象14に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
(ステップS7)
【0032】
パソコン40の制御部404(
図4参照)が、撮像部60の稼働状態に関する稼働情報をサーバ30に送信する。送信された稼働情報はサーバ30の記憶部(不図示)に記憶され、良否判定システム10の稼働状態がサーバ30の管理部308にて一元的に管理される。
【0033】
このように、本実施の形態に係る良否判定システム10は、機械学習モデルがクラウド上ではなく撮像部60の記憶部604(
図5参照)に記憶されるので、パソコン40がインターネットNに接続されていなかったり、所定の通信速度が得られなかったりするような通信速度が制限された状態であっても、検査対象14の外観の良否を判定できる。
なお、良否判定システム10は、撮像部60の種類によっては、検査対象14の外観ではなく、内部の状態の良否を判定することも可能である。
【0034】
以上、本発明の実施の形態を説明したが、本発明は、前述の形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
【符号の説明】
【0035】
10 良否判定システム
12 製造設備
14 検査対象
20 パソコン
30 サーバ
40 パソコン
60 撮像部
80 機械学習モデル構築サービス
202 教示データ作成部
302 前処理部
304 送信部
306 検証部
308 管理部
402 機械学習モデル受信部
404 制御部
406 第1の送信部
408 第2の送信部
602 カメラ部
604 記憶部
606 判定部
N インターネット