特許 7111444 判断部及び工程判断装置及び工程判断方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-25

(45)【発行日】2022-08-02

(54)【発明の名称】判断部及び工程判断装置及び工程判断方法

(51)【国際特許分類】

   G05B 19/418 20060101AFI20220726BHJP

   G06T 7/20 20170101ALI20220726BHJP

   G06T 7/254 20170101ALI20220726BHJP

   G16Y 10/00 20200101ALI20220726BHJP

【ＦＩ】

G05B19/418 Z ZIT

G06T7/20

G06T7/254 A

G16Y10/00

【請求項の数】 5

(21)【出願番号】P 2016137030

(22)【出願日】2016-07-11

(65)【公開番号】P2018010368

(43)【公開日】2018-01-18

【審査請求日】2019-04-17

【審判番号】

【審判請求日】2021-03-01

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100127111

【弁理士】

【氏名又は名称】工藤 修一

(72)【発明者】

【氏名】小元 翔太郎

【合議体】

【審判長】見目 省二

【審判官】田々井 正吾

【審判官】大山 健

(56)【参考文献】

【文献】特開２００６－２６０４４３（ＪＰ，Ａ）

【文献】特開２０１４－０７１４８２（ＪＰ，Ａ）

【文献】特開２０１４－２２０７７２（ＪＰ，Ａ）

【文献】特開２００９－２３７６４８（ＪＰ，Ａ）

【文献】特開２０１３－０７８４６０（ＪＰ，Ａ）

【文献】特開平１０－０７９０３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G05B 19/00 - 19/46

G06T 7/00 - 7/90

G16Y 10/00

(57)【特許請求の範囲】

【請求項1】

作動部での複数の工程における対象物の一連の動作を撮影する、前記作動部に対して固定された撮像装置によって撮影された、所定時間毎に抽出された連続する複数の画像に基づいて、前記複数の工程が正常であるか否かを判断する判断部であって、
前記複数の画像を含む画像データを記憶する記憶部と、基準画像を登録する登録部とを有し、前記複数の画像のそれぞれに前記対象物が撮影されたトリガ領域を設定し、前記複数の画像の差分に基づき前記対象物が前記作動部に対して停止していると判断されるまで前記画像を監視し、前記対象物が停止していると判断された場合に前記対象物が停止した位置に基づいて、前記トリガ領域から停止している前記対象物の特定画像を抽出してこれを前記基準画像として前記登録部に登録し、
前記記憶部に記憶された前記画像データから前記工程の判断を行う複数の取得画像を取得し、前記複数の取得画像の差分に基づいて判定画像を設定し、前記登録部に登録されている前記基準画像と前記判定画像とを比較して、前記工程が正常であるか否かを判断する判断部。

【請求項2】

請求項１記載の判断部において、
前記複数の取得画像をそれぞれ２値化して前記差分を求めることを特徴とする判断部。

【請求項3】

請求項２記載の判断部において、
前記差分は所定の閾値により判断されることを特徴とする判断部。

【請求項4】

複数の工程における対象物を撮影する撮像装置と、請求項１ないし３の何れか一つに記載の判断部とを有することを特徴とする工程判断装置。

【請求項5】

作動順序に従い対象物に対して複数の工程を実行する作動部の一連の動作を撮影し、撮影された前記作動部の所定時間毎に抽出された連続する複数の動作画像に基づいて前記複数の工程が正常に行われているか否かを判断する工程判断方法であって、
判断する前記工程において前記動作画像の差分に基づき前記対象物が停止していると判断されるまで前記動作画像を監視し当該対象物の停止箇所を前記動作画像より抽出する第１工程と、抽出した前記停止箇所における前記対象物の特定画像を抽出してこれを基準画像として記憶する第２工程と、前記基準画像と判断する工程において取得した取得画像とを比較して前記工程が正常に行われているか否かを判断する第３工程とからなる工程判断方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、判断部及び工程判断装置及び工程判断方法に関する。

【背景技術】

【0002】

近年の製造業では、ロボット等の機械による生産工程の自動化が進み、作業者が介在しない場所での工程異常を如何に素早く捉えて設備稼働率の向上に繋げることができるかが課題となっている。そこで、カメラの画像を用いて生産設備やワークの位置や姿勢を捉え、正常状態時の画像と比較及び差分値計算を行うことにより工程が正常であるか異常が発生していないかを判別する技術が知られている。
この技術では、カメラで撮影した映像の中で、どのタイミングで正常状態時や判定に用いる画像を静止画像として切り取るかという問題があり、一定時間間隔で判定する手段やワークが所定位置で停止したタイミング信号を生産設備側から受け取る手段等がある。

【0003】

一定時間間隔で判定する手段では、多品種少量生産においては一つの生産設備が多品種の生産に対応している場合が多く、生産設備のタクトタイムが必ずしも一定ではないため品種毎の設定の手間が大きいという問題点がある。
また、ワークが所定位置で停止したタイミング信号を生産設備側から受け取る手段では、カメラ画像の遅延等によるタイミングのずれが少しでもあると、ワークが停止する前後のぶれた画像を捉えてしまう可能性があり、正常な判定を行うことができないという問題点がある。
このような問題点を解決すべく、予め決められた時間間隔毎に装置可動部のサンプリング画像を撮影し、装置に貼付されたマーカの位置と正常状態時でのマーカ位置との距離を差分計算により算出し、閾値との比較により正常か異常かを判断する技術が提案されている（例えば「特許文献１」参照）。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし「特許文献１」に記載された技術では、多品種少量生産において用いられているようなタクトタイムが一定ではない生産設備では、画像判定のタイミングの設定において多くの時間を要すると共に難易度が高いという問題点がある。これは、実際にワーク搬送を行うロボット側と画像判定を行うカメラ側との間で判定トリガ信号のやりとりを行う必要がある場合には、カメラの種類によっては画像取得の遅延の影響や信号線の配線状態の影響等により、判定に用いるべき画像を正しく取得できない場合があるためである。
本発明は、上述した問題点を解決し、判定に用いられる撮影画像の中で最適な判定タイミングを取得することにより、確実な判定を行うことが可能な判断部及び工程判断装置及び工程判断方法の提供を目的とする。

【課題を解決するための手段】

【0005】

本発明は、作動部での複数の工程における対象物の一連の動作を撮影する、前記作動部に対して固定された撮像装置によって撮影された、所定時間毎に抽出された連続する複数の画像に基づいて、前記複数の工程が正常であるか否かを判断する判断部であって、前記複数の画像を含む画像データを記憶する記憶部と、基準画像を登録する登録部とを有し、前記複数の画像のそれぞれに前記対象物が撮影されたトリガ領域を設定し、前記複数の画像の差分に基づき前記対象物が前記作動部に対して停止していると判断されるまで前記画像を監視し、前記対象物が停止していると判断された場合に前記対象物が停止した位置に基づいて、前記トリガ領域から停止している前記対象物の特定画像を抽出してこれを前記基準画像として前記登録部に登録し、前記記憶部に記憶された前記画像データから前記工程の判断を行う複数の取得画像を取得し、前記複数の取得画像の差分に基づいて判定画像を設定し、前記登録部に登録されている前記基準画像と前記判定画像とを比較して、前記工程が正常であるか否かを判断することを特徴とする。

【発明の効果】

【0006】

本発明によれば、判定トリガであるトリガ領域の設定も工程が正常であるか否かの判定も撮像装置によって撮影した画像の中だけで行うため、撮像装置側と作動部側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施形態を適用した工程判断装置の概略図である。

【図2】本発明の一実施形態に用いられる判断部の制御ブロック図である。

【図3】本発明の一実施形態に用いられる撮像装置が配置される作業工程の概略図である。

【図4】本発明の一実施形態に用いられる正常画像登録処理動作を説明するフローチャートである。

【図5】本発明の一実施形態におけるトリガ領域設定を説明する概略図である。

【図6】本発明の一実施形態におけるトリガ領域設定を説明する概略図である。

【図7】本発明の一実施形態における判定領域設定を説明する概略図である。

【図8】本発明の一実施形態における工程判断動作を説明するフローチャートである。

【図9】本発明の一実施形態における正常異常判定を説明するフローチャートである。

【図10】本発明の一実施形態における工程判断結果の一例を示す概略図である。

【発明を実施するための形態】

【0008】

図１は、本発明の一実施形態を適用した工程判断装置を示している。同図において工程判断装置１は、カメラである複数の撮像装置２ａ，２ｂ，２ｃ，２ｄ，２ｅと判断部としてのパーソナルコンピュータ３（以下、判断部３という）とを有しており、各撮像装置２と判断部３とはネットワーク４を介して接続されている。
各撮像装置２は後述する作動部５の工程毎にそれぞれ設けられており、一つの工程に複数設けられる場合もある。判断部３にはＨＤＤ等の外部機器が接続されており、各撮像装置２で撮影した画像データや各設定データ等が外部機器に記憶される。ネットワーク４は情報伝達経路であり、ＵＳＢやＬＡＮケーブル等が含まれる。

【0009】

図２は判断部３の制御ブロック図を示している。判断部３は、各撮像装置２から画像を取得する映像受信部３ａ、各種設定時の操作を入力する入力部３ｂ、各種情報を設定する設定部３ｃ、画像データや各種設定情報を記憶する記憶部３ｄを有している。
また判断部３は、取得画像または動画ファイルの映像を再生する再生部３ｅ、画像データ内の特定領域を指定する指定部３ｆ、特定領域の座標値と該領域内の基準画像を登録する登録部３ｇ、２枚の画像の差分を計算する差分計算部３ｈを有している。
さらに判断部３は、記憶されている基準画像と取得した取得画像との差分から正常か異常かを判定する判定部３ｉ、判定部３ｉによる判定結果データを出力するデータ出力部３ｊ、表示動作を制御する表示制御部３ｋ、各種データを表示する表示部３ｌを有している。

【0010】

図３は、本発明の工程判断装置１を構成する撮像装置２が配置される作業工程の概略図を示している。同図においてロボットである作動部５は吸着部５ａを有しており、吸着部５ａの先端に対象物としてのワーク６を吸着保持している。
本実施形態において、例えば作動部５は折り畳みロボット、ワーク６は紙製の箱であり、工程判断装置１は所定のワーク６が所定の位置に正しく配置されたか否かを判断している。撮像装置２は、本工程における作動部５及びワーク６の作動及び移動を連続的に撮影する。

【0011】

図４は、工程判断装置１における基準画像の記憶動作、すなわち正常画像登録処理の動作フローチャートを示している。以下、このフローチャートに基づいて工程判断装置１の正常画像登録処理について説明する。
先ず、工程判断装置１に動作指令が送られて正常画像登録処理が行われる信号が入力されると、撮像装置２を固定して作動している作動部５の一連の動作を撮影する。撮像装置２による撮影後、判断部３は記憶部３ｄから撮像装置２によって撮影され記憶された画像データを読み出し（ＳＴ０１）、基準画像の判定タイミングを見つけるための差分処理を行う画像領域をトリガ領域として設定する（ＳＴ０２）。

【0012】

図５（ａ）に示すように、連続した画像データから所定時間毎の２枚の画像を抽出し、各画像すなわちワーク６が停止しているか否かを判定する。本実施形態における判定は、図５（ｂ）に示すように、各画像をそれぞれ２値化画像として各画像の位置を判定している。
この判定において、図５（ｂ）に示すように各画像が差分あり、すなわち移動していると判定された場合には、図６に示すように連続的に画像を抽出して、監視対象であるワーク６が止まるまで監視を続け、ワーク６が止まった位置に基づいてトリガ領域を設定する。なお、本実施形態では停止した場合の判断として２つの２値化画像が完全に黒色を呈した場合を示したが、完全に黒色を呈する場合は少ないため、黒色が閾値以上（例えば面積比で所定の数値α以上）となった場合に停止と判断する。

【0013】

ワーク６が停止してトリガ領域が設定されると、次に停止箇所におけるワーク６が正常であるか否かを判断するための差分処理を行う画像領域を判定領域として設定する（ＳＴ０３）。判定領域は、図７（ａ）に示すように、ワーク６の特定画像である特徴的な部位、例えばロゴマークを取り出して設定する。そして、このロゴマークと対応するワーク６の部位を判定領域として設定し、この判定領域を基準画像６ａとして切り出して登録部３ｇに登録する（ＳＴ０４）。なお、本実施形態では設定した基準画像６ａと判断する工程において取得した取得画像とを比較するが、両者が完全に一致しなくともある程度の一致率で一致した場合（例えば面積一致率で所定の数値β以上）に一致と判断する。

【0014】

基準画像６ａが登録された後にパラメータが設定される（ＳＴ０５）。このパラメータは各差分計算値の閾値であり、上述したステップＳＴ０２におけるトリガ領域設定の閾値α及びステップＳＴ０４における一致率の閾値βである。本実施形態では、例えばαを９８％、βを９５％に設定する。この一連の設定動作により、正常画像登録処理動作が完了する。

【0015】

次に、工程判断装置１における工程判断動作を図８に示すフローチャートに基づいて説明する。この工程判断動作は、図４に示した正常画像登録処理動作の完了後に行われる。
工程判断装置１に工程判断動作指令が入力されると、判断部３は記憶部３ｄから撮像装置２によって撮影され記憶された画像データを読み出して、工程判断を行う画像、すなわち取得画像を取得する（ＳＴ１１）。

【0016】

次に判断部３は、取得画像の判定タイミングを見つけるための差分処理を行う画像領域をトリガ領域として設定し（ＳＴ１２）、上述した判定領域が大まかに所定の位置に位置しているか否かが判断される（ＳＴ１３）。次に、上述と同様に取得した判定領域と一つ前の画像との差分が２値化された後に計算され（ＳＴ１４）、同一面積比が閾値であるαを超えたか否かが判断される（ＳＴ１５）。
ステップＳＴ１５において同一面積比が閾値α以下である場合にはステップＳＴ１１に戻って取得画像の取得が再度行われ、同一面積比が閾値αを超える場合にはこの取得画像を判定画像に採用して（ＳＴ１６）、以下に工程が正常であるか否かの判定が行われる（ＳＴ１７）。

【0017】

ステップＳＴ１７における正常異常判定の動作を図９に示すフローチャートに基づいて説明する。判定が開始されると、判断部３は登録部３ｇから登録されている基準画像（図７（ａ）に符号６ｂ，６ｃ，６ｄ，６ｅで示す）を読み出し、これを図８において取得した取得画像と比較して差分を計算する（ＳＴ２１）。計算した差分（ＳＴ２２）が閾値β未満すなわち面積一致率が閾値βを超えた場合には、工程が正常であると判断してこの旨を表示部３ｌに表示（ＳＴ２３）して判定動作を終了する。計算した差分（ＳＴ２２）が閾値βを超えるすなわち面積一致率が閾値β未満の場合には、工程が異常であると判断してこの旨を表示部３ｌに表示（ＳＴ２４）して判定動作を終了する。
図１０は、工程判断装置１による工程判断動作の出力結果の一例を示している。この例では、撮像装置２の番号、工程判断結果、正常画像番号を示しているが、出力結果はこれに限られず、また結果は表示部３ｌに表示しても印刷出力してもよい。

【0018】

上述したように本発明によれば、判断する工程においてワーク６が停止している停止箇所を動作画像より抽出した後に停止箇所におけるワーク６の特定画像を抽出してこれを基準画像６ａとして記憶し、判断部３は記憶した基準画像６ａと判断する工程において取得した取得画像とを比較して、判断する工程が正常に行われているか否かを判断している。この構成により、判定トリガであるトリガ領域の設定も工程が正常であるか否かの判定も撮像装置２によって撮影した画像の中だけで行うため、撮像装置２側と作動部５側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

【0019】

また、トリガ領域を、ワーク６が完全に停止した停止箇所において取得しているので、撮像装置２による撮影タイミングのずれや撮影角度のずれといった原因による不具合の発生を防止することができ、正確な工程判断を行うことができる。
また、工程判断装置１による工程判断方法によれば、撮像装置２側と作動部５側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

【0020】

以上、本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定しない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を例示したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

【符号の説明】

【0021】

１ 工程判断装置
２ 撮像装置
３ 判断部（パーソナルコンピュータ）
５ 作動部
６ 対象物（ワーク）
６ａ 基準画像（判定領域）

【先行技術文献】

【特許文献】

【0022】

【文献】特許第４３４９２９８号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】