特許第6703691号(P6703691)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コマツ産機株式会社の特許一覧 ▶ 株式会社小松製作所の特許一覧 ▶ 国立大学法人金沢大学の特許一覧

特許6703691コントローラ、鍛圧機械、および制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6703691
(24)【登録日】2020年5月13日
(45)【発行日】2020年6月3日
(54)【発明の名称】コントローラ、鍛圧機械、および制御方法
(51)【国際特許分類】
   B30B 15/00 20060101AFI20200525BHJP
   G05B 19/18 20060101ALI20200525BHJP
   G06T 7/00 20170101ALI20200525BHJP
   G06T 7/254 20170101ALI20200525BHJP
【FI】
   B30B15/00 C
   G05B19/18 X
   G06T7/00 300F
   G06T7/254 B
【請求項の数】15
【全頁数】27
(21)【出願番号】特願2016-111098(P2016-111098)
(22)【出願日】2016年6月2日
(65)【公開番号】特開2017-213594(P2017-213594A)
(43)【公開日】2017年12月7日
【審査請求日】2019年5月29日
【新規性喪失の例外の表示】特許法第30条第2項適用 平成27年12月4日 The Robotics & Mechatronics Division of the Japan Society of Mechanical Engineers が The 6th International Conference on Advanced Mechatronics 2015(ICAM2015)のウェブサイト 「http://www.jubi−party.jp/icam2015/index.html」を通じて掲載した予稿集 No.15−210、第88、89頁に発表 平成27年12月6日 (開催期間:平成27年12月5日〜8日)The Robotics & Mechatronics Division of the Japan Society of Mechanical Engineers 主催の「The 6th International Conference on Advanced Mechatronics 2015(ICAM2015)」にて発表
(73)【特許権者】
【識別番号】394019082
【氏名又は名称】コマツ産機株式会社
(73)【特許権者】
【識別番号】000001236
【氏名又は名称】株式会社小松製作所
(73)【特許権者】
【識別番号】504160781
【氏名又は名称】国立大学法人金沢大学
(74)【代理人】
【識別番号】110001195
【氏名又は名称】特許業務法人深見特許事務所
(72)【発明者】
【氏名】渡邊 哲陽
(72)【発明者】
【氏名】小林 健史
(72)【発明者】
【氏名】山下 修平
【審査官】 山下 浩平
(56)【参考文献】
【文献】 特開2008−178919(JP,A)
【文献】 特開2014−164579(JP,A)
【文献】 特開2009−301104(JP,A)
【文献】 特開2010−067079(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B30B 15/00 − 15/08
B21D 5/02
B30B 15/14 − 15/26、15/28
G05B 19/18 − 19/416、
19/42 − 19/427
B23Q 11/00 − 13/00
G06T 7/00 − 7/90
(57)【特許請求の範囲】
【請求項1】
被加工材を鍛圧することが可能な鍛圧機械の動作を制御するコントローラであって、
センサによりセンシングされた画像データに基づいて前記被加工材および前記鍛圧機械以外の物体を判定する物体判定部と、
前記画像データに含まれる前記鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定する設定部と、
前記設定部により設定された前記複数の判定領域それぞれへの前記物体の進入を検出する検出部と、
前記検出部により検出された前記物体が進入した判定領域に基づいて前記鍛圧機械の動作速度を制限する制御部とを備える、コントローラ。
【請求項2】
前記設定部は、前記鍛圧機械のボルスタ形状の大きさの倍率をそれぞれ変更することにより前記複数の判定領域を設定する、請求項1記載のコントローラ。
【請求項3】
前記ボルスタ形状は、矩形状で構成される、請求項1記載のコントローラ。
【請求項4】
前記検出部により検出された前記物体が進入した判定領域に基づいて通知する通知部をさらに備える、請求項1記載のコントローラ。
【請求項5】
前記鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、前記画像データとして、前記被加工材と前記鍛圧機械の作業者との画像を含まない第1の画像データと、前記鍛圧機械が動作しているときの前記予め定められた領域の現況を表した第2の画像データとを取得する取得部をさらに備え、
前記物体判定部は、前記第1の画像データと前記第2の画像データとの差分データを算出し、かつ前記差分データに基づいて前記作業者の領域を判定する、請求項1記載のコントローラ。
【請求項6】
前記物体判定部は、前記差分データに基づいて前記被加工材の領域をさらに判定する、請求項5に記載のコントローラ。
【請求項7】
前記被加工材は、平らな被加工面を有し、
前記物体判定部は、前記被加工材の領域の判定として、前記被加工材の平らな領域を判定する、請求項6に記載のコントローラ。
【請求項8】
前記物体判定部は、
前記差分データに基づく差分画像を複数のセルに分割し、かつ、前記差分データにおける輝度勾配方向ヒストグラム特徴量を前記セル毎に算出する特徴量算出部と、
前記輝度勾配方向ヒストグラム特徴量と、前記被加工材の形状の特徴量との類似度を、前記セル毎に算出する類似度算出部とを含み、
算出された前記類似度に基づき、前記作業者の領域と前記被加工材の領域とを判定する、請求項6または7に記載のコントローラ。
【請求項9】
前記物体判定部は、
前記差分データに基づく差分画像を複数のセルに分割し、かつ、前記差分データにおけるエッジ部分の法線ベクトルを前記セル毎に算出する特徴量算出部と、
前記法線ベクトルと、前記被加工材の形状の特徴を表したベクトルとの類似度を、前記セル毎に算出する類似度算出部とを含み、
算出された前記類似度に基づき、前記作業者の領域と前記被加工材の領域とを判定する、請求項6または7に記載のコントローラ。
【請求項10】
前記物体判定部は、前記類似度が基準値未満の前記セルを所定の割合以上含む領域を、前記作業者の領域と判定する、請求項8または9に記載のコントローラ。
【請求項11】
前記物体判定部は、前記類似度が基準値以上の前記セルを所定の割合以上含む領域を、前記被加工材の領域と判定する、請求項8または9に記載のコントローラ。
【請求項12】
前記物体判定部は、前記差分データに基づいて、一定の角度で傾斜している傾斜領域をさらに判定し、
前記制御部は、前記傾斜領域が予め定められた広さ以上である場合には、前記動作速度を制限する、請求項7に記載のコントローラ。
【請求項13】
被加工材を鍛圧することが可能な鍛圧機械であって、
前記被加工材を加工する加工領域を有する本体と、
前記鍛圧機械の動作を制御するコントローラと、
前記鍛圧機械の加工領域を含む予め定められた領域をセンシングするセンサとを備え、
前記コントローラは、
前記センサによりセンシングされた画像データに基づいて前記被加工材および前記鍛圧機械以外の物体を判定する判定部と、
前記画像データに含まれる前記鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定する設定部と、
前記設定部により設定された前記複数の判定領域それぞれへの前記物体の進入を検出する検出部と、
前記検出部により検出された前記物体が進入した判定領域に基づいて前記鍛圧機械の動作速度を制限する制御部とを含む、鍛圧機械。
【請求項14】
前記センサは、前記加工領域の上方において前記本体に取り付けられている、請求項13に記載の鍛圧機械。
【請求項15】
被加工材を鍛圧することが可能な鍛圧機械の制御方法であって、
前記鍛圧機械の加工領域を含む予め定められた領域をセンシングするステップと、
センシングされた画像データに基づいて前記被加工材および前記鍛圧機械以外の物体を判定するステップと、
前記画像データに含まれる前記鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定するステップと、
設定された前記複数の判定領域それぞれへの前記物体の進入を検出するステップと、
検出された前記物体が進入した判定領域に基づいて前記鍛圧機械の動作速度を制限するステップとを備える、鍛圧機械の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鍛圧機械の動作を制御するコントローラ、コントローラを備えた鍛圧機械、および鍛圧機械の制御方法に関する。
【背景技術】
【0002】
従来、プレス機械およびプレスブレーキ等の鍛圧機械が知られている。
特開2008−207253号公報(特許文献1)には、CCDカメラにより撮像された画像から作業者の指の位置を算出して、ラムとの距離を演算して距離が近ければラムの動作速度を制限するプレスブレーキが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−207253号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、作業者の手の指の位置座標から危険ポイントまでの距離を算出して、ラムと干渉すると判断される場合に動作速度を制限する構成が示されている。
【0005】
しかしながら、手の指の位置座標を特定し、危険ポイントまでの距離を算出し、距離が所定の距離以内であるか否かを判断するため処理が煩雑となる可能性がある。
【0006】
本発明は、上記の問題点に鑑みなされたものであって、その目的は、簡易な方式で鍛圧機械の動作速度を適切に制限することが可能なコントローラ、当該コントローラを備えた鍛圧機械、鍛圧機械の動作を制御するための制御方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明のある局面に従うと、コントローラは、被加工材を鍛圧することが可能な鍛圧機械の動作を制御する。コントローラは、センサによりセンシングされた画像データに基づいて被加工材および鍛圧機械以外の物体を判定する物体判定部と、画像データに含まれる鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定する設定部と、設定部により設定された複数の判定領域それぞれへの物体の進入を検出する検出部と、検出部により検出された物体が進入した判定領域に基づいて鍛圧機械の動作速度を制限する制御部とを備える。
【0008】
上記の発明によれば、ボルスタ形状に基づいて複数の判定領域を設定し、物体の進入が検出された判定領域に基づいて鍛圧機械の動作速度を制限するため距離等を算出する必要がなく処理が簡易である。
【0009】
好ましくは、設定部は、鍛圧機械のボルスタ形状の大きさの倍率をそれぞれ変更することにより複数の判定領域を設定する。
【0010】
上記の発明によれば、複数の判定領域は、ボルスタ形状の大きさの倍率をそれぞれ変更することにより設定される。したがって、複数の判定領域を鍛圧機械毎に手入力等により設定する必要が無く、簡易に設定することが可能である。
【0011】
好ましくは、ボルスタ形状は、矩形状で構成される。
上記の発明によれば、ボルスタ形状が矩形状であるため複数の判定領域も加工領域と同じ形状に設定されるため種々の方向からの物体の進入を容易に検出することが可能である。
【0012】
好ましくは、コントローラは、検出部により検出された物体が進入した判定領域に基づいて通知する通知部をさらに備える。
【0013】
上記の発明によれば、通知部をさらに備えることにより適切に物体の進入を通知することが可能となるため安全性を高めることが可能である。
【0014】
好ましくは、鍛圧機械の加工領域を含む予め定められた領域をセンシングすることによって高さ方向の距離を判別するための画像データを出力するセンサから、画像データとして、被加工材と鍛圧機械の作業者との画像を含まない第1の画像データと、鍛圧機械が動作しているときの予め定められた領域の現況を表した第2の画像データとを取得する取得部をさらに備える。物体判定部は、第1の画像データと第2の画像データとの差分データを算出し、かつ差分データに基づいて作業者の領域を判定する。
【0015】
上記の発明によれば、高さ方向の距離を判別するための画像データを出力するセンサから得た画像データを用いて、作業者の領域を判別することができる。当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、作業者の領域を高い精度で判定することが可能となる。したがって、鍛圧機械の動作速度の制御に作業者の実際の位置をより正確に反映させることが可能となる。
【0016】
好ましくは、物体判定部は、差分データに基づいて被加工材の領域をさらに判定する。
上記の発明によれば、コントローラが、被加工材と作業者とを区別することが可能となる。したがって、被加工材の位置も考慮した動作速度の制御が可能となる。
【0017】
好ましくは、被加工材は、平らな被加工面を有する。物体判定部は、被加工材の領域の判定として、被加工材の平らな領域を判定する。
【0018】
上記の発明によれば、平らな被加工面を有する被加工材は、通常の鍛圧作業の際には高さ方向が一定(水平)となるため、平らでない被加工面に比べて判別がしやすい。したがって、被加工材の領域をより精度よく判別することができる。
【0019】
好ましくは、物体判定部は、差分データに基づく差分画像を複数のセルに分割し、かつ、差分データにおける輝度勾配方向ヒストグラム特徴量をセル毎に算出する特徴量算出部と、輝度勾配方向ヒストグラム特徴量と被加工材の形状の特徴量との類似度を、セル毎に算出する類似度算出部とを含む。物体判定部は、算出された類似度に基づき、作業者の領域と被加工材の領域とを判定する。
【0020】
上記の発明によれば、被加工材の形状の特徴量を用いることによって、被加工材の領域と作業者の領域とを判定することができる。
【0021】
好ましくは、物体判定部は、差分データに基づく差分画像を複数のセルに分割し、かつ、差分データにおけるエッジ部分の法線ベクトルをセル毎に算出する特徴量算出部と、法線ベクトルと被加工材の形状の特徴を表したベクトルとの類似度を、セル毎に算出する類似度算出部とを含む。物体判定部は、算出された類似度に基づき、作業者の領域と被加工材の領域とを判定する。
【0022】
上記の発明によれば、被加工材の形状の特徴を表したベクトルを用いることによって、被加工材の領域と作業者の領域とを判定することができる。
【0023】
好ましくは、物体判定部は、類似度が基準値未満のセルを所定の割合以上含む領域を、作業者の領域と判定する。
【0024】
上記の発明によれば、類似度算出部によって算出された類似度に基づき、作業者の領域を判定することができる。
【0025】
好ましくは、物体判定部は、類似度が基準値以上のセルを所定の割合以上含む領域を、被加工材の領域と判定する。
【0026】
上記の発明によれば、類似度算出部によって算出された類似度に基づき、被加工材の領域を判定することができる。
【0027】
好ましくは、物体判定部は、差分データに基づいて、一定の角度で傾斜している傾斜領域をさらに判定する。速度制御部は、傾斜領域が予め定められた広さ以上である場合には、動作速度を制限する。
【0028】
平らな被加工面を有する被加工材を鍛圧する際には、被加工面が水平状態になければ、加工精度が低下する。上記の発明によれば、傾斜領域が予め定められた広さ以上ある場合には、被加工面が水平状態にないと判断できるため、動作速度を制限することにより加工精度が低下してしまうことを防止できる。
【0029】
好ましくは、速度制御部は、傾斜領域が予め定められた広さ以上である場合には、鍛圧処理を停止させる。
【0030】
上記の発明によれば、被加工面が水平状態にある状態で鍛圧処理がなされることを防止することができる。
【0031】
本発明の他の局面に従うと、鍛圧機械は、被加工材を鍛圧することが可能である。鍛圧機械は、被加工材を加工する加工領域を有する本体と、鍛圧機械の動作を制御するコントローラと、鍛圧機械の加工領域を含む予め定められた領域をセンシングするセンサとを備える。コントローラは、センサによりセンシングされた画像データに基づいて被加工材および鍛圧機械以外の物体を判定する物体判定部と、画像データに含まれる鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定する設定部と、設定部により設定された複数の判定領域それぞれへの物体の進入を検出する検出部と、検出部により検出された物体が進入した判定領域に基づいて鍛圧機械の動作速度を制限する制御部とを含む。
【0032】
上記の発明によれば、ボルスタ形状に基づいて複数の判定領域を設定し、物体の進入が検出された判定領域に基づいて鍛圧機械の動作速度を制限するため距離等を算出する必要がなく処理が簡易である。
【0033】
好ましくは、センサは、加工領域の上方において本体に取り付けられている。
上記の発明によれば、加工領域を含む予め定められた領域をセンシングすることが可能となる。
【0034】
好ましくは、鍛圧機械は、プレス機械である。
上記の発明によれば、プレス機械において、作業者の実際の位置をより正確に反映させた動作速度(プレス速度)の制御が可能となる。
【0035】
本発明のさらに他の局面に従うと、鍛圧機械の制御方法は、被加工材を鍛圧することが可能である。鍛圧機械の制御方法は、鍛圧機械の加工領域を含む予め定められた領域をセンシングするステップと、センシングされた画像データに基づいて被加工材および鍛圧機械以外の物体を判定するステップと、画像データに含まれる鍛圧機械のボルスタ形状に基づいて複数の判定領域を設定するステップと、設定された複数の判定領域それぞれへの物体の進入を検出するステップと、検出された物体が進入した判定領域に基づいて鍛圧機械の動作速度を制限するステップとを備える。
【0036】
上記の発明によれば、ボルスタ形状に基づいて複数の判定領域を設定し、物体の進入が検出された判定領域に基づいて鍛圧機械の動作速度を制限するため距離等を算出する必要がなく処理が簡易である。
【発明の効果】
【0037】
上記の発明によれば、簡易な方式で鍛圧機械の動作速度を適切に制限することが可能である。
【図面の簡単な説明】
【0038】
図1】プレスシステムの構成を説明するための図である。
図2】作業者が作業領域内でプレス作業をしているときの状態を表した図である。
図3】背景画像を表した模式図である。
図4】現況画像の一例を表した模式図である。
図5】差分データに基づく差分画像を表した模式図である。
図6】判定された作業者の領域と短尺材の領域とを表した図である。
図7】情報処理装置とプレスコントローラとの機能的構成を説明するための機能ブロック図である。
図8】センサから取得した背景画像データに基づく背景画像を表した図である。
図9】センサから取得した現況画像データに基づく現況画像を表した図である。
図10】差分データに基づいた差分画像を表した図である。
図11】ノイズを除去した後の差分データに基づく差分画像を表した図である。
図12】HOG特徴量の算出方法を説明するための図である。
図13】セルCi,jのヒストグラム(HOG特徴量)の例を表した図である。
図14】ブロックおよび正規化処理を説明するための図である。
図15】正規化後のHOG特徴量を可視化した図である。
図16】2つの参照ベクトルを表した図である。
図17】算出された類似度に基づいて作成された画像を表した図である。
図18】プレスシステムにおける処理の流れを説明するためのシーケンスチャートである。
図19】情報処理装置における処理の流れを説明するためのフローチャートである。
図20】情報処理装置の典型的なハードウェア構成を表した図である。
図21】作業者が作業領域内でプレス作業を開始する直前の状態を表した図である。
図22】システムコントローラの機能的構成を説明する図である。
図23】複数の判定領域の設定について説明する図である。
図24】他の情報処理装置における処理の流れを説明するフロー図である。
図25】検出信号出力処理のサブルーチンについて説明するフロー図である。
図26】速度制御部161が有する動作速度制限テーブルについて説明する図である。
【発明を実施するための形態】
【0039】
以下の説明では、同一部品には、同一の符号を付している。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0040】
[実施の形態1]
本実施の形態では、鍛圧機械の一例として、プレス機械を例に挙げて説明する。また、プレス機械でプレス加工する被加工材として、平らな被加工面を有する部材を例に挙げて説明する。特に、被加工部材として、短尺材を例に挙げて説明する。
【0041】
なお、鍛圧機械は、プレス機械に限定されず、プレスブレーキ等の他の機械であってもよい。また、被加工材は、平らな被加工面を有している必要はない。少なくとも、加工対象となる各々の被加工材が一定の形状を有していればよい。
【0042】
<A.全体構成>
図1は、プレスシステム1の構成を説明するための図である。
【0043】
図1に示されるように、プレスシステム1は、プレス機械10と、センサ20と、情報処理装置30と、入出力ターミナル40とを備える。情報処理装置30は、センサ20と入出力ターミナル40とに通信可能に接続されている。入出力ターミナル40は、さらに、プレス機械10に通信可能に接続されている。
【0044】
プレス機械10は、本体フレーム11と、ベッド12と、ボルスタ13と、スライド14と、コントロールパネル15と、プレスコントローラ16とを備える。
【0045】
本体フレーム11の略中央部には、スライド14が上下動自在に支持されている。スライド14に対する下方には、ベッド12上に取り付けられたボルスタ13が配置されている。本体フレーム11の前方には、コントロールパネル15が設けられている。本体フレーム11の側方には、コントロールパネル15が接続されたプレスコントローラ16が設けられている。
【0046】
スライド14の下面には、図示しない上金型が装着される。ボルスタ13の上面には、図示しない下金型が装着される。上金型と下金型とから構成される金型に対応する所定の被加工部材を下金型に位置させ、上金型をスライド14と共に降下させることにより、プレス加工が行われる。
【0047】
コントロールパネル15は、プレス機械10を制御するために必要な各種データを入力するものであり、データを入力するためのスイッチやテンキー、および設定画面やプレス機械10から出力されるデータを表示する表示器を有している。
【0048】
コントロールパネル15は、予め設定されたデータを記憶したICカード等の外部記憶媒体からのデータ入力装置、または無線や通信回線を介してデータを送受信する通信装置を備えていてもよい。
【0049】
なお、プレス機械10の上記の構成は、一例であり、特に当該構成に限られるものではない。
【0050】
プレス機械10のプレスコントローラ16は、プレス機械10全体を制御する装置である。プレスコントローラ16は、コントロールパネル15および入出力ターミナル40に接続される。プレスコントローラ16は、CPU、高速数値演算プロセッサ、およびメモリ等を主体に構成され、決められた手順に従って入力データの算術・論理演算を行うコンピュータ装置と、指令電流を入出力する入出力インターフェイスとを備えて構成されている。
【0051】
プレスコントローラ16のメモリは、ROM、RAM等の適宜な記憶媒体を含んで構成されている。このメモリは、プレスコントローラ16が各種の機能を実現するためのプログラムが格納されている。なお、当該メモリは、各種演算処理を実行するためのワーク領域としても用いられる。
【0052】
センサ20は、デプスセンサである。センサ20は、プレス機械10の加工領域の上方において本体フレーム11に取り付けられている。
【0053】
センサ20は、加工領域を含む予め定められた領域(以下、「作業領域」とも称する)をセンシングすることによって、高さ方向の距離を判別するための画像データを、通信ケーブルを介して、情報処理装置30に送信する。なお、センサ20から出力される画像データについては後述する。
【0054】
情報処理装置30は、センサ20から、画像データを取得する。情報処理装置30は、センサから取得した画像データに基づき各種の演算処理を実行する。たとえば、情報処理装置30は、輝度勾配方向ヒストグラム(HOG:Histograms of Oriented Gradients)特徴量の算出等を行なう。また、情報処理装置30は、処理結果に応じた信号を、プレス機械10のプレスコントローラ16に送信する。
【0055】
なお、情報処理装置30における具体的処理内容、および情報処理装置30のハードウェア構成については、後述する。
【0056】
図2は、作業者が作業領域内でプレス作業をしているときの状態を表した図である。
図2に示されるように、作業者90は、ワークとしての短尺材80を把持しつつ、短尺材80をプレス機械10の加工領域に移動させる。さらに、作業者90は、短尺材80の平らな被加工面を上金型18に対向させた状態で、下金型17の上に短尺材80を載置する。この状態で、スライド14が下降することにより、短尺材80が金型によってプレスされる。
【0057】
また、図2の状態では、作業者90と短尺材80とが作業領域に存在するので、作業者90および短尺材80もセンサ20によってセンシングされる。
【0058】
なお、上記においては、プレスシステム1が、プレスコントローラ16とは別に情報処理装置30を有する構成を例に挙げて説明したが、これに限定されるものではない。プレスコントローラ16が情報処理装置30における各種の演算処理を実行するように、プレスコントローラ16を構成してもよい。このような構成の場合には、プレスシステム1は、情報処理装置30および入出力ターミナルを備える必要がなくなる。
【0059】
<B.処理の概要>
プレスシステム1における処理の概要について説明する。詳しくは、情報処理装置30における演算処理の概要と、当該演算結果に基づくプレス機械10の動作の概要とについて説明する。
【0060】
(b1.情報処理装置30における演算処理)
情報処理装置30は、センサ20から作業領域の背景画像を表した画像データ(以下、「背景画像データ」とも称する)を予め取得しておく。詳しくは、情報処理装置30は、プレス加工が開始される前に、センサ20から、短尺材80とプレス機械10の作業者90との画像を含まない画像データを取得しておく。
【0061】
図3は、背景画像を表した模式図である。図3(A)に示すように、背景画像は、プレス機械10の画像と、加工領域の画像と、プレス機械10が設置された作業場の床面の画像とを含む。
【0062】
情報処理装置30は、背景画像データを取得した後、少なくともプレス機械10が動作(典型的には、スライド14が上下に移動)している期間において、所定のタイミング(典型的には所定の周期)で当該タイミングにおける作業領域の画像データ(以下、「現況画像データ」とも称する)を、センサ20から取得する。たとえば、情報処理装置30は、ある局面において、短尺材80と作業者90との画像を含む現況画像データを所定の周期でセンサ20から取得する。なお、以下では、現況画像データに基づく画像を、「現況画像」とも称する。
【0063】
なお、センサ20からの画像データの取得は、情報処理装置30からの取得要求に基づくものであってもよい。あるいは、センサ20が、情報処理装置30からの取得要求なしに画像データを情報処理装置30に送信する構成であってもよい。
【0064】
図4は、現況画像の一例を表した模式図である。図4に示すように、ある局面において、現況画像は、プレス機械10の画像と、加工領域の画像と、作業場の床面の画像と、作業者90の画像と、短尺材80の画像とを含んでいる。
【0065】
情報処理装置30は、現況画像データと背景画像データとの差分データを算出する。典型的には、情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する。詳しくは、情報処理装置30は、センサ20の画素毎に現況画像データ(画素値)から背景画像データ(画素値)を差し引くことにより、差分データを算出する。
【0066】
なお、情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する必要は必ずしもない。現況画像データの取得の周期と、差分データの算出の周期とは同じである必要は必ずしもない。たとえば、画像データを複数回取得した後に、当該複数の取得のうちの最後に取得した現況画像データと、背景画像データとの差分データを算出してもよい。
【0067】
図5は、差分データに基づく差分画像を表した模式図である。差分データにおいては、作業者90および短尺材80の領域以外の領域(作業領域に侵入した物体の周囲の領域)の画素値は相殺される。したがって、情報処理装置30は、図5に示すように、差分データにおいて、作業者90および短尺材の領域と、当該領域以外の領域とを判別することができる。
【0068】
なお、スライド14は上下に移動するため、背景画像データを取得したときのスライド14の位置と、現況画像データを取得したときのスライド14の位置とが、異なる場合もある。つまり、差分データに、スライド14の一部のデータが残る場合もある。しかしながら、差分データにおけるスライド14の存在可能領域(範囲)は予め特定できるため、情報処理装置30は、作業者90および短尺材80の領域と、当該領域以外の領域とを判別することができる。
【0069】
情報処理装置30は、さらに、差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。詳しくは、情報処理装置30は、HOG特徴量を用いた類似度の算出処理によって、作業者90の領域と、短尺材80の領域とを区別する。
【0070】
図6は、判定された作業者90の領域と短尺材80の領域とを表した図である。図6に示されるように、情報処理装置30による演算処理によって、作業者90の位置と、短尺材80の位置とを特定することができる。
【0071】
情報処理装置30は、判定結果に応じた信号を、入出力ターミナル40を介して、プレス機械10のプレスコントローラ16に送信する。判定結果に応じた信号は、作業者の位置データと短尺材の位置データそのものであってもよいし、作業者と加工領域との離間距離であってもよい。あるいは、判定結果に応じた信号は、作業者と加工領域との離間距離を長さに応じて複数の区分(領域)に分けた場合に、どの区分に属するのかを表した信号(領域判断信号)ものであってもよい。
【0072】
なお、「センサ20」、「背景画像データ」、「現況画像データ」は、それぞれ本発明の「センサ」、「第1の画像データ」、「第2の画像データ」の一例である。
【0073】
(b2.演算結果に基づくプレス機械10の動作)
プレス機械10は、情報処理装置30から受信した判定結果に応じた信号に基づいて、動作速度を制御する。たとえば、プレス機械10は、作業者90が加工領域に近づいた場合にはプレス速度(具体的には、スライド14の移動速度)を遅くし、作業者90が加工領域から離れた場合にはプレス速度を早くする。これにより、従来よりも安全性の高いプレス作業が実現し得る。なお、動作速度の制御の詳細については、後述する。
【0074】
<C.機能的構成>
図7は、情報処理装置30とプレスコントローラ16との機能的構成を説明するための機能ブロック図である。なお、情報処理装置30とプレスコントローラ16とを含んだ構成の「システムコントローラ50」が、本発明の「コントローラ」の一例である。
【0075】
情報処理装置30は、取得部31と、判定部32とを備える。判定部32は、HOG処理部321と、類似度算出部322とを含む。プレスコントローラ16は、速度制御部161を備える。
【0076】
取得部31は、センサ20から、背景画像データと、現況画像データとを取得する。なお、取得部31は、現況画像データを周期的に取得する。取得部31は、取得した背景画像データと現況画像データとを、判定部32に送る。
【0077】
判定部32は、背景画像データと現況画像データとの差分データを算出し、かつ差分データに基づいて作業者90の領域と短尺材80の領域とを判定する。具体的には、判定部32は、当該領域判定処理を、HOG処理部321と、類似度算出部322とを用いて実行する。
【0078】
HOG処理部321は、差分画像を複数のセルに分割する。典型的には、HOG処理部321は、差分画像を複数の単位領域に分割する。さらに、HOG処理部321は、差分データにおける輝度勾配方向ヒストグラム特徴量(以下、「HOG特徴量」)をセル毎に算出する。HOG処理部321は、算出されたHOG特徴量を類似度算出部322に送る。
【0079】
類似度算出部322は、セル毎に、算出されたHOG特徴量と、予め記憶されている短尺材80形状の特徴量との類似度を算出する。
【0080】
判定部32は、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。判定部32は、判定結果に応じた信号を、入出力ターミナル40を介して、プレスコントローラ16に送る。
【0081】
プレスコントローラ16は、判定結果に応じた信号を情報処理装置30から受信する。プレスコントローラ16の速度制御部161は、判定結果に応じた信号に基づいて、プレス機械10の動作速度を制御する。詳しくは、プレスコントローラ16は、スライド14の移動速度を制御するための制御信号を生成することにより、スライド14の移動速度を制御する。
【0082】
なお、「取得部31」、「設定部323」、「検出部324」、「HOG処理部321および類似度算出部322」は、それぞれ本発明の「取得部」、「設定部」、「検出部324」、「物体判定部」の一例である。
【0083】
<D.処理の具体例>
以下では、実際に得られた画像データに基づき、システムコントローラ50(図7)で実行される処理の具体例を説明する。
【0084】
(d1.差分画像の取得)
図8は、センサ20から取得した背景画像データに基づく背景画像を表した図である。具体的には、図8は、情報処理装置30のディスプレイに表示される背景画像を表した図である。図8に示すように、背景画像は、典型的には、グレースケールの画像として表示される。背景画像は、センサ20からの高さ方向の距離に応じた濃淡を有する。背景画像は、センサ20からの距離が近い程、色が濃くなり、センサ20からの距離が遠い程、色が薄くなる。
【0085】
図9は、センサ20から取得した現況画像データに基づく現況画像を表した図である。具体的には、図9は、情報処理装置30のディスプレイに表示される現況画像を表した図である。なお、現況画像も背景画像と同様、典型的には、グレースケールの画像として表示される。
【0086】
図9に示すように、現況画像は、作業者90の画像と短尺材80の画像とを含む点において、図8に示した背景画像とは異なる。
【0087】
図10は、差分データに基づいた差分画像を表した図である。具体的には、図10は、情報処理装置30のディスプレイに、図8に示した背景画像と図9に示した現況画像との差分画像を表示させたときの図である。
【0088】
図10に示すように、差分画像においては、作業者90の領域と短尺材80の領域とにおいては、全体的に白色となっていることが分かる。また、差分データは、差分画像からわかるように、ノイズを含んでいる。そこで、情報処理装置30は、差分データからノイズを除去する処理を実行する。当該ノイズの除去処理は、たとえば、判定部32において行われる。
【0089】
図11は、ノイズを除去した後の差分データに基づく差分画像を表した図である。図11に示すように、ノイズ除去後の差分画像においては、作業者90および短尺材80の領域と、当該領域外の領域との違いが明確になる。
【0090】
(d2.HOG処理)
以下では、情報処理装置30のHOG処理部321(図7)で実行される処理を説明する。なお、HOG処理は、ノイズを除去した後の差分データに対して実行される。
【0091】
図12は、HOG特徴量の算出方法を説明するための図である。図12に示すように、HOG処理部321は、差分画像を複数のセルCi,jに分割する(iおよびjは、1以上の自然数)。各セルCi,jは、典型的には正方形であって、たとえば縦横の各々が6ピクセルの36ピクセルから構成される。
【0092】
HOG処理部321は、各ピクセルにおいて、勾配ベクトルを算出する。具体的には、HOG処理部321は、輝度の変化している方向(勾配方向:0°〜180°)と、輝度の差(勾配強度)とを算出する。図12においては、セルC1,1における各ピクセルの勾配ベクトルを可視化した状態で模式的に表している。なお、勾配方向のみを算出し、勾配強度を算出しない構成であってもよい。
【0093】
HOG処理部321は、さらに、0°から180°までを、0°から20°刻みで9方向に分割する。HOG処理部321は、各セルCi,jにおいて、横軸が9つの角度(0°,20°,40°,…,140°,160°)、縦軸が当該角度の勾配強度の和(頻度)のヒストグラムを作成する。
【0094】
図13は、ある1つのセルCi,jのヒストグラム(HOG特徴量)の例を表した図である。図13に示すように、9つの角度の各々について、頻度が求められる。なお、以下では、各セルCi,jにおけるHOG特徴量Fi,jは、たとえば以下の式(1)のように9次元のベクトルとして表わされる。
【0095】
i,j = {f,f,f,f,f,f,f,f,f} … (1)
なお、f,f,f,…,fは、それぞれ、0°,20°,40°,…,160°に対する。
【0096】
HOG処理部321は、複数のセルで構成されるブロック毎に正規化処理を実行する。各ブロックは、たとえば、縦横の各々が3セルの9セルで構成される。
【0097】
図14は、ブロックおよび正規化処理を説明するための図である。図14に示されるように、ブロックBi,jは、セルCi,jと、セルCi,j+1と、セルCi,j+2と、セルCi+1,jと、セルCi+1,j+1と、セルCi+1,j+2と、セルCi+2,jと、セルCi+2,j+1と、セルCi+2,j+2とで構成される。
【0098】
図14においては、ブロックB1,1と、ブロックB1,8と、ブロックB6,1とを図示している。特に、ブロックB1,1,B1,8については、各々を構成するセルと、各セルにおけるHOG特徴量Fi,jとを図示している。
【0099】
HOG処理部321は、各ブロックBi,jの中心のセルCi+1,j+1を、当該セルCi+1,j+1の周囲の8個のセル(当該ブロック内の他のセル)のHOG特徴量を用いて正規化する。たとえば、ブロックB1,1に着目すると、中心のセルC2,2は、セルC2,2の周囲の8個のセル(具体的には、セルC1,1,C1,2,C1,3,C2,1,C2,3,C3,1,C3,2,C3,3)のHOG特徴量を用いて正規化される。
【0100】
具体的には、HOG処理部321は、以下の式(2)を用いてブロック毎に正規化処理を実行し、各セルCi,jの正規化後のHOG特徴量vを算出する。
【0101】
【数1】
【0102】
なお、式(2)において、Vは、ブロックBi,jに含まれる9つのセルのHOG特徴量(Fi,j,Fi,j+1,Fi,j+2,Fi+1,j,Fi+1,j+1,Fi+1,j+2,Fi+2,j,Fi+2,j+1,Fi+2,j+2)で定義されるベクトルである。ノルムの添え字kが1のときはL1ノルムを、kが2のときはL2ノルムを、kが∞のときはL∞ノルムを示す。また、本実施の形態では、εの値は1である。
【0103】
図15は、正規化後のHOG特徴量を可視化した図である。図15においては、短尺材80の被加工面における領域P内の1つのセルのHOG特徴量と、短尺材80の端部(縁部)における領域Q内の1つのセルのHOG特徴量とを、拡大して表示している。
【0104】
ところで、短尺材80の領域は、直線的な輪郭と、平坦な表面とで構成される。その一方で、作業者90の領域は、曲線的な輪郭と、丸みのある表面とで構成される。それゆえ、短尺材80の領域と、作業者90の領域とでは、傾向が異なるHOG特徴量が得られることになる。たとえば、作業者90の領域において得られるHOG特徴量は、図15において拡大した表示した2つのHOG特徴量とは異なる傾向を示す。
【0105】
判定部32は、このようなHOG特徴量の傾向の相違を利用して、作業者90の領域と、短尺材80との領域を判別する。具体的には、判定部32は、類似度算出部322によって算出される類似度によって、作業者90の領域と、短尺材80との領域を判別する。
【0106】
なお、作業者90および短尺材80の領域外の周囲の領域は物体が何も存在しない領域であるので、当該周囲の領域に固有のHOG特徴量が得られる。それゆえ、判定部32は、作業者90の領域と短尺材80の領域とを判別する際に、周囲の領域を除外することができる。
【0107】
(d3.類似度の算出)
以下では、類似度算出部322による類似度算出処理について説明する。
【0108】
類似度算出部322は、HOG特徴量(具体的には、正規化後のHOG特徴量)と短尺材80の形状の特徴量との類似度を、セルCi,j毎に算出する。短尺材80の形状の特徴量は、以下のような処理を行うことにより、予め求めておく。
【0109】
情報処理装置30は、短尺材80の平らな被加工面(水平状態にある被加工面)における10個の位置における特徴ベクトルの平均値を算出する。類似度算出部322は、算出された平均値(特徴ベクトル)を1つ目の参照ベクトルIref1として利用する。また、情報処理装置30は、さらに、短尺材80のエッジ部分における複数個(たとえば10個)の位置における特徴ベクトルの平均値を算出する。類似度算出部322は、エッジ部分における平均値(特徴ベクトル)を2つ目の参照ベクトルIref2として利用する。なお、以下では、2つの参照ベクトルを区別しない場合には、「Iref」と表記する。
【0110】
図16は、2つの参照ベクトルIrefを表した図である。図16(A)は、1つ目の参照ベクトルIref1の例を表した図である。図16(B)は、2つ目の参照ベクトルIref2の例を表した図である。図16を参照して、横軸は、9つの傾斜角度(0°,20°,40°,…,140°,160°)を示し、縦軸は、上記頻度に対応する強度(傾斜の強さ)を表している。
【0111】
類似度算出部322は、短尺材80の形状の特徴量として、図16に示すような2つの参照ベクトルIrefを利用し、HOG特徴量との類似度を算出する。典型的には、類似度算出部322は、コサイン類似度を用いて類似度を算出する。具体的には、類似度算出部322は、以下の式(3)を用いて類似度を算出する。
【0112】
【数2】
【0113】
図17は、算出された類似度に基づいて作成された画像を表した図である。図17に示すとおり、差分画像において類似度が基準値以上であると判定された領域と、差分画像において類似度が基準値未満であると判定された領域とが区別できる。
【0114】
判定部32は、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。具体的には、判定部32は、算出された類似度が基準値未満のセルを所定の割合以上含む領域を、作業者90の領域と判定する。また、判定部32は、算出された類似度が上記基準値以上のセルを所定の割合以上含む領域を、短尺材80の領域と判定する。なお、基準値および所定の割合は、予め規定されている。
【0115】
判定部32は、上述したように、判定結果に応じた信号を、入出力ターミナル40を介して、プレスコントローラ16に送る。なお、プレスコントローラ16は、上述したように、当該判定結果に応じた信号に基づいて、プレス機械10の動作速度を制御する。
【0116】
<E.制御構造>
図18は、プレスシステム1における処理の流れを説明するためのシーケンスチャートである。図18に示されるように、シーケンスSQ11において、センサ20は、背景画像データを情報処理装置30に送信する。情報処理装置30は、当該背景画像データをメモリに記憶しておく。シーケンスSQ12において、センサ20は、現況画像データを送信する。現況画像データの送信は、典型的には、上述したように所定の周期で繰り返し行われる。
【0117】
シーケンスSQ21において、情報処理装置30は、背景画像データと現況画像データの差分データを算出する。情報処理装置30は、現況画像データをセンサ20から取得する度に、差分データを算出する。シーケンスSQ22において、情報処理装置30は、差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。シーケンスSQ23において、情報処理装置30は、判定結果に応じた信号を、プレス機械10のプレスコントローラ16に送信する。
【0118】
シーケンスSQ31において、プレスコントローラ16は、判定結果に応じた信号に基づいて、スライド14の移動速度を制御するための制御信号を生成する。シーケンスSQ32において、プレスコントローラ16は、スライド14を動作させる駆動回路に生成された制御信号を送信する。
【0119】
その後、シーケンスSQ12,SQ21,SQ22,SQ23,SQ31,SQ32で示される一連の処理と同様の処理が繰り返される。情報処理装置30は、シーケンスSQ13においてセンサ20から次の現況画像データを受信した場合、シーケンスSQ24において、シーケンスSQ21と同様に、差分データを算出する。さらに、シーケンスSQ25において、情報処理装置30は、シーケンスSQ22と同様に、シーケンスSQ24で算出された差分データに基づいて、作業者90の領域と短尺材80の領域とを判定する。シーケンスSQ26において、情報処理装置30は、シーケンスSQ23と同様に、判定結果に応じた信号をプレスコントローラ16に送信する。
【0120】
図19は、情報処理装置30における処理の流れを説明するためのフローチャートである。図19に示されるように、ステップS1において、情報処理装置30は、センサ20から作業領域の背景画像を表した背景画像データを取得する。ステップS2において、情報処理装置30は、センサ20から作業領域の現在の状況を撮像することにより得られた現況画像データを取得する。
【0121】
ステップS3において、情報処理装置30は、現況画像データから背景画像データを差し引くことにより、背景画像データと現況画像データとの差分データを算出する。ステップS4において、情報処理装置30は、算出された差分データに対して、HOG処理を実行する。ステップS5において、情報処理装置30は、セルCi,j毎に、HOG特徴量と、短尺材80の特徴を表した上記2つの参照ベクトルIrefとの類似度を算出する。
【0122】
ステップS6において、情報処理装置30は、算出された類似度に基づいて、作業者90の領域と短尺材80の領域とを判定する。ステップS7において、情報処理装置30は、判定結果に応じた信号をプレスコントローラ16に送信する。
【0123】
<F.ハードウェア構成>
図20は、情報処理装置30の典型的なハードウェア構成を表した図である。図20を参照して、情報処理装置30は、CPU等のプロセッサ101と、メモリ102と、ディスプレイ103と、操作キー104と、通信インターフェイス105,106と、電源回路107とを備える。
【0124】
プロセッサ101は、情報処理装置30の全体の動作を制御する。
メモリ102は、オペレーシングシステム、上述した判定処理等を実現するためのプログラム、および各種のデータを記憶している。
【0125】
ディスプレイ103は、プロセッサ101に指示に基づき、各種の情報を表示する。たとえば、ディスプレイ103は、背景画像、現況画像、差分画像等の各種の画像を表示する。
【0126】
通信インターフェイス105は、センサ20と通信するための通信処理部である。通信インターフェイス105は、センサ20から出力された画像データを受信する。なお、通信インターフェイス105は、受信された画像データをプロセッサ101に送る。
【0127】
通信インターフェイス106は、入出力ターミナル40と通信するための通信処理部である。プロセッサ101は、通信インターフェイス106を介して、入出力ターミナル40に、判定結果に応じた信号を送信する。
【0128】
電源回路107は、作業場に引き込まれた電源から、情報処理装置30内の各ブロックおよび図示しない回路に電力を供給するための回路である。
【0129】
なお、図7に示した取得部31は、通信インターフェイス105に対応する。図7に示した判定部32は、プロセッサ101がメモリ102に格納されたプログラムを実行することにより実現される。
【0130】
<G.小括>
(1)以上のように、プレスシステム1では、高さ方向の距離を判別するための画像データを出力するセンサ20から得た画像データを用いて、作業者90の領域を判別することができる。ところで、当該画像データは、CCDカメラ等によって得られた画像データに比べて、周辺環境により影響を受けにくい。それゆえ、プレスシステム1では、作業者90の領域を高い精度で判定することが可能となる。したがって、プレスシステム1では、プレス機械10の動作速度の制御に作業者90の実際の位置をより正確に反映させることが可能となる。
【0131】
(2)また、プレスシステム1では、差分データに基づいて短尺材80の領域をさらに判定する。それゆえ、プレスシステム1は、被加工材と作業者とを区別することが可能となる。したがって、プレスシステム1では、短尺材80の位置も考慮した動作速度の制御が可能となる。
【0132】
(3)短尺材80のような平らな被加工面を有する被加工材は、通常のプレス作業の際には高さ方向が一定(水平)となるため、平らでない被加工面に比べて判別がしやすい。したがって、プレスシステム1では、短尺材80の領域をより精度よく判別することができる。
【0133】
(4)また、プレスシステム1では、短尺材80の形状の特徴量(特徴を表した参照ベクトルIref)を用いることによって、短尺材80の領域と作業者90の領域とを判定することができる。詳しくは、プレスシステム1では、類似度算出部322によって算出された類似度に基づき、短尺材80の領域と作業者90の領域とを判定することができる。
【0134】
(5)センサ20が、加工領域の上方において本体フレーム11に取り付けられているため、センサ20は、加工領域を含む作業領域をセンシングすることが可能となる。
【0135】
<H.変形例>
(h1.傾斜判定)
上記の実施の形態においては、短尺材80の被加工面が水平の状態にある場合には、上記の2つの参照ベクトルIrefの利用により短尺材80の領域を判定することができる。以下では、作業者90が短尺材80の被加工面を水平面から傾けた状態で短尺材80を加工領域に近づけた場合の処理について説明する。
【0136】
図21は、作業者が作業領域内でプレス作業を開始する直前の状態を表した図である。図21に示されるように、作業者90が短尺材80の被加工面80aを水平状態から傾けた状態で短尺材80を加工領域に入れた場合、精度の高いプレス処理が行えない可能性がある。
【0137】
また、情報処理装置30は、短尺材80が図21に示すように傾いた場合、上述した2つの参照ベクトルIrefでは、短尺材80の領域を判定できない可能性が高い。そこで、情報処理装置30の判定部32は、差分データに基づいて、作業者90の領域とともに、一定の角度で傾斜している傾斜領域を判定する。判定部32は、判定結果に基づく信号をプレスコントローラ16の速度制御部161に送る。
【0138】
速度制御部161は、一定の角度で傾斜している傾斜領域が予め定められた広さ以上である場合には、プレス機械10のプレス速度を制限する。たとえば、速度制御部161は、プレス処理(スライド14の動作)を停止させる。
【0139】
このように動作速度を制限することによって、加工精度が低下してしまうことを防止できるため、精度の高いプレス処理を維持することが可能となる。また、従来よりも安全性の高いプレス作業が実現し得る。特に、上記のように、傾斜領域が予め定められた広さ以上である場合にプレス処理を停止させる構成とした場合には、被加工面が水平状態にない状態で鍛圧処理がなされることを防止することができる。
【0140】
(h2.法線ベクトルの利用)
上記の実施の形態においては、HOG処理部321によりセルのHOG特徴量を算出する構成を例に挙げて説明したが、これに限定されるものでない。セルの特徴量を算出できる構成であれば、特に限定されない。たとえば、以下のような構成とすることができる。
【0141】
まず、HOG特徴量を算出する代わりに、差分データにおけるエッジ部分の法線ベクトルをセルCi,j毎に算出する。さらに、類似度算出部322によって、算出された法線ベクトルと短尺材80の特徴を表した参照ベクトルIrefとの類似度を、Ci,j毎に算出する。そして、判定部32が、算出された類似度に基づき、作業者90の領域と短尺材80の領域とを判定する。
【0142】
このような構成であっても、上述した実施の形態の場合と同様の効果を得られる。
<I.プレス機械10の動作速度の制限方式>
次に、画像データに基づいて判定領域を設定し、それに基づくプレス機械10の動作速度を適切に制限する方式について説明する。
【0143】
図22は、実施形態に基づくシステムコントローラ50#の機能的構成を説明する図である。
【0144】
図22を参照して、システムコントローラ50#は、図7のシステムコントローラ50と比較して、情報処理装置30を情報処理装置30#に、プレスコントローラ16をプレスコントローラ16#に置換した点が異なる。
【0145】
情報処理装置30#は、情報処理装置30と比較して判定部32を判定部32#に置換した点が異なる。
【0146】
判定部32#は、判定部32と比較して、設定部323と、検出部324とをさらに含む点で異なる。
【0147】
プレスコントローラ16#は、プレスコントローラ16と比較して通知部162をさらに含む点で異なる。その他の構成については、図7で説明したのと同様であるのでその詳細な説明については繰り返さない。
【0148】
判定部32#は、HOG処理部321と類似度算出部322とを含み、上記したように取得部31で取得した背景画像データと現況画像データとの差分データを算出する。
【0149】
そして、上記したように、HOG処理部321と類似度算出部322とにより作業者90の領域と、短尺材80の領域とがそれぞれ判別される。したがって、被加工材である短尺材80およびプレス機械10以外の物体である作業者90の領域が判別される。
【0150】
設定部323は、取得部31で取得された画像データに基づいて複数の判定領域を設定する。具体的には、設定部323は、取得した背景画像データに含まれるプレス機械10のボルスタ13の形状を抽出する。設定部323は、抽出したボルスタ形状に基づいて複数の判定領域を設定する。
【0151】
複数の判定領域は、それぞれの判定領域において上記HOG処理部321と類似度算出部322とにより判別された物体(一例として作業者90の領域)が進入したか否かを判定するために用いられる。
【0152】
検出部324は、設定部323で設定された複数の判定領域のそれぞれについて物体(作業者90の領域)の進入を検出する。検出部324は、検出に応じた信号をプレスコントローラ16#に出力する。
【0153】
プレスコントローラ16#は、情報処理装置30#から出力された検出に応じた信号に基づいて所定の動作を実行する。具体的には、速度制御部161は、検出に応じた信号に基づいてプレス速度を制限するための制御信号をプレス機械10に対して出力する。プレス機械10は、当該制御信号に従ってプレス速度を制限する。
【0154】
また、通知部162は、検出に応じた信号に基づいて情報を通知する。具体的には、通知部162は、検出に応じた信号に基づいてアラーム音を報知したり、図示しないディスプレイに情報を表示する。
【0155】
図23は、実施形態に基づく複数の判定領域の設定について説明する図である。
図23を参照して、本例においては複数の判定領域A1〜A8が示されている。
【0156】
判定領域A1は、ボルスタ13の形状と同等の領域である。本例においては、ボルスタ13の形状が矩形状である場合が示されている。なお、矩形状の形状としてボルスタ13の角部が直角であることは必ずしも必要ではなく、角部が丸みを有している場合も含まれるものとする。なお、判定領域A1は、ボルスタ13の形状と完全に対応している必要は無く略同一の形状であればよい。
【0157】
本例におけるボルスタ13は、本体フレーム11の上方に取り付けられたセンサ20から加工領域に対してセンシングした画像データから抽出することが可能である。具体的には、パターンマッチングによりボルスタの形状を抽出することが可能である。なお、本例においては、画像データに含まれるボルスタ13の一部の形状を抽出する場合について説明するが、ボルスタ13の全部の形状を抽出するようにしても良い。
【0158】
設定部323は、画像データに基づいてボルスタ形状を抽出して判定領域A1を設定し、さらに複数の判定領域を設定する。具体的には、設定部323は、ボルスタ形状の大きさ(判定領域A1)の倍率を変更することにより判定領域A2〜A8を設定する。
【0159】
判定領域A1の面積が最も狭く、以降判定領域の面積が昇順的に広くなる。
複数の判定領域の各々の判定領域について、4辺のうちの下側の一辺を同一方向に揃えながら倍率を変更した場合が示されている。なお、当該判定領域の設定の方式は一例であり、判定領域A1の重心を基準位置として倍率を変更して複数の判定領域を設定しても良く、特に判定領域の設定の方式については限定されない。
【0160】
画像データのうちの加工領域に含まれるボルスタ形状に従って判定領域が設定されるためプレス機械10毎に手入力等に基づいて判定領域を設定する必要がなく簡易に設定することが可能である。
【0161】
なお、本例においては、8個の判定領域を設定する場合について説明しているが、特に8個に限られずさらに複数の判定領域を設定しても良く、2個以上であれば任意の個数に設定することが可能である。
【0162】
図24は、実施形態に基づく情報処理装置30#における処理の流れを説明するフロー図である。
【0163】
図24を参照して、情報処理装置30#は、画像データを取得する(ステップS12)。具体的には、取得部31は、センサ20から背景画像データを取得する。
【0164】
次に、情報処理装置30#は、ボルスタ形状を抽出する(ステップS14)。具体的には、設定部323は、取得部31で取得いた背景画像データに基づいてボルスタ形状を抽出する。
【0165】
次に、情報処理装置30#は、判定領域を設定する(ステップS16)。具体的には、設定部323は、抽出したボルスタ形状に基づいて図23で説明したように複数の判定領域を設定する。
【0166】
次に、情報処理装置30#は、検出信号出力処理を実行する(ステップS18)。検出信号出力処理の詳細については後述する。
【0167】
そして、次に、情報処理装置30#は、処理が終了したか否かを判断する(ステップS20)。具体的には、プレス機械10の処理が終了した場合に処理が終了したと判断することが可能である。
【0168】
ステップS20において、情報処理装置30#は、処理が終了したと判断した場合(ステップS20においてYES)には終了する(エンド)。
【0169】
一方、ステップS20において、情報処理装置30#は、処理が終了していないと判断した場合(ステップS20においてNO)には、ステップS18に戻り、検出信号出力処理を実行する。
【0170】
図25は、検出信号出力処理のサブルーチンについて説明するフロー図である。
図25を参照して、情報処理装置30#は、物体が有るか否かを判断する(ステップS22)。上記したようにHOG処理部321および類似度算出部322により物体が有るか否かを判断する。具体的には、取得部31で取得した背景画像データと現況画像データとの差分データを算出し、図19で説明した方式に従って作業者90の領域と、短尺材80の領域とを判別する。これにより、被加工材である短尺材80およびプレス機械10以外の物体(作業者90の領域)が有るか否かが判断される。
【0171】
ステップS22において、情報処理装置30#は、物体が有ると判断した場合(ステップS22においてYES)には、物体の進入を検出する(ステップS24)。
【0172】
検出部324は、判別された物体が複数の判定領域のそれぞれについての進入を検出する。検出部324は、物体が複数の判定領域にあると判断した場合には、最小の番号の判定領域(面積が狭い判定領域)を優先して検出する。たとえば、物体が判定領域A6〜A8で検出された場合には、判定領域A6で検出した(判定領域A6に物体が進入した)と判断する。
【0173】
次に、情報処理装置30#は、判定領域に基づく検出信号を出力する(ステップS26)。検出部324は、検出結果に基づく判定領域に基づく検出信号を出力する。たとえば、検出部324は、判定領域A6で検出したと判断した場合には判定領域A6で検出された旨を示す信号を出力しても良い。あるいは領域番号に関する情報を出力するようにしても良い。
【0174】
そして、情報処理装置30#は、検出信号出力処理を終了する(リターン)。
ステップS22において、物体が無いと判断した場合(ステップS22においてNO)には、検出信号出力処理を終了する(リターン)。
【0175】
図26は、速度制御部161が有する動作速度制限テーブルについて説明する図である。
【0176】
図26を参照して、動作速度制限テーブルは、検出領域と速度とが関連付けられたテーブルである。
【0177】
速度制御部161は、情報処理装置30#からの判定領域に基づく検出信号に従って速度制限に関する制御信号をプレス機械10に出力する。
【0178】
具体的には、判定領域A1で物体が検出された場合には停止を指示する制御信号を出力する。判定領域A2で物体が検出された場合には速度を10%に設定指示する制御信号を出力する。当該制御信号に従い、プレス機械10で設定されている目標速度(スライド14の速度等)が所定の割合の速度に制限される。判定領域A3で物体が検出された場合には速度を20%に設定指示する制御信号を出力する。判定領域A4で物体が検出された場合には速度を30%に設定指示する制御信号を出力する。判定領域A5で物体が検出された場合には速度を40%に設定指示する制御信号を出力する。判定領域A6で物体が検出された場合には速度を60%に設定指示する制御信号を出力する。判定領域A7で物体が検出された場合には速度を80%に設定指示する制御信号を出力する。判定領域A8で物体が検出された場合には速度は100%である。したがって、動作速度は制限されない。この場合には速度を100%に設定指示する制御信号を出力してもよいし、速度を制限する制御信号を出力しなくても良い。
【0179】
例えば、速度制御部161は、情報処理装置30#から物体が判定領域A6で検出された旨を示す信号を受けた場合には、速度を60%に設定指示する制御信号を出力する。これに伴いプレス機械10の速度が適正に制限されて、たとえば作業者90の安全を確保することが可能である。
【0180】
本例においては、加工領域に含まれるボルスタ形状に従って複数の判定領域が設定され、物体の進入が検出された判定領域に基づいてプレス機械10の速度が制限される。
【0181】
したがって、加工領域に対する種々の方向からの物体の進入を検出することが可能であり、プレス機械10の速度を適切に制御することが可能である。
【0182】
また、プレスコントローラ16#は、通知部162を含む。通知部162は、検出結果に基づく判定領域に基づく検出信号を受けて所定の通知処理を実行する。
【0183】
具体的には、判定領域に応じて報知信号の音量を変更することも可能である。たとえば、判定領域A1に近づくほど警告音の音量を増大させることが可能である。また、音声に限られずメッセージ表示により警告を通知するようにしても良い。たとえば、判定領域A1に近づくほどメッセージ表示の文字の大きさを変更したり、点滅等の表示処理を実行するようにしても良い。
【0184】
また、上記においては、短尺材80の領域と作業者90の領域とを判別して作業者90の領域を物体とする場合について説明したが、上記の短尺材80の被加工面の傾斜判定でも説明したように、一定の角度で傾斜している傾斜領域が予め定められた広さ以上である場合には、当該領域部分を物体と判定するようにしても良い。
【0185】
そして、当該判定結果に基づいて動作速度を制限することによって、加工精度が低下してしまうことを防止できるため、精度の高いプレス処理を維持することが可能となる。また、従来よりも安全性の高いプレス作業が実現し得る。上記のように、傾斜領域が予め定められた広さ以上である場合にプレス処理を停止させる構成とした場合には、被加工面が水平状態に無い状態での鍛圧処理がなされることを防止することができる。
【0186】
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0187】
1 プレスシステム、10 プレス機械、11 本体フレーム、12 ベッド、13 ボルスタ、14 スライド、15 コントロールパネル、16,16# プレスコントローラ、17 下金型、18 上金型、20 センサ、30,30# 情報処理装置、31 取得部、32,32# 判定部、40 入出力ターミナル、50,50# システムコントローラ、80 短尺材、80a 被加工面、90 作業者、107 電源回路、161 速度制御部、162 通知部、321 HOG処理部、322 類似度算出部、323 設定部、324 検出部、A1,A2,A3,A4,A5,A6,A7,A8 判定領域。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26