(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】情報処理装置および工作機械
(51)【国際特許分類】
B23Q 17/00 20060101AFI20231219BHJP
B23Q 17/24 20060101ALI20231219BHJP
【FI】
B23Q17/00 D
B23Q17/24 Z
(21)【出願番号】P 2022072847
(22)【出願日】2022-04-27
【審査請求日】2022-04-28
(31)【優先権主張番号】P 2021144425
(32)【優先日】2021-09-06
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
【前置審査】
(73)【特許権者】
【識別番号】000146847
【氏名又は名称】DMG森精機株式会社
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】奥野 絢一郎
【審査官】小川 真
(56)【参考文献】
【文献】特許第6921354(JP,B1)
【文献】特開2015-142281(JP,A)
【文献】特開2014-099832(JP,A)
【文献】特開2014-165554(JP,A)
【文献】特開2007-329548(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B23Q 17/00
B23Q 17/24
G01B 11/00
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
工作機械に設置される撮像部による撮像エリアの撮像画像を取得する取得部と、
撮像画像に、複数の画素を含む大きさの複数のグリッドから構成されるグリット領域を含む複数のグリッドの線から構成される網を重ねるグリッド設定部と、
前記グリッド領域に対応する前記撮像画像の部分を表示部の参照画面に表示させる表示制御部と、
を備え、
前記表示制御部は、
前記撮像画像の部分を前記参照画面に表示させる場合に、前記参照画面の枠内にグリッドの一区画全体が表れない前記撮像画像の外周部を無視し、前記外周部が無視されることで前記参照画面の枠よりも小さくなった前記グリット領域に対応する前記撮像画像の部分を、
そのグリッド領域の輪郭が前記参照画面の枠に向かって拡大するよう前記表示部に表示させ
る、情報処理装置。
【請求項2】
前記
外周部が無視されて抽出され拡大された前記撮像画像の部分について、前記撮像エリアにおける予め定める物理量を前記グリッド単位で認識する認識部をさらに備える、請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記撮像エリア内で認識された前記物理量を示す表示を前記抽出され拡大された前記撮像画像の部分に重ねて表示させる、請求項2に記載の情報処理装置。
【請求項4】
前記参照画面の枠が長方形であるとともに前記
外周部が無視されて抽出された前記撮像画像の部分も長方形であり、
前記表示制御部は、前記抽出された前記撮像画像の部分を拡大して表示する際に、拡大された前記撮像画像の部分の長方形の辺が前記参照画面の枠の長方形の辺と同じ位置となるように表示させる、請求項1~3のいずれかに記載の情報処理装置。
【請求項5】
表示画像中に前記工作機械の特定エリアの輪郭に沿うラインを予め記憶する基準情報格納部と、
撮像画像に表示される前記特定エリアの輪郭を前記ラインに合わせるよう、前記撮像画像を前記撮像部の光軸の回転方向に回転させる補正部と、
をさらに備え、
前記表示制御部は、前記補正部による補正後の撮像画像の外周部
が無視されて抽出された前記グリッド領域に対応する前記撮像画像の部分を拡大して表示させる、請求項1~3のいずれかに記載の情報処理装置。
【請求項6】
前記外周部は、グリッドの行またはグリッドの列に対応する画像の部分である、請求項1に記載の情報処理装置。
【請求項7】
前記表示制御部は、前記
外周部が無視されて抽出された前記撮像画像の部分の上部の輪郭が前記参照画面の枠と重なる又は接する位置まで移動した際に、前記抽出された前記撮像画像の部分の拡大処理を止める、請求項1に記載の情報処理装置。
【請求項8】
加工室に設定された撮像エリアを撮像する撮像部と、
前記撮像部による撮像画像を表示する表示部と、
前記撮像画像に、複数の画素を含む大きさの複数のグリッドから構成されるグリット領域を含む複数のグリッドの線から構成される網を重ねるグリッド設定部と、
前記グリッド領域に対応する前記撮像画像の部分を表示部の参照画面に表示させる表示制御部と、
を備える工作機械であって、
前記表示制御部は、
前記撮像画像の部分を前記参照画面に表示させる場合に、前記参照画面の枠内にグリッドの一区画全体が表れない前記撮像画像の外周部を無視し、前記外周部が無視されることで前記参照画面の枠よりも小さくなった前記グリット領域に対応する前記撮像画像の部分を、
そのグリッド領域の輪郭が前記参照画面の枠に向かって拡大するよう前記表示部に表示させ
る、工作機械。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工作機械で用いられる撮像画像を処理する情報処理装置に関する。
【背景技術】
【0002】
工作機械においてワークを加工すると切屑が生じる。加工室に切屑が多く堆積すると、加工の継続が困難となる。このため、従来は作業者が工作機械の運転を定期的に停止し、エアブローなどを使って切屑を除去するなどの対処をしていた。しかし、このような手作業による切屑の除去は、工作機械の稼働効率を低下させる。
【0003】
そこで近年、加工室にカメラを設置し、その撮像画像を解析することで切屑を自動的に除去するシステムが提案されている(特許文献1参照)。このシステムでは、解析結果に基づいて切屑の飛散位置を特定し、その飛散位置を目標としてクーラントを出射する制御(以下「清掃制御」ともいう)が行われる。また、モニタの画面に表示される撮像画像に切屑の飛散範囲を重ねて表示し、オペレータがその画面上でクーラントの出射範囲を指定できる技術も提案されている。清掃制御用のソフトウェアには、カメラによる撮像エリアの座標と、クーラントの制御指令に用いる座標との対応関係が予め設定される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、このようなシステムを新たに導入する場合、既存の工作機械に後付けで組み込まれることも想定される。その場合、後付けされたカメラの取り付け誤差や個体差などにより、撮像画像が本来みえる角度で表示されなくなる可能性がある。この対処として、例えば撮像画像の表示角度を補正するなども考えられるが、撮像画像の画角が傾くことでオペレータに違和感を与える可能性もある。
【課題を解決するための手段】
【0006】
本発明のある態様は情報処理装置である。この情報処理装置は、工作機械に設置される撮像部による撮像エリアの撮像画像を取得する取得部と、撮像画像を複数の画素を含む大きさのグリッドに区分するグリッド設定部と、グリッド並びの行および列を単位として、撮像画像の外周部を切り取る形で抽出した、撮像画像の一部である抽出領域を表示部の参照画面に表示させる表示制御部と、を備える。表示制御部は、撮像画像から外周部を切り取ることで参照画面の枠よりも小さくなった抽出領域を、抽出領域の輪郭が参照画面の枠に向かって拡大するよう表示部に表示させる。
【0007】
本発明の別の態様は工作機械である。この工作機械は、加工室に設定された撮像エリアを撮像する撮像部と、撮像部による撮像画像を表示する表示部と、撮像画像を複数の画素を含む大きさのグリッドに区分するグリッド設定部と、グリッド並びの行および列を単位として、撮像画像の外周部を切り取る形で抽出した、撮像画像の一部である抽出領域を表示部の参照画面に表示させる表示制御部と、を備える。表示制御部は、撮像画像から外周部を切り取ることで参照画面の枠よりも小さくなった抽出領域を、抽出領域の輪郭が参照画面の枠に向かって拡大するよう表示部に表示させる。
【発明の効果】
【0008】
本発明によれば、工作機械に設置される撮像部の撮像画像をオペレータに違和感を与えないように表示できる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る工作機械の外観を表す斜視図である。
【
図11】オペレータが操作する画面の一例を表す図である。
【
図12】補正処理の流れを表すフローチャートである。
【
図13】清掃制御の流れを概略的に表すフローチャートである。
【
図14】撮像画像の回転角θを3.3度としたときの補正処理を表す図である。
【
図15】変形例に係る情報処理システムの構成を表す図である。
【
図16】変形例に係る画像処理方法を表す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照しつつ、本発明の一実施形態について説明する。
図1は、実施形態に係る工作機械の外観を表す斜視図である。
工作機械1は、工具を適宜交換しながらワークを所望の形状に加工する複合加工機として構成されている。工作機械1は、装置筐体の内部に加工室2が設けられる。加工室2には、ワークを加工する加工装置が設けられる。装置筐体の前面には、加工装置を操作するための操作盤4が設けられる。
【0011】
図2は、工作機械1のハードウェア構成図である。
工作機械1は、情報処理装置100、加工制御装置102、加工装置104、工具交換部106、工具格納部108および撮像部110を含む。加工制御装置102は、数値制御部として機能し、加工プログラム(NCプログラム)にしたがって加工装置104に制御信号を出力する。加工装置104は、加工制御装置102からの指示にしたがって工具主軸(図示略:以下、単に「主軸」という)を動かしてワークを加工する。
【0012】
加工装置104は、主軸を駆動する機構のほか、クーラントを貯留する液体貯留部112、およびクーラントを噴射する液体噴射部114を備える。クーラントは、加工時における工具およびワークの除熱や潤滑のための切削油として用いられるが、加工室2内に飛散した切屑を除去するための洗浄液としても用いられる。液体噴射部114は、液体噴射部114からクーラントをくみ上げるポンプと、クーラントを噴射するノズルと、ノズルを駆動するアクチュエータを備える。
【0013】
情報処理装置100は、操作盤4を含み、オペレータの操作入力に基づいて加工制御装置102に制御指令を出力する。情報処理装置100は、また、オペレータの操作入力に応じて操作盤4のモニタに表示される画面を制御する。工具格納部108は工具を格納する。工具交換部106は、いわゆるATC(Automatic Tool Changer)に対応し、加工制御装置102からの交換指示にしたがって、工具格納部108から工具を取り出し、主軸にある工具と取り出した工具とを交換する。
【0014】
撮像部110は、例えば、CCDやCMOSなどの撮像素子を備えたカメラであり、加工室2内に設定された撮像エリアを撮像する。「撮像エリア」として、ワークの加工により発生する切屑の存在が想定される領域が予め設定される。加工室2内の広い範囲で切屑の分布や堆積状況が把握できるよう、カメラの画角が設定されている。撮像部110は、撮像した画像を情報処理装置100へ出力する。
【0015】
図3は、加工室2内の構成を表す斜視図である。
図3(A)は斜め上方からみた様子を示し、
図3(B)は斜め下方からみた様子を示す。
図3(A)に示すように、加工室2は、四つの側面に囲まれており、その一側面において主軸10が上下および左右に移動可能に設けられている。主軸10は、水平方向の回転軸を有し、先端に工具Tが同軸状に取り付けられる。主軸10と軸線方向に対向する側面は旋回扉12を有する。旋回扉12から水平に支持プレート14が延出している。旋回扉12は、鉛直方向の軸を中心に回転できる扉である。
【0016】
支持プレート14の下方にテーブル16が設けられている。テーブル16にはパレット18が着脱可能に取り付けられ、パレット18にワークが載置され固定される。ワークを固定したパレット18を複数用意しておくことで、パレット18の変更によりワークを変更でき、時間の効率化を図ることができる。
【0017】
テーブル16は、主軸10の軸線方向に移動可能であり、また水平面内で回転できる。テーブル16を回転駆動することで、パレット18上のワークを回転させることができる。テーブル16を直線駆動することで、ワークが工具Tに近接又は離間する。すなわち、テーブル16の回転および移動と、主軸10の移動を制御することにより、ワークを所望に形状に加工できる。
【0018】
テーブル16が主軸10から最も離間する位置において、支持プレート14がパレット18と嵌合する。この状態で旋回扉12を回転させることで、支持プレート14がパレット18をテーブル16から分離させ、パレット18と一体に回転する。それにより、ワークの加工が終了したパレット18を加工室2から搬出するとともに、次に加工するワークが固定されたパレット18を加工室2に搬入できる。
【0019】
テーブル16および主軸10の下方には、切屑を加工室2の外に搬送するためのチップコンベア20が設けられている。テーブル16は、チップコンベア20の上方を移動する。テーブル16の下方にはシュータ22が設けられている。シュータ22は、洗浄によって上方から流れてくる切屑をチップコンベア20上に導く。
【0020】
加工室2においてテーブル16の両サイドに位置する底面は斜面24となっており、加工中に飛散した切屑がシュータ22へ流れやすくなるよう、シュータ22へ向けて下向きに傾斜している。
【0021】
図3(B)に示すように、加工室2の上部はカバー26(天井)により遮蔽されている。カバー26には、クーラントを供給するための複数のノズル28が設置される。本実施形態では、ノズル28がカバー26ごと交換可能な構造とされている。ノズル28は、液体噴射部114を構成し、図示しない配管、バルブおよびポンプ等を介して液体貯留部112に接続される(
図2参照)。ノズル28は、三次元的に回転可能に構成されている。ノズル28を回転させることで、クーラントの噴射方向を制御できる。ノズル28の向きを特定してポンプを駆動することにより、加工室2内の目標に向けてクーラントを噴射できる。ワークの加工により生じた切屑はクーラントにより洗い流され、チップコンベア20により加工室2の外に搬出される。本実施形態では2つのノズル28を設置しているが、その数については適宜設定できる。
【0022】
加工室2の上部にはまた、加工室2内を上方から撮像する複数のカメラ30が設置されている。本実施形態では、加工室2におけるカバー26のやや下方の側壁に2つのカメラ30が取り付けられる。本実施形態では、カメラ30は配線等の都合によりカバー26と一体にできない構造とされている。カメラ30は、撮像部110を構成し、工具Tによるワークの加工状況を撮像するとともに、加工により生じた切屑を撮像する(
図2参照)。カメラ30が2つ設けられることで、一方のカメラ30では撮像できない領域を他方のカメラ30で撮像できる。撮像部110は、撮像した画像を情報処理装置100へ出力する。
【0023】
図4は、カメラ30の構造を模式的に示す図である。
本実施形態のカメラ30は、その光軸L周りの回転が規制された構造を有する。すなわち、カメラ30は、光軸Lに直交するヨー軸L1周りと、光軸Lおよびヨー軸L1に直交するピッチ軸L2周りには回動自在であるが、光軸L周りには回動できない。このため、カメラ30の取り付け誤差などにより、画面に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とがずれた場合、手作業での調整は困難となる。そこで、情報処理装置100は、作業者によるカメラの角度調整に際し、それらの座標のずれを解消するための補正処理を実行する。
【0024】
図5は、情報処理装置100の機能ブロック図である。
情報処理装置100の各構成要素は、CPU(Central Processing Unit)および各種コンピュータプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【0025】
情報処理装置100は、ユーザインタフェース処理部130、データ処理部132およびデータ格納部134を含む。ユーザインタフェース処理部130は、オペレータからの操作入力を受け付けるほか、画像表示など、ユーザインタフェースに関する処理を担当する。データ処理部132は、ユーザインタフェース処理部130により取得されたデータおよびデータ格納部134に格納されているデータに基づいて各種処理を実行する。データ処理部132は、ユーザインタフェース処理部130およびデータ格納部134のインタフェースとしても機能する。データ格納部134は、各種プログラムと設定データを格納する。
【0026】
ユーザインタフェース処理部130は、入力部140および出力部142を含む。入力部140は、操作盤4におけるモニタのタッチパネル等を介してオペレータの操作入力を受け付ける。出力部142は、モニタの画面に画像等を表示する表示部144を含む。出力部142は、その表示によりオペレータに各種情報を提供する。表示部144は、撮像部110による撮像画像を表示する。
【0027】
データ処理部132は、取得部150、グリッド設定部152、検知部154、認識部156、補正部158、表示制御部160および噴射制御部162を含む。
取得部150は、撮像部110により撮像された画像を取得する。グリッド設定部152は、撮像エリアにおける所定の物理量(切屑)の存在を判定するために撮像画像を複数のグリッドに区分(分割)する。グリッドは、特定形状(本実施形態では正方形であるが、幾何学的形状であればよい)を有する(詳細後述)。以下、撮像画像において複数のグリッドにより区分される領域を「グリッド領域」ともいう。また、複数のグリッドにより構成される画像を「グリッド画像」ともいう。
【0028】
検知部154は、入力部140を介したオペレータの操作入力を検知する。詳細については後述するが、オペレータは、表示部144に表示された撮像画像を参照することで、加工室2における切屑の堆積状況を把握できる。オペレータは、そのうえでタッチパネルを介してその撮像画像の領域を指定することで、クーラントによる清掃範囲(噴射範囲)を指示できる。検知部154は、このオペレータによる指示入力を撮像画像における指示位置として検知する。検知部154は、グリッド設定部152によって作成されたグリッド領域に基づいた指示位置を検知してもよい。
【0029】
認識部156は、撮像画像に設定されたグリッド領域に基づいて自動的に切屑を認識し、そのグリッド領域において切屑が存在しているか否かを判定し、また、存在する切屑の量を判定する。これらの判定を「切屑判定」ともいう。認識部156は、グリッド領域に切屑があると判定した場合、グリッド領域に対応する撮像画像上の位置を切屑の堆積位置として認識する。切屑の堆積位置を認識すると、自動検知信号を噴射制御部162へ出力する。自動検知信号は、撮像画像において切屑が堆積していると認識された所定位置に関する情報を少なくとも含む。
【0030】
補正部158は、清掃制御の実行に先立って、オペレータの操作に基づき、カメラ30による撮像エリアの座標と、クーラントの制御指令に用いる座標とを整合させるための補正処理を実行する。この補正処理は、カメラ30の取り付け誤差があることを前提とするものであるため、加工室2にカメラ30を設置した際に行われる。その詳細については後述する。
【0031】
表示制御部160は、カメラ30による撮像画像を表示部144に表示させる。補正部158による補正がなされる場合、表示制御部160は、その補正のための操作画面を表示させ、また補正後の撮像画像を表示させる。この補正に関わる表示画面の例については後に詳述する。
【0032】
噴射制御部162は、清掃制御がなされる場合に加工制御装置102に対し、目標位置に向けたクーラントの噴射指令を出力する。この噴射指令には、クーラントを噴射する位置を特定する情報(噴射経路を特定する情報など)が含まれる。加工制御装置102は、この噴射指令を受けて液体噴射部114を駆動し、クーラントの噴射を制御する。
【0033】
この清掃制御は、クーラントにより加工室2内の切屑を洗い流すもの(つまり加工室2内を洗浄するもの)であり、本実施形態では、自動洗浄モードと手動洗浄モードが選択可能である。噴射制御部162は、自動洗浄モードにおいては、認識部156が出力した自動検知信号に基づいてクーラントを噴射する位置を自動的に設定し、噴射指令を出力する。また、手動洗浄モードにおいては、検知部154が検知したオペレータの領域指定に基づいてクーラントを噴射する位置を設定し、噴射指令を出力する。
【0034】
データ格納部134は、上述した補正処理を実行するための補正処理プログラム、清掃制御を実行するための清掃制御プログラムを含む各種プログラムのほか、これらの処理に必要な各種データを格納する。データ格納部134は、補正情報格納部146および基準情報格納部148を含む。補正情報格納部146は、補正処理に際して取得部150で取得された撮像画像、グリッド設定部152で作成されたグリッド領域(グリッド画像)、認識部156で切屑が存在していると認識された所定位置の情報および切屑の量に関する情報、検知部154で検知された位置情報などを格納する。補正情報格納部146は、また、後述する補正処理にて取得した補正情報(キャリブレーションデータ)を格納する。基準情報格納部148は、補正処理においてオペレータの操作入力をガイドするための画像を格納する。データ格納部134は、また、演算処理が行われる際のワークエリアとしても機能する。
【0035】
ここで、認識部156による切屑認識の概要について説明する。
図6は、認識部156の構成を表すブロック図である。
認識部156は、モデル学習部41、算出部43および判定部44を備える。
【0036】
モデル学習部41は、学習モデルを作成する。学習モデルは、入力としてグリッド設定部152で作成されたグリッド領域の一つを入力すると、当該グリッド領域内の切屑に関する所定の項目のうちどれに該当するか、その確率を算出して出力できるモデルである。この学習モデルは、例えば対となる入力データと出力データを教師データとし、予めCNN(畳み込みニューラルネットワーク)に入力して学習させることで作成できる。本実施形態においては、入力データにグリッド領域を、出力データに当該グリッド領域における切屑の有無および量に関する情報を用いることができる。
【0037】
データ格納部134はモデル記憶部42を含む。モデル記憶部42は、切屑の有無を自動的に判定する学習モデルを記憶する。学習モデルは、必要に応じて算出部43に読み込まれる。
【0038】
算出部43は、撮像画像に基づき、グリッド単位で切屑に関する所定項目の該当確率を算出する。具体的には、算出部43は、モデル学習部41で学習した学習モデルを用いて、グリッド領域について「切屑が多い(クラス2)」、「切屑が少ない(クラス1)」、「切屑がない(クラス0)」という3項目のどれに該当するかに関する確率を算出する。これらのクラスは、撮像エリアで認識された物質(切屑等)の存在度合いを示す。
【0039】
判定部44は、入力されたグリッド領域に関して算出部43が算出した確率から、当該グリッド領域の切屑がクラス0~2のどれに該当するかを判定する。判定部44は、グリッド領域に切屑があると判定(つまり、クラス2またはクラス1であると判定)した場合、グリッド画像における当該グリッド領域の位置に対応した撮像画像上の位置情報を含む自動検知信号を表示制御部160および噴射制御部162に出力する。
【0040】
このようにして、認識部156は、ワークの加工中、または加工終了後、撮像部110で撮像された撮像画像に基づいて自動的に切屑を認識し、クーラントを噴射する自動洗浄を行うことができる。当該自動洗浄は、定期的に実行されてもよいし、作業者による指示など何らかの指示を与えることで実行されてもよい。
【0041】
次に、本実施形態における補正方法について詳細に説明する。
既に述べたように、上述した清掃制御システムを導入する場合、画面に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とがずれる可能性がある。このため、本実施形態では、工作機械1の使用に先立って作業者(オペレータ)がカメラ30の角度を調整するなど、そのずれを解消する作業を行う。なお、説明の便宜上、両座標が一致した状態を「画面の整合状態」とも表現する。
【0042】
図4に関連して説明したように、本実施形態のカメラ30は、光軸周りの回転が規制されているため、その調整には限界がある。このため、そのままではクーラントの噴射制御の目標に設定誤差を生じさせる可能性がある。そこで本実施形態では、補正部158がカメラ30による撮像画像を回転させることで目標の設定誤差を補正する。以下、その詳細について説明する。
【0043】
図7~
図10は、画面表示の補正方法を表す図である。
なお、本実施形態ではカメラ30が複数設けられるため、それぞれのカメラ30について補正が行われるが、便宜上、その一つについての補正を例に説明する。他のカメラ30については同様であるので、説明を省略する。
【0044】
カメラ30は、予め定める撮像エリアが画角に入るように加工室2に設置される。撮像エリアは、切屑の飛散および堆積が予測されるエリアを含む。ここでは、加工室2にカメラ30が設置されたときに、表示部144の画面(参照画面170)に
図7に示す撮像画像P0が表示されたとする。オペレータの操作入力により、画面表示を補正するためのメンテナンスモード(後述)に移行されると、表示制御部160は、撮像画像P0に重ねてベースラインBL(太線)および補助線AL(一点鎖線)を表示させる。
【0045】
ベースラインBLは、画面が整合状態にあるときに加工室2における特定エリアSAの輪郭に沿うよう設定されたラインであり、基準情報格納部148に予め記憶されている。本実施形態では、斜面24およびパレット18のエッジによる境界線で囲まれる領域を特定エリアSAとしている。補助線ALは、本実施形態では撮像画像P0の中心Cを通る十字補助線である。加工室2には画面が整合状態にあるときにその中心Cが重なるマーカMが付されている。マーカMは、撮像エリアに予め設定された中心設定位置に付される。
【0046】
図示の状態では、撮像画像P0の中心CがマーカMからずれている。また、特定エリアSAの輪郭がベースラインBLからずれている。このため、画面は整合状態にない。そこで、オペレータは、まず手作業でカメラ30の角度を可能な範囲で調整し、画面の整合状態に近づける。
【0047】
すなわち、オペレータがカメラ30をヨー軸L1周りおよびピッチ軸L2周りに回動させることで、
図8(A)に示すように、撮像画像P0の中心CがマーカMに重なるようにする。ここまでは手作業で容易に行える。しかし、図示の例ではこの段階でも特定エリアSAの輪郭がベースラインBLからずれている。このため、カメラ30を光軸L周りに回動させることができればずれは解消できるが、本実施形態では上述のように、カメラ30の光軸L周りの回動が規制されている。
【0048】
そこで、
図8(B)に示すように、補正部158が特定エリアSAの輪郭をベースラインBLに合わせるよう、撮像画像P0を中心Cの周りに(つまりカメラ30の光軸Lの回転方向に)回転させる。それにより、画面が整合状態となるようにし、クーラントの噴射制御における目標の設定誤差を補正する。ただし、このとき参照画面170に対して撮像画像P0が傾く結果、画面表示に違和感を生じさせる可能性がある。
【0049】
図9(A)に示すように、グリッド領域GAは、カメラ30の取り付け誤差がない理想的な状態を基準に設定されている。この理想的な状態において、撮像画像P0(点線参照)の縦横比(画面比率)は4:3、グリッド数は28×21とされている。より詳細には、縦方向に平行に配列された複数のグリッド線と、横方向に平行に配列された複数のグリッド線との交点により囲まれるそれぞれの領域がグリッドの一区画となる。各グリッド線は、参照画面170(表示画面)の枠と平行に表示される。また、参照画面170(表示画面)の枠とグリッド線とが重なるように区画してもよいが、
図9(A)のように、参照画面170の枠の内側で枠に隣接する位置にグリッド線が表示される形態でもよい。参照画面170の枠の縦横比も4:3であるため、この理想的な状態においては、撮像画像P0の外枠が参照画面170の枠に接することとなる。
【0050】
本実施形態の撮像画像P0は、3584×2688の画素数を有する画像である。それを視覚的に理解しやすい正方形のグリッドに区画を行う。そうすると、本実施形態では、28×21個のグリッドに区画することができ、1つのグリッドあたり128×128の画素が存在することになる。
また、参照画面170における各グリッドには、撮像画像P0を構成する複数の画素が含まれる。上記理想的な状態においては、グリッド領域GAの大きさと撮像画像P0の大きさとが同じである。そのため、グリッド領域GAの画素数と撮像画像P0の画素数とが一致し、グリッド領域GAには3584×2688の画素が含まれる。
【0051】
本実施形態において、参照画面170と撮像画像P0はともに矩形状(長方形状)をなし、その縦横比は4:3とされている。グリッド領域GAは、参照画面170の枠の内側にグリッドの端部が接するように位置する。なお、1つのグリッドあたりの画素数については、例えば50×50~250×250の範囲で適宜設定できる。1つのグリッドは、堆積する切りくずが画像解析で判別できる程度の大きさに設定することが好ましい。
【0052】
ところで、このような構成において仮に撮像画像P0を光軸周りに回転した場合、撮像画像P0の周縁部においてグリッドに過不足が生じる場合がある。グリッドの一つひとつに画像が対応しなければ、切屑の堆積度合いを正確に判定することはできない。
【0053】
そこで、グリッド領域GAにおいて、画像が確実に含まれる領域(二点鎖線参照)を判定領域JAとし、その判定領域JAのみを切屑判定に利用することとする。すなわち、
図9(B)に示すように、表示制御部160は、画角を回転した後の撮像画像P0の外周部を切り取る形で特定形状の領域を抽出する。以下、このとき抽出された画像の領域を「抽出領域P1」という。抽出領域P1は、判定領域JAに対応する画像であり、撮像画像P0の一部である。本実施形態では、「特定形状」を撮像画像P0と同じ縦横比(4:3)を有する長方形状とする。
【0054】
具体的には、撮像画像P0の右上領域におけるグリッド領域GAの外側では、右から1番目から4番目のグリッドが占有面積50%以下となり、5番目から10番目のグリッドが占有面積50%より大きく80%以下となっている。このようなグリッドごとの占有面積を考慮して抽出領域P1を設定する。撮像画像P0において切り取られる外周部は、グリッドの区画において撮像画像P0が占有している部分が50%以下であるグリッドを含むグリッドの行またはグリッドの列である。
【0055】
なお、ここでいう「切り取り」は、撮像画像P0の外周部を消去して判定領域JAの画像部分を抽出領域P1のデータとして残すものでもよいし、外周部の消去はせずに判定領域JAの画像部分を抽出して抽出領域P1のデータとするものでもよい。
【0056】
切屑判定の画像処理がグリッド単位で行われるため、表示制御部160は、撮像画像P0からの外周部の切り取りをグリッドの行および列の少なくとも一方を単位として実行する。図示の例では、撮像画像P0の回転角θが3度とされており、外周一列分(つまり上下端の2行と左右端の2列分)のグリッド画像と、撮像画像P0においてその外周一列分のグリッド画像が重なる部分が切り取られている。その結果、グリッド領域GA(抽出領域P1)のグリッド数は26×19となっている。1つのグリッドあたりの画素数は128×128で変化しないため、グリッド領域GAの画素数は3328×2432となる。
【0057】
ただし、撮像画像P0の一部である抽出領域P1をそのまま表示すると、参照画面170よりも小さくなり、周囲に余白が形成されて違和感を生じさせる可能性がある。また、抽出領域P1を含む形で撮像画像P0を表示すると、グリッドの区画と参照画面170とが対応せず、作業者に違和感を生じさせる可能性がある。そこで、
図10(A)に示すように、抽出領域P1を予め設定した表示サイズに拡大して参照画面170に表示させる。ここでは、元の撮像画像P0と同じ縮尺で拡大する。すなわち、撮像画像P0から外周部を切り取ることで参照画面170の枠よりも小さくなった抽出領域P1を、その外枠が参照画面170の枠に近接するように拡大して表示させる。このとき、抽出領域P1をその画素数を維持したまま拡大する。このため、参照画面170の枠内に表示される画像の画素数は、撮像画像P0の3584×2688から抽出領域P1の3328×2432に減少することとなる。
【0058】
その結果、
図10(B)に示すように、抽出領域P1は参照画面170と同じサイズとなり、その長方形の辺が元の撮像画像P0の長方形の辺と同じ位置となるように表示される。すなわち、グリッド領域GA(つまり外周部の切り取り後のグリッド領域)におけるグリッドの端部が、参照画面170の枠に近接するように抽出領域P1が拡大される。
【0059】
なお、認識部156による物質(切屑)の認識および判定は、当初に設定したグリッド領域(グリッド数:26×19)で行われる。撮像画像P0の外周が切り取られることで、表示制御部160による画面表示は、その一部となることがある。
【0060】
以上の補正処理により、参照画面170に表示される撮像エリアの座標と、ソフトウェアが認識する撮像エリアの座標とを整合させることができ、クーラントを目標位置に向けて正確認の噴射させることができる。グリッド設定部152が設定するグリッドの位置と、オペレータが画像から認識するグリッドの位置とが一致するようになる。オペレータがタッチパネルを介して指示する位置はいずれかのグリッドに対応し、そのグリッドが重なる画像の領域がクーラントの噴射対象(目標位置)として設定される。
【0061】
上述のようにグリッド領域の外周が切り取られて表示されたとしても、表示中のグリッドの位置と撮像エリアの実際の位置とが正確に対応する。このため、クーラントの噴射制御を高精度に保つことができる。
【0062】
図11は、オペレータが操作する画面の一例を表す図である。
操作盤4のモニタには、
図11(A)に示す画面200が表示される。画面200は、上述した参照画面170と操作画面202とを横並びに含む。操作画面202には、自動洗浄ボタン210、手動洗浄ボタン212、洗浄経路調整ボタン214、詳細設定ボタン216が設けられる。
【0063】
自動洗浄ボタン210は、自動洗浄モードを実行する際に選択される。手動洗浄ボタン212は、手動洗浄モードを実行する際に選択される。洗浄経路調整ボタン214は、クーラントによる洗浄経路を調整する際に選択される。各ボタンを選択すると、それぞれプルダウンメニューが表示され、各洗浄モードにおける操作項目を選択できるが、その詳細については説明を省略する。
【0064】
詳細設定ボタン216を選択すると、図示のようにメンテナンスボタン220、補助線表示ボタン222および画像回転操作部224が表示される。オペレータによりメンテナンスボタン220が選択されることでメンテナンスモードへ移行され、撮像画像P0に重ねてベースラインBLが表示される。また、補助線表示ボタン222がオンにされると、補助線ALが表示される。
【0065】
オペレータは、参照画面170を見ながら、上述のように撮像画像P0の中心CがマーカMに重なるようにカメラ30のヨー角およびピッチ角を調整する。その後、画像回転操作部224の+ボタン又は-ボタンをタッチすることで撮像画像P0の回転角θを調整できる。補正部158は、オペレータにより+ボタンがタッチされるごとに撮像画像P0を時計回りに0.1度ずつ回転させ、-ボタンがタッチされるごとに撮像画像P0を反時計回りに0.1度ずつ回転させる。
図11(B)に示すように、補助線表示ボタン222がオフにされると、補助線ALが非表示とされる。
【0066】
図12は、補正処理の流れを表すフローチャートである。
本処理は、オペレータによるメンテナンスボタン220の選択を契機に実行される。
表示制御部160は、メンテナンス画面として参照画面170に撮像画像P0を表示させ(S10)、ベースラインBLを重ねるように表示させる(S12)。
【0067】
このとき、オペレータにより補助線表示ボタン222がオンにされると(S14のY)、表示制御部160は、補助線ALを表示させる(S16)。補助線表示ボタン222がオフであれば(S14のN)、補助線ALを非表示とする(S18)。画像回転操作部224の操作により画像回転指示がなされると(S20のY)、表示制御部160は、撮像画像P0を回転させる(S22)。
【0068】
このようにして特定エリアSAの輪郭がベースラインBLに重なり、オペレータが図示略の確定ボタンを選択すると(S24のY)、補正部158は、判定領域JAを算出する(S26)。すなわち、撮像画像P0の傾きに応じてグリッド領域GAにおいて画像が確実に含まれる領域を判定領域JAとして設定する。この判定領域JAは、グリッド単位で切屑判定が実行される「AI推論領域」として機能する。
【0069】
表示制御部160は、その判定領域JAに基づき、撮像画像P0から外周部を切り取る形で抽出領域P1を抽出し(S28)、その抽出領域P1を調整(拡大)して参照画面170に表示させる(S30)。補正部158は、この一連の補正情報をキャリブレーションデータとして補正情報格納部146に格納する(S32)。この補正情報として、撮像画像P0の設定角度(回転角θ)、判定領域JAの設定、抽出領域P1の拡大率(設定倍率)等が含まれる。確定ボタンを選択されなければ(S24のN)、S26~S32の処理をスキップする。
【0070】
そして、オペレータにより他のボタンが選択されるなど、予め定めるメンテナンス終了条件が成立すると(S34のY)、表示制御部160は、メンテナンス画面の表示を終了する(S36)。メンテナンス終了条件が成立していなければ(S34のN)、S14に戻る。
【0071】
図13は、清掃制御の流れを概略的に表すフローチャートである。
自動洗浄モードおよび手動洗浄モードのいずれかにおいて清掃制御が開始されると、取得部150が、撮像画像P0を取得する(S40)。続いて、補正部158が、補正情報格納部146に格納された補正情報(キャリブレーションデータ)を読み出し(S42)、撮像画像P0に対して内部処理的に上述した補正処理を反映させる。
【0072】
すなわち、補正部158は、撮像画像P0を設定角度で回転させ(S44)、判定領域を設定し(S46)、抽出画像を抽出する(S48)。続いて、設定倍率で抽出画像を拡大し(S50)、それを撮像画像として画面に表示させる(S52)。そして、オペレータの操作入力により切屑堆積状況の表示指示がなされれば(S54のY)、表示制御部160は、撮像画像に重ねてグリッド画像を表示し(S56)、さらに切屑の堆積状況を表示する(S58)。この切屑堆積状況は、認識部156が判定したクラスに応じて色分けなどの手段により表示される。
【0073】
表示された画像に基づいてオペレータがクーラントの噴射位置(目標)を指示すると(S60のY)、検知部154がこれを検知する。噴射制御部162は、その噴射位置に基づいてクーラントの噴射経路を設定し(S62)、その噴射経路に基づいてクーラントを噴射するよう噴射指令を加工制御装置102へ出力する(S64)。
【0074】
そして、オペレータにより他のボタンが選択されるなど、予め定める洗浄モード終了条件が成立すると(S66のY)、表示制御部160は、洗浄操作画面の表示を終了する(S68)。洗浄モード終了条件が成立していなければ(S66のN)、S40に戻る。
【0075】
以上、実施形態に基づいて工作機械について説明した。
本実施形態では、加工室2におけるカメラ30の設置に取り付け誤差があった場合、作業者(オペレータ)が撮像画像P0を確認しつつ、カメラ30の角度(ヨー角、ピッチ角)を微調整できる。カメラ30は構造上、光軸周りの回転(ロール角)を調整できないが、撮像画像P0を回転させることでその補正を行うことができる。すなわち、本実施形態によれば、工作機械1におけるカメラ30の角度調整に制約があったとしても、画面表示される撮像エリアとソフトウェアが認識する撮像エリアとの整合を図ることができる。このため、オペレータが画面に表示された撮像画像に基づいてクーラントによる切屑の洗浄指示を行う場合であっても、その洗浄指示位置とクーラントの噴射位置とが整合する。つまり、洗浄制御の精度を高く維持することができる。
【0076】
また、本実施形態では、撮像画像P0を補正する際に、回転により傾斜した撮像画像P0から外周部を切り取る形で抽出領域P1を抽出し、予め設定した表示サイズに拡大して表示させるようにした。このため、画面に表示される撮像画像の枠形状を長方形に維持したまま大きさを画面に整合させることができる。このため、補正の有無により(つまり設置するカメラの個体差により)撮像画像の見え方が大きく変化することがなく、補正後の画像によりオペレータに違和感を与えることもない。
【0077】
[変形例]
上記実施形態では、工作機械1を複合加工機として説明したが、ターニングセンタであってもよいし、マシニングセンタであってもよい。また、材料(例えば金属粉末)をレーザで溶かしながら加工する付加加工の機械であってもよい。その場合、加工時に飛散する材料が、物質認識部により認識される「物理量」となる。
【0078】
上記実施形態では、切屑除去のために噴射される流体としてクーラントを例示した。変形例においては、クーラント以外の液体(洗浄液)であってもよいし、空気のような気体であってもよい。その場合、液体噴射部に代えて気体を噴射する気体噴射部を設ける。
【0079】
上記実施形態では、補正処理において撮像画像P0の回転角θが3度となる例を示したが(
図8(B))、回転角θはカメラ30の設置状況に応じて変化することは言うまでもない。抽出領域P1の縦横比を4:3とした場合、例えばθ=1°の場合にグリッド数を27×20、θ=2°の場合にグリッド数を26×20、θ=4°の場合にグリッド数を25×19、θ=5°の場合にグリッド数を25×18とすることができる。
【0080】
図14は、撮像画像P0の回転角θを3.3度としたときの補正処理を表す図である。
この例では、撮像画像P0は、回転角θ=0°であれば参照画面170の枠よりやや大きな形状を有し、その縦横比は参照画面170と同じである(この例では4:3)。撮像画像P0の画素数は、3584×2688となる。参照画面170(表示画面)の画素数は3337×2500となり、撮像画像P0の画素数よりも少ない。
図14に示すように、参照画面170に対する撮像画像P0の回転角θ=3.3°の場合、撮像画像P0の全体を参照画面170に収めることができない。このため、撮像画像P0の外周部を切り取り、参照画面170を最大矩形として収まる撮像画像P0の一部の領域を抽出領域P1として抽出する。言い換えれば、抽出領域P1は、回転後の撮像画像P0の外周部を切り取った残余の部分画像である。
【0081】
抽出領域P1の輪郭は、グリッド領域GAの輪郭と重なる。すなわち、参照画面170に表示され撮像画像P0に重畳するグリッドのうち、グリッドの端部が含まれる領域、つまり1区画領域の全体が含まれるグリッドを内方に有する領域をグリッド領域GAとする。言い換えれば、グリッド並びの行および列を単位としてグリッド領域GAが残される。この場合、グリッド数は26×19となる。このグリッド領域GAは、グリッド単位で所定の判定処理(学習モデルを用いた切屑判定等の処理)がなされる領域である。本変形例では、このグリッド領域GAを抽出領域P1とする。抽出領域P1は参照画面170(参照画面)の内側にあるため、抽出領域P1の画素数は参照画面170の画素数よりも少なく、3328×2432となる。
【0082】
このように撮像画像P0の外周部を切り取ることで参照画面170の枠よりも小さくなった抽出領域P1を、その抽出領域P1の輪郭が参照画面170の枠に向かって拡大するように表示させる(
図10参照)。表示制御部160は、抽出領域P1の上部の輪郭が参照画面170の枠と重なる又は接する位置まで移動した際に、抽出領域P1の拡大処理を止める。本変形例では、抽出領域P1の輪郭をなす2組の平行な二辺のうち一方が参照画面170の枠に接し、他方が参照画面170の枠の内側に位置するように抽出領域P1が拡大される。なお、視覚的には、上の枠があっていれば、下と左右がブランクになっていても、多少の違和感が軽減される。このとき、抽出領域P1をその画素数を維持したまま拡大するため、参照画面170の枠内に表示される画像の画素数は減少する。
【0083】
なお、ここでいう「撮像画像P0の外周部を切り取る形での抽出領域P1の抽出と拡大」は、その外周部を非表示にしたうえで拡大する形態であってもよいし、抽出領域P1を拡大した結果、外周部が参照画面170に表示されない形態であってもよい。
【0084】
上記実施形態では、情報処理装置100を工作機械1の内部コンピュータとし、操作盤4と一体に構成する例を示したが、操作盤4とは独立に構成してもよい。その場合、情報処理装置は、操作盤のモニタをリモートディスクトップとし、表示部として機能させてもよい。あるいは、情報処理装置を工作機械に接続される外部コンピュータとしてもよい。その場合、情報処理装置は、一般的なラップトップPC(Personal Computer)あるいはタブレット・コンピュータであってもよい。
【0085】
図15は、変形例に係る情報処理システムの構成を表す図である。なお、上記実施形態と同様の構成については同一の符号を付し、その詳細な説明を省略する。
本変形例では、情報処理装置が工作機械の外部に設置される。すなわち、情報処理システムは、工作機械301、データ処理装置310およびデータ格納装置312を備える。データ処理装置310が「情報処理装置」として機能する。
【0086】
工作機械301は、加工制御装置102、加工装置104、工具交換部106、工具格納部108、データ処理部330、操作盤304および撮像部110を備える。データ処理部330は、通信部332、グリッド設定部152、検知部154、認識部156および噴射制御部162を含む。通信部332は、受信部および送信部を有し、データ処理装置310およびデータ格納装置312を含む外部装置との通信を担当する。
【0087】
操作盤304は、ユーザインタフェース処理部130およびデータ処理部334を含む。データ処理部334は、オペレータの操作入力に基づいて加工制御装置102に制御指令を出力する。また、オペレータの操作入力に応じて表示部144に表示される画面を制御する。
【0088】
データ処理装置310は、通信部320、補正部158および表示制御部160を含む。通信部320は、受信部および送信部を有し、工作機械301との通信を担当する。データ格納装置312は、補正情報格納部146および基準情報格納部148を含む。データ格納装置312は、本変形例ではデータ処理装置310と有線接続されているが、無線接続されてもよい。他の変形例においては、データ格納装置312は、データ処理装置310の一部として組み込まれてもよい。
【0089】
本変形例ではこのように、上記実施形態における情報処理装置100の機能を工作機械の内部と外部に分ける形で実現する。このような構成によっても上記実施形態と同様の効果を得ることができる。
【0090】
上記実施形態では述べなかったが、グリッドの大きさおよび形状は、必要に応じて変更できるように構成されてもよい。その場合も、撮像画像の外周部をグリッド単位で切り取って抽出画像を得るようにするとよい。
【0091】
上記実施形態では、カメラ30の取り付け誤差を解消するために、作業員(オペレータ)が手作業で30のヨー軸周りおよびピッチ軸周りの角度を調整する例を示した。変形例においては、カメラの角度制御に関し、ヨー軸周りの第1の回動と、ピッチ軸周りの第2の回動とを制御する駆動制御部を設けてもよい。駆動制御部は、補正部による補正に先立ってカメラの光軸が撮像エリアに予め設定された中心設定位置(マーカM)に位置するよう、第1の回動および第2の回動を制御する。
【0092】
上記実施形態では、カメラ30の光軸周りの規制状態として、カメラ30が光軸周りに回転できない構成を例示した。変形例においては、カメラ30が光軸周りに所定量回転できるものの、その回転角が制限された状態でもよい。あるいは、カメラ30そのものは回転可能な構造であるものの、周囲の構造物との干渉を避けるためにその回転が制限されている状態でもよい。
【0093】
上記実施形態では、
図7および
図8に示したように、撮像画像P0の中心Cとカメラ30の光軸Lとが一致し、光軸Lを中心に撮像画像P0を回転させる構成を例示した。変形例においては、撮像画像を光軸とは無関係に回転させてもよい。その場合も、補正部は、特定エリアの輪郭をベースラインに合わせるよう撮像画像を回転させる。具体的には、撮像画像の面に直交し、かつ、撮像画像の中心を通る直交軸を中心に回転させる形態が好ましい。
【0094】
図16は、変形例に係る画像処理方法を表す図である。
本変形例では、
図16上段に示す撮像画像を
図16下段に示すように補正することができる。すなわち、グリッド設定部152は、撮像部110から受信した撮像画像の予め設定された位置にグリッド線を重ねる処理(グリッド線分割処理)を行う。そのように処理すると、グリッド線と撮像画像P10との重なりが
図16上段の図のような関係になる場合がある。このグリット線と撮像画像P10とを重ねたデータは、撮像画像P10と重なる最外周のグリッドについて4辺のグリッド線が表れないグリッド領域が存在する。このような場合に、表示制御部160は、4辺すべてが撮像画像と重ならないグリッド領域を無視し、4辺すべてが撮像画像P10と重なるグリッド区画だけを参照画面の大きさにあわせて表示する処理を行うことが可能である(
図16下段)。また、グリッド設定部152が、4辺が撮像画像P10と重ならないグリッド領域(または4辺が表れないグリッド領域)があることを検出し、4辺が撮像画像P10と重なるように網目状にあるグリッド線全体を上下左右に動かして調整するような処理を行ってもよい。
【0095】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【符号の説明】
【0096】
1 工作機械、2 加工室、4 操作盤、10 主軸、12 旋回扉、14 支持プレート、16 テーブル、18 パレット、20 チップコンベア、22 シュータ、24 斜面、26 カバー、28 ノズル、30 カメラ、100 情報処理装置、102 加工制御装置、104 加工装置、106 工具交換部、108 工具格納部、110 撮像部、112 液体貯留部、114 液体噴射部、130 ユーザインタフェース処理部、132 データ処理部、134 データ格納部、140 入力部、142 出力部、144 表示部、146 補正情報格納部、148 基準情報格納部、150 取得部、152 グリッド設定部、154 検知部、156 認識部、158 補正部、160 表示制御部、162 噴射制御部、170 参照画面、200 画面、202 操作画面、210 自動洗浄ボタン、212 手動洗浄ボタン、214 洗浄経路調整ボタン、216 詳細設定ボタン、220 メンテナンスボタン、222 補助線表示ボタン、224 画像回転操作部、AL 補助線、BL ベースライン、GA グリッド領域、JA 判定領域、M マーカ、P0 撮像画像、P1 抽出画像、SA 特定エリア、T 工具。