特許 7554130 装置判別システム、装置判別方法及び装置判別プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】装置判別システム、装置判別方法及び装置判別プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240911BHJP

【ＦＩ】

G06T7/70 Z

【請求項の数】 18

(21)【出願番号】P 2021017709

(22)【出願日】2021-02-05

(65)【公開番号】P2022120663

(43)【公開日】2022-08-18

【審査請求日】2023-07-06

(73)【特許権者】

【識別番号】390014672

【氏名又は名称】株式会社アマダ

(74)【代理人】

【識別番号】110001612

【氏名又は名称】弁理士法人きさらぎ国際特許事務所

(72)【発明者】

【氏名】▲高▼津 聡志

(72)【発明者】

【氏名】久保田 輝幸

(72)【発明者】

【氏名】志村 佳維

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１１－０３５６６３（ＪＰ，Ａ）

【文献】特開２０１７－１４９４９６（ＪＰ，Ａ）

【文献】特開２０１８－１２０３８８（ＪＰ，Ａ）

【文献】特開２００３－３２９４４８（ＪＰ，Ａ）

【文献】特開２００８－０４６７４９（ＪＰ，Ａ）

【文献】特開２０１６－２０９９９５（ＪＰ，Ａ）

【文献】国際公開第２０２０／１３８３４５（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／０１１３３５２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、
前記積載エリアを撮像可能な撮像装置と、
前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別する制御装置と、を備え、
前記補助装置は、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標を有し、
前記制御装置は、前記撮像画像に含まれる前記指標及び前記ワークを検出し、前記ワークに対する前記配置位置及び前記配置の向きを判別する
装置判別システム。

【請求項2】

前記制御装置は、検出された前記指標と予め記憶された指標モデル画像が示す指標とを比較して、前記配置位置及び前記配置の向きを判別する
請求項１記載の装置判別システム。

【請求項3】

前記補助装置は、天面部を有する装置本体を有し、
前記指標は、少なくとも前記装置本体の前記天面部に設けられている
請求項１又は２記載の装置判別システム。

【請求項4】

前記補助装置は、前記装置本体に前記天面部から傾斜する斜面部を有し、
前記指標は、前記装置本体の前記斜面部に設けられている
請求項３記載の装置判別システム。

【請求項5】

前記斜面部に設けられた前記指標は、前記天面部から最も離隔した箇所に設けられている
請求項４記載の装置判別システム。

【請求項6】

前記天面部に設けられた前記指標は、前記斜面部に設けられた前記指標よりも大きい
請求項４又は５記載の装置判別システム。

【請求項7】

前記補助装置は、前記装置本体に前記天面部と繋がる一対の側面部を有し、
前記指標は、前記装置本体の前記一対の側面部に設けられている
請求項３～６のいずれか１項記載の装置判別システム。

【請求項8】

前記指標は、光透過性を備え、
前記補助装置は、前記装置本体の内部に光源を備える
請求項３～７のいずれか１項記載の装置判別システム。

【請求項9】

前記補助装置は、複数台備えられ、
前記制御装置は、検出した前記指標に基づき判別された前記積載エリア内における各補助装置毎の配置位置及び配置の向きを含む配置状況を判断する
請求項１～８のいずれか１項記載の装置判別システム。

【請求項10】

前記制御装置は、前記撮像画像に基づき前記積載エリア内の前記ワークを検出し、前記配置状況の判断結果に基づいて、前記ワークに対して動作させる補助装置を特定する
請求項９記載の装置判別システム。

【請求項11】

前記積載エリアと離隔した場所に設けられた格納エリア内に格納された前記補助装置を検出可能な検出手段を備え、
前記制御装置は、前記検出手段からの検出結果に基づいて、前記格納エリアにおける前記補助装置の格納状況を判断する
請求項９又は１０記載の装置判別システム。

【請求項12】

所定の警報を報知可能な報知手段を備え、
前記制御装置は、前記配置状況及び／又は前記格納状況の判断結果に基づいて、前記報知手段を制御して前記所定の警報を報知させる
請求項１１記載の装置判別システム。

【請求項13】

積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置が配置された前記積載エリアを、撮像装置により撮像する工程と、
前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別する工程と、を含み、
前記判別する工程では、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標並びに前記ワークを前記撮像画像から検出して、前記ワークに対する前記配置位置及び前記配置の向きを判別する
装置判別方法。

【請求項14】

前記撮像する工程では、前記補助装置が複数台配置された前記積載エリアを撮像し、
前記判別する工程では、検出した前記指標に基づき判別された前記積載エリア内における補助装置毎の配置位置及び配置の向きを含む配置状況を判断する
請求項１３記載の装置判別方法。

【請求項15】

前記制御装置によって前記撮像画像に基づき前記積載エリア内の前記ワークを検出し、前記配置状況の判断結果に基づいて、前記ワークに対して動作させる補助装置を特定する
工程を含む
請求項１４記載の装置判別方法。

【請求項16】

前記積載エリアと離隔した場所に設けられた格納エリア内に格納された前記補助装置を、検出手段により検出する工程と、
前記検出手段からの検出結果に基づいて、前記制御装置により前記格納エリアにおける
前記補助装置の格納状況を判断する工程と、を含む
請求項１４又は１５記載の装置判別方法。

【請求項17】

前記配置状況及び／又は前記格納状況の判断結果に基づいて、前記制御装置により所定の警報を報知可能な報知手段を制御して、前記所定の警報を報知させる工程を含む
請求項１６記載の装置判別方法。

【請求項18】

コンピュータに、
積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置が配置された前記積載エリアを、撮像装置によって撮像して得られた撮像画像を取得させる工程と、
取得された前記撮像画像に基づいて、前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別させる工程と、を実行させる装置判別プログラムであって、
前記判別させる工程では、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標並びに前記ワークを前記撮像画像から検出して、前記ワークに対する前記配置位置及び前記配置の向きを判別させる
装置判別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、装置判別システム、装置判別方法及び装置判別プログラムに関する。

【背景技術】

【0002】

従来から、積載エリアに積載した複数の板材等のワークを供給ロボット等のローディング装置によって、曲げ加工等を行うプレスブレーキ等の加工機へ供給することが行われている。そして、ローディングに際しては、例えば磁力によってワークを浮上させて他のワークから分離するマグネットフロータや、エアの噴射圧力によってワークを他のワークから分離するエアセパレータ（例えば、特許文献１参照）等のワークめくり装置（ワーク一枚取り装置）が用いられている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１４９４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

通常、特許文献１に記載されたエアセパレータを含む従来技術のワークめくり装置は、積載エリアに隣接する位置に設置された設置台に固定された状態で設けられている。このため、積載エリアに対し積載された複数のワークが一箇所に置かれ、これらのワークに対応するワークめくり装置が一つ配置されることが行われている。しかしながら、積載エリアが広い場合は、種類の異なる複数のワークを積載エリア内の複数箇所に配置して、これらのワークに対応するワークめくり装置を複数配置することで、デッドスペースを無くし効率良くローディングを行いたいという市場の要望があった。

【0005】

本発明は、上記事情に鑑みてなされたもので、ワークめくり装置のような積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置の配置位置及び配置の向きを正確に判別することができる装置判別システム、装置判別方法及び装置判別プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る装置判別システムは、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置と、前記積載エリアを撮像可能な撮像装置と、前記撮像装置によって撮像された撮像画像に基づいて、前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別する制御装置と、を備え、前記補助装置は、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標を有し、前記制御装置は、前記撮像画像に含まれる前記指標を検出し、前記配置位置及び前記配置の向きを判別する。

【0007】

本発明の一実施形態において、前記制御装置は、検出された前記指標と予め記憶された指標モデル画像が示す指標とを比較して、前記配置位置及び前記配置の向きを判別する。

【0008】

本発明の他の実施形態において、前記補助装置は、天面部を有する装置本体を有し、前記指標は、少なくとも前記装置本体の前記天面部に設けられている。

【0009】

本発明の更に他の実施形態において、前記補助装置は、前記装置本体に前記天面部から傾斜する斜面部を有し、前記指標は、前記装置本体の前記斜面部に設けられている。

【0010】

本発明の更に他の実施形態において、前記斜面部に設けられた前記指標は、前記天面部から最も離隔した箇所に設けられている。

【0011】

本発明の更に他の実施形態において、前記天面部に設けられた前記指標は、前記斜面部に設けられた前記指標よりも大きい。

【0012】

本発明の更に他の実施形態において、前記補助装置は、前記装置本体に前記天面部と繋がる一対の側面部を有し、前記指標は、前記装置本体の前記一対の側面部に設けられている。

【0013】

本発明の更に他の実施形態において、前記指標は、光透過性を備え、前記補助装置は、前記装置本体の内部に光源を備える。

【0014】

本発明の更に他の実施形態において、前記補助装置は、複数台備えられ、前記制御装置は、検出した前記指標に基づき判別された前記積載エリア内における各補助装置毎の配置位置及び配置の向きを含む配置状況を判断する。

【0015】

本発明の更に他の実施形態において、前記制御装置は、前記撮像画像に基づき前記積載エリア内の前記ワークを検出し、前記配置状況の判断結果に基づいて、前記ワークに対して動作させる補助装置を特定する。

【0016】

本発明の更に他の実施形態において、前記積載エリアと離隔した場所に設けられた格納エリア内に格納された前記補助装置を検出可能な検出手段を備え、前記制御装置は、前記検出手段からの検出結果に基づいて、前記格納エリアにおける前記補助装置の格納状況を判断する。

【0017】

本発明の更に他の実施形態において、所定の警報を報知可能な報知手段を備え、前記制御装置は、前記配置状況及び／又は前記格納状況の判断結果に基づいて、前記報知手段を制御して前記所定の警報を報知させる。

【0018】

本発明に係る装置判別方法は、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置が配置された前記積載エリアを、撮像装置により撮像する工程と、前記撮像装置によって撮像された撮像画像に基づいて、制御装置により前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別する工程と、を含み、前記判別する工程では、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標を前記撮像画像から検出して、前記配置位置及び前記配置の向きを判別する。

【0019】

本発明の一実施形態において、前記撮像する工程では、前記補助装置が複数台配置された前記積載エリアを撮像し、前記判別する工程では、検出した前記指標に基づき判別された前記積載エリア内における各補助装置毎の配置位置及び配置の向きを含む配置状況を判断する。

【0020】

本発明の他の実施形態において、前記制御装置によって前記撮像画像に基づき前記積載エリア内の前記ワークを検出し、前記配置状況の判断結果に基づいて、前記ワークに対して動作させる補助装置を特定する工程を含む。

【0021】

本発明の更に他の実施形態において、前記積載エリアと離隔した場所に設けられた格納エリア内に格納された前記補助装置を、検出手段により検出する工程と、前記検出手段からの検出結果に基づいて、前記制御装置により前記格納エリアにおける前記補助装置の格納状況を判断する工程と、を含む。

【0022】

本発明の更に他の実施形態において、前記配置状況及び／又は前記格納状況の判断結果に基づいて、前記制御装置により所定の警報を報知可能な報知手段を制御して、前記所定の警報を報知させる工程を含む。

【0023】

本発明に係る装置判別プログラムは、コンピュータに、積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置が配置された前記積載エリアを、撮像装置によって撮像して得られた撮像画像を取得させる工程と、取得された前記撮像画像に基づいて、前記積載エリア内における前記補助装置の配置位置及び配置の向きを判別させる工程と、を実行させる装置判別プログラムであって、前記判別させる工程では、前記撮像画像に写る前記補助装置の位置及び方向を識別可能な指標を前記撮像画像から検出して、前記配置位置及び前記配置の向きを判別させる。

【発明の効果】

【0024】

本発明によれば、ワークめくり装置のような積載エリア内に積載されたワークに対する作業を補助する配置自在な可搬性を備えた補助装置の配置位置及び配置の向きを正確に判別することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態に係る装置判別システムの構成例を概略的に示す斜視図である。

【図2】同装置判別システムにおける補助装置を概略的に示す斜視図である。

【図3】同補助装置に設けられた指標の一例を示す図である。

【図4】同指標の他の例を示す図である。

【図5】同装置判別システムにおける制御装置の機能的構成を概略的に示すブロック図である。

【図6】同制御装置のハードウェア構成を概略的に示す構成図である。

【図7】同制御装置において撮像装置により撮像された撮像画像から検出される指標のイメージを示す平面図である。

【図8】同制御装置のディスプレイ上に表示される設定画面の一部の例を示す図である。

【図9】同制御装置の判別処理に伴うオペレーションの一例を示すフローチャートである。

【図10】同制御装置の判別処理に伴うオペレーションの他の例を示すフローチャートである。

【発明を実施するための形態】

【0026】

以下、添付の図面を参照して、本発明の実施の形態に係る装置判別システム、装置判別方法及び装置判別プログラムを詳細に説明する。ただし、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、本実施形態においては、各構成要素の縮尺や寸法が誇張されて示されている場合や、一部の構成要素が省略されている場合がある。

【0027】

図１は、本発明の一実施形態に係る装置判別システム１００の構成例を概略的に示す斜視図である。図１に示すように、本実施形態に係る装置判別システム１００は、パレットＰ上の積載エリアＴＡ内に積載されたワークＷに対する作業（例えば、曲げ加工機等へのローディング等）を補助する補助装置としてのワークめくり装置１０と、積載エリアＴＡを撮像可能な撮像装置としてのカメラ２０と、を備える。

【0028】

また、装置判別システム１００は、装置判別システム１００全体の制御を行うＮＣ装置等の機能を有すると共に、カメラ２０によって撮像された撮像画像に基づいて画像解析や画像補正等の画像処理全般を行う画像処理装置の機能を有し、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きを判別する制御装置３０を備える。

【0029】

なお、本実施形態においては、制御装置３０は、表示装置としてのディスプレイ６９と、キーボードやマウス等の入力装置からなる入力部３５ａと、を備えて構成されているが、これらディスプレイ６９及び入力部３５ａに代わり同等の機能を備えることができるものであれば（例えば、遠隔から利用可能な表示手段や入力手段等）、これに限定されるものではない。

【0030】

また、本実施形態においては、例えば、曲げ加工機等の加工機や、ワーク保持用ロボット等のローディング装置については図示は省略するが、これらの加工機やローディング装置等は、制御装置３０により制御可能な状態で装置判別システム１００に含まれていても良い。

【0031】

また、本実施形態においては、パレットＰの積載エリアＴＡと離隔した場所に、積載エリアＴＡに積載されたワークＷに対応する必要数のワークめくり装置１０を格納するための格納エリア５０が設けられている。そして、この格納エリア５０には、格納されたワークめくり装置１０を個々に検出するための格納センサ５１が設けられている。制御装置３０は、格納センサ５１からの信号に基づいて、格納エリア５０におけるワークめくり装置１０の格納状況を判断し得る。

【0032】

また、本実施形態においては、補助装置としてワークめくり装置１０を例に挙げて説明するが、補助装置はワークＷに対する各種の作業を補助することができるものであれば、これに限定されるものではない。さらに、図示は省略するが、各ワークめくり装置１０、カメラ２０及び制御装置３０は、それぞれ有線又は無線により、互いにデータや信号を送受信可能に接続されている。

【0033】

ワークめくり装置１０は、配置自在な可搬性を備え、パレットＰ上の積載エリアＴＡ内に複数配置されたワークＷにそれぞれ対応するように、積載エリアＴＡの内外の複数箇所に自在に配置され得る。本実施形態においては、ワークめくり装置１０は、積載エリアＴＡ内において各ワークＷに対し、例えば一対一で対応するように複数配置され得る。

【0034】

図２は、装置判別システム１００におけるワークめくり装置１０を概略的に示す斜視図である。図２に示すように、ワークめくり装置１０は、上面視矩形状の外形を有する装置本体１０Ａと、この装置本体１０Ａに対して移動可能且つ積載エリアＴＡ内のワークＷに接触して保持可能となるように、装置本体１０Ａに対していわゆる片持ち状に設けられた可動部であるめくりユニット１０Ｂと、を有する。

【0035】

ワークめくり装置１０のめくりユニット１０Ｂは、例えばエアの噴射圧力及び吸着力によって、パレットＰ上の積載エリアＴＡ内に載置された複数の板状のワークＷのうちの最上部のワークＷを、他のワークＷからめくって分離する機能を有する。このように、ワークめくり装置１０は、めくりユニット１０ＢによってワークＷを一枚取りするための一枚取り装置として用いられ得るが、一枚取り装置の詳細構成については公知であるため、ここでは説明を省略する。なお、本実施形態のワークめくり装置１０においては、めくりユニット１０Ｂの配置側を装置の前方側と定義する。

【0036】

ワークめくり装置１０の装置本体１０Ａは、装置の上方側に設けられた天面部１１と、この天面部１１から装置の前方側において左右二箇所で傾斜する斜面部１２と、天面部１１（及び斜面部１２）と装置の左右側において繋がる一対の側面部１３と、を有する。装置本体１０Ａの天面部１１、斜面部１２及び一対の側面部１３の所定箇所には、それぞれワークめくり装置１０の位置及び方向を識別可能な指標としてのマーカ１４，１５，１６が設けられている。

【0037】

具体的には、マーカ１４，１６は、装置本体１０Ａの天面部１１及び一対の側面部１３の所定箇所に複数設けられ、マーカ１５は、装置本体１０Ａの斜面部１２の所定箇所に複数設けられている。より具体的には、マーカ１４は、装置本体１０Ａの天面部１１における装置の後方側に近い左右二箇所に設けられており、マーカ１６は、装置本体１０Ａの一対の側面部１３における装置の上方側に近い箇所にそれぞれ設けられている。すなわち、マーカ１６は、マーカ１４の側方かつ直下に設けられている。また、マーカ１５は、装置本体１０Ａの二箇所の斜面部１２における傾斜方向両端部近傍箇所にそれぞれ設けられている。

【0038】

図３は、ワークめくり装置１０に設けられたマーカ１４～１６の一例を示す図であり、図４はマーカ１４～１６の他の例を示す図である。ワークめくり装置１０の装置本体１０Ａに設けられたマーカ１４，１５，１６は、例えば、公知のＡｒＵｃｏマーカやＣｈＡｒＵｃｏマーカ等を含むＡＲ（拡張現実）マーカにより構成することができる。

【0039】

図３に示すように、マーカ１４（１５，１６）は、マーカ全体を表す全体領域１８と、マーカによる位置及び方向を識別させるための識別領域１９と、を少なくとも備えたフィルム状部材や板状部材により構成されている。なお、図１、図２及び後述する図７においては、マーカ１４～１６の識別領域１９の図示は省略している。

【0040】

マーカ１４～１６の識別領域１９の形状は、例えば図３に示す例では単純な矩形を組み合わせた形状であるが、図４（ａ）～図４（ｇ）に示すように、複数の矩形や正方形を組み合わせたり、全体領域１８内の識別領域１９の位置を変更したりと、ワークめくり装置１０の位置及び方向を、少なくともそれ単体で識別できる形状であれば、図示のものに限定されるものではなく、より複雑な形状や、より単純な形状等の種々の形状を採用し得る。

【0041】

また、マーカ１４～１６は、カメラ２０の画素数や撮影解像度等の撮像性能に応じてその寸法（全体領域１８及び識別領域１９の大きさや形状等）が設定され得るが、積載エリアＴＡを上方から撮像した撮像画像から十分にワークめくり装置１０の配置位置及び配置の向きを判別可能となるように検出され得るものであれば、少なくとも装置本体１０Ａの天面部１１に一つ設けられていれば良い。すなわち、ワークめくり装置１０が正規の配置状態である場合は、天面部１１が撮像画像に最も写り込みやすいからである。

【0042】

また、本実施形態では、装置本体１０Ａの天面部１１及び斜面部１２の複数箇所に、例えばそれぞれ組となるマーカ１４，１５を設けることによって、マーカ１４，１５の撮像画像からの検出精度や認識精度をより向上させる構成としているが、これに限定されるものではない。

【0043】

また、検出精度等をより向上させるという観点からは、例えば装置本体１０Ａの斜面部１２に設けられたマーカ１５は、天面部１１から最も離隔した箇所、すなわち最も装置の前方側の傾斜方向端部近傍箇所に設けられていれば良い。これにより、天面部１１のマーカ１４及び斜面部１２のマーカ１５をできるだけ離して配置することができるので、誤検出を少なく（若しくは検出誤差を少なく）することができる。

【0044】

そして、天面部１１に設けられたマーカ１４は、さらに最も検出しやすくなるように、斜面部１２に設けられたマーカ１５よりも全体領域１８及び識別領域１９共に寸法が大きいものであると良い。このように、天面部１１のマーカ１４が大きければ、カメラ２０の撮像性能が一般的にこの分野で用いられるものよりも多少低くても容易に検出することが可能となる。

【0045】

なお、装置本体１０Ａの一対の側面部１３に設けられたマーカ１６は、例えばワークめくり装置１０が何らかのアクシデント（例えば、図示しないローディング装置のロボットアーム等と衝突する等）により転倒した場合であっても、ワークめくり装置１０の位置及び方向（積載エリアＴＡ内における転倒時の配置位置及び配置の向き）を識別可能とするために設けられている。

【0046】

そして、装置本体１０Ａの一対の側面部１３と繋がる前面部及び背面部に、それぞれマーカ１６が設けられていないのは、ワークめくり装置１０が転倒した場合であっても、装置本体１０Ａの外形が、これら前面部及び背面部が上向きとなって静止することはほぼない形状だからである。なお、装置本体１０Ａの外形如何によっては、マーカ１６が装置本体１０Ａの前面部及び背面部に設けられていても良いことは言うまでもない。

【0047】

さらに、マーカ１４～１６は、例えば、暗闇環境下において撮像された撮像画像においても、その全体領域１８及び識別領域１９を良好に認識可能となるように、光透過性を備えて構成されていても良い。マーカ１４～１６が光透過性を備える場合は、さらにワークめくり装置１０は、装置本体１０Ａの内部に図示しない光源（ＬＥＤ等）を備えるように構成され得る。

【0048】

このようにすれば、夜間等の暗闇環境下において後述する照明設備がＯＦＦとなっていても、装置本体１０Ａ内の光源をＯＮにしておけば、撮像画像においてマーカ１４～１６をはっきりと認識可能に浮かび上がらせることができるので、積載エリアＴＡ内のワークめくり装置１０のマーカ１４～１６をいわゆる暗視することが可能となる。

【0049】

一方、カメラ２０は、例えば安価で汎用性の高い単眼カメラ（すなわち、１台のカメラ）により構成され、積載エリアＴＡの全体を撮像範囲として撮像可能となるように、パレットＰの積載エリアＴＡの中央直上に、カメラスタンド２１等の支持部材を介して配置されている。なお、図示は省略するが、パレットＰの周囲所定箇所には、積載エリアＴＡに積載されたワークＷに照射光を照射する、複数個の発光ダイオード（ＬＥＤ）等を有する照明設備が設けられている。

【0050】

カメラ２０により積載エリアＴＡを撮像する際には、この照明設備によってワークＷに照射光を照射するようにすれば、撮像画像の明るさを適正露出にて適切に調整することができる。なお、上述した光透過性及び光源を有する構成のマーカ１４～１６を用いれば、例えば照明設備による照射光が装置本体１０Ａの天面部１１に届かない位置に、上記の照明設備が設けられている場合であっても、撮像画像におけるマーカ１４～１６を十分に識別可能に浮かび上がらせることができる。

【0051】

図５は、装置判別システム１００における制御装置３０の機能的構成を概略的に示すブロック図であり、図６は、制御装置３０のハードウェア構成を概略的に示す構成図である。また、図７は、制御装置３０においてカメラ２０により撮像された撮像画像から検出されるマーカ１４，１５のイメージを示す平面図である。

【0052】

図５に示すように、カメラ２０により撮像された撮像画像の画像データは、制御装置３０に入力される。制御装置３０は、機能的には、画像取得部３１と、画像処理部３２と、演算部３３と、記憶部３４と、操作部３５と、を備える。なお、ワークめくり装置１０の積載エリアＴＡ内における配置位置及び配置の向きの判別（以下、このような処理を「判別処理」と呼ぶことがある。）は、主に制御装置３０の画像処理部３２によって行われる。

【0053】

ここで、画像取得部３１は、カメラ２０から出力された撮像画像の画像データを取得する。画像処理部３２は、例えばマーカ検出部３２ａ及びマッチング処理部３２ｂを有し、画像取得部３１が取得した画像データに対して、二値化処理やモルフォロジー処理、ニュートン法を用いた近似処理、テンプレートマッチング処理等を含む各種画像変換・画像解析処理（以下、このような処理を「画像処理」と総称する。）を施して、上記判別処理を実行する。

【0054】

演算部３３は、画像処理部３２からの判別結果に基づいて、ワークめくり装置１０を含めた装置判別システム１００全体を制御するための各種演算処理を行って、各部に対し制御出力を行う。記憶部３４は、ワークＷやワークめくり装置１０を表すＣＡＤデータ、マーカ１４～１６の基準となるモデル（マーカモデル）画像の画像データ、各種プログラムデータ等の、制御装置３０にて利用する各種のデータを読み書き可能に記憶する。

【0055】

なお、マーカモデル画像は、ワークめくり装置１０におけるマーカ１４～１６の高さ位置や回転具合等を加味した場合の該当する画像（例えば、傾いて見えたりする画像や、歪んで見えたりする画像等）が、例えばテンプレート画像として複数種類記憶されている。操作部３５は、制御装置３０のユーザによる操作入力を、入力部３５ａを介して受け付ける。

【0056】

図６に示すように、制御装置３０は、ハードウェア構成として、例えばＣＰＵ６１と、ＲＡＭ６２と、ＲＯＭ６３と、ＨＤＤ（ハードディスクドライブ）６４と、ＳＳＤ（ソリッドステートドライブ）６５と、を備える。また、制御装置３０は、入力Ｉ／Ｆ（インタフェース）６６と、出力Ｉ／Ｆ（インタフェース）６７と、通信Ｉ／Ｆ（インタフェース）６８と、を備える。各構成部６１～６８は、それぞれバス６０によって相互に接続されている。

【0057】

ＣＰＵ６１は、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、ＳＳＤ６５等に記憶された各種プログラムを実行することで制御装置３０を含めた装置判別システム１００の全体を制御すると共に、装置判別プログラムを実行することで、上記画像処理部３２及び演算部３３の機能を実現する。

【0058】

ＲＡＭ６２は、ＣＰＵ６１の作業領域として使用され得る。ＲＯＭ６３は、上記各種プログラムを少なくとも読み出し可能に格納する。ＨＤＤ６４及びＳＳＤ６５は、上述した各種のデータを読み書き可能に記憶し、ＲＡＭ６２、ＲＯＭ６４と共に上記記憶部３４の機能を実現する。

【0059】

入力Ｉ／Ｆ６６には、カメラ２０が接続されて撮像画像が取得される。従って、入力Ｉ／Ｆ６６は、上記画像取得部３１の機能を実現する。これと共に、入力Ｉ／Ｆ６６には、上記操作部３５の入力部３５ａとして機能するタッチパネル６９ａが接続され、ユーザからの操作入力に伴う情報を受け付ける。なお、入力Ｉ／Ｆ６６には、図示しないキーボードやマウス等の入力手段も接続され得る。

【0060】

出力Ｉ／Ｆ６７には、例えば、タッチパネル６９ａが内蔵された、制御装置３０のディスプレイ６９が接続され、モニタ表示される各種情報が出力される。なお、制御装置３０は、通信Ｉ／Ｆ６８を介して、図示しないインターネット等のネットワークや外部機器等と接続され得る。

【0061】

このように構成された制御装置３０による判別処理に際しては、具体的には、まず、画像処理部３２のマーカ検出部３２ａが、エッジ検出処理等によって、例えば図７に示すように、積載エリアＴＡを撮像し画像処理された撮像画像２２から、ワークめくり装置１０の装置本体１０Ａの天面部１１及び斜面部１２に設けられたマーカ１４，１５（又は側面部１３に設けられたマーカ１６、以下同じ。）を検出する。

【0062】

そして、画像処理部３２は、マーカ検出部３２ａにより検出されたマーカ１４，１５の、例えば四隅のピクセル（画素）の位置情報（ピクセル位置）を記憶部３４に記録する。なお、ここで、ピクセル（画素）とは、制御装置３０で撮像画像を取り扱うときの色情報（色調、階調等）を持つ最小単位又は最小要素のことを言う。

【0063】

次に、画像処理部３２は、撮像画像２２内におけるマーカ１４，１５について、記憶部３４に記憶されたＣＡＤデータによる装置の各部の寸法情報や、マーカモデル画像の画像データに基づいて、ワークめくり装置１０における実際のマーカ１４，１５の位置を表す位置モデルを取得する。

【0064】

そして、画像処理部３２は、マッチング処理部３２ｂによって、（１）位置モデルとピクセル位置をニュートン法等の近似処理にかけて、マーカ１４，１５の積載エリアＴＡ内での物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を算出し、（２）算出結果に基づき物理的位置（ｘ，ｙ，ｚ位置）と回転状態（ｒｚ）を反映したマーカ画像を生成し、（３）生成したマーカ画像が示すマーカ１４，１５を、記憶部３４に予め記憶された各種のマーカモデル画像と、例えばテンプレートマッチング処理を行うことによって探索し、（４）探索したマーカモデル画像が示すマーカのマッチング情報を基に、記憶部３４に記憶されたマーカ１４，１５のピクセル位置を更新する、ことを、すなわち、上記（１）～（４）の処理を複数回繰り返すこと、によって判別精度を向上させた上で、ワークめくり装置１０の積載エリアＴＡ内における実際の位置と姿勢（すなわち、配置位置及び配置の向き）を判別する。

【0065】

これにより、例えば積載エリアＴＡ内に配置自在に配置された複数のワークめくり装置１０の配置位置及び配置の向きを、各ワークめくり装置１０毎に正確に把握して配置状況を判断することが可能となる。このため、配置状況が判別したワークめくり装置１０に応じた各種の動作制御等を確実に行うことが可能となる。

【0066】

なお、上述した判別処理はあくまで一例であるため、これに限定されるものではなく、画像認識によってマーカ１４等を検出してワークめくり装置１０の位置及び方向を識別し、積載エリアＴＡ内における配置位置及び配置の向きを判別可能な方法であれば、種々の手法が適用可能である。

【0067】

次に、ワークめくり装置１０を、例えば複数台実際に積載エリアＴＡ内に配置して運用する際のオペレーション例について説明する。本オペレーションにおいては、制御装置３０は、所定の警報を報知可能な報知手段としての図示しないアラーム装置を備えて構成されている。アラーム装置は、警告灯を点灯させたり、警報を音声出力したりすることにより所定の警報を報知可能に構成される。

【0068】

図８は、制御装置３０のディスプレイ６９上に表示される設定画面の一部の例を示す図であり、図９は制御装置３０の判別処理に伴うオペレーションの一例を示すフローチャートである。なお、ここでは、装置判別システム１００において、積載エリアＴＡ及び格納エリア５０のいずれか一方について、最大２台のワークめくり装置１０を配置・格納可能な場合について説明する。

【0069】

図８に示すように、制御装置３０のディスプレイ６９上に表示される設定画面７０は、例えば、数字キーやカーソルキーを有する操作入力領域７１と、ワークめくり装置１０の動作に関する各種のパラメータを設定するパラメータ設定領域７２と、を備える。ここで、ユーザは、ワークめくり装置１０を積載エリアＴＡ内に設置した場合、例えば操作入力領域７１を操作して、パラメータ設定領域７２内の「めくり装置」の設定値を「ＯＮ」に設定する。ワークめくり装置１０を設置していない場合は、上記設定値を「ＯＦＦ」に設定する。

【0070】

すなわち、本オペレーションにおいては、制御装置３０は、図９に示すように、まず、ワークめくり装置１０の積載エリアＴＡ内への装置の配置がＯＮであるか否かを、例えば上記「めくり装置」の設定値の設定状況に基づき判断する（ステップＳ１００）。装置の配置がＯＮではない、すなわちＯＦＦである（ワークめくり装置１０が配置されていない）と判断した場合（ステップＳ１００の「Ｎｏ」）は、本フローチャートの処理を終了するが、装置の配置がＯＮである（すなわち、ワークめくり装置１０が配置されている）と判断した場合（ステップＳ１００の「Ｙｅｓ」）は、次のような処理となる。

【0071】

すなわち、まず、カメラ２０により積載エリアＴＡを撮像して得られた撮像画像を取得して、上述したように画像データを画像解析し（ステップＳ１０１）、マーカ１４～１６を検出して、例えば複数のワークめくり装置１０の装置毎の配置位置及び配置の向きを判別し得る装置検出処理を行う（ステップＳ１０２）。

【0072】

そして、上記ステップＳ１０２の装置検出処理において、装置が検出されなかった場合（ステップＳ１０３の「Ｎｏ」）は、積載エリアＴＡ内への装置の配置がＯＮであると判断したにも拘わらず、実際には装置が検出されなかったという不具合（例えば、装置の設置忘れ等）があるとして、アラーム装置を制御して警報を報知させ（ステップＳ１０４）、本フローチャートによる処理を終了する。

【0073】

一方、装置が検出された場合（ステップＳ１０３の「Ｙｅｓ」）は、積載エリアＴＡ内で検出されたワークめくり装置１０の数が１台であるか２台であるかを判断する（ステップＳ１０５）。検出されたワークめくり装置１０の数が１台であると判断した場合（ステップＳ１０５の「１」）は、例えば撮像画像に基づき、積載エリアＴＡ内のワークＷの輪郭を線画像により抽出する等の画像処理を行って、積載エリアＴＡ内のワークＷを検出する（ステップＳ１０６）。

【0074】

そして、検出したワークＷに対して、上記ステップＳ１０２にて配置位置や配置の向きが判別されたワークめくり装置１０やロボットアーム等の、これらによる干渉の有無を判断するための干渉計算を行って（ステップＳ１０７）、本フローチャートによる処理を終了する。

【0075】

また、検出されたワークめくり装置１０の数が２台であると判断した場合（ステップＳ１０５の「２」）は、上記ステップＳ１０６と同様に、積載エリアＴＡ内のワークＷを検出し（ステップＳ１０８）、上記ステップＳ１０２にて併せて判断された、積載エリアＴＡ内における各ワークめくり装置１０毎の配置位置及び配置の向きを含む配置状況に基づいて、例えば、同一のワークＷに対してワークめくり装置１０が２台設置されているか否かを判断する（ステップＳ１０９）。

【0076】

同一のワークＷに対してワークめくり装置１０が２台設置されていないと判断した場合（ステップＳ１０９の「Ｎｏ」）は、上記ステップＳ１０７と同様に、干渉の有無を判断するための干渉計算を行って（ステップＳ１１０）、本フローチャートによる処理を終了する。

【0077】

一方、同一のワークＷに対してワークめくり装置１０が２台設置されていると判断した場合（ステップＳ１０９の「Ｙｅｓ」）は、積載エリアＴＡ内において一つのワークＷに対してワークめくり装置１０が一対一で配置されなければならないにも拘わらず、その配置態様に不具合（装置の重複設置等）があるとして、上記ステップＳ１０４と同様に、アラーム装置を制御して警報を報知させ（ステップＳ１１１）、本フローチャートによる処理を終了する。このように、本オペレーションによれば、積載エリアＴＡ内にワークめくり装置１０を配置した場合に、上記のような不具合が生じたままの状態でワークＷのローディング等が行われることを、未然に防止することが可能となる。

【0078】

図１０は、制御装置３０の判別処理に伴うオペレーションの他の例を示すフローチャートである。なお、以降においては、既に説明した内容と重複する部分については説明を省略する。ここでは、積載エリアＴＡ及び格納エリア５０におけるワークめくり装置１０の検出数及び格納数に基づくオペレーションについて説明する。

【0079】

図１０に示すように、本オペレーションにおいては、制御装置３０は、カメラ２０により積載エリアＴＡを撮像して得られた撮像画像を、上記ステップＳ１０１と同様に、画像解析し（ステップＳ１２０）、マーカ１４～１６を検出して、例えば複数のワークめくり装置１０の装置毎の配置位置及び配置の向きを判別し得る装置検出処理を行う（ステップＳ１２１）。

【0080】

そして、上記ステップＳ１２１の装置検出処理において、装置が検出された場合（ステップＳ１２２の「Ｙｅｓ」）は、上記ステップＳ１０８等と同様に、積載エリアＴＡ内のワークＷを検出し（ステップＳ１２３）、上記ステップＳ１０９と同様に、同一のワークＷに対してワークめくり装置１０が２台設置されているか否かを判断する（ステップＳ１２４）。

【0081】

同一のワークＷに対してワークめくり装置１０が２台設置されていると判断した場合（ステップＳ１２４の「Ｙｅｓ」）は、上述したようなワークめくり装置１０の配置態様に不具合（装置の重複設置等）があるとして、上記ステップＳ１１１等と同様に、アラーム装置を制御して警報を報知させ（ステップＳ１２５）、本フローチャートによる処理を終了する。

【0082】

一方、同一のワークＷに対してワークめくり装置１０が２台設置されていないと判断した場合（ステップＳ１２４の「Ｎｏ」）は、上記ステップＳ１１０等と同様に、干渉計算を行って（ステップＳ１２６）、干渉があると判断した場合（ステップＳ１２７の「Ｙｅｓ」）は、上記ステップＳ１２５に移行して、以降の処理を繰り返す。

【0083】

また、干渉がないと判断した場合（ステップＳ１２７の「Ｎｏ」）は、上記ステップＳ１０５と同様に、検出されたワークめくり装置１０の数が１台であるか２台であるかを判断する（ステップＳ１２８）。そして、例えば検出されたワークめくり装置１０の数が１台であると判断した場合（ステップＳ１２７の「１」）は、格納センサ５１からの検知信号に基づいて、格納エリア５０内に格納されているワークめくり装置１０の格納数が０台から２台のいずれであるかを判断する（ステップＳ１２９）。

【0084】

ここで、格納数が１台であると判断した場合（ステップＳ１２９の「１」）は、積載エリアＴＡ内で検出されたワークめくり装置１０の数と、格納エリア５０内に格納されたワークめくり装置１０の数とに異常はないと判断することができる。そのため、ワークめくり装置１０が適切に設置・管理されているとして、ワークＷのローディング処理（ステップＳ１３０）に移行して、本フローチャートによる処理を終了する。

【0085】

一方、格納数が０台又は２台であると判断した場合（ステップＳ１２９の「０」又は「２」）は、共にワークめくり装置１０について、積載エリアＴＡ内の数と格納エリア５０内の数とに異常がある（例えば、設置ミスや格納不良等）と判断することができる。このため、ワークめくり装置１０が適切に設置・管理されていないとして、上記ステップＳ１２５等と同様に、アラーム装置を制御して警報を報知させ（ステップＳ１３３）、本フローチャートによる処理を終了する。

【0086】

また、検出されたワークめくり装置１０の数が２台であると判断した場合（ステップＳ１２８の「２」）も、上記ステップＳ１２９と同様に、格納エリア５０内に格納されているワークめくり装置１０の格納数が０台から２台のいずれであるかを判断する（ステップＳ１３２）。

【0087】

ここで、格納数が０台であると判断した場合（ステップＳ１３２の「０」）は、積載エリアＴＡ内及び格納エリア５０内のワークめくり装置１０の数に異常はないと判断することができるので、ワークめくり装置１０が適切に設置・管理されているとして、上記ステップＳ１３０に移行して、本フローチャートによる処理を終了する。

【0088】

一方、格納数が１台又は２台であると判断した場合（ステップＳ１３２の「１」又は「２」）は、共に積載エリアＴＡ内及び格納エリア５０内のワークめくり装置１０の数に異常があると判断することができるので、ワークめくり装置１０が適切に設置・管理されていないとして、上記ステップＳ１３３に移行して、アラーム装置を制御して警報を報知させ、本フローチャートによる処理を終了する。

【0089】

なお、上記ステップＳ１２１の装置検出処理において、装置が検出されなかった場合（ステップＳ１２２の「Ｎｏ」）は、格納センサ５１からの検知信号に基づいて、格納エリア５０内に格納されているワークめくり装置１０の格納数が０台から２台のいずれであるかを判断する（ステップＳ１３１）。

【0090】

そして、格納数が２台であると判断した場合（ステップＳ１３１の「２」）は、積載エリアＴＡ内及び格納エリア５０内のワークめくり装置１０の数に異常はないと判断することができるので、ワークめくり装置１０が適切に設置・管理されているとして、上記ステップＳ１３０に移行して、本フローチャートによる処理を終了する。

【0091】

一方、格納数が０台又は１台であると判断した場合（ステップＳ１３１の「０」又は「１」）は、格納エリア５０内のワークめくり装置１０の数に異常があると判断することができるので、上記と同様にワークめくり装置１０が適切に設置・管理されていないとして、上記ステップＳ１３３に移行して、アラーム装置を制御して警報を報知させ、本フローチャートによる処理を終了する。

【0092】

このように、本オペレーションによれば、積載エリアＴＡ内のみならず格納エリア５０において配置・格納自在に配置された複数のワークめくり装置１０についても、正確に配置状況及び格納状況を判断することが可能となり、ワークＷのローディング等が不具合発生下で行われることを、確実に防止することが可能となる。

【0093】

以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0094】

１０ ワークめくり装置（補助装置）
１０Ａ 装置本体
１０Ｂ めくりユニット（可動部）
１１ 天面部
１２ 斜面部
１３ 側面部
１４，１５，１６ マーカ（指標）
１８ 全体領域
１９ 識別領域
２０ カメラ（撮像装置）
２１ カメラスタンド
２２ 撮像画像
３０ 制御装置
５０ 格納エリア
５１ 格納センサ
１００ 装置判別システム
Ｐ パレット
ＴＡ 積載エリア
Ｗ ワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】