(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-28
(45)【発行日】2023-03-08
(54)【発明の名称】コード位置検出装置及びコード位置検出方法
(51)【国際特許分類】
G01B 11/00 20060101AFI20230301BHJP
G06K 7/14 20060101ALI20230301BHJP
【FI】
G01B11/00 H
G06K7/14 091
G06K7/14 043
(21)【出願番号】P 2018237652
(22)【出願日】2018-12-19
【審査請求日】2021-11-04
(73)【特許権者】
【識別番号】000200334
【氏名又は名称】JFEプラントエンジ株式会社
(73)【特許権者】
【識別番号】000001258
【氏名又は名称】JFEスチール株式会社
(73)【特許権者】
【識別番号】593005644
【氏名又は名称】JFE物流株式会社
(74)【代理人】
【識別番号】100103850
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】大井 卓見
(72)【発明者】
【氏名】廣海 敬明
(72)【発明者】
【氏名】八尋 和広
【審査官】仲野 一秀
(56)【参考文献】
【文献】国際公開第2016/163563(WO,A1)
【文献】特開2001-171839(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G01C 1/00-1/14
5/00-15/14
G06T 7/00-7/90
G06K 7/14
(57)【特許請求の範囲】
【請求項1】
撮影範囲の端部が互いに重複するように撮像装置を移動させ、複数箇所に分散された識別コードをn回(nは2以上の整数)撮影して得られたn個の画像を順次取得する画像取得部と、
前記画像取得部で最初に取得した画像である第1画像から、当該第1画像に含まれる識別コードの、当該第1画像の画像座標系における座標を検出する第1座標検出部と、
前記第1座標検出部で検出した識別コードの座標を記憶する座標記憶装置と、
前記画像取得部でi回目(iは2~nの整数)に取得した画像である第i画像から、当該第i画像に含まれる識別コードの、当該第i画像の画像座標系における座標を検出し、検出した座標を前記座標記憶装置に記憶させるとともに、検出した座標から、前記第i画像と(i-1)回目に取得した第(i-1)画像との両方に含まれる識別コードである重複識別コードの、前記第i画像の画像座標系における座標を検出する第2座標検出部と、
前記第2座標検出部で検出した前記重複識別コードの前記第i画像の画像座標系における座標、及び前記座標記憶装置が記憶している前記重複識別コードの前記第(i-1)画像の画像座標系における座標に基づき、前記座標記憶装置が記憶している識別コードの前記第(i-1)画像の画像座標系における座標のうちの、前記第i画像に含まれていない識別コードの前記第(i-1)画像の画像座標系における座標を、前記第i画像の画像座標系における座標に座標変換して、前記座標記憶装置に記憶させる座標変換部とを備え
、
前記n個の画像は、前記撮像装置を水平方向の一方向に移動させ、前記撮像装置のレンズを前記一方向と交差する水平方向の他の方向に向けて撮影して得た画像であり、
前記第1~第i画像の画像座標系のそれぞれは、画像の横方向に平行な第1座標軸と、画像の縦方向に平行な第2座標軸とから構成される直交座標系であり、
前記識別コードは、複数段のそれぞれに配置された対象物に付されており、
前記座標記憶装置が記憶している前記識別コードの前記第n画像の画像座標系の座標の前記第2座標軸方向の座標値が、前記複数段のそれぞれに対応させて予め定められた複数の数値範囲のいずれに属するかを判定して、前記識別コードが付された前記対象物が配置されている段を判定する配置段判定部を備えるコード位置検出装置。
【請求項2】
前記座標変換部は、前記第2座標検出部で検出した前記重複識別コードの前記第i画像の画像座標系における座標と、前記座標記憶装置が記憶している前記重複識別コードの前記第(i-1)画像の画像座標系における座標との前記第1座標軸方向の座標値の差を算出し、算出した差に基づき、前記座標記憶装置が記憶している識別コードの前記第(i-1)画像の画像座標系における座標の前記第1座標軸方向の座標値を修正することで、前記座標変換を行う請求項1に記載のコード位置検出装置。
【請求項3】
前記座標記憶装置が記憶している前記第n画像の画像座標系における前記対象物の座標の前記第1座標軸方向の座標値に基づき、各段における前記対象物の並び順を判定する並び順判定部を備える請求項
1又は2に記載のコード位置検出装置。
【請求項4】
前記並び順判定部は、互いに隣り合う識別コード間の前記第1座標軸方向の座標値間の差の絶対値が所定の判定値以上であると判定した場合に、前記互いに隣り合う識別コードが付された前記対象物間に空きがあると判定する請求項
3に記載のコード位置検出装置。
【請求項5】
撮影範囲の端部が互いに重複するように撮像装置を移動させ、複数箇所に分散された識別コードをn回(nは2以上の整数)撮影して得られたn個の画像を順次取得する画像取得ステップと、
前記画像取得ステップで最初に取得した画像である第1画像から、当該第1画像の画像
座標系における当該第1画像に含まれる識別コードの座標を検出し、検出した座標を座標記憶装置に記憶させる第1座標検出ステップと、
前記画像取得ステップでi回目(iは2~nの整数)に取得した画像である第i画像から、当該第i画像に含まれる識別コードの、当該第i画像の画像座標系における座標を検出し、検出した座標を前記座標記憶装置に記憶させるとともに、検出した座標から、前記第i画像と(i-1)回目に取得した第(i-1)画像との両方に含まれる識別コードである重複識別コードの、前記第i画像の画像座標系における座標を検出する第2座標検出ステップと、
前記第2座標検出ステップで検出した前記重複識別コードの前記第i画像の画像座標系における座標、及び前記座標記憶装置が記憶している前記重複識別コードの前記第(i-1)画像の画像座標系における座標に基づき、前記座標記憶装置が記憶している識別コードの前記第(i-1)画像の画像座標系における座標のうちの、前記第i画像に含まれていない識別コードの前記第(i-1)画像の画像座標系における座標を、前記第i画像の画像座標系における座標に座標変換して、前記座標記憶装置に記憶させる座標変換ステップとを含
み、
前記n個の画像は、前記撮像装置を水平方向の一方向に移動させ、前記撮像装置のレンズを前記一方向と交差する水平方向の他の方向に向けて撮影して得た画像であり、
前記第1~第i画像の画像座標系のそれぞれは、画像の横方向に平行な第1座標軸と、画像の縦方向に平行な第2座標軸とから構成される直交座標系であり、
前記識別コードは、複数段のそれぞれに配置された対象物に付されており、
前記座標記憶装置が記憶している前記識別コードの前記第n画像の画像座標系の座標の前記第2座標軸方向の座標値が、前記複数段のそれぞれに対応させて予め定められた複数の数値範囲のいずれに属するかを判定して、前記識別コードが付された前記対象物が配置されている段を判定する配置段判定ステップを含むコード位置検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コード位置検出装置及びコード位置検出方法に関する。
【背景技術】
【0002】
従来、複数箇所に分散された識別コードを撮像装置で撮影して得られた画像を取得し、取得した画像から、その画像に含まれる識別コードの座標(位置)を検出するコード位置検出装置が提案されている(例えば、特許文献1参照。)。特許文献1に記載のコード位置検出装置では、パン・チルト機能を有する撮像装置を用い、撮像装置の向きを示すパン・チルト情報を考慮して、識別コードの位置を演算することで、撮像装置で一回に撮影可能な範囲よりも広い範囲に分散された複数の識別コードの位置を検出可能となっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載のコード位置検出装置では、撮像装置のパン・チルト情報を検出するための機構が必要となるので、構成が複雑となる可能性があった。
本発明は、上記の問題点に着目してなされたもので、比較的簡単な構成で、撮像装置で一回に撮影可能な範囲よりも広い範囲に分散された複数の識別コードの位置を検出可能なコード位置検出装置及びコード位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するために、本発明の一態様は、(a)撮影範囲の端部が互いに重複するように撮像装置を移動させ、複数箇所に分散された識別コードをn回(nは2以上の整数)撮影して得られたn個の画像を順次取得する画像取得部と、(b)画像取得部で最初に取得した画像である第1画像から、第1画像に含まれる識別コードの、第1画像の画像座標系における座標を検出する第1座標検出部と、(c)第1座標検出部で検出した識別コードの座標を記憶する座標記憶装置と、(d)画像取得部でi回目(iは2~nの整数)に取得した画像である第i画像から、第i画像に含まれる識別コードの、第i画像の画像座標系における座標を検出し、検出した座標を座標記憶装置に記憶させるとともに、検出した座標から、第i画像と(i-1)回目に取得した第(i-1)画像との両方に含まれる識別コードである重複識別コードの、第i画像の画像座標系における座標を検出する第2座標検出部と、(e)第2座標検出部で検出した重複識別コードの第i画像の画像座標系における座標、及び座標記憶装置が記憶している重複識別コードの第(i-1)画像の画像座標系における座標に基づき、座標記憶装置が記憶している識別コードの第(i-1)画像の画像座標系における座標のうちの、第i画像に含まれていない識別コードの第(i-1)画像の画像座標系における座標を、第i画像の画像座標系における座標に座標変換して、座標記憶装置に記憶させる座標変換部とを備えるコード位置検出装置であることを要旨とする。
【0006】
また、本発明の他の態様は、(a)撮影範囲の端部が互いに重複するように撮像装置を移動させ、複数箇所に分散された識別コードをn回(nは2以上の整数)撮影して得られたn個の画像を順次取得する画像取得ステップと、(b)画像取得ステップで最初に取得した画像である第1画像から、第1画像の画像座標系における第1画像に含まれる識別コードの座標を検出し、検出した座標を座標記憶装置に記憶させる第1座標検出ステップと、(c)画像取得ステップでi回目(iは2~nの整数)に取得した画像である第i画像から、第i画像に含まれる識別コードの、第i画像の画像座標系における座標を検出し、検出した座標を座標記憶装置に記憶させるとともに、検出した座標から、第i画像と(i-1)回目に取得した第(i-1)画像との両方に含まれる識別コードである重複識別コードの、第i画像の画像座標系における座標を検出する第2座標検出ステップと、(d)第2座標検出ステップで検出した重複識別コードの第i画像の画像座標系における座標、及び座標記憶装置が記憶している重複識別コードの第(i-1)画像の画像座標系における座標に基づき、座標記憶装置が記憶している識別コードの第(i-1)画像の画像座標系における座標のうちの、第i画像に含まれていない識別コードの第(i-1)画像の画像座標系における座標を、第i画像の画像座標系における座標に座標変換して、座標記憶装置に記憶させる座標変換ステップとを含むコード位置検出方法であることを要旨とする。
【発明の効果】
【0007】
本発明によれば、比較的簡単な構成で、撮像装置で一回に撮影可能な範囲よりも広い範囲に分散された複数の識別コードの位置を検出可能なコード位置検出装置及びコード位置検出方法を提供することができる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施形態に係るコード位置検出装置の構成を示す構成図である。
【
図2】対象物の撮影方法を説明するための図であって、(a)は対象物の端部側から見た場合を示す図であり、(b)は対象物の側面側から見た場合を示す図である。
【
図3】撮影装置で撮影された画像を示す図であって、(a)は1回目に撮影された画像を示す図であり、(b)は2回目に撮影された画像を示す図であり、(c)は3回目に撮影された画像を示す図であり、(d)はn回目に撮影された画像を示す図である。
【
図4】コード位置検出処理を示すフローチャートである。
【
図5】撮影装置で撮影された画像に含まれる識別コードの座標を示す図であって、(a)は第1画像に含まれる識別コードの座標を示す図であり、(b)は第2画像に含まれる識別コードの座標を示す図であり、(c)は第3画像に含まれる識別コードの座標を示す図であり、(d)は第n画像に含まれる識別コードの座標を示す図である。
【
図6】座標記憶装置に記憶される識別コードの座標を示す図であって、(a)は第1画像の画像座標系X
1Y
1における座標を示す図であり、(b)は第2画像の画像座標系X
2Y
2における座標を示す図であり、(c)は第3画像の画像座標系X
3Y
3における座標を示す図であり、(d)は第n画像の画像座標系X
nY
nにおける座標を示す図である。
【
図7】統一座標系X
nY
nにおける識別コードの座標を示す図である。
【
図8】対象物が配置されている段の判定方法を説明するための図である。
【
図9】座標記憶装置に記憶される段の判定結果を示す図である。
【
図10】各段毎の対象物の並び順の判定方法を説明するための図であって、(a)は並び順の判定手順を示す図であり、(b)は並び順の判定結果を示す図である。
【
図11】座標記憶装置に記憶される対象物の並び順を示す図である。
【
図12】コード位置検出システムの動作を示すシーケンス図でる。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態に係るコード位置検出装置及びコード位置検出方法について、図面を参照しつつ説明する。本実施形態のコード位置検出装置は、対象物に付されて、複数箇所に分散された識別コードを複数回撮影し、撮影して得られたn個の画像から、画像に含まれる複数の識別コードの統一座標系における座標(位置)を検出するためのコード位置検出システムを構成している。なお、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成要素の構造、配置等を、下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内で、種々の変更を加えることができる。
【0010】
(構成)
図1に示すように、本実施形態に係るコード位置検出システム1は、撮像装置2と、コード位置検出装置3とを備えている。撮像装置2とコード位置検出装置3とは、着脱可能なケーブル4を介して、撮像装置2からコード位置検出装置3へ画像を送信可能となっている。ケーブル4としては、例えば、USBケーブルを採用することができる。
なお、本実施形態では、撮像装置2とコード位置検出装置3とを別体とする例を示したが、他の構成を採用することもできる。例えば、撮像装置2とコード位置検出装置3とを一体とする構成としてもよい。一体とする場合、ケーブル4を省略することができる。
【0011】
(撮像装置)
撮像装置2は、
図2(a)(b)に示すように、識別コード5
1、5
2、5
3、5
4、5
5、5
6、5
7、5
8、5
9、5
10、5
11、5
12、5
13、5
14、5
15、5
16、5
17、5
18を撮影するための装置である。撮像装置2としては、例えば、デジタルカメラを採用できる。識別コード5
1~5
18は、対象物6
1、6
2、6
3、6
4、6
5、6
6、6
7、6
8、6
9、6
10、6
11、6
12、6
13、6
14、6
15、6
16、6
17、6
18のそれぞれに付され、対象物6
1~6
18の情報を示すコードである。識別コード5
1~5
18としては、例えば、カメレオンコード(登録商標)、カラービット(登録商標)、QRコード(登録商標)を採用できる。また、対象物6
1~6
18の情報としては、例えば対象物6
1~6
18の識別ID、名称、種類を採用できる。ここで、識別コード5
1~5
18及び対象物6
1~6
18の添字「1」「18」は、識別IDを表す数字である。
【0012】
本実施形態では、対象物61~618として、山積みされた溶接管を用いた場合を説明する。各溶接管は、撮像装置2で一回に撮影可能な範囲よりも広い範囲に分散されている。より具体的には、溶接管の分散範囲は、溶接管の端部側から見た場合に、左右幅が撮影可能範囲よりも広くなっており、上下幅が撮影可能範囲よりも狭くなっている。また、識別コード51~518は、溶接管の端部を覆うキャップ(不図示)の中心部に付されている。
【0013】
そして、撮像装置2では、山積みにされた溶接管(対象物6
1~6
18)の端部側、つまり識別コード5
1~5
18が付されている側から、識別コード5
1~5
18を撮影する。識別コード5
1~5
18の撮影は、人間が手で持って行う。識別コード5
1~5
18の撮影時には、
図3(a)(b)(c)(d)に示すように、撮影範囲の端部が互いに重複するように撮像装置2を右方向から左方向に移動させ、撮像装置2を一定の高さとし、
図2(b)に示した撮像装置2のレンズ7の光軸8を一定方向(例えば、溶接管の延伸方向)として、複数の識別コード5
1~5
18を少しずつn回(nは2以上の整数)撮影してn個の画像9
1、9
2、9
3…9
nを得る。即ち、n個の画像9
1、9
2、9
3…9
nは、撮像装置2を水平方向の一方向に移動させ、撮像装置2のレンズ7をその一方向と交差する水平方向の他の方向に向けて撮影した画像である。ここで、画像9
1、9
2、9
3…9
nの添字「1」「2」「3」「n」は、最初(1回目)に撮影された画像、2回目に撮影された画像、3回目に撮影された画像、n回目に撮影された画像等、何回目に撮影された画像であるかを表す数字である。
【0014】
各画像91、92、93…9nの上下幅には、山積みにされた溶接管(対象物61~618)の1段目から最高段目までが収まるようにする。また、各画像91、92、93…9nの左端部には、左側に隣接する画像91、92、93…9nに含まれる識別コードの少なくとも1つが含まれるようにする。さらに、各画像91、92、93…9nの右端部には、右側に隣接する画像91、92、93…9nに含まれる識別コードの少なくとも1つが含まれるようにする。
なお、本実施形態では、撮像装置2を右方向から左方向に移動させる例を示したが、他の構成を採用することもできる。例えば、撮像装置2を左方向から右方向に移動させる構成としてもよい。また、撮像装置2を中央→右→左の順に移動させる構成としてもよい。さらに、撮像装置2の移動方向を、ランダムに変える構成としてもよい。
【0015】
(コード位置検出装置)
コード位置検出装置3は、画像91、92、93…9nから識別コード51~518の位置を検出するための装置である。例えば、パーソナルコンピュータを採用できる。コード位置検出装置3は、座標記憶装置10及びプロセッサ11等のハードウェア資源を備えている。
座標記憶装置10は、プロセッサ11が実行可能なコード位置検出プログラムを記憶している。また、座標記憶装置10は、コード位置検出プログラムの実行時に各種データを記憶する。座標記憶装置10としては、例えば、ハードディスクドライブを採用できる。
【0016】
プロセッサ11は、撮像装置2がコード位置検出装置3にケーブル4を介して接続された後、コード位置検出装置3への識別コード51~518の位置の検出を指示する操作が検出されると、座標記憶装置10からコード位置検出プログラムを読み出して実行する。そして、コード位置検出プログラムにより、画像取得部12、第1座標検出部13、第2座標検出部14、座標変換部15、配置段判定部16、及び、並び順判定部17等を実現する。画像取得部12、第1座標検出部13、第2座標検出部14、座標変換部15、配置段判定部16及び並び順判定部17等は、コード位置検出処理を実行する。
【0017】
(コード位置検出処理)
次に画像取得部12、第1座標検出部13、第2座標検出部14、座標変換部15、配置段判定部16及び並び順判定部17が実行するコード位置検出処理について説明する。
図4に示すように、まずステップS101では、画像取得部12は、撮像装置2から、識別コード5
1~5
18を撮影して得られたn個の画像9
1、9
2、9
3…9
nのうち、最初(1回目)に撮影して得られた画像9
1(以下、「第1画像9
1」とも呼ぶ)を取得する。
【0018】
続いてステップS102に移行して、第1座標検出部13は、
図5(a)に示すようにステップS102で最初に取得した第1画像9
1から、第1画像9
1に含まれる1又は2以上の識別コード5
j(jは1~18の何れか)の、第1画像9
1の画像座標系X
1Y
1における座標(x
j,y
j)
1を検出する。具体的には、第1座標検出部13は、第1画像9
1から第1画像9
1に含まれる識別コード5
jの検出を試み、検出された識別コード5
jの、第1画像9
1の画像座標系X
1Y
1における座標(x
j,y
j)
1を検出する。ここで、座標(x
j,y
j)
1の添字「1」は、第1画像の画像座標系X
1Y
1における座標であることを表す数字である。また、座標値x
j、y
jの添字「j」は、座標(x
j,y
j)
1に対応する識別コード5
jの識別IDを示す数字である。第1画像9
1の画像座標系X
1Y
1としては、第1画像9
1の左上隅を原点(0、0)
1とし、第1画像9
1の横方向に平行な第1座標軸X
1と、第1画像9
1の縦方向に平行な第2座標軸Y
1とから構成される直交座標系を採用できる。なお、他の画像9
2~9
nの画像座標系X
2Y
2~X
nY
nについても同様の第1及び第2の座標軸を有する直交座標系とする。続いて、第1座標検出部13は、
図6(a)に示すように、検出した識別コード5
jの座標(x
j,y
j)
1を座標記憶装置10に記憶させる。
【0019】
続いてステップS103に移行して、第2座標検出部14は、変数iを「2」に設定する。
続いてステップS104に移行して、画像取得部12は、撮像装置2から、n個の画像9
1、9
2、9
3…9
nのうちのi番目に撮影された画像9
iを取得する。これにより、未取得の画像9
1、9
3…9
nのうちの、撮影日時が最も古い画像が取得される。
続いてステップS105に移行して、第2座標検出部14は、
図5(b)(c)(d)に示すように、画像取得部12でi回目に取得した画像(以下、「第i画像9
i」とも呼ぶ)から、第i画像9
iに含まれる識別コード5
k(kは1~18の何れか)の、第i画像9
iの画像座標系X
iY
iにおける座標(x
k、y
k)
iを検出する。続いて、
図6(b)(c)(d)に示すように検出した座標(x
k、y
k)
iを座標記憶装置10に記憶させる。座標記憶装置10に識別コード5
kの画像座標系X
i-1Y
i-1における座標(x
k、y
k)
i-1が記憶されていると判定した場合には、座標(x
k、y
k)
iは座標(x
k、y
k)
i-1に上書きする。
【0020】
続いて、第2座標検出部14は、検出した座標(x
k、y
k)
iから、第i画像9
iと(i-1)回目に取得された第(i-1)画像9
i-1との両方に含まれる識別コード(以下、「重複識別コード5
l」とも呼ぶ)(lは1~18の何れか)の、第i画像9
iの画像座標系X
iY
iにおける座標(x
l、y
l)
iを検出する。なお、重複識別コード5
lが複数存在する場合には、第1座標軸X
iの座標値が最大となる重複識別コード5
l(
図5(b)(c)(d)の最右の重複識別コード5
l)の重複識別コード5
lの座標(x
l、y
l)
iを検出する。
【0021】
続いてステップS106に移行して、座標変換部15は、座標記憶装置10が記憶している1又は2以上の識別コード5m(mは1~18の何れか)の第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xm、ym)i-1のうちに、第i画像9iに含まれていない識別コード5o(oは1~18の何れか)の第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xo、yo)i-1があるかを判定する。そして、座標(xo、yo)i-1があると判定した場合には、座標(xo、yo)i-1を、第i画像9iの画像座標系XiYiにおける座標(xo、yo)iに座標変換する。(xo、yo)i-1から(xo、yo)iへの座標変換は、ステップS105で検出した重複識別コード5lの第i画像9iの画像座標系XiYiにおける座標(xl、yl)i、及び座標記憶装置10が記憶している重複識別コード5lの第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xl、yl)i-1に基づいて行われる。
【0022】
例えば、座標(xl、yl)iと座標(xl、yl)i-1との第1座標軸Xi、Xi-1方向の座標値の差を算出し、算出した差に基づき、座標記憶装置10が記憶している第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xo、yo)i-1の第1座標軸Xi-1方向の座標値を修正する方法を採用できる。具体的には、座標(xl、yl)iの第1座標軸Xi方向の座標値から、座標(xl、yl)i-1の第1座標軸Xi方向の座標値を減算した差を算出し、算出した差を、座標記憶装置10が記憶している第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xo、yo)i-1それぞれの第1座標軸Xi-1方向の座標値に加算する。
【0023】
続いて、座標変換部15は、
図6(b)(c)(d)に示すように、座標変換した識別コード5
mの座標(x
o、y
o)
iを座標記憶装置10に記憶させる。識別コード5
mの座標(x
o、y
o)
iは、座標変換される前の識別コード5
mの座標(x
o、y
o)
i-1に上書きする。
一方、座標変換部15は、座標記憶装置10が記憶している識別コード5
mの第(i-1)画像9
i-1の画像座標系X
i-1Y
i-1における座標(x
m、y
m)
i-1のうちに、第i画像9
iに含まれていない識別コード5
oの第(i-1)画像9
i-1の画像座標系X
i-1Y
i-1における座標(x
o、y
o)
i-1がないと判定した場合には、そのままステップS107に移行する。
続いてステップS107に移行して、座標変換部15は、変数iがn未満であるかを判定する。そして、n未満であると判定した場合には(Yes)、ステップS108に移行する。一方、n以上であると判定した場合には(No)、ステップS109に移行する。
ステップS108では、変数iに「1」を加算した後、ステップ104に戻る。
【0024】
一方、ステップS109では、配置段判定部16は、複数段に山積みされた対象物6
1~6
18のそれぞれが、複数段のうちの何段目に配置されているかを判定する。対象物6
1~6
18が配置されている段の判定は、座標記憶装置10が記憶している識別コード5
1~5
18の第n画像9
nの画像座標系X
nY
nの座標(x
1、y
1)
n~(x
18、y
18)
nの第2座標軸Y
n方向の座標値y
1~y
18に基づいて行う。例えば、
図8に示すように、座標値y
1~y
18が、複数段のそれぞれに対応させて予め定められた複数の数値範囲Y
low~Y
1,Y
1~Y
2,Y
2~Y
uppのいずれに属するかを判定して、識別コード5
1~5
18が付された対象物6
1~6
18が配置されている段を判定する方法を採用できる。ここで、Y
upp,Y
lowは予め定められたパラメータであり、Y
1,Y
2はY
upp,Y
lowを基に下記(1)(2)式から算出されるパラメータである。この判定方法を採用する場合には、画像座標系X
nY
nにおける全ての段がY
upp~Y
lowの範囲内に入るように、識別コード5
1~5
18を撮影しておく。
Y
1=(Y
upp-Y
low)×1/p+Y
low ………(1)
Y
2=(Y
upp-Y
low)×2/p+Y
low ………(2)
ただし、pは山積みされた対象物6
1~6
18の段数である。また、上記(1)(2)式は、各溶接管の高さ(径)が同じであることを前提としている。
【0025】
続いて、配置段判定部16は、
図9に示すように、対象物6
1~6
18が配置されている段の判定結果を、座標記憶装置10に記憶させる。
続いてステップS110に移行して、並び順判定部17は、対象物6
1~6
18が複数段に山積みされて形成された各段における対象物6
1~6
18の並び順を判定した後、コード位置検出処理を終了する。対象物6
1~6
18の並び順の判定は、座標記憶装置10が記憶している第n画像9
nの画像座標系X
nY
nにおける対象物6
1~6
18の座標(x
1、y
1)
n~(x
18、y
18)
nの第1座標軸X
n方向の座標値x
1~x
18に基づいて行う。例えば、座標値x
1~x
18が大きい順に座標(x
1、y
1)
n~(x
18、y
18)
nをソートし、ソート後の順番通りに右方向から左方向へ対象物6
1~6
18が並んでいると判定する方法を採用できる。
【0026】
対象物6
1~6
18の並び順の判定と同時に、並び順判定部17は、
図10(a)に示すように、互いに隣り合う識別コード5
1~5
18間の第1座標軸X
n方向の座標値間の差の絶対値が所定の判定値X
th以上であるかを判定する。判定値X
thとしては、例えば、画像座標系X
nY
nにおける対象物6
1~6
18の横幅の1.5倍程度の値を採用できる。そして、判定値X
th以上であると判定した場合には、互いに隣り合う識別コード5
1~5
18が付された対象物6
1~6
18間に空きがあると判定する。
図10(a)では、座標(x
14,y
14)及び(x
16,y
16)間の第1座標軸X
n方向の座標値間の差が判定値X
th以上であるため、
図10(b)に示すように、対象物6
14と対象物6
18との間に空きがあると判定される。
続いて、並び順判定部17は、
図11に示すように、各段毎の対象物6
1~6
18の並び順の判定結果を、座標記憶装置10に記憶させた後、コード位置検出処理を終了する。
【0027】
(動作その他)
次に、本発明の実施形態に係るコード位置検出システム1の動作について説明する。
まず、
図12に示すように、オペレータが、撮像装置2を用いて、山積みにされた溶接管(対象物6
1~6
18)の端部側から、識別コード5
1~5
18を撮影し、
図3(a)(b)(c)(d)に示したn個の画像9
1~9
nを得る(ステップS201)。続いて、オペレータが、撮像装置2をコード位置検出装置3にケーブル4を介して接続した後、
図1に示すように識別コード5
1~5
18の位置の検出を指示する操作をコード位置検出装置3に行う。
【0028】
すると、コード位置検出装置3が、コード位置検出処理を開始し、撮像装置2から、
図3(a)に示すように撮影装置2で最初(1回目)に撮影された第1画像9
1を取得する(ステップS202)。
図3(a)では、第1画像9
1には識別コード5
1、5
8が含まれている。続いて、コード位置検出装置3が、第1画像9
1から、第1画像9
1に含まれる識別コード5
1、5
8の第1画像9
1の画像座標系X
1Y
1における座標(x
1,y
1)
1、(x
8,y
8)
1を検出する(ステップS203)。続いて、検出した座標(x
1,y
1)
1、(x
8,y
8)
1を、
図6(a)に示すように座標記憶装置10に記憶させる(ステップS204)。
【0029】
続いて、コード位置検出装置3が、
図3(b)に示すように、2回目に撮影された第2画像9
2を取得する(ステップS205)。
図3(b)では、第2画像9
2には、識別コード5
1、5
2、5
8、5
9、5
14が含まれている。続いて、コード位置検出装置3が、第2画像9
2から、第2画像9
2に含まれる識別コード5
1、5
2、5
8、5
9、5
14の、第2画像9
2の画像座標系X
2Y
2における座標(x
1、y
1)
2、(x
2、y
2)
2、(x
8、y
8)
2、(x
9、y
9)
2、(x
14、y
14)
2を検出する(ステップS206)。続いて、
図6(b)に示すように、検出した座標(x
1、y
1)
2、(x
2、y
2)
2、(x
8、y
8)
2、(x
9、y
9)
2、(x
14、y
14)
2を座標記憶装置10に記憶させる(ステップS207)。これにより、座標記憶装置10に、識別コード5
1、5
2、5
8、5
9、5
14の第2画像9
2の画像座標系X
2Y
2における座標(x
1、y
1)
2、(x
2,y
2)
2、(x
8、y
8)
2、(x
9,y
9)
2、(x
14,y
14)
2が記憶される。
【0030】
続いて、コード位置検出装置3が、
図3(c)に示すように、3回目に撮影された第3画像9
3を取得する(ステップS208)。
図3(c)では、第3画像9
3には、識別コード5
2、5
3、5
9、5
10、5
14、5
15が含まれている。続いて、コード位置検出装置3が、第3画像9
3から、第3画像9
3に含まれる識別コード5
2、5
3、5
9、5
10、5
14、5
15の、第3画像9
3の画像座標系X
3Y
3における座標(x
2、y
2)
3、(x
3、y
3)
3、(x
9、y
9)
3、(x
10、y
10)
3、(x
15、y
14)
3、(x
15、y
15)
3を検出する(ステップS209)。続いて、
図6(c)に示すように、検出した座標(x
2、y
2)
3、(x
3、y
3)
3、(x
9、y
9)
3、(x
10、y
10)
3、(x
15、y
14)
3、(x
15、y
15)
3を座標記憶装置10に記憶させる(ステップS210)。続いて、コード位置検出装置3が、検出した座標(x
2、y
2)
3、(x
3、y
3)
3、(x
9、y
9)
3、(x
10、y
10)
3、(x
15、y
14)
3、(x
15、y
15)
3から、第3画像9
3と第2画像9
2との両方に含まれる識別コード(重複識別コード)5
2、5
9、5
14のうちの、第1座標軸X
3の座標値が最大の重複識別コード5
2の、第3画像9
3の画像座標系X
3Y
3における座標(x
2、y
2)
3を検出する(ステップS211)。続いて、検出した座標(x
2、y
2)
3、及び座標記憶装置10が記憶している座標(x
2、y
2)
2に基づき、座標記憶装置10が記憶している識別コード5
1、5
8の座標(x
1、y
1)
2、(x
8、y
8)
2それぞれを、第3画像9
3の画像座標系X
3Y
3における座標(x
1、y
1)
3、(x
8、y
8)
3に座標変換する(ステップS212)。続いて、座標変換して得た座標(x
1、y
1)
3、(x
8、y
8)
3を、
図6(c)に示すように、座標記憶装置10に記憶させる(ステップS213)。これにより、座標記憶装置10に、識別コード5
1、5
2、5
3、5
8、5
9、5
10、5
14、5
15、つまり、第1~第3画像9
1~9
3の何れかに含まれる識別コードの、第3画像9
3の画像座標系X
3Y
3における座標(x
1、y
1)
3、(x
2,y
2)
3、(x
3、y
3)
3、(x
8,y
8)
3、(x
9,y
9)
3、(x
10、y
10)
3、(x
14,y
14)
3、(x
15,y
15)
3が記憶される。
【0031】
このように、上記フローが繰り返されることで、
図6(d)及び
図7に示すように、第n画像9
nの画像座標系X
nY
nを統一座標系として、統一座標系X
nY
nおける、識別コード5
1~5
18の座標(x
1、y
1)
n~(x
18,y
18)
nが、座標記憶装置10に記憶される。
続いて、コード位置検出装置3が、統一座標系X
nY
nにおける、識別コード5
1~5
18の座標(x
1、y
1)
n~(x
18,y
18)
nに基づき、複数段に山積みされた対象物6
1~6
18のそれぞれが、複数段のうちの何段目に配置されているかを判定する(ステップS214)。続いて、
図9に示すように、対象物6
1~6
18が配置されている段の判定結果を座標記憶装置10に記憶させる(ステップS215)。続いて、コード位置検出装置3が、統一座標系X
nY
nおける、識別コード5
1~5
18の座標(x
1、y
1)
n~(x
18,y
18)
nに基づき、各段毎の対象物6
1~6
18の並び順を判定する(ステップS216)。続いて、
図11に示すように、並び順の判定結果を座標記憶装置10に記憶させる(ステップS217)。
【0032】
これにより、座標記憶装置10に、識別コード5
1~5
18が付されている対象物6
1~6
18が配置されている段と、各段における、対象物6
1~6
18の並び順が記憶される。
本実施形態では、
図4のステップS101、S104が画像取得ステップを構成する。以下同様に、
図4のステップS102が第1座標検出ステップを構成する。また、
図4のステップS105が第2座標検出ステップを構成する。さらに、
図4のステップS106が座標変換ステップを構成する。
【0033】
以上説明したように、本発明の実施形態に係るコード位置検出装置3では、第2座標検出部14が、i回目に取得した画像(第i画像9i)から、第i画像9iに含まれる識別コード5kの、第i画像9iの画像座標系XiYiにおける座標(xk、yk)iを検出し、検出した座標(xk、yk)iを座標記憶装置10に記憶させるとともに、検出した座標(xk、yk)iから、第i画像9iと(i-1)回目に取得した第(i-1)画像9 (i-1)との両方に含まれる識別コード(重複識別コード5l)の、第i画像9 iの画像座標系XiYiにおける座標(xl、yl)iを検出する。また、座標変換部15が、第2座標検出部14で検出した重複識別コード5lの第i画像9iの画像座標系XiYiにおける座標(xl、yl)i、及び座標記憶装置10が記憶している重複識別コード5lの第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xl、yl)i-1に基づき、座標記憶装置10が記憶している識別コード5mの第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xm、ym)i-1のうちの、第i画像9iに含まれていない識別コード5oの第(i-1)画像9i-1の画像座標系XiYiにおける座標(xo、yo)i-1を、第i画像9iの画像座標系XiYiにおける座標(xo、yo)iに座標変換して、座標記憶装置10に記憶させる。これにより、比較的簡単な構成で、撮像装置2で一回に撮影可能な範囲よりも広い範囲に分散された複数の識別コード51~518の位置を検出可能なコード位置検出装置3を提供することができる。それゆえ、広い範囲にわたる識別コード51~518の位置の一覧表示や、探している対象物61~618(溶接管等)の位置の特定及びガイダンス等を行うことができる。
【0034】
同様に、比較的簡単に、撮像装置2で一回に撮影可能な範囲よりも広い範囲に分散された複数の識別コード51~518の位置を検出可能なコード位置検出方法を提供できる。
また、本発明の実施形態に係るコード位置検出装置3では、座標変換部15が、第2座標検出部14で検出した重複識別コード5lの第i画像9 iの画像座標系XiYiにおける座標(xl、yl)iと、座標記憶装置10が記憶している重複識別コード5lの第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xl、yl)i-1との第1座標軸Xi、Xi-1方向の座標値の差を算出し、算出した差に基づき、座標記憶装置10が記憶している識別コード5oの第(i-1)画像9i-1の画像座標系Xi-1Yi-1における座標(xo、yo)i-1それぞれの第1座標軸Xi-1方向の座標値を修正することで、座標変換を行う。それゆえ、座標変換をより簡単に行うことができ、座標変換に必要な演算量を低減できる。
【0035】
さらに、本発明の実施形態に係るコード位置検出装置3では、配置段判定部16が、座標記憶装置10が記憶している識別コード51~518の第n画像9nの画像座標系XnYnの座標(x1、y1)n~(x18、y18)nの第2座標軸Yn方向の座標値y1~y18が、対象物61~618の複数段のそれぞれに対応させて予め定められた複数の数値範囲Ylow~Y1,Y1~Y2,Y2~Yuppのいずれに属するかを判定して、識別コード51~518が付された対象物61~618が配置されている段を判定する。それゆえ、複数段に山積みされた対象物61~618のそれぞれが、複数段のうちの何段目に配置されているかを検出することができる。
【0036】
また、本発明の実施形態に係るコード位置検出装置3では、並び順判定部17が、座標記憶装置10が記憶している第i画像9iの画像座標系XiYiにおける対象物61~618の座標(x1、y1)n~(x18、y18)nの第1座標軸Xn方向の座標値に基づき、各段における対象物61~618の並び順を判定する。それゆえ、複数段に山積みされた対象物61~618の、各段における並び順を検出することができる。
さらに、本発明の実施形態に係るコード位置検出装置3では、並び順判定部17が、互いに隣り合う識別コード51~518間の第1座標軸Xn方向の座標値間の差の絶対値が所定の判定値Xth以上であると判定した場合には、互いに隣り合う識別コード51~518が付された対象物61~618間に空きがあると判定する。それゆえ、対象物61~618間の空きを考慮して、対象物61~618のそれぞれの並び順をより正確に検出することができる。
【0037】
(変形例)
(1)なお、本発明の実施形態に係るコード位置検出装置3では、座標変換部15が、重複識別コード5lの座標(xl、yl)iと座標(xl、yl)i-1との第1座標軸Xi、Xi-1方向の座標値の差を基に、座標記憶装置10が記憶している座標(xo、yo)i-1それぞれの第1座標軸Xi-1方向の座標値を修正することで、座標変換を行う例を示したが、他の構成を採用することもできる。例えば、座標変換部15が、重複識別コード5lの座標(xl、yl)iと座標(xl、yl)i-1との第1座標軸Xi、Xi-1方向の座標値の差、及び第2座標軸Yi、Yi-1方向の座標値の差を基に、座標記憶装置10が記憶している座標(xm、ym)i-1それぞれの第1座標軸Xi-1方向の座標値を修正することで、座標変換を行うようにしてもよい。この場合、第1座標軸Xi、Xi-1方向の座標値の差に基づき、座標記憶装置10が記憶している座標(xo、yo)i-1それぞれの第1座標軸Xi-1方向の座標値を修正すると共に、第2座標軸Yi、Yi-1方向の座標値の差に基づき、座標記憶装置10が記憶している座標(xo、yo)i-1それぞれの第2座標軸Yi、Yi-1方向の座標値を修正する。
【0038】
(2)また、本発明の実施形態に係るコード位置検出装置3では、対象物61~618として溶接管を用い、溶接管の山積み位置の計算に適用する例を示したが、他の構成を採用することもできる。例えば、H形鋼の山積み位置の計算、厚板の重ね積み位置の計算、図書館の書籍の位置の計算、機械部品の装着状況のチェックに適用するようにしてもよい。
【0039】
(3)さらに、本発明の実施形態に係るコード位置検出装置3では、第2座標検出部14で検出した座標(xk、yk)iを、座標記憶装置10の座標(xk、yk)i-1の記憶領域に上書きし、座標変換部15で座標変換した座標(xo、yo)iを、座標記憶装置10の座標(xo、yo)i-1の記憶領域に上書きする例を示したが、他の構成を採用することもできる。例えば、座標(xk、yk)i及び(xo、yo)iを、座標記憶装置10の座標(xk、yk)i-1及び(xo、yo)i-1の記憶領域とは別の記憶領域に書き込むようにしてもよい。
【符号の説明】
【0040】
1…コード位置検出システム、2…撮像装置、3…コード位置検出装置、4…ケーブル、51~518…識別コード、61~618…対象物、7…レンズ、8…光軸、91~918…画像、10…座標記憶装置、11…プロセッサ、12…画像取得部、13…第1座標検出部、14…第2座標検出部、15…座標変換部、16…配置段判定部、17…並び順判定部