(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-30
(45)【発行日】2023-06-07
(54)【発明の名称】トラッキング装置、トラッキング方法、およびプログラム
(51)【国際特許分類】
B65G 1/137 20060101AFI20230531BHJP
B65G 61/00 20060101ALI20230531BHJP
【FI】
B65G1/137 A
B65G61/00 510
(21)【出願番号】P 2022552726
(86)(22)【出願日】2021-11-29
(86)【国際出願番号】 JP2021043580
(87)【国際公開番号】W WO2022114173
(87)【国際公開日】2022-06-02
【審査請求日】2022-09-02
(31)【優先権主張番号】P 2020198065
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006655
【氏名又は名称】日本製鉄株式会社
(74)【代理人】
【識別番号】100090273
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】福田 多一郎
【審査官】福島 和幸
(56)【参考文献】
【文献】特開2007-326700(JP,A)
【文献】特開2017-174284(JP,A)
【文献】国際公開第2014/141534(WO,A1)
【文献】米国特許出願公開第2004/0126015(US,A1)
【文献】国際公開第2009/052854(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
B65G 1/137
B65G 61/00
(57)【特許請求の範囲】
【請求項1】
物品をトラッキングするトラッキング装置であって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得手段と、
前記物品の識別情報を取得する識別情報取得手段と、
前記画像取得手段により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出手段と、
前記位置導出手段により導出された前記物品における前記情報表示位置を、前記識別情報取得手段により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶手段と、を有することを特徴とするトラッキング装置。
【請求項2】
前記物品に表示されている前記表示情報には、当該物品の識別情報が含まれており、
前記識別情報取得手段は、
前記画像取得手段により取得された前記撮像画像に基づいて、前記物品の識別情報を認識する認識手段と、
前記記憶手段に記憶されている前記物品の識別情報を入手する入手手段と、の少なくとも1つの手段を有することを特徴とする請求項1に記載のトラッキング装置。
【請求項3】
前記物品の識別情報と関連付けられて前記記憶媒体に記憶されている前記情報表示位置は、前記表示情報が表示されている三次元位置に関する情報として、当該物品の所定の位置を基準とする三次元位置に関する情報を含み、
前記画像取得手段により取得される前記撮像画像には、前記物品の所定の位置を含む領域が含まれることを特徴とする請求項2に記載のトラッキング装置。
【請求項4】
前記識別情報取得手段は、
前記認識手段と、
前記入手手段と、
前記認識手段により認識された前記物品の識別情報と、前記入手手段により入手された前記物品の識別情報とを照合する照合手段と、
前記照合手段による照合の結果に基づいて、前記画像取得手段により取得された前記撮像画像に含まれる、前記物品の識別情報を特定する特定手段と、を有することを特徴とする請求項2または3に記載のトラッキング装置。
【請求項5】
前記位置導出手段は、2以上の前記画像取得手段により取得された2以上の撮像画像に基づいて、前記表示情報が表示されている前記物品の面の高さ方向の位置を導出することを特徴とする請求項1~4の何れか1項に記載のトラッキング装置。
【請求項6】
物品をトラッキングするトラッキング方法であって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、
前記物品の識別情報を取得する識別情報取得工程と、
前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、を有することを特徴とするトラッキング方法。
【請求項7】
物品をトラッキングする処理をコンピュータに実行させるためのプログラムであって、
前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、
前記物品の識別情報を取得する識別情報取得工程と、
前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、
前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トラッキング装置、トラッキング方法、およびプログラムに関し、特に、物品をトラッキングするために用いて好適なものである。本願は、2020年11月30日に日本に出願された特願2020-198065号に基づき優先権を主張し、それらの内容を全てここに援用する。
【背景技術】
【0002】
厚板を始めとする鉄鋼製品等の製造物は、様々な置場を移動する。そこで、製造物をトラッキングすることが行われる。トラッキングとは、対象物の位置を追跡して特定することである。
特許文献1に記載の技術では、鋼板を降ろしたときの天井クレーンのX-Y座標を当該鋼板の鋼板番号と共に登録することにより鋼板のトラッキングを行う。
【0003】
また、特許文献2に記載の技術では、起重機の水平および垂直方向への移動並びに荷重検出等の動作に基づいて、定置場所算出プログラムにより、三次元座標により示される鋼材の定置場所を算出し、算出した定置場所を示す定置場所情報を当該鋼材の鋼材識別情報に対応付けて記憶する。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第5109451号公報
【文献】特許第3734419号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、鋼板のトラッキングに用いる情報が天井クレーンのX-Y座標である。このため、天井クレーンで搬送することができる範囲でしかトラッキングを行うことができない。また、特許文献1に記載の技術では、天井クレーンのX-Y座標からZ座標を特定することができないので、例えば、複数の鋼板が積み重なる場合に、当該複数の鋼板を正確に特定することができない。
【0006】
また、特許文献2に記載の技術では、鋼材の三次元座標が算出される。しかしながら、特許文献1と同様に、起重機で搬送することができる範囲でしかトラッキングを行うことができない。また、特許文献2に記載の技術で算出される鋼材の三次元座標は、定置場所算出プログラムにより算出される定置場所の三次元座標である。従って、特許文献2に記載の技術では、定置場所算出プログラムで予め定められている定置場所でしか、鋼材をトラッキングすることができない。
【0007】
実際の製造現場においては、製造物は様々な搬送装置で搬送される。また、搬送装置を用いずに作業員が製造物を搬送することもある。また、置場番地が定められていない置場に製造物が置かれることがある。更に、製造物の置き方も様々である。特許文献1、2に記載の技術では、このような製造物をトラッキングすることが容易ではない。これらの課題は、製造物以外の物品においても同様に存在する。
【0008】
本発明は、以上のような問題点に鑑みてなされたものであり、物品のトラッキングの精度を向上させることを目的とする。
【課題を解決するための手段】
【0009】
本発明のトラッキング装置は、物品をトラッキングするトラッキング装置であって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得手段と、前記物品の識別情報を取得する識別情報取得手段と、前記画像取得手段により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出手段と、前記位置導出手段により導出された前記物品における前記情報表示位置を、前記識別情報取得手段により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶手段と、を有することを特徴とする。
【0010】
本発明のトラッキング方法は、物品をトラッキングするトラッキング方法であって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、前記物品の識別情報を取得する識別情報取得工程と、前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、を有することを特徴とする。
【0012】
本発明のプログラムは、物品をトラッキングする処理をコンピュータに実行させるためのプログラムであって、前記物品に表示されている表示情報を含む領域の撮像画像を取得する1または2以上の画像取得工程と、前記物品の識別情報を取得する識別情報取得工程と、前記画像取得工程により取得された前記撮像画像に基づいて、前記表示情報が表示されている三次元位置である情報表示位置を導出する位置導出工程と、前記位置導出工程により導出された前記物品における前記情報表示位置を、前記識別情報取得工程により取得された当該物品の識別情報と関連付けて記憶媒体に記憶する記憶工程と、をコンピュータに実行させることを特徴とする。
【図面の簡単な説明】
【0013】
【
図1】
図1は、工場における製品の流れの一例を説明する図である。
【
図2】
図2は、厚板に対する表示領域の一例を示す図である。
【
図3A】
図3Aは、ステンシルによる表示内容の一例を示す図である。
【
図3B】
図3Bは、ラベルによる表示内容の一例を示す図である。
【
図4】
図4は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。
【
図5】
図5は、厚板が荷役装置で吊り上げられている様子をガータの延設方向(y軸方向)から見た図である。
【
図6A】
図6Aは、厚板の搬送形態の第1の例を示す図である。
【
図6B】
図6Bは、厚板の搬送形態の第2の例を示す図である。
【
図6C】
図6Cは、厚板の搬送形態の第3の例を示す図である。
【
図6D】
図6Dは、厚板の搬送形態の第4の例を示す図である。
【
図6E】
図6Eは、厚板の搬送形態の第5の例を示す図である。
【
図7】
図7は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。
【
図8】
図8は、輸送車両に厚板が荷積みされた状態の一例を示す図である。
【
図9A】
図9Aは、工場内の置場に置かれた厚板の様子の第1の例を示す図である。
【
図9B】
図9Bは、工場内の置場に置かれた厚板の様子の第2の例を示す図である。
【
図9C】
図9Cは、工場内の置場に置かれた厚板の様子の第3の例を示す図である。
【
図10】
図10は、生産設備で厚板が処理される様子の一例を示す図である。
【
図11】
図11は、元の厚板と、切断後の厚板の一例を示す図である。
【
図12】
図12は、トラッキング装置の機能的な構成の一例を示す図である。
【
図14】
図14は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。
【
図15】
図15は、ラベルの物品内位置と、ラベルによる表示における各表示項目の構成要素の位置の一例を示す図である。
【
図17】
図17は、厚板をトラッキングする際のトラッキング装置の処理の一例を説明するフローチャートである。
【
図18】
図18は、ステンシルによる表示領域の三次元位置を導出する方法の一例を説明する図である。
【
図19】
図19は、ステンシルによる表示領域の高さ方向(z軸方向)の位置を導出する方法の一例を説明する図である。
【
図20】
図20は、ステンシルによる表示領域の三次元位置を導出する方法の変形例を説明する図である。
【
図21】
図21は、トラッキング装置のハードウェアの構成の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、本発明の一実施形態を説明する。
尚、長さ、位置、大きさ、間隔等、比較対象が同じであることは、厳密に同じである場合の他、発明の主旨を逸脱しない範囲で異なるもの(例えば、設計時に定められる公差の範囲内で異なるもの)も含むものとする。
【0015】
<工場の概要>
本実施形態では、複数の製鉄所で製造された各種の厚板(例えば厚鋼板)に対して、熱処理や切断等の各種の処理を行う工場を含む場所において、当該厚板をトラッキングする場合を例示する。
図1は、本実施形態の適用対象の工場における製品の流れの一例を説明する図である。
【0016】
図1において、製鉄所で製造された厚板は輸送船に荷積みされる。その後輸送船は、工場の近くの岸壁に着岸する。厚板は、輸送船から荷下ろしされ、輸送車両(トラック等)に荷積みされる。輸送車両により輸送された厚板は、工場に入荷すると、工場内の置場に置かれる。置場に置かれた厚板は、熱処理や切断(ガス切断)等の処理が施された後、倉庫に置かれる。その後、厚板は、工場から需要家に向けて出荷される。
【0017】
<着想>
以上のようにして搬送される厚板の位置を、特許文献1、2に記載の技術のように、搬送機器の動作に基づいてトラッキングすると、トラッキングすることができる範囲に制約が生じる。そこで、本発明者らは、現品管理(各厚板の位置の管理)のために、厚板には、当該厚板の製造メーカによって管理されている情報が表示されていることに着目した。このような情報の表示位置をトラッキングすることは、厚板をトラッキングすることと等価である。そして、このような厚板の製造メーカによって管理されている情報を特定することができれば、厚板を識別することができる。本実施形態は、このような思想に基づいてなされたものである。
【0018】
<厚板に対して施される表示>
図2は、厚板に対する表示領域の一例を示す図である。尚、
図2に示すx軸、y軸、z軸は、
図2と、後述する
図3A、
図3B、
図14~
図15、
図18~
図20との向きの関係を示すものであり、
図4および
図5に示すx-y-z座標の向きとは必ずしも対応しない。尚、x-y-z座標は、例えば、世界座標系で表される座標である。
図2において、表示領域201は、ステンシルによる表示領域である。
図2に示す例では、ステンシルによる表示領域201は、厚板の板面に存在する。尚、
図2に示す破線は仮想線であり、実際には表示されない。
図2に示す例では、ラベル(サイドラベル)202は、厚板の側面(板厚部分)に貼り付けられる。
【0019】
図3Aは、ステンシルによる表示内容の一例を示す図である。尚、前述したように
図3Aに示すx-y-z座標は、
図2等との向きの関係を示すものである。また、
図3Aに示すx-y-z座標において、白丸(〇)の中に黒丸(●)を付している記号は、紙面の奥側から手前側に向かうことを示す。このようなx-y-z座標の表記は、その他の図でも同じである。
図3Aに示す例では、ステンシルによる表示には、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307が含まれる。
【0020】
マーク301は、厚板の製造メーカを表すマークである。需要家名302は、厚板の需要家(購入者)を示す情報である。規格303は、厚板の規格を示す情報である。サイズ304は、厚板のサイズ(例えば、厚み×幅×長さ)を示す情報である。ID305は、厚板を一意に識別するための情報であり、
図3Aに示す例では、板番号(厚板の識別番号)である。従って、同じIDが異なる厚板に付されることはない。需要家コード306は、厚板の製造メーカが需要家から厚板に対して付すことが指定された情報である。注文番号307は、需要家からの厚板の注文を識別するための番号の一部である。
【0021】
マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、厚板に対して一般的に表示され得る情報である。尚、ID305以外の情報は、ステンシルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ステンシルによる表示に含まれていてもよい。
【0022】
尚、例えば、需要家によって、需要家コード306の桁数が異なったり、厚板を製造する製鉄所によって規格303の表記方法が異なったりする。また、例えば、注文番号307は、需要家によって付される場合と付されない場合とがある。また、表示項目の大きさも、厚板を製造する製鉄所によって異なる場合がある。また、ステンシルによる表示領域の位置も、厚板を製造する製鉄所によって異なる場合がある。このように、ステンシルによる表示の内容、位置、および大きさは、厚板を製造する製鉄所および需要家等によって異なる。
【0023】
マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、厚板の製造メーカで管理される情報である。また、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、人が識別可能な情報である。人が識別可能な情報とは、人が当該情報を見た場合に当該情報の意味を理解できることを指す。バーコードおよび2次元コードのように、情報の作成および読み取りに、機械によるエンコードおよびデコードが必要となる情報は、人が識別可能な情報ではない。具体的に、マーク301、需要家名302、規格303、サイズ304、ID305、需要家コード306、および注文番号307は、読み取りに機械によるデコードが不要な情報として、文字、数字、および記号の少なくとも1つを含み、読み取りに機械によるデコードが必要な情報を含まない。
【0024】
図3Bは、ラベルによる表示内容の一例を示す図である。尚、前述したように
図3Bに示すx-y-z座標は、
図2等との向きの関係を示すものである。また、
図3Bに示すx-y-z座標において、白丸の中に×を付している記号は、紙面の手前側から奥側に向かう方向を示す。このようなx-y-z座標の表記は、その他の図でも同じである。
図3Bに示す例では、ラベルによる表示には、規格311、ID312、サイズ313、納期314、および需要家コード315が含まれる。納期314は、厚板の納期を示す情報である。規格311、ID312、サイズ313、需要家コード315は、それぞれ、規格303、サイズ304、ID305、需要家コード306と同じものである。尚、ID312以外の情報は、ラベルによる表示に含まれていなくてもよい。また、前述した情報以外の情報が、ラベルによる表示に含まれていてもよい。ラベルによる表示の内容、位置、および大きさも、ステンシルによる表示と同様に、厚板を製造する製鉄所および需要家等によって異なる。
【0025】
ただし、同一の厚板に対する同一の表示項目が意味する内容は、ステンシルによる表示と、ラベルによる表示とで同じにする。従って、
図3Aに示すステンシルによる表示と、
図3Bに示すラベルによる表示とが同じ厚板に対して行われる場合、ステンシルにより表示されるID305と、ラベルにより表示されるID312とは同じ内容を意味するものとなる。また、ステンシルにより表示される規格303と、ラベルに表示される規格311とは同じ内容を意味するものとなる。サイズ313、需要家コード315についても、それぞれ、サイズ304、需要家コード306と同じ内容を意味するものになる。前述したように、規格303、ID305、サイズ304、および需要家コード306は、厚板の製造メーカで管理される情報である。従って、規格311、ID312、サイズ313、および需要家コード315も、厚板の製造メーカで管理される情報である。また、厚板の納期314も、厚板の製造メーカで管理される情報である。また、規格311、ID312、サイズ313、納期314、および需要家コード315は、人が識別可能な情報である。
尚、厚板には、以上のような表示の他に、例えば、刻印による表示が施されることがある。
【0026】
<厚板の搬送形態>
<<輸送船による輸送>>
図4は、輸送船に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。
図4では、輸送船400に対して、ガントリークレーン410を用いて厚板を荷積みおよび荷下ろしされる場合を例示する。
図5は、厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見た図である。
図4および
図5に示すx-y-z座標は、
図4および
図5の向きの関係を示すものである。
ガントリークレーン410は、荷役装置(トロリー等)411、ガータ(横行桁)412、および脚構造物413を有する、荷役装置411は、搬送対象物を吊り上げた状態で、ガータ412の延設方向(y軸方向)に沿って移動する。
図4では、厚板420が、荷役装置411で吊り上げられ移動する様子を示す。厚板420が荷役装置411で吊り上げられている様子をガータ412の延設方向(y軸方向)から見ると、
図5に示すようになる。
【0027】
尚、
図4および
図5では、荷役装置411により、1枚の厚板420が吊り上げられる様子を例示する。しかしながら、荷役装置411による厚板の搬送形態は、このような搬送形態に限定されない。
図6A~
図6Eは、厚板の搬送形態の第1~第5の例を示す図である。
図6A~
図6Eでは、荷役装置411をより簡略化して示す。
【0028】
図6Aでは、水平面(x-y平面)方向に2枚の厚板が並べられた状態で荷役装置411により同時に搬送されている状態を例示する。
図6Bでは、荷役装置411のtop側(x軸の負の方向側)において1枚の厚板が搬送されている状態を例示する。
図6Cでは、荷役装置411のbottom側(x軸の正の方向側)において1枚の厚板が搬送されている状態を例示する。
図6Dでは、荷役装置411の中央において1枚の厚板が搬送されている状態を例示する。
図6Eでは、複数枚(2枚)の厚板が積み重ねられた状態で荷役装置411により同時に搬送されている状態を例示する。このように、本実施形態では、複数枚の厚板が積み重ねられた状態で同時に搬送されている場合がある。
【0029】
以上のように、荷役装置411による厚板の搬送形態は限定されない。また、荷役装置411による厚板の吊り上げの手法は、マグネットによる磁気吸引力を利用した手法でも、ハッカーを利用した手法でも、その他の手法でもよい。
ガントリークレーン410自体は、公知の技術で説明することができるので、ここでは詳細な説明を省略する。
【0030】
製鉄所で製造された厚板は、岸壁に運ばれ、ガントリークレーン410で搬送可能な所定の置場に置かれる。
図4に示すように複数枚の厚板は、積み重ねられた状態で所定の置場に置かれる場合がある。厚板が1枚ずつ所定の置場に置かれる場合もある。また、
図4等では、表記の都合上、複数枚の厚板の厚み(板厚)が同じである場合を例示する。しかしながら、複数枚の厚板の厚みが異なる場合がある。即ち、所定の置場に置かれる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
【0031】
図4では、厚板の板面が、厚板が置かれる面と平行となるように複数の厚板を重ねて置く場合を例示する。ただし、厚板を重ねて置く方法は、このような方法に限定されない。例えば、厚板の板面が、厚板が置かれる面と垂直または垂直に近い角度となるように複数の厚板を重ねて置く場合もある。このことは、岸壁の所定の置場以外の位置においても同じである。
【0032】
本実施形態では、ガータ412および脚構造物413に、第1の撮像装置430a~430fが取り付けられている。第1の撮像装置430a~430fの数および位置は、厚板のステンシルによる表示領域201およびラベル202による表示領域としてできるだけ多くの厚板の表示領域が撮像されるように設定される。また、荷役装置411にも、第1の撮像装置430g~430mが取り付けられている。第1の撮像装置430a~430mの数および位置は、第1の撮像装置430a~430mの少なくとも1つの撮像装置で、ガントリークレーン410により搬送中の厚板420のステンシルによる表示領域201およびラベル202による表示領域の少なくとも一方が可及的に撮像されるように設定される。
【0033】
第1の撮像装置430a~430mは、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。当該撮像条件の調整は、オペレータ(作業員)が第1の撮像装置を操作することにより行われても、外部装置からの指示に基づいて自動的に行われてもよい。また、例えば、ガータ412に取り付けられる第1の撮像装置430g~430mのうち、搬送中の厚板420に近い位置に取り付けられる第1の撮像装置430i~430mは、ファイバースコープカメラであってもよい。ファイバースコープカメラを用いれば、例えば、搬送中の厚板420のステンシルによる表示領域201およびラベル202による表示領域を接写することができる。
【0034】
尚、第1の撮像装置によって撮像される撮像画像は、静止画像に限定されず、動画像であってもよい。第1の撮像装置によって撮像される撮像画像が動画像である場合、第1の撮像装置によって撮像された動画像から取り出された画像(すなわち、動画像のフレームの画像)が後述するトラッキング装置1200で用いられる。このようにする場合、第1の撮像装置によって撮像された動画像から、第1の撮像装置で撮像される被写体にできるだけピントが合った静止画像が取り出されるようにするのが好ましい。このように撮像装置によって撮像される撮像画像が静止画像に限定されないことは、後述する第2の撮像装置~第7の撮像装置においても同じである。
【0035】
製鉄所から搬送された厚板は、ガントリークレーン410の所定の置場に置かれる。ガントリークレーン410の所定の置場に置かれた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430c~430fにより撮像される。オペレータ(作業員)は、ガントリークレーン410の操作室にある情報処理端末や、ガントリークレーン410のオペレータ(作業員)の手持ちの情報処理端末(タブレット端末等)を操作して、第1の撮像装置430c~430fに対してプレビュー画像の表示指示を行う。第1の撮像装置430c~430fは、プレビュー画像の表示指示に基づいて、プレビュー画像を、当該情報処理端末に送信する。そうすると、当該情報処理端末によりプレビュー画像が表示される。オペレータ(作業員)は、当該情報処理端末を操作して、撮影すべきステンシルによる表示領域が表示されたプレビュー画像を撮像している第1の撮像装置に対して撮像指示を行う。第1の撮像装置430c~430fは、撮像指示を受信すると、ステンシルによる表示領域201を含む領域の撮像画像を撮像する。尚、プレビュー画像は、オペレータ(作業員)による確認のために表示されるライブ画像であり、プレビュー画像の表示指示に基づいて表示されるものとする。撮像画像は、プレビュー画像が表示されているときに撮像指示に基づいて撮像される画像であるものとする。また、ここでは、プレビュー画像を表示する場合を例示するが、必ずしもプレビュー画像を表示する必要はない。
【0036】
複数枚の厚板が積み重ねられて同時に搬送される場合、下にある厚板については、ステンシルによる表示領域201を含む領域を撮像することができない。この場合、ステンシルによる表示領域201を含む領域の撮像画像に代えて、ラベル202による表示領域を含む領域の撮像画像が撮像される。
【0037】
厚板が置かれる位置によっては、ステンシルによる表示領域201およびラベル202による表示領域が、第1の撮像装置430c~430fの撮像範囲に含まれない場合がある。この場合、オペレータ(作業員)は、第1の撮像装置を備える無人航空機(ドローン)440a~440bを操作して、所望の厚板の、ステンシルによる表示領域201を含む領域(またはラベル202による表示領域を含む領域)の撮像画像を、第1の撮像装置を用いて撮像してもよい。また、オペレータ(作業員)の手持ちの第1の撮像装置により、所望の厚板の、ステンシルによる表示領域201を含む領域(またはラベル202による表示領域を含む領域)の撮像画像を撮像してもよい。尚、オペレータ(作業員)の手持ちの第1の撮像装置は、例えば、第1の撮像装置を備える情報端末装置(タブレット端末やスマートフォン等)であってもよい。
【0038】
尚、前述した第1の撮像装置430c~430fによるプレビュー画像の表示と撮像画像の撮像は、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wにおいても同様に実行される。また、複数枚の厚板が積み重ねられて同時に搬送される場合に、ラベル202による表示領域を含む領域の撮像画像を撮像することは、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wにおいても同様に実行される。また、ステンシルによる表示領域201およびラベル202による表示領域が、第1の撮像装置430c~430fの撮像範囲に含まれない場合の撮像の方法は、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wについても同じである。従って、以下において、第1の撮像装置430c~430f以外の第1の撮像装置430a~430b、430g~430wについてのこれらの詳細な説明を省略する。
【0039】
厚板は、ガントリークレーン410の所定の置場に置かれた後、ガントリークレーン410により輸送船400に荷積みされる。複数枚の厚板が積み重ねられた状態で同時に輸送船400に荷積みされる場合がある。厚板が1枚ずつ輸送船400に荷積みされる場合もある。また、輸送船400に荷積みされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
【0040】
ガントリークレーン410により搬送中の厚板の、ステンシルによる表示領域201を含む領域の撮像画像が、荷役装置411に取り付けられている第1の撮像装置430g~430mにより撮像される。
【0041】
厚板が輸送船400に荷積みされると、当該厚板の、ステンシルによる表示領域201を含む領域の撮像画像が、ガータ412に取り付けられている第1の撮像装置430a~430bまたは輸送船400に取り付けられている第1の撮像装置430nにより撮像される。輸送船400に取り付けられている第1の撮像装置430nも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。尚、
図4では、表記の都合上、輸送船400に取り付けられる第1の撮像装置の数を1つとしている。しかしながら、輸送船400には、厚板が置かれる領域が撮像範囲に含まれるように複数の第1の撮像装置が取り付けられている。
【0042】
以上のようにして厚板が荷積みされた輸送船400は、工場の近くの岸壁に着岸する。前述したように輸送船400から厚板が荷下ろしされる。前述したように本実施形態では、ガントリークレーン410を用いて厚板が荷下ろしされる。ガントリークレーン410により搬送中の厚板についても、輸送船400に荷積みする場合と同様にして撮像画像が撮像される。また、ガンドリークレーン410により荷下ろしされ、ガンドリークレーン410の所定の置場に置かれると、当該厚板についても、製鉄所から搬送されてガントリークレーン410の所定の置場に置かれる場合と同様にして撮像画像が撮像される。
【0043】
<<輸送車両による輸送>>
ガンドリークレーン410の所定の置場に置かれた厚板は、輸送車両に荷積みされる。
図7は、輸送車両に対して厚板が荷積みおよび荷下ろしされる様子の一例を示す図である。ガンドリークレーン410の所定の置場に置かれた厚板は、不図示のクレーン等を用いて輸送車両700に荷積みされる。
図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700に荷積みされる場合がある。ただし、厚板が1枚ずつ輸送車両700に荷積みされる場合もある。また、輸送車両700に荷積みされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、
図6A~
図6Eに示したようにして厚板を搬送して輸送車両700に荷積みしてもよい。
【0044】
図8は、輸送車両700に厚板が荷積みされた状態の一例を示す図である。輸送車両700の待機位置に設置されている構造物に第1の撮像装置430o~430pが取り付けられている。第1の撮像装置430o~430pの数および位置は、輸送車両700に荷積みされた厚板のステンシルによる表示領域201およびラベル202による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。また、輸送車両700にも第1の撮像装置430qが取り付けられている。第1の撮像装置430o~430qも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。
【0045】
輸送車両700に荷積みされた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430o~430qにより撮像される。
【0046】
<<工場内における搬送>>
以上のようにして厚板が荷積みされた輸送車両700が工場に到着すると、輸送車両700から厚板が荷下ろしされる。輸送車両700に荷積みされた厚板は、不図示のクレーン等を用いて輸送車両700から荷下ろしされる。
図7に示すように複数枚の厚板が積み重ねられた状態で同時に輸送車両700から荷下ろしされる場合がある。ただし、厚板が1枚ずつ輸送車両700から荷下ろしされる場合もある。また、輸送車両700から荷下ろしされる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。また、
図6A~
図6Eに示したようにして厚板を搬送して輸送車両700から荷下ろしされてもよい。尚、輸送船400からガントリークレーン410の所定の置場に厚板を搬送する際に用いる搬送機器(ガントリークレーン410)と、輸送車両700から工場内の置場に厚板を搬送する際に用いる搬送機器(不図示のクレーン等)とは異なる搬送機器である。このように、或る搬送機器で或る置場に搬送された厚板は、当該或る搬送機器とは別の搬送機器で、当該或る搬送機器では搬送することができない別の置場に搬送される場合がある。このことは、工場内の各置場間等のその他の置場間において厚板を搬送する場合においても同じである。
【0047】
図9A~
図9Cは、工場内の置場に置かれた厚板の様子の第1~第3の例を示す図である。工場内の置場に設置されている構造物に第1の撮像装置430r~430wが取り付けられている。
図9A~
図9Cに示すように、厚板は、工場内の置場に様々な態様で置かれる。そこで、第1の撮像装置430r~430wの数および位置は、置場に置かれた厚板のステンシルによる表示領域201およびラベル202による表示領域として可及的に多くの厚板の表示領域が撮像されるように設定される。第1の撮像装置430r~430wも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。
【0048】
工場内の置場に置かれた厚板の、ステンシルによる表示領域201を含む領域が、第1の撮像装置430r~430wにより撮像される。
【0049】
厚板が入荷用の置場に置かれると、当該厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、前述したように第1の撮像装置430r~430wにより撮像される。
【0050】
その後、厚板は、生産設備に搬送される。
図10は、生産設備で厚板が処理される様子の一例を示す図である。
図10において生産設備1000は、例えば、熱処理を行うための設備、および、ガス切断を行うための設備である。
図10では、搬送ロール1001を用いて厚板1002a、1002bが搬送される場合を例示する。尚、置場と搬送ロール1001との間の厚板の搬送は、不図示の搬送装置等を用いることにより実現される。
【0051】
工場の生産ラインに設置されている構造物に第1の撮像装置430x~430yが取り付けられている。第1の撮像装置430x~430yの数および位置は、厚板1002a、1002bのステンシルによる表示領域201が撮像されるように設定される。第1の撮像装置430x~430yも、第1の撮像装置430a~430mと同様に、撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)を調整することが可能となっている。尚、搬送ロール1001上を搬送される厚板1002a、1002bは、重ねられることはないものとする。また、搬送ロール1001上の厚板1002a、1002bの搬送経路は、予め想定される。このため、本実施形態では、第1の撮像装置430x~430yにより、厚板1002a、1002bのステンシルによる表示領域201が撮像されないことはないものとする。ただし、第1の撮像装置を備える無人航空機を用いて、厚板1002a、1002bのステンシルによる表示領域201を撮像してもよい。尚、
図10において、破線は、搬送ロール1001上の厚板1002a、1002bの搬送経路を示し、実在するものではない。
【0052】
工場内の置場から搬送された厚板1002aは、搬送ロール1001に載せられ、搬送ロール1001により搬送される。生産設備1000に入る前に搬送ロール1001上を搬送中の厚板1002aの、ステンシルによる表示領域201を含む領域が、第1の撮像装置430xにより撮像される。また、生産設備1000において処理が終了して生産設備1000から出た後に、搬送ロール1001上を搬送中の厚板1002bの、ステンシルによる表示領域201を含む領域が、第1の撮像装置430yにより撮像される。
【0053】
その後、厚板は、倉庫内において、
図9A~
図9Cに例示するような置場に置かれる。前述したように、工場内の置場に置かれた厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、第1の撮像装置430r~430wにより撮像される。出荷時においては、厚板は、倉庫から出荷用の置場に移動される。出荷用の置場に置かれた厚板の、ステンシルによる表示領域201(またはラベル202による表示領域)を含む領域が、第1の撮像装置430r~430wにより撮像される。
【0054】
工場内の各置場においても、複数枚の厚板が積み重ねられた状態で置かれる場合がある。厚板が1枚ずつ工場内の各置場に置かれる場合もある。また、工場内の各置場に置かれる厚板の厚み、幅、および長さの少なくとも1つが異なる場合がある。
【0055】
図11は、元の厚板と、切断後の厚板の一例を示す図である。
図11では、厚板1100が切断されて、厚板1110、1120、1130、1140が製造された場合を例示する。このようにして厚板1110、1120、1130、1140が製造された後、それぞれの厚板1110、1120、1130、1140に対して表示が施される。
図11では、厚板1110、1120、1130、1140に対する表示領域1111、1121、1131、1141を示す。表示領域1111、1121、1131、1141には、厚板1110、1120、1130、1140のIDを含む情報が表示される。表示領域1111、1121、1131、1141には、例えば、ステンシルによる表示が行われる。ステンシルによる表示に加えて、刻印による表示およびラベルによる表示の少なくとも一方を行ってもよい。また、表示領域1111、1121、1131、1141における表示は、手書きによる表示であってもよい。
【0056】
また、表示領域1111、1121、1131、1141に、元の厚板1100のIDが表示されていてもよい。表示領域1111、1121、1131、1141には、例えば、ステンシルによる表示が行われる。ただし、表示領域1111、1121、1131、1141における表示は、手書きによる表示であってもよい。このことは、表示領域201に対する表示や、ラベル202による表示についても同じである。以下では、表示領域1111、1121、1131、1141は、ステンシルによる表示領域であるものとする。
【0057】
厚板1110、1120、1130、1140が製造された場合、例えば、オペレータ(作業員)の手持ちの第1の撮像装置により、所望の厚板の、ステンシルによる表示領域1111、1121、1131、1141を含む領域の撮像画像を撮像してもよい。尚、オペレータ(作業員)の手持ちの第1の撮像装置は、例えば、第1の撮像装置を備える情報端末装置(タブレット端末やスマートフォン等)であってもよい。また、オペレータ(作業員)は、第1の撮像装置を備える無人航空機を操作して、所望の厚板の、ステンシルによる表示領域1111、1121、1131、1141を含む領域の撮像画像を、当該第1の撮像画像により撮像してもよい。
【0058】
以上のように本実施形態では、少なくとも、輸送船400に置かれたときと、輸送船400から荷下ろしされ輸送車両700に荷積みされたときと、ガントリークレーン410および工場の各置場に置かれたときに、各厚板の、ステンシルによる表示領域201、1111、1121、1131、1141を含む領域、ラベル202による表示領域を含む領域の撮像画像が得られる場合を例示する。
【0059】
本実施形態では、以上のようにして撮像される撮像画像を用いて、トラッキング装置により厚板の位置を自動的にトラッキングする。尚、厚板が1枚ずつ搬送される場合には、ステンシルによる表示領域201を撮像することができるので、ラベル202による表示領域を含む領域の撮像画像は不要になる。以下の説明では、ステンシルによる表示およびラベル202による表示を総称する場合、必要に応じて、ステンシル(ラベル)による表示と表記する。また、ステンシルによる表示領域201、1111、1121、1131、1141およびラベル202による表示領域を総称する場合、必要に応じて、ステンシル(ラベル)による表示領域と表記する。
【0060】
<トラッキング装置>
図12は、トラッキング装置1200の機能的な構成の一例を示す図である。トラッキング装置1200のハードウェアは、例えば、CPU、ROM、RAM、HDD、および各種のインターフェースを備える情報処理装置、または専用のハードウェアを用いることにより実現される。
図13は、トラッキング装置1200により管理される管理テーブル1300の一例を示す図である。
【0061】
図12に示すように本実施形態では、トラッキング装置1200は、第1の画像取得部1201と、認識部1202と、入手部1203と、照合部1204と、特定部1205と、位置導出部1206と、記憶部1207と、出力部1208と、第2の画像取得部1209と、を有する。
【0062】
第1の画像取得部1201は、ステンシル(ラベル)による表示領域を含む領域の第1の撮像画像を取得する。認識部1202は、第1の画像取得部1201で取得された第1の撮像画像から、ステンシル(ラベル)による表示における表示項目の構成要素、位置等を認識する。入手部1203は、後述する管理テーブル1300において現品表示の欄のIDの欄に記憶されている情報を入手する。照合部1204は、認識部1202で認識された情報と、入手部1203で入手された情報とを照合する。特定部1205は、照合部1204における照合の結果に基づいて、管理テーブル1300において管理されている厚板から1つの厚板を特定する。本実施形態では、厚板の識別情報を取得する識別情報取得部1210は、認識部1202、入手部1203、照合部1204、および特定部1205を有する。位置導出部1206は、ステンシル(ラベル)による表示領域のx-y-z座標(三次元座標)を、特定部1205で特定された厚板の三次元位置として導出する。記憶部1207は、当該厚板の三次元位置を示す情報を管理テーブル1300に記憶する。出力部1208は、当該厚板の三次元位置を示す情報を出力する。第2の画像取得部1209は、位置導出部1206において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定するための第2の撮像画像を取得する。トラッキング装置1200の詳細の一例については、
図17のフローチャートを参照しながら後述する。
【0063】
図13において、管理テーブル1300には、トラッキング装置1200が厚板をトラッキングするために用いる情報が記憶される。管理テーブル1300に記憶される情報には、厚板の製造メーカで管理される情報が含まれる。ただし、管理テーブル1300に記憶される情報の一部は、流通等においても活用できる情報であってもよい。ここで、厚板の製造メーカで管理される情報とは厚板の製造メーカが設定または取得した情報である。厚板の製造メーカで管理される情報には、厚板の製造メーカの従業員であるオペレータが当該情報の意味を理解できる情報が含まれる。より具体的には、厚板の製造メーカで管理される情報は、例えば、厚板の製造メーカによって作成され、管理テーブル1300に記憶された情報である。本実施形態では、管理テーブル1300に記憶されている情報が、トラッキングデータの一例であり、管理テーブル1300に各情報を格納することにより、トラッキングデータのデータ構造の一例が実現される。
【0064】
図13において、同一の列における情報が同一の厚板に対する識別情報になる(同一のNo.の下の欄は、同一の厚板に対する識別情報がそれぞれ記憶される欄になる)。
図13において、現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報が記憶される。非現品表示の欄には、ステンシル(ラベル)による表示の各表示項目に関する情報以外の情報が記憶される。本実施形態では、現品表示の欄に記憶される情報がトラッキングデータに含まれる表示情報の一例であり、非現品表示の欄に記憶される情報がトラッキングデータに含まれる非表示情報の一例である。
【0065】
管理テーブル1300の現品表示の欄に記憶される情報の一例について説明する。
現品表示の欄において、ステンシルの欄には、ステンシルに関する情報が記憶される。
ステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容および位置を示す情報が記憶される。尚、構成要素とは、文字、数字、記号、マーク等、表示項目を構成する個々の情報を指す。
ステンシルの欄の需要家名の欄には、ステンシルによる表示に含まれる需要家名302の構成要素の内容および位置を示す情報が記憶される。
【0066】
ステンシルの欄のサイズの欄には、ステンシルによる表示に含まれるサイズ304の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の規格の欄には、ステンシルによる表示に含まれる規格303の構成要素の内容および位置を示す情報が記憶される。
ステンシルの欄の需要家コードの欄には、ステンシルによる表示に含まれる需要家コード306の構成要素の内容および位置を示す情報が記憶される。
【0067】
ステンシルの欄の注文番号の欄には、ステンシルによる表示に含まれる注文番号307の構成要素の内容および位置を示す情報が記憶される。
以上のステンシルによる表示における表示項目の他に、ステンシルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル1300に記憶される。
図13のステンシルの欄の追加情報の欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および/または削除されてもよい。
【0068】
現品表示の欄において、ラベルの欄には、ラベルに関する情報が記憶される。
ラベルの欄のIDの欄には、ラベルによる表示に含まれるID312の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄のサイズの欄には、ラベルによる表示に含まれるサイズ313の構成要素の内容および位置を示す情報が記憶される。
【0069】
ラベルの欄の規格の欄には、ラベルによる表示に含まれる規格311の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の納期の欄には、ラベルによる表示に含まれる納期314の構成要素の内容および位置を示す情報が記憶される。
ラベルの欄の需要家コードの欄には、ラベルによる表示に含まれる需要家コード315の構成要素の内容および位置を示す情報が記憶される。
【0070】
以上のラベルによる表示における表示項目の他に、ラベルによる表示の表示項目として表示される可能性のある表示項目の内容も、管理テーブル1300に記憶される。
図13のラベルの欄の需要家コードの欄の下の「・・・」は、このことを示す。また、表示項目自体は追加および/または削除されてもよい。
【0071】
次に、管理テーブル1300の非現品表示の欄に記憶される情報の一例について説明する。
物品内位置の欄には、厚板における所定の位置を原点(基準)とした場合の表示領域の位置を示す情報が記憶される。
物品内位置の欄のステンシルの欄には、厚板における所定の位置を原点(基準)とした場合の、ステンシルによる表示領域の位置を示す情報が記憶される。
物品内位置の欄のラベルの欄には、厚板における所定の位置を原点(基準)とした場合の、ラベルによる表示領域の位置を示す情報が記憶される。
【0072】
物品位置の欄には、厚板の三次元位置を示す情報が記憶される。物品位置の欄に記憶される情報は、トラッキング装置1200により特定された厚板の三次元位置を示す情報である。従って、トラッキング装置1200により特定される同一の厚板の三次元位置は、トラッキングの進行(厚板の移動)に伴い、x座標およびy座標だけでなくz座標も変わる場合がある。よって、トラッキング装置1200により特定される同一の厚板の情報表示位置の三次元位置も、トラッキングの進行(厚板の移動)に伴い、x座標およびy座標(水平面方向の位置)だけでなくz座標(高さ方向の位置)も変わる場合がある。
登録時刻の欄には、厚板が現在の位置に置かれた日時(日付と時刻とから定まるタイミング)を示す情報が記憶される。
【0073】
親IDの欄には、元の厚板のIDを示す情報が記憶される。工場において厚板が切断されることがある。元の厚板とは、切断前の厚板を指す。従って、親IDの欄に、元の厚板のIDを示す情報が記憶されている場合、当該親IDの欄と同一の列の欄に記憶されている情報は、切断後の厚板に対する情報になる。
図11に示すようにして厚板1110、1120、1130、1140が製造された場合、管理テーブル1300において、当該厚板1110、1120、1130、1140に対する現品表示の欄には、表示領域1111、1121、1131、1141に表示される表示項目の構成要素の内容および位置を示す情報が記憶される。また、当該厚板1110、1120、1130、1140に対する親IDの欄には、厚板1100のIDを示す情報が記憶される。このように、本実施形態では、切断後の厚板の情報については、
図13に示す管理テーブル1300において、新たな列(No)として管理される場合を例示する。管理テーブル1300において、現品表示および非現品表示の欄に、切断後の厚板に対する情報が記憶される。
【0074】
ここで、例えば、厚板1110が切断されて更に別の複数の厚板が製造される場合がある。この場合、当該別の複数の厚板に対する親IDの欄には、厚板1110のIDを示す情報が記憶される。厚板1110に対する親IDの欄には、厚板1100のIDを示す情報が記憶されている。このように、親IDの欄に記憶されている情報をたどることにより、各厚板の変遷を特定することができる。このようにして或る厚板について、親IDの欄に記憶されている情報をたどることにより得られる厚板の並びを、当該厚板の切り板系列と称することとする。例えば、厚板1110の切り板系列は、厚板1100、1110となる。また、各厚板の親IDの欄には、例えば、その切り板系列が分かるように、直近の厚板のIDを示す情報だけでなく、その切り系列に属する全ての厚板のIDを示す情報が記憶されていてもよい。この場合、何れのIDも製造メーカにおいて定義されたものが用いられる。
【0075】
運搬具IDの欄には、厚板の運搬具のIDが記憶される。本実施形態では、運搬具が、輸送船400および輸送車両700である場合を例示する。
厚板が輸送船400に荷積みされると、トラッキング装置1200は、例えば、以下のようにして輸送船400のIDを示す情報を記憶してもよい。
まず、トラッキング装置1200は、当該厚板のIDと当該輸送船400のID(いわゆる船番)を取得する。そして、トラッキング装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、トラッキング装置1200は、特定した列の運搬具IDの欄に、取得した輸送船400のIDを示す情報を記憶する。
【0076】
例えば、第1の撮像装置430a、430b、430nにより、ステンシルによる表示領域201またはラベル202による表示領域と、輸送船400のIDを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、トラッキング装置1200は、当該撮像画像から、厚板のIDと輸送船400のIDとを認識して取得してもよい。
【0077】
また、第1の撮像装置430a、430b、430nにより、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像と、輸送船400のIDを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像の次に、輸送船400のIDを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、トラッキング装置1200は、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像から認識されるIDと、輸送船400のIDを示す情報が表示されている領域を含む撮像画像から認識されるIDとを、厚板のIDと輸送船400のIDとして取得してもよい。
【0078】
また、例えば、輸送船400のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送船400のIDとを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置1200に、厚板のIDと輸送船400のIDとを送信することで、トラッキング装置1200が、当該厚板のIDと当該輸送船400のIDとを取得してもよい。
【0079】
また、厚板が輸送車両700に荷積みされると、トラッキング装置1200は、例えば、以下のようにして輸送車両700のIDを示す情報を記憶してもよい。
まず、トラッキング装置1200は、当該厚板のIDと当該輸送車両700のID(例えば、ナンバープレートの情報)を取得する。そして、トラッキング装置1200は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、トラッキング装置1200は、特定した列の運搬具IDの欄に、取得した輸送車両700のIDを示す情報を記憶する。
【0080】
例えば、第1の撮像装置430o~430qにより、ステンシルによる表示領域201またはラベル202による表示領域と、輸送車両700のIDを示す情報が表示されている領域とを含む撮像画像を撮像してもよい。このようにする場合、トラッキング装置1200は、当該撮像画像から、厚板のIDと輸送車両700のIDとを認識して取得してもよい。
【0081】
また、第1の撮像装置430o~430qにより、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像と、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像とを撮像してもよい。例えば、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像の次に、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像が撮像されるものとしてもよい。このようにする場合、トラッキング装置1200は、ステンシルによる表示領域201またはラベル202による表示領域を含む撮像画像から認識されるIDと、輸送車両700のIDを示す情報が表示されている領域を含む撮像画像から認識されるIDとを、厚板のIDと輸送車両700のIDとして取得してもよい。
【0082】
また、例えば、輸送車両700のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送車両700のIDとを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置1200に、厚板のIDと輸送車両700のIDとを送信することで、トラッキング装置1200が、当該厚板のIDと当該輸送車両700のIDとを取得してもよい。
【0083】
管理テーブル1300のデータ構造は、管理テーブル1300の各欄に記憶される情報(例えば、物品位置および登録時刻)が、厚板が新たな位置に置かれる度に、情報が更新されるデータ構造でもよい。また、管理テーブル1300のデータ構造は、情報が追加されるデータ構造でもよい。後者の場合、トラッキングの履歴を追うことができる利点を有する。
【0084】
次に、管理テーブル1300の現品表示の欄に記憶される内容と、非現品表示の欄の物品内位置の欄に記憶される内容の一例を、より具体的に説明する。
図14は、ステンシルの物品内位置と、ステンシルによる表示における各表示項目の構成要素の位置の一例を示す図である。
図14では、
図2に示す表示位置および
図3Aに示す内容で、ステンシルによる表示がなされている場合を例示する。
図14では、直方体の厚板の8つの頂点のうち、
図2に示す頂点203を原点とし、当該頂点203から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の長さ方向に沿う方向をx軸の正の方向とするx-y座標で、ステンシルの物品内位置と、ステンシルによる各表示項目の構成要素の位置とを表す。
【0085】
本実施形態では、ステンシルによる表示における各表示項目の構成要素の位置のうち、x軸の最大値、x軸の最小値、y軸の最大値、およびy軸の最小値となる位置により定まる外接矩形の4つ頂点のうち、対角線上にある2つの頂点のx-y座標を、ステンシルの物品内位置とする。
図14では、外接矩形の2つの頂点1401a、1401bのx-y座標(Ls10,Ws10)、(Ls11,Ws11)が、ステンシルの物品内位置であることを示す。尚、ここでは説明を簡単にするため、外接矩形は、物品内位置を表現する座標軸(
図14に示す例ではx軸およびy軸)に平行な矩形であるものとする。
【0086】
また、ステンシルによる表示おける各表示項目の構成要素(文字、数字、記号、マーク)の重心(または図心)の位置のx-y座標を、当該構成要素の位置とする。
図14では、ステンシルによる表示に含まれるID305の構成要素である5、6、3、4、9、7、-、0、1のy軸座標が、それぞれ、Ws1、Ws2、Ws3、Ws4、Ws5、Ws6、Ws7、Ws8、Ws9であり、x軸座標が、何れもLs1であることを示す。
以上のようにしてステンシルによる表示の各表示項目の各構成要素の位置がx-y座標で表される。
【0087】
図15は、ラベルの物品内位置と、ラベルによる表示における各表示項目の構成要素の位置の一例を示す図である。
図15では、
図2に示す表示位置および
図3Bに示す表示内容で、ラベルによる表示が行われている場合を例示する。
図15では、直方体の厚板の8つの頂点のうち、
図2に示す頂点204を原点とし、当該頂点204から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の板厚方向に沿う方向をz軸の正の方向とするy-z座標で、ラベルの物品内位置と、ラベルによる各表示項目の構成要素の位置とを表す。
【0088】
本実施形態では、ラベルが矩形状であるものとする。ラベルの4つの頂点のうち、対角線上にある2つの頂点のy-z座標を、ラベルの物品内位置とする。また、ラベルによる表示おける各表示項目の構成要素の重心(または図心)の位置のy-z座標を、当該構成要素の位置とする。
図15では、ラベルの2つの頂点1501a、1501bのy-z座標が、ラベルの物品内位置であることを示す。
【0089】
前述したように、
図13に示す管理テーブル1300において、現品表示の欄のステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容および位置を示す情報が記憶される。従って、
図16Aに示すように、
図14に示す例では、現品表示の欄のステンシルの欄のIDの欄には、ステンシルによる表示に含まれるID305の構成要素の内容として、「5」、「6」、「3」、「4」、「9」、「7」、「-」、「0」、「1」が記憶される。また、現品表示の欄のステンシルの欄のIDの欄には、当該構成要素の位置として、(Ls1,Ws1)、(Ls2,Ws1)、(Ls3,Ws1)、(Ls4,Ws1)、(Ls5,Ws1)、(Ls6,Ws1)、(Ls7,Ws1)、(Ls8,Ws1)、(Ls9,Ws1)が記憶される。
【0090】
現品表示の欄のその他の表示項目の欄にも、ステンシルの欄のIDの欄と同様に、当該表示項目の構成要素の内容および位置を示す情報が記憶される。尚、ラベルの欄の各表示項目の構成要素の位置を示す情報は、x-y座標ではなく、y-z座標となる。
【0091】
また、
図16Bに示すように、
図14に示す例では、非現品表示の欄の物品内位置の欄のステンシルの欄には、ステンシルの物品内位置を示す情報として、(Ls10,Ws10)、(Ls11,Ws11)が記憶される。
物品内位置の欄のラベルの欄にも、物品内位置の欄のステンシルの欄と同様に、ラベルの物品内位置を示す情報が記憶される。尚、前述したように、ラベルの物品内位置を示す情報は、x-y座標ではなく、y-z座標となる。
【0092】
管理テーブル1300を作成するに際し、例えば、オペレータは、トラッキング装置1200のユーザインターフェースを操作して、管理テーブル1300の各欄に記憶すべき情報を、トラッキング装置1200に入力してもよい。また、トラッキング装置1200は、工場の操業を管理するコンピュータ等の外部装置から、管理テーブル1300の各欄に記憶すべき情報を受信してもよい。
【0093】
管理テーブル1300の現品表示の欄に記憶される情報と、非現品表示の欄の物品内位置および親IDの欄に記憶される情報は、厚板に対する表示が行われた後に定められる場合もあれば、厚板に対する表示が行われる前に定められている場合もある。従って、当該欄に記憶すべき情報が厚板に対する表示が行われる前に定められている場合には、トラッキング装置1200は、例えば、前述したようにして当該欄に記憶すべき情報を取得して、管理テーブル1300の各欄に記憶する。
【0094】
一方、非現品表示の欄の物品位置および登録時刻の欄に記憶される情報は、厚板に対する表示が行われる前に定めることができない場合がある。従って、トラッキング装置1200は、例えば、当該欄に記憶すべき情報が得られたタイミングで、当該欄に記憶すべき情報を取得して、管理テーブル1300の各欄に記憶する。前述したように登録時刻の欄には、物品位置の欄に記憶される情報が変更された日時が記憶される。この場合、厚板が現在の位置に置かれた日時が登録時刻の欄に登録される。
【0095】
尚、非現品表示の欄の項目について、当該項目の情報が取得されている場合に限り、当該項目の欄に情報が記憶され、当該項目の情報が取得されていない場合には、当該項目の欄に情報は記憶されない。また、登録時刻の欄に記憶されている日時から所定時間が経過しても物品位置の欄に記憶されている情報が更新されない場合、トラッキング装置1200は、厚板の位置の特定(トラッキング)が途絶えたと判断し、当該物品位置および登録時刻の欄に記憶されている情報をリセットするのが好ましい。また、同一の位置において、登録時刻の欄に記憶されている日時が早い厚板が、登録時刻の欄に記憶されている日時が遅い厚板よりも先に移動することはない(即ち、板の重なりがある場合、下にある板が突然なくなることはない)。このため、トラッキング装置1200は、物品位置および登録時刻の欄に記憶されている情報のリセットを実行するに際し、以下のようにするのが好ましい。即ち、トラッキング装置1200は、リセットする登録時刻の欄に記載されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板であって、リセットする物品位置の欄に記憶されている三次元位置と同じ三次元位置の厚板がある場合、アラーム等で確認をするサインを出すことが望ましい。
【0096】
次に、トラッキング装置1200の機能の一例を説明する。
図17は、厚板をトラッキングする際のトラッキング装置1200の処理の一例を説明するフローチャートである。
図17を参照しながら、トラッキング装置1200の機能の一例を説明する。
【0097】
図17のステップS1701において、第1の画像取得部1201は、第1の撮像画像を取得する。第1の撮像画像は、第1の撮像装置430a~430y、無人航空機440a~440cが備える第1の撮像装置、およびオペレータ(作業員)の手持ちの第1の撮像装置のうち、何れか1つの第1の撮像装置で撮像された撮像画像である。第1の撮像画像は、第1の撮像装置からトラッキング装置1200に直接送信されても、情報端末装置を介して第1の撮像装置からトラッキング装置1200に送信されてもよい。
図17のフローチャートによる処理は、第1の撮像装置430a~430y、無人航空機440a~440cが備える第1の撮像装置、およびオペレータ(作業員)の手持ちの第1の撮像装置のうち、何れか1つの撮像装置で撮像された撮像画像がトラッキング装置1200で受信される度に実行される。本実施形態では、第1の撮像画像を撮像した第1の撮像装置のIDと、当該第1の撮像画像を撮像した際の撮像条件とが、第1の撮像画像と共に送信されるものとする。
【0098】
第1の画像取得部1201は、第1の撮像画像と共に、当該第1の撮像画像を撮像した第1の撮像装置のIDと、当該第1の撮像画像を撮像した際の撮像条件とを取得する。撮像条件には、撮像の際に撮像装置で設定される情報のうち、後述するようにしてステンシルによる表示領域またはラベルによる表示領域の位置を特定するために必要となる情報が含まれる。
【0099】
また、第1の撮像画像を撮像したときの第1の撮像装置の位置が固定されていない場合、第1の撮像画像を撮像したときの第1の撮像装置の位置情報が、第1の撮像画像と共に送信される。例えば、無人航空機440a~440cが、GPS(Global Positioning System)を用いて、当該無人航空機の三次元座標(x-y-z座標)を測位することができる場合、当該無人航空機が備える第1の撮像装置の位置情報として、当該三次元座標が送信されるようにしてもよい。輸送船400に取り付けられている第1の撮像装置430n、荷役装置411に取り付けられている第1の撮像装置430g~430m、および輸送車両700に取り付けられている第1の撮像装置430qについても、無人航空機440a~440cと同様にして、当該第1の撮像装置の位置情報が第1の撮像画像と共に送信されるようにしてもよい。このことは、オペレータ(作業員)の手持ちの第1の撮像装置についても同じである。
尚、第1の撮像装置が、第1の撮像画像に含めるべき領域を撮像することができない場合、ステップS1701の処理に先立って、第1の撮像装置の撮像条件(撮像方向、画角、ズーム倍率、および絞り(F値)等)が調整される。
【0100】
次に、ステップS1702において、認識部1202は、ステップS1701で取得された第1の撮像画像から、ステンシル(ラベル)による表示における表示項目の構成要素(文字、数字、記号、マーク)を認識する。表示項目の構成要素の内容を認識する処理は、例えば、公知のOCR(Optical character recognition)を用いた技術で実現することができるので、ここでは、その詳細な説明を省略する。尚、NN(Neural Network)等のAI(Artificial Intelligence)を用いた技術や、AIとOCRとを組み合わせた技術(いわゆるAI OCR)を用いて、ステップS1702の処理を実現してもよい。
【0101】
また、認識部1202は、表示項目の構成要素が、ステンシルによる表示とラベルによる表示との何れのものであるのかを特定する。例えば、認識部1202は、ステップS1701で取得された第1の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出し、検出した結果に基づいて、厚板の領域を特定する。そして、認識部1202は、特定した領域が、厚板の板面部分と厚板の側面(板厚)部分との何れであるかを判定する。この判定は、例えば、特定した領域の縦横比に基づいて実現される。この判定の結果、特定した領域が、厚板の板面部分である場合、認識部1202は、表示項目の構成要素が、ステンシルによる表示のものであると認識する。一方、特定した領域が、厚板の側面(板厚)部分である場合、認識部1202は、表示項目の構成要素が、ラベルによる表示のものであると認識する。
【0102】
また、認識部1202は、第1の撮像画像に基づいてエッジ検出処理を行い、矩形状のラベル202の領域が検出された場合に、表示項目の構成要素が、ラベルによる表示のものであると認識し、そうでない場合に、表示項目の構成要素が、ステンシルによる表示のものであると認識してもよい。
尚、本実施形態では、説明を簡単にするために、最上段にある厚板については、第1の撮像画像には、ラベル202による表示領域ではなくステンシルによる表示領域201が含まれるものとする。
【0103】
また、認識部1202は、表示項目の位置を導出する。第1の認識部1202が表示項目の位置を導出する手法の一例を説明する。まず、認識部1202は、ステップS1701で取得された第1の撮像画像に基づいてエッジ検出処理を行い、厚板のエッジを検出する。そして、認識部1202は、第1の撮像画像における物品内位置の原点(厚板における所定の位置)を検出する。認識部1202は、例えば、直方体の厚板の8つの頂点のうち、ステンシル(ラベル)による表示領域と物品内位置の原点との位置関係として予め設定された位置関係に基づいて、撮像画像における物品内位置の原点(厚板における所定の位置)となる頂点を導出する。
【0104】
ステンシル(ラベル)による表示領域と物品内位置の原点との位置関係として、例えば、以下のような情報がトラッキング装置1200に予め設定されていてもよい。即ち、ステンシル(ラベル)による表示の表示項目の構成要素を、当該構成要素の頂部が上側に位置するように見た場合に、ステンシル(ラベル)による表示と同一面において、ステンシル(ラベル)による表示の右下側に位置する頂点が、物品内位置の原点であるという情報がトラッキング装置1200に予め設定されていてもよい。認識部1202は、ステンシル(ラベル)による表示における表示項目の構成要素の位置として、撮像画像における物品内位置の原点を基準とする位置を導出する。ステップS1702の処理が終了すると、ステップS1703の処理が実行される。
【0105】
ステップS1703において、入手部1203は、記憶部1207に記憶されている管理テーブル1300において現品表示の欄のIDの欄に記憶されている情報を入手する。
次に、ステップS1704において、照合部1204は、ステップS1702において認識された情報と、ステップS1703において入手された情報とを照合する。ステップS1702において認識された情報が、ステンシルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のステンシルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。一方、ステップS1702において認識された情報が、ラベルによる表示の情報であると認識された場合、照合部1204は、ステップS1703において入手された情報のうち、現品表示の欄のラベルの欄のIDの欄に記憶されている情報と、ステップS1702において認識された情報とを照合する。
【0106】
次に、ステップS1705において、特定部1205は、ステップS1703の照合の結果に基づいて、管理テーブル1300において管理されている厚板から1つの厚板を特定する。具体的に、特定部1205は、ステップS1703において入手された情報の中から、ステップS1702において認識された情報と一致する情報を特定する。
【0107】
ここで、一致とは、ステップS1702で認識された情報に、現品表示の欄のステンシルの欄またはラベルの欄のIDの欄に記憶されている構成要素と、内容および並び順が完全に一致している部分があることを指す。
図3Aおよび
図3Bに示す例では、ステンシルまたはラベルにより表示されるID305、312の構成要素の内容は、5、6、3、4、9、7、-、0、1であり、並び順は、左から、5、6、3、4、9、7、-、0、1の順である。従って、特定部1205は、5、6、3、4、9、7、-、0、1が左からこの順で並んでいる情報を、管理テーブル1300において管理されているIDの欄から特定する。ステップS1702で認識された情報において、これらの構成要素の一部が欠けている場合だけでなく、これらの構成要素以外の構成要素が並んでいる場合にも、当該ステップS1702で認識された情報は、現品表示の欄のステンシルの欄またはラベルの欄のIDの欄に記憶されている構成要素と、内容および並び順が完全に一致している情報ではないものとする。
【0108】
次に、ステップS1706において、位置導出部1206は、ステップS1701で取得された情報に基づいて、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知であるか否かを判定する。本実施形態では、ガータ412および脚構造物413に取り付けられている第1の撮像装置430a~430f、輸送車両700の待機位置に設置されている構造物に取り付けられている第1の撮像装置430o~430p、工場内の置場に設置されている構造物に取り付けられている第1の撮像装置430r~430w、および工場の生産ラインに設置されている構造物に取り付けられている第1の撮像装置430x~430yの三次元位置は既知であるものとする。これらの第1の撮像装置のそれぞれについて、第1の撮像装置のIDと、当該第1の撮像装置の位置情報(三次元座標(x-y-z座標))と、が相互に関連付けられてトラッキング装置1200に予め登録されているものとする。位置導出部1206は、ステップS1701で取得された第1の撮像装置のIDと同じIDと関連付けられている位置情報(三次元座標)がトラッキング装置1200に予め登録されている場合、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知であると判定し、そうでない場合、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知でないと判定する。
【0109】
ステップS1706の判定の結果、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知でない場合、ステップS1707の処理が実行される。ステップS1707において、位置導出部1206は、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得したか否かを判定する。この判定の結果、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得していない場合、処理は、後述するステップS1712に進む。
【0110】
ステップS1706の判定の結果、ステップS1701で取得した第1の撮像画像を撮像した第1の撮像装置の位置が既知である場合と、ステップS1707の判定の結果、第1の撮像画像を撮像した第1の撮像装置の位置情報をステップS1701で取得した場合には、ステップS1708の処理が実行される。ステップS1708において、位置導出部1206は、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができるか否かを判定する。尚、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができる場合の具体例については後述する。ステップS1708の判定の結果、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができない場合、処理は、後述するステップS1712に進む。
【0111】
一方、ステップS1708の判定の結果、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができた場合、ステップS1709の処理が実行される。ステップS1709において、位置導出部1206は、ステンシル(ラベル)による表示領域の三次元座標(x-y-z座標)を、ステップS1705で特定された厚板の三次元位置として導出する。
【0112】
次に、ステップS1710において、記憶部1207は、ステップS1705で特定された厚板に対する情報として管理テーブル1300の非現品表示の欄の物品位置の欄に記憶されている情報を、ステップS1709で導出された厚板の三次元位置を示す情報に更新する。このように本実施形態では、管理テーブル1300の非現品表示の欄の物品位置の欄に記憶される情報が、情報表示位置である場合を例示する。管理テーブル1300の非現品表示の欄の物品位置の欄に記憶される情報は、ステンシル(ラベル)による表示領域のx-y-z座標である。従って、情報表示位置は、三次元位置である。前述したように、同一の厚板の情報表示位置は、当該厚板の位置の移動に伴い、x座標およびy座標だけでなくz座標(高さ方向の位置)も変化する。
次に、ステップS1711において、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を出力する。例えば、出力部1208は、ステップS1705で特定された厚板の三次元位置を示す情報を、コンピュータディスプレイに表示させる。そして、
図17のフローチャートによる処理が終了する。
【0113】
ここで、ステップS1709においてステンシル(ラベル)による表示領域の三次元位置を導出する方法の一例を、
図2に示したステンシルによる表示領域201を例に挙げて説明する。
図2に示す例では、ステンシルによる表示領域201は、厚板の板面の領域のうち、厚板の幅方向(y軸方向)の中央付近の領域であって、厚板の長さ方向の一端側(x軸の負の方向側)の領域にある。本実施形態では、ステンシルによる表示領域201の三次元位置が、情報表示位置の一例である。
図18は、ステンシルによる表示領域201の三次元位置を導出する方法の一例を説明する図である。
【0114】
図18において、点Pは、第1の撮像装置の三次元位置を示す(点Pのx-y-z座標は(x
p,y
p,z
p)である)。第1の撮像装置の三次元位置は、例えば、第1の撮像装置の光学系(レンズ)の中心位置である。
図18に示す例では、z軸は、厚板の表面(ステンシルによる表示領域201が形成されている面)に垂直な方向であるものとする。また、y軸は、ステンシルによる表示領域201において同一の表示項目の構成要素が並ぶ方向に平行な方向であるものとする。また、x軸は、ステンシルによる表示領域201において異なる表示項目が並ぶ方向に平行な方向であるものとする。また、x軸、y軸、z軸は相互に垂直であるものとする。また、ここでは、説明を簡単にするために、厚板の幅方向はy軸に平行であり、厚板の長さ方向はx軸に平行であるものとする。
【0115】
点Sは、ステンシルによる表示領域201の4つの頂点のうち、x軸の負の方向側に位置し、且つ、y軸の正の方向側に位置する頂点の位置を示す(点Sのx-y-z座標は(x
s,y
s,z
s)である)。点Oは、(x-y平面に対する)点Pの垂線の足(点Pの垂線とx-y平面との交点)である。
図18に示す例では、点Oが原点であるものとする。点Qは、点Oを通り且つx軸に平行な直線と、点Sを通り且つy軸に平行な直線との交点である。
【0116】
∠OPQをβ(rad)とし、線分OPの長さ(点Oから点Pまでの距離)をHとすると、∠OQP(=η)は、π/2-β(rad)であるから、線分OQの長さ(点Oから点Qまでの距離)Lは、以下の(1)式で表される。
L=Hsinβ/sin{(π/2-β)} ・・・(1)
また、∠OPSをα(rad)とすると、線分OSの長さ(点Oから点Sまでの長さ)lは、以下の(2)式で表される。そして、∠SPQをδ(rad)とすると、(2)式より、線分SQの長さ(点Sから点Qまでの距離)wyは、以下の(3)式で表される。
l=H/tanα ・・・(2)
wy=lsinδ=Hsinδ/tanα ・・・(3)
【0117】
従って、点Sのx-y-z座標S(xs,ys,zs)は、以下の(4)式で表される。
S(xs,ys,zs)=(L,wy,0) ・・・(4)
【0118】
本実施形態では、位置導出部1206が、点Sのx-y-z座標(xs,ys,zs)を、ステンシルによる表示領域201の位置として導出する場合を例示する。線分OPの長さH、∠OPQ(=β)、∠OPS(=α)、および∠SPQ(=δ)が定まれば、点Sのx-y-z座標(xs,ys,zs)が定まる。
【0119】
線分OPの長さHは、点Pのz座標z
pから、ステンシルによる表示領域201のz座標z
sを減算した値である。従って、ステンシルによる表示領域201のz座標(ステンシルによる表示領域201の高さ方向(z軸方向)の位置)が特定されていれば、線分OPの長さHを導出することができる。尚、
図18では、ステンシルによる表示領域201のz座標z
sが0(ゼロ)である場合を例示するので、線分OPの長さHは、点Pのz座標z
pに等しい。
【0120】
第1の撮像画像における点Sの位置は、例えば、以下のようにして導出される。位置導出部1206は、ステップS1702で認識されたステンシルによる表示項目の構成要素のうち、x軸の最大値、x軸の最小値、y軸の最大値、およびy軸の最小値となる位置により定まる外接矩形を導出する。そして、位置導出部1206は、導出した外接矩形の頂点のうち、ステンシルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側(x軸の負の方向側およびy軸の正の方向側)に位置する頂点の位置を、第1の撮像画像における点Sの位置として導出する。尚、第1の撮像画像においてラベルによる表示がなされている場合、位置導出部1206は、矩形状のラベルの頂点のうち、ステンシルによる表示項目の構成要素の頂部が上側に位置するように見た場合に、例えば左下側に位置する頂点を、第1の撮像画像における点Sの位置として導出する。
【0121】
第1の撮像画像における点Qの位置は、第1の撮像画像における点Sの位置を通り且つy軸に平行な直線上の位置であって、撮像時の水平画角(y軸方向の画角)の中心に対応する位置となる。尚、点Qの特定は、例えば、以下のようにして行ってもよい。即ち、レーザポインタ等で点Pからレーザ光を照射して、点Sの位置を通り、且つ、y軸に平行な直線を、厚板の板面のうちステンシルによる表示領域201が形成されている面に表示する。また、レーザポインタ等で点Pからレーザ光を照射して、点Oを通り、且つ、x軸に平行な直線を、厚板の板面のうちステンシルによる表示領域201が形成されている面に表示する。このようにする場合、レーザ光により表示される2つの直線の交点が点Qとなる。従って、位置導出部1206は、レーザ光により表示される2つの直線の交点が表示されている状態で撮像された第1の撮像画像から点Qを特定してもよい。このようにすれば、点P、点O、および点Qがx-z平面上(y=0の平面上)にある場合、厚板の板面のうちステンシルによる表示領域201が形成されている面がx-y平面に対して傾いていても、点Qの位置を特定することができる。
【0122】
∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)は、例えば、ステップS1701で取得した第1の撮像画像における点Sおよび点Qの位置と、当該第1の撮像画像を撮像した際の光学系(レンズ)の中心位置(焦点距離を定めるために使用される光学系の中心位置)と、に基づいて定められる。第1の撮像画像における点Sと、第1の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分PSが延びる方向が特定される。第1の撮像画像における点Qと、第1の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分PQが延びる方向が特定される。∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)は、線分PSが延びる方向と、線分PQが延びる方向と、z軸方向と、に基づいて定められる。
【0123】
∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)を導出する方法は、このような方法に限定されない。例えば、位置導出部1206は、以下のようにして∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)を導出してもよい。まず、位置導出部1206は、第1の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)の測定値に基づいて、線分PSおよび点PQの長さを導出する。そして、位置導出部1206は、ステンシルによる表示領域201が形成されている面がx-y平面であり、線分QSがy軸方向に延びる直線であるものとして、点Sおよび点Qの位置を特定する。そして、位置導出部1206は、点P、点S、点Qの位置に基づいて、∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)を導出する。
【0124】
また、例えば、位置導出部1206は、第1の撮像装置から点Sに向けて照射されたレーザ光の角度と、第1の撮像装置から点Qに向けて照射されたレーザ光の角度と、第1の撮像装置から点Sから点Qまでレーザ光が走査されたときの走査角度とに基づいて、∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)を導出してもよい。
【0125】
また、位置導出部1206は、厚板の板面のうちステンシルによる表示領域201が形成されている面と点Oとを含む領域に格子状のレーザ光を照射した状態で撮像された第1の撮像画像において格子状に並んでいる矩形の数を計数することにより、∠OPS(=α)、∠OPQ(=β)、および∠SPQ=∠SOQ(=δ)を導出してもよい。このようにする場合、1つの矩形のx軸方向の長さは、例えば、∠OPS(=α)および∠OPQ(=β)が1rad変化すると変化するx軸方向の長さであり、y軸方向の長さは、例えば、∠SPQ=∠SOQ(=δ)が1rad変化すると変化するy軸方向の長さである。点Oに対応する位置にある矩形から、点S、Qに対応する矩形までの矩形の数の計数の結果に基づいて、∠OPS(=α)、∠OPQ(=β)が導出される。また、点Sに対応する位置にある矩形から点Qに対応する位置にある矩形までの矩形の数の計数の結果に基づいて、∠SPQ(=δ)が導出される。矩形の数の計数は、第1の撮像画像に対する画像処理の結果に基づいて行われる。
【0126】
尚、表示領域1111、1121、1131、1141の位置についても、
図18を参照しながら説明した手法と同様に導出される。また、ステンシルによる表示領域201と、ラベル202による表示領域とは、厚板において配置される面が異なるだけであるので、ラベル202による表示領域の位置についても、
図18を参照しながら説明した手法に倣って導出することができる。従って、ここでは、その詳細な説明を省略する。
【0127】
次に、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができると判定される場合の一例を説明する。
第1の例として、まず、位置導出部1206は、レーザ距離計を用いて第1の撮像装置からステンシルによる表示領域までの高さ方向(z軸方向)の距離を導出する。そして、位置導出部1206は、第1の撮像装置の高さ方向(z軸方向)の位置から、当該距離を減算した位置を、ステンシルによる表示領域201の高さ方向(z軸方向)の位置として導出する。
【0128】
第2の例として、位置導出部1206は、管理テーブル1300の物品位置の欄に記憶されている、厚板の位置を示す情報と、管理テーブル1300の登録時刻の欄に記憶されている、厚板が現在の位置に置かれた日時を示す情報と、を用いて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する。このようにしてステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。尚、ここでは、管理テーブル1300の物品位置の欄に記憶されている、厚板の三次元位置を、必要に応じて、物品位置と称する。また、ここでは、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。
【0129】
まず、位置導出部1206は、ステップS1705で特定された厚板以外の厚板から、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置の撮像範囲(x-y座標)に少なくとも一部が含まれる厚板を、管理テーブル1300に記憶されている物品位置に基づいて特定する。
【0130】
ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する場合には、ステップS1705で特定された厚板は最上段にある。従って、位置導出部1206は、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置の撮像範囲(x-y座標)に少なくとも一部が含まれる厚板は、ステップS1705で特定された厚板の下にあると判断する。この場合、ステップS1705で特定された厚板の下にある厚板の情報として管理テーブル1300に記憶されているサイズ(厚み)の全てと、ステップS1705で特定された厚板の厚みとを加算した値が、ステンシルによる表示領域201の高さ方向(z軸方向)の位置となる。
【0131】
一方、ラベルによる表示領域の高さ方向(z軸方向)の位置を導出する場合には、位置導出部1206は、前述したようにして特定された厚板のうち、ステップS1705で特定された厚板の情報として管理テーブル1300の登録時刻の欄に記憶されている日時よりも遅い日時が登録時刻の欄に記憶されている厚板が、ステップS1705で特定された厚板の下にある厚板であると判断する。この場合、ステップS1705で特定された厚板の下にある厚板の情報として管理テーブル1300に記憶されているサイズ(厚み)の全ての加算値と、ステップS1705で特定された厚板の情報として管理テーブル1300に記憶されている物品内位置のz座標の値とを加算した値が、ラベル202による表示領域の高さ方向(z軸方向)の位置となる。
【0132】
第3の例として、第1の撮像画像に高さ方向(z軸方向)を特定することが可能な情報が表示されている場合、位置導出部1206は、当該情報に基づいて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出することができる。このようにしてステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。例えば、位置導出部1206は、高さ方向(z軸方向)の位置を示す目盛りが表示された構造物が第1の撮像画像に含まれる場合、第1の撮像画像から当該構造物の当該目盛りを認識する。例えば、位置導出部1206は、第1の撮像画像に対してエッジ検出処理を実行してオブジェクトのエッジを抽出し、抽出したオブジェクトから、当該構造物を抽出する。例えば、オブジェクトの輪郭を示す情報と、当該オブジェクトの名称とが相互に関連付けられた情報をトラッキング装置1200に予め登録しておく。このようにする場合、位置導出部1206は、前述したようにして抽出されたオブジェクトのエッジと、当該情報とを比較することにより、当該構造物に対応するオブジェクトを抽出してもよい。また、位置導出部1206は、NN(Neural Network)等のAI(Artificial Intelligence)を用いて、前述したようにして抽出されたオブジェクトから、当該構造物を抽出してもよい。
【0133】
そして、位置導出部1206は、第1の撮像画像におけるステンシル(ラベル)による表示領域の位置と、第1の撮像画像における当該構造物に表示されている目盛りの位置とに基づいて、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出する。尚、第1の撮像画像において目盛りに付されている数字は、ステンシル(ラベル)による表示項目の構成要素を認識する手法と同様の手法で認識される。
【0134】
第4の例として、位置導出部1206は、第2の画像取得部1209で取得される第2の撮像画像を用いて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出してもよい。この場合、
図17のフローチャートにおいて、ステップS1708の処理が開始されるタイミングよりも前に、第2の画像取得部1209により第2の撮像画像を取得するステップが追加される。第2の撮像画像は、第1の撮像画像を撮像した第1の撮像装置(ステンシル(ラベル)による表示領域を含む領域を撮像する撮像装置)とは別の第2の撮像装置で撮像された撮像画像である。第2の撮像画像は、ステップS1701で取得された第1の撮像画像を撮像した第1の撮像装置と、ステップS1705で特定される厚板との双方を含む。このようにしてステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する方法の一例を説明する。
【0135】
図19は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する方法の一例を説明する図である。
図19に示す例においても、
図18と同様に、点Pは、第1の撮像装置の位置を示す(点Pのx-y-z座標は(x
p,y
p,z
p)である)。また、z軸は、厚板の表面(ステンシルによる表示領域201が形成されている面)に垂直な方向である。また、y軸は、ステンシルによる表示領域201において同一の表示項目の構成要素が並ぶ方向に平行な方向である。また、x軸は、ステンシルによる表示領域201において異なる表示項目が並ぶ方向に平行な方向である。また、x軸、y軸、z軸は相互に垂直であるものとする。ここでも、説明を簡単にするために、厚板の幅方向はy軸に平行であり、厚板の長さ方向はx軸に平行であるものとする。
【0136】
また、点O’は、(x-y平面に対する)点Pの垂線と、厚板の表面(ステンシルによる表示領域201が形成されている面)を含む平面と、の交点である(点O’は
図18の点Oに対応する)。点Oは、(x-y平面に対する)点Pの垂線の足(点Pの垂線とx-y平面との交点)である。
図19に示す例では、点Oが原点であるものとする。点Rは、第2の撮像装置の三次元位置を示す(点Rのx-y-z座標は(x
r,y
r,z
r)である)。第2の撮像装置の三次元位置は、例えば、第2の撮像装置の光学系(レンズ)の中心位置である。
【0137】
第2の撮像装置の三次元位置は、トラッキング装置1200で特定することが可能であるものとする。例えば、第2の撮像装置の三次元位置が固定である場合、第2の撮像装置のIDと、当該第2の撮像装置の三次元座標(x-y-z座標)と、が相互に関連付けられてトラッキング装置1200に予め登録される。また、第2の撮像装置の三次元位置が固定でない場合、例えば、第2の撮像装置は、GPSを用いて測位された当該第2の撮像装置の三次元座標(x-y-z座標)と当該第2の撮像装置のIDとを送信する。この場合、第2の画像取得部1209は、第2の撮像装置から送信されたこれらの情報を取得する。
【0138】
図19に示す例では、説明を簡単にするため、積み重ねられている複数の厚板のうち最下段にある厚板が地面に置かれているものとする。点Dは、ステンシルによる表示領域201が形成されている面の頂点のうち、点Rに最も近い位置にある頂点である。点Bは、積み重ねられている複数の厚板のうち最下段にある厚板の底面の頂点のうち、点Rに最も近い位置にある頂点である。
【0139】
図19において、∠BRD(=φ
B)および∠PRO(=φ
P)は、例えば、第2の撮像画像における点P、点B、および点Dの位置と、当該第2の撮像画像を撮像した際の光学系(レンズ)の中心位置(焦点距離を定めるために使用される光学系の中心位置)と、に基づいて定められる。第2の撮像画像における点Pと、第2の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分RPが延びる方向が特定される。第2の撮像画像における点Bと、第2の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分RBが延びる方向が特定される。第2の撮像画像における点Dと、第2の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分RTが延びる方向が特定される。∠BRD(=φ
B)は、線分RBが延びる方向と、線分RDが延びる方向と、に基づいて定められる。∠PRO(=φ
P)は、線分RPが延びる方向と、y軸方向と、に基づいて定められる。
【0140】
また、例えば、位置導出部1206は、第2の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)の測定値に基づいて、線分RPの長さ(点Rから点Pまでの距離)および線分RD(点Rから点Dまでの距離)の長さを導出する。そして、位置導出部1206は、第2の撮像装置の高さ方向(z軸方向)の位置(zr)と、線分RPの長さと、∠PRO(=φP)とに基づいて、第1の撮像装置の高さ方向(z軸方向)の位置(zp)を導出する(zp=zr+線分RPの長さ×sinφP)。同様に、位置導出部1206は、第2の撮像装置の高さ方向(z軸方向)の位置(zr)と、線分RDの長さと、∠BRD(=φB)に基づいて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する。
【0141】
尚、
図19では、第2の撮像装置(点R)の高さ方向(z軸方向)の位置が0(ゼロ)である場合を例示する。また、以上のように第2の撮像画像を用いれば、位置導出部1206は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置だけでなく、第1の撮像装置の高さ方向(z軸方向)の位置(z
p)を導出することができる。また、位置導出部1206は、高さ方向(z軸方向)の位置だけでなく、第1の撮像装置のx軸方向の位置(x
p)およびy軸方向の位置(y
p)も導出することができる。例えば、x
p、y
pは、線分RPが延びる方向と、y
r+線分RPの長さ×cosφ
Pとに基づいて導出される。即ち、線分RPが延びる方向と、y
r+線分RPの長さ×cosφ
Pとに基づいて、点R、Pを結ぶベクトルが導出される。当該ベクトルのx軸成分の長さ、y軸成分の長さが、x
p、y
pとなる。
【0142】
また、ここでは、第2の撮像装置により撮像される第2の撮像画像に点P(第1の撮像装置)が含まれる場合を例に挙げて説明した。しかしながら、第1の撮像装置(点P)と第2の撮像装置(点R)との相対的な位置関係(∠PRO(=φ
P)等)を導出することができれば、必ずしもこのようにする必要はない。このようにする場合、例えば、第1の撮像装置および第2の撮像装置と異なる少なくとも1つの撮像装置で撮像された撮像画像を用いる。このようにする場合の具体例を説明する。まず、第1の撮像装置および第2の撮像装置に加えて第3の撮像装置を配置する。第3の撮像装置は、点P(第1の撮像装置)および点R(第2の撮像装置)を撮像範囲に含み、点Dを撮像範囲に含まないものとする。また、第3の撮像装置の位置を示す点を不図示のR’とする。また、第2の撮像装置の位置を示す点Rの位置と第3の撮像装置の位置を示す点R’の位置との一方または両方が予め定められているものとする。この場合、位置導出部1206は、第3の撮像装置により撮像される第3の撮像画像に基づいて、点R’から点R、点Pを見たときの仰角または俯角を導出する、そして、位置導出部1206は、導出した仰角または俯角に基づいて、∠PRO(=φ
P)を導出する。角度、方向、および長さの導出は、
図19を参照しながら説明した手法と同様の手法で実現される。また、第3の撮像装置の撮像範囲に点P(第1の撮像装置)が含まれ、点R(第2の撮像装置)が含まれていない場合には、例えば、点R’(第3の撮像装置)および点R(第2の撮像装置)を撮像範囲に含む第4の撮像装置により撮像された第4の撮像画像を更に用いればよい。一方、例えば、第3の撮像装置の撮像範囲に点R(第2の撮像装置)が含まれ、点P(第1の撮像装置)が含まれていない場合には、例えば、点R’(第3の撮像装置)および点P(第1の撮像装置)を撮像範囲に含む第5の撮像装置により撮像された第5の撮像画像を更に用いればよい。
【0143】
また、位置導出部1206は、点P(第1の撮像装置)の位置を、第1の撮像装置を撮像範囲に含む第6の撮像装置により撮像される第6の撮像画像を用いて特定してもよい。この場合、第2の撮像装置、第3の撮像装置、および第4の撮像装置の少なくとも1つの撮像範囲に第6の撮像装置が含まれるものとする。また、第6の撮像装置の位置を示す点を不図示のP’とする。また、第1の撮像装置の位置を示す点Pの位置と第6の撮像装置の位置を示す点P’の位置との一方または両方が予め定められているものとする。この場合、例えば、前述した説明において、第1の撮像装置および点Pに代えて第6の撮像装置および点P’を用いた計算が行われる。そして、例えば、この計算の結果と、第6の撮像画像と、点Pおよび点P’の一方または両方の位置と、に基づいて、第1の撮像装置(点P)と第2の撮像装置(点R)との相対的な位置関係(∠PRO(=φP)等)が導出される。
【0144】
以上のようにすれば、第2の撮像装置の撮像範囲に第1の撮像装置と厚板との双方を含めるように第2の撮像装置を配置することができない場合であっても、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出することができる。尚、第3~第6の撮像画像は、例えば、第2の画像取得部1209により取得される。ただし、第2の画像取得部1209とは別に、第3~第6の撮像画像を個別に取得する第3~第6の画像取得部を用いてもよい。このようにする場合、
図17のフローチャートにおいて、ステップS1708の処理が開始されるタイミングよりも前のタイミングであって、第2の画像取得部1209により第2の撮像画像を取得するステップが実行されるタイミングとは別のタイミングに、第3~第6の撮像画像を個別に取得するステップが追加される。尚、第2の撮像画像等を取得しなくても、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができる場合には、第2の画像取得部1209は不要になる。
【0145】
第5の例として、位置導出部1206は、搬送テーブル1001に置かれている厚板1002a、1002bの、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を、搬送テーブル1001の位置と、厚板1000a、1002bの情報として管理テーブル1300に記憶されているサイズ(厚み)とに基づいて導出してもよい。このようにする場合、搬送テーブル1001の位置は、トラッキング装置1200に予め登録される。
【0146】
例えば、以上の例の少なくとも1つの例において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を導出することができる場合、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができると判定される。
【0147】
また、厚板が運搬具にある場合、ステップS1709において、位置導出部1206は、運搬具における厚板の三次元位置を取得する。本実施形態では、運搬具は、輸送船400および輸送車両700である。そこで、本実施形態では、運搬具が、輸送船400および輸送車両700である場合を例示する。
例えば、厚板が輸送船400に荷積みされると、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得する。そして、位置導出部1206は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、位置導出部1206は、特定した列の物品位置の欄に、取得した輸送船400における厚板の三次元位置を示す情報を記憶する。例えば、輸送船400のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置1200に、厚板のIDと輸送船400における当該厚板の三次元位置を示す情報とを送信することで、位置導出部1206は、当該厚板のIDと当該輸送船400における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル(ラベル)による表示領域のx-y-z座標である。
【0148】
また、厚板が輸送車両700に荷積みされると、位置導出部1206は、当該厚板のIDと当該輸送車両700における厚板の三次元位置を示す情報とを取得する。そして、位置導出部1206は、は、管理テーブル1300のIDの欄から、取得した厚板のIDと同じIDを示す情報が記憶されている列を特定する。そして、位置導出部1206は、特定した列の物品位置の欄に、取得した輸送車両700における厚板の三次元位置を示す情報を記憶する。例えば、輸送車両700のオペレータ(作業員)が、手持ちの情報処理端末(タブレット端末等)に厚板のIDと輸送車両700における当該厚板の三次元位置を示す情報とを入力してもよい。このようにする場合、当該情報処理端末からトラッキング装置1200に、厚板のIDと当該輸送車両700における当該厚板の三次元位置を示す情報とを送信することで、位置導出部1206は、当該厚板のIDと当該輸送車両700における当該厚板の三次元位置を示す情報とを取得してもよい。厚板の三次元位置を示す情報は、例えば、ステンシル(ラベル)による表示領域のx-y-z座標である。
【0149】
以上のように運搬具における厚板の三次元位置を取得することにより、各厚板を搬送する運搬具を特定することができる。また、運搬具により厚板が搬送中であるときの厚板の三次元位置を正確に特定することができる。
【0150】
図17の説明に戻り、ステップS1708において、ステンシル(ラベル)による表示領域の高さ方向(z軸方向)の位置を特定することができないと判定された場合には、ステップS1712の処理が実行される。ステップS1712において、出力部1208は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第1の撮像装置のIDとを出力する。例えば、出力部1208は、厚板の三次元位置を特定することができないことを示す情報と、当該厚板を撮像した第1の撮像装置のIDとを、コンピュータディスプレイに表示させる。これらの情報が出力されると、オペレータ(作業員)は、該当する第1の撮像装置が存在する位置まで出向き、該当する厚板の三次元位置を特定する。また、オペレータ(作業員)は、該当する第1の撮像装置のプレビュー画像から、該当する厚板の三次元位置を特定してもよい。
【0151】
次に、ステップS1713において、記憶部1207は、オペレータ(作業員)により特定された厚板の三次元位置を示す情報を入力し、当該厚板に対する情報として管理テーブル1300の非現品表示の欄の物品位置の欄に記憶されている情報を、当該入力した情報に更新する。尚、厚板の三次元位置を示す情報の入力の形態として、トラッキング装置1200のユーザインターフェースの操作による入力、外部装置から送信された情報の受信、および可搬型の記憶媒体に記憶された情報の読み出しのうち、少なくとも1つを採用することができる。そして、
図17のフローチャートによる処理が終了する。
【0152】
<まとめ>
以上のように本実施形態では、トラッキング装置1200は、厚板に表示されている情報であって、当該厚板の製造メーカによって管理されている情報がステンシル(ラベル)により表示された表示領域を含む領域の第1の撮像画像を取得する。トラッキング装置1200は、当該取得した第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、ステンシル(ラベル)による表示領域の三次元位置を導出し、当該三次元位置を示す情報を、当該厚板のIDと関連付けて記憶媒体に記憶する。従って、例えば、各種の搬送装置(輸送船400、輸送車両700、搬送テーブル1001等)を用いて厚板を搬送したり、厚板を作業員が搬送したりする場合や、置場番地が定められていない置場に厚板が置かれる場合や、厚板が積み重ねられて置かれる場合であっても、厚板をトラッキングすることができる。よって、厚板のトラッキングの精度を向上させることができる。
【0153】
また、本実施形態では、トラッキング装置1200は、第1の撮像画像に基づいて、ステンシル(ラベル)による表示領域に表示されている情報(ID305、312)を認識する。そして、トラッキング装置1200は、認識した情報と、管理テーブル1300に記憶されている情報(ID)とを照合し、照合した結果に基づいて、厚板を特定する。従って、トラッキングの対象となる厚板そのものを、第1の撮像画像に基づいて確実に特定することができる。よって、例えば、搬送機器の動作に基づいて、厚板の三次元位置を特定する場合に比べ、厚板のトラッキングの精度を向上させることができる。
【0154】
また、本実施形態では、トラッキング装置1200は、第1の撮像画像を撮像した第1の撮像装置と異なる第2の撮像装置により撮像された第2の撮像画像を取得する。第2の撮像画像には、第1の撮像画像と、(トラッキングの対象となる)厚板とが含まれる。トラッキング装置1200は、当該取得した第2の撮像画像と、第2の撮像装置の位置と、に基づいて、ステンシルによる表示領域201の高さ方向(z軸方向)の位置を導出する。そして、トラッキング装置1200は、ステンシルによる表示領域201の高さ方向(z軸方向)の位置と、第1の撮像画像と、当該第1の撮像画像を撮像した第1の撮像装置の位置と、に基づいて、ステンシルによる表示領域201の三次元位置を、厚板の三次元位置として導出する。従って、第1の撮像画像や第1の撮像画像が備えるセンサを用いても、厚板の高さ方向の位置を導出することができない場合でも、厚板をトラッキングすることができる。
【0155】
また、本実施形態では、ステンシルによる表示およびラベルによる表示を、人が識別可能な情報とする。従って、オペレータ(作業員)による現品管理が容易になる。よって、現品管理の利便性が向上する。
【0156】
また、本実施形態では、ステンシルによる表示およびラベルによる表示に、厚板ごとに個別に定められる情報(厚板に固有の情報)が含まれるようにした。従って、第1の撮像画像に基づいて、厚板を一意に識別することができる。よって、厚板の識別を容易に且つ迅速に行うことができる。
【0157】
また、本実施形態では、トラッキング装置1200は、ステンシル(ラベル)による表示領域の位置として、三次元座標(x-y-z座標)を導出する。従って、例えば、複数の厚板が積み重ねられている場合であっても、厚板をトラッキングすることができる。
【0158】
<変形例>
<<第1の変形例>>
ステップS1709において第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する方法は、
図18を参照しながら説明した手法に限定されない。例えば、位置導出部1206は、管理テーブル1300において物品内位置を定める際の原点の位置を、第1の撮像画像から導出する。そして、位置導出部1206は、導出した原点の位置と、管理テーブル1300の物品内位置の欄に記憶されている情報と、に基づいて、第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する。このようにして第1の撮像画像に含まれるステンシル(ラベル)による表示領域の位置を導出する手法の一例を、ステンシルによる表示領域201を例に挙げて説明する。
【0159】
図20は、ステンシルによる表示領域201の位置を導出する方法の一例を説明する図である。
図20では、
図18と同様に、点Sのx-y-z座標S(x
s,y
s,z
s)を、ステンシルによる表示領域201の位置として導出する場合を例示する。
図14を参照しながら説明したように、ステンシルの物品内位置は、
図2に示す頂点203を原点とし、当該頂点203から、厚板の幅方向に沿う方向をy軸の正の方向、厚板の長さ方向に沿う方向をx軸の正の方向とするx-y座標で表される。従って、
図20の点Eの位置が、ステンシルの物品内位置の原点となる。点Fは、厚板の頂点のうち、点Eに対して幅方向(y軸方向)に並ぶ点である(点Eと点Fとで厚板の幅方向に沿う一辺が形成される)。点Tは、線分EFに対する点Pの垂線の足(点Pの垂線と線分EFとの交点)である。点Pおよび点Oは、
図18に示したものと同じである。
【0160】
図20において、線分PTの長さをh
pとする。また、線分PFの長さをh
1とし、∠FPTをθ
1(rad)とし、線分PEの長さをh
2とし、∠EPTをθ
2(rad)とし、∠EPFをθ(rad)(θ=θ
1+θ
2)とする。また、線分FTの長さをw
01とし、線分ETの長さをw
02とする。
【0161】
そうすると、点Eのx座標xeは、点Pのx座標xpに、線分OTの長さlpを加算した値(xe=xp+lp)になる。点Eのy座標yeは、点Pのy座標ypから、線分ETの長さwo2を減算した値(ye=yp-wo2)になる。従って、線分OTの長さlpと、線分ETの長さwo2とが導出されれば、点Eの位置(ステンシルの物品内位置の原点)のx-y座標(xe,ye)が導出される。
【0162】
線分OTの長さl
pは、以下の(5)式で表される。
l
p=√(h
p
2-H
2)=√(h
1
2cos
2θ
1-H
2)=√(h
2
2cos
2θ
2-H
2) ・・・(5)
線分ETの長さw
o2は、以下の(6)式で表される。
w
o2=h
2sinθ
2 ・・・(6)
従って、例えば、線分PEの長さh
2および∠EPT(=θ
2)が導出されれば、線分OTの長さl
pおよび線分ETの長さw
o2が導出される。尚、線分OPの長さHは、
図18を参照しながら説明したようにして導出される。
【0163】
第1の撮像画像における点Tの位置は、第1の撮像画像における線分EF上の位置であって、撮像時の水平画角(y軸方向の画角)の中心に対応する位置となる。∠EPT(=θ2)は、例えば、ステップS1701で取得した第1の撮像画像における点Eおよび点Tの位置と、当該第1の撮像画像を撮像した際の光学系(レンズ)の中心位置(焦点距離を定めるために使用される光学系の中心位置)と、に基づいて定められる。第1の撮像画像における点Eと、第1の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分PEが延びる方向が特定される。第1の撮像画像における点Tと、第1の撮像画像を撮像した際の光学系(レンズ)の中心位置とを結ぶ直線により、線分PTが延びる方向が特定される。∠EPT(=θ2)は、線分PEが延びる方向と、線分PTが延びる方向と、に基づいて定められる。
線分PEの長さh2は、例えば、第1の撮像装置が備える測距センサ(例えばTOF(Time-of-Flight)方式の測距センサ)を用いて導出される。この他、線分OPの長さHと、∠OPEとに基づいて、線分PEの長さh2を導出してもよい。
【0164】
以上のようにして、点Eのx座標xeおよびy座標yeが導出される。そして、位置導出部1206は、ステップS1705で特定された厚板のラベルの情報として管理テーブル1300の物品内位置の欄に記憶されている情報から、点Sに対応する位置のx-y座標(Ls10,Ws10)を読み出す。そして、位置導出部1206は、点Eのx座標xeにLS10を加算した値を点Sのx座標xsとして導出する(xs=xe+LS10)。また、位置導出部1206は、点Eのy座標xyにWS10を加算した値を点Sのy座標ysとして導出する(ys=ye+WS10)。
【0165】
<<第2の変形例>>
本実施形態のように、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315を、人が識別可能な情報とすれば、オペレータ(作業員)による現品管理が容易になるので好ましい。しかしながら、需要家名302、規格303、サイズ304、ID305、需要家コード306、注文番号307、規格311、ID312、サイズ313、納期314、および需要家コード315の少なくとも1つを、バーコードや2次元コードのように、人が識別可能でない情報に変換(エンコード)された情報としてもよい。
【0166】
<<第3の変形例>>
本実施形態では、
図3A、
図3Bに示すように、ステンシルにより表示されるID305と、ラベルにより表示されるID312とが同じである場合を例示した。しかしながら、これらのIDの表現および記載内容が異なる場合がある。例えば、IDにおいて“ハイフン”がない形式もある。このような場合、これらのID(ステンシルによるID、ラベルによるID)が同一の厚板に対するものであることを示す情報を管理テーブル1300に記憶させる。ID以外の表示項目についても、同一の表示項目の表現および記載内容が、ステンシルによる表示およびラベルによる表示で異なる場合がある。例えば、ステンシルおよびラベルの双方に規格が表示される場合、例えば、ラベルには規格の略称が表示される場合がある。また、ステンシルによる表示とラベルによる表示とで需要者コードの桁数が異なる場合があるが、需要者コードは製造メーカで管理されている。また、サイズについても、寸法の全ての桁を示さない場合がある。このような場合にも、それら異なる表現および記載内容が同等の意味であることを示す情報を管理テーブル1300に記憶させる。
【0167】
<<第4の変形例>>
本実施形態では、ステンシル(ラベル)による表示領域のx-y-z座標を、ステンシル(ラベル)による表示領域の三次元位置として導出する場合を例示した。しかしながら、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標に限定されない。例えば、ステンシル(ラベル)による表示領域の三次元位置は、第1の撮像装置の位置を基準とする相対的な三次元位置であってもよい。このようにする場合、撮像装置の三次元位置を示す点Pの座標(xp,yp,zp)を用いなくてもよい。尚、x-y-z座標の原点を、第1の撮像装置の三次元位置とする場合、ステンシル(ラベル)による表示領域の三次元位置は、x-y-z座標で表しても、第1の撮像装置の三次元位置を基準とする相対的な三次元位置を示すことになる。
【0168】
<<第5の変形例>>
本実施形態では、識別情報取得部1210が、認識部1202、入手部1203、照合部1204、および特定部1205を有する場合を例示した。しかしながら、識別情報取得部1210は、位置導出部1206により導出された三次元位置に関連付ける厚板の識別情報を取得していれば、必ずしも、認識部1202、入手部1203、照合部1204、および特定部1205を有している必要はない。識別情報取得部1210は、例えば、認識部1202のみを有していてもよい。また、識別情報取得部1210は、例えば、入手部1203のみを有していてもよい。また、識別情報取得部1210は、例えば、認識部1202と入手部1203のみを有していてもよい。例えば、識別情報取得部1210は、認識部1202により認識されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、入手部1203、照合部1204および特定部1205を有していなくてもよい。また、例えば、トラッキングの対象となる物品が予め1つに限定されている場合、識別情報取得部1210は、入手部1203により入手されたIDを、厚板の識別情報として取得してもよい。この場合、識別情報取得部1210は、認識部1202、照合部1204および特定部1205を有していなくてもよい。また、例えば、識別情報取得部1210は、認識部1202により認識された情報のみから厚板を特定する場合には認識部1202を利用し、トラッキングの対象となる物品が予め1つに限定されている場合には入手部1203を利用してもよい。この場合、識別情報取得部1210は、照合部1204および特定部1205を有していなくてもよい(認識部1202および入手部1203のみを有していてもよい)。
【0169】
<<第6の変形例>>
本実施形態では、管理テーブル1300がトラッキング装置1200に記憶されている場合を例示した。しかしながら、管理テーブル1300は、トラッキング装置1200の外部にあってもよい。
【0170】
<<第7の変形例>>
本実施形態では、物品が厚板である場合を例示した。しかしながら、物品は、厚板に限定されない。例えば、物品は、厚板以外の製造物であってもよい。物品は、製造者によって管理されている情報が表示されている製造物であってもよい。製造物は、例えば、スラブ、ビレット、薄板コイル、または鋼管であってもよい。また、製造物以外の物品であってもよい。物品は、例えば、コンテナであってもよい。
【0171】
<<その他の変形例>>
尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。また、本発明の実施形態は、PLC(Programmable Logic Controller)により実現されてもよいし、ASIC(Application Specific Integrated Circuit)等の専用のハードウェアにより実現されてもよい。
また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0172】
<ハードウェア>
トラッキング装置1200のハードウェアの一例について説明する。
図21において、トラッキング装置1200は、CPU2101、主記憶装置2102、補助記憶装置2103、通信回路2104、信号処理回路2105、画像処理回路2106、I/F回路2107、ユーザインターフェース2108、ディスプレイ2109、およびバス2110を有する。
【0173】
CPU2101は、トラッキング装置1200の全体を統括制御する。CPU2101は、主記憶装置2102をワークエリアとして用いて、補助記憶装置2103に記憶されているプログラムを実行する。主記憶装置2102は、データを一時的に格納する。補助記憶装置2103は、CPU2101によって実行されるプログラムの他、各種のデータを記憶する。
【0174】
通信回路2104は、トラッキング装置1200の外部との通信を行うための回路である。通信回路2104は、トラッキング装置1200の外部と無線通信を行っても有線通信を行ってもよい。
【0175】
信号処理回路2105は、通信回路2104で受信された信号や、CPU2101による制御に従って入力した信号に対し、各種の信号処理を行う。
画像処理回路2106は、CPU2101による制御に従って入力した信号に対し、各種の画像処理を行う。この画像処理が行われた信号は、例えば、ディスプレイ2109に出力される。
ユーザインターフェース2108は、オペレータがトラッキング装置1200に対して指示を行う部分である。ユーザインターフェース2108は、例えば、ボタン、スイッチ、およびダイヤル等を有する。また、ユーザインターフェース2108は、ディスプレイ2109を用いたグラフィカルユーザインターフェースを有していてもよい。
【0176】
ディスプレイ2109は、画像処理回路2106から出力された信号に基づく画像を表示する。I/F回路2107は、I/F回路2107に接続される装置との間でデータのやり取りを行う。
図21では、I/F回路2107に接続される装置として、ユーザインターフェース2108およびディスプレイ2109を示す。しかしながら、I/F回路2107に接続される装置は、これらに限定されない。例えば、可搬型の記憶媒体がI/F回路2107に接続されてもよい。また、ユーザインターフェース2108の少なくとも一部およびディスプレイ2109は、トラッキング装置1200の外部にあってもよい。
出力部1208は、例えば、通信回路2104および信号処理回路2105と、画像処理回路2106、I/F回路2107、およびディスプレイ2109との少なくとも何れか一方を用いることにより実現される。
【0177】
尚、CPU2101、主記憶装置2102、補助記憶装置2103、信号処理回路2105、画像処理回路2106、およびI/F回路2107は、バス2110に接続される。これらの構成要素間の通信は、バス2110を介して行われる。また、トラッキング装置1200のハードウェアは、前述したトラッキング装置1200の機能を実現することができれば、
図21に示すものに限定されない。
【産業上の利用可能性】
【0178】
本発明は、例えば、物品をトラッキングすることに利用することができる。