(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022146742
(43)【公開日】2022-10-05
(54)【発明の名称】積荷長さ計測システム、積荷長さ計測方法および積荷長さ計測プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220928BHJP
G06T 7/60 20170101ALI20220928BHJP
G01B 11/02 20060101ALI20220928BHJP
【FI】
G06T7/00 350B
G06T7/60 150Z
G01B11/02 H
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021047867
(22)【出願日】2021-03-22
(71)【出願人】
【識別番号】390005267
【氏名又は名称】YKK AP株式会社
(71)【出願人】
【識別番号】591096369
【氏名又は名称】日立物流ソフトウェア株式会社
(71)【出願人】
【識別番号】510277752
【氏名又は名称】Automagi株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】四柳 博之
(72)【発明者】
【氏名】井上 高尚
(72)【発明者】
【氏名】佐藤 峻
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA22
2F065BB13
2F065CC11
2F065FF01
2F065FF04
2F065JJ03
2F065JJ26
2F065QQ25
2F065RR07
5L096AA06
5L096CA02
5L096DA02
5L096FA59
5L096FA64
5L096FA66
5L096FA67
5L096HA11
5L096KA04
(57)【要約】
【課題】積荷におけるパレットからの突出長さの計測を作業者によらず一様、正確かつ容易に行う。
【解決手段】積荷長さ計測システム30では、学習モデル46を用いた画像認識により、入力画像22におけるパレット10の支柱16、ボード18、および積荷12の露呈部12a,12bを識別する。入力画像22内の支柱16から第1基準箇所P
01、第2基準箇所P
02を特定する。第1基準箇所P
01、第2基準箇所P
02から入力画像22内における基準距離を求める。入力画像22内で露呈部12a,12bにおける画像内突出長さを求める。露呈部12a,12bの実長さL1,L2を求める。
【選択図】
図4
【特許請求の範囲】
【請求項1】
所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測システムであって、
前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶する記憶部と、
前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別手段と、
前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別手段と、
を有することを特徴とする積荷長さ計測システム。
【請求項2】
前記入力画像内で識別された前記基準要素から所定基準に基づいて前記第1基準箇所および前記第2基準箇所を特定する基準箇所特定手段と、
前記入力画像内で特定された前記第1基準箇所および前記第2基準箇所から前記入力画像内における前記基準距離を求める基準距離算出手段と、
前記入力画像内で前記露呈部における前記所定方向の長さを求める画像内突出長さ算出手段と、
前記入力画像内における前記基準距離および前記露呈部の前記所定方向の長さから前記露呈部の実長さを求める実長さ算出手段と、
を有することを特徴とする請求項1に記載の積荷長さ計測システム。
【請求項3】
前記基準要素は、前記積荷が載置される台座で水平方向に離間した位置から上方に突出して前記積荷を側方で支える一対の支柱であることを特徴とする請求項1または2に記載の積荷長さ計測システム。
【請求項4】
前記所定方向は水平方向であって、
前記第1基準箇所および前記第2基準箇所は、一対の前記支柱における同じ高さの点であることを特徴とする請求項3に記載の積荷長さ計測システム。
【請求項5】
前記第1基準箇所および前記第2基準箇所は、前記露呈部における水平方向の最突出部と同じ高さの点とすることを特徴とする請求項4に記載の積荷長さ計測システム。
【請求項6】
前記入力画像は、前記パレットの左右中心よりも前記露呈部が存在する側に寄った位置で撮影されたものであることを特徴とする請求項4または5に記載の積荷長さ計測システム。
【請求項7】
前記所定方向は鉛直方向であって、
一対の前記支柱の長さはそれぞれ前記基準距離であり、
前記第1基準箇所および前記第2基準箇所は、前記支柱の上端部および下端部とすることを特徴とする請求項3に記載の積荷長さ計測システム。
【請求項8】
前記積荷遮蔽物は、一対の前記支柱に固定されて該積荷を側方で支えるボードであり、
前記支柱は前記第1色が規定されており、
前記ボードの前記第2色は前記第1色とは異なり、
前記ボードは、一対の前記支柱の間に亘って設けられており、一対の前記支柱よりも面積が大きいことを特徴とする請求項3~5のいずれか1項に記載の積荷長さ計測システム。
【請求項9】
所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測方法であって、
前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、
前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、
前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、
をプロセッサが実行することを特徴とする積荷長さ計測方法。
【請求項10】
所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測プログラムであって、
前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、
前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、
前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、
をプロセッサに実行させることを特徴とする積荷長さ計測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、パレットに積まれた積荷の一部の長さを計測する積荷長さ計測システム、積荷長さ計測方法および積荷長さ計測プログラムに関する。
【背景技術】
【0002】
積荷はパレットに積まれた状態でトラック等の荷室に積載されることが多い。積荷の大きさは一様ではなく、建材製品などには長尺なものがあってパレットから横方向に突出してしまう場合がある。また、複数の積荷を積む場合などでは高さ方向に突出してしまう場合がある。このようにパレットから突出してしまう積荷の大きさが一様でない場合であっても、荷室容量を効率的に利用することができるように荷積みプランを作成することが特許文献1で提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記のような荷積みプランを事前に作成するため、事後的検証のため、またはシミュレーション利用に供するなどの目的のためには積荷におけるパレットからの突出長さを計測して記録・保管することが望ましい。この突出長さの計測は主に荷積み作業者判断で固有の手段により行われ、その後記録、転記および保管される。このような一連の処理は作業者ごとの計測手段の違いによって偏りや誤差が生じたり、記録や操作のミスが生じたりする懸念があるだけでなく、作業者にとって負担となる。
【0005】
本発明は、上記の課題に鑑みてなされたものであって、積荷におけるパレットからの突出長さの計測を作業者によらず一様、正確かつ容易に行うことのできる積荷長さ計測システム、積荷長さ計測方法および積荷長さ計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明にかかる積荷長さ計測システムは、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測システムであって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶する記憶部と、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別手段と、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別手段と、を有することを特徴とする。
【0007】
また、本発明にかかる積荷長さ計測方法は、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測方法であって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、をプロセッサが実行することを特徴とする。
【0008】
さらに、本発明にかかる積荷長さ計測プログラムは、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測プログラムであって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、をプロセッサに実行させることを特徴とする。
【発明の効果】
【0009】
本発明にかかる積荷長さ計測システム、積荷長さ計測方法および積荷長さ計測プログラムでは、学習モデルを用いた画像認識により、入力画像における積荷の露呈部を識別するとともに、入力画像内で識別された基準要素から第1基準箇所および第2基準箇所を特定する。そして、第1基準箇所および第2基準箇所から画像内の基準距離が求められることから、これらに基づいて実際の露呈部の長さが算出される。作業者はカメラによる撮影をして画像を送信するだけで足り、作業者ごとに固有手段の計測が行われることがなく、記録や転記によるミスが防止されて一様、正確かつ容易に長さの計測を行うことができる。
【図面の簡単な説明】
【0010】
【
図2】積荷を積んだ状態のパレットを撮影する様子を示す模式上面図である。
【
図3】撮影されたパレットおよび積荷の生の画像を示す図である。
【
図4】積荷長さ計測システムを含む積荷管理システムのブロック図である。
【
図6】積荷長さ計測システムで処理部が実行する積荷長さ計測方法のフローチャートである。
【
図7】各領域が自動識別された結果を模式的に示す図である。
【
図8】水平方向突出長さの算出過程を説明するための幾何図である。
【
図9】上向き突出長さの算出過程を説明するための幾何図である。
【発明を実施するための形態】
【0011】
以下に、本発明にかかる積荷長さ計測システム、積荷長さ計測方法および積荷長さ計測プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【0012】
まず、本実施の形態で計測対象となるパレット10および積荷12について説明する。
図1は、積荷12を積んだパレット10の模式斜視図である。
【0013】
図1に示すように、パレット10は、積荷12が載置される台座部14と、台座部14から立設する支柱16と、積荷12を側方で支えるボード(積荷遮蔽物)18とを有する。台座部14は積荷12の形状に応じてやや長尺矩形の板形状となっており、床面に水平に載置される。支柱16は片側に一対ずつ合計4本が設けられている(
図2参照)。ボード18は片側に1枚ずつ合計2枚が設けられている。1枚のボード18は一対の支柱16に固定されて積荷12を側方で支える。また、支柱16もボード18を介して積荷12を側方で支えている。
【0014】
側方から見て、一対の支柱16は台座部14の端部近傍にあり、水平方向に水平基準距離L01だけ離間している。一対の支柱16は平行であり、その長さはそれぞれ鉛直基準距離L02となっている。支柱16は適度に長く設定されており積荷12を鉛直方向に相当数積むことができる。支柱16は適度な幅を有しており、積荷12を支える強度を有するとともに、カメラによる撮影で明確に識別可能となっている。
【0015】
側方から見て、ボード18は台座部14と同じだけの幅を有し、支柱16よりもやや高く、広い面積で積荷12を側方から支えることができるとともに、カメラによる撮影で明確に識別可能となっている。ボード18の幅および高さは、これよりもある程度小さく設定されていてもよいが、少なくとも一対の支柱16の間に亘って設けられていると積荷12を安定的に支持することができる。また、少なくとも、一対の支柱16よりも面積が大きいと、撮影した画像上で識別が容易となる。
【0016】
支柱16については、撮影で明確に識別可能であるように、所定の形状若しくは所定の色又はその結合とすればよい。ここで、本願における「色」とは色相、彩度、明度の組み合わせであり基本的には単色であるが、設計条件によっては規定された何らかの模様やマークなどを含んでもよい。各図では支柱16の色を濃いドット地で示している。また、支柱16を識別しやくするために台座部14は支柱16と異なる色にするとよい。本実施形態では、支柱16の形状は幅および高さが規定されている。支柱16は色についても規定されており例えば緑色(第1色)である。
【0017】
ボード18は少なくとも積荷12とは異なる色(第2色)で、例えばグレーとする。各図ではボード18の色を薄いドット地で示している。
【0018】
積荷12は、例えば段ボールで覆われており、段ボールで一般的な黄土色(第3色)である。積荷12は、基本的に全て同色であるものとするが色褪せなどによる多少の色違いは許容されるものとする。また、積荷12にはある程度の文字、マークなどが印刷されていても許容される。各図では積荷12の色を中程度濃度のドット地で示している。側面から見た場合、ボード18は積荷12の大部分を遮蔽している。
【0019】
後述するようにパレット10はカメラによって撮影されるが、仮に一方の側面だけから撮影するような場合には、撮影されない他方の側面については支柱16およびボード18の大きさ、形状、色などが特に規定されなくてもよい。
【0020】
積荷12は、例えば建材製品などであって台座部14よりも長尺な場合がある。つまり、積荷12はボード18よりも左右方向に突出する場合がある。積荷12がボード18における水平方向の縁18aから水平方向へ突出している水平露呈部12aの水平方向突出長さをL1とする。水平露呈部12aはボード18の左右両側に生じ得る。積荷12が短尺である場合には水平露呈部12aは生じない。
【0021】
パレット10には積荷12が複数積載可能である。積荷12の数や大きさによってはその一部がボード18よりも上方に突出する場合がある。積荷12がボード18における上部の縁18bから上方へ突出している上方露呈部12bの上向き突出長さをL2とする。積荷12の数や大きさにより、上方露呈部12bは生じない場合がある。なお、水平露呈部12aおよび上方露呈部12bのいずれも生じない場合であっても、事前学習および実際の計測時に撮影および所定の処理を施すようにしてよい。突出のない場合には、突出量が「0mm」として出力される。
【0022】
パレット10は、積荷12の荷積みをする1以上のヤード(例えば工場・倉庫・販売店等)で共通の仕様として複数が用いられる。
図1から了解されるようにパレット10は簡易構造である。また、ボード18および支柱16の色は汎用市販塗料の中から選択すると新規の塗装や塗り直しを容易に行うことができる。
【0023】
後述する各システムでは、パレット10が積荷12を積んだ状態を撮影した画像を用いる。
図2は、積荷12を積んだ状態のパレット10を撮影する様子を示す模式上面図である。
【0024】
図2において、仮に符号20xで示すように左右中心C上でパレット10に近い位置から撮影をすると、パレット10には多少の奥行があるため、手前側の短い積荷12(
図2で符号12Aを付す)と奥の長い積荷12(
図2で符号12Bを付す)が同じ長さに撮影されてしまう。そのため、撮影はパレット10の左右中心Cよりも水平露呈部12aが存在する側に寄った位置(例えば、縁18aの延長線上)で、かつパレット10から適度に離れた位置においてカメラ20により撮影をする。これにより、積荷12が載置されている奥行位置に起因する誤差を抑制できる。水平露呈部12aがボード18の左右両端から突出している場合には、それぞれ左右に寄った個別の位置でカメラ20による撮影をする。左側で撮影した画像と右側で撮影した画像については左右対称の処理をすることから、以下の説明では左側の画像を例にして説明する。
【0025】
図3は、撮影されたパレット10および積荷12の生の画像22を示す図である。画像22に撮影される情報として必要なものは、一対の支柱16の全体、左側の水平露呈部12aの全体、上方露呈部12bで最も突出している部分、およびボード18の左側の縁18aである。台座部14は基本的に画像22内で水平となるように撮影が行われるが、多少の傾斜は許容される。また、撮影者の技量によるカメラ20の任意方向への傾きが許容される。さらに、カメラ22のレンズ特性による固有の歪みが許容される。
図3で示す例では、画像がある程度歪んでいるがこのような画像も許容される。このように画像22の撮影には特段難しい条件はなく、撮影が容易に行われる。画像22の撮影は、例えばヤードにおける荷積みの作業者等によって行われる。撮影するカメラ20の機種は、ヤードごと、または作業者ごとに異なっていても構わない。つまり、画像22は撮影するカメラ20の機種ごとのレンズや受光素子の違いにより画質に多少の差があっても構わない。
【0026】
なお、本願における「カメラ」とは、いわゆるデジタルカメラでありスマートフォン、タブレット端末およびノート型パソコン等に付属されているものを含む。また、本願における「画像」とは静止画のデジタル画像であるが、デジタル動画の一部を静止画として用いてもよい。画像22は基本的にはカラー画像とする。
【0027】
次に、本実施の形態にかかる積荷長さ計測システム30について説明する。
図4は、積荷長さ計測システム30を含む荷積み管理システム32のブロック図である。荷積み管理システム32は、積荷長さ計測システム30の他に学習システム34および荷積みプランシステム36を有している。積荷長さ計測システム30、学習システム34および荷積みプランシステム36は必ずしも1つのシステムとしてまとまったものではなく、それぞれ単独で構成されていてデータの授受は所定の通信網または記録媒体を用いるようにしてもよい。積荷長さ計測システム30、学習システム34および荷積みプランシステム36は1台のコンピュータに含まれるものであってもよい。
【0028】
積荷長さ計測システム30は処理部30aおよび記憶部30bを有し、学習システム34は処理部34aおよび記憶部34bを有し、荷積みプランシステム36は処理部36aおよび記憶部36bを有している。各処理部(プロセッサ)は、例えば、CPU(Central Processing Unit)等の処理装置にプログラムを読み取り実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)等のハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
【0029】
各ヤードでカメラ20によって撮影された多数の画像22は、通信網38等を介して荷積み管理システム32に供給され、さらに学習システム34の記憶部34bまたは積荷長さ計測システム30の記憶部30b内に入力画像22として記録される。
【0030】
学習システム34は、いわゆる機械学習やディープラーニングなどのAI(Artificial Intelligence)における学習フェーズを行う部分である。本実施形態では学習フェーズにおいて、まず複数の入力画像22から複数の教師画像40を作成する。
【0031】
図5は、教師画像40を示す図である。この教師画像40は
図3に示した入力画像22を元にして作成されたものである。すなわち、入力画像22における積荷12の水平露呈部12a,上方露呈部12b、一対の支柱16、およびボード18の領域をそれぞれ個別に識別指定することにより教師画像40が得られる。この領域指定の作業は、例えば所定の領域判別ソフトを用いながら人手によって適宜修正することによって得られる。
図4では領域指定された箇所を太線で囲い、さらに個別のハッチングを付している。なお、教師画像40を作成するには、入力画像22をそのまま用いてもよいし、必要に応じて前処理として適宜補正(例えばトリミング処理)をかけてから用いてもよい。
【0032】
そして、学習システム34の処理部34aでは学習手段34aaが複数の教師画像40に基づいて学習を行い、各画像の特徴から一対の支柱16、水平露呈部12a、上方露呈部12bおよびボード18を識別することが可能な学習モデル46を生成する。多数枚の教師画像40に基づいて学習を行うことにより画像22内の各像に多少の歪みや形状、色、配置などに違いがあっても学習モデル46では各部の領域を識別可能となる。
【0033】
得られた学習モデル46は、積荷長さ計測システム30の記憶部30bに供給されて記録される。学習モデル46の形式は限定されず、例えば推論プログラムや各種のパラメータ等を含み得る。学習手段34aaとしては公知のAIモデルを適用可能である。学習モデル46を生成した後、学習システム34は特に動作させなくてもよく、また記憶部34bには新たな入力画像22を入力させなくてもよい。
【0034】
AIではどのような推論を行っているのかについて人間には把握不能とされているが、人間が入力画像22を見て各要素を識別しやすくなっていることがAIでも識別精度の向上に資すると期待される。したがって、水平露呈部12a、上方露呈部12b、一対の支柱16およびボード18は互いに異なる位置、色、形状にすることが好ましいと考えられる。そのため、パレット10の各部は上記のように色や形状が個別に規定されている。ただし、水平露呈部12aおよび上方露呈部12bについては、その性質上から形状を規定することはできず、積荷12の積載態様についてはある程度自由であるものとする。
【0035】
次に、積荷長さ計測システム30について説明する。積荷長さ計測システム30の処理部30aは、画像入力手段30aa、基準要素部識別手段30ab、積荷識別手段30ac、ボード識別手段30ad、基準箇所特定手段30ae、基準距離算出手段30af、画像内突出長さ算出手段30ag、実長さ算出手段30ahおよび結果出力手段30aiを有する。これらの手段は処理部30aが所定のプログラムを読み込み実行することにより実行される。このうち、基準要素部識別手段30ab、積荷識別手段30ac、ボード識別手段30adは学習モデル46によって実行されるものであってもよい。
【0036】
図6は、積荷長さ計測システム30で処理部30aが実行する積荷長さ計測方法のフローチャートである。処理部30aは、
図6のステップS2~S4でAIにおける推論フェーズを行い、さらにステップS5~S8で所定の計算処理を行う。
【0037】
図6に示す処理に先立って、各ヤードで撮影された1以上の画像22が記憶部30bに入力画像22として記憶されているものとする。
図6の処理は、記憶部30bに入力画像22が入力されるごとに実行されてもいいし、所定枚数が蓄えられた時点でまとめて実行されてもいいし、または所定期間(例えば一週間)ごとに実行されてもいい。
【0038】
図6のステップS1において、画像入力手段30aaは記憶部30bから入力画像22を読み込む。この入力画像22については学習システム34と同様に、適宜前処理をかけてもよい。
【0039】
ステップS2において、基準要素部識別手段30abは、学習モデル46を用いた画像認識により、入力画像22における一対の支柱16を識別する。ステップS3において、積荷識別手段30acは、学習モデル46を用いた画像認識により、入力画像22における積荷12の水平露呈部12a,上方露呈部12bを識別する。ステップS4において、基準箇所特定手段30aeは、学習モデル46を用いた画像認識により、入力画像22におけるボード18を識別する。なお、理解を容易にするためにステップS2,S3,S4を個別処理に分けているが、実際上は学習モデル46に基づいて同時・協働的に行われるものであってもよい。
【0040】
図7は、ステップS2~S4で各領域が学習モデル46に基づいて自動識別された結果を模式的に示す図である。
図7に示す模式図は
図5に示した教師画像40に対応する。
【0041】
図7に示す模式図と
図5の教師画像40とを比較すると、一対の支柱16およびボード18はほぼ同じ位置および形状であって領域の識別誤差はほとんどない。支柱16は左右にやや離間した位置で略上下方向に略平行に延在した緑色の領域という特徴から識別が容易になっていると推測される。また、ボード18は一対の支柱16をほぼ取り囲む面積が広い矩形でグレーの領域という特徴から識別が容易になっていると推測される。また、構図として支柱16とボード18の位置関係が基本的に固定されていることも識別条件に利用されていると推測される。
【0042】
また、
図7に示す模式図と
図5の教師画像40とを比較すると、水平露呈部12aおよび上方露呈部12bは2つの画像内で形状が相当に異なっているが、領域の識別誤差は充分に小さくなっている。これは多数枚の教師画像40に基づいて学習をした結果、水平露呈部12aについては、ボード18とは異なる色であって、上方露呈部12bと同色であって、該ボード18の縁18aから左方向に突出した領域であるとして識別可能になっていると推測される。同様に上方露呈部12bについては、ボード18とは異なる色であって、水平露呈部12aと同色であって、ボード18の縁18bから上方向に突出した領域であるとして識別可能になっていると推測される。すなわち、学習モデル46では識別が容易である一対の支柱16およびボード18に対する位置の違いや色の違いに依拠して水平露呈部12aおよび上方露呈部12bを識別していると推測される。本実施形態における学習モデル46は教師データを反転させて全て左側にはみ出す画像にして構築するようにしてもよい。これにより機械学習の効率を上げることができる。
【0043】
さらに、
図5および
図7から明らかであるように画像内ではボード18の占める面積が相当に大きくなっている。このボード18は、積荷12が数や積載態様によって全体形状が相当異なっているのを大部分遮蔽するとともに、撮影場所における異なる背景の大部分を遮蔽しており、画像内の像を単純化・画一化する作用がある。したがって、学習モデル46は支柱16、ボード18、水平露呈部12aおよび上方露呈部12bの識別が容易になると期待される。このような効果を得るためにはボード18の面積が大きいことが望ましいが、少なくとも一対の支柱16の間に亘って設けられており、かつ一対の支柱16よりも面積が大きく設定されていれば相応の効果が得られる。また、画像内に余計な情報が入り込まないように画像の枠ぎりぎりに各要素が入り込むような構図で撮影するようにしてもよく、または不要と思われる背景についてはある程度トリミング処理で削除してもよい。
【0044】
ステップS5~S8は、ステップS2~S4で識別された各領域に基づいて水平露呈部12aの水平方向突出長さL1、および上方露呈部12bの上向き突出長さL2を算出する工程である。L1およびL2は個別に算出される。説明が煩雑とならないようにステップS5~S8については水平方向突出長さL1の算出過程と、上向き突出長さL2の算出過程とに分けて説明する。
図8は、水平方向突出長さL1の算出過程を説明するための幾何図である。
【0045】
(水平方向突出長さL1の算出過程)
水平方向突出長さL1を算出するには、ステップS5において、基準箇所特定手段30aeは入力画像内で識別された基準要素である一対の支柱16から所定基準に基づいて第1基準箇所P01および第2基準箇所P02を特定する。
【0046】
この場合の所定基準では、
図8に示すように、まず画像内で識別された水平露呈部12aにおいて水平の左方向に最も突出した最突出部P1
1を特定する。そして、一対の支柱16において最突出部P1
1と同じ高さの点を第1基準箇所P0
1および第2基準箇所P0
2として特定する。
【0047】
原理的には一対の支柱16は平行であることからいずれの高さの点を第1基準箇所P01および第2基準箇所P02としてもよい。しかし、撮影時にカメラ20が俯仰方向に傾いて画像内で支柱16が非平行となる場合もあることから、第1基準箇所P01および第2基準箇所P02を最突出部P11と同じ高さの点を適用することにより高さ方向の歪みに起因する誤差を抑制することができる。
【0048】
ステップS6において、基準距離算出手段30afは入力画像内で特定された第1基準箇所P01および第2基準箇所P02から入力画像内における水平基準距離L01xを求める。画像内における各距離は例えばピクセル単位で求める。一対の支柱16は台座部14の両端近傍にあることから、画像内でも水平方向に十分離間しており、十分なピクセル数が確保されて精度が向上する。
【0049】
ステップS7において、画像内突出長さ算出手段30agは、入力画像内で水平露呈部12aにおける水平方向の長さL1xを求める。具体的には、水平露呈部12aにおいてボード18の縁18aに沿った部分で最突出部P11と同じ高さの点P12を特定する。そして画像内でP11と点P12との距離、つまり水平長さL01xを求める。
【0050】
ステップS8において、実長さ算出手段30ahは、入力画像内における水平基準距離L01xおよび水平露呈部12aの水平方向長さL1xから実長さL1を求める。ここで、実物と入力画像との比率Rは、R=L01/L01x、となっている。上記のとおり水平基準距離L01は既知である。したがって、実長さL1は、L1=R×L1x、として求められる。
【0051】
(上向き突出長さL2の算出過程)
次に、上向き突出長さL2の算出過程について説明する。
図9は、上向き突出長さL2の算出過程を説明するための幾何図である。
【0052】
上向き突出長さL2を算出するには、ステップS5において、基準箇所特定手段30aeは力画像内で識別された基準要素である支柱16から所定基準に基づいて第1基準箇所P01および第2基準箇所P02を特定する。
【0053】
この場合の所定基準では、
図9に示すように、画像内で識別された一対の支柱16のいずれか一方において上端部および下端部を第1基準箇所P0
1および第2基準箇所P0
2として特定する。
【0054】
ステップS6において、基準距離算出手段30afは入力画像内で特定された第1基準箇所P01および第2基準箇所P02から入力画像内における鉛直基準距離L02xを求める。支柱16は適度な長さがあって、画像内でも鉛直方向に長く、十分なピクセル数が確保されて精度が向上する。
【0055】
ステップS7において、画像内突出長さ算出手段30agは、入力画像内で上方露呈部12bにおける鉛直方向の長さL2xを求める。具体的には、まず画像内で識別された上方露呈部12bにおいて上方向に最も突出した最突出部P2を特定する。そして、一対の支柱16の上端同士を結ぶ直線60と、最突出部P2を通って直線60と平行な直線62を求める。画像内でP11と点P12を結ぶ延長線と直線62との交点Pxを特定する。さらに、交点Pxとボード18の縁18bとの高さ方向の距離を長さL2xとして求める。なお、仮に積荷12の量などによってボード18の高さが変わることがある場合には、上方露呈部12bの露呈高さL2、L2xの基準はボード18の縁18bではなく、支柱16の上端部などにしてもよい。本実施形態ではボード14を高さが可変の一種の積荷として扱ってもよく、ボード14の高さが可変な点についても教師画像で機械学習させておくとよい。
【0056】
ステップS8において、実長さ算出手段30ahは、入力画像内における基準距離L02xおよび上方露呈部12bの上方突出長さL2xから実長さL2を求める。ここで、実物と入力画像との比率Rは、R=L02/L02x、となっている。上記のとおり鉛直基準距離L02は既知である。したがって、実長さL2は、L2=R×L2x、として求められる。
【0057】
ステップ9においては、一連の処理によって求められた結果である長さL1およびL2にかかるデータを突出長さデータ48(
図4参照)として荷積みプランシステム36に出力する。
【0058】
図4に示すように、荷積みプランシステム36では突出長さデータ48を記憶部36bに記憶する。荷積みプランシステム36の処理部36aは荷積みプラン作成手段50および荷積みシミュレーション手段52を有している。荷積みプラン作成手段50は、突出長さデータ48に基づいて荷積みプラン54を作成して記憶部36bに記憶する。荷積みシミュレーション手段52は、突出長さデータ48に基づいて荷積みのシミュレーションを行なう。
【0059】
このように、本実施の形態に係る積荷長さ計測システム30、積荷長さ計測方法および積荷長さ計測プログラムでは、学習モデル46を用いた画像認識により、入力画像22における積荷12の露呈部12a,12bを識別するとともに、入力画像22内で識別された基準要素である支柱16から第1基準箇所P01および第2基準箇所P02を特定する。そして、第1基準箇所P01および第2基準箇所P02から入力画像22内の基準距離L01x,L02xが求められることから、これらに基づいて実際の長さL1,L2が算出される。作業者はカメラ20による撮影をして画像22を送信するだけで足り、作業者ごとに異なるやり方で計測が行われることがなく、記録や転記によるミスが防止されるとともに、正確かつ容易に長さL1,L2の計測を行うことができる。
【0060】
なお、パレット10におけるカバー18は積荷12を支持する作用を有しているが、露呈部12aの長さL1を計算する観点からは必ずしも必須構成要素ではない。すなわち、カバー18が無い場合であっても、露呈部12aを計測となる基準となるべき遮蔽物がよいので、積荷12の色が支柱14と異なっていればそれを基準として露呈部12aが識別可能になるためである。この場合、支柱16が積荷12の一部を鉛直方向に遮蔽する積荷遮蔽物になることから、露呈部12aの長さL1は、支柱16の鉛直方向の縁を基準とすればよい。
【0061】
本発明にかかる積荷長さ計測システムは、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測システムであって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶する記憶部と、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別手段と、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別手段と、を有することを特徴とする。
【0062】
本発明にかかる積荷長さ計測方法は、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測方法であって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、をプロセッサが実行することを特徴とする。
【0063】
本発明にかかる積荷長さ計測プログラムは、所定方向に基準距離だけ離れた第1基準箇所および第2基準箇所を含み所定の形状若しくは所定の第1色又はその結合の1以上の基準要素と、所定の第2色の積荷遮蔽物とを備えるパレットが、少なくとも前記第2色とは異なる所定の第3色の積荷を積んだ状態を撮影した入力画像に基づき、前記積荷遮蔽物の縁から前記所定方向へ突出している前記積荷における露呈部の突出長さを計測する積荷長さ計測プログラムであって、前記パレットに前記積荷が積まれた複数の教師画像に基づいた機械学習により学習済みの学習モデルを記憶部から読み出すステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記基準要素を識別する基準要素部識別ステップと、前記学習モデルを用いた画像認識により、前記入力画像における前記積荷の前記露呈部を識別する積荷識別ステップと、をプロセッサに実行させることを特徴とする。
【0064】
このようなシステム、方法、プログラムでは、学習モデルを用いた画像認識により、画像における積荷の露呈部を識別するとともに、画像内で識別された基準要素である支柱から第1基準箇所および第2基準箇所を特定する。そして、第1基準箇所および第2基準箇所から入力画像内の基準距離が求められることから、これらに基づいて実際の長さが算出される。作業者はカメラによる撮影をして画像を送信するだけで足り、作業者によらず一様、正確かつ容易に計測が行われる。
【0065】
本発明では、前記入力画像内で識別された前記基準要素から所定基準に基づいて前記第1基準箇所および前記第2基準箇所を特定する基準箇所特定手段と、前記入力画像内で特定された前記第1基準箇所および前記第2基準箇所から前記入力画像内における前記基準距離を求める基準距離算出手段と、前記入力画像内で前記露呈部における前記所定方向の長さを求める画像内突出長さ算出手段と、前記入力画像内における前記基準距離および前記露呈部の前記所定方向の長さから前記露呈部の実長さを求める実長さ算出手段と、を有することを特徴とする。
このように、基準要素から第1基準箇所および第2基準箇所が特定され、第1基準箇所および第2基準箇所に基づいて積荷の長さをより正確に求めることができる。
【0066】
本発明では、前記基準要素は、前記積荷が載置される台座で水平方向に離間した位置から上方に突出して前記積荷を側方で支える一対の支柱であることを特徴とする。
このような支柱は、積荷を支えるとともに、画像上で識別しやすい。
【0067】
本発明では、前記所定方向は水平方向であって、前記第1基準箇所および前記第2基準箇所は、一対の前記支柱における同じ高さの点であることを特徴とする。
一対の支柱は水平方向に離間して設けられることから基準距離を適度に長く設定することができる。また、支柱は画像上で識別しやすいことから第1基準箇所および第2基準箇所の特定が容易となる。
【0068】
本発明では、前記第1基準箇所および前記第2基準箇所は、前記露呈部における水平方向の最突出部と同じ高さの点とすることを特徴とする。
これにより、撮影された画像が俯仰方向に傾斜して一対の支柱が非平行となっていても正確な計測が可能となる。
【0069】
本発明では、前記入力画像は、前記パレットの左右中心よりも前記露呈部が存在する側に寄った位置で撮影されたものであることを特徴とする。
これにより、積荷位置の奥行方向の違いに起因する計測誤差を抑制することができる。
【0070】
本発明では、前記所定方向は鉛直方向であって、一対の前記支柱の長さはそれぞれ前記基準距離であり、前記第1基準箇所および前記第2基準箇所は、前記支柱の上端部および下端部とすることを特徴とする。
これにより、第1基準箇所および第2基準箇所の特定が容易となる。
【0071】
本発明では、前記積荷遮蔽物は、一対の前記支柱に固定されて該積荷を側方で支えるボードであり、前記支柱は前記第1色が規定されており、前記ボードの前記第2色は前記第1色とは異なり、前記ボードは、一対の前記支柱の間に亘って設けられており、一対の前記支柱よりも面積が大きいことを特徴とする。
これにより、ボードが画像内で適度に大きい面積となり識別が容易となる。
【0072】
本発明は、上記した実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
【符号の説明】
【0073】
10 パレット、12 積荷、12a 水平露呈部、12b 上方露呈部、14 台座部、16 支柱、18 ボード(積荷遮蔽物)、18a,18b 縁、20 カメラ、22 画像、入力画像、30 積荷長さ計測システム、30a,34a,36a 処理部、30aa 画像入力手段、30ab 基準要素部識別手段、30ac 積荷識別手段、30ad ボード識別手段、30ae 基準箇所特定手段、30af 基準距離算出手段、30ag 画像内突出長さ算出手段、30ah 実長さ算出手段、30ai 結果出力手段、30b,34b,36b 記憶部、32 荷積み管理システム、34 学習システム、36 荷積みプランシステム、40 教師画像、46 学習モデル、48 突出長さデータ、L01 水平基準距離、L01x 画像内の水平基準距離、L02 鉛直基準距離、L02x 画像内の鉛直基準距離、P01 第1基準箇所、P02 第2基準箇所