IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特許7552468位置測定装置、位置測定方法、位置測定プログラム及び物流システム
<>
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図1
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図2
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図3
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図4
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図5
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図6
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図7
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図8
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図9
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図10
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図11
  • 特許-位置測定装置、位置測定方法、位置測定プログラム及び物流システム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】位置測定装置、位置測定方法、位置測定プログラム及び物流システム
(51)【国際特許分類】
   G01B 11/00 20060101AFI20240910BHJP
   B65G 1/00 20060101ALI20240910BHJP
【FI】
G01B11/00 H
B65G1/00 501C
【請求項の数】 9
(21)【出願番号】P 2021049291
(22)【出願日】2021-03-23
(65)【公開番号】P2022147850
(43)【公開日】2022-10-06
【審査請求日】2023-12-07
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】岡田 義紀
(72)【発明者】
【氏名】森 史英
(72)【発明者】
【氏名】小糸 啓介
(72)【発明者】
【氏名】山村 国広
【審査官】信田 昌男
(56)【参考文献】
【文献】特開2020-111467(JP,A)
【文献】国際公開第2020/100522(WO,A1)
【文献】特開2016-070674(JP,A)
【文献】国際公開第2013/171940(WO,A1)
【文献】特開2010-092436(JP,A)
【文献】実開昭58-099299(JP,U)
【文献】特開2000-350239(JP,A)
【文献】特開2001-072208(JP,A)
【文献】国際公開第2019/093328(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00
B65G 1/00
(57)【特許請求の範囲】
【請求項1】
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置であって、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択する選択部と、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する座標算出部と
を有する位置測定装置。
【請求項2】
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、前記移動体の移動方向の軸であるx軸方向の距離を算出し、
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、鉛直方向の軸であるz軸方向の距離を算出し、
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、前記撮像装置の撮影方向の軸であるy軸方向の距離を算出する距離情報算出部を更に有する、請求項1に記載の位置測定装置。
【請求項3】
選択された画像データが撮影された時点での、前記撮像装置のレンズ中心の前記実空間でのX軸の位置座標及びY軸の位置座標を取得する第1の取得部と、
前記撮像装置のレンズ中心の前記実空間でのZ軸の位置座標を取得する第2の取得部と
を更に有する請求項2に記載の位置測定装置。
【請求項4】
前記座標算出部は、
前記第1の取得部により取得されたX軸の位置座標と、前記距離情報算出部により算出された前記x軸方向の距離とに基づき、前記マーカのX軸の位置座標を算出し、
前記第2の取得部により取得されたZ軸の位置座標と、前記距離情報算出部により算出された前記z軸方向の距離とに基づき、前記マーカのZ軸の位置座標を算出し、
前記第1の取得部により取得されたY軸の位置座標と、前記距離情報算出部により算出された前記y軸方向の距離とに基づき、前記マーカのY軸の位置座標を算出する、請求項3に記載の位置測定装置。
【請求項5】
前記選択された画像データより抽出されたマーカの領域は、前記棚の前面部の位置を投影面として平行投影される、請求項1に記載の位置測定装置。
【請求項6】
前記マーカは、前記トレイの4つの側面に付されている、請求項1に記載の位置測定装置。
【請求項7】
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置のコンピュータが実行する位置測定方法であって、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択し、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する、
処理を実行する位置測定方法。
【請求項8】
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置のコンピュータに、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択し、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する、
処理を実行させるための位置測定プログラム。
【請求項9】
前記トレイと、
請求項1乃至6のいずれか1項に記載の位置測定装置と、
前記位置測定装置により算出された前記トレイの位置座標を、前記トレイの属性情報と対応付けて管理する管理装置と、
前記管理装置により管理された位置情報に基づいて、前記棚に配列されたトレイの中から所定のトレイを取り出して搬送する搬送装置と、
を有する物流システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置測定装置、位置測定方法、位置測定プログラム及び物流システムに関する。
【背景技術】
【0002】
一般に、物流倉庫では、商品を収納した複数のトレイがそれぞれの棚に配列され、人や搬送ロボットが、指定されたトレイをピッキングエリアまで搬送し、当該ピッキングエリアにて商品のピッキング作業が行われる。また、ピッキング作業が完了したトレイは、人や搬送ロボットによって、元の位置に返却される。
【0003】
ここで、棚に配列される各トレイの位置は、物流倉庫内に規定された座標空間における位置座標によって管理されており、搬送ロボットは、指定されたトレイの位置を、当該指定されたトレイの位置座標を取得することにより認識する。
【0004】
なお、このとき搬送ロボットが取得する位置座標は、例えば、位置測定装置の一例である計測ロボットが予め棚を撮影し、撮影した画像データを用いて算出することが考えられる。このように、計測ロボットが画像データを用いて位置座標を算出することで、測距センサ等が不要となり、低コストな物流システムを実現することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特表2019-523924号公報
【文献】特開2020-111467号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、撮影した画像データに基づいて算出される位置座標の場合、十分な算出精度が得られにくいという問題がある。
【0007】
一つの側面では、撮影した画像データからトレイの位置座標を算出する場合の算出精度を向上させることを目的としている。
【課題を解決するための手段】
【0008】
一態様によれば、位置測定装置は、
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置であって、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択する選択部と、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する座標算出部とを有する。
【発明の効果】
【0009】
撮影した画像データからトレイの位置座標を算出する場合の算出精度を向上させることができる。
【図面の簡単な説明】
【0010】
図1】物流システムの適用例を示す図である。
図2】物流システムのシステム構成の一例を示す図である。
図3】位置測定処理時の計測ロボットの動作例を示す図である。
図4】計測ロボットが有する制御装置のハードウェア構成の一例を示す図である。
図5】計測ロボットが有する制御装置により実現される位置座標算出機能の機能構成の一例を示す図である。
図6】画像選択処理の具体例を示す図である。
図7】平行投影処理の具体例を示す図である。
図8】第1の距離算出処理の具体例を示す図である。
図9】第2の距離算出処理の具体例を示す図である。
図10】レンズ中心位置座標取得処理の具体例を示す図である。
図11】計測ロボットによる位置測定処理の流れを示すフローチャートである。
図12】専用トレイの外観構成の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
[第1の実施形態]
<物流システムの適用例>
はじめに、第1の実施形態に係る物流システムの適用例について説明する。図1は、物流システムの適用例を示す図である。図1に示すように、第1の実施形態に係る物流システムは、例えば、物流倉庫100に適用される。
【0013】
物流倉庫100内には、複数の棚(例えば、棚140等)が載置されており、それぞれの棚には、商品等が収納された専用トレイ(例えば、専用トレイ150等)が配列されている。複数の棚にそれぞれ配列された専用トレイのうち、作業フローにおいて指定された専用トレイは、ピッキングエリア170に搬送され、ピッキングエリア170にて、当該専用トレイに収納された商品等に対するピッキング作業が行われる。
【0014】
物流倉庫100の場合、指定された専用トレイは、搬送装置の一例である搬送ロボット(例えば、搬送ロボット130等)または作業者(例えば、作業者160等)によって棚から取り出され、ピッキングエリア170まで搬送される。また、ピッキングエリア170においてピッキング作業が完了した専用トレイは、搬送ロボット(例えば、搬送ロボット130等)または作業者(例えば、作業者160等)によって、元の位置に返却される。
【0015】
なお、図1の例では、搬送ロボット130が2台のみ示されているが、搬送ロボットの数は、2台に限定されず、3台以上であってもよい。同様に、図1の例では、作業者が1名のみ示されているが、作業者の数は、2名以上であってもよい。
【0016】
また、物流倉庫100において、搬送ロボットが専用トレイの搬送を行うにあたり、搬送ロボットは、予め、管理装置110から各専用トレイの位置を示す位置座標を取得しておく。ここで、搬送ロボットが管理装置110から取得する各専用トレイの位置座標は、物流倉庫100内に規定された座標空間180における位置座標である。各専用トレイの位置座標は、位置測定装置の一例である計測ロボット120によって「位置測定処理」が行われることによって算出される。
【0017】
計測ロボット120には、棚の高さをカバーできるだけの台数の撮像装置が取り付けられている(図1の例では、3台の撮像装置で棚140の高さをカバーしている)。計測ロボット120は、各撮像装置の撮影方向が、棚の方向を向いた状態で、棚に沿って平行移動しながら、棚を連続撮影することで、各段に配列された専用トレイの位置座標を算出する。
【0018】
計測ロボット120は、物流倉庫100内に載置された全ての棚に対して、同様の処理を行うことで、各棚に配列された全ての専用トレイの位置座標を算出し、管理装置110に送信する。
【0019】
なお、計測ロボット120は、棚に沿って平行移動する際、物流倉庫100内に規定された座標空間180における自装置の位置座標を逐次、認識しているものとする。そして、計測ロボット120では、連続撮影した画像データに基づいて専用トレイの位置座標を算出する際、当該認識した自装置の位置座標を用いる。
【0020】
<物流システムのシステム構成>
次に、第1の実施形態に係る物流システムのシステム構成について説明する。図2は、物流システムのシステム構成の一例を示す図である。図2に示すように、第1の実施形態に係る物流システム200は、管理装置110と、計測ロボット120と、搬送ロボット130と、専用トレイ150とを有する。
【0021】
このうち、計測ロボット120は、撮像装置221、移動装置222、制御装置223を有する。撮像装置221は、専用トレイ150の位置座標を算出するのに用いられる画像データを撮影し、制御装置223に通知する。移動装置222は移動体の一例であり、計測ロボット120を、指定された位置に移動させる。
【0022】
制御装置223は、計測ロボット120全体を制御する。本実施形態において制御装置223は、管理装置110より位置測定処理の開始指示を受信すると、移動装置222を制御して計測ロボット120を、指定された棚に沿って移動させるとともに、撮像装置221を制御して、指定された棚を連続撮影させる。また、制御装置223は、撮像装置221により連続撮影された画像データと自装置の位置座標とに基づいて、専用トレイの位置座標を算出し、算出した専用トレイの位置座標を管理装置110に送信する。
【0023】
管理装置110には、管理プログラムがインストールされており、当該プログラムが実行されることで、管理装置110は、位置座標取得部211、作業制御部212として機能する。
【0024】
位置座標取得部211は、計測ロボット120に対して、棚を指定して位置測定処理の開始指示を送信する。また、位置座標取得部211は、計測ロボット120より、指定した棚に配列された専用トレイの位置座標を受信する。更に、位置座標取得部211は、受信した専用トレイの位置座標を、管理情報格納部213に格納する。
【0025】
なお、管理情報格納部213には、各専用トレイに関する種々の属性情報が格納されており、位置座標取得部211は、受信した各専用トレイの位置座標を、当該種々の属性情報と対応付けて管理情報格納部213に格納する。
【0026】
また、管理情報格納部213には、搬送ロボット130等が行う作業フローが格納されている。
【0027】
作業制御部212は、管理情報格納部213より作業フローを読み出し、搬送ロボット130等に対して、作業フローを送信する。
【0028】
搬送ロボット130は、撮像装置231、取り出し装置232、移動装置233、制御装置234を有する。撮像装置231は、作業フローにおいて指定された専用トレイを、搬送ロボット130が棚から取り出す際に、当該指定された専用トレイを撮影する。
【0029】
取り出し装置232は、作業フローにおいて指定された専用トレイの位置座標に基づいて、高さ方向の位置調整を行う。また、取り出し装置232は、撮像装置231により撮影された画像データに基づいて、指定された専用トレイの位置を確認しつつ、指定された専用トレイを棚から取り出す。
【0030】
移動装置233は、作業フローにおいて指定された専用トレイの位置座標に基づいて、指定された専用トレイの前まで、搬送ロボット130を移動させる。また、移動装置233は、指定された専用トレイを取り出した搬送ロボット130を、ピッキングエリア170まで移動させる。更に、移動装置233は、ピッキング作業が完了した搬送ロボット130を、指定された専用トレイを取り出した位置まで移動させる。
【0031】
制御装置234は、搬送ロボット130全体を制御する。本実施形態において制御装置234は、管理装置110より作業フローを受信すると、作業フローにおいて指定された専用トレイの位置座標を認識する。また、制御装置234は、認識した専用トレイの位置座標に基づいて搬送ロボット130を移動させるよう、移動装置233を制御する。
【0032】
また、制御装置234は、認識した専用トレイの位置座標に基づいて、高さ方向の位置調整を行わせるよう、取り出し装置232を制御する。更に、制御装置234は、指定された専用トレイを棚から取り出させるよう、取り出し装置232を制御する。
【0033】
また、制御装置234は、取り出し装置232による指定された専用トレイの取り出しが完了すると、ピッキングエリア170まで搬送ロボット130を移動させるよう、移動装置233を制御する。更に、ピッキングエリア170でのピッキング作業が完了すると、制御装置234は、指定された専用トレイの位置座標に基づいて搬送ロボット130を移動させるよう、移動装置233を制御する。
【0034】
専用トレイ150は、商品等が収納されるトレイである。専用トレイ150には、管理装置110が各専用トレイを識別するためのマーカ(本実施形態では、QRコード(登録商標))が付されている。
【0035】
なお、本実施形態において、計測ロボット120により算出される専用トレイ150の位置座標とは、計測ロボット120や搬送ロボット130が移動する物流倉庫100内に規定された座標空間180におけるマーカの位置座標を指す。
【0036】
<位置測定処理の概要>
次に、計測ロボット120による位置測定処理の概要について説明する。図3は、位置測定処理時の計測ロボットの動作例を示す図である。
【0037】
このうち、図3(a)は、管理装置110から、棚140について、位置測定処理の開始指示を受信したことで、計測ロボット120が、棚140について、位置測定処理を開始するための開始位置まで移動した様子を示している。
【0038】
なお、図3(a)に示すように、計測ロボット120が有する撮像装置221は、支持部材301に取り付けられている。また、支持部材301は、移動装置222の一部及び制御装置223が内蔵された支持台302に取り付けられている。また、支持台302には、更に、移動装置222の他の一部である車輪303が取り付けられている。
【0039】
これにより、計測ロボット120では、位置測定処理の際、撮像装置221が、棚140の最上位の段に配列されている専用トレイから、最下位の段に配列されている専用トレイまでをカバーするように撮影する。
【0040】
なお、上述したように、専用トレイ150の側面には、当該専用トレイを識別するためのマーカ(例えば、マーカ310)が付されているため、撮像装置221が専用トレイ150を連続撮影した場合、画像データにはマーカ310の領域が含まれることになる。
【0041】
図3(b)は、計測ロボット120が、棚140に沿って平行移動しながら、棚140を連続撮影する様子を示している。図3(b)に示すように、計測ロボット120は、棚140の各段の前面部320に対して、撮像装置221の撮影方向が略直交する向きを維持したまま、棚140の各段の前面部320に対して、略平行に移動する。
【0042】
図3(c)は、計測ロボット120が、位置測定処理を終了するための終了位置まで移動した様子を示している。計測ロボット120が位置測定処理の終了位置まで移動すると、計測ロボット120では、棚140の各段に配列された専用トレイ(図3の例では、9個の専用トレイ)の位置座標を算出し、管理装置110に送信する。
【0043】
なお、図3の例には示されていないが、計測ロボット120は、次の棚についての位置測定処理の開始指示を受信していた場合には、次の棚についての位置測定処理を開始するための開始位置に移動する。そして、計測ロボット120は、次の棚に対しても同様の処理を行う。
【0044】
<計測ロボットの制御装置のハードウェア構成>
次に、計測ロボット120が有する制御装置223のハードウェア構成について説明する。図4は、計測ロボットが有する制御装置のハードウェア構成の一例を示す図である。図4に示すように、制御装置223は、プロセッサ401、メモリ402、補助記憶装置403、操作装置404、通信装置405、I/F(Interface)装置406を有する。なお、制御装置223の各ハードウェアは、バス407を介して相互に接続されている。
【0045】
プロセッサ401は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の各種演算デバイスを有する。プロセッサ401は、各種プログラム(例えば、後述する位置測定プログラム等)をメモリ402上に読み出して実行する。
【0046】
メモリ402は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ401とメモリ402とは、いわゆるコンピュータを形成し、プロセッサ401が、メモリ402上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0047】
補助記憶装置403は、各種プログラムや、各種プログラムがプロセッサ401によって実行される際に用いられる各種データを格納する。
【0048】
操作装置404は、制御装置223に対する各種操作を受け付ける。通信装置405は、ネットワークを介して管理装置110と通信を行う。I/F装置406は、撮像装置221、移動装置222と接続され、撮像装置221、移動装置222と制御装置223との間で信号の送受信を行う。
【0049】
なお、補助記憶装置403にインストールされる各種プログラムは、例えば、通信装置405を介してネットワークからダウンロードされることで、インストールされる。
【0050】
<制御装置における位置座標算出機能の機能構成>
次に、制御装置223にインストールされている位置測定プログラムが実行されることで実現される各種機能のうち、位置座標算出機能の機能構成について説明する。図5は、計測ロボットが有する制御装置により実現される位置座標算出機能の機能構成の一例を示す図である。
【0051】
図5に示すように、制御装置223により実現される位置座標算出機能には、画像取得部501、マーカ位置算出部502、画像選択部503が含まれ、これらの各部は、「画像選択処理」を実行する。また、制御装置223により実現される位置座標算出機能には、平行投影部504が含まれ、平行投影部504は、「平行投影処理」を実行する。
【0052】
また、制御装置223により実現される位置座標算出機能には、距離情報(xz)算出部505、距離情報(y)算出部506が含まれ、これらの各部は、「第1の距離算出処理」及び「第2の距離算出処理」を実行する。
【0053】
また、制御装置223により実現される位置座標算出機能には、ロボット位置座標取得部507、レンズ中心位置座標取得部508が含まれ、これらの各部は、「レンズ中心位置座標取得処理」を実行する。以下、各部の詳細について説明する。
【0054】
画像取得部501は、撮像装置221が連続撮影した画像データを取得する。また、画像取得部501は、取得した画像データをマーカ位置算出部502及び画像選択部503に通知する。
【0055】
マーカ位置算出部502は、画像取得部501より通知された画像データそれぞれにおいて、画像データ内のマーカの領域を示す位置座標を算出する。なお、マーカ位置算出部502が算出する位置座標は、画像データの中心位置を原点とした画像座標系における位置座標である。また、マーカ位置算出部502は、算出したマーカの領域の位置座標を、画像選択部503に通知する。
【0056】
画像選択部503は選択部の一例であり、マーカ位置算出部502から通知された、マーカの領域の位置座標に基づいて、画像データの中心位置からマーカの領域の中心点までの距離(画像データ上の距離)を算出する。また、画像選択部503は、画像取得部501が取得した画像データの中から、中心位置からの距離が最も短いマーカの領域が含まれる画像データを選択する。なお、画像選択部503では、同一のマーカの領域が含まれる複数の画像データの中から、1つの画像データを選択する。また、画像選択部503は、選択した画像データを平行投影部504に通知する。
【0057】
平行投影部504は、画像選択部503より通知された画像データを、所定の投影面(例えば、棚の各段の前面部320に形成される面)に平行投影し、平行投影後の画像データ内のマーカの領域の位置座標を算出する。また、平行投影部504は、平行投影後のマーカの領域の位置座標を、距離情報(xz)算出部505及び距離情報(y)算出部506に通知する。
【0058】
距離情報(xz)算出部505は、距離情報算出部の一例であり、
・平行投影部504より通知された、平行投影後の画像データ内のマーカの領域の位置座標と、
・位置座標算出用情報格納部510に格納された位置座標算出用情報(詳細は後述)と、
に基づいて、撮像装置221のレンズ中心と実空間におけるマーカの中心点との間のx軸方向の距離を算出し、
・平行投影部504より通知された、平行投影後の画像データ内のマーカの領域の位置座標と、
・位置座標算出用情報格納部510に格納された位置座標算出用情報(詳細は後述)と、
に基づいて、撮像装置221のレンズ中心と実空間におけるマーカの中心点との間のz軸方向の距離を算出する。
【0059】
距離情報(y)算出部506は、距離情報算出部の一例であり、
・平行投影部504より通知された、平行投影後の画像データ内のマーカの領域の位置座標と、
・位置座標算出用情報格納部510に格納された位置座標算出用情報(詳細は後述)と、
に基づいて、撮像装置221のレンズ中心と実空間におけるマーカとの間のy軸方向の距離を算出する。
【0060】
なお、ここでいうx軸方向、y軸方向、z軸方向は、物流倉庫100内に規定された座標空間180のX軸方向(棚の各段の前面部320に平行な方向)、Y軸方向(棚の各段の前面部320に直交する方向)、Z軸方向(鉛直方向)と、それぞれ平行であるとする。ただし、x軸、y軸、z軸は、撮像装置221のレンズ中心を原点とする座標系である。
【0061】
ロボット位置座標取得部507は第1の取得部の一例である。ロボット位置座標取得部507は、計測ロボット120の位置座標(物流倉庫100内に規定された座標空間180における位置座標であって、画像選択部503により選択された画像データの撮影時の計測ロボット120の位置座標)を取得する。
【0062】
なお、上述したように、計測ロボット120は、逐次、自装置の位置座標を認識しているものとする。そして、撮像装置221により連続撮影された画像データには、撮影時の計測ロボット120の位置座標が対応付けられるものとする。つまり、ロボット位置座標取得部507は、画像選択部503により選択された画像データに対応付けられた位置座標を画像選択部503から取得する。また、ロボット位置座標取得部507は、取得した位置座標をレンズ中心位置座標取得部508に通知する。
【0063】
レンズ中心位置座標取得部508は、第2の取得部の一例であり、
・ロボット位置座標取得部507より通知された、計測ロボット120の位置座標と、
・位置座標算出用情報格納部510に格納された位置座標算出用情報(詳細は後述)と、
に基づいて、撮像装置221のレンズ中心の位置座標を取得し、マーカ位置座標算出部509に通知する。
【0064】
マーカ位置座標算出部509は、座標算出部の一例であり、
・レンズ中心位置座標取得部508より通知された、撮像装置221のレンズ中心の位置座標に含まれるX軸の位置座標と、
・距離情報(xz)算出部505より通知された、撮像装置221のレンズ中心と実空間におけるマーカとの間のx軸方向の距離と、
に基づいて、マーカのX軸の位置座標を算出する。
【0065】
また、マーカ位置座標算出部509は、
・レンズ中心位置座標取得部508より通知された、撮像装置221のレンズ中心の位置座標に含まれるZ軸の位置座標と、
・距離情報(xz)算出部505より通知された、撮像装置221のレンズ中心と実空間におけるマーカとの間のz軸方向の距離と、
に基づいて、マーカのZ軸の位置座標を算出する。
【0066】
また、マーカ位置座標算出部509は、
・レンズ中心位置座標取得部508より通知された、撮像装置221のレンズ中心の位置座標に含まれるY軸の位置座標と、
・距離情報(y)算出部506より通知された、撮像装置221のレンズ中心と実空間におけるマーカとの間のy軸方向の距離と、
に基づいて、マーカのY軸の位置座標を算出する。
【0067】
更に、マーカ位置座標算出部509は、算出したマーカのX軸、Y軸、Z軸の位置座標を、管理装置110に送信する。
【0068】
<制御装置の各部の処理の具体例>
次に、制御装置223により実現される位置座標算出機能の各部の処理の具体例について説明する。
【0069】
(1)画像選択処理の具体例
はじめに、画像取得部501、マーカ位置算出部502、画像選択部503により実行される「画像選択処理」の具体例について説明する。図6は、画像選択処理の具体例を示す図である。
【0070】
図6において、横軸は、撮像装置221により撮影された時刻を表している。図6の例は、時刻=Tにおいて、画像データ610が撮影され、時刻=Tにおいて、画像データ620が撮影され、時刻=Tにおいて、画像データ630が撮影された様子を示している。
【0071】
位置測定処理の際、例えば、計測ロボット120が、棚140に向かって左方向に移動した場合には(図3参照)、図6に示すように、画像データ内のマーカの領域600は、時間の経過とともに、画像データ内を右方向に動くことになる。
【0072】
そして、画像選択処理において、画像取得部501が、画像データ610~630を取得すると、マーカ位置算出部502は、
・画像データ610内のマーカの領域600の中心点の位置座標、
・画像データ620内のマーカの領域600の中心点の位置座標、
・画像データ630内のマーカの領域600の中心点の位置座標、
をそれぞれ算出する。
【0073】
更に、画像選択処理において、画像選択部503は、
・画像データ610の中心位置602と、マーカの領域600の中心点との間の距離L
・画像データ620の中心位置602と、マーカの領域600の中心点との間の距離L
・画像データ630の中心位置602と、マーカの領域600の中心点との間の距離L
をそれぞれ算出し、中心位置602とマーカの領域600の中心点との間の距離が最短となる画像データ620を選択する。
【0074】
このように、画像データの中心位置に最も近いマーカの領域600が含まれる画像データ620を選択することにより、制御装置223では、撮像装置221のレンズ歪みの影響を最小化することができる。この結果、実空間におけるマーカ310の位置座標を算出する際、より高精度な位置座標を算出することができる。
【0075】
なお、上述したように、画像データには、撮影時の計測ロボット120の位置座標が対応付けられている。図6の例は、画像データ620に、位置座標(X,Y,0)が対応付けられている様子を示している。
【0076】
(2)平行投影処理の具体例
次に、平行投影部504による平行投影処理の具体例について説明する。図7は、平行投影処理の具体例を示す図である。図7において、x軸、y軸、z軸は、撮像装置221のレンズ中心701を原点とする座標系である。このうち、y軸は、Y軸に平行な軸(撮影方向に平行な軸)を表している。また、x軸は、X軸に平行な軸(撮影方向に直交する軸であって、位置測定処理における計測ロボット120の移動方向に平行な軸)を表している。また、z軸は、Z軸に平行な軸(x軸及びy軸に直交する軸)を表している。
【0077】
また、図7において、投影面702は、y軸に直交する面であって、撮像装置221のレンズ中心701と、棚140の各段の前面部320との間の距離に等しい距離に位置する面である。平行投影部504では、マーカの領域600を、投影面702に平行投影する。図7において、符号700は、投影面702に平行投影された後のマーカの領域600を表している。
【0078】
このように、マーカの領域600の領域を投影面702に平行投影することで、制御装置223では、透視投影による形状歪みの影響を排除することができる。この結果、実空間におけるマーカ310の位置座標を算出する際、より高精度な位置座標に算出することができる。
【0079】
(3)第1の距離算出処理の具体例
次に、距離情報(xz)算出部505により実行される第1の距離算出処理の具体例について説明する。図8は、第1の距離算出処理の具体例を示す図である。
【0080】
図8(a)は、距離情報(xz)算出部505が、第1の距離算出処理の際、位置座標算出用情報格納部510より読み出す位置座標算出用情報の一例を示している。図8(a)に示すように、距離情報(xz)算出部505は、位置座標算出用情報として、
・W:実空間におけるマーカ310の幅(mm)、
・H:実空間におけるマーカ310の高さ(mm)、
を読み出す。
【0081】
また、図8(b)のうち、(x,z)、h、wは、距離情報(xz)算出部505が、平行投影されたマーカの領域(符号700)に基づいて算出する値であり、
・(x,z):平行投影されたマーカの領域(符号700)の中心点の位置座標(画素数で表される位置座標)であって、画像データの中心位置602を原点とした場合の位置座標(画素数)、
・w:平行投影されたマーカの領域(符号700)の幅(画素数)、
・h:平行投影されたマーカの領域(符号700)の高さ(画素数)、
である。
【0082】
図8(a)、(b)に示す前提のもと、距離情報(xz)算出部505は、画像データ620が撮影された際の、撮像装置221のレンズ中心701から実空間におけるマーカ310の中心点までのz軸方向の距離z'(mm)を、
(式1)z'=z×H/h
に基づいて算出する。
【0083】
また、図8(a)、(b)に示す前提のもと、距離情報(xz)算出部505は、画像データ620が撮影された際の、撮像装置221のレンズ中心701から実空間におけるマーカ310の中心点までのx軸方向の距離x'(mm)を、
(式2)x'=x×W/w
に基づいて算出する。
【0084】
(4)第2の距離算出処理の具体例
次に、距離情報(y)算出部により実行される第2の距離算出処理の具体例について説明する。図9は、第2の距離算出処理の具体例を示す図である。
【0085】
図9(a)において、Hは、第2の距離算出処理の際、距離情報(y)算出部506が位置座標算出用情報格納部510より読み出す位置座標算出用情報の一例であり、
・H:実空間におけるマーカ310の高さ(mm)、
を示している。
【0086】
また、図9(b)において、IH、θは、第2の距離算出処理の際、距離情報(y)算出部506が位置座標算出用情報格納部510より読み出す位置座標算出用情報の一例を示している。図9(b)に示すように、距離情報(y)算出部506は、位置座標算出用情報として、
・IH:画像データの高さ(画素数)、
・θ:撮像装置221の画角、
を読み出す。
【0087】
また、図9(b)のうち、hは、距離情報(y)算出部506が、平行投影されたマーカの領域(符号700)に基づいて算出する値であり、
・h:透視投影されたマーカの領域(符号700)の高さ(画素数)、
である。
【0088】
距離情報(y)算出部506は、撮像装置221のレンズ中心701から実空間におけるマーカ310までのy軸方向の距離y'(mm)を、
(式3)y'=(H×IH)/(2×tan(θ/2))×1/h
に基づいて算出する。
【0089】
(5)レンズ中心位置座標取得処理の具体例
次に、ロボット位置座標取得部507、レンズ中心位置座標取得部508により実行されるレンズ中心位置座標取得処理の具体例について説明する。図10は、レンズ中心位置座標取得処理の具体例を示す図である。
【0090】
図10の例は、ロボット位置座標取得部507が、画像選択部503により選択された画像データの撮影時の計測ロボット120の位置座標として、(X,Y,0)を取得した様子を示している。
【0091】
また、図10の例は、レンズ中心位置座標取得部508が、位置座標算出用情報格納部510から、
・Z:撮像装置221のレンズ中心701の、物流倉庫100の床面からの実空間における高さ(mm)、
を読み出した様子を示している。
【0092】
なお、図10の例は、説明の簡略化のため、計測ロボット120の支持台302の中心位置のX軸の位置座標、Y軸の位置座標と、撮像装置221のレンズ中心701のX軸の位置座標、Y軸の位置座標とが、一致している場合について示している。
【0093】
このため、図10の例によれば、レンズ中心位置座標取得部508は、レンズ中心位置座標取得処理を実行することにより、画像データ620が撮影された際の撮像装置221のレンズ中心701の位置座標として、(X,Y,Z)を取得することになる。
【0094】
<位置測定処理の流れ>
次に、計測ロボット120による位置測定処理の流れについて説明する。図11は、計測ロボットによる位置測定処理の流れを示すフローチャートである。
【0095】
ステップS1101において、計測ロボット120は、指定された棚に沿って移動しながら、棚の各段に配列された専用トレイを連続撮影する。
【0096】
ステップS1102において、計測ロボット120の画像取得部501、マーカ位置算出部502、画像選択部503は、画像選択処理を行う。
【0097】
ステップS1103において、計測ロボット120の平行投影部504は、画像選択処理(ステップS1102)において選択された画像データに含まれるマーカの領域に対して、平行投影処理を行う。
【0098】
ステップS1104において、計測ロボット120の距離情報(xz)算出部505は、第1の距離算出処理を行う。これにより、距離情報(xz)算出部505は、撮像装置221のレンズ中心からマーカの中心点までのx軸方向及びz軸方向の距離を算出する。
【0099】
ステップS1105において、計測ロボット120の距離情報(y)算出部506は、第2の距離算出処理を行う。これにより、距離情報(y)算出部506は、撮像装置221のレンズ中心からマーカまでのy軸方向の距離を算出する。
【0100】
ステップS1106において、計測ロボット120のロボット位置座標取得部507、レンズ中心位置座標取得部508は、レンズ中心位置座標取得処理を行う。これにより、計測ロボット120のロボット位置座標取得部507、レンズ中心位置座標取得部508は、画像選択処理(ステップS1102)において選択された画像データの撮影時の撮像装置221のレンズ中心の位置座標を取得する。
【0101】
ステップS1107において、計測ロボット120のマーカ位置座標算出部509は、マーカ位置座標算出処理を行う。具体的には、マーカ位置座標算出部509は、撮像装置221のレンズ中心のX軸の位置座標(X)に、撮像装置221のレンズ中心からマーカの中心点までのx軸方向の距離(x')を加算し、実空間におけるマーカのX軸の位置座標を算出する。また、マーカ位置座標算出部509は、撮像装置221のレンズ中心のY軸の位置座標(Y)に、撮像装置221のレンズ中心からマーカまでのy軸方向の距離(y')を加算し、実空間におけるマーカのY軸の位置座標を算出する。更に、マーカ位置座標算出部509は、撮像装置221のレンズ中心のZ軸の位置座標(Z)に、撮像装置221のレンズ中心からマーカの中心点までのz軸方向の距離(z')を加算し、実空間におけるマーカのZ軸の位置座標を算出する。
【0102】
ステップS1108において、計測ロボット120のマーカ位置座標算出部509は、マーカのX軸の位置座標、Y軸の位置座標、Z軸の位置座標を、実空間におけるマーカの位置座標として、管理装置110に送信する。
【0103】
<専用トレイの外観構成>
次に、専用トレイ150の外観構成について説明する。図12は、専用トレイの外観構成の一例を示す図である。図12に示すように、専用トレイ150の4つの側面には、マーカ310の他に、マーカ1210、1220、1230が付されている。このように、4つの側面それぞれにマーカを付すことで、専用トレイ150が棚140の各段の前面部320に対して斜めに(あるいは横向き)に配列されていた場合であっても、マーカの位置座標を算出することができる。
【0104】
なお、図1を用いて説明した物流倉庫100のように、専用トレイの搬送を、作業者160と搬送ロボット130の両方が行う空間の場合、作業者160によって元の位置に返却された専用トレイが、斜めに配列されるといったことが起こりえる。
【0105】
これに対して、図12に示す専用トレイを用いれば、計測ロボット120は、専用トレイの配列状況に関わらず、マーカの位置座標を算出することができる。
【0106】
<まとめ>
以上の説明から明らかなように、第1の実施形態に係る計測ロボットは、
・専用トレイが配列された棚に沿って移動する移動装置と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する。
・同一の専用トレイについて連続撮影された複数の画像データの中から、専用トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択する。
・選択された画像データより抽出したマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、移動装置が移動する物流倉庫内での専用トレイの位置座標を算出する。
【0107】
これにより、第1の実施形態によれば、撮影した画像データから専用トレイの位置座標を算出する場合の算出精度を向上させることができる。
【0108】
[第2の実施形態]
上記第1の実施形態では、平行投影部504が平行投影処理を実行する際の投影面として、棚の各段の前面部320に形成される面を用いる場合について説明した。しかしながら、平行投影処理を実行する際の投影面はこれに限定されない。
【0109】
例えば、各段において、撮像装置221のレンズ中心からのy軸方向の距離が、最も短いマーカの位置に形成される面を投影面としてもよい。
【0110】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置であって、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択する選択部と、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する座標算出部と
を有する位置測定装置。
(付記2)
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、前記移動体の移動方向の軸であるx軸方向の距離を算出し、
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、鉛直方向の軸であるz軸方向の距離を算出し、
前記画像データ内での位置座標に基づいて、前記撮像装置のレンズ中心から、前記マーカまでの距離であって、前記撮像装置の撮影方向の軸であるy軸方向の距離を算出する距離情報算出部を更に有する、付記1に記載の位置測定装置。
(付記3)
前記距離情報算出部は、
実空間におけるマーカの幅と、投影後の前記マーカの領域の画像データ内での幅との比に基づいて、前記マーカまでのx軸方向の距離を算出し、
実空間におけるマーカの高さと、投影後の前記マーカの領域の画像データ内での高さとの比に基づいて、前記マーカまでのz軸方向の距離を算出する、付記2に記載の位置測定装置。
(付記4)
前記距離情報算出部は、
実空間におけるマーカの高さと、投影後の前記マーカの領域の画像データ内での高さと、前記画像データの高さと、前記撮像装置の画角とに基づいて、前記マーカまでのy軸方向の距離を算出する、付記2に記載の位置測定装置。
(付記5)
選択された画像データが撮影された時点での、前記撮像装置のレンズ中心の前記実空間でのX軸の位置座標及びY軸の位置座標を取得する第1の取得部と、
前記撮像装置のレンズ中心の前記実空間でのZ軸の位置座標を取得する第2の取得部と
を更に有する付記2に記載の位置測定装置。
(付記6)
前記座標算出部は、
前記第1の取得部により取得されたX軸の位置座標と、前記距離情報算出部により算出された前記x軸方向の距離とに基づき、前記マーカのX軸の位置座標を算出し、
前記第2の取得部により取得されたZ軸の位置座標と、前記距離情報算出部により算出された前記z軸方向の距離とに基づき、前記マーカのZ軸の位置座標を算出し、
前記第1の取得部により取得されたY軸の位置座標と、前記距離情報算出部により算出された前記y軸方向の距離とに基づき、前記マーカのY軸の位置座標を算出する、付記5に記載の位置測定装置。
(付記7)
前記選択された画像データより抽出されたマーカの領域は、前記棚の前面部の位置を投影面として平行投影される、付記1に記載の位置測定装置。
(付記8)
前記マーカは、前記トレイの4つの側面に付されている、付記1に記載の位置測定装置。
(付記9)
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置のコンピュータが実行する位置測定方法であって、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択し、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する、
を処理を実行する位置測定方法。
(付記10)
トレイが配列された棚に沿って移動する移動体と、棚に沿って移動する際に棚を連続撮影する撮像装置とを有する位置測定装置のコンピュータに、
同一のトレイについて連続撮影された複数の画像データの中から、前記トレイに付されたマーカの領域が、画像データの中心位置に最も近い画像データを選択し、
選択された画像データより抽出されたマーカの領域を平行投影した投影後のマーカの領域の画像データ内での位置座標に基づいて、前記移動体が移動する実空間内での前記トレイの位置座標を算出する、
処理を実行させるための位置測定プログラム。
(付記11)
前記トレイと、
請求項1乃至6のいずれか1項に記載の位置測定装置と、
前記位置測定装置により算出された前記トレイの位置座標を、前記トレイの属性情報と対応付けて管理する管理装置と、
前記管理装置により管理された位置情報に基づいて、前記棚に配列されたトレイの中から所定のトレイを取り出して搬送する搬送装置と、
を有する物流システム。
【0111】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0112】
100 :物流倉庫
110 :管理装置
120 :計測ロボット
130 :搬送ロボット
140 :棚
150 :専用トレイ
170 :ピッキングエリア
180 :座標空間
221 :撮像装置
222 :移動装置
223 :制御装置
310 :マーカ
320 :前面部
501 :画像取得部
502 :マーカ位置算出部
503 :画像選択部
504 :平行投影部
505 :距離情報(xz)算出部
506 :距離情報(y)算出部
507 :ロボット位置座標取得部
508 :レンズ中心位置座標取得部
509 :マーカ位置座標算出部
602 :中心位置
610~630 :画像データ
701 :レンズ中心
702 :投影面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12