(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】搬送システム、搬送制御装置、搬送方法
(51)【国際特許分類】
B65G 1/00 20060101AFI20240903BHJP
G05D 1/43 20240101ALI20240903BHJP
【FI】
B65G1/00 501C
G05D1/43
(21)【出願番号】P 2023188751
(22)【出願日】2023-11-02
(62)【分割の表示】P 2022503056の分割
【原出願日】2020-02-28
【審査請求日】2023-11-02
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】安田 真也
【審査官】福島 和幸
(56)【参考文献】
【文献】特開平01-242392(JP,A)
【文献】国際公開第2020/022479(WO,A1)
【文献】特開2014-144836(JP,A)
【文献】中国特許出願公開第104379489(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
B65G 1/00
G05D 1/43
(57)【特許請求の範囲】
【請求項1】
センサから搬送物までの距離を示す距離情報と前記搬送物が写された画像とに応じて、前記搬送物の面を特定し、
前記面に応じて、前記搬送物を搬送する搬送車が前記搬送物と接触する接触位置を特定し、
前記接触位置に応じて、前記搬送車を制御する、
搬送システム。
【請求項2】
前記面に応じて、前記搬送車が前記搬送物に接触する高さにおける前記搬送物の特徴点を特定し、
前記特徴点に応じて、前記接触位置を特定する、
請求項1に記載の搬送システム。
【請求項3】
前記距離情報と、前記画像内の前記搬送物が写された位置とに応じて、前記面を特定する、
請求項1に記載の搬送システム。
【請求項4】
前記画像内の前記搬送物が写された位置に応じて、前記搬送物を構成する面の特徴点を少なくとも1つ特定し、
前記距離情報に応じて、前記特定された特徴点に応じて、前記面を特定する、
請求項3に記載の搬送システム。
【請求項5】
前記距離情報と、前記画像内の前記搬送物が写された位置とに応じて、前記搬送物の上面を特定し、
前記上面の特徴点に対応する、前記搬送物の所定の高さにおける対応点に応じて、前記所定の高さにおける前記搬送物の大きさを示す領域を特定する、
請求項1に記載の搬送システム。
【請求項6】
複数の前記搬送車によって前記搬送物を挟み込むための前記接触位置を特定し、
前記接触位置に応じて、前記搬送物が挟み込まれるように複数の前記搬送車を制御する、
請求項1から請求項5のいずれか一項に記載の搬送システム。
【請求項7】
センサから搬送物までの距離を示す距離情報と前記搬送物が写された画像とに応じて、前記搬送物の面を特定し、
前記面に応じて、前記搬送物を搬送する搬送車が前記搬送物と接触する接触位置を特定し、
前記接触位置に応じて、前記搬送車を制御する、
搬送制御装置。
【請求項8】
前記面に応じて、前記搬送車が前記搬送物に接触する高さにおける前記搬送物の特徴点を特定し、
前記特徴点に応じて、前記接触位置を特定する、
請求項7に記載の搬送制御装置。
【請求項9】
センサから搬送物までの距離を示す距離情報と前記搬送物が写された画像とに応じて、前記搬送物の面を特定し、
前記面に応じて、前記搬送物を搬送する搬送車が前記搬送物と接触する接触位置を特定し、
前記接触位置に応じて、前記搬送車を制御する、
搬送方法。
【請求項10】
前記面に応じて、前記搬送車が前記搬送物に接触する高さにおける前記搬送物の特徴点を特定し、
前記特徴点に応じて、前記接触位置を特定する、
請求項9に記載の搬送方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、搬送システム、搬送制御装置、搬送方法に関する。
【背景技術】
【0002】
搬送物の搬送にロボットが利用されることが多い。ロボットを用いて搬送物を搬送する搬送システムの技術が特許文献1に開示されている。
【0003】
特許文献1には、ロボットの押し搬送を効率的かつ安定的に実行可能なアルゴリズムとしての一例が開示されている。この特許文献1の技術では、ロボットの移動方向を制御する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで搬送物を搬送する際には搬送物を搬送する搬送車が搬送物に接触する位置を特定する必要がある。
【0006】
そこでこの発明は、上述の課題を解決する搬送システム、搬送制御装置、搬送方法を提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明の第1の態様によれば、搬送システムは、センサによって取得される、搬送物の高さ情報を含む前記搬送物に関する情報に基づいて、前記搬送物を搬送する搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
【0008】
本発明の第2の態様によれば、制御装置は、センサによって取得される、搬送物の高さ情報を含む前記搬送物に関する情報に基づいて、前記搬送物を搬送する搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
【0009】
本発明の第3の態様によれば、制御方法は、センサによって取得される、搬送物の高さ情報を含む前記搬送物に関する情報に基づいて、前記搬送物を搬送する搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、前記接触位置に基づいて前記搬送車を制御する。
【発明の効果】
【0010】
本発明によれば、搬送物を搬送する搬送車が搬送物に接触する位置を特定することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態による搬送システムの概略構成図である。
【
図2】本発明の一実施形態による制御装置のハードウェア構成図である。
【
図3】本発明の一実施形態による制御装置の機能ブロック図である。
【
図4】本発明の一実施形態による搬送システムの処理フローを示す図である。
【
図5】本発明の一実施形態による外接枠Rを検出した位置のパターンを示す図である。
【
図6】本発明の一実施形態による外接枠Rの位置が第一パターンである場合の搬送物の撮影状態を示す図である。
【
図7】本発明の一実施形態による外接枠Rの位置が第二~第三パターンである場合の搬送物の撮影状態を示す図である。
【
図8】本発明の一実施形態による接触位置の特定概要を示す図である。
【
図9】本発明の一実施形態による表示情報の例を示す図である。
【
図10】本発明の一実施形態による所定の高さにおける搬送物の位置の算出概要を示す図である。
【
図11】本発明の一実施形態による第一パターンにおける外接枠Rと特定領域との関係を示す図である。
【
図12】本発明の一実施形態による第二パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
【
図13】本発明の一実施形態による第二パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
【
図14】本発明の一実施形態による第三パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
【
図15】本発明の一実施形態による第三パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
【
図16】本発明の第2の実施形態における制御装置を備えた制御システムの概略構成図である。
【
図17】本発明の第3の実施形態に係る搬送システムの概略構成である。
【
図18】本発明の第3の実施形態に係る制御装置の概略構成図である。
【
図19】本発明の第3の実施形態に係る制御装置による処理フローを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態による搬送システムを図面を参照して説明する。
図1は本実施形態による搬送システムの概略構成図である。
図1で示すように、搬送システム100は、制御装置1、センサ2、搬送車3を含んで構成される。
センサ2は搬送物4に関する情報を測定する。センサ2は、測定した搬送物4に関する情報を制御装置1へ送信する。センサ2は、より詳細には、搬送車3が移動可能なフィールド内を撮像する装置である。センサ2とは、例えば、デプスカメラやステレオカメラである。センサ2は搬送車3が走行する床面を撮影する。本実施形態においてセンサ2は、センサ2の設置された天井近傍から床面へ向けた下方の軸を中心とする範囲の画像情報と距離情報を測定する。センサ2は、センサ2の測定範囲を撮影した画像情報と、センサ2の測定範囲の各位置までの距離を示す距離情報を生成する。距離情報は、例えば測定範囲の画像情報の各画素に対応するセンサ2からの距離を示す。
【0013】
制御装置1は搬送車3を制御する。制御装置1は、取得する情報を基に、搬送車3を制御する。制御装置1は、搬送物4を測定するセンサ2、搬送車3と通信接続する。制御装置1はセンサ2から画像情報と距離情報を取得する。制御装置1は搬送物4に関する情報(画像情報と距離情報)に基づいて搬送車3が搬送物4の搬送の際に当該搬送物4に接触する位置を特定し、その接触する位置に基づいて搬送車3を制御する。制御装置1は一台の搬送車3を制御してもよいし、複数台の搬送車3を制御してもよい。搬送車3はロボットの一態様である。
【0014】
図2は、本実施形態による制御装置のハードウェア構成図である。
図2で示すように、制御装置1は、演算処理部101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、通信モジュール105等の各ハードウェアを備えたコンピュータサーバである。
演算処理部101は、例えばCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等である。記憶部104は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、またはメモリカード等である。また、記憶部104は、RAMやROM等のメモリであってもよい。通信モジュール105は、外部の装置との間でデータを送受信する。例えば、通信モジュール105は、有線通信路または無線通信路を介して外部装置と通信する。
【0015】
図3は、本実施形態による制御装置の機能ブロック図である。
制御装置1は、電源が投入されると起動し、予め記憶する制御プログラムを実行する。これにより制御装置1は、画像情報取得部11、距離情報取得部12、差分検出部13、測量部14、接触位置特定部15、搬送制御部16、表示部17の各機能を発揮する。
【0016】
搬送物4は、搬送される対象物であり、一例としては、荷物が載せられたカートや台車などである。搬送車3は、制御装置1の制御に基づいて、搬送物4を搬送する。搬送車3は、搬送車3が搬送物4に接触する位置を示す接触位置の情報を制御装置1から受信し、当該接触位置を押すまたは引くなどして搬送物4を搬送する。
【0017】
ここで、センサ2が上方から下方にある搬送物4を撮影した場合、センサ2と搬送物4の位置関係によって、搬送物4の側面が撮影画像に含まれない場合と、含まれる場合とがある。例えば、センサ2の測定範囲の中心近傍に搬送物4がある場合、搬送物4の上面が撮影画像に映り、側面は映らない。他方、センサ2の測定範囲の中心から離れた位置に搬送物4がある場合、斜め上方から搬送物4を撮影することとなるため、搬送物4の上面と側面とが撮影画像に映る。つまり、制御装置1が撮影画像を用いて搬送物4が映る撮影画像内の領域を検出する際、搬送物4の位置に応じて、その領域に側面が含まれない場合と含まれる場合が発生する。また搬送物4までの距離がセンサ2に近いほど、上面の領域が広く撮影画像に映る。従って、搬送物4の高さ(センサ2からの距離)や、搬送物4とセンサ2との位置関係に応じて撮影画像に映る搬送物4の全体の領域が異なる場合であっても、制御装置は、搬送車3が搬送物4に接触できる予め規定された高さにおける接触位置を、精度高く算出する必要がある。
【0018】
図4は、本実施形態による搬送システムの処理フローを示す図である。
次に、搬送システム100の処理フローについて順を追って説明する。
まず、センサ2は毎秒30フレームなどの数の画像情報を制御装置1へ送信する。またセンサ2は毎秒30フレームなどの数の距離情報を制御装置1へ送信する。センサ2が送信する画像情報と距離情報のタイミングは一致しているものとする。画像情報と距離情報とは同じ領域の情報を示す。
制御装置1の画像情報取得部11は、画像情報を取得する(ステップS101)。制御装置1の距離情報取得部12は距離情報を取得する(ステップS102)。
【0019】
画像情報取得部11は、画像情報に基づいて背景画像を生成し、RAM103等の記憶部に記録する。背景画像の生成および記録は、搬送物4を検出するより前に行われていてよい。例えば、画像情報取得部11は、搬送システム100が動作を開始した時点で行われても良いし、搬送システムの管理者が記録を指示したタイミングで行われても良い。背景画像は搬送車3や搬送物4やその他の異物が測定範囲に含まれない場合の画像情報である。画像情報取得部11は、記憶部に背景画像が記憶されている場合には、センサ2から受信した画像情報を差分検出部13へ出力する。距離情報取得部12はセンサ2から受信した距離情報をRAM103等の記憶部に記録する。なお画像情報取得部11と距離情報取得部12は、センサ2の送信タイミングが対応する画像情報と距離情報の関係が紐づくようにそれぞれにID等を付与してよい。
【0020】
差分検出部13は、画像情報取得部11から受信した画像情報と背景画像との差分を示す差分情報を生成する。具体的には、差分検出部13は画像情報を取得すると、その画像情報と背景画像とを比較する。差分検出部13は、画像情報と背景画像とで変化が生じている領域を示す差分情報を生成する(ステップS103)。差分検出部13は、例えば、画像情報と背景画像とをそれぞれ各画素の輝度に基づいて「0」と「1」を示す画素に2値化し、それら2値化した画像情報と、2値化した背景画像との各画素の差分を示す差分情報を生成する。この差分情報において差分が「1」を示す画素は、何らかの物体が測定範囲に位置していることを示す。差分検出部13は、差分情報を測量部14へ出力する。
【0021】
測量部14は、取得した差分情報に、搬送物4が含まれるかを判定する(ステップ104)。例えば、測量部14は、搬送車3が測定範囲に位置するかを判定し、差分情報に搬送車3以外の情報が含まれる場合に、搬送物4が含まれていると判定する。
搬送車3の位置情報は、搬送車3が検出して制御装置1へ送信してもよいし、センサ2が搬送車3の位置を検出して制御装置1へ送信してもよい。測量部14は、搬送車3の位置情報と、予め記憶しているセンサ2が測定する測定範囲の位置情報と比較することで、搬送車3が測定範囲に位置するかを判定する。
また、測量部14は、予め記憶している搬送車3の特徴(輝度、大きさ等)を用いて、画像情報から搬送車3の位置を検出し、測定範囲内に位置するかを特定してもよい。なお、測量部14が搬送車3の位置を検出する方法は、上記に限られるものではない。
測量部14は搬送車3が測定範囲に位置する場合には、差分情報が示す測定範囲における搬送車3の領域をマスクして、差分情報を生成するようにしてもよい。
【0022】
なお、上記では測量部14が、搬送車3が測定範囲に位置するかを判定し、差分検出部13から取得した差分情報に搬送車3以外の情報が含まれる場合に、搬送物4が含まれるかを判定したが、搬送物4が含まれるかの特定は上記に限らない。例えば、測量部14は、搬送物4や搬送車3が測定範囲に含まれる場合であっても、搬送物4の規定の大きさの情報に基づいて、差分情報に、搬送物4が含まれるかを判定するようにしてもよい。測量部14は、搬送物4を包含する包含領域を特定する。例えば、測量部14は、差分情報において差分があることを示す画素の纏まりの領域の大きさを判定する。測量部14は、差分情報において差分が1を示す画素の纏まりの領域が、一定以上の大きさを有する場合、その領域の外枠を搬送物4の外接枠Rであると特定する(ステップS105)。外接枠Rは、測定対象である搬送物4の上面や側面を包含する包含領域の枠を示す。なお、外接枠Rの特定方法は、上記の方法に限られず、測量部14は他の手法により差分情報に含まれる搬送物4の領域の外接枠Rを判定してよい。
【0023】
図5は測定範囲において外接枠Rを検出した位置のパターンを示す図である。
本実施形態において測量部14が検出した外接枠Rの撮影画像における位置のパターンが、第一パターンから第三パターンの何れのパターンかを判定する(ステップS106)。以降、センサ2による測定範囲を、測定範囲の中心を通る垂直線51と水平線52で区分けして、右上を第一領域、左上を第二領域、左下を第三領域、右下を第四領域として説明する。
図5(1)は、外接枠Rの位置の第一パターンを示している。第一パターンは、外接枠Rの4つの頂点が、第一から第四領域のそれぞれに含まれるパターンである。第一パターンは、搬送物4を含む外接枠Rが中央に位置する場合に現れるパターンである。
【0024】
図5(2)は、外接枠Rの位置の第二パターンを示している。第二パターンは、外接枠Rの4つの頂点全てが、第一領域から第四領域のうちの一つの領域に含まれるパターンである。第二パターンは、搬送物4を含む外接枠Rが第一領域~第四領域のうちの何れかの領域のみに現れるパターンである。
【0025】
図5(3),
図5(4)は、外接枠Rの位置の第三パターンを示している。第三パターンは、外接枠Rの4つの頂点が、2つの領域にそれぞれ位置するパターンである。
図5(3)で示す第三パターンは、搬送物4を含む外接枠Rが第一領域と第二領域に跨る場合と、第三領域と第四領域にまたがる場合が含まれる。
図5(4)で示す第三パターンは、搬送物4を含む外接枠Rが第二領域と第三領域に跨る場合と、第一領域と第四領域にまたがる場合が含まれる。
【0026】
図6は外接枠Rの位置が第一パターンである場合の搬送物の撮影状態を示す図である。
測量部14が検出した外接枠Rの位置が第一パターンである場合、搬送物4の上面が撮影画像に映り、側面は撮影画像に映らない。また搬送物4の上面がセンサ2に近いほど、上面の撮影画像における領域は広くなる。
【0027】
図7は外接枠Rの位置が第二パターンまたは第三パターンである場合の搬送物の撮影状態を示す図である。
測量部14が検出した外接枠Rの位置が第二パターンである場合、
図7(2)で示すように、搬送物4の上面と、センサ2の位置と直線で結ぶことのできる搬送物4の面とが、撮影画像に映る。測量部14が検出した外接枠Rの位置が第三パターンである場合には
図7(3)、
図7(4)のように撮影画像に映る。
【0028】
測量部14は、外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る垂直線と水平線で区分けされる第一領域~第四領域の4つの領域全てに含まれる場合、第一パターンであると判定する。測量部14は、外接枠Rの範囲内の画素の座標の全てが、測定範囲の中心を通る垂直線と水平線で区分けされる第一領域~第四領域の4つの領域のうちの一つの領域のみに含まれる場合、第二パターンであると判定する。測量部14は、外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る垂直線51を隔てた2つの領域に位置する場合、または外接枠Rの範囲内の画素の座標が、測定範囲の中心を通る水平線52を隔てた2つの領域に位置する場合、第三パターンであると判定する。
【0029】
測量部14は、撮影画像中の搬送物4の上面を示す第一特定領域R1を特定する(ステップS107)。具体的には、測量部14は、外接枠Rにおいて特定した複数の外接枠Rの撮影画像に現れている特徴点と当該複数の外接枠Rの特徴点の高さ情報との関係と、外接枠Rの特徴点の水平方向の座標(水平位置)に一致し、かつ高さの座標が異なる所定の高さにおける撮影画像に現れている対応点とその所定の高さが示す高さ情報との関係と、に基づいて、所定の高さにおける対象物の面を構成する複数の対応点を算出する。所定の高さにおける対象物の面を構成する複数の対応点は、撮影画像に現れていない推定した対応点を含む。測量部14は、当該複数の対応点に基づいて撮影画像中の搬送物4の上面を示す第一特定領域R1を特定する。
【0030】
測量部14は第一特定領域に基づいて、搬送車3が搬送物4に接触する高さにおける搬送物4の領域を撮影画像において示す第二特定領域R2を特定する(ステップS108)。
接触位置特定部15は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を取得する。接触位置特定部15は第二特定領域R2が示す特徴点の情報を取得する。接触位置特定部15は、第二特定領域R2が示す特徴点の情報に基づいて、搬送車3が搬送物4に接触する撮影画像における位置を特定する(ステップS109)。
【0031】
図8は接触位置の特定概要を示す図である。
一例として、接触位置特定部15は、第二特定領域R2の矩形が特徴点P21、P22、P23、P24を示す場合、第二特定領域R2のいずれかの辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T1と特定する。例えば、接触位置特定部15は、搬送方向D側の特徴点P21とP22を結ぶ第一の辺と、特徴点P22とP23とを結ぶ第二の辺を特定し、それら辺の法線のうち、搬送方向Dとの成す角度が小さい第二の辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T1と特定する。接触位置特定部15は、搬送制御部16に、接触位置T1を出力する。例えば、搬送車3は、搬送物4の接触位置T1において搬送物4に接触し、搬送方向Dに搬送物4をけん引する。
【0032】
接触位置特定部15は、第二特定領域R2の辺のうち、搬送方向Dと反対側であって搬送方向との成す角度が小さい法線を有する辺の中央T2を、搬送車3が搬送物4に接触する撮影画像における接触位置Pと特定してもよい。つまり、接触位置特定部15は、搬送方向Dと反対側の特徴点P21とP24を結ぶ第三の辺と、特徴点P24とP23とを結ぶ第四の辺を特定し、その辺のうち、搬送方向Dとの成す角度が小さい法線を有する第三の辺の中央を、搬送車3が搬送物4に接触する撮影画像における接触位置T2と特定する。接触位置特定部15は、搬送制御部16に、接触位置T2を出力する。この場合、搬送車3は、搬送物4の接触位置において搬送物4と接触し、搬送方向Dに搬送物4を押し進む。
【0033】
搬送制御部16は、撮影画像における接触位置T1とT2を実空間における接触位置T1’とT2’に変換する(ステップS110)。例えば、搬送制御部16は、撮影画像が示す仮想空間における座標と、実空間の座標との関係を予め記憶しておき、該対応関係に基づいて、接触位置T1とT2を実空間における接触位置T1’とT2’に変換する。
搬送制御部16は、実空間における接触位置T1’とT2’と、搬送物4の搬送方向とを、搬送車3へ送信する(ステップS111)。搬送車3は、接触位置T1’とT2’に向けて移動し、当該接触位置T1’,T2’に対して接触し、搬送物を搬送方向へ搬送する。
【0034】
上記の説明において、搬送物4は2台の搬送車3で搬送することで説明したが、複数台の搬送車3が搬送システム100に通信接続し、複数台の搬送車3で搬送物4を搬送してもよいし、1台の搬送車が搬送システム100に通信接続し、1台の搬送車3で搬送物4を搬送しても良い。例えば、搬送物4を4台の搬送車3で、搬送物4に四方から接触して搬送してもよいし、1台の搬送車3が搬送物4の何れかの面に接触してけん引または押し込むように搬送しても良い。例えば、
図8の例を用いて説明すると、搬送制御部16は、第一の搬送車3に接触位置T1を送信し、第二の搬送車3に接触位置T3を送信する。また搬送制御部16は、搬送方向Dを第一の搬送車3と第二の搬送車3に送信する。第一の搬送車3は搬送物4の接触位置T1に接触する。第二の搬送車3は搬送物4の接触位置T2に接触する。第一の搬送車3と第二の搬送車3は、搬送物4を互いに挟み込んで搬送方向へ搬送物4を搬送する。
【0035】
上記の説明において、搬送車3は搬送物4に接触すると記載したが、搬送車3が搬送物4に作用する方法を限定するものではない。搬送車3は、例えば、搬送物4に搬送車の器具を押し当てても良いし、搬送物4の凹みや突起に器具を接続したり押し込み(はめ込み)したり、搬送物4からの衝撃を受け止めるようにしたりしてもよいし。また、搬送車3は、2方向から搬送物4を挟み込む器具で搬送物4を掴み、けん引してもよい。
例えば、第一の搬送車3と第二の搬送車3がそれぞれ搬送物4に接触して搬送物4を搬送する場合には、第二の搬送車3は接触位置T2に第一の力F1を加えて進行方向に進む。第一の搬送車3は接触位置T1に第一の力F1よりも小さい第二の力F2を加えて第一の搬送車3と同じ速度で同じ搬送方向に進む。これにより、第一の搬送車3と第二の搬送車3の2第で搬送物4を搬送する。また例えば、第一の搬送車3が接触位置T1に接続してけん引し、第二の搬送車3が接触位置T2に力を加えて搬送物4にふらつきが無いよう制御しながら搬送方向に進んでもよい。または第二の搬送車3が接触位置T2に接続して搬送方向に押し進み、第一の搬送車3が接触位置T1に力を加えて搬送物4にふらつきが無いよう制御しながら搬送方向に進んでもよい。
【0036】
上述の搬送システムの処理によれば、搬送車が搬送物に接触する位置を特定することができる。また上述の搬送システムの処理によれば、搬送車が搬送物に接触位置をより精度高く特定することができる。さらに上述の搬送システム100の処理によれば、搬送物4の高さ(センサ2からの距離)や、搬送物4とセンサ2との位置関係に応じて撮影画像に映る搬送物4の領域が異なる場合であっても、搬送車3が搬送物4に接触できる予め規定された高さにおける接触位置を、より精度高く算出することができる。
【0037】
図9は表示情報の例を示す図である。
表示部17は、制御装置1にて特定された情報を所定の出力先に出力する。表示部17は、例えば、処理対象となった撮影画像、測量部14から外接枠R、第一特定領域R1、第二特定領域R2を取得する。また表示部17は当該第二特定領域R2に基づいて算出された接触位置を取得する。表示部17は、撮影画像と、外接枠R、第一特定領域R1、第二特定領域R2、接触位置の情報と表示する表示情報を生成する。表示部17は所定の出力先に表示情報を出力する。例えば表示部17は、制御装置1に備わるLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、モニタや、制御装置1に通信接続する端末に、表示情報を出力する。これにより、管理者等が、現在の搬送システムの制御状態を確認することができる。なお、表示部17は、表示情報として、外接枠R、第一特定領域R1、第二特定領域R2、接触位置の情報を重ねて表示してもよいし、それぞれの情報を別々に表示したり、作業に携わる作業者が選択した任意の情報を重ねて表示するような表示情報を生成してよい。
【0038】
第一特定領域と、第二特定領域とを算出する測量部14の処理について以下に詳細に説明する。
(第一パターンにおける測量部14の処理)
測量部14は、搬送物4の外接枠Rの位置が第一パターンであると判定した場合、外接枠Rが搬送物4の上面であると判定する。測量部14は、外接枠Rとその高さ情報とに基づいて外接枠Rの領域に含まれる搬送物4の所定の高さにおける特定領域(第一特定領域、第二特定領域)を特定する。
【0039】
図10は所定の高さにおける搬送物の位置の算出概要を示す図である。
図10で示すように、センサ2が画像情報を撮像する場合の焦点距離f、搬送物4の実空間における上面の任意の特徴点P1、特徴点P1と水平方向の座標Xが一致する搬送物4の実空間における対応点P2、特徴点P1に対応する撮影画像中の点x1、対応点P2に対応する撮影画像中の点x2とする。実空間における特徴点P1のセンサ2からの高さ方向の距離をz、対応点P2のセンサ2からの高さ方向の距離をh、特徴点P1と対応点P2のセンサ2からの水平方向の距離をXとする。この場合、実空間におけるセンサ2からの高さ方向の距離と水平方向の距離との関係と、撮影画像における焦点距離と撮影画像の中心点からの各点の水平方向の距離との関係に基づいて以下の式(1)、式(2)2つの式を導くことができる。
【0040】
x1/f=X/z ・・・(1)
【0041】
x2/f=X/h ・・・(2)
【0042】
上述の式(1),(2)をそれぞれ変形すると、
【0043】
X・f=z・x1 ・・・(3)
【0044】
X・f=h・x2 ・・・(4)
【0045】
のように、式(3)、式(4)が得られる。従って、
【0046】
z・x1=h・x2 ・・・(5)
【0047】
で示す式(5)を導くことができる。撮影画像中において上面の特徴点P1に対応する点x1と、実空間におけるz、高さhは、センサ2によって取得可能である。従って、式(5)を用いて実空間における任意の対応点P2に対応する撮影画像中の点x2を算出することができる。なお、高さhの値は、センサ2が任意のタイミングで測定しても良いし、センサ2を設置する際に初期値として設定しても良く、その取得方法は限定されるものではない。上述の各式において「/」は除算を示す。また上述の各式において「・」は乗算を示す。
【0048】
図11は第一パターンにおける外接枠Rと特定領域との関係を示す図である。
図11(1)は撮影画像に写る搬送物4を示し、
図11(2)は対応する搬送物4の斜視図を示す。ここで、搬送物4の所定の高さh’を、搬送車3が搬送物4に接触する高さとする。搬送車3が搬送物4に接触する高さは、搬送車3の規格によって既知の値である。今、撮影画像において搬送物4の上面の外接枠Rが特定されている。測量部14は、搬送物4の位置が第一パターンであると特定した場合、外接枠Rを第一特定領域R1と特定する。第一パターンにおける第一特定領域R1は搬送物4の上面を示すと推定される領域である。
【0049】
測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における外接枠Rの特徴点P11,P12,P13,P14の高さ情報z(第一特定領域R1の高さ情報)を取得する。測量部14は、式(5)に外接枠Rにおいて特定した特徴点P11,P12,P13,P14の位置x1と、高さh’を式(5)のhに,高さzを式(5)のzに入力し、高さh’における搬送物4の領域を構成する対応点P21,P22,P23,P24に対応する撮影画像中の点x2を算出する。
【0050】
測量部14は、一例として外接枠Rが矩形である場合、4つの頂点を特徴点P11,P12,P13,P14と特定し、特徴点P11,P12,P13,P14に対応する、高さh’の対応点P21,P22,P23,P24を、式(5)を用いて算出する。この時、特徴点P11,P12,P13,P14の高さは、外接枠Rの各画素の距離情報から得られる。また対応点P21,P22,P23,P24の高さは、予め規定された搬送車3が搬送物4に接触する高さh’である。測量部14は、対応点P21,P22,P23,P24を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2として算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
【0051】
(第二パターンにおける測量部14の処理)
測量部14は、搬送物4の外接枠Rの位置が第二パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
【0052】
図12は第二パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第二パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
【0053】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P13の高さ情報を示す距離h(特徴点P13の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
【0054】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。
測量部14は、さらに、特徴点P12の座標を式(5)のx2と設定し、特徴点P12の実空間における高さ情報を式(5)のhと設定し、実空間に置いて特徴点P12の水平方向の位置が対応する、高さzの図示しない点P20の座標(式(5)のx1に相当)を求め、P20とP23を結ぶ線分と、P11とP12を結ぶ線分の交点として、点P22の座標を算出する。点P11、点P22、点P23で張られる矩形の残りの1点を点P24として求める。
【0055】
測量部14は、実空間において特徴点P13に対応する点と水平方向の位置が対応する上面の点を示す撮影画像中の対応点P23を含み、特徴点P12、P13、P14が結ぶ外接枠Rの辺(P12とP13とを結ぶ辺、P13とP14とを結ぶ辺)に平行な直線と、外接枠とを結ぶ交点(P22、P24)を対応点と特定する。測量部14は、対応点22,23,24と、上面を示す特徴点P11とを結ぶ矩形の領域を、第二パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部はP11、P22、P23、P24を第一特定領域R1の特徴点(第一対応点)と設定する。
【0056】
図13は第二パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
測量部14は、搬送車3が搬送物4に接触する高さh’の対応点P31,P32,P33,P34を算出し、第二特定領域を特定する。
測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さh’を式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
【0057】
測量部14は、特徴点P22,P23,P24に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
【0058】
(第三パターンにおける測量部14の第一の処理)
測量部14は、搬送物4の外接枠Rの位置が第三パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
【0059】
図14は第三パターンにおける外接枠Rと特定領域との関係を示す第一の図である。
具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第三パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
【0060】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P13またはP14の高さ情報を示す距離h(特徴点P13またはP14の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
【0061】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11またはP12の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11またはP12に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。また測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P14を式(5)のx2と設定し、特徴点P14の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P14の水平方向の位置が対応する上面の未知の対応点P24の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P24(式(5)のx1に相当)を算出する。
【0062】
測量部14は、対応点P23と対応点P24の直線が外接枠Rに交わる対応点P23’,P24’を、搬送物4の上面の点に対応する撮影画像中の対応点と特定する。測量部14は、対応点23’,24’と、上面を示す特徴点P11,P12とを結ぶ矩形の領域を、第三パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部はP11、P12、P23’、P24’を第一特定領域R1の特徴点(第一対応点)と設定する。
【0063】
測量部14は、搬送車3が搬送物4に接触する高さh’の対応点P31,P32,P33,P34を算出し、第二特定領域を特定する。
測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さh’を式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
【0064】
測量部14は、特徴点P12、P23’、P24’に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
【0065】
(第三パターンにおける測量部14の第二の処理)
測量部14は、搬送物4の外接枠Rの位置が第三パターンであると判定した場合、外接枠Rには搬送物4の上面と側面とが含まれる。従って、測量部14は、外接枠Rが示す領域に含まれる搬送物4の上面を示す第一特定領域R1を、以下のように特定する。
【0066】
図15は第三パターンにおける外接枠Rと特定領域との関係を示す第二の図である。
具体的には、測量部14は、外接枠Rの形状と、外接枠Rの位置に応じたパターンに基づいて、外接枠Rにおける特徴点の位置を予め定められた手法によって特定する。例えば、外接枠Rが矩形であり、当該外接枠Rの位置が第三パターンである場合、外接枠Rの4つの頂点P11、P12、P13、P14を特徴点と特定する。
【0067】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心に近い特徴点P12またはP13の高さ情報を示す距離h(特徴点P12またはP13の実空間の高さとセンサ2の高さとの距離)を、距離画像や背景画像または記憶部から取得する。距離画像や背景画像において搬送物4や搬送車3の領域以外の画素が示す高さ方向の情報は、床面の高さとセンサ2の高さとの鉛直方向の距離を示す。
【0068】
測量部14は外接枠Rにおいて特定した特徴点P11、P12、P13、P14のうち最も撮影画像の中心から遠い特徴点P11またはP14の高さとセンサ2の高さとの差である距離zを、外接枠Rを特定した撮影画像に対応する距離画像から取得する。距離zは特徴点P11またはP14に対応する実空間上の点を含む搬送物4の上面の各点の高さを示す情報でもある。測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P12を式(5)のx2と設定し、特徴点P12の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P14の水平方向の位置が対応する上面の未知の対応点P24の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P22(式(5)のx1に相当)を算出する。また測量部14は、撮影画像中の外接枠Rにおいて特定した特徴点P13を式(5)のx2と設定し、特徴点P13の実空間における高さ情報を式(5)のhと設定し、実空間において特徴点P13の水平方向の位置が対応する上面の未知の対応点P23の高さ情報(特徴点P11の高さを示す情報に一致)を式(5)のzに設定し、撮影画像中の未知の対応点P23(式(5)のx1に相当)を算出する。
【0069】
測量部14は、対応点P22と対応点P23の直線が外接枠Rに交わる対応点P22’,P23’を、搬送物4の上面の点に対応する撮影画像中の対応点と特定する。測量部14は、対応点P22’,P23’と、上面を示す特徴点P11,P14とを結ぶ矩形の領域を、第三パターンにおいて搬送物4の上面を示すと推定される第一特定領域R1と特定する。測量部14はP11、P22’,P23’、P14を第一特定領域R1の特徴点(第一対応点)と設定する。
【0070】
測量部14は、搬送物4の外接枠Rの特定に用いた撮影画像に対応する距離画像を記憶部等から取得する。測量部14は、その距離画像における第一特定領域R1の特徴点P11の高さ情報zを取得する。測量部14は、第一特定領域R1において特定した特徴点P11に対応する撮影画像の位置を式(5)中のx1と設定し、搬送物4の上面を示す特徴点P11の高さ情報を式(5)のzと設定し、搬送車3が搬送物4に接触する高さを式(5)のhに設定し、それらを式(5)に入力する。これにより測量部14は、特徴点P11に対応する実空間において水平方向の位置が対応する対応点P31に対応する撮影画像中の位置x2を算出することができる。
【0071】
測量部14は、特徴点P22’,P23’、P14に対応する、搬送車3が搬送物4に接触する高さh’の対応点P32,P33,P34を、同様に式(5)を用いて算出する。測量部14は、対応点P31,P32,P33,P34(第二対応点)を結ぶ領域を、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2と算出する。なお、測量部14は、矩形以外の形状の外接枠Rに基づいて、その外接枠Rの複数の特徴点を特定し、その複数の特徴点に対応する対応点を結ぶ領域を、第二特定領域R2と算出してもよい。測量部14は、搬送車3が搬送物4に接触する高さh’における搬送物4の領域を撮影画像において示す第二特定領域R2の情報を、接触位置特定部15へ出力する。
【0072】
上述した第二パターンと第三パターンにおける測量部14の第一特定領域R1の処理は、外接枠R(対象物包含領域)における4つの特徴点と当該4つの特徴点の高さ情報の関係と、外接枠Rの特徴点の水平方向の座標(水平位置)に一致し、かつ高さの座標が異なる対象物の2つまたは3つの対応点と上面の高さが示す高さ情報との関係に基づいて、上面の高さにおける4つの第一対応点を算出し、当該4つの第一対応点に基づいて特定領域のうちの上面の高さに対応する対象物の領域を示す第一特定領域を特定する処理の一態様である。
また、上述した第二パターンと第三パターンにおける測量部14の第二特定領域R2の処理は、第一特定領域における4つの第一対応点と当該4つの第一対応点の高さ情報の関係と、第二の所定の高さである対象物の接触位置の高さにおける第一対応点の水平座標が一致し、かつ高さの座標が接触位置の高さの座標を示す4つの第二対応点と接触位置の高さが示す高さ情報との関係に基づいて、接触位置の高さにおける4つの第二対応点を算出し、当該4つの第二対応点に基づいて特定領域のうちの接触位置の高さに対応する対象物の領域を示す第二特定領域を特定する処理の一態様である。
【0073】
<第2の実施形態>
上述の実施形態においては、搬送物4がカートや台車であり、搬送車の走行路面に置かれた搬送物4の接触位置を特定し、その接触位置に基づいて搬送車3を制御する場合の例を説明した。しかしながら、他の搬送物4、その他の対象物の接触位置を特定し、その接触位置を、所定の装置へ出力する制御システムに上述の技術を応用してよい。
【0074】
図16は第2の実施形態における制御装置を備えた制御システムの概略構成図である。
例えば、制御システムに備わるベルトコンベア5に搬送物4が載置され移動しており、制御システムに含まれる制御装置が、この搬送物4に対する接触位置を特定し、制御システムに備わるロボット6を、搬送物4の接触位置に基づいて制御するようにしてもよい。
【0075】
この場合も第一実施形態のように、制御装置1が、センサ2から得た搬送物4を含まない画像情報と搬送物4を含む画像情報の変化に基づいて、搬送物4を含む画像情報において搬送物4を含む画素情報が変化した領域を示す外接枠R(対象物包含領域)を特定する。そして、第一実施形態と同様に制御装置1が搬送物4の外接枠R、第一特定領域R1(上面の領域)、第二特定領域R2(接触位置の高さの領域)を特定し、第二特定領域R2に基づいて接触位置を特定する。一例としてはロボット6の搬送物4の接触位置は、第二特定領域R2が矩形である場合には、ベルトコンベア5の進行方向と、当該矩形の辺との成す角度が小さい対抗する2辺を特定し、その2辺それぞれの中央を接触位置と特定してよい。制御装置1はロボット6がその接触位置を把持するよう制御するものであってよい。
【0076】
または、上述の実施形態においては搬送物4の接触位置を特定しているが、他の対象物の接触位置を特定してもよい。例えば、他の対象物は溶接対象物や、装飾対象物であり、制御装置1は、溶接対象物の接触位置(溶接位置)、装飾対象物の接触位置(装飾位置)を特定するようにしてもよい。
【0077】
上述の各実施形態の制御装置1と同一機能を有した測量装置として構成された物体測量システムとしても動作してよい。物体測量システムは、対象物の高さ情報と対象物の画像情報とを取得するセンサ2に通信接続した測量装置を備える。測量装置は、上述の各実施形態と同様に、対象物を含まない画像情報と対象物を含む画像情報の変化に基づいて、対象物を含む画像情報において対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、対象物包含領域と高さ情報とに基づいて対象物包含領域に含まれる対象物の所定の高さにおける特定領域を特定する。
【0078】
<第3の実施例>
図17は、第3の実施形態に係る搬送システムの概略構成である。
図17を参照すると搬送システムは、制御装置1と、センサ2と、搬送車3と、搬送物4とを含む。制御装置1は、ネットワークを介してセンサ2、搬送車3のそれぞれと通信可能に接続している。
【0079】
図18は、第3の実施形態に係る制御装置1の概略構成図である。
制御装置1は、搬送車3を制御する。制御装置1は、例えばコンピュータ等の情報処理装置である。制御装置1は、クラウドコンピューティングによって実現されてもよい。制御装置1は接触位置特定部151と、制御部152とを含む。
接触位置特定部151は、搬送物4に関する情報に基づいて、搬送車3が搬送物4の搬送の際に接触する当該搬送物4に対する接触位置を特定する。
制御部152は搬送物4の接触する位置に基づいて搬送車3を制御する。
センサは、搬送物4に関する情報を取得する。
【0080】
図19は、第3の実施形態に係る制御装置1による処理フローを示す図である。
接触位置特定部151は、搬送物4に関する情報に基づいて搬送車3が搬送物4の接触位置を特定する(ステップS1611)。
制御部152は、搬送物4の接触する位置に基づいて搬送車3を制御する(ステップS1612)。
【0081】
上述の制御装置1は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0082】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0083】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0084】
(付記1)
搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、前記搬送車を制御する制御装置とを含む搬送システムであって、
前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
前記接触位置に基づいて前記搬送車を制御する
搬送システム。
【0085】
(付記2)
前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記1に記載の搬送システム。
【0086】
(付記3)
前記制御装置は、前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
付記1に記載の搬送システム。
【0087】
(付記4)
前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
前記制御装置は、前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
付記2に記載の搬送システム。
【0088】
(付記5)
前記制御装置は、前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
付記1から付記4の何れか一つに記載の搬送システム。
【0089】
(付記6)
前記制御装置は、前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
付記5に記載の搬送システム。
【0090】
(付記7)
搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
前記接触位置に基づいて前記搬送車を制御する
制御装置。
【0091】
(付記8)
前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記7に記載の制御装置。
【0092】
(付記9)
前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
付記7に記載の制御装置。
【0093】
(付記10)
前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
付記8に記載の制御装置。
【0094】
(付記11)
前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
付記7から付記10の何れか一つに記載の制御装置。
【0095】
(付記12)
前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
付記11に記載の制御装置。
【0096】
(付記13)
搬送物を搬送する搬送車と、前記搬送物に関する情報を取得するセンサと、に通信接続し、
前記搬送物に関する情報に基づいて前記搬送車が前記搬送物の搬送の際に接触する当該搬送物に対する接触位置を特定し、
前記接触位置に基づいて前記搬送車を制御する
制御方法。
【0097】
(付記14)
前記搬送物に関する情報は、前記搬送物を撮影した画像情報と、前記搬送物の高さ情報とを含む付記13に記載の制御方法。
【0098】
(付記15)
前記搬送物の側面の中心を示す接触位置に基づいて前記搬送車を制御する
付記13に記載の制御方法。
【0099】
(付記16)
前記センサは、前記画像情報と、前記搬送物の各位置の距離情報を測定し、
前記画像情報と前記距離情報とに基づいて、前記接触位置を特定する
付記14に記載の制御方法。
【0100】
(付記17)
前記接触位置に基づいて、前記搬送物を搬送する複数の前記搬送車を制御する
付記13から付記16の何れか一つに記載の制御方法。
【0101】
(付記18)
前記複数の搬送車によって前記搬送物を挟み込むための側面を特定し、当該側面に対応する接触位置に基づいて、前記複数の搬送車それぞれを制御する
付記17に記載の制御方法。
【0102】
(付記19)
対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、前記ロボットを制御する制御装置とを含む制御システムであって、
前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
前記接触位置に基づいて前記ロボットを制御する
制御システム。
【0103】
(付記20)
対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、に通信接続し、
前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
前記接触位置に基づいて前記ロボットを制御する
制御装置。
【0104】
(付記21)
対象物に接触するロボットと、前記対象物に関する情報を取得するセンサと、に通信接続する制御装置が、
前記対象物に関する情報に基づいて前記ロボットが前記対象物に接触する当該対象物に対する接触位置を特定し、
前記接触位置に基づいて前記ロボットを制御する
制御方法。
【0105】
(付記22)
対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続した測量装置が、
前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
物体測量システム。
【0106】
(付記23)
前記測量装置は、
前記対象物包含領域における特徴点と当該特徴点の高さ情報の関係と、前記特徴点と水平位置が対応する前記所定の高さにおける対応点と前記所定の高さが示す高さ情報との関係に基づいて、前記所定の高さにおける前記対応点を算出し、当該対応点に基づいて前記特定領域を特定する
付記22に記載の物体測量システム。
【0107】
(付記24)
前記測量装置は、
前記対象物包含領域における複数の特徴点と当該複数の特徴点の高さ情報の関係と、前記特徴点に水平位置が対応する前記所定の高さにおける複数の対応点と前記所定の高さが示す高さ情報との関係に基づいて、前記所定の高さにおける複数の前記対応点を算出し、当該複数の対応点に基づいて前記特定領域を特定する
付記22に記載の物体測量システム。
【0108】
(付記25)
前記測量装置は、
前記対象物包含領域における複数の特徴点と当該複数の特徴点の高さ情報の関係と、第一の前記所定の高さである前記対象物の上面の高さにおける前記特徴点に水平位置が対応する複数の第一対応点と前記上面の高さが示す高さ情報との関係に基づいて、前記上面の高さにおける複数の前記第一対応点を算出し、当該複数の第一対応点に基づいて前記特定領域のうちの前記上面の高さに対応する前記対象物の領域を示す第一特定領域を特定し、
前記第一特定領域における複数の第一対応点と当該複数の第一対応点の高さ情報の関係と、第二の前記所定の高さである前記対象物の接触位置の高さにおける前記第一対応点に水平位置が対応する複数の第二対応点と前記接触位置の高さが示す高さ情報との関係に基づいて、前記接触位置の高さにおける複数の前記第二対応点を算出し、当該複数の第二対応点に基づいて前記特定領域のうちの前記接触位置の高さに対応する前記対象物の領域を示す第二特定領域を特定する
付記22から付記24の何れか一つに記載の物体測量システム。
【0109】
(付記26)
前記特定領域に基づいて前記測量装置のサイズを算出するサイズ算出部と、
を備える付記22から付記25の何れか一つに記載の物体測量システム。
【0110】
(付記27)
前記特定領域に基づいて前記対象物の搬送を制御する制御装置へ前記特定領域に関する情報を出力する
付記22から付記26の何れか一つに記載の物体測量システム。
【0111】
(付記28)
対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続し、
前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
測量装置。
【0112】
(付記29)
対象物の高さ情報と前記対象物の画像情報とを取得するセンサに通信接続した測量装置が、
前記対象物を含まない前記画像情報と前記対象物を含む前記画像情報の変化に基づいて、前記対象物を含む画像情報において前記対象物を含む画素情報が変化した領域を示す対象物包含領域を特定し、
前記対象物包含領域と前記高さ情報とに基づいて前記対象物包含領域に含まれる前記対象物の所定の高さにおける特定領域を特定する
物体測量方法。
【符号の説明】
【0113】
1・・・制御装置(測量装置)
2・・・センサ
3・・・搬送車
4・・・搬送物(対象物)
5・・・ベルトコンベア
6・・・ロボット
11・・・画像情報取得部
12・・・距離情報取得部
13・・・差分検出部
14・・・測量部
15・・・接触位置特定部
16・・・搬送制御部
17・・・表示部
100・・・搬送システム(物体測量システム)
151・・・接触位置特定部
152・・・制御部
200・・・制御システム(物体測量システム)