(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0007】
そこで、本発明が解決しようとする課題は、誘導ラインを敷設する必要がない無人搬送システムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために本発明に係る無人搬送システムは、
天井に設けられた複数の照明と、ホバリング可能な無人飛行体と、無人搬送車と、を含み、
無人飛行体は、
自機の上方を撮像する第1撮像部と、
予め撮像された照明を含む天井の画像を位置情報と関連付けて記憶している天井画像記憶部と、
第1撮像部によって撮像された自機の現在の上方の画像と、天井画像記憶部に記憶されている天井の画像とを照合する照合部と、
照合部が照合した結果に基づいて自機の位置を特定する自機位置特定部と、
自機の飛行を制御するフライトコントロール部と、
誘導経路に沿って走行する無人搬送車のための誘導経路の画像を路面に投影する投影部と、を備え、
無人搬送車は、
投影部によって投影された誘導経路を含む路面の範囲を撮像する第2撮像部と、
第2撮像部によって撮像された路面の画像を解析することにより誘導経路を検出する誘導経路検出部と、
誘導経路検出部によって検出された誘導経路に基づいてステアリング制御するステアリング制御部と、を備え、
無人搬送システムは、
無人搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
自機位置特定部によって検出された自機の位置に対応する走行経路の一部を誘導経路として抽出
し、当該抽出した誘導経路から投影部が投影すべき誘導経路画像を決定する誘導経路抽出部と、をさらに含み、
投影部は、誘導経路抽出部が
決定した誘導経
路画像を投影する
ことを特徴とする。
【0009】
上記無人搬送システムの好ましい構成としては、
複数の照明が、ダイナミック点灯式のLED照明であり、かつ、互いに異なる周波数で点滅し、
無人飛行体が、
照明の周波数と、照明の位置と、を関連付けて照明情報として記憶している照明記憶部と、
入射された光を電気信号に変換する自機の上側に配置された光センサと、
光センサによって変換された電気信号を、フーリエ変換することにより、周波数ごとのスペクトルに変換するフーリエ変換部と、
フーリエ変換部によって変換された周波数ごとのスペクトルと、照明情報とに基づいて、光センサに入射された光がいずれの照明から照射されたのかを特定する照明特定部と、をさらに備え、
照合部が、照明特定部によって特定された照明の照明情報に基づいて、天井画像記憶部に記憶されている天井の画像から、特定された照明が含まれる所定の範囲の画像を抽出するとともに、抽出した天井の画像と、第1撮像部によって撮像された自機の現在の上方の画像とを照合する。
【0010】
上記無人搬送システムの別の好ましい構成としては、
複数の照明が、ダイナミック点灯式のLED照明であり、かつ、互いに異なる周波数で点滅し、
無人飛行体が、
入射された光を電気信号に変換する自機の上側に配置された光センサと、
光センサが照明からの光を変換した電気信号の周波数ごとのスペクトルの強度分布を、位置情報と関連付けてスペクトル強度情報として記憶しているスペクトル強度記憶部と、
光センサによって変換された電気信号を、フーリエ変換することにより、周波数ごとのスペクトルに変換するフーリエ変換部と、
スペクトル強度情報に基づいて、フーリエ変換部によって変換された少なくとも3つの周波数のそれぞれのスペクトルの強度に対応する位置を自機の位置として推定する自機位置推定部と、をさらに備え、
照合部が、天井画像記憶部に記憶されている天井の画像から、自機位置推定部が推定した無人飛行体の位置から所定の範囲の画像を抽出するとともに、抽出した天井の画像と、第1撮像部によって撮像された自機の現在の上方の画像とを照合する。
【0011】
上記無人搬送システムのさらに好ましい構成としては、
スペクトル強度記憶部が、
自機位置特定部が自機の位置を特定すると、記憶しているスペクトル強度情報のうち、特定された自機の位置に対応する照明ごとのスペクトルの強度を、フーリエ変換部に変換されたスペクトルの強度に更新する。
【発明の効果】
【0012】
本発明によれば、誘導ラインを敷設する必要がない無人搬送システムを提供することができる。また、無人飛行体は、天井に設けられた照明を利用して自機位置を検出するので天井に位置認識用マーカを備えることなく自機位置を検出することができる。さらに、例えば、屋内に設けられた移動棚が移動するなど、屋内のレイアウトが変更されたとしても、無人飛行体が移動することにより、投影部は、誘導経路の画像を適切に投影することができる。
【発明を実施するための形態】
【0014】
<第1の実施形態>
まず、添付図面を参照しつつ、本発明に係る無人飛行体および無人飛行体を用いた無人搬送システムの第1の実施形態について説明する。前後、左右および上下の方向X、Y、Zは、添付図面に記載のとおり、無人搬送車の走行方向を基準にしている。
【0015】
<無人搬送システムS1の概要>
図1は、本発明に係る無人飛行体1を用いた無人搬送システムS1の概要図である。この無人搬送システムS1では、無人飛行体1は、上方を撮像し、撮像した画像を解析することにより自機位置を検出し、検出した自機位置に基づいて無人搬送車3を誘導するための誘導経路の画像(以下「誘導画像G」という)を路面Rに投影する。無人搬送車3は、無人フォークリフトであって、無人飛行体1によって投影された誘導画像G中の誘導ラインLに沿って誘導されることにより、予め定められた走行経路を走行する。
【0016】
<天井の構成>
天井Cには、直管形のLEDランプQが複数設けられている。LEDランプQは、ダイナミック点灯式のLED照明であり、本発明の「照明」に相当する。複数のLEDランプQは、それぞれ異なる周波数Fで点滅している。
【0017】
<無人飛行体>
次に、無人飛行体1の各部の構成について簡単に説明する。
図2に示すように、無人飛行体1は、本体20と、本体20の上面から地面と平行に4方に延びる4本のアーム12と、4本のアーム12のそれぞれの先端側に設けられたモータ13と、モータ13に設けられた回転翼14と、4本のアーム12の基部の上側に立設された略八角柱状の上部ユニット15と、本体20の下側に設けられたジンバル16と、ジンバル16に支持されている下部ユニット17と、本体20の周囲かつアーム12の下側に設けられた4本のスキッド18と、を備えている。
【0018】
図3に示すように、上部ユニット15は、上部ユニット本体151と、上カメラ152と、光センサ153と、を有する。上カメラ152は、本発明の「第1撮像部」に相当し、上部ユニット本体151の上面の中央に上方を向いて配置されている。上カメラ152は、LEDランプQを含む天井Cの画像を撮像して上方画像を生成する。光センサ153は、上カメラ152に隣接して配置され、入射された光を電圧または電流からなる電気信号に変換する。
【0019】
図4に示すように、ジンバル16は、本体20に回転可能に連結された第1の回転軸161と、第1の回転軸161に連結された円板状の回転台162と、回転台162から下方に延びる左右一対の支持柱163と、支持柱163の内側中央に回転可能に連結された左右一対の第2の回転軸164と、を有する。
【0020】
下部ユニット17は、プロジェクタ171を有するとともに、第2の回転軸164に支持されている。プロジェクタ171は、本発明の「投影部」に相当する。プロジェクタ171は、ジンバル16によって任意の方向に向くことができる。
【0021】
図5に示すように、本体20は、制御部21と、自機位置検出部23と、記憶部24と、を有する。
【0022】
制御部21は、フライトコントロール部211と、誘導経路抽出部212と、を有し、無人飛行体1の飛行およびプロジェクタ171による誘導画像Gの投影を制御する。
【0023】
記憶部24は、飛行経路記憶部241と、天井画像記憶部242と、走行経路記憶部243と、照明記憶部244と、を有している。
【0024】
自機位置検出部23には、GPSセンサ、ジャイロセンサ、超音波センサ、レーザセンサ、気圧センサ、コンパス、加速度センサといった各種センサが考えられる。しかしながら、GPSセンサは、屋内においては、GPS信号を適切に検出することができない。そこで、自機位置検出部23は、後で詳述するように、屋内においては、上カメラ152によって撮像された無人飛行体1の上方の画像と、天井画像記憶部242に記憶されている天井画像とを照合することにより、無人飛行体1の位置を検出する。
【0025】
次に、フライトコントロール部211による無人飛行体1の飛行制御について説明する。フライトコントロール部211は、各モータ13の回転数を制御することにより、無人飛行体1のホバリングを可能にするとともに、無人飛行体1の飛行速度、飛行方向、飛行高度を制御する。また、フライトコントロール部211は、無人飛行体1の自律飛行時には、自機位置検出部23によって検出された無人飛行体1の位置を参照しながら、飛行経路記憶部241に記憶された飛行経路に沿って無人飛行体1を飛行させる。
【0026】
次に、
図6を参照しつつ、自機位置検出部23による自機位置検出方法について説明する。自機位置検出部23は、フーリエ変換部231と、照明特定部232と、照合部233と、自機位置特定部234と、を有する。
【0027】
照明記憶部244は、複数のLEDランプQのそれぞれの周波数Fと、複数のLEDランプQの位置とを関連付けて照明情報として記憶している。
【0028】
光センサ153は、入射された光を電気信号に変換し、フーリエ変換部231に出力する。
【0029】
フーリエ変換部231は、入力された電気信号をフーリエ変換することにより、周波数Fごと(すなわち、LEDランプQごと)のスペクトルに変換し、照明特定部232に出力する。
【0030】
照明特定部232は、光センサ153に入射された光がいずれのLEDランプQから照射されたのかを特定する。具体的には、照明特定部232は、入力された周波数Fごとのスペクトルと、照明情報とに基づいて、いずれのLEDランプQから光センサ153に光が入射されたのかを特定するとともに、そのスペクトル強度Vに基づいて、無人飛行体1に最も近い順からLEDランプQ1、Q2、Q3を特定する。なお、照明特定部232が特定するLEDランプQの数は、後で説明するテンプレートマッチングが適切に行われるのであれば、例えば、2つでもよい。
【0031】
天井画像記憶部242には、点灯された状態のLEDランプQを含む天井C全体の天井画像が2値化され、かつ、位置情報と関連付けられた状態で記憶されている。上カメラ152は、無人飛行体1の自律飛行時には、随時、無人飛行体1の上方を撮像して上方画像を生成し、照合部233に出力する。
【0032】
照合部233は、入力された上方画像と、天井画像記憶部242に記憶されている天井画像とを照合する。具体的には、照合部233は、まず、上カメラ152から入力された上方画像を2値化する。次いで、照合部233は、照明情報に含まれるLEDランプQ1、Q2、Q3の位置に基づいて、天井画像記憶部242に記憶されている天井画像から、LEDランプQ1、Q2、Q3の周辺かつ連続する範囲の画像を抽出する。次いで、照合部233は、2値化した上方画像と、抽出した天井画像とを照合し、天井画像の中のどの位置に上方画像が存在するのかを探索するテンプレートマッチングを行う。なお、適切にテンプレートマッチングが行われるのであれば、照合部233が抽出する画像の範囲には、LEDランプQ1、Q2、Q3の全面積が含まれなくてもよい。
【0033】
これにより、照合部233は、天井画像記憶部242に記憶されている天井画像の全範囲と上方画像とを照合する場合に比して、テンプレートマッチングに要する時間を短縮することができる。また、LEDランプQの配置および2値化されたLEDランプQの形状に特徴がない場合、照合部233が天井画像の全範囲と上方画像とを照合すると、別のLEDランプQを含む天井画像に上方画像が類似するという誤った照合結果が生じる可能性がある。ところが、照合部233は、照合する天井画像の範囲をLEDランプQ1、Q2、Q3の周辺かつ連続する範囲に限定することにより、適切にテンプレートマッチングを行うことができる。テンプレートマッチングには、例えば、SSD(「Sum of Squared Difference」)またはSAD(「Sum of Absolute Difference」)を類似度の計算手法として用いてもよい。
【0034】
自機位置特定部234は、照合部233のテンプレートマッチングの結果に基づいて無人飛行体1の位置を特定する。
【0035】
なお、自機位置検出部23は、無人飛行体1の高度に関しては、超音波センサ、レーザセンサ等により検出する。
【0036】
次に、誘導画像Gを投影する方法について説明する。
図5に示すとおり、誘導経路抽出部212は、自機位置検出部23によって検出された無人飛行体1の位置に基づいて、路面Rに投影する誘導画像Gを決定する。具体的には、走行経路記憶部243が無人搬送車3の予め定められた走行経路を記憶しており、誘導経路抽出部212は、検出された無人飛行体1の位置に対応する走行経路の一部を誘導経路として抽出する。抽出された誘導経路の画像、すなわち誘導画像Gは、プロジェクタ171に出力される。なお、誘導経路の面積は、特に限定されない。
【0037】
プロジェクタ171は、入力された誘導画像Gを路面Rに投影する。無人飛行体1がフライトコントロール部211によって安定してホバリングすることができ、プロジェクタ171がジンバル16によって安定して一定の方向を向くことができるので、プロジェクタ171は、誘導画像Gを路面Rの適切な位置に安定して投影することができる。
【0038】
図7に示すように、誘導画像Gは、一定の幅を有する誘導ラインLが中央に配置されており、誘導ラインLの向きは、無人搬送車3が誘導される方向を指している。また、誘導画像Gのうち、誘導ラインLの部分の色は、その両側の部分に比して明度・彩度が明らかに異なる。この誘導画像Gは、単なる一例であってこれに限定されない。例えば、路面Rの色と明らかに異なる色の誘導ラインLのみを誘導画像Gとしてもよい。
【0039】
<無人搬送車>
再び
図1を参照して、無人搬送車3の構成について説明する。無人搬送車3は、車体31と、車載カメラ32と、左右一対の前輪33と、左右一対の後輪34と、前輪33および後輪34のいずれか一方または両方をステアリング制御するステアリング制御部35と、誘導経路検出部36と、フォーク37と、マスト38と、を備える。車載カメラ32は、本発明の「第2撮像部」に相当する。
【0040】
車体31の前面の一部は、透過部材で構成されている。車載カメラ32は、車体31内の前側の上側かつ中央の位置に、透過部材を通して路面Rを向くように設けられている。車載カメラ32の位置は、単なる一例であってこれに限定されない。
【0041】
図7に示すとおり、車載カメラ32は、投影された誘導画像Gを含む路面Rの所定の撮像範囲Tを撮像して路面画像を生成し、誘導経路検出部36に出力する。
【0042】
誘導経路検出部36は、車載カメラ32から入力された路面画像を彩度・明度に基づいて解析し、誘導ラインLを検出する。
【0043】
ステアリング制御部35は、誘導経路検出部36によって検出された誘導ラインLに基づいて、前輪33および後輪34のいずれか一方または両方をステアリング制御する。具体的には、ステアリング制御部35は、誘導ラインLの位置が撮像範囲Tの中央にくるように車輪33、34の操舵角をフィードバック制御する。これにより、無人搬送車3は、無人飛行体1が投影した誘導経路に沿って誘導され、予め定められた走行経路を走行することができる。
【0044】
無人搬送システムS1によれば、プロジェクタ171が誘導画像Gを投影するので、無人搬送車3を誘導するのに別途誘導ラインを敷設する必要がない。また、自機位置検出部23が無人飛行体1の位置を検出する方法として、屋内に設けられたLEDランプQを利用することにより、例えば、位置検出用のマーカといった部材を屋内に設置する必要がない。
【0045】
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態に係る無人搬送システムS2は、第1の実施形態に係る無人搬送システムS1に対して、無人飛行体が備える自機位置検出部および記憶部の一部構成のみが異なっており、他の構成については共通する。したがって、重複する構成要素については、その詳細な説明を省略する。
【0046】
<無人搬送システムS2の概要>
図8に示すように、無人搬送システムS2では、無人搬送システムS1と同様に、無人飛行体1が、上方を撮像し、撮像した画像に基づいて自機位置を検出し、検出した自機位置に基づいて無人搬送車3を誘導するための誘導画像Gを路面Rに投影し、無人搬送車3は、無人飛行体1によって投影された誘導画像G中の誘導ラインLに沿って誘導されることにより、予め定められた走行経路を走行する。
【0047】
<無人飛行体>
無人飛行体1は、本体20と、4本のアーム12と、モータ13と、回転翼14と、上部ユニット15と、ジンバル16と、下部ユニット17と、スキッド18と、を備えている。
【0048】
図9に示すように、本体20は、制御部21と、自機位置検出部23と、記憶部24と、を有する。
【0049】
記憶部24は、飛行経路記憶部241と、天井画像記憶部242と、走行経路記憶部243と、スペクトル強度記憶部245と、を有している。
【0050】
次に、
図10を参照しつつ、自機位置検出部23による自機位置検出方法について説明する。自機位置検出部23は、各種センサとともに、フーリエ変換部231と、照合部233と、自機位置特定部234と、自機位置推定部235と、を有する。
【0051】
まず、第1の実施形態と同様の手法で、光センサ153が、入射された光を電気信号に変換し、フーリエ変換部231に出力し、フーリエ変換部231が、入力された電気信号をフーリエ変換することにより、周波数Fごとのスペクトルに変換し、自機位置推定部235に出力する。
【0052】
スペクトル強度記憶部245は、光センサ153がLEDランプQからの光を変換した電気信号の周波数Fごとのスペクトルの強度分布を、位置情報と関連付けてスペクトル強度情報として予め記憶している。
【0053】
図11に示すように、自機位置推定部235は、スペクトル強度情報に基づいて、フーリエ変換部231によって変換された少なくとも3つの周波数F1、F2、F3のそれぞれの前記スペクトルの強度V1、V2、V3に対応する位置を無人飛行体1の位置として推定する。具体的には、自機位置推定部235は、まず、スペクトルの強度V1、V2、V3に対応する、スペクトル強度情報内のスペクトル強度分布に基づいて、LEDランプQ1、Q2、Q3のそれぞれのスペクトルの強度V1、V2、V3のライン状の範囲A1、A2、A3を特定する。次いで、自機位置推定部235は、スペクトルの強度V1、V2、V3のライン状の範囲A1、A2、A3の交点Iを特定し、交点Iの位置を無人飛行体1の位置と推定する。
【0054】
照合部233は、入力された上方画像と、天井画像記憶部242に記憶されている天井画像とを照合する。具体的には、まず、照合部233は、上カメラ152から入力された上方画像を2値化する。次いで、照合部233は、天井画像記憶部242に記憶されている天井画像から、自機位置推定部235が推定した無人飛行体1の位置(すなわち、交点Iの位置)から所定の距離の範囲AIの画像を抽出する。次いで、照合部233は、2値化した上方画像と、抽出した天井画像とを照合し、天井画像の中のどの位置に上方画像が存在するのかを探索するテンプレートマッチングを行う。これにより、照合部233は、天井画像の全範囲と上方画像とを照合する場合に比して、テンプレートマッチングをより適切に行うことができ、かつ、テンプレートマッチングに要する時間を短縮することができる。
【0055】
自機位置特定部234は、第1の実施形態と同様に、照合部233のテンプレートマッチングの結果に基づいて、無人飛行体1の位置を特定する。
【0056】
スペクトル強度記憶部245は、自機位置特定部234が無人飛行体1の位置を特定すると、特定された位置に対応する周波数F1、F2、F3のそれぞれのスペクトル強度V1、V2、V3を、フーリエ変換部231によって変換されたスペクトル強度V1、V2、V3に更新する。これにより、LEDランプQのスペクトル強度Vが経年劣化や汚れの付着などにより低下しても、スペクトル強度記憶部245に記憶されている周波数Fごとのスペクトル強度Vが随時較正され、自機位置推定部235は、無人飛行体1の位置を適切に推定することができる。
【0057】
次いで、誘導経路抽出部212は、第1の実施形態と同様の手法で、自機位置検出部23によって検出された無人飛行体1の位置に基づいて、路面Rに投影する誘導画像Gを決定し、プロジェクタ171に出力する。プロジェクタ171は、入力された誘導画像Gを路面Rに投影する。
【0058】
<無人搬送車>
無人搬送車3は、第1の実施形態と同様の手法で、無人飛行体1が投影した誘導経路を検出するとともに、誘導経路に沿って誘導され、予め定められた走行経路を走行する。
【0059】
無人搬送システムS2によれば、プロジェクタ171が誘導画像Gを投影するので、無人搬送車3を誘導するのに別途誘導ラインを敷設する必要がない。また、自機位置検出部23が無人飛行体1の位置を検出する方法として、屋内に設けられたLEDランプQを利用することにより、例えば、位置検出用のマーカといった部材を屋内に設置する必要がない。また、無人搬送システムS1と比較して、照合部233は、上方画像と照合する天井画像の範囲をより限定することができ、さらに、テンプレートマッチングの精度を高めることができる。
【0060】
以上、本発明に係る無人搬送車3を誘導するシステムの実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
【0061】
(1)直管形のLEDランプQは、本発明に係る「照明」の単なる一例であって、これに限定されない。また、複数のLEDランプQのそれぞれの周波数Fの相違は、LEDランプQの型式の相違によるものであってもよいし、制御装置によってLEDランプQの周波数Fを制御する手法によるものであってもよい。
【0062】
(2)無人飛行体1は、アーム12の上面にジンバルが設けられ、このジンバルに上部ユニット15が接続される構成であってもよい。これにより、無人飛行体1の姿勢に関わらず、上カメラ152は、常に一定の角度で天井Cを撮像することができるとともに、光センサ153は、常に天井Cに対して正対することができる。
【0063】
(3)プロジェクタ171は、複数のプロジェクタから構成されていてもよい。この場合、複数のプロジェクタによって複数の誘導画像Gを同時に投影することにより、複数の無人搬送車3を同時に誘導してもよい。また、複数のプロジェクタによって同時に複数の誘導画像Gを投影することにより広範囲の誘導経路を路面Rに表示させてもよい。
【0064】
(4)誘導経路抽出部212は、無人飛行体1の位置に加えて、無人搬送車3の位置に基づいて、誘導画像Gを決定してもよい。この場合、無人飛行体1は、下方を撮像する下カメラをさらに備え、誘導経路抽出部212は、予め下カメラの撮像する画像に基づいて、無人搬送車3の位置を検出する。
【0065】
(5)無人飛行体1は、無人搬送車3に追従しながら誘導画像Gを投影してもよいし、または所定の位置から誘導画像Gを投影してもよい。
【0066】
(6)無人搬送車3は、例えば、有人無人兼用の搬送車またはフォークリフトであってもよい。
【0067】
(7)
図12に示すように、本発明は、無人飛行体1と互いに通信可能なサーバ4を備えた無人搬送システムS3でもよい。この場合、無人搬送システムS3は、無人飛行体1と、サーバ4と、無人搬送車3を含む。無人飛行体1は、自機位置検出部23と、プロジェクタ171とを備える。サーバ4は、走行経路記憶部41と、誘導経路抽出部42と、を備える。無人搬送車3は、車載カメラ32と、左右一対の前輪33と、左右一対の後輪34と、ステアリング制御部35と、誘導経路検出部36と、を備える。
【0068】
無人搬送システムS3では、走行経路記憶部41が無人搬送車3の予め定められた走行経路を記憶しており、誘導経路抽出部42が通信により受信した前記無人飛行体1の位置に対応する走行経路の一部を誘導経路として抽出する。プロジェクタ171は、サーバ4から受信した誘導経路の画像Gを路面Rに投影する。無人搬送車3は、無人搬送システムS1(S2)と同様の手法で、無人飛行体1が投影した誘導経路に沿って誘導され、予め定められた走行経路を走行することができる。この無人搬送システムS3によれば、無人飛行体1は、走行経路記憶部243および誘導経路抽出部212を備える必要がない。