IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ダイフクの特許一覧

<>
  • 特許-監視システム 図1
  • 特許-監視システム 図2
  • 特許-監視システム 図3
  • 特許-監視システム 図4
  • 特許-監視システム 図5
  • 特許-監視システム 図6
  • 特許-監視システム 図7
  • 特許-監視システム 図8
  • 特許-監視システム 図9
  • 特許-監視システム 図10
  • 特許-監視システム 図11
  • 特許-監視システム 図12
  • 特許-監視システム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-20
(45)【発行日】2023-09-28
(54)【発明の名称】監視システム
(51)【国際特許分類】
   B65G 1/00 20060101AFI20230921BHJP
   G06T 7/00 20170101ALI20230921BHJP
【FI】
B65G1/00 511Z
G06T7/00 610Z
【請求項の数】 2
(21)【出願番号】P 2021192155
(22)【出願日】2021-11-26
(62)【分割の表示】P 2018186668の分割
【原出願日】2018-10-01
(65)【公開番号】P2022022289
(43)【公開日】2022-02-03
【審査請求日】2021-12-13
(73)【特許権者】
【識別番号】000003643
【氏名又は名称】株式会社ダイフク
(74)【代理人】
【識別番号】110004082
【氏名又は名称】弁理士法人北大阪特許事務所
(74)【代理人】
【識別番号】100141092
【弁理士】
【氏名又は名称】山本 英生
(72)【発明者】
【氏名】高野 洋一
【審査官】内田 茉李
(56)【参考文献】
【文献】特開2018-043815(JP,A)
【文献】特開2009-179454(JP,A)
【文献】特開2018-084955(JP,A)
【文献】特開2013-001510(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B65G 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
撮影手段を有する飛行体を備え、複数の保管棚に荷物が載置された施設で用いられる監視システムであって、
前記飛行体が前記保管棚に沿う所定の飛行ルートを飛行しながら撮影を行う飛行動作を行い、当該撮影により得られる情報に基づいて前記荷物の状態を監視するものであり、
前記保管棚の正面側同士に挟まれる空間を走行する物品搬送装置を有し、
前記飛行体は当該空間を飛行する際、前記物品搬送装置の近傍位置まで進行してから後退することを特徴とする監視システム。
【請求項2】
飛行体を備え、複数の保管棚に荷物が載置された施設で用いられる飛行システムであって、
前記飛行体が前記保管棚に沿う所定の飛行ルートを飛行し、
前記保管棚の正面側同士に挟まれる空間を走行する物品搬送装置を有し、
前記飛行体は当該空間を飛行する際、前記物品搬送装置の近傍位置まで進行してから後退することを特徴とする飛行システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷物を監視する監視システムに関する。
【背景技術】
【0002】
従来、倉庫等に保管された荷物を監視する監視システムが提案されている。このような監視システムの一例は、特許文献1に開示されている。特許文献1に開示された荷物監視システムは、荷物を載置したパレットが平置き倉庫内に複数段積載された状況において、倉庫内を飛行するドローンを利用したシステムとなっている。
【0003】
上記のドローンは、センサにより倉庫内の障害物との衝突を回避しながら倉庫内を飛行し、カメラにより画像情報を取得する。取得した画像情報を外部装置に送信することにより、倉庫内の荷物の状態を監視することができる。特に、傾いた荷物およびパレットにドローンが接近した際に、ドローンに搭載されたカメラが画像情報を取得することにより、傾いた荷物およびパレットを検出することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2018-43815号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記従来の荷物監視システムでは、倉庫の床に落下した荷物を検出することはできなかった。地震が生じた場合等において倉庫内で荷物が落下する場合があり、このような荷物の異常状態を検出することは重要である。
【0006】
上記問題点に鑑み、本発明は、保管棚に荷物が載置された施設での荷物の監視に有用な監視システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る監視システムは、撮影手段を有する飛行体を備え、保管棚に荷物が載置された施設で用いられる監視システムであって、前記飛行体が前記保管棚に沿う所定の飛行ルートを飛行しながら撮影を行う飛行動作を行い、当該撮影により得られる情報に基づいて前記荷物の状態を監視するものであり、振動センサを備え、規定値を超える振動を検知したことに応じて、前記飛行動作を開始する構成とする。本構成によれば、保管棚に荷物が載置された施設での荷物の監視に有用となる。また、地震等の発生により保管棚が揺れて荷物の位置に関する異常状態が生じやすい状況のときに、飛行動作を開始することが可能となる。
【0008】
また本発明に係る監視システムは、撮影手段を有する飛行体を備え、複数の保管棚に荷物が載置された施設で用いられる監視システムであって、前記飛行体が前記保管棚に沿う所定の飛行ルートを飛行しながら撮影を行う飛行動作を行い、当該撮影により得られる情報に基づいて前記荷物の状態を監視するものであり、前記保管棚の正面側同士に挟まれる空間を走行する物品搬送装置を有し、前記飛行体は当該空間を飛行する際、前記物品搬送装置の近傍位置まで進行してから後退する構成とする。本構成によれば、保管棚に荷物が載置された施設での荷物の監視に有用となる。また、飛行体は物品搬送装置に衝突することなく、当該空間を飛行することが可能となる。
【0009】
また本発明に係る監視システムは、撮影手段を有する飛行体を備え、複数の保管棚に荷物が載置された施設で用いられる監視システムであって、前記飛行体が前記保管棚に沿う所定の飛行ルートを飛行しながら撮影を行う飛行動作を行い、当該撮影により得られる情報に基づいて前記荷物の状態を監視するものであり、前記飛行体は前記保管棚の正面側の撮影を行い、当該撮影により得られた情報に基づいて前記保管棚における荷物の荷崩れを検知する構成とする。本構成によれば、保管棚に荷物が載置された施設での荷物の監視に有用となる。
【0010】
また上記構成としてより具体的には、前記撮影により得られた情報に基づいて、前記保管棚から転落した状態を含む前記荷物の位置または向きに関する異常状態を検出する構成としても良い。なお「位置または向きに関する異常状態」は、保管棚に載置された所定状態(正常状態)から許容範囲を超える位置または向きのずれ(保管棚からの転落も含む)を生じた状態を指す。
【0011】
また上記構成としてより具体的には、前記保管棚の正面側同士に挟まれる空間を走行する物品搬送装置を有し、前記飛行体は当該空間を飛行する際、前記物品搬送装置の近傍位置まで進行してから後退する構成としても良い。また上記構成としてより具体的には、前記飛行体は前記保管棚の正面側の撮影を行い、当該撮影により得られた情報に基づいて前記保管棚における荷物の荷崩れを検知する構成としても良い。
【発明の効果】
【0012】
本発明に係る監視システムによれば、保管棚に荷物が載置された施設での荷物の監視に有用となる。
【図面の簡単な説明】
【0013】
図1】物流設備の一構成例を示す図である。
図2】保管棚および物品搬送装置を上面側から見た図である。
図3】物品搬送装置を正面側から見た図である。
図4】支持体の構成例を示す図である。
図5】監視システムの一構成例を示すブロック図である。
図6】ドローンの一構成例を示す外観図である。
図7】監視システムの全体的な動作を示すフローチャートである。
図8】第2飛行動作における具体的な動作を示すフローチャートである。
図9】第3飛行動作における具体的な動作を示すフローチャートである。
図10】第1飛行動作を例示的に示す概略図である。
図11】第2飛行動作を例示的に示す概略図である。
図12】第3飛行動作を例示的に示す概略図である。
図13】荷物の向きのずれに関する説明図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について第1実施形態と第2実施形態を例に挙げ、図面を参照しながら説明する。
【0015】
(1)第1実施形態
1.物流設備の全体構成
まず本発明の第1実施形態について説明する。図1は、倉庫等に設けられる物流設備の一構成例を示す。なお本実施形態に係る監視システムについては、図1に示す物流設備100に備えられた例を挙げて説明する。
【0016】
物流設備100は、保管棚10と、入出庫コンベヤ20と、走行レール30と、搬送台車35と、ピッキング用コンベヤ40と、自動仕分け装置50と、出荷待機エリア55と、トラックバース60と、を備えている。なお図1では、物流設備100の配置形態を見易くするため屋根等を省略して表示している。また物流設備100は、保管棚10および入出庫コンベヤ20に対して荷物の出し入れを行う物品搬送装置15(図2を参照)を備える。なお、保管棚10および物品搬送装置15についての詳細は後述する。
【0017】
さらに物流設備100は、物品搬送装置15、入出庫コンベヤ20、および搬送台車35等の動作を制御する管理装置を備えている。管理装置は、保管棚10から物品搬送装置15により荷物を出庫し、入出庫コンベヤ20、搬送台車35、ピッキング用コンベヤ40、および自動仕分け装置50を介して出荷待機エリア55へ搬送するように各部の動作を制御する。また管理装置は、入荷された荷物を搬送台車35および入出庫コンベヤ20を介して、物品搬送装置15により保管棚10へ入庫するように、各部の動作を制御する。
【0018】
2.保管棚および物品搬送装置
次に、保管棚10および物品搬送装置15について、より詳細に説明する。図2は、保管棚10近傍の様子を上側から見た図である。本図に示すように物流設備100においては、保管棚10に近接して物品搬送装置15A~15C(以下、「物品搬送装置15」と総称することがある。)が配置されている。また図3は、保管棚10および物品搬送装置15を正面側から見た図である。
【0019】
なお、以下の説明では、物品搬送装置15の移動経路に沿う方向を「左右方向X」と称する。また、物品搬送装置15の移動経路に直交する方向のうち、鉛直方向に沿う方向を「上下方向Z」と称し、水平方向に沿う方向を「前後方向Y」と称する。上下方向Zおよび左右方向Xは、図3の紙面における上下左右の各方向に一致する。前後方向Yは、図3における紙面に直交する方向に一致する。また、保管棚10に対して物品搬送装置15側、すなわち荷物を出庫させる方向の側を「正面側」と称し、これと反対側を「背面側」と称する。
【0020】
保管棚10は、荷物Mを保管する。図3に示すように、保管棚10は、複数の支柱102と、複数の棚板104と、を有する。複数の支柱102は、左右方向Xの異なる位置において上下方向Zに沿って立設される。複数の棚板104は、上下方向Zの異なる位置において左右方向Xに沿って配設される。それぞれの棚板104は、左右方向Xに分かれて配置された一対の支柱102に亘って固定される。左右方向Xに隣り合う一対の支柱102と、上下方向Zに隣り合う一対の棚板104とによって囲まれた空間として、荷物Mを収納する収納部Sが形成される。複数の収納部Sは、上下左右に整列された状態で配置される。
【0021】
保管棚10で保管される荷物Mは、支持体Dに載置された状態で保管される。支持体Dの構成例は図4に示される。支持体Dは、複数の天板Dbと、複数の脚部Daと、を有する。天板Dbは、脚部Daの延びる方向と直交する方向に延び、脚部Daが配列される方向と直交する方向に脚部Da上において配列される。なお、支持体Dとしては、天板Dbと脚部Daとからなり下面板を有さない、所謂スキッドと称されるものが用いられる。支持体Dとしてのスキッドは、典型的な一例としては、木製のものが用いられる。
【0022】
また、図2に示すように、1つの走行レール16を移動する1つの物品搬送装置15を挟んで前後方向Yに対向するように、一対の保管棚10が設けられる。1つの物品搬送装置15とそれを挟んで前後方向Yに対向する一対の保管棚10とから構成されるユニットの複数が、前後方向Yに沿って配列されている。
【0023】
より具体的には図2に示すように、物品搬送装置15Aとそれを前後方向Yに挟む保管棚10A,10Bとから、物品搬送装置15Bとそれを前後方向Yに挟む保管棚10C,10Dとから、物品搬送装置15Cとそれを前後方向Yに挟む保管棚10E,10Fとから、それぞれユニットが構成される。
【0024】
物品搬送装置15は、スタッカークレーンとして構成される。図3に示すように、物品搬送装置15は、走行台車152と、マスト154と、昇降台156と、移載装置158と、を有する。
【0025】
走行台車152は、左右方向Xに沿って床面に設置された走行レール16上を走行する。これにより、物品搬送装置15Aは、保管棚10A,10Bの正面側同士に挟まれる空間を走行可能であり、物品搬送装置15Bは、保管棚10C,10Dの正面側同士に挟まれる空間を走行可能であり、物品搬送装置15Cは、保管棚10E,10Fの正面側同士に挟まれる空間を走行可能である。
【0026】
マスト154は、2つ一組で設けられる。一対のマスト154は、走行台車152の左右方向Xの両端において上下方向Zに沿って立設される。昇降台156は、マスト154に沿って昇降する。移載装置158は、昇降台156の上に載置される。移載装置158は、昇降台156に対して出退自在に構成される。移載装置158は、一対のスライド自在なフォーク部を有するスライドフォークで構成される。
【0027】
移載装置158を有する物品搬送装置15は、収納部Sおよび入出庫コンベヤ20に対して、降ろし処理および掬い処理を行い、それぞれに対する移載作業を行う。ここで、降ろし処理は、スライドフォークに載置した荷物Mを降ろす処理であり、掬い処理は、荷物Mを掬い上げてスライドフォークに載置する処理である。これらの降ろし処理および掬い処理では、移載装置158は、荷物Mを下方から支持しながら、保管棚10に対する荷物Mの出し入れを行う。より具体的には、移載装置158は、当該移載装置158を構成するスライドフォークが支持体Dにおける隣り合う脚部Da同士の間の隙間空間Dc(図4を参照)に挿入された状態で、荷物Mを下方から支持しながら移載する。
【0028】
なお、保管棚10に載置される全ての荷物Mについては、撮影によって保管棚10での載置状態が分かる画像(以下、便宜的に「荷物画像α」と称する)が得られ、荷物画像αはその荷物Mおよびこれが載置された保管棚10の位置に対応付けて管理される。荷物画像αは、例えば、荷物が保管棚10へ載置された際に、その荷物Mが写るように保管棚10を側方(正面側)から撮影して得られるものであり、商品Mがどのような向きで載置されたかが分かる画像である。
【0029】
図2に示すように、入出庫コンベヤ20は、保管棚10に対して左右方向Xに隣接して設けられている。入出庫コンベヤ20は、一対の保管棚10のそれぞれに対して隣接するように、2つ一組で設けられている。各入出庫コンベヤ20の一端は、物品搬送装置15の移動経路を構成する走行レール16に対して前後方向Yに対向している。各入出庫コンベヤ20の他端は、ループ状に形成された走行レール30に対向している。走行レール30上を、搬送台車35が走行する。
【0030】
3.監視システムの構成
物流設備100においては本実施形態に係る監視システムとして、保管棚10に保管された荷物Mの状態を監視する監視システムが設けられる。以下、当該監視システムの構成について説明する。
【0031】
図5は、本実施形態に係る監視システム70の構成を示すブロック図である。監視システム70は、ドローン(飛行体の一例)71と、管理装置72と、振動センサ73と、を備えている。また図6は、本実施形態に係るドローン71の構成例を示す外観図である。図6に示すドローン71は、4つのローター(回転翼)を備えるクアドコプターである。ドローン71は、フレーム71Aと、中央部71Bと、ロータ71C~71Fと、を備える。
【0032】
フレーム71Aは、中央位置から四方へ向けて放射状に延び、正方形の対角線を形成する。対角線状のフレーム71Aの各先端部に、ロータ71C~71Fが配置される。正方形の各頂点にロータ71C~71Fの各回転軸が配置される。
【0033】
中央部71Bは、フレーム71Aの中央下側に配置される。中央部71Bには、第1距離センサ714、第2距離センサ715、およびカメラ716(撮影手段の一例)が設けられる。第1距離センサ714は、中央部71Bの前方に位置する物体までの距離を測定するセンサである。第2距離センサ715は、中央部71Bの下方に位置する物体までの距離を測定するセンサである。なお、第1距離センサ714および第2距離センサ715は、例えば、超音波センサにより構成される。また、カメラ716は、中央部71Bの下方および側方の画像を撮影することが可能である。なお、中央部71Bには、他にもフライトコントローラ711およびバッテリ718等も設けられる。
【0034】
図5に示すように、ドローン71は、フライトコントローラ711と、ESC(Electronic Speed Controller)712と、ロータ用モータ713と、第1距離センサ714と、第2距離センサ715と、カメラ716と、通信部717と、バッテリ718と、を有する。
【0035】
フライトコントローラ711は、通信部717が受信した管理装置72からの指示に基づきESC712に制御信号を送り、ESC712にロータ用モータ713を駆動させる。これにより、フライトコントローラ711は、ドローン71の飛行を制御する。
【0036】
フライトコントローラ711は、制御部711Aと、センサ群711Bと、GPS受信部711Cと、を有する。制御部711Aは、例えばマイコンにより構成される。制御部711Aには、センサ群711B、GPS受信部711C、第1距離センサ714、および第2距離センサ715が取得した情報が入力される。センサ群711BおよびGPS受信部711Cにより取得された情報に基づき、制御部711AはESC712に適切な制御信号を出力する。
【0037】
なお、制御部711Aは、記憶部711A1を有する。記憶部711A1には、例えば、制御部711Aにより実行可能なプログラム、後述する飛行ルート情報、および後述するカメラ716による撮影画像等を記憶可能である。また制御部711Aは機械学習を行うようになっており、カメラ716の撮影画像に基づいて周囲の物体(保管棚10、物品搬送装置15、荷物Mなど)のリアルタイムな物体認識が可能である。
【0038】
この物体認識の実現には、例えばYOLO(You Only Look Once)等のアルゴリズムが利用され得る。なお「機械学習」は、与えられた情報に基づいて反復的に学習を行うことにより、法則やルールを自律的に見つけ出す手法である。また上記の機械学習においては、深層学習(ディープラーニング)を採用して、多次元のデータ構造を円滑に処理可能としてもよい。この「深層学習」は、多層構造のニューラルネットワーク(人間の脳神経系の仕組みを模した情報処理モデル)を用いた機械学習である。
【0039】
センサ群711Bは、例えば、3軸ジャイロセンサ、3軸加速度センサ、および磁気センサなどを含む。3軸ジャイロセンサは、前後の傾き、左右の傾き、および回転角速度を検出し、ドローン71の姿勢と動きを把握する。3軸加速度センサは、前後方向、左右方向、および上下方向の加速度を検出する。磁気センサは、方位を検出する。
【0040】
GPS受信部711Cは、物流施設100内でも使用可能なGPS(Global Positioning System)を利用するために、継続的にGPS信号を受信する。これによりドローン71は、GPSを利用して自機の位置情報をリアルタイムに検出し、この検出結果に基づいて飛行ルート情報に従った正しい飛行が可能である。但し、ドローン71を飛行ルート情報に従って飛行させる手段としては、他の手段が利用されても構わない。
【0041】
ESC712は、制御部711Aから入力される制御信号に基づき、駆動電流をロータ用モータ713に流す。ロータ用モータ713は、図6に示すフレーム71Aの各先端部に設けられる。すなわち、ロータ用モータ713は、4個設けられる。ロータ用モータ713の各回転軸は、ロータ71C~71Fの各々に直結される。1つのESC712は、1つのロータ用モータ713の駆動に対応する。すなわち、ESC712は、ロータ用モータ713に合せて4個設けられる。
【0042】
また、バッテリ718には、例えば、リチウムポリマ二次電池が用いられる。4つのESC712のうち、1つのESC712には、バッテリ718から電力を取り出してフライトコントローラ711に電源を供給する機能が備えられる。そして、フライトコントローラ711は、通信部717に電源を供給する。このようにすれば、電源ユニットを省略し、機体を軽量化できる。
【0043】
ドローン71は、ロータ用モータ713によって駆動されるロータ71C~71Fの各回転速度を制御することにより、上昇と下降、前後左右方向への横移動、および、回転の各飛行動作が可能である。
【0044】
また、図5に示すように、管理装置72は、制御部721と、通信部722と、記憶部723と、ネットワークインタフェース724と、を有する。なお、管理装置72は、先述したように、監視システム70に用いられるだけでなく、物流設備100における物品搬送装置15等の各装置の制御も行う。
【0045】
制御部721は、管理装置72を統合的に制御する。通信部722は、ドローン71における通信部717との間で無線信号による通信を行う。記憶部723は、例えば大容量のHDD装置や半導体メモリ装置により構成される。記憶部723には、例えば、制御部721により実行可能なプログラム、ドローン71から送られる各種情報、保管棚10に保管される荷物Mについてのデータベースなどが記憶可能である。ネットワークインタフェース724は、インターネット等のネットワークNWと接続される。
【0046】
振動センサ73は、保管棚10または保管棚10の付近に配置されて振動を検知する。振動センサ73の検知情報は、制御部721に伝達される。これにより、地震等の発生によって規定値を超える振動が生じた場合、制御部721はこの事態を検出することが可能である。
【0047】
4.保管棚に保管された荷物の異常について
地震等が発生することにより保管棚10が揺れた場合、保管棚10に保管された荷物の位置に異常が生じる可能性がある。具体的には、保管棚10が揺れた場合、図3に例示するように保管棚10の収納部Sに保管された荷物Mが、床面に転落する可能性がある。荷物Mが転落した場合には、その荷物Mの破損状況を確認することや、破損していない当該荷物Mを元の位置に戻したりすること等が必要となる。
【0048】
一方、未だ転落はしていないものの、保管棚10の揺れによって、荷物Mが収納部Sの適正位置(保管棚10で通常保管される位置)からの許容範囲を超えた位置ずれを生じ、荷物Mが保管棚10から転落し易くなってしまう可能性もある。このような荷物Mの転落しかけた状態(引っ掛かった状態)が生じた場合には、転落を未然に防ぐため、その荷物を元の位置に戻すこと等が必要となる。
【0049】
そこで本実施形態に係る監視システム70は、後述する動作を行って、上記のように荷物Mが保管棚10から床面に転落した状態(以下、「第1状態」と称する)、および保管棚10での許容範囲を超える位置ずれを生じた状態(以下、「第2状態」と称する)を、荷物Mの位置に関する異常状態として検出することが可能となっている。第1状態の荷物Mは床面上にあり、第2状態の荷物Mは保管棚10の側縁よりも外向きに突出しているため、何れも上方視により確認可能である。なお当該許容範囲は、荷物Mの転落防止の重要度等に応じて任意に設定することが可能である。図2においては、第1状態の荷物Mを荷物M1として、第2状態の荷物Mを荷物M2として、保管棚10における荷物Mの位置に関する異常状態の一例を示している。
【0050】
5.監視システムの動作について
本実施形態に係る監視システム70は、地震等が発生した場合に、荷物Mの位置に関する異常状態(第1状態および第2状態)を検出することが可能である。以下、このような監視システム70の動作について、図7図9に示すフローチャートを参照して説明する。
【0051】
地震等の発生により、振動センサ73が規定値を超える振動を検知すると、図7のフローチャートの動作が開始される。なお、当該動作が開始されるタイミングはこの形態に限られるものではなく、例えば、管理者による所定の操作がなされたとき等としてもよい。当該動作が開始されると、まずステップS10の第1飛行動作が行われる。なお、図7のフローチャートの動作開始時には、ドローン71は、所定の発着場所に停止している。
【0052】
より詳細には、ステップS10では、制御部721は、物品搬送装置15の位置を検出し、保管棚10の正面側および背面側に沿い、且つ物品搬送装置15の位置を回避する所定の飛行ルートを通信部722を介してドローン71へ送信する。すると、ドローン71において制御部711Aは、通信部717を介して受信された所定の飛行ルートを記憶部711A1に記憶させる。なお、当該飛行ルートが固定されているような場合には、そのルートの情報を予め記憶部711A1に記憶させておき、当該送信が省略されるようにしても良い。
【0053】
そして、制御部711Aは、ロータ用モータ713を駆動制御することにより、発着場所に停止しているドローン71の上昇を開始させる。そして、制御部711Aは、所定の高度において上記飛行ルートを飛行するようにドローン71を制御する。所定の高度とは、保管棚10における最上段の収納部Sに保管された荷物Mよりも高い位置である。
【0054】
図2には、飛行ルートの一例として、飛行ルートFRを示している。なおドローン71は、図3に点線矢印で例示するように保管棚10と天井CEの間の高さで飛行するが、物品搬送装置15がこの飛行経路よりも高くなっているため、ドローン71の飛行が妨げられることになる。そのため飛行ルートFRは、保管棚10A~10Fの正面側および背面側に沿いつつ物品搬送装置15A~15Cを回避するルートとされている。
【0055】
より具体的には、まず保管棚10Aと10Bとの間の隙間R1に入り込み、保管棚10Aおよび10Bの正面側に沿って前進し、物品搬送装置15Aの近傍位置まで進行すると、後退して隙間R1から外部へ出る。その後、保管棚10Cと10Dとの間の隙間R2に入り込み、保管棚10Cおよび10Dの正面側に沿って前進し、物品搬送装置15Bの近傍位置まで進行すると、後退して隙間R2から外部へ出る。その後、保管棚10Eと10Fとの間の隙間R3に入り込み、保管棚10Eおよび10Fの正面側に沿って前進し、物品搬送装置15Cの近傍位置まで進行すると、後退して隙間R3から外部へ出る。
【0056】
その後、保管棚10Fの背面側を前進してから、保管棚10Fと10Eとの間の隙間R4に入り込み、保管棚10Fおよび10Eの正面側に沿って前進し、物品搬送装置15Cの近傍位置まで進行すると、後退して隙間R4から外部へ出る。その後、保管棚10Dと10Cとの間の隙間R5に入り込み、保管棚10Dおよび10Cの正面側に沿って前進し、物品搬送装置15Bの近傍位置まで進行すると、後退して隙間R5から外部へ出る。その後、保管棚10Bと10Aとの間の隙間R6に入り込み、保管棚10Bおよび10Aの正面側に沿って前進し、物品搬送装置15Aの近傍位置まで進行すると、後退して隙間R6から外部へ出る。その後、保管棚10Aの背面側を前進して、飛行ルートは終了する。
【0057】
このようにドローン71は、各隙間を飛行する際、物品搬送装置の近傍位置まで進行してから後退するようになっている。そのため、飛行体は物品搬送装置に衝突することなく、当該空間を飛行することが可能である。上記の飛行ルートは、複数の保管棚10の正面側および背面側のスペースを網羅している。なお、保管棚10の背面側同士が対向した箇所や物品搬送装置15がある箇所は、ここでのスペースには含まれない。
【0058】
ドローン71は、このような飛行ルートを飛行しつつ、カメラ716によって床面側(下方)の継続的な撮影を行う。カメラ716によって撮影された画像は記憶部711A1に記憶される。このようにして得られた撮影画像には、飛行ルートに沿った保管棚10の正面側や背面側およびその近傍の床面の様子が映っており、異常状態となった荷物Mがある場合には当該荷物Mも映っている。
【0059】
制御部711Aは、記憶部711A1に記憶された撮影画像から第1状態および第2状態の荷物Mの物体認識を行うことが可能であり、これにより、第1状態および第2状態が生じた異常エリア(荷物Mの位置に関する異常が生じた異常エリア)を検出する。なお、ここで第1状態と第2状態を区別して異常状態が検出されるようにしても良いが、本実施形態では後述する第2飛行動作において第1状態と第2状態が区別される。
【0060】
以上のように第1飛行動作では、監視システム70は、ドローン71(飛行体)が保管棚10に沿う所定のルートを飛行しながら、下方の撮影を行う第1飛行動作を行い、当該撮影により得られた情報に基づいて、保管棚10から転落した状態を含む荷物Mの位置に関する異常状態を検出する。なお、ドローン71は上記のように異常エリアを検出し、検出された異常エリアそれぞれの位置を保管棚10周辺のマップ上に表すことにより、異常状態が生じた位置の分布図を作成する。この分布図は物流設備100の管理者(以下、単に「管理者」と称する)に提供され、今後の対応等に役立てることが可能である。例えば、当該分布図によって高い頻度で異常エリアとなる場所(つまり、荷物の位置ずれが生じ易い場所)が判明した場合、その場所付近の保管棚10に異常が無いかを検査する等の対策をとることが可能である。
【0061】
図7に示すように、上述した第1飛行動作(ステップS10)の完了後、次にステップS20の動作が開始されることになる。但し、第1飛行動作において異常状態となった荷物Mが全く検出されなかった場合には、その旨を管理者に通知して、ステップS20以降の動作が省略される。また、上記の分布図を得たこと等により監視システム70の目的が果たされる場合、ステップS20以降の動作が省略されるようにしてもよい。
【0062】
ステップS20では、第2飛行動作が行われる。第2飛行動作は、第1飛行動作での飛行ルートと重なるルートで行われる。より具体的には、図8に示すフローチャートの動作が行われる。
【0063】
なお、図8に示す動作は、上述した所定の飛行ルートにおける保管棚10の一対の正面側に挟まれる隙間のルート、および保管棚10の背面側のルートごとに行われる。図2の例であれば、隙間R1~R6の各ルート、および保管棚10A,10Fの各背面側のルートごとに行われる。
【0064】
図8のフローチャートの動作が開始されると、まずステップS201で、制御部711Aは、最初の異常エリアにドローン71が移動したことを検出すると、第1距離センサ714により荷物Mが検知されるまでドローン71を下降させる。そして、ステップS202で、制御部711Aは、検知された荷物M上をドローン71を所定の低速度で飛行させつつ、カメラ716によって下方を撮影することにより、下方の荷物Mを撮影する。ここで、所定の低速度とは、第1飛行動作での飛行よりも低い飛行速度である。低速度でドローン71を飛行させることで、荷物Mやその周辺のより明瞭な撮影画像を得ることができる。撮影画像は、記憶部711A1に記憶される。
【0065】
第2飛行動作ではドローン71は高さ方向にも移動するため、制御部711Aは、第1飛行動作において異常状態と判明した各荷物Mの高さ方向位置を把握し、当該荷物Mが第1状態であるか第2状態であるかを容易に区別して認識することができる。なお制御部711Aは、このようにして第1状態と第2状態の区別を行う代わりに、記憶部711A1に記憶された撮影画像から荷物Mを物体認識して当該区別を行っても良い。第2飛行動作で撮影された荷物Mの画像は、第1飛行動作で撮影されたものよりも明瞭であるため、当該区別をより精度良く行うことが可能である。
【0066】
ステップS202の後に、ステップS203で、制御部711Aは、次の異常エリアが有るかを判定する。次の異常エリアが有る場合は(ステップS203のY)、ステップS204に進み、制御部711Aは、ドローン71が次の異常エリアまで移動したかを判定する。ドローン71が次の異常エリアまで移動していない場合、すなわち正常エリアに位置する場合(ステップS204のN)、ステップS205に進み、制御部711Aは、ドローン71を所定の高速度で飛行させる。ここで、所定の高速度とは、ステップS202における低速度での飛行速度よりも速い速度である。
【0067】
次の異常エリアに移動するまでは、ステップS205により高速度で飛行動作が行われる。そして、ドローン71が次の異常エリアに移動した場合(ステップS204のY)、ステップS206に進み、制御部711Aは、第2距離センサ715による測距結果に基づき荷物Mが検出されたかを判定する。荷物Mが検出された場合は(ステップS206のY)、ステップS202に進み、低速度での飛行による撮影が行われる。
【0068】
一方、荷物Mが検出されなかった場合は(ステップS206のN)、ステップS207に進み、制御部711Aは、直前に撮影した荷物Mは、第1状態であるかを判定する。もし第1状態である場合は(ステップS207のY)、制御部711Aは、現在位置より上方に第2状態の荷物Mが存在すると判断し、第1距離センサ714による測距結果により荷物Mが検知されるまでドローン71を上昇させる。ドローン71を上昇させた後、ステップS202に進み、制御部711Aは、低速度で荷物M上をドローン71を飛行させつつ荷物Mの撮影(下方の撮影)を行う。
【0069】
すなわち、ドローン71は、第1状態の荷物Mの近傍位置まで下降した後、第1状態の荷物Mが検知されない異常エリアまで進んだ際に、上昇して第2状態の荷物Mを検知する。換言すれば、ドローン71は、第1状態の荷物Mが検知されない異常エリアに到達するまでは上昇せず、下降した高さのままで飛行を続ける。なお異常エリア(第1状態と第2状態の何れかが生じたエリア)は第1飛行動作によって既に検出されており、この検出結果により、第1状態の荷物Mが検知されない異常エリアは第2状態が生じたエリアであることが分かる。そのためドローン71は、第1状態の荷物Mが検知されない異常エリアで上昇すれば、第2状態の荷物Mを検知することができる。これにより、例えば第1飛行動作での高度まで一旦上昇してから第2状態の荷物Mを検知するために下降するよりも、ドローン71の移動距離を抑制することができる。
【0070】
また、ステップS207で直前に撮影した荷物Mが第1状態でない場合は(ステップS207のN)、制御部711Aは、ドローン71を下降させつつ、第1状態の荷物Mに応じた所定の最低位置までドローン71が下降するまでに第2距離センサ715によって荷物Mを検知したかを判定する。荷物Mが検知された場合は(ステップS208のY)、ステップS202に進み、制御部711Aは、低速度で荷物M上をドローン71を飛行させつつ荷物Mの撮影(下方の撮影)を行う。この場合、検知された荷物Mは、第1状態の場合と第2状態の場合があり得る。
【0071】
一方、所定の最低位置までドローン71が下降するまでに第2距離センサ715によって荷物Mを検知しなかった場合は(ステップS208のN)、ステップS209に進み、制御部711Aは、第2状態の荷物Mが上方に位置すると判断し、第1距離センサ714による測距結果により荷物Mが検知されるまでドローン71を上昇させる。ドローン71を上昇させた後、ステップS202に進み、制御部711Aは、低速度で荷物M上をドローン71を飛行させつつ荷物Mの撮影(下方の撮影)を行う。
【0072】
また、ステップS203で次の異常エリアが無い場合は(ステップS203のN)、ステップS211に進み、制御部711Aは、ドローン71を第1飛行動作での所定高度まで上昇させる。そして、図8に示すフローチャートの動作は完了する。例えば、図2における隙間R1において荷物M1の位置する異常エリアの後、次の異常エリアはないので、ドローン71は、荷物M1の撮影後に所定高度まで上昇して、後退して隙間R1から外部へ出る。
【0073】
なお、第1飛行動作のときに異常エリアが検出されなかった隙間(例えば図2の隙間R3,R5,R6)については、既に異常の無いことが確認済みであるため、第2飛行動作のときには当該隙間にドローン71が入り込まないようにしても良い。上述のとおり第2飛行動作では、異常エリアにおける荷物Mをより明瞭に撮影することが可能となるように、ドローン71が荷物Mの近傍位置まで下降する。但し、ドローン71が荷物Mの近傍位置まで下降する代わりに、ドローン71に設けたカメラ716がズームアップし、第1飛行動作での撮影よりも高い解像度で異常エリアにおける下方の撮影を行うようにしても良い。このようにすれば、ドローン71を下降させることなく、異常エリアにおける荷物Mをより明瞭に撮影することが可能となる。
【0074】
図7に示すように、ステップS20での第2飛行動作の後、ステップS30に進み、第3飛行動作が行われる。第3飛行動作は、第1飛行動作での飛行ルートと重なるルートで行われる。ここでは、より具体的には、図9に示すフローチャートの動作が行われる。
【0075】
なお、図9に示す動作は、上述した所定の飛行ルートにおける保管棚10の一対の正面側に挟まれる隙間のルート、および保管棚10の背面側のルートごとに行われる。図2の例であれば、隙間R1~R6の各ルート、および保管棚10A,10Fの各背面側のルートごとに行われる。
【0076】
ここで、第2飛行動作のステップS202で撮影された荷物Mの画像に基づき、第1飛行動作で検出された異常エリアのうち第1状態の異常エリア(第1状態が生じたエリア)が制御部711Aにより予め認識されている。図9のフローチャートの動作が開始されると、まずステップS301で、制御部711Aは、最初の第1状態の異常エリアにおいてドローン71を下降させつつ、カメラ716により保管棚10の正面側の撮影(側方の撮影)を行う。これにより、第1状態の異常エリアにおける保管棚10の荷物Mの収容状態が撮影される。撮影画像は、記憶部711A1に記憶される。
【0077】
その後、ステップS302で制御部711Aは、次の第1状態の異常エリアが無いかを判定し、もし有る場合は(ステップS302のN)、ステップS303に進む。ステップS303で、制御部711Aは、次の第1状態の異常エリアにおいてドローン71を第1飛行動作での所定高度まで上昇させつつ、カメラ716により保管棚10の正面側の撮影(側方の撮影)を行う。これにより、第1状態の異常エリアにおける保管棚10の荷物Mの収容状態が撮影される。撮影画像は、記憶部711A1に記憶される。
【0078】
その後、ステップS304で制御部711Aは、次の第1状態の異常エリアが無いかを判定し、もし有る場合は(ステップS304のN)、ステップS301に進む。
【0079】
また、ステップS302で、次の第1状態の異常エリアが無い場合は(ステップS302のY)、ステップ305に進み、制御部711Aは、ドローン71を第1飛行動作での所定高度まで上昇させる。そして、図9に示すフローチャートの動作は完了する。また、ステップS304で、次の第1状態の異常エリアが無い場合は(ステップS304のY)、そのまま図9に示す動作は完了する。
【0080】
このように第3飛行動作では、ドローン71が第1状態の異常エリアに到達した際に、上下方向に移動しながら保管棚10を側方から撮影する。第1状態の異常エリアにおいて保管棚10の正面側を撮影することで、第1状態の荷物Mが保管棚10のどの収納部Sから転落したのかを特定することが可能となる。
【0081】
なお、第2飛行動作のときに第1状態の異常エリアが検出されなかった隙間(例えば図2の隙間R1~R3,R5,R6)については、既に第1状態の異常は生じていないことが確認済みであるため、第3飛行動作のときには当該隙間にドローン71が入り込まないようにしても良い。
【0082】
6.飛行動作の一例
次に、上述した第1~第3飛行動作の一例について、図10図12を用いて説明する。図10図12は、ドローン71が保管棚10の正面側または背面側のルートを飛行するときの一例を示す。図10図12の例では、床面に転落した第1状態の荷物M11および荷物M12が示されるとともに、保管棚10において位置ずれを生じた第2状態の荷物M21および荷物M22が示されている。
【0083】
まず、図10に示すように、ドローン71は、飛行ルートFR1で所定高度での第1飛行動作を行う(図7のステップS10)。第1飛行動作が完了した段階で、第1状態と第2状態の何れかが生じた異常エリアが検出される。その後、図11に示す飛行ルートFR2でドローン71は第2飛行動作を行う(図7のステップS20)。
【0084】
具体的には、ドローン71は、荷物M11の近傍まで下降した後(図8のステップS201)、三つ分の荷物M21の撮影を行う(図8のステップS202~S206)。その後、ドローン71は次の異常エリアに移動するが(図8のステップS204のY)、ここでは荷物Mは検知されず(図8のステップS206のN)、かつ、直前に撮影した荷物Mは第1状態であったため(図8のステップS207のY)、ドローン71は上昇して第2状態の荷物M21を検知することになる(図8のステップS210)。これによりドローン71は、荷物M21の撮影を行う(図8のステップS202)。
【0085】
その後にドローン71は、荷物M22がある異常エリアへ移動するが、現状の高さ位置では荷物は検知されず(図8のステップS206のN)、かつ、直前に撮影した荷物M21は第1状態ではない(図8のステップS207のN)。そのため、ドローン71は下降して荷物M22を検知し(図8のステップS208のY)、二つ分の荷物M22の撮影を行う(図8のステップS202~S206)。
【0086】
その後にドローン71は、荷物M12がある異常エリアへ移動するが、現状の高さ位置では荷物は検知されず(図8のステップS206のN)、かつ、直前に撮影した荷物M22は第1状態ではない(図8のステップS207のN)。そのため、ドローン71は下降して荷物M12を検知し(図8のステップS208のY)、四つ分の荷物M12の撮影を行う(図8のステップS202~S206)。以上のように第2飛行動作が進み、次の異常エリアがなければ(図8のステップS203のN)、ドローン71は所定高度まで上昇する(図8のステップS211)。
【0087】
第2飛行動作の後、ドローン71は、図12に示す飛行ルートFR3での第3飛行動作を行う(図7のステップS30)。具体的には、ドローン71は、三つ分の第1状態の荷物M11の位置における上下移動を伴う保管棚10の撮影を行い(図9のステップS301~S304)、更にその後、四つ分の第1状態の荷物M12の位置における上下移動を伴う保管棚10の撮影を行う(図9のステップS301~S304)。以上のように第2飛行動作が進み、次の第1状態の異常エリアがなければ(図9のステップS302のY)、ドローン71は所定高度まで上昇する(図9のステップS305)。
【0088】
7.各種情報の報知および報知先の変更
監視システム70は、上述の各飛行動作において得られた各種の検出結果や撮影画像、及びその他の有用な情報を、管理者へ適宜報知するようになっている。これにより管理者は、地震等により荷物Mの異常状態が生じた場合にも、現状を把握して適切に対処することが容易となる。
【0089】
なお監視システム70は、異常状態の荷物Mの種類を識別し、当該識別の結果に応じて報知先を変更するようにしてもよい。なお報知先の変更とは、報知先を追加するケースや一部の報知先を除外するケースを含む概念である。以下、報知先の変更を行うようにした例について具体的に説明する。
【0090】
本例では上述した第2飛行動作において、ステップS202で荷物Mを撮影する際に荷物Mに付された識別情報(例えば、内容物の表記あるいはバーコード等)が撮影される。そして、荷物Mの異常状態の情報(第1状態と第2状態が区別されている)と紐づけた当該識別情報の撮影画像が、ドローン71の制御部711Aから管理装置72の制御部721へ送信される。
【0091】
記憶部723には、荷物Mごとの識別情報や荷物種類情報(荷物Mの種類を示す情報)などが格納されたデータベースが予め記憶されている。制御部721は、上述した識別情報の撮影画像から識別情報を認識し、その識別情報に対応する荷物種類情報を上記データベースから検索する。制御部721は、「検索された荷物種類情報が特定の種類(例えばガラス製品のように、衝撃によって比較的破損し易いもの)を示し、かつ、その荷物Mが第1状態(床に転落した状態)である」という条件が満たされた場合は、異常状態の発生を管理者に報知するだけでなく、所定の清掃業者へも報知する。なお当該条件が満たされない場合は、制御部721は異常状態の発生を管理者に報知するが、当該清掃業者への報知は行わない。
【0092】
このようにすれば、転落によって荷物Mが破損している可能性の高い場合に、破損した荷物Mの清掃を清掃業者へ迅速に依頼することが可能となる。なお荷物Mの種類の識別(衝撃によって比較的破損し易いものであるか否かの識別)は、上述した手法に限られず、荷物Mが映った撮影画像からの物体認識により行われるようにしても良い。また、荷物Mが映った撮影画像からの物体認識により、荷物Mが破損しているか否かの識別が直接的に行われるようにしても良い。
【0093】
8.その他
以上に説明した通り、本実施形態に監視システム70は、撮影手段を有するドローン71を備え、保管棚10に荷物Mが載置された物流設備100で用いられる。また監視システム70においては、ドローン71が保管棚10に沿う所定の飛行ルートを飛行しながら、下方の撮影を行う第1飛行動作を行い、当該撮影により得られた情報に基づいて、保管棚10から転落した第2状態を含む荷物Mの位置に関する異常状態を検出するようになっている。このように監視システム70は、保管棚10から転落した第1状態も検出するようにして、荷物の異常状態の検出機能を向上させることが可能となっている。
【0094】
(2)第2実施形態
次に本発明の第2実施形態について説明する。なお第2実施形態は、荷物Mの向きに関する異常状態として第3状態を検出する点、およびこれに関連する点を除き、基本的には第1実施形態と同様である。以下の説明では第1実施形態と異なる点に重点をおき、第1実施形態と共通する点については説明を省略することがある。
【0095】
地震等が発生して保管棚10が揺れた場合、保管棚10に載置された荷物Mの向きがずれる可能性がある。ここで図13(a)は、荷物Mの向きが正常である状態(保管棚10に載置された直後の初期状態)を、図13(b)は、荷物Mの向きが図13(a)の状態から角度θだけずれた状態を、それぞれ上方視により模式的に示している。図13(a)に示すように、荷物Mの向きが正常であれば、移載装置158のスライドフォークを支持体Dの隙間空間Dcに差し込んで荷物Mを適切に持ち上げることが可能である。しかし図13に示す角度θが大きくなると(すなわち、荷物Mの向きのずれが大きくなると)、当該スライドフォークを隙間空間Dcに差し込むことが困難となったり、荷物Mを適切に持ち上げることが出来なくなったりする可能性があり、保管棚10での荷物Mの出し入れに支障が生じる虞がある。そのため、このような異常を検出して適切に対処することが重要である。
【0096】
そこで第2実施形態に係る監視システム70は、第1状態(保管棚10から床面に転落した状態)および第2状態(保管棚10での許容範囲を超える位置ずれを生じた状態)だけでなく、保管棚10における所定の許容範囲を超える向きのずれ(以下、「第3状態」と称する)を、荷物Mの位置または向きに関する異常状態として検出するようになっている。なお、当該許容範囲(図13に示す角度θの閾値に相当する)は任意に設定することが可能であるが、本実施形態では一例として15°に設定されている。
【0097】
第2実施形態では、先述した第3飛行動作(ステップS30)におけるカメラ716による側方の撮影(保管棚10の正面側の撮影)を利用して、第3状態を検出する。但し、第1実施形態では、第1状態の異常エリアのみで当該撮影を行うようにしたが、第2実施形態では、飛行ルートの全てのエリアにおいて当該撮影を行うようにする。すなわち、ドローン17は先述した飛行ルートの飛行中に、保管棚10の最初の上下1列の位置で下降しながら保管棚10の正面側を撮影し、次の列の位置では上昇しながら保管棚10の正面側を撮影し、次の列の位置では下降しながら保管棚10の正面側を撮影し、・・・というように、側方視で蛇行するように移動しながら全ての列について保管棚10の正面側を撮影する。これにより、保管棚10の全ての位置(荷物Mが載置可能な全ての位置)に対して、保管棚10の正面側から見た荷物Mの状態を撮影することが可能である。
【0098】
監視システム70は、このようにして得られた撮影画像(以下、便宜的に「撮影画像β」と称する)を用いて、保管棚10の全ての位置を対象にして第3状態を検出するための処理を実行する。より具体的に説明すると、監視システム70は保管棚10の全ての位置について、撮影画像βにおける荷物Mの向きと、既に説明した荷物画像αにおける荷物Mの向きとの差(角度θ1)を認識する。この検出は、例えば、撮影画像βおよび荷物画像αのそれぞれについて荷物Mの物体認識が行われ、これらの物体認識の結果を用いて実施される。なお、荷物画像αには正常な向きの荷物Mが示されており、撮影画像βには現状の荷物Mが示されているため、認識された角度θ1は、荷物Mの向きのずれの大きさを表すことになる。
【0099】
そこで監視システム70は、角度θ1が15°(上記の許容範囲)を超える荷物Mがあればそれを第3状態であると認識し、第3状態の異常状態の発生およびその位置を検出することが可能である。第3状態に関する検出結果および撮影画像等の情報は、第1状態および第2状態の情報とともに管理者へ適宜報知される。これにより管理者は、第3状態となった荷物Mの向きを修正する等、適切な対処を容易に行うことができる。
【0100】
(3)総括
本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味および範囲内に属する全ての変更が含まれると理解されるべきである。
【符号の説明】
【0101】
100 物流設備
10、10A~10F 保管棚
15、15A~15C 物品搬送装置
16 走行レール
20 入出庫コンベヤ
30 走行レール
35 搬送台車
70 監視システム
71 ドローン
71A フレーム
71B 中央部
71C~71F ロータ
711 フライトコントローラ
711A 制御部
711A1 記憶部
711B センサ群
711C GPS受信部
712 ESC
713 ロータ用モータ
714 第1距離センサ
715 第2距離センサ
716 カメラ
717 通信部
718 バッテリ
72 管理装置
721 制御部
722 通信部
723 記憶部
724 ネットワークインタフェース
73 振動センサ
M 荷物
D 支持体
S 収納部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13