特開 2023-36635 車両監視方法、車両監視装置、車両、及び車両監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023036635

(43)【公開日】2023-03-14

(54)【発明の名称】車両監視方法、車両監視装置、車両、及び車両監視システム

(51)【国際特許分類】

   G01L 5/00 20060101AFI20230307BHJP

   B65G 1/00 20060101ALI20230307BHJP

【ＦＩ】

G01L5/00 Z

B65G1/00 501C

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022195308

(22)【出願日】2022-12-07

(62)【分割の表示】P 2019562858の分割

【原出願日】2018-11-26

(31)【優先権主張番号】P 2017249998

(32)【優先日】2017-12-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(72)【発明者】

【氏名】岡田 典

(72)【発明者】

【氏名】寺西 研翔

(57)【要約】

【課題】車両の動作を監視して、従来よりも正確に車両の仕事量を表す指標を提供する。
【解決手段】車両監視方法は、撮影装置１７によって車両１Ｃの荷台１ａに搭載された荷物３の画像を撮影することと、荷台１ａに荷物３が搭載されていないときに撮影装置１７によって撮影された基準画像と、撮影装置１７によって撮影された荷台１ａに搭載された荷物３の画像との差分に基づいて、荷物３を示す部分画像を抽出することと、部分画像の大きさに基づいて荷物３の体積を計算することとを含む。撮影装置１７はＲＧＢカメラである。
【選択図】図１７

【特許請求の範囲】

【請求項1】

荷台を備えた車両を監視する車両監視方法であって、前記車両監視方法は、
撮影装置によって前記荷台に搭載された荷物の画像を撮影することと、
前記荷台に前記荷物が搭載されていないときに前記撮影装置によって撮影された基準画像と、前記撮影装置によって撮影された前記荷台に搭載された荷物の前記画像との差分に基づいて、前記荷物を示す部分画像を抽出することと、
前記部分画像の大きさに基づいて前記荷物の体積を計算することとを含み、
前記撮影装置はＲＧＢカメラである、
車両監視方法。

【請求項2】

前記車両監視方法は、前記車両の移動中に前記荷物の体積が急激に減少したときに警報を発生する、
請求項１に記載の車両監視方法。

【請求項3】

前記車両監視方法は、前記車両の速度及び前記荷物の体積の積が第１のしきい値を超えたときに警報を発生する、
請求項１～２のうちの１つに記載の車両監視方法。

【請求項4】

前記車両監視方法は、前記車両の移動距離及び前記荷物の体積に基づいて前記車両の仕事量を計算する、
請求項１～３のうちの１つに記載の車両監視方法。

【請求項5】

前記車両監視方法は、前記荷物の体積に前記荷物の密度を乗算して前記荷物の重量を計算する、
請求項１～４のうちの１つに記載の車両監視方法。

【請求項6】

荷台を備えた車両を監視する車両監視装置であって、
前記荷台に搭載された荷物の画像を撮影する撮影装置と、
処理回路と、を備え、
前記処理回路は、前記荷台に前記荷物が搭載されていないときに前記撮影装置によって撮影された基準画像と、前記撮影装置によって撮影された前記荷台に搭載された荷物の前記画像との差分に基づいて、前記荷物を示す部分画像を抽出し、
前記部分画像の大きさに基づいて前記荷物の体積を計算し、
前記撮影装置はＲＧＢカメラである、
車両監視装置。

【請求項7】

請求項６に記載の車両監視装置を備えた、
車両。

【請求項8】

前記車両は、前記荷物を前記荷台に積み卸しする昇降機構をさらに備えた、
請求項７記載の車両。

【請求項9】

請求項７又は８記載の車両と、
サーバ装置とを含む、
車両監視システム。

【請求項10】

前記サーバ装置は、前記車両の移動中に前記荷物の体積が急激に減少した位置を記録する、
請求項９記載の車両監視システム。

【請求項11】

前記サーバ装置は、前記車両の速度及び前記荷物の体積の積が第１のしきい値を超えた位置を記録する、
請求項９又は１０記載の車両監視システム。

【請求項12】

前記サーバ装置は、
前記荷物の体積が変化することなく移動した移動経路を記録し、
前記移動経路の移動距離が第２のしきい値を超えたとき、前記第２のしきい値を超えた移動距離よりも短い移動距離を有する移動経路を探索する、
請求項９～１１のうちの１つに記載の車両監視システム。

【請求項13】

前記サーバ装置は、前記車両の移動中に、第３のしきい値を超えた移動距離にわたって前記荷物の体積が変動し続けた範囲を記録する、
請求項９～１２のうちの１つに記載の車両監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両の動作を監視する車両監視方法及び車両監視装置に関する。本開示はまた、そのような車両監視装置を備えた車両に関し、また、そのような車両及びサーバ装置を備えた車両監視システムに関する。

【背景技術】

【0002】

荷物運搬用の車両を用いて予め決められた領域内又は予め決められた地点間で荷物を移動させるとき、車両の位置を測定して追跡することが求められる場合がある。例えば、特許文献１は、ＧＰＳ、無線ＬＡＮ測位、赤外線測位などの測位技術を用いて車両の位置を測位する荷物所在管理装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－２１９２２９号公報

【非特許文献】

【0004】

【非特許文献1】E. Rosten et al., "Machine learning for high-speed corner detection", Proceedings of the 9th European conference on Computer Vision, Volume Part I, Pages 430-443, Springer-Verlag, 2006

【非特許文献2】C. Tomasi et al., "Detection and Tracking of Point Features, Shape and Motion from Image Streams: a Factorization Method Part 3", Technical Report CMU-CS-91-132, School of Computer Science, Carnegie Mellon University, 1991

【非特許文献3】D. Nister, "An efficient solution to the five-point relative pose problem", Proceedings in 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003

【非特許文献4】A. Singh, "Monocular Visual Odometry", [online], April 24, 2015 ［２０１７年１２月２５日検索］（ＵＲＬ：http://avisingh599.github.io/assets/ugp2-report.pdf）

【非特許文献5】H. Uchiyama et al., "Random dot markers", IEEE Virtual Reality (VR), pp.35-38, March 2011

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両の位置を追跡することにより、車両の移動経路及び移動距離などがわかる。従来、車両の移動距離を車両の仕事量とみなし、移動距離に基づいて車両の保守の要否を判断することが考えられている。しかしながら、車両にかかる負荷の大きさは、車両が荷物を運んでいるか否かに応じて異なるので、車両の移動経路及び移動距離（すなわち車両の位置）に基づくだけでは、車両の保守の要否を正確に判断することができない。従って、従来よりも正確に車両の仕事量を表す新たな指標が求められる。

【0006】

本開示の目的は、以上の課題を解決し、車両の動作を監視して、従来よりも正確に車両の仕事量を表す指標を提供する車両監視装置を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様に係る車両監視方法は、
荷台を備えた車両を監視する車両監視方法であって、前記車両監視方法は、
撮影装置によって前記荷台に搭載された荷物の画像を撮影することと、
前記荷台に前記荷物が搭載されていないときに前記撮影装置によって撮影された基準画像と、前記撮影装置によって撮影された前記荷台に搭載された荷物の前記画像との差分に基づいて、前記荷物を示す部分画像を抽出することと、
前記部分画像の大きさに基づいて前記荷物の体積を計算することとを含み、
前記撮影装置はＲＧＢカメラである。

【0008】

これらの概括的かつ特定の態様は、システム、方法、コンピュータプログラム並びにシステム、方法及びコンピュータプログラムの任意の組み合わせにより実現してもよい。

【発明の効果】

【0009】

本開示によれば、車両の動作を監視して、従来よりも正確に車両の仕事量を表す指標を提供する車両監視装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、第１の実施形態に係る車両１の構成を示す概略図である。

【図2】図２は、図１の車両１を含む測位システムの構成を示すブロック図である。

【図3】図３は、図１の撮影装置１１によって撮影される一連の画像であって、（ａ）は時刻ｔ０における画像４０（ｔ０）を示し、（ｂ）は時刻ｔ１における画像４０（ｔ１）を示し、（ｃ）は時刻ｔ２における画像４０（ｔ２）を示す図である。

【図4】図４は、比較例の撮影装置によって撮影される一連の画像であって、（ａ）は時刻ｔ０における画像４０（ｔ０）を示し、（ｂ）は時刻ｔ１における画像４０（ｔ１）を示し、（ｃ）は時刻ｔ２における画像４０（ｔ２）を示す図である。

【図5】図５は、図２の特徴点抽出器３１によって実行される特徴点抽出処理を示すフローチャートである。

【図6】図６は、図１の特徴点抽出器３１によって抽出される特徴点であって、（ａ）は時刻ｔにおける画像４０（ｔ）から抽出される特徴点Ｆ１，Ｆ２を示し、（ｂ）は時刻ｔ’における画像４０（ｔ’）から抽出される特徴点Ｆ１’，Ｆ２’を示す図である。

【図7】図７は、図２の位置計算器３２によって実行される位置及び姿勢計算処理を示すフローチャートである。

【図8】図８は、第１の実施形態の第１の変形例に係る車両１Ａを含む測位システムの構成を示すブロック図である。

【図9】図９は、図８の位置補正器３３によって実行される位置及び姿勢補正処理を示すフローチャートである。

【図10】図１０は、図８の位置補正器３３によって補正される車両１Ａの位置及び姿勢を示し、（ａ）は補正前の車両１Ａの位置Ｐを示し、（ｂ）補正後の車両１Ａの位置Ｑを示す図である。

【図11】図１１は、図８の位置補正器３３によって補正される前の車両１Ａの位置情報を示す図である。

【図12】図１２は、図８の位置補正器３３によって補正された後の車両１Ａの位置情報を示す図である。

【図13】図１３は、第１の実施形態の第２の変形例に係る車両１Ｂを含む測位システムの構成を示すブロック図である。

【図14】図１４は、図１３の撮影装置１１によって撮影される画像４０の第１の例を示す図である。

【図15】図１５は、図１４のマーカー５を補正したマーカー５’を示す図である。

【図16】図１６は、図１３の撮影装置１１によって撮影される画像４０の第２の例を示す図である。

【図17】図１７は、第２の実施形態に係る車両１Ｃの構成を示す概略図である。

【図18】図１８は、図１７の車両１Ｃを含む車両監視システムの構成を示すブロック図である。

【図19】図１９は、図１８の体積計算器３６による荷物３の体積の計算を説明するための図であって、（ａ）はＲＧＢカメラである撮影装置１７によって撮影される第１の画像を示し、（ｂ）は撮影装置１７によって撮影される第２の画像を示し、（ｃ）は（ａ）及び（ｂ）の差分の画像を示す図である。

【図20】図２０は、図１８の体積計算器３６による荷物３の体積の計算を説明するための図であって、（ａ）はデプスセンサである撮影装置１７によって撮影される画像を示し、（ｂ）は（ａ）から生成された荷物３の画像を示す図である。

【図21】図２１は、図１８の車両１Ｃ又はサーバ装置２によって計算される、１台の車両１Ｃの通算の仕事量を示すグラフである。

【図22】図２２は、図１８のサーバ装置２によって計算される、複数の車両１Ｃの合計仕事量を示すグラフである。

【図23】図２３は、図１７の車両１Ｃにおける荷物３の脱落を示す概略図である。

【図24】図２４は、図１８の車両１Ｃ又はサーバ装置２によって実行される、荷物３の脱落の検出を説明するための図であって、（ａ）は車両１Ｃの移動経路を示すマップであり、（ｂ）は荷物３の体積の変化を示すグラフである。

【図25】図２５は、図１８の車両１Ｃによって実行される、荷物３の脱落の可能性の検出を説明するための図であって、（ａ）は荷物３の体積の変化を示すグラフであり、（ｂ）は車両１Ｃの加速度の変化を示すグラフである。

【図26】図２６は、図１８の車両１Ｃ又はサーバ装置２によって実行される、危険な区間の検出を説明するための図であって、（ａ）は車両１Ｃの移動経路を示すマップであり、（ｂ）は荷物３の体積の変化を示すグラフであり、（ｃ）は車両１Ｃの速度の変化を示すグラフである。

【図27】図２７は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングを説明するためのグラフである。

【図28】図２８は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングの第１の例を説明するための図であって、（ａ）は変更前の車両１Ｃの移動経路を示す図であり、（ｂ）は変更後の車両１Ｃの移動経路を示す図である。

【図29】図２９は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングの第２の例を説明するための図であって、（ａ）は変更前の車両１Ｃの移動経路を示す図であり、（ｂ）は変更後の車両１Ｃの移動経路を示す図である。

【図30】図３０は、図１８のサーバ装置２によって実行される、凹凸のある区間の検出を説明するための図であって、（ａ）は車両１Ｃの移動経路を示す図であり、（ｂ）は荷物３の体積の変化を示すグラフである。

【図31】図３１は、第２の実施形態の第１の変形例に係る車両１Ｄの構成を示す概略図である。

【図32】図３２は、図３１の車両１Ｄを含む車両監視システムの構成を示すブロック図である。

【図33】図３３は、第２の実施形態の第２の変形例に係る車両１Ｅの構成を示す概略図である。

【図34】図３４は、図３３の車両１Ｄを含む車両監視システムの構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

【0012】

第１の実施形態．
屋外で移動する車両を測位する場合、一般的には、ＧＰＳを用いた測位方法が使用される。一方、工場又は倉庫などの屋内では、ＧＰＳ衛星からの電波を受信できないので、ＧＰＳを用いた測位方法は使用できない。

【0013】

屋内の測位方法として、例えば、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅ ｂａｎｄ）、Ｗｉ－Ｆｉ、又はＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）などの無線信号を用いたものがある。しかしながら、無線信号を用いた測位方法は、無線信号を送信するための多数の無線送信機を車両の移動範囲に設置する必要があるので、初期導入コストが高い。

【0014】

また、屋内の測位方法として、ＰＤＲ（Ｐｅｄｅｓｔｒｉａｎ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ：歩行者自律航法）と呼ばれるものがある。しかしながら、ＰＤＲは位置を高精度に測定することが困難である。

【0015】

従って、大きなコストを必要とすることなく、十分に高い精度で車両の位置を測定することができる測位装置が求められる。

【0016】

第１の実施形態では、撮影装置を用いて車両の位置を測定する新規な測位装置を提供する。

【0017】

図１は、第１の実施形態に係る車両１の構成を示す概略図である。車両１は、例えば、無人搬送車（ＡＧＶ）又はパレット搬送ロボットなどの荷物運搬ロボットである。車両１は、車両１の進行方向に面した車体の前方に、荷物３を搭載する荷台１ａを備える。車両１は、荷物３を荷台１ａに積み卸しするための昇降機構１ｂをさらに備えてもよい。昇降機構１ｂは、地面又は棚などと荷台１ａとの間で荷物３を地面に対して垂直方向に移動させる。車両１の車体には、車両１の進行方向に対して逆向きである車両１の後方を撮影するように撮影装置１１が設置されている。また、車両１は、地面から所定の高さに撮影装置１１を支持するためのマスト１ｃを備えてもよい。本明細書では、車両１の通常の進行方向（すなわち荷物搬送ロボットの正面）を「前方」といい、その逆方向を「後方」という。

【0018】

図２は、図１の車両１を含む測位システムの構成を示すブロック図である。図２の測位システムは、少なくとも１つの車両１と、サーバ装置２とを含む。各車両１は、撮影装置１１によって撮影された画像に基づいて、その位置を測定する測位装置を備える。サーバ装置２は、各車両１からそれらの位置を取得し、各車両１の位置を記録する。

【0019】

車両１は、撮影装置１１、処理装置１２、無線通信装置１３、表示装置１４、及び駆動機構１５を備える。

【0020】

撮影装置１１は、被写体の画像を生成し、かつ、撮影装置１１から被写体の各点までの距離を検出するように構成される。撮影装置１１は、被写体までの距離を検出するため、例えば、ＲＧＢ－Ｄカメラなどのデプスセンサ、又はＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを含んでもよい。それに代わって、撮影装置１１は、被写体までの距離を検出するため、所定距離だけ互いに離れた配置された２つのカメラを含むステレオカメラであってもよい。撮影装置１１は、撮影した画像を処理装置１２に送る。

【0021】

撮影装置１１は、車両１の車体に固定される。これにより、撮影装置１１の位置及び／又は姿勢の変化を検出することで、車両１の位置及び／又は姿勢の変化がわかる。

【0022】

撮影装置１１は、前述のように、車両１の後方を撮影するように車両１の車体に設置されている。車両１が車体の前方に荷台１ａを備えた場合、車両１の前方を撮影するように車両１の車体に撮影装置を設置すると、撮影装置の視界は荷物３によって遮られることがある。従って、図１に示すように車両１の後方に向けて撮影装置１１を車両１に設置することにより、撮影装置１１の視界を遮られにくくすることができる。

【0023】

撮影装置１１は、車両１が前方に移動しているとき、所定時間ごとに車両１の後方を撮影する。撮影装置１１は、所定時間ごとに静止画像を撮影してもよく、動画像の一連のフレームから所定時間ごとにフレームを抽出してもよい。

【0024】

処理装置１２は、特徴点抽出器３１及び位置計算器３２を備える。特徴点抽出器３１は、撮影装置１１によって撮影された画像から特徴点を抽出する。特徴点は、輝度値あるいは色が周囲の画素と区別でき、その位置を正確に決定することができる点である。特徴点は、例えば、車両１が移動する建物又は通路における構造物のコーナー又はエッジ、床、壁、又は天井の模様から検出される。位置計算器３２は、画像の特徴点に基づいて車両１の位置を計算する。位置計算器３２は、後述するように、画像の特徴点に基づいて車両１の位置及び姿勢を計算してもよい。

【0025】

特徴点抽出器３１及び位置計算器３２は、専用回路として実装されてもよく、汎用のプロセッサによって実行されるプログラムとして実装されてもよい。

【0026】

図２の撮影装置１１、特徴点抽出器３１、及び位置計算器３２は、車両１の位置を測定する測位装置として機能する。

【0027】

無線通信装置１３は、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈなどのモジュール及びその制御プログラムを備え、サーバ装置２と通信する。無線通信装置１３は、位置計算器３２によって計算された車両１の位置及び姿勢をサーバ装置２に送信する。

【0028】

表示装置１４は、車両１の動作に関する警報などを表示する点灯装置などを含む。

【0029】

駆動機構１５は、車両１のエンジン又はモータ、制動装置、及びそれらの制御装置などを含む。

【0030】

図２のサーバ装置２は、処理装置２１、無線通信装置２２、入力装置２３、記憶装置２４、及び表示装置２５を備える。処理装置２１は、例えば、プロセッサ及びメモリなどを含む汎用のコンピュータである。無線通信装置２２は、車両１の無線通信装置１３と通信可能に接続される。入力装置２３は、キーボード及びポインティングデバイスなどを含む。記憶装置２４は、車両１から受信した車両１の位置及び姿勢を記録する。表示装置２５は、車両１から受信した車両１の位置及び姿勢を表示する。処理装置２１は、無線通信装置２２を介して各車両１からそれらの位置を取得し、各車両１の位置を記憶装置２４に記録し、また、各車両１の位置を表示装置２５に表示する。

【0031】

表示装置２５は、車両１の位置計算器３２によって計算された車両１の位置及び姿勢を表示する。処理装置２１は、車両１の移動範囲（工場又は倉庫など）のマップを予め取得し、位置計算器３２によって計算された車両１の位置及び姿勢をこのマップ上に重畳して表示装置２５に表示してもよい。それに代わって、処理装置２１は、車両１の移動経路に基づいて処理装置２１自体によりマップを生成し、このマップを表示装置２５に表示してもよい。

【0032】

車両１は、サーバ装置２の制御下で駆動機構１５を制御して移動するが、本明細書では、その詳細な説明を省略する。

【0033】

次に、撮影装置１１の動作について詳細に説明する。

【0034】

位置計算器３２によって実行される位置及び姿勢計算処理（後述）では、撮影装置１１から近くに位置した物体（コーナー、エッジ、模様など）の特徴点を多く使うほど、車両１の位置及び姿勢を高精度で計算することができる。これは、撮影装置１１から遠くに位置した物体の特徴点を使用すると、ステレオカメラでは１画素のズレで距離の差が大きくなるからである。また、ＲＧＢ－Ｄカメラでも、一般的に、カメラから遠くの距離は誤差が大きくなる傾向がある。従って、撮影装置１１は、車両１に近い地面の領域を撮影するために、地面に平行な方向よりも下方に傾けて車両１の車体に設置される。例えば、図３（ａ）に示すように、消失点が画面の中央に位置するように、撮影装置１１の向きを設定する。

【0035】

図３は、図１の撮影装置１１によって撮影される一連の画像を示す図である。撮影装置１１は、車両１が前方に移動しているとき、所定時間ごと（例えば時刻ｔ０、ｔ１、ｔ２、…）に車両１の後方を撮影する。図３（ａ）は時刻ｔ０における画像４０（ｔ０）を示し、図３（ｂ）は時刻ｔ１における画像４０（ｔ１）を示し、図３（ｃ）は時刻ｔ２における画像４０（ｔ２）を示す図である。図３（ａ）の画像４０（ｔ０）において、車両１の近くにおける地面の模様から特徴点Ｆａ（ｔ０）が検出される。図３（ｂ）の画像４０（ｔ１）において、特徴点Ｆａ（ｔ０）として検出された地面の模様は、車両１の移動に応じて時刻ｔ０の位置から移動し、特徴点Ｆａ（ｔ０）に対応する特徴点Ｆａ（ｔ１）として検出される。同様に、図３（ｃ）の画像４０（ｔ２）において、特徴点Ｆａ（ｔ１）として検出された地面の模様は、車両１の移動に応じて時刻ｔ１の位置から移動し、特徴点Ｆａ（ｔ１）に対応する特徴点Ｆａ（ｔ２）として検出される。このように、時刻ｔ０～ｔ２にわたって特徴点を追跡することができる。

【0036】

図４は、比較例の撮影装置によって撮影される一連の画像を示す図である。図４は、撮影装置が車両１の前方を撮影するように車両１の車体に取り付けられた場合の例を示す。撮影装置は、車両１が前方に移動しているとき、所定時間ごと（例えば時刻ｔ０、ｔ１、ｔ２、…）に車両１の前方を撮影する。図４（ａ）は時刻ｔ０における画像４０（ｔ０）を示し、図４（ｂ）は時刻ｔ１における画像４０（ｔ１）を示し、図４（ｃ）は時刻ｔ２における画像４０（ｔ２）を示す図である。図４（ａ）の画像４０（ｔ０）において、車両１にある程度近づいた地面の模様から特徴点Ｆｂ（ｔ０）が検出される。図４（ｂ）の画像４０（ｔ１）において、特徴点Ｆｂ（ｔ０）として検出された地面の模様は、車両１の移動に応じて時刻ｔ０の位置から移動し、特徴点Ｆｂ（ｔ０）に対応する特徴点Ｆｂ（ｔ１）として検出される。図４（ｃ）の画像４０（ｔ２）において、特徴点Ｆｂ（ｔ１）として検出された地面の模様は、車両１の移動に応じて画面外に移動し、特徴点Ｆｂ（ｔ１）は追跡不能になる。

【0037】

図４によれば、撮影装置が車両１の前方を撮影する場合、特徴点が車両１に次第に近づく。そのため、特徴点に基づいて車両１の位置及び姿勢を計算する精度は、特徴点が車両１に最も近づいた瞬間に最も高くなるが、その後、特徴点はすぐに追跡不能になる。一方、図３によれば、撮影装置１１が車両１の後方を撮影する場合、特徴点が車両１から次第に離れる。そのため、特徴点を最初に検出したときに車両１の位置及び姿勢を高精度で計算することができ、その後、比較的長い時間にわたって特徴点を追跡することができる。このように、撮影装置１１が車両１の後方を撮影する場合、車両１の前方を撮影する場合よりも、車両１の位置及び姿勢を高精度で計算することができる。本実施形態は、この特性を考慮して、車両１の後方を撮影するように撮影装置１１を車両１の車体に取り付けることを特徴とする。

【0038】

次に、特徴点抽出器３１の動作について詳細に説明する。

【0039】

図５は、図２の特徴点抽出器３１によって実行される特徴点抽出処理を示すフローチャートである。

【0040】

ステップＳ１において、特徴点抽出器３１は、撮影装置１１から、所定時間だけ離れた第１及び第２の時刻にそれぞれ撮影された（例えば、時間的に隣接したフレームの）第１及び第２の画像を取得する。

【0041】

ステップＳ２において、特徴点抽出器３１は、第１の画像から特徴点を検出する。画像から特徴点を検出するために、例えば、非特許文献１に記載のＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）を使用してもよい。

【0042】

ステップＳ３において、特徴点抽出器３１は、第２の画像から、第１の画像の特徴点に対応する特徴点を検出する。画像間で対応する特徴点を検出するために、例えば、非特許文献２に記載のＫＬＴ（Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ）トラッカーを使用してもよい。

【0043】

図６は、図１の特徴点抽出器３１によって抽出される特徴点を示す図である。図６（ａ）は時刻ｔにおける画像４０（ｔ）から抽出される特徴点Ｆ１，Ｆ２を示し、図６（ｂ）は時刻ｔ’における画像４０（ｔ’）から抽出される特徴点Ｆ１’，Ｆ２’を示す図である。図６（ａ）の特徴点Ｆ１は座標（ｘ１，ｙ１）を有し、特徴点Ｆ２は座標（ｘ２，ｙ２）を有する。図６（ｂ）の特徴点Ｆ１’は座標（ｘ１’，ｙ１’）を有し、特徴点Ｆ２’は座標（ｘ２’，ｙ２’）を有する。図６（ｂ）の特徴点Ｆ１’，Ｆ２’は、図６（ａ）の特徴点Ｆ１，Ｆ２にそれぞれ対応する。

【0044】

図５のステップＳ４において、特徴点抽出器３１は、第１及び第２の画像における対応する特徴点の座標の組を出力する。特徴点抽出器３１は、例えば、特徴点Ｆ１，Ｆ１’の座標の組（ｘ１，ｙ１，ｘ１’，ｙ１’）を出力し、特徴点Ｆ２，Ｆ２’の座標の組（ｘ２，ｙ２，ｘ２’，ｙ２’）を出力する。

【0045】

次に、位置計算器３２の動作について詳細に説明する。

【0046】

図７は、図２の位置計算器３２によって実行される位置及び姿勢計算処理を示すフローチャートである。

【0047】

ステップＳ１１において、位置計算器３２は、特徴点抽出器３１から、第１及び第２の画像における少なくとも５組の対応する特徴点の座標を取得する。

【0048】

ステップＳ１２において、位置計算器３２は、ステップＳ１１において取得された特徴点の座標に基づいて、３×３個の要素からなる基礎行列Ｅを計算する。基礎行列Ｅを計算するために、例えば、非特許文献３に記載の５点アルゴリズムを用いてもよい。

【0049】

ステップＳ１３において、位置計算器３２は、基礎行列Ｅに対して特異値分解を行うことにより、第１及び第２の画像を撮影した時刻の間における車両１の移動を表す回転行列Ｒ及び並進ベクトルｔを計算する。回転行列Ｒは、第１及び第２の画像を撮影した時刻の間における車両１の姿勢の変化を示す。並進ベクトルｔは、第１及び第２の画像を撮影した時刻の間における車両１の位置の変化を示す。

【0050】

回転行列Ｒ及び並進ベクトルｔの計算は、例えば非特許文献４を参照して、以下のように定式化される。

【0051】

基礎行列Ｅは、特異値分解を行うことにより、Ｅ＝ＵΣＶ^Ｔとして表される。ここで、Σは、３×３個の要素からなる対角行列Σであり、Ｕ，Ｖは、３×３個の要素からなる直交行列である。

【0052】

回転行列Ｒは、３×３個の要素からなる次式の行列Ｗを用いて、Ｒ＝ＵＷ^－１Ｖ^Ｔにより計算される。

【0053】

【数1】

【0054】

また、並進ベクトルｔを計算するために、３×３個の要素からなる行列Ｔ＝ＶＷΣＶ^Ｔが計算される。行列Ｔは、Ｅ＝ＴＲを満たし、次式で表される。

【0055】

【数2】

【0056】

並進ベクトルｔは、行列Ｔの成分により、ｔ＝（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）^Ｔとして表される。

【0057】

ステップＳ１４において、位置計算器３２は、車両１の位置及び姿勢を計算して出力する。直前の時刻ｎ－１において車両１が位置ｔ（ｎ－１）及び姿勢Ｒ（ｎ－１）を有するとき、現在の時刻ｎにおいて、車両１の位置ｔ（ｎ）は、ステップＳ１３において計算された並進ベクトルｔを用いて、ｔ（ｎ）＝ｔ（ｎ－１）＋ｔＲ（ｎ－１）により表される。また、現在の時刻ｎにおいて、車両１の姿勢Ｒ（ｎ）は、ステップＳ１３において計算された回転行列Ｒを用いて、Ｒ（ｎ）＝ＲＲ（ｎ－１）で表される。このように、位置計算器３２は、複数の並進ベクトルを累積的に加算し、複数の回転行列を累積的に乗算することにより、所定の初期位置及び初期姿勢を基準として車両１の位置及び姿勢を計算することができる。

【0058】

なお、単眼カメラのみを含む撮影装置では、計算した車両１の位置をメートル単位に換算できない。撮影装置１１が２つのカメラを含むステレオカメラである場合には、同じ特徴点に対してステレオマッチングを行い、事前に計測した２つのカメラ間の距離及び焦点に基づいて車両１の位置をメートル単位に換算する。撮影装置１１がデプスセンサ又はＴｏＦセンサを含む場合には、車両１の位置を直接にメートル単位で取得できる。

【0059】

図７の位置及び姿勢計算処理によって計算される位置及び姿勢は、車両１の移動開始位置において撮影された画像から抽出された特徴点を原点とする相対位置及び相対姿勢を表す。従って、マップの座標の原点から見た初期位置及び初期姿勢を予め取得し、この初期位置及び初期姿勢を相対位置及び相対姿勢にそれぞれ加算することで、相対位置及び相対姿勢をマップ上の位置及び姿勢（「絶対位置」及び「絶対姿勢」ともいう）に変換できる。

【0060】

位置計算器３２は、計算した車両１の位置を、例えば、直交座標（ＸＹＺ座標）により表してもよい。位置計算器３２は、計算した車両１の位置及び時刻に基づいて、車両１の速度及び／又は加速度を計算してもよい。位置計算器３２は、計算した車両１の姿勢を、ロール、ピッチ、及びヨーにより表してもよい。これにより、地面に平行な水平面内における車両１の向きだけでなく、車両１の車体の傾斜を表したり、車両１の高さ方向の移動を表したりすることができる。

【0061】

図５の特徴点抽出処理では、ＦＡＳＴ及びＫＬＴトラッカーを用いる例を説明したが、他の方法を用いてもよい。例えば、画像処理で一般的であるＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）又はＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）を用いた特徴点検出処理及び特徴点マッチング処理などを用いてもよい。

【0062】

図７の位置及び姿勢計算処理において、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの姿勢センサを用いて、車両１の姿勢の計算を補正してもよい。例えば、車両１がヨー方向に高速に回転していると、画像間で共通する特徴点の個数が減少し、計算される位置及び姿勢の精度が低下する。従って、車両１がヨー方向に高速に回転している場合は、ＩＭＵの角速度を用いて車両１の姿勢を推定してもよい。

【0063】

図７の位置及び姿勢計算処理において、車両１の車輪の回転角の情報に基づいて、車両１の直進時の位置の計算を補正してもよい。例えば、車両１が直進移動しているとき、車輪の回転角に基づいて車両１の位置を高精度に計算することができる。従って、車両１の左右の車輪の回転数が同じときは車両１が直進移動しているとみなしてもよい。そして、車輪の直径２ｒと車輪の回転数ｎとの積により車両１の移動距離２πｒｎを計算し、車両１の位置を推定してもよい。

【0064】

図１の車両１によれば、車両１の後方を撮影するように撮影装置１１を車両１に設置することにより、撮影装置を用いて従来技術よりも高精度に車両１の位置を測定することができる。また、図１の車両１によれば、車両１の後方を撮影するように撮影装置１１を車両１に設置することにより、特徴点を最初に検出したときに車両１の位置及び姿勢を高精度で計算することができる。その後、比較的長い時間にわたって特徴点を追跡することができる。これにより、車両１の前方を撮影する場合よりも、車両１の位置及び姿勢を高精度で計算することができる。また、図１の車両１によれば、車両１の後方を撮影するように撮影装置１１を車両１に設置している。これにより、車両１が荷物運搬ロボットのように車体の前方に荷物を搭載する構造を有していても、撮影装置１１の視界を遮られにくくすることができる。

【0065】

車両１は、荷物運搬ロボットに限らず、荷物３を運ぶ任意の車両であってもよい。車両１は、例えば、車体の前方に荷物を搭載するフォークリフトであってもよい。車両１の後方を撮影するように撮影装置１１を車両１に設置することにより、車両１が車体の前方のフォークに荷物を搭載していても、撮影装置１１の視界を遮られにくくすることができる。また、車両１は、トラックのように、車両１の後方に荷物を搭載するように構成されていてもよい。

【0066】

第１の実施形態に係る測位システムでは、以下に説明するように、車両の外部における既知の固定位置に設けられた信号源を用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正してもよい。

【0067】

次に、図８～図１２を参照して、第１の実施形態の第１の変形例について説明する。第１の実施形態の第１の変形例では、車両の外部における既知の固定位置に設けられたＲＦＩＤタグなどの無線送信機を信号源として用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正する。

【0068】

図８は、第１の実施形態の第１の変形例に係る車両１Ａを含む測位システムの構成を示すブロック図である。図８の測位システムは、少なくとも１つの車両１Ａと、サーバ装置２と、少なくとも１つのＲＦＩＤタグ４とを含む。

【0069】

ＲＦＩＤタグ４は、車両１Ａの外部における既知の固定位置に設けられ、固定位置に関連付けられた識別信号（ＩＤ）を送信する無線送信機（信号源）である。ＲＦＩＤタグ４の位置及び姿勢（「絶対位置」及び「絶対姿勢」ともいう）は、予め測定され、マップに関連付けられている。ＲＦＩＤタグ４はマップ上において既知の位置及び姿勢を有するので、識別信号（ＩＤ）に基づいてマップ上におけるＲＦＩＤタグ４の位置及び姿勢を特定することができる。

【0070】

車両１Ａは、図２の車両１の処理装置１２に代えて処理装置１２Ａを備え、さらに、ＲＦＩＤリーダー１６を備える。

【0071】

ＲＦＩＤリーダー１６は、ＲＦＩＤタグ４と通信し、ＲＦＩＤタグ４の固定位置に関連付けられた位置信号を生成する位置信号生成器である。ＲＦＩＤリーダー１６は、ＲＦＩＤタグ４から識別信号（ＩＤ）を受信する無線受信機と、ＲＦＩＤタグ４の位置及び姿勢を格納した記憶装置とを含み、識別信号に基づいて位置信号を生成する。位置信号は、識別信号を送信したＲＦＩＤタグ４の位置及び姿勢と、識別信号を受信した時刻とを含む。

【0072】

処理装置１２Ａは、図２の処理装置１２の特徴点抽出器３１及び位置計算器３２に加えて、位置補正器３３を備える。位置補正器３３は、位置計算器３２によって計算された位置及び姿勢（相対位置及び相対姿勢）を、位置信号に含まれるＲＦＩＤタグ４の位置及び姿勢（絶対位置及び絶対姿勢）に基づいて補正する。

【0073】

図９は、図８の位置補正器３３によって実行される位置及び姿勢補正処理を示すフローチャートである。

【0074】

ステップＳ２１において、位置補正器３３は、ＲＦＩＤリーダー１６から、時刻ｔにおけるＲＦＩＤタグ４の位置及び姿勢を取得する。

【0075】

図１０は、図８の位置補正器３３によって補正される車両１Ａの位置及び姿勢を示す。図１０（ａ）は補正前の車両１Ａの位置Ｐを示し、図１０（ｂ）は補正後の車両１Ａの位置Ｑを示す図である。車両１Ａは、工場又は倉庫の予め決められた経路を移動し、ＲＦＩＤタグ４の近傍（実質的に、ＲＦＩＤタグ４の位置）を通過する。図１０（ａ）に示すように、車両１Ａが実際にはＲＦＩＤタグ４の位置を通過するにもかかわらず、位置計算器３２によって計算された位置及び姿勢の誤差により、車両１Ａが点Ｐ（ｔ）、Ｐ（ｔ＋１）、Ｐ（ｔ＋２）に位置していると判断されることがある。

【0076】

図９のステップＳ２２において、位置補正器３３は、時刻ｔ～ｔ＋２において位置計算器３２により計算された車両１Ａの位置Ｐ（ｔ）、Ｐ（ｔ＋１）、Ｐ（ｔ＋２）に基づいて移動ベクトルを計算する。これにより、点Ｐ（ｔ）及び点Ｐ（ｔ＋２）を通るベクトルの向きがわかる。

【0077】

ステップＳ２３において、位置補正器３３は、ステップＳ２２において計算された移動ベクトルと、時刻ｔにおけるＲＦＩＤタグ４の姿勢を示すベクトルとの角度から、補正回転量を計算する。

【0078】

ステップＳ２４において、位置補正器３３は、時刻ｔにおいて位置計算器３２により計算された車両１Ａの位置Ｐ（ｔ）と、時刻ｔにおけるＲＦＩＤタグ４の位置との差から、補正移動量を計算する。

【0079】

ステップＳ２５において、位置補正器３３は、補正回転量に基づいて姿勢を補正する。詳しくは、位置補正器３３は、時刻ｔ以降の各相対位置の座標値から時刻ｔの相対位置Ｐ（ｔ）の座標値を減算し、次いで、減算後の座標値を補正回転量だけ回転させる。

【0080】

ステップＳ２６において、位置補正器３３は、補正移動量に基づいて位置を補正する。詳しくは、位置補正器３３は、ステップＳ２５で回転された座標値に補正移動量を加算し、次いで、加算後の座標値に、時刻ｔの相対位置Ｐ（ｔ）の座標値をさらに加算する。

【0081】

図１１は、図８の位置補正器３３によって補正される前の車両１Ａの位置情報を示すマップである。図１２は、図８の位置補正器３３によって補正された後の車両１Ａの位置情報を示すマップである。符号４－１，４－２はそれぞれＲＦＩＤタグを示す。車両１Ａは、実際には壁に沿ってまっすぐに移動しているにもかかわらず、位置計算器３２によって計算された位置及び姿勢の誤差により、補正しなければ、図１１の実線の経路で移動していると判断されることがある。ＲＦＩＤタグ４を用いることにより、車両１Ａの経路は図１２に示すように補正される。

【0082】

図８の車両１Ａによれば、ＲＦＩＤタグ４を用いて車両１Ａの位置及び姿勢を補正している。これにより、車両１Ａの位置及び姿勢をより正確に認識することができる。

【0083】

次に、図１３～図１６を参照して、第１の実施形態の第２の変形例について説明する。第１の実施形態の第２の変形例では、車両の外部における既知の固定位置に形成されたマーカー（識別画像）を用いて、固定位置に関連付けられた位置信号を生成し、この位置信号に基づいて車両の位置を補正する。

【0084】

図１３は、第１の実施形態の第２の変形例に係る車両１Ｂを含む測位システムの構成を示すブロック図である。図１３の測位システムは、少なくとも１つの車両１Ｂと、サーバ装置２とを含む。

【0085】

車両１Ｂは、図２の車両１の処理装置１２に代えて処理装置１２Ｂを備える。処理装置１２Ｂは、図８の処理装置１２Ａの特徴点抽出器３１、位置計算器３２、及び位置補正器３３に加えて、マーカー認識器３４及び記憶装置３４ａを備える。マーカー認識器３４は、撮影装置１１によって撮影された画像から、車両１の外部における既知の固定位置に形成されたマーカーを一般的な画像処理により認識し、マーカーの固定位置に関連付けられた位置信号を生成する位置信号生成器である。マーカーは、例えば、２次元的に配列された複数の矩形又は複数のドットを含む識別画像である。複数の矩形を含む識別画像は、例えば、ＱＲコード（登録商標）又はＡＲコードなどであってもよい。複数のドットを含む識別画像は、例えば、非特許文献５に開示されているように、ランダムに配列されたドットを含む画像であってもよい。マーカー認識器３４は、撮影装置１１によって撮影された画像からマーカーを認識する画像認識器を含み、マーカーに基づいて位置信号を生成する。記憶装置３４ａは、マーカーの位置を示す位置情報及びマーカーの姿勢を示す姿勢情報を格納している。位置信号は、マーカーの位置及び向きと、マーカーを撮影した時刻とを含む。なお、記憶装置３４ａは、ソリッドステートドライブ、ハードディスクドライブ等で構成される。

【0086】

図１４は、図１３の撮影装置１１によって撮影される画像４０の第１の例を示す図である。図１５は、図１４のマーカー５を補正したマーカー５’を示す図である。マーカー５が地面に形成されている場合、車両１Ｂの車体に設置された撮影装置１１からは、マーカー５は、図１４に示すように歪んで撮影される。このため、マーカー認識器３４は、撮影されたマーカー５を一般的な画像処理により補正し、図１５に示すように補正されたマーカー５’を生成してもよい。

【0087】

位置補正器３３は、位置計算器３２によって計算された位置及び姿勢（相対位置及び相対姿勢）を、位置信号に含まれるマーカーの位置及び向き（絶対位置及び絶対姿勢）に基づいて補正する。位置補正器３３による位置及び姿勢補正処理の詳細は、図９を参照して説明したＲＦＩＤタグ４を用いる場合と同様である。

【0088】

なお、ＱＲコード及びＡＲコードを用いた場合、マーカー認識器３４は、撮影装置１１から見たマーカーの位置及び姿勢を同時に取得できる。従って、撮影装置１１から見たマーカーの位置及び姿勢を、次式により、マーカーから見た撮影装置１１の位置及び姿勢に変換することができる。

【0089】

【数3】

【0090】

ここで、Ｘ_Ｗは、マーカーから見た撮影装置１１の座標系を示す。Ｘ_Ｃは、撮影装置１１から見たマーカーの座標系を示す。Ｒ及びｔは、前述の回転行列及び並進ベクトル（すなわち、撮影装置１１から見たマーカーの姿勢及び位置）を示す。０^Ｔは、１×３個の要素からなるゼロベクトルを示す。

【0091】

マーカーから見た撮影装置１１の位置及び姿勢をマーカーの位置及び姿勢に加算することにより、車両１Ｂの絶対位置及び絶対姿勢がわかる。マーカー認識器３４又は位置補正器３３は、このように、車両１Ｂの絶対位置及び絶対姿勢を計算してもよい。

【0092】

図１６は、図１３の撮影装置１１によって撮影される画像４０の第２の例を示す図である。識別画像は、時間的に変化しない静的なマーカーに代えて、時間的に変化する輝度のパターン７であってもよい。例えば、光ＩＤのように、画像内における濃淡パターンの時間変化から識別情報を読み取り、車両１Ｂの位置及び姿勢を補正してもよい。例えば、照明装置６により、時間的に変化する輝度のパターン７を車両１Ｂの移動経路上のある場所に照射してもよい。車両１Ｂは、照明装置６により照射された領域を撮影装置１１により所定時間期間ごとに撮影することにより、時間的に変化する輝度のパターン７を撮影装置１１により取得する。これにより、車両１Ｂは、マーカーを用いる場合と同様に、車両１Ｂの位置及び姿勢を補正することができる。

【0093】

図１３の車両１Ｂは、マーカー又はパターンを撮影するために、撮影装置１１を共用することに代えて、前方、側方（壁など）、又は上方（天井など）を撮影するための、専用の追加の撮影装置を用いてもよい。

【0094】

なお、マーカー認識器３４（認識器の一例）は、撮影装置１１によって撮影された画像４０から、車両１Ｂの外部における既知の固定位置に配置されたマーカー５を認識してもよい。そして、マーカー認識器３４は、マーカー５と撮影装置１１との相対的な位置関係を計算してもよい。ここで、マーカー認識器３４は、例えば、マーカー５の四隅を認識して姿勢計算処理を実行し、回転行列Ｒ及び並進ベクトルｔを、マーカー５と撮影装置１１との相対的な位置関係として計算する。姿勢計算の方法としては、画像中のマーカー四隅の画像座標（２Ｄ）と事前に取得済のマーカー四隅の３次元座標（３Ｄ）を用いて、２Ｄ－３Ｄの対応から姿勢・位置を求めるＰｎＰ問題を解くのが一般的である。記憶装置３４ａは、マーカー５の位置を示す位置情報及びマーカー５の姿勢を示す姿勢情報を格納している。位置補正器３３は、位置計算器３２によって計算された車両１Ｂの位置を、計算された並進ベクトルｔと、マーカー５の位置情報とに基づいて補正してもよい。また、位置計算器３２は、計算された回転行列Ｒと、マーカー５の姿勢情報とに基づいて、車両１Ｂの姿勢を計算してもよい。なお、ここではマーカー５として、ＱＲコードを用いたが、ＡＲコードを用いてもよい。また、ＱＲコードおよびＡＲコードは、紙に印刷されたものであってもよいし、車両１Ｂの移動経路上に設置されたディスプレイに表示されたものであってもよい。

【0095】

第１の実施形態によれば、車両１，１Ａ，１Ｂ及びサーバ装置２は、無線通信装置１３、２２に代えて、ＳＤカードなど、着脱可能な記憶媒体を用いてもよい。車両において計算した当該車両の位置及び姿勢を記憶媒体に書き込み、サーバ装置２において、この記憶媒体から車両の位置及び姿勢を読み出してもよい。

【0096】

図１３の車両１Ｂによれば、マーカー又はパターンを用いて車両１Ｂの位置及び姿勢を補正することにより、車両１Ｂの位置及び姿勢をより正確に認識することができる。

【0097】

第１の実施形態によれば、車両の後方を撮影するように撮影装置を車両に設置することにより、撮影装置を用いて従来技術よりも高精度に車両の位置を測定することができる。また、進行方向に面した車両の前方に荷台を備えた車両であっても、荷物によって撮影装置の視野が遮られることなく、車両の位置を高精度に測定することができる。

【0098】

第１の実施形態によれば、撮影装置を用いることにより、工場又は倉庫など、ＧＰＳ衛星からの電波を受信できない屋内であっても、車両の位置を安価に測定することができる。無線信号を送信するための多数の無線送信機を設置する必要がないので、初期導入コストを低減できる。

【0099】

第１の実施形態によれば、測位結果から得られる車両の移動経路に基づいて、業務改善を行うことができる。

【0100】

第１の実施形態によれば、車両の移動距離に基づいて、保守の要否、リース契約の更改の要否、などに活用することができる。

【0101】

第１の実施形態によれば、車両の移動のヒートマップに基づいて、工場又は倉庫内の通路又は棚などの配置を最適化することができる。

【0102】

第１の実施形態によれば、車両のすれ違い箇所を可視化することで、経路及び通路幅を見直して安全性を向上させることができる。

【0103】

第２の実施形態．
車両の位置を追跡することにより、車両の移動経路及び移動距離などがわかる。従来、車両の移動距離を車両の仕事量とみなし、移動距離に基づいて車両の保守の要否を判断することが考えられている。しかしながら、車両にかかる負荷の大きさは、車両が荷物を運んでいるか否かに応じて異なるので、車両の移動経路及び移動距離（すなわち車両の位置）に基づくだけでは、車両の保守の要否を正確に判断することができない。従って、従来よりも正確に車両の仕事量を表す新たな指標が求められる。

【0104】

第２の実施形態では、車両の動作を監視して、従来よりも正確に車両の仕事量を測定する車両監視装置を提供する。

【0105】

図１７は、第２の実施形態に係る車両１Ｃの構成を示す概略図である。車両１Ｃは、図１の車両１と同様に構成され、さらに、荷台に搭載された荷物３を撮影する撮影装置１７を備える。

【0106】

図１８は、図１７の車両１Ｃを含む車両監視システムの構成を示すブロック図である。図１８の測位システムは、少なくとも１つの車両１Ｃと、サーバ装置２とを含む。各車両１Ｃは、車両１Ｃの仕事量を計算する車両監視装置を備える。サーバ装置２は、各車両１からそれらの仕事量を取得し、各車両１の仕事量を記録する。

【0107】

車両１Ｃは、図２の車両１の処理装置１２に代えて処理装置１２Ｃを備え、さらに、撮影装置１７を備える。

【0108】

撮影装置１７は、前述のように、荷台に搭載された荷物３を撮影するように車両１の車体の後方のマスト１ｃなどに設置されている。撮影装置１７は、例えば、ＲＧＢカメラ又はデプスセンサを含む。

【0109】

処理装置１２Ｃは、図２の処理装置１２の特徴点抽出器３１及び位置計算器３２に加えて、距離計算器３５、体積計算器３６、及び仕事量計算器３７を備える。前述のように、撮影装置１１、特徴点抽出器３１、及び位置計算器３２は、車両１Ｃの位置を測定する測位装置として機能する。距離計算器３５は、位置計算器３２によって計算された車両１Ｃの位置に基づいて車両１Ｃの移動距離を計算する。体積計算器３６は、撮影装置１７によって撮影された画像に基づいて荷物３の体積を計算する。仕事量計算器３７は、移動距離及び荷物３の体積に基づいて車両１Ｃの仕事量を計算する。

【0110】

撮影装置１１，１７、特徴点抽出器３１、位置計算器３２、距離計算器３５、体積計算器３６、及び仕事量計算器３７は、車両１Ｃの仕事量を計算する車両監視装置として機能する。

【0111】

第２の実施形態において、撮影装置１７を「第１の撮影装置」ともいい、撮影装置１１を「第２の撮影装置」ともいう。

【0112】

図１９は、図１８の体積計算器３６による荷物３の体積の計算を説明するための図である。図１９（ａ）はＲＧＢカメラである撮影装置１７によって撮影される第１の画像を示し、図１９（ｂ）は撮影装置１７によって撮影される第２の画像を示し、図１９（ｃ）は図１９（ａ）及び図１９（ｂ）の差分の画像を示す図である。撮影装置１７は、例えば、被写体の色を取得するＲＧＢカメラであってもよい。この場合、体積計算器３６は、荷台１ａに荷物３が搭載されていないときに撮影装置１７によって撮影された画像（図１９（ａ））と、荷台１ａに荷物３が搭載されたときに撮影装置１７によって撮影された画像（図１９（ｂ））との差分に基づいて、荷物３を示す部分画像を抽出する（図１９（ｃ））。なお、図１９（ａ）に示す画像を「基準画像」ともいう。体積計算器３６は、部分画像の大きさに基づいて、例えば、部分画像が画面を占める割合に基づいて、荷物３の体積を計算する。例えば、予め決められた寸法を有するコンテナを荷物３として搭載する場合、体積計算器３６は、部分画像の大きさに基づいて、コンテナの個数を計算し、コンテナの個数に基づいて荷物３の総体積を計算してもよい。

【0113】

図２０は、図１８の体積計算器３６による荷物３の体積の計算を説明するための図である。図２０（ａ）はデプスセンサである撮影装置１７によって撮影される画像を示し、図２０（ｂ）は図２０（ａ）から生成された荷物３の画像を示す図である。撮影装置１７は、被写体の画像を生成し、かつ、撮影装置１７から被写体の各点までの距離を検出するデプスセンサであってもよい。体積計算器３６は、撮影装置１７によって検出された撮影装置１７から荷台までの距離及び撮影装置１７から荷物３までの距離に基づいて、撮影装置１７によって撮影された画像から、荷物３を示す部分画像を抽出する。言い換えると、体積計算器３６は、荷物３が存在する距離の範囲内のデータのみを抽出して荷物３を特定する。体積計算器３６は、部分画像の大きさと、撮影装置１７から荷物３までの距離とに基づいて、荷物３の体積を計算する。同じ荷物３であっても、撮影装置１７から荷物３までの距離が近いほど部分画像は大きく写り、撮影装置１７から荷物３までの距離が遠いほど部分画像は小さく写る。従って、デプスセンサで取得した距離に基づいて、撮影装置１７から荷物３までの距離が近いときは荷物３の体積を減少させ、撮影装置１７から荷物３までの距離が遠いときは荷物３の体積を増大させる。

【0114】

仕事量計算器３７は、車両１Ｃの移動距離及び荷物３の体積に基づいて車両１Ｃの仕事量を計算する。車両１Ｃの仕事量は、例えば、車両１Ｃの移動距離及び荷物３の体積の積として計算される。

【0115】

仕事量計算器３７は、地面に対して水平方向の移動よりも地面に対して垂直方向の移動に大きく重み付けして車両１Ｃの仕事量を計算してもよい。垂直方向の移動は重力がかかるので、水平方向の移動よりも仕事量が大きくなる。例えば、ｘ，ｙを水平面内の移動距離とし、ｚを垂直方向の移動距離とし、αを１より大きい定数であるとするとき、ｘｙｚの各方向の移動距離に対して√（ｘ^２＋ｙ^２＋α×ｚ^２）のように重み付けして車両１Ｃの仕事量を計算してもよい。これにより、車両１Ｃの仕事量の大きさをより正確に評価することができる。

【0116】

次に、図２１～図３０を参照して、車両１Ｃの仕事量に基づいて車両１Ｃのさまざまな態様を監視することについて説明する。

【0117】

図２１は、図１８の車両１Ｃ又はサーバ装置２によって計算される、１台の車両１Ｃの通算の仕事量を示すグラフである。車両１Ｃの仕事量を時間的に積分し、使用開始日から積算することで、車両１Ｃの総仕事量が計算される。この総仕事量はサーバ装置２の表示装置２５に表示される。この総仕事量が所定のしきい値を超えたとき、例えば、点検及び修理などの保守作業を実施してもよい。

【0118】

図２２は、図１８のサーバ装置２によって計算される、複数の車両１Ｃの合計仕事量を示すグラフである。サーバ装置２は、各車両１Ｃからそれらの仕事量を収集する。図２２において、単位仕事量は、１台の車両１Ｃの標準的な仕事量を示す。例えば、なんらかの作業のために４台の車両１Ｃが稼働中であり、それらの合計仕事量が３台分の仕事量以下であるとき、１台の車両１Ｃが余剰であり、３台の車両１Ｃで作業を実施可能であると判断してもよい。図２２に示すように、複数の車両１Ｃの合計仕事量を計算することにより、作業に必要な車両１Ｃの台数をユーザ（例えばサーバ装置２の管理者）に提示することができる。

【0119】

図２３は、図１７の車両１Ｃにおける荷物３の脱落を示す概略図である。車両１Ｃの荷台に搭載された荷物３のうちの少なくとも１つが脱落した場合、撮影装置１７から荷物までの距離が急激に増大する。このことは、荷物３の体積の急激な減少として体積計算器３６により検出される。

【0120】

図２４は、図１８の車両１Ｃ又はサーバ装置２によって実行される、荷物３の脱落の検出を説明するための図である。図２４（ａ）は車両１Ｃの移動経路を示すマップであり、図２４（ｂ）は荷物３の体積の変化を示すグラフである。荷物３の集積場５１において車両１Ｃの荷台１ａに荷物３が搭載され、これにより、図２４（ｂ）に示すように、荷物３の体積が増大する。仕事量計算器３７は、車両１Ｃが荷物３を搭載して移動しているとき（すなわち、車両１Ｃが目的地の他の集積場に到着する前）、かつ、荷物３の体積が急激に減少したときに、例えば表示装置１４を介して、荷物３の脱落について警報を発生してもよい。荷物３の集積場以外で荷物３の体積が変化しているならば、荷物３の脱落の可能性がある。サーバ装置２は、車両１Ｃが荷物３を搭載して移動しているとき、かつ、荷物３の体積が急激に減少したときに、荷物３の体積が急激に減少した位置を記録してもよい。荷物３が搬送中に脱落した場所を可視化することにより、荷物３をより確実に搬送することができる。

【0121】

図２５は、図１８の車両１Ｃ又はサーバ装置２によって実行される、荷物３の脱落の可能性の検出を説明するための図である。図２５（ａ）は荷物３の体積の変化を示すグラフであり、図２５（ｂ）は車両１Ｃの加速度の変化を示すグラフである。図２５（ａ）に示すように、荷物３の体積が非ゼロ値であれば、車両１Ｃの荷台に荷物３が搭載されていることがわかる。また、仕事量計算器３７は、車両１Ｃの加速度をさらに計算してもよい。仕事量計算器３７は、車両１Ｃが荷物３を搭載して移動しているとき、かつ、車両１Ｃの加速度が急激に減少したときに（例えば急ブレーキしたとき）、例えば表示装置１４を介して、荷物３の脱落の可能性について警報を発生してもよい。車両１Ｃの加速度が急激に減少すると、荷物３の脱落の可能性がある。サーバ装置２は、車両１Ｃが荷物３を搭載して移動しているとき、かつ、車両１Ｃの加速度が急激に減少したときに、荷物３の脱落の可能性があった位置を記録してもよい。荷物３の脱落の可能性を可視化することにより、荷物３をより確実に搬送することができる。また、車両１Ｃの加速度に基づいて、荷物３の脱落をリアルタイムで検出することができる。

【0122】

図２６は、図１８の車両１Ｃ又はサーバ装置２によって実行される、危険な区間の検出を説明するための図である。図２６（ａ）は車両１Ｃの移動経路を示すマップであり、図２６（ｂ）は荷物３の体積の変化を示すグラフであり、図２６（ｃ）は車両１Ｃの速度の変化を示すグラフである。車両１Ｃが大きな体積の荷物３を荷台に搭載して高速に移動している場合、小さな体積の荷物３を荷台に搭載して（又は荷物なしで）低速に移動している場合よりも、衝突などの事故が起きた際の危険性が高いと考えられる。仕事量計算器３７は、車両１Ｃの速度及び荷物３の体積の積が所定のしきい値（「第１のしきい値」ともいう）を超えたときに、例えば表示装置１４を介して、事故が起きた際の危険性について警報を発生してもよい。サーバ装置２は、車両１Ｃの速度及び荷物３の体積の積が所定のしきい値（「第１のしきい値」）を超えた位置を記録してもよい。危険な区間であると判断された場所は、例えば、通路の幅を広げるなど、危険性を下げるための対策が行われてもよい。危険な区間を可視化することにより、荷物３をより安全に搬送することができる。

【0123】

仕事量計算器３７は、車両１Ｃの速度に代えて、車両１Ｃの加速度及び荷物３の体積の積が所定のしきい値を超えたときに、例えば表示装置１４を介して、事故が起きた際の危険性について警報を発生してもよい。サーバ装置２は、車両１Ｃの速度に代えて、車両１Ｃの加速度及び荷物３の体積の積が所定のしきい値を超えた位置を記録してもよい。

【0124】

図２７は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングを説明するためのグラフである。サーバ装置２は、荷物３の体積が変化することなく移動した移動経路を記録する。車両１Ｃの荷台に搭載された荷物３の体積が長距離にわたって変化していない場合、長距離にわたって荷台から荷物３が出し入れされず、作業に無駄があると考えられる。サーバ装置２は、車両１Ｃが荷台に荷物３を出し入れすることなく移動した移動経路の移動距離が所定のしきい値（「第２のしきい値」ともいう）を超えたとき、現在の移動距離（第２のしきい値を超えた移動距離）よりも短い移動距離を有する移動経路を探索する。

【0125】

サーバ装置２は、例えばダイクストラ法を用いて、移動経路における出発位置、到着位置、及び各コーナーにノードを設定し、エッジを通るために必要なコストとして距離を設定することにより、最短ルートを計算する。

【0126】

図２８は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングの第１の例を説明するための図である。図２８（ａ）は変更前の車両１Ｃの移動経路を示すマップであり、図２８（ｂ）は変更後の車両１Ｃの移動経路を示すマップである。集積場５１，５２の間で荷物３を搬送する場合を考える。図２８（ａ）は、車両１Ｃに荷物３を搭載した状態が長く、遠回りしている場合を示す。この場合、サーバ装置２は、図２８（ｂ）に示すように、最適ルートを探索して車両１Ｃをこのルートに沿って移動させてもよい。

【0127】

図２９は、図１８のサーバ装置２によって実行される、車両１Ｃのルーティングの第２の例を説明するための図である。図２９（ａ）は変更前の車両１Ｃの移動経路を示すマップであり、図２９（ｂ）は変更後の車両１Ｃの移動経路を示すマップである。図２９（ａ）は、集積場５１，５２の間で頻繁に荷物３をやり取りするが、それらの間の距離が遠い場合を示す。この場合、サーバ装置２は、集積場５１，５２の位置を変更することを、サーバ装置２の表示装置２５に表示してもよい。

【0128】

このように、荷物３の体積が変化することなく移動した移動経路を記録することにより、車両１Ｃの移動経路を最適化したり、集積場５１，５２又は荷物３の配置を最適化したりすることができる。

【0129】

図３０は、図１８のサーバ装置２によって実行される、凹凸のある区間の検出を説明するための図である。図３０（ａ）は車両１Ｃの移動経路を示すマップであり、図３０（ｂ）は荷物３の体積の変化を示すグラフである。サーバ装置２は、車両１Ｃの移動中に、所定のしきい値（「第３のしきい値」ともいう）を超えた移動距離にわたって荷物３の体積が変動し続けた範囲を記録する。荷物３の体積が少しだけ変動し続けている場合、車両１Ｃの荷台に搭載された荷物３が地面の凹凸によって振動させられていると考えられる。サーバ装置２は、例えば、荷物３の体積の単位時間当たりの分散を計算し、分散が所定のしきい値を越えたとき、凹凸のある区間であると判断してもよい。凹凸のある区間を可視化することにより、路面整備の要否を判断することができる。

【0130】

以上に説明したように、車両１Ｃの移動距離及び荷物３の体積の積を車両１Ｃの仕事量として用いることにより、車両の保守の要否など、車両１Ｃのさまざまな態様を、移動距離のみを用いる場合よりも正確に評価することができる。

【0131】

車両１Ｃは、荷物３の脱落などについて警報を発生するために、表示装置１４に代えて、スピーカ又はブザーなど、音声による警報装置を備えてもよい。

【0132】

次に、図３１～図３２を参照して、第２の実施形態の第１の変形例について説明する。

【0133】

第２の実施形態は、第１の実施形態に係る測位装置を備えることに限定されず、従来技術に係る任意の測位装置を備えてもよい。

【0134】

図３１は、第２の実施形態の第１の変形例に係る車両１Ｄの構成を示す概略図である。車両１Ｄは、図１の撮影装置１１に代えて、測位装置１８を備える。

【0135】

図３２は、図３１の車両１Ｄを含む車両監視システムの構成を示すブロック図である。図３２の測位システムは、少なくとも１つの車両１Ｄと、サーバ装置２とを含む。各車両１Ｄは、図１８の車両１Ｃの撮影装置１１及び処理装置１２Ｃに代えて、測位装置１８及び処理装置１２Ｄを備える。測位装置１８は、車両１Ｄの外部における既知の固定位置に設けられたＲＦＩＤタグなどの無線送信機を信号源として用いて、車両１Ｄの位置を測定する。処理装置１２Ｄは、図１８の処理装置１２Ｃから特徴点抽出器３１及び位置計算器３２を除去した構成を有する。

【0136】

図３２の車両監視システムによれば、図１８の車両監視システムと同様に、車両１Ｄの移動距離及び荷物３の体積の積を車両１Ｄの仕事量として用いる。これにより、車両の保守の要否など、車両１Ｄのさまざまな態様を従来技術よりも正確に評価することができる。

【0137】

次に、図３３～図３４を参照して、第２の実施形態の第２の変形例について説明する。

【0138】

第２の実施形態は、車両の移動距離及び荷物の体積の積を車両の仕事量として用いることに限定されず、車両の移動距離及び荷物の重量の積を車両の仕事量として用いてもよい。

【0139】

図３３は、第２の実施形態の第２の変形例に係る車両１Ｅの構成を示す概略図である。車両１Ｅは、図１７の撮影装置１７に代えて、後述するように、荷台１ａに搭載された荷物３の重量を測定する重量計を備える。

【0140】

図３４は、図３３の車両１Ｄを含む車両監視システムの構成を示すブロック図である。図３４の測位システムは、少なくとも１つの車両１Ｅと、サーバ装置２とを含む。各車両１Ｅは、図１８の車両１Ｃの撮影装置１７、体積計算器３６、仕事量計算器３７に代えて、重量計１９及び仕事量計算器３７Ｅを備える。重量計１９は、荷台１ａに搭載される荷物３の重量を測定する。仕事量計算器３７Ｅは、車両１Ｅの移動距離及び荷物の重量に基づいて車両１Ｅの仕事量を計算する。

【0141】

重量計１９は、例えば、昇降機構１ｂに組み込まれてもよい。荷物３を荷台１ａに積みこむとき、昇降機構１ｂにより荷物３を地面から荷台１ａの高さまで上昇させる。このとき、昇降機構１ｂに組み込まれた重量計１９により荷物３の重量を測定する。

【0142】

車両１Ｅがフォークリフトである場合、例えば、フォークリフトのフォーク及びマスト（荷物を昇降させる機構）に重量計を組み込んでもよい。

【0143】

図３４に示すように車両に重量計を組み込むことに代えて、車両に重量計を組み込まず、荷物３の体積から荷物３の重量を計算してもよい。図１７の車両１Ｃ又は図３２の車両１Ｄにおいて、仕事量計算器３７は、荷物３の体積に荷物３の密度を乗算して荷物３の重量を計算し、車両の移動距離及び荷物３の重量に基づいて車両の仕事量を計算してもよい。

【0144】

第２の実施形態の第２の変形例によれば、車両の移動距離及び荷物３の重量の積を車両の仕事量として用いる。これにより、車両の移動距離及び荷物３の体積の積を車両の仕事量として用いる場合と同様に、車両の保守の要否など、車両のさまざまな態様を従来技術よりも正確に評価することができる。

【0145】

第２の実施形態によれば、車両の移動距離及び荷物の体積の積、又は、車両の移動距離及び荷物の重量の積を車両の仕事量として用いる。これにより、車両の保守の要否など、車両のさまざまな態様を、移動距離のみを用いる場合よりも正確に評価することができる。

【0146】

第２の実施形態によれば、車両の仕事量（活動量）を適切に可視化することができる。

【0147】

第２の実施形態によれば、工場又は倉庫内の経路、棚、又は車両の配置を最適化することができる。

【0148】

第２の実施形態によれば、危険な箇所を特定し、安全性を向上することができる。

【産業上の利用可能性】

【0149】

本開示の第１の実施形態に係る測位装置及び車両は、撮影装置を用いて車両の位置を高精度に測定することに利用可能である。また、進行方向に面した車両の前方に荷台を備えた車両において、荷物によって撮影装置の視野が遮られることなく、車両の位置を高精度に測定することに利用可能である。

【0150】

本開示の第２の実施形態に係る車両監視装置、車両、及び車両監視システムは、車両の動作を監視して、正確に車両の仕事量を測定することに利用可能である。

【符号の説明】

【0151】

１，１Ａ～１Ｅ…車両、
１ａ…荷台、
１ｂ…昇降機構、
１ｃ…マスト、
２…サーバ装置、
３…荷物、
４，４－１，４－２…ＲＦＩＤタグ、
５…マーカー、
６…照明装置、
７…時間的に変化する輝度のパターン、
１１…撮影装置、
１２、１２Ａ～１２Ｅ…処理装置、
１３…無線通信装置、
１４…表示装置、
１５…駆動機構、
１６…ＲＦＩＤリーダー、
１７…撮影装置、
１８…測位装置、
１９…重量計、
２１…処理装置、
２２…無線通信装置、
２３…入力装置、
２４…記憶装置、
２５…表示装置、
３１…特徴点抽出器、
３２…位置計算器、
３３…位置補正器、
３４…マーカー認識器、
３５…距離計算器、
３６…体積計算器、
３７，３７Ｅ…仕事量計算器、
４０～４５…画像、
５１，５２…荷物３の集積場。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】