特開 2023-137739 情報処理システム、情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023137739

(43)【公開日】2023-09-29

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G05D 1/02 20200101AFI20230922BHJP

【ＦＩ】

G05D1/02 K

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022044088

(22)【出願日】2022-03-18

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100110607

【弁理士】

【氏名又は名称】間山 進也

(72)【発明者】

【氏名】木村 輔宏

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA02

5H301AA10

5H301BB07

5H301CC03

5H301CC06

5H301CC10

5H301GG09

5H301KK08

5H301KK18

5H301KK19

(57)【要約】

【課題】 情報処理システムを提供すること。
【解決手段】 移動体１０に設けられた撮像装置２０を用いて地図情報を作成するための情報処理システム１が提供される。情報処理システム１は、撮像装置２０の所定の開始位置Ａおよび終了位置Ｂ間の経路で撮像装置２０により撮像された複数の画像に基づいて地図情報を生成する地図情報生成部６０を備える。情報処理システム１は、また、地図情報上の開始位置Ａに対応する開始点および終了位置Ｂに対応する終了点間の仮想距離と、撮像装置２０の開始位置Ａおよび終了位置Ａの組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成する地図補正部６１を備える。
【選択図】 図５

【特許請求の範囲】

【請求項1】

移動体に設けられた撮像装置を用いて地図情報を作成するための情報処理システムであって、
前記撮像装置の所定の開始位置および終了位置間の経路で前記撮像装置により撮像された複数の画像に基づいて地図情報を生成する地図情報生成部と、
前記地図情報上の前記開始位置に対応する開始点および前記終了位置に対応する終了点間の仮想距離と、前記撮像装置の前記開始位置および前記終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成する地図補正部と
を含む、情報処理システム。

【請求項2】

前記縮尺が補正された地図情報を表示する表示装置をさらに含む、請求項１に記載の情報処理システム。

【請求項3】

前記縮尺が補正された地図情報を前記表示装置に表示することに際して、表示上の縮尺を表示する図形表示を付属することを特徴する、請求項２に記載の情報処理システム。

【請求項4】

前記表示装置は、前記移動体に設けられており、
前記縮尺が補正された地図情報は、該地図情報上での前記開始位置に対応する補正後開始点および前記終了位置に対応する補正後終了点と、前記移動体の事前定義された移動エリアの設計地図情報における前記開始位置に対応する設計上の開始点および設計上の終了点とが互いに一致するように拡大または縮小させられ、前記移動体の位置を前記設計地図地図上に示すよう構成される、請求項２または３に記載の情報処理システム。

【請求項5】

前記地図情報生成部により生成される地図情報は、距離単位が不定の３次元座標上の点の集合を含み、前記地図補正部は、前記３次元座標上の点の集合の各々に対し、前記地図情報上の前記開始点および前記終了点の距離を前記実測距離に換算する縮尺係数を適用する、請求項１～４のいずれか１項に記載の情報処理システム。

【請求項6】

前記撮像装置が、前記移動体に位置固定で設けられ、かつ、前記撮像装置の所定の開始位置および終了位置が、前記移動体が移動可能な領域内の異なる地点に対応しているか、または、
前記撮像装置が、前記移動体に相対的に移動可能に設けられ、かつ、前記撮像装置の所定の開始位置および終了位置が、前記撮像装置の前記移動体に対する移動量を含む、請求項１～５のいずれか１項に記載の情報処理システム。

【請求項7】

前記情報処理システムは、
移動体と、
前記移動体に設けられた前記撮像装置として、前記移動体の移動方向の風景および前記移動体の鉛直上方向の風景を撮像する広角カメラと、
前記移動体が、前記撮像装置が前記開始位置にあるように所定の位置に所定の姿勢で配置されていることを検知する開始側検知部と、
前記移動体が、前記撮像装置が前記開始位置にあるように所定の位置に所定の姿勢で配置されていることを検知する終了側検知部と
のうちの少なくとも１つを含む、請求項１～６のいずれか１項に記載の情報処理システム。

【請求項8】

移動体に設けられた撮像装置を用いて地図情報を作成するための情報処理装置であって、
前記撮像装置の所定の開始位置および終了位置間の経路で前記撮像装置により撮像された複数の画像に基づいて地図情報を生成する地図情報生成部と、
前記地図情報上の前記開始位置に対応する開始点および前記終了位置に対応する終了点との仮想距離と、前記撮像装置の前記開始位置および前記終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成する地図補正部と
を含む、情報処理装置。

【請求項9】

移動体に設けられた撮像装置を用いて地図情報を作成する情報処理方法であって、
前記撮像装置の所定の開始位置および終了位置間の経路で前記撮像装置により撮像された複数の画像を取得するステップと、
前記複数の画像に基づいて地図情報を生成するステップと、
前記地図情報上の前記開始位置に対応する開始点および前記終了位置に対応する終了点との仮想距離と、前記移動体の前記開始位置および前記終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成するステップと
を含む、情報処理方法。

【請求項10】

移動体に設けられた撮像装置を用いて地図情報を生成するための情報処理装置を実現するためのプログラムであって、コンピュータを、
前記撮像装置の所定の開始位置および終了位置間の経路で前記撮像装置により撮像された複数の画像に基づいて地図情報を生成する地図情報生成部、および、
前記地図情報上の前記開始位置に対応する開始点および前記終了位置に対応する終了点との仮想距離と、前記撮像装置の前記開始位置および前記終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成する地図補正部と
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理技術に関し、より詳細には、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、移動体の自己位置推定および環境地図生成を同時並行的に行う技術（ＳＬＡＭ，Simultaneous Localization and Mapping）が知られている。中でも、撮像装置により撮像された画像を入力として自己位置推定および環境地図生成を行う技術は、ＶＬＳＡＭ（Visual SLAM）として参照される。

【0003】

ＶＬＳＡＭには、カメラと深度センサを組み合わせたり、またはステレオカメラを用いたりするもののほか、単眼画像のみを入力とする技術が存在する。単眼画像のみを入力とする場合、ＶＳＬＡＭで生成された地図では、距離単位が不明となり、実空間上の位置や距離に換算するためには、別途スケーリングが必要となる。このため、一般には、スケーリングのためのホイールオドメトリなどの撮像装置以外の補助センサが必要となる。

【0004】

上記自己位置推定に関連して、特開２０２１－０９２４６５号公報（特許文献１）に開示される技術が知られている。特許文献１は、上方を撮像可能な撮像装置を備え、撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が所定の飛行計画経路に基づいて、橋梁を橋梁の下方から撮像しながら飛行するときに、無人航空機の推定位置を修正するシステムを開示する。特許文献１が開示する従来技術では、連結経路は、無人航空機の飛行順に第１の端部、第２の端部を有し、飛行計画経路において、第１の端部は、ウェイポイントして設定され、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域が、画像において、第１の所定の程度以上、無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正する。

【0005】

しかしながら、上記特許文献1に開示される従来技術は、画像特徴量分布によって移動体がウェイポイントに達したと判断しており、不確かさがあった。また、上記特許文献1に開示される従来技術では、アルゴリズムがウェイポイントに到達したと判断しても必ずしも実際に移動体の現在地がウェイポイントであるとは限らず、正確な位置を特定することが困難であった。特に、このような誤差は、荷物やパレット同士の間隔がないような状態での仕分けをしたり、ピッキング作業をする現場において、正確な作業位置を特定したりすることを困難とする。したがって、依然として、正確な位置特定が困難という問題は十分に解消されていなかった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示は、上記点に鑑みてなされたものであり、本開示は、撮像装置で撮像された画像を入力として作成される地図情報の縮尺補正を簡便かつ正確に実現することを可能とする情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示では、上記課題を解決するために、移動体に設けられた撮像装置を用いて地図情報を作成するための情報処理システムであって、下記特徴を有する情報処理システムを提供する。本情報処理システムは、撮像装置の所定の開始位置および終了位置間の経路で撮像装置により撮像された複数の画像に基づいて地図情報を生成する地図情報生成部を含む。本情報処理システムは、さらに、地図情報上の開始位置に対応する開始点および終了位置に対応する終了点との仮想距離と、撮像装置の開始位置および終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺が補正された地図情報を生成する地図補正部を含む。

【発明の効果】

【0008】

上記構成により、撮像装置で撮像された画像を入力として作成される地図情報の縮尺補正を簡便かつ正確に実現することが可能となる。

【図面の簡単な説明】

【0009】

【図1】倉庫内における地図情報の作成の一例を説明する図である。

【図2】本実施形態による地図作成システムの全体構成例を示す図である。

【図3】本実施形態による地図作成システムを構成するサーバ装置のハードウェア構成例のブロック図である。

【図4】本実施形態による地図作成システムの機能構成例のブロック図である。

【図5】本実施形態による地図作成システムにおける移動体位置取得部の周りの詳細な機能構成を示すブロック図である。

【図6】本実施形態による地図作成システムにおける地図情報に対する縮尺補正処理を説明する図である。

【図7】本実施形態による地図作成システムを構成するサーバ装置による地図作成処理の一例を示すフローチャートである。

【図8】本実施形態による地図作成システムにおいて、フォークリフトが備える表示部に表示される地図表示画面を例示する。

【図9】本実施形態による地図作成システムにおいて、サーバ装置のディスプレイ上でブラウザ画面に表示される地図表示画面を例示する。

【図10】本実施形態による地図作成システムにおいて、サーバ装置のディスプレイ上でブラウザ画面に表示される、フォークリフトによる物体の搬送先を示す地図表示画面を例示する。

【図11】本実施形態による地図作成システムにおいて、全天球カメラの計測の開始位置および終了位置を設定するやり方を説明する。

【図12】本実施形態による地図作成システムにおいて、全天球カメラの計測の開始位置および終了位置を設定する別のやり方を説明する。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理システムおよび情報処理装置の一例として、それぞれ、移動体としてのフォークリフト１０と、撮像装置としての全天球カメラ２０と、情報処理装置としてのサーバ装置５０とを備える地図作成システム１、および、情報処理装置としての該サーバ装置５０を参照しながら説明する。なお、各図面において、同一の構成部分には同一符号を付し、重複した説明を省略する場合がある。

【0011】

本実施形態による情報処理装置は、撮像装置が設けられた移動体を移動しながら、撮像装置により撮像される画像に基づいて、移動体（撮像装置）の位置を推定するとともに、環境地図情報を生成するものである。特に限定されるものではないが、特定の実施形態において、移動体は、フォークリフトであってもよく、撮像装置は、全天球カメラなどの広角カメラであってもよい。特定の実施形態による情報処理装置は、フォークリフト１０が所定の経路に沿って移動している間にフォークリフト１０に設けられた全天球カメラ２０により撮像された画像に基づいて、フォークリフト１０（全天球カメラ２０）の位置を推定するとともに、フォークリフト１０が移動するロケーションの環境地図を生成する。

【0012】

ここで図１は、倉庫内における地図情報の作成の一例を説明する図である。図１は、倉庫１００の内部および倉庫１００の周辺を上方（天井側）から視た様子を示している。

【0013】

倉庫１００は、ターミナル倉庫（輸送の中継地において設置される倉庫）である。このターミナル倉庫には、クロスドッキング型と呼ばれる倉庫の形態がある。クロスドッキング型の倉庫では、商品ごとに複数のパレットが工場または卸売業者等から入荷され、倉庫内に一時仮置きされる。その後、出荷の際に同じパレットの荷姿のまま、複数の種類のパレットが組み合わされ、小売店の方面別に出荷される。

【0014】

図１において、倉庫１００の周囲にはトラックヤード２００がある。図１は、トラックヤード２００にはトレーラーによって運ばれ、切り離されたコンテナ３００や、トラックの荷台を倉庫に接続している様子を示している。フォークリフト１０は、トラックヤード２００に到着したトラックの荷台、あるいはトレーラーによって運ばれたコンテナ３００の少なくとも一方からパレット３１を取出す。

【0015】

その後、フォークリフト１０は、仮置き場所４０にパレット３１を運び、仮置きする。その後、出荷の際には、フォークリフト１０は、倉庫１００内のトラックヤード２００に近い場所にパレット３１を運んで荷揃えした後、トラックの荷台またはコンテナ３００にパレット３１を積込む。

【0016】

仮置き場所４０では、出入りする商品の種類や量が日々変動することに対して柔軟にスペースを確保するために、商品ごとの区画が定められていないことが多い。一方で、複数の作業者が任意の場所にパレット３１を仮置きするため、出荷の際には、仮置きされた複数のパレットの中から所望のパレットを探索する必要がある。

【0017】

この探索作業を効率的に行うために、パレット３１の仮置き場所を定めないことでスペースを有効活用しながら、倉庫１００内でのパレット３１の移動を認識し、また追跡することで視覚化することが求められる。さらに、倉庫１００内でのパレット３１の移動を認識し、また追跡するためには、フォークリフト１０の位置を正確に推定するとともに倉庫内の地図情報を精度高く作成する技術が求められる。特に、地図情報の作成には、撮像画像に基づいて自己位置の推定および環境地図情報の作成を同時に実施するＶＳＬＡＭ技術が利用されることが多い。本実施形態による地図作成システム１は、図１に示すような環境で、フォークリフト１０などの移動体に撮像装置を設け、撮像装置からの画像に基づいて、ＶＳＬＡＭ技術を適用し、自己位置推定および環境地図生成を同時に行うものである。

【0018】

なお、ＶＳＬＡＭの一般的な技術内容としては、例えば、「解説 SLAMの現状と今後の展望」、友納正裕等，システム／制御／情報、2020年、64巻、2号、p.45-50、（https://www.jstage.jst.go.jp/article/isciesci/64/2/64_45/_article/-char/ja/）や、Sumikura, S, et. al、”OpenVSLAM: A Versatile Visual SLAM Framework”、MM '19: Proceedings of the 27th ACM International Conference on Multimedia、October 2019、Pages 2292-2295（https://dl.acm.org/doi/10.1145/3343031.3350539）を参照することができる。

【0019】

以下、本実施形態による地図作成システム１について説明する。

【0020】

（地図作成システム１の全体構成例）
図２は、本実施形態による地図作成システム１の全体構成の一例を示す図である。図２に示すように、地図作成システム１は、移動体としてのフォークリフト１０と、撮像装置としての全天球カメラ２０と、情報処理装置としてのサーバ装置５０と、移動体に設けられる表示装置としてのタッチパネル情報端末２３とを有する。これらは、ＬＡＮ（Local Area Network）などのネットワーク４００を介して通信可能に接続されている。なお、ネットワーク４００には、外部サーバまたは画像形成装置等の上記以外の装置が通信可能に接続されていてもよい。

【0021】

フォークリフト１０は、パレット３１に載置された貨物３２を保持し、保持した状態で搬送することで、パレット３１および貨物３２を搬送する移動体の一例である。なお、移動体による搬送は、移動体による移動の一例である。またパレット３１および貨物３２は、それぞれ物体の一例である。なお、以下では、パレット３１および貨物３２を特に区別しない場合には、物体３０と総称する。また、フォークリフト１０は、複数のフォークリフトの総称表記であり、パレット３１は、複数のパレットの総称表記であり、貨物３２は、複数の貨物の総称表記である。

【0022】

フォークリフト１０は、作業者の運転操作に応じて物体３０を搬送するものであってもよいし、作業者を介さず自動運転により物体３０を搬送するものであってもよい。

【0023】

全天球カメラ２０は、フォークリフト１０に設けられた撮像装置の一例である。全天球カメラ２０は、全天球カメラ２０の周囲における３６０度の全方位を撮像可能なカメラである。方位２０ａは、全天球カメラ２０が撮像可能な方位を示している。

【0024】

全天球カメラ２０が撮像する全天球画像（全方位画像）は、撮像画像の一例である。ただし、撮像装置は、全天球カメラ２０に限定されるものではなく、他の広角カメラでもよいし、通常の画角を有するカメラであってもよいし、フォークリフト１０の周囲を撮像できるものであれば如何なるものであってもよい。また撮像画像も必ずしも全天球画像でなくてもよい。

【0025】

全天球画像は、フォークリフト１０から視た物体３０の搬送方向１１側の風景と、フォークリフト１０から視た鉛直上方向１２側の風景とが撮像された画像を含む。言い換えると、搬送方向１１は、フォークリフト１０の前方であり、鉛直上方向１２は、フォークリフト１０の上方である。全天球カメラ２０は全方位を撮像できるため、フォークリフト１０の前方および上方を１枚の画像に含んで撮像できる。なお、搬送方向１１は移動方向の一例である。

【0026】

全天球カメラ２０は、フォークリフト１０の屋根上、またはフォーク２１を支持する支持部材２２上に取り付けることが好ましい。これにより、フォークリフト１０の前方および上方を撮像するための視界を好適に確保できる。

【0027】

全天球カメラ２０は、無線による通信機能を有し、撮像した全天球画像を、ネットワーク４００を介してサーバ装置５０に送信する。

【0028】

タッチパネル情報端末２３は、移動体側に設けられる表示装置を備える端末装置であり、地図作成システム１により作成した地図情報をタッチパネル上に表示することできる。タッチパネル情報端末２３は、無線による通信機能を有し、ネットワーク４００を介して、サーバ装置５０から地図情報を受信し、自身が備える表示装置に画像として出力する。タッチパネル情報端末２３としては、タブレット端末やタッチスクリーンセンサが搭載された小型液晶ディスプレイなどを挙げることができる。なお、タッチパネル情報端末２３は、端末としての計算および表示機能を有するものとして説明するが、これに限定されず、各機能を別々の装置として構成されてもよく、具体的な実装は、特に限定されるものではない。

【0029】

また、地図情報は、サーバ装置５０が備える、またはサーバ装置５０に接続された液晶ディスプレイ５０６に表示させることもできる。

【0030】

また、説明する実施形態では、全天球カメラ２０およびタッチパネル情報端末２３は、それぞれ通信機能を有し、ネットワーク４００を介してサーバ装置５０と通信するものとして説明する。しかしながら、このような態様に限定されるものではない。他の実施形態では、全天球カメラ２０が、タッチパネル情報端末２３と有線または無線で通信し、タッチパネル情報端末２３を経由して、ネットワーク４００を介して、サーバ装置５０と通信してもよい。他の実施形態では、タッチパネル情報端末２３が、全天球カメラ２０を経由して、ネットワーク４００を介して、サーバ装置５０と通信してもよい。

【0031】

貨物３２には、貨物３２を示す識別情報の一例であるバーコード３３が設けられている。このようなバーコードは、パレット３１に設けられ、パレット３１を示す識別情報として利用されてもよい。バーコード３３は、バーコードリーダなどの読取器により読み取られ、読み取られた結果である識別情報は、ネットワーク４００を介してサーバ装置５０に送信される。なお、識別情報はバーコードに限らず、ＱＲコード（登録商標）またはＩＤ（Identifier）番号などであってもよい。

【0032】

サーバ装置５０は、フォークリフト１０の位置情報を推定するとともに、倉庫１００内の地図情報を作成する情報処理装置の一例である。サーバ装置５０は、また、倉庫１００内に設置され、フォークリフト１０により搬送される物体３０の位置情報を処理してもよい。サーバ装置５０は、ネットワーク４００を介して受信した全天球画像および物体３０を示す識別情報に基づき、物体３０の位置情報を処理することができる。また、サーバ装置５０は、複数の全天球カメラ２０がそれぞれ撮像した全天球画像を用いることで、複数のフォークリフト１０が保持する物体３０の位置情報を取得することができる。

【0033】

（サーバ装置５０のハードウェア構成例）
次に図３は、サーバ装置５０のハードウェア構成の一例を示すブロック図である。サーバ装置５０はコンピュータにより構築される。

【0034】

図３に示すように、サーバ装置５０は、ＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、ＨＤ（Hard Disk）５０４と、ＨＤＤ(Hard Disk Drive)コントローラ５０５と、ディスプレイ５０６とを有する。またサーバ装置５０は、外部機器接続Ｉ／Ｆ(Interface)５０８と、ネットワークＩ／Ｆ５０９と、データバス５１０と、キーボード５１１と、ポインティングデバイス５１２と、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４と、メディアＩ／Ｆ５１６とを有する。

【0035】

これらのうち、ＣＰＵ５０１は、サーバ装置５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬなどのＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。

【0036】

ＨＤ５０４は、プログラムなどの各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像などの各種情報を表示する。ディスプレイ５０６は、上述したように地図情報を表示することができる。

【0037】

外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタなどである。ネットワークＩ／Ｆ５０９は、ネットワーク４００を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１などの各構成要素を電気的に接続するためのアドレスバスやデータバスなどである。

【0038】

キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒなどであってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリなどの記録メディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

【0039】

なお、上記では、サーバ装置５０のハードウェア構成について説明したが、フォークリフト１０に備えられるタッチパネル情報端末２３のハードウェア構成についても、必要に応じて、追加または削除を行うことによって、図３に記載された構成と同様の構成で実装することができる。

【0040】

（地図作成システム１の機能構成例）
図４は、地図作成システム１の機能構成の一例を示すブロック図である。図４に示すように、サーバ装置５０は、通信部５１と、移動体位置取得部５２と、保持情報取得部５３と、識別情報取得部５４と、時刻取得部５５と、物体位置取得部５６と、出力部５７と、格納部５８と、入力部５９とを有する。

【0041】

これら各部は、図３に示した各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、格納部５８は、ＨＤ５０４からＲＡＭ５０３などが提供する記憶領域を含んで構成される。

【0042】

また、フォークリフト１０には、全天球カメラ２０と、通信部１０１と、表示部１０２とが設けられている。通信部１０１の機能は、フォークリフト１０、全天球カメラ２０またはタッチパネル情報端末２３のいずれか一方に設けられた電気回路で実現される他、ソフトウェア（ＣＰＵ）によって実現することもできる。また複数の回路または複数のソフトウェアによって実現されてもよい。表示部１０２の機能は、図２に示したタッチパネル情報端末２３に設けられたＬＣＤ（Liquid Crystal Display）または有機ＥＬ（electroluminescence）パネル、電気回路で実現される。

【0043】

サーバ装置５０は、全天球カメラ２０により撮像された全天球画像に基づいて、フォークリフト１０の位置情報を推定するとともに、環境地図情報を生成する。サーバ装置５０は、また、フォークリフト１０の位置情報と、フォークリフト１０による物体３０の保持または非保持のいずれか一方の状態を示す保持情報とに基づいて、物体３０の位置情報を取得することもできる。そして、サーバ装置５０は、推定したフォークリフト１０の位置情報、生成した地図情報および取得した物体３０の位置情報を、出力部５７を介して外部に出力できる。

【0044】

通信部５１は、フォークリフト１０側において、全天球カメラ２０が撮像し、通信部１０１を介して送信した全天球画像を、ネットワーク４００を介して受信し、移動体位置取得部５２および保持情報取得部５３のそれぞれに出力する。また通信部５１は、バーコードリーダなどの読取器により読み取られた識別情報を、ネットワーク４００を介して受信し、識別情報取得部５４に出力する。

【0045】

移動体位置取得部５２は、連続的に入力される複数の全天球画像に基づき、フォークリフト１０（全天球カメラ２０）の位置を推定するとともに地図情報を作成し、作成された地図情報および位置情報を格納部５８に格納する。ここで、入力部５９は、地図作成する際に用いられるパラメータとして、事前に測定された２点（距離実測区間の開始位置および終了位置）間の実測距離の入力を受けて、格納部５８に格納する。

【0046】

生成された地図情報および推定された位置情報は、出力部５７を介して出力してもよい。出力部５７の出力先は、ＰＣ（Personal Computer）などの外部装置、ディスプレイ５０６などの表示装置、またはＨＤ５０４などの記憶装置などである。また、生成された地図情報および推定された位置情報は、通信部５１により、ネットワーク４００を介して、フォークリフト１０側のタッチパネル情報端末２３へ送信され、タッチパネル情報端末２３に表示されてもよい。また、移動体位置取得部５２は、演算により取得したフォークリフト１０の位置情報を物体位置取得部５６にも出力する。

【0047】

保持情報取得部５３は、入力した全天球画像に基づき、フォークリフト１０による物体３０の保持または非保持のいずれか一方の状態を示す保持情報を演算により取得し、物体位置取得部５６に出力することができる。

【0048】

識別情報取得部５４は、通信部５１から識別情報を入力することで該識別情報を取得し、物体位置取得部５６に出力する。ただし、識別情報取得部５４による識別情報の取得は、ネットワーク４００を経由するものに限定されない。例えば、識別情報取得部５４は、図３のキーボード５１１またはポインティングデバイス５１２を用いて管理者などのユーザが入力した識別情報を取得してもよいし、格納部５８に予め格納された識別情報を取得してもよいし、外部機器接続Ｉ／Ｆ５０８を介して識別情報を取得してもよい。なお、管理者は地図作成システム１または倉庫１００の管理者である。

【0049】

時刻取得部５５は、通信部５１が全天球画像および識別情報を受信した時刻を示す情報を取得し、物体位置取得部５６に出力する。

【0050】

物体位置取得部５６は、フォークリフト１０の位置情報と、保持情報とに基づいて、物体３０の位置情報を取得することができる。また、物体位置取得部５６は、物体３０の位置情報と、物体３０を示す識別情報と、時刻情報とを相互に対応付けて出力部５７を介して出力してもよい。

【0051】

格納部５８は、地図作成する際に用いられるパラメータを格納するほか、推定されたフォークリフト１０の位置情報、生成された地図情報、パレット３１または貨物３２などの物体３０を示す識別情報を格納することができる。

【0052】

（地図作成システム１の地図作成機能の詳細）
図５は、地図作成システム１における移動体位置取得部５２の周りのより詳細な機能構成を示すブロック図である。

【0053】

移動体位置取得部５２は、通信部５１から連続的に入力される複数の全天球画像および格納部５８から読み出さられるパラメータに基づき、フォークリフト１０（全天球カメラ２０）の位置を推定するとともに地図情報を作成する。

【0054】

ここで、推定される位置は、全天球カメラ２０がフォークリフト１０に固定されているとして、全天球カメラ２０の位置（フォークリフト１０の位置）を推定するものとして説明する。しかしながら、全天球カメラ２０は、必ずしもフォークリフト１０に位置が固定される必要はない。他の実施形態では、全天球カメラ２０がフォークリフト１０に対して相対的に変位可能であってもよい。全天球カメラ２０が相対的に変位可能な実施形態では、移動体位置取得部５２は、直接的には、全天球カメラ２０の位置を推定するが、フォークリフト１０の位置は、既知の変位に基づいて全天球カメラ２０の位置から求められる。

【0055】

移動体位置取得部５２は、より具体的には、地図情報生成部６０および地図補正部６１を含み構成される。

【0056】

地図情報生成部６０は、フォークリフト１０が所定の経路を移動する間に全天球カメラ２０により撮像され、その間に連続して入力される複数の画像に基づいて、地図情報を生成する。フォークリフト１０の経路は、典型的には、所定の開始位置から、複数の訪問点を経由して、所定の終了位置へ移動する経路である。フォークリフト１０の経路には、複数回訪問する再訪点が含まれてもよく、複数の訪問点を結ぶ経路部分が一周したループ閉鎖の部分を含んでもよい。

【0057】

地図情報生成部６０は、より詳細には、トラッキング部６４と、ローカル最適化部６５と、グローバル最適化部６６とを含み構成される。

【0058】

トラッキング部６４は、連続的に入力される全てのフレームについて、キーポイントを検出し、キーポイント・マッチングおよび姿勢最適化を行い、全天球カメラ２０の姿勢を推定する。トラッキング部６４は、また、新しいキーフレームを挿入するかどうかを決定するキーフレーム決定する。トラッキング部６４は、新しいキーフレームとして適切なフレームを登録する場合、登録するキーフレームをローカル最適化部６５およびグローバル最適化部６６に出力する。自己位置推定結果は、地図補正部６１に出力される。

【0059】

ローカル最適化部６５は、最新のフレームの近傍のフレームに対して最適化を行う。ローカル最適化部６５は、挿入されたキーフレームを用いて３次元座標上における点を三角測量し、これによって、地図を作成し、拡張して行く。ローカル最適化部６５は、加えて、ローカル・バンドル調整を行う。キーフレーム周辺の部分的な地図は、ローカルマップ６７と参照される。

【0060】

地図作成の対象となる移動エリアで、ループ閉塞が可能であれば、フォークリフト１０の経路において地図の歪解消のため再訪点を設けてループ閉塞が行われることが好ましい。グローバル最適化部６６は、ループ閉塞を利用して全体最適化を行う。グローバル最適化部６６は、ループ検出、姿勢グラフ最適化およびグローバル・バンドル調整を実行する。この最適化によって全体的な地図の歪が可能な限り解消される。これまで得られた全体的な地図は、グローバルマップ６８と参照される。

【0061】

全天球カメラ２０は、複数の光学系を有し、全方位を視野に有するものであるが、ステレオカメラとは異なり、生成される画像は、単眼で撮像された画像と同等である。したがって、地図情報生成部６０により生成される地図情報（ローカルマップ６７およびグローバルマップ６８）では、距離単位が不明となり、実空間上の位置や距離に換算するためにスケーリング（縮尺補正）が必要となる。地図補正部６１は、所定のパラメータに基づいて、地図情報６７，６８の縮尺を補正し、縮尺が補正された地図情報を生成する。この、縮尺の補正は、本実施形態においては、全天球カメラ２０（上記フォークリフト１０）の開始位置および終了位置に対応する地図情報６７、６８上の開始点および終了点の仮想距離と、上記開始位置および終了位置の組に対して事前に与えられた実測距離とに基づいて実行される。

【0062】

（地図補正処理）
以下、図６を参照しながら、距離単位不明の地図情報に対し縮尺を補正することによって、所定の距離単位の地図情報を生成する処理について説明する。

【0063】

上述したように、単眼カメラで生成されたＶＳＬＡＭシステム（地図）上の距離は、距離単位が不明であるため、実距離との乖離がある。これを解消するためにはスケーリングを行う必要がある。本実施形態においては、少なくともスケーリング以前に、図６（Ａ）に示すように、フォークリフト１０が計測開始地点および計測終了地点の各地点で所定の姿勢で停車している状態（例えば所定の位置に設けられた車止めに向かって所定の姿勢で停車している状態）での対応する全天球カメラ２０の開始位置Ａおよび終了位置Ｂの間の距離が、実測されて、既知であり、格納部５８に格納されるものとする。

【0064】

地図情報生成部６０により生成される地図情報６７、６８では、距離単位が不明であるが、上記開始位置および終了位置にそれぞれ対応する全天球カメラ２０の地図情報６７、６８上の開始点および終了点間には、何らかの距離が定義される。地図補正部６１は、地図情報６７、６８上の全天球カメラ２０の開始点および終了点間の任意単位の仮想的な距離（仮想距離）を、全天球カメラ２０の開始位置Ａおよび終了位置Ｂ間の実測距離となるように換算するための補正係数を算出する。

【0065】

上述した地図情報生成部６０により生成（ＶＬＳＡＭ生成された）される地図情報は、距離単位が不定の３次元座標上の点の集合を含む。図６（Ｂ）に模式的に示すように、地図補正部６１は、この補正係数を、包含される３次元座標上の点の集合（キーフレームの座標を含む。）の各々に対し縮尺係数を適用することで、実距離に対応した地図情報を生成する。

【0066】

なお、上述した説明では、例えば、フォークリフト１０が計測開始地点および計測終了地点に設けられた車止めに、例えば車止めに向かって突き当たって停車することで、全天球カメラ２０が開始位置Ａおよび終了位置Ｂに位置するものとして説明した。

【0067】

しかしながら、全天球カメラ２０が開始位置Ａおよび終了位置Ｂに位置することを確実にする方法は、これに限定されず、フォークリフト１０が各地点にあること、各地点間の３次元距離が正確に測定できるという条件を満たす限り、その形態は、特に限定されない。例えば、フォークリフト１０が、全天球カメラ２０が開始位置Ａまたは終了位置Ｂに位置するように所定の位置に所定の姿勢で配置されていることを検知する手段（開始側検知部や終了側検知部）を備えてもよい。例えば、特定の実施形態では、路面上へのマーキングや旗を設けて、開始側検知部や終了側検知部が、全天球カメラ２０によりマーキングや旗を視野に含めて撮像された画像に対し画像認識を施すことによってフォークリフト１０が各地点にあることを検知および確認してもよい。その他、他のセンサを車止めに設けるなどすることによって、フォークリフト１０または全天球カメラ２０が所定の位置に存在することを検知してもよい。

【0068】

また、２地点間の距離の測定方法は、特に限定されるものではない。レーザ距離センサ、超音波距離センサなど任意の距離測定方法によって測定されて、センサから入力された測定値を格納部５８に格納することとしてもよい。あるいは、任意の方法で測定された距離の値を人手で格納部５８に格納することとしてもよい。

【0069】

（サーバ装置５０による地図作成処理）
図７は、サーバ装置５０による地図作成処理の一例を示すフローチャートである。図７に示す処理は、サーバ装置５０が、地図作成開始の指示を受け付けたことに応答して実行される。地図作成開始の指示は、例えば、図３におけるポインティングデバイス５１２等を用いて管理者等のユーザが行ってもよい。例えば、地図作成に使用するフォークリフト１０の運転者から、開始地点で待機し、準備が完了した旨の連絡を受けて、管理者のユーザが指示を行ってもよい。あるいは、地図作成で使用するフォークリフト１０の運転者のユーザが、タッチパネル情報端末２３上で、自身が準備完了したことを通知し、その通知を、ネットワーク４００を介して受信することによって、地図作成開始をトリガしてもよい。

【0070】

まず、図７に示す処理の事前準備として、地図作成対象エリアの計測開始地点および計測終了地点となる位置に車止めを設置する。この２地点に設置された車止めに突き当たる形でフォークリフト１０が停車しているときに、フォークリフト１０に設置された全天球カメラ２０の位置（開始位置Ａおよび終了位置Ｂ）が適切な位置となり、２点間の距離が既知となるように、当該車止めが設置されるもとする。また、開始位置Ａおよび終了位置Ｂは、作業エリアの設計図上で容易に図示できる場所であることが望ましい。

【0071】

図７に示す処理は、ステップＳ１００で開始し、ステップＳ１０１で、サーバ装置５０は、格納部５８から開始位置Ａおよび終了位置Ｂの組に対して事前に定義された実測距離を補正のパラメータとして読み出す。

【0072】

ステップＳ１０２では、サーバ装置５０は、全天球カメラ２０が開始位置Ａに位置した状態であるとして地図作成を開始する。地図作成は、開始地点の車止めに突き当たる形でフォークリフト１０が停車され、例えば、地図作成開始の準備が完了した旨のフォークリフト１０の運転者からの通知に応答して開始されてもよい。地図作成開始後、例えば運転者は、フォークリフト１０を、所定の経路にそって走行を開始させる。

【0073】

ステップＳ１０３では、フォークリフト１０による経路全体の走行終了に応答して、サーバ装置５０は、地図情報生成部６０により地図生成を行う。なお、この段階で得られる地図は、距離単位不定のものである。ここでは、作業エリア内でフォークリフト１０が移動する可能性のあるルートを網羅して走行し、これに伴って全天球カメラ２０により撮像されて連続して全天球画像がサーバ装置５０に入力される。このステップＳ１０３にて、ローカル最適化部６５によって、最新のフレームを付近のキーフレームに対して最適化がされる。

【0074】

ステップＳ１０４では、フォークリフト１０による閉鎖ループ走行の完了に応答して、サーバ装置５０は、地図更新を行う。なお、この段階で得られる地図も、距離単位不定のものである。ここでは、ループ閉塞が可能であるロケーションであれば、地図の歪解消のため再訪点が設けられ、ループの閉塞が行われ、グローバル最適化部６６は、このループを検出し、全体最適化によって地図の歪を可能な限り解消する。

【0075】

ステップＳ１０５では、終了地点の車止めに突き当たる形でフォークリフト１０が停車され、例えば、地図作成が完了した旨のフォークリフト１０の運転者からの通知に応答して、サーバ装置５０は、全天球カメラ２０が終了位置Ｂに位置した状態であるとして地図生成を完了させる。このとき、フォークリフト１０の運転者は、終了地点に設けた車止めに想定通りのアプローチでフォークリフト１０を停車させ、停車完了後にタッチパネル情報端末２３などで、サーバ装置５０に終了位置で停車したことを通知するものとする。

【0076】

ステップＳ１０６では、サーバ装置５０は、地図補正部６１により、距離単位不定で生成された地図情報上の開始位置に対応する開始点および終了位置に対応する終了点との仮想距離と、ステップ１０１で準備された全天球カメラ２０の開始位置および終了位置の組に対して事前に与えられた実測距離とに基づいて、縮尺補正を施し、縮尺係数を算出する。開始位置Ａから終了位置Ｂまでの距離を実空間上における距離単位（ここでは簡単のためメートル単位とする）に換算できる係数が算出される。

【0077】

ステップＳ１０７では、サーバ装置５０は、地図補正部６１により、上記算出された縮尺係数を用いてスケーリングし、縮尺が補正された地図情報を生成する。ステップＳ１０７では、より具体的には、ステップＳ１０６で求めた縮尺係数を、地図情報に含まれる座標情報にそれぞれ適用する。点群の座標情報およびキーフレームが含有する座標情報に対してスケーリング係数をそれぞれ乗じることにより、システム上の座標値がメートル単位に換算され、以降その地図を用いる自己位置推定結果もメートル単位に換算される。

【0078】

（縮尺補正済みの地図の視覚化）
以下、縮尺補正済み地図情報を設計図上で視覚化する方法について説明する。縮尺補正済みの地図情報は、３次元座標上の点の集合である。ここで、２次元の地図上で視覚化するためには、点群地図から俯瞰図となるように点群をカメラ座標系におけるＸＺ平面（水平面）に射影し、点群ベースのオルソ図となる画像データを生成する。ここで、オルソ画像は、各点が、真上から見たような、傾きがなく、適正な位置に（２地点の距離が正しい距離で）位置する画像に正射変換したものを参照する。

【0079】

上記で生成されたオルソ図を、作業エリアの設計地図情報に合わせこむ。この際に、縮尺補正済みの地図情報は、該地図情報上での開始位置Ａに対応する補正後開始点および終了位置Ｂに対応する補正後終了点と、事前定義された移動エリアの設計地図情報における開始位置に対応する設計上の開始点および設計上の終了点とが互いに一致するように拡大または縮小させられ、また、回転移動または平行移動またはこれらの両方がなされて、自己位置推定結果が設計図上に重ね合わせられて視覚化される。

【0080】

なお、フォークリフト１０の位置を設計地図上に示す出力先は、好ましくは、フォークリフト１０に設けられる表示部１０２（タッチパネルなどの表示装置）である。あるいは、出力部５７の出力先である、ＰＣなどの外部装置、ディスプレイ５０６などの表示装置であってもよい。

【0081】

図８は、フォークリフト１０の表示部１０２に表示される地図表示画面９０を例示する。図８に示す地図表示画面では、設計地図９１上にフォークリフト１０の位置９２や荷物およびパレットなどの物体３０の位置が示されている。

【0082】

図９は、サーバ装置５０のディスプレイ５０６上でブラウザ画面に表示される地図表示画面９３を例示する。図９に示す地図表示画面９３でも、設計地図９４上にフォークリフトの自己位置９５や荷物およびパレットなどの物体３０の位置が示されている。

【0083】

上記では、図８および図９を参照して、縮尺補正処理された地図を設計図上で視覚化する方法について説明した。しかしながら、縮尺補正処理された地図情報の表示方法は、特に限定されるものではない。

【0084】

例えば、縮尺補正処理された地図情報を、点群ベースのオルソ図となる画像データとして表示することもでき、この場合において、スケールバー（距離の単位表示）を目盛り付属して表示させることができる。図１０は、サーバ装置５０のディスプレイ５０６上でブラウザ画面に表示される、フォークリフト１０による物体３０の搬送先を示す地図表示画面９６を例示する。表示画面９６は、位置マップ９７を表示している。位置マップ９７は、搬送元位置９８Ａと、搬送先位置０８Ｂとを含む。搬送元位置９８Ａは搬送元の位置を示し、搬送先位置９８Ｂは搬送先の位置を示す。予め登録した仮置き場所等の位置を画面に表示することで、より作業しやすい情報を提供できる。また、図１０には、スケールバー９９が示されている。スケールバー９９は、縮尺が補正された地図情報を表示するのに際して付属される、表示上の縮尺を表示するＧＵＩ部品（図形表示）の一例である。

【0085】

なお、図１０に示す位置マップ９７は、全天球カメラ２０が撮像した全天球画像に基づいて、移動体位置取得部５２が作成したものである。取得された３次元座標情報を含む点群を２次元平面に投影することによって位置マップ９７が作成される。なお、複数のフォークリフト１０が存在する場合想定されるが、位置マップ９７は、例えば１台のフォークリフト１０の移動に応じて作成され、全てのフォークリフト１０の位置情報の取得（自己位置認識）において使用されてもよい。これにより、同一座標系において複数のフォークリフト１０の各位置を表現できる。

【0086】

なお、図８および図９に示す地図表示画面上でスケールバー９９を表示してもよい。

【0087】

（開始位置および終了位置の設定方法）
上述した説明では、全天球カメラ２０の開始位置Ａおよび終了位置Ｂは、作業エリアの設計図上で容易に図示できる場所に設定されるものと単に説明した。以下、開始位置Ａおよび終了位置Ｂの設定方法について、より詳細に説明する。

【0088】

計測開始地点および計測終了地点にフォークリフト１０の車輪止めを使用する場合、車輪の輪留めは前輪および後輪のいずれを対象としたものでもよい。所定の開始地点および終了地点にフォークリフト１０が、所定の姿勢（向き）で存在するとき、全天球カメラ２０（その中心）が確実に開始位置Ａおよび終了位置Ｂにあることが求められる。すなわち、フォークリフト１０が所定の位置に所定の姿勢で停車していることであり、開始・終了の状態が既知である限りにおいてその形態を問わない。

【0089】

一方で、開始位置および終了位置間の距離は、開けた場所の直線で、可能な限り長い距離であることが望ましい。これは自己位置推定にループ閉塞を伴う全体最適化後の地図を使用することを前提としており、推定誤差は、地図上のどこであっても理論上均等に分散することから、計測距離に対して誤差が占める割合が少ないほどスケーリング係数の誤差もまた少なくなるためである。

【0090】

たとえば、図１１に示すように、倉庫１００内でフォークリフト１０の移動可能領域の設計図面上既知の距離（倉庫１００の一方の壁から対向する他方の壁までの距離Ｈと、これらの壁に平行な方向の開始位置Ａと終了位置Ｂ間の変位Ｗ）を利用することも可能である。その場合、図１２（Ａ）に示すように、フォークリフト１０のタイヤを後輪（別の例では前輪でもよい）の車止めＳに接触した状態で壁Ｗと全天球カメラ２０との距離Ｄを計測（車止めとタイヤとの接触点とカメラとの水平距離と車止め接触点と壁との水平距離とをそれぞれ計測して足し合わせたもの）し、壁間距離Ｈから距離Ｄの分（２Ｄ）差し引くことで開始状態および終了状態のカメラ間の実測距離（Ｌ^２＝（Ｈ－２Ｄ）^２＋Ｗ^２）を求めることができる。

【0091】

（開始位置および終了位置の設定方法の変形例）
また、上述した実施形態では、フォークリフト１０に全天球カメラ２０が位置固定されており、かつ、全天球カメラ２０の所定の開始位置および終了位置が、フォークリフト１０が移動可能な領域内の異なる地点に停車した状態に対応しているものとして説明した。しかしながら、これに限定されるものでなく、他の実施形態においては、図１２（Ｂ）に示すように、全天球カメラ２０をフォークリフト１０に固定される１軸直動機構１３に全天球カメラ２０を搭載することができる。この場合、計測の開始と終了とで１軸直動機構の移動量を変更することで、同一の地点にフォークリフト１０を停車することとしながらも、全天球カメラ２０の開始位置Ａおよび終了位置Ｂを異ならせることが可能となる。この場合、設定した移動量（パルスモータのパルス数）から換算される物理的な距離が、パラメータとして格納部５８に格納される。

【0092】

１軸直動機構１３は、例えば、直進式のはしご車のような機構のほか、レール上をスライドするステージであってもよい。上記例では、1軸直動機構として説明したが、実空間上における距離が既知である２点間を指定して全天球カメラ２０が移動可能であれば、その様態は任意である。

【0093】

その他、開始位置Ａおよび終了位置Ｂの間の距離は、レーザ距離センサ、超音波センサなど別の装置を用いて測定するものとして説明したが、ビーコンおよび受信装置を用いて全天球カメラ２０の位置（開始位置および終了位置）の座標を測位し、２点間の距離を既知としてスケール測定を行うってもよい。

【0094】

また、上述した実施形態では、実測距離は、計測の開始位置Ａおよび計測の終了位置Ｂの２点間に対して設定されるが、直線距離でない場合などに、一旦停止させるための中継地点Ｃを途中に設けて、計測開始位置Ａと計測終了位置Ｂとの間の実測距離を、計測開始位置Ａと中継地点Ｃとの間の実測距離と、中継地点Ｃと計測終了位置Ｂとの間の実測距離とに分割して定義してもよい。ただし、誤差要因を削減する観点からは、計測開始位置Ａおよび計測終了位置Ｂの２点間で直接測定される実測距離を用いることが好ましい。

【0095】

また、開始位置Ａおよび終了位置Ｂは、実測された２点に対応付けるという意味で、仮想的な距離を測定する地点であるが、必ずしも地図作成の開始地点および終了地点と一致しなくてもよい。例えば、開始位置Ａに停車状態から出発する前に地図作成が開始されていてもよいし、終了位置に停車した後、さらに移動を継続し、地図作成を継続してもよい。

【0096】

（機能部の配置の変形例）
なお、説明する実施形態では、移動体位置取得部５２が、サーバ装置５０に設けられるものとして説明した。しかしながら、移動体位置取得部５２は、サーバ装置５０以外に設けられてもよい。他の実施形態では、移動体位置取得部５２は、フォークリフト１０側の装置、例えば、タッチパネル情報端末２３や全天球カメラ２０や、フォークリフト１０に搭載される別のコンピュータ装置に設けられてもよい。この場合、生成された地図情報は、フォークリフト１０の自動運転や自立走行のために使用されてもよい。

【0097】

さらに他の実施形態では、クラウド上（その物理または仮想サーバ）に移動体位置取得部５２が設けられてもよく、全天球カメラ２０からの全天球画像の連続的な入力（動画データとしてまたは静止画のシーケンスとして、および、ファイルとしてまたはストリームデータとして）を受けて生成した地図情報を提供するクラウドサービスとして提供されてもよい。

【0098】

（利点）
以上説明したように、本実施形態によれば、撮像装置で撮像された画像を入力として作成される地図情報の縮尺補正を簡便かつ正確に実現することが可能な情報処理システム、情報処理装置、情報処理方法およびプログラムを提供することができる。

【0099】

特に、撮像画像に基づいて自己位置の推定および環境地図情報の作成を同時に実施する構成において、単位不定の地図情報を、所定の単位の長さを有する地図情報に縮尺を補正することが可能となる。その際には、既知の距離区間の開始位置および終了位置が指定され、地図作成終了時（または実測距離区間の終了地点到達時）に、システム上の移動距離を既知の実測距離に換算することで正確な地図のスケーリング処理を自動的に行うことが可能となる。

【0100】

スケーリングには、その他、サイズが既知のオブジェクトを用いるやり方も想定されるが、そのやり方では、オブジェクトの認識および再投影誤差が生じ、必ずしも正確ではない。またカメラの画素サイズおよび解像度が推定精度に影響を及ぼすため、カメラごとに計測真値が含む誤差にぶれがある。これに対し、上述した実施形態による縮尺補正によれば、同一の測定手法を使う限りにおいてカメラの機種によらず計測真値が含み得る誤差が一定であるため、カメラの解像度および画素サイズが真値の測定誤差に影響を及ぼさないという利点もある。

【0101】

上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0102】

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0103】

以上、本発明の実施形態および実施例について説明してきたが、本発明の実施形態および実施例は上述した実施形態および実施例に限定されるものではなく、他の実施形態、他の実施例、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0104】

１…地図作成システム、１０…フォークリフト（移動体の一例）、１１…搬送方向（移動方向の一例）、１２…鉛直上方向、２０…全天球カメラ（撮像装置の一例）、２０ａ…方位、２１…フォーク、２２…支持部材、３０…物体、３１…パレット、３２…貨物、３３…バーコード、４０…仮置き場所、５０…サーバ装置（情報処理装置の一例）、５１…通信部、５２…移動体位置取得部、５３…保持情報取得部、５４…識別情報取得部、５５…時刻取得部、５６…物体位置取得部、５７…出力部、５８…格納部、５９…入力部、６０…地図情報生成部、６１…地図補正部、６２…全天球画像（画像の一例）、６３…パラメータ、６４…トラッキング部、６５…ローカル最適化部、６６…グローバル最適化部、６７…ローカルマップ、６８…グローバルマップ、１００…倉庫、１０１…通信部、１０２…表示部、２００…トラックヤード、３００…コンテナ、４００…ネットワーク、５００…パーソナルコンピュータ、５０１…ＣＰＵ、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…ＨＤＤ、５０５…ＨＤＤコントローラ、５０６…ディスプレイ、５０８…外部機器接続Ｉ／Ｆ、５０９…ネットワークＩ／Ｆ、５１１…キーボード、５１２…ポインティングデバイス、５１４…ＤＶＤ－ＲＷドライブ、５１３…ＤＶＤ－ＲＷメディア、５１６…メディアＩ／Ｆ、５１５…記録メディア

【先行技術文献】

【特許文献】

【0105】

【特許文献1】特開２０２１－０９２４６５号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】