知財求人 - 知財ポータルサイト「IP Force」
特開2024-137682情報処理方法、プログラム、情報処理装置および情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137682
(43)【公開日】2024-10-07
(54)【発明の名称】情報処理方法、プログラム、情報処理装置および情報処理システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240927BHJP
G05D 1/249 20240101ALI20240927BHJP
G05D 1/243 20240101ALI20240927BHJP
【ＦＩ】
H04N7/18 D
G05D1/249
G05D1/243
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023217303
(22)【出願日】2023-12-22
(31)【優先権主張番号】P 2023046293
(32)【優先日】2023-03-23
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】永島 健司
(72)【発明者】
【氏名】岡本 敏弘
(72)【発明者】
【氏名】青木 伸
(72)【発明者】
【氏名】木村 輔宏
【テーマコード（参考）】
5C054
5H301
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054CF06
5C054EA01
5C054EA03
5C054EA05
5C054FC12
5C054FC13
5C054FC15
5C054GB01
5C054GB05
5C054HA31
5H301AA01
5H301AA10
5H301BB07
5H301CC03
5H301CC06
5H301FF11
5H301GG07
5H301GG16
5H301KK08
5H301KK10
(57)【要約】
【課題】現在位置が分からなくなった物体の現在の位置情報を短時間で取得可能な情報処理方法、プログラムおよび情報処理装置を提供すること。
【解決手段】本発明の一態様に係る情報処理方法は、追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する。
【選択図】図２
【解決手段】本発明の一態様に係る情報処理方法は、追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する。
【選択図】図２
【特許請求の範囲】
【請求項1】
追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法。
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法。
【請求項2】
追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、
前記物体の識別情報と、前記物体の位置情報と、前記物体の移動が開始される前の時刻である第１時刻情報と、前記物体の移動が終了したときの時刻である第２時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記第１時刻情報を取得する第１時刻取得ステップと、
前記撮影動画のうち、前記第１時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法。
前記物体の識別情報と、前記物体の位置情報と、前記物体の移動が開始される前の時刻である第１時刻情報と、前記物体の移動が終了したときの時刻である第２時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記第１時刻情報を取得する第１時刻取得ステップと、
前記撮影動画のうち、前記第１時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法。
【請求項3】
前記位置管理情報に基づき、前記第２時刻情報を取得する第２時刻取得ステップを更に有し、
前記撮影動画のうち、前記第１時刻情報から前記第２時刻情報に対応する動画時刻の動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、請求項２に記載の情報処理方法。
前記撮影動画のうち、前記第１時刻情報から前記第２時刻情報に対応する動画時刻の動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、請求項２に記載の情報処理方法。
【請求項4】
前記情報処理装置は、更新部により、前記物体の前記現在の位置情報に基づき、前記位置管理情報を更新する、請求項２又は請求項３に記載の情報処理方法。
【請求項5】
前記情報処理装置は、予め相対位置が定められている複数の撮影装置による複数の前記撮影動画に基づいて、前記物体の位置情報を取得可能であり、
前記物体が移動されることで、複数の前記撮影動画のうちの第１の撮影動画に前記物体が含まれなくなった場合に、前記物体を追跡できるように、特定部により、複数の前記撮影動画のうちの前記物体が含まれる第２の撮影動画を特定可能である、請求項１から請求項３の何れか１項に記載の情報処理方法。
前記物体が移動されることで、複数の前記撮影動画のうちの第１の撮影動画に前記物体が含まれなくなった場合に、前記物体を追跡できるように、特定部により、複数の前記撮影動画のうちの前記物体が含まれる第２の撮影動画を特定可能である、請求項１から請求項３の何れか１項に記載の情報処理方法。
【請求項6】
前記情報処理装置は、前記追跡対象の物体の周囲を撮影する撮影装置と、前記物体におけるマーカの位置と、の相対位置に基づいて、前記物体の移動が開始される前の前記物体の位置情報を算出する、請求項１又は請求項２に記載の情報処理方法。
【請求項7】
追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置に処理を実行させるプログラムであって、
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、プログラム。
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、
前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、プログラム。
【請求項8】
追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置であって、
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、
前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理装置。
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、
前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理装置。
【請求項9】
通信可能に接続された複数の情報処理装置を有し、移追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理システムであって、
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、
前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理システム。
前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、
前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、
前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、
前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法、プログラム、情報処理装置および情報処理システムに関する。
【背景技術】
【0002】
従来、倉庫等の施設内に配置される荷物等の物体を管理するために、フォークリフト等の移動体に取り付けたカメラによる撮影画像に基づいて、移動体により移動された物体の位置情報を取得する情報処理方法、プログラム、および情報処理装置が知られている。
【0003】
また、カメラが取り付けられていない移動体により物体が移動されることで物体の現在位置が分からなくなった場合に、物体の現在の位置情報を取得するために、カメラが取り付けられた移動体で物体が最後に配置された位置と、施設の天井に固定されたカメラによる撮影動画と、に基づき、物体の移動を追跡する技術が開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の構成では、撮影動画により物体の移動を追跡する場合に、物体が移動される時点の撮影動画からの追跡が難しく、撮影動画をはじめから再生して追跡しなければならないなど、現在位置が分からなくなった物体の現在の位置情報を取得することに時間がかかる場合があった。
【0005】
本発明は、現在位置が分からなくなった物体の現在の位置情報を短時間で取得可能な情報処理方法、プログラムおよび情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報処理方法は、追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する。
【発明の効果】
【0007】
本発明によれば、現在位置が分からなくなった物体の現在の位置情報を短時間で取得可能な情報処理方法、プログラムおよび情報処理装置を提供することができる。
【図面の簡単な説明】
【0008】
【図1】倉庫内における物体の位置情報例を説明する図である。
【図2】第１実施形態に係る情報処理システムの全体構成例を示す図である。
【図3】第１実施形態に係る情報処理装置の構成例を示す図である。
【図4A】第１実施形態に係る情報処理装置の機能構成例を示す図である。
【図4B】第１実施形態に係る位置管理情報の一例を示す図である。
【図5】第１実施形態に係る情報処理装置による物体の位置情報の取得処理例を示すフローチャートである。
【図6】第１実施形態に係る情報処理装置による物体の現在位置情報の取得処理例を示すフローチャートである。
【図9】倉庫の地図画面例を説明する図である。
【図10】操作画面例を説明する図である。
【図11】対象指定方法の第１例における指定画面の図である。
【図12】対象指定方法の第１例における指定結果画面の第１図である。
【図13】対象指定方法の第１例における指定結果画面の第２図である。
【図14】対象指定方法の第１例における取得結果画面の図である。
【図15】対象指定方法の第２例における指定画面の図である。
【図16】対象指定方法の第２例における指定結果画面の図である。
【図17】対象指定方法の第３例における指定画面の図である。
【図18A】第２実施形態に係る情報処理装置の機能構成例を示す図である。
【図18B】第２実施形態に係る位置管理情報の一例を示す図である。
【図19】第２実施形態に係る情報処理装置による物体の現在位置取得処理例のフローチャートである。
【図20】第２実施形態に係るハンドリフトでの物体移動を説明する図である。
【図21】第２実施形態に係る物体移動の様子を示す第１図である。
【図22】第２実施形態に係る物体移動の様子を示す第２図である。
【図23】第３実施形態に係る情報処理装置の機能構成例を示す図である。
【図24】第３実施形態に係る情報処理装置による物体の現在位置取得処理例のフローチャートである。
【図25】第４実施形態の第１例に係る情報処理システムのブロック図である。
【図26】第４実施形態の第２例に係る情報処理システムのブロック図である。
【図27】第４実施形態の第３例に係る情報処理システムのブロック図である。
【図28】第４実施形態の第４例に係る情報処理システムのブロック図である。
【図29】全天球撮影装置のハードウェア構成例を示すブロック図である。
【図30】全天球カメラと物体の相対位置の取得方法の第１例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一の構成部分には同一符号を付し、重複した説明を適宜省略する。
【0010】
実施形態に係る情報処理システムは、追跡対象の物体の周囲を撮影する撮影装置による撮影動画に基づき、前記物体の位置情報を取得するシステムである。移動体は、倉庫において、物体を移動するために使用されるフォークリフト、ハンドリフト等である。フォークリフトは、駆動部を有する物体搬送車両である。ハンドリフトは、駆動部を有さず、人が簡易に扱える物体搬送機器である。ハンドリフトは、人がハンドリフトを押したり引いたりすることで移動される。ハンドリフトは、ハンドパレットトラックと称される場合もある。物体は、倉庫において取り扱われるパレット、貨物等である。
【0011】
図１は、倉庫内における物体の位置情報の一例を説明する図である。図１は、倉庫１００の内部および倉庫１００の周辺を上方（天井側）から視た様子を示している。倉庫１００はターミナル倉庫、すなわち輸送の中継地において設置される倉庫である。倉庫１００は、ターミナル倉庫のうち、クロスドッキング型と呼ばれる形態の倉庫である。クロスドッキング型の倉庫では、商品ごとに複数のパレットが工場または卸売業者等から入荷され、倉庫内に一時仮置きされる。その後、出荷の際に同じパレットの荷姿のまま、複数の種類のパレットが組み合わされ、複数の小売店の方面ごとに出荷される。
【0012】
図１において、倉庫１００の周囲にはトラックヤード２００が位置する。トラックヤード２００にはトレーラーによって運ばれ、切り離されたコンテナ３００や、トラックの荷台が配置される。フォークリフト１０は、トラックヤード２００に到着したトラックの荷台、トレーラーによって運ばれたコンテナ３００からパレット３１を取り出すことができる。
【0013】
パレット３１を取り出したフォークリフト１０は、仮置き場所４０にパレット３１を運び、仮置きする。フォークリフト１０は、出荷の際には、倉庫１００内のトラックヤード２００に近い場所にパレット３１を運んで荷揃えした後、トラックの荷台またはコンテナ３００にパレット３１を積込む。
【0014】
仮置き場所４０では、出入りする商品の種類や量が日々変動することに対して柔軟にスペースを確保するために、商品ごとの区画が定められていないことが多い。一方で、複数の作業者が任意の場所にパレット３１を仮置きするため、出荷の際には、仮置きされた複数のパレットの中から所望のパレットを探索する必要がある。この探索作業を効率的に行うために、倉庫１００内においてパレット３１の仮置き場所４０を定めないことでスペースを有効活用しながら、倉庫１００内でのパレット３１の位置を、追跡により可視化可能な情報処理システムが求められている。実施形態に係る情報処理装置は、このような情報処理システムで使用されるものである。実施形態に係る情報処理装置は、フォークリフトにより移動される物体の位置情報を取得するとともに、物体の位置を追跡することができる。以下、実施形態に係る情報処理装置を有する情報処理システムについて、詳細に説明する。なお、本明細書において、画像には、静止画および動画の少なくとも一方が含まれるものとする。また動画は、映像と称してもよい。
【0015】
［第１実施形態］
＜情報処理システム１の全体構成例＞
図２は、第１実施形態に係る情報処理システム１の全体構成の一例を示す図である。図２に示すように、情報処理システム１は、フォークリフト１０と、全天球カメラ２０と、情報処理装置５０と、固定型カメラ６０と、読取器７００と、を有する。これらは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等のネットワーク４００を介して通信可能に接続されている。なお、ネットワーク４００には、外部サーバまたは画像形成装置等の上記以外の装置または機器が通信可能に接続されていてもよい。
＜情報処理システム１の全体構成例＞
図２は、第１実施形態に係る情報処理システム１の全体構成の一例を示す図である。図２に示すように、情報処理システム１は、フォークリフト１０と、全天球カメラ２０と、情報処理装置５０と、固定型カメラ６０と、読取器７００と、を有する。これらは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等のネットワーク４００を介して通信可能に接続されている。なお、ネットワーク４００には、外部サーバまたは画像形成装置等の上記以外の装置または機器が通信可能に接続されていてもよい。
【0016】
フォークリフト１０は、パレット３１に載置された貨物３２を保持し、パレット３１および貨物３２を搬送する移動体である。物体３０は、パレット３１および貨物３２を含む。なお、フォークリフト１０は１以上のフォークリフト、パレット３１は１以上のパレット、貨物３２は１以上の貨物をそれぞれ含んでもよい。フォークリフト１０は、作業者の運転操作に応じて物体３０を搬送するものであってもよいし、作業者を介さず自動運転により物体３０を搬送するものであってもよい。
【0017】
全天球カメラ２０は、フォークリフト１０に設けられた撮影装置である。全天球カメラ２０は、全天球カメラ２０の周囲における３６０度の全方位を撮影する。図２に示した方位２０ａは、全天球カメラ２０により撮影可能な方位を表している。但し、フォークリフト１０に設けられる撮影装置は、全天球カメラ２０に限らず、フォークリフト１０の周囲を撮影できれば如何なるものであってもよい。また撮影画像は、必ずしも全天球画像でなくてよい。
【0018】
全天球画像は、フォークリフト１０から視た物体３０の搬送方向１１側の風景と、フォークリフト１０から視た鉛直上方向１２側の風景とが撮影された画像を含む。搬送方向１１はフォークリフト１０の前方に対応する。鉛直上方向１２はフォークリフト１０の上方に対応する。全天球カメラ２０は、フォークリフト１０の前方および上方を１枚の画像に含むように撮影できる。
【0019】
全天球カメラ２０は、フォークリフト１０の屋根上、またはフォーク２１を支持する支持部材２２上に取り付けられることが好ましい。このように取り付けられることで、全天球カメラ２０は、視界を遮る障害物を低減し、フォークリフト１０の前方および上方を撮影するための視界を好適に確保できる。全天球カメラ２０は、無線による通信機能を有し、ネットワーク４００を介して情報処理装置５０に全天球画像を送信できる。
【0020】
固定型カメラ６０は、倉庫１００の天井等に設けられ、天井側から床側に向けて倉庫１００内を撮影するカメラである。固定型カメラ６０は、無線による通信機能を有し、ネットワーク４００を介して情報処理装置５０に撮影動画を送信できる。
【0021】
固定型カメラ６０は、広い範囲を撮影できるものが好ましく、１８０度程度の画角を持つ半天球（魚眼カメラ）がよりいっそう好ましい。固定型カメラ６０が設置される台数は１台であってもよいし、複数台であってもよい。本明細書に示す例では、固定型カメラ６０は複数台設けられているものとし、固定型カメラ６０は複数の固定型カメラを示すものとする。これら複数の固定型カメラ６０は、予め相対位置が定められている。
【0022】
本実施形態では、複数の固定型カメラ６０は、フォークリフト１０およびフォークリフト１０により移動される物体３０の少なくとも一方が、自身の移動によって所定の固定型カメラ６０の撮影範囲から外れた場合に、撮影動画に物体３０が含まれるように、他の固定型カメラ６０に撮影を切り替えることができる。なお、撮影の切替とは、複数の固定型カメラ６０それぞれによる撮影動画のうち、情報処理装置５０に格納させる撮影動画を切り替えることをいう。複数の固定型カメラ６０それぞれは、作業者または管理者による電源オン等の撮影開始操作に応じて撮影動作を開始し、作業者または管理者による電源オフ等の撮影終了操作に応じて撮影動作を終了する。
【0023】
読取器７００は、物体３０を識別する識別情報Ｉｄを読み取る機器である。読取器７００は、貨物３２またはパレット３１のいずれか一方に付与されるバーコード、ＱＲコード（登録商標）等のコード３３に基づき、識別情報Ｉｄを読み取ることができる。なお、識別情報Ｉｄは、コード３３がテキスト文字等の他の情報形態に変換されたものであってもよいし、コード３３そのものであってもよい。
【0024】
読取器７００は、バーコードを読み取るバーコードリーダ、ＱＲコードを読み取るＱＲコードリーダ等である。読取器７００は、読み取った物体３０の識別情報Ｉｄを、ネットワーク４００を介して情報処理装置５０に送信できる。なお、識別情報Ｉｄは、読取器７００によって読み取られたものに限らず、キーボード等の操作入力部を用いて管理者等により入力されたものであってもよい。
【0025】
情報処理装置５０は、全天球カメラ２０により撮影された全天球画像を、ネットワーク４００を介して受信する。また、情報処理装置５０は、読取器７００により読み取られた物体３０の識別情報Ｉｄを、ネットワーク４００を介して受信する。情報処理装置５０は、受信した全天球画像に基づき、フォークリフト１０が保持する物体３０の位置情報を取得し、物体３０の位置情報と物体３０の識別情報とを対応づけて管理できる。
【0026】
また、例えば、全天球カメラ２０が設けられていないハンドリフト等により物体３０が移動されると、全天球カメラ２０の撮影画像を用いて物体３０の位置を追跡できずに物体３０の現在位置が分からなくなる場合がある。現在位置が分からないと、物体３０の位置を正確に管理することができなくなる。本実施形態に係る情報処理装置５０は、固定型カメラ６０による撮影動画を用いることで、ハンドリフト等により物体３０が移動されて現在位置が分からなくなった物体３０の現在の位置情報（以下、現在位置情報をいう。）を取得でき、物体３０の位置を正確に管理できる。
【0027】
また、本実施形態では、情報処理装置５０は、予め相対位置が定められている複数の固定型カメラ６０それぞれによる撮影動画に基づいて、物体３０の位置情報を取得することができる。
【0028】
＜情報処理装置５０のハードウェア構成例＞
次に図３は、情報処理装置５０のハードウェア構成の一例を示すブロック図である。情報処理装置５０は、例えばコンピュータにより構築される。
次に図３は、情報処理装置５０のハードウェア構成の一例を示すブロック図である。情報処理装置５０は、例えばコンピュータにより構築される。
【0029】
図３に示すように、情報処理装置５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ ＭｅｍｏｒｙＭ５０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３と、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）５０４と、を有する。また情報処理装置５０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５と、ディスプレイ５０６と、外部機器接続Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５０８と、ネットワークＩ／Ｆ５０９と、を有する。また情報処理装置５０は、データバス５１０と、キーボード５１１と、ポインティングデバイス５１２と、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ５１４と、メディアＩ／Ｆ５１６とを有する。これらのうち、ＣＰＵ５０１は、情報処理装置５０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。
【0030】
ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御に従ってＨＤ５０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。
【0031】
外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク４００を利用してデータ通信をするためのインターフェースである。データバス５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0032】
キーボード５１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等のメディア５１５に対するデータの読み出しまたは書き込み（記憶）を制御する。
【0033】
＜情報処理装置５０の機能構成例＞
図４Ａは、情報処理装置５０の機能構成の一例を示すブロック図である。情報処理装置５０は、受信部５１と、格納部７０と、物体位置取得部５２と、時刻取得部５３と、移動開始位置取得部５４と、追跡部５５と、現在位置取得部５６と、更新部５７と、出力部５８と、を有する。これら各部は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。
図４Ａは、情報処理装置５０の機能構成の一例を示すブロック図である。情報処理装置５０は、受信部５１と、格納部７０と、物体位置取得部５２と、時刻取得部５３と、移動開始位置取得部５４と、追跡部５５と、現在位置取得部５６と、更新部５７と、出力部５８と、を有する。これら各部は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。
【0034】
図４Ａに示す機能の一部は、情報処理装置５０以外の外部装置により実現されてもよい。また図４Ａに示す機能の一部は、情報処理装置５０と、情報処理装置５０以外の外部装置と、の分散処理により実現されてもよい。この場合の外部装置には、ネットワーク４００を介して接続される情報処理装置５０以外のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、外部サーバ等が挙げられる。
【0035】
格納部７０は、位置管理情報７１と、撮影動画Ｍｖと、を格納する。撮影動画Ｍｖは、複数の固定型カメラ６０により撮影された複数の撮影動画を含む。格納部７０の機能は、図３のＨＤ５０４等により実現される。ここで、図４Ｂは位置管理情報７１の一例である。
【0036】
第１実施形態に係る位置管理情報７１は、物体３０の識別情報Ｉｄと、物体３０の位置情報と、物体３０の位置情報を取得したときの時刻情報と、が対応付けられたテーブルに対応する。本明細書に示す例では、位置管理情報７１は、物体３０の位置情報Ｐｏと、全天球画像Ｉｍが受信部５１により受信された時刻である画像時刻ｔ１（物体３０の位置情報Ｐｏを取得したときの時刻）と、物体３０の識別情報Ｉｄと、識別情報Ｉｄが受信部５１により受信された時刻である読取時刻ｔ３と、を対応付けて格納している。なお、本明細書および特許請求の範囲において、時刻には、日付と時間の情報が含まれる。
【0037】
撮影動画Ｍｖは、受信部５１を介して入力されたものである。撮影動画Ｍｖは、撮影動画Ｍｖにおける各フレームが得られた時刻である動画時刻ｔ２を含んでいる。なお、格納部７０は、情報処理装置５０に限らず、外部装置に設けられてもよい。この外部装置には、情報処理装置５０以外のＰＣ、外部サーバ、外部ストレージサーバ等が挙げられる。
【0038】
受信部５１は、全天球カメラ２０による全天球画像Ｉｍ、固定型カメラ６０による撮影動画Ｍｖ、読取器７００により読み取られた識別情報Ｉｄを、ネットワーク４００を介して受信する。受信部５１は、撮影動画Ｍｖおよび識別情報Ｉｄを格納部７０に出力して格納させる。また受信部５１は、物体位置取得部５２に全天球画像Ｉｍと識別情報Ｉｄを出力する。
【0039】
物体位置取得部５２は、受信部５１を介して入力した全天球画像Ｉｍに基づき、倉庫１００内における物体３０の位置情報Ｐｏを演算により取得する。例えば、物体位置取得部５２は、全天球画像Ｉｍに含まれる倉庫１００内の景色と、予め定められている倉庫１００内の景色の位置情報と、に基づき、フォークリフト１０の位置情報を演算により取得する。物体位置取得部５２は、倉庫１００内におけるフォークリフト１０の位置と、予め定められた、フォークリフト１０により保持された物体３０のフォークリフト１０に対する相対位置と、に基づいて、倉庫１００内における物体３０の位置情報Ｐｏを取得できる。物体位置取得部５２は、物体３０の位置情報Ｐｏと、物体３０の識別情報Ｉｄと、画像時刻ｔ１と、を格納部７０に出力し、これらを対応付けて格納させる。なお、物体位置取得部５２は、複数のフォークリフト１０のそれぞれが物体３０を保持しているか否かを示す保持情報を用いて物体３０の位置情報Ｐｏを取得してもよい。
【0040】
時刻取得部５３は、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の時刻情報を取得する。時刻取得部５３は上述した画像時刻ｔ１、動画時刻ｔ２、および読取時刻ｔ３に関する情報を取得し、格納部７０に出力する。時刻取得部５３は、位置情報Ｐｏと画像時刻ｔ１、撮影動画Ｍｖと動画時刻ｔ２、識別情報Ｉｄと読取時刻ｔ３を、それぞれ対応付けて格納部７０に格納させる。
【0041】
移動開始位置取得部５４は、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の物体３０の位置情報Ｐｏを取得する。移動開始位置情報Ｐｐは、物体３０の移動が開始される前の位置である移動開始位置に関する情報である。物体３０がハンドリフトにより移動された場合には、ハンドリフトによる移動が開始される直前までの物体３０の位置情報Ｐｏが、物体３０の識別情報Ｉｄに対応付けて位置管理情報７１に格納されている。従って、移動開始位置取得部５４は、物体３０の識別情報Ｉｄに基づき、位置管理情報７１を参照して移動開始位置情報Ｐｐを取得できる。移動開始位置取得部５４は、移動開始位置情報Ｐｐを追跡部５５に出力する。
【0042】
追跡部５５は、撮影動画Ｍｖのうち、時刻情報に対応する動画時刻ｔ２から開始される動画において、物体３０の位置情報から物体３０を画像処理によって追跡する。具体的には、追跡部５５は、移動開始位置取得部５４からの移動開始位置情報Ｐｐに対応する動画時刻ｔ２を取得する。追跡部５５は、撮影動画Ｍｖのうち動画時刻ｔ２から開始される動画Ｍｖ０を再生しながら、該動画Ｍｖ０の各フレームに基づき物体３０の位置を画像処理によって追跡する。そして、追跡部５５は、物体３０の移動が終了した場合に、このときのフレームである終了画像Ｉｖを、追跡結果として現在位置取得部５６に出力する。例えば、追跡部５５は、動画Ｍｖ０に含まれる景色が、予め定められた閾値時間以上停止した場合に、物体３０の移動が終了したと判定できる。追跡部５５による追跡画像処理は、オプティカルフロー等を利用して実行可能である。
【0043】
現在位置取得部５６は、追跡部５５による物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する。例えば現在位置取得部５６は、追跡部５５による追跡結果としての終了画像Ｉｖに基づいて、物体３０の現在位置情報Ｐｔを取得できる。現在位置取得部５６は、取得した現在位置情報Ｐｔを更新部５７に出力する。情報処理装置５０は、現在位置取得部５６が取得した物体の現在位置情報を、物体の移動が開始される前の物体の位置情報とする。
【0044】
更新部５７は、現在位置取得部５６から入力した物体３０の現在位置情報Ｐｔに基づき、位置管理情報７１を更新する。具体的には、更新部５７は、位置管理情報７１に格納された物体３０の位置情報Ｐｏのうち、ハンドリフトにより移動されることで正しくない情報となった物体３０の位置情報Ｐｏを、現在位置情報Ｐｔに置き換える。これにより更新部５７は、位置管理情報７１を更新できる。
【0045】
出力部５８は、格納部７０に格納されている情報を外部に出力できる。出力部５８が出力する情報は、位置情報Ｐｏ、現在位置情報Ｐｔ等である。出力部５８の出力先は、外部ＰＣ、外部サーバ、表示装置、記憶装置、送信装置、受信装置、ネットワーク等である。
【0046】
＜情報処理装置５０による処理例＞
（位置情報Ｐｏの取得処理）
図５は、情報処理装置５０による位置情報Ｐｏの取得処理の一例を示すフローチャートである。情報処理装置５０は、例えば物体３０の位置情報の取得開始操作を受け付けたタイミングで図５に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の位置情報の取得開始操作を行うことができる。
（位置情報Ｐｏの取得処理）
図５は、情報処理装置５０による位置情報Ｐｏの取得処理の一例を示すフローチャートである。情報処理装置５０は、例えば物体３０の位置情報の取得開始操作を受け付けたタイミングで図５に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の位置情報の取得開始操作を行うことができる。
【0047】
まず、ステップＳ１１において、情報処理装置５０は、受信部５１により、ネットワーク４００を介して全天球画像Ｉｍおよび識別情報Ｉｄを受信する。
【0048】
続いて、ステップＳ１２において、情報処理装置５０は、物体位置取得部５２により、受信部５１から入力した全天球画像Ｉｍに基づき、フォークリフト１０の位置情報を演算により取得する。
【0049】
続いて、ステップＳ１３において、情報処理装置５０は、物体位置取得部５２により、受信部５１から入力した全天球画像Ｉｍに基づき、フォークリフト１０による物体３０の保持または非保持の何れか一方の状態を示す保持情報を演算により取得する。
【0050】
続いて、ステップＳ１４において、情報処理装置５０は、時刻取得部５３により、位置管理情報７１を参照し、物体３０の識別情報にＩｄ基づき、物体３０の移動が開始される前の時刻情報を取得する。時刻取得部５３は、画像時刻ｔ１および読取時刻ｔ３それぞれに関する情報を取得する。
【0051】
なお、ステップＳ１２～Ｓ１４の処理は、適宜順番を入れ替えてもよいし、それぞれが並行に行われてもよい。
【0052】
続いて、ステップＳ１５において、情報処理装置５０は、物体位置取得部５２により、ステップＳ１２におけるフォークリフト１０の位置情報と、ステップＳ１３における保持情報と、に基づいて、物体３０の位置情報Ｐｏを演算により取得する。
【0053】
続いて、ステップＳ１６において、情報処理装置５０は、物体位置取得部５２により、物体３０の位置情報Ｐｏと、画像時刻ｔ１と、物体３０を示す識別情報Ｉｄと、読取時刻ｔ３と、を対応付けて、位置管理情報７１に格納する。
【0054】
続いて、ステップＳ１７において、情報処理装置５０は、処理を終了するか否かを判定する。例えば情報処理装置５０は、ポインティングデバイス５１２等を介した操作者による終了操作に基づき、処理を終了するか否かを判定する。
【0055】
ステップＳ１７で、終了すると判定された場合には（ステップＳ１７、ＹＥＳ）、情報処理装置５０は処理を終了する。一方、終了しないと判定された場合には（ステップＳ１７、ＮＯ）、情報処理装置５０はステップＳ１１以降の処理を再度行う。
【0056】
このようにして、情報処理装置５０は物体３０の位置情報Ｐｏを取得できる。
【0057】
（現在位置情報Ｐｔの取得処理）
図６は、情報処理装置５０による現在位置情報Ｐｔの取得処理の一例を示すフローチャートである。情報処理装置５０は、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図６に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
図６は、情報処理装置５０による現在位置情報Ｐｔの取得処理の一例を示すフローチャートである。情報処理装置５０は、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図６に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
【0058】
まず、ステップＳ２１において、情報処理装置５０は、移動開始位置取得部５４により、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の物体３０の位置情報を取得する。例えば、移動開始位置取得部５４は、物体３０の識別情報Ｉｄに基づき、位置管理情報７１を参照して移動開始位置情報Ｐｐを取得できる。移動開始位置取得部５４は、移動開始位置情報Ｐｐを追跡部５５に出力する。
【0059】
続いて、ステップＳ２２において、情報処理装置５０は、時刻取得部５３により、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の時刻情報を取得する。
【0060】
続いて、ステップＳ２３において、情報処理装置５０は、追跡部５５により、撮影動画Ｍｖのうち、時刻情報に対応する動画時刻から開始される動画において、物体３０の位置情報から物体３０を画像処理によって追跡する。例えば、追跡部５５は、移動開始位置取得部５４からの移動開始位置情報Ｐｐに対応する動画時刻ｔ２を取得する。追跡部５５は、撮影動画Ｍｖのうち動画時刻ｔ２から開始される動画Ｍｖ０を再生しながら、該動画Ｍｖ０の各フレームを画像処理することにより物体３０の位置を追跡する。
【0061】
続いて、ステップＳ２４において、情報処理装置５０は、追跡部５５により、物体３０の移動が終了したか否かを判定する。例えば追跡部５５は、動画Ｍｖ０に含まれる景色が、予め定められた閾値時間以上停止した場合に、物体３０の移動が終了したと判定できる。
【0062】
ステップＳ２４において、移動が終了していないと判定された場合には（ステップＳ２４、ＮＯ）、ステップＳ２３以降の処理が再度行われる。一方、移動が終了したと判定された場合には（ステップＳ２４、ＹＥＳ）、情報処理装置５０は、追跡部５５により、移動が終了したときのフレームである終了画像Ｉｖを、追跡結果として現在位置取得部５６に出力する。
【0063】
続いて、ステップＳ２５において、情報処理装置５０は、現在位置取得部５６により、追跡部５５による物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する。現在位置取得部５６は、取得した現在位置情報Ｐｔを更新部５７に出力する。
【0064】
続いて、ステップＳ２６において、情報処理装置５０は、更新部５７により、現在位置取得部５６から入力した物体３０の現在位置情報Ｐｔに基づき、位置管理情報７１を更新する。
【0065】
続いて、ステップＳ２７において、情報処理装置５０は、処理を終了するか否かを判定する。例えば情報処理装置５０は、ポインティングデバイス５１２等を介した操作者による終了操作に基づき、処理を終了するか否かを判定する。
【0066】
ステップＳ２７で、終了すると判定された場合には（ステップＳ２７、ＹＥＳ）、情報処理装置５０は処理を終了する。一方、終了しないと判定された場合には（ステップＳ２７、ＮＯ）、情報処理装置５０はステップＳ２１以降の処理を再度行う。
【0067】
このようにして、情報処理装置５０は、物体３０の現在位置情報Ｐｔを取得できる。
【0068】
【0069】
図７（ａ）に示す位置地図６１は、全天球カメラ２０により撮影された全天球画像Ｉｍに基づいて、図４Ａに示した物体位置取得部５２が作成したものである。物体位置取得部５２は、３次元座標情報を含む点群を取得し、この点群を２次元平面に投影することで位置地図６１を作成する。
【0070】
位置地図６１は、例えば１台のフォークリフト１０の移動に応じて作成され、全てのフォークリフト１０の位置情報の取得（自己位置認識）において使用される。位置地図６１を用いることにより、同一座標系において複数のフォークリフト１０の各位置を表現できる。
【0071】
全天球画像Ｉｍ等の撮影画像に基づく位置地図６１の作成方法には、例えば、地図作成と自己位置認識の同時実行技術（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を適用できる（例えば、「解説 SLAMの現状と今後の展望,」、友納正裕、原祥尭、システム／制御／情報, 2020年64巻2号 p.45-50、https: //www.jstage.jst.go.jp /article/isciesci /64 / 2 /64_45/_article/-char/ja/を参照）。このような撮影画像に基づく自己位置認識は、屋内環境のように撮影画像が安定取得できる場合において、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や加速度センサを用いる他の位置取得方法より高い精度で位置情報を取得できる。
【0072】
クロスドッキング型の倉庫で多い平置き型の倉庫では、パレット３１の入出荷に伴う物体３０の位置変化に応じて、位置地図６１が変化しやすい。位置地図６１の変化は、位置情報の取得処理を複雑にする場合がある。なお、平置き型の倉庫とは、棚等の構造物が少なく、パレット３１または貨物３２を床面に置くタイプの倉庫をいう。一方、倉庫では、天井の高さが５ｍ等と高いことが多く、天井側である上方の視界を確保しやすい。そのため、実施形態では、全天球カメラ２０により撮影された全天球画像Ｉｍのうちの上方向を示す画像を用いて位置地図６１を作成し、フォークリフト１０の位置情報を取得する。これにより、床面に置かれ、位置変化しやすいパレット３１または貨物３２を処理に含めなくてよくなる。パレット３１または貨物３２を処理に含めない結果、時間変化を低減した位置地図６１を用いて、処理を簡素化して物体３０の位置情報Ｐｏを取得できる。
【0073】
物体位置取得部５２は、フォークリフト１０による物体３０の保持情報を取得するために、全天球画像Ｉｍのうちの前方を示す画像を使用する。これにより、全天球カメラ２０により撮影された１つの全天球画像Ｉｍを用いて、フォークリフト１０の位置情報を取得するとともに物体３０の保持情報を取得可能となる。
【0074】
物体位置取得部５２は、位置地図６１に示すフォークリフト１０の位置情報のうち、保持情報が保持から非保持に変化した位置を用いることによって、物体３０の位置を示す位置地図６２を取得できる。図７（ａ）に示す位置地図６１は、物体３０の位置情報を示すものとも言えるため、図７（ａ）では位置地図６２を括弧付きで表示している。
【0075】
また、図７（ｂ）に示す位置管理情報７１は、物体３０の位置を示す点群の３次元座標と、該３次元座標が取得されたときの時刻を示すタイムスタンプ６４とを含んでいる。タイムスタンプ６４は、時刻取得部５３が取得した画像時刻ｔ１に対応する。
【0076】
物体位置取得部５２は、所定時間が経過した後の点群の情報は除外し、新しい点群の情報を用いて位置管理情報７１を更新する。これにより、上方の視界確保が難しく、水平方向の視界に頼らざるを得ない場合においても、フォークリフト１０の周囲状態の変化に対応して、フォークリフト１０の位置情報および物体３０の位置情報Ｐｏを好適に取得可能になる。但し、フォークリフト１０の動きが少ない場合には、新たな取得点群が少ないので、点の数が減少する場合がある。これに対し、物体位置取得部５２は、フォークリフト１０の移動量に応じ、移動量が少ないときには位置管理情報７１の更新頻度を下げることで、位置管理情報７１に示す点群の情報が減少し過ぎないようにすることができる。
【0077】
物体３０を示す識別情報Ｉｄは、フォークリフト１０によりパレット３１がコンテナ３００等から取り出され、パレット３１が一旦仮置きされる際に、貨物３２またはパレット３１に付与されたバーコード等から読取器７００により読み取られる。読み取られた識別情報Ｉｄは、読取器７００から情報処理装置５０に送信され、格納部７０に格納される。このような格納を初期登録という。
【0078】
ここで、倉庫１００内で複数の物体３０の各位置を追跡するためのより簡易的な方法の一例を、図８を参照して説明する。図８は、物体３０の位置情報Ｐｏの取得結果の第２例を示す図である。図８（ａ）は区画を示す図、図８（ｂ）は位置情報Ｐｏと区画を示すバーコードを示す図である。
【0079】
図８（ａ）に示す区画Ａ、Ｂ、ＣおよびＤは、倉庫１００内で予め定められた位置範囲を示すものである。区画Ａ、Ｂ、ＣおよびＤの各区画内で物体３０を初期登録するための作業が行われる。
【0080】
読取器７００を用いて物体３０に付与されたバーコードを読み取った前後のどちらかのタイミングで、区画Ａ、Ｂ、ＣおよびＤを示すバーコードを読み取ることで、物体３０と各区画を示す位置座標とを対応付けることができる。その後、フォークリフト１０により物体３０を搬送する場合に、どの物体３０が搬送されているかの識別情報Ｉｄを含めて物体３０の位置を追跡可能になる。図８（ｂ）に示す位置管理情報７１は、区画を示すＩＤ番号と、区画の位置情報と、区画を示すバーコードと、を対応付けて示している。
【0081】
各区画を示すバーコードは、初期登録を行う作業者が読取器７００を用いて読み取り可能なように、印刷されて該作業者により携帯される。或いは倉庫１００内の床や柱、またはフォークリフト１０に貼付される。これにより、物体３０を示すバーコードを読み取る作業を行う前後のタイミングで、各区画のバーコードを容易に読取可能となる。
【0082】
＜物体３０の現在位置情報Ｐｔを取得するときの表示画面例＞
ハンドリフト等で移動されることにより、現在位置が分からなくなった物体３０の現在位置情報Ｐｔを取得するときに表示される画面について、図９～１９を参照して説明する。図９～１９は、本実施形態に係る物体３０の現在位置取得方法において、情報処理装置５０にインストールされたアプリケーションプログラムが動作することにより、図３に示したディスプレイ５０６に表示される画面を表している。以下、物体３０としてのパレット３１の現在位置情報Ｐｔを取得する方法を一例として説明する。
ハンドリフト等で移動されることにより、現在位置が分からなくなった物体３０の現在位置情報Ｐｔを取得するときに表示される画面について、図９～１９を参照して説明する。図９～１９は、本実施形態に係る物体３０の現在位置取得方法において、情報処理装置５０にインストールされたアプリケーションプログラムが動作することにより、図３に示したディスプレイ５０６に表示される画面を表している。以下、物体３０としてのパレット３１の現在位置情報Ｐｔを取得する方法を一例として説明する。
【0083】
【0084】
図９は、上方から観察した倉庫１００内の様子を模式的に表示した地図画面８０１を示している。入出庫ゲート図形１１０は、倉庫１００に出入りするためのゲートを表している。パレット図形１１１はパレット３１を表している。固定型カメラ図形１１２は、固定型カメラ６０を表している。フォークリフト図形１１３はフォークリフト１０を表している。
【0085】
フォークリフト１０およびパレット３１が移動されると、地図画面８０１内のフォークリフト図形１１３およびパレット図形１１１が実物の移動に応じて移動する。地図画面８０１の視認者は、フォークリフト図形１１３およびパレット図形１１１を視認することで、フォークリフト１０およびパレット３１の位置を認識できる。
【0086】
図１０に示すように、操作画面８０２は、パレット情報表示部１１４と、パレット指定部１１５と、パレットリスト表示部１１６と、対象指定部１１７と、を含む。パレット情報表示部１１４は、地図画面８０１上で指定されたパレット３１の識別情報Ｉｄが更新された時刻を表示する。アプリケーションプログラムにより、倉庫１００で管理されている全てのパレット３１の情報を含むパレットリストをインポートすることで、パレットリスト表示部１１６に全てのパレット３１の情報が一覧表示される。また、操作者がパレット指定部１１５に識別情報Ｉｄを入力することで、地図画面８０１上の該当するパレット図形１１１が強調表示される。パレット情報は、情報処理装置５０でパレットリストとして管理されているため、操作者は、パレットリストをいつでも読み出して地図画面８０１および操作画面８０２に表示させることができる。
【0087】
（対象パレット指定方法の第１例）
図１１～１４は、現在位置情報Ｐｔを取得したい対象としての対象パレット（以下、単に対象パレットという）を指定する方法の第１例を説明する図である。第１例では、パレットリストに表示されたパレット情報を指示することで、対象パレットを指定する。図１１は、第１例における指定画面の一例を示す図である。図１２～１３は、第１例における指定結果画面の一例を示す図である。図１４は、現在位置の取得結果画面の一例を示す図である。
図１１～１４は、現在位置情報Ｐｔを取得したい対象としての対象パレット（以下、単に対象パレットという）を指定する方法の第１例を説明する図である。第１例では、パレットリストに表示されたパレット情報を指示することで、対象パレットを指定する。図１１は、第１例における指定画面の一例を示す図である。図１２～１３は、第１例における指定結果画面の一例を示す図である。図１４は、現在位置の取得結果画面の一例を示す図である。
【0088】
図１１は、パレットリストがインポートされた後の操作画面８０２を示している。操作者は、図３に示したポインティングデバイス５１２を操作することで、ディスプレイ５０６に表示されるカーソル８１０を移動させる。操作者は、パレットリスト表示部１１６に表示されたパレットリストの中から対象パレットのパレット情報１１６０をカーソル８１０で指示することで、対象パレットを指定できる。
【0089】
対象パレットが指定されると、図１２にドットハッチングで示したように、対象パレットのパレット情報１１６０が強調表示される。その後、操作者が取得開始ボタン１１８をカーソル８１０で指示すると、情報処理装置５０は、対象パレットの現在位置情報の取得処理を開始する。
【0090】
図１３は、ハンドリフトで移動される前に対象パレットがどこに位置していたかを、地図画面８０１を用いて表示した図である。図１３において、地図画面８０１上に丸図形で示した対象表示１１１０－１によって囲われたパレット図形１１１は、対象パレットに対応し、その位置は、ハンドリフトで移動される前の位置に対応する。
【0091】
図１４は、取得処理の結果、取得された現在位置情報Ｐｔを示している。図１４において、地図画面８０１上に丸図形で示した対象表示１１１０－２によって囲われたパレット図形１１１は、対象パレットに対応し、その位置はハンドリフトで移動された後の位置に対応する。このようにして、情報処理装置５０は、対象パレットを指定し、現在位置情報Ｐｔの取得結果を表示することができる。
【0092】
（対象パレット指定方法の第２例）
図１５～１６は、対象パレットを指定する方法の第２例を説明する図である。第２例では、地図画面８０１においてパレット図形１１１を指示することで、対象パレットを指定する。図１５は、第２例における指定画面の一例を示す図である。図１６は、第２例における指定結果画面の一例を示す図である。
図１５～１６は、対象パレットを指定する方法の第２例を説明する図である。第２例では、地図画面８０１においてパレット図形１１１を指示することで、対象パレットを指定する。図１５は、第２例における指定画面の一例を示す図である。図１６は、第２例における指定結果画面の一例を示す図である。
【0093】
図１５に示すように、第２例では、操作者は、地図画面８０１に表示された複数のパレット図形１１１の中から対象パレットに対応するパレット図形１１１をカーソル８１０で指示することで、対象パレットを指定できる。
【0094】
対象パレットが指定されると、図１６において、指定された対象パレットに対応するパレット図形１１１が地図画面８０１上に丸図形で示した対象表示１１１０－３により囲われて表示される。この後、図１２に示した取得開始ボタン１１８を操作者がカーソル８１０で指示すると、情報処理装置５０は、対象パレットの現在位置情報の取得処理を開始する。情報処理装置５０は、取得処理の結果、取得された現在位置情報Ｐｔを、図１４に示したように表示することができる。
【0095】
（対象パレット指定方法の第３例）
図１７は、対象パレットを指定する方法の第３例を説明する図である。第３例では、顧客識別情報を入力することで、対象パレットを指定する。図１７は、第３例における指定画面の一例を示す図である。
図１７は、対象パレットを指定する方法の第３例を説明する図である。第３例では、顧客識別情報を入力することで、対象パレットを指定する。図１７は、第３例における指定画面の一例を示す図である。
【0096】
図１７は、パレットリストがインポートされた後の操作画面８０２を示している。図１７における顧客識別情報入力部１１９は、対象パレットを指定するために、対象パレットに対応する顧客識別情報を入力するためのテキストボックスである。操作者は、顧客識別情報入力部１１９に顧客識別情報をテキスト入力することで対象パレットを指定できる。
【0097】
対象パレットを指定後、図１２に示した取得開始ボタン１１８を操作者がカーソル８１０で指示すると、情報処理装置５０は、対象パレットの現在位置情報の取得処理を開始する。情報処理装置５０は、取得処理の結果、取得された現在位置情報Ｐｔを、図１４に示したように表示することができる。
【0098】
＜情報処理装置５０の作用効果＞
以上説明したように、情報処理装置５０は、移動開始位置取得部５４により、移動開始位置情報Ｐｐを取得する。また情報処理装置５０は、追跡部５５により、撮影動画Ｍｖのうち、移動開始位置から物体３０の移動が開始され、物体３０の移動が終了するまでの動画Ｍｖ０において物体３０の位置を追跡する。また情報処理装置５０は、現在位置取得部５６により、追跡部５５による物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得できる。
以上説明したように、情報処理装置５０は、移動開始位置取得部５４により、移動開始位置情報Ｐｐを取得する。また情報処理装置５０は、追跡部５５により、撮影動画Ｍｖのうち、移動開始位置から物体３０の移動が開始され、物体３０の移動が終了するまでの動画Ｍｖ０において物体３０の位置を追跡する。また情報処理装置５０は、現在位置取得部５６により、追跡部５５による物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得できる。
【0099】
本実施形態では、ハンドリフト等による物体３０の移動開始から移動終了するまでの動画Ｍｖ０を再生して物体３０を追跡するため、撮影動画Ｍｖ全体を再生して物体３０を追跡することと比較して再生時間が短くなる。この結果、本実施形態では、現在位置が分からなくなった物体３０の現在位置情報Ｐｔを短時間で取得可能な情報処理方法、プログラムおよび情報処理装置５０を提供することができる。
【0100】
また、本実施形態では、情報処理装置５０は、更新部５７により、物体３０の現在位置情報Ｐｔに基づき、物体３０の識別情報Ｉｄと物体３０の位置情報Ｐｏとが対応付けられた位置管理情報７１を更新する。これにより、現在位置が分からなくなった物体３０の現在位置情報Ｐｔを正しく修正できるため、倉庫１００内における物体３０の正確な位置管理が可能になる。
【0101】
［第２実施形態］
次に、第２実施形態に係る情報処理装置について、説明する。なお、上述した実施形態と同じ構成部には同じ符号を付し、重複する説明を適宜省略する。この点は、以降に示す他の実施形態においても同様である。
次に、第２実施形態に係る情報処理装置について、説明する。なお、上述した実施形態と同じ構成部には同じ符号を付し、重複する説明を適宜省略する。この点は、以降に示す他の実施形態においても同様である。
【0102】
本実施形態に係る情報処理装置は、物体３０の識別情報Ｉｄと、物体３０の位置情報と、物体３０の移動が開始される前の時刻である第１時刻情報と、物体３０の移動が終了したときの時刻である第２時刻情報と、が対応づけられた位置管理情報７１に基づき、物体３０の移動が開始される前の物体３０の位置情報を取得する点が、第１実施形態と主に異なる。
【0103】
＜情報処理装置５０ａの機能構成例＞
図１８Ａは、本実施形態に係る情報処理装置５０ａの機能構成の一例を示すブロック図である。なお、情報処理装置５０ａのハードウェア構成は、図３に示した情報処理装置５０のハードウェア構成と同じである。
図１８Ａは、本実施形態に係る情報処理装置５０ａの機能構成の一例を示すブロック図である。なお、情報処理装置５０ａのハードウェア構成は、図３に示した情報処理装置５０のハードウェア構成と同じである。
【0104】
図１８Ａに示すように、情報処理装置５０ａは、第１時刻取得部８１と、第２時刻取得部８２と、追跡部５５ａと、を有する。これら各部は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。
【0105】
図１８Ａに示す機能の一部は、情報処理装置５０ａ以外の外部装置により実現されてもよい。また図１８Ａに示す機能の一部は、情報処理装置５０ａと、情報処理装置５０ａ以外の外部装置と、の分散処理により実現されてもよい。この場合の外部装置には、ネットワーク４００を介して接続される情報処理装置５０ａ以外のＰＣ、外部サーバ等が挙げられる。
【0106】
第１時刻取得部８１は、物体３０の識別情報Ｉｄと、物体３０の位置情報と、物体３０の移動が開始される前の時刻である第１時刻情報Ｔ１と、物体３０の移動が終了したときの時刻である第２時刻情報Ｔ２と、が対応づけられた位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の第１時刻情報Ｔ１を取得する。ここで、図１８Ｂは、本実施形態に係る位置管理情報の一例を示す図である。第１時刻情報Ｔ１は、物体３０の移動が開始される前の時刻である第１時刻に関する情報である。第１時刻取得部８１は、第１時刻情報Ｔ１を追跡部５５ａに出力する。
【0107】
第１時刻情報Ｔ１および第１時刻取得部８１による第１時刻情報Ｔ１の取得方法について、詳しく説明する。例えば、ハンドリフトにより物体３０を移動させる作業者は、ハンドリフトによる物体３０の移動を開始する前に、物体３０に付与されたコード３３を読取器７００により読み取る。なお、ハンドリフトにより物体３０を移動させる前に、移動させる物体３０のコード３３を読取器７００で読み取ることは、作業者の間で義務付けられているものとする。読取器７００は、読み取った識別情報Ｉｄを情報処理装置５０ａに送信する。情報処理装置５０ａが物体３０の移動前の識別情報Ｉｄを受信部５１により受信した時刻は、識別情報Ｉｄに対応付けられて、格納部７０の位置管理情報７１に格納される。第１時刻取得部８１は、物体３０の識別情報Ｉｄに基づき、格納部７０の位置管理情報７１を参照することで、第１時刻情報Ｔ１の取得できる。但し、第１時刻取得部８１による第１時刻情報Ｔ１の取得方法は、上記のものに限定されるものではない。
【0108】
第２時刻取得部８２は、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が終了されたときの第２時刻情報Ｔ２を取得する。第２時刻情報Ｔ２は、物体３０の移動が終了されたときの時刻である第２時刻に関する情報である。第２時刻取得部８２は、第２時刻情報Ｔ２を追跡部５５ａに出力する。
【0109】
第２時刻情報Ｔ２および第２時刻取得部８２による第２時刻情報Ｔ２の取得方法について、詳しく説明する。例えば、ハンドリフトにより物体３０を移動させる作業者は、ハンドリフトによる物体３０の移動を終了した後に、物体３０に付与されたコード３３を読取器７００により読み取る。なお、ハンドリフトにより物体３０を移動させた後に、移動させた物体３０のコード３３を読取器７００で読み取ることは、作業者の間で義務付けられているものとする。読取器７００は、読み取った識別情報Ｉｄを情報処理装置５０ａに送信する。情報処理装置５０ａが物体３０の移動後の識別情報Ｉｄを受信部５１により受信した時刻は、識別情報Ｉｄに対応付けられて、格納部７０の位置管理情報７１に格納される。第２時刻取得部８２は、物体３０の識別情報Ｉｄに基づき、格納部７０の位置管理情報７１を参照することで、第２時刻情報Ｔ２の取得できる。但し、第２時刻取得部８２による第２時刻情報Ｔ２の取得方法は、上記のものに限定されるものではない。
【0110】
追跡部５５ａは、撮影動画Ｍｖのうち、第１時刻情報Ｔ１に対応する動画時刻から開始される動画Ｍｖ０において、物体３０の位置情報から物体３０を画像処理によって追跡する。追跡部５５ａは、動画Ｍｖ０において第１時刻から第２時刻まで物体３０の位置を追跡した後のフレームである終了画像Ｉｖを、追跡結果として現在位置取得部５６に出力する。
【0111】
現在位置取得部５６は、追跡部５５ａによる物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する。情報処理装置５０ａは、取得した物体の現在位置情報を、物体の移動が開始される前の物体の位置情報とする。
【0112】
＜情報処理装置５０ａによる処理例＞
図１９は、情報処理装置５０ａによる現在位置情報Ｐｔの取得処理の一例を示すフローチャートである。情報処理装置５０ａは、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図１９に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
図１９は、情報処理装置５０ａによる現在位置情報Ｐｔの取得処理の一例を示すフローチャートである。情報処理装置５０ａは、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図１９に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
【0113】
まず、ステップＳ３１において、情報処理装置５０ａは、物体位置取得部５２により、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の物体３０の位置情報を取得する。
【0114】
続いて、ステップＳ３２において、情報処理装置５０ａは、第１時刻取得部８１により、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が開始される前の第１時刻情報Ｔ１を取得する。第１時刻取得部８１は、第１時刻情報Ｔ１を追跡部５５ａに出力する。
【0115】
続いて、ステップＳ３３において、情報処理装置５０ａは、第２時刻取得部８２により、位置管理情報７１を参照し、物体３０の識別情報Ｉｄに基づき、物体３０の移動が終了されたときの第２時刻情報Ｔ２を取得する。第２時刻取得部８２は、第２時刻情報Ｔ２を追跡部５５ａに出力する。
【0116】
続いて、ステップＳ３４において、情報処理装置５０ａは、追跡部５５ａにより、撮影動画Ｍｖのうち、第１時刻情報Ｔ１に対応する動画時刻から開始される動画Ｍｖ０において、物体３０の位置情報から物体３０を画像処理によって追跡する。追跡部５５ａは、動画Ｍｖ０において第２時刻まで物体３０の位置を追跡した後のフレームである終了画像Ｉｖを、追跡結果として現在位置取得部５６に出力する。
【0117】
続いて、ステップＳ３５において、情報処理装置５０ａは、現在位置取得部５６により、追跡部５５ａによる物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する。現在位置取得部５６は、取得した現在位置情報Ｐｔを更新部５７に出力する。
【0118】
ステップＳ３６～Ｓ３７の処理は、図６のステップＳ２６～Ｓ２７の処理とほぼ同じであるため、ここでは重複する説明を省略する。
【0119】
このようにして、情報処理装置５０ａは、物体３０の現在位置情報Ｐｔを取得できる。
【0120】
＜物体３０の現在位置情報Ｐｔを取得するときの表示画面例＞
図２０は、地図画面８０１におけるハンドリフトでの物体移動の様子を説明する図である。図２１～２２は、地図画面８０１における物体移動の様子を示す図である。図２０～２１は、本実施形態に係る物体３０の現在位置取得方法において、情報処理装置５０にインストールされたアプリケーションプログラムが動作することにより、ディスプレイ５０６に表示される画面を表している。
図２０は、地図画面８０１におけるハンドリフトでの物体移動の様子を説明する図である。図２１～２２は、地図画面８０１における物体移動の様子を示す図である。図２０～２１は、本実施形態に係る物体３０の現在位置取得方法において、情報処理装置５０にインストールされたアプリケーションプログラムが動作することにより、ディスプレイ５０６に表示される画面を表している。
【0121】
図２０において、対象表示１１１０－４は、ハンドリフトによる移動前の対象パレットを表している。対象表示１１１０－５は、ハンドリフトによる移動後の対象パレットを表している。移動経路１２０は、ハンドリフトによる移動経路を表している。ハンドリフトを用いて対象パレットを移動させる作業者は、ハンドリフトに付与されたコード３３を読取器７００で読み取る。このとき、読取器７００の内部に保存されているコード３３を選択して読み取ってもよい。
【0122】
図２１において、移動経路１２１は、対象パレットが移動される途中経路である。対象表示１１１０－６は、移動経路１２１における対象パレットの位置を表示している。
【0123】
図２２において、移動経路１２２は、対象パレットが移動される途中経路である。対象表示１１１０－６は、移動経路１２２における対象パレットの位置を表示している。ハンドリフトで移動された対象パレットは、空き領域に設置される。
【0124】
＜情報処理装置５０ａの作用効果＞
以上説明したように、情報処理装置５０ａは、第１時刻取得部８１により、物体３０の識別情報Ｉｄに基づき、第１時刻情報Ｔ１を取得する。また情報処理装置５０ａは、第２時刻取得部８２により、物体３０の識別情報Ｉｄに基づき、第２時刻情報Ｔ２を取得する。また情報処理装置５０ａは、追跡部５５ａにより、撮影動画Ｍｖのうち、第１時刻から第２時刻までの動画Ｍｖ０において物体３０の位置を追跡する。また情報処理装置５０ａは、現在位置取得部５６により、追跡部５５ａによる物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する
以上説明したように、情報処理装置５０ａは、第１時刻取得部８１により、物体３０の識別情報Ｉｄに基づき、第１時刻情報Ｔ１を取得する。また情報処理装置５０ａは、第２時刻取得部８２により、物体３０の識別情報Ｉｄに基づき、第２時刻情報Ｔ２を取得する。また情報処理装置５０ａは、追跡部５５ａにより、撮影動画Ｍｖのうち、第１時刻から第２時刻までの動画Ｍｖ０において物体３０の位置を追跡する。また情報処理装置５０ａは、現在位置取得部５６により、追跡部５５ａによる物体３０の追跡結果に基づいて、物体３０の移動が終了したときの物体３０の現在位置情報Ｐｔを取得する
【0125】
本実施形態では、ハンドリフト等による物体３０の移動開始から移動終了するまでの動画Ｍｖ０を再生して物体３０を追跡するため、撮影動画Ｍｖ全体を再生して物体３０を追跡することと比較して再生時間が短くなる。この結果、本実施形態では、現在位置が分からなくなった物体３０の現在位置情報Ｐｔを短時間で取得可能な情報処理方法、プログラムおよび情報処理装置５０を提供することができる。
【0126】
また、ハンドリフトによる物体３０の移動終了位置を画像処理により検出する第１実施形態と比較して、本実施形態では、ハンドリフトによる物体３０の移動の開始位置および終了位置それぞれに関する情報を、位置管理情報７１に格納した時刻情報に基づき取得できる。画像処理の検出誤差が含まれないため、本実施形態では、第１実施形態と比較して、物体３０の現在位置情報Ｐｔを正確に取得することができる。
【0127】
［第３実施形態］
次に、第３実施形態に係る情報処理装置について、説明する。本実施形態では、物体３０が移動されることで、複数の固定型カメラ６０による複数の撮影動画Ｍｖのうちの第１の撮影動画に物体３０が含まれなくなった場合に、物体３０を追跡できるように、特定部により、複数の撮影動画Ｍｖのうちの物体３０が含まれる第２の撮影動画を特定可能である点が、第１および第２実施形態と異なる。
次に、第３実施形態に係る情報処理装置について、説明する。本実施形態では、物体３０が移動されることで、複数の固定型カメラ６０による複数の撮影動画Ｍｖのうちの第１の撮影動画に物体３０が含まれなくなった場合に、物体３０を追跡できるように、特定部により、複数の撮影動画Ｍｖのうちの物体３０が含まれる第２の撮影動画を特定可能である点が、第１および第２実施形態と異なる。
【0128】
＜情報処理装置５０ｂの機能構成例＞
図２３は、本実施形態に係る情報処理装置５０ｂの機能構成の一例を示すブロック図である。図２３に示すように、情報処理装置５０ｂは、特定部８３を有する。特定部８３は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。
図２３は、本実施形態に係る情報処理装置５０ｂの機能構成の一例を示すブロック図である。図２３に示すように、情報処理装置５０ｂは、特定部８３を有する。特定部８３は、図３に示した各構成要素の何れかが、ＨＤ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。
【0129】
特定部８３の機能は、情報処理装置５０ｂ以外の外部装置により実現されてもよい。また特定部８３の機能は、情報処理装置５０ｂと、情報処理装置５０ｂ以外の外部装置と、の分散処理により実現されてもよい。この場合の外部装置には、ネットワーク４００を介して接続される情報処理装置５０ｂ以外のＰＣ、外部サーバ等が挙げられる。
【0130】
特定部８３は、物体３０が移動されることで、複数の固定型カメラ６０による複数の撮影動画Ｍｖのうち、第１の撮影動画Ｍｖ１に物体３０が含まれなくなった場合に、物体３０を追跡できるように、複数の撮影動画Ｍｖのうち、物体３０が含まれる第２の撮影動画Ｍｖ２を特定する。追跡部５５は、第１の撮影動画Ｍｖ１のうち動画Ｍｖ０－１に物体３０が含まれなくなった場合に、特定部８３により特定された第２の撮影動画Ｍｖ２のうち動画Ｍｖ０－２において物体３０の位置を追跡する。
【0131】
動画Ｍｖ０－１は、第１の撮影動画Ｍｖ１のうち、物体３０の移動の開始位置から、第１の撮影動画Ｍｖ１に物体３０が含まれなくなった時刻までの動画である。動画Ｍｖ０－２は、第２の撮影動画Ｍｖ２のうちの第１の撮影動画Ｍｖ１に物体３０が含まれなくなった時刻から物体の移動が終了するまでの動画である。或いは動画Ｍｖ０－２は、第２の撮影動画Ｍｖ２のうちの第１の撮影動画Ｍｖ１に物体３０が含まれなくなった時刻から、第２の撮影動画Ｍｖ２に物体３０が含まれなくなった時刻までの動画である。
【0132】
＜情報処理装置５０ｂによる処理例＞
図２４は、情報処理装置５０ｂによる物体３０の現在位置取得処理の一例を示すフローチャートである。情報処理装置５０ｂは、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図２４に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
図２４は、情報処理装置５０ｂによる物体３０の現在位置取得処理の一例を示すフローチャートである。情報処理装置５０ｂは、例えば物体３０の現在位置情報Ｐｔの取得開始操作を受け付けたタイミングで図２４に示す処理を開始する。操作者は、例えば図３に示したポインティングデバイス５１２等を用いて物体３０の現在位置情報Ｐｔの取得開始操作を行うことができる。
【0133】
まず、ステップＳ４１において、情報処理装置５０ｂは、移動開始位置取得部５４により、物体３０の識別情報Ｉｄに基づき、移動開始位置情報Ｐｐを取得する。移動開始位置取得部５４は、移動開始位置情報Ｐｐを追跡部５５に出力する。
【0134】
続いて、ステップＳ４２において、情報処理装置５０ｂは、追跡部５５により、撮影動画Ｍｖのうちの動画Ｍｖ０－１において物体３０の位置を追跡する。
【0135】
続いて、ステップＳ４３において、情報処理装置５０ｂは、特定部８３により、動画Ｍｖ０－１に物体３０が含まれるか否かを判定する。
【0136】
ステップＳ４３において、動画Ｍｖ０－１に物体３０が含まれると判定された場合には（ステップＳ４３、ＹＥＳ）、情報処理装置５０ｂは、ステップＳ４５に処理を移行する。一方、ステップＳ４３において、動画Ｍｖ０－１に物体３０が含まれないと判定された場合には（ステップＳ４３、ＮＯ）、ステップＳ４４において、情報処理装置５０ｂは、特定部８３により、物体３０を追跡できるように、複数の撮影動画Ｍｖのうち物体３０が含まれる第２の撮影動画Ｍｖ２を特定する。
【0137】
続いて、ステップＳ４５において、情報処理装置５０ｂは、追跡部５５により、物体３０の移動が終了したか否かを判定する。例えば追跡部５５は、動画Ｍｖ０－１または動画Ｍｖ０－２に含まれる景色が、予め定められた閾値時間以上停止した場合に、物体３０の移動が終了したと判定できる。
【0138】
ステップＳ４５において、移動が終了していないと判定された場合には（ステップＳ４５、ＮＯ）、ステップＳ４２以降の処理が再度行われる。一方、移動が終了したと判定された場合には（ステップＳ４５、ＹＥＳ）、情報処理装置５０ｂは、追跡部５５により、移動が終了したときのフレームである終了画像Ｉｖを、追跡結果として現在位置取得部５６に出力する。
【0139】
ステップＳ４６～Ｓ４８の処理は、図６のステップＳ２４～Ｓ２６の処理とほぼ同じであるため、ここでは、重複する説明を省略する。
【0140】
このようにして、情報処理装置５０ｂは、物体３０の現在位置情報Ｐｔを取得できる。
【0141】
＜情報処理装置５０ｂの作用効果＞
以上説明したように、情報処理装置５０ｂは、物体３０が移動されることで、複数の固定型カメラ６０による複数の撮影動画Ｍｖのうち第１の撮影動画Ｍｖ１に物体３０が含まれなくなった場合に、物体３０を追跡できるように、特定部８３により、複数の撮影動画Ｍｖのうち物体３０が含まれる第２の撮影動画Ｍｖ２を特定可能である。これにより、第１の撮影動画Ｍｖ１に物体３０が含まれなくなった場合に、第２の撮影動画Ｍｖ２において物体３０の位置を追跡することができる。これ以外の効果は、第１実施形態とほぼ同じである。
以上説明したように、情報処理装置５０ｂは、物体３０が移動されることで、複数の固定型カメラ６０による複数の撮影動画Ｍｖのうち第１の撮影動画Ｍｖ１に物体３０が含まれなくなった場合に、物体３０を追跡できるように、特定部８３により、複数の撮影動画Ｍｖのうち物体３０が含まれる第２の撮影動画Ｍｖ２を特定可能である。これにより、第１の撮影動画Ｍｖ１に物体３０が含まれなくなった場合に、第２の撮影動画Ｍｖ２において物体３０の位置を追跡することができる。これ以外の効果は、第１実施形態とほぼ同じである。
【0142】
［第４実施形態］
次に、第４実施形態に係る情報処理システムについて説明する。図２５は、第４実施形態の第１例に係る情報処理システムのブロック図である。図２６は、第４実施形態の第２例に係る情報処理システムのブロック図である。図２７は、第４実施形態の第３例に係る情報処理システムのブロック図である。図２８は、第４実施形態の第４例に係る情報処理システムのブロック図である。
次に、第４実施形態に係る情報処理システムについて説明する。図２５は、第４実施形態の第１例に係る情報処理システムのブロック図である。図２６は、第４実施形態の第２例に係る情報処理システムのブロック図である。図２７は、第４実施形態の第３例に係る情報処理システムのブロック図である。図２８は、第４実施形態の第４例に係る情報処理システムのブロック図である。
【0143】
＜第１例＞
図２５に示すように、情報処理システム１ａは、情報処理装置５０ａと、シングルボードコンピュータ５００と、ミニＰＣ６００と、を有する。情報処理装置５０ａ、シングルボードコンピュータ５００およびミニＰＣ６００は、通信可能に接続された複数の情報処理装置に対応する。
図２５に示すように、情報処理システム１ａは、情報処理装置５０ａと、シングルボードコンピュータ５００と、ミニＰＣ６００と、を有する。情報処理装置５０ａ、シングルボードコンピュータ５００およびミニＰＣ６００は、通信可能に接続された複数の情報処理装置に対応する。
【0144】
シングルボードコンピュータ５００は、フォークリフト１０に搭載される。シングルボードコンピュータ５００は、送信部５２１と、物体位置取得部５２２と、保持情報取得部５２３と、を有する。シングルボードコンピュータ５００は、距離センサ２５および全天球カメラ２０のそれぞれと通信可能に接続している。また、シングルボードコンピュータ５００は、ネットワーク４００と通信可能に接続している。
【0145】
シングルボードコンピュータ５００は、物体位置取得部５２２により、全天球カメラ２０から入力した全天球画像Ｉｍからフォークリフト１０の位置情報を取得する。また、シングルボードコンピュータ５００は、距離センサ２５から入力したフォークリフト１０から物体３０までの距離に基づき、保持情報取得部５２３により、物体３０の保持情報を取得する。シングルボードコンピュータ５００は、送信部５２１により、フォークリフト１０の位置情報と物体３０の保持情報を、ネットワークを介して情報処理装置５０に送信する。なお、保持情報取得部５２３は、距離センサ２５により検出される距離に代えて全天球カメラ２０による全天球画像Ｉｍに基づき、物体３０の保持情報を取得してもよい。
【0146】
ミニＰＣ６００は、天井撮影装置９００に搭載される。ミニＰＣ６００は、複数の固定型カメラ６０と通信可能に接続される。ミニＰＣ６００は、送信部６３１と、物体位置取得部６３２と、格納部６３３と、を有する。固定型カメラ６０は、倉庫の規模（広さ）に応じて、数１０～数１００台が倉庫に設置される。但し、動画におけるフレームの欠落を回避するため、固定型カメラ６０のフレームレートが１５～３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）である場合には、ミニＰＣ１台あたりに接続する固定型カメラ６０の台数を４台までに制限して天井撮影装置９００を構成することが好ましい。
【0147】
固定型カメラ６０による撮影動画Ｍｖは、格納部６３３に格納される。天井撮影装置９００は、情報処理装置５０で追跡処理を実行するときに、ネットワーク４００を介して、必要な撮影動画Ｍｖを情報処理装置５０に逐次転送する。
【0148】
端末８００は、ＰＣ、タブレット、またはスマートフォンである。端末８００は、ユーザが物体３０の移動を確認したり、物体３０を追跡したりするために、情報処理装置５０のディスプレイだけでなく端末８００のディスプレイに物体３０の位置を表示させることができる。フォークリフト１０の操縦者や倉庫内の作業者は、タブレットやスマートフォンを操作することで、物体３０の位置情報等を取得できる。
【0149】
情報処理装置５０ａは、物体位置取得部５２を有さない点が、第１実施形態に係る情報処理装置５０と異なる。また情報処理装置５０ａは、格納部７０が撮影動画Ｍｖを格納しない点が、第１実施形態に係る情報処理装置５０と異なる。
【0150】
＜第２例＞
情報処理システム１ｂは、シングルボードコンピュータ５００の台数と、天井撮影装置９００の台数と、読取器７００の台数と、端末８００の台数、倉庫１００の面積に応じて多くなっている点が、第１例に係る情報処理システム１ａと異なる。シングルボードコンピュータ５００は、フォークリフト１０ａ～１０ｘのそれぞれに搭載されている。情報処理装置５０ａ、シングルボードコンピュータ５００、天井撮影装置９００、読取器７００および端末８００の各機能は、情報処理システム１ａにおける情報処理装置５０ａ、シングルボードコンピュータ５００、天井撮影装置９００、読取器７００および端末８００の各機能とほぼ同じである。
情報処理システム１ｂは、シングルボードコンピュータ５００の台数と、天井撮影装置９００の台数と、読取器７００の台数と、端末８００の台数、倉庫１００の面積に応じて多くなっている点が、第１例に係る情報処理システム１ａと異なる。シングルボードコンピュータ５００は、フォークリフト１０ａ～１０ｘのそれぞれに搭載されている。情報処理装置５０ａ、シングルボードコンピュータ５００、天井撮影装置９００、読取器７００および端末８００の各機能は、情報処理システム１ａにおける情報処理装置５０ａ、シングルボードコンピュータ５００、天井撮影装置９００、読取器７００および端末８００の各機能とほぼ同じである。
【0151】
＜第３例＞
情報処理システム１ｃは、情報処理システム１ａにおいて、情報処理装置５０ａ、シングルボードコンピュータ５００およびミニＰＣ６００のそれぞれに分散されていた複数の機能構成を情報処理装置５０ａに集約している点が、第１例に係る情報処理システム１ａと異なる。情報処理システム１ｃは、倉庫１００の面積が狭い場合に好適である。情報処理システム１ｃでは、動画におけるフレームの欠落を回避するため、固定型カメラ６０のフレームレートが１５～３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）である場合には、情報処理装置５０に接続する固定型カメラ６０の台数は、２～４台までであることが好ましい。
情報処理システム１ｃは、情報処理システム１ａにおいて、情報処理装置５０ａ、シングルボードコンピュータ５００およびミニＰＣ６００のそれぞれに分散されていた複数の機能構成を情報処理装置５０ａに集約している点が、第１例に係る情報処理システム１ａと異なる。情報処理システム１ｃは、倉庫１００の面積が狭い場合に好適である。情報処理システム１ｃでは、動画におけるフレームの欠落を回避するため、固定型カメラ６０のフレームレートが１５～３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）である場合には、情報処理装置５０に接続する固定型カメラ６０の台数は、２～４台までであることが好ましい。
【0152】
＜第４例＞
情報処理システム１ｄは、情報処理装置５０ａがクラウドサーバ５０ｄである点が、図２６に示した第２例に係る情報処理システム１ｂと異なる。
情報処理システム１ｄは、情報処理装置５０ａがクラウドサーバ５０ｄである点が、図２６に示した第２例に係る情報処理システム１ｂと異なる。
【0153】
＜その他の好適な実施形態＞
天井に取り付けられた固定型カメラ６０は、３６０°の全方位を撮像可能ないわゆる全天球カメラとしてもよい。全天球カメラとすることによって、通常のカメラにより構成する場合に比べて広い撮像範囲をカバーすることができ、カメラの台数を削減することができる。
天井に取り付けられた固定型カメラ６０は、３６０°の全方位を撮像可能ないわゆる全天球カメラとしてもよい。全天球カメラとすることによって、通常のカメラにより構成する場合に比べて広い撮像範囲をカバーすることができ、カメラの台数を削減することができる。
【0154】
図２５を用いて、全天球撮影装置６のハードウェア構成を説明する。図２５は、全天球撮影装置６のハードウェア構成の一例を示すブロック図である。以下では、全天球撮影装置６は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置６と同じ機能を有するようにしてもよい。
【0155】
図２５に示されているように、全天球撮影装置６は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ６１１、ＲＯＭ６１２、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６１３、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、アンテナ６１７ａ、加速度・方位センサ６１８、ジャイロセンサ６１９、加速度センサ６２０、及びＭｉｃｒｏ ＵＳＢ用の凹状の端子６２１によって構成されている。
【0156】
上記のうち、撮像ユニット６０１は、各々半球画像を結像するための１８０°以上の画角を有する魚眼レンズ６０２ａ，６０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子６０３ａ，６０３ｂを備えている。撮像素子６０３ａ，６０３ｂは、魚眼レンズ６０２ａ，６０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0157】
撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。さらに、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、及び加速度・方位センサ６１８なども接続される。
【0158】
画像処理ユニット６０４は、撮像素子６０３ａ，６０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。
【0159】
撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３ａ，６０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。
【0160】
また、撮像制御ユニット６０５は、操作部６１５のシャッターボタンが押下されたタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。全天球撮影装置６によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３ａ，６０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【0161】
また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３ａ，６０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置６にはディスプレイが設けられていないが、表示部を設けてもよい。
【0162】
マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【0163】
ＣＰＵ６１１は、全天球撮影装置６の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
【0164】
操作部６１５は、シャッターボタン６１５ａなどの操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮影モードや撮影条件などを入力する。
【0165】
外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリやＰＣ等である。ＤＲＡＭ６１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／ＦＩ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じて外部機器接続Ｉ／ＦＩ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。
【0166】
通信部６１７は、全天球撮影装置６に設けられたアンテナ６１７ａを介して、Ｗｉ－Ｆｉ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信部６１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。
【0167】
加速度・方位センサ６１８は、地球の磁気から全天球撮影装置６の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ６１８は、全天球撮影装置６の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置６は、加速度・方位センサ６１８が検出した加速度に基づいて、自装置（全天球撮影装置６）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置６に、加速度・方位センサ６１８が設けられることによって、画像補正の精度が向上する。
【0168】
（全天球カメラと物体との位置関係について）
物体位置取得部５２(５２２)は、前述したように、ＶＳＬＡＭ技術等により算出した全天球カメラ２０の３次元の位置情報、及び予め取得した全天球カメラ２０と物体３０との相対位置（フォークリフト１０により保持された物体３０のフォークリフト１０に対する相対位置）から、物体３０の３次元の位置情報を算出する。従って、物体位置取得部５２(５２２)が、物体３０の３次元の位置情報を算出するためには、全天球カメラ２０と物体３０との相対位置を予め取得する必要がある。図３０及び図３１を参照して、全天球カメラ２０と物体３０との相対位置の取得方法について説明する。図３０は、全天球カメラ２０と物体３０との相対位置の取得方法の第１例を示す図である。図３１は、全天球カメラ２０と物体３０との相対位置の取得方法の第２例を示す図である。図３１（Ａ）はフォークリフト１０を側方から視た図であり、図３１（Ｂ）は、フォークリフト１０が支持する補助マーカ１５０１を全天球カメラ２０側から視た図である。
物体位置取得部５２(５２２)は、前述したように、ＶＳＬＡＭ技術等により算出した全天球カメラ２０の３次元の位置情報、及び予め取得した全天球カメラ２０と物体３０との相対位置（フォークリフト１０により保持された物体３０のフォークリフト１０に対する相対位置）から、物体３０の３次元の位置情報を算出する。従って、物体位置取得部５２(５２２)が、物体３０の３次元の位置情報を算出するためには、全天球カメラ２０と物体３０との相対位置を予め取得する必要がある。図３０及び図３１を参照して、全天球カメラ２０と物体３０との相対位置の取得方法について説明する。図３０は、全天球カメラ２０と物体３０との相対位置の取得方法の第１例を示す図である。図３１は、全天球カメラ２０と物体３０との相対位置の取得方法の第２例を示す図である。図３１（Ａ）はフォークリフト１０を側方から視た図であり、図３１（Ｂ）は、フォークリフト１０が支持する補助マーカ１５０１を全天球カメラ２０側から視た図である。
【0169】
好適な一例として、物体位置取得部５２(５２２)は、例えば、図３０に示すように、全天球カメラ２０で物体３０上に設けられたマーカ２１０を撮像した画像から、全天球カメラ２０と物体３０との相対位置を算出する。例えば、物体位置取得部５２(５２２)は、全天球カメラ２０で物体３０上に設けられたマーカ２１０を撮像し、マーカ２１０の外径の座標を取得する。また、物体位置取得部５２(５２２)は、取得したマーカ２１０の外径の座標と、マーカ２１０の実寸とから、全天球カメラ２０のカメラ座標系におけるマーカ２１０の中心位置２１１を算出する。
【0170】
また、全天球カメラ２０の位置から物体３０上に設けられたマーカ２１０を撮像できない場合、物体位置取得部５２(５２２)は、補助マーカを利用して、全天球カメラ２０のカメラ座標系におけるマーカ２１０の中心位置２１１を算出することができる。
【0171】
補助マーカ１５０１は、例えば、図３１（Ｂ）に示すように、棒１５０２の上部に固定されたＡＲマーカである補助マーカ１５０１を用意し、補助マーカ１５０１の中心１５０ ３から棒１５０２の下端までの距離Ｌを予め測定しておく。また、例えば、図３１（Ａ）に示すように、棒１５０２の下端をマーカ２１０の中心に接し、補助マーカ１５０１全体が全天球カメラ２０の撮像範囲に含まれるようにして、全天球カメラ２０で補助マーカ１５０１を撮像する。
【0172】
物体位置取得部５２(５２２)は、撮像した画像から、全天球カメラ２０を基準とした３次元座標系における、補助マーカ１５０１の中心１５０３と、補助マーカ１５０１の平面上のマーカ縦横方向を指す３次元ベクトルを決定する。また、物体位置取得部５２(５２２)は、補助マーカ１５０１の中心１５０３の位置から下方向へ予め測定した棒１５０２の長さＬ分だけ下方に移動した点を、マーカ２１０の中心の位置として算出することができる。
【0173】
このように、物体の移動が開始される前の物体の正確な位置情報の取得ができる。よって、移動後の物体を画像処理によって追跡する際に悪影響を及ぼす虞も低減される。フォークリフト車両が実業務で運ぶ貨物の毎回の位置算出に利用することも可能であるが、特にキャリブレーション（カメラ設置時の初期設定および校正）が必要となる場合でカメラと物体の位置関係の初期設定をする際に有効である。
【0174】
また、上述のマーカや補助マーカを利用した物体位置の特定方法は、本発明の構成によらずカメラ（全天球カメラ２０等）とカメラで撮像される物体（物体３０等）との相対位置を予め取得する場合にも利用可能な方法である。
【0175】
以上、実施形態を説明してきたが、本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【0176】
移動体の一例としてフォークリフトを示したが、これに限定されるものではない。例えば自動搬送車またはドローン等であってもよい。
【0177】
なお、実施形態の説明で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係をこれに限定するものではない。
【0178】
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、または一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェアまたはソフトウェアが並列または時分割に処理してもよい。また複数のコンピュータに一部または全部の機能を分散させてもよい。
【0179】
実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や従来の回路モジュール等のデバイスを含むものとする。
【0180】
本開示の態様は、例えば、以下のとおりである。
＜１＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法である。
＜２＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の移動が開始される前の時刻である第１時刻情報と、前記物体の移動が終了したときの時刻である第２時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記第１時刻情報を取得する第１時刻取得ステップと、前記撮影動画のうち、前記第１時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法である。
＜３＞ 前記位置管理情報に基づき、前記第２時刻情報を取得する第２時刻取得ステップを更に有し、前記撮影動画のうち、前記第１時刻情報から前記第２時刻情報に対応する動画時刻の動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、前記＜２＞に記載の情報処理方法である。
＜４＞ 前記情報処理装置は、更新部により、前記物体の前記現在の位置情報に基づき、前記位置管理情報を更新する、前記＜２＞又は前記＜３＞に記載の情報処理方法である。
＜５＞ 前記情報処理装置は、予め相対位置が定められている複数の撮影装置による複数の前記撮影動画に基づいて、前記物体の位置情報を取得可能であり、前記物体が移動されることで、複数の前記撮影動画のうちの第１の撮影動画に前記物体が含まれなくなった場合に、前記物体を追跡できるように、特定部により、複数の前記撮影動画のうちの前記物体が含まれる第２の撮影動画を特定可能である、前記＜１＞から前記＜３＞の何れか１つに記載の情報処理方法である。
＜６＞ 前記情報処理装置は、前記追跡対象の物体の周囲を撮影する撮影装置と、前記物体におけるマーカの位置と、の相対位置に基づいて、前記物体の移動が開始される前の前記物体の位置情報を算出する、前記＜１＞から前記＜５＞のいずれか１つに記載の情報処理方法である。
＜７＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置に処理を実行させるプログラムであって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、プログラムである。
＜８＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理装置である。
＜９＞ 通信可能に接続された複数の情報処理装置を有し、移追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理システムであって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理システムである。
＜１＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置時報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法である。
＜２＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置による情報処理方法であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の移動が開始される前の時刻である第１時刻情報と、前記物体の移動が終了したときの時刻である第２時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記第１時刻情報を取得する第１時刻取得ステップと、前記撮影動画のうち、前記第１時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理方法である。
＜３＞ 前記位置管理情報に基づき、前記第２時刻情報を取得する第２時刻取得ステップを更に有し、前記撮影動画のうち、前記第１時刻情報から前記第２時刻情報に対応する動画時刻の動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、前記＜２＞に記載の情報処理方法である。
＜４＞ 前記情報処理装置は、更新部により、前記物体の前記現在の位置情報に基づき、前記位置管理情報を更新する、前記＜２＞又は前記＜３＞に記載の情報処理方法である。
＜５＞ 前記情報処理装置は、予め相対位置が定められている複数の撮影装置による複数の前記撮影動画に基づいて、前記物体の位置情報を取得可能であり、前記物体が移動されることで、複数の前記撮影動画のうちの第１の撮影動画に前記物体が含まれなくなった場合に、前記物体を追跡できるように、特定部により、複数の前記撮影動画のうちの前記物体が含まれる第２の撮影動画を特定可能である、前記＜１＞から前記＜３＞の何れか１つに記載の情報処理方法である。
＜６＞ 前記情報処理装置は、前記追跡対象の物体の周囲を撮影する撮影装置と、前記物体におけるマーカの位置と、の相対位置に基づいて、前記物体の移動が開始される前の前記物体の位置情報を算出する、前記＜１＞から前記＜５＞のいずれか１つに記載の情報処理方法である。
＜７＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置に処理を実行させるプログラムであって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得ステップと、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得ステップと、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡ステップと、前記追跡ステップによる前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、プログラムである。
＜８＞ 追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理装置であって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理装置である。
＜９＞ 通信可能に接続された複数の情報処理装置を有し、移追跡対象の物体の周囲を撮影した撮影動画に基づき、前記物体の位置情報を取得する情報処理システムであって、前記物体の識別情報と、前記物体の位置情報と、前記物体の位置情報を取得したときの時刻情報と、が対応づけられた位置管理情報に基づき、前記物体の移動が開始される前の前記物体の位置情報を取得する移動開始位置取得部と、前記位置管理情報に基づき、前記物体の移動が開始される前の時刻情報を取得する時刻取得部と、前記撮影動画のうち、前記時刻情報に対応する動画時刻から開始される動画において、前記物体の位置情報から前記物体を画像処理によって追跡する追跡部と、前記追跡部による前記物体の追跡結果に基づいて、前記物体の移動が終了したときの前記物体の現在の位置情報を取得する現在位置取得ステップと、を有する、情報処理システムである。
【符号の説明】
【0181】
１ 情報処理システム
１０ フォークリフト
１１ 搬送方向
１２ 鉛直上方向
２０ 全天球カメラ
２０ａ 方位
２１ フォーク
２２ 支持部材
３０ 物体
３１ パレット
３２ 貨物
３３ コード
４０ 仮置き場所
５０、５０ａ、５０ｂ 情報処理装置
５１ 受信部
５２ 物体位置取得部
５３ 時刻取得部
５４ 移動開始位置取得部
５５、５５ａ 追跡部
５６ 現在位置取得部
５７ 更新部
５８ 出力部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ＨＤ
５０５ ＨＤＤコントローラ
５０６ ディスプレイ
５０８ 外部機器接続Ｉ／Ｆ
５０９ ネットワークＩ／Ｆ
５１０ データバス
５１１ キーボード
５１２ ポインティングデバイス
５１３ ＤＶＤ－ＲＷ
５１４ ＤＶＤ－ＲＷドライブ
５１５ メディア
５１６ メディアI/F
６０ 固定型カメラ
６１、６２ 位置地図
６４ タイムスタンプ
７０ 格納部
７１ 位置管理情報
８１ 第１時刻取得部
８２ 第２時刻取得部
８３ 特定部
１００ 倉庫
１１０ 入出庫ゲート図形
１１１ パレット図形
１１１０－１、１１１０－２、１１０－３、１１０－４、１１１０―５、１１０－６ 対象表示
１１２ 固定型カメラ図形
１１３ フォークリフト図形
１１４ パレット情報表示部
１１５ パレット指定部
１１６ パレットリスト表示部
１１７ 対象指定部
１１８ 取得開始ボタン
１１９ 顧客識別情報入力部
１２０～１２２ 移動経路
２００ トラックヤード
３００ コンテナ
４００ ネットワーク
７００ 読取器
８０１ 地図画面
８０２ 操作画面
８１０ カーソル
１１６０ パレット情報
Ｉｄ 識別情報
Ｉｍ 全天球画像
Ｉｖ 終了画像
Ｍｖ 撮影動画
Ｍｖ１ 第１の撮影動画
Ｍｖ２ 第２の撮影動画
Ｍｖ０－１、Ｍｖ０－２ 動画
Ｍｖ０ 動画
Ｐｏ 位置情報
Ｐｐ 移動開始位置情報
Ｐｔ 現在位置情報
ｔ１ 画像時刻
ｔ２ 動画時刻
ｔ３ 読取時刻
Ｔ１ 第１時刻情報
Ｔ２ 第２時刻情報
１０ フォークリフト
１１ 搬送方向
１２ 鉛直上方向
２０ 全天球カメラ
２０ａ 方位
２１ フォーク
２２ 支持部材
３０ 物体
３１ パレット
３２ 貨物
３３ コード
４０ 仮置き場所
５０、５０ａ、５０ｂ 情報処理装置
５１ 受信部
５２ 物体位置取得部
５３ 時刻取得部
５４ 移動開始位置取得部
５５、５５ａ 追跡部
５６ 現在位置取得部
５７ 更新部
５８ 出力部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ ＨＤ
５０５ ＨＤＤコントローラ
５０６ ディスプレイ
５０８ 外部機器接続Ｉ／Ｆ
５０９ ネットワークＩ／Ｆ
５１０ データバス
５１１ キーボード
５１２ ポインティングデバイス
５１３ ＤＶＤ－ＲＷ
５１４ ＤＶＤ－ＲＷドライブ
５１５ メディア
５１６ メディアI/F
６０ 固定型カメラ
６１、６２ 位置地図
６４ タイムスタンプ
７０ 格納部
７１ 位置管理情報
８１ 第１時刻取得部
８２ 第２時刻取得部
８３ 特定部
１００ 倉庫
１１０ 入出庫ゲート図形
１１１ パレット図形
１１１０－１、１１１０－２、１１０－３、１１０－４、１１１０―５、１１０－６ 対象表示
１１２ 固定型カメラ図形
１１３ フォークリフト図形
１１４ パレット情報表示部
１１５ パレット指定部
１１６ パレットリスト表示部
１１７ 対象指定部
１１８ 取得開始ボタン
１１９ 顧客識別情報入力部
１２０～１２２ 移動経路
２００ トラックヤード
３００ コンテナ
４００ ネットワーク
７００ 読取器
８０１ 地図画面
８０２ 操作画面
８１０ カーソル
１１６０ パレット情報
Ｉｄ 識別情報
Ｉｍ 全天球画像
Ｉｖ 終了画像
Ｍｖ 撮影動画
Ｍｖ１ 第１の撮影動画
Ｍｖ２ 第２の撮影動画
Ｍｖ０－１、Ｍｖ０－２ 動画
Ｍｖ０ 動画
Ｐｏ 位置情報
Ｐｐ 移動開始位置情報
Ｐｔ 現在位置情報
ｔ１ 画像時刻
ｔ２ 動画時刻
ｔ３ 読取時刻
Ｔ１ 第１時刻情報
Ｔ２ 第２時刻情報
【先行技術文献】
【特許文献】
【0182】
【特許文献1】特開２０２２－１３００３２号公報
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】