特開 2023-178749 情報処理装置、情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178749

(43)【公開日】2023-12-18

(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/521 20170101AFI20231211BHJP

   G06T 7/593 20170101ALI20231211BHJP

   B65G 1/137 20060101ALI20231211BHJP

   G06Q 50/28 20120101ALI20231211BHJP

【ＦＩ】

G06T7/521

G06T7/593

B65G1/137 B

G06Q50/28

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022091615

(22)【出願日】2022-06-06

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】上野 悟己

(72)【発明者】

【氏名】青木 教之

(72)【発明者】

【氏名】高岡 真則

(72)【発明者】

【氏名】河野 研二

(72)【発明者】

【氏名】安達 ゆり

(72)【発明者】

【氏名】大田 有紀

【テーマコード（参考）】

3F522

5L049

5L096

【Ｆターム（参考）】

3F522AA10

3F522BB01

3F522CC20

3F522DD03

3F522FF02

3F522FF27

3F522FF37

3F522GG07

3F522LL11

5L049CC51

5L096AA02

5L096AA06

5L096AA09

5L096DA01

5L096DA03

5L096EA05

5L096EA33

5L096FA59

5L096FA64

5L096FA69

5L096GA19

5L096GA51

(57)【要約】

【課題】積載空間における監視領域を効率よく設定することが可能な情報処理装置を提供すること。
【解決手段】本開示にかかる情報処理装置１は、積載空間を有する積載部に関するデータを取得する取得部１１と、データに基づいて、積載部の形状を特定する特定部１２と、特定された形状に基づいて、積載空間内における監視領域を設定する設定部１３と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

積載空間を有する積載部に関するデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を備える
情報処理装置。

【請求項2】

前記データは、前記積載部を所定の方向から撮影して得られた点群データであり、
前記特定部は、前記点群データに基づいて、前記積載部における所定領域の形状を示す形状情報を取得し、前記形状情報と、前記形状情報に対応する積載部の形状が予め登録された登録情報と、に基づいて、前記積載部の形状を特定する
請求項１に記載の情報処理装置。

【請求項3】

前記所定領域は、前記積載部に設けられた開口部であり、
前記特定部は、前記開口部が有する頂点を抽出し、前記頂点に基づいて前記開口部の形状情報を取得する
請求項２に記載の情報処理装置。

【請求項4】

前記所定領域は、前記積載部の内壁面であり、
前記特定部は、前記内壁面が有する頂点を抽出し、前記頂点に基づいて前記内壁面の形状情報を取得する
請求項２又は３に記載の情報処理装置。

【請求項5】

前記監視領域内を撮影して得られた点群データを取得し、当該点群データの時間変化に基づいて、前記監視領域内における積載物の積載状況を把握する把握部をさらに備える
請求項１又は２に記載の情報処理装置。

【請求項6】

前記積載状況は、積載物の重量に関する情報を含み、
前記設定部は、前記把握部において積載物の重量が所定値以上変化したことが把握された場合、前記監視領域の位置を補正する
請求項５に記載の情報処理装置。

【請求項7】

前記積載部は車両に設けられており、
前記特定部は、積載物の積卸しが行われる前記車両の停車位置に対応付けられた前記データに基づいて、前記積載部の形状を特定する
請求項１又は２に記載の情報処理装置。

【請求項8】

積載空間を有する積載部を所定の方向から撮影する撮影部と、
情報処理装置と、を備え、
前記情報処理装置は、
前記撮影部で得られたデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を有する
情報処理システム。

【請求項9】

コンピュータが、
積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、を実行する
情報処理方法。

【請求項10】

積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、をコンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

物流業界では、トラックコンテナの積載状況や倉庫内の在庫状況をデジタル化し、見える化するための取り組みが進められている。

【0003】

関連する技術として、特許文献１は、３Ｄセンサを用いて、計測対象物が積載される監視領域に存在する点群を取得し、監視領域を分割したボクセルのうち、所定数以上の点群が存在するボクセルの数に基づいて積載容積率を算出する積載容積率計測装置を開示する。

【0004】

また、関連する別の技術として、特許文献２は、超音波センサや赤外線カメラなどを用いてトラック荷室内の荷物の量に関する情報を取得し、当該情報を運転室に無線送信する情報取得システムを開示する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２１－０５６７６５号公報

【特許文献2】特開２０２１－００２７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１が開示する技術では、３次元点群データの中からトラックコンテナ位置を目視で確認して、積載監視領域を手動で設定する必要がある。倉庫に到着するトラックの積載量を逐次算出する際、倉庫の固定位置に停車し、毎回同じ大きさ（縦、横、及び奥行き）のトラックコンテナが到着するという条件であれば、初回の手動設定だけで運用が可能である。しかしながら、物流現場においては、停車位置が多少ずれたり、異なる大きさのトラックコンテナが到着したりすることが想定される。積載量を適切に算出するためには、トラックが停車する都度、担当者が積載監視領域を手動で設定する手間がある。そのため、作業効率が低下するおそれがある。

【0007】

また、特許文献２では、荷物の量に関する情報を取得するための具体的な手段については示されていない。

【0008】

本開示の目的は、上述した課題を鑑み、積載空間における監視領域を効率よく設定することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供する
ことにある。

【課題を解決するための手段】

【0009】

本開示にかかる情報処理装置は、
積載空間を有する積載部に関するデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を備えるものである。

【0010】

本開示にかかる情報処理システムは、
積載空間を有する積載部を所定の方向から撮影する撮影部と、
情報処理装置と、を備え、
前記情報処理装置は、
前記撮影部で得られたデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を有するものである。

【0011】

本開示にかかる情報処理方法は、
コンピュータが、
積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、を実行するものである。

【0012】

本開示にかかるプログラムは、
積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、をコンピュータに実行させるものである。

【発明の効果】

【0013】

本開示にかかる情報処理装置、情報処理システム、情報処理方法及びプログラムは、積載空間における監視領域を効率よく設定することを可能とする。

【図面の簡単な説明】

【0014】

【図1】実施形態１にかかる情報処理装置の構成を示すブロック図である。

【図2】実施形態２にかかる情報処理装置が行う処理を示すフローチャートである。

【図3】実施形態２にかかる情報処理システムの構成を示す図である。

【図4】実施形態２にかかるコンテナの構成を示す図である。

【図5】実施形態２にかかる情報処理装置の構成を示すブロック図である。

【図6】実施形態２にかかるコンテナの探索領域を示す図である。

【図7】実施形態２にかかる撮影データの一例を示す図である。

【図8】実施形態２にかかる基準点探索部において基準点を検出した結果を示す図である。

【図9】実施形態２にかかる監視領域設定部が設定する監視領域の一例を示す図である。

【図10】実施形態２にかかる情報処理装置が行う処理を示すフローチャートである。

【図11】実施形態３にかかる情報処理システムの構成を示す図である。

【図12】実施形態３にかかるコンテナの構成を示す図である。

【図13】実施形態３にかかる撮影データの一例を示す図である。

【図14】実施形態３にかかる基準点探索部において基準点を検出した結果を示す図である。

【図15】実施形態３にかかる監視領域設定部が設定する監視領域の一例を示す図である。

【図16】実施形態にかかる情報処理装置等を実現するコンピュータのハードウエア構成を例示するブロック図である。

【発明を実施するための形態】

【0015】

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されている。説明の明確化のため、必要に応じて重複説明は省略される。

【0016】

＜実施形態１＞
図１を参照して、実施形態１について説明する。図１は、本実施形態にかかる情報処理装置１の構成を示すブロック図である。

【0017】

図１に示されるように、情報処理装置１は、取得部１１、特定部１２、及び設定部１３を備えている。取得部１１は、積載物を収容する積載部に関するデータを取得する。特定部１２は、取得部１１において取得されたデータに基づいて、積載部の形状を特定する。設定部１３は、特定部１２において特定された形状に基づいて、積載空間内における監視領域を設定する。

【0018】

続いて、図２を参照して、本実施形態にかかる情報処理装置１が行う処理を説明する。図２は、情報処理装置１が行う処理を示すフローチャートである。取得部１１は、積載部に関するデータを取得する（Ｓ１０１）。特定部１２は、取得部１１において取得されたデータに基づいて、積載部の形状を特定する（Ｓ１０２）。設定部１３は、特定部１２において特定された形状に基づいて、積載空間内における監視領域を設定する（Ｓ１０３）。

【0019】

このような構成を備えることで、本実施形態にかかる情報処理装置１は、積載空間における監視領域を効率よく設定することができる。

【0020】

＜実施形態２＞
（情報処理システム１０００の構成）
続いて、図３を参照して、実施形態２について説明する。実施形態２は、上述した実施形態１の具体例である。図３は、本実施形態にかかる情報処理システム１０００の構成を示す図である。

【0021】

図３に示されるように、情報処理システム１０００は、情報処理装置２００及びセンサ１０を備えている。情報処理装置２００及びセンサ１０は、ネットワークＮを介して接続されている。ネットワークＮは、有線又は無線の通信回線である。

【0022】

情報処理システム１０００は、情報処理装置２００が、センサ１０で取得された撮影データを用いて所定の情報処理を行うことで、積載空間における監視領域を設定することが可能な情報処理システムである。監視領域は、情報処理システム１０００において、積載物の積載状況を監視する対象の領域である。

【0023】

情報処理装置２００は、３Ｄセンサ等で構成されるセンサ１０において撮影した３次元点群データから、コンテナ５０における積載量を算出するための監視領域を自動検出して設定する。情報処理装置２００は、監視領域の積載量を計測するソリューションである。

【0024】

（コンテナ５０の構成）
コンテナ５０は、荷物３０を積載するための積載空間を有している。ここで、図４を参照して、コンテナ５０の構成について説明する。図４は、コンテナ５０の構成を示す図である。実際には、コンテナ５０のフレーム（柱、梁など）や扉の厚みも存在するが、簡易図のため、図４では図示を省略している。以降の図面についても同様である。

【0025】

なお、図４及びその他の図面に示した右手系ｘｙｚ座標は、構成要素の位置関係を説明するための便宜的なものである。通常、ｚ軸プラス向きが鉛直上向き、ｘｙ平面が水平面であり、図面間で共通である。

【0026】

ｘ軸方向は、トラック４０及びコンテナ５０の幅方向を示している。また、ｙ軸方向は、トラック４０の前後方向を示している。ｙ軸正方向側がトラック４０の前方である。また、z軸方向は、トラック４０及びコンテナ５０の高さ方向である。本実施形態では、コンテナ５０は、全体として略直方体状の形状を有している。コンテナ５０の形状はこれに限られない。

【0027】

コンテナ５０は、開口部５１、扉部５２、長手方向側壁部５３、短手方向側壁部５４、床部５５、及び天井部５６を備えている。

【0028】

床部５５と天井部５６とは対向している。また、開口部５１は、長手方向の端部に設けられている。開口部５１は、短手方向側壁部５４と対向する位置にある。開口部５１は、荷物３０の積卸しを行うための積卸し口として用いられる。開口部５１には、一対の扉部５２が設けられている。一対の扉部５２が閉じられた場合、扉部５２と短手方向側壁部５４とは、対向する位置にある。短手方向側壁部５４は、トラック４０の運転席側に位置している。一対の長手方向側壁部５３は、床部５５から天井部５６に向かって略垂直に延びている。

【0029】

コンテナ５０の形状はこれに限られない。例えば、コンテナ５０は、一対の長手方向側壁部５３の下部が傾斜して形成された立体形状などであってもよい。例えば、コンテナ５０の長手方向又は短手方向の断面が長方形以外の多角形であってもよい。また、図では扉部５２は、観音扉の構成であるが、扉部５２はウィング型コンテナのような、横開きの扉でもよい。

【0030】

（センサ１０の構成）
センサ１０は、積載空間を有する積載部を所定の方向から撮影する。積載部は、トラック４０が備えるコンテナ５０である。センサ１０は、例えば、トラックバースなどに設置され得る。

【0031】

センサ１０は、画角に侵入してきたトラック４０のコンテナ５０を撮影する。コンテナ５０が直方体である場合、センサ１０は、トラック４０の手前側の表面を含む範囲を撮影する。例えば、扉部５２が閉められている場合、センサ１０は、扉部５２の表面を含む範囲を撮影する。また扉部５２が開けられている場合、センサ１０は、開口部５１を含む範囲を撮影する。

【0032】

図４に示されるように、センサ１０は、例えば、コンテナ５０の開口部５１側の上方付近に設置されている。センサ１０は、コンテナ５０内に積載された荷物３０をコンテナの開口部５１側の上方から撮影する。センサ１０は、撮影した画像から３次元点群データを作成することが可能な３Ｄセンサである。センサ１０は、例えばＴｏＦ（Time-of-Flight）カメラである。センサ１０は、ステレオカメラ、３Ｄ－ｌｉｄａｒ（ＬｉＤＡＲ（Light Detection and Ranging）、またはＬＩＤＡＲ（Laser Imaging Detection and Ranging））などであってもよい。

【0033】

なお、図４では、センサ１０は、開口部５１側から撮影しているが、これに限られない。例えば、コンテナ５０がウィング型コンテナの様な横開きの扉を有するような場合、センサ１０は、コンテナ５０を長手方向側壁部５３側から撮影してもよい。

【0034】

センサ１０は、複数設けられてもよい。例えば、センサ１０として、３Ｄセンサと、ＲＧＢカメラなどと、を併用してもよい。

【0035】

センサ１０は、所定の方向からコンテナ５０の積載空間を含む範囲を撮影し、３次元点群データを含む撮影データ１００を取得する。撮影データ１００は、少なくとも３次元の位置座標（ｘ，ｙ，ｚ）を含む。なお、撮影データ１００は、色情報（Ｒ，Ｇ，Ｂ）を含んでもよい。また撮影データ１００は、センサ１０において用いられるレーザ光の反射強度などの情報を含んでもよい。センサ１０は、撮影データ１００を情報処理装置２００に出力する。

【0036】

コンテナ５０は、積載の対象となる積載物を収容可能な積載空間を有している。コンテナ５０は、積載空間を有する積載部の一例である。本実施形態では、積載部の一例としてコンテナ５０を用いて説明を行うが、これに限られない。積載部として、種々の形態の物品が用いられ得る。例えば、積載部は、倉庫の棚、又は荷物を梱包する梱包箱などであってもよい。したがって、情報処理システム１０００は、倉庫の棚に出し入れされる荷物の監視時や、梱包箱に積み下ろしされる荷物の監視時において用いられ得る。

【0037】

また本実施形態では、積載物として、トラック４０で運搬される荷物３０を用いて説明を行う。積載物は、積載部が収容する物品等に応じて適宜変更されてよい。

【0038】

（情報処理装置２００の構成）
続いて、図５を参照して、本実施形態にかかる情報処理装置２００の構成について説明する。図５は、情報処理装置２００の構成を示すブロック図である。情報処理装置２００は、上述した情報処理装置１の一例である。

【0039】

図５に示される実線矢印は、情報の流れを端的に示したものである。当該情報は、例えばデータ又は信号などである。また、図５に示される破線矢印は、指示の流れを端的に示したものである。当該指示は、例えば操作指示又はパラメータ指示などである。なお、図５において、これらの矢印は一方向矢印を用いて示されているが、これにより情報の双方
向性が排除されるものではない。

【0040】

情報処理装置２００は、センサ１０から撮影データ１００を取得し、撮影データ１００を用いて、積載領域への物体の積載量を算出し、可視化する情報処理装置である。情報処理装置２００は、例えば、ＰＣ（Personal Computer）等である。

【0041】

図５に示されるように、情報処理装置２００は、前処理部２１０、荷姿把握部２２０、結果出力部２３０、ユーザインタフェース部２４０、及び特定部２５０を備えている。

【0042】

情報処理装置２００は、センサ１０から取得した撮影データ１００に対し、図に示される各ブロックのそれぞれで処理を行う。撮影データ１００から各ブロックへのデータの流れがユーザインタフェース部２４０に到着するまでが１回の処理である。情報処理装置２００は、撮影シーンが更新される毎に、本ブロック図内で実施される処理を繰り返し実行する。

【0043】

前処理部２１０は、上述した取得部１１の一例である。前処理部２１０は、積載空間を有する積載部に関するデータを取得する。積載部に関するデータは、例えば、積載部を撮影することで得られる画像や、点群データなどであってよい。

【0044】

例えば、前処理部２１０は、積載部に関するデータとして、コンテナ５０を所定の方向から撮影して得られた撮影データ１００をセンサ１０から取得する。前処理部２１０は、コンテナ５０のみを撮影範囲に含む撮影データ１００を取得してもよいし、トラック４０全体を撮影範囲に含む撮影データ１００を取得してもよい。ここで、トラック４０全体とは、コンテナ５０及びトラック４０の両方を含む範囲を示している。なお、トラック４０全体のうち、一部が撮影されていなくともよい。

【0045】

本実施形態では、前処理部２１０は、コンテナ５０を撮影範囲に含む撮影データ１００を用いて説明を行うが、これに限られない。前処理部２１０は、コンテナ５０又はトラック４０等に記された番号、模様、又はＱＲコード（登録商標）などを積載部に関するデータとして取得してもよい。また前処理部２１０は、撮影データ１００以外から積載部に関するデータを取得してもよい。例えば、前処理部２１０は、トラック４０から光や無線、音等で伝達される情報を、積載部に関するデータとして取得してもよい。これらに限らず、積載部に関するデータとして、種々のデータが用いられ得る。前処理部２１０は、積載部に関するデータを複数種類取得してもよい。

【0046】

また、前処理部２１０は、センサ１０から撮影データ１００を取得し、撮影データ１００に対して前処理を行う。前処理部２１０は、情報処理装置２００において撮影データ１００を用いて処理を行うために、撮影データ１００を整形する。

【0047】

前処理部２１０は、フォーマット変換部２１１及びノイズ除去部２１２を備えている。フォーマット変換部２１１は、３Ｄセンサ毎に異なるデータフォーマットを共通フォーマットに変換する。ノイズ除去部２１２は、以降の処理において不要な３次元点群データについて、フィルタリングや外れ値除去を用いて除外する。

【0048】

特定部２５０は、上述した特定部１２の一例である。特定部２５０は、撮影データ１００に基づいて、積載部であるコンテナ５０の形状を特定する。

【0049】

物流業界において用いられるコンテナには、メーカ毎、あるいはメーカ横断で規格が設けられている。さらに、物流業者によっては、利用するトラック車両が限定されることも多い。特定部２５０は、このような事情を利用して、コンテナ５０の形状を特定する。

【0050】

以下で詳述するように、特定部２５０は、撮影データ１００に基づいて、コンテナ５０における所定領域の形状を示す形状情報を取得する。所定領域は、例えば、コンテナ５０に設けられた開口部５１である。特定部２５０は、例えば開口部５１が有する頂点を抽出し、頂点に基づいて開口部５１の形状情報を取得する。

【0051】

また特定部２５０は、開口部５１の形状情報と、当該形状情報に対応するコンテナ５０の形状が予め登録された登録情報と、に基づいて、コンテナ５０の形状を特定する。登録情報は、後述するコンテナサイズデータベース(以下、コンテナサイズＤＢと称する）２５６に格納されている。

【0052】

上記に限らず、特定部２５０は、他の方法を用いてコンテナ５０の形状を特定してもよい。例えば、特定部２５０は、撮影データ１００から、形状情報に代えて、又は形状情報と共に、形状情報以外の情報を取得する。

【0053】

例えば特定部２５０は、コンテナ５０又はトラック４０等に記された番号、模様、又はＱＲコード（登録商標）などを撮影データ１００から取得し、これらの一部又は全部に基づいて、コンテナ５０の形状を特定してもよい。また特定部２５０は、撮影データ１００以外の情報を用いてコンテナ５０の形状を特定してもよい。例えば、特定部２５０は、トラック４０から光や無線、音等で伝達される情報に基づいて、コンテナ５０の形状を特定してもよい。

【0054】

これらに限らず、特定部２５０は、前処理部２１０で取得された、積載部に関するデータに応じて、コンテナ５０の形状を特定する。特定部２５０は、積載部に関するデータを複数種類組み合わせて、コンテナ５０の形状を特定してもよい。

【0055】

特定部２５０は、探索領域設定部２５１、点群抽出部２５２、基準点探索部２５３、サイズ照会部２５４、及びコンテナサイズＤＢ２５６を備えている。

【0056】

探索領域設定部２５１は、コンテナ５０を探索する対象である探索領域を設定する。探索領域は、センサ１０における撮影範囲内の特定の領域でもよいし、全域でも構わない。探索領域設定部２５１は、操作部２４１においてユーザからの入力を受け付けて、コンテナ探索領域を予め設定してもよい。探索領域設定部２５１は、探索領域２０をトラックバース７と対応付けて、図示しない記憶部に記憶してもよい。

【0057】

ここで、図６を参照して、コンテナの探索領域の一例について説明する。図６は、コンテナの探索領域２０を示す図である。図に示されるように、トラック４０は、トラックバース７に停車している。トラックバース７は、積載物の積卸しのために、トラック４０を停車させる位置である。

【0058】

探索領域設定部２５１は、探索領域２０に関する探索領域データを点群抽出部２５２に出力する。探索領域データは、例えば、探索領域２０を示す座標データなどであってよい。探索領域設定部２５１が探索領域２０を設定することで、情報処理装置２００は、撮影データ１００のうち、不要な情報をフィルタする。情報処理装置２００は、探索領域２０に含まれる範囲のデータを用いて後続の処理を行うことができる。これにより、後述する処理において、誤検出の防止や処理の高速化を実現できる。

【0059】

図５に戻り説明を続ける。点群抽出部２５２は、探索領域設定部２５１において設定された探索領域データを参照し、撮影データ１００のうち、探索領域２０内の点群を抽出する。

【0060】

基準点探索部２５３は、撮影データ１００に基づいて、コンテナ５０における所定領域の形状を示す形状情報を取得する。また、基準点探索部２５３は、撮影データ１００を用いて、監視領域を設定するために基準となる基準点を探索する。基準点は、上述した所定領域を識別するための点である。

【0061】

形状情報は、例えば、所定領域の頂点の位置を示す座標データを含み得る。また形状情報は、当該座標データから算出される、所定領域の各辺の長さの情報を含み得る。これに限らず、形状情報は種々の情報を含んでもよい。所定領域は、例えば、監視領域を設定するために用いられる基準となる平面である。

【0062】

本実施形態では、所定領域として、開口部５１を用いて説明を行う。基準点探索部２５３は、撮影データ１００の点群内から、監視領域を設定するための開口部５１の四隅を探索する。

【0063】

例えば、基準点探索部２５３は、探索により得られた開口部５１の４つの頂点の座標を示す座標データを取得する。基準点探索部２５３は、当該座標から開口部５１の各辺の長さを算出する。これにより、基準点探索部２５３は、開口部５１の縦方向の長さ及び横方向の長さを形状情報として取得する。これにより、後述するサイズ照会部２５４において、コンテナサイズＤＢ２５６に格納される登録情報との照合を行うことができる。

【0064】

図７及び図８を参照して、基準点探索部２５３が行う処理について具体的に説明する。図７及び図８は、撮影データ１００を用いて基準点を探索する処理を説明する図である。

【0065】

図７は、撮影データ１００の一例を示す図である。撮影データ１００は、トラックバース７等に設置されたセンサ１０で取得された３次元点群データを含んでいる。図７は、図４に示されるセンサ１０が撮影した撮影データ１００を示す例である。なお、図７において、５０ａは補助線であり、撮影データ１００が示す点群ではない。また、上述したように、コンテナ５０のフレーム（柱、梁など）や扉部５２の厚みも存在するが、ここでは図示を省略している。

【0066】

図８は、基準点探索部２５３において基準点を検出した結果を示す図である。基準点探索部２５３は、撮影データ１００の中から、図中の丸印で示される４つの頂点６１ａ～６１ｄを検出する。頂点６１ａ～６１ｄは、センサ１０の手前側（ｙ軸負方向側）に位置する開口部５１を構成する。なお以下では、頂点６１ａ～６１ｄをまとめて、「四隅」と称して説明する場合がある。

【0067】

ここで、基準点探索部２５３において四隅を検出する方法について説明する。基準点探索部２５３は、以下で説明するような複数の検出方法からいずれかを選択して、開口部５１の四隅を検出することができる。なお、以下は一例であるので、基準点探索部２５３は他の方法を用いて四隅を検出してもよい。

【0068】

基準点探索部２５３は、撮影データ１００から凹多面体の最近接の凹面を認識することで、四隅を探索し、検出する。または、基準点探索部２５３は、凹多面体に代えて、撮影データ１００から穿孔多面体を認識してもよい。基準点探索部２５３は、撮影データ１００から穿孔多面体の最近接の穿孔部を認識することで、四隅を探索し、検出する。

【0069】

また、基準点探索部２５３は、コンテナ５０の凹面又は穿孔部の対角付近にある２点の内、最長となる組み合わせを識別してもよい。基準点探索部２５３は、当該２点から延び、かつ直角をなす４辺を開口部５１の外周辺として識別してもよい。

【0070】

さらに、基準点探索部２５３は、撮影データ１００から複数の線分を検出し、４辺の組み合わせでそれぞれが成す角が直角であるものを開口部５１の外周辺として識別してもよい。この場合、基準点探索部２５３は、必要に応じて、検出された線分を延長してもよい。

【0071】

また、センサ１０として、ＲＧＢ画像データと撮影データ１００を照応できる３Ｄセンサを利用するとする。この場合、基準点探索部２５３は、機械学習などのＡＩ（artificial intelligence）による２次元画像解析を用いて、四隅を特定してもよい。

【0072】

さらに、基準点探索部２５３は、四隅の点を直接識別するのではなく、４方の辺を検出することで四隅を成す点を特定してもよい。

【0073】

また、基準点探索部２５３は、反射強度の強いマーカーを四隅に貼付するなどの予備施策を用いて、四隅を特定してもよい。

【0074】

なお、基準点探索部２５３は、コンテナ５０の厚みを考慮して、四隅を検出してもよい。基準点探索部２５３は、コンテナ５０の四隅を線の交点としてではなく、内寸と外寸を区別して検出し、その内寸の四隅を採用してもよい。またオクルージョン等で内寸が検出できない場合は、後述するコンテナサイズＤＢ２５６に格納した外寸から内寸を決定してもよい。

【0075】

また上述では、四隅を特定する方法を説明したが、これに限られない。基準点探索部２５３は、コンテナ５０の四隅の情報を用いるパターンだけでなく、対角の二隅の情報を用いるパターンを用いてもよい。また、基準点探索部２５３は、ある辺の断辺を認識し、当該辺を予測し、当該辺が交わった交点からコンテナ５０の四隅を特定するパターンによって、コンテナ５０を認識してもよい。

【0076】

なお、上述の説明では、扉部５２が開放されている状態を前提としたが、情報処理装置２００は、撮影データ１００の反射強度を用いて、コンテナ５０の開閉状況を認識してもよい。

【0077】

また、探索領域設定部２５１において探索領域２０が設定されている場合、基準点探索部２５３は、探索領域２０内に存在する点群データに基づいて、四隅を検出してもよい。これにより、四隅を誤検出することを防止することができる。また、基準点探索部２５３における処理の高速化が実現できる。

【0078】

図５に戻り説明を続ける。サイズ照会部２５４は、基準点探索部２５３で取得された形状情報に基づいて、コンテナ５０の形状を特定する。形状情報は、検出された四隅に基づいて算出される開口部５１の寸法である。開口部５１の寸法は、開口部５１の縦の長さ及び横の長さで表され得る。

【0079】

サイズ照会部２５４は、形状情報と、形状情報に対応するコンテナの形状が予め登録されたコンテナサイズＤＢ２５６（登録情報）と、に基づいて、コンテナ５０の形状を特定する。まず、サイズ照会部２５４は、コンテナサイズＤＢ２５６を参照する。次に、サイズ照会部２５４は、コンテナサイズＤＢ２５６から、当該形状情報に適合するコンテナサイズを取得する。

【0080】

具体的には、サイズ照会部２５４は、四隅が成す直方体の寸法（高さ及び幅）を用いてコンテナサイズＤＢ２５６を検索し、適合するコンテナサイズ（高さ、幅、及び奥行き）を取得する。これにより、サイズ照会部２５４は、基準点探索部２５３での探索において取得された四隅が成す平面を起点とした直方体を特定することができる。当該直方体は、コンテナ５０全体の形状を示すものである。

【0081】

なお、サイズ照会部２５４は、誤差などを考慮して、適合するコンテナサイズを取得してよい。例えば、３Ｄセンサの特性によって、撮影データ１００は、測距誤差や雑音（外れ値）を内包する場合がある。そのため、撮影データ１００に基づく形状情報と、コンテナサイズＤＢ２５６上のコンテナサイズと、の間にずれが発生する場合がある。

【0082】

したがって、サイズ照会部２５４は、形状情報とコンテナサイズＤＢ２５６のコンテナサイズとが厳密に一致していない場合であっても、両者が一致するものと判定し、適合するコンテナサイズを取得する。これにより、ある程度の誤差が許容され得る。サイズ照会部２５４は、所定の閾値を用いて当該判定を行ってもよい。閾値は、固定であってもよいし、適宜変更されてもよい。または、サイズ照会部２５４は、コンテナサイズＤＢ２５６の情報に合致するように、撮影データ１００側を補正してもよい。

【0083】

なお、３Ｄセンサ１台を用いてコンテナ５０の縦の長さ及び横の長さを捉えるだけでなく、奥行きを捉えられる位置に、追加でもう１台以上の３Ｄセンサを設置するようにしてもよい。このようにすることで、情報処理装置２００は、複数の３Ｄセンサで撮影した撮影データ１００を利用してコンテナ５０の縦、横、及び奥行きを計測することができる。

【0084】

サイズ照会部２５４は、取得されたコンテナサイズを含む情報を監視領域設定部２２１に出力する。当該コンテナサイズは、監視領域設定部２２１において監視領域の設定のために用いられる。

【0085】

なお、上述の説明では、サイズ照会部２５４が開口部５１の形状情報を用いてコンテナ５０の形状を特定する例を用いたが、これに限られない。サイズ照会部２５４は、開口部５１の形状情報以外の情報と、その情報に対応するコンテナの形状と、に基づいてコンテナ５０の形状を特定してもよい。

【0086】

例えば、サイズ照会部２５４は、撮影データ１００に基づいて、コンテナ５０の形状そのものを特定してもよい。また、サイズ照会部２５４は、撮影データ１００に基づいて、トラック４０全体の形状を特定し、特定結果に基づいてコンテナ５０の形状を特定してもよい。

【0087】

また、サイズ照会部２５４は、コンテナ５０又はトラック４０等に記された番号、模様、又はＱＲコード（登録商標）に基づいてコンテナ５０の形状を特定してもよい。また、サイズ照会部２５４は、トラック４０から光や無線、音等で伝達される情報に基づいて、コンテナ５０の形状を特定してもよい。これらに限らず、サイズ照会部２５４は、前処理部２１０で取得された、積載部に関するデータに応じて、コンテナ５０の形状を特定することができる。

【0088】

コンテナサイズＤＢ２５６は、コンテナのサイズを示すコンテナサイズ情報を記憶するデータベースである。コンテナサイズＤＢ２５６は、例えば、コンテナを識別するコンテナＩＤと、予め登録された登録コンテナサイズと、を対応づけて記憶する。登録コンテナサイズは、コンテナの高さ、幅、及び奥行きを用いて表される。コンテナサイズ情報は、メーカなどの情報を含んでもよい。コンテナサイズＤＢ２５６は、情報処理システム１０００で用いられ得るコンテナのコンテナサイズを含む情報を用いて予め構築され得る。

【0089】

また、コンテナサイズＤＢ２５６は、サイズ照会部２５４の処理において必要な情報を記憶し得る。例えば、コンテナサイズＤＢ２５６は、コンテナＩＤと、コンテナ５０若しくはトラック４０等に記された番号、模様、又はＱＲコード（登録商標）と、を対応づけて記憶する。コンテナサイズＤＢ２５６は、コンテナＩＤと、トラック４０から光や無線、音等で伝達される情報と、を対応づけて記憶してもよい。トラック４０から光等で伝達される情報は、例えば、トラック４０又はコンテナ５０の型式などを示す情報であってよい。

【0090】

荷姿把握部２２０は、監視領域内における点群データを取得し、当該点群データの時間変化に基づいて、積載物の積載状況を把握する。荷姿把握部２２０は、監視領域設定部２２１、点群抽出部２２２、ボクセル化部２２３、及び配列処理部２２４を備えている。また荷姿把握部２２０は、配列データ群１１０を保管している。

【0091】

監視領域設定部２２１は、上述した設定部１３の一例である。監視領域設定部２２１は、特定部２５０で特定されたコンテナ５０の形状に基づいて、積載空間内における監視領域を設定する。本実施形態では、監視領域設定部２２１は、サイズ照会部２５４から取得した登録コンテナサイズに基づいて、コンテナ５０内で積載物を監視する対象である監視領域７０を設定する。

【0092】

図９は、監視領域設定部２２１が設定する監視領域７０の一例を示す図である。監視領域７０は、図に示される枠線内の領域である。このように監視領域７０を設定することで、荷姿把握部２２０は、監視領域７０に含まれる撮影データ１００を抽出し、抽出したデータを用いて、荷物３０の積載状況を把握することができる。

【0093】

図９に示される撮影データ１００ａは、監視領域７０のうち、センサ１０の撮影範囲に含まれる荷物３０の表面部分に対応する点群を示している。撮影データ１００ａよりも奥側（ｙ軸正方向側）は、手前側（ｙ軸負方向側）の荷物３０に遮蔽されてオクルージョン状態となっている。

【0094】

なお、監視領域設定部２２１は、センサ１０の特性を考慮して、監視領域７０を設定してもよい。例えば、３Ｄセンサの特定により、コンテナの壁面、床、又は天井などの付近では、レーザのマルチパスなどを原因とする測距誤差や雑音が発生しやすい。そのため、コンテナサイズＤＢ２５６において、コンテナの設計値上の内寸が登録されている場合には、それらの影響から、コンテナ５０内に荷物３０が存在しない場合でも、荷物３０の存在を誤検出してしまう場合がある。

【0095】

これを防ぐため、監視領域設定部２２１は、サイズ照会部２５４において取得された登録コンテナサイズ（コンテナサイズＤＢ２５６上のコンテナサイズ）よりも小さい領域を、監視領域７０として設定してもよい。

【0096】

監視領域設定部２２１は、測距誤差や雑音などを無視できる程度に、登録コンテナサイズよりも小さい領域を監視領域７０として設定する。このような調整機能を備えることで、監視領域設定部２２１は、より適切に監視領域７０を設定することができる。

【0097】

また、監視領域設定部２２１は、センサ側の特性だけでなく、トラック側の特性を考慮して、監視領域７０を設定してもよい。例えば、トラック４０がエアサスなどの機能を具備していない場合、荷物３０が積載される度に、トラック４０の車体が荷物の重量によって沈み込む。また、荷物３０が荷卸しされる度に車載重量が軽くなるため、トラック４０の車体が浮き上がる。そのため、荷積み又は荷卸しに応じて、監視領域設定部２２１において予め設定された監視領域７０よりも、コンテナ５０の位置が下方、又は上方に移動し、監視領域７０にずれが生じる。

【0098】

これを防ぐため、監視領域設定部２２１は、配列処理部２２４において積載物の重量が所定値以上変化したことが把握された場合、監視領域７０の位置を補正する。監視領域設定部２２１は、上述の自動設定を繰り返し実行することにより、監視領域７０の位置を再度設定することで、監視領域７０の位置を補正する。これにより上記のようなずれを解消することができる。

【0099】

また、監視領域設定部２２１は、荷積み又は荷卸しに応じてコンテナ５０の位置が変化したことを他の方法を用いて検出し、監視領域７０の位置を補正してもよい。例えば、監視領域設定部２２１は、地面から床部５５までの高さ、又は地面から天井部５６までの高さ、などを検出し、これらの高さの変化に応じて補正を行ってもよい。

【0100】

図５に戻り説明を続ける。点群抽出部２２２は、機能的には上述した点群抽出部２５２と共通でも構わない。点群抽出部２２２は、監視領域設定部２２１において設定された監視領域７０を参照し、撮影データ１００の内、監視領域７０に含まれる点群を抽出する。

【0101】

ボクセル化部２２３は、予め設定された長さの単位グリッドに分割されたボクセルを用いて、監視領域７０をボクセル化する。またボクセル化部２２３は、撮影データ１００をボクセルデータ化する。ボクセル化部２２３は、監視領域７０と対応する配列データ１１１に、荷物３０の有無に関する情報を格納する。

【0102】

なお、単位グリッドの長さとしては、情報処理システム１０００においてユーザが取り扱う最小の積載物よりも、十分に小さい長さを適宜採用することで、誤差を抑えることができる。これにより、荷姿把握部２２０は、それぞれのボクセルにおける点群データに基づいて積載状況を把握することができる。

【0103】

配列データ１１１は、監視領域７０と対応する配列データである。配列データ１１１は、荷物３０の有無に関する情報を格納する。配列データ群１１０は、配列処理部２２４に設定されたインターバル時間に応じて、配列データ１１１を格納したデータ群である。

【0104】

配列処理部２２４は、監視領域７０内における荷物３０の遮蔽部分を推定し、推定結果を用いて荷物３０の積載状況を把握する。配列処理部２２４は、予め設定したインターバル時間毎に、配列データ群１１０を用いてオクルージョン状態の部分を推定し、積載状況を計算する。配列処理部２２４は、計算結果として積載配列データ１１２を作成し、結果出力部２３０へ出力する。

【0105】

なお、配列処理部２２４は、予め設定されたインターバル時間に応じてだけでなく、荷物３０の積載状況が所定の条件を満たしたか否かを判定し、判定結果に応じて上述の処理を行ってもよい。配列処理部２２４は、積載状況の時間変化、例えば積載状況の増減がある閾値を超えた場合などに応じて、配列データ１１１を格納したり、オクルージョンを推定したりしてもよい。

【0106】

結果出力部２３０は、荷姿把握部２２０で把握された積載状況を出力する。結果出力部２３０は、例えば、ユーザに対して積載状況を報知する。ユーザは、例えば、トラック４０の運転者やトラック４０の管理者などであるが、これに限られない。結果出力部２３０は、積載状況に応じて、ユーザに対して警告を報知する。

【0107】

結果出力部２３０は、警告値範囲設定部２３１、積載占有率算出部２３２、及びボクセル可視化部２３３を備えている。結果出力部２３０は、これらの機能部での処理を介して、ユーザインタフェース部２４０上へ描画を行う。

【0108】

警告値範囲設定部２３１は、ユーザインタフェース部２４０の操作部２４１における操作に応じて、積載占有率算出部２３２に対して警告が必要な閾値を設定する。警告値範囲設定部２３１は、設定した閾値を積載占有率算出部２３２に通知する。

【0109】

警告が必要な閾値としては、単純な積載占有率の値が用いられ得る。例えば、警告値範囲設定部２３１は、「積載占有率９０％以上の場合、警告する」などのように、閾値を設定し得る。また、警告が必要な閾値として、急峻な増減を判定するための条件となる数値が用いられてもよい。例えば、警告値範囲設定部２３１は、「積載物前面に２ｍ以上の変化が発生した場合、警告する」などのように、判定条件となる数値及び状況を設定する。

【0110】

積載占有率算出部２３２は、積載配列データ１１２に基づいて、処理時点での積載占有率を算出し、積載占有率表示部２４２における表示を更新する。この際、積載占有率が、警告値範囲設定部２３１から通知された閾値の範囲内である場合、積載占有率算出部２３２は、警告表示を同時に実施する。

【0111】

ボクセル可視化部２３３は、積載配列データ１１２を点群表示部２４３にグリッド状に描画する。またボクセル可視化部２３３は、点群だけでは確認できないオクルージョン状態の部分の積載状況を可視化する。

【0112】

ユーザインタフェース部２４０は、操作部２４１、積載占有率表示部２４２、及び点群表示部２４３を備えている。ユーザインタフェース部２４０は、ユーザの操作を受け付ける入力インタフェースと、種々の情報を出力する出力インタフェースと、で構成され得る。例えば、ユーザインタフェース部２４０は、入力インタフェース及び出力インタフェースの機能を備えたタッチパネルなどであってもよい。なお、ユーザインタフェース部２４０はユーザへの入力インタフェース及び出力インタフェースではなく、外部システムへのインタフェースであってもよい。

【0113】

操作部２４１は、ユーザからの操作を受け入れる機能である。操作部２４１は、監視領域設定部２２１への領域指示、ボクセル化部２２３へのボクセル辺の指示、配列処理部２２４への積載配列データ１１２の作成インターバル、及び警告値範囲設定部２３１への閾値設定を行う。また操作部２４１は、本構成機能における全体処理の開始及び終了を指示する。

【0114】

積載占有率表示部２４２は、積載占有率算出部２３２で算出された積載占有率を取得して表示する。

【0115】

点群表示部２４３は、前処理部２１０の処理を実施した撮影データ１００の他、ボクセル可視化部２３３で可視化された積載状況に関する情報を受け取り、監視領域７０における荷物３０の積載状況を表示する。

【0116】

（情報処理装置２００が行う処理）
続いて、図１０を参照して、情報処理装置２００が行う処理について説明する。図１０は、情報処理装置２００が行う処理を示すフローチャートである。ここでは、情報処理装置２００が行う全体の動作について説明する。実運用時は、ステップＳ３０１を一度実施した後、ステップＳ３０２～Ｓ３０８が繰り返し実行される状態を基本とする。

【0117】

まず、情報処理装置２００は、各種パラメータを指定する（Ｓ３０１）。情報処理装置２００は、例えば、ユーザ操作や設定ファイルの読み込みによる設定処理又は事前設定の反映を行うことで、必要なパラメータを指定する。情報処理装置２００は、例えば、探索領域２０の設定、ボクセルグリッド辺長の設定、積載量を確認するインターバル時間の設定、又は警告値の設定などを行う。

【0118】

センサ１０は、トラックバース７の定位置に停車したトラック４０のコンテナ５０内全域を含む全景をセンサ１０で撮影する。情報処理装置２００は、前処理部２１０において、センサ１０から撮影データ１００を取得する（Ｓ３０２）。前処理部２１０は、取得した撮影データ１００に対して前処理を実施する（Ｓ３０３）。例えば、前処理部２１０は、フォーマットの共通化やノイズ除去を行う。

【0119】

特定部２５０は、撮影データ１００と、コンテナサイズＤＢ２５６に予め登録された登録情報に基づいて、コンテナ５０の形状を特定する（Ｓ３０４）。例えば、特定部２５０は、撮影データ１００に基づいてコンテナ５０における開口部５１などの所定領域の形状を示す形状情報を取得する。特定部２５０は、例えば、上述した方法を用いて、開口部５１の四隅を検出し、検出した四隅から開口部５１の形状を特定する。これにより特定部２５０は、開口部５１の寸法を得る。特定部２５０は、開口部５１の形状と、コンテナサイズＤＢ２５６に登録済みの登録コンテナサイズと、に基づいて、コンテナ５０の積載空間の形状を特定する。

【0120】

続いて、監視領域設定部２２１は、監視領域７０を設定する（Ｓ３０５）。監視領域設定部２２１は、特定部２５０において特定されたコンテナ５０の形状に基づいて、コンテナ５０の積載空間内における監視領域７０を設定する。監視領域設定部２２１は、センサ１０の特性を考慮して、監視領域７０を設定してもよい。例えば、監視領域設定部２２１は、サイズ照会部２５４において取得された登録コンテナサイズ（コンテナサイズＤＢ２５６上のコンテナサイズ）よりも小さい領域を、監視領域７０として設定する。

【0121】

また、監視領域設定部２２１は、センサ側の特性だけでなく、トラック側の特性を考慮して、監視領域７０を設定してもよい。例えば、監視領域設定部２２１は、配列処理部２２４において積載物の重量が所定値以上変化したことが把握された場合、監視領域７０の位置を補正するようにしてもよい。これにより、監視領域設定部２２１は、積卸し時の車体の沈み込み又は浮き上がりにおける監視領域７０の位置のずれを解消することができる。

【0122】

荷姿把握部２２０は、撮影データ１００のうち、監視領域７０内に存在する点群データを用いて、監視領域７０内の荷物３０の荷姿を把握する（Ｓ３０６）。例えば、荷姿把握部２２０は、監視領域７０に存在する点群を抽出し、さらにボクセル化し、監視領域７０に対応する配列に積載有無を格納することで荷姿情報を配列データ１１１として保存する。

【0123】

また、荷姿把握部２２０は、規定の時間に応じた分の過去データを配列データ群１１０として蓄積する。荷姿把握部２２０は、配列の比較などを行うことで荷物３０のオクルージョン部分の補間を行う。これにより、荷姿把握部２２０は監視領域７０内の荷物３０の積載状況を把握する。

【0124】

また、他の補間処理として、荷物３０が急激に増加したような計測結果が得られた場合、荷姿把握部２２０は、データ自体の棄却、又は内部に蓄積した過去データとの多数決値の採用などを行ってもよい。また荷姿把握部２２０は、作業中の人間などの一時的な遮蔽物の映り込みを除外するなどの処理を行ってもよい。

【0125】

続いて、結果出力部２３０は、ステップＳ３０６で計算された荷姿情報に基づいて、積載占有率を計算する（Ｓ３０７）。結果出力部２３０は、積載占有体積や面積などを計算してもよい。

【0126】

結果出力部２３０は、計算結果をユーザインタフェース部２４０に出力する（Ｓ３０８）。この際、結果出力部２３０は、積載占有率の急峻な変化が認められる場合の警告を行ってもよい。また結果出力部２３０は、積載占有率がシステム外への通達が必要なレベルに達した場合の連絡、他のインタフェースを介して、他のシステムに対して情報を出力するようにしてもよい。

【0127】

情報処理装置２００は、積載占有率の監視を継続するか否かを判定する（Ｓ３０９）。監視を継続する場合（Ｓ３０９のＹＥＳ）、予め設定した時間（インターバル）の待機後、ステップＳ３０２に戻る。情報処理装置２００は、センサ１０におけるコンテナ５０の撮影（Ｓ３０２）から、以降の処理を繰り返す。また、業務時間終了などで監視を終了する場合（Ｓ３０９のＮＯ）、処理を停止する。

【0128】

なお、監視時におけるステップＳ３０９において、インターバル時間は可変であってもよい。例えば、ステップＳ３０８等で異常を検出した場合はインターバル時間を短くして、監視を強化してもよい。

【0129】

また、前処理部２１０等でノイズや誤差が多いと判断した場合は、インターバル時間を短くして正確なデータ取得に努めてもよい。また逆に、インターバル時間を長くしてノイズの影響を低減させたりしてもよい。また、外部システムとの連携でインターバル時間を決定してもよい。

【0130】

以上説明したように、本実施形態にかかる情報処理システム１０００では、情報処理装置２００において、積載空間を有する積載部を所定の方向から撮影して得られた点群データを取得する。また、情報処理装置２００は、点群データに基づいて、積載部の形状を特定する。そして、情報処理装置２００は、特定された形状に基づいて、積載空間内における監視領域を設定する。

【0131】

このようにすることで、コンテナの積載量を計測する際に、監視領域を効率よく設定することができる。これにより、監視するトラック毎に領域設定を手動で設定する必要がなくなり、定常監視が可能となる。また、物流現場に入出庫する多数のコンテナの積載量をリアルタイムで計測することができるので、物流作業等の進捗管理への活用が可能となる。これにより、監視領域の設定にかかるコストを削減し、かつ、高精度にコンテナを認識し、積載量を計測することができる。

【0132】

＜実施形態３＞
続いて、実施形態３について説明する。本実施形態は、実施形態２の変形例である。実施形態２では、センサ１０はコンテナ５０の外側から撮影を行い、情報処理装置２００は、開口部５１の四隅を検出することで開口部５１の形状を特定した。本実施形態では、センサ１０は、コンテナ５０の内側に設けられており、コンテナ５０の内壁に向かって撮影を行う。以下では実施形態２と異なる点を中心に説明し、重複する内容は適宜省略する。

【0133】

図１１は、本実施形態にかかる情報処理システム１０００ａの構成を示す図である。実施形態と同様、情報処理システム１０００ａは、情報処理装置２００及びセンサ１０を備えている。情報処理装置２００及びセンサ１０は、ネットワークＮを介して接続されている。センサ１０は、例えば３Ｄセンサである。ネットワークＮは、有線又は無線の通信回線である。なお、情報処理装置２００やコンテナ５０の構成は、上述したものと同様であるので図示を省略する。

【0134】

図１２は、本実施形態にかかるコンテナ５０の構成を示す図である。実施形態２と異なり、本実施形態では、センサ１０はコンテナ５０内に設けられている。なお、本実施形態では、コンテナ５０内に荷物３０の積載がない状態を前提とする。

【0135】

実施形態２のように、積載状況が異なる複数のトラックが立ち代わりセンサ１０の画角内に入ってくるケースとは異なり、本実施形態では、センサ１０の初期設置時を想定する。この場合、コンテナ５０の積載状況は空の状態（積載量＝０［％］）である。情報処理装置２００は、空の状態のコンテナ５０において、監視領域７０を自動的に設定する。以降、センサ１０が取り外されるまで、情報処理装置２００は監視領域７０の情報を保持し、積載量の増減の可視化のためにこれを利用する。

【0136】

図１２に示されるように、本実施形態では、センサ１０は、開口部５１部分を撮影することができない。よって、情報処理装置２００は、コンテナ５０の奥（運転席裏）にある短手方向側壁部５４の四隅の点を基に、実施形態２と同様にコンテナサイズＤＢ２５６等を探索し、適合する監視領域７０を自動的に設定する。なお、実施形態２と異なり、本実施形態では、センサ１０がコンテナ５０自体に設けられている。そのため、情報処理装置２００は、センサ１０が設置されるコンテナ５０を予め特定することができる。このような場合、情報処理装置２００は、コンテナ５０の形状を予め設定しておいてもよい。

【0137】

センサ１０は、例えば、コンテナ５０の天井部５６に設けられ得る。センサ１０は、長手方向側壁部５３の上方などに設けられてもよい。センサ１０は、コンテナ５０の内壁を撮影する。例えば、センサ１０は、短手方向側壁部５４に向かって撮影を行う。センサ１０は、短手方向側壁部５４の表面を撮影範囲に含む撮影データ１００を取得し、撮影データ１００を情報処理装置２００に出力する。

【0138】

前処理部２１０は、実施形態２と同様、前処理を行い、撮影データ１００を特定部２５０などに出力する。

【0139】

図１３は、本実施形態における撮影データ１００の一例を示す図である。なお、図１３において、５０ａは補助線であり、撮影データ１００が示す点群ではない。

【0140】

特定部２５０は、撮影データ１００に基づいて、コンテナ５０における所定領域の形状を示す形状情報を取得する。所定領域は、コンテナ５０の内壁面である。ここでは内壁面として、コンテナ５０内側における短手方向側壁部５４の表面を用いている。特定部２５０は、短手方向側壁部５４が有する頂点を抽出し、抽出された頂点に基づいて、短手方向側壁部５４の形状情報を取得する。コンテナ５０が空の状態で着車することが予め分かっている場合、このように、コンテナ５０の最奥の壁面を認識して、監視領域の設定に利用することができる。

【0141】

まず、基準点探索部２５３は、撮影データ１００を用いて、監視領域を設定するために基準となる基準点を探索する。基準点は、上述した所定領域を識別するための点である。実施形態２と同様にして、基準点探索部２５３は、撮影データ１００の点群内から、監視領域を設定するための短手方向側壁部５４の４つの頂点を、基準点として探索する。

【0142】

図１４は、基準点探索部２５３において基準点を検出した結果を示す図である。基準点探索部２５３は、撮影データ１００の中から、図中の丸印で示される４つの頂点６２ａ～６２ｄを検出する。

【0143】

頂点６２ａ～６２ｄは、センサ１０の奥側（ｙ軸正方向側）に位置する短手方向側壁部５４を構成する。なお以下では、頂点６２ａ～６２ｄをまとめて、「四隅」と称して説明する場合がある。

【0144】

基準点探索部２５３は、実施形態２と同様に、種々の方法を用いて、短手方向側壁部５４の四隅を検出し得る。例えば、基準点探索部２５３は、短手方向側壁部５４の四隅の点の内、対角付近にある２点の組み合わせで最長となる組を識別する。基準点探索部２５３は、その２点から延び、かつ長方形を成す４辺の交点を短手方向側壁部５４の四隅として識別する。

【0145】

また、基準点探索部２５３は、撮影データ１００から複数の線分を発見し、必要であれば線分を延長し、４辺の組み合わせで長方形を成すものの交点を、短手方向側壁部５４の四隅として識別する方法などを選択してもよい。

【0146】

四隅の成す平面内側が撮影データ１００的に虚である実施形態２とは異なり、本実施形態では、情報処理装置２００は、撮影データ１００を平面として取得することができる。そのため、基準点探索部２５３は、対角の二隅の点と、最奥の平面と、を利用して全四隅を特定してもよい。

【0147】

サイズ照会部２５４は、短手方向側壁部５４の形状情報と、コンテナサイズＤＢ２５６に登録された登録コンテナサイズと、に基づいて、コンテナ５０の形状を特定する。形状情報は、検出された四隅に基づいて算出される短手方向側壁部５４の寸法である。短手方向側壁部５４の寸法は、短手方向側壁部５４の縦の長さ及び横の長さで表され得る。

【0148】

実施形態２と同様にして、サイズ照会部２５４は、コンテナサイズＤＢ２５６を参照してコンテナ５０の形状を特定する。また、監視領域設定部２２１は、特定されたコンテナ５０の形状に基づいて監視領域７０を設定する。

【0149】

図１５は、本実施形態において監視領域設定部２２１が設定する監視領域７０の一例を示す図である。監視領域７０は、図に示される枠線内の領域である。これにより、荷姿把握部２２０において、監視領域７０に含まれる点群を抽出可能となるので、監視領域７０内の荷物３０の積載状況を把握することができる。

【0150】

その他の構成は実施形態２と同様であるので重複する説明を省略する。また、情報処理装置２００が行う処理については、図１０に示すフローチャートを用いて説明した処理と概ね同じであるので図示を省略する。実施形態２と異なる点については、以下のように処理を読み替えることで本実施形態にかかる処理を説明することができる。

【0151】

例えば、本実施形態では、ステップＳ３０２において、情報処理装置２００は、天井部５６に設置されたセンサ１０から撮影されたコンテナ５０内の撮影データ１００を取得する。またステップＳ３０４では、特定部２５０は、短手方向側壁部５４の形状と、コンテナサイズＤＢ２５６に登録済みの登録コンテナサイズと、に基づいて、コンテナ５０の積載空間の形状を特定する。

【0152】

以上説明したように、本実施形態にかかる情報処理システム１０００ａによれば、実施形態２と同様の効果を奏することができる。また、コンテナ５０内部に設けられたセンサ１０を用いることで、コンテナ５０の外部からだけでなく内部からもコンテナ５０を撮影し、撮影結果に基づいて、自動的に監視領域を設定することができる。

【0153】

なお、上述した実施形態において、図面に示される構成は一例に過ぎない。例えば、情報処理装置１、２００、情報処理システム１０００、１０００ａ、及びセンサ１０のそれぞれは、複数の構成が集約された装置などを用いて構成されてもよい。例えば、情報処理装置２００及びセンサ１０の機能が同一の装置に集約されていてもよい。また、例えば、情報処理装置２００における各機能部は、複数の装置などを用いて分散処理されてもよい。

【0154】

＜ハードウエアの構成例＞
情報処理装置１及び２００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置１等の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について説明する。

【0155】

図１６は、情報処理装置１等を実現するコンピュータ９００のハードウエア構成を例示するブロック図である。コンピュータ９００は、情報処理装置１等を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ９００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよい。

【0156】

例えば、コンピュータ９００に対して所定のアプリケーションをインストールすることにより、コンピュータ９００で、情報処理装置１等の各機能が実現される。上記アプリケーションは、情報処理装置１等の機能構成部を実現するためのプログラムで構成される。

【0157】

コンピュータ９００は、バス９０２、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２を有する。バス９０２は、プロセッサ９０４、メモリ９０６、ストレージデバイス９０８、入出力インタフェース９１０、及びネットワークインタフェース９１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ９０４などを互いに接続する方法は、バス接続に限定されない。

【0158】

プロセッサ９０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ９０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス９０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0159】

入出力インタフェース９１０は、コンピュータ９００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース９１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0160】

ネットワークインタフェース９１２は、コンピュータ９００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。

【0161】

ストレージデバイス９０８は、情報処理装置１等の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ９０４は、このプログラムをメモリ９０６に読み出して実行することで、情報処理装置１等の各機能構成部を実現する。

【0162】

プロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又はそれ以上のプログラムを実行する。このプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）又は実体のある記憶媒体（tangible storage medium）に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。

【0163】

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、情報処理装置２００は、ナンバープレートに記載された車両番号と、コンテナサイズと、の組み合わせたデータベースを予め構築しておき、当該データベースを利用してもよい。例えば、情報処理装置２００は、なんらかの方法でトラック４０の車両番号を特定し、当該車両番号を、データベースに登録された車両番号と照合することでコンテナ５０の形状を特定する。情報処理装置２００は、周知の画像認識技術などを用いて車両番号を特定してもよい。

【0164】

また、上述の実施形態では、登録コンテナサイズがコンテナサイズＤＢ２５６に格納される例を用いて説明したが、これに限られない。登録コンテナサイズは、データベースではなく、コンテナの寸法の組み合わせたのみの単純なリストを用いて情報処理装置２００に格納されても構わない。

【0165】

上述した実施形態は任意に組み合わせて実行可能である。例えば、実施形態２と実施形態３とを組み合わせて実施することができる。

【0166】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
積載空間を有する積載部に関するデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を備える
情報処理装置。
（付記２）
前記データは、前記積載部を所定の方向から撮影して得られた点群データであり、
前記特定部は、前記点群データに基づいて、前記積載部における所定領域の形状を示す形状情報を取得し、前記形状情報と、前記形状情報に対応する積載部の形状が予め登録された登録情報と、に基づいて、前記積載部の形状を特定する
付記１に記載の情報処理装置。
（付記３）
前記所定領域は、前記積載部に設けられた開口部であり、
前記特定部は、前記開口部が有する頂点を抽出し、前記頂点に基づいて前記開口部の形状情報を取得する
付記２に記載の情報処理装置。
（付記４）
前記所定領域は、前記積載部の内壁面であり、
前記特定部は、前記内壁面が有する頂点を抽出し、前記頂点に基づいて前記内壁面の形状情報を取得する
付記２又は３に記載の情報処理装置。
（付記５）
前記監視領域内における前記点群データを取得し、当該点群データの時間変化に基づいて、前記監視領域内における積載物の積載状況を把握する把握部をさらに備える
付記１～４のいずれか１項に記載の情報処理装置。
（付記６）
前記積載状況は、積載物の重量に関する情報を含み、
前記設定部は、前記把握部において積載物の重量が所定値以上変化したことが把握された場合、前記監視領域の位置を補正する
付記５に記載の情報処理装置。
（付記７）
前記把握部は、前記監視領域をボクセル化し、それぞれのボクセルにおける前記点群データに基づいて前記積載状況を把握する
付記５又は６に記載の情報処理装置。
（付記８）
前記把握部は、前記監視領域内における積載物の遮蔽部分を推定し、推定結果を用いて前記積載状況を把握する
付記５～７のいずれか１項に記載の情報処理装置。
（付記９）
前記積載状況を出力する出力部をさらに備える
付記５～７のいずれか１項に記載の情報処理装置。
（付記１０）
前記出力部は、前記積載状況に応じて警告を出力する
付記９に記載の情報処理装置。
（付記１１）
前記積載部は車両に設けられており、
前記特定部は、積載物の積卸しが行われる前記車両の停車位置に対応付けられた前記データに基づいて、前記積載部の形状を特定する
付記１～１０のいずれか１項に記載の情報処理装置。
（付記１２）
積載空間を有する積載部を所定の方向から撮影する撮影部と、
情報処理装置と、を備え、
前記情報処理装置は、
前記撮影部で得られたデータを取得する取得部と、
前記データに基づいて、前記積載部の形状を特定する特定部と、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定部と、を有する
情報処理システム。
（付記１３）
前記特定部は、前記点群データに基づいて、前記積載部における所定領域の形状を示す形状情報を取得し、前記形状情報と、前記形状情報に対応する積載部の形状が予め登録された登録情報と、に基づいて、前記積載部の形状を特定する
付記１２に記載の情報処理システム。
（付記１４）
コンピュータが、
積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、を実行する
情報処理方法。
（付記１５）
前記特定ステップでは、前記点群データに基づいて、前記積載部における所定領域の形状を示す形状情報を取得し、前記形状情報と、前記形状情報に対応する積載部の形状が予め登録された登録情報と、に基づいて、前記積載部の形状を特定する
付記１４に記載の情報処理方法。
（付記１６）
積載空間を有する積載部に関するデータを取得する取得ステップと、
前記データに基づいて、前記積載部の形状を特定する特定ステップと、
特定された前記形状に基づいて、前記積載空間内における監視領域を設定する設定ステップと、をコンピュータに実行させる
プログラム。
（付記１７）
前記特定ステップでは、前記点群データに基づいて、前記積載部における所定領域の形状を示す形状情報を取得し、前記形状情報と、前記形状情報に対応する積載部の形状が予め登録された登録情報と、に基づいて、前記積載部の形状を特定する
付記１６に記載のプログラム。

【符号の説明】

【0167】

１ 情報処理装置
７ トラックバース
１０ センサ
１１ 取得部
１２ 特定部
１３ 設定部
２０ 探索領域
３０ 荷物
４０ トラック
５０ コンテナ
５１ 開口部
５２ 扉部
５３ 長手方向側壁部
５４ 短手方向側壁部
５５ 床部
５６ 天井部
６１ａ～６２ｄ 頂点
７０ 監視領域
９０ 積載占有率
１００、１００ａ 撮影データ
１１０ 配列データ群
１１１ 配列データ
１１２ 積載配列データ
２００ 情報処理装置
２１０ 前処理部
２１１ フォーマット変換部
２１２ ノイズ除去部
２２０ 荷姿把握部
２２１ 監視領域設定部
２２２ 点群抽出部
２２３ ボクセル化部
２２４ 配列処理部
２３０ 結果出力部
２３１ 警告値範囲設定部
２３２ 積載占有率算出部
２３３ ボクセル可視化部
２４０ ユーザインタフェース部
２４１ 操作部
２４２ 積載占有率表示部
２４３ 点群表示部
２５０ 特定部
２５１ 探索領域設定部
２５２ 点群抽出部
２５３ 基準点探索部
２５４ サイズ照会部
２５６ コンテナサイズデータベース
９００ コンピュータ
９０２ バス
９０４ プロセッサ
９０６ メモリ
９０８ ストレージデバイス
９１０ 入出力インタフェース
９１２ ネットワークインタフェース
１０００、１０００ａ 情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】