特許 7191630 荷室監視システム及び荷室監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-09

(45)【発行日】2022-12-19

(54)【発明の名称】荷室監視システム及び荷室監視方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20221212BHJP

【ＦＩ】

G01B11/00 B

【請求項の数】 7

(21)【出願番号】P 2018192020

(22)【出願日】2018-10-10

(65)【公開番号】P2020060451

(43)【公開日】2020-04-16

【審査請求日】2021-09-01

(73)【特許権者】

【識別番号】000005463

【氏名又は名称】日野自動車株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100153040

【弁理士】

【氏名又は名称】川井 夏樹

(72)【発明者】

【氏名】大塚 絋平

(72)【発明者】

【氏名】梅村 幸生

【審査官】眞岩 久恵

(56)【参考文献】

【文献】独国特許発明第１０２００５００１４８０（ＤＥ，Ｂ３）

【文献】国際公開第２０１７／１７５３１２（ＷＯ，Ａ１）

【文献】特開２０１１－１４９９５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

荷室の内部の状態を監視する荷室監視システムであって、
前記荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得部と、
前記距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、前記床面の位置を示す情報である床面ボクセルを生成する生成部と、
前記荷室空間において前記センサから死角となる空間領域に補間ボクセルを生成する補間部と、
前記荷物ボクセル、前記補間ボクセル及び前記床面ボクセルに基づいて、前記荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定部と、
前記荷物領域情報及び前記空き床情報を出力する出力部と、
を備え、
前記補間ボクセルは、前記荷物ボクセルの鉛直下方における該荷物ボクセルから前記床面までの空間領域を占める荷物補間ボクセル、及び、前記荷物または前記センサの画角に起因して前記センサから死角となる床面の上の所定高さの空間領域を占める死角補間ボクセルを含み、
前記少なくとも２以上のセンサは、第１のセンサ及び第２のセンサを含み、
前記取得部は、前記第１のセンサにより取得された第１の距離画像及び前記第２のセンサにより取得された第２の距離画像を取得し、
前記推定部は、前記第１の距離画像に基づく前記荷物補間ボクセルである第１の荷物補間ボクセルと、前記第２の距離画像に基づく荷物ボクセルまたは床面ボクセルとが重複した場合に、当該重複位置には前記第１の荷物補間ボクセルが配置されるものとして、前記荷物領域情報及び前記空き床情報を推定する、
荷室監視システム。

【請求項2】

前記推定部は、前記第１の距離画像に基づく前記死角補間ボクセルである第１の死角補間ボクセルと、前記第２の距離画像に基づく前記荷物ボクセルまたは前記床面ボクセルとが重複した場合に、当該重複位置には前記第２の距離画像に基づく前記荷物ボクセルまたは前記床面ボクセルが配置されるものとして、前記荷物領域情報及び前記空き床情報を推定する、
請求項１に記載の荷室監視システム。

【請求項3】

前記推定部は、前記荷物ボクセル及び前記補間ボクセルに占められる容積情報、及び、前記荷物ボクセル及び前記補間ボクセルに占められる床面の面積情報の少なくともいずれか一方を、前記荷物領域情報として推定する、
請求項１または２に記載の荷室監視システム。

【請求項4】

前記推定部は、前記荷物ボクセル及び前記補間ボクセルにより占められていない床面の面積情報を、前記空き床情報として推定する、
請求項１～３のいずれか一項に記載の荷室監視システム。

【請求項5】

前記出力部は、前記荷室空間並びに前記荷物ボクセル、前記補間ボクセル及び床面ボクセルを視覚的に示す画像を、前記荷物領域情報及び前記空き床情報として出力する、
請求項１～４のいずれか一項に記載の荷室監視システム。

【請求項6】

荷室の内部の状態を監視する荷室監視システムにおける荷室監視方法であって、
前記荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得ステップと、
前記距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、前記床面の位置を示す情報である床面ボクセルを生成する生成ステップと、
前記荷室空間において前記センサから死角となる空間領域に補間ボクセルを生成する補間ステップと、
前記荷物ボクセル、前記補間ボクセル及び前記床面ボクセルに基づいて、前記荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定ステップと、
前記荷物領域情報及び前記空き床情報を出力する出力ステップと、を有し、
前記補間ボクセルは、前記荷物ボクセルの鉛直下方における該荷物ボクセルから前記床面までの空間領域を占める荷物補間ボクセル、及び、前記荷物または前記センサの画角に起因して前記センサから死角となる床面の上の所定高さの空間領域を占める死角補間ボクセルを含み、
前記少なくとも２以上のセンサは、第１のセンサ及び第２のセンサを含み、
前記取得ステップにおいて、前記第１のセンサにより取得された第１の距離画像及び前記第２のセンサにより取得された第２の距離画像を取得し、
前記推定ステップにおいて、前記第１の距離画像に基づく前記荷物補間ボクセルである第１の荷物補間ボクセルと、前記第２の距離画像に基づく荷物ボクセルまたは床面ボクセルとが重複した場合に、当該重複位置には前記第１の荷物補間ボクセルが配置されるものとして、前記荷物領域情報及び前記空き床情報を推定する、
荷室監視方法。

【請求項7】

コンピュータを、荷室の内部の状態を監視する荷室監視システムとして機能させるための荷室監視プログラムであって、
前記コンピュータに、
前記荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得機能と、
前記距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、前記床面の位置を示す情報である床面ボクセルを生成する生成機能と、
前記荷室空間において前記センサから死角となる空間領域に補間ボクセルを生成する補間機能と、
前記荷物ボクセル、前記補間ボクセル及び前記床面ボクセルに基づいて、前記荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定機能と、
前記荷物領域情報及び前記空き床情報を出力する出力機能と、を実現させ、
前記補間ボクセルは、前記荷物ボクセルの鉛直下方における該荷物ボクセルから前記床面までの空間領域を占める荷物補間ボクセル、及び、前記荷物または前記センサの画角に起因して前記センサから死角となる床面の上の所定高さの空間領域を占める死角補間ボクセルを含み、
前記少なくとも２以上のセンサは、第１のセンサ及び第２のセンサを含み、
前記取得機能は、前記第１のセンサにより取得された第１の距離画像及び前記第２のセンサにより取得された第２の距離画像を取得し、
前記推定機能は、前記第１の距離画像に基づく前記荷物補間ボクセルである第１の荷物補間ボクセルと、前記第２の距離画像に基づく荷物ボクセルまたは床面ボクセルとが重複した場合に、当該重複位置には前記第１の荷物補間ボクセルが配置されるものとして、前記荷物領域情報及び前記空き床情報を推定する、
荷室監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷室監視システム及び荷室監視方法及びに関する。

【背景技術】

【0002】

車両による物流の効率化のために、車両の荷室の積荷の状態を的確に把握することが求められており、特に、荷物の容量及び荷物が置かれていない床面である空き床の床面積を把握することが求められている。例えば、荷室内の状況を視覚的に認識するために、光学的カメラを荷室内に設けて、荷室内の画像を取得することが行われている。また、３次元計測センサを３台用いて計測対象の体積を計測する技術が知られている。（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－２４７８０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の光学的カメラにより画像を取得する方法では、荷室内の荷物の容量及び空き床面積を正確に把握することはできなかった。また、特許文献１に記載された技術を適用して、荷室内に計測センサを設けて荷物の体積を計測する場合には、多くのセンサが必要とされるので、その計測は煩雑であり、計測のためのコストが嵩んでいた。一方、物流の効率化のために、荷物の正確な体積を把握することも必要であるが、荷物が積まれた荷室にどの程度の荷物をさらに積むことができるかを的確且つ容易に把握することも求められている。

【0005】

そこで本発明は、荷室内の積荷の状態を的確に把握すること、特に、荷室において荷物に占められる空間領域を的確に把握することにより、さらに荷物を配するための床面の空き状況を把握することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一形態に係る荷室監視システムは、荷室の内部の状態を監視する荷室監視システムであって、荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得部と、距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、床面の位置を示す情報である床面ボクセルを生成する生成部と、荷室空間においてセンサから死角となる空間領域に補間ボクセルを生成する補間部と、荷物ボクセル、補間ボクセル及び床面ボクセルに基づいて、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定部と、荷物領域情報及び空き床情報を出力する出力部と、を備える。

【0007】

本発明の一形態に係る荷室監視方法は、荷室の内部の状態を監視する荷室監視システムにおける荷室監視方法であって、荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得ステップと、距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、床面の位置を示す情報である床面ボクセルを生成する生成ステップと、荷室空間においてセンサから死角となる空間領域に補間ボクセルを生成する補間ステップと、荷物ボクセル、補間ボクセル及び床面ボクセルに基づいて、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定ステップと、荷物領域情報及び空き床情報を出力する出力ステップと、を有する。

【0008】

本発明の一形態に係る荷室監視プログラムは、コンピュータを、荷室の内部の状態を監視する荷室監視システムとして機能させるための荷室監視プログラムであって、コンピュータに、荷室内の下面を構成する床面以外に設けられた少なくとも２以上のセンサのそれぞれにより取得された距離画像を取得する取得機能と、距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、床面の位置を示す情報である床面ボクセルを生成する生成機能と、荷室空間においてセンサから死角となる空間領域に補間ボクセルを生成する補間機能と、荷物ボクセル、補間ボクセル及び床面ボクセルに基づいて、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する推定機能と、荷物領域情報及び空き床情報を出力する出力機能と、を実現させる。

【0009】

上記の形態によれば、距離画像に基づいて、荷物表面の位置を示す情報である荷物ボクセルが得られる。また、荷物ボクセル及びセンサの死角を示す情報等に基づいて、実質的に荷物を置くことができない可能性のある空間領域を示す補間ボクセルを得ることができるので、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報を得ることができる。従って、さらに荷物を配置可能な床面を示す空き床情報を出力することが可能となる。

【0010】

別の形態に係る荷室監視システムでは、補間ボクセルは、荷物ボクセルの鉛直下方の、該荷物ボクセルから床面までの空間領域を占める荷物補間ボクセルを含むこととしてもよい。

【0011】

荷物の形状に起因して荷物の上面の下方に荷物に占められていない空間があったとしても、その空間には、さらに荷物を配することができない。上記形態によれば、このような、荷物を配することができない空間領域を実質的に荷物に占められている空間領域として扱うこととして荷物補間ボクセルが生成されるので、荷物を配するための床面の空き状況を適切に把握できる。

【0012】

別の形態に係る荷室監視システムでは、少なくとも２以上のセンサは、第１のセンサ及び第２のセンサを含み、取得部は、第１のセンサにより取得された第１の距離画像及び第２のセンサにより取得された第２の距離画像を取得し、推定部は、第１の距離画像に基づく荷物補間ボクセルである第１の荷物補間ボクセルと、第２の距離画像に基づく荷物ボクセルまたは床面ボクセルとが重複した場合に、当該重複位置には第１の荷物補間ボクセルが配置されるものとして、荷物領域情報及び空き床情報を推定することとしてもよい。

【0013】

荷物補間ボクセルが生成された空間領域は、さらに荷物を配することができない領域である。上記形態によれば、第２の距離画像に基づく荷物ボクセルまたは床面ボクセルが生成された空間領域であっても、その空間領域において第１の距離画像に基づく荷物補間ボクセルと重複する場合には、その空間領域は、荷物を配することができない領域であるので、荷物補間ベクトルが配置されるものとして扱われる。従って、荷物を配するための床面の空き状況を適切に把握できる。

【0014】

別の形態に係る荷室監視システムでは、補間ボクセルは、荷物またはセンサの画角に起因してセンサから死角となる床面の上の所定高さの空間領域を占める死角補間ボクセルを含むこととしてもよい。

【0015】

センサの死角となる床面には、荷物が置かれている可能性があるので、死角となる床面をさらに荷物を配することができる床面として扱うことは不適切である。上記形態によれば、センサの死角となる床面の上の所定高さの空間領域を実質的に荷物に占められている空間領域として扱うこととして、死角補間ボクセルが生成されるので、荷物を配するための床面の空き状況を適切に把握できる。

【0016】

別の形態に係る荷室監視システムでは、推定部は、第１の距離画像に基づく死角補間ボクセルである第１の死角補間ボクセルと、第２の距離画像に基づく荷物ボクセルまたは床面ボクセルとが重複した場合に、当該重複位置には第２の距離画像に基づく荷物ボクセルまたは床面ボクセルが配置されるものとして、荷物領域情報及び空き床情報を推定することとしてもよい。

【0017】

死角補間ボクセルが生成された空間領域は、さらに荷物を配することが出来るか否かが不明な領域であるので、第１の距離画像に基づく第１の死角補間ボクセルが生成された領域に、第２の距離画像に基づく荷物ボクセルまたは床面ボクセルが重複して生成された場合には、当該領域の状況は、第２の距離画像に基づく荷物ボクセルまたは床面ボクセルにより正しく反映される。上記形態によれば、かかる場合に、当該重複領域に第２の距離画像に基づく荷物ボクセルまたは床面ボクセルが配置されるものとして、荷物領域情報及び空き床情報が推定されるので、荷物を配するための床面の空き状況を適切に把握できる。

【0018】

別の形態に係る荷室監視システムでは、推定部は、荷物ボクセル及び補間ボクセルに占められる容積情報、及び、荷物ボクセル及び補間ボクセルに占められる床面の面積情報の少なくともいずれか一方を、荷物領域情報として推定することとしてもよい。

【0019】

上記形態によれば、荷物ボクセル及び補間ボクセルに占められる容積情報及び荷物ボクセル及び補間ボクセルに占められる床面の面積情報の少なくともいずれか一方が荷物領域情報として推定されるので、荷物を配するための床面の空き状況を適切に把握できる。

【0020】

別の形態に係る荷室監視システムでは、推定部は、荷物ボクセル及び補間ボクセルにより占められていない床面の面積情報を、空き床情報として推定することとしてもよい。

【0021】

上記形態によれば、荷物ボクセル及び補間ボクセルにより占められていない床面の面積情報が空き床情報として推定されるので、荷物を配するための床面の空き状況を適切に把握できる。

【0022】

別の形態に係る荷室監視システムでは、出力部は、荷室空間並びに荷物ボクセル、補間ボクセル及び床面ボクセルを視覚的に示す画像を、荷物領域情報及び空き床情報として出力することとしてもよい。

【0023】

上記形態によれば、荷室空間並びに荷物ボクセル、補間ボクセル及び床面ボクセルを視覚的に示す画像が出力されるので、荷室内の積荷の状態を的確に把握することが可能となる。

【発明の効果】

【0024】

本発明の一側面によれば、荷室内の積荷の状態を的確に把握すること、特に、荷室において荷物に占められる空間領域を的確に把握することにより、さらに荷物を配するための床面の空き状況を把握することが可能となる。

【図面の簡単な説明】

【0025】

【図1】本実施形態に係る荷室監視装置を含むシステムの装置構成を示す図である。

【図2】本実施形態の荷室監視システムの適用例を模式的に示す図である。

【図3】荷室監視装置の機能的構成を示すブロック図である。

【図4】荷室監視装置のハードウェア構成を示す図である。

【図5】距離画像を点群に変換するための変換情報の生成を説明する図である。

【図6】距離画像を、距離画像に表された対象を表す点群に変換する処理を説明する図である。

【図7】ボクセルの生成処理を示す図である。

【図8】補間ボクセルの生成処理を示す図である。

【図9】荷物領域情報及び空き床情報の推定を模式的に示す図である。図９（ａ）は、荷室上面ＶＵを示す図である。図９（ｂ）は、荷室側面ＶＳを示す図である。

【図10】補間ボクセルと荷物ボクセルまたは床面ボクセルとが重複した第１の例を示す図である。

【図11】補間ボクセルと荷物ボクセルまたは床面ボクセルとが重複した第２の例を示す図である。

【図12】ボクセルを視覚的に示す画像の例を示す図である。図１２（ａ）は、荷室の空間及び荷物ボクセルを表示する画像の例を示す図である。図１２（ｂ）は、荷室の空間及び荷物補間ボクセルを表示する画像の例を示す図である。図１２（ｃ）は、荷室の空間及び死角補間ボクセル及び床面ボクセルを表示する画像の例を示す図である。

【図13】荷室監視システムにおいて実施される荷室監視方法の処理内容を示すフローチャートである。

【図14】荷室監視プログラムの構成を示す図である。

【発明を実施するための形態】

【0026】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

【0027】

図１は、本実施形態に係る荷室監視装置を含むシステムの装置構成を示す図である。図１に示されるシステム１は、荷室監視装置１０（荷室監視システム）及び車両Ｖに搭載される端末Ｔを含んで構成される。車両Ｖは、荷物を運ぶための荷室を有する。車両Ｖの荷室には、２以上のセンサＣが設けられている。本実施形態の端末Ｔは、センサＣにより取得された情報を荷室監視装置１０装置にネットワークＮを介して送信する。ネットワークＮは、無線ネットワークである。荷室監視装置１０は、荷室の内部の状態を監視する荷室監視システムを構成する。なお、図１には、３台の車両Ｖ及び端末Ｔが示されているが、その数は限定されない。

【0028】

図２は、本実施形態の荷室監視システムの適用例を模式的に示す図である。図２に示すように、荷室監視システムは、車両Ｖの荷室Ｒを監視するシステムとして例示される。荷室Ｒには、少なくとも２以上のセンサＣが床面以外に設けられる。図２に示す例では、荷室Ｒは、天面に設けられた２台のセンサＣ１，Ｃ２を有する。センサＣ１，Ｃ２は、撮像方向を鉛直下方に向けている。

【0029】

センサＣは、対象までの距離の情報を含む距離画像を取得するセンサであって、例えば、いわゆるＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサにより構成される。センサＣにより取得された距離画像は、対象物までの距離の情報を各画素に有する。

【0030】

センサＣは、荷物Ｂが置かれた荷室Ｒの距離画像を取得する。センサＣにより取得された距離画像は、センサＣから荷物Ｂの表面または荷室Ｒの床面までの距離を示す情報を、各画素に含む。

【0031】

なお、本実施形態では、荷室監視システムは、車両Ｖの荷室を監視するシステムとして例示されるが、荷物が配置される空間であれば適用対象の荷室は車両の荷室に限定されず、例えば、倉庫の荷室にも適用可能である。

【0032】

図３は、荷室監視装置１０の機能的構成を示すブロック図である。荷室監視装置１０は、例えば、サーバ等のコンピュータにより構成される。本実施形態の荷室監視装置１０は、図３に示すように、機能的には、取得部１１、生成部１２、補間部１３、推定部１４及び出力部１５を備える。

【0033】

図４は、荷室監視装置１０のハードウェア構成図である。荷室監視装置１０は、物理的には、図４に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。荷室監視装置１０は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。

【0034】

図３に示した各機能は、図４に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。なお、端末Ｔも、図４に示すようなハードウェア構成を有するコンピュータシステムとして構成されてもよい。なお、本実施形態では、各機能部１１～１５が、荷室監視装置１０に構成されることとしているが、複数のコンピュータに分散して構成されることとしてもよい。

【0035】

車両Ｖに搭載される端末Ｔは、コンピュータシステムとして構成されてもよい。端末Ｔを構成する装置は限定されず、例えば、車両Ｖに備え付けられるコンピュータ端末であってもよいし、高機能携帯電話機（スマートフォン）、タブレット型のコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ）などの携帯端末であってもよい。

【0036】

再び図３を参照して、荷室監視装置１０の各機能部を説明する。取得部１１は、センサＣのそれぞれにより取得された距離画像を取得する。図２を参照して説明したように、センサＣは、荷室Ｒの天面に、鉛直下方を撮像方向として設けられているので、荷室Ｒの床面に配置された荷物及び床面を検出対象として画角の範囲内の距離画像を取得する。
センサＣは、荷室Ｒの天面に設けられているので、センサＣは、荷物ＢにおけるセンサＣの方向に露出した表面、即ち上面を検出することとなる。距離画像の各画素は、対象物に対する方向及び距離の情報を含む。

【0037】

生成部１２は、距離画像に示される対象物までの距離の情報、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、床面の位置を示す情報である床面ボクセルを生成する。以下、ボクセルの生成について具体的に説明する。

【0038】

まず、生成部１２は、距離画像を、距離画像に表された対象を表す点群に変換する。図５及び図６を参照して、点群の変換処理即ち点群の生成処理を説明する。図５は、距離画像を点群に変換するための変換情報の生成を説明する図である。

【0039】

ここで生成される点群は、荷室空間を表す３次元座標系ＤＲに対して生成される。生成部１２は、距離画像の３次元座標系ＤＰを、荷室空間の３次元座標系ＤＲに変換するための変換マトリクスを変換情報として生成する。

【0040】

荷室空間の３次元座標系ＤＲは、荷室Ｒの床面の左前方を原点として、右方向をＸ軸、後方向をＹ軸、上方向をＺ軸とするように設定される。センサＣは、荷室Ｒの天面に、鉛直下方向を撮像方向として設けられるので、センサＣにおける座標系ＤＣは、鉛直下方向をＺ軸とし、Ｚ軸に直交する面上にＸ軸及びＹ軸が沿うように設定される。このように設定されたセンサＣにより取得された距離画像ＤＩは、画像面上において互いに直交するＸ軸及びＹ軸並びに画像奥行き方向に沿うＺ軸を有する座標系ＤＰを有する。

【0041】

生成部１２は、予め計測された、荷室Ｒ内におけるセンサＣの位置情報、及び、センサＣの撮像方向を示すベクトルｖｃを取得する。次に、生成部１２は、荷物が置かれていない荷室Ｒの床面をセンサＣにより撮像した距離画像を取得し、取得した距離画像に基づいて床面を表す点群ｄｓ０を生成する。生成部１２は、点群ｄｓ０に対して所定の解析処理（例えば、周知のＲＡＮＳＡＣ等の平面検出処理）を実施することにより、床面の法線を示すベクトルｖｕを取得する。そして、生成部１２は、センサＣの撮像方向を示すベクトルｖｃ、床面の法線を示すベクトルｖｕに基づいて、センサＣの姿勢を示す姿勢情報を算出し、さらに、姿勢情報及びセンサＣの位置情報に基づいて、距離画像の３次元座標系ＤＰを、荷室空間の３次元座標系ＤＲに変換するための変換マトリクスである変換情報を生成する。

【0042】

図６は、距離画像を、距離画像に表された対象を表す点群に変換する処理を説明する図である。生成部１２は、空の状態の荷室Ｒを撮像した距離画像ＤＩ１を取得する。生成部１２は、例えば、荷物が置かれていない荷室Ｒを撮像した距離画像ＤＩ１に基づき、変換マトリクスを用いて距離画像ＤＩ１に表された各画素の情報を点群ｄｓ１に変換する。変換及び生成された点群ｄｓ１は、図示されるように、車両の荷室Ｒの空間を表す座標系ＤＲにおいて、床面（Ｚ＝０）に相当する平面に配される。

【0043】

また、荷物が置かれた荷室Ｒを撮像した距離画像ＤＩ２が取得された場合には、生成部１２は、距離画像ＤＩ２に基づき、変換マトリクスを用いて距離画像ＤＩ２に表された各画素の情報を点群ｄｓ２に変換する。点群ｄｓ２のうち、点群ｄｓ２－１は、荷物の表面に相当する。点群ｄｓ２－１は、図示されるように、荷室空間を表す座標系ＤＲにおいて、荷物の表面（上面）の位置に配される。点群ｄｓ２のうち、点群ｄｓ２－２は、荷物が置かれておらず上方に露出された床面に相当する。点群ｄｓ２－２は、図示されるように、車両の荷室Ｒの空間を表す座標系ＤＲにおいて、上方に露出された床面（Ｚ＝０）に相当する位置に配される。

【0044】

生成部１２は、距離画像に基づいて生成された点群に基づいて、荷室内に存在する荷物の表面の荷室空間内における位置を示す情報である荷物ボクセル、及び、床面の位置を示す情報である床面ボクセルを生成する。図７は、ボクセルの生成処理を示す図である。

【0045】

具体的には、生成部１２は、点群に含まれる各点の、荷室Ｒの座標系ＤＲにおける位置情報に基づいて、各点に対応する位置にボクセルを生成する。図７に示すように、生成部１２は、例えば、荷物の表面に相当する点群ｄｓ２－１に基づいて、荷物ボクセルｖｘ２を生成する。また、生成部１２は、床面の位置を示す点群ｄｓ２－２に基づいて、床面ボクセルｖｘ１を生成する。

【0046】

本実施形態では、一単位のボクセルは、３次元空間における１点の位置を示すものとする。従って、この場合には、一単位のボクセルは体積の概念を有さないものとして捉えることができる。荷物ボクセル及び床面ボクセルは、複数のボクセルの集合として生成される。荷物ボクセル及び床面ボクセルは、距離画像に基づいて生成された点群に相当するので、それぞれ、荷物の表面及び床の表面に対応する。面に対応するように配列されたボクセルは、厚さ（または高さ）の概念を有さないので、面積の概念を伴うことはできるが、体積の概念を有さないこととなる。３次元的に分布するボクセルの集合は、３次元空間においてある空間領域を占めるので、体積の概念を伴うことができる。従って、後述する補間ボクセル（荷物補間ボクセル、死角補間ボクセル）は、体積の概念を有することができる。なお、本実施形態では、一のボクセルは体積の概念を有さないとしているが、一単位のボクセルが、当該荷物監視システムにおいて荷室空間を表す３次元空間における最小単位の体積を有するものとしてもよい。

【0047】

再び図３を参照して、補間部１３は、荷室空間においてセンサＣから死角となる空間領域に補間ボクセルを生成する。図８は、補間ボクセルの生成処理を示す図である。具体的には、補間部１３は、荷物ボクセルの鉛直下方の、当該荷物ボクセルから床面までの空間領域を占める荷物補間ボクセルを、補間ボクセルとして生成する。また、補間部１３は、荷物またはセンサＣの画角に起因してセンサＣから死角となる床面の上の所定高さの空間領域を占める死角補間ボクセルを、補間ボクセルとして生成する。

【0048】

図８に示す例では、生成部１２により、荷室Ｒの空間座標系において、荷物ボクセルｖｘ３１，３２及び床面ボクセルｖｆ１が生成されている。また、センサＣは、画角ＶＡを有する。このような場合において、補間部１３は、荷物ボクセルｖｘ３１の鉛直下方の、荷物ボクセルｖｘ３１から床面までの空間領域を占める荷物補間ボクセルｖｉ１１を生成する。同様に、補間部１３は、荷物ボクセルｖｘ３２の鉛直下方の、荷物ボクセルｖｘ３２から床面までの空間領域を占める荷物補間ボクセルｖｉ１２を生成する。

【0049】

また、床面ｆ１は、荷物の存在に起因して、センサＣの死角となる。この場合において、補間部１３は、床面ｆ１の上の所定高さの空間領域を占める死角補間ボクセルｖｉ２１，ｖｉ２２を生成する。死角補間ボクセルの所定高さは、例えば、死角となる床面の最も近くに位置する荷物ボクセルの位置に設定される。従って、死角補間ボクセルｖｉ２１，ｖｉ２２の高さはそれぞれ、荷物ボクセルｖｘ３１，ｖｘ３２の位置に相当する高さに設定される。

【0050】

また、床面ｆ２は、センサＣの画角に起因して、センサＣの死角となる。この場合において、補間部１３は、床面ｆ２の上の所定高さの空間領域を占める死角補間ボクセルｖｉ２３を生成する。死角補間ボクセルｖｉ２３の高さは、例えば、床面ｆ２の最も近くに位置する荷物ボクセルｖｘ３１の位置に相当する高さに設定される。

【0051】

推定部１４は、荷物ボクセル、補間ボクセル及び床面ボクセルに基づいて、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する。

【0052】

補間ボクセルが生成された空間領域は、荷物が存在する可能性がある空間領域であるので、本実施形態では、補間ボクセルが生成された空間領域を実質的に荷物に占められている空間領域として扱うこととしている。このような扱いに基づいて、具体的には、推定部１４は、荷物ボクセル及び補間ボクセルに占められる容積情報、及び、荷物ボクセル及び補間ボクセルに占められる床面の面積情報の少なくともいずれか一方を、荷物領域情報として推定する。また、推定部１４は、荷物ボクセル及び補間ボクセルにより占められていない床面の面積情報を、空き床情報として推定する。

【0053】

図９は、荷物領域情報及び空き床情報の推定を模式的に示す図である。図９（ａ）は、荷室上面ＶＵを示す図である。図９（ｂ）は、荷室側面ＶＳを示す図である。荷室上面ＶＵ及び車両側面ＶＳに示される例では、生成された荷物ボクセルｖｘ、荷物補間ボクセルｖｉ１、死角補間ボクセルｖｉ２及び床面ボクセルｖｆが示されている。推定部１４は、荷物ボクセルｖｘ、荷物補間ボクセルｖｉ１及び死角補間ボクセルｖｉ２の容積情報を荷物領域情報として算出してもよい。また、推定部１４は、荷物ボクセルｖｘ、荷物補間ボクセルｖｉ１及び死角補間ボクセルｖｉ２に占められる床面の面積情報を荷物領域情報として算出してもよい。また、推定部１４は、床面ボクセルｖｆに占められた床面であって、荷物ボクセルｖｘ、荷物補間ボクセルｖｉ１及び死角補間ボクセルｖｉ２により占められていない床面の面積情報を、空き床情報として推定してもよい。

【0054】

次に、図１０及び図１１を参照して、複数のセンサＣからの距離画像に基づく補間ボクセルの扱いについて説明する。図１０は、補間ボクセルと荷物ボクセルまたは床面ボクセルとが重複した第１の例を示す図である。図１０に示す例では、荷室内において第１のセンサＣ１及び第２のセンサＣ２が設けられており、第１のセンサＣ１により取得された第１の距離画像及び第２のセンサＣ２により取得された第２の距離画像が取得部１１により取得される。そして、図１０には、第１の距離画像に基づいて生成された荷物ボクセルｖｘ４１及び荷物補間ボクセルｖｉ１４、並びに第２の距離画像に基づいて生成された荷物ボクセルｖｘ４２が示されており、荷物補間ボクセルｖｉ１４と荷物ボクセルｖｘ４２とが重複している。このような場合において、推定部１４は、荷物補間ボクセルｖｉ１４と荷物ボクセルｖｘ４２との重複位置である領域ｆｄ４上の空間領域には、荷物補間ボクセルｖｉ１４が配置されるものとして、荷物領域情報及び空き床情報を推定する。

【0055】

即ち、荷物補間ボクセルが生成された空間領域は、さらに荷物を配することができない領域である。図１０に示す例により説明したように、第２の距離画像に基づく荷物ボクセルが生成された空間領域であっても、その空間領域において第１の距離画像に基づく荷物補間ボクセルと重複する場合には、その空間領域は、荷物を配することができない領域であるので、荷物補間ベクトルが配置されるものとして扱われる。なお、荷物ボクセルｖｘ４２に代えて、第２の距離画像に基づく床面ボクセルが荷物補間ボクセルｖｉ１４と重複する場合においても、同様に、その重複領域には荷物補間ボクセルｖｉ１４が配置されるものとして、荷物領域情報及び空き床情報が推定される。

【0056】

図１１は、補間ボクセルと荷物ボクセルまたは床面ボクセルとが重複した第２の例を示す図である。図１１に示す例では、荷室内において第１のセンサＣ１及び第２のセンサＣ２が設けられており、第１のセンサＣ１により取得された第１の距離画像及び第２のセンサＣ２により取得された第２の距離画像が取得部１１により取得される。そして、図１１には、第１の距離画像に基づいて生成された荷物ボクセルｖｘ５１、荷物補間ボクセルｖｉ１５及び死角補間ボクセルｖｉ２５、並びに第２の距離画像に基づいて生成された荷物ボクセルｖｘ５２が示されており、死角補間ボクセルｖｉ２５と荷物ボクセルｖｘ５２とが重複している。このような場合において、推定部１４は、死角補間ボクセルｖｉ２５と荷物ボクセルｖｘ５２との重複位置を含む領域ｆｄ５上の空間領域には、荷物ボクセルｖｘ５２が配置されるものとして、荷物領域情報及び空き床情報を推定する。

【0057】

即ち、死角補間ボクセルが生成された空間領域は、さらに荷物を配することが出来るか否かが不明な領域である。図１１に示す例により説明したように、第１の距離画像に基づく第１の死角補間ボクセルが生成された領域に、第２の距離画像に基づく荷物ボクセルが重複する場合には、その空間領域の状況は、第２の距離画像に基づく荷物ボクセルにより正しく反映される。かかる場合に、当該重複領域に第２の距離画像に基づく荷物ボクセルが配置されるものとして、荷物領域情報及び空き床情報が推定されるので、荷物を配するための床面の空き状況を適切に把握できる。なお、荷物ボクセルｖｘ５２に代えて、第２の距離画像に基づく床面ボクセルが死角補間ボクセルｖｉ２５と重複する場合においても、同様に、その重複領域には荷物ボクセルｖｘ５２が配置されるものとして、荷物領域情報及び空き床情報が推定される。

【0058】

再び図３を参照して、出力部１５は、荷物領域情報及び空き床情報を出力する。出力部１５は、種々の態様により荷物領域情報及び空き床情報を出力できる。例えば、出力部１５は、所定のコンピュータのディスプレイに荷物領域情報及び空き床情報を表示させることにより出力してもよい。また、出力部１５は、後に実施される所定の処理のために、所定の記憶手段に記憶させることにより荷物領域情報及び空き床情報を出力してもよい。

【0059】

また、出力部１５は、荷室空間並びに荷物ボクセル、補間ボクセル及び床面ボクセルを視覚的に示す画像を、荷物領域情報及び空き床情報として出力してもよい。図１２は、ボクセルを視覚的に示す画像の例を示す図である。図１２（ａ）は、荷室Ｒの空間及び荷物ボクセルを表示する画像の例を示す図である。図１２（ｂ）は、荷室Ｒの空間及び荷物補間ボクセルを表示する画像の例を示す図である。図１２（ｃ）は、荷室Ｒの空間及び死角補間ボクセル及び床面ボクセルを表示する画像の例を示す図である。

【0060】

図１２（ａ）に示すように、出力部１５は、荷室Ｒの空間及び荷物ボクセルｖｘ６を視覚的に示す画像ｐｃ１を荷物領域情報及び空き床情報として出力してもよい。また、図１２（ｂ）に示すように、出力部１５は、荷室Ｒの空間及び荷物補間ボクセルｖｉ１６を視覚的に示す画像ｐｃ２を荷物領域情報及び空き床情報として出力してもよい。また、図１２（ｃ）に示すように、出力部１５は、荷室Ｒの空間、死角補間ボクセルｖｉ２６及び床面ボクセルｖｆ６を視覚的に示す画像ｐｃ３を荷物領域情報及び空き床情報として出力してもよい。このような画像が出力されることにより、荷室内の積荷の状態を的確に把握することが可能となる。

【0061】

次に、図１３を参照して、本実施形態の荷室監視装置１０の動作について説明する。図１３は、荷室監視装置１０において実施される荷室監視方法の処理内容を示すフローチャートである。

【0062】

ステップＳ１において、取得部１１は、センサＣにより取得された距離画像を取得する。次に、ステップＳ２において、生成部１２は、距離画像、並びに、荷室空間におけるセンサの配置位置及び撮像方向に基づいて、荷物ボクセル及び床面ボクセルを生成する。

【0063】

続いて、ステップＳ３において、補間部１３は、荷室空間においてセンサＣから死角となる空間領域に補間ボクセルを生成する。補間ボクセルは、荷物補間ボクセル及び死角補間ボクセルを含む。

【0064】

ステップＳ４において、推定部１４は、荷物ボクセル、補間ボクセル及び床面ボクセルに基づいて、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報、並びに、荷物を配置可能な床面に関する空き床情報を推定する。そして、ステップＳ５において、出力部１５は、荷物領域情報及び空き床情報を出力する。

【0065】

次に、図１４を参照して、コンピュータを荷室監視装置１０として機能させるための荷室監視プログラムを説明する。荷室監視プログラムＰ１は、メインモジュールｍ１０、取得モジュールｍ１１、生成モジュールｍ１２、補間モジュールｍ１３、推定モジュールｍ１４及び出力モジュールｍ１５を含む。

【0066】

メインモジュールｍ１０は、荷室監視処理を統括的に制御する部分である。取得モジュールｍ１１、生成モジュールｍ１２、補間モジュールｍ１３、推定モジュールｍ１４及び出力モジュールｍ１５を実行することにより実現される機能はそれぞれ、図３に示される荷室監視装置１０の取得部１１、生成部１２、補間部１３、推定部１４及び出力部１５
の機能と同様である。

【0067】

荷室監視プログラムＰ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の記憶媒体Ｍ１によって提供される。また、荷室監視プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

【0068】

以上説明した本実施形態の荷室監視装置１０、荷室監視方法及び荷室監視プログラムＰ１によれば、距離画像に基づいて、荷物表面の位置を示す情報である荷物ボクセルが得られる。また、荷物ボクセル及びセンサの死角を示す情報等に基づいて、実質的に荷物を置くことができない可能性のある空間領域を示す補間ボクセルを得ることができるので、荷室の空間において荷物に占められている空間領域及び荷物に占められている可能性がある空間領域を示す荷物領域情報を得ることができる。従って、さらに荷物を配置可能な床面を示す空き床情報を出力することが可能となる。

【0069】

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

【符号の説明】

【0070】

１…システム、１０…荷室監視装置、１１…取得部、１２…生成部、１３…補間部、１４…推定部、１５…出力部、Ｃ…センサ、Ｍ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…生成モジュール、ｍ１３…補間モジュール、ｍ１４…推定モジュール、ｍ１５…出力モジュール、Ｎ…ネットワーク、Ｐ１…荷室監視プログラム、Ｒ…荷室、Ｔ…端末、Ｖ…車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】