特許 7563419 荷室収容状態検出システム、荷室収容状態検出プログラム、および荷室収容状態検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】荷室収容状態検出システム、荷室収容状態検出プログラム、および荷室収容状態検出方法

(51)【国際特許分類】

   G06Q 10/083 20240101AFI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

   B62D 33/04 20060101ALI20241001BHJP

   B60R 1/29 20220101ALI20241001BHJP

   B65G 61/00 20060101ALI20241001BHJP

【ＦＩ】

G06Q10/083

G06T7/00 350B

B62D33/04 Z

B60R1/29

B65G61/00 520

【請求項の数】 8

(21)【出願番号】P 2022074491

(22)【出願日】2022-04-28

(65)【公開番号】P2023163526

(43)【公開日】2023-11-10

【審査請求日】2023-12-19

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】椿 裕太

(72)【発明者】

【氏名】松田 智裕

【審査官】大野 朋也

(56)【参考文献】

【文献】特開２０２０－０６０４５１（ＪＰ，Ａ）

【文献】特開２００５－２３３６４３（ＪＰ，Ａ）

【文献】特開２０２１－１８９６６６（ＪＰ，Ａ）

【文献】国際公開第２０２０／０４３３５０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１７／００１７５０２（ＵＳ，Ａ１）

【文献】国際公開第２０２０／１００９５５（ＷＯ，Ａ１）

【文献】特開２０２１－０８２１９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

Ｂ６２Ｄ ３３／０４

Ｂ６０Ｒ １／２９

Ｂ６５Ｇ ６１／００

(57)【特許請求の範囲】

【請求項1】

荷室内における荷物の収容状態を検出する荷室収容状態検出システムであって、
収容された前記荷物が視認可能な状態での前記荷室の全体を、予め定められた撮像方向に撮像して得られる画像を取得する画像取得部と、
コーナー検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から前記荷室の複数のコーナーを検出するコーナー検出部であって、前記コーナー検出用学習済みモデルは、機械学習用に取得された前記画像に対して前記撮像方向に見たときに矩形状をなす前記荷室の前記複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングして得られた教師画像データを用いて学習されている、コーナー検出部と、
前記荷室内における前記荷物の位置に関する情報を含む荷物情報を取得する荷物情報取得部と、
前記荷室における互いに対角上にある前記２つのコーナーの位置情報である対角コーナー位置情報と、前記荷物情報取得部により取得された前記荷物情報と、を用いて、前記荷室全体の範囲を算出する荷室算出部と、
を備える、荷室収容状態検出システム。

【請求項2】

前記機械学習用に取得された前記画像に対して、前記撮像方向に見たときの前記荷室全体をラベリングした教師画像データを用いて学習された荷室全体検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から前記荷室全体を検出する荷室全体検出部をさらに備え、
前記荷室算出部は、
前記２つのコーナーのうち、前記コーナー検出部により検出されなかった前記コーナーの位置情報については、前記荷室全体検出部により検出された前記荷室全体の位置情報を用いて補完することにより前記対角コーナー位置情報を取得する、請求項１に記載の荷室収容状態検出システム。

【請求項3】

前記荷物情報は、前記撮像方向に見たときに前記荷室内に収容された前記荷物の全体を含む矩形状をなす仮想的な部位である全体荷物外形部の位置情報を含み、
前記荷室算出部は、
前記全体荷物外形部が、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の外形よりも外側に存在する場合には、当該外側に存在する部位を含むように拡張された前記外形を前記荷室全体の範囲として算出し、
前記全体荷物外形部が、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の前記外形よりも外側に存在しない場合には、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の外形を前記荷室全体の範囲として算出する、請求項２に記載の荷室収容状態検出システム。

【請求項4】

前記荷室内における前記荷物の積載率を算出する積載率算出部をさらに備え、
前記荷物情報は、前記荷物の寸法に関する情報を含み、
前記積載率算出部は、
前記荷物情報取得部により取得され、前記撮像方向に見たときの前記荷室内の全ての前記荷物の合計の面積を、前記荷室算出部により検出された前記荷室の範囲の面積で除算することにより前記積載率を算出する、請求項１～請求項３のうちいずれか一項に記載の荷室収容状態検出システム。

【請求項5】

前記荷物情報は、前記荷物の特徴量を機械学習させた荷物検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から検出される請求項１～請求項３のうちいずれか一項に記載の荷室収容状態検出システム。

【請求項6】

前記荷室は、運搬車両の荷台上に設けられる荷室である請求項１～請求項３のうちいずれか一項に記載の荷室収容状態検出システム。

【請求項7】

荷室内における荷物の収容状態を検出する荷室収容状態検出プログラムであって、
積載された前記荷物が視認可能な状態での前記荷室の全体を、予め定められた撮像方向に撮像して得られる画像を取得する機能と、
機械学習用に取得された前記画像に対して、前記撮像方向に見たときに矩形状をなす前記荷室の複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングした教師画像データを用いて学習されたコーナー検出用学習済みモデルを用いて、取得された前記画像から前記荷室の前記複数のコーナーを検出する機能であって、前記コーナー検出用学習済みモデルは、機械学習用に取得された前記画像に対して前記撮像方向に見たときに矩形状をなす前記荷室の複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングして得られた教師画像データを用いて学習されている、機能と、
前記荷室内における前記荷物の位置に関する情報を含む荷物情報を取得する機能と、
前記荷室における互いに対角上にある前記２つのコーナーの位置情報である対角コーナー位置情報と、前記荷物情報と、を用いて、前記荷室全体の範囲を算出する機能と、
を、コンピュータに実現させる荷室収容状態検出プログラム。

【請求項8】

荷室収容状態検出システムを用いて、荷室内における荷物の収容状態を検出する荷室収容状態検出方法であって、
前記荷室収容状態検出システムは、画像取得部と、コーナー検出部と、荷物情報取得部と、荷室算出部と、
を備え、
前記画像取得部により、積載された前記荷物が視認可能な状態での前記荷室の全体を、予め定められた撮像方向に撮像して得られる画像を取得する画像取得工程と、
前記コーナー検出部により、コーナー検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から前記荷室の複数のコーナーを検出するコーナー検出工程であって、前記コーナー検出用学習済みモデルは、機械学習用に取得された前記画像に対して前記撮像方向に見たときに矩形状をなす前記荷室の前記複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングして得られた教師画像データを用いて学習されている、コーナー検出工程と、
前記荷物情報取得部により、前記荷室内における前記荷物の位置に関する情報を含む荷物情報を取得する荷物情報取得工程と、
前記荷室算出部により、前記荷室における互いに対角上にある前記２つのコーナーの位置情報である対角コーナー位置情報と、前記荷物情報取得部により取得された荷物情報と、を用いて、前記荷室全体の範囲を算出する荷室算出工程と、
を備える、荷室収容状態検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、荷室収容状態検出システム、荷室収容状態検出プログラム、および荷室収容状態検出方法に関する。

【背景技術】

【0002】

特許文献１に記載の車両荷物状態検出装置では、トラックの荷台に設けられた荷室内をカメラにより撮影し、取得された荷室の内部画像から荷室内の空きスペースを検出し、検出した空きスペースに基づいて荷室内の積載率を算出することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－３３４８６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記車両荷物状態検出装置の場合、空きスペースの大きさについてはカメラ画像を用いて算出するものの、荷室内の全体の大きさについては、例えば予め車種毎にデータベース化しておく必要があり、煩雑であった。そこで、本願発明者らは、機械学習モデルを用いた画像解析により、カメラ画像から荷物の大きさに加えて荷室全体の大きさを特定することで、荷室内における荷物の収容状態を検出するシステムを検討している。そして、本願発明者らは、このようなシステムにおいては、例えば日差しの映り込みの有無など、機械学習時の荷室周辺の環境と、荷室内における荷物の収容状態を検出する時の荷室周辺の環境とが異なることに起因して、画像解析による検出精度が悪くなるという問題を見いだした。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、荷室収容状態検出システムが提供される。この荷室収容状態検出システムは、荷室内における荷物の収容状態を検出する荷室収容状態検出システムであって、収容された前記荷物が視認可能な状態での前記荷室の全体を、予め定められた撮像方向に撮像して得られる画像を取得する画像取得部と、コーナー検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から前記荷室の複数のコーナーを検出するコーナー検出部であって、前記コーナー検出用学習済みモデルは、機械学習用に取得された前記画像に対して前記撮像方向に見たときに矩形状をなす前記荷室の前記複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングして得られた教師画像データを用いて学習されている、コーナー検出部と、前記荷室内における前記荷物の位置に関する情報を含む荷物情報を取得する荷物情報取得部と、前記荷室における互いに対角上にある前記２つのコーナーの位置情報である対角コーナー位置情報と、前記荷物情報取得部により取得された前記荷物情報と、を用いて、前記荷室全体の範囲を算出する荷室算出部と、を備える。
この形態の荷室収容状態検出システムによれば、荷室算出部により、互いに対角上にある２つのコーナーの位置情報である対角コーナー位置情報と、荷物の位置に関する情報を含む荷物情報と、を用いて、荷室全体の範囲を算出する。対角コーナー位置情報のみでなく、荷物情報としての荷物の位置情報を組み合わせることで、例えば、荷物の位置が荷室の外に存在することはありえないため、これらの位置情報を比較してより正しい範囲に近づけるように補正することができ、荷室の範囲の算出精度を向上させることができる。
（２）上記形態の荷室収容状態検出システムにおいて、前記機械学習用に取得された前記画像に対して、前記撮像方向に見たときの前記荷室全体をラベリングした教師画像データを用いて学習された荷室全体検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から前記荷室全体を検出する荷室全体検出部をさらに備え、前記荷室算出部は、前記２つのコーナーのうち、前記コーナー検出部により検出されなかった前記コーナーの位置情報については、前記荷室全体検出部により検出された前記荷室全体の位置情報を用いて補完することにより前記対角コーナー位置情報を取得してもよい。
この形態の荷室収容状態検出システムによれば、荷室算出部による荷室の算出において、コーナー検出部により検出されなかったコーナーの位置情報については、荷室全体検出部により検出された荷室全体の位置情報を用いて補完することで対角コーナー位置情報を取得する。このため、例えばコーナー検出部により互いに対角上にある２つのコーナーを検出できなかった場合でも、荷室全体検出部により検出された荷室全体の位置情報を用いて荷室全体の範囲を算出することができるので、例えば、荷室算出の処理がコーナー不検出で中断し、再度最初から同じ処理が繰り返されることが頻繁に発生することを回避できる。
（３）上記形態の荷室収容状態検出システムにおいて、前記荷物情報は、前記撮像方向に見たときに前記荷室内に収容された前記荷物の全体を含む矩形状をなす仮想的な部位である全体荷物外形部の位置情報を含み、前記荷室算出部は、前記全体荷物外形部が、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の外形よりも外側に存在する場合には、当該外側に存在する部位を含むように拡張された前記外形を前記荷室全体の範囲として算出し、前記全体荷物外形部が、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の前記外形よりも外側に存在しない場合には、前記対角コーナー位置情報を用いて取得される矩形状をなす前記荷室の外形を前記荷室全体の範囲として算出してもよい。
この形態の荷室収容状態検出システムによれば、荷室算出部は、全体荷物外形部が、対角コーナー位置情報を用いて取得される矩形状をなす荷室の外形よりも外側に存在する場合には、当該外側に存在する部位を含むように拡張された外形を前記荷室全体の範囲として算出する。そして、全体荷物外形部が、対角コーナー位置情報を用いて取得される矩形状をなす荷室の前記外形よりも外側に存在しない場合には、対角コーナー位置情報を用いて取得される矩形状をなす荷室の外形を荷室全体の範囲として算出する。
すなわち、具体的には、画像解析による検出が比較的容易な荷物情報を参酌して、荷物が見切れるような荷室の範囲が算出されないように、対角コーナー位置情報により構成される矩形状をなす荷室の範囲を、全体荷物外形部を含む領域となるように補正できる。このため、荷室の範囲の算出精度をさらに向上させることができる。
（４）上記形態の荷室収容状態検出システムにおいて、前記荷室内における前記荷物の積載率を算出する積載率算出部をさらに備え、前記荷物情報は、前記荷物の寸法に関する情報を含み、前記積載率算出部は、前記荷物情報取得部により取得され、前記撮像方向に見たときの前記荷室内の全ての前記荷物の合計の面積を、前記荷室算出部により検出された前記荷室の範囲の面積で除算することにより前記積載率を算出してもよい。この形態の荷室収容状態検出システムによれば、精度良く算出された荷室全体の範囲と、荷物情報とを用いて、積載率算出部により正確に積載率を算出できる。
（５）上記形態の荷室収容状態検出システムにおいて、前記荷物情報は、前記荷物の特徴量を機械学習させた荷物検出用学習済みモデルを用いて、前記画像取得部により取得された前記画像から検出されてもよい。この形態の荷室収容状態検出システムによれば、荷室収容状態検出のための荷物情報を、荷物検出用学習済みモデルを用いて好適に検出できる。
（６）上記形態の荷室収容状態検出システムにおいて、前記荷室は、運搬車両の荷台上に設けられる荷室であってもよい。この形態の荷室収容状態検出システムによれば、運搬車両の荷台上に設けられる荷室における荷物の収容状態を検出できる。検出された収容状態から、例えばトラック等の運搬車両の荷室に、あとどのくらいの量の荷物が積めるのか、または、どの地点においてどのくらいの量の荷物が積載されたか、といった情報を得ることができる。
なお、本開示は、荷室収容状態検出システム以外の種々の形態で実現することも可能である。例えば、荷室収容状態検出方法、荷室収容状態検出プログラム、かかるプログラムを記憶した一時的でない記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の第１実施形態における荷室収容状態検出システムのハードウェア構成を示すブロック図である。

【図2】荷室収容状態検出システムの機能構成を示すブロック図である。

【図3】荷室を備える車両を模式的に示す側面図である。

【図4】荷室収容状態検出方法の処理手順を示すフローチャートである。

【図5】コーナー検出における画像処理を説明するための図である。

【図6】荷物検出における画像処理を説明するための図である。

【図7】荷室算出工程における処理手順を示すフローチャートである。

【図8】荷室算出工程における画像処理の一例を説明するための図である。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
本開示の第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法について、図１～図８を参照して説明する。
Ａ１．荷室収容状態検出システム１０の構成：
［荷室収容状態検出システム１０のハードウェア構成］
図１は、本開示の第１実施形態における荷室収容状態検出システム１０のハードウェア構成を示すブロック図である。なお、本実施形態の荷室収容状態検出システム１０は、スマートフォンやタブレットなどの撮影機能を有する携帯端末１２を含んで構成されている。第１実施形態の荷室収容状態検出システム１０は、後述する車両が備える荷室および荷室内の荷物を検出し、荷室内において荷物が占める割合である積載率を算出する。車両の構成および積載率算出の詳細については後述する。本実施形態では、携帯端末１２に予め専用のアプリケーションをインストールした状態で、アプリケーションを起動させることによって荷室収容状態検出システム１０を利用することができる。

【0009】

図１に示すように、携帯端末１２には制御部１４が設けられている。制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）１６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、記憶部としてのストレージ２２、通信インタフェース２４及び入出力インタフェース２６を含んで構成されている。各構成は、バス２８を介して相互に通信可能に接続されている。

【0010】

ＣＰＵ１６は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１６は、ＲＯＭ１８又はストレージ２２からプログラムを読み出し、ＲＡＭ２０を作業領域としてプログラムを実行する。ＣＰＵ１６は、ＲＯＭ１８又はストレージ２２に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。ストレージ２２には、荷室収容状態検出プログラムが記憶されている。

【0011】

また、ストレージ２２には、荷室を含む画像から、荷室のコーナーを検出するコーナー検出用学習済みモデルが記憶されている。このコーナー検出用学習済みモデルは、荷室の全体を含む機械学習用に取得された画像に対して、撮像方向に見たときの荷室の複数のコーナーのうち少なくとも互いに対角上にある２つのコーナーの位置をラベリングした教師画像データを用いて機械学習により生成されたものである。ラベリングとは、画像から得られる大量の生データにおいて、ラベル付けを行う機械学習上の処理であり、本実施形態では、コーナーの位置を示すラベルを、コーナーの位置に該当する座標に対応づけることを意味する。このコーナー検出用学習済みモデルでは、例えば左上と右下のコーナーを含む複数のコーナーの位置を検出することができる。

【0012】

さらに、ストレージ２２には、荷物を含む荷室の画像から、荷物を検出する荷物検出用学習済みモデルが記憶されている。この荷物検出学習済みモデルは、荷室の全体を含む画像に対して、荷物の特徴量を機械学習させたモデルである。荷物の特徴量とは、例えば、鉄やプラスチック、段ボールなどの紙等、荷物の材質によって異なる明るさなどである。荷物検出用学習済みモデルでは、こうした荷物の特徴量を基に、複数の荷物の寸法を示す外形形状を検出することができる。

【0013】

さらに、ストレージ２２には、荷室を含む画像から、荷室全体を検出する荷室全体検出用学習済みモデルが記憶されている。この荷室全体検出用学習済みモデルは、荷室の全体を含む機械学習用に取得された画像に対して、撮像方向に見たときの荷室全体の位置をラベリングした教師画像データを用いて機械学習により生成されたものである。この点が、コーナーの位置をラベリングした上記コーナー検出用学習済みモデルとは異なる。荷室全体検出用学習済みモデルでは、荷室全体の位置として、例えば左上と右下のコーナーの位置を検出することができる。

【0014】

なお、荷室全体検出用学習済みモデルでは、コーナー検出用学習済みモデルを用いてコーナーの位置を検出する場合と比較して、画像解析による検出精度が劣ることがある。これは、学習時に荷室全体の位置をラベリングしているため、教師データとして用いられる多数の画像において、画像内における荷室の位置が互いにずれていることや、荷室に積まれた荷物の大きさ、形、積載順序が多種多様であることが外乱となるためである。そこで、第１実施形態では、基本的には、コーナー検出用学習済みモデルを用いてコーナーの位置を検出し、検出できなかったコーナーについては荷室全体検出用学習済みモデルを用いて検出されたコーナーの位置を適宜補完して、荷室の範囲を切り抜くようにしている。詳細については、後述する。

【0015】

ＲＯＭ１８は、各種プログラムおよび各種データを格納する。ＲＡＭ２０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ＲＯＭ１８及びストレージ２２には、積載率算出処理を行うためのプログラム、及び車両に関するデータを含む各種データなどが格納されている。

【0016】

通信インタフェース２４は、荷室収容状態検出システム１０が図示しないサーバ及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＬＴＥ、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

【0017】

入出力インタフェース２６には、表示部としての表示画面３０、マイク３２、スピーカ３４及びカメラ３６が接続されている。表示画面３０は、携帯端末１２に設けられており、利用者に対して種々の情報を表示させる。また、表示画面３０には、後述するカメラ３６で撮像された画像データが表示される。なお、本実施形態では一例として、表示画面３０はタッチパネル式となっており、表示画面３０に表示された内容をタッチすることで入力が受け付けられるように構成されている。

【0018】

マイク３２及びスピーカ３４はそれぞれ、携帯端末１２に設けられており、利用者が通話を行う際などに使用される。また、マイク３２は、利用者が音声で指示を出す際にも用いることができ、スピーカ３４は、利用者に対して音声で通知を行う際にも用いることができる。カメラ３６は、携帯端末１２に設けられており、カメラ３６で撮像された画像データが表示画面３０に表示されるように構成されている。

【0019】

［荷室収容状態検出システム１０の機能構成］
荷室収容状態検出システム１０は、上記のハードウェア資源を用いて、各種の機能を実現する。荷室収容状態検出システム１０が実現する機能構成について、図２を参照して説明する。図２は、荷室収容状態検出システム１０の機能構成を示すブロック図である。なお、各機能構成は、ＣＰＵ１６がストレージ２２に記憶されたプログラムを読み出し、これを実行することによって実現される。

【0020】

図２に示されるように、荷室収容状態検出システム１０は、画像取得部４１と、コーナー検出部４２と、荷物情報取得部４３と、荷室全体検出部４４と、荷室算出部４５と、積載率算出部４６と、学習部４７と、を含む機能構成を有する。画像取得部４１は、カメラ３６により、検出対象の荷室全体を含む画像を取得する。この画像は、積載された荷物が視認可能な状態での荷室の全体を、予め定められた撮像方向に撮像して得られる。

【0021】

コーナー検出部４２は、ストレージ２２に記憶されたコーナー検出用学習済みモデルを用いて、画像取得部４１により取得された荷室の画像から、荷室のコーナーを検出する。また、コーナー検出部４２は、検出されたコーナーの位置情報を出力する。コーナーの位置情報の出力に関する詳細については後述する。

【0022】

荷物情報取得部４３は、ストレージ２２に記憶された荷物検出用学習済みモデルを用いて、画像取得部４１により取得された荷室の画像から、荷室内の荷物情報を検出する。荷物情報は、荷室内の荷物の位置に関する情報と、荷室内の荷物の寸法に関する情報とを含む。さらに、荷物情報は、全体荷物外形部の位置情報を含む。本実施形態において、「全体荷物外形部」とは、荷室内に収容された複数の荷物のうち、撮像方向に見たときに視認可能な荷物全体を仮想的に一つの荷物（以下、「全体荷物」）と捉えて、かかる全体荷物の撮像方向に見たときの外形がすべて含まれる平面視矩形の部位を意味する。

【0023】

荷室全体検出部４４は、ストレージ２２に記憶された荷室全体検出用学習済みモデルを用いて、画像取得部４１により取得された荷室の画像から、荷室全体を検出する。また、荷室全体検出部４４は、検出された荷室全体から、コーナーの位置情報を出力する。

【0024】

荷室算出部４５は、コーナー検出部４２または荷室全体検出部４４により検出されたコーナーの位置情報を用いて、荷室の範囲を検出する。具体的には、荷室算出部４５は、互いに対角上にある２つのコーナーの位置情報（以下、「対角コーナー位置情報」ともいう）を抽出し、対角コーナー位置情報を用いて荷室の範囲を数値出力し、さらに画像から荷室の範囲を部分画像として切り抜く機能を有する。

【0025】

積載率算出部４６は、荷室内における荷物の積載率を算出する。具体的には、荷室算出部４５により検出された荷室の範囲と、荷物情報取得部４３により取得された荷室内の荷物情報とを用いて、積載率を算出する。学習部４７は、撮影されたコーナーや荷物などの画像を元に、ニューラルネットワークを活用し、ＡＩモデルを作成する。なお、各機能部の具体的な処理については、後述の荷室収容状態検出方法において詳細に説明する。

【0026】

［車両５０の構成］
図３は、荷室５１を備える運搬車両５０（以下、単に「車両５０」という。）を模式的に示す側面図である。次に、上記荷室収容状態検出システム１０の検出対象となる荷室５１を備える車両５０の構成について説明する。車両５０は、例えば、多量の荷物５２を積載して搬送するトラックである。

【0027】

図３に示すように、荷室５１は、車両５０の運転室５８の後方に位置し、荷台５７上に形成されている。荷室５１は、荷物５２の運搬時において、車両５０の前後方向（図３に示す左右方向）の側壁５３，５４、進行方向に対して右側の側壁５５、さらに、進行方向に対して左側に位置する下部扉５６および図示しない上部扉により覆われている。

【0028】

上部扉は、例えば、左側壁および天井の一部が、断面略Ｌ字形状の一体の扉となって、上方に回転して荷室５１を開口する。下部扉５６は、荷台５７の底位置から下方に回転して荷室５１を開口する。下部扉５６および上部扉を開放した状態では、車両５０の左側方から、荷室５１の４つのコーナーの位置を含む荷室５１全体を撮像することが可能である。換言すると、積載された荷物５２が視認可能な状態で、荷室５１全体を含む画像を取得可能である。本実施形態では、予め定められた撮像方向は、図３に示すように、車両５０の左側方から荷室５１を見る方向と一致する。荷室５１の外形形状は、撮像方向に見て矩形状である。

【0029】

Ａ２．荷室収容状態検出システム１０による荷室収容状態検出方法：
次に、上記荷室収容状態検出システム１０により実行される荷室収容状態検出方法について、図４～図８を参照して説明する。図４は、荷室収容状態検出方法の処理手順を示すフローチャートである。図４に示すように、荷室収容状態検出方法は、画像取得工程（ステップ１００、以下「ステップ」を「Ｓ」と略す。）と、コーナー検出工程（Ｓ２００）と、荷物情報取得工程（Ｓ３００）と、荷室全体検出工程（Ｓ４００）と、荷室算出工程（Ｓ５００）と、積載率算出工程（Ｓ６００）と、を含み、これらの各工程が順に実行される。

【0030】

画像取得工程（Ｓ１００）では、システムの利用者がカメラ３６で荷室５１全体を撮影することで、画像取得部４１の機能により、荷室５１全体を含む画像Ｉａ（図３参照、以下、単に「荷室５１の全体画像Ｉａ」ともいう。）が取得される。コーナー検出工程（Ｓ２００）では、コーナー検出部４２により、画像取得工程（Ｓ１００）において取得された荷室５１の全体画像Ｉａ（図３，図５参照）から、コーナー検出用学習済みモデルを用いて、荷室５１の４つのコーナーが検出される。

【0031】

図５は、コーナー検出における画像処理を説明するための図である。図５に示すように、コーナー検出工程（Ｓ２００）では、荷室５１の４つのコーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４が検出される。図５において、各コーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４を、二点鎖線の枠で囲んで図示している。本実施形態において、「コーナー」とは、荷室５１を表す矩形の四隅の頂点のみならず、かかる頂点を端点とする互いに略直角に交わる２つの線分の一部を含んだ矩形を意味する。

【0032】

さらに、具体的には、コーナー検出工程（Ｓ２００）では、各コーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４の位置情報が取得される。図５において、水平方向をＸ軸とし、Ｘ軸に垂直に交わる垂直方向をＹ軸としたとき、例えば「コーナーＩｃ１の位置情報」とは、図５に示す「コーナー点Ｃ１のＸ，Ｙ座標」である。ここで、左上コーナー点Ｃ１のＸ，Ｙ座標を（Ｘ１，Ｙ１）とし、右下コーナー点Ｃ２のＸ，Ｙ座標を（Ｘ２，Ｙ２）とし、左下コーナー点Ｃ３のＸ，Ｙ座標を（Ｘ１，Ｙ２）とし、右上コーナー点Ｃ４のＸ，Ｙ座標を（Ｘ２，Ｙ１）とする。本実施形態において、コーナー点Ｃ１，Ｃ２，Ｃ３，Ｃ４を、矩形の各コーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４の中心座標と定義する。各コーナー点Ｃ１，Ｃ２，Ｃ３，Ｃ４のＸ，Ｙ座標が、「コーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４の位置情報」として算出される。

【0033】

荷物情報取得工程（Ｓ３００）では、荷物情報取得部４３により、画像取得工程（Ｓ１００）において取得された荷室５１の全体画像Ｉａから、荷物検出用学習済みモデルを用いて、荷室５１内の荷物情報が検出される。図６は、荷物検出における画像処理を説明するための図であり、検出された荷物５２の画像Ｉｂを示す図である。図６において、各荷物５２の画像Ｉｂを、二点鎖線の枠で囲んで図示している。図６に示すように、荷物情報取得工程（Ｓ３００）では、複数の荷物５２の画像Ｉｂとして、それぞれの荷物５２の外形形状が検出される。

【0034】

さらに、荷物情報取得工程（Ｓ３００）では、荷室５１内に収容された複数の荷物５２の全体の位置情報である全体荷物外形部の位置情報が取得される。全体荷物外形部は、図６において一点鎖線で示すように、撮像方向に見たときに荷室内に収容された荷物５２の全体を含む矩形状をなす画像Ｉｃである。具体的には、画像Ｉｃの４つの角部６１，６２，６３，６４の座標が、「全体荷物外形部の位置情報」として算出される。なお、実際には、複数の荷物の間には、荷物積載用の台状のスキッドが介在されることがあり、この場合は、スキッドを含めた全体を「全体荷物外形部」とみなして算出することができる。

【0035】

荷室全体検出工程（Ｓ４００）では、荷室全体検出部４４により、画像取得工程（Ｓ１００）において取得された荷室５１の全体画像Ｉａから、荷室全体検出用学習済みモデルを用いて、荷室５１が検出される。具体的には、荷室全体の位置情報として、上記コーナー検出工程（Ｓ２００）と同様に、検出された荷室５１の４つのコーナーＩｃ１，Ｉｃ２，Ｉｃ３，Ｉｃ４の位置情報、すなわち、コーナー点Ｃ１，Ｃ２，Ｃ３，Ｃ４のＸ，Ｙ座標が算出される。なお、コーナー検出部４２により検出されるコーナーおよびコーナー点と、荷室全体検出部４４により検出されるコーナーおよびコーナー点とは、厳密には異なるが、便宜状、図面および本明細書においては同様の符号を付して説明する。

【0036】

荷室算出工程（Ｓ５００）では、荷室算出部４５により、対角上の２点のコーナー点のＸ，Ｙ座標から、荷室５１の外形ライン（荷室５１の画像Ｉｒ、図６参照）を抽出する。基本的には、左上コーナー点Ｃ１（Ｘ１，Ｙ１）と右下コーナー点Ｃ２（Ｘ２，Ｙ２）を対角とする矩形状の画像を荷室５１の外形として切り抜く。ただし、検出できたコーナーに応じて、左下コーナー点Ｃ３（Ｘ１，Ｙ２）と右上コーナー点Ｃ４（Ｘ２，Ｙ１）を対角とする矩形状の画像を荷室５１の外形として切り抜いてもよい。以下、図７を参照して荷室算出工程（Ｓ５００）の詳細について説明する。

【0037】

図７は、荷室算出工程（Ｓ５００）において荷室算出部４５が実行する処理手順を示すフローチャートである。図７に示すように、荷室算出工程（Ｓ５００）では、まずＳ５０１において、コーナー検出部４２により互いに対角上にある２つのコーナーを検出できたか否かが判断される。Ｓ５０１において、対角をなす２つのコーナー（左上コーナーＩｃ１と右下コーナーＩｃ２、または、左下コーナーＩｃ３と右上コーナーＩｃ４）が検出できた場合には（Ｓ５０１：ＹＥＳ）、Ｓ５０２に進み、対角コーナー位置情報を取得する。

【0038】

一方、Ｓ５０１において、例えば画像取得時の日光等の外乱の影響により、コーナー検出部４２により互いに対角上にある２つのコーナーを検出できなかった場合には（Ｓ５０１：ＮＯ）、Ｓ５０３に進み、１つのコーナーが検出できたか否かが判断される。Ｓ５０３において、１つのコーナーが検出できた場合には（Ｓ５０３：ＹＥＳ）、Ｓ５０４に進み、コーナー検出部４２により検出された１つもしくは片側２つのコーナーの位置情報と、荷室全体検出工程（Ｓ４００）において荷室全体検出部４４により検出されたコーナーの位置情報とを用いて、対角コーナー位置情報を取得する。

【0039】

具体的な例を示すと、例えば、コーナー検出部４２により左上コーナーＩｃ１のみを検出できた場合には、左上コーナーＩｃ１の位置情報（左上コーナー点Ｃ１）については、コーナー検出部４２により得られた当該位置情報を用い、左上コーナーＩｃ１と対角上にある右下コーナーＩｃ２の位置情報（右下コーナー点Ｃ２）については、荷室全体検出工程（Ｓ４００）において荷室全体検出部４４により検出されたコーナーの位置情報を用いる。

【0040】

また、他の例として、コーナー検出部４２により左上コーナーＩｃ１と左下コーナーＩｃ３の２つのコーナーが検出された場合には、例えば左上コーナーＩｃ１の位置情報については、コーナー検出部４２により得られた当該位置情報を用い、左上コーナーＩｃ１と対角上にある右下コーナーＩｃ２の位置情報については、荷室全体検出工程（Ｓ４００）において荷室全体検出部４４により検出されたコーナーの位置情報を用いる。なお、コーナー検出部４２により検出された左下コーナーＩｃ３の位置情報と、荷室全体検出部４４により検出された右上コーナーＩｃ４の位置情報と、を用いてもよい。

【0041】

すなわち、Ｓ５０４において、基本的にはコーナー検出部４２により検出されたコーナーの位置情報が優先され、コーナー検出部４２により検出できなかったコーナーのみ、荷室全体検出部４４により検出されたコーナーの位置情報が採用される。これは、コーナー検出用学習済みモデルを用いたコーナー検出部４２による検出の方が、荷室全体検出用学習済みモデルを用いた荷室全体検出部４４による検出よりも、荷室５１の全体に比べてコーナーの範囲は小さく、例えば画像取得時の日光や荷室内の状況等の外乱の影響を受けにくく、画像解析における精度が比較的良いためである。

【0042】

Ｓ５０３において、１つのコーナーも検出できなかった場合には（Ｓ５０３：ＮＯ）、Ｓ５０５に進み、荷室全体検出部４４により検出された位置情報から、対角コーナー位置情報を取得する。基本的には、荷室全体検出部４４により４つのコーナーの位置情報が取得されているため、この中から、例えば左上コーナー点Ｃ１と右下コーナー点Ｃ２のＸ，Ｙ座標を取得する。以上、Ｓ５０２、Ｓ５０４，Ｓ５０５の各処理では、コーナー検出部４２または荷室全体検出部４４により、対角コーナー位置情報が取得される。

【0043】

Ｓ５０２、Ｓ５０４，Ｓ５０５の各処理において対角コーナー位置情報が取得された後には、Ｓ５０６において、荷物５２が荷室５１の外で検出されたか否かが判断される。この判断は、Ｓ５０２、Ｓ５０４，Ｓ５０５の各処理で取得された対角コーナー位置情報により、対角をなす２点を２つの頂点として構成される矩形状の画像よりも外側に、荷物情報取得工程（Ｓ３００）において取得された全体荷物外形部の画像Ｉｃの４つの角部６１，６２，６３，６４のＸ，Ｙ座標が存在するか否かで判断される。

【0044】

Ｓ５０６において、荷物５２が荷室５１の外で検出された場合には（Ｓ５０６：ＹＥＳ）、Ｓ５０７に進み、荷物５２の座標を参酌して荷室を切り抜く。具体的には、当該外側に存在する荷物座標を含むように拡張された外形を荷室全体の範囲として算出する。さらに詳細については後述する。

【0045】

一方、Ｓ５０６において、荷物５２が荷室５１の外で検出されなかった場合には（Ｓ５０６：ＮＯ）、Ｓ５０８に進み、Ｓ５０２，５０４，５０５において取得された対角コーナー位置情報に基づき荷室を切り抜く。すなわち、対角コーナー位置情報を用いて取得される矩形状をなす荷室を荷室全体の範囲として算出する。

【0046】

本来、荷物５２は荷室５１内にあるはずであり、図６に示すように、全体荷物外形部の位置情報による矩形状をなす画像Ｉｃは、荷室５１の画像Ｉｒの内側に収まっているはずである。図８は、Ｓ５０６における画像処理の一例を説明するための図である。図８では、一点鎖線で示す全体荷物外形部の画像Ｉｃの横幅が、対角コーナー位置情報を用いて取得される破線で示す矩形状をなす荷室５１の画像Ｉｒの外形よりも外側に存在する例を示している。

【0047】

荷物５２の検出は、荷物５２の特徴量がコーナーや荷室５１の検出と比較して撮影時の外乱の影響を受けにくく容易であるため、画像解析による検出誤差が生じにくい。そのため、検出された全体荷物外形部の画像Ｉｃは概ね正しいため、仮に、全体荷物外形部の画像Ｉｃが、対角コーナー位置情報を用いて取得された荷室５１の画像Ｉｒの外側にあるような場合には、その荷室５１の画像Ｉｒは、荷物５２が見切れた状態となっていると推測できる。Ｓ５０６では、このような荷物５２の見切れが生じていないかをチェックしている。

【0048】

図８に示す検出結果の場合には、荷室５１の横幅については、正しくは全体荷物外形部の画像Ｉｃにおける横幅であると考えられる。全体荷物外形部の画像Ｉｃの縦幅が小さい点については、単に荷物５２が上方に存在していないだけとも考えられるため、荷室５１の画像Ｉｒの縦幅を採用する。上記のように、荷室５１の画像Ｉｒよりも外側に荷物５２が検出された場合には、全体荷物外形部の画像Ｉｃが収まるように補正した矩形状を、最終的な荷室５１の範囲として切り抜く。

【0049】

図８の例では、最終的に切り抜かれる荷室５１の範囲は、全体荷物外形部の画像Ｉｃにおける右下の角部６２と、荷室５１の画像Ｉｒにおける左上コーナー点Ｃ１のＸ座標を、全体荷物外形部の画像Ｉｃにおける左上の角部６１（または、左下の角部６３）のＸ座標とした左上コーナー点６５と、を対角とする矩形状の範囲Ｉｆとなる。

【0050】

再び、図４を参照する。積載率算出工程（Ｓ６００）では、積載率算出部４６により、上記詳述した荷室算出工程（Ｓ５００）において検出された荷室５１の画像Ｉｒと、荷物情報取得工程（Ｓ３００）において検出された複数の荷物５２の画像Ｉｂと、に基づいて積載率が算出される。積載率は、撮像方向に見たときの荷室５１内の全ての荷物５２の合計の面積を、荷室算出部４５により検出された荷室５１の範囲の面積で除算することにより求められる。具体的な画像処理としては、複数の車載されている全ての荷物５２の画像Ｉｂを黒で塗りつぶし、塗りつぶしたピクセル数を、荷室５１の画像Ｉｒのピクセル数で割ることで算出できる。

【0051】

Ａ３．効果：
（１）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法では、荷室算出工程（Ｓ５００）において、対角コーナー位置情報により構成される矩形状の画像よりも外側に全体荷物外形部の画像Ｉｃが存在する場合には、全体荷物外形部を含むように拡張された外形を荷室全体の範囲として算出する。すなわち、対角コーナー位置情報と、荷物情報と、を用いて、荷物５２が見切れるような荷室５１の範囲が算出されないように、最終的に算出される荷室５１の範囲が荷物情報により補正される。このため、荷室５１の範囲の算出精度を向上させることができる。

【0052】

（２）また、精度良く検出された荷室５１の範囲に基づいて、荷物５２の積載率を算出するため、より正確に積載率を算出できる。

【0053】

（３）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法では、荷室算出工程（Ｓ５００）におけるＳ５０１～Ｓ５０５の各処理に示すように、コーナー検出部４２により対角をなすコーナーが検出できずに対角コーナー位置情報が取得できなかった場合には、荷室全体検出部４４により検出された位置情報から対角コーナー位置情報を取得する。このように、コーナー検出部４２により検出できなかったコーナーの位置情報を、荷室全体検出部４４により検出された位置情報で補完する。このため、コーナー検出部４２により互いに対角上にある２つのコーナーを検出できない場合でも、正しく検出できるまで処理を繰り返したり、算出処理を中断したりする必要がなく、荷室５１を好適に算出することができる。

【0054】

（４）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法によれば、算出された収容状態としての積載率から、荷室５１内における残りの積載可能なスペースや、または、どの地点においてどの程度の量の荷物５２が積載されたか、といった情報を得ることができる。

【0055】

Ｂ．他の実施形態：
（Ｂ１）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法では、携帯端末１２に予め専用のアプリケーションをインストールした状態で、アプリケーションを起動させることによって利用することができるものとした。これに代えて、利用者によるスマホやタブレットでは、荷室５１の画像の撮影、および、システム管理端末としてプロセッサやメモリを有する一般的なコンピュータへの画像の送信のみを行い、送信先のコンピュータにおいて、各種プログラムが実行されて、コーナー検出、荷物情報取得、荷室全体検出、荷室算出、および積載率算出等の処理が実行されるように構成してもよい。また、この場合、処理結果を、利用者のスマホやタブレットに返信してもよい。

【0056】

（Ｂ２）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法は、車両５０の荷室５１を検出対象としたが、荷室５１は車両５０が有するものに限られない。荷室５１としては、例えば、車両５０部品の生産工場において、部品が適宜収納および供給されるシューターであってもよい。

【0057】

（Ｂ３）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法では、積載率算出部４６を有し、積載率算出まで実行するものとしたが、積載率算出部４６を有さずに、積載率算出を行わなくてもよい。例えば、荷室収容状態として、荷室５１内のどの位置に荷物５２が存在しているかのみを検出するシステムであってもよい。

【0058】

（Ｂ４）上記第１実施形態の荷室収容状態検出システム１０および荷室収容状態検出方法では、画像取得部４１は、荷室収容状態検出システム１０が有するカメラ３６により、検出対象の荷室全体を含む画像を取得するものとしたが、他のカメラで撮影して得られた画像を、通信インタフェース２４を介して取得してもよい。

【0059】

（Ｂ５）上記第１実施形態の荷室収容状態検出システム１０において、荷室全体検出部４４を有していなくてもよい。この場合であっても、コーナー検出部４２により得られた対角コーナー位置情報と、荷物情報と、を用いて、荷物５２が見切れるような荷室５１の範囲が算出されないように、荷室５１の範囲を補正することで、荷室５１の範囲の算出精度を向上させることができる。また、荷物情報としての「荷物の位置」は、例えば、全体荷物外形部の１つの角部の座標を用いてもよい。

【0060】

本開示は、上記各実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0061】

１０…荷室収容状態検出システム、１２…携帯端末、１４…制御部、１６…ＣＰＵ、１８…ＲＯＭ、２０…ＲＡＭ、２２…ストレージ、２４…通信インタフェース、２６…入出力インタフェース、２８…バス、３０…表示画面、３２…マイク、３４…スピーカ、３６…カメラ、４１…画像取得部、４２…コーナー検出部、４３…荷物情報取得部、４４…荷室全体検出部、４５…荷室算出部、４６…積載率算出部、４７…学習部、５０…運搬車両、５１…荷室、５２…荷物、５３，５４，５５…側壁、５６…下部扉、５７…荷台、５８…運転室、６１，６２，６３，６４…角部、６５…左上コーナー点、Ｃ１…左上コーナー点、Ｃ２…右下コーナー点、Ｃ３…左下コーナー点、Ｃ４…右上コーナー点、Ｉａ…全体画像、Ｉｂ…荷物の画像、Ｉｃ…全体荷物外形部の画像、Ｉｃ１…左上コーナー、Ｉｃ２…右下コーナー、Ｉｃ３…左下コーナー、Ｉｃ４…右上コーナー、Ｉｒ…荷室の画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】