特許 7708017 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-07

(45)【発行日】2025-07-15

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 3/14 20240101AFI20250708BHJP

   G06T 7/70 20170101ALI20250708BHJP

   G06T 3/00 20240101ALI20250708BHJP

【ＦＩ】

G06T3/14

G06T7/70 A

G06T3/00 780

【請求項の数】 5

(21)【出願番号】P 2022106560

(22)【出願日】2022-06-30

(65)【公開番号】P2024006025

(43)【公開日】2024-01-17

【審査請求日】2024-07-12

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】椿 裕太

(72)【発明者】

【氏名】松田 智裕

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０１７－０１４０１４（ＪＰ，Ａ）

【文献】国際公開第２００６／１１９６０５（ＷＯ，Ａ１）

【文献】特開２０２２－０３３１４９（ＪＰ，Ａ）

【文献】特開２０２０－１６１１９６（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０７１５７（ＷＯ，Ａ１）

【文献】特開２０２１－１８９６６６（ＪＰ，Ａ）

【文献】小島誠也 外１名，Ｔｏｐｉｃｓ 豊かで多様性のある社会を支援するＡＩ 食の多様性を支える「食品判定システム」の開発 －食の禁忌がある人々がアプリ上で簡単に食品を選ぶことができる－，ＮＴＴ ＤＯＣＯＭＯテクニカル・ジャーナル［ｏｎｌｉｎｅ］，一般社団法人電気通信協会，2019年07月31日，第27巻 第2号，pp.34～38

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／９４

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

複数の荷物を撮像して得られた複数の画像を合成する画像処理装置であって、
前記複数の画像を取得する画像取得部と、
前記複数の画像から、前記複数の荷物それぞれの種類および位置座標を検出する荷物検出部と、
前記荷物の位置座標から、前記荷物の寸法を算出する荷物寸法算出部と、
検出された前記荷物の種類及び前記寸法に基づいて、前記複数の画像間に共通する荷物が含まれているか否か判定する荷物判定部と、
前記荷物判定部が前記複数の画像間に共通する荷物が含まれていると判定した場合に、該共通する荷物の部分を重ね合わせることで該複数の画像を合成する画像合成部と、
を備えており、
前記荷物判定部は、前記複数の画像間に共通する荷物が含まれていると判定した場合に、さらに該共通する荷物に接する他の荷物が該複数の画像間で共通しているか否か判定する、
ことを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記荷物検出部は、前記荷物が縦方向に複数積層された荷物列毎に前記種類及び位置座標を検出し、
前記荷物判定部は、前記荷物列毎に、前記複数の画像間に共通する荷物であるか否か判定し、前記複数の画像間に共通する荷物が含まれていると判定した場合に、さらに該共通する荷物の上下のいずれかに接する他の荷物が該複数の画像間で共通しているか否か判定する、
ことを特徴とする画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記荷物判定部は、前記複数の画像間において、種類が一致し、かつ前記寸法の差分が所定の閾値以内にある荷物を共通の荷物として判定する、
ことを特徴とする画像処理装置。

【請求項4】

請求項１に記載の画像処理装置であって、
前記荷物検出部は、前記複数の荷物を撮像した画像を教師データとして、該画像に含まれる荷物の抽出方法とその荷物の種類の特定方法を機械学習したものであり、
前記荷物検出部は、前記画像取得部で取得した前記複数の画像から、前記複数の荷物それぞれの種類および位置座標を検出する、
ことを特徴とする画像処理装置。

【請求項5】

請求項１に記載の画像処理装置であって、
前記複数の荷物は、自動車両の荷台に積載された複数の荷物であり、
前記複数の画像は、前記荷台を前記自動車両の前後方向に分割した複数の画像である、ことを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像を合成する画像処理装置に関する。

【背景技術】

【0002】

物流効率改善のため、トラック等の荷台に積載された荷物の積載率を自動で算出することが求められている。積載率はデータベースから予測ができるが、積載時の隙間等により誤差が生じる。また、荷物は多数存在するため、ＲＦＩＤによる管理も困難である。そのため、撮像した画像から積載率を自動で算出することが望ましいが、撮像者と荷台の距離が近いとき、荷台全体を撮像できないため、分割して撮像した画像を結合・合成する必要がある。

【0003】

上記の画像合成技術に関し、特許文献１には、合成する画像間のオーバーラップ位置（対応点）を検出し、一方の画像のエッジが所定値以上の強いポイントについて、他方の画像と最も一致する点を見つけ出し、合成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平９－９１４０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の技術を、例えばトラックの荷台上に積載された荷物の積載率を算出するために用いようとするとき、荷台に同じ種類や同程度の寸法の荷物が複数積載されている場合、画像の類似点が複数存在し、画像間の一致点を正確に検出することができず、画像合成ができない。

【0006】

本発明は、上記課題を解決するためになされたものであり、複数の荷物を撮像して得られた複数の画像間に同じ種類や同程度の寸法の荷物が複数存在する場合であっても、正確に画像合成することが可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の画像処理装置は、以下の構成を有する。また、それぞれの構成によって発揮される効果についても併せて説明する。

【0008】

本発明に係る画像処理装置は、複数の荷物を撮像して得られた複数の画像を合成する画像処理装置であって、複数の画像を取得する画像取得部と、複数の画像から、複数の荷物それぞれの種類および位置座標を検出する荷物検出部と、荷物の位置座標から、荷物の寸法を算出する荷物寸法算出部と、検出された荷物の種類及び寸法に基づいて、複数の画像間に共通する荷物が含まれているか否か判定する荷物判定部と、荷物判定部が複数の画像間に共通する荷物が含まれていると判定した場合に、該共通する荷物の部分を重ね合わせることで該複数の画像を合成する画像合成部と、を備える画像処理装置である。

【0009】

本発明によれば、従来技術のように画像間のオーバーラップ位置の検出を利用するのではなく、荷物の種類及び位置座標に基づいて、画像の重なり具合を認識することによって画像間に共通の荷物があるか否か判定するため、複数の画像間に同じ種類や同程度の寸法の荷物が複数存在する場合であっても、正確に画像合成することが可能になる。

【0010】

より好ましい画像処理装置としては、荷物判定部は、複数の画像間に共通する荷物が含まれていると判定した場合に、さらに該共通する荷物に接する他の荷物が該複数の画像間で共通しているか否か判定する。

【0011】

この構成によれば、画像間に共通する荷物が複数あることを確認することが可能になり、画像間の共通性をより正確に算出することが可能になる。

【0012】

より好ましい画像処理装置としては、荷物検出部は、荷物が縦方向に複数積層された荷物列毎に種類及び位置座標を検出し、荷物判定部は、荷物列毎に、複数の画像間に共通する荷物であるか否か判定し、複数の画像間に共通する荷物が含まれていると判定した場合に、さらに該共通する荷物の上下のいずれかに接する他の荷物が該複数の画像間で共通しているか否か判定する。

【0013】

トラック等の自動車両の荷台に積載された荷物は、縦方向に複数積層された荷物列が荷台の幅方向に沿って載置されている場合が多く、上記構成を採用することによって、一定の規則に従って荷物判定を行うことになるため、画像処理装置のユーザに対して簡便性を提供することが可能になる。

【0014】

より好ましい画像処理装置としては、荷物判定部は、複数の画像間において、種類が一致し、かつ寸法の差分が所定の閾値以内にある荷物を共通の荷物として判定する。

【0015】

この構成によれば、複数の画像間を得る際に、画像間において撮像装置と撮像対象との距離や角度が多少異なるような場合であっても、その差を補正し、正確に画像合成することが可能になる。

【0016】

より好ましい画像処理装置としては、荷物検出部は、複数の荷物を撮像した画像を教師データとして、該画像に含まれる荷物の抽出方法とその荷物の種類の特定方法を機械学習したものであり、荷物検出部は、画像取得部で取得した複数の画像から、複数の荷物それぞれの種類および位置座標を検出する。

【0017】

この構成によれば、予め多数の荷物を例えばニューラルネットワークを用いて学習させたＡＩモデルを利活用して荷物を検出することが可能になり、検出精度の大幅な向上が期待できる。

【0018】

より好ましい画像処理装置としては、複数の荷物は、自動車両の荷台に積載された複数の荷物であり、複数の画像は、荷台を自動車両の前後方向に分割した複数の画像である。

【0019】

物流を担うトラックの荷台には、同じ種類や同程度の寸法の荷物が多数積載される場合が多く、従って、本発明はこのような構成の対象に対して好適に採用することができる。

【発明の効果】

【0020】

本発明によれば、複数の荷物を撮像して得られた複数の画像間に同じ種類や同程度の寸法の荷物が複数存在する場合であっても、正確に画像合成することが可能になる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施例に係る画像処理装置のハードウェア構成を示すブロック図である。

【図2】画像処理装置の機能構成を示すブロック図である。

【図3】画像処理装置が得た複数の画像に対して、荷物毎に種類及び位置座標を検出する処理を示す図である。

【図4】検出した荷物情報を、位置座標に基づいてソートした状態を示す図表である。

【図5】複数の画像間に共通する荷物が含まれているか否か判定する処理、及び画像合成を行う処理を示す図である。

【図6】画像処理装置が実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、本発明の実施例について図面を用いて説明する。なお、本実施例においては、複数の荷物が積載されたトラック（自動車両）の荷台部分を撮像対象とし、撮像の結果得られる複数の画像は、トラックの荷台をトラックの前後方向に分割した画像である例を説明する。

【0023】

図１は、本発明の一実施例に係る画像処理装置１のハードウェア構成を示すブロック図である。画像処理装置１は、データの読み出しが可能な記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、データの書き込みと読み出しの両方が可能であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、データを基に車両制御に必要なパラメータの演算を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３、及びデータの送受信を行うインターフェースである通信モジュール１４を有している。

【0024】

画像処理装置１は、通信路２を介して撮像装置３及び外部サーバ４と接続されている。通信路２は、Ｗｉ－Ｆｉ（登録商標）等の無線ネットワークから構成され得る。画像処理装置１は、撮像装置３からは、撮像対象を撮像して得られた複数の画像を受信する。また、外部サーバ４との間においては、演算結果や、後述する機械学習用の教師データを含む各種情報の送受信を行う。外部サーバ４は、ストレージを備えたコンピュータとしてコントロールセンターに設置されていてもよいし、クラウド上に仮想マシンとして実装されていてもよい。

【0025】

画像処理装置１は通信路２を介したデータを受信する。すると、受信に応じて、受信データがＲＡＭ１２に展開される。そして、書き込まれたＲＡＭ１２のデータとＲＯＭ１１の読み出しデータを基に、ＣＰＵ１３が演算を行う。また、画像処理装置１には予めプログラムが組み込まれており、ＣＰＵ１３が当該プログラムを実行することによって以下に説明する処理を実行することが可能になる。以下では、このようなコンピュータ分野の周知技術を適宜省略しながら、各部の詳細を説明する。

【0026】

次に、画像処理装置１の機能構成について図２の機能ブロック図を用いて説明する。図２に示すように、画像処理装置１は、画像取得部１５、荷物検出部１６、荷物寸法算出部１７、荷物判定部１８、画像合成部１９、及び出力部２０を備える。また、画像処理装置１の記憶領域には荷物情報データベース（ＤＢ）２１が格納されている。

【0027】

図２に示す機能ブロック図は例示であり、機能の単位および名称はこれに限らない。たとえば、画像取得部１５と出力部２０をまとめてデータ送受信部として扱ってもよい。

【0028】

画像取得部１５は、撮像装置３が撮像した複数の画像を、通信路２を介して取得する。荷物検出部１６は、画像取得部１５が取得した複数の画像を画像毎に解析し、画像内に含まれる荷物の種類及び位置座標を検出する。荷物寸法算出部１７は、荷物検出部１６が検出した荷物それぞれの位置座標から、各荷物の寸法を算出する。荷物判定部１８は、荷物検出部１６が検出した各荷物の種類及び荷物寸法算出部１７が算出した各荷物の寸法に基づいて、複数の画像間に共通する荷物が含まれているか否か判定する。画像合成部１９は、荷物判定部１８によって、共通の荷物が含まれていると判定された複数の画像を合成する。出力部２０は、合成された画像データや、画像に含まれていた荷物情報、各機能部によって演算された結果等を外部サーバ４に出力する。

【0029】

荷物情報ＤＢ２１には、複数の荷物を撮像した画像を教師データとして、該画像に含まれる荷物の寸法とその荷物の種類の検出結果を予め機械学習して得られた荷物に関する各種データが格納されている。また、本実施例においては、後述するように荷物検出部１６は、ＡＩモデル（学習モデル）を構成している。ＡＩモデルは、撮像対象になり得る荷物を撮像した画像データを教師データとして、予め、画像に含まれる荷物の抽出方法（荷物の認識及び荷物の画像上における座標の検出処理）と、抽出した荷物の種類の特定処理を機械学習したモデルである。具体的には、該荷物毎の寸法または形状などの特徴量が抽出されるように、教師データを用いて、荷物の特徴量を機械学習する。これにより、画像に含まれている荷物を高精度で検出することが可能になっている。

【0030】

次に、画像処理装置が得た複数の画像に対して、荷物毎に種類及び位置座標を検出する処理について、図３を用いて説明する。なお、本実施例においては、２枚の画像間に共通する荷物が含まれており、その２枚の画像を合成して１枚の画像を生成する処理について説明するが、合成する画像の枚数及び生成される画像の枚数について本実施例に限られないことは言うまでもない。

【0031】

画像取得部１５は、図３（ａ）に示す第１画像及び図３（ｂ）に示す第２画像を撮像装置３から取得する。上述の通り本実施例において取得する画像は複数の荷物が積載されたトラックの荷台の一部であり、図３（ａ）に示す第１画像は、荷物１００ａが縦方向に複数積層されてなる荷物列（Ｌ_１、Ｌ_２、Ｌ_３・・・）が荷台の先頭から後方に沿って積載された状態を撮像して得られた画像であり、図３（ｂ）に示す第２画像は、任意の範囲の荷物列（Ｌ_ｋ、Ｌ_ｋ＋１、Ｌ_ｋ＋２・・・）が荷台の途中から後方に沿って積載された状態を撮像して得られた画像である。従って、図３（ｂ）に示す第２画像は図３（ａ）に示す第１画像よりも後方の荷台部分を撮像したものであり、ゆえに、第１画像と第２画像とが合成される場合には第１画像の右端を含む部分と第２画像の左端を含む部分とが共通する部分として重ね合わせられて合成されることになる。

【0032】

ここで、本実施例における荷物１００ａは、フォークリフトのフォークを差し入れて運搬するためのスキッド部１０２ａと、スキッド部１０２ａに載置される荷部１０１ａとから構成されるものと定義される。しかしながら、トラックの荷台に積載され得る荷物に限らず、荷物として定義され得る対象は限りなく存在することは言うまでもなく、また、荷部１０１ａとスキッド部１０２ａとを区別してそれぞれを荷物として定義してもよい。このように、本発明の適用範囲としての荷物の定義は任意に決定できる。

【0033】

画像取得部１５は、これらの取得した画像データを荷物検出部１６へ送信する。荷物検出部１６は、上述の通り荷物検出のためのＡＩモデルを構成するものであり、画像取得部１５から受信した画像データを入力として、画像に含まれる荷物の数、種類、位置座標等を出力する。具体的には、学習されたＡＩモデルを用いて、画像に含まれる物体の特徴をピクセル単位で抽出し、色彩、明るさ、歪み、ノイズ、範囲の区別などを自動処理して何が写っているのかを可視化して分類する「画像分類処理」、自動で被写体を認識し、画像中の物体の存在範囲を検出する「画像検出処理」、及び画像領域内に何があるのかを識別するために被写体の境界線を明確に区分けする「画像セグメンテーション処理」を各画像に対して実行する。

【0034】

例えば図３（ａ）のスキッド部１０２ａを例にとると、荷物検出部１６に、スキッド部１０２ａの「縦方向と横方向の寸法比率」、「フォーク差し込み用孔の位置及び全体に対する面積比率」、「構成材料の明度、色彩、表面の凹凸、透明度等」等の特徴量を荷物の画像の教師データとして、画像に含まれる荷物の抽出処理を予め学習させたＡＩモデル（学習モデル）を構築しておく。構築したＡＩモデルに、荷物の検出対象となる画像を入力すると、ＡＩモデルは、画像の中から、荷物の特徴量を抽出し、この抽出した特徴量に基づいて、符号１０２ａが付された物体がスキッド部であると検出することができる。これにより、荷物検出部１６（ＡＩモデル）は、画像に含まれるスキッド部の検出により、画像内における荷物１００ａの位置座標を検出し、荷物１００ａの種類を特定することが可能になる。スキッド部１０２ａ上に載置された荷部１０１ａについても同様であり、当然これら以外の物体についても予め教師データを与えて学習させておくことで高精度に検出できる。

【0035】

荷物検出部１６は、上記のような画像解析の結果各荷物の種類を検出する。そして、図３（ｂ）に示すように各荷物に対して、荷物毎に区別した荷物セグメンテーションを付与する（荷物１００ａに対して荷物セグメンテーション２００ａ、荷物１００ｂに対して荷物セグメンテーション２００ｂ）。また、上記の一連の処理中、画像をピクセル解析し、荷物セグメンテーション毎の位置座標も算出しておく。位置座標の原点は例えば各画像の最も左上の点である。

【0036】

以上の処理によって、荷物検出部１６は各荷物の種類及び位置座標を検出し、検出結果を荷物寸法算出部１７へと送信する。荷物寸法算出部１７は受信した検出結果に基づいて次のような処理を実行する。

【0037】

図４（ａ）は、荷物検出部１６が検出した荷物情報の一覧であり、検出した荷物の荷物ｉｄ、荷物の種類（ｌａｂｅｌ）、検出の確度（ａｃｃｕｒａｃｙ）、及び四辺の座標（ｌｅｆｔ、ｔｏｐ、ｒｉｇｈｔ、ｂｏｔｔｏｍ）を含む。図４（ａ）は、荷物検出部１６が例えば各荷物を認識した際に付与するｉｄに沿ってデータが羅列されているものであり、このままデータを扱うことは困難である。従って、荷物寸法算出部１７は、まずデータを扱いやすくするために図４（ａ）のデータを整理する。

【0038】

具体的には、例えば各荷物の左辺の座標をソートする。すると、図４（ｂ）に示すように、図表上から、左辺の座標が共通する荷物が表示されることになる。この例からは、ｉｄ：２１、１９、３及び１が付与された荷物は撮像された画像中左端の荷物列であり、ｉｄ：１のｓｋｉｄが荷台上の底面上に直接載置され、その上にｉｄ：１９のｐｏｒｉが載置され、その上にｉｄ：３のｓｋｉｄが載置され、その上にｉｄ：２１のｐｏｒｉが載置されていることがわかる（座標原点が画像左上である点に注意）。

【0039】

このようにして、荷物寸法算出部１７は荷物情報をソートして荷物列毎のデータとして扱えるように整理する。そして、荷物列毎に、位置座標の差分を求めることによって荷物毎の寸法（高さ及び幅）を算出する。このようにして算出された荷物の寸法情報は、図４（ｂ）の荷物情報にさらに付加され、荷物判定部１８へと送信される。

【0040】

なお、図４（ｂ）の表の、左辺座標が「９１１」である一連のデータを参照すると、検出されている６個の荷物のうち５個の右辺座標が「１０２４」であり、残りの１個も「１０２１」である。また、この座標差から求められる荷物幅も「１１３」、及び「１１０」と他の荷物に比べて極端に小さい。このように、算出された荷物幅が他の荷物の幅と比較して極端に小さいような場合には、その荷物列はその画像から見切れているものとして、荷物判定部１８による判定対象から除外することもできる。この場合の除外基準については、検出された荷物の横幅の平均値に対して例えば５０％以下とする等予め設定してもよいし、状況に応じてリアルタイムに変更してもよい。

【0041】

次に、荷物寸法算出部１７から荷物情報を受信した荷物判定部１８が、複数の画像間に共通する荷物が含まれるか否か判定する処理、及び荷物判定部１８が複数の画像間に共通する荷物が含まれると判定した場合に、画像合成部１９が画像合成する処理について図５を用いて説明する。

【0042】

まず荷物判定部１８は、荷物寸法算出部１７から受信した荷物情報から、図５（ａ）に示す第１画像が図５（ｂ）に示す第２画像よりも荷台左方の部分を撮像して得られた画像であることを認識し、第１画像を左側に、第２画像を右側に配置する。また、荷物寸法算出部１７による処理の結果、第１画像内の判定対象荷物列はＬ_１、Ｌ_２、Ｌ_３であると設定する。

【0043】

ここで、本実施例における荷物判定部１８は、各荷物列に含まれる全ての荷物を荷物列セグメンテーションとして認識するように設定されている（荷物列Ｌ_３に含まれる荷物を荷物列セグメンテーション３００ａとして認識する）。そして、荷物判定部１８は、荷物列セグメンテーション毎に、画像間に共通する荷物が含まれているか否か判定する処理を実行する。

【0044】

まず荷物判定部１８は、第１画像の、判定対象である荷物列のうち最も右側の荷物列セグメンテーション３００ａに含まれる荷物１１０ａ～１４０ａの種類及び寸法を荷物情報から抽出する。そして、まずこの荷物列セグメンテーション３００ａの最上段に載置されている荷物１１０ａが第２画像に含まれているか否かの判定を開始する。以下では、荷物１１０ａの種類及び寸法を基準荷物情報と呼ぶ。

【0045】

上記の基準荷物情報に基づき、第２画像の、判定対象である荷物列のうち最も左側の荷物列セグメンテーションのさらに最も上段に載置されている荷物１００ｂの種類及び寸法を検出する。検出した荷物の種類または寸法のいずれか一方でも基準荷物情報と一致しない場合には、判定した荷物１００ｂより一段下に載置されている荷物の種類及び寸法を検出し、同様の判定を行う。荷物列セグメンテーションの一番下段に載置されている荷物まで判定した場合には、その荷物列セグメンテーションより１列右側の荷物列セグメンテーションの最上段に載置された荷物に移動して、判定を続ける。なお、画像間における、荷物の寸法の比較においては、各画像を撮像した際の撮像装置と撮像対象領域との間の距離や光軸角の相違等によるずれを補正するために各画像をキャリブレーションしてもよい。また、寸法が一致すると判定できる一定の閾値を定めても良い。

【0046】

本実施例においては、上記の処理を繰り返した結果、荷物判定部１８は、第２画像の、判定対象である荷物列のうち２番目に左側の荷物列セグメンテーション３００ｂの最上段の荷物１１０ｂの種類及び寸法が、基準荷物情報と一致したと判定したとする。すなわち、第２画像中最も左側の荷物列が、第１画像中の荷物列Ｌ_２と同一であると判定したとする。

【0047】

すると荷物判定部１８は再び第１画像を参照し、今度は荷物列セグメンテーション３００ａの最上段から２番目に載置されている荷物１２０ａの荷物情報を抽出し、これと、第２画像の、荷物列セグメンテーション３００ｂの最上段から２番目に載置されている荷物１２０ｂの種類及び寸法と一致しているか判定する。

【0048】

以上の処理によって、荷物判定部１８は、第１画像及び第２画像間において、上下に隣接する２つの荷物（第１画像の荷物１１０ａ及び１２０ａと第２画像の荷物１１０ｂ及び１２０）が共通する荷物列セグメンテーション（第１画像の３００ａ及び第２画像の３００ｂ）に存在すると判定し、判定結果を画像合成部１９へと送信する。

【0049】

画像合成部１９は、荷物判定部１８から判定結果を受け取ると、第１画像の荷物列セグメンテーション３００ａと第２画像の荷物列セグメンテーション３００ｂとが重なるように２つの画像を重ね合わせ、図５（ｃ）に示す合成画像を生成する。

【0050】

なお、上記においては荷物列セグメンテーションに含まれる、上下に隣接する２つの荷物が一致する場合に、その荷物列セグメンテーションが一致すると判定したが、比較する荷物の数はこれに限られず、上記の判定処理を、第１画像中の荷物１３０ａ、１４０ａ、及び第２画像中の荷物１３０ｂ、１４０ｂに対しても同様に実行してもよい。比較する荷物の数が増えるほど、画像判定の精度が向上する。

【0051】

なお、上記の説明においては、説明を簡略化するために第１画像が荷台の先頭を含む部分であり、第２画像が第１画像よりも荷台後方であることを前提としたが、荷物判定部１８は、必ずしも受信した画像データ同士の位置関係を把握できるわけではなく、従って、上述した第１画像及び第２画像とは逆の位置関係の場合もあり得る。従って、左側に配置した第１画像のある荷物列セグメンテーションに含まれる全ての荷物に対して判定処理を行った結果、第２画像に一致する荷物が含まれていると判定されなかった場合には、第２画像が第１画像より荷台前方の部分を撮像した画像である可能性も考慮し、第１画像において、１列左の荷物列セグメンテーションに含まれる荷物を判定対象として新たに設定し、判定処理を続けていく。

【0052】

最後に、出力部２０が判定結果を荷物情報ＤＢ２１及び／または外部サーバ４に出力し、教師データの更新等を行う。

【0053】

上述した一連の判定処理について図６のフローチャートを用いて説明する。画像取得部１５が撮像装置３から複数の画像を取得した時点で処理がスタートする。

【0054】

ステップＳ６０１において荷物検出部１６は、画像取得部１５から取得した複数の画像のそれぞれに対して、上述したようなＡＩモデルを用いて画像が含む荷物の種類及び位置座標を検出する。

【0055】

ステップＳ６０２において、荷物検出部１６は、検出した荷物の種類毎の荷物の横幅の平均を算出する。

【0056】

ステップＳ６０３において、荷物寸法算出部１７は、図４を用いて説明した通り荷物情報をソートし、荷物列毎の情報に整理する。この際に、ステップＳ６０２にて算出した荷物の種類毎の横幅の平均を用いて、荷物判定部１８による判定対象から除外する荷物列を選定してもよい。

【0057】

ステップＳ６０４において、荷物判定部１８は、図５を用いて説明した通り、第１画像（取得した複数の画像のうち最も荷台前方部分を撮像した画像）内の右端の荷物列セグメンテーション内の荷物を抽出し、荷物情報を算出する。

【0058】

ステップＳ６０５－Ｓ６０６において、荷物判定部１８は、第２画像（第１画像よりも荷台後方部分を撮像した画像）内の、判定対象の荷物の荷物情報を検出し、荷物寸法算出部１７から受け取った荷物情報に基づいて、ステップＳ６０４にて抽出された荷物列セグメンテーション中の荷物と共通する荷物が第２画像内に存在するか否か判定する。

【0059】

ステップＳ６０６において、第１画像及び第２画像間に共通する荷物が存在しないと判定された場合には、第１画像中の、一列左の荷物列セグメンテーション内の荷物情報の算出を行い、同様に第２画像内に共通する荷物が存在するか否かの判定を続ける。

【0060】

ステップＳ６０６において、第１画像及び第２画像間に共通する荷物が存在すると判定された場合には、ステップＳ６０７へと移行する。このステップＳ６０７では荷物判定部１８はさらに、第１画像及び第２画像のそれぞれに対して、ステップＳ６０６において共通すると判定された荷物の一段下の荷物が共通しているか判定する。

【0061】

ステップＳ６０７で、一段下の荷物が画像間で一致すると判定されれば、ステップＳ６０８において、その結果を受け取った画像合成部１９によって画像が合成される。一段下の荷物が画像間で一致しないと判定されれば、ステップＳ６０６において共通すると判定されていた荷物は偶然両画像内に存在していたと判定され、荷物判定部１８による処理はステップＳ６０９へと移行する。その後は既述の通りである。

【0062】

画像合成部１９による画像合成が行われると、一連の処理結果が出力部２０によって荷物情報ＤＢ２１及び／または外部サーバ４に出力され、処理を終了する。

【0063】

以上説明したように、本発明によれば、画像間に共通する荷物が存在するか否かという判定を、荷物の種類及び位置座標に基づく寸法に基づいて実行しているため、類似する荷物が多数存在するような場合であっても判定の精度を向上させることが可能になる。しかも、画像間で共通する荷物が存在すると判定された場合に、その荷物に接する荷物についても共通性があるか判定することにより、判定精度をより向上させることが可能になる。さらに、荷物の種類及び寸法の検出に際して、荷物検出部を、予め複数の荷物を撮像して得られた画像を教師データとして、荷物の種類及び寸法を機械学習させて生成したＡＩモデルとすることにより、荷物検出の精度を非常に向上させることが可能になる。

【0064】

以上、本発明の実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の変更を行うことができる。本発明は、或る実施形態の構成を他の実施形態の構成に追加したり、或る実施形態の構成を他の実施形態と置換したり、或る実施形態の構成の一部を削除したりすることができる。

【符号の説明】

【0065】

１ 画像処理装置、１５ 画像取得部、１６ 荷物検出部、１７ 荷物寸法算出部、１８ 荷物判定部、１９ 画像合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】