特許 7563625 画像解析システム、画像解析方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】画像解析システム、画像解析方法およびプログラム

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

【ＦＩ】

G06Q10/087

G06T7/00 Z

【請求項の数】 9

(21)【出願番号】P 2023553799

(86)(22)【出願日】2021-10-12

(86)【国際出願番号】 JP2021037745

(87)【国際公開番号】W WO2023062724

(87)【国際公開日】2023-04-20

【審査請求日】2024-04-03

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】米澤 八栄子

【審査官】池田 聡史

(56)【参考文献】

【文献】国際公開第２０１４／０８７７２５（ＷＯ，Ａ１）

【文献】特開２０１８－１３２８６９（ＪＰ，Ａ）

【文献】特開２００６－５９０３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／００１１９３６（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１０７１５７（ＷＯ，Ａ１）

【文献】赤塚隼ほか２名，“画像認識を用いた商品棚解析ソリューション －画像から商品の陳列情報を一括把握－”，ＮＴＴ技術ジャーナル，一般社団法人電気通信協会，2018年08月01日，第30巻, 第8号，pp.35～43

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数の商品が写る画像の中から各商品の商品領域を検出する商品領域検出手段と、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定する同一商品領域判定手段と、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する商品識別手段と、
を備える画像解析システム。

【請求項2】

前記商品識別手段は、
前記同一商品領域内に含まれる複数の商品領域それぞれの特徴点を取得し、
前記複数の商品領域それぞれについて取得された特徴点の数に基づいて、前記対象として選択する少なくとも一つの商品領域を決定する、
請求項１に記載の画像解析システム。

【請求項3】

前記商品識別手段は、
複数の商品領域が前記対象として選択された場合、当該選択された複数の商品領域それぞれの特徴点を足し合わせた結果を用いて、前記同一商品領域に並んでいる商品を識別する、
請求項１または２に記載の画像解析システム。

【請求項4】

前記同一商品領域判定手段は、
商品を載置する載置部材の画像領域の位置情報を取得し、
前記載置部材の画像領域の位置情報に基づいて、前記同一商品領域を判定するために比較する商品領域を選択する、
請求項１から３のいずれか１項に記載の画像解析システム。

【請求項5】

コンピュータが、
複数の商品が写る画像の中から各商品の商品領域を検出し、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定し、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、
前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する、
ことを含む画像解析方法。

【請求項6】

前記コンピュータが、
前記同一商品領域内に含まれる複数の商品領域それぞれの特徴点を取得し、
前記複数の商品領域それぞれについて取得された特徴点の数に基づいて、前記対象として選択する少なくとも一つの商品領域を決定する、
ことを更に含む請求項５に記載の画像解析方法。

【請求項7】

前記コンピュータが、
複数の商品領域が前記対象として選択された場合、当該選択された複数の商品領域それぞれの特徴点を足し合わせた結果を用いて、前記同一商品領域に並んでいる商品を識別する、
ことを含む請求項５または６に記載の画像解析方法。

【請求項8】

前記コンピュータが、
商品を載置する載置部材の画像領域の位置情報を取得し、
前記載置部材の画像領域の位置情報に基づいて、前記同一商品領域を判定するために比較する商品領域を選択する、
ことを含む請求項５から７のいずれか１項に記載の画像解析方法。

【請求項9】

コンピュータに、請求項５から８のいずれか１項に記載の画像解析方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を用いて商品を識別する技術に関する。

【背景技術】

【0002】

店舗内の商品といった、商品を陳列している場所の画像に対して画像処理を実行し、その場所に陳列されている商品を識別する技術がある。このような技術において、様々な要因により商品の識別に失敗または商品を誤って識別してしまう場合もある。そのため、商品の識別精度を向上させる技術が望まれる。

【0003】

商品の識別精度を向上させる技術の一例が、例えば、下記特許文献１に開示されている。特許文献１には、複数の商品が配列された商品棚の画像から各商品の商品領域を検出し、対象の商品領域と隣接する商品領域との間における商品認識結果の関連性に基づいて、対象の商品領域に関する商品の認識結果の妥当性を判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１９／１０７１５７号

【発明の概要】

【発明が解決しようとする課題】

【0005】

基本的に、画像を用いて商品を識別する処理の演算量は大きい。商品棚などの画像を用いて、当該画像に含まれる複数の商品をそれぞれ識別する場合、要求される演算量（処理負荷）は大きくなる。処理負荷が大きくなるとレスポンス時間も長くなり、ユーザビリティが低下し得る。

【0006】

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、複数の商品が写る画像を用いた商品識別処理の全体的な処理負荷を低減させる技術を提供することである。

【課題を解決するための手段】

【0007】

本開示における画像解析システムは、
複数の商品が写る画像の中から各商品の商品領域を検出する商品領域検出手段と、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定する同一商品領域判定手段と、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する商品識別手段と、
を備える。

【0008】

本開示における画像解析方法は、
コンピュータが、
複数の商品が写る画像の中から各商品の商品領域を検出し、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定すし、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、
前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する、
ことを含む。

【0009】

本開示におけるプログラムは、
コンピュータに、上述の画像解析方法を実行させる。

【発明の効果】

【0010】

本発明によれば、複数の商品が写る画像を用いた商品識別処理の全体的な処理負荷を低減させることができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る画像解析システムの機能構成を例示する図である。

【図2】画像解析システムの各機能構成部を有する情報処理装置のハードウエア構成を例示するブロック図である。

【図3】第１実施形態の画像解析システムにより実行される処理の流れを例示するフローチャートである。

【図4】複数の商品領域それぞれの特徴点を足し合わせた結果を用いて商品を識別する動作を説明するための図である。

【図5】処理対象として画像解析システムに与えられる画像の一例を示す図である。

【図6】図５の画像に写る各商品の画像領域を例示する図である。

【図7】同一商品領域判定部による同一商品領域の判定結果を例示する図である。

【図8】商品識別部が最終的に出力する情報の一例を示す図である。

【図9】第２実施形態に係る画像解析システムの機能構成を例示する図である。

【図10】第２実施形態の同一商品領域判定部により実行される同一商品領域の判定処理（Ｓ１０６の処理）の具体的な流れを例示するフローチャートである。

【図11】処理対象として画像解析システムに与えられる画像の一例を示す図である。

【図12】図１１の入力画像に関する載置部材の検出結果を例示する図である。

【図13】図１１の入力画像に関する、商品領域の検出結果と載置部材の検出結果を例示する図である。

【図14】同一商品領域判定部による処理結果を例示する図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。また、図中の矢印の向きは、単に情報の流れを分かり易くするためのものである。図中の矢印の向きは、特に説明のない限り、通信の方向（一方向通信／双方向通信）を限定しない。

【0013】

［第１実施形態］
＜機能構成例＞
図１は、第１実施形態に係る画像解析システムの機能構成を例示する図である。図１に例示される画像解析システム１は、商品領域検出部１１０、同一商品領域判定部１２０および商品識別部１３０を備える。

【0014】

商品領域検出部１１０は、複数の商品が写る画像を取得する。また、商品領域検出部１１０は、取得した画像において、各商品の画像領域を検出する。以下の説明において、各商品の画像領域のことを「商品領域」とも表記する。同一商品領域判定部１２０は、画像の中から検出された複数の商品領域の類似性から、同一の商品が並んでいる領域を判定する。なお、以下の説明において、同一の商品が並んでいる領域のことを、「同一商品領域」とも表記する。例えば、同一商品領域判定部１２０は、互いに隣り合う商品領域を対象として、それらを比較する。例えば、同一商品領域判定部１２０は、各商品領域から抽出可能な画像特徴量（例えば色や形状に関する特徴量といった、領域内の商品の外観的特徴を示す情報）に基づいて、隣り合う商品領域の類似性を判定することができる。このように、同一商品領域判定部１２０は、隣り合う商品領域の類似性、すなわち、隣り合う商品の外観的特徴の類似性を基に、同一の商品が並んでいるか否かを判定している。なお、同一商品領域判定部１２０は、商品が同一か否かを判定するが、その商品が何かを判定する（すなわち、識別する）わけではない。画像に写っている商品を識別する処理は、後述の商品識別部１３０が行う。商品識別部１３０は、同一商品領域判定部１２０により特定された同一商品領域に含まれる複数の商品領域の中から、少なくとも一つの商品領域を対象として選択する。そして、商品識別部１３０は、対象として選択された少なくとも一つの商品領域を処理することによって同一商品領域に並んでいる商品を識別する。

【0015】

例えば、３つの商品が１列に並んで陳列されている画像が処理対象の画像として取得されたとする。この場合、商品領域検出部１１０は、処理対象の画像から３つの商品領域を検出する。そして、同一商品領域判定部１２０が各々隣り合う商品領域と比較した結果、これら３つの商品領域がそれぞれ隣り合う商品領域と基準以上の類似度を示したとする。この場合、同一商品領域判定部１２０は、これら３つの商品領域を含む領域を、同一商品領域として判定する。例えば、同一商品領域判定部１２０は、３つの商品領域それぞれに、同一商品領域に関する識別情報として、同じ情報を付与する。例えば、３つの商品領域それぞれに、同一商品領域を示す情報として「同一商品領域ＩＤ：００１」といった情報を付与する。この場合、各商品領域に付与された同一商品領域のＩＤを参照することによって、各商品領域がどの同一商品領域に含まれるかをシステムの機能部が特定可能となる。ここで挙げた具体例では、商品識別部１３０は、「同一商品領域ＩＤ：００１」という情報を用いて検索を行うことによって、「同一商品領域ＩＤ：００１」が付与された３つの商品領域を特定できる。そして、商品識別部１３０は、このように特定される商品領域の中から、ランダムに又は予め決められたルールに従って、１つ以上の商品領域を選択して、同一商品領域単位で商品を識別する。

【0016】

＜画像解析システム１のハードウエア構成＞
画像解析システム１の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像解析システム１の各機能構成部が、１つの情報処理装置において、ハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0017】

図２は、画像解析システム１の各機能構成部を有する情報処理装置１０のハードウエア構成を例示するブロック図である。情報処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

【0018】

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

【0019】

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

【0020】

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

【0021】

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は、本明細書で説明する画像解析システム１の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０２０が当該プログラムモジュールをメモリ１０３０上に読み込んで実行することで、本明細書で説明する画像解析システム１の各機能（商品領域検出部１１０、同一商品領域判定部１２０、商品識別部１３０など）が実現される。

【0022】

入出力インタフェース１０５０は、情報処理装置１０と周辺機器とを接続するためのインタフェースである。入出力インタフェース１０５０には、キーボード、マウス、タッチパネルといった入力装置、ディスプレイ、スピーカーといった出力装置が接続され得る。

【0023】

ネットワークインタフェース１０６０は、情報処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０を介してネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。一例として、情報処理装置１０は、ネットワークインタフェース１０６０を介して、ネットワークに接続されている、店員が所持する端末２０やその他の外部装置などと通信することができる。

【0024】

なお、図２に示されるハードウエア構成はあくまで一例である。本開示に係る画像解析システム１のハードウエア構成は、図２の例に限定されない。例えば、本開示に係る画像解析システム１の各種機能は、単一の情報処理装置に実装されていてもよいし、複数の情報処理装置に分散されて実装されてもよい。また、図２の例において、店員が使用する端末２０と異なる装置として、画像解析システム１の各機能を備える情報処理装置１０が描かれているが、画像解析システム１の機能の全て又は一部は、店員が使用する端末２０に備えられていてもよい。

【0025】

＜処理の流れ＞
図３は、第１実施形態の画像解析システム１により実行される処理の流れを例示するフローチャートである。

【0026】

まず、商品領域検出部１１０は、図示しない撮像装置によって撮影された、複数の商品が写っている画像を処理対象の画像として取得する（Ｓ１０２）。処理対象の画像は、例えば、店員が所持する端末（例えば、図２に示される端末２０）に搭載されるカメラを用いて撮影される。店員は、例えば商品が陳列されている場所（商品棚など）を、端末のカメラ機能を用いて撮影する。商品領域検出部１１０は、当該端末から、或いは、当該端末により生成された画像を収集して蓄積する図示しないサーバ装置から、商品の画像を取得することができる。

【0027】

そして、商品領域検出部１１０は、取得した画像の中から個々の物体（商品）に対応する画像領域（商品領域）を検出する（Ｓ１０４）。商品領域検出部１１０は、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇなどの機械学習アルゴリズムによって学習された物体認識モデル（図示せず）を用いて、画像内の個々の物体（何らかの商品と推測される物体）を認識することができる。ここでの「認識」とは、物体に対応する画像領域の位置（例：画像座標系での位置座標）を特定することを含む。一例として、この物体認識モデルは、例えば、図２の情報処理装置１０のストレージデバイス１０４０に予め記憶される。他の一例として、この物体認識モデルは、ネットワークインタフェース１０６０を介して図２の情報処理装置１０と通信可能に接続された外部装置（図示せず）に記憶されていてもよい。

【0028】

同一商品領域判定部１２０は、商品領域検出部１１０により検出された各商品領域の位置および各商品領域の特徴情報に基づいて、同一商品の商品が並んでいる領域を判別する（Ｓ１０６）。例えば、同一商品領域判定部１２０は、隣り合う２つの商品領域からそれぞれ画像特徴量を抽出して比較することによって、それら２つの商品領域の一致度（類似度）を算出することができる。そして、同一商品領域判定部１２０は、２つの商品領域の一致度（類似度）が所定の基準値以上である場合に、それら２つの商品領域に同一の商品が配置されていると判定する。例えば、同一商品領域判定部１２０は、同一商品が配置されていると判定された２つの商品領域に、同一商品領域に関する識別情報として、同じ情報を付与する。このような情報を同一商品領域判定部１２０が付与することによって、処理対象の画像内で同一の商品が並んでいる領域が設定される。なお、同一商品領域を判定するために使用される所定の基準値は、例えば、商品画像を用いて試験的に行った比較の結果に基づいて適切な値に調整され、同一商品領域判定部１２０がアクセス可能な記憶領域に予め記憶されている。

【0029】

商品識別部１３０は、同一商品領域判定部１２０により判定された同一商品領域毎に、商品識別処理に使用する商品領域を選択する（Ｓ１０８）。例えば、２種類の商品が陳列されている商品棚の画像が処理対象の画像として取得された場合、上述のＳ１０６の処理において、当該２種類の商品の一方に関する第１の同一商品領域と、その他方に関する第２の同一商品領域とが設定される。この場合、商品識別部１３０は、第１の同一商品領域および第２の同一商品領域のそれぞれについて、商品識別処理に用いる商品領域を選択する。なお、商品識別部１３０は、任意にルールに従って、商品識別処理に用いる商品領域を選択することができる。

【0030】

一例として、商品識別部１３０は、同一商品領域に含まれる複数の商品領域それぞれについて特徴点を取得し、各商品領域の特徴点の数に基づいて商品識別処理に用いる商品領域を選択する。具体的には、商品識別部１３０は、同一商品領域内で特徴点の数が最も多い商品領域を、商品識別処理に用いる商品領域として選択する。また、商品識別部１３０は、特徴点の数が所定の閾値以上である１つ以上の商品領域を、商品識別処理に用いる商品領域として選択してもよい。得られる特徴点の数が多いほど、商品識別部１３０による商品識別結果として正しい識別結果が得られる可能性が高まる。他の一例として、商品識別部１３０は、同一商品領域に含まれる商品領域の中から、所定の数または所定の割合（例えば、５０％など）の商品領域をランダムに選択してもよい。

【0031】

そして、商品識別部１３０は、同一商品領域毎に選択された商品領域を用いて、同一商品領域単位で商品識別処理を実行する（Ｓ１１０）。商品識別部１３０は、例えば、各種商品を識別可能に予め学習された商品認識モデルに、Ｓ１０８の処理で選択された商品領域（部分画像）を入力として与えることによって、当該商品領域に関する商品識別結果を得ることができる。また、商品識別部１３０は、Ｓ１０８の処理で選択された商品領域（部分画像）を、商品識別処理用に商品毎に予め準備された商品マスター情報と比較することによって、当該商品領域に関する商品識別結果を得ることができる。

【0032】

ここで、ある同一商品領域に関する商品識別処理に用いるために複数の商品領域が選択された場合、商品識別部１３０は、それら複数の商品領域それぞれの特徴点を足し合わせた結果を用いて、商品を識別してもよい。この場合、個々の商品領域で欠落している特徴点をその他の商品領域の特徴点で補うことができるため、商品識別処理の精度を向上させる効果が期待できる。これを、図４を用いて説明する。図４は、複数の商品領域それぞれの特徴点を足し合わせた結果を用いて商品を識別する動作を説明するための図である。図４の例では、ある商品に関する同一商品領域から３つの商品領域４１～４３が選択された状態が示されている。なお、各領域に存在する丸印１つ１つが特徴点を表している。図４に示されるように、３つの商品領域４１～４３それぞれの特徴点の位置や数は、少なくとも一部において異なっている。商品識別部１３０は、図示されるように、３つの商品領域の特徴点を足し合わせて、商品識別処理に使用する識別用情報４０を生成している。そして、商品識別部１３０は、このように生成された識別用情報４０を用いて、商品識別処理を実行する。図示されるように、識別用情報４０には、３つの商品領域４１～４３がそれぞれ有する特徴点を足し合わせた結果が含まれる。このように、同一商品領域の範囲から選択された複数の商品領域の特徴点を足し合わせることにより、１回の商品識別処理において使用される特徴点の数が増加する。その結果、画像内の商品の識別精度が向上する。

【0033】

そして、商品識別部１３０は、Ｓ１１０の処理結果を基に、同一商品領域毎に商品識別結果を確定する（Ｓ１１２）。ある同一商品領域について１つの商品領域がＳ１０８の処理で選択されていた場合、商品識別部１３０は、その選択された商品領域を用いて得られた商品識別結果を、その同一商品領域全体の商品識別結果として確定する。また、ある同一商品領域について複数の商品領域がＳ１０８の処理で選択されていた場合、商品識別部１３０は、その複数の商品領域それぞれに関する商品識別結果に基づいて、その同一商品領域全体の商品識別結果を確定する。例えば、商品識別部１３０は、最も多く得られた商品識別結果を、同一商品領域の商品識別結果として確定する。また、商品識別部１３０は、複数の商品領域を用いて得られた商品識別結果のうち一致度（識別処理で得られる何らかのスコア）が最も高い商品識別結果を、同一商品領域における商品識別結果として確定してもよい。そして、商品識別部１３０は、最終的な処理結果を出力装置に出力する（Ｓ１１４）。

【0034】

上述の処理について、図を用いてより具体的に説明する。なお、以下で説明する処理はあくまで一例であり、本開示にかかる画像解析システム１の処理は以下で説明される内容に制限されない。

【0035】

図５は、処理対象として画像解析システム１に与えられる画像の一例を示す図である。商品領域検出部１１０は、図５に示されるような画像を取得すると、例えば、図２の情報処理装置１０のストレージデバイス１０４０などに記憶されている物体認識モデルを使って、画像内の各物体（商品）に対応する画像領域を図６に示すように検出する。

【0036】

図６は、図５の画像に写る各商品の画像領域を例示する図である。商品領域検出部１１０は、図６において点線の矩形で示すように、画像内で複数の画像領域（商品領域）を特定する。なお、以下の説明において各商品領域を区別する場合、図示されるように符号６０－１～符号６０－６を利用する。このとき、商品領域検出部１１０は、例えば、商品領域６０－１から商品領域６０－６の各々について、その領域の形状を示す情報（例：各頂点の画像上での位置情報および各頂点の繋がりを示す情報）を生成し、所定の記憶領域（例：図２の情報処理装置１０のストレージデバイス１０４０）に記憶する。このように記憶された情報に基づいて、同一商品領域判定部１２０は、画像内の複数の物体（商品）それぞれに対応する商品領域の位置関係を特定することができる。

【0037】

同一商品領域判定部１２０は、図６に示されるように検出された複数の商品領域それぞれの位置関係と類似性とに基づいて、同一商品領域を判定する。例えば、同一商品領域判定部１２０は、複数の画像領域それぞれについて画像特徴情報を生成し、隣り合う商品領域について画像特徴の類似性を判定する。画像内の商品の陳列状態に従って、商品領域６０－１および商品領域６０－２の類似度、並びに、商品領域６０－３から商品領域６０－５の類似度がそれぞれ所定の閾値以上となったとする。また、画像内の商品の陳列状態に従って、商品領域６０－６については所定の閾値以上の類似度を示す他の商品領域が見つからなかったとする。この場合、同一商品領域判定部１２０は、例えば図７に示すように、３つの同一商品領域が存在すると判定する。図７は、同一商品領域判定部１２０による同一商品領域の判定結果を例示する図である。図７の例では、同一商品領域判定部１２０は、図６の商品領域６０－１および商品領域６０－２を含む第１の同一商品領域７０－１、図６の商品領域６０－３から６０－５を含む第２の同一商品領域７０－２、および、図６の商品領域６０－６を含む第３の同一商品領域７０－３の３つの同一商品領域を画像内で設定している。

【0038】

商品識別部１３０は、図７に例示される３つの同一商品領域それぞれから、商品識別処理に使用する商品領域を選択する。例えば、商品識別部１３０は、第１の同一商品領域７０－１、第２の同一商品領域７０－２および第３の同一商品領域７０－３それぞれについて、商品識別処理に使用する商品領域を１つずつ選択する。また例えば、商品識別部１３０は、それぞれ複数の商品領域が含まれている第１の同一商品領域７０－１および第２の同一商品領域７０－２については、商品識別処理に使用する商品領域として複数の商品領域を選択してもよい。

【0039】

そして、商品識別部１３０は、同一商品領域毎に選択された商品領域を用いて商品識別処理を実行する。商品識別部１３０は、同一商品領域毎に選択された商品領域を用いて行った商品識別処理の結果に基づいて、同一商品領域毎に商品識別結果を確定する。そして、商品識別部１３０は、最終的な処理結果を示す情報を、例えば処理対象の画像を撮影した店員用の端末２０に出力する。図８は、商品識別部１３０が最終的に出力する情報の一例を示す図である。商品識別部１３０は、処理対象の画像として取得した画像に、同一商品領域毎に確定された商品識別結果を示す表示要素８０を重畳させた加工画像のデータを生成する。そして、商品識別部１３０は、例えば図２に示される店員用の端末２０に生成した加工画像のデータを送信し、当該端末２０のディスプレイ上に図８に例示されるような画像を表示させる。

【0040】

＜効果の例示＞
本実施形態では、まず、画像から検出された商品の画像領域（商品領域）について、隣り合う商品領域の類似性に基づいて同一の商品が陳列されている領域（同一商品領域）が特定される。そして、特定された同一商品領域毎に、商品の識別処理に使用する商品領域が少なくとも一つ選択される。そして、同一商品領域毎に選択された商品領域を用いた商品の識別結果に基づいて、同一商品領域単位で商品の識別結果が確定される。これにより、基本的に高負荷な処理である画像を用いた商品識別処理の実行回数が抑制される。なお、本実施形態では、同一商品領域を判定するために隣り合う２つの商品領域を比較する処理が別途実行されるが、この処理は単純な画像領域の比較処理である。そのため、同一商品領域を判定するために実行される処理により増加する負荷量よりも、商品識別処理の回数を減らすことによって減少する負荷量のほうが大きくなると言える。結果として、本実施形態によれば、複数の商品が並んでいる画像を用いて各商品を識別する場合における全体的な処理負荷を低減させる効果が見込める。

【0041】

［第２実施形態］
本実施形態は、以下で説明する点を除き、第１実施形態と同様の構成を有する。

【0042】

＜機能構成＞
図９は、第２実施形態に係る画像解析システムの機能構成を例示する図である。本実施形態において、同一商品領域判定部１２０は、載置部材検出部１２２を更に備える。載置部材検出部１２２は、商品を載置する載置部材（例：商品棚の棚板）の画像領域の位置を示す情報を取得する。また、同一商品領域判定部１２０は、載置部材検出部１２２により取得された載置部材の画像領域の位置情報に基づいて、同一商品領域を判定するために比較する商品領域を選択するように構成される。

【0043】

例えば、商品棚は一般的に複数の棚板（載置部材）を備えており、棚板毎にそれぞれ異なる種類の商品が配置されることが多い。そのため、棚板を間に挟んで縦方向で隣り合う位置関係にある２つの商品領域が存在する場合、それら２つの商品領域それぞれに位置する商品は異なる可能性が高い。一方で、各棚板において同一の商品が縦方向に積み上げて陳列されることもある。そのため、棚板を間に挟まずに縦方向で隣り合う位置関係にある２つの商品領域が存在する場合、それら２つの商品領域それぞれに位置する商品は同一である可能性が高い。このような商品棚に商品を陳列する際の特性に基づいて、同一商品領域判定部１２０は、載置部材検出部１２２により取得された載置部材の画像領域の位置情報に基づいて、縦方向で並んで位置している２つの商品領域の間に載置部材が存在しているか否かを判定する。２つの商品領域の間に載置部材が存在している場合、それらの商品領域にはそれぞれ異なる商品が載置されている可能性が高いと判断できる。そのため、同一商品領域判定部１２０は、間に載置部材を挟んで隣り合う２つの商品領域については類似性を判定しない。一方、２つの商品領域の間に載置部材が存在していない場合、つまり、商品が積み上げられている場合、それらの商品領域には同じ商品が載置されている可能性が高いと判断できる。そのため、同一商品領域判定部１２０は、間に載置部材を挟まずに隣り合う２つの商品領域については類似性を判定する。

【0044】

＜処理の流れ＞
図１０は、第２実施形態の同一商品領域判定部１２０により実行される同一商品領域の判定処理（Ｓ１０６の処理）の具体的な流れを例示するフローチャートである。

【0045】

まず、同一商品領域判定部１２０は、載置部材検出部１２２を用いて、処理対象の画像として取得した画像の中から載置部材を検出し、当該載置部材の画像領域の位置情報を取得する（Ｓ２０２）。例えば、載置部材検出部１２２は、商品の載置部材（棚板）の領域を検出可能な機械学習モデルを用いて、処理対象の画像の中から載置部材の領域を検出することができる。このような機械学習モデルは、商品の載置部材の領域を示す情報を予め与えた学習データを用いてトレーニングを行うことによって構築され、図２の情報処理装置１０のストレージデバイス１０４０などに格納されている。

【0046】

同一商品領域判定部１２０は、図３のフローチャートのＳ１０４の処理によって画像から検出された商品領域の中から、隣り合う２つの商品領域を選択する（Ｓ２０４）。そして、同一商品領域判定部１２０は、隣り合う２つの商品領域の間に載置部材が存在しているか否かを、Ｓ２０２の処理で取得した載置部材の位置情報に基づいて判定する（Ｓ２０６）。

【0047】

載置部材の位置情報および２つの商品領域の位置情報から当該２つの商品領域の間に載置部材が存在していると判定された場合（Ｓ２０６：ＹＥＳ）、同一商品領域判定部１２０は、それら２つの商品領域についての処理を終了する。この場合、同一商品領域判定部１２０は、２つの商品領域を異なる組み合わせで選択し直す。

【0048】

一方、載置部材の位置情報および２つの商品領域の位置情報から当該２つの商品領域の間に載置部材が存在していないと判定された場合（Ｓ２０６：ＮＯ）、同一商品領域判定部１２０は、それら２つの商品領域の一致度を算出する（Ｓ２０８）。そして、同一商品領域判定部１２０は、２つの商品領域の一致度が所定の閾値以上か否かを更に判定する（Ｓ２１０）。ここで使用する閾値は、例えば、図２の情報処理装置１０のメモリ１０３０やストレージデバイス１０４０などに予め記憶されている。

【0049】

２つの商品領域の一致度が所定の閾値以上である場合（Ｓ２１０：ＹＥＳ）、同一商品領域判定部１２０は、それら２つの商品領域が同一商品領域に含まれると判定する（Ｓ２１２）。この場合、同一商品領域判定部１２０は、２つの商品領域が属する同一識別領域を示す情報として、同一の情報を付与する。これにより、２つの商品領域が互いに共通の同一商品領域に含まれることが示される。なお、２つ商品領域の一方が別の商品領域と既に比較されており、同一商品領域を示す情報が付与されている状態である場合、同一商品領域判定部１２０は、当該一方の商品領域に付与された情報と同一の情報を、他方の商品領域に付与する。このようにして、同一商品領域が拡大していく。

【0050】

一方、２つの商品領域の一致度が所定の閾値未満である場合（Ｓ２１０：ＮＯ）、同一商品領域判定部１２０は、それら２つの商品領域が同一商品領域に含まれないと判定する（Ｓ２１４）。この場合、同一商品領域判定部１２０は、２つの商品領域が属する同一識別領域を示す情報として、それぞれ異なる情報を付与する。これにより、２つの商品領域が互いに異なる同一商品領域に含まれることが示される。

【0051】

そして、同一商品領域判定部１２０は、画像から検出された全ての商品領域について、同一商品領域に関する判定が完了したか否かを判定する（Ｓ２１６）。全ての商品領域について同一商品領域に関する判定が完了していない場合（Ｓ２１６：ＮＯ）、上述の処理が繰り返される。一方、全ての商品領域について同一商品領域に関する判定が完了した場合（Ｓ２１６：ＹＥＳ）、図３のフローチャートを用いて説明したような、商品識別部１３０による商品識別処理が実行される。

【0052】

上述の処理について、図を用いてより具体的に説明する。なお、以下で説明する処理はあくまで一例であり、本開示にかかる画像解析システム１の処理は以下で説明される内容に制限されない。

【0053】

例えば、図１１に示すような画像が処理対象として画像解析システム１に与えられたとする。図１１は、処理対象として画像解析システム１に与えられる画像の一例を示す図である。同一商品領域判定部１２０の載置部材検出部１２２は、載置領域（例えば、棚板）を検出可能に訓練された機械学習モデルを用いて、図１２に示すような結果を得ることができる。図１２は、図１１の入力画像に関する載置部材の検出結果を例示する図である。載置部材検出部１２２は、図１２において点線で囲まれる画像領域１２－１および画像領域１２－２の位置情報を取得し、例えば情報処理装置１０のメモリ１０３０やストレージデバイス１０４０に記憶する。同一商品領域判定部１２０は、記憶された情報に基づいて、画像内の載置部材の位置を特定することができる。

【0054】

同一商品領域判定部１２０は、載置部材検出部１２２によって取得された載置部材の画像領域の位置情報と、商品領域検出部１１０により検出された各商品領域の位置情報とに基づいて、隣り合う２つの商品領域について類似性の判定を行うか否かを決定する。具体的な動作について、図１３を用いて説明する。図１３は、図１１の入力画像に関する、商品領域の検出結果と載置部材の検出結果を例示する図である。本図の例において、商品領域１３－１および商品領域１３－２は図中縦方向で隣り合う位置関係にある。また、商品領域１３－２および商品領域１３－３も、同様に、図中縦方向で隣り合う位置関係にある。同一商品領域判定部１２０は、図１３に示されるような載置部材の位置と商品領域の位置とに基づいて、図中縦方向で隣り合う２つの商品領域について類似性の判定を行うか否かを決定する。例えば、図中縦方向において互いに隣り合う位置関係にある商品領域１３－１と商品領域１３－２との間には、載置部材が存在している。この場合、同一商品領域判定部１２０は、間に載置部材を挟んで隣り合う商品領域１３－１および商品領域１３－２については、同一商品領域を判定するための処理を実行しない。一方、図中縦方向において互いに隣り合う位置関係にある商品領域１３－２と商品領域１３－３との間には、載置部材が存在していない。この場合、同一商品領域判定部１２０は、間に載置部材を挟まずに隣り合う商品領域１３－２および商品領域１３－３については同一商品領域を判定するための処理を実行する。同一商品領域判定部１２０は、その他の隣り合う商品領域の組み合わせについても、同様に、間に載置部材が存在するか否かに基づいて、同一商品領域を判定するための処理を実行するか否かを決定する。

【0055】

最終的に、同一商品領域判定部１２０は、例えば図１４に示すような処理結果を商品識別部１３０に出力する。図１４は、同一商品領域判定部１２０による処理結果を例示する図である。図１４の例では、同一商品領域判定部１２０により、４つの同一商品領域（同一商品領域１４－１～１４－４）が特定されている。同一商品領域１４－１は、第１の商品（５００ｍｌ容器入りの飲料Ａ）が陳列されている領域である。同一商品領域１４－２は、第２の商品（３５０ｍｌ容器入りの飲料Ａ）が陳列されている領域である。同一商品領域１４－３は、第３の商品（５００ｍｌ容器入りの飲料Ｂ）が陳列されている領域である。同一商品領域１４－４は、第４の商品（３５０ｍｌ容器入りの飲料Ｂ）が陳列されている領域である。商品識別部１３０は、図１４に示されるような同一商品領域判定部１２０による同一商品領域の判定結果を用いて、商品識別処理を実行する。

【0056】

＜効果の例示＞
店舗の商品棚では、各棚板（載置部材）上にそれぞれ異なる商品が置かれることが多い。つまり、商品棚の棚板（載置部材）の位置が、同一の商品が陳列されている領域の境界線となる可能性が高い。本実施形態では、画像から検出された載置部材の位置に基づいて、隣り合う２つ商品領域の間に載置部材が存在するか否かが判定される。そして、隣り合う２つの商品領域の間に載置部材が存在している場合、それら２つの商品領域は共通の同一商品領域に含まれないと推測され、同一商品領域を判定するための比較処理が実行されない。これにより、同一商品領域を判定する処理の効率化（処理量の削減）が図れる。

【0057】

以上、図面を参照して本発明の実施の形態について述べたが、本発明はこれらに限定されて解釈されるべきものではなく、本発明の要旨を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、改良等を行うことができる。また、実施形態に開示されている複数の構成要素は、適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよいし、異なる実施形態の構成要素を適宜組み合わせてもよい。

【0058】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0059】

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
複数の商品が写る画像の中から各商品の商品領域を検出する商品領域検出手段と、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定する同一商品領域判定手段と、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する商品識別手段と、
を備える画像解析システム。
２．
前記商品識別手段は、
前記同一商品領域内に含まれる複数の商品領域それぞれの特徴点を取得し、
前記複数の商品領域それぞれについて取得された特徴点の数に基づいて、前記対象として選択する少なくとも一つの商品領域を決定する、
１．に記載の画像解析システム。
３．
前記商品識別手段は、
複数の商品領域が前記対象として選択された場合、当該選択された複数の商品領域それぞれの特徴点を足し合わせた結果を用いて、前記同一商品領域に並んでいる商品を識別する、
１．または２．に記載の画像解析システム。
４．
前記同一商品領域判定手段は、
商品を載置する載置部材の画像領域の位置情報を取得し、
前記載置部材の画像領域の位置情報に基づいて、前記同一商品領域を判定するために比較する商品領域を選択する、
１．から３．のいずれか１つに記載の画像解析システム。
５．
コンピュータが、
複数の商品が写る画像の中から各商品の商品領域を検出し、
隣り合う商品領域を比較した結果に基づいて、複数の同一商品が並んでいる領域である同一商品領域を判定し、
前記同一商品領域に含まれる複数の商品領域の中から少なくとも一つの商品領域を対象として選択し、
前記対象として選択された少なくとも一つの商品領域を処理することによって前記同一商品領域に並んでいる商品を識別する、
ことを含む画像解析方法。
６．
前記コンピュータが、
前記同一商品領域内に含まれる複数の商品領域それぞれの特徴点を取得し、
前記複数の商品領域それぞれについて取得された特徴点の数に基づいて、前記対象として選択する少なくとも一つの商品領域を決定する、
ことを更に含む５．に記載の画像解析方法。
７．
前記コンピュータが、
複数の商品領域が前記対象として選択された場合、当該選択された複数の商品領域それぞれの特徴点を足し合わせた結果を用いて、前記同一商品領域に並んでいる商品を識別する、
ことを含む５．または６．に記載の画像解析方法。
８．
前記コンピュータが、
商品を載置する載置部材の画像領域の位置情報を取得し、
前記載置部材の画像領域の位置情報に基づいて、前記同一商品領域を判定するために比較する商品領域を選択する、
ことを含む５．から７．のいずれか１つに記載の画像解析方法。
９．
コンピュータに、５．から８．のいずれか１つに記載の画像解析方法を実行させるプログラム。

【符号の説明】

【0060】

１ 画像解析システム
１０ 情報処理装置
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース
１１０ 商品領域検出部
１２０ 同一商品領域判定部
１２２ 載置部材検出部
１３０ 商品識別部
２０ 端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】