特開 2024-167099 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167099

(43)【公開日】2024-11-29

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20241122BHJP

【ＦＩ】

G06Q30/06

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2024093812

(22)【出願日】2024-06-10

(62)【分割の表示】P 2023083471の分割

【原出願日】2023-05-19

(71)【出願人】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】辛 東主

【テーマコード（参考）】

5L030

【Ｆターム（参考）】

5L030BB72

(57)【要約】

【課題】
陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを提供することを目的とする。
【解決手段】
陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、前記正置化処理部は、前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、情報処理システムである。
【選択図】 図１

【特許請求の範囲】

【請求項1】

陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、
を有しており、
前記正置化処理部は、
前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、
ことを特徴とする情報処理システム。

【請求項2】

陳列棚を撮影する画像情報に対する情報処理システムであって、
前記情報処理システムは、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、
前記正置化処理部は、
撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、
ことを特徴とする情報処理システム。

【請求項3】

前記正置化処理部は、
前記撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を３次元情報に変換し、前記正置化処理を実行する、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記正置化処理部は、
前記陳列棚を撮影した撮影装置または前記情報処理端末のピッチ角とロール角の情報の入力を受け付け、
前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の点を含む点群の回帰直線を算出して、前記撮影装置または情報処理端末のヨー角の情報を推定し、
前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、
ことを特徴とする請求項２または請求項３に記載の情報処理システム。

【請求項5】

前記正置化処理部は、
撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を水平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記情報処理システムは、
陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータを用いて生成された機械学習のネットワークを用いて、前記正置化処理をした画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部、
を有することを特徴とする請求項２または請求項３に記載の情報処理システム。

【請求項7】

前記情報処理システムは、
機械学習のネットワークを生成する学習処理部と、
前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、
前記学習処理部は、
前記陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、
前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、
を有することを特徴とする請求項６に記載の情報処理システム。

【請求項8】

コンピュータを、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、
前記正置化処理部は、
前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、
ことを特徴とする情報処理プログラム。

【請求項9】

コンピュータを、
処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、
前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、
前記正置化処理部は、
撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムに関する。

【背景技術】

【0002】

コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため、陳列棚に商品を複数陳列しておくことで、商品の一つが購入されても、同一の商品をほかの人が購入できるようになっている。また、目立つ位置に多くの個数を並べた商品が注目され、ほかの商品よりも多く売れるという競合上の優位、劣位の関係も生じる。したがって、商品が陳列棚のどこにいくつ陳列されているか、またその商品の価格を管理することは、商品の販売戦略上、重要である。

【0003】

そこで陳列棚をカメラなどの撮影装置で撮影し、その画像情報に写っている対象物を自動認識することで、商品の陳列位置と個数、陳列されている商品や価格札（プライスカード）に記載されている価格を把握することが行われている。そこで、下記特許文献１、特許文献２に開示される技術がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－３３４４０９号公報

【特許文献2】特開平５－３４２２３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

多くの店舗では、陳列棚単位で商品種別を揃えて商品の陳列を行っている。そのため、陳列棚に陳列している商品の同定処理を行う、価格札の読取処理を行う場合には、陳列棚単位で行うことが合理的である。

【0006】

撮影装置で陳列棚に陳列されている商品を撮影する場合には、一つの陳列棚の左右端が画角内に収まるように撮影を行うが、画角にぴったりに納めようとすると、撮影装置で陳列棚を撮影するときの撮影アングルの調整に時間がかかってしまう。そのため、実際には、画角の左右に余裕を持たせて撮影をすることが一般的である。

【0007】

画角の左右に余裕を持たせて撮影をすることから、撮影した画像情報には、本来、撮影対象とする陳列棚のほか、その陳列棚の左隣および／または右隣に位置する別の陳列棚およびそこに陳列されている商品も写り込んでしまう。そのため、陳列棚単位で陳列している商品の同定処理、価格札の読取処理を行おうとする場合、本来の処理対象とする陳列棚以外の左右両隣の陳列棚およびそこに陳列されている商品は、処理対象から除外することが求められる。

【0008】

しかし、上述の各特許文献を始めとして、従来技術では左右両隣の陳列棚およびそこに陳列されている商品を処理対象から除外することは、精度よく行うことはできなかった。場合によっては、撮影した画像から人間が手動で処理対象とする領域を設定する場合もあった。

【課題を解決するための手段】

【0009】

本発明者は上記課題を鑑み、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出する情報処理システムを発明した。

【0010】

第１の発明は、陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、前記正置化処理部は、前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、情報処理システムである。

【0011】

第２の発明は、陳列棚を撮影する画像情報に対する情報処理システムであって、前記情報処理システムは、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部と、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部と、を有しており、前記正置化処理部は、撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、情報処理システムである。

【0012】

店舗の陳列棚を撮影する場合、撮影対象となる陳列棚と撮影装置との間の距離を確保できないことがある。また仰角または俯角での撮影となることも多く、正対した位置から撮影できていないことが多い。そのような画像情報をそのまま処理したのでは、誤認識につながる。そこで、これを正対した位置から撮影したように、正置化処理部によって撮影した画像情報を正対した位置となるように補正をすることが好ましい。

【0013】

これらの発明のように構成することで、処理負荷が大きくない補正処理が可能となる。そのため、スマートフォンなどの能力の高くない可搬型通信端末でも補正処理が可能となる。

【0014】

上述の発明において、前記正置化処理部は、前記撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を３次元情報に変換し、前記正置化処理を実行する、情報処理システムのように構成することができる。

【0015】

上述の発明において、前記正置化処理部は、前記陳列棚を撮影した撮影装置または前記情報処理端末のピッチ角とロール角の情報の入力を受け付け、前記距離情報と前記ピッチ角とロール角の情報とを用いて、複数の点を含む点群の回帰直線を算出して、前記撮影装置または情報処理端末のヨー角の情報を推定し、前記推定したヨー角の情報を用いて、前記画像情報を前記撮影装置に正対する位置となるように変形する、情報処理システムのように構成することができる。

【0016】

上述の発明において、前記正置化処理部は、撮影対象物における任意の点までの距離情報を３次元情報に変換し、前記点についてピッチ角とロール角の情報に基づいて回転させ、前記点を含む点群を水平面に投影したときの点群の回帰直線を算出することで、前記ヨー角の情報を推定する、情報処理システムのように構成することができる。

【0017】

これらの発明のように構成することで、処理負荷が大きくない補正処理が可能となる。そのため、スマートフォンなどの能力の高くない可搬型通信端末でも補正処理が可能となる。

【0018】

上述の発明において、前記情報処理システムは、陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータを用いて生成された機械学習のネットワークを用いて、前記正置化処理をした画像情報に写る陳列棚における商品陳列領域および／または価格札領域を認識する認識処理部、を有する情報処理システムのように構成することができる。

【0019】

本発明を用いることで、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出することができる。

【0020】

上述の発明において、前記情報処理システムは、機械学習のネットワークを生成する学習処理部と、前記ネットワークを用いて画像情報から所定領域の検出処理を行う検出処理部と、を有しており、前記学習処理部は、前記陳列棚における商品陳列領域および／または価格札領域をアノテーションされたアノテーションデータの入力を受け付けるアノテーションデータ受付処理部と、前記受け付けたアノテーションデータを用いて学習処理を行い、機械学習のネットワークを生成する学習処理部と、を有する情報処理システムのように構成することができる。

【0021】

第１の発明の情報処理システムは、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち、コンピュータを、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、前記正置化処理部は、前記陳列棚を撮影した情報処理端末のセンサ装置で検出したセンサ情報を用いて、３次元空間上での前記情報処理端末と対象面との位置関係を推定し、前記正置化処理を行う、情報処理プログラムである。

【0022】

第２の発明の情報処理システムは、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち、コンピュータを、処理対象とする陳列棚が写る画像情報の入力を受け付ける画像情報受付処理部、前記入力を受け付けた処理対象とする陳列棚が写る画像情報に対して、正対した位置となるように変形する正置化処理を実行する正置化処理部、として機能させる情報処理プログラムであって、前記正置化処理部は、撮影対象物までの距離を測定するセンサ装置から取得した撮影対象物までの距離情報を用いて前記正置化処理を実行する、情報処理プログラムである。

【発明の効果】

【0023】

本発明の情報処理システムを用いることで、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出可能とする。

【図面の簡単な説明】

【0024】

【図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムにおける学習処理の一例を示すフローチャートである。

【図4】本発明の情報処理システムにおける検出処理の一例を示すフローチャートである。

【図5】陳列棚のオブジェクトとして柱部材の場合の一例を示す図である。

【図6】陳列棚のオブジェクトとして切れ目の場合の一例を示す図である。

【図7】正置化処理を実行した後の画像情報の一例を示す図である。

【図8】認識結果の一例を示す図である。

【図9】商品陳列領域のみを認識結果として出力した画像情報の一例を示す図である。

【図10】価格札領域のみを認識結果として出力した画像情報の一例を示す図である。

【図11】認識結果に対する補正処理後の画像情報の一例を示す図である。

【図12】認識結果に対する補正処理後の画像情報の一例を示す図である。

【図13】実施例２における正置化処理部の構成の一例を模式的に示すブロック図である。

【図14】実施例２における正置化処理の処理の一例を示すフローチャートである。

【図15】撮影装置で撮影した補正前の画像情報の一例を示す図である。

【図16】対象面と３次元空間との関係を模式的に示す図である。

【図17】補正後の画像情報の一例である。

【図18】回転後の点群を垂直面にマッピングした状態の正面図である。

【図19】回転後の点群を水平面にマッピングした状態の上面図である。

【図20】角推定処理部における処理を模式的に示す図である。

【図21】画像変形処理部における処理を模式的に示す図である。

【図22】凹凸が多い撮影対象物を撮影した場合の距離情報のズレを示す図である。

【図23】距離情報をプロットした点群のうち、マトリックスからランダムに点群を選択することを模式的に示す図である。

【図24】本来の撮影対象の左右に凹凸が写り込んだ場合の画像情報と、それによる距離情報の異常値を模式的に示す図である。

【図25】実施例２における正置化処理の変形例の一例を模式的に示す図である。

【発明を実施するための形態】

【0025】

本発明の情報処理システム１の全体の処理機能の一例のブロック図を図１に示す。情報処理システム１は、情報処理端末２で機能する。情報処理端末２としては、スマートフォンやタブレット型コンピュータなどの可搬型通信端末、ラップトップ型コンピュータ、デスクトップ型コンピュータなどのほか、サーバなど、各種のコンピュータでよい。情報処理端末２は、本発明の情報処理システム１の処理に必要な機能を備えていれば、外観やその名称などは問わない。

【0026】

情報処理システム１における情報処理端末２のハードウェア構成の一例を図２に模式的に示す。情報処理端末２は、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能な入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0027】

情報処理端末２がタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの情報処理端末２などで利用されることが多いが、それに限定するものではない。

【0028】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0029】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。

【0030】

情報処理システム１は、一つの情報処理端末２でその処理を実行する必要性はなく、複数の情報処理端末２で機能を分散して実行してもよい。たとえば、後述する学習処理部２０の処理と、検出処理部２１の処理とを異なる情報処理端末２で実行してもよい。いずれかまたは双方がクラウドサーバ上で実行されてもよい。

【0031】

情報処理端末２は、学習処理部２０と検出処理部２１とを有している。

【0032】

学習処理部２０は、陳列棚が写った画像情報の入力を受け付けて、陳列棚に陳列した商品の同定／価格札の読取処理の際に、処理対象とする陳列棚の領域を検出するためのネットワーク（学習モデル）を学習する処理を実行する。すなわち、学習処理部２０は、後述する検出処理部２１において、画像情報に対して機械学習などの深層学習（ディープラーニング）を用いて、その画像情報に写っている陳列棚から処理対象とする領域を検出する処理を実行するためのネットワーク（学習モデル）を生成する。

【0033】

学習処理部２０は、アノテーションデータ受付処理部２０１とネットワーク生成処理部２０２とを有する。

【0034】

アノテーションデータ受付処理部２０１は、ネットワークの学習に用いるためのアノテーションデータの入力を受け付ける。アノテーションデータとしては、店舗に陳列される陳列棚が写った画像情報と、その陳列棚において、陳列棚を構成する要素、たとえば商品陳列領域、価格札（プライスカード）領域などがアノテーションとして設定されている画像情報が一例としてあげられる。アノテーションデータにおける商品陳列領域、価格札領域などのは、その全体が写っている画像情報をアノテーションデータとして用い、商品陳列領域、価格札領域の左右端部の位置は、可能な限り正確に設定してあることが好ましい。アノテーションデータにおけるアノテーションとしては、上述に限られるものではなく、陳列棚を構成する任意の要素をアノテーションとして設定することができる。

【0035】

アノテーションとして設定する商品陳列領域、価格札領域は、その領域を構成する４点の矩形の座標、あるいは左上と右下、右上と左下の２点の座標、１点の座標とその点からのｘ方向、ｙ方向の長さなどの任意の方法で設定できる。また、アノテーションデータとする画像情報は、正対した位置から撮影された画像情報となるように台形補正処理などの処理がされた画像情報に対して、アノテーションの領域が設定されているとよい。

【0036】

ネットワーク生成処理部２０２は、アノテーションデータ受付処理部２０１で入力を受け付けたアノテーションデータを用いて、深層学習における公知の学習方法により、深層学習の学習処理を実行し、ネットワーク（学習モデル）を生成する。ネットワーク生成処理部２０２で生成したネットワークを、後述の検出処理部２１における認識処理部３０３の認識を実行する。

【0037】

検出処理部２１は、学習処理部２０で生成したネットワークを用いて、処理対象とする画像情報から、陳列棚に陳列した商品の同定／価格札の読取処理の際の、処理対象とする領域を検出する。検出処理部２１は、画像情報受付処理部３０１と正置化処理部３０２と認識処理部３０３と補正処理部３０４と出力処理部３０５とを有する。

【0038】

画像情報受付処理部３０１は、処理対象とする画像情報の入力を受け付ける。この際の画像情報としては、陳列棚の全体が写った１枚の画像情報であってもよいし、陳列棚を複数の画像情報で撮影し、それを１枚の画像情報につなげて陳列棚の全体とした画像情報であってもよい。さらに、陳列棚の一部分が写った画像情報であってもよい。

【0039】

正置化処理部３０２は、画像情報受付処理部３０１で入力を受け付けた処理対象とする画像情報に対して、正対した位置となるように補正処理（正置化処理）を行う。正置化処理部３０２としては、画像情報を正対した位置となるように補正することができる処理であれば、如何なる処理であってもよい。たとえば公知の台形補正処理であってもよい。

【0040】

店舗の陳列棚を撮影する場合、撮影者の背後にほかの陳列棚が位置し、通路が狭いなどの事情から、撮影対象となる陳列棚と撮影装置との間の距離を確保できないことがある。また陳列棚は撮影者の視線の上方または下方に位置するため、仰角または俯角での撮影となることも多い。そのため、正対した位置から撮影できていないことが多い。これを正対した位置から撮影したように、正置化処理部３０２によって撮影した画像情報を正対した位置となるように補正をする。

【0041】

なお、正置化処理部３０２は、処理対象とする画像情報について正置化処理をした画像情報を生成してもよいし、その画像情報について正対した位置となるように変形するためのパラメータ（補正用パラメータ）を出力するのであってもよい。たとえば画像情報を射影変換して正対した位置となるように、正置化した画像情報を生成するためのパラメータ（射影変換に用いるパラメータ（補正用パラメータ））を出力してもよい。

【0042】

画像情報受付処理部３０１で入力を受け付けた画像情報が正対した位置から撮影された画像情報であれば、正置化処理部３０２の処理は行わなくてもよい。

【0043】

認識処理部３０３は、正置化処理部３０２で正置化された、処理対象とする画像情報から、陳列棚に陳列された商品の同定／価格札の読取処理を行う領域を認識する。この認識処理としては、正置化処理部３０２で正置化された、処理対象とする画像情報に対して、深層学習（ディープラーニング）を用いて、上述の各領域を認識する処理を実行できる。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化されたネットワーク（学習モデル）に対して、正置化処理部３０２で正置化した画像情報を入力し、当該画像情報に写っている陳列棚から商品の同定／価格札の読取処理を行う領域を認識する。ネットワーク（学習モデル）としては、学習処理部２０が生成したネットワークを用いることができる。

【0044】

補正処理部３０４は、認識処理部３０３で認識した、陳列棚から商品の同定／価格札の読取処理を行う領域について、その左右端部がずれている場合に、その位置を補正する処理を実行する。

【0045】

補正処理部３０４としては、たとえば以下のような処理を用いることができる。

【0046】

第１の補正処理としては、領域の左右端部の異常値を検出し、その異常値がある領域を、他の領域の左右端部の位置に合わせる方法である。すなわち、認識処理部３０３において認識する領域の多数は正しく検出される。そのため、認識した領域の左右端部の位置を判定し、異常値（たとえば認識した領域の平均値、中央値から所定の大きさ、所定の比率以上ずれている左右端部の位置）があることを判定した場合、その異常値があった領域の左右端部の位置を、他の認識した領域の平均値、中央値などに変更する。

【0047】

第２の補正処理としては、陳列棚の端部付近にあるオブジェクトを検出する方法である。すなわち、陳列棚の端部付近には、陳列棚の柱材、商品を案内するノボリ状のディスプレイ、陳列棚の切れ目、商品を支持する支持部材など、各種のオブジェクトが取り付けられている場合がある。オブジェクトの一例を図５および図６に示す。図５はオブジェクトとして柱部材の場合であり、図６はオブジェクトとして陳列棚の切れ目の場合を示している。これらのオブジェクトをアノテーションデータとして学習処理部２０において学習させておき、それらを検出する方法である。

【0048】

陳列棚はその左右端部は各棚段で共通しているので、左右端部にあるオブジェクトを検出することで、認識処理部３０３で認識した領域の左右端部を、オブジェクトの位置とすることで、認識処理部３０３で認識した領域の左右端部の位置を補正できる。たとえば認識処理部３０３で認識した領域の左右端部の位置と、認識したオブジェクトの位置との平均値、中央値を算出することで、認識処理部３０３で認識した領域の左右端部の位置を補正する。

【0049】

出力処理部３０５は、認識処理部３０３で認識した領域または補正処理部３０４で補正処理をした後の領域を検出結果として出力する。

【実施例0050】

つぎに本発明の情報処理システム１を用いた処理の一例を図３および図４のフローチャートを用いて説明する。

【0051】

まず学習処理を図３のフローチャートを用いて説明する。

【0052】

店舗に陳列される陳列棚が写った画像情報と、その陳列棚において、陳列棚を構成する要素、たとえば商品が陳列されている商品陳列領域、価格札が置かれている価格札領域をアノテーションとして設定してある画像情報を、アノテーションデータとして、情報処理端末２に入力する。

【0053】

入力されたアノテーションデータは、学習処理部２０におけるアノテーションデータ受付処理部２０１が入力を受け付ける（Ｓ１００）。アノテーションデータとしては、好ましくは学習に必要な数の入力を受け付けるとよい。

【0054】

そして、ネットワーク生成処理部２０２は、アノテーションデータ受付処理部２０１で入力を受け付けたアノテーションデータを用いて、公知の深層学習の学習処理方法を用いて、ネットワーク（学習モデル）を生成する（Ｓ１１０）。

【0055】

以上のような処理を実行することで、ネットワーク（学習モデル）を生成できる。

【0056】

つぎに検出処理を図４のフローチャートを用いて説明する。

【0057】

陳列棚に陳列している商品の同定処理／価格札の読取処理を実行するための画像情報を、処理対象とする画像情報として情報処理端末２に入力する。処理対象とする画像情報は、検出処理部２１の画像情報受付処理部３０１で入力を受け付ける（Ｓ２００）。

【0058】

そして入力を受け付けた処理対象の画像情報に対して、正置化処理部３０２が正置化処理を実行する（Ｓ２１０）。正置化処理を実行した後の画像情報の一例を図７に示す。

【0059】

正置化した、処理対象とする画像情報を認識処理部３０３に入力画像情報に入力し、学習処理部２０で生成したネットワーク（学習モデル）を用いて、深層学習（ディープラーニング）による商品陳列領域、価格札領域などの陳列棚を構成する要素の認識処理を実行する（Ｓ２２０）。この認識結果の一例が図８である。図８では、商品陳列領域、価格札領域を一つの画像情報に表示しているが、商品陳列領域、価格札領域をそれぞれ別の画像情報に出力をしてもよい。商品陳列領域のみを出力したのが図９、価格札領域のみを出力したのが図１０である。

【0060】

そして認識処理部３０３での認識結果に対して、補正処理部３０４による第１の補正処理、第２の補正処理などを用いて補正処理を実行する（Ｓ２３０）。たとえば、Ｓ２２０における認識結果（図８、図９）では、商品陳列領域の上から５つめの領域（「５Ｆａｃｅｓ」）の領域の左端部の位置がずれているので、第１の補正処理、第２の補正処理などを用いて、その左端部の位置を補正する。補正処理後の結果が、図１１、図１２である。

【0061】

出力処理部３０５は、以上のようにして補正処理後の結果を、検出結果として出力する。すなわち、図１１、または図１２および図１０の結果を検出結果として出力する。なお、出力処理部３０５は、画像情報として出力するほか、商品陳列領域、価格札領域の位置座標（座標情報、あるいは座標情報と長さ）を出力してもよい。

【0062】

以上のように出力処理部３０５が出力をした、陳列棚を写した画像情報における商品陳列領域、価格札領域に対して、公知の方法により商品の同定処理、価格札およびその価格の読取り処理を実行する。

【実施例0063】

上述の実施例１では、正置化処理部３０２における正置化処理として、正対した位置となるような処理を実行できる各種の公知の正置化処理技術を用いることができる場合を説明したが、処理負荷を減らした正置化処理を実現する場合を説明できる。これによって、スマートフォンなどの処理能力が高くない情報処理端末２においても、正置化処理を負荷を減らして実行できる。

【0064】

本実施例における正置化処理部３０２の構成の一例を図１３に、正置化処理部３０２における正置化処理の一例を図１４のフローチャートに示す。また、本発明の正置化処理を行う場合には、情報処理端末２は、たとえばスマートフォンなどの可搬型通信端末であって、カメラなどの撮影装置（図示せず）と、各種のセンサ装置（図示せず）とを有している。

【0065】

撮影装置としては、可視光などにより画像情報を撮影する装置であればよい。

【0066】

センサ装置としては、撮影装置で撮影している画角を検出するセンサのほか、情報処理端末２または撮影装置のピッチ角、ロール角を検出するセンサ、撮影装置から撮影対象物までの距離を測定する測距センサなどがあり、その一部または全部を備えているとよい。

【0067】

本実施例における正置化処理部３０２は、撮影対象物の前面を３次元空間における垂直な長方形（正方形も含む）とみなし（この面を対象面と呼ぶ）、情報処理端末２のセンサ装置で検出したセンサ情報を用いて３次元空間上での情報処理端末２と対象面との位置関係を推定することで正置化処理を行う。図１５に撮影装置が撮影した画像情報（補正前の画像情報）の一例を示す。

【0068】

正置化処理部３０２は、センサ情報入力受付処理部３０２１と角推定処理部３０２２と画像変形処理部３０２３と正置化画像出力処理部３０２４とを有する。

【0069】

センサ情報入力受付処理部３０２１は、センサ装置から、情報処理端末２または撮影装置のピッチ角、ロール角を検出するセンサからそれらの情報の入力を受け付ける。また、撮影対象物までの距離を測定するセンサ（測距センサ）から、撮影装置と撮影対象物との距離情報の入力を受け付ける。距離情報としては、撮影装置から撮影対象物までの各ポイントまでの距離情報を取得する。

【0070】

角推定処理部３０２２は、センサ情報入力受付処理部３０２１で入力を受け付けた、撮影対象物の各点までの距離情報を３次元情報に変換し、この点群をロール角、ピッチ角に基づいて回転させる。対象面は垂直であることから、回転の結果はおおよそ図１６に示すように、ｘｚ平面に垂直な面となる。そして、これらの点群のｘｚ平面における回帰直線を算出することで、撮影装置からその直線に引いた垂線をヨー角として推定する。

【0071】

画像変形処理部３０２３は、角推定処理部３０２２で推定したヨー角を用いて、撮影装置が撮影した画像情報を、撮影装置に正対する位置となるように変形する。目的となる対象面の四角形の形状は、３次元空間における撮影装置の画角を表す、撮影装置を端点とした４本のベクトルを想定し、それを、センサ情報入力受付処理部３０２１で入力を受け付けたロール角、ピッチ角に基づいて回転させた後、角推定処理部３０２２で推定したヨー角だけ左右に傾いた垂直面との４交点を算出すればよい。そして、撮影装置で撮影した画像情報に対して、算出した４交点を用いてＯｐｅｎＣＶなどの射影変換処理を行うことで、画像変形処理を行い、正対した位置からの画像情報に正置化処理が実行できる。図１７に、図１５の画像情報に対して正置化処理をした画像情報の一例を示す。

【0072】

正置化画像出力処理部３０２４は、画像変形処理部３０２３で変形した画像情報を出力する。たとえば、図１７のように補正した画像情報を出力する。また、正置化画像出力処理部３０２４は、正置化を行うためのパラメータ、すなわち射影変換処理を行うためのパラメータを出力してもよい。

【0073】

つぎに本実施例２における正置化処理部３０２の正置化処理を図１４のフローチャートを用いて説明する。また情報処理端末２としてスマートフォンの場合を説明する。

【0074】

まず店舗の陳列棚を撮影する撮影担当者は、店舗の陳列棚（撮影対象物）を所持するスマートフォンのカメラを用いて撮影する。スマートフォンのカメラで撮影した画像情報を記憶させる（Ｓ３００）。この画像情報の一例が図１５である。図１５の画像情報は、陳列棚の斜め下方向から上向き（仰角）に撮影したものであり、また、わずかに左側に回転をしている状態である（ピッチ角は上向き１８．８度、ロール角は左回り４．６度）。

【0075】

また、センサ情報入力受付処理部３０２１は、センサ装置で計測している、撮影装置での画像情報の撮影時におけるスマートフォンまたはカメラのピッチ角、ロール角の情報、および撮影対象物の各点までの距離情報の入力を受け付けている（Ｓ３００）。

【0076】

距離情報は、撮影対象物に対して任意の数、たとえば数十から百箇所程度の距離情報を取得していてもよい。なお距離情報を取得する箇所は、十分に精度を得られる数であればいくつであってもよい。

【0077】

角推定処理部３０２２は、センサ情報入力受付処理部３０２１で入力を受け付けた距離情報を３次元空間にプロットして、距離情報を３次元空間の点群に変換する（Ｓ３１０）。そして、角推定処理部３０２２は、この点群を、センサ情報入力受付処理部３０２１で入力を受け付けたピッチ角、ロール角の情報を用いて回転させる（Ｓ３２０）。

【0078】

対象面における陳列棚に陳列されている商品が直立し、棚段が水平であるような正置化画像情報（台形補正画像情報）を生成するためには、すなわち、撮影装置で撮影した画像情報の対象面が正対した位置となるように正置化するためには、カメラに正対する向きから対象面がどれだけ傾いているかを算出する必要がある。そのため、Ｓ３２０の回転後の点群を水平面（ｘｚ平面）にマッピングして、ロバスト推定のアルゴリズムであるＲＡＮＳＡＣなどを用いて回帰直線を算出する（Ｓ３３０）。図１８が、Ｓ３２０の回転後の点群を垂直面にマッピングした状態の正面図（図１６のｘｙ平面）であり、図１９が、Ｓ３２０の回転後の点群を水平面にマッピングした状態の上面図（図１６のｘｚ平面）である。また、図２０に角推定処理部３０２２における処理を模式的に示す。

【0079】

そして、カメラの光軸から対象面がどれだけ傾いているかの角度（ヨー角）をこの回帰直線から算出すればよい。具体的には、点群の回帰直線の傾きをａとすると、数１を演算することで、回帰直線の傾きａをヨー角に変換する（Ｓ３４０）。すなわち傾きａを引数として逆正接を演算する。
（数１）
ヨー角＝ａｔａｎ（ａ）

【0080】

角推定処理部３０２２は、以上のような処理でヨー角を推定できるので、画像変形処理部３０２３は、推定したヨー角を用いて、撮影装置で撮影した画像情報を、撮影装置に正対する位置となるように変形する。この処理を図２１に模式的に示す。

【0081】

角推定処理部３０２２でヨー角を推定したので、カメラと対象面との３次元空間上の位置関係が判明したことから、画像変形処理部３０２３は、水平面とカメラ位置とカメラの画角とがなす４頂点を結ぶ４直線（ベクトル）を３次元空間上に設定する（Ｓ３５０）。そして、この４直線（ベクトル）をセンサ情報入力受付処理部３０２１で入力を受け付けたロー角とピッチ角、角推定処理部３０２２で推定したヨー角とを用いて回転させる（Ｓ３６０）。

【0082】

画像変形処理部３０２３は、Ｓ３６０で回転させた４直線を対象面で切断した断面の四角形を目的四角形として算出する（Ｓ３７０）。画像変形処理部３０２３は、撮影装置で撮影した画像情報を、この目的四角形に対して射影変換して正置化後の画像情報を生成する（Ｓ３８０）。図１５の画像情報に対して正置化処理部３０２における正置化処理をした画像情報が図１７の画像情報である。

【0083】

以上の処理を実行することで正置化処理部３０２の処理が実行できる。

【0084】

そして、画像変形処理部３０２３で変形した画像情報を、正置化画像出力処理部３０２４が出力をする。また、正置化画像出力処理部３０２４は、目的四角形に対して射影変換するパラメータを、正置化の際に用いるパラメータとして出力をしてもよい。パラメータの出力によって、スマートフォンは正置化後の画像情報ではなく、正置化前の画像情報とパラメータの送付によって、所定のサーバで正置化前の画像情報とパラメータとを用いて正置化処理を再現する処理が可能となり、アップロードするデータ量を減らすことができる。

【0085】

また、上述の正置化処理部３０２の処理のほか、以下のように処理を行うこともできる。

【0086】

すなわち、撮影対象物が、商品が陳列された陳列棚のように凹凸が多い場合、撮影対象物の凹凸が垂直方向に比べて水平方向の相関が極めて強いため、撮影装置の左右方向が陳列棚の水平方向と少しずれると、横に並んだ距離情報が、途中までは近く、途中からは遠いという「階段状の差」が起こりやすい。そして取得した距離情報にこのような列が何件か混入すると、本来の対象面に対して傾いた推定結果となってしまう。これを模式的に示すのが図２２である。図２２（ａ）は撮影対象物として、凹凸が多い陳列棚、たとえば商品を陳列した陳列棚を撮影した画像情報である。図２２（ａ）では、距離情報を取得する位置（ポイント）は、手前に位置する商品の位置、商品がなく奥の棚板の位置などとなることがあることを示している。その場合、図２２（ｂ）のような点群の位置関係となり、傾いた推定結果となりやすくなる。

【0087】

そこで、本実施例２における正置化処理において、さらに、対象面を所定の大きさのマトリックスに区切り、各マトリックスにおいて擬似的にランダムに散らした点の距離情報を取得してもよい。たとえば、各マトリックスの交点からランダム性を持たせて位置をずらした観測点（上下左右のいずれか一以上の角度）を設定しておき、これに沿って当該観測点までの距離を計測し、計測した距離情報を設定した角度に沿って３次元空間上の点群に変換することで、撮影対象物の形状の規則性が計測した距離情報に偏りを生じないようにし、推定結果の精度を向上させることができる。これにより、Ｓ３１０において距離情報を３次元空間上の点群に変換する場合に、距離情報をプロットした点群のうち、マトリックスからランダムに点群を選択することが可能となる。これを模式的に示すのが図２３である。

【0088】

以上の処理によって、推定結果の精度を向上させることができる。

【0089】

さらに、正置化処理部３０２では以下のように処理をしてもよい。

【0090】

すなわち、撮影対象物が陳列棚の場合、通常は、撮影担当者は、撮影対象とする陳列棚の中央付近に立ち、陳列棚の左右全体が収まるように撮影をする。その場合、通常、撮影した画像情報の左右端部付近には、隣の陳列棚の一部が写り込む可能性がある。これを示す画像情報の一例が図２４である。このような画像情報の場合、左右の陳列棚が本来の撮影対象とする陳列棚よりも前方に突出していたり、後方に凹んでいる場合には、Ｓ３３０における回帰直線が傾くことがある。撮影した画像情報が図２４（ａ）の場合、本来の撮影対象の陳列棚の右側に写り込んでいる陳列棚が前方に突出している。そのため、距離情報を３次元空間上にプロットすると、図２４（ｂ）の上面図（ｘｚ平面）のように、右側に異常値が生じる。これらの点群をそのまま処理対象とすると回帰直線の傾きに影響する。

【0091】

そこで、実施例２の正置化処理部３０２における正置化処理において、ＲＡＮＳＡＣなどの処理を用いて回帰直線を算出する際には、以下のような処理を実行してもよい。

【0092】

まずＲＡＮＳＡＣなどの処理を用いて、Ｓ３２０で回転後の点群からランダムに、あらかじめ決められた個数の点を選択し回帰直線を求める。そしてすべての点群に関し、そのの回帰直線からの誤差が閾値内に収まる点の個数を評価関数として、この操作を複数回繰り返し、もっとも点数が多い回帰直線を最終的な回帰直線として選択する。たとえば、１００点の点群から回帰直線を求める場合、あらかじめ決められた個数の点として３点を選択した回帰直線を求め、５００回の繰り返しを行うことでも十分な精度を得ることができる。

【0093】

また、この評価関数について、外縁部にある点を選択する場合には重みを下げるように変更して、左右端部付近に写り込んだ陳列棚の凹凸による影響を軽減することができる。重み付けの変更としては、たとえば外縁部にある点については１個ではなく、０．５個とカウントするなどの方法がある。

【0094】

より具体的に説明すると、たとえば図２５に示すように、ｘ軸方向に点群の取得区間を所定数、たとえば４等分し、外側の区間では外縁部に位置するに従い、点の個数の重み付けを変更する。

【0095】

実施例２における正置化処理部３０２における正置化処理は、仰角または俯角で撮影した画像情報のみならず、左右方向から撮影した画像情報などでも同様に適用することができる。

【0096】

実施例１および実施例２においては、任意に処理の順番を変更することができる。また本発明の趣旨を変更しない程度において、処理の追加、削除を行うことができる。さらに、実施例２の本発明の情報処理システム１は、処理負荷が少なく正置化処理を実行できるので、情報処理端末２としては、処理能力が高くないスマートフォンやタブレット型コンピュータなどでも適用可能であるが、情報処理端末２としては、処理能力の高いコンピュータやサーバなどで実行してもよいことはいうまでもない。