IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社マーケットヴィジョンの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132036
(43)【公開日】2023-09-22
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
   G06Q 30/0601 20230101AFI20230914BHJP
   G06T 7/00 20170101ALI20230914BHJP
【FI】
G06Q30/06 338
G06T7/00 350C
【審査請求】有
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022037127
(22)【出願日】2022-03-10
(11)【特許番号】
(45)【特許公報発行日】2023-08-17
(71)【出願人】
【識別番号】516278171
【氏名又は名称】株式会社マーケットヴィジョン
(74)【代理人】
【識別番号】100205084
【弁理士】
【氏名又は名称】吉浦 洋一
(72)【発明者】
【氏名】谷井 成吉
【テーマコード(参考)】
5L049
5L096
【Fターム(参考)】
5L049BB72
5L096CA02
5L096EA39
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】
本陳列棚に陳列している商品の外装が変化していることを検出する情報処理システムを提供することを目的とする。
【解決手段】
陳列棚に陳列される商品の外装の変化を検出する情報処理システムであって,情報処理システムは,陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と,画像情報に写っている商品の外装の変化を検出する外装変化検出処理部と,を有しており,外装変化検出処理部は,陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,陳列されている商品に変化がない場合に,画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,情報処理システムである。
【選択図】 図1
【特許請求の範囲】
【請求項1】
陳列棚に陳列される商品の外装の変化を検出する情報処理システムであって,
前記情報処理システムは,
前記陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と,
前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部と,を有しており,
前記外装変化検出処理部は,
前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,
前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,
ことを特徴とする情報処理システム。
【請求項2】
前記外装変化検出処理部は,
前記画像情報または前記陳列棚に陳列された商品若しくは商品タグに付されたICタグから同定された前記商品の商品識別情報について,今回と今回より前とを比較することで変化の有無を判定する,
ことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記外装変化検出処理部は,
今回の処理において前記画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報と,今回より前の処理における画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項4】
前記外装変化検出処理部は,
今回の処理において前記画像情報の商品タグの画像情報と,今回より前の処理における画像情報の商品タグの画像情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項5】
前記外装変化検出処理部は,
今回の処理における陳列されている商品と商品タグとの対応付けと,今回より前の処理における陳列されている商品と商品タグとの対応付けとを比較することで,前記陳列棚に陳列された商品の変化の有無を検出する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項6】
前記外装変化検出処理部は,
処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを比較することで,商品の外装に変化があるかを判定する,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項7】
前記外装変化検出処理部は,
処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して入力し,その出力値に基づいて,前記プレイス領域の商品の外装に変化があるかを判定し,
前記学習モデルは,
複数の商品の画像情報と,その商品の外装に変化があるか否かの結果の情報とを正解データとして与えて機械学習させた,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項8】
コンピュータを,
前記陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部,
前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部,として機能させる情報処理プログラムであって,
前記外装変化検出処理部は,
前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,
前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,陳列棚に陳列している商品の外装が変化していることを検出する情報処理システムに関する。
【背景技術】
【0002】
コンビニエンスストア,スーパーなどの各種の店舗では,販売している商品を陳列棚に置いて販売をしていることが一般的である。そのため,陳列棚に商品を複数陳列しておくことで,商品の一つが購入されても,同一の商品をほかの人が購入できるようになっている。そして,商品が陳列棚のどこにどの程度陳列されているかを管理することは,商品の販売戦略上,重要である。
【0003】
そのため,店舗における商品の実際の陳列状況を把握するため,陳列棚を撮影装置で撮影し,その撮影した画像情報から陳列されている商品を自動的に特定する方法がある。たとえば商品ごとの標本画像をもとに,店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として,たとえば,下記特許文献1,特許文献2がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平5-342230号公報
【特許文献2】特開平5-334409号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の発明は,商品をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため,商品をどこに陳列するかを把握することはできるが,陳列されている商品を特定するものではない。また特許文献2は,商品の陳列を支援する棚割支援システムにおいて,商品画像の入力を支援するシステムである。しかし特許文献2のシステムでは,棚割支援システムを利用する際の商品画像の入力を支援するのみであって,このシステムを用いたとしても,具体的な商品の陳列状況を把握することはできない。
【0006】
陳列棚に陳列している商品を同定する場合,あらかじめ標本となる商品の画像情報を複数の角度から撮影しておき,その標本の画像情報と,陳列棚を撮影した画像情報とのマッチングを行う方法,あらかじめ各商品の画像情報を用いて機械学習しておくことで陳列棚に陳列している商品を同定する方法など,各種の画像認識技術を用いることが一般的である。
【0007】
一方,近年,商品の外装(パッケージや外観)のデザインは,同じ商品であっても,季節ごとやキャンペーンごとなどによって変更されることも多い。たとえば春になると桜をイメージした春らしい商品の外装のデザインに変更されたり,アニメキャラクターとコラボすることで,商品の外装にアニメキャラクターが表示されたりといったようなことがある。そのほかにも,商品にキャンペーン用のポイントシールを貼付する,「20%増量」等の購買促進を働きかけるシールを商品に貼付するといったこともある。この場合でも商品の外観に影響が生じる。
【0008】
このように,商品名やJANコードなど,商品には変更がないが,商品の外装のみが変更された場合,画像認識技術を用いて陳列棚に陳列している商品を同定するときの認識精度の低下につながることとなる。この場合には,商品の外装の変更を早期に検出し,標本となる画像情報や再学習などを行う必要性が生じるが,従来の特許文献1,特許文献2ではそのようなことは行えない。
【課題を解決するための手段】
【0009】
本発明者は上記課題に鑑み,商品に変更はないが,商品の外装に変更があることを検出する情報処理システムを発明した。
【0010】
第1の発明は,陳列棚に陳列される商品の外装の変化を検出する情報処理システムであって,前記情報処理システムは,前記陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と,前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部と,を有しており,前記外装変化検出処理部は,前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,情報処理システムである。
【0011】
本発明のように構成することで,商品に変更はないが,商品の外装に変更があることを検出することができる。この検出によって,新しい商品の外装を標本情報として記憶させたり,あるいは機械学習させたりすることができる。
【0012】
上述の発明において,前記外装変化検出処理部は,前記画像情報または前記陳列棚に陳列された商品若しくは商品タグに付されたICタグから同定された前記商品の商品識別情報について,今回と今回より前とを比較することで変化の有無を判定する,情報処理システムのように構成することができる。
【0013】
上述の発明において,前記外装変化検出処理部は,今回の処理において前記画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報と,今回より前の処理における画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,情報処理システムのように構成することができる。
【0014】
上述の発明において,前記外装変化検出処理部は,今回の処理において前記画像情報の商品タグの画像情報と,今回より前の処理における画像情報の商品タグの画像情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,情報処理システムのように構成することができる。
【0015】
上述の発明において,前記外装変化検出処理部は,今回の処理における陳列されている商品と商品タグとの対応付けと,今回より前の処理における陳列されている商品と商品タグとの対応付けとを比較することで,前記陳列棚に陳列された商品の変化の有無を検出する,情報処理システムのように構成することができる。
【0016】
これらの発明の処理を実行することで,陳列棚に陳列されている商品の変化を判定することができる。
【0017】
上述の発明において,前記外装変化検出処理部は,処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを比較することで,商品の外装に変化があるかを判定する,情報処理システムのように構成することができる。
【0018】
上述の発明において,前記外装変化検出処理部は,処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して入力し,その出力値に基づいて,前記プレイス領域の商品の外装に変化があるかを判定し,前記学習モデルは,複数の商品の画像情報と,その商品の外装に変化があるか否かの結果の情報とを正解データとして与えて機械学習させた,情報処理システムのように構成することができる。
【0019】
これらの発明の処理を実行することで,今回と今回より前とで陳列されている商品に変化がない場合に,商品の外装に変化があるかを判定することができる。
【0020】
第1の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち,コンピュータを,前記陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部,前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部,として機能させる情報処理プログラムであって,前記外装変化検出処理部は,前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,情報処理プログラムである。
【発明の効果】
【0021】
本発明の情報処理システムを用いることで,商品に変更はないが,商品の外装に変更があることを検出することが可能となる。
【図面の簡単な説明】
【0022】
図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。
図2】本発明の情報処理システムにおける陳列商品認識処理部の構成の一例を模式的に示すブロック図である。
図3】本発明の情報処理システムにおける商品タグ認識処理部の構成の一例を模式的に示すブロック図である。
図4】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
図5】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。
図6】撮影画像情報の一例を示す図である。
図7】撮影画像情報の他の一例を示す図である。
図8図6の撮影画像情報を正置化した画像情報の一例を示す図である。
図9図7の撮影画像情報を正置化した画像情報の一例を示す図である。
図10】商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して,棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。
図11】商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して,棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す図である。
図12図10の商品タグ配置領域の画像情報に対して,正置化した商品タグ配置領域の画像情報の一例を示す図である。
図13図10の商品タグ配置領域の画像情報の一例を示す図である
図14】商品タグ特定処理部における商品タグ領域の上辺位置,下辺位置を特定する処理を模式的に示す図である。
図15】商品タグ特定処理部における商品タグ領域の横方向の位置を特定する処理を模式的に示す図である。
図16図12の正置化した商品タグ配置領域の画像情報から,商品タグ領域を特定した状態を模式的に示す図である。
図17】商品タグ内情報特定処理部における処理において,商品タグ領域を二値化した画像情報を模式的に示す図である。
図18】商品タグ内情報特定処理部における処理において,ボックスを生成した状態を模式的に示す図である。
図19】商品タグ内情報特定処理部における処理において,ブロックを生成した状態を模式的に示す図である。
図20】商品タグに表記された商品名,OCR認識の結果,商品辞書に記憶する商品名のうち編集距離が最小の商品名,編集距離の一例を示す図である。
図21】最終候補の文字数ごとの確定してよい編集距離の対応関係の一例を示す図である。
図22】標本情報記憶部に記憶される標本情報の一例を示す図である。
図23】陳列棚におけるプレイスとフェイスとの関係を模式的に示す図である。
図24】対応関係判定処理部において商品種別と商品タグが同数である場合の処理を模式的に示す図である。
図25】対応関係判定処理部において商品種別の数が商品タグの数より多い場合の処理を模式的に示す図である。
図26】対応関係判定処理部において商品種別の数が商品タグの数より少ない場合の処理を模式的に示す図である。
図27】対応関係判定処理部における二回目以降の処理を模式的に示す図である。
図28】外装変化検出処理の一例を模式的に示すフローチャートである。
図29】撮影画像情報の一例を示す図である。
図30図29の撮影画像情報に対して正置化処理を実行した正置画像情報の一例を示す図である。
【発明を実施するための形態】
【0023】
本発明の情報処理システム1の処理機能の一例をブロック図で図1乃至図3に示す。情報処理システム1は,管理端末2と画像情報入力端末3とを用いる。図1は情報処理システム1の全体の機能を示すブロック図であり,図2は後述する陳列商品認識処理部24の機能を示すブロック図であり,図3は後述する商品タグ認識処理部25の機能を示すブロック図である。
【0024】
管理端末2は,情報処理システム1を運営する企業等の組織が利用するコンピュータである。また,画像情報入力端末3は,店舗の陳列棚を撮影した画像情報の入力を行う端末である。
【0025】
情報処理システム1における管理端末2,画像情報入力端末3は,コンピュータを用いて実現される。図4にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは,プログラムの演算処理を実行するCPUなどの演算装置70と,情報を記憶するRAMやハードディスクなどの記憶装置71と,情報を表示するディスプレイなどの表示装置72と,情報の入力が可能なキーボードやマウスなどの入力装置73と,演算装置70の処理結果や記憶装置71に記憶する情報をインターネットやLANなどのネットワークを介して送受信する通信装置74とを有している。
【0026】
コンピュータがタッチパネルディスプレイを備えている場合には,表示装置72と入力装置73とが一体的に構成されていてもよい。タッチパネルディスプレイは,たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが,それに限定するものではない。
【0027】
タッチパネルディスプレイは,そのディスプレイ上で,直接,所定の入力デバイス(タッチパネル用のペンなど)や指などによって入力を行える点で,表示装置72と入力装置73の機能が一体化した装置である。
【0028】
画像情報入力端末3は,上記の各装置のほか,カメラなどの撮影装置を備えていてもよい。画像情報入力端末3として,携帯電話,スマートフォン,タブレット型コンピュータなどの可搬型通信端末を用いることもできる。
【0029】
本発明における各手段は,その機能が論理的に区別されているのみであって,物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は,その処理順序を適宜変更することもできる。また,処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合,正置化処理をしていない画像情報に対する処理を実行することができる。
【0030】
撮影画像情報に基づいて商品の陳列状況を判定する場合,情報処理システム1は,画像情報入力受付処理部20と画像情報記憶部21と画像情報正置化処理部22と位置特定処理部23と陳列商品認識処理部24と商品タグ認識処理部25と標本情報記憶部26と認識情報記憶部27と対応関係判定処理部28と外装変化検出処理部29とを有する。
【0031】
画像情報入力受付処理部20は,画像情報入力端末3で撮影した店舗の陳列棚の画像情報(撮影画像情報)の入力を受け付け,記憶装置71に設けた所定の記憶部(図示せず)に記憶させる。画像情報入力端末3からは,撮影画像情報のほか,撮影日時,店舗名などの店舗識別情報,画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。図6図7に撮影画像情報の一例を示す。図6図7では,陳列棚に3段の棚段があり,そこに商品が陳列されている撮影画像情報である。なお,本発明においては特にその処理を明記はしないが,陳列棚や棚段は横方向に長いことが多い。そのため,その処理においては,一定の幅で区切り,各処理の処理対象としてもよい。
【0032】
画像情報記憶部21は,画像情報入力端末3から受け付けた撮影画像情報,撮影日時,店舗識別情報,画像情報識別情報などを対応づけて記憶する。撮影画像情報とは,本発明の処理対象となる画像情報であればよい。一般的には,単に撮影した場合,撮影対象物を正対した状態で撮影することが困難であることから,それを正対した状態に補正する補正処理,たとえば台形補正処理などを実行することがよい。一つの陳列棚を複数枚で撮影した場合に,それが一つの画像情報として合成された画像情報も含まれる。また,歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。
【0033】
画像情報正置化処理部22は,画像情報記憶部21に記憶した撮影画像情報に対して,撮影対象物が正対した状態になるように補正する処理(正置化処理),たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は,撮影画像情報に写っている陳列棚の棚段が水平に,そこに陳列されている商品に対する商品タグ(たとえば値札)が垂直になるように行う補正処理である。正置化とは,撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って,十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり,たとえば台形補正処理がある。
【0034】
画像情報正置化処理部22が実行する台形補正処理は,撮影画像情報において4頂点の指定の入力を受け付け,その各頂点を用いて台形補正処理を実行する。指定を受け付ける4頂点としては,陳列棚の棚段の4頂点であってもよいし,陳列棚の棚位置の4頂点であってもよい。また,2段,3段の棚段のまとまりの4頂点であってもよい。4頂点としては任意の4点を指定できる。図8図6の撮影画像情報を,図9図7の撮影画像情報をそれぞれ正置化した撮影画像情報(正置画像情報)の一例を示す。
【0035】
位置特定処理部23は,画像情報正置化処理部22において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち,商品が配置される可能性のある棚段の領域(棚段領域),商品タグが取り付けられる可能性のある領域(商品タグ配置領域)を特定する。すなわち,撮影画像情報および正置画像情報には陳列棚が写っているが,陳列棚には,商品が陳列される棚段領域と,そこに陳列される商品に対する商品タグが取り付けられる可能性のある商品タグ配置領域とがある。そのため,正置画像情報から棚段領域と商品タグ配置領域を特定する。棚段領域,商品タグ配置領域の特定としては,管理端末2の操作者が手動で棚段領域,商品タグ配置領域を指定し,それを位置特定処理部23が受け付けてもよいし,初回に手動で入力を受け付けた棚段領域,商品タグ配置領域の情報に基づいて,二回目以降は自動で棚段領域,商品タグ配置領域を特定してもよい。
【0036】
図10に,飲料缶などの商品が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して,棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。また,図11に,歯ブラシなどの商品が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して,棚段領域と商品タグ配置領域の指定の入力を受け付けた状態を模式的に示す。
【0037】
なお,位置特定処理部23は,棚段領域,商品タグ配置領域を特定する際に,深層学習(ディープラーニング)を用いて棚段領域,商品タグ配置領域を特定してもよい。この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,上記正置画像情報を入力し,その出力値に基づいて,棚段領域,商品タグ配置領域を特定してもよい。また学習モデルとしては,さまざまな正置画像情報に棚段領域,商品タグ配置領域を正解データとして与えたものを用いることができる。
【0038】
陳列商品認識処理部24は,正置画像情報に写っている陳列棚における棚段に陳列されている商品を認識する処理を実行する。
【0039】
撮影画像情報に基づいて陳列棚に陳列している商品の商品識別情報を認識する場合,陳列商品認識処理部24は,棚段領域処理部241とプレイス特定処理部242と商品識別情報特定処理部243と棚段画像マッチング処理部244とを有する。
【0040】
棚段領域処理部241は,位置特定処理部23で特定した棚段領域の画像情報を棚段領域画像情報として特定する。棚段領域処理部241は,実際に,画像情報として切り出してもよいし,実際には画像情報としては切り出さずに,領域の画像情報を特定するなどによって,仮想的に切り出すのでもよい。なお,陳列棚に棚段が複数ある場合には,それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては,その領域を特定するための頂点の座標であり,正置画像情報におけるたとえば4点,右上と左下,左上と右下の2点の座標などでよい。また,正置画像情報における陳列棚など,画像情報における所定箇所(たとえば陳列棚の左上の頂点)を基準とした相対座標である。
【0041】
プレイス特定処理部242は,正置画像情報における棚段領域における棚段ごとに,プレイスの領域を特定する。プレイスとは商品が置かれる領域であって,その商品が置かれているか否かは問わない。プレイスの領域の大きさは,そこに置かれるべき商品と同一または略同一の大きさである。そして,実際に商品が陳列されているプレイスを「フェイス」とする。またプレイスに商品が陳列されていない場合を「空」とする。これを模式的に図23に示す。なお,本発明における処理では,プレイスを基準として処理を実行しているが,プレイスではなく,フェイスを基準として処理を実行してもよい。この場合,プレイスを基準とした処理はフェイスと読み替えるものとし,プレイス特定処理部242は,フェイス特定処理部242として機能する。
【0042】
プレイス特定処理部242は,初回のプレイスの特定処理と,二回目以降のプレイスの特定処理とに分かれることが好ましい。なお,プレイス特定処理部242は,棚段ごとにプレイスの領域を特定することが好ましいが,それに限定するものではなく,画像情報における陳列棚全体から,あるいは複数の棚段からプレイス領域を特定してもよい。
【0043】
プレイス特定処理部242における初回のプレイスの特定処理は,位置特定処理部23で特定した棚段の座標で構成される領域(好ましくは矩形領域)の範囲内において,プレイスを特定する。具体的には,棚段領域における商品と商品との間に生じる細く狭い陰影を特定する,画像の繰り返しパターンを特定する,パッケージの上辺の段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,プレイスの領域を特定する。なお,プレイス特定処理部242は,プレイスの領域を特定する際に,深層学習(ディープラーニング)を用いてプレイスの領域を特定してもよい。この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,処理対象とする領域,たとえば棚段領域の画像情報を入力し,その出力値に基づいて,プレイスの領域を特定してもよい。また学習モデルとしては,さまざまな処理対象とする領域,たとえば棚段領域の画像情報にプレイスの領域を正解データとして与えたものを用いることができる。
【0044】
プレイスの特定処理としては,商品のカテゴリや商品の形態によって,任意の方法を採用可能であり,上記に限定するものではない。また,自動的に特定したプレイスに対して,担当者による修正入力を受け付けてもよい。さらに,担当者からプレイスの位置の入力を受け付けるのでもよい。特定したプレイスを構成する領域の座標は,正置画像情報におけるプレイスの領域の座標に,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,プレイスを識別するためのプレイス識別情報とを対応づけて管理する。またプレイスの領域を示す座標としては,矩形領域を特定するための頂点の座標であり,正置画像情報におけるたとえば4点,右上と左下,左上と右下の2点の座標などでよい。また,正置画像情報における陳列棚など,画像情報における所定箇所(たとえば陳列棚の左上の頂点)を基準とした相対座標である。
【0045】
一般的には,一つの棚段には,同じような種類の商品が置かれることが多い。その場合,商品の大きさもほぼ同じ大きさである。そこで,一つの商品のプレイスの領域を特定した場合,その領域を棚段において反復して設定することで,当該棚段におけるプレイスを特定してもよい。
【0046】
プレイス特定処理部242における二回目以降のプレイスの特定処理は,同一の陳列棚の同一の棚段について,前回(N-1回目)の正置画像情報で特定したプレイスの領域の座標を今回(N回目)の正置画像情報で特定したプレイスの領域の座標とするようにしてもよい。
【0047】
商品識別情報特定処理部243は,陳列棚の棚段ごとに,プレイスに表示されている商品の商品識別情報を,標本情報に記憶する標本情報を用いて特定する。商品識別情報としては,商品名のほか,その商品に対して割り当てられているJANコードなどがあるが,それに限定されない。商品を識別することができる情報であればいかなるものでもよい。
【0048】
商品識別情報特定処理部243は,以下のような処理を実行する。すなわち,プレイスごとに,プレイスの画像情報と,標本情報記憶部26に記憶する商品の標本情報とマッチングすることで,そのプレイスに表示されている商品の商品識別情報を特定する。具体的には,まず,処理対象となるプレイスの座標で構成される領域の画像情報と,標本情報記憶部26に記憶する標本情報との類似性を判定し,その類似性がもっとも高い標本情報に対応する商品識別情報を特定し,特定した類似性があらかじめ定めた閾値以上であれば,上記座標で構成されるプレイスに表示されている商品の商品識別情報として特定をする。
【0049】
ここでプレイスの画像情報と標本情報との類似性を判定するには,以下のような処理を行う。まず,商品識別情報特定処理部243における商品識別情報の特定処理の前までの処理において,正置画像情報の棚段におけるプレイスの領域の画像情報と,標本情報との方向が同じ(横転や倒立していない)となっており,また,それぞれの画像情報の大きさが概略同じとなっている(所定範囲以上で画像情報の大きさが異なる場合には,類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく)。
【0050】
商品識別情報特定処理部243は,プレイスの画像情報と,標本情報との類似性を判定するため,プレイスの画像情報の画像特徴量(たとえば局所特徴量)に基づく特徴点と,標本情報との画像特徴量(たとえば局所特徴量)に基づく特徴点を,それぞれ抽出する。そして,プレイスの画像情報の特徴点と,標本情報の特徴点とでもっとも類似性が高いペアを検出し,それぞれで対応する点の座標の差を求める。そして,差の平均値を求める。差の平均値は,プレイスの画像情報と,標本情報との全体の平均移動量を示している。そして,すべての特徴点のペアの座標差を平均の座標差と比較し,外れ度合いの大きなペアを除外する。そして,残った対応点の数で類似性を順位付ける。
【0051】
以上のような方法でプレイスの画像情報と,標本情報との類似性を算出できる。また,その精度を向上させるため,さらに,色ヒストグラム同士のEMD(Earth Movers Distance)を求め,類似性の尺度としてもよい。これによって,撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ,高精度で特定をすることができる。
【0052】
類似性の判定としては,ほかにも,各プレイスの領域の画像情報のシグネチャ(画像特徴量と重みの集合)同士のEMDを求め,類似性の尺度としてもよい。シグネチャの画像特徴量としては,たとえばプレイス領域の画像情報のHSV色空間内の頻度分布を求め,色相と彩度に関してグルーピングを行って,特徴の個数とHSV色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは,撮影条件に大きく左右されないように,明度への依存度を下げるためである。
【0053】
また,処理の高速化のため,シグネチャとEMDの代わりに,適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のL2距離等の類似性を用いることもできる。
【0054】
類似性の判定は,上述に限定をするものではない。特定した商品識別情報は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,プレイスを識別するためのプレイス識別情報に対応づけて認識情報記憶部27に記憶する。
【0055】
商品識別情報特定処理部243は,プレイスの画像情報に表示されている商品の商品識別情報を特定する際に,深層学習(ディープラーニング)を用いて商品識別情報を特定してもよい。この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,プレイスの画像情報を入力し,その出力値に基づいて,商品識別情報を特定してもよい。また学習モデルとしては,さまざまなプレイスの画像情報に商品識別情報を正解データとして与えたものを用いることができる。
【0056】
なお,商品識別情報が特定できたプレイスはフェイスとなるので,認識情報記憶部27にそのプレイスが「フェイス」であることを示す情報が記憶され,商品識別情報が特定できなかったプレイスは「空」となるので,認識情報記憶部27にそのプレイスが「空」であることを示す情報が記憶される。
【0057】
以上のようにして特定した商品識別情報は,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,プレイスを識別するためのプレイス識別情報,フェイスであるか空であるかを示す情報に対応づけて認識情報記憶部27に記憶する。
【0058】
棚段画像マッチング処理部244は,前回(N-1回目)の正置画像情報における棚段の領域の画像情報と,今回(N回目)の正置画像情報における棚段の領域の画像情報とに基づいて,その類似性が高ければその棚段における各プレイスの商品識別情報または「空」は同一と判定する。この類似性の判定処理は,上述のように,前回(N-1回目)の正置画像情報における棚段の領域の画像情報の画像特徴量と,今回(N回目)の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし,色ヒストグラム同士のEMDを用いたものであってもよい。また,それらに限定するものではない。そして,商品識別情報特定処理部243におけるプレイス単位ごとの特定処理ではなく,商品識別情報特定処理部243に,N回目の正置画像情報におけるその棚段における各プレイスの商品識別情報を,N-1回目の同一の棚段における各プレイスの商品識別情報と同一として,認識情報記憶部27に記憶させる。これによって,あまり商品の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など,変化がほとんど生じない棚段についての処理を省略することができる。なお,棚段画像マッチング処理部244による処理は設けなくてもよい。
【0059】
陳列商品認識処理部24は,プレイス特定処理部242,商品識別情報特定処理部243の処理をまとめて深層学習などによって実行してもよい。
【0060】
管理端末2における商品タグ認識処理部25は,正置画像情報に写っている陳列棚の商品タグ領域にある商品タグに記載されている商品タグ情報を認識する処理を実行する。商品タグ情報としては,たとえば価格があるが,それに限定されない。
【0061】
撮影画像情報に基づいて商品タグの商品識別情報を認識する場合,商品タグ認識処理部25は,商品タグ配置領域処理部251と商品タグ配置領域正置化処理部252と商品タグ特定処理部253と商品タグ内情報特定処理部254とを有する。
【0062】
商品タグ配置領域処理部251は,位置特定処理部23で特定した商品タグ配置領域の画像情報を商品タグ配置領域画像情報として切り出す。商品タグ配置領域処理部251は,実際に,画像情報として切り出してもよいし,実際には画像情報としては切り出さずに,仮想的に切り出すのでもよい。画像情報を仮想的に切り出すとは,特定した領域,たとえば商品タグ配置領域の範囲を処理対象として処理を実行させることをいう。なお,陳列棚に商品タグ配置領域が複数ある場合には,それぞれが商品タグ配置領域画像情報として切り出される。また商品タグ配置領域を示す座標としては,その領域を特定するための頂点の座標であり,正置画像情報におけるたとえば4点,右上と左下,左上と右下の2点の座標などでよい。また,正置画像情報における陳列棚など,画像情報における所定箇所(たとえば陳列棚の左上の頂点)を基準とした相対座標である。
【0063】
商品タグ配置領域正置化処理部252は,商品タグ配置領域処理部251において切り出した商品タグ配置領域画像情報を正置化する台形補正処理を実行する。陳列棚の面が垂直であるのに対し,商品タグの面は,顧客から見やすいように,垂直面よりも上向きをしていることが多い。そこで商品タグ配置領域の画像情報を正置化することで,認識精度を向上させる。図12に,図10の商品タグ配置領域の画像情報に対して,正置化した商品タグ配置領域の画像情報の一例を示す。図12(a)が図10における上の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報であり,図12(b)が図10における下の棚段の商品タグ配置領域の画像情報を正置化した商品タグ配置領域の画像情報である。
【0064】
商品タグ配置領域正置化処理部252は,以下のような処理を実行することで,商品タグ配置領域の画像情報を正置化する。すなわち,商品タグ配置領域の画像情報において,エッジ検出を行い,左右の両端に近い箇所で,一定の長さ以上の垂直に近い輪郭線(たとえば70度から110度のように,垂直(90度)から所定範囲の角度内の輪郭線)を特定する。なお,左右の両端に近い箇所の輪郭線を抽出することが好ましいが,それに限定しない。図10の商品タグ配置領域の画像情報の場合,図13に示すように,L1乃至L4をそれぞれ特定する。図13(a)が図10における上の棚段の商品タグ配置領域であり,図13(b)が図10における下の棚段の商品タグ配置領域である。なお,特定する輪郭線L1乃至L4は,実際に商品タグ配置領域の画像情報に描画するわけではない。そして図13(a)のL1,L2,図13(b)のL3,L4が,それぞれ垂直線となるように,商品タグ配置領域の画像情報に対する台形補正処理をそれぞれ実行する。このような処理を実行することで,商品タグ配置領域の画像情報を正置化し,図12に示す正置化した商品タグ配置領域の画像情報を得られる。なお,商品タグ配置領域正置化処理部252の処理を実行することで,商品タグ特定処理部253,商品タグ内情報特定処理部254の精度を向上させることができることから,その処理を実行することが好ましいが,省略することもできる。その場合,商品タグ特定処理部253,商品タグ内情報特定処理部254は,商品タグ配置領域処理部251で切り出した商品タグ配置領域に対して実行することとなる。
【0065】
商品タグ特定処理部253は,正置化した商品タグ配置領域画像情報から,各商品タグの領域(商品タグ領域)を特定する。商品タグ領域の特定処理には,主に3種類の方法を用いることができる。第1の方法は,輪郭線に基づいて商品タグ領域を特定する方法であり,第2の方法は,全体の明暗の分布などの全体的な特徴を,商品タグのテンプレートの画像情報とマッチングすることで商品タグ領域を特定する方法であり,第3の方法は,深層学習を用いて商品タグ領域を特定する方法である。なお,第1の方法乃至第3の方法以外の方法を用いることもできる。
【0066】
第1の方法は,商品タグの地の色(背景色)が白色が多い(背景より明るい)ことを利用する方法である。すなわち,まず正置化した商品タグ配置領域の画像情報のうち,画像情報の明度情報を横方向に積算したヒストグラムを生成する。そしてヒストグラムの立ち上がり,立ち下がり位置を特定し,商品タグの上辺位置A,下辺位置Bを特定する。この処理を模式的に示すのが図14である。立ち上がりとは,ヒストグラムにおいて,黒から白の方向に急峻(あらかじめ定められた比率以上)に増加する箇所であり,立ち下がりとは,ヒストグラムにおいて,白から黒の方向に急峻に減少する箇所である。
【0067】
そして,正置化した商品タグ配置領域の画像情報のうち,上辺位置A,下辺位置Bの間を切り出し,正置化した商品タグ配置領域画像情報の明度情報を縦方向に積算したヒストグラムを生成する。そして,ヒストグラムの立ち上がり,立ち下がり位置を特定し,立ち上がりとその右の所定の距離範囲にある立ち下がりとをペアとし,それぞれを左辺位置,右辺位置として,商品タグ領域を特定する。そして,ペアを形成できなかった立ち上がりについてはその右側に,ペアを形成できなかった立ち下がりについてはその左側に,あらかじめ定めた距離内に商品タグ領域がなければ,商品タグ領域として特定をする。この処理を模式的に示すのが図15である。
【0068】
また第1の方法により,図12の正置化した商品タグ配置領域の画像情報から,商品タグ領域を特定した状態を図16に示す。上辺位置A,下辺位置B,左辺位置(立ち上がり)U,右辺位置(立ち下がり)Dのそれぞれで構成される矩形領域が,特定された商品タグの領域である。
【0069】
なお,商品タグの地の色(背景色)が白色以外,たとえば赤色であって,文字が白色などの商品タグもある。そこで,上述の処理によって商品タグにおける価格情報や商品識別情報が認識できなかった場合には,商品タグ配置領域の画像情報において,白色と黒色との関係を反転させて(明暗を反転させる),上述と同様の処理を実行するようにしてもよい。これによって,地の色が暗く,文字が明るい商品タグに対応させることもできる。
【0070】
なお,商品タグ配置領域の画像情報の明暗を反転させる処理は,商品タグにおける情報が認識できない場合のほか,商品識別情報を特定する過程の処理のいずれかにおいて正常に認識できない場合に実行してもよいし,認識できるか否かにかかわらず実行をしてもよい。
【0071】
第2の方法は,いわゆるテンプレートマッチングである。すなわち,テンプレートとして,商品タグの画像情報をあらかじめ登録しておき,テンプレートと,正置化した商品タグ配置領域の画像情報とのマッチングをすることで,商品タグ領域を特定する。
【0072】
商品タグには,税抜価格,税込価格,商品識別情報(商品名など),メーカー名,定格などが含まれる。そのため,テンプレートとなる商品タグの画像情報に,商品名など商品識別情報や価格の具体的な数字,文字を含めるとその部分も含めて画像マッチング処理の判定対象となるため,その部分をモザイク化,削除等することで,判定対象から中立化や除外してあることが好ましい。中立化とは,どのような入力についても高い点,低い点を配点しないことであり,除外とは,画像マッチング処理の際に,その部分をマッチングの対象から除外することである。
【0073】
第3の方法は,深層学習(ディープラーニング)を用いた方法である。商品タグ特定処理部253は,この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,商品タグ配置領域を正置化した画像情報を入力し,その出力値に基づいて,商品タグ領域を特定してもよい。また学習モデルとしては,さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えたものを用いることができる。
【0074】
商品タグ内情報特定処理部254は,商品タグ特定処理部253で特定した商品タグ領域に記載されている情報をOCR認識や深層学習などにより特定する処理を実行する。OCR認識をする場合には,商品タグ領域として特定した領域のすべてまたは一部について行うことができる。商品タグ領域として特定したすべての領域に行うとノイズなどにより誤認識が発生する可能性が高いので,OCR認識をする対象領域を限定することが好ましい。この場合,商品タグ特定処理部253で用いた第1の方法乃至第3の方法にそれぞれ対応した処理を実行すればよい。
【0075】
商品タグ特定処理部253で第1の方法を用いた場合,特定した商品タグ領域において,まず二値化処理を行う。二値化処理としては,HSV色空間の明度を用いる方法,大津の手法,赤色を抽出する手法(商品タグの数字や文字列には黒色のほか赤色も使用頻度が高い)などのうち一または複数を組み合わせて抽出したものを候補として選定する方法がある。
【0076】
そして,二値化した画像情報においてラベリング処理を実行する。ラベリング処理とは,二値画像情報において,白または黒が連続した画素に同一の番号(識別情報)を割り振る処理を実行することで,連続する画素同士を一つの島(グループ)化する処理である。そしてラベリング処理によって検出した島を含む矩形領域(ボックス)を生成し,ボックスの高さ,幅,ベースラインを求める。ボックスを生成する際には,同一番号にラベリングされた領域を囲む最小の,垂直,水平の線分で囲まれた長方形を生成することが好ましいが,それに限定しない。なおボックスを生成する際に,あらかじめ定めた閾値となる高さ,幅を充足しない島はノイズとしてボックスを生成せず,そのまま処理対象から除去する。たとえば高さが小さすぎる島は横罫線や画像上のゴミの可能性があり,幅が広すぎる島はロゴなどの可能性があり,これらはノイズとして除去をする。
【0077】
商品タグで使用される文字は,一般的には,太字のゴシック体など文字全体の輪郭が明確な字体が用いられることが多い。そのため,画像情報に多少のピンぼけがある場合でも,一つの文字列を形成する文字群は,ベースラインと高さがそろった島として検出することができる。
【0078】
そして商品タグ内情報特定処理部254は,所定の類似性を有する隣接したボックス同士を併合し,ブロックを構成する。すなわち,ベースラインと高さが所定範囲内で一致し,高さおよび幅が一定の閾値の範囲内にある連続するボックスを併合し,ブロックを構成する。この際に,併合するブロックの間にある小さいボックスなどもまとめて一つのブロックとして構成する。これによって,濁点,半濁点,ハイフンなども一つのブロックに取り込まれることとなる。ブロックは,OCR認識の対象となる領域である。そして,ブロックのうち,高さがもっとも高いブロックを価格領域(税抜価格領域)と推定し,OCR認識を行う。また,ほかのブロックについても同様に,OCR認識を行う。以上のような処理を実行することで,商品タグ領域において複数行にわたって自由にレイアウトされた原稿部分に対しOCR認識を行うよりも精度よく,文字認識処理を実行することができる。この処理を模式的に示すのが図17乃至図19である。図17は二値化した画像情報であり,図18はボックス(破線で示す領域)を生成した状態を示す図である。また図19はブロック(破線で示す領域)を生成した状態を示す図である。
【0079】
以上のようにして商品タグ内情報特定処理部254は,商品タグに記載した情報を文字認識することができる。
【0080】
商品タグ特定処理部253で第2の方法を用いた場合,テンプレートとした商品タグの画像情報に,あらかじめ税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格が表記されるそれぞれの文字枠の位置,大きさ(高さ,幅)が設定されている。そのため,商品タグ特定処理部253で特定した商品タグ領域から,該当箇所の画像情報を切り出し,OCR認識処理を実行する。この際に,価格,メーカー名,商品名などの商品識別情報,定格によって使用される文字種別(たとえば数字,ローマ字,記号,かな漢字のどれを含むかなど)を制約条件として定めておくことで,OCR認識処理の精度を向上させることができる。
【0081】
商品タグ特定処理部253で第3の方法を用いた場合,深層学習(ディープラーニング)を用いて,商品タグ内情報を特定してもよい。商品タグ内情報特定処理部254は,この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,商品タグ領域の画像情報を入力し,その出力値に基づいて,商品タグ領域に含まれる税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格などの情報を特定してもよい。学習モデルとしては,さまざまな商品タグ領域の画像情報に,税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格などの情報を正解データとして与えたものを用いることができる。
【0082】
商品タグ認識処理部25は,商品タグ配置領域正置化処理部252,商品タグ特定処理部253,商品タグ内情報特定処理部254の二以上の処理をまとめて深層学習などによって実行してもよい。
【0083】
さらに商品タグ内情報特定処理部254は,読み取った情報の整合性を確認する処理を実行してもよい。整合性確認処理としては,辞書照合による整合性の確認処理,ロジカルチェックの2種類を行うことが好ましい。
【0084】
辞書照合による整合性の確認処理は,たとえば以下のように実行する。情報処理システム1には,陳列棚に陳列される可能性のある商品の商品名などの商品識別情報と,それに対応するコード情報(たとえばJANコード)とを対応づけて記憶する商品辞書(図示せず)を備えている。そして,商品タグ内情報特定処理部254で認識した価格を示す領域から読み取った文字列以外の文字列と,商品辞書に登録されたすべての商品名などの商品識別情報との文字列類似度評価を行う。たとえば編集距離(レーベンシュタイン距離)やジャロ・ウィンクラー距離などを用いることができる。
【0085】
上記で求めた文字列類似度の最大値が一つであるならば,その商品名などの商品識別情報を最終候補とする。そして最終候補となった商品名などの商品識別情報の文字列の長さに対して,許容できる類似度をあらかじめ定めておき,許容できる類似度以上であれば商品名などの商品識別情報を同定する。許容できる類似度に達していなければ,読み取った文字列は未確定とする。また,最大値の類似度の商品が複数ある場合には,読み取った文字列は未確定とする。
【0086】
文字列類似度評価の一つである編集距離とは,二つの文字列がどの程度異なっているかを示す距離の一種であって,具体的には,一文字の挿入,削除,置換によって,一方の文字列をもう一方の文字列に変形するのに必要な手順の最小回数である。図20に商品タグに表記された商品名,OCR認識の結果,商品辞書に記憶する商品名のうち編集距離が最小の商品名,編集距離の一例を示す。また,図21に,最終候補の文字数ごとの確定してよい編集距離の対応関係の表を示す。なお,本明細書では編集距離を用いて処理をする場合を説明するが,置換が挿入,削除よりも類似度が大きくなるよう定義された文字列類似度評価であってもよい。
【0087】
そして,上記の最小の編集距離の商品名などの商品識別情報を求めた後,OCRなどの認識結果から商品名などの商品識別情報の該当部分を除いた文字列に対し,別に備える定格辞書(図示せず)に記憶する各定格との編集距離,メーカー名辞書(図示せず)に記憶する各メーカー名との編集距離をそれぞれ求める。たとえば図20における「のどごし 生 350ml」の例では,「350ml」の部分に対し,定格の辞書における「350ml」と編集距離0で一致し,定格部分の文字列であることを同定する。同様に,メーカー名についても編集距離を求め,最小の編集距離にある文字列をメーカー名であることを同定する。そしてOCR認識結果から定格部分,メーカー名部分の各文字列を取り除いて,取り除いた残りの文字列に対し,商品名辞書における最短の編集距離にある文字列を求め,許容できる編集距離であるか否かを判定する。許容できる編集距離内であれば,商品名などの商品識別情報,メーカー名,定格を確定する。このような処理をすることで,商品名などの商品識別情報に定格,メーカー名が含まれる場合にも適切に確定をすることができる。なお,定格辞書とは,陳列棚に陳列される可能性のある商品の定格(容量など)を記憶する辞書である。メーカー名辞書とは,陳列棚に陳列される可能性のある商品のメーカー名を記憶する辞書である。
【0088】
商品タグ内情報特定処理部254による認識結果を最終的に利用者が判断,承認するため,認識結果の選択等の入力を受け付ける表示を行う際には,確定した文字列,未確定の文字列が特定可能な方法で表示が行われているとよい。たとえば確定した文字列と未確定の文字列との色を分ける,確定の文字列および/または未確定の文字列には確定または未確定を示す情報を付するなどがある。未確定の文字列については,最小の編集距離となった商品名などの商品識別情報が複数ある場合には,各商品識別情報を表示してもよい。
【0089】
商品タグ内情報特定処理部254におけるロジカルチェック(認識した情報の論理的整合性の判定処理)は以下のように行うことができる。たとえば価格領域として2つの価格を読み取った場合,一つは税抜価格,一つは税込価格となるが,税抜価格が税込価格よりも高くなっている場合には,それらを逆転して認識させる。また,税抜価格に消費税率を乗算して得た値が税込価格とは一致しない場合には,いずれかまたは双方に誤認識があるとする。さらに,商品名などの商品識別情報を認識した場合には,その商品または商品カテゴリの通常の価格帯に収まっているか,を判定する。また,商品名などの商品識別情報,メーカー名,定格の対応関係が一致しているかを判定してもよい。
【0090】
以上のように商品タグ内の情報の整合性を確認することで,撮影画像情報に写っている商品タグに含まれる情報を確定することができる。このように確定した情報は,たとえば表形式で出力をすることができる。
【0091】
管理端末2における標本情報記憶部26は,正置画像情報に写っている陳列棚の棚段に陳列されている商品がどの商品であるかを識別するための標本情報を記憶する。標本情報は,陳列棚に陳列される可能性のある商品を,上下,左右,斜めなど複数の角度から撮影をした画像情報である。図22に標本情報記憶部26に記憶される標本情報の一例を示す。図22では,標本情報として,缶ビールをさまざまな角度から撮影をした場合を示しているが,缶ビールに限られない。標本情報記憶部26は,標本情報と,商品識別情報とを対応付けて記憶する。
【0092】
なお,標本情報記憶部26には,標本情報とともに,または標本情報に代えて,標本情報から抽出された,類似性の算出に必要となる情報,たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には,類似性の算出に必要となる情報も含むとする。この場合,陳列商品認識処理部24は,後述するプレイスの領域の画像情報と,標本情報とのマッチング処理を行う際に,標本情報について毎回,画像特徴量を算出せずともよくなり,計算時間を短縮することができる。
【0093】
また標本情報記憶部26に記憶する標本情報は,陳列商品認識処理部24が深層学習によって陳列棚に陳列されている商品を認識する処理を実行する場合には,正解データとして用いることもできる。
【0094】
認識情報記憶部27は,陳列棚の棚段の各プレイスに表示されている商品の商品識別情報を示す情報,商品タグの商品タグ内情報を記憶する。たとえば,商品識別情報に対応付けて,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,プレイスを識別するためのプレイス識別情報に対応づけて認識情報記憶部27に記憶する。また陳列棚の商品タグの商品タグ内情報に,影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報などを対応づけて記憶していてもよい。また,陳列棚の各プレイスに表示されている商品の商品種別と,商品タグの商品タグ内情報とを対応づけて記憶していてもよい。図23に陳列棚におけるプレイスとフェイスとの関係を模式的に示す。
【0095】
対応関係判定処理部28は,陳列棚の各プレイスに表示されている商品の商品種別と,商品タグとの対応関係を判定する。同一の商品が並んで各プレイスに陳列されている場合,それらをひとまとめにしたものを商品種別という。そのため,一つのプレイスにしか商品が陳列されていない場合にはその商品の商品種別と商品識別情報とは一つずつである。また,横方向に2つのプレイスに連続して同一の商品識別情報の商品が陳列されている場合には,2つのプレイスの商品種別が一つにまとめられる。
【0096】
対応関係判定処理部28の処理としては,陳列棚の各プレイスに表示されている商品の商品種別と,商品タグとの対応関係を判定する処理であれば,如何なる処理であってもよい。たとえば陳列商品認識処理部24で認識した各プレイスに表示されている商品の商品種別と,商品タグ認識処理部25で認識した商品タグ内情報における商品識別情報とを比較し,それらを対応づけることで,陳列棚の各プレイスに表示されている商品の商品種別と,商品タグとの対応関係を判定してもよい。
【0097】
また,別の処理方法としては,以下のように,商品種別の数と商品タグの数とを用いてその対応関係を判定してもよい。この場合,対応関係判定処理部28は,たとえば初回の処理と二回目以降の処理とに分けて処理を実行するとよい。
【0098】
対応関係判定処理部28における初回の処理は以下のように実行することができる。まず,処理対象とする領域,たとえば処理対象とする棚段領域において,商品種別の数と,商品タグの数とを比較する。この際に商品種別の数としては,商品種別情報記憶部に「空」として記憶しているプレイスについても一つの商品種別としてカウントしてもよい。商品種別の数と商品タグの数とが同数であれば商品種別と商品タグとを所定の方向,たとえば左側から順に一対一で紐付けする。この処理を模式的に示すのが図24である。図24(a)は,ある棚段領域において,陳列商品認識処理部24で認識した商品識別情報と,商品タグ認識処理部25で認識した商品識別情報とを示した図であり,図24(b)は,図24(a)に基づいて陳列商品の商品種別と,商品タグの商品識別情報とを紐付けてした状態を示す図である。
【0099】
また商品種別の数が商品タグの数より多い場合には,商品種別の数と商品タグの数とが同数となるように仮の商品タグを作成し,商品タグ配置領域に配置する。これは,オペレータに仮の商品タグを作成するように所定の通知を行ってもよいし,商品種別の情報と商品タグの情報とをOCR認識して対応する商品種別と商品タグとを紐付けした後,余っている商品種別に対応する商品タグ配置領域の位置(たとえば商品種別の下または上の商品タグ配置領域の位置)に,仮の商品タグを自動的に作成してもよい。この処理を模式的に示すのが図25である。図25(a)は,ある棚段領域において,陳列商品認識処理部24で認識した商品識別情報と,商品タグ認識処理部25で認識した商品識別情報とを示した図であり,図25(b)は,図25(a)に基づいて,仮の商品タグを作成して商品タグに配置して,陳列商品の商品種別と,商品タグの商品識別情報とを紐付けてした状態を示す図である。仮の商品タグの商品識別情報などは,オペレータが入力を行い,その後,仮の商品タグを正式な商品タグとして登録する。
【0100】
仮の商品タグを自動的に作成するためには,まず商品タグ配置領域において,あらかじめ定められた大きさの仮の商品タグを配置可能な範囲を特定する。そして,商品種別の情報と商品タグの情報とを比較して同一または類似するペアを紐付けし,紐付けできない商品種別を特定する。そして特定できなかった商品種別について,その商品種別の対応する商品タグ配置領域(たとえば上または下の商品タグ配置領域)のうち,特定した仮の商品タグを配置可能な範囲に,仮の商品タグを作成する。特定した仮の商品タグを配置可能な範囲がない場合,商品種別の数と商品タグの数の相違が2以上の場合など,所定の条件を充足した場合には,エラーを通知してオペレータに入力させるようにしてもよい。
【0101】
さらに商品種別の数が商品タグの数より少ない場合には,商品種別の数と商品タグの数とが同数となるように,不要な商品タグを削除する。これは,オペレータに商品タグを削除するように所定の通知を行ってもよいし,商品種別の情報と商品タグの情報とをOCR認識して対応する商品種別と商品タグとを紐付けした後,紐付けられていない商品タグを自動的に削除するようにしてもよい。この処理を模式的に示すのが図26である。図26(a)は,ある棚段領域において,陳列商品認識処理部24で認識した商品識別情報と,商品タグ認識処理部25で認識した商品識別情報とを示した図であり,図26(b)は,図26(a)に基づいて,不要な商品タグを削除して,陳列商品の商品種別と,商品タグの商品識別情報とを紐付けてした状態を示す図である。
【0102】
対応関係判定処理部28における二回目以降の処理は,以下のように実行することができる。まず,処理対象とする領域の初期位置,たとえば棚段領域の左端から順に,商品種別と商品タグとの組み合わせが,今回の処理より前,たとえば前回の組み合わせと同一の範囲で,今回の処理より前の組み合わせと同一の紐付けを行う。そして,商品種別と商品タグの組み合わせが異なる位置に区切りを設定し,その区切り位置から上述の一回目と同様の処理を実行する。この処理を模式的に示すのが図27である。図27(a)は,ある棚段領域において,初回に,陳列商品認識処理部24で認識した商品識別情報と,商品タグ認識処理部25で認識した商品識別情報とを示した図であり,図27(b)は,図27(a)に基づいて,陳列商品の商品種別と,商品タグの商品識別情報とを紐付けてした状態を示す図である。図27(c)は,二回目の処理として,陳列商品認識処理部24で認識した商品識別情報と,商品タグ認識処理部25で認識した商品識別情報とを示した図である。図27(c)では,商品種別Cまで初回の処理と同様であるので,商品種別Cの次に区切りを設定し,商品種別Dから初回と同様の処理を実行する。
【0103】
なお,初回の処理とは,実際の初回の処理に限らず,任意のタイミングで,オペレータなどを介して,陳列商品の商品種別と商品タグとの対応関係を設定する場合であって,たとえば実際の処理を10回実行した後に,初回の処理を再度実行して,精度を一定に保つように処理をする場合も含まれる。二回目以降の処理とは初回の処理を実行しない場合である。
【0104】
対応関係判定処理部28は,以上のように商品種別と商品タグとの対応関係を判定すると,商品種別と商品タグとの対応関係を所定の記憶領域,たとえば認識情報記憶部27に記憶させる。
【0105】
外装変化検出処理部29は,プレイス領域の商品の画像情報を用いて,商品の外装の変化を検出する。この場合,外装変化検出処理部29は,今回(N回目)の処理における陳列棚に陳列されている商品と,今回より前,たとえば前回(N-1回目)の処理における陳列棚に陳列されている商品とを比較し,その変化がない場合であって,今回(N回目)の処理におけるプレイス領域の商品の画像情報と,今回より前,例えば前回(N-1回目)の処理におけるプレイス領域の商品の画像情報とに変化がある場合を検出することで,商品の外装の変化を検出する。
【0106】
今回(N回目)の処理における陳列棚に陳列されている商品と,今回より前,たとえば前回(N-1回目)の処理における陳列棚に陳列されている商品との比較処理としては,各種の方法を用いることができる。
【0107】
たとえば,第1の方法としては,処理対象とするプレイスについて,今回(N回目)の処理において陳列商品認識処理部24で認識した商品識別情報と,今回より前,たとえば前回(N-1回目)の処理において陳列商品認識処理部24で認識した商品識別情報とを比較し,同一の商品識別情報の場合には変化なし,同一の商品識別情報ではない場合には変化ありと判定する。
【0108】
第2の方法としては,処理対象とするプレイスについて,今回(N回目)の処理における商品タグ認識処理部25で認識した,当該プレイスに対応する商品タグの商品タグ内情報の商品識別情報と,今回より前,たとえば前回(N-1回目)の処理における商品タグ認識処理部25で認識した,当該プレイスに対応する商品タグの商品タグ内情報の商品識別情報とを比較し,同一の商品識別情報の場合には変化なし,同一の商品識別情報ではない場合には変化ありと判定する。
【0109】
第3の方法としては,処理対象とするプレイスについて,今回(N回目)の処理における当該プレイスに対応する商品タグの画像情報と,今回より前,たとえば前回(N-1回目)の処理における当該プレイスに対応する商品タグの画像情報とを比較する。そして,各画像情報の類似度が一定の閾値を超えている場合には変化なし,一定の閾値以下の場合には変化ありと判定する。
【0110】
第4の方法としては,処理対象とするプレイスについて,今回(N回目)の処理における陳列商品認識処理部24で認識した商品識別情報と商品タグ認識処理部25で認識した商品タグ内情報との対応付けと,今回より前,たとえば前回(N-1回目)の処理における陳列商品認識処理部24で認識した商品識別情報と商品タグ認識処理部25で認識した商品タグ内情報との対応付けとを比較し,その対応付けが同じ場合には変化なし,同じではない場合には変化ありと判定する。
【0111】
今回(N回目)の処理における陳列棚に陳列されている商品と,今回より前,たとえば前回(N-1回目)の処理における陳列棚に陳列されている商品との比較処理は,上記第1乃至第4の方法に限られるものではなく,今回(N回目)の処理における陳列棚に陳列されている商品と,今回より前の処理における陳列棚に陳列されている商品とが同一の商品であるか否かを比較できる処理であれば如何なるものでもよい。
【0112】
外装変化検出処理部29は,今回の処理における陳列棚に陳列されている商品と,今回より前の処理における陳列棚に陳列されている商品とが同一の商品であると判定した場合は,当該処理対象とするプレイス領域の商品の画像情報について,今回の当該プレイス領域の商品の画像情報と,今回より前,たとえば前回の当該プレイス領域の商品の画像情報とを比較し,変化があるかを検出する。
【0113】
この比較については,たとえば今回の当該プレイス領域の商品の画像情報と,今回より前の当該プレイス領域の商品の画像情報とを比較し,その類似度を判定して,類似度が一定の閾値以上であれば変化なし,類似度が一定の閾値未満であれば変化ありと判定する。
【0114】
またほかの処理方法としては,深層学習(ディープラーニング)を用いてもよい。この場合,外装変化検出処理部29は,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,処理対象とするプレイス領域の今回の商品の画像情報と,今回より前の商品の商品画像情報とを入力し,その出力値に基づいて変化の有無を判定してもよい。学習モデルとしては,2つ以上のプレイス領域の商品の画像情報と,その商品の外装に変化があるか否かの結果の情報とを正解データとして与えたものを用いることができる。
【0115】
処理対象とするプレイス領域の商品の画像情報について,今回の当該プレイス領域の商品の画像情報と,今回より前,たとえば前回の当該プレイス領域の商品の画像情報とを比較し,変化があるかを検出する処理については,これらに限られるものではなく,変化の有無を検出できるのであれば,如何なるものであってもよい。
【0116】
外装変化検出処理部29は,今回の処理における陳列棚に陳列されている商品と,今回より前の処理における陳列棚に陳列されている商品とが同一の商品であると判定し,当該処理対象とするプレイス領域の商品の画像情報について,今回の当該プレイス領域の商品の画像情報と,今回より前,たとえば前回の当該プレイス領域の商品の画像情報とを比較して変化があることを検出した場合には,所定の出力処理を行う。この出力処理としては,たとえばメッセージを管理者に通知するなどがある。また,変化があることを検出した,今回の処理におけるプレイス領域の画像情報を表示してもよい。
【実施例0117】
つぎに本発明の情報処理システム1の処理プロセスの一例を図5のフローチャートおよび図28のフローチャートを用いて説明する。なお,以下の説明では,撮影画像情報から陳列している商品の商品識別情報,商品タグの商品識別情報を特定する場合を説明する
【0118】
店舗の陳列棚が撮影された撮影画像情報は,画像情報入力端末3から入力され,管理端末2の画像情報入力受付処理部20でその入力を受け付ける(S100)。図29に,撮影画像情報の一例を示す。また,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報の入力を受け付ける。そして,画像情報入力受付処理部20は,入力を受け付けた撮影画像情報,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部21に記憶させる。
【0119】
管理端末2において所定の操作入力を受け付けると,正置画像情報正置化処理部は,画像情報記憶部21に記憶する撮影画像情報を抽出し,台形補正処理などの正値化処理を行うための頂点である棚位置(陳列棚の位置)の4点の入力を受け付け,正値化処理を実行する(S110)。このようにして正置化処理が実行された撮影画像情報(正置画像情報)の一例が,図30である。
【0120】
そして,正置画像情報に対して,管理端末2において所定の操作入力を受け付けることで,位置特定処理部23は,棚段位置領域および商品タグ配置領域を特定する。すなわち,正置画像情報における棚段領域,商品タグ配置領域の入力を受け付ける。図10が,棚段領域および商品タグ配置領域が特定された状態を示す図である。
【0121】
以上のようにして,棚段領域,商品タグ配置領域を特定すると,棚段領域における陳列商品の認識処理を陳列商品認識処理部24が,商品タグ配置領域における商品タグ認識処理を商品タグ認識処理部25がそれぞれ実行する(S120,S130)。なお陳列商品認識処理部24における陳列商品の認識処理,商品タグ認識処理部25による商品タグ認識処理は,並行して行ってもよいし,異なるタイミングで行ってもよい。
【0122】
まず陳列商品認識処理部24における商品の商品識別情報の認識処理を説明する。
【0123】
陳列商品認識処理部24における棚段領域処理部241は,入力を受け付けた棚段の領域に基づいて,正置画像情報から棚段領域の画像情報を切り出す。そして,棚段領域画像情報における棚段ごとに,プレイスを特定する処理を実行する。具体的には,棚段領域における棚段について,4点の座標で構成される矩形領域の範囲内において,商品と商品との間に生ずる細く狭い陰影を特定する,画像の繰り返しパターンを特定する,パッケージの上辺の段差を特定する,商品幅が同一であるなどの制約に基づいて区切り位置を特定する,などによって,プレイスを特定する。特定したプレイスには,プレイスを識別するためのプレイス識別情報を付す。そして,特定した各プレイスの座標は,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,プレイスを識別するためのプレイス識別情報と対応付けて記憶させる。なお,プレイスの座標は4点を記憶せずとも,矩形領域を特定可能な2点であってもよい。
【0124】
以上のように正置画像情報の棚段位置領域画像情報における各棚段の各プレイスを特定すると,商品識別情報特定処理部243は,プレイスごとに,標本情報記憶部26に記憶する標本情報とマッチング処理を実行し,そのプレイスに表示されている商品の商品識別情報を特定する。すなわち,ある棚段のプレイスの矩形領域(このプレイスの領域のプレイス識別情報をXとする)における画像情報と,標本情報記憶部26に記憶する各標本情報とから,それぞれの画像特徴量を算出し,特徴点のペアを求めることで,類似性を判定する。そして,もっとも類似性の高い標本情報を特定し,そのときの類似性があらかじめ定められた閾値以上であれば,その標本情報に対応する商品識別情報を標本情報記憶部26に基づいて特定する。そして,特定した商品識別情報を,そのプレイス識別情報Xのプレイスに表示されている商品の商品識別情報とする。なお,いずれの標本情報とも類似ではないと判定したプレイスについては,そのプレイス識別情報について「空」であることを示す情報を付する。商品識別情報特定処理部243は,特定した商品識別情報または「空」であることを示す情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,プレイス識別情報に対応づけて認識情報記憶部27に記憶する。
【0125】
なお,すべてのプレイスの商品識別情報を特定できるとは限らない。そこで,特定できていないプレイスについては,上述のように最初から「空」の情報を付するのではなく,商品識別情報の入力を受け付け,入力を受け付けた商品識別情報を,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報,正置画像情報の画像情報識別情報,プレイス識別情報に対応づけて認識情報記憶部27に記憶する。また,特定した商品識別情報の修正処理についても同様に,入力を受け付けてもよい。また,修正処理の結果,「空」であることの入力を受け付けた場合には,「空」の情報を付してもよい。
【0126】
以上のような処理を行うことで,撮影画像情報に写っている陳列棚の棚段に陳列されている商品の商品識別情報を特定することができる。
【0127】
なお,陳列商品認識処理部24における商品の商品識別情報の認識処理は上述に限られるものではなく,たとえば深層学習(ディープラーニング)を用いてもよいことはすでに述べたとおりである。
【0128】
つぎに商品タグ認識処理部25における商品タグの情報を認識する処理を説明する。
【0129】
商品タグ認識処理部25における商品タグ配置領域処理部251は,位置特定処理部23で特定した商品タグ配置領域の画像情報を切り出し,商品タグ配置領域正置化処理部252が台形補正処理を実行することで,商品タグ配置領域の画像情報に対する正置化処理を実行する。
【0130】
商品タグ配置領域の画像情報に対する正置化処理としては,まず,商品タグ配置領域の画像情報においてエッジ検出を行う。そして,検出したエッジのうち,一定の長さ以上であって,垂直から所定範囲の角度内にある輪郭線を特定する。そして,特定した輪郭線のうち,もっとも左および右にある輪郭線を特定する。このように特定した輪郭線の一例を図13に示す。そして,特定した輪郭線(図13(a)のL1,L2,図13(b)のL3,L4)が,それぞれ垂直線となるように,商品タグ配置領域の画像情報に対する台形補正処理を実行する。このような処理を実行することで,商品タグ配置領域の画像情報を正置化し,図12に示す正置化した商品タグ配置領域の画像情報を得られる。
【0131】
商品タグ配置領域の画像情報の正置化処理が終了すると,商品タグ特定処理部253が,第1の方法乃至第3の方法により,商品タグ配置領域の画像情報から,個々の商品タグ領域を特定する。
【0132】
第1の方法を用いた場合には,正置化した商品タグ配置領域の画像情報のうち,画像情報の明度情報を横方向に積算したヒストグラムを生成し,ヒストグラムの立ち上がり,立ち下がり位置を特定する。そして,特定したヒストグラムの立ち上がりを商品タグの上辺位置A,ヒストグラムの立ち下がり位置を商品タグの下辺位置Bとして特定する。
【0133】
つぎに,正置化した商品タグ配置領域の画像情報のうち,上辺位置A,下辺位置Bの間を切り出し,正置化した商品タグ配置領域の画像情報の明度情報を縦方向に積算したヒストグラムを生成する。
【0134】
生成したヒストグラムにおいて立ち上がり位置U,立ち下がり位置Dを特定し,立ち上がり位置U(左辺位置)とその右の所定の距離範囲にある立ち下がり位置D(右辺位置)とをペアとして特定し,商品タグ領域として特定する。
【0135】
ペアを形成できなかった立ち上がり位置Uについてはその右側に,ペアを形成できなかった立ち下がり位置Dについてはその左側に,あらかじめ定めた距離内に商品タグ領域がなければ,商品タグ領域として特定をする。
【0136】
以上のような処理によって,それぞれの商品タグ領域を特定した状態が図16である。
【0137】
また第2の方法を用いる場合には,商品タグ特定処理部253は,あらかじめ登録しているテンプレートの商品タグの画像情報と,正置化した商品タグ配置領域の画像情報との画像マッチング処理を実行することで,商品タグ領域を特定する。
【0138】
さらに第3の方法を用いる場合には,深層学習(ディープラーニング)を用いて商品タグ領域を特定する。この場合,さまざまな商品タグ配置領域の画像情報に商品タグ領域を正解データとして与えた学習モデルを用いて,深層学習を実行する。たとえば,商品タグ特定処理部253は,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,商品タグ配置領域を正置化した画像情報を入力し,その出力値に基づいて,商品タグ領域を特定する。
【0139】
以上のようにして商品タグ特定処理部253が商品タグ領域を特定すると,商品タグ内情報特定処理部254が,商品タグ内における情報を特定する。
【0140】
商品タグ内情報特定処理部254における第1の方法は,特定した商品タグ領域について二値化処理することで,二値化した画像情報とする。そして,二値化した画像情報におけるラベリング処理により,ボックスを特定する。なお,あらかじめ定めた閾値となる高さ,幅を充足しない島はノイズとしてボックスを生成せず,そのまま処理対象から除去する。
【0141】
そして生成したボックスの高さ,幅,ベースラインを求め,ベースラインと高さが所定範囲内で一致し,高さおよび幅が一定の閾値の範囲内にある隣接するボックスを特定することで,特定したボックスを併合し,ブロックを構成する。そしてブロックのうち,高さがもっとも高いブロックを価格領域(税抜価格領域)と推定し,OCR認識を行う。OCR認識の結果,価格情報を得られなければ(数値の文字列を認識できなければ),高さが次に高いブロックを価格領域(税抜価格領域)と推定し,同様にOCR認識を行う。
【0142】
なお上述のOCR認識においては,価格に用いる「数字」,「コンマ」等の価格表示を構成する文字認識を制約条件として付加することで価格の読み取り精度を向上することができる。
【0143】
このように価格領域(税抜価格領域)と推定したブロックから価格情報をOCR認識により取得すると,価格領域(税抜価格領域)と推定して取得した価格情報以外のブロックを特定し,特定した各ブロックに対してOCR認識を行う。このOCR認識については,2種類のOCR認識処理を行うことが好ましい。すなわち,通常の標準的なOCR認識処理と,価格表示を構成する文字認識を制約条件として付加したOCR認識処理である。
【0144】
上述で特定したブロックには,価格領域(税込価格領域)のブロックと,メーカー名,商品名などの商品識別情報,定格などの情報の領域のブロックが含まれる。そして各ブロックについて2種類のOCR認識処理を実行する。メーカー名,商品名などの商品識別情報,定格などの情報の領域のブロックについては,標準的なOCR認識処理では文字列を認識し,制約条件を付したOCR認識処理では多くはエラーを含む文字列となる。この場合,2つの認識処理の認識結果が所定値以上相違するかを判定し,相違する場合には,標準的なOCR認識処理で実行した文字列を認識結果とし,価格領域(税込価格領域)のブロック以外のブロックであると判定する。一方,価格領域(税込価格領域)のブロックについては,標準的なOCR認識処理では価格情報の文字列を認識し,制約条件を付したOCR認識処理でも価格情報の文字列を認識する。この場合,2つの認識処理の認識結果が所定値以上相違するかを判定し,相違しない場合には,価格領域(税込価格領域)のブロックであると判定し,制約条件を付加した認識処理による文字列を認識結果の価格情報とする。
【0145】
以上のようにして商品タグ内情報特定処理部254は,商品タグに記載した情報を文字認識することができる。商品の陳列状況を判定するためには,商品の商品識別情報があれば足りるが,税抜価格,税込価格などほかの情報を認識することで,価格情報などについても,陳列状況に対応づけて管理することが可能となる。
【0146】
なお,商品タグ特定処理部253で第2の方法を用いた場合には,テンプレートとした商品タグには,あらかじめ税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格がそれぞれ表記される文字枠の位置,サイズが設定されている。そのため,商品タグ特定処理部253で特定した商品タグ領域から,該当箇所の画像情報を切り出し,OCR認識処理を実行すればよい。
【0147】
また,商品タグ特定処理部253で第3の方法を用いた場合には,さまざまな商品タグ領域の画像情報に,税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格などの情報を正解データとして与えて学習した学習モデルを用いて深層学習(ディープラーニング)による処理を実行する。商品タグ内情報特定処理部254は,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,商品タグ領域の画像情報を入力し,その出力値に基づいて,商品タグ領域に含まれる税抜価格,税込価格,メーカー名,商品名などの商品識別情報,定格などの情報を特定する。
【0148】
そして商品タグ内情報特定処理部254は,特定した商品名等との辞書照合処理を実行する。すなわち,読み取った文字列と,商品辞書における各商品名などの商品識別情報との編集距離を求め,最小の編集距離の商品名などの商品識別情報を特定し,それがあらかじめ定めた所定距離内であれば商品名などの商品識別情報として同定する。そして,読み取った文字列から最短の編集距離の商品名部分を取り除き,残りの部分文字列に対し,定格辞書における各定格との編集距離を求め,最小の編集距離が所定距離内であるかを判定して,所定距離内にあればその部分を定格の文字列として同定する。同様に,読み取った文字列から最小の編集距離の商品名部分と定格部分を取り除き,残りの部分文字列に対し,メーカー名辞書における各メーカー名との編集距離を求め,最小の編集距離が所定距離内であるかを判定して,所定距離内にあればその部分をメーカー名の文字列として同定する。なお,編集距離ではなく,ジャロ・ウィンクラー距離を用いる場合には,それに応じた処理を適宜実行すればよい。
【0149】
さらに,商品タグ内情報特定処理部254は,文字認識した文字列に対するロジカルチェックの処理を実行する。すなわち文字認識した文字列が論理的に矛盾しないか,などを判定する。
【0150】
ロジカルチェックの結果,矛盾がないようであれば,それぞれ認識した文字列について,税抜価格,税込価格,商品名などの商品識別情報,メーカー,定格を特定し,それらを,撮影日時,店舗識別情報,撮影画像情報の画像情報識別情報と対応づけて所定の記憶領域に記憶,出力をする。たとえば表形式で出力をする。
【0151】
以上のようにして,陳列商品認識処理部24が棚段に陳列している商品の商品識別情報を,商品タグ認識処理部25が商品タグの商品識別情報を認識した後,対応関係判定処理部28は,陳列商品認識処理部24が棚段に陳列している商品の商品種別と,商品タグとの対応関係を判定する(S140)。
【0152】
対応関係判定処理部28は,陳列棚に陳列されている商品の商品識別情報について,所定の方向に複数のプレイスに連続して同一の商品識別情報を有する商品が陳列されている場合には,それらのプレイスを一つの商品種別としてまとめる。
【0153】
そして,対応関係判定処理部28は,その処理が初回の処理の場合には,処理対象とする棚段領域において,商品種別の数と商品タグの数とを比較し,同数であれば,商品種別と商品タグとを左側から順に一対一で紐付けをする(図24)。また,商品種別の数が商品タグの数より多い場合には,商品種別の数と商品タグの数とが同数となるように,仮の商品タグを作成し,商品タグ配置領域に配置する(図25)。さらに,商品種別の数が商品タグの数より少ない場合には,商品種別の数と商品タグの数とが同数となるように,不要な商品タグを削除する(図26)。
【0154】
また,対応関係判定処理部28は,その処理が二回目以降の処理の場合には,棚段領域の左端から順に,商品種別と商品タグとの組み合わせが,今回の処理より前,たとえば前回の組み合わせと同一の範囲で,今回の処理より前の組み合わせと同一の紐付けを行う。そして,商品種別と商品タグの組み合わせが異なる位置に区切りを設定し,その区切り位置から上述の一回目と同様の処理を実行する(図27)。
【0155】
以上のような処理を実行することで,陳列棚に陳列されている商品と,商品タグとの対応関係を紐付けることができる。
【0156】
なお,対応関係判定処理部28における商品種別と商品タグとの対応づけは上記に限定されるものではない。
【0157】
以上のような処理を実行し,外装変化検出処理部29は,外装変化検出処理を実行する(S150)。外装変化検出処理を図28のフローチャートを用いて説明する。
【0158】
まず,外装変化検出処理部29は,今回(N回目)の処理における陳列棚に陳列されている商品と,前回(N-1回目)の処理における陳列棚に陳列されている商品との比較処理を,たとえば上述の第1乃至第4の方法あるいはそれ以外の任意の方法を用いて行う(S200)。
【0159】
そして今回(N回目)の処理における陳列棚に陳列されている商品と,前回(N-1回目)の処理における陳列棚に陳列されている商品とが同一であると判定した場合には(S210),当該処理対象とするプレイス領域の商品の画像情報について,今回(N回目)の当該プレイス領域の商品の画像情報と,前回(N-1回目)の当該プレイス領域の商品の画像情報とを,画像マッチング処理や深層学習などを用いて比較し,変化があるかを検出する(S220)。
【0160】
そして,外装変化検出処理部29は,今回の当該プレイス領域の商品の画像情報と,前回の当該プレイス領域の商品の画像情報とを比較して変化があることを検出した場合には(S230),所定のメッセージを管理者に通知するなどの所定の出力処理を行う(S240)。
【0161】
以上の処理を実行することで,商品は同一であるのに,商品の外装に変化がある場合を検出することができる。商品の外装に変化があることを検出すると,そのメッセージなどを確認した管理者が,新しい商品の外装に基づいて標本情報を作成し,標本情報記憶部26に記憶させたり,あるいは新しい商品の外装を含む画像情報を用いて,再度,機械学習させて,新しい学習モデルを作成するなどの対応を取ることができる。
【実施例0162】
さらに実施例1のプレイス特定処理部242における特定処理の変形例を説明する。本実施例では,実施例1のプレイスの特定処理を初回の処理として,二回目以降のプレイスの特定処理として,自動的にプレイスを特定する処理を行うようにしてもよい。この場合の処理を説明する。
【0163】
なお,初回とは一回目のほか,自動的に特定する際のずれを修正するため,任意のタイミングで実施例1の処理を行う場合も含まれる。二回目以降とは初回以外である。また,二回目以降には,同一の陳列棚を同一の機会に撮影した撮影画像情報,正置画像情報について,異なる角度で撮影した撮影画像情報,正置画像情報に対する処理を行う場合も含まれる。
【0164】
プレイス特定処理部242は,実施例1の処理と同様の処理を初回のプレイスの特定処理として実行する。そして,プレイス特定処理部242における二回目以降のプレイスの特定処理は,同一の陳列棚の同一の棚段について,前回(N-1回目)の正置画像情報で特定したプレイスの領域の座標を抽出し,その座標を今回(N回目)の正置画像情報で特定したプレイスの領域の座標とする。
【0165】
プレイスの領域の座標は,棚段の位置の座標と同様に,正置画像情報における,陳列棚内での所定箇所を基準とした相対座標である。
【実施例0166】
さらに実施例1の変形例として商品タグ特定処理部253における,陳列棚の各棚段に対応する商品タグ配置領域ごとに,そこに表示されている商品タグの商品識別情報を特定する処理として,実施例1の処理を初回の特定処理とし,二回目以降の特定処理として,以下のような処理を実行する。
【0167】
商品タグ特定処理部253は,N回目の正置化した商品タグ配置領域画像情報から,各商品タグ領域を特定する。そして商品タグ内情報特定処理部254は,特定した各商品タグ領域について,順に,N-1回目の正置化した商品タグ配置領域画像情報における,対応する商品タグ領域と比較をする。たとえば,N回目の正置化した商品タグ配置領域画像情報から特定した一番左端の商品タグ領域の画像情報と,N-1回目の正置化した商品タグ配置領域画像情報から特定した一番左端の商品タグ領域の画像情報とを比較し,類似性を判定する。なお,N回目の商品タグ領域の画像情報に対応するN-1回目の商品タグ領域の画像情報の特定は,たとえば商品タグ領域の所定位置からの順番や,N回目の商品タグ領域の画像情報の座標情報に近似する商品タグ領域の画像情報の座標情報など,各種の方法によって特定することができる。
【0168】
また,類似性の判定については,上述の各実施例の処理のほか,各商品タグ領域の画像情報のシグネチャ(画像特徴量と重みの集合)同士のEMDを求め,類似性の尺度とすることができる。シグネチャの画像特徴量としては,たとえば商品タグ領域の画像情報のHSV色空間内の頻度分布を求め,色相と彩度に関してグルーピングを行って,特徴の個数とHSV色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは,撮影条件に大きく左右されないように,明度への依存度を下げるためである。
【0169】
また,処理の高速化のため,シグネチャとEMDの代わりに,適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のL2距離等の類似性を用いることもできる。
【0170】
さらに,深層学習(ディープラーニング)を用いて,類似性を判定してもよい。すなわち,この場合,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して,N回目の商品タグ領域の画像情報と,対応するN-1回目の商品タグ領域の画像情報とを入力し,その出力値に基づいて,類似性を判定してもよい。学習モデルとしては,さまざまな2つの商品タグ領域の画像情報の類似度を正解データとして与えたものを用いることができる。
【0171】
N回目の商品タグ領域の画像情報の類似性が一定の閾値以上であれば,N-1回目の商品タグ領域における商品タグ内情報を認識情報記憶部27から抽出し,N回目の商品タグ領域における商品タグ内情報とする。これによって,処理対象となるN回目の正置化した商品タグ配置領域画像情報における商品タグ領域の商品タグ内情報を特定できる。もし類似性が一定の閾値未満であれば,初回の場合と同様に,商品タグ内情報特定処理部254の処理を実行すればよい。
【0172】
なお,N-1回目の正置化した商品タグ配置領域画像情報における商品タグ領域の画像情報との比較において,対応する商品タグ領域の画像情報との比較のみならず,所定範囲の商品タグ領域の画像情報を比較対象として含めてもよい。たとえばN回目の正置化した商品タグ配置領域画像情報におけるある商品タグ領域の画像情報と比較する場合,比較対象としては,N-1回目の正置化した商品タグ配置領域画像情報における,対応する商品タグ領域のほか,その領域から所定範囲にある商品タグ領域,たとえばその左右方向に一または複数離隔している位置にある商品タグ領域を含めてもよい。
【0173】
この場合,N回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の画像情報と,N-1回目の正置化した商品タグ配置領域画像情報における,比較対象となる範囲のそれぞれの商品タグ領域の画像情報とを比較し,もっとも類似性が高いN-1回目の正置化した商品タグ配置領域画像情報の商品タグ領域の商品タグ内情報を特定する。なお,類似性は一定の閾値以上であることを条件としてもよい。そして特定したN-1回目の正置化した商品タグ配置領域画像情報の商品タグ領域の商品タグ内情報を抽出し,N回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の商品タグ内情報とする。
【0174】
N-1回目の正置化した商品タグ配置領域画像情報の商品タグ領域の画像情報との比較の結果,類似性が閾値を充足しないなどによって商品タグ内情報の候補を特定できなかった場合には,N回目の正置化した商品タグ配置領域画像情報における処理対象とする商品タグ領域の画像情報について,初回と同様の処理を実行する。
【0175】
以上のようにして,特定した商品タグ領域の商品タグ内情報を,撮影日時情報,店舗情報,撮影画像情報の画像情報識別情報,正置画像情報の画像識別情報,商品タグ領域を識別するための識別情報に対応づけて認識情報記憶部27に記憶する。
【実施例0176】
実施例1乃至実施例3では,同一の陳列棚を同一の機会に異なる角度で撮影した画像情報のそれぞれにおいて,プレイスにおける商品識別情報を特定し,対応するプレイス同士を比較することで,当該プレイスにおける商品識別情報を確定した。そこで,異なる角度で撮影した画像情報のそれぞれについてプレイスにおける商品識別情報を特定するのではなく,異なる角度で撮影した画像情報を先に合成して光等の写り込み部分を消し込んだ上で得られた一枚の画像情報に対して,プレイスにおける商品識別情報の特定処理を実行するように構成してもよい。
【実施例0177】
上述の実施例1乃至実施例4の処理を,適宜,組み合わせることもできる。またその各処理については,本発明の明細書に記載した順序に限定するものではなく,その目的を達成する限度において適宜,変更することが可能である。また,陳列商品認識処理部24,商品タグ認識処理部25における各処理は,撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが,撮影画像情報に対して実行をしてもよい。その場合,正置画像情報を,撮影画像情報と読み替えればよい。
【0178】
さらに,上述の実施例1乃至実施例4の処理においては,撮影画像情報または正置画像情報から,陳列商品認識処理部24が商品の識別情報を特定し,また商品タグ認識処理部25が商品の識別情報を特定していた。商品タグ認識処理部25は,商品タグに記載されている文字情報を認識するほか,商品タグまたはその近傍に設けられている商品識別情報をコード化した情報を読み取ってもよいし,商品タグまたはその近傍に設けられているICタグなどから商品識別情報を読み取るように構成してもよい。すなわち,商品タグ認識処理部25は,画像情報から商品タグに記載されている文字認識をする処理に限定されるものではなく,商品タグまたは商品タグの近傍にあるICタグから商品識別情報を読み取る処理を実行してもよい。
【0179】
さらに,陳列商品認識処理部24は,撮影画像情報に基づいて陳列棚に陳列している商品を特定するほか,陳列している商品ICタグを付しておき,そのICタグに記憶された商品識別情報を読み取ることで,陳列棚に陳列している商品の商品識別情報を特定してもよい。すなわち,陳列商品認識処理部24は,画像情報から陳列している商品を認識する処理に限定されるものではなく,商品またはその近傍に付されたICタグから商品識別情報を読み取る処理を実行してもよい。
【0180】
陳列商品認識処理部24が,商品に付されたICタグから商品識別情報を読み取り,商品タグ認識処理部25が,商品タグまたはその近傍に設置されたICタグから商品識別情報を読み取る場合,それぞれがICタグから商品識別情報を読み取るので,ICタグには商品に付されたICタグの商品識別情報,商品タグに付されたICタグの商品識別情報であることが,フラグなどによって識別可能となっていることが好ましい。
【0181】
このように商品および/または商品タグのICタグから商品識別情報を読み取り,そこから陳列されている商品の同一性を判定する場合,陳列商品認識処理部24,商品タグ認識処理部25としては,撮影画像情報に基づいて商品識別情報を認識する処理を行わなくてもよい。各プレイスの領域の商品の画像情報を特定していればよい。そして外装変化検出処理部29は,上述のICタグから読み取った商品識別情報によって,今回の陳列されている商品と前回の陳列されている商品が同一であることを判定すると,処理対象とするプレイスの領域の画像情報について,今回と前回で変化があるかを検出する。
【実施例0182】
本発明の情報処理システム1では,外装変化検出処理部29において,今回の処理において陳列棚に陳列されている商品と,今回より前の処理において陳列棚に陳列されている商品との同一性を判定し,同一である場合には,処理対象とするプレイス領域について,今回の当該プレイス領域の商品の画像情報と,今回より前の当該プレイス領域の商品の画像情報とを比較して,商品の外装に変化があったかを検出できれば,それ以外の各処理,たとえば位置特定処理部23,陳列商品認識処理部24,商品タグ認識処理部25,対応関係判定処理部28については,必ずしも一部または全部の処理を行わず,あるいは処理部自体を設けなくてもよい。すなわち,外装変化検出処理部29における処理に適合するような処理機能を実現するだけでよい。
【実施例0183】
上述の実施例1乃至実施例6では,コンビニエンスストアやスーパーなどの陳列棚について例示して説明をしたが,それに限定するものではなく,陳列棚に陳列されている商品の同一性の判定と,商品が陳列された商品の画像情報の比較が行えれば,如何なるジャンルであっても適用することができる。たとえば調剤薬局の医薬品を陳列する陳列棚(医薬品棚)に陳列される医薬品(商品)とその陳列棚に陳列される医薬品の名称などを示すラベル(商品タグ)が写っている画像情報を用いる場合に適用できる。同様に,倉庫の陳列棚に陳列される商品とその陳列棚に陳列される商品の名称などを示す商品タグが写っている画像情報を用いる場合などに適用することもできる。
【産業上の利用可能性】
【0184】
本発明の情報処理システム1を用いることで,商品に変更はないが,商品の外装に変更があることを検出することが可能となる。
【符号の説明】
【0185】
1:情報処理システム
2:管理端末
3:画像情報入力端末
20:画像情報入力受付処理部
21:画像情報記憶部
22:画像情報正置化処理部
23:位置特定処理部
24:陳列商品認識処理部
25:商品タグ認識処理部
26:標本情報記憶部
27:認識情報記憶部
28:対応関係判定処理部
29:外装変化検出処理部
70:演算装置
71:記憶装置
72:表示装置
73:入力装置
74:通信装置
241:棚段領域処理部
242:プレイス特定処理部
243:商品識別情報特定処理部
244:棚段画像マッチング処理部
251:商品タグ配置領域処理部
252:商品タグ配置領域正置化処理部
253:商品タグ特定処理部
254:商品タグ内情報特定処理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
【手続補正書】
【提出日】2023-05-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
陳列棚に陳列される商品の外装の変化を検出する情報処理システムであって,
前記情報処理システムは,
前記陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と,
前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部と,を有しており,
前記外装変化検出処理部は,
前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,
前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,
ことを特徴とする情報処理システム。
【請求項2】
前記外装変化検出処理部は,
前記画像情報または前記陳列棚に陳列された商品若しくは商品タグに付されたICタグから同定された前記商品の商品識別情報について,今回と今回より前とを比較することで変化の有無を判定する,
ことを特徴とする請求項1に記載の情報処理システム。
【請求項3】
前記外装変化検出処理部は,
今回の処理において前記画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報と,今回より前の処理における画像情報のプレイス,フェイスまたは商品タグの領域から認識された商品識別情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項4】
前記外装変化検出処理部は,
今回の処理において前記画像情報の商品タグの画像情報と,今回より前の処理における画像情報の商品タグの画像情報とを比較することで,前記陳列棚に陳列された商品の変化の有無を判定する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項5】
前記外装変化検出処理部は,
今回の処理における陳列されている商品と商品タグとの対応付けと,今回より前の処理における陳列されている商品と商品タグとの対応付けとを比較することで,前記陳列棚に陳列された商品の変化の有無を検出する,
ことを特徴とする請求項2に記載の情報処理システム。
【請求項6】
前記外装変化検出処理部は,
処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを比較することで,商品の外装に変化があるかを判定する,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項7】
前記外装変化検出処理部は,
処理対象とするプレイス領域の商品の画像情報について,今回の前記プレイス領域の商品の画像情報と,今回より前の前記プレイス領域の商品の画像情報とを,中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して入力し,その出力値に基づいて,前記プレイス領域の商品の外装に変化があるかを判定し,
前記学習モデルは,
複数の商品の画像情報と,その商品の外装に変化があるか否かの結果の情報とを正解データとして与えて機械学習させた,
ことを特徴とする請求項1から請求項5のいずれかに記載の情報処理システム。
【請求項8】
コンピュータを,
陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部,
前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部,として機能させる情報処理プログラムであって,
前記外装変化検出処理部は,
前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,
前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,
ことを特徴とする情報処理プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】変更
【補正の内容】
【0020】
第1の発明は,本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち,コンピュータを,陳列棚を撮影した画像情報の入力を受け付ける画像情報入力受付処理部,前記画像情報に写っている商品の外装の変化を検出する外装変化検出処理部,として機能させる情報処理プログラムであって,前記外装変化検出処理部は,前記陳列棚に陳列されている商品が今回と今回より前とで変化があるかを判定し,前記陳列されている商品に変化がない場合に,前記画像情報に写っている商品の外装が今回と今回より前とで変化があるかを判定する,情報処理プログラムである。