特許 7644914 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-05

(45)【発行日】2025-03-13

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06V 10/75 20220101AFI20250306BHJP

   G06T 7/00 20170101ALI20250306BHJP

   G06V 10/764 20220101ALI20250306BHJP

【ＦＩ】

G06V10/75

G06T7/00 300F

G06V10/764

G06T7/00 350B

【請求項の数】 8

(21)【出願番号】P 2023132727

(22)【出願日】2023-08-16

(65)【公開番号】P2025027688

(43)【公開日】2025-02-28

【審査請求日】2023-08-16

(73)【特許権者】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特許第７１３８２６４（ＪＰ，Ｂ１）

【文献】特開２０２１－１４９３０９（ＪＰ，Ａ）

【文献】特開２０１９－２１１８６９（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１１９９２２３（ＣＮ，Ａ）

【文献】特開２０２３－０４０４３５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００９２１４３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０３８５３３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ １０／７５

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７６４

(57)【特許請求の範囲】

【請求項1】

画像情報に写っている物体を同定する情報処理システムであって、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部と、
画像情報に写っている物体の物体識別情報を同定する認識処理部と、
を有しており、
前記認識処理部は、
前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域して特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定した物体識別情報とし、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、
ことを特徴とする情報処理システム。

【請求項2】

前記第１の学習処理部は、
前記第１のアノテーションデータを用いて画像セグメンテーションによる機械学習をして前記第１の学習モデルを作成する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記認識処理部は、
前記特定した外形領域の画像情報と、標本情報記憶部に記憶する物体の標本情報とを画像マッチング処理することで、前記外形領域に写っている物体の物体識別情報を同定する、
ことを特徴とする請求項１または請求項２に記載の情報処理システム。

【請求項4】

画像情報に写っている物体を同定する情報処理システムであって、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部と、を有しており、
前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域として特定させ、前記特定させた外形領域の対応する属性に対する信頼度を出力させ、
前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定させ、前記同定した物体識別情報の信頼度を出力させ、
前記同定させた物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、
前記同定させた物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定させ、
前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定させた外形領域に写っている物体を未知の物体であると同定させる、
ことを特徴とする情報処理システム。

【請求項5】

画像情報に写っている物体を同定する情報処理システムであって、
物体を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と、
前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている物体の物体識別情報を同定する物体認識処理部と、
を有しており、
前記物体認識処理部は、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている物体の外形を外形領域として特定し、
前記特定した外形領域の対応する属性に対する信頼度を出力し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をすることによって作成された第２の学習モデルと、前記特定した外形領域の画像情報とを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、
前記同定した物体識別情報の信頼度を出力し、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、
ことを特徴とする情報処理システム。

【請求項6】

コンピュータを、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、
画像情報に写っている物体の物体識別情報を同定する認識処理部、
として機能させる情報処理プログラムであって、
前記認識処理部は、
前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域して特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定した物体識別情報とし、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、
ことを特徴とする情報処理プログラム。

【請求項7】

コンピュータを、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、
として機能させる情報処理プログラムであって、
画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域として特定させ、前記特定させた外形領域の対応する属性に対する信頼度を出力させ、
前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定させ、前記同定した物体識別情報の信頼度を出力させ、
前記同定させた物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、
前記同定させた物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定させ、
前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定させた外形領域に写っている物体を未知の物体であると同定させる、
ことを特徴とする情報処理プログラム。

【請求項8】

コンピュータを、
物体を撮影した画像情報の入力を受け付ける画像情報入力受付処理部、
前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている物体の物体識別情報を同定する物体認識処理部、
として機能させる情報処理プログラムであって、
前記物体認識処理部は、
物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている物体の外形を外形領域として特定し、
前記特定した外形領域の対応する属性に対する信頼度を出力し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、
物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をすることによって作成された第２の学習モデルと、前記特定した外形領域の画像情報とを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、
前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、
前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像情報から物体を同定する場合の認識精度を低下させない情報処理システムに関する。

【背景技術】

【0002】

コンビニエンスストア、スーパーなどの各種の店舗では、販売している商品などの物体を陳列棚に置いて販売をしていることが一般的である。この陳列方法としては、購買者に対して目につきやすくするために物体を横方向に複数陳列しておく、あるいは、物体の一つが購入されても、同一の物体をほかの人が購入できるように、物体を縦方向に陳列しておく場合がある。そして、物体が陳列棚のどこにいくつ陳列されているかを管理することは、物体の販売戦略上、重要である。

【0003】

そのため、店舗における物体の実際の陳列状況を把握するため、陳列棚を撮影装置で撮影し、その撮影した画像情報から陳列されている物体を自動的に特定する方法がある。たとえば物体ごとの標本画像をもとに、店舗の陳列棚を撮影した画像に対して画像認識技術を用いる方法がある。これらの従来技術として、たとえば、下記特許文献１、特許文献２がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平５－３４２２３０号公報

【文献】特開平５－３３４４０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の発明は、物体をどの陳列棚に陳列すべきかが知識のない者にもできるように支援するシステムである。そのため、物体をどこに陳列するかを把握することはできるが、陳列されている物体を特定するものではない。また特許文献２は、物体の陳列を支援する棚割支援システムにおいて、物体画像の入力を支援するシステムである。しかし特許文献２のシステムでは、棚割支援システムを利用する際の物体画像の入力を支援するのみであって、このシステムを用いたとしても、具体的な物体の陳列状況を把握することはできない。

【0006】

さらに、特許文献１、特許文献２以外にも、陳列棚を撮影した画像情報から陳列されている物体を画像認識処理技術を用いて同定する技術もある。これによって、店舗における実際の陳列状況を把握することはできる点で有益である。

【0007】

従来技術において画像認識処理技術を用いて物体を同定する場合、陳列棚を撮影した画像情報から、物体があると思われる矩形領域を検出し、その矩形領域について物体の標本画像とマッチング処理を実行する、あるいは矩形領域を入力値として深層学習（ディープラーニング）の処理を実行することで、物体を同定する。

【0008】

しかし、物体の形状（輪郭）は矩形とは限らない。物体があると思われる領域を矩形で検出すると、当該矩形領域にほかの物体の一部が写り込む場合がある。また、当該矩形領域に背景が写り込む場合もある。そのため、このような矩形領域を、深層学習（ディープラーニング）の教師データや処理対象の画像、あるいは画像マッチング処理とすると、物体を同定する精度を低下させる原因となる課題がある。

【0009】

さらに、物体が未学習などによって未知の場合、その後の物体の同定処理を行っても誤認識となるが、そのような誤認識を行う物体の同定処理を行うことは処理の無駄であって、可能な限りに早期に除外することが好ましい。しかし、従来はそのようなことが行えない。また、未学習の物体であること自体を検出することも難しい。

【課題を解決するための手段】

【0010】

本発明者は上記課題に鑑み、画像情報に写っている物体を同定する際に、物体を同定する精度を向上させる情報処理システムを発明した。

【0011】

第１の発明は、画像情報に写っている物体を同定する情報処理システムであって、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部と、画像情報に写っている物体の物体識別情報を同定する認識処理部と、を有しており、前記認識処理部は、前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域して特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定した物体識別情報とし、前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、情報処理システムである。

【0012】

本発明のように、物体の外形の閉領域の内側をマスク処理したデータによる第１のアノテーションデータを用いて機械学習した学習モデルを利用して物体識別情報を同定することで、画像情報から切り出す外形領域を従来のような矩形領域から、物体の外形に沿った領域にできる。これによって、ほかの物体や背景の写り込みを減らすことができ、物体を同定する際の精度を向上させることができる。

【0013】

また、特定した物体の外形領域の対応する属性が所定の条件を充足しない場合、たとえばその信頼度が所定の閾値よりも低いなど、所定の条件を充足する場合には、当該外形領域の物体識別情報の同定処理を行わずに、その外形領域について所定の物体、たとえば未知の物体（たとえば学習していない物体）であるなどと同定することができる。これによって、未知の物体の検出などを行うことができ、また処理負荷の軽減を図ることができる。
外形領域が物体の外形とした領域で構成されているため、これらの発明のような処理を行うことで物体識別情報を同定することが好ましい。また、同定した物体の物体識別情報について所定の条件を充足する場合、たとえばその信頼度が所定の閾値よりも低いなど、所定の条件を充足する場合には、同定した物体識別情報にかかわらずに、その外形領域について所定の物体、たとえば未知の物体であるなどと同定する。これによって、信頼度の低い物体識別情報の同定を回避することができる。

【0014】

上述の発明において、前記第１の学習処理部は、前記第１のアノテーションデータを用いて画像セグメンテーションによる機械学習をして前記第１の学習モデルを作成する、情報処理システムのように構成することができる。

【0015】

機械学習をする際には、画像セグメンテーションの方法による機械学習が好ましい。

【0019】

上述の発明において、前記認識処理部は、前記特定した外形領域の画像情報と、標本情報記憶部に記憶する物体の標本情報とを画像マッチング処理することで、前記外形領域に写っている物体の物体識別情報を同定する、情報処理システムのように構成することができる。

【0020】

外形領域に写っている物体の物体識別情報の同定処理としては、本発明のように画像マッチング処理を用いてもよい。

【0021】

第４の発明は、画像情報に写っている物体を同定する情報処理システムであって、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部と、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部と、を有しており、前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域として特定させ、前記特定させた外形領域の対応する属性に対する信頼度を出力させ、前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定させ、前記同定した物体識別情報の信頼度を出力させ、前記同定させた物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、前記同定させた物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定させ、前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定させた外形領域に写っている物体を未知の物体であると同定させる、情報処理システムである。

【0022】

第５の発明は、画像情報に写っている物体を同定する情報処理システムであって、物体を撮影した画像情報の入力を受け付ける画像情報入力受付処理部と、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている物体の物体識別情報を同定する物体認識処理部と、を有しており、前記物体認識処理部は、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている物体の外形を外形領域として特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をすることによって作成された第２の学習モデルと、前記特定した外形領域の画像情報とを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、情報処理システムである。

【0023】

これらの発明のように構成しても、第１の発明と同様の技術的効果を得ることができる。

【0024】

第１の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、画像情報に写っている物体の物体識別情報を同定する認識処理部、として機能させる情報処理プログラムであって、前記認識処理部は、前記画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域して特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定した物体識別情報とし、前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、情報処理プログラムである。

【0025】

第４の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をして第１の学習モデルを作成する第１の学習処理部、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をして第２の学習モデルを作成する第２の学習処理部、として機能させる情報処理プログラムであって、画像情報と前記第１の学習モデルとを用いて、前記画像情報に写っている物体の外形を外形領域として特定させ、前記特定させた外形領域の対応する属性に対する信頼度を出力させ、前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、前記特定した外形領域の画像情報と前記第２の学習モデルとを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定させ、前記同定した物体識別情報の信頼度を出力させ、前記同定させた物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、前記同定させた物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定させ、前記特定させた外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定させた外形領域に写っている物体を未知の物体であると同定させる、情報処理プログラムである。

【0026】

第５の発明は、本発明のプログラムをコンピュータに読み込ませて実行することで、実現することができる。すなわち、コンピュータを、物体を撮影した画像情報の入力を受け付ける画像情報入力受付処理部、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報から、写っている物体の物体識別情報を同定する物体認識処理部、として機能させる情報処理プログラムであって、前記物体認識処理部は、物体の外形の閉領域の内側をマスク処理したデータと属性とを対応づけた第１のアノテーションデータを用いて機械学習をすることによって作成された第１の学習モデルと、前記入力を受け付けた画像情報若しくは前記画像情報を正置化した画像情報とを用いて、前記写っている物体の外形を外形領域として特定し、前記特定した外形領域の対応する属性に対する信頼度を出力し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下ではない場合には、物体の画像情報と物体識別情報とを対応づけた第２のアノテーションデータを用いて機械学習をすることによって作成された第２の学習モデルと、前記特定した外形領域の画像情報とを用いて、前記特定した外形領域に写っている物体の一または複数の物体識別情報を同定し、前記同定した物体識別情報の信頼度を出力し、前記同定した物体の物体識別情報の信頼度が所定の閾値以下ではない場合には、前記外形領域に写っている物体の一または複数の物体識別情報を前記同定させた物体識別情報とし、前記同定した物体の物体識別情報の信頼度が所定の閾値以下の場合には、前記外形領域に写っている物体の物体識別情報を未知の物体であると同定し、前記特定した外形領域の対応する属性の信頼度が所定の閾値以下の場合には、前記特定した外形領域に写っている物体を未知の物体であると同定する、情報処理プログラムである。

【発明の効果】

【0027】

本発明の情報処理システムを用いることで、画像情報に写っている物体を同定する際の同定の精度を向上させることが可能となる。

【図面の簡単な説明】

【0028】

【図1】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムにおける物体認識処理部の構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図4】本発明の情報処理システムにおける学習処理の処理プロセスの一例を示すフローチャートである。

【図5】本発明の情報処理システムにおける認識処理の処理プロセスの一例を示すフローチャートである。

【図6】第１のアノテーションデータの一例を模式的に示す図である。

【図7】第１のアノテーションデータの他の一例を模式的に示す図である。

【図8】第２のアノテーションデータの一例を模式的に示す図である。

【図9】第２のアノテーションデータの他の一例を模式的に示す図である。

【図10】撮影画像情報の一例を示す図である。

【図11】撮影画像情報の他の一例を示す図である。

【図12】図１０の撮影画像情報を正置化した画像情報の一例を示す図である。

【図13】図１１の撮影画像情報を正置化した画像情報の一例を示す図である。

【図14】実施例２における情報処理システムの構成の一例を模式的に示すブロック図である。

【図15】物体が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域の指定の入力を受け付けた状態を模式的に示す図である。

【図16】物体が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して，棚段領域の指定の入力を受け付けた状態を模式的に示す図である。

【図17】棚段領域の画像情報から外形領域を特定した場合の一例を示す図である。

【図18】実施例２の情報処理システムにおける認識処理の処理プロセスの一例を示すフローチャートである。

【図19】撮影画像情報の一例を示す図である。

【図20】図１９の撮影画像情報に対して正置化処理を実行した正置画像情報の一例を示す図である。

【図21】実施例３における情報処理システムの構成の一例を模式的に示すブロック図である。

【図22】標本情報記憶部に記憶される標本情報の一例を示す図である。

【図23】実施例４における物体認識処理部の一例を模式的に示すブロック図である。

【発明を実施するための形態】

【0029】

本発明の情報処理システム１の処理機能の一例をブロック図で図１および図２に示す。情報処理システム１は、管理端末２と画像情報入力端末３とを用いる。図１は情報処理システム１の全体の機能を示すブロック図であり、図２は後述する物体認識処理部２１３の機能を示すブロック図である。

【0030】

管理端末２は、情報処理システム１を運営する企業等の組織が利用するコンピュータである。また、画像情報入力端末３は、同定の対象となる物体を含む画像情報、たとえば同定の対象となる商品を陳列している店舗の陳列棚を撮影した画像情報の入力を行う端末である。

【0031】

情報処理システム１における管理端末２、画像情報入力端末３は、コンピュータを用いて実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0032】

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

【0033】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0034】

画像情報入力端末３は、上記の各装置のほか、カメラなどの撮影装置を備えていてもよい。画像情報入力端末３として、携帯電話、スマートフォン、タブレット型コンピュータなどの可搬型通信端末を用いることもできる。

【0035】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合、正置化処理をしていない画像情報に対する処理を実行することができる。

【0036】

情報処理システム１は、学習処理部２０と認識処理部２１と物体情報記憶部２２とを有する。学習処理部２０は、第１の学習処理部２０１と第２の学習処理部２０２とを有する。

【0037】

第１の学習処理部２０１は、第１のアノテーションデータを用いて、同定の対象となる物体を含む画像情報、たとえば同定の対象となる商品を陳列している陳列棚を撮影した画像情報に対する機械学習による学習処理、好ましくは、画像セグメンテーションの方法による学習処理を行う。この学習処理とは、機械学習における学習処理であって、たとえば深層学習（ディープラーニング）を用いた学習モデルを作成するため、画像セグメンテーションによる学習処理を実行する。

【0038】

第１のアノテーションデータとは、同定の対象となる可能性のある物体の輪郭を外形とし、その輪郭による閉領域の内側をマスク処理したデータと、その物体の輪郭の属性を分類したタグ（ラベル）とを対応づけたデータである。なお、外形とは、物体の輪郭そのものであってもよいし、物体の輪郭を含み、物体の輪郭に沿った形状、あるいは物体の輪郭を示す形状など、物体の輪郭から幅を持たせた形状を外形としてもよい。すなわち、物体の輪郭の外形としては、矩形領域に限定するものではなく、その物体の輪郭を反映するような非矩形領域となる場合もある。

【0039】

たとえば物体が陳列棚に陳列されている商品の場合、第１のアノテーションデータとしては、陳列棚に陳列される可能性のある物体の輪郭を外形とし、その輪郭による閉領域の内側をマスク処理したデータと、その物体の輪郭の属性を分類したタグ（ラベル）とを対応づけたデータである。

【0040】

第１のアノテーションデータは、一つの物体に一つでなくてもよく、一つの物体に複数あってもよい。すなわち、複数の方向から物体の輪郭を外形としてその内側をマスク処理したデータと属性とを対応づけて、それぞれを当該物体の第１のアノテーションデータとしてもよい。属性とは物体の種別である。物体の種別としては、動物の種別（象、虎、ライオンなど）、鳥類の種別（ニワトリ、インコ、クジャクなど）、昆虫の種別（カブトムシ、クワガタ、蝶など）、魚類の種別（マグロ、サバ、イワシなど）、植物（樹木、花卉など）の種別（桜、梅、百合、薔薇、菊、チューリップなど）、移動体（乗り物、飛行体など）の種別（自動車、自転車、自動二輪車、飛行機、ヘリコプター、ドローン、ＵＡＶ（Unmanned Aircraft Vehicle）、船舶、ボートなど）のほか、物体の容器の分類や物体の物体識別情報（ＪＡＮコードなど）など、各種の種別が含まれる。容器の分類としては、缶、ビン、箱、パウチ容器など容器の種類であってもよいし、洗剤容器のように用途に応じたさらに細分化されたものであってもよい。すなわち、属性とは、当該物体の輪郭による閉領域がどのように分類されるかを示すものであればよい。第１のアノテーションデータの一例を図６および図７に示す。図６および図７では、物体として陳列商品の場合を示しているが、それに限定されないことは上述のとおりである。物体識別情報としては、ＪＡＮコードに限られるものではなく、物体を一意に識別できる情報であれば如何なる情報であってもよい。

【0041】

図６は、缶の輪郭とその輪郭による閉領域の内側をマスク処理したデータと、属性として「缶」を対応づけて第１のアノテーションデータとした場合を示しており、図７は、詰め替え用シャンプーの輪郭とその輪郭による閉領域の内側をマスク処理したデータと、属性として「パウチ容器」を対応づけて第１のアノテーションデータとした場合を示している。第１のアノテーションデータにおける属性としては、物体の輪郭自体から物体を同定できるような場合には、容器の分類ではなく、ＪＡＮコードなどの物体の識別情報を用いてもよい。

【0042】

第１の学習処理部２０１での第１のアノテーションデータを用いて機械学習用の学習処理を実行することで、同定の対象となる可能性のある物体を撮影した画像情報から、物体の輪郭の領域を特定するための学習モデル（第１の学習モデル）を作成する。たとえば、陳列棚を撮影した画像情報から、物体の輪郭の領域を特定するための学習モデル（第１の学習モデル）を作成する。なお、第１の学習モデルは、物体の輪郭の領域のほか、物体の属性を特定可能な学習モデルであってもよい。

【0043】

第２の学習処理部２０２は、第２のアノテーションデータを用いて、機械学習の学習処理を実行することで、所定の画像情報、好ましくは後述する外形領域の画像情報から、その領域にある物体の物体識別情報を同定するための学習モデル（第２の学習モデル）を作成する。この際の学習処理としては、好ましくは画像分類（Image Classification）の方法による学習処理を実行するとよいが、物体検出（Object Detection）、画像分類・物体位置特定（Image Classification・Localization）などの方法であってもよい。なお、第２の学習モデルは、外形領域の画像情報ほか、その外形領域に対応する属性を第２の学習モデルの入力値として入力可能な学習モデルであってもよい。

【0044】

第２のアノテーションデータとは、同定の対象となる可能性のある物体を撮影した画像情報と、その物体の物体識別情報をタグ（ラベル）として対応づけたデータである。たとえば物体が陳列商品の場合、陳列棚に陳列される可能性のある商品の画像情報と、その物体の物体識別情報をタグ（ラベル）として対応づけたデータである。また物体が動物の場合には、同定の対象となる可能性のある動物の画像情報と、動物の名称などの識別情報（学名、通称名など）を物体識別情報のタグ（ラベル）として対応づけたデータである。第２のアノテーションデータの一例を図８および図９に示す。図８および図９では、物体として陳列商品の場合を示しているが、それに限定されないことは上述のとおりである。第２のアノテーションデータも第１のアノテーションデータと同様に、一物体に一つでなくてもよく、複数あってもよい。すなわち、複数の方向から物体を撮影し、各方向からの物体の画像情報と物体識別情報を対応づけて第２のアノテーションデータとしてもよい。また、第２の学習モデルで入力値として外形領域に対応する属性も入力可能とする場合には、第２のアノテーションデータとして、同定の対象となる可能性のある物体を撮影した画像情報とその物体の属性と、その物体の物体識別情報をタグ（ラベル）として対応づけたデータとしてもよい。

【0045】

図８は、缶の画像情報と、物体識別情報とを対応づけて第２のアノテーションデータとした場合を示しており、図９は、詰め替え用シャンプーの画像情報と、物体識別情報とを対応づけて第２のアノテーションデータとした場合を示している。図８の第２のアノテーションデータは、図６の第１のアノテーションデータに対応し、図８の第２のアノテーションデータは、図７の第２のアノテーションデータに対応する。

【0046】

認識処理部２１は、画像情報入力受付処理部２１０と画像情報記憶部２１１と画像情報正置化処理部２１２と物体認識処理部２１３とを有する。

【0047】

画像情報入力受付処理部２１０は、画像情報入力端末３で撮影した、同定対象となる物体を含む画像情報（撮影画像情報）の入力を受け付け、後述する画像情報記憶部２１１に記憶させる。画像情報入力端末３からは、撮影画像情報のほか、撮影日時、画像情報を識別する画像情報識別情報などをあわせて入力を受け付けるとよい。物体が陳列棚に陳列される陳列商品の場合の撮影画像情報の一例を図１０、図１１に示す。図１０、図１１では、陳列棚に３段の棚段があり、そこに物体が陳列されている撮影画像情報である。なお、本発明においては特にその処理を明記はしないが、陳列棚や棚段は横方向に長いことが多い。そのため、その処理においては、一定の幅で区切り、各処理の処理対象としてもよい。

【0048】

画像情報記憶部２１１は、画像情報入力端末３から受け付けた撮影画像情報、撮影日時、画像情報識別情報などを対応づけて記憶する。撮影画像情報とは、本発明の処理対象となる画像情報であればよい。一般的には、単に撮影した場合、撮影対象物を正対した状態で撮影することが困難であることから、それを正対した状態に補正する補正処理、たとえば台形補正処理などを実行することがよい。一つの撮影の対象を複数枚で撮影した場合に、それが一つの画像情報として合成された画像情報も含まれる。また、歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

【0049】

画像情報正置化処理部２１２は、画像情報記憶部２１１に記憶した撮影画像情報に対して、撮影対象物が正対した状態になるように補正する処理（正置化処理）、たとえば台形補正処理を実行した正置画像情報を生成する。台形補正処理は、撮影画像情報に写っている物体を正対した状態となるように行う補正処理である。たとえば、物体が陳列商品の場合、陳列商品を陳列する棚段が水平になるように行う補正処理である。正置化とは、撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って、十分に遠方から撮影した場合と同じになるように画像情報を変形させることであり、たとえば台形補正処理があるが、それに限定するものではない。

【0050】

画像情報正置化処理部２１２が実行する台形補正処理は、撮影画像情報において４頂点の指定の入力を受け付け、その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点としては、物体が陳列棚に陳列する商品の場合、陳列棚の棚段の４頂点であってもよいし、陳列棚の棚位置の４頂点であってもよい。また、２段、３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。図１２に図１０の撮影画像情報を、図１３に図１１の撮影画像情報をそれぞれ正置化した撮影画像情報（正置画像情報）の一例を示す。

【0051】

物体認識処理部２１３は、画像情報、好ましくは撮影画像情報若しくは正置画像情報に写っている画像情報からそこに写っている物体を認識する処理を実行する。

【0052】

物体認識処理部２１３は、外形特定処理部２１３１と物体同定処理部２１３２とを有する。

【0053】

外形特定処理部２１３１は、正置画像情報に写っている物体の外形の領域（外形領域）を特定する。

【0054】

外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、撮影画像情報、正置画像情報を入力値として入力し、入力した画像情報から外形領域を特定する。すなわち、外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とする領域、たとえば正置画像情報を入力し、その出力値に基づいて、外形の領域を特定する。特定した外形の領域については、外形領域を識別する外形識別情報を割り当てて、撮影画像情報、正置画像情報における位置情報（たとえば画像情報における座標）とともに物体識別情報記憶部２２に記憶させる。

【0055】

外形特定処理部２１３１で出力する出力値としては、その外形領域が対応する属性のタグとそれに対する信頼度（確率）も合わせて出力するとよい。この際に、もっとも高い信頼度の属性のタグを当該外形領域のタグとして特定するが、その信頼度が一定の閾値以下であれば、特定した外形領域について、未知の物体（学習していないなどの理由によって同定できない物体）などの所定の物体であると同定をする。

【0056】

物体同定処理部２１３２は、外形領域に表示されている物体の物体識別情報を、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、外形領域の画像情報を入力値として入力し、入力された画像情報からその領域にある物体の識別情報を同定する。すなわち、物体同定処理部２１３２は、第２の学習処理部２０２において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とする外形領域の画像情報を入力し、その出力値に基づいて、外形領域にある物体の物体識別情報を同定する。この際に、入力値として外形領域の画像情報のほか、外形特定処理部２１３１で特定したその外形領域が対応する属性のタグの情報を入力値として入力してもよい。なお、この際には、外形領域について一つの物体識別情報を同定してもよいし、複数の物体識別情報を同定してもよい。複数の物体識別情報を同定する場合には、同定する物体識別情報の候補を出力することとなる。

【0057】

物体同定処理部２１３２で出力する出力値としては、その外形領域が同定した物体識別情報の信頼度（確率）も合わせて出力する。この際に、もっとも高い信頼度の物体識別情報を当該外形領域の物体識別情報として同定するが、もっとも高い信頼度が一定の閾値以下であれば、入力した外形領域について、未知の物体と同定をする。

【0058】

物体認識処理部２１３は、外形特定処理部２１３１、物体同定処理部２１３２の処理をまとめて深層学習などによって実行してもよい。

【0059】

物体識別情報記憶部２２は、撮影画像情報、正置画像情報に写っている物体の物体識別情報を示す情報を記憶する。たとえば、物体識別情報に対応付けて、撮影日時情報、撮影画像情報の画像情報識別情報、正置画像情報の画像識別情報、外形を識別するための外形識別情報に対応づけて物体識別情報記憶部２２に記憶する。

【実施例1】

【0060】

つぎに本発明の情報処理システム１の処理プロセスの一例を図４および図５のフローチャートを用いて説明する。

【0061】

まず、本発明の情報処理システム１の認識処理部２１で用いる学習モデルを学習するための、学習処理を、図４のフローチャートを用いて説明する。

【0062】

第１の学習処理部２０１における学習モデルの教師データとして、第１のアノテーションデータを作成する（Ｓ１００）。第１のアノテーションデータは、同定対象となる可能性のある物体の輪郭により外形を形成し、その外形の内側の閉領域をマスク処理した画像データとする。この画像データに、属性をタグとして対応づけて作成する。

【0063】

同様に、第２の学習処理部２０２における学習モデルの教師データとして、第２のアノテーションデータを作成する（Ｓ１１０）。第２のアノテーションデータは、同定対象となる可能性のある物体の画像に、その物体の物体識別情報をタグとして対応づけて作成する。この際の物体の画像情報は、第１のアノテーションデータに対応しているとよく、物体の輪郭を外形とした画像情報であるとよい。

【0064】

そして、作成した第１のアノテーションデータを教師データとして入力し、第１の学習処理部２０１において機械学習用の学習処理を実行し、物体の輪郭の領域を特定するための学習モデル（第１の学習モデル）を作成する（Ｓ１２０）。

【0065】

また、作成した第２のアノテーションデータを教師データとして入力し、第２の学習処理部２０２において機械学習用の学習処理を実行し、画像情報、好ましくは外形領域からその領域にある物体の物体識別情報を同定するための学習モデル（第２の学習モデル）を作成する（Ｓ１３０）。

【0066】

以上のような処理を実行することで、各学習モデルを作成することができる。

【0067】

つぎに、同定対象となる物体を撮影した画像情報から、その画像情報に写っている物体の物体識別情報を同定するための認識処理を、図５のフローチャートを用いて説明する。

【0068】

同定対象となる物体を撮影した撮影画像情報は、画像情報入力端末３から入力され、管理端末２の画像情報入力受付処理部２１０でその入力を受け付ける（Ｓ２００）。また、撮影日時、撮影画像情報の画像情報識別情報の入力を受け付ける。そして、画像情報入力受付処理部２１０は、入力を受け付けた撮影画像情報、撮影日時、撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２１１に記憶させる。

【0069】

管理端末２において所定の操作入力を受け付けると、画像情報正置化処理部２１２は、画像情報記憶部２１１に記憶する撮影画像情報を抽出し、台形補正処理などの正置化処理を行うための４点の入力を受け付け、正置化処理を実行する（Ｓ２１０）。

【0070】

そして、正置画像情報に対して、管理端末２において所定の操作入力を受け付けることで、外形を特定する処理を実行する（Ｓ２２０）。すなわち、外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、撮影画像情報または正置画像情報における一部または全部の領域を入力値として入力し、入力した画像情報から外形領域を特定する。

【0071】

以上のように正置画像情報に写っている各物体の各外形領域を特定し、それぞれの属性（タグ）を同定する。そして、同定したタグの信頼度が一定の閾値以下の場合には（Ｓ２３０）、その外形領域にある物体は未知の物体であると同定をする（Ｓ２４０）。

【0072】

一方、同定したタグの信頼度が一定の閾値より大きい場合には（Ｓ２３０）、物体同定処理部２１３２は、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、外形領域の画像情報を入力値として入力し、外形領域に写っている物体の物体識別情報を同定する（Ｓ２５０）。そして同定した物体識別情報の信頼度が一定の閾値以下の場合には（Ｓ２６０）、その外形領域にある物体は未知の物体であると同定をする（Ｓ２４０）。

【0073】

一方、同定した物体識別情報の信頼度が一定の閾値より大きい場合には（Ｓ２６０）、同定した物体識別情報は、撮影日時、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、外形識別情報に対応づけて物体識別情報記憶部２２に記憶させる。

【0074】

なお、同定した物体識別情報の修正処理についての入力を受け付けてもよい。

【0075】

以上のような処理を行うことで、撮影画像情報に写っている物体の物体識別情報を同定することができる。また従来のシステムのように、外形領域を矩形領域とせず、物体の輪郭の外形に沿って物体の同定を行うので、外形領域に含まれる不要な情報、たとえば他の物体などのノイズが除外されるので、認識精度が向上することとなる。

【0076】

なお、第１のアノテーションデータにおける属性として物体識別情報を用いている場合（物体の外形から物体が同定できる場合）には、画像情報を第１の学習モデルに入力して外形領域を特定することで、当該物体の物体識別情報を同定できる。その場合には、第２の学習処理部２０２、物体同定処理部２１３２による処理を実行せずともよく、外形特定処理部２１３１で外形領域を特定すると、その外形領域に写っている物体の物体識別情報を、第１の学習モデルによる出力結果としての属性の物体識別情報で同定してもよい。

【実施例2】

【0077】

上述の実施例１の情報処理システム１において、物体として陳列棚に陳列している陳列商品の場合、さらに、棚段の領域（棚段領域）ごとにその処理を実行してもよい。この場合の情報処理システム１の処理機能の一例をブロック図で図１４に示す。

【0078】

本実施例２の情報処理システム１では、認識処理部２１にさらに棚段特定処理部２１４を有している。

【0079】

棚段特定処理部２１４は、画像情報正置化処理部２１２において撮影画像情報に対して台形補正処理を実行した正置画像情報のうち、物体が配置される可能性のある、陳列棚における棚段の領域（棚段領域）を特定する。撮影画像情報および正置画像情報には陳列棚が写っているが、陳列棚には、物体が陳列される棚段領域がある。そのため、正置画像情報から棚段領域を特定する。棚段領域の特定としては、管理端末２の操作者が手動で棚段領域を指定し、それを棚段特定処理部２１４が受け付けてもよいし、初回に手動で入力を受け付けた棚段領域の情報に基づいて、二回目以降は自動で棚段領域を特定してもよい。

【0080】

図１５に、飲料缶などの物体が陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して、棚段領域の指定の入力を受け付けた状態を模式的に示す。また、図１６に、歯ブラシなどの物体が吊り下げられて陳列されている陳列棚を撮影した画像情報を正置化した正置画像情報に対して、棚段領域の指定の入力を受け付けた状態を模式的に示す。

【0081】

なお、棚段特定処理部２１４は、棚段領域を特定する際に、深層学習（ディープラーニング）を用いて棚段領域を特定してもよい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記正置画像情報を入力し、その出力値に基づいて、棚段領域を特定してもよい。また学習モデルとしては、さまざまな正置画像情報に棚段領域を正解データとして与えたものを用いることができる。

【0082】

棚段特定処理部２１４で特定した棚段領域は、その画像情報を棚段領域画像情報として特定する。棚段特定処理部２１４は、実際に、画像情報として切り出してもよいし、実際には画像情報としては切り出さずに、領域の画像情報を座標などで特定するなどによって、仮想的に切り出すのでもよい。なお、陳列棚に棚段が複数ある場合には、それぞれが棚段領域画像情報として切り出される。また棚段の領域を示す座標としては、その領域を特定するための頂点の座標であり、正置画像情報におけるたとえば４点、右上と左下、左上と右下の２点の座標などでよい。また、正置画像情報における陳列棚など、画像情報における所定箇所（たとえば陳列棚の左上の頂点）を基準とした相対座標である。なお、本明細書において画像情報を切り出すとは、棚段特定処理部２１４における切り出しと同様に、実際に、画像情報として切り出してもよいし、実際には画像情報としては切り出さずに、領域の画像情報を座標などで特定するなどによって、仮想的に切り出すのでもよい。

【0083】

本実施例の情報処理システム１における物体認識処理部２１３における外形特定処理部２１３１、物体同定処理部２１３２は、実施例１の処理のほか、以下のような処理を実行してもよい。

【0084】

外形特定処理部２１３１は、正置画像情報における棚段領域における棚段ごとに、外形の領域（外形領域）を特定する。外形とは物体が置かれる領域であって、その物体が置かれているか否かは問わない。外形領域の大きさは、そこに置かれるべき物体と同一または略同一の大きさである。

【0085】

外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、撮影画像情報、正置画像情報若しくは棚段領域の画像情報を入力値として入力し、入力した画像情報から外形領域を特定する。すなわち、外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とする領域、たとえば棚段領域の画像情報を入力し、その出力値に基づいて、外形の領域を特定する。特定した外形の領域については、外形領域を識別する外形識別情報を割り当てて、撮影画像情報、正置画像情報若しくは棚段領域の画像情報における位置情報（たとえば画像情報における座標）とともに物体識別情報記憶部２２に記憶させる。

【0086】

外形特定処理部２１３１で出力する出力値としては、その外形領域が対応する属性のタグ、たとえば、缶、ビン、パウチ容器などとそれに対する信頼度（確率）も合わせて出力する。この際に、もっとも高い信頼度の属性のタグを当該外形領域のタグとして特定するが、その信頼度が一定の閾値以下であれば、特定した外形領域について、未知の物体と同定をする。

【0087】

図１７に、棚段領域の画像情報から外形領域を特定した場合の一例を示す。図１７（ａ）は第１の学習処理部２０１により学習させた学習モデルに対して入力する棚段領域の画像情報の一例であり、図１７（ｂ）は図１７（ａ）で入力値とした棚段領域の画像情報において、上記学習モデルを用いて外形領域を特定した状態の一例を示す図である。図１７（ｂ）では棚段領域において外形領域を特定した状態を重畳して示しているが、特定した外形領域の画像情報をそのまま切り出して出力をしてもよい。

【0088】

物体同定処理部２１３２は、外形領域に表示されている物体の物体識別情報を、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、外形領域の画像情報を入力値として入力し、入力された画像情報からその領域にある物体の識別情報を同定する。すなわち、物体同定処理部２１３２は、第２の学習処理部２０２において学習させた学習モデル（中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル）に対して、処理対象とする外形領域の画像情報を入力し、その出力値に基づいて、外形領域にある物体の物体識別情報を同定する。この際に、入力値として外形領域の画像情報のほか、外形特定処理部２１３１で特定したその外形領域が対応する属性のタグ、たとえば、缶、ビン、パウチ容器の情報を入力してもよい。なお、この際には、外形領域について一つの物体識別情報を同定してもよいし、複数の物体識別情報を同定してもよい。複数の物体識別情報を同定する場合には、同定する物体識別情報の候補を出力することとなる。

【0089】

物体同定処理部２１３２で出力する出力値としては、その外形領域が同定した物体識別情報の信頼度（確率）も合わせて出力する。この際に、もっとも高い信頼度の物体識別情報を当該外形領域の物体識別情報として同定するが、もっとも高い信頼度が一定の閾値以下であれば、入力した外形領域について、未知の物体と同定をする。

【0090】

実施例１と同様に、物体認識処理部２１３は、外形特定処理部２１３１、物体同定処理部２１３２の処理をまとめて深層学習などによって実行してもよい。

【0091】

物体識別情報記憶部２２は、陳列棚の棚段の各外形に表示されている物体の物体識別情報を示す情報を記憶する。たとえば、物体識別情報に対応付けて、撮影日時情報、店舗情報、撮影画像情報の画像情報識別情報、正置画像情報の画像識別情報、外形を識別するための外形識別情報に対応づけて物体識別情報記憶部２２に記憶する。

【0092】

つぎに本実施例における情報処理システム１の処理プロセスの一例を図４および図１８のフローチャートを用いて説明する。なお、本実施例における以下の説明では、撮影画像情報から陳列している物体の物体識別情報を同定する場合を説明する。

【0093】

なお、本実施例における情報処理システム１の認識処理部２１で用いる学習モデルを学習するための学習処理（図４）は、実施例１と同様であるので説明を省略する。

【0094】

陳列棚を撮影した画像情報から、陳列棚に陳列されている物体の物体識別情報を同定するための認識処理を、図１８のフローチャートを用いて説明する。

【0095】

店舗の陳列棚が撮影された撮影画像情報は、画像情報入力端末３から入力され、管理端末２の画像情報入力受付処理部２１０でその入力を受け付ける（Ｓ３００）。図１９に、撮影画像情報の一例を示す。また、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報の入力を受け付ける。そして、画像情報入力受付処理部２１０は、入力を受け付けた撮影画像情報、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２１１に記憶させる。

【0096】

管理端末２において所定の操作入力を受け付けると、正置画像情報正置化処理部２１２は、画像情報記憶部２１１に記憶する撮影画像情報を抽出し、台形補正処理などの正置化処理を行うための頂点である棚位置（陳列棚の位置）の４点の入力を受け付け、正置化処理を実行する（Ｓ３１０）。このようにして正置化処理が実行された撮影画像情報（正置画像情報）の一例が、図２０である。

【0097】

そして、正置画像情報に対して、管理端末２において所定の操作入力を受け付けることで、棚段特定処理部２１４は、棚段位置領域を特定する（Ｓ３２０）。すなわち、正置画像情報における棚段領域の入力を受け付ける。図１５、図１６が、正置画像情報から棚段領域が特定された状態を示す図である。

【0098】

以上のようにして、棚段領域を特定すると、正置画像情報から棚段領域の画像情報を切り出す。そして、棚段領域画像情報における棚段ごとに、外形を特定する処理を実行する（Ｓ３３０）。すなわち、外形特定処理部２１３１は、第１の学習処理部２０１において学習させた学習モデル（第１の学習モデル）に、棚段領域の画像情報を入力値として入力し、入力した画像情報から外形領域を特定する。

【0099】

以上のように正置画像情報に写っている各物体の各外形領域を特定し、それぞれの属性（タグ）を同定する。そして、同定したタグの信頼度が一定の閾値以下の場合には（Ｓ３４０）、その外形領域にある物体は未知の物体であると同定をする（Ｓ３５０）。

【0100】

一方、同定したタグの信頼度が一定の閾値より大きい場合には（Ｓ３４０）、物体同定処理部２１３２は、第２の学習処理部２０２において学習させた学習モデル（第２の学習モデル）に、外形領域の画像情報を入力値として入力し、外形領域に写っている物体の物体識別情報を同定する（Ｓ３６０）。そして同定した物体識別情報の信頼度が一定の閾値以下の場合には（Ｓ３７０）、その外形領域にある物体は未知の物体であると同定をする（Ｓ３５０）。

【0101】

一方、同定した物体識別情報の信頼度が一定の閾値より大きい場合には（Ｓ３７０）、同定した物体識別情報は、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、外形識別情報に対応づけて物体識別情報記憶部２２に記憶させる。

【0102】

なお、すべての外形領域の物体識別情報を同定できるとは限らない。そこで、同定できない外形領域については、物体識別情報の入力を受け付け、入力を受け付けた物体識別情報を、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、外形識別情報に対応づけて物体識別情報記憶部２２に記憶する。また、同定した物体識別情報の修正処理についても同様に、入力を受け付けてもよい。

【0103】

以上のような処理を行うことで、撮影画像情報に写っている陳列棚の棚段に陳列されている物体の物体識別情報を同定することができる。また従来のシステムのように、外形領域を矩形領域とせず、物体の輪郭の外形に沿って物体の同定を行うので、外形領域に含まれる不要な情報、たとえば他の物体などのノイズが除外されるので、認識精度が向上することとなる。

【0104】

なお、第１のアノテーションデータにおける属性として物体識別情報を用いている場合（物体の外形から物体が同定できる場合）には、画像情報を第１の学習モデルに入力して外形領域を特定することで、当該物体の物体識別情報を同定できる。その場合には、第２の学習処理部２０２、物体同定処理部２１３２による処理を実行せずともよく、外形特定処理部２１３１で外形領域を特定すると、その外形領域に写っている物体の物体識別情報を、第１の学習モデルによる出力結果としての属性の物体識別情報で同定してもよい。

【実施例3】

【0105】

実施例１および実施例２では、外形領域の特定と、外形領域から物体識別情報の同定の２つの処理で機械学習を用いる構成を説明したが、外形領域から物体識別情報を同定する処理については、画像マッチング処理を用いてもよい。この場合の情報処理システム１の構成の一例を図２１に示す。なお、図２１では、実施例２の場合の情報処理システム１の構成に基づく場合を示しているが、実施例１に基づいてもよいことは当然である。

【0106】

本実施例における情報処理システム１では、学習処理部２０では第２の学習処理部２０２は設ける必要はない。また、認識処理部２１では、画像マッチング処理に用いる標本情報を記憶する標本情報記憶部２１５を備える。

【0107】

標本情報記憶部２１５は、画像情報に写っている陳列棚の棚段に陳列されている物体がどの物体であるかを識別するための標本情報を記憶する。標本情報は、陳列棚に陳列される可能性のある物体を、上下、左右、斜めなど複数の角度から撮影をした画像情報である。図２２に標本情報記憶部２１５に記憶される標本情報の一例を示す。図２２では、標本情報として、缶ビールをさまざまな角度から撮影をした場合を示しているが、缶ビールに限られない。標本情報記憶部２１５は、標本情報と、物体識別情報とを対応付けて記憶する。

【0108】

なお、標本情報記憶部２１５には、標本情報とともに、または標本情報に代えて、標本情報から抽出された、類似性の算出に必要となる情報、たとえば画像特徴量とその位置のペアの情報を記憶していてもよい。標本情報には、類似性の算出に必要となる情報も含むとする。この場合、物体認識処理部２１３は、後述する外形領域の画像情報と、標本情報とのマッチング処理を行う際に、標本情報について毎回、画像特徴量を算出せずともよくなり、計算時間を短縮することができる。

【0109】

また標本情報記憶部に記憶する標本情報は、第１の学習処理部２０１の学習処理の際に用いた第１のアノテーションデータにおける物体の輪郭の外形をマスク処理した物体の画像情報を用いてもよい。すなわち、第１のアノテーションデータを作成する際に、物体を一または複数の方向から撮影した物体の画像情報若しくはその画像特徴量を標本情報とする。そして、当該撮影した物体の画像情報のうち、輪郭を外形として、その閉領域の内側をマスク処理するとともに、属性をタグ付けして第１のアノテーションデータを作成する。このような処理によって、標本情報と第１のアノテーションデータをまとめて作成することができる。

【0110】

本実施例における物体同定処理部２１３２は、外形特定処理部２１３１で特定した外形領域の画像情報と、標本情報記憶部２１５に記憶する標本情報とのマッチング処理を実行し、その外形領域に表示されている物体の物体識別情報を同定する。すなわち、ある棚段の外形領域（この外形の領域の外形識別情報をＸとする）における画像情報と、標本情報記憶部に記憶する各標本情報とから、それぞれの画像特徴量を算出し、特徴点のペアを求めることで、類似性を判定する。そして、もっとも類似性の高い標本情報を特定し、そのときの類似性があらかじめ定められた閾値以上であれば、その標本情報に対応する物体識別情報を標本情報記憶部２１５に基づいて同定する。そして、同定した物体識別情報を、その外形識別情報Ｘの外形に表示されている物体の物体識別情報とする。なお、いずれの標本情報とも類似ではないと判定した外形については、その外形識別情報について「空」であることを示す情報（物体がないことを示す情報）を付する。物体同定処理部２１３２は、同定した物体識別情報または「空」であることを示す情報を、撮影日時、店舗識別情報、撮影画像情報の画像情報識別情報、正置画像情報の画像情報識別情報、外形識別情報に対応づけて物体識別情報記憶部２２に記憶する。

【0111】

物体同定処理部２１３２は、一例として、具体的には以下のような処理を実行する。まず、処理対象となる外形領域の座標で構成される画像情報と、標本情報記憶部２１５に記憶する標本情報との類似性を判定し、その類似性がもっとも高い標本情報に対応する物体識別情報を特定し、特定した類似性があらかじめ定めた閾値以上であれば、上記座標で構成される外形領域に表示されている物体の物体識別情報として同定をする。

【0112】

ここで外形の画像情報と標本情報との類似性を判定するには、以下のような処理を行う。まず、物体同定処理部２１３２における物体識別情報の同定処理の前までの処理において、正置画像情報の棚段における外形の領域の画像情報と、標本情報との方向が同じ（横転や倒立していない）となっており、また、それぞれの画像情報の大きさが概略同じとなっている（所定範囲以上で画像情報の大きさが異なる場合には、類似性の判定の前にそれぞれの画像情報の大きさが所定範囲内となるようにサイズ合わせをしておく）。

【0113】

物体同定処理部２１３２は、外形領域の画像情報と、標本情報との類似性を判定するため、外形の画像情報の画像特徴量（たとえば局所特徴量）に基づく特徴点と、標本情報との画像特徴量（たとえば局所特徴量）に基づく特徴点を、それぞれ抽出する。そして、外形の画像情報の特徴点と、標本情報の特徴点とでもっとも類似性が高いペアを検出し、それぞれで対応する点の座標の差を求める。そして、差の平均値を求める。差の平均値は、外形領域の画像情報と、標本情報との全体の平均移動量を示している。そして、すべての特徴点のペアの座標差を平均の座標差と比較し、外れ度合いの大きなペアを除外する。そして、残った対応点の数で類似性を順位付ける。

【0114】

以上のような方法で外形領域の画像情報と、標本情報との類似性を算出できる。また、その精度を向上させるため、さらに、色ヒストグラム同士のＥＭＤ（Ｅａｒｔｈ Ｍｏｖｅｒｓ Ｄｉｓｔａｎｃｅ）を求め、類似性の尺度としてもよい。これによって、撮影された画像情報の明度情報等の環境変化に比較的強い類似性の比較を行うことができ、高精度で特定をすることができる。

【0115】

類似性の判定としては、ほかにも、各外形領域の画像情報のシグネチャ（画像特徴量と重みの集合）同士のＥＭＤを求め、類似性の尺度としてもよい。シグネチャの画像特徴量としては、たとえば外形領域の画像情報のＨＳＶ色空間内の頻度分布を求め、色相と彩度に関してグルーピングを行って、特徴の個数とＨＳＶ色空間内の領域による画像特徴量とすることができる。色相と彩度についてグルーピングを行うのは、撮影条件に大きく左右されないように、明度への依存度を下げるためである。

【0116】

また、処理の高速化のため、シグネチャとＥＭＤの代わりに、適宜の色空間内での画像情報の色コリログラムや色ヒストグラムなどの画像特徴量間のＬ２距離等の類似性を用いることもできる。

【0117】

類似性の判定は、上述に限定をするものではない。同定した物体識別情報は、撮影日時情報、店舗情報、撮影画像情報の画像情報識別情報、正置画像情報の画像識別情報、外形識別情報に対応づけて物体識別情報記憶部２２に記憶する。

【0118】

なお、物体識別情報が同定できなかった外形は、物体識別情報記憶部２２においてその外形領域が「空」であることを示す情報（物体が欠品などないことを示す情報）が記憶される。

【0119】

以上のように、外形領域の画像情報から物体を同定する場合において画像マッチング処理を用いた場合であっても、外形領域が矩形領域ではないので、精度よく画像マッチング処理を実行することができる。

【実施例4】

【0120】

上述の実施例２または実施例３の変形例として、棚段単位での変化を検出する棚段比較処理部２１４３を設け、棚段単位で変化がない場合には、前回の認識結果をそのまま用いることもできる。この場合の物体認識処理部２１３の一例を図２３に示す。

【0121】

棚段比較処理部２１３３は、前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報と、今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づいて、その類似性が高ければその棚段における各外形の物体識別情報または「空」は同一と判定する。この類似性の判定処理は、上述のように、前回（Ｎ－１回目）の正置画像情報における棚段の領域の画像情報の画像特徴量と、今回（Ｎ回目）の正置画像情報における棚段の領域の画像情報とに基づく類似性の判定でもよいし、色ヒストグラム同士のＥＭＤを用いたものであってもよい。また、それらに限定するものではない。そして、物体同定処理部２１３２における外形単位ごとの特定処理ではなく、物体同定処理部２１３２に、Ｎ回目の正置画像情報におけるその棚段における各外形の物体識別情報を、Ｎ－１回目の同一の棚段における各外形の物体識別情報と同一として、物体識別情報記憶部２２に記憶させる。これによって、あまり物体の動きがない棚段や逆にきわめて短いサイクルで管理される棚段など、変化がほとんど生じない棚段についての処理を省略することができる。

【実施例5】

【0122】

上述の実施例１乃至実施例４の処理を、適宜、組み合わせることもできる。またその各処理については、本発明の明細書に記載した順序に限定するものではなく、その目的を達成する限度において適宜、変更することが可能である。また、物体認識処理部２１３における処理は、撮影画像情報に対して正置化処理を実行した正置画像情報に対して実行したが、撮影画像情報に対して実行をしてもよい。その場合、正置画像情報を、撮影画像情報と読み替えればよい。

【0123】

また、実施例２および実施例４においては、認識処理部２１において棚段領域を特定してそこから後述の外形領域を特定する処理とせずに、棚段領域を特定せずに撮影画像情報、正置画像情報若しくは棚段領域の画像情報の全体から後述の外形領域を特定するように構成することもできる。その場合には、棚段特定処理部２１４は設けずともよく、その処理を実行しないように構成してもよい。

【実施例6】

【0124】

上述の各実施例では、コンビニエンスストアやスーパーなどの陳列棚について例示して説明をしたが、それに限定するものではなく、たとえば調剤薬局の医薬品を陳列する陳列棚（医薬品棚）に陳列される医薬品（物体）に適用することもできる。同様に、倉庫の陳列棚に陳列される物体に適用することもできる。

【0125】

また、物体として陳列棚に陳列している陳列商品以外であってもよい。たとえば、物体として、動物、鳥類、昆虫、魚類、植物、移動体など、各種の同定対象となる物体であってもよい。このように各種の物体を撮影した画像情報であれば、陳列棚に陳列している陳列商品以外の画像情報に適用してもよい。

【産業上の利用可能性】

【0126】

本発明の情報処理システム１を用いることで、画像情報から陳列している物体を同定する際に、物体を同定する精度を向上させることが可能となる。

【符号の説明】

【0127】

１：情報処理システム
２：管理端末
３：画像情報入力端末
２０：学習処理部
２１：認識処理部
２２：物体識別情報記憶部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２０１：第１の学習処理部
２０２：第２の学習処理部
２１０：画像情報入力受付処理部
２１１：画像情報記憶部
２１２：画像情報正置化処理部
２１３：物体認識処理部
２１４：棚段特定処理部
２１３１：外形特定処理部
２１３２：物体同定処理部
２１３３：棚段比較処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】