特許 7592252 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241125BHJP

   G06V 10/82 20220101ALI20241125BHJP

   G06Q 50/12 20120101ALI20241125BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

G06Q50/12

【請求項の数】 18

(21)【出願番号】P 2023150004

(22)【出願日】2023-09-15

【審査請求日】2023-09-15

(73)【特許権者】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】谷井 成吉

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０２０－０９５５３７（ＪＰ，Ａ）

【文献】特開２０２１－１６３０７８（ＪＰ，Ａ）

【文献】特表２０２０－５２２０５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０６Ｑ ５０／１２

(57)【特許請求の範囲】

【請求項1】

機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、
画像情報から所定の対象物を検出する検出処理部と、
前記検出した対象物を用いて機械学習用の学習モデルを生成するモデル処理部と、を有しており、
前記検出処理部は、
前記画像情報に写っている物体を検出する物体検出処理部と、
前記検出した物体の種別を判別する個別判別処理部と、を有し、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、
ことを特徴とする情報処理システム。

【請求項2】

前記モデル処理部は、
前記検出した対象物の画像情報を分類する分類処理部と、
分類したグループと仮識別情報を対応づける仮識別情報処理部と、
前記分類したグループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、
を有することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記モデル処理部は、
入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部と、
前記出力した仮識別情報と前記入力した標本情報の対象物識別情報とを対応づける出力処理部と、
を有することを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記モデル処理部は、
同定処理の対象とする画像情報を前記学習モデルに入力することで、前記学習モデルが出力する仮識別情報に対応する対象物識別情報を出力値として出力させる、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記モデル処理部は、
前記分類したグループに含まれる対象物の画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外するクレンジング処理を実行するクレンジング処理部、
を有することを特徴とする請求項２に記載の情報処理システム。

【請求項6】

前記クレンジング処理部は、
前記分類したグループに含まれる対象物の画像情報の指標値を用いて算出した基準値からの情報距離を用いて、除外する対象物の画像情報を判定する、
ことを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記クレンジング処理部は、
前記分類したグループに含まれる対象物の画像情報の指標値を用いて基準値を算出し、
前記基準値と、前記対象物の画像情報の指標値とを用いて情報距離を算出し、
前記情報距離が所定の閾値以上または所定の比率以上の乖離がある場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、
ことを特徴とする請求項６に記載の情報処理システム。

【請求項8】

前記クレンジング処理部は、
前記分類したグループに含まれる対象物の画像情報の類似度を用いて、除外する対象物の画像情報を判定する、
ことを特徴とする請求項５に記載の情報処理システム。

【請求項9】

前記クレンジング処理部は、
前記分類したグループに含まれる対象物の画像情報と、そのグループに含まれる他の対象物の画像情報との類似度を算出し、
その類似度を用いたあらかじめ定められた条件を充足した場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、
ことを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記個別判別処理部は、
前記検出した物体の種別が商品類、商品タグ類、棚部材以外の種別である場合には、その種別がＰＯＰまたはＰＯＰの候補であると判別をする、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項11】

前記情報処理システムは、
前記画像情報の領域を検出する領域検出処理部、を有しており、
前記個別判別処理部は、
前記検出した領域と前記検出した物体の種別とを用いて、前記検出した物体の種別を判別する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項12】

画像情報に写っている物体を検出する物体検出処理部と、
検出した物体の種別を判別する個別判別処理部と、を有しており、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物の候補であると判別をする、
ことを特徴とする情報処理システム。

【請求項13】

前記個別判別処理部は、
前記検出した物体の種別が対象物の候補であると判別をした場合には、その物体が対象物であるかの入力を受け付け、
対象物であるとの入力を受け付けた場合には、その対象物の候補を対象物の種別であるとする、
ことを特徴とする請求項１、請求項１０または請求項１２に記載の情報処理システム。

【請求項14】

機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、
画像情報に写っている物体を検出する物体検出処理部と、
前記検出した物体の種別または種別の候補を判別する個別判別処理部と、
前記物体の種別のうち、前記学習モデルを生成する対象物の種別の画像情報についてグループごとに分類する分類処理部と、
前記分類したグループと仮識別情報を対応づける仮識別情報処理部と、
前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して前記学習モデルを生成するモデル生成処理部と、を有しており、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、
ことを特徴とする情報処理システム。

【請求項15】

前記情報処理システムは、
入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部と、
前記出力した仮識別情報と前記入力した標本情報の対象物識別情報とを対応づける出力処理部と、
を有することを特徴とする請求項１４に記載の情報処理システム。

【請求項16】

コンピュータを、
画像情報から所定の対象物を検出する検出処理部、
前記検出した対象物を用いて機械学習用の学習モデルを生成するモデル処理部、として機能させる情報処理プログラムであって、
前記検出処理部は、
前記画像情報に写っている物体を検出する物体検出処理部と、
前記検出した物体の種別を判別する個別判別処理部と、を有し、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、
ことを特徴とする情報処理プログラム。

【請求項17】

コンピュータを、
画像情報に写っている物体を検出する物体検出処理部、
検出した物体の種別を判別する個別判別処理部、として機能させる情報処理プログラムであって、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物の候補であると判別をする、
ことを特徴とする情報処理プログラム。

【請求項18】

コンピュータを、
画像情報に写っている物体を検出する物体検出処理部、
前記検出した物体の種別または種別の候補を判別する個別判別処理部、
前記物体の種別のうち、機械学習用の学習モデルを生成する対象物の種別の画像情報についてグループごとに分類する分類処理部、
前記分類したグループと仮識別情報を対応づける仮識別情報処理部、
前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して前記学習モデルを生成するモデル生成処理部、として機能させる情報処理プログラムであって、
前記個別判別処理部は、
前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習における学習モデル（ネットワーク）の生成で用いる情報処理システムに関する。

【背景技術】

【0002】

小売店などの店舗では、商品を陳列する陳列棚に、商品の販売促進用のＰＯＰを設置する場合がある。ＰＯＰは、陳列棚に陳列する商品、商品タグ（プライスカード）、棚段、棚段の上方あるいは側方などに貼付、取付、設置等される。

【0003】

ＰＯＰは商品を製造等するメーカーがＰＯＰを作成して小売店に設置を依頼するメーカーＰＯＰと、小売店が自ら作成して設置をする小売りＰＯＰ（流通ＰＯＰ）がある。メーカーＰＯＰは、メーカーが小売店に設置を依頼しているので、その依頼どおりに設置されているか、メーカーとしては確認をしたい要望がある。

【0004】

このような場合、従来は、メーカーの担当者が各店舗を実際に回ることで確認をしていたが、負担が大きいものであった。そこで、自動的な処理を行うことが考えられる。

【0005】

自動的な処理としては、たとえば、コンピュータを用いた画像解析処理の方法としての機械学習がある。機械学習では、あらかじめ学習用のデータセット（学習用データ）を作成し、それをコンピュータに読み込ませて所定の学習処理を実行させる必要がある。

【0006】

しかし学習用データをあらかじめ準備すること自体が作業負担が大きい。そこで、下記特許文献１、特許文献２に示すようなシステムが開示されている。

【0007】

特許文献１の発明では、商品画像を撮影し、その商品に付されているコードを読み取ることで、商品画像とそのラベル付けを行うことで、学習用データを生成している。

【0008】

また、特許文献２の発明では、あらかじめ分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースから、当該画像データに含まれる物体の分類を選択し、その物体を画像データから抽出してテンプレート画像を生成することで、テンプレート画像とラベル付けとをした学習用データを生成している。

【先行技術文献】

【特許文献】

【0009】

【文献】特開２０２０－０９５５３７号公報

【文献】特開２０２２－０７６２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献１の発明の場合、商品を準備して撮影を行うとともに、その商品に付されたコードをコードリーダで読み取ることで学習用データを生成するものであり、作業者の作業負担が大きい。学習用データとして読み取るべき商品が多くなると、膨大な作業量となる。また、商品にはコードが付されているが、ＰＯＰにはコードが付されていないので、ＰＯＰの学習用データを生成する場合には、特許文献１の発明を用いることはできない。

【0011】

特許文献２の発明の場合、あらかじめ分類に関する情報がラベル付けされた物体を含む画像データが格納された画像データベースが準備されていなければその処理を行うことができない。ＰＯＰは多種多様であって、ＰＯＰごとにラベル付けをした画像データを画像データベースとして準備しておくことは現実的ではない。

【課題を解決するための手段】

【0012】

本発明者は上記課題に鑑み、機械学習で用いる学習モデルを効率よく生成する情報処理システムを発明した。とくに、本発明の情報処理システムを、店舗の陳列棚に設置されるＰＯＰの学習モデルの生成で用いると効果が高い。

【0013】

第１の発明は、機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、画像情報から所定の対象物を検出する検出処理部と、前記検出した対象物を用いて機械学習用の学習モデルを生成するモデル処理部と、を有しており、前記検出処理部は、前記画像情報に写っている物体を検出する物体検出処理部と、前記検出した物体の種別を判別する個別判別処理部と、を有し、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、情報処理システムである。

【0014】

本発明を用いることで、機械学習で用いる学習モデルを効率よく生成することができる。とくに、学習用データとして用いる画像情報とそのラベル（種別）とを画像情報から検出してデータセットとして用いることができるので、その作業負担などを減らすことができる。
本発明のように構成することで、画像情報に写っている物体の種別が対象物または対象物の候補であると判別をすることができる。

【0015】

上述の発明において、前記モデル処理部は、前記検出した対象物の画像情報を分類する分類処理部と、分類したグループと仮識別情報を対応づける仮識別情報処理部と、前記分類したグループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、を有する情報処理システムのように構成することができる。

【0016】

上述の発明において、前記モデル処理部は、入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部と、前記出力した仮識別情報と前記入力した標本情報の対象物識別情報とを対応づける出力処理部と、を有する情報処理システムのように構成することができる。

【0017】

機械学習用の学習モデルは、これらの発明の処理を実行して生成するとよい。

【0018】

上述の発明において、前記モデル処理部は、同定処理の対象とする画像情報を前記学習モデルに入力することで、前記学習モデルが出力する仮識別情報に対応する対象物識別情報を出力値として出力させる、情報処理システムのように構成することができる。

【0019】

本発明のように構成することで、学習モデルに同定対象の画像情報を入力すると、対象物識別情報を出力することができる。

【0020】

上述の発明において、前記モデル処理部は、前記分類したグループに含まれる対象物の画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外するクレンジング処理を実行するクレンジング処理部、を有する情報処理システムのように構成することができる。

【0021】

本発明のようにクレンジング処理を実行することで、グループに含まれる対象物画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外することができ、分類の精度を向上させることができる。

【0022】

上述の発明において、前記クレンジング処理部は、前記分類したグループに含まれる対象物の画像情報の指標値を用いて算出した基準値からの情報距離を用いて、除外する対象物の画像情報を判定する、情報処理システムのように構成することができる。

【0023】

上述の発明において、前記クレンジング処理部は、前記分類したグループに含まれる対象物の画像情報の指標値を用いて基準値を算出し、前記基準値と、前記対象物の画像情報の指標値とを用いて情報距離を算出し、前記情報距離が所定の閾値以上または所定の比率以上の乖離がある場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、情報処理システムのように構成することができる。

【0024】

上述の発明において、前記クレンジング処理部は、前記分類したグループに含まれる対象物の画像情報の類似度を用いて、除外する対象物の画像情報を判定する、情報処理システムのように構成することができる。

【0025】

上述の発明において、前記クレンジング処理部は、前記分類したグループに含まれる対象物の画像情報と、そのグループに含まれる他の対象物の画像情報との類似度を算出し、その類似度を用いたあらかじめ定められた条件を充足した場合には、その対象物の画像情報を除外する対象物の画像情報として判定する、情報処理システムのように構成することができる。

【0026】

クレンジング処理としてはこれらの発明のように実行することができる。

【0030】

上述の発明において、前記個別判別処理部は、前記検出した物体の種別が商品類、商品タグ類、棚部材以外の種別である場合には、その種別がＰＯＰまたはＰＯＰの候補であると判別をする、情報処理システムのように構成することができる。

【0031】

一般的な陳列棚には、陳列される商品などの商品類、商品タグなどの商品タグ類、棚部材、ＰＯＰが設けられることに本願発明者は着目した。すなわち、ＰＯＰ自体の形状、デザインは多種多様であるのでそれ自体の判別は容易ではないが、商品類、商品タグ類、棚部材については、判別をしやすい。そこで、画像データから検出した物体が商品類、商品タグ類、棚部材の各種別ではない場合にはＰＯＰと判別することで、画像データにあるＰＯＰを判別することができる。

【0032】

上述の発明において、前記情報処理システムは、前記画像情報の領域を検出する領域検出処理部、を有しており、前記個別判別処理部は、前記検出した領域と前記検出した物体の種別とを用いて、前記検出した物体の種別を判別する、情報処理システムのように構成することができる。

【0033】

物体の種別は、物体が所在する領域によっても判別することができる。そこで、本発明のように構成することで、物体の種別を判別してもよい。

【0034】

第１２の発明は、画像情報に写っている物体を検出する物体検出処理部と、検出した物体の種別を判別する個別判別処理部と、を有しており、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物の候補であると判別をする、情報処理システムである。

【0035】

これらの発明のように構成することで、画像情報に写っている物体の種別が対象物の候補であると判別をすることができる。

【0036】

上述の発明において、前記個別判別処理部は、前記検出した物体の種別が対象物の候補であると判別をした場合には、その物体が対象物であるかの入力を受け付け、対象物であるとの入力を受け付けた場合には、その対象物の候補を対象物の種別であるとする、情報処理システムのように構成することができる。

【0037】

本発明のように構成することで、対象物の候補であると判別した物体について、対象物であるかを判別することができる。

【0038】

第１４の発明は、機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、画像情報に写っている物体を検出する物体検出処理部と、前記検出した物体の種別または種別の候補を判別する個別判別処理部と、前記物体の種別のうち、前記学習モデルを生成する対象物の種別の画像情報についてグループごとに分類する分類処理部と、前記分類したグループと仮識別情報を対応づける仮識別情報処理部と、前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して前記学習モデルを生成するモデル生成処理部と、を有しており、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、情報処理システムである。

【0039】

上述の発明において、前記情報処理システムは、入力を受け付けた標本情報を前記学習モデルに入力することで仮識別情報を出力させる認識処理部と、前記出力した仮識別情報と前記入力した標本情報の対象物識別情報とを対応づける出力処理部と、を有する情報処理システムのように構成することができる。

【0040】

これらの発明を用いることで、機械学習で用いる学習モデルを効率よく生成することができる。とくに、学習用データとして用いる画像情報とそのラベル（種別）とを画像情報から検出してデータセットとして用いることができるので、その作業負担などを減らすことができる。

【0041】

第１の発明は、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち、コンピュータを、画像情報から所定の対象物を検出する検出処理部、前記検出した対象物を用いて機械学習用の学習モデルを生成するモデル処理部、として機能させる情報処理プログラムであって、前記検出処理部は、前記画像情報に写っている物体を検出する物体検出処理部と、前記検出した物体の種別を判別する個別判別処理部と、を有し、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、情報処理プログラムである。

【0042】

第１２の発明は、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち、コンピュータを、画像情報に写っている物体を検出する物体検出処理部、検出した物体の種別を判別する個別判別処理部、として機能させる情報処理プログラムであって、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物の候補であると判別をする、情報処理プログラムである。

【0043】

第１４の発明は、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち、コンピュータを、画像情報に写っている物体を検出する物体検出処理部、前記検出した物体の種別または種別の候補を判別する個別判別処理部、前記物体の種別のうち、機械学習用の学習モデルを生成する対象物の種別の画像情報についてグループごとに分類する分類処理部、前記分類したグループと仮識別情報を対応づける仮識別情報処理部、前記グループに含まれる対象物の画像情報と前記仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して前記学習モデルを生成するモデル生成処理部、として機能させる情報処理プログラムであって、前記個別判別処理部は、前記検出した物体の種別があらかじめ定めた種別以外の種別である場合には、前記検出した物体の種別が対象物または対象物の候補であると判別をする、情報処理プログラムである。

【発明の効果】

【0044】

本発明の情報処理システムを用いることで、機械学習で用いる学習モデルを効率よく生成することができる。

【図面の簡単な説明】

【0045】

【図1】本発明の情報処理システムの処理機能の一例を模式的に示すブロック図である。

【図2】本発明の情報処理システムの検出処理部の処理機能の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムのモデル処理部の処理機能の一例を模式的に示すブロック図である。

【図4】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図5】本発明の情報処理システムの検出処理部の概念図の一例を示す図である。

【図6】本発明の情報処理システムの処理の概念図の一例を示す図である。

【図7】本発明の情報処理システムの処理の概念図の一例を示す図である。

【図8】撮影画像情報の一例を示す図である。

【図9】本発明の情報処理システムにおける全体の処理プロセスの一例を示すフローチャートである。

【図10】本発明の情報処理システムにおける検出処理部の処理プロセスの一例を示すフローチャートである。

【図11】本発明の情報処理システムにおけるモデル処理部の処理プロセスの一例を示すフローチャートである。

【図12】画像情報から物体検出処理を実行した結果の一例を示す図である。

【図13】画像情報から検出した物体の領域に対して所定条件を充足するかを判別して対象物の領域を判別する処理の一例を示す図である。

【図14】図１２の物体検出の結果に対して、所定条件を充足した領域を対象物の領域として判別した後の各領域の一例を示す図である。

【図15】画像情報から対象物画像情報を抽出した状態の一例を示す図である。

【図16】分類処理部において対象物画像情報を分類した状態の一例を示す図である。

【図17】仮識別情報処理部において仮識別情報を対応づけた状態の一例を示す図である。

【図18】学習用データセットを用いて学習用モデルを生成する状態の一例を示す図である。

【図19】学習モデルに標本情報を入力して、仮識別情報を出力値として出力した状態の一例を示す図である。

【図20】仮識別情報と対象物識別情報とを紐付ける状態の一例を示す図である。

【図21】実施例２における検出処理部の構成の一例を模式的に示すブロック図である。

【図22】実施例２における検出処理部の処理プロセスの一例を示すフローチャートである。

【図23】実施例２における処理の概要の一例を示す図である。

【図24】実施例２における個別判別処理の一例を示す図である。

【図25】画像情報に対して、商品陳列領域と商品タグ領域と棚上部領域の指定の入力を受け付けた状態を模式的に示す図である。

【図26】実施例３における検出処理部の処理プロセスの一例を示すフローチャートである。

【図27】実施例４におけるモデル処理部の構成の一例を模式的に示すブロック図である。

【発明を実施するための形態】

【0046】

本発明の情報処理システム１の処理機能の一例をブロック図で図１から図３に示す。図１は情報処理システム１の全体の処理機能の一例をブロック図で示したものであり、図２は検出処理部２０の処理機能の一例をブロック図で示したものであり、図３はモデル処理部２１の処理機能の一例をブロック図で示したものである。

【0047】

情報処理システム１では、所定の画像情報に写っている対象物を検出し、検出した各種の対象物の画像情報を用いて、機械学習で用いる学習モデルを生成するシステムである。

【0048】

たとえば対象物が陳列棚に陳列されている商品、商品タグ（プライスカード）、棚段、棚段の上方あるいは側方などに貼付、取付、設置等されるＰＯＰである場合、ＰＯＰを含む陳列棚の画像情報から、その画像情報に写っているＰＯＰを検出し、そのＰＯＰを用いて、機械学習で用いる学習モデルを生成するシステムである。なお、対象物としては、陳列棚に陳列されている商品、商品タグ（プライスカード）、棚段、棚段の上方あるいは側方などに貼付、取付、設置等されるＰＯＰの場合を用いて説明するが、それに限られるものではない。

【0049】

情報処理システム１における管理端末２、画像情報入力端末３は、コンピュータを用いて実現される。図４にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0050】

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

【0051】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0052】

画像情報入力端末３は、上記の各装置のほか、カメラなどの撮影装置を備えていてもよい。画像情報入力端末３として、携帯電話、スマートフォン、タブレット型コンピュータなどの可搬型通信端末を用いることもできる。画像情報入力端末３は、所定の対象物が写った画像情報（撮影画像情報）を撮影し、管理端末２に入力する。たとえば、店舗の陳列棚を撮影し、その画像情報を管理端末２に入力する。この場合、陳列棚には商品が陳列されており、陳列棚または商品にはＰＯＰが取り付けられている。そのため、撮影画像情報には、陳列棚に陳列する商品などの陳列商品、商品タグ、棚部材、ＰＯＰなどが写っている。好ましくは、人などの不要なものが写り込んでいないことが好ましい。

【0053】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。

【0054】

管理端末２は、検出処理部２０とモデル処理部２１とを有する。

【0055】

検出処理部２０は、撮影画像情報から対象物の写っている領域の画像情報（対象物画像情報）を検出する。たとえば陳列棚を撮影した画像情報などから、対象物画像情報としてＰＯＰが写っている領域の画像情報（ＰＯＰ画像情報）を検出する。図５は検出処理部２０における処理の概念図の一例である。図５（ａ）は対象物が写っている撮影画像情報の一例であり、図５（ｂ）は撮影画像情報から対象物を検出した状態の一例である。図５（ａ）の撮影画像情報は、店舗の陳列棚を撮影した場合を模式的に示した図である。図５（ｂ）は、対象物としてＰＯＰを検出した場合を模式的に示した図である。図５（ｂ）の網掛け部分が検出したＰＯＰの領域の画像情報である。

【0056】

モデル処理部２１は、検出処理部２０で検出した対象物画像情報について、機械学習で用いる学習モデルを生成する。モデル処理部２１における処理の概念図の一例を図６および図７に示す。図６は、検出処理部２０で検出した対象物画像情報を用いて学習モデルを生成する処理を模式的に示す図である。図７は、分類した対象物画像情報ごとのグループに対応づけた仮識別情報と、対象物の識別情報（対象物識別情報）とを紐付ける処理を模式的に示す図である。

【0057】

検出処理部２０は、画像情報入力受付処理部２００と画像情報記憶部２０１と画像情報正置化処理部２０２と物体検出処理部２０３と個別判別処理部２０４とを有する。

【0058】

画像情報入力受付処理部２００は、画像情報入力端末３で撮影した、対象物が写っている撮影画像情報の入力を受け付け、後述する画像情報記憶部２０１に記憶させる。たとえば、店舗の陳列棚を撮影した画像情報の入力を受け付けて、画像情報記憶部２０１に記憶させる。画像情報入力端末３からは、撮影画像情報のほか、撮影日時、店舗名などの店舗識別情報、陳列棚を識別する陳列棚識別情報、画像情報を識別する画像情報識別情報などの付随情報をあわせて入力を受け付けてもよい。図８に撮影画像情報として陳列棚を撮影した画像情報の一例を示す。なお、図８では撮影画像情報に一つの陳列棚が写っている場合を示しているが、陳列棚が複数写っていてもよいし、あるいは陳列棚の一部が写っている場合であってもよい。また、本発明においては特にその処理は明記しないが、陳列棚や棚段は横方向に長いこともある。そのため、その処理においては、一定の幅で区切り、区切った範囲で書く処理の処理対象としてもよい。

【0059】

画像情報記憶部２０１は、画像情報入力端末３から受け付けた撮影画像情報と、撮影日時、店舗識別情報、陳列棚識別情報、画像情報識別情報などの付随情報を対応づけて記憶する。撮影画像情報とは、本発明の処理対象となる画像情報であればよい。一つの陳列棚を複数枚で撮影した場合に、それが一つの画像情報として合成された画像情報も含まれる。後述する画像情報正置化処理部２０２における処理を実行した正置画像情報、歪み補正処理が実行された後の画像情報も撮影画像情報に含まれる。

【0060】

画像情報正置化処理部２０２は、画像情報記憶部２０１に記憶した撮影画像情報に対して、被写体を正対した状態に補正する補正処理（正置化処理）を実行し、撮影画像情報を正置化した画像情報（正置画像情報）を生成する。正置化処理としては、撮影装置のレンズの光軸を撮影対象である平面の垂線方向に沿って、十分に遠方から撮影した場合と同じになるように画像情報を変形させる処理であり、たとえば台形補正処理がある。台形補正処理は、撮影画像情報に写っている物、たとえば陳列棚の棚段が水平に、そこに陳列されている商品やその商品に対する商品タグ（たとえば値札）が垂直になるように行う補正処理である。

【0061】

画像情報正置化処理部２０２は、撮影画像情報において４頂点の指定の入力を受け付け、その各頂点を用いて台形補正処理を実行する。指定を受け付ける４頂点として、撮影画像情報における任意の４点、たとえば被写体が陳列棚であれば、陳列棚の棚段の４頂点であってもよいし、陳列棚の棚位置の４頂点であってもよい。また、２段、３段の棚段のまとまりの４頂点であってもよい。４頂点としては任意の４点を指定できる。画像情報正置化処理部２０２は、各種の公知の処理方法を用いることができる。

【0062】

物体検出処理部２０３は、画像情報記憶部２０１に記憶する撮影画像情報（正置化した撮影画像情報も含む。以下、本明細書において同様）に対して、その画像情報に写っている物体を検出する処理を実行する。物体検出処理としては、いわゆる深層学習（ディープラーニング）を用いて検出することが好ましい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記撮影画像情報を入力し、入力した撮影画像情報に写っている物体の領域（またはその画像情報）と、その物体の種別（クラス）を出力値として出力する。

【0063】

学習モデルとしては、撮影画像情報に写る可能性のある所定の物体などをアノテーションデータとし、そのアノテーションデータを用いて所定の学習処理を実行することで上述の学習モデルを学習する。たとえば、陳列棚を写した撮影画像情報に写る可能性のある物体、一例としては商品、商品タグ（値札）、棚部材などをアノテーションデータとし、そのアノテーションデータを用いて所定の学習処理を実行することで上述の学習モデルを学習する。たとえば商品の画像情報と商品であることまたは商品名若しくは商品コード（ＪＡＮコードなど）とを対応づけたデータをアノテーションデータとして、学習モデルのための学習処理を実行させる。商品の画像情報がアノテーションデータにおける画像情報であり、商品であること、または商品であることと商品名若しくは商品コードなどの商品識別情報が「商品類」であることを示すクラスとなる。同様に商品タグの画像情報がアノテーションデータにおける画像情報であり、商品タグであること、または商品タグであることとその商品名若しくは商品識別情報が「商品タグ類」であることを示すクラスとなる。さらに棚部材の画像情報がアノテーションデータにおける画像情報であり、棚部材であることまたは棚部材の部品名などが「棚部材」であることを示すクラスとなる。なお、物体検出処理部２０３でアノテーションデータとして用いる物体（オブジェクト）の種別（クラス）としては、一般的に陳列棚に陳列されることがある物、たとえば商品などの商品類、商品タグなどの商品タグ類、棚部材があるが、これらに限定するものではなく、任意の物体を検出するように学習させてもよい。

【0064】

個別判別処理部２０４は、物体検出処理部２０３において、撮影画像情報から検出した物体の種別（クラス）のうち、所定のクラス以外の種別として検出した物体の種別は、所定の対象物または所定の対象物の候補であると判別をする。たとえば、商品類、商品タグ類、棚部材以外の種別として検出した物体の種別は、ＰＯＰまたはＰＯＰの候補であると判別をする。また、商品類、商品タグ類、棚部材の種別（クラス）として検出した物体について、あらかじめ定めた条件を充足している場合には、その物体の種別（クラス）をＰＯＰまたはＰＯＰの候補として判別をする。

【0065】

たとえば種別を商品類として検出した物体については、その領域に対して商品密着型の広告（ＰＯＰ）がついているかを判別し、ＰＯＰがあると判別した場合にはその領域の物体の種別をＰＯＰまたはＰＯＰの候補として判別する。この場合、種別を商品類として検出した物体の領域から陳列商品に付けられたＰＯＰまたはＰＯＰの候補を検出する方法と、種別を商品類として検出した物体の領域の画像情報とＰＯＰのない商品の画像情報との比較により、ＰＯＰまたはＰＯＰの候補を検出する方法がある。

【0066】

前者の方法の場合、まず陳列商品に付けられたＰＯＰ部分を含む画像情報をあらかじめ多数収集し、ＰＯＰ部分を含む各画像情報について、ＰＯＰ部分をアノテーションしておく。そして、ＰＯＰがない状態の通常の陳列商品の画像情報をアノテーションデータとしてあらかじめ学習した学習モデルについて、上記ＰＯＰ部分をアノテーションした画像情報を用いて追加学習させて、新たな学習モデルを生成しておく。この生成した新たな学習モデルに対して、種別を商品類として検出した物体の領域の画像情報を入力し、商品認識処理などの際に、商品識別情報を出力させるほか、当該画像情報における陳列商品にＰＯＰが付されているか否かを追加的に出力させることができる。

【0067】

後者の方法の場合、商品類として検出した物体の領域の画像情報に対して商品認識処理を行った後で、認識した商品のＰＯＰのない標準的な画像情報（たとえば標本情報）と物体の領域の画像情報とを比較し、その類似度を比較する。そしてその類似度が所定の値以上であれば商品類として検出した物体にはＰＯＰがないと判別し、類似度が所定の値未満であれば商品類として検出した物体にはＰＯＰまたはＰＯＰの候補があると判別する。

【0068】

上述の方法において、商品類として検出した物体の領域の画像情報と、商品認識処理で認識した商品のＰＯＰのない標準的な画像情報との比較において、相違している領域の位置によってＰＯＰであるか否かを判別すると、より精度よく判別することができる。たとえば、２つの画像情報で相違している領域が特定の位置、一例として、商品の上部や肩部、尾部付近に局在していると判定した場合にはＰＯＰまたはＰＯＰの候補であると判別するとよい。

【0069】

商品認識処理としては、各種の公知の処理方法を用いることができる。たとえば、当該物体の領域の画像情報に対して深層学習（ディープラーニング）を用いて商品識別情報を同定する処理を実行することができる。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、当該物体の領域の画像情報を入力し、その出力値に基づいて、商品識別情報を同定してもよい。学習モデルとしては、商品が写っているさまざまな画像情報に商品識別情報を正解データとして与えたものを用いることができる。これ以外にも、商品の標本情報（商品を一または複数の方向から写した画像情報またはそれに基づく特徴量などの情報）と、当該物体の領域の画像情報とを比較し、その類似度を用いて商品識別情報を同定することができる。商品認識処理としてはこれらに限られるものでない。

【0070】

また、種別を商品タグ類として検出した物体については、その物体の領域の画像情報が商品タグ類の要件を満たすか否かを判別する。たとえば種別を商品タグ類として検出した物体の領域に対してＯＣＲ認識処理を行い、商品タグとして通常含まれている文字、たとえば価格、商品名が含まれていれば商品タグ類として判別し、そうではない場合にはＰＯＰまたはＰＯＰの候補であると判別する。あるいは、ＯＣＲ認識処理の結果、所定の単語、たとえば「会員割引」、「テスター」、「見本」、「サンプル」など、ＰＯＰで通常使用される単語が含まれていれば、ＰＯＰまたはＰＯＰの候補と判別してもよい。また、文字として手書きが含まれている場合にはＰＯＰまたはＰＯＰの候補であると判別をしてもよい。

【0071】

また、種別を棚部材として検出した物体については、その物体の領域の画像情報が棚部材の要件を満たすか否かを判別する。たとえば種別を棚部材として検出した物体の領域に対してＯＣＲ認識処理を行い、所定の単語、たとえば会員割引など、ＰＯＰで通常使用される単語が含まれていればＰＯＰまたはＰＯＰの候補と判別し、そうではない場合には棚部材として判別する。

【0072】

個別判別処理部２０４が、物体の領域の画像情報の種別（クラス）として所定の対象物の候補と判別している場合には、当該物体の領域の画像情報を管理端末２の表示装置７２などに表示し、対象物であるか否かの入力を受け付けて、その入力が対象物であれば当該物体の領域の画像情報の種別（クラス）を対象物としてもよい。たとえば、個別判別処理部２０４が、物体の領域の画像情報の種別（クラス）としてＰＯＰの候補と判別している場合には、当該物体の領域の画像情報を管理端末２の表示装置７２などに表示し、ＰＯＰであるか否かの入力を受け付けて、その入力がＰＯＰであれば当該物体の領域の画像情報の種別（クラス）をＰＯＰとしてもよい。

【0073】

モデル処理部２１は、分類処理部２１０と仮識別情報処理部２１１とモデル生成処理部２１２と標本情報受付処理部２１３と認識処理部２１４と出力処理部２１５とを有する。モデル処理部２１の処理の概念図の一例を図７および図８に示す。

【0074】

分類処理部２１０は、検出処理部２０で特定した対象物の対象物画像情報から、クラスタリング処理などによって対象物画像情報を分類する。たとえば陳列棚を撮影した画像情報などに写っている、ＰＯＰとして判別した物体の領域の画像情報（ＰＯＰ画像情報）を、クラスタリング処理などによって分類する。陳列棚に陳列する商品、商品タグ（プライスカード）、棚段、棚段の上方あるいは側方などに貼付、取付、設置等されているＰＯＰが対象物の場合、対象物画像情報としては、そのＰＯＰ画像情報となる。このときにＰＯＰの領域を含む矩形で切り出していてもよいし、ＰＯＰの外形に応じた任意の形状で切り出した画像情報であってもよい。また、画像情報を切り出すとは、物理的に切り出してもよいし、その領域の座標情報を特定し、範囲を特定するのであってもよい。

【0075】

対象物画像情報に写っている対象物の識別情報（対象物識別情報）、たとえば対象物がＰＯＰであればそのＰＯＰを識別する情報（ＰＯＰ識別情報）などのコードは判明していなくてもよい。

【0076】

分類処理部２１０が、複数の対象物画像情報を公知の手法でクラスタリング処理を実行し、画像情報を複数のグループに分類をする。たとえば対象物がＰＯＰであれば、複数のＰＯＰ画像情報を公知の手法でクラスタリング処理を実行し、ＰＯＰ画像情報を複数のグループに分類をする。

【0077】

なお、分類処理部２１０はクラスタリング処理を用いて対象物画像情報を分類する場合を説明しているが、クラスタリング処理以外の手法によって対象物画像情報を分類してもよい。

【0078】

仮識別情報処理部２１１は、分類処理部２１０で分類した対象物画像情報の各グループに仮の識別情報（仮識別情報）を対応づける。対象物がＰＯＰの場合、分類処理部２１０で分類したＰＯＰ画像情報の各グループに仮の識別情報（仮識別情報）を対応づける。仮識別情報は、自動的に生成した仮識別情報を対応づけてもよいし、入力を受け付けた仮識別情報を所定の操作で対応づけてもよい。そして、各グループに分類された対象物画像情報に対応づけた仮識別情報を、ラベルとして対応づけてデータセットとし、学習用データとする。

【0079】

モデル生成処理部２１２は、学習用データを用いて公知の手法により機械学習を行い、学習モデルを生成する。すなわち、対象物画像情報には分類されたグループごとに仮識別情報が対応づけられているので、対象物画像情報とそのラベルを仮識別情報としたデータセットを用いた学習用データを用いて、学習モデルを生成する。対象物がＰＯＰの場合、分類されたＰＯＰ画像情報のグループごとに仮識別情報が対応づけられているので、ＰＯＰ画像情報とそのラベルを仮識別情報としたデータセットを用いた学習用データを用いて、学習モデルを生成する。

【0080】

標本情報受付処理部２１３は、モデル生成処理部２１２に入力させる画像情報の入力を受け付ける。ここで入力を受け付ける画像情報は、対象物を識別する対象物識別情報が判明している対象物画像情報である。たとえば、陳列棚に貼付等される可能性のあるＰＯＰ画像情報であり、それに対応するＰＯＰの識別情報（ＰＯＰ識別情報）が判明している画像情報である。ここで入力する画像情報は、標本情報とよぶこととする。

【0081】

認識処理部２１４は、標本情報受付処理部２１３で入力を受け付けた画像情報（標本情報）を、モデル生成処理部２１２で生成した学習モデルに入力し、仮識別情報を出力する。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、標本情報を入力すると、出力値として仮識別情報が出力される。複数の出力値がその確度とともに出力される場合には、もっとも確度が高い出力値を採用する。

【0082】

出力処理部２１５は、認識処理部２１４で出力した出力値となる仮識別情報と、その入力に用いた標本情報の対象物識別情報とを紐付ける。そして、出力処理部２１５は、認識処理部２１４で出力した仮識別情報に紐付けた対象物識別情報を、認識処理部２１４の認識結果として出力をする。

【0083】

なお、出力処理部２１５は、認識処理部２１４が出力する仮識別情報に紐付けた対象物識別情報を出力するのではなく、分類処理部２１０で出力したグループに対応づけた仮識別情報を対象物識別情報に代えて、再度、モデル生成処理部２１２で機械学習の学習処理を実行させてもよい。

【0084】

また、認識処理部２１４が出力した仮識別情報の確度が所定の閾値以下の場合には、出力処理部２１５の処理を実行しなくてもよい。

【0085】

以上のような処理を実行することで、機械学習で用いる学習モデルを効率よく生成することができる。

【実施例1】

【0086】

つぎに本発明の情報処理システム１を用いた処理プロセスの一例を図９乃至図１１のフローチャートを用いて説明する。なお、以下の説明では、店舗の陳列棚を撮影した撮影画像情報を画像情報入力端末３から入力し、撮影画像情報から対象物としてＰＯＰの領域を検出し、検出したＰＯＰの領域の画像情報を用いて、ＰＯＰを識別するための機械学習の学習モデルを生成する場合を説明する。

【0087】

まず検出処理部２０における検出処理を説明する（Ｓ１００）。

【0088】

店舗の陳列棚が撮影された撮影画像情報は、画像情報入力端末３から入力され、管理端末２の画像情報入力受付処理部２００でその入力を受け付ける（Ｓ１１０）。入力した撮影画像情報の一例が図５（ａ）である。また、撮影日時、店舗識別情報、陳列棚識別情報、撮影画像情報の画像情報識別情報の入力を受け付ける。そして、画像情報入力受付処理部２００は、入力を受け付けた撮影画像情報、撮影日時、店舗識別情報、店舗識別情報、撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２０１に記憶させる。

【0089】

管理端末２において所定の操作入力を受け付けると、画像情報正置化処理部２０２は、画像情報記憶部２０１に記憶する撮影画像情報を抽出し、台形補正処理などの正置化処理を行うための４点、たとえば陳列棚の四隅の入力を受け付け、正置化処理を実行する（Ｓ１２０）。

【0090】

そして管理端末２において所定の操作入力を受け付けることで、物体検出処理部２０３は、正置化した正置画像情報に対して物体検出処理を実行して（Ｓ１３０）、当該正置画像情報に写っている物体の種別を分類する（Ｓ１４０）。

【0091】

正置画像情報から物体検出処理を実行した結果の一例を模式的に図１２に示す。図１２において、「ａ」は商品類、「ｂ」は商品タグ類、「ｃ」は棚部材、「ｄ」は「ａ」から「ｃ」以外としてそれぞれ検出した物体の種別を意味している。なお、画像情報から検出した物体の種別は、それぞれの領域に対応づけられていればよく、それぞれの画像上に書き込まれなくてもよい。また検出した物体の領域は、正置画像情報から切り出されていてもよいが、その領域の画像情報が処理可能な状態であれば実際に切り出されていなくてもよい。なお、領域の画像情報を切り出すとは、実際に正置画像情報から当該領域の画像情報を切り出すほか、当該領域の画像情報を切り出さずに処理可能な状態として、座標情報などにより領域を特定する場合も含む。

【0092】

個別判別処理部２０４は、物体検出処理部２０３で検出した物体の領域について、商品類、商品タグ類、棚部材以外の種別の物体の領域（「ｄ」の物体の領域）をＰＯＰの領域として判別して切り出す（Ｓ１５０、Ｓ１６０）。

【0093】

また、個別判別処理部２０４は、物体検出処理部２０３で検出した物体の領域のうち（Ｓ１５０）、種別を商品類として検出した領域について所定条件を充足するかを判別して、ＰＯＰの領域であるかを判別する（Ｓ１７０）。

【0094】

たとえば種別を商品類として検出した物体の領域について、その領域に対して商品密着型の広告（ＰＯＰ）がついているかを判別し、ＰＯＰがあると判別した場合にはその領域の種別をＰＯＰとして判別する。種別を商品類として検出した物体の領域について、陳列商品に付されたＰＯＰを検出する処理を実行する、あるいは商品類として検出した物体の領域の画像情報と、ＰＯＰのない商品の画像情報（商品の標本画像情報）とを比較することで、ＰＯＰを検出する。

【0095】

同様に、種別を商品タグ類として検出した物体の領域については、その物体の領域の画像情報が商品タグ類の要件を満たすか否かを判別する。また、棚部材として検出した物体については、その物体の領域の画像情報が棚部材の要件を満たすか否かを判別する。

【0096】

以上のように、種別を商品類、商品タグ類、棚部材のいずれかとして検出した物体の領域について（Ｓ１５０）、それぞれの物体ごとの所定の条件を充足するかを判別し（Ｓ１７０）、その条件を充足する場合には、その領域の全部または一部の領域をＰＯＰとして判別する（Ｓ１８０）。この処理の一例を図１３に示す。また、図１２の物体検出の結果に対して、種別を商品類、商品タグ類、棚部材のいずれかとして検出した物体の領域において所定条件を充足した領域をＰＯＰの領域として判別した後の各領域の一例を図１４に示す。

【0097】

以上のような処理を検出処理部２０で実行することで、画像情報におけるＰＯＰの領域を検出することができる。これによって、各種の陳列棚を撮影した撮影画像情報からさまざまな種類のＰＯＰの領域の画像情報を検出でき、後述するモデル処理部２１における学習モデルの生成に用いる画像情報を取得できる。

【0098】

つぎに検出処理部２０で検出したＰＯＰの画像情報を用いて、モデル処理部２１で学習モデルの生成処理を行う処理を説明する（Ｓ２００）。

【0099】

検出処理部２０において検出したＰＯＰ画像情報の一例を図１５に示す。この時点では撮影画像情報から対象物の画像情報であるＰＯＰ画像情報を検出しただけなので、対象物であるＰＯＰを識別するためのＰＯＰ識別情報（対象物識別情報）は判明していなくてもよい。

【0100】

そして、分類処理部２１０は、対象物画像情報となるＰＯＰ画像情報を用いて、公知のクラスタリング処理などを実行することで、類似する画像情報同士をグループ化し、複数のグループに分類を行う（Ｓ２１０）。この状態を模式的に示すのが図１６である。

【0101】

仮識別情報処理部２１１は、分類処理部２１０で分類したグループごとに、仮識別情報を対応づける（Ｓ２２０）。たとえば「ａ１２３」、「ｂ４５６」、「ｃ７８９」、「ｄ０１２」、「ｅ３４５」など、それぞれのグループごとに任意の仮識別情報を対応づける。この状態を模式的に示すのが図１７である。これによって、それぞれのグループの対象物画像情報について、仮識別情報をラベルとして対応づける。そしてこれらの対象物画像情報となるＰＯＰ画像情報と仮識別情報のラベルとを用いたデータセットを学習用データとする。

【0102】

分類処理部２１０で分類したグループごとに仮識別情報を対応づけると、モデル生成処理部２１２は、学習用データとして、公知の手法により機械学習を行い（Ｓ２３０）、学習モデルを生成する（Ｓ２４０）。これを模式的に示すのが図１８である。なお、図１８ではそれぞれのグループで一つのＰＯＰ画像情報と仮識別情報とを学習用データセットとしている場合を示しているが、実際には、各グループにおける各ＰＯＰ画像情報と仮識別情報とを対応づけて学習用データセットとして機械学習を行うことが好ましい。同一のグループにおいても完全に一致する画像情報だけではなく、多少なりとも相違があり、それらもそのグループにおける仮識別情報に対応づけて機械学習させることで精度向上につなげられる可能性があるからである。

【0103】

つぎに、標本情報受付処理部２１３は、対象物識別情報となるＰＯＰ識別情報が判明している画像情報である標本情報の入力を受け付け、入力を受け付けた標本情報をＳ２４０で生成した学習モデルに入力する（Ｓ２５０）。認識処理部２１４は、標本情報の入力を受け付け、学習モデルを用いた機械学習による出力結果を出力する。この出力結果としては、仮識別情報が出力される（Ｓ２６０）。これを模式的に示すのが図１９である。

【0104】

標本情報は、あらかじめＰＯＰ識別情報などの対象物識別情報が判明している。そのため、認識処理部２１４で出力した仮識別情報は、学習モデルに入力した標本情報の対象識別情報に対応すると考えられる。そのため、出力処理部２１５は、出力した仮識別情報と、入力した標本情報の対象物識別情報とを紐付けする（Ｓ２７０）。これを模式的に示すのが図２０である。

【0105】

この紐付けによって、仮識別情報と、対象物識別情報であるＰＯＰ識別情報との対応付けができるので、その対応付けを記憶しておくことで、認識処理部２１４が出力した仮識別情報を、対応する対象物識別情報で置き換えて出力すれば、同定処理を行う画像情報を学習モデルに入力した場合、学習モデルの出力値として、対象物識別情報の出力を行うことができる。

【0106】

以上のようなモデル処理によって、対象物の機械学習用の学習モデルを生成することができる。たとえば陳列棚を撮影した画像情報からＰＯＰを検出し、その検出したＰＯＰを用いて、入力した画像情報からＰＯＰを検出するための機械学習用の学習モデルを生成することができる。

【実施例2】

【0107】

検出処理部２０における検出処理の別の実施例を説明する。本実施例の検出処理部２０では、さらに領域検出処理部２０５を有している。本実施例における検出処理部２０の構成の一例を図２１に、検出処理部２０の処理プロセスの一例を図２２のフローチャートに示す。また、処理の概要の一例を図２３に、個別判別処理の一例を図２４に示す。

【0108】

領域検出処理部２０５は、画像情報記憶部２０１に記憶する画像情報（正置化した画像情報も含む）から、商品を陳列する領域である商品陳列領域、商品タグが配置される領域である商品タグ領域、棚の上部の領域である棚上部領域を検出する。商品陳列領域、商品タグ領域、棚上部領域の検出としては、管理端末２の操作者が手動で商品陳列領域、商品タグ領域、棚上部領域を指定し、それを領域検出処理部２０５が受け付けてもよいし、初回に手動で入力を受け付けた商品陳列領域、商品タグ領域、棚上部領域の情報に基づいて、二回目以降は自動で商品陳列領域、商品タグ領域、棚上部領域を検出してもよい。また、領域検出処理部２０５は、これら以外の領域を検出して処理対象としてもよい。

【0109】

図２５に、商品が陳列されている陳列棚を撮影した画像情報を正置化した画像情報に対して、商品陳列領域と商品タグ領域と棚上部領域の指定の入力を受け付けた状態を模式的に示す。

【0110】

なお、領域検出処理部２０５は、商品陳列領域、商品タグ領域、棚上部領域を検出する際に、深層学習（ディープラーニング）を用いて商品陳列領域、商品タグ領域、棚上部領域を特定してもよい。この場合、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して、上記正置化した画像情報を入力し、その出力値に基づいて、商品陳列領域、商品タグ領域、棚上部領域を検出してもよい。また学習モデルとしては、さまざまな画像情報に商品陳列領域、商品タグ領域、棚上部領域を正解データとして与えたものを用いることができる。

【0111】

領域検出処理部２０５は、上述のように深層学習を用いるほか、各種の公知の方法を用いて領域を検出してもよい。

【0112】

領域検出処理部２０５は、検出した領域について、実際に画像情報として切り出してもよいし、実際には画像情報としては切り出さずに，領域の範囲を特定するなどによって、仮想的に切り出すのでもよい。この場合、領域の範囲は座標によって特定できる。

【0113】

本実施例における物体検出処理部２０３は、実施例１の検出処理部２０のように、正置画像情報の範囲から物体検出処理を行ってもよいし、領域検出処理部２０５で検出した各領域ごとに行ってもよい。

【0114】

本実施例における個別判別処理部２０４は、物体検出処理部２０３で検出した各物体について、その物体の種別（クラス）と、その物体がある領域とを用いて、当該物体の種別を判別する。たとえば図２３および図２４に示す判別表など、あらかじめ定めた個別判別の条件に従って判別をする。

【0115】

図２３における「ａ１」から「ａ４」、「ｂ１」から「ｂ１０」、「ｄ１」から「ｄ５」は、図２４における「ａ１」から「ａ４」、「ｂ１」から「ｂ１０」、「ｄ１」から「ｄ５」に対応している。

【0116】

つぎに本実施例における検出処理部２０の処理プロセスの一例を図２２のフローチャートを用いて説明をする。

【0117】

店舗の陳列棚が撮影された撮影画像情報は、画像情報入力端末３から入力され、管理端末２の画像情報入力受付処理部２００でその入力を受け付ける（Ｓ３００）。また、撮影日時、店舗識別情報、陳列棚識別情報、撮影画像情報の画像情報識別情報の入力を受け付ける。そして、画像情報入力受付処理部２００は、入力を受け付けた画像情報、撮影日時、店舗識別情報、陳列棚識別情報、撮影画像情報の画像情報識別情報を対応づけて画像情報記憶部２０１に記憶させる。

【0118】

管理端末２において所定の操作入力を受け付けると、画像情報正置化処理部２０２は、画像情報記憶部２０１に記憶する撮影画像情報を抽出し、台形補正処理などの正置化処理を行うための頂点である任意の４点の、たとえば陳列棚の四隅の入力を受け付け、正置化処理を実行する（Ｓ３１０）。

【0119】

そして管理端末２において所定の操作入力を受け付けることで、領域検出処理部２０５は、正置化した画像情報に対して領域検出処理を行い、商品陳列領域、商品タグ領域、棚上部領域を検出し（Ｓ３２０）、各領域の範囲を判定する。

【0120】

また、管理端末２において所定の操作入力を受け付けることで、物体検出処理部２０３は、正置化した画像情報に対して物体検出処理を実行して（Ｓ３３０）、当該画像情報に写っている物体の種別を分類する（Ｓ３４０）。画像情報から物体検出処理を実行した結果の一例は、実施例１と同様に図１２のように分類される。

【0121】

そして、個別判別処理部２０４は、物体検出処理部２０３で検出した画像情報の各物体について、その物体の種別と、当該物体がある領域（Ｓ３２０で判定した領域）とを用いて、あらかじめ定めた判定条件に従い、検出した物体の分類を行う。

【0122】

また、個別判別処理部２０４は、物体検出処理部２０３で検出した画像情報の物体の種別と、その物体のある領域とを用いて、所定条件を充足するかを判定し（Ｓ３５０）、その物体の種別がＰＯＰであるか、ＰＯＰ以外（商品類、商品タグ類、棚部材など）であるかを判定する（Ｓ３６０、Ｓ３７０）。なお、各物体がどの領域にあるかは、たとえば、その物体の領域の重心が、商品類、商品タグ類、棚上部のどの領域に含まれているかなど、適宜の方法で判定すればよい。

【0123】

たとえば商品陳列領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２０４は、当該物体の領域に対して、商品密着型のＰＯＰがあるかを判定する。たとえば、実施例１と同様に、種別を商品類として検出した物体の領域から陳列商品に付けられたＰＯＰを検出する方法と、種別を商品類として検出した物体の領域の画像情報とＰＯＰのない商品の画像情報との比較によりＰＯＰを検出する方法により判別をする。もし商品密着型ＰＯＰが検出できた場合には、その領域をＰＯＰとして判別をし（ａ２）、それ以外の領域を商品類として判別をする（ａ１）。また、商品密着型ＰＯＰが検出できなかった場合には、その領域についてＯＣＲ認識処理を実行し、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれているかを判別し、含まれていない場合には当該領域の物体は商品類であると判別する（ａ１）。含まれている場合には、その領域の物体はテスターや見本などのＰＯＰであると判別する（ａ３）。

【0124】

また、商品陳列領域にある物体であって、その物体の種別が商品タグ類の場合には、個別判別処理部２０４は、その領域にある物体はＰＯＰであると判別をする（ｄ１）。

【0125】

また、商品陳列領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２０４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0126】

また、商品陳列領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、ＰＯＰであると判別をする（ｄ２）。

【0127】

商品タグ領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２０４は、テスターや見本などのＰＯＰであると判別をする（ｄ４）。

【0128】

また商品タグ領域にある物体であって、その物体の種別が商品タグ類の場合には、その物体の領域に対してＯＣＲ認識処理を行い、その領域に手書きがあると判定した場合には、店舗（小売り）が作成したＰＯＰ（小売りＰＯＰ）であると判別をする（ｂ４）。当該物体の領域に対してＯＣＲ認識処理の結果、その領域に手書きがないと判定した場合であって、価格および商品名の表示が含まれていると判定した場合であり、かつ「会員」などの条件を示す単語が含まれている場合には、その物体の種別はセット商品表示を示す商品タグであると判別する（ｂ２）。一方、価格および商品名の表示が含まれていると判定した場合であって、「会員」などの条件を示す単語が含まれていない場合には、その物体の種別は商品タグであると判別をする（ｂ１）。上記の価格および商品名の表示が含まれていないと判定した場合であり、かつポイントの表示がある場合にはその物体の種別は「ポイント表示」のＰＯＰであると判別をする（ｂ３）。さらに、上記においてポイントの表示がない場合には、商品のメーカーが作成したＰＯＰ（メーカーＰＯＰ）であると判別をする（ｂ９）。なお、ここではメーカーＰＯＰと小売りＰＯＰとを区別して判別する場合を示したが、単にＰＯＰとして判別をしてもよい。

【0129】

また商品タグ領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２０４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0130】

また商品タグ領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、その領域についてＯＣＲ認識処理を実行する。そして、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれているかを判別し、含まれている場合にはテスターや見本などのＰＯＰであると判別をする（ｄ４）。一方、「テスター」、「見本」、「サンプル」などＰＯＰで用いられる所定の単語が含まれていない場合には、宣伝グッズなどのＰＯＰであると判別をする（ｄ３）。

【0131】

棚上部領域にある物体であって、その物体の種別が商品類の場合には、個別判別処理部２０４は、ストック商品であると判別をする（ａ４）。

【0132】

また棚上部領域にある物体であって、その物体の種別が商品タグ類の場合には、その物体の領域に対してＯＣＲ認識処理を行い、その領域に手書きがあると判定した場合には、小売りＰＯＰであると判別をする（ｂ８）。当該物体の領域に対してＯＣＲ認識処理の結果、その領域に手書きがないと判定した場合であって、価格および商品名の表示が含まれていると判定した場合であり、かつ「会員」などの条件を示す単語が含まれている場合には、その物体の種別はセット商品表示を示す商品タグであると判別する（ｂ６）。一方、価格および商品名の表示が含まれていると判定した場合であって、「会員」などの条件を示す単語が含まれていない場合には、その物体の種別は商品タグであると判別をする（ｂ５）。上記の価格および商品名の表示が含まれていないと判定した場合であり、かつポイントの表示がある場合にはその物体の種別は「ポイント表示」のＰＯＰであると判別をする（ｂ７）。さらに、上記においてポイントの表示がない場合には、メーカーＰＯＰであると判別をする（ｂ１０）。

【0133】

また棚上部領域にある物体であって、その物体の種別が棚部材の場合には、個別判別処理部２０４は、その領域にある物体は棚部材であると判別をする（ｃ）。

【0134】

また棚上部領域にある物体であって、その物体の種別が商品類、商品タグ類、棚部材以外である場合には、大型の宣伝グッズなどのＰＯＰであると判別をする（ｄ５）。

【0135】

以上のように、個別判別処理部２０４は、領域検出処理部２０５で検出した領域と、物体検出処理部２０３で検出した物体の種別とを用いて、当該物体をＰＯＰであるか、ＰＯＰではないかを判別し、画像情報におけるＰＯＰの領域を検出することができる。

【実施例3】

【0136】

実施例１および実施例２の処理の変形例として、図２６のフローチャートに示す処理を行ってもよい。この場合、個別判別処理部２０４は、物体検出処理部２０３で検出した物体の種別が商品類、商品タグ類、棚部材以外である場合には、その物体はＰＯＰであると判別をする（Ｓ４６０）。そして、それ以外の物体について、図２２のＳ３５０乃至Ｓ３７０の処理と同様の処理を実行すればよい。すなわち、物体検出処理部２０３で検出した画像情報の物体の種別と、その物体のある領域とを用いて、所定条件を充足するかを判定し（Ｓ４７０）、その物体がＰＯＰであるか、ＰＯＰ以外（商品類、商品タグ類、棚部材など）であるかを判定する（Ｓ４８０、Ｓ４９０）。なお、Ｓ４００からＳ４４０までの処理は、Ｓ３００からＳ３４０までの処理と同様の処理でよい。

【実施例4】

【0137】

実施例１乃至実施例３の検出処理部２０の処理に加え、モデル処理部２１における変形例を説明する。分類処理部２１０で行う分類処理は、人間が行う分類処理よりも精度が劣る場合もある。そのため、誤りの混入が発生することがある。そこで、分類処理部２１０により分類した各グループの画像情報（対象画像情報）に対してクレンジング処理を行い、グループに分類された画像情報のうち、誤りが含まれている可能性がある対象物画像情報を除外して、モデル生成処理部２１２の学習用データとして用いる対象物画像情報を減らす処理を行うクレンジング処理部２１６を備えていてもよい。この場合のモデル処理部２１の構成の一例を図２７に示す。

【0138】

すなわち、分類処理部２１０でグループごとに対象物画像情報を分類すると、そのグループにおける画像情報の特徴を示す特徴量などの指標値を算出する。そして、そのグループにおいて、対象物画像情報ごとの指標値の中央値や平均値などの基準値からの情報距離（基準値から画像情報ごとの指標値までの乖離を所定の算出式で算出した値）を算出し、一定値または一定の比率以上、情報距離が乖離している対象物画像情報は、当該グループから除外してもよい。

【0139】

またクレンジング処理として情報距離を用いるほか、画像情報の類似度を用いてもよい。この場合、グループにおける画像情報同士の類似度を数値化し、一定以上の類似度が算出された画像情報の枚数が所定の値以上であれば、対象物画像情報として残し、所定の値未満であれば対象物画像情報から除外する。

【0140】

たとえばあるグループに５枚の対象画像情報（画像情報１から画像情報５）があった場合、その５枚の画像情報について、それぞれ他の画像情報との類似度を算出する。すなわち、画像情報１は画像情報２から画像情報５、画像情報２は画像情報３から画像情報５、画像情報３は画像情報４から画像情報５、画像情報４は画像情報５との類似度を算出する。これによって、各画像情報同士の類似度が算出できる。

【0141】

画像情報１について、画像情報２との類似度が０．９、画像情報３との類似度が０．９５、画像情報４との類似度が０．３、画像情報５との類似度が０．８であり、画像情報２について画像情報３との類似度が０．８、画像情報４との類似度が０．２、画像情報５との類似度が０．６、画像情報３について画像情報４との類似度が０．４、画像情報５との類似度が０．９、画像情報４について画像情報５との類似度が０．５であったとする。

【0142】

ここで、基準とする画像情報の類似度を０．７５、基準度を下回る画像情報の枚数を３枚としたときに、画像情報１は基準とする類似度を下回るのは画像情報４の１枚、画像情報２は基準とする類似度を下回るのは画像情報４と画像情報５の２枚、画像情報３は基準とする類似度を下回るのは画像情報４の１枚、画像情報４は基準とする類似度を下回るのは画像情報１、画像情報２、画像情報３、画像情報５の４枚、画像情報５は基準とする類似度を下回るのは、画像情報２と画像情報４の２枚となる。

【0143】

したがって、クレンジング処理部２１６は、基準とする類似度を下回る画像情報が３枚以上であった画像情報４を当該グループから除外し、当該グループの対象物画像情報としては、画像情報１、画像情報２、画像情報３、画像情報５の４枚として、仮識別情報処理部２１１の処理を実行させる。

【0144】

本実施例のようにグループ化した対象物画像情報のうち、乖離した画像情報を除外することで、グループ化した対象物画像情報を絞ることができ、精度向上につなげることができる。

【実施例5】

【0145】

陳列棚に設置等されているＰＯＰを切り出して対象物画像情報としてのＰＯＰ画像情報を抽出する場合、顧客の注目を集めるため、同じようなＰＯＰを上下左右のいずれかの方向に複数、隣接して設置することがある。

【0146】

そこで、陳列棚を撮影した画像情報から対象物画像情報としてのＰＯＰ画像情報を抽出した後、分類処理部２１０は、隣接している対象物画像情報としてのＰＯＰ画像情報の類似度を比較して、それが一定の条件を充足する場合、たとえば類似度が所定の閾値以上であれば、同一種別の対象物であると判定し、隣接していたＰＯＰの対象物画像情報としてのＰＯＰ画像情報を同一のグループに分類するようにしてもよい。

【実施例6】

【0147】

陳列棚に陳列している商品のＰＯＰを対象物とする場合、あらかじめ陳列される可能性のあるＰＯＰの学習モデルを生成しておくことが好ましい。しかし、その場合、対象となるＰＯＰは数百から数千、場合によっては数万単位になる可能性がある。この場合、数千から数万単位の学習モデルを認識可能な学習モデルとすると、標本情報受付処理部２１３で入力させる標本情報が数千から数万単位となり、従来の学習モデルよりも作業量は減るが、それでも作業負担は大きい。

【0148】

一方、一般的に１０％程度の商品の種類で、その分類の９割程度の売上げを占める傾向があることがマーケティングとして知られている。そのため、標本情報受付処理部２１３に入力させる標本情報として、売上高が多い商品のＰＯＰを用いてもよい。この場合、マーケティング会社などにより提供されている商品のＰＯＰなどを用いてもよい。

【0149】

これによって、売上高ベースであれば９割程度の商品のＰＯＰの認識ができることとなり、実務的には十分に対象物識別情報の出力としては耐えうるものとなる。なお、あまり売上げができていない商品のＰＯＰが学習モデルに入力された場合には、対象物識別情報と仮識別情報との紐付けがなされていないので、出力処理部２１５はそのまま仮識別情報を出力することとなる。出力処理部２１５が、仮識別情報と対象物識別情報との対応付けがない仮識別情報を出力する場合には、対応情報なし、などの所定の表示を行ってもよい。

【0150】

また、ある特定の会社などの組織体の商品のＰＯＰのみの認識ができればよいのであれば、その会社の商品の画像情報を標本情報として標本情報受付処理部２１３に入力させてもよい。これによって、ある会社の商品のＰＯＰについては、対象物識別情報を出力することができる。一方、ある会社以外の会社の商品のＰＯＰが入力された場合には、上述の場合と同様、対象物識別情報と仮識別情報との紐付けがなされていないので、出力処理部２１５はそのまま仮識別情報を出力することとなる。出力処理部２１５が、仮識別情報と対象物識別情報との対応付けがない仮識別情報を出力する場合には、対応情報なし、などの所定の表示を行ってもよい。

【実施例7】

【0151】

実施例１乃至実施例６のように生成した学習モデルに対しては、精度向上を目的として、再度、学習モデルを再構築してもよい。この場合、新たな標本情報を入力して、対象物識別情報が紐付けられていない仮識別情報に、あらたに対象物識別情報を紐付くように構成してもよいし、あるいは、新たな対象物が認識可能なように、新たな対象物の対象物画像情報を用いて分類処理部２１０における分類処理を実行させてもよい。

【実施例8】

【0152】

上述の実施例１乃至実施例７では、陳列棚を撮影した画像情報から、その陳列棚に陳列されたＰＯＰを同定する場合の学習モデルを生成する場合を説明したが、それ以外の場合にも適用できる。とくに本発明は、画像情報から多種類の対象物を同定する場合に自動化する場合に有用である。

【0153】

一例として、対象物として動物の場合がある。たとえば人が近づかないような場所にアシカやオットセイのような複数種類の動物が大量に生息をしており、その種類と生息数を効率的に把握するような場合に適用できる。この場合、ドローンなどでその生息地を上空から撮影し、個体ごとに対象物画像情報を切り出し、個体ごとの対象物画像情報を分類処理部２１０で画像分類処理を実行し、グループ化する。そして、仮識別情報処理部２１１がグループごとに仮識別情報を対応づけて生成した学習用データを用いて、モデル生成処理部２１２で機械学習を行い、学習モデルを生成する。そして標本情報受付処理部２１３で、種類別の標本情報の入力を受け付けて、認識処理部２１４で入力を受け付けた標本情報を入力値として学習モデルに入力し、仮識別情報を出力させる。これによって仮識別情報と、入力した標本情報の対応する対象物識別情報（動物の学名など）を紐付けて、出力処理部２１５が対象物識別情報を出力可能とする。

【0154】

上記と同様に、対象物として鳥類、植物としてもよい。鳥類、植物の場合であっても、上述の動物と同様に処理が行え、「動物」を「鳥類」、「植物」と読み替えて処理が実行できる。

【産業上の利用可能性】

【0155】

本発明の情報処理システム１を用いることで、機械学習で用いる学習モデルを効率よく生成することができる。

【符号の説明】

【0156】

１：情報処理システム
２：管理端末
３：画像情報入力端末
２０：検出処理部
２１：モデル処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２００：画像情報入力受付処理部
２０１：画像情報記憶部
２０２：画像情報正置化処理部
２０３：物体検出処理部
２０４：個別判別処理部
２０５：領域検出処理部
２１０：分類処理部
２１１：仮識別情報処理部
２１２：モデル生成処理部
２１３：標本情報受付処理部
２１４：認識処理部
２１５：出力処理部
２１６：クレンジング処理部

【要約】

【課題】
本発明は、機械学習における学習モデルの生成に関する情報処理システムを提供することを目的とする。
【解決手段】
機械学習で用いる学習モデルに関する処理を実行する情報処理システムであって、画像情報に写っている物体を検出する物体検出処理部と、検出した物体の種別または種別の候補を判別する個別判別処理部と、物体の種別のうち、学習モデルを生成する対象物の種別の画像情報についてグループごとに分類する分類処理部と、分類したグループと仮識別情報を対応づける仮識別情報処理部と、グループに含まれる対象物の画像情報と仮識別情報とを含む学習用データを用いて、機械学習の学習処理を実行して学習モデルを生成するモデル生成処理部と、を有する情報処理システムである。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】