特許 7598581 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   G06V 10/774 20220101AFI20241205BHJP

【ＦＩ】

G06V10/774

【請求項の数】 6

(21)【出願番号】P 2023173897

(22)【出願日】2023-10-05

【審査請求日】2023-10-06

(73)【特許権者】

【識別番号】516278171

【氏名又は名称】株式会社マーケットヴィジョン

(74)【代理人】

【識別番号】100205084

【弁理士】

【氏名又は名称】吉浦 洋一

(72)【発明者】

【氏名】辛 東主

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２２－０１８９０５（ＪＰ，Ａ）

【文献】特開２０２２－１２９８６５（ＪＰ，Ａ）

【文献】特開２０２１－０５１５８９（ＪＰ，Ａ）

【文献】高岡佑丞，Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いた基板外観検査 ３Ｄ－ＡＯＩ『Ｓｈｅｒｌｏｃｋ－３Ｄ－１０００Ｓ』，画像ラボ，日本，日本工業出版株式会社，2019年01月10日，第30巻 第1号，pp.75～80

【文献】横井一貴 外２名，特徴空間の自動構築に基づく類似画像検索システム，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2003年01月28日，第102巻 第628号，pp.91～96

【文献】梶谷知嗣 外１名，例示画像補完による画像検索システム，情報処理学会 研究報告 グループウェアとネットワークサービス（ＧＮ）２０１４－ＧＮ－０９１［ｏｎｌｉｎｅ］，日本，情報処理学会，2014年03月06日，pp.1～3

【文献】會下拓実 外２名，ＣＮＮ特徴量学習に基づく画像検索による食事画像カロリー量推定，電子情報通信学会論文誌Ｄ 早期公開論文 ２０１７ＩＵＰ０００９ ［ｏｎｌｉｎｅ］ ，日本，電子情報通信学会，2018年05月02日，pp.1～11

【文献】谷洸明 外１名，ＤＣＮＮｓの中間層を統合した画像検索用インデックスの生成法，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ） ２０１９－ＣＶＩＭ－２１９ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2019年10月31日，pp.1～7

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

ラベリングされていない画像データのデータ群から機械学習の学習用の画像データを抽出する情報処理システムであって、
前記情報処理システムは、
前記データ群における画像データおよびクエリ画像データを、機械学習のネットワークに入力を行う画像入力処理部と、
前記データ群における画像データおよびクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴量を出力するネットワーク処理部と、
前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データを抽出する抽出処理部と、を有しており、
前記画像入力処理部は、
前記抽出処理部で抽出した学習用データの数が所定条件を充足しない場合には、前記抽出した学習用データを、新たなクエリ画像データとして前記機械学習のネットワークにさらに入力し、
前記ネットワーク処理部は、
前記新たなクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した新たなクエリ画像データの特徴量を出力し、
前記抽出処理部は、
前記新たなクエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データをさらに抽出する、
ことを特徴とする情報処理システム。

【請求項2】

前記情報処理システムは、
前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて類似度を算出する類似処理部、を有しており、
前記抽出処理部は、
前記類似度に基づいて出力された画像データの中から、学習用データとする画像データの選択を受け付け、前記選択された画像データを前記学習用データとして抽出する、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記ネットワーク処理部は、
前記機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴ベクトルを抽出し、
前記類似処理部は、
前記クエリ画像データの特徴ベクトルと、前記データ群における画像データの特徴ベクトルとの間の距離を前記類似度として算出し、
前記算出した類似度を用いて、前記データ群における画像データをソートして、所定の順位の画像データまで出力する、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記類似処理部は、
前記クエリ画像データの特徴ベクトルと、前記データ群における画像データの特徴ベクトルとの間のコサイン類似度を前記類似度として算出する、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記所定の層は、
前記中間層における最終層の一層前および／または二層前の層である、
ことを特徴とする請求項１から請求項４のいずれかに記載の情報処理システム。

【請求項6】

コンピュータを、
ラベリングされていない画像データのデータ群における画像データおよびクエリ画像データを、機械学習のネットワークに入力を行う画像入力処理部、
前記データ群における画像データおよびクエリ画像データの入力を受け付けて、機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴量を出力するネットワーク処理部、
前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データを抽出する抽出処理部、として機能させる情報処理プログラムであって、
前記画像入力処理部は、
前記抽出処理部で抽出した学習用データの数が所定条件を充足しない場合には、前記抽出した学習用データを、新たなクエリ画像データとして前記機械学習のネットワークにさらに入力し、
前記ネットワーク処理部は、
前記新たなクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した新たなクエリ画像データの特徴量を出力し、
前記抽出処理部は、
前記新たなクエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データをさらに抽出する、
ことを特徴とする情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深層学習（ディープ・ラーニング）などの機械学習で用いる学習用データを効率的に収集するための情報処理システムに関する。

【背景技術】

【0002】

深層学習などの機械学習は、学習用データで学習したネットワークを用いて、所定の処理、たとえば画像分類を行うコンピュータシステムである。機械学習によるネットワークを用いた画像分類は、分類精度も高く、近年ではさまざまな目的で使用されている。機械学習、特に深層学習では、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデル（ネットワーク）に対して、画像データを入力することで、所定の出力を行う。

【0003】

その一方、処理対象として未学習の画像データを入力することは、通常はできない。仮に入力したとしても、未学習の対象であると判定することは困難で、判定精度が著しく悪い異なる分類と判定してしまう。

【0004】

そのため、未学習の画像データを処理対象とする場合、再度、学習用データを用いて機械学習を行う必要がある。その場合、学習に用いる学習用データを適切に収集しなければならないが、その学習用データを収集するのは、従来は、大量の画像データのなかから、人間が目視により選択をしていることが通常である。

【0005】

そこで学習用データの収集を行うシステムとして、下記特許文献１、特許文献２がある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－０７１８１１号公報

【文献】特開２０２３－１０４０４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１の収集方法は、どのように学習用データを生成するかを示す処理に過ぎず、学習用データに用いる画像データを効率的に収集することはできない。

【0008】

また特許文献２の収集方法では、推論処理を用いて学習用データを収集するため、推論の精度が高くないと適切な画像データを収集することはできない。適切な画像データが収集できなければ、機械学習の精度を向上させることはできず、実際の機械学習に用いるのは容易ではない。

【0009】

たとえば、店舗の陳列棚を撮影した画像データから、機械学習を用いて、その陳列棚に陳列している商品を認識することがある。この場合、あらかじめ処理対象となる商品の画像データを学習用データとして学習させておき、学習したネットワークを用いて商品認識処理を実行する。

【0010】

そして、従来は認識していなかった商品、新しい商品についても認識を行いたい場合には、その新しい認識対象の商品の画像データを学習用データとして当該ネットワークに新たに学習することで機械学習のネットワークを生成する必要がある。新しい認識対象の商品の画像データを用いて学習する場合、いわゆる見本としてクリアな状態（光や影などが写り込まないなど、ノイズのない状態）の画像データを、当該商品を販売するメーカーなどから取得して、それを学習用データとして用いることは可能である。

【0011】

しかし、見本として取得するきれいな状態の画像データを学習用データとして用いた場合、画像分類（画像認識）の精度が低下するという課題がある。すなわち、入力するのは、実際の店舗の陳列棚を撮影した画像であり、その状態の商品には光、影などのノイズが含まれていることが一般的である。そのため、クリアな状態の画像データを学習用データとして用いても精度向上に限界がある。

【0012】

そこで、実際の店舗の陳列棚を撮影した画像データから、商品の領域を切り出した画像データを学習用データとして用いることが考えられるが、これらの画像データは、当然、ラベリングされていないことが一般的である。そのため、新たに処理対象とする商品の画像データを商品名などから検索することができない。

【0013】

従来は、ラベリングされていない大量の画像データのなかから人間が目視で画像データを特定し、それを学習用データとして用いていたが、作業負担が著しく大きい課題がある。

【0014】

そこで、ラベリングされていない大量の画像データのなかから、目的となる新たな処理対象となる商品の画像データを効率よく収集することが求められている。

【課題を解決するための手段】

【0015】

本発明者は上記課題に鑑み、ラベリングされていない画像データのデータ群から、機械学習の学習用データに用いる画像データを効率よく収集する、情報処理システムを発明した。

【0016】

第１の発明は、ラベリングされていない画像データのデータ群から機械学習の学習用の画像データを抽出する情報処理システムであって、前記情報処理システムは、前記データ群における画像データおよびクエリ画像データを、機械学習のネットワークに入力を行う画像入力処理部と、前記データ群における画像データおよびクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴量を出力するネットワーク処理部と、前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データを抽出する抽出処理部と、を有しており、前記画像入力処理部は、前記抽出処理部で抽出した学習用データの数が所定条件を充足しない場合には、前記抽出した学習用データを、新たなクエリ画像データとして前記機械学習のネットワークにさらに入力し、前記ネットワーク処理部は、前記新たなクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した新たなクエリ画像データの特徴量を出力し、前記抽出処理部は、前記新たなクエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データをさらに抽出する、情報処理システムである。

【0017】

本発明の情報処理システムを用いることで、ラベリングされていない大量の画像データのなかから、目的となる新たな処理対象となる商品の画像データを効率よく収集することが可能となる。
ラベリングされていない画像データのデータ群に、機械学習の対象とする画像データが少ししか含まれていない場合、一度の処理では、機械学習の対象とする画像データを十分な数だけ抽出できない可能性もある。そこで、抽出した学習用データを、さらに当該ネットワークに入力して同様の処理を実行することで、いわば芋づる式に、機械学習の対象とする画像データを抽出することができる。

【0018】

上述の発明において、前記情報処理システムは、前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて類似度を算出する類似処理部、を有しており、前記抽出処理部は、前記類似度に基づいて出力された画像データの中から、学習用データとする画像データの選択を受け付け、前記選択された画像データを前記学習用データとして抽出する、情報処理システムのように構成することができる。

【0019】

上述の発明において、前記ネットワーク処理部は、前記機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴ベクトルを抽出し、前記類似処理部は、前記クエリ画像データの特徴ベクトルと、前記データ群における画像データの特徴ベクトルとの間の距離を前記類似度として算出し、前記算出した類似度を用いて、前記データ群における画像データをソートして、所定の順位の画像データまで出力する、情報処理システムのように構成することができる。

【0020】

ソートして出力される画像データには、機械学習の対象とはならない画像データを含む場合もある。そこで、本発明のように、機械学習の対象とする画像データに類似する順にデータ群における画像データをソートすることで、類似性に基づく画像データの出力が可能となる。そのため、機械学習の対象とする画像データを選択しやすくなる。とくに操作者が選択を行う場合には、まとまって画像データが表示され安くなるので、機械学習の対象とする画像データの選択が容易となる。

【0021】

上述の発明において、前記類似処理部は、前記クエリ画像データの特徴ベクトルと、前記データ群における画像データの特徴ベクトルとの間のコサイン類似度を前記類似度として算出する、情報処理システムのように構成することができる。

【0022】

本発明のようにコサイン類似度を類似性判定の演算方法として用いることで、比較対象とする画像データが、たとえば数十万件あり、総当たりで演算をしても十分な処理速度を確保でき、処理時間の軽減を図ることができる。

【0025】

ラベリングされていない画像データのデータ群に、機械学習の対象とする画像データが少ししか含まれていない場合、一度の処理では、機械学習の対象とする画像データを十分な数だけ抽出できない可能性もある。そこで、抽出した学習用データを、さらに当該ネットワークに入力して同様の処理を実行することで、いわば芋づる式に、機械学習の対象とする画像データを抽出することができる。

【0026】

上述の発明において、前記所定の層は、前記中間層における最終層の一層前および／または二層前の層である、情報処理システムのように構成することができる。

【0027】

本発明者の実験によれば、これらの層から出力される特徴量を用いて処理を実行すると、精度よく、画像データの抽出が可能となることが判明した。

【0028】

第１の発明の情報処理システムは、本発明の情報処理プログラムをコンピュータに読み込ませて実行することで実現できる。すなわち、コンピュータを、ラベリングされていない画像データのデータ群における画像データおよびクエリ画像データを、機械学習のネットワークに入力を行う画像入力処理部、前記データ群における画像データおよびクエリ画像データの入力を受け付けて、機械学習のネットワークの中間層における所定の層から前記入力した画像データの特徴量を出力するネットワーク処理部、前記クエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データを抽出する抽出処理部、として機能させる情報処理プログラムであって、前記画像入力処理部は、前記抽出処理部で抽出した学習用データの数が所定条件を充足しない場合には、前記抽出した学習用データを、新たなクエリ画像データとして前記機械学習のネットワークにさらに入力し、前記ネットワーク処理部は、前記新たなクエリ画像データの入力を受け付けて、前記機械学習のネットワークの中間層における所定の層から前記入力した新たなクエリ画像データの特徴量を出力し、前記抽出処理部は、前記新たなクエリ画像データの特徴量と、前記データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データをさらに抽出する、情報処理プログラムである。

【発明の効果】

【0029】

本発明の情報処理システムを用いることで、ラベリングされていない画像データのデータ群から、機械学習の学習用データに用いる画像データを効率よく収集することが可能となる。

【図面の簡単な説明】

【0030】

【図1】本発明の情報処理システムの全体の概念の一例を模式的に示す図である。

【図2】本発明の情報処理システムの構成の一例を模式的に示すブロック図である。

【図3】本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。

【図4】本発明の情報処理システムにおける全体の処理の一例を示すフローチャートである。

【図5】クエリ画像データに類似する未学習の画像データをソートした状態の一例を模式的に示す図である。

【図6】選択した学習用データを、新たなクエリ画像データとして用いる処理を模式的に示す図である。

【発明を実施するための形態】

【0031】

本発明の情報処理システム１の全体の概念の一例を図１に模式的に示す。本発明の情報処理システム１の全体の処理機能の一例をブロック図で図２に示す。情報処理システム１は、管理端末２と操作者端末３を用いる。管理端末２は、情報処理システム１を運営する企業等の組織が利用するコンピュータである。また、操作者端末３は、操作者が操作するコンピュータである。

【0032】

情報処理システム１における管理端末２、操作者端末３は、コンピュータを用いて実現される。図３にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは、プログラムの演算処理を実行するＣＰＵなどの演算装置７０と、情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と、情報を表示するディスプレイなどの表示装置７２と、情報の入力が可能なキーボードやマウスなどの入力装置７３と、演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。

【0033】

コンピュータがタッチパネルディスプレイを備えている場合には、表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは、たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが、それに限定するものではない。

【0034】

タッチパネルディスプレイは、そのディスプレイ上で、直接、所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で、表示装置７２と入力装置７３の機能が一体化した装置である。

【0035】

操作者端末３は、上記の各装置のほか、カメラなどの撮影装置を備えていてもよい。操作者端末３として、携帯電話、スマートフォン、タブレット型コンピュータなどの可搬型通信端末を用いることもできる。操作者端末３は、所定の被写体を撮影し、被写体を撮影した画像データ（撮影画像データ）を管理端末２に入力する。たとえば、店舗の陳列棚を撮影し、陳列棚を撮影した画像データ（撮影画像データ）を管理端末２に入力する。この場合、陳列棚には商品が陳列されており、その陳列棚を撮影する。

【0036】

本発明における各手段は、その機能が論理的に区別されているのみであって、物理上あるいは事実上は同一の領域を為していても良い。本発明の各手段における処理は、その処理順序を適宜変更することもできる。また、処理の一部を省略してもよい。たとえば後述する正置化処理を省略することもできる。その場合、正置化処理をしていない画像データに対する処理を実行することができる。

【0037】

情報処理システム１の管理端末２は、画像入力処理部２０とネットワーク処理部２１と類似処理部２２と抽出処理部２３と未学習画像格納部２４と学習用画像格納部２５とを有する。

【0038】

画像入力処理部２０は、後述するネットワーク処理部２１における機械学習のネットワークに画像データの入力を行う。たとえば、後述する未学習画像格納部２４に格納している未学習の画像データ（ラベリングされていない画像データ）の当該ネットワークへの入力と、機械学習の学習対象とする対象のクエリ画像データの当該ネットワークへの入力を行う。クエリ画像データとしては、機械学習の学習対象とする対象物の画像データであって、ネットワーク処理部２１に入力する画像データとして用いる画像データである。ネットワーク処理部２１におけるネットワークに最初に入力するクエリ画像データは、機械学習の学習対象とする対象のクリアな画像データ（ノイズのないサンプル画像データ）であることが多いが、それに限定するものではない。また、後述するように、二回目以降にネットワーク処理部２１のネットワークに入力するクエリ画像データとしては、抽出処理部２３で抽出した画像データ（学習用データとして抽出した学習データ）の一部または全部を、新たなクエリ画像データとして用いることができる。

【0039】

ネットワーク処理部２１は、機械学習の処理を実行する。画像入力処理部２０から受け付けた画像データを、機械学習の処理で用いるネットワーク（あらかじめ学習された画像分類用のネットワーク）に入力し、機械学習の処理を実行する。ネットワーク処理部２１におけるネットワークは、中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルである。ネットワーク処理部２１は、入力を受け付けた画像データについて、そのネットワークにおける通常の画像分類の処理を各層、すなわち、入力層、中間層、出力層で実行する。なお、出力層から出力された出力結果は使用しないので、廃棄する。

【0040】

ネットワーク処理部２１は、当該ネットワークにおける出力層ではなく、中間層における所定の層の処理結果を出力し、それを入力した画像データの特徴量、たとえば特徴ベクトルとして格納する。一例として、ネットワーク処理部２１で用いる学習済のネットワークがmobilenetv2であれば、中間層における最終層の一層前および／または二層前の層であるBottleneck residual blockの層の結果を出力し、それを当該入力した画像データの特徴ベクトルとして格納しておく。出力に用いる中間層における層は、任意の層を適宜選択することができ、上述のBottleneck residual blockの層に限定するものではない。

【0041】

これを、未学習の各画像データについて行い、未学習の各画像データの特徴ベクトルをそれぞれ出力する。

【0042】

また、ネットワーク処理部２１は、クエリ画像データについても同様に、当該ネットワークに入力し、機械学習の処理を実行する。そして、ネットワーク処理部２１は、入力を受け付けたクエリ画像データについて、そのネットワークにおける通常の画像分類の処理を各層、すなわち、入力層、中間層、出力層で実行し、中間層における所定の層の処理結果を出力し、それを入力したクエリ画像データの特徴ベクトルとして格納する。なお、出力層から出力された出力結果は使用しないので、廃棄する。たとえば、ネットワーク処理部２１で用いる学習済のネットワークがmobilenetv2であれば、Bottleneck residual blockの層の結果を出力し、それを当該クエリ画像データの特徴ベクトルとして格納しておく。

【0043】

類似処理部２２は、クエリ画像データと、ネットワーク処理部２１で出力した各画像データとの類似度を算出する。類似度の算出処理の一例としては、類似処理部２２は、クエリ画像データの特徴量（たとえば特徴ベクトル）と、ネットワーク処理部２１で出力した画像データの特徴量（たとえば特徴ベクトル）との間の距離（たとえばコサイン類似度）を算出する。そして、各画像データについて、クエリ画像データとのコサイン類似度を算出し、距離（たとえばコサイン類似度）が高いものから降順にソートをして所定の順位、たとえば３００位まで出力をする。これによって、クエリ画像データに類似する画像データが降順にソートできる。そして類似処理部２２は、ソートした順に画像データを表示装置７２に表示する。なお、類似処理部２２は、ソートした順に画像データを表示させることで、後述の抽出処理部２３の処理を容易にできるので好ましいが、必ずしもソートした順に表示をしなくてもよい。

【0044】

抽出処理部２３は、表示装置７２に表示された画像データのなかから、学習用データとする画像データの選択を受け付け、選択された画像データを学習用データとして抽出して、後述する学習用画像格納部２５に格納する。ここで格納した画像データを学習用データとして機械学習を行う。この機械学習は、ネットワーク処理部２１で用いるネットワークであってもよいし、別のネットワークであってもよい。

【0045】

未学習画像格納部２４は、未学習の画像データを格納する記憶領域である。

【0046】

学習用画像格納部２５は、未学習の画像データのうち、機械学習の学習対象として選択した画像データ（機械学習に用いる学習用データ）を格納する記憶領域である。

【実施例1】

【0047】

つぎに本発明の情報処理システム１の処理の一例を図４のフローチャートを用いて説明する。

【0048】

ネットワーク処理部２１においては、アノテーション済の画像データがすでにあり、それらを機械学習で学習したネットワークを用いて画像分類を行う処理を実行する。また、このネットワークに、処理対象として未学習のものが入力された場合、当該ネットワークから出力される出力結果における確信度が、所定の閾値よりも低い場合には未分類と判定することで、未分類と判定した画像データが、未学習画像格納部２４に格納されるように構成されていることが好ましい。未学習の画像データ、たとえば千枚以上の画像データ、たとえば数千枚から数万枚、数十万枚の画像データは、あらかじめ未学習画像格納部２４に格納されており、この画像データのなかから、機械学習のネットワークで用いる学習用データとして抽出して、学習用画像格納部２５に格納する。

【0049】

本明細書の以下の説明においては、ネットワーク処理部２１におけるネットワークとして、陳列棚を撮影した画像データから切り出した、陳列棚に陳列されている商品の画像データに、あらかじめ機械学習された商品が写っている場合にはその商品名やＪＡＮコードなどの商品識別情報を認識（画像分類）するネットワークを用いる場合を説明する。また、未学習画像格納部２４に格納されている未学習の画像データのデータ群としては、陳列棚を撮影した画像データから切り出した、陳列棚に陳列されている商品の画像データのうち、まだ当該ネットワークでまだ機械学習していない画像データの場合を説明する。たとえば、画像分類の対象となっていない商品の画像データが一例としてある。学習対象とする対象物の画像データとしては、新たに機械学習させようとする学習対象物の画像データ、たとえば新しい商品の画像データが一例としてあげられる。そのため、学習対象とする商品と同じ商品の画像データを、未学習画像格納部２４に格納する未学習の商品の画像データのデータ群から抽出し、それを学習用画像格納部２５に格納することが本発明の情報処理システム１の処理の目的となる。

【0050】

なお、本明細書は、上述の例の場合に限られるものではなく、何らかの画像分類を行うネットワークであり、それを用いて未学習の画像データのデータ群のなかから、学習対象物となる対象物の画像データを学習用データとして抽出するのであれば、どのようなネットワーク、対象物であってもよく、その限定はない。

【0051】

画像入力受付処理部は、未学習画像格納部２４に格納されている各種商品の各画像データ（未学習の画像データ）をネットワーク処理部２１におけるネットワークに入力する（Ｓ１００）。また学習対象物とする商品のクエリ画像データの入力を受け付け、ネットワーク処理部２１におけるネットワークに入力する（Ｓ１００）。

【0052】

ネットワーク処理部２１は、画像入力受付処理部から入力を受け付けた、各種商品の各画像データ、クエリ画像データについて、それぞれ機械学習のネットワークにおける処理を実行する。そして、当該ネットワークの中間層における所定の層の処理結果を、入力した各画像データの特徴ベクトルとして出力をする。すなわち、当該ネットワークの中間層における所定の層における未学習の画像データごとの特徴ベクトル、クエリ画像データの特徴ベクトルを出力する（Ｓ１１０）。

【0053】

そして、類似処理部２２は、クエリ画像データの特徴ベクトルと、未学習の各画像データの特徴ベクトルとの距離を、画像データ間の類似度として算出する(Ｓ１２０）。たとえば、クエリ画像データの特徴ベクトルと、未学習の画像データの特徴ベクトルとのコサイン類似度を算出する。この距離の算出をクエリ画像データと、未学習の各画像データとの間で行う。

【0054】

クエリ画像データと未学習の各画像データとの間の類似度の算出を行うと、類似処理部２２は、その類似度が高い未学習の画像データから順にソートし、所定の順位、たとえば３００位まで、操作者端末３の表示装置７２に出力をする（Ｓ１３０）。すなわち、この状態では、クエリ画像データに類似度が高い順に、未学習の画像データが表示されていることとなる。この状態の一例を図５に模式的に示す。図５（ａ）は、学習対象の対象物、すなわち機械学習させたい新しい商品のクエリ画像データの一例を、図５（ｂ）は、類似度でソートした未学習の画像データの一例を示している。

【0055】

そして、操作者は、表示装置７２に表示された未学習の画像データのうち、学習対象とする対象物、この例では機械学習させたい新しい商品が写っている画像データを選択する。この際には、機械学習の精度を向上させるため、同一の対象物の多様な画像データを選択するとよい。たとえば、当該商品のさまざまな向き、陰影などがある画像データを選択するとよい。

【0056】

選択受付処理部でこの選択を受け付けると（Ｓ１４０）、選択を受け付けた画像データを学習用データとして、学習用画像格納部２５に格納する（Ｓ１５０）。

【0057】

そして機械学習のために十分な数の学習用データがない場合には（Ｓ１６０）、Ｓ１４０で選択を受け付けた画像データ（未学習の画像データのなかから学習用データとして選択した画像データ）の一部または全部を、新たなクエリ画像データとして、ネットワーク処理部２１におけるネットワークに入力して、Ｓ１００以降の処理を再度、実行する（Ｓ１７０）。すなわち、機械学習のために十分な数の学習用データの画像データを得られるまで、Ｓ１００乃至Ｓ１７０の処理を反復する。この処理を模式的に示すのが図６である。

【0058】

以上のような処理を実行することで、大量の未学習の画像データのなかから、学習対象としたい対象物の画像データを抽出し、それを学習用データとして学習用画像格納部２５に格納することができる。

【0059】

なお、抽出した学習用データを学習用画像格納部２５に格納するほか、抽出した未学習の画像データに、学習用データであることを示すフラグを付すなど、学習用データであることを認識可能とするのであってもよい。

【0060】

このように抽出、格納した学習用データを、当該ネットワークにおける追加学習、または別のネットワークにおける転移学習などに用いることができる。

【産業上の利用可能性】

【0061】

本発明の情報処理システム１を用いることで、ラベリングされていない画像データのデータ群から、機械学習の学習用データに用いる画像データを効率よく収集することが可能となる。

【符号の説明】

【0062】

１：情報処理システム
２：管理端末
３：操作者端末
２０：画像入力処理部
２１：ネットワーク処理部
２２：類似処理部
２３：抽出処理部
２４：未学習画像格納部
２５：学習用画像格納部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置

【要約】

【課題】
深層学習（ディープ・ラーニング）などの機械学習で用いる学習用データを効率的に収集するための情報処理システムを提供することを目的とする。
【解決手段】
ラベリングされていない画像データのデータ群から機械学習の学習用の画像データを抽出する情報処理システムであって、情報処理システムは、データ群における画像データおよびクエリ画像データの入力を受け付けて、機械学習のネットワークの中間層における所定の層から入力した画像データの特徴量を出力するネットワーク処理部と、クエリ画像データの特徴量と、データ群における画像データの特徴量とを用いて演算した基準により出力された画像データの中から、学習用データとする画像データの抽出する抽出処理部と、を有する情報処理システムである。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】