特開 2024-110341 情報処理システム、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110341

(43)【公開日】2024-08-15

(54)【発明の名称】情報処理システム、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   G06V 10/77 20220101AFI20240807BHJP

   G06V 30/00 20220101ALI20240807BHJP

   G06T 7/00 20170101ALI20240807BHJP

【ＦＩ】

G06V10/77

G06V30/00 S

G06T7/00 300F

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023014883

(22)【出願日】2023-02-02

(71)【出願人】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】浅谷 学嗣

【テーマコード（参考）】

5B064

5L096

【Ｆターム（参考）】

5B064AA07

5L096BA17

5L096CA04

5L096GA51

5L096JA03

5L096JA11

(57)【要約】

【課題】学習コストを抑えて、精度よく製品の特定を可能とする
【解決手段】情報処理システムは、複数の製品の各々の製品名と、前記製品の各々に関連する予め設定されたキーワードとに基づいて、製品ごとの第１キーワード間特徴量を算出する第１算出部と、対象製品を撮像した画像から文字認識により抽出した文字列と、前記キーワードとに基づいて、撮像された対象製品の画像についての第２キーワード間特徴量を算出する第２算出部と、製品ごとの前記第１キーワード間特徴量と前記第２キーワード間特徴量との類似度を算出し、前記類似度が所定の閾値の条件を満たす前記製品から、前記対象製品を特定する特定部と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

複数の製品の各々の製品名と、前記製品の各々に関連する予め設定されたキーワードとに基づいて、製品ごとの特徴量である第１キーワード間特徴量を算出する第１算出部と、
対象製品を撮像した画像から文字認識により抽出した文字列と、前記キーワードとに基づいて、撮像された対象製品の画像についての特徴量である第２キーワード間特徴量を算出する第２算出部と、
製品ごとの前記第１キーワード間特徴量と前記第２キーワード間特徴量との類似度を算出し、前記類似度が所定の閾値の条件を満たす前記製品から、前記対象製品を特定する特定部と、
を含む情報処理システム。

【請求項2】

前記第１算出部は、全ての前記製品に含まれるキーワードの各々を用いてキーワード間の全ての組み合わせについてキーワード間の類似度を算出すると共に、
前記製品ごとに、前記キーワード間の類似度のうち当該製品に関連するキーワードについて算出された類似度を、当該製品の前記第１キーワード間特徴量として算出する、請求項１に記載の情報処理システム。

【請求項3】

前記キーワードには、前記製品ごとに、前記製品名、前記製品を製造する会社名、前記製品に付される説明文に含まれる文字列、及び前記製品に付される記号の少なくとも何れかを含む、請求項１に記載の情報処理システム。

【請求項4】

前記画像は、前記製品の複数の異なる面を撮像した複数の画像の各々とし、
前記第２算出部は、前記画像の各々から文字列を抽出する、請求項１に記載の情報処理システム。

【請求項5】

前記第１算出部は、製品を予め撮像した複数の画像の各々から抽出した文字列から前記キーワードを設定し、前記第１キーワード間特徴量を算出する、請求項１に記載の情報処理システム。

【請求項6】

前記特定部は、
前記類似度が前記閾値の条件を満たす場合に、前記類似度が前記閾値を超えた前記製品の製品名を、前記対象製品の製品名として出力することにより前記対象製品を特定し、
前記類似度が前記閾値の条件を満たさなかった場合に、未登録の製品のフラグを出力する、請求項１に記載の情報処理システム。

【請求項7】

複数の製品の各々の製品名と、前記製品の各々に関連する予め設定されたキーワードとに基づいて、製品ごとの特徴量である第１キーワード間特徴量を算出し、
対象製品を撮像した画像から文字認識により抽出した文字列と、前記キーワードとに基づいて、撮像された対象製品の画像についての特徴量である第２キーワード間特徴量を算出し、
製品ごとの前記第１キーワード間特徴量と前記第２キーワード間特徴量との類似度を算出し、前記類似度が所定の閾値の条件を満たす前記製品から、前記対象製品を特定する、
処理をコンピュータが実行する情報処理方法。

【請求項8】

複数の製品の各々の製品名と、前記製品の各々に関連する予め設定されたキーワードとに基づいて、製品ごとの特徴量である第１キーワード間特徴量を算出し、
対象製品を撮像した画像から文字認識により抽出した文字列と、前記キーワードとに基づいて、撮像された対象製品の画像についての特徴量である第２キーワード間特徴量を算出し、
製品ごとの前記第１キーワード間特徴量と前記第２キーワード間特徴量との類似度を算出し、前記類似度が所定の閾値の条件を満たす前記製品から、前記対象製品を特定する、
処理をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、画像中に写る物体に付された文字列を認識する文字認識に関する技術がある。

【0003】

例えば、鋼材端面に貼られたラベルの文字又は刻印された文字の読み取りに関する技術がある（特許文献１参照）。この技術では、視野の大きいカメラと小さいカメラとを組み合わせて、複数のカメラで撮像した複数の画像から文字認識を行っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平09-203622号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像からの文字認識（主にＯＣＲ：Optical Character Recognition）は、撮像環境等の影響による誤認識の発生は避けられない。そのため、単に文字認識を行うだけでは製品の画像から製品名を認識する上で課題がある。

【0006】

本開示は上記事情を鑑みてなされたものであり、学習コストを抑えて、精度よく製品の特定を可能とする情報処理システム、情報処理方法、及び情報処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示の情報処理システムは、複数の製品の各々の製品名と、前記製品の各々に関連する予め設定されたキーワードとに基づいて、製品ごとの特徴量である第１キーワード間特徴量を算出する第１算出部と、対象製品を撮像した画像から文字認識により抽出した文字列と、前記キーワードとに基づいて、撮像された対象製品の画像についての特徴量である第２キーワード間特徴量を算出する第２算出部と、製品ごとの前記第１キーワード間特徴量と前記第２キーワード間特徴量との類似度を算出し、前記類似度が所定の閾値の条件を満たす前記製品から、前記対象製品を特定する特定部と、を含む。

【発明の効果】

【0008】

本開示の情報処理システム、情報処理方法、及び情報処理プログラムによれば、学習コストを抑えて、精度よく製品の特定を可能とする、という効果を得られる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態の手法を説明する概略図である。

【図2】図２は、情報処理システム１００のハードウェア構成を示すブロック図である。

【図3】図３は、本実施形態の情報処理システム１００の構成を示すブロック図である。

【図4】図４は、製品情報ＤＢに格納される製品ごとのキーワードの一例を示す図である。

【図5】図５は、キーワード間の類似度の一例である。

【図6】図６は、製品Ａの第１キーワード間特徴量の一例である。

【図7】図７は、製品ごとに算出された第１キーワード間特徴量の一例を示す図である。

【図8】図８は、対象製品の異なる面を撮像した画像の一例を示す図である。

【図9】図９は、各製品について算出した類似度の一例を示す図である。

【図10】図１０は、情報処理システム１００による情報処理における事前処理の流れを示すフローチャートである。

【図11】図１１は、情報処理システム１００による情報処理における認識処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0011】

本開示の実施形態の概要を説明する。本実施形態では、登録された製品情報のキーワードについて特徴量を算出し、撮像された製品の画像から認識された文字列の特徴量との比較によって製品名を認識する手法を提案する。また、本実施形態では、製品の複数の異なる面を撮像した複数の画像を用いて、それぞれの面の文字列を抽出して、対象製品の比較を行う。複数の画像は、製品の異なる面を撮像が可能なロボットを用いて撮像する想定である。ロボットは、複数のロボットを用いて撮像してもよい。また、コンベアシステムを用いて、製品の異なる面を撮像してもよい。なお、本実施形態の対象とする製品は、文字列が付される製品全般であり、包装された資材を例に説明する。製品としては、その他にも、印字された商品又はドラム缶等にも適用可能である。

【0012】

図１は、本実施形態の手法を説明する概略図である。認識対象とする対象製品の複数の画像を撮像し、本実施形態の情報処理システム１００に入力する。複数の画像が複数のカメラ等の撮像装置（２００）で撮像する。情報処理システムには、ユーザから入力された製品情報に関するキーワードが登録されている。情報処理システムは、撮像した複数の画像の入力から、以下に説明する特徴量の類似度を比較して、対象製品の製品名を特定し、出力する。

【0013】

図２は、情報処理システム１００のハードウェア構成を示すブロック図である。

【0014】

図２に示すように、情報処理システム１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0015】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、予測プログラムが格納されている。

【0016】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0017】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

【0018】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

【0019】

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

【0020】

情報処理システム１００の各機能構成について説明する。図３は、本実施形態の情報処理システム１００の構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された情報処理プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。情報処理システム１００は、ネットワークＮを介して撮像装置２００と接続されている。撮像装置２００は、対象製品を撮像する複数のカメラ又はカメラを備えた複数のロボット等であり、対象製品の異なる面を撮像した複数の画像を情報処理システム１００に送信する。

【0021】

図３に示すように、情報処理システム１００は機能的には、製品情報データベース（ＤＢ）１０２と、第１算出部１１０と、第２算出部１１２と、特定部１１４とを含んで構成される。

【0022】

製品情報ＤＢ１０２には、複数の製品の各々の製品名と、製品の各々に関連するキーワードとが対応付けられて格納されている。キーワードは、ユーザからの入力により、製品名、製品を製造する会社名、製品に付される説明文に含まれる文字列、及び製品に付される記号等の文字列から、任意の文字列が予め設定されている。製品ごとにラベルとして印字される文字列は異なるため、製品に付される特徴的な文字列を登録しておく。キーワードには、製品特定に有用な文字列、記号を登録する。

【0023】

特徴量ＤＢ１０４は、後述する第１キーワード特徴量及び第２キーワード間特徴量を格納される。以下の処理部では適宜、特徴量ＤＢ１０４から特徴量を読み出して処理を実行することとし、説明を省略する。

【0024】

図４は、製品情報ＤＢ１０２に格納される製品ごとのキーワードの一例を示す図である。なお、図４では、製品名ごとに当該製品に関連する複数のキーワードが登録される例を示しているが、説明の便宜上、適当な文字列を製品名及びキーワードとして与えている。１行目の製品名「ＡＡＡＡ」は、製品名自体をキーワード１に登録されている。このように製品名とキーワードは同一の場合があるが、製品を識別するための製品名と、キーワードとしての製品名は区別して登録される。２行目の製品名「ＢＢＢＢ１５０」は、製品名「ＢＢＢＢ１５０」の文字列をキーワード１「ＢＢＢＢ」、キーワード２「１５０」に分けて登録されている。なお、文字列は、分割してキーワードとして登録してもよいし、分割しなくてもよい。また、分割した文字列と分割しない文字列とをそれぞれキーワードとして登録してもよい。３行目の製品「ＸＸＸＸＸ」は、関連するキーワードとして、キーワード１「ｙｙｙｙｙ」、「２００」、「ｚｚｚｚｚ」が登録されている。３行目の製品では、製品に製品名は含まれず、製品情報の説明、数量等が文字列として付されている場合が想定される。

【0025】

第１算出部１１０は、製品ごとの特徴量である第１キーワード間特徴量を算出する。第１算出部１１０は、算出した製品ごとの第１キーワード間特徴量を特徴量ＤＢ１０４に格納する。

【0026】

第１算出部１１０の処理は（１）、（２）の２段階に分けられる。（１）まず、第１算出部１１０は、製品情報ＤＢ１０２から製品ごとのキーワードを取得し、全ての製品に含まれるキーワードの各々を用いてキーワード間の全ての組み合わせについてキーワード間の類似度を算出する。

【0027】

図５は、キーワード間の類似度の一例である。行列のグラフは、縦横の行列の各列及び各行が並べられたキーワードを表しており、縦横の各マスが縦横の該当する列及び行のキーワード間の類似度に対応している。類似度は、０．０に近いほど類似しておらず、－１．０に近いほど類似していることを示している。

【0028】

（２）次に、第１算出部１１０は、製品ごとに、キーワード間の類似度のうち当該製品（製品名）に関連するキーワードについて算出された類似度を、当該製品の第１キーワード間特徴量として算出する。図６は、製品Ａの第１キーワード間特徴量の一例である。図６の例では、説明の便宜のため、製品Ａのキーワードが１つの製品名に限られる場合としている。上記図４の１行目の製品と同様のケースである。１つのキーワードと各キーワードとの組み合わせについての類似度は、（Ａ）のキーワード間の類似度の１行に対応する。そのため、製品Ａについては（Ａ）の１行を抽出することで、（Ｂ）のキーワード間の類似度、すなわち製品の第１キーワード間特徴量が算出できる。当該組み合わせのキーワードについて算出された類似度の各々が、第１キーワード間特徴量における配列の要素である。（Ｂ）の各行はキーワードに相当する。製品に複数のキーワードが対応付けられている場合は、製品に含まれるキーワードごとに、当該キーワードの組み合わせの行を抽出することで当該製品の第１キーワード間特徴量が算出できる。

【0029】

図７は、製品ごとに算出された第１キーワード間特徴量の一例を示す図である。製品ごとに異なる特徴を示す第１キーワード間特徴量が算出されていることがわかる。

【0030】

第２算出部１１２は、撮像された対象製品の画像についての特徴量である第２キーワード間特徴量を算出する。第２キーワード間特徴量は、対象製品を撮像した画像から文字認識により抽出した文字列の各々と、キーワードの各々との組み合わせの各々の類似度を配列の要素とするようにして算出する。第２算出部１１２は、算出した対象製品の画像についての第２キーワード間特徴量を特徴量ＤＢ１０４に格納する。

【0031】

キーワードは製品情報ＤＢ１０２に登録されている全てのキーワードである。第２算出部１１２が受け付ける画像は、複数の画像の各々である。画像の各々は、複数の異なる向きから対象製品の複数の異なる面を撮像した画像である。製品には、異なる面で異なる文字列が付されているため、それぞれの面を撮像する。異なる面としては、製品に印字されることが慣例化された面を対象とすればよく、例えば、上面及び側面に印字されることが通常の資材を対象にするのであれば、上面及び側面を撮像対象の面にする。底面に印字がある製品が対象であれば底面も対象にする。また撮像する時の異なる向きは、それぞれの異なる面を撮像できる１つ以上の向きとすればよい。同一の面に対して角度の異なる向きから撮像した場合の画像を含むようにしてもよい。第２算出部１１２では、画像の各々について文字認識を行い、文字列を抽出する。第２算出部１１２では、画像から抽出した文字列の各々とキーワードの各々との組み合わせについて、第２キーワード間類似度を算出する。つまり第２算出部１１２の処理では、画像から抽出された文字列ごとに、上記図６の（Ｂ）に相当する第２キーワード間特徴量が算出される。なお、以下では、第１キーワード間特徴量、第２キーワード間特徴量に共通する事項を説明する場合、単にキーワード間特徴量と記載する。また、上述した「キーワード間の類似度」及び「キーワード間特徴量の配列における類似度」は、キーワードと組み合わせた「個々の類似度」である。そのため、「個々の類似度」は、後述する特定部１１４の「類似度」（製品ごとキーワード間特徴量のそれぞれを比較した場合の類似度）とは区別される。

【0032】

図８は、対象製品の異なる面を撮像した画像の一例を示す図である。図８の（Ａ）は上面を撮像した画像、（Ｂ）は側面を撮像した画像である。ここで異なる面を撮像した複数の画像を用いる必要性を説明する。（ｒｃ）で示す点線の枠が文字認識された部分である。製品の製品情報は、上面に（Ａ）では、「ＸＸＸＸ」、「ｙｙｙｙｙ２００」の文字列、（Ｂ）には「ｚｚｚｚｚ」の文字列が付されている。なお、製品の各面に付される文字列はあくまで例示である。このように異なるキーワードの文字列が製品には付されているため、製品名を予測するためには複数の異なる面の文字列を抽出する必要がある。

【0033】

特定部１１４は、製品ごとの第１キーワード間特徴量と第２キーワード間特徴量との類似度を算出し、類似度が閾値の条件を満たす製品から、対象製品を特定する。特定部１１４では、何れかの製品について類似度の閾値を超えた場合に、閾値の条件を満たすと判定し、何れの製品も類似度の閾値を超えない場合に、閾値の条件を満たさないと判定する。閾値の設定は、ユーザが任意の値を設定することができ、閾値をヒューリスティックに設定する方法又は統計的に算出する方法を用いることができる。本実施形態では、閾値をヒューリスティックに設定をしている。また、製品や製品のカテゴリごとに異なる閾値を設定してもよい。

【0034】

図９は、各製品について算出した類似度の一例を示す図である。（Ａ）は、閾値を超える製品があった場合のグラフ、（Ｂ）は閾値を超える製品がなかった場合のグラフである。製品ごとの類似度に対して、閾値は、２．０から３．０の間に設定されている。（Ａ）において、（ｐ）に示す棒グラフの製品が最も類似度が高い製品であることが示されており、特定部１１４は、閾値を超えた当該製品を対象製品として特定する。

【0035】

特定部１１４は、閾値を超えた類似度に対応する製品の製品名を、対象製品の製品名として出力する。また、特定部１１４は、上記図９の（Ｂ）のように、何れの製品も閾値の条件を満たさなかった場合に、未登録の製品のフラグを出力する。

【0036】

特徴量間の類似度は、下記（１）式のユークリッド距離を用いて算出すればよい。ｐ及びｑはキーワード間特徴量におけるキーワードに対する特徴量（個々の類似度）、ｎは全てのキーワード数である。

【数1】

・・・（１）

【0037】

なお、類似度の計算にあたって、以下（２）式のように、キーワードｉごとに標準化したキーワードの特徴量ｘ’_ｉを求めてｐ及びｑとして用いる。標準化した特徴量ｘ’_ｉの算出には、キーワードｉの特徴量ｘ_ｉ、平均値￣ｘ（上付きのｘ）、及び標準偏差σを用いる。なお、特徴量ｘ_ｉは、第１キーワード間特徴量及び第２キーワード間特徴量に含まれる全ての特徴量（個々の類似度）の要素の各々である。

【数2】

・・・（２）

【0038】

また、類似度を判定するための閾値は、異なる指標で複数設定してもよい。例えば、上記のユークリッド距離の計算において、類似度（距離）がピークを示す特定のキーワードと特定のキーワード以外の他のキーワードを別に扱い、特定のキーワードのピークの値が所定値以上となる値に対するピーク閾値を設定してもよい。また、ピークの値以外の他のキーワードの値についての下限の閾値を設定してもよい。この場合、設定した複数の閾値を何れも超える場合に類似と判定し、閾値の条件を満たすと判定する。

【0039】

ここで、本実施形態のようにキーワード間特徴量の類似度を用いることのメリットを例示する。例えば、文字列内に誤認識された文字が含まれているとする。この場合、文字列の類似度を用いることで、誤認識された文字が含まれていたとしても近しい文字列を導くことができる。また、どの文字列が製品名なのかユーザが目視で判別できないとする。この場合、全ての文字列に対して類似度計算をすることで、文字列が書かれている場所に依存せずに、製品名が特定できる。また、文字認識において、製品名が分割されて認識されている可能性があるとする。この場合、類似度を算出する単位である文字列を複数の短いキーワードに分割しておくことで、製品名が分割されていても対応できる。

【0040】

なお、未登録の製品のフラグの出力した場合、ユーザによる未登録の製品に対する作業の必要が生じる。未登録の製品のフラグの出力を受けて、ユーザは、文字認識で抽出された文字列のキーワードや外部の製品情報データベースを参照する。ユーザは、参照結果により、未登録の製品の製品情報を識別できた場合、当該製品についてのキーワードを製品情報ＤＢ１０２に新たに登録する。情報処理システム１００では、新たな製品についてのキーワードを含めて、再度、製品ごと第１キーワード間特徴量を算出する。

【0041】

（処理の流れ）
次に、情報処理システム１００の情報処理方法としての作用について説明する。図１０及び図１１は、情報処理システム１００による情報処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、情報処理が行なわれる。ＣＰＵ１１が情報処理システム１００の各部として機能することにより、以下の処理を実行させる。処理に応じて製品情報ＤＢ１０２及び特徴量ＤＢ１０４から必要なデータを読み込んで各処理が実行される。

【0042】

なお、図１０の処理ルーチンは、予め製品ごとの第１キーワード間特徴量を求めて登録する事前処理である。図１１の処理ルーチンは、対象製品の画像の入力があった場合に、対象製品の特定する認識処理である。なお、情報処理システム１００は、図１０及び図１１の処理ルーチンを一連の処理として実行してもよい。

【0043】

事前処理について説明する。ステップＳ１００において、ＣＰＵ１１は、製品情報ＤＢ１０２から製品ごとのキーワードを取得する。

【0044】

ステップＳ１０２において、ＣＰＵ１１は、全ての製品に含まれるキーワードの各々を用いてキーワード間の全ての組み合わせについてキーワード間の類似度を算出する。

【0045】

ステップＳ１０４において、ＣＰＵ１１は、製品ごとに、キーワード間の類似度のうち当該製品（製品名）に関連するキーワードについて算出された類似度を、当該製品の第１キーワード間特徴量として算出する。これにより製品ごとの第１キーワード間特徴量を算出する。

【0046】

ステップＳ１０６において、ＣＰＵ１１は、特徴量ＤＢ１０４に算出した製品ごとの第１キーワード間特徴量を登録する。

【0047】

次に認識処理について説明する。ステップＳ２００において、ＣＰＵ１１は、撮像装置２００から対象製品が撮像された複数の画像の各々を取得する。

【0048】

ステップＳ２０２において、ＣＰＵ１１は、画像の各々について文字認識を行い、文字列を抽出する。

【0049】

ステップＳ２０４において、ＣＰＵ１１は、画像から抽出した文字列の各々とキーワードの各々との組み合わせについて、第２キーワード間類似度を算出する。

【0050】

ステップＳ２０６において、ＣＰＵ１１は、製品ごとの第１キーワード間特徴量と第２キーワード間特徴量との類似度を算出する。類似度は製品ごとに算出される。

【0051】

ステップＳ２０８において、ＣＰＵ１１は、類似度が閾値の条件を満たす製品があるか否かを判定する。閾値の条件を満たす製品がある場合にはステップＳ１１８へ移行し、閾値の条件を満たす製品がない場合にはステップＳ１２０へ移行する。

【0052】

ステップＳ２１０において、ＣＰＵ１１は、類似度が閾値を超えた製品の製品名を、対象製品の製品名として出力する。なお、複数の製品が該当する場合には候補として複数の製品名を出力するか、類似度の最も高い製品名を出力すればよい。

【0053】

ステップＳ２１２において、ＣＰＵ１１は、未登録の製品のフラグを出力する。

【0054】

以上説明したように、本実施形態に係る情報処理システム１００は、学習コストを抑えて、精度よく製品の特定を可能とする。

【0055】

また、本実施形態によれば、手作業で行う作業としては製品情報を登録するのみであり、容易に製品の特定が可能な仕組みを実現できる。また、新たな製品の登録又は削除は、登録している製品情報の操作のみでシステム更新が可能である。また、画像群から文字列へ変換する文字認識のための任意のＯＣＲモデルを用いる想定とし、必要に応じて変更可能である。また、キーワード間特徴量と特徴量の類似度を用いることで、ＯＣＲモデルの精度によらず、製品名を特定可能である。また、登録されていない未登録の製品も、類似度の閾値設定をすることで分類することが可能である。また、多量の画像を用いたモデルの学習やモデルの更新などの必要がなく学習コストを抑えられる。

【0056】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0057】

例えば、上述した実施形態では、キーワード間特徴量の算出に用いるデータとして、キーワード又は抽出した文字列を用いる場合を例に説明したが、これに限定されるものではない。例えば、特徴的な配色パターンや文字列の位置がある場合には、当該要素をキーワード間特徴量の配列に組み込んでもよい。

【0058】

また、第１算出部１１０は、製品を予め撮像した複数の画像の各々から抽出した文字列からキーワードを設定し、第１キーワード間特徴量を算出するようにしてもよい。

【0059】

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

【符号の説明】

【0060】

１００ 情報処理システム
１０２ 製品情報ＤＢ
１０４ 特徴量ＤＢ
１１０ 第１算出部
１１２ 第２算出部
１１４ 特定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】