特許 6984440 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6984440

(24)【登録日】2021年11月29日

(45)【発行日】2021年12月22日

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20211213BHJP

   G06T 7/60 20170101ALI20211213BHJP

【ＦＩ】

   G06T7/11

   G06T7/60 180

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2018-10767(P2018-10767)

(22)【出願日】2018年1月25日

(65)【公開番号】特開2019-128840(P2019-128840A)

(43)【公開日】2019年8月1日

【審査請求日】2020年10月1日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】ヴヤ チュン

(72)【発明者】

【氏名】磯田 秀智

(72)【発明者】

【氏名】山村 国広

(72)【発明者】

【氏名】原野 陽輔

(72)【発明者】

【氏名】橋本 寛之

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１７−０１６５３９（ＪＰ，Ａ）

【文献】 特開平０３−２６５９８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

画像を取得する取得部と、
前記取得部によって取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出する抽出部と、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する認識部と、
を含む画像処理装置。

【請求項2】

前記取得部によって取得された前記画像に基づいて、前記画像の各部分領域について、前記第１の領域である度合いを表す第１のスコアと、前記第２の領域である度合いを表す第２のスコアとを算出する算出部を更に含み、
前記抽出部は、前記算出部によって算出された前記第１のスコアが予め設定された第１の閾値よりも大きい領域を前記第１の領域として抽出し、前記算出部によって算出された前記第２のスコアが予め設定された第２の閾値よりも大きい領域を前記第２の領域として抽出する、
請求項１に記載の画像処理装置。

【請求項3】

前記算出部は、前記取得部によって取得された前記画像の各部分領域について、学習用の画像内における前記第１の領域及び学習用の画像内における前記第２の領域が対応付けられた学習用データから予め生成された学習済みモデルに基づいて、前記第１のスコアと前記第２のスコアとを算出する、
請求項２に記載の画像処理装置。

【請求項4】

前記認識部は、前記第１の領域の縦横比の値が予め定められた範囲内である場合に、前記第１の領域を前記表示カードの領域として認識する、
請求項２又は請求項３に記載の画像処理装置。

【請求項5】

前記認識部は、前記第１の領域の枠を表す各座標と前記第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である場合に、該第１の領域を前記表示カードの領域として認識する、
請求項１〜請求項４の何れか１項に記載の画像処理装置。

【請求項6】

前記認識部は、前記第１の領域内の前記第２の領域の個数が、所定の範囲内の個数である場合に、前記第１の領域を前記表示カードとして認識する、
請求項１〜請求項５の何れか１項に記載の画像処理装置。

【請求項7】

前記認識部は、前記第２の領域の各々についての文字認識結果を取得し、前記第２の領域の各々についての前記文字認識結果に基づいて、税込み価格を表す前記第２の領域と、税抜き価格を表す前記第２の領域とを認識し、前記税込み価格を表す前記第２の領域と前記税抜き価格を表す前記第２の領域との間の配置関係が予め定められた関係である場合に、前記第１の領域を前記表示カードの領域として認識する、
請求項１〜請求項６の何れか１項に記載の画像処理装置。

【請求項8】

前記認識部は、前記第１の領域の面積と前記第２の領域の面積との面積比が、所定の範囲内である場合に、前記第１の領域を前記表示カードとして認識する、
請求項１〜請求項７の何れか１項に記載の画像処理装置。

【請求項9】

画像を取得し、
取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出し、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する、
処理をコンピュータに実行させるための画像処理プログラム。

【請求項10】

画像を取得し、
取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出し、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する、
処理をコンピュータが実行する画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、カメラにより撮像された画像から対象を検出し追跡する対象領域判定装置が知られている。この対象領域判定装置は、対象物を含む領域を関心領域として取得し、対象物と対象領域とを対応付けて記録し、関心領域にどのように対象領域が配置されるかを判定する。

【0003】

また、レイアウト情報を含んだ検索要求に対して目的の画像を素早く表示する画像検索方法が知られている。この画像検索方法においては、画像が同じ特性を有する領域に分割され、分割された領域毎に基準となるテンプレートを用いて領域毎に概略認識としての画素データレベルでのマッチングが行われ、対象物の候補の抽出と対象物の位置検出が行なわれる。そして、この画像検索方法では、特徴点マッチングが行われ各領域で誤抽出されている対象物候補が削除され、さらに基本レイアウト情報に基づいてレイアウト検証が行なわれ、あり得ないレイアウトの対象物の候補が削除される。そして、この画像検索方法では、画像データベースが、類似度、画像レイアウト情報、および原画像とで構成される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１‐４３８６３号公報

【特許文献2】特開平６‐６８１７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

画像処理によって画像から所定の領域を抽出する際には、検出対象に応じて適切な画像処理を行う必要がある。例えば、商品の価格情報を含む表示カードを画像から抽出する際には、背景の領域、数字の領域、商品名の領域等が画像内に含まれており、画像から表示カードの領域を抽出することは難しい。上記特許文献１の技術及び上記特許文献２の技術では、商品の価格情報を含む表示カードを抽出することについては考慮されておらず、表示カードを画像から適切に抽出することは難しい。

【0006】

一つの側面では、開示の技術は、商品の価格情報を含む表示カードの領域を画像から適切に抽出することが目的である。

【課題を解決するための手段】

【0007】

開示の技術は、一つの実施態様では、取得部が、画像を取得する。抽出部が、前記取得部によって取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出する。そして、認識部が、前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する。

【発明の効果】

【0008】

一つの側面として、商品の価格情報を含む表示カードの領域を画像から適切に抽出することができる、という効果を有する。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る画像処理システムの概略ブロック図である。

【図2】商品棚の画像の一例を説明するための説明図である。

【図3】商品棚の画像の一例を説明するための説明図である。

【図4】学習用データの一例を示す図である。

【図5】各領域と各スコアとの関係を説明するための説明図である。

【図6】第１の領域内に第２の領域が含まれている領域の一例を説明するための説明図である。

【図7】第１の領域の位置と第２の領域の位置との間の関係を説明するための説明図である。

【図8】第１の領域の縦横比を説明するための説明図である。

【図9】第１の領域の縦横比を説明するための説明図である。

【図10】税抜き価格と税込み価格との間の位置関係を説明するための説明図である。

【図11】税抜き価格と税込み価格との間の位置関係を説明するための説明図である。

【図12】第２の領域と商品名の領域との間の位置関係を説明するための説明図である。

【図13】第２の領域とバーコードの領域との間の位置関係を説明するための説明図である。

【図14】実施形態に係る画像処理装置として機能するコンピュータの概略構成を示すブロック図である。

【図15】本実施形態の画像処理ルーチンの一例を示すフローチャートである。

【図16】本実施形態の認識処理ルーチンの一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

【0011】

図１に示すように、実施形態に係る画像処理システム１０は、カメラ１２と、画像処理装置１４と、出力装置３０とを備えている。

【0012】

カメラ１２は、処理対象の画像を撮像する。例えば、カメラ１２によって、商品が陳列された店内の商品棚の画像が撮像される。

【0013】

例えば、商品棚に設置された表示カードを画像処理によって認識する場合、既存の画像処理方法を用いることが考えられる。この場合には、まず、画像処理によって対象領域を抽出し、対象領域に対して更なる画像処理を実施する。しかし、既存の画像処理を用いる場合には、様々な環境の変化に対応することが難しい。

【0014】

図２に、商品棚の画像の一例を示す。図２に示されるように、商品棚を表す画像には、様々なものが含まれている。例えば、図２に示される画像Ｇ_１には、表示カードＨとは異なる位置に存在する文字Ｍ、及び表示カードと混同しやすい領域Ｗ等が含まれている。また、図３に示される画像Ｇ_２には、表示カードＨと並んで背景の商品Ｓが更に含まれている。このため、撮像された処理対象の画像から、商品の価格情報を含む表示カードの領域を認識することは難しい。

【0015】

なお、表示カードの領域を認識するモデルを機械学習によって予め生成し、その学習済みモデルを用いて表示カードの認識率を向上させることが考えられる。しかし、学習済みモデルを用いる場合であっても、誤認識が発生する場合がある。

【0016】

そこで、本実施形態では、処理対象の画像から表示枠の領域と数字の領域とを抽出し、表示枠の領域内に数字の領域が含まれている場合に、その領域を表示カードの領域として認識する。更に、本実施形態では、表示カードの領域を認識する際に、各領域であることの度合いを示すスコア、及び表示カードの枠を表す領域と数字を表す領域との間の位置関係を更に考慮する。また、本実施形態では、各領域の縦横比、表示カードの領域を認識する際には、表示カードの枠を表す領域内の数字の領域の個数、数字の領域とその他の領域との間の位置関係等を更に考慮する。以下、具体的に説明する。

【0017】

画像処理装置１４は、上記図１に示されるように、取得部２０と、学習済みモデル記憶部２１と、算出部２２と、フィルタリング部２３と、出力部２８とを備えている。また、フィルタリング部２３は、抽出部２４と、認識部２６とを備える。

【0018】

取得部２０は、カメラ１２によって撮像された画像を取得する。

【0019】

学習済みモデル記憶部２１には、学習用の画像内における表示枠の領域の正解情報、及び学習用の画像内における数字の領域の正解情報が対応付けられた学習用データから予め生成された学習済みモデルが格納されている。学習済みモデルとしては、例えば、複数の学習用データに基づき、ディープラーニングによって学習されたニューラルネットワークモデル等を用いることができる。

【0020】

図４に、学習用データの一例を示す。図４に示されるように、学習用データとしては、表示カードの枠の領域Ａと数字の領域Ｂとを含む学習用の画像ＩＬを用いる。なお、学習用画像ＩＬには、商品名の領域Ｃも含まれている。数字の領域Ｂは、商品の価格情報に対応する。なお、括弧、円などの特徴点を更に含ませて学習用データとしてもよい。学習用データとしての画像の数は、例えば、３００〜１０００程度とすることができる。

【0021】

図４に示される学習用データの画像ＩＬには、領域Ａが表示カードの領域であることを表す情報、及び領域Ｂが数字の領域であることを表す情報が予め付与されている。

【0022】

学習済みモデルは学習用データに応じて予め学習されている。具体的には、学習用の画像が入力された際には、その画像内の表示枠の領域に対しては、表示枠の領域である度合いを表すスコアが高く出力されるようにモデルが学習される。また、学習用の画像が入力された際には、その画像内の数字の領域に対しては、数字の領域である度合いを表すスコアが高く出力されるようにモデルが学習される。

【0023】

そのため、学習済みモデルは、処理対象の画像が入力された際に、表示枠の領域である度合いを表すスコア、及び数字の領域である度合いを表すスコアを出力する。

【0024】

算出部２２は、取得部２０によって取得された画像の各部分領域について、表示枠の領域を表す第１の領域である度合いを表す第１のスコアと、数字の領域を表す第２の領域である度合いを表す第２のスコアとを算出する。具体的には、算出部２２は、取得部２０によって取得された画像を、学習済みモデル記憶部２１に格納された学習済みモデルに入力して、画像の各部分領域についての第１のスコアと第２のスコアとを算出する。

【0025】

抽出部２４は、取得部２０によって取得された画像から、算出部２２によって算出された第１のスコアが予め設定された第１の閾値よりも大きい領域を第１の領域として抽出する。また、抽出部２４は、取得部２０によって取得された画像から、算出部２２によって算出された第２のスコアが予め設定された第２の閾値よりも大きい領域を第２の領域として抽出する。なお、第１の閾値と第２の閾値とは、同一の値であってもよいし異なる値であってもよい。

【0026】

図５に、各領域と各スコアとの関係を説明するための説明図を示す。例えば、予め設定された第１又は第２の閾値が０．８である場合、図５に示されるように、領域Ａのスコアは０．９であるため、領域Ａは第１の領域又は第２の領域として抽出される。

【0027】

なお、抽出部２４は、各領域を抽出する際には、その領域の位置情報と大きさ情報とを併せて出力する。例えば、抽出部２４は、図５に示されるように、処理対象の画像Ｉ１内の領域Ａの第１の領域である度合い又は第２の領域である度合いを表すスコア０．９と、領域Ａの位置を表す座標（ｘ，ｙ）と、横方向の大きさｗと、縦方向の大きさｈとを出力する。

【0028】

認識部２６は、予め定められた条件に応じて、取得部２０によって取得された画像内の表示カードの領域を認識する。

【0029】

具体的には、以下の（１）〜（５）に示す条件に応じて、表示カードの候補に対してフィルタリングを行う。

【0030】

（１）第１の領域内に第２の領域が含まれていること。
（２）第２の領域の個数が所定の範囲内の個数であること。
（３）第１の領域内における第２の領域の位置が予め定められた範囲内の位置であること。具体的には、第１の領域の枠を表す各座標と第２の領域の枠を表す各座標との間の差分が予め定められた範囲内であること。
（４）第１の領域の縦横比の値が予め定められた範囲内であること。
（５）第１の領域内の各第２の領域の位置関係が所定の位置関係であること。

【0031】

まず、認識部２６は、上記（１）の条件に基づき、第１の領域内に第２の領域が含まれている第１の領域を、表示カードの候補として特定する。例えば、図６に示されるように、第１の領域Ａ内に第２の領域Ｂ１，Ｂ２，Ｂ３，Ｂ４が含まれている場合には、第１の領域Ａと第２の領域Ｂ１〜Ｂ４とをグルーピングして、第２の領域Ｂ１〜Ｂ４を含む第１の領域Ａを表示カードの候補として特定する。なお、以下の処理では、グルーピングされた表示カードの候補に対して処理が行われる。

【0032】

次に、認識部２６は、上記（１）の条件に基づき選択された表示カードの候補の各々から、上記（２）の条件を満たす候補を選択する。具体的には、認識部２６は、上記（２）の条件に基づき、第１の領域内の第２の領域の個数が所定の範囲内の個数である表示カードの候補を、表示カードの次の候補として選択する。上記（２）の条件を満たさない表示カードの候補は除外される。

【0033】

例えば、店内に陳列する商品の価格帯が１００円〜９，９９９円の範囲である場合には、表示カード内に含まれる数字の個数が２個以下又は５個以上であるということはない。そのため、この場合には、所定の範囲内の個数として３〜４個が設定される。所定の範囲内の個数として３〜４個が設定された場合には、図６に示される領域Ａは、上記（２）の条件を満たすため、表示カードの候補として選択される。

【0034】

なお、認識部２６は、上記（２）の条件を満たす候補を選択する際に、複数の第２の領域を連結して、連結された領域を新たな第２の領域として設定する。例えば、認識部２６は、ｙ座標がほぼ同一とみなせる所定範囲内の値で、かつｘ座標が数字一文字分を基準とした所定の間隔で並ぶ第２の領域を連結する。これにより、第２の領域は、商品の価格の表示領域とみなすことができる。

【0035】

次に、認識部２６は、上記（２）の条件に基づき選択された表示カードの候補の各々から、上記（３）の条件を満たす候補を選択する。具体的には、認識部２６は、上記（３）の条件に基づき、第１の領域の枠を表す各座標と第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である表示カードの候補を、表示カードの次の候補として選択する。上記（３）の条件を満たさない表示カードの候補は除外される。

【0036】

例えば、図７に示されるように、第１の領域Ａの所定の位置（例えば、左上角）を表す座標（ｘ１，ｙ１）と、第２の領域Ｂ５の所定の位置（例えば、左上角）を表す座標（ｘ２，ｙ２）との間の差分を算出する。この差分が所定範囲である候補が、上記（３）の条件を満たすものとして選択される。例えば、ｘ１とｘ２との間のピクセル数が所定ピクセル数未満であること等が条件として設定される。

【0037】

次に、認識部２６は、上記（３）の条件に基づき選択された表示カードの候補の各々から、上記（４）の条件を満たす候補を選択する。具体的には、認識部２６は、上記（４）の条件に基づき、第１の領域の縦横比の値が予め定められた範囲内である表示カードの候補を、表示カードの次の候補として選択する。上記（４）の条件を満たさない表示カードの候補は除外される。

【0038】

例えば、縦横比ｗ／ｈの予め定められた範囲として、１．３〜２が設定された場合を例に考える。この場合、例えば、図８に示される第１の領域Ａは、横方向の大きさｗが１０００ピクセルであり縦方向の大きさｈが６００であるため、縦横比ｗ／ｈは約１．６７となる。そのため、図８に示される第１の領域の縦横比は予め定められた範囲内であるため、表示カードの次の候補として選択される。

【0039】

一方、例えば図９に示される第１の領域Ａは、横方向の大きさｗが５００ピクセルであり縦方向の大きさｈが６００であるため、縦横比ｗ／ｈは約０．８７となる。そのため、図９に示される第１の領域Ａの縦横比は予め定められた範囲内ではないため、表示カードの次の候補として選択されずに除外される。

【0040】

次に、認識部２６は、上記（４）の条件に基づき選択された表示カードの候補の各々から、上記（５）の条件を満たす候補を選択する。具体的には、認識部２６は、上記（５）の条件に基づき、第１の領域内の各第２の領域の位置関係が所定の位置関係である表示カードの候補を、表示カードとして選択する。上記（５）の条件を満たさない表示カードの候補は除外される。

【0041】

具体的には、認識部２６は、以下の（５−１）〜（５−３）に示す条件に応じて、表示カードの候補に対してフィルタリングを行う。なお、以下の（５−２）と（５−３）との処理順番は順不同である。

【0042】

（５−１）税込み価格を表す第２の領域と税抜き価格を表す第２の領域との間の配置関係が予め定められた関係であること。
（５−２）第２の領域と商品名を表す領域との間の配置関係が予め定められた関係であること。
（５−３）第２の領域とバーコードを表す領域との間の配置関係が予め定められた関係であること。

【0043】

まず、認識部２６は、既存の文字認識手法を用いて、第１の領域内の第２の領域の各々についての文字認識結果を取得する。そして、認識部２６は、第２の領域の各々についての文字認識結果に基づいて、税込み価格を表す第２の領域と税抜き価格を表す第２の領域とを認識する。例えば、認識部２６は、数字の値が大きい方を税込み価格を表す第２の領域として認識し、数字の値が小さい方を税抜き価格を表す第２の領域として認識する。または、認識部２６は、予め定められた領域のサイズの大小関係に基づいて、例えば、大きいサイズの第２の領域を、税抜き価格を表す領域として認識する。

【0044】

そして、認識部２６は、上記（５−１）の条件に基づき、税込み価格を表す第２の領域と税抜き価格を表す第２の領域との間の配置関係が予め定められた関係である場合に、第１の領域を表示カードの候補として選択する。

【0045】

例えば、税抜き価格と税込み価格との間の予め定められた関係として、税抜き価格が左側であり、税込み価格が右側であると設定されている場合を考える。この場合には、税抜き価格を表す第２の領域Ｂ５と税込み価格を表す第２の領域Ｂ６との間の関係が、図１０に示されるような関係であるときには、これらの第２の領域Ｂ５，Ｂ６を含む第１の領域Ａが表示カードの次の候補として選択される。

【0046】

または、例えば、税抜き価格と税込み価格との間の予め定められた関係として、税抜き価格が上側であり、税込み価格が下側であると設定されている場合を考える。この場合には、税抜き価格を表す第２の領域Ｂ５と税込み価格を表す第２の領域Ｂ６との間の関係が、図１１に示されるような関係であるときには、これらの第２の領域Ｂ５，Ｂ６を含む第１の領域が表示カードの次の候補として選択される。

【0047】

次に、認識部２６は、既存の文字認識手法を用いて、第１の領域のうちの商品名を表す領域を認識する。例えば、認識部２６は、予め登録された商品名の情報と、第１の領域のうちの商品名を表す領域とを照合して、第１の領域のうちの商品名を表す領域を認識する。そして、認識部２６は、上記（５−２）の条件に基づき、第２の領域と商品名を表す領域との間の配置関係が予め定められた関係である場合に、これらの領域を含む第１の領域を表示カードの候補として選択する。

【0048】

例えば、第２の領域と商品名を表す領域との間の予め定められた配置関係として、商品名を表す領域が上側であり、第２の領域が下側であると設定されている場合を考える。この場合には、商品名を表す領域Ｃと、税抜き価格を表す第２の領域Ｂ５及び税込み価格を表す第２の領域Ｂ６との間の関係が、図１２に示されるような関係であるときには、第２の領域Ｂ５，Ｂ６を含む第１の領域Ａが表示カードの次の候補として選択される。

【0049】

次に、認識部２６は、既存の画像処理手法を用いて、第１の領域のうちのバーコードを表す領域を認識する。そして、認識部２６は、上記（５−３）の条件に基づき、第２の領域とバーコードを表す領域との間の配置関係が予め定められた関係である場合に、これらの領域を含む第１の領域を表示カードとして認識する。

【0050】

例えば、第２の領域とバーコードを表す領域との間の予め定められた配置関係として、バーコードを表す領域Ｄが左側であり、第２の領域Ｂ５，Ｂ６が右側であると設定されている場合を考える。この場合には、バーコードを表す領域Ｄと、税抜き価格を表す第２の領域Ｂ５及び税込み価格を表す第２の領域Ｂ６との間の関係が、図１３に示されるような関係であるときには、これらの第２の領域Ｂ５，Ｂ６を含む第１の領域Ａが表示カードとして選択される。

【0051】

出力部２８は、認識部２６によって認識された表示カードの領域を結果として出力する。なお、表示カードの領域から、商品名の領域、税抜き価格の領域、税込価格の領域、及びバーコードの領域のみを抽出して出力するようにしてもよい。出力部２８の出力結果は、例えば出力形式はテキストデータ（ｃｓｖ、ＪＳＯＮ等）である。

【0052】

出力装置３０には、出力部２８によって出力された結果が出力される。出力装置３０は、例えば、ディスプレイ等によって実現される。なお、出力装置３０は、店内の商品を管理するサーバ等であってもよい。

【0053】

画像処理装置１４は、例えば、図１４に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、カメラ１２、出力装置３０等の入出力装置が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

【0054】

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を画像処理装置１４として機能させるための画像処理プログラム６０が記憶されている。画像処理プログラム６０は、取得プロセス６１と、算出プロセス６２と、抽出プロセス６３と、認識プロセス６４と、出力プロセス６５とを有する。学習済みモデル記憶領域６６には、学習済みモデル記憶部２１を構成する情報が記憶される。

【0055】

ＣＰＵ５１は、画像処理プログラム６０を記憶部５３から読み出してメモリ５２に展開し、画像処理プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、取得プロセス６１を実行することで、図１に示す取得部２０として動作する。また、ＣＰＵ５１は、算出プロセス６２を実行することで、図１に示す算出部２２として動作する。また、ＣＰＵ５１は、抽出プロセス６３を実行することで、図１に示す抽出部２４として動作する。また、ＣＰＵ５１は、認識プロセス６４を実行することで、図１に示す認識部２６として動作する。また、ＣＰＵ５１は、出力プロセス６５を実行することで、図１に示す出力部２８として動作する。また、ＣＰＵ５１は、学習済みモデル記憶領域６６から情報を読み出して、学習済みモデル記憶部２１をメモリ５２に展開する。これにより、画像処理プログラム６０を実行したコンピュータ５０が、画像処理装置１４として機能することになる。ソフトウェアである画像処理プログラム６０を実行するＣＰＵ５１はハードウェアである。

【0056】

なお、画像処理プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）やGraphics Processing Unit（ＧＰＵ）等で実現することも可能である。

【0057】

次に、本実施形態に係る画像処理装置１４の作用について説明する。画像処理装置１４は、カメラ１２によって商品棚の画像の取得が開始されると、図１５に示す画像処理ルーチンを実行する。図１５に示す画像処理ルーチンは、商品棚の画像が取得される毎に繰り返し実行される。

【0058】

ステップＳ１００において、取得部２０は、カメラ１２によって撮像された画像を取得する。

【0059】

ステップＳ１０２において、算出部２２は、学習済みモデル記憶部２１に格納された学習済みモデルを読み込む。

【0060】

ステップＳ１０４において、算出部２２は、上記ステップＳ１００で取得された画像を、上記ステップＳ１０２で読み込まれた学習済みモデルに入力して、画像の各部分領域に対する第１のスコアと第２のスコアとを算出する。

【0061】

ステップＳ１０５において、抽出部２４は、上記ステップＳ１００で取得された画像から、上記ステップＳ１０４で算出された第１のスコアが予め設定された第１の閾値よりも大きい領域を第１の領域として抽出する。また、抽出部２４は、上記ステップＳ１００で取得された画像から、上記ステップＳ１０４で算出された第２のスコアが予め設定された第２の閾値よりも大きい領域を第２の領域として抽出する。

【0062】

ステップＳ１０６において、認識部２６は、上記（１）〜（５）に示す条件に応じて、表示カードの候補のフィルタリングを行い、フィルタリングの結果得られた領域の各々を表示カードとして認識する。ステップＳ１０６は、図１６に示す認識処理ルーチンによって実現される。

【0063】

ステップＳ２０２において、認識部２６は、上記（１）の条件に基づき、第１の領域と第２の領域との全ての組み合わせの各々について、第１の領域内に第２の領域が含まれている領域を、表示カードの候補として特定する。

【0064】

ステップＳ２０４において、認識部２６は、上記（２）の条件に基づき、上記ステップＳ２０２で特定された表示カードの候補の各々から、第１の領域内の第２の領域の個数が所定の範囲内の個数である表示カードの候補を、表示カードの次の候補として選択する。上記（２）の条件を満たさない表示カードの候補は除外される。

【0065】

ステップＳ２０６において、認識部２６は上記（３）の条件に基づき、表示カードの候補の各々から、第１の領域の枠を表す各座標と第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である表示カードの候補を、表示カードの次の候補として選択する。上記（３）の条件を満たさない表示カードの候補は除外される。

【0066】

ステップＳ２０８において、認識部２６は、上記（４）の条件に基づき、表示カードの候補の各々から、第１の領域の縦横比の値が予め定められた範囲内である表示カードの候補を、表示カードの次の候補として選択する。上記（４）の条件を満たさない表示カードの候補は除外される。

【0067】

ステップＳ２１０において、認識部２６は、上記（５−１）の条件に基づき、表示カードの候補の各々から、税込み価格を表す第２の領域と税抜き価格を表す第２の領域との間の配置関係が予め定められた関係である領域を、表示カードの候補として選択する。上記（５−１）の条件を満たさない表示カードの候補は除外される。

【0068】

ステップＳ２１２において、認識部２６は、上記（５−２）の条件に基づき、表示カードの候補の各々から、第２の領域と商品名を表す領域との間の配置関係が予め定められた関係である場合に、これらの領域を含む第１の領域を表示カードの候補として選択する。

【0069】

ステップＳ２１４において、認識部２６は、上記（５−３）の条件に基づき、表示カードの候補の各々から、第２の領域とバーコードを表す領域との間の配置関係が予め定められた関係である場合に、これらの領域を含む第１の領域を表示カードとして認識する。

【0070】

ステップＳ２１６において、上記ステップＳ２０２〜ステップＳ２１４の各処理を経て得られた表示カードの候補の各々を、表示カードの領域として出力する。

【0071】

図１５に示す画像処理ルーチンに戻り、ステップＳ１０８において、上記ステップＳ１０６によって取得された表示カードの領域を結果として出力して、画像処理ルーチンを終了する。

【0072】

以上説明したように、実施形態に係る画像処理装置は、画像に対するスコアに応じて、画像から表示枠を表す第１の領域と数字を表す第２の領域とを抽出する。そして、画像処理装置は、上記（１）〜（５）に示される条件を満たす領域を、商品の価格情報を含む表示カードの領域として認識する。これにより、商品の価格情報を含む表示カードの領域を画像から適切に抽出することができる。

【0073】

また、機械学習によって得られた学習済みモデルを用いる際には、例えば、画像認識に失敗した画像を用いて学習済みモデルを再学習することにより対応していたが、この場合であっても認識率には限界があった。そのため、本実施形態の画像処理装置では、表示カードの特徴を表す基本のパターンをパラメータ化することにより、表示カードの領域を精度よく抽出することができる。

【0074】

なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

【0075】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0076】

次に、実施形態の変形例を説明する。

【0077】

上記実施形態では、画像の各部分領域に対して第１のスコア及び第２のスコアを算出して、表示枠の領域を表す第１の領域及び数字の領域を表す第２の領域を特定する場合を例に説明したが、これに限定されるものではない。例えば、パターンマッチングなどの所定の画像処理によって、表示枠の領域を表す第１の領域及び数字の領域を表す第２の領域を抽出するようにしてもよい。

【0078】

また、表示カードの領域を認識する際には、他の条件を更に考慮するようにしてもよい。例えば、認識部２６は、第１の領域の面積と第２の領域の面積との面積比に基づいて、第１の領域と第２の領域との面積比が所定の範囲内である場合に、当該第１の領域を表示カードの領域として認識するようにしてもよい。

【0079】

以上の実施形態に関し、更に以下の付記を開示する。

【0080】

（付記１）
画像を取得する取得部と、
前記取得部によって取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出する抽出部と、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する認識部と、
を含む画像処理装置。

【0081】

（付記２）
前記取得部によって取得された前記画像に基づいて、前記画像の各部分領域について、前記第１の領域である度合いを表す第１のスコアと、前記第２の領域である度合いを表す第２のスコアとを算出する算出部を更に含み、
前記抽出部は、前記算出部によって算出された前記第１のスコアが予め設定された第１の閾値よりも大きい領域を前記第１の領域として抽出し、前記算出部によって算出された前記第２のスコアが予め設定された第２の閾値よりも大きい領域を前記第２の領域として抽出する、
付記１に記載の画像処理装置。

【0082】

（付記３）
前記算出部は、前記取得部によって取得された前記画像の各部分領域について、学習用の画像内における前記第１の領域及び学習用の画像内における前記第２の領域が対応付けられた学習用データから予め生成された学習済みモデルに基づいて、前記第１のスコアと前記第２のスコアとを算出する、
付記２に記載の画像処理装置。

【0083】

（付記４）
前記認識部は、前記第１の領域の縦横比の値が予め定められた範囲内である場合に、前記第１の領域を前記表示カードの領域として認識する、
付記２又は付記３に記載の画像処理装置。

【0084】

（付記５）
前記認識部は、前記第１の領域の枠を表す各座標と前記第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である場合に、該第１の領域を前記表示カードの領域として認識する、
付記１〜付記４の何れか１項に記載の画像処理装置。

【0085】

（付記６）
前記認識部は、前記第１の領域内の前記第２の領域の個数が、所定の範囲内の個数である場合に、前記第１の領域を前記表示カードとして認識する、
付記１〜付記５の何れか１項に記載の画像処理装置。

【0086】

（付記７）
前記認識部は、前記第２の領域の各々についての文字認識結果を取得し、前記第２の領域の各々についての前記文字認識結果に基づいて、税込み価格を表す前記第２の領域と、税抜き価格を表す前記第２の領域とを認識し、前記税込み価格を表す前記第２の領域と前記税抜き価格を表す前記第２の領域との間の配置関係が予め定められた関係である場合に、前記第１の領域を前記表示カードの領域として認識する、
付記１〜付記６の何れか１項に記載の画像処理装置。

【0087】

（付記８）
前記認識部は、前記第１の領域の面積と前記第２の領域の面積との面積比が、所定の範囲内である場合に、前記第１の領域を前記表示カードとして認識する、
付記１〜付記７の何れか１項に記載の画像処理装置。

【0088】

（付記９）
画像を取得し、
取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出し、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する、
処理をコンピュータに実行させるための画像処理プログラム。

【0089】

（付記１０）
取得された前記画像に基づいて、前記画像の各部分領域について、前記第１の領域である度合いを表す第１のスコアと、前記第２の領域である度合いを表す第２のスコアとを算出し、
算出された前記第１のスコアが予め設定された第１の閾値よりも大きい領域を前記第１の領域として抽出し、前記算出部によって算出された前記第２のスコアが予め設定された第２の閾値よりも大きい領域を前記第２の領域として抽出する、
付記９に記載の画像処理プログラム。

【0090】

（付記１１）
取得された前記画像の各部分領域について、学習用の画像内における前記第１の領域及び学習用の画像内における前記第２の領域が対応付けられた学習用データから予め生成された学習済みモデルに基づいて、前記第１のスコアと前記第２のスコアとを算出する、
付記１０に記載の画像処理プログラム。

【0091】

（付記１２）
前記第１の領域の縦横比の値が予め定められた範囲内である場合に、前記第１の領域を前記表示カードの領域として認識する、
付記１０又は付記１１に記載の画像処理プログラム。

【0092】

（付記１３）
前記第１の領域の枠を表す各座標と前記第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である場合に、該第１の領域を前記表示カードの領域として認識する、
付記９〜付記１２の何れか１項に記載の画像処理プログラム。

【0093】

（付記１４）
前記第１の領域内の前記第２の領域の個数が、所定の範囲内の個数である場合に、前記第１の領域を前記表示カードとして認識する、
付記９〜付記１３の何れか１項に記載の画像処理プログラム。

【0094】

（付記１５）
前記第２の領域の各々についての文字認識結果を取得し、前記第２の領域の各々についての前記文字認識結果に基づいて、税込み価格を表す前記第２の領域と、税抜き価格を表す前記第２の領域とを認識し、前記税込み価格を表す前記第２の領域と前記税抜き価格を表す前記第２の領域との間の配置関係が予め定められた関係である場合に、前記第１の領域を前記表示カードの領域として認識する、
付記９〜付記１４の何れか１項に記載の画像処理プログラム。

【0095】

（付記１６）
画像を取得し、
取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出し、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する、
処理をコンピュータに実行させる画像処理方法。

【0096】

（付記１７）
取得された前記画像に基づいて、前記画像の各部分領域について、前記第１の領域である度合いを表す第１のスコアと、前記第２の領域である度合いを表す第２のスコアとを算出し、
算出された前記第１のスコアが予め設定された第１の閾値よりも大きい領域を前記第１の領域として抽出し、前記算出部によって算出された前記第２のスコアが予め設定された第２の閾値よりも大きい領域を前記第２の領域として抽出する、
付記１６に記載の画像処理方法。

【0097】

（付記１８）
取得された前記画像の各部分領域について、学習用の画像内における前記第１の領域及び学習用の画像内における前記第２の領域が対応付けられた学習用データから予め生成された学習済みモデルに基づいて、前記第１のスコアと前記第２のスコアとを算出する、
付記１７に記載の画像処理方法。

【0098】

（付記１９）
前記第１の領域の縦横比の値が予め定められた範囲内である場合に、前記第１の領域を前記表示カードの領域として認識する、
付記１７又は付記１８に記載の画像処理方法。

【0099】

（付記２０）
前記第１の領域の枠を表す各座標と前記第２の領域の枠を表す各座標との間の差分が予め定められた範囲内である場合に、該第１の領域を前記表示カードの領域として認識する、
付記１６〜付記１９の何れか１項に記載の画像処理方法。

【0100】

（付記２１）
画像を取得し、
取得された前記画像から、表示枠を表す第１の領域と数字を表す第２の領域とを抽出し、
前記第１の領域内に前記第２の領域が含まれ、かつ前記第１の領域と前記第２の領域とが予め定められた関係である場合に、前記第１の領域を、商品の価格情報を含む表示カードの領域として認識する、
処理をコンピュータに実行させるための画像処理プログラムを記憶した記憶媒体。

【符号の説明】

【0101】

１０ 画像処理システム
１２ カメラ
１４ 画像処理装置
２０ 取得部
２１ 学習済みモデル記憶部
２２ 算出部
２３ フィルタリング部
２４ 抽出部
２６ 認識部
２８ 出力部
３０ 出力装置
５０ コンピュータ
５１ ＣＰＵ
５３ 記憶部
５９ 記録媒体
６０ 画像処理プログラム
６１ 取得プロセス
６２ 算出プロセス
６３ 抽出プロセス
６４ 認識プロセス
６５ 出力プロセス
６６ 学習済みモデル記憶領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】