特開 2024-172890 情報処理システム及びその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172890

(43)【公開日】2024-12-12

(54)【発明の名称】情報処理システム及びその制御方法、プログラム

(51)【国際特許分類】

   G06V 10/72 20220101AFI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

【ＦＩ】

G06V10/72

G06T7/00 350B

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023090928

(22)【出願日】2023-06-01

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(74)【代理人】

【識別番号】100227857

【弁理士】

【氏名又は名称】中山 圭

(72)【発明者】

【氏名】太田 梓

(72)【発明者】

【氏名】石関 昭男

(72)【発明者】

【氏名】高見澤 亮

(72)【発明者】

【氏名】田路 賢太郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096EA13

5L096GA38

5L096KA04

(57)【要約】

【課題】 画像サイズを変更して学習・推論する場合であっても、精度よく認識することを可能とする仕組みを提供する。
【解決手段】 認識対象物を含む画像を取得する取得し、前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加するように加工する。加工された画像を用いて学習処理を行うように制御する。
【選択図】 図６

【特許請求の範囲】

【請求項1】

認識対象物を含む画像を取得する取得手段と、
前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加する加工手段と、
前記加工手段で加工された画像を用いて学習処理を行うように制御する制御手段と
を備えることを特徴とする情報処理システム。

【請求項2】

前記制御手段は、前記学習処理を行う前に、前記加工された画像をリサイズするように制御することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記学習処理は、画像から認識対象物の種別を識別するための学習済みモデルを生成する処理であることを特徴とする請求項１に記載の情報処理システム。

【請求項4】

認識対象物を含む画像を取得する取得手段と、
前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加する加工手段と、
前記加工手段で加工された画像を用いて推論処理を行うように制御する制御手段と
を備えることを特徴とする情報処理システム。

【請求項5】

前記加工手段は、画像サイズに応じて前記領域の色を変えるような加工を施すことを特徴とする請求項１又は４に記載の情報処理システム。

【請求項6】

前記色の情報を用いて、画像サイズを識別することを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記領域は、大きさの調整を受け付けることを特徴とする請求項１又は４に記載の情報処理システム。

【請求項8】

前記大きさの調整は、前記領域の縦幅と前記領域の横幅の調整を受け付けることを特徴とする請求項７に記載の情報処理システム。

【請求項9】

前記領域の縦幅は画像の縦幅に基づく幅であって、前記領域の横幅は画像の横幅に基づく幅であることを特徴とする請求項８に記載の情報処理システム。

【請求項10】

前記領域は、枠であることを特徴とする請求項１又は４のいずれか１項に記載の情報処理システム。

【請求項11】

前記認識対象物は、食器、衣類、飲料容器、惣菜、玩具の少なくとも１つを含むことを特徴とする請求項１又は４に記載の情報処理システム。

【請求項12】

認識対象物を含む画像を取得する取得ステップと、
前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加する加工ステップと、
前記加工ステップで加工された画像を用いて学習処理を行うように制御する制御ステップと
を備えることを特徴とする情報処理システムの制御方法。

【請求項13】

認識対象物を含む画像を取得する取得ステップと、
前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加する加工ステップと、
前記加工ステップで加工された画像を用いて推論処理を行うように制御する制御ステップと
を備えることを特徴とする情報処理システムの制御方法。

【請求項14】

少なくとも１つのコンピュータを、請求項１又は４に記載の情報処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を用いて、画像に含まれる認識すべき対象を認識するための技術に関する。

【背景技術】

【0002】

従来、識別対象の物体を含む画像（訓練画像、教師データ）を用いた機械学習により学習済みモデルを生成し、生成された学習済みモデルに画像を入力することで、画像に含まれる物体を認識する技術が知られている。

【0003】

特許文献１には、教師画像の数が不足した場合に、質の良い教師画像を生成することが困難という課題を解決するために、空間的に反転する処理、色調を変更する処理、拡大する処理、縮小する処理、平行移動する処理、ひずませる処理、教師画像を別の画像と合成する処理を用いて教師画像を生成する方法が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１６９６７２号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

学習済みモデルの生成や生成された学習済みモデルを用いた推論を行う際には、学習用の画像や推論対象の画像を拡大・縮小して画像サイズを統一してから学習・推論することが一般的である。このように画像サイズを変更することで、認識対象物の大きさに係る情報が欠落してしまい、形状や色彩など大きさ以外の特徴が似ている対象物については、認識精度が低下してしまうという課題がある。

【0006】

特許文献１で開示された技術では、画像サイズが変更されることによる認識精度の低下という課題を考慮した教師画像の生成方法は開示されていない。

【0007】

そこで、本発明は、画像サイズを変更して学習・推論する場合であっても、精度よく認識することを可能とする仕組みを提供することを目的とする。

【課題を解決するための手段】

【0008】

認識対象物を含む画像を取得する取得手段と、
前記認識対象物の大きさに反比例する大きさの領域を、当該認識対象物を含む画像に対して付加する加工手段と、
前記加工手段で加工された画像を用いて学習処理を行うように制御する制御手段と
を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、画像サイズを変更して学習・推論する場合であっても、精度よく認識することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報処理装置を適用可能なシステムを説明する図である。

【図2】各種装置のハードウェア構成の一例を示す図である。

【図3】ＡＩ学習時の一例を示すフローチャートである。

【図4】ＡＩ推論時の一例を示すフローチャートである。

【図5】本発明の課題を説明するための図の一例である。

【図6】画像の外周部の幅を拡張する一例を説明する図である。

【図7】画像の外出部の幅に色付けする一例を説明する図である。

【図8】食器の検出の一例を説明する図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施例では適用対象の具体例として食堂で用いられる食器の種類を識別するケースを用いて説明するが、適用対象はこれに限られず、衣類や飲料容器や惣菜、玩具（例えば、車の玩具と実物）など、デザインが同じで大きさが異なる対象物を区別して認識する処理にも適用可能である。

【0012】

まず、図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。

【0013】

本発明における情報処理システムは、カメラ１０３とディスプレイ１０４と精算台１０５で構成されている食堂精算レーン１０２が、所定のコントローラ１０６（例えばＰｏＥハブ）からネットワーク１０７（例えばイーサネット）を介して、クライアント端末１０１と通信可能に接続されて構成されている。なおクライアント端末１０１に対して、複数の食堂精算レーン１０２が接続されてもよい。

【0014】

カメラ１０３は、精算台１０５のトレー全体が写る範囲を撮影可能な位置に設置されている。

【0015】

精算台１０５には、会計のために食後の食器が載ったトレーが置かれる。なお、食器が載ったトレーは、食前の状態でもよい。

【0016】

クライアント端末１０１は、例えばパーソナルコンピューター（以下、ＰＣ）であり、カメラ１０３で撮像された画像から食器を識別し、決済等の処理を行う。クライアント端末１０１は深層距離学習（ディープメトリックラーニング（Ｄｅｅｐ Ｍｅｔｒｉｃ Ｌｅａｒｎｉｎｇ））の技術を用いて、精算台１０５に置かれた食器の種類を識別する。

【0017】

深層距離学習とは、画像の特徴量のみを抽出し、抽出した特徴量からアルゴリズムによって画像の特徴量ベクトルを算出し、その距離を測定することでどの商品に最も近いかを求める手法である。予めサンプル画像を用意しておき、各画像から特徴量ベクトルを抽出する。入力画像について、各サンプル画像と特養量ベクトルの距離を測定し、最も近い距離にあるサンプルと同一種類であると判定する。本実施例では、深層距離学習を用いて説明をするが、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ等の他の手法を用いても良い。

【0018】

ディスプレイ１０４は、クライアント端末１０１で処理された決済の情報を表示し、食事を行った支払い者に精算を指示する。なお、ディスプレイ１０４には、カメラ１０３の映像を表示してもよい。

【0019】

次に図２を参照して、本発明を適用可能な装置の一例としてのクライアント端末１０１の構成の一例を示す。

【0020】

図２において、内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記録媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、通信Ｉ／Ｆ２１０が接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

【0021】

メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、クライアント端末１０１の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

【0022】

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記録媒体２０８に格納された画像データや、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像データ、撮像された画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。画像から認識すべき対象（食器）を認識する処理は、ＣＰＵ２０１が画像処理部２０４と協働して行う。

【0023】

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するようにクライアント端末１０１の各部を制御する。ディスプレイ２０５は出力された映像信号に基づいて映像を表示する。なお、クライアント端末１０１自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビなど）で構成してもよい。

【0024】

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

【0025】

記録媒体Ｉ／Ｆ２０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体２０８が装着可能とされ、ＣＰＵ２０１の制御に基づき、装着された記録媒体２０８からのデータの読み出しや、当該記録媒体２０８に対するデータの書き込みを行う。外部Ｉ／Ｆ２０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

【0026】

カメラ部２１２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。

【0027】

次に図３を参照して、本発明の実施形態における、食器認識に係る学習処理（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅを用いた学習処理）の基本処理について説明する。なお、各ステップの処理は、各装置のＣＰＵ２０１が実行する。食堂の客が食堂精算レーン１０２を利用する前の処理として、クライアント端末１０１で画像を学習するときに、図３の処理が開始される。

【0028】

Ｓ３０１では、ＣＰＵ２０１は、カメラ１０３で撮影された食器を含む画像から食器毎の画像を外接矩形で切り出して取得し、記録媒体２０８に保存する。具体的には、カメラ１０３で撮影した画像から、食器の領域を検出する。この検出処理は、後述する食器の種別の検出とは異なる検出処理であり、種別は不明であるが、食器がある（あるいは、トレーではない物体がある）ということまでがわかる検出処理である。この検出処理で検出された食器の領域に対して、食器の外形に接するように矩形（以下、外接矩形）を設定する。元の画像から設定された外接矩形の領域の部分画像（すなわち、単一の食器を含む画像）を切り出して取得し、記録媒体２０８に保存する。

【0029】

Ｓ３０２では、ＣＰＵ２０１は、Ｓ３０１で取得して保存した切り出し画像に対して、外周部を画像サイズに反比例するように幅を拡張する。本実施形態で説明する反比例とは、物事の一方が増すにつれて、他方が減る関係を含む。

【0030】

本ステップについて、具体的に図５、図６を用いて説明する。図５（ａ）では、色や形状が似ているが大きさが異なる複数の食器の切り出し画像（大食器画像５０１、小食器画像５０２）を示す。しかし、一般的な画像分類のためのＡＩモデルでは、ＡＩモデルに入力するデータの大きさを揃える必要がある。そのため、ＡＩに画像を学習させると、同じ大きさにリサイズしてしまい、大きさの情報が欠落してしまう。すなわち、図５（ｂ）に示す、学習用大食器画像５０３と、学習用小食器画像５０４のように、ＡＩに学習させる際に画像を同じ大きさにリサイズする処理が行われる。そのため、元の画像サイズでは大きさが異なる場合であっても、同じ食器として認識されてしまい、認識精度の低下につながる。

【0031】

そこで、本ステップでは、図６（ａ）のように、切り出し画像の外周部に補間幅６０１を設定（付加）する。補間幅６０１は、元の画像サイズに反比例するように設定される。例えば、大食器画像５０１の補間幅６０１の幅は狭く、小食器画像５０２の補間幅６０１の幅は広くなるように設定される。具体的な補間幅６０１の幅の算出方法の一例を以下に示す。
（１）横軸の拡張する
（ｅ－画像の横幅） ＊ ｄ／２
ｄ：拡張率の係数 ０．０～１．０
ｅ：拡張する画像サイズの上限
※画像の大きさがｅ以上の場合は枠を
（２）縦軸の拡張する
（ｅ－画像の縦幅） ＊ ｄ／２
ｄ：拡張率の係数 ０．０～１．０
ｅ：拡張する画像サイズの上限
※画像の大きさがｅ以上の場合は枠を
（３）画像の左右を（１）で求めた値（横軸の拡張する幅）で拡張、上下を（２）で求めた値（縦軸の拡張する幅）で拡張する補間幅６０１を付加する。

【0032】

上記のように、切り出し画像に補間幅６０１を設定した後、ＡＩに学習させる。図６（ｂ）では、ＡＩに学習させる画像サイズの一例を示す。学習用大食器画像５０３と、学習用小食器画像５０４は、ＡＩに学習させる際に画像を同じ大きさにリサイズする処理が行われる。このとき、画像の外周部では補間幅６０１が設定されている。これにより、ＡＩ学習時に画像がリサイズされたとしても、画像に設定された補間幅６０１により食器の大きさを判別できるようになる。すなわち、食器の大きさ情報が反映された画像となるため、色や形状が似ている食器についても、大きさの違いに基づいて認識精度を向上させることが可能となる。

【0033】

なお、補間幅６０１のスケールは、例えば以下のような数式により変更ができるものとする。以下の数式では、拡張する値に対して任意の係数（ここでは０．５）により幅を調整させている。
縦軸：（拡張する画像サイズの上限－画像サイズ）／２×０．５
横軸：（拡張する画像サイズの上限－画像サイズ）／２×０．５

【0034】

補間幅６０１の大きさを調整した際の一例を図６（ｃ）に示す。図６（ｃ）はＡＩに学習させる際にリサイズされた後の画像であり、図６（ｂ）に比べて補間幅６０１の大きさが調整されている。リサイズ前の画像サイズが小さい画像については、補間幅６０１を設定することで縮小された画像となるため、情報が欠落し認識精度の低下につながることが懸念されるが、補間幅６０１のスケールを調整することにより、縮小率を抑え認識精度の低下を防ぐことが可能となる。

【0035】

Ｓ３０３では、ＣＰＵ２０１は、付加した補間幅６０１の色情報（ＲＧＢ）を設定する。具体的には、切り出した画像サイズに基づき求められた値を色情報として設定することで、付加した補間幅をもとの画像サイズに応じた色とする。色情報として設定される値を算出するための数式の一例を以下に示す。なお、以下の数式では縦幅、横幅を用いて算出しているが、画像の面積、アスペクト比や外部から取得した位置情報、距離情報等のような画像サイズに基づく値であれば、それを用いて計算してもよい。
（１）画像の横幅を表す
（画像の横幅 － ｆ）／ｇ＊ｈ
ｆ：大きさの下限
ｇ：大きさの上限
ｈ：画像の最大画素値
※大きさに反比例する値でもよい
※大きさがｆ以下の時は横幅を表す値は０、大きさがｇ以上のときは横幅を表す
（２）画像の縦幅を表す
（画像の縦幅 － ｆ）／ｇ＊ｈ
ｆ：大きさの下限
ｇ：大きさの上限
ｈ：画像の最大画素値
※大きさに反比例する値でもよい
※大きさがｆ以下の時は横幅を表す値は０、大きさがｇ以上のときは横幅を表す
（３）拡張箇所のＲ成分を（１）の値、Ｂ成分を（２）の値で塗りつぶす

【0036】

図７（ａ）に、上記数式を用いて算出された値が補間幅６０１に入力された例を示す。大食器画像５０１の着色後補間幅７０１は、ＲＧＢ＝（２００，０，２００）の値で塗りつぶされている。これにより視覚的には薄い紫色で示される。また、小食器画像５０２の着色後補間幅７０２は、ＲＧＢ＝（２０，０，２０）の値で塗りつぶされており、視覚的には濃い紫色で示される。すなわち、色の濃淡により画像の大きさを判別している。なお、上記の例では、大食器画像５０１は薄い色、小食器画像５０２は濃い色で示しているが、色の濃淡は逆でも良い。図７（ｂ）はＡＩ学習のためにリサイズされた後の一例である。このように外周部の補間幅６０１に色を付けることにより、ＡＩは補間幅のサイズだけでなく色も材料に切り出し画像の大きさを判断することができるようになり、認識精度の向上につながる。

【0037】

Ｓ３０４では、ＣＰＵ２０１は、Ｓ３０３で生成された補間幅に対して値が入力された大食器画像７０３と小食器画像７０４の双方を、それぞれの画像の食器の種別を示すラベル情報を用いた学習処理を行い、学習済モデルを作成する。作成した学習済みモデルを記録媒体２０８に記録する。

【0038】

以上が図３の説明である。

【0039】

次に図４を参照して、本実施形態における、食器の認識処理の一例を示す。この処理は、図３の学習処理で生成された学習済みモデルを用いた推論フェーズの処理であり、食堂の客が食堂精算レーン１０２を利用する際に行われる処理である。なお、各ステップの処理は、ＣＰＵ２０１が実行する。なお、図３の処理と図４の処理を同じクライアント端末１０１が行う例を説明するが、図３の処理で生成された学習済みモデルを使うのであれば、図４の処理は図３の処理を行うクライアント端末１０１とは別の個体の情報処理装置（例えばＰＣ）で実行するようにしてもよい。

【0040】

Ｓ４０１では、ＣＰＵ２０１は、カメラ１０３で精算台１０５の範囲を撮影する。カメラ１０３で清算台を撮影する際、常に撮影し続けてもいいし、撮影範囲内に何らかの動く物体を検知した場合に、撮影を開始しても良い。

【0041】

Ｓ４０２では、ＣＰＵ２０１は、撮影画像から、所定の範囲にトレーが置かれているかを判定するトレー配置判定処理を実行する。Ｓ４０３でトレーが置かれていると判断された場合はＳ４０４の食器位置検出処理を行い、トレーが置かれていないと判断された場合はＳ４０２のトレー配置判定が再度実行される。

【0042】

Ｓ４０４では、ＣＰＵ２０１は、カメラ１０３による撮影を行い、撮影された画像から、Ｓ３０１と同様に、食器毎の画像を外接矩形で切り出して取得する。図８に、カメラ１０３で撮影された画像の例を示す。撮影画像８０１には、精算台１０５に置かれたトレー８０２と食器８０３ａ～８０３ｄが写っている。トレー上の食器の位置を検出し、それぞれの食器に対して外接矩形８０４ａ～８０４ｄを算出する。なお、図８は食べ残しが無い食器の画像の例であるが、食べ残しがある場合には、各食器の内側に食べ残しが写ったものとなる。

【0043】

Ｓ４０５では、ＣＰＵ２０１は、検出した食器の外接矩形の外周部を画像サイズに反比例する幅拡張する。本ステップの拡張処理は、学習時のＳ３０２の処理と同様である。

【0044】

Ｓ４０６では、ＣＰＵ２０１は、検出した食器の外接矩形の拡張した箇所に比例する値を入れる。本ステップの処理は、学習時のＳ３０３の処理と同様である。

【0045】

Ｓ４０７では、ＣＰＵ２０１は、ＡＩによる食器の種類判別を実行する。具体的には、Ｓ３０４で作成された学習済モデル（記録媒体２０８に記憶されている学習済みモデル）に、Ｓ４０６で作成した加工済み画像を入力し、推論処理を行う。Ｓ４０４で複数の切り出し画像を取得していた場合は、それらの全てについてそれぞれ推論処理を行う。推論処理の結果として、各加工済み画像について、複数の食器種別毎のスコア（該当する食器種別に対する確からしさ）が出力される。ＣＰＵ２０１は、このうち、スコアが所定の閾値を超えているものを抽出し、判別結果の候補種別とする。候補種別として抽出される種別の数は、０、１、複数のいずれの場合もあり得る。このとき、Ｓ４０６で作成した加工済み画像は、候補種別を抽出するときにのみ利用される。すなわち、これ以降の処理では加工されていない切り出し画像と、サンプル画像の比較に基づき推論処理が行われる。

【0046】

Ｓ４０８では、Ｓ４０７の推論処理の結果、候補種別が抽出されたか否かを判定する。候補種別が１つ以上抽出された場合はＳ４０９に進み、そうでない場合、すなわち候補種別が０であった（スコアが閾値を超える種別が無かった）場合にはＳ４１５へ進む。

【0047】

Ｓ４０９～Ｓ４１３の処理は、候補種別の１つずつについて行われる。以下、例として、１つの切り出し画像についてＳ４０７で候補種別が吸い物椀、茶碗、焼き魚皿の３つが抽出された例を説明する。この場合、Ｓ４０９～Ｓ４１３の処理は、吸い物椀、茶碗、焼き魚皿それぞれについて行われる。

【0048】

Ｓ４０９では、ＣＰＵ２０１は、Ｓ４０７で抽出された候補種別であって、Ｓ４０９での処理対象の候補種別に対応するサンプル画像を取得する。サンプル画像は、検出結果としてあり得る食器の正解データ（教師データ）に含まれる画像であり、Ｓ３０１で予め記録媒体２０８に記録されていた画像である。

【0049】

Ｓ４１０では、ＣＰＵ２０１は、候補種別の取得元となった認識対象画像である切り出し画像（外接矩形）のアスペクト比と、Ｓ４０９で取得したサンプル画像のアスペクト比とを比較する処理を実行する。

【0050】

Ｓ４１１では、ＣＰＵ２０１は、Ｓ４１０の比較の結果、アスペクト比の差が許容範囲以内であるかを判定する。許容範囲内であればＳ４１２に処理を進め、許容範囲外であればＳ４１５に進む。例えば、焼き魚皿のサンプル画像において、食器の外接矩形のアスペクト比は横長の２：３であるものとする。これに対して、候補種別である焼き魚皿の取得元となった認識対象画像である切り出し画像（外接矩形）のアスペクト比が１：１であれば、焼き魚皿はアスペクト比が許容範囲外となるため、このステップでＮｏと判定され、焼き魚皿は候補種別から除外される。

【0051】

Ｓ４１２では、ＣＰＵ２０１は、候補種別の取得元となった認識対象画像である切り出し画像（外接矩形）のサイズと、Ｓ４０９で取得したサンプル画像のサイズとを比較する処理を実行する。具体的には、面積（ピクセル数）を比較する。Ｓ４０４の食器位置検出で検出された外接矩形の面積（ピクセル数）とＳ４１１で絞り込まれたサンプル画像群の候補の面積（ピクセル数）を比較する処理を実行する。

【0052】

Ｓ４１３では、ＣＰＵ２０１は、Ｓ４１２の比較の結果、サイズの差が許容範囲以内であるかを判定する。許容範囲内であればＳ４１４に処理を進め、許容範囲外であればＳ４１５に進む。例えば、茶碗のサンプル画像のサイズが、吸い物椀のサンプル画像のサイズ１よりも大きい、サイズ２であるものとする。これに対して、候補種別である茶碗の取得元となった認識対象画像である切り出し画像（外接矩形）のサイズがサイズ１であり、サイズ１とサイズ２の差が許容範囲を超える差であれば、このステップでＮｏと判定され、茶碗は候補種別から除外される。このように、同じような形状の食器であっても大きさが異なる場合があるため、食器の大きさを比較して、異なる大きさの食器を候補から除外する処理を行う。例えば、茶碗の中でも、大きいものから小さいものまで大きさは様々であり、これらを識別するために、食器の画像の面積を比較することで候補を絞り込むことができる。

【0053】

Ｓ４１４では、ＣＰＵ２０１は、候補種別の全てについて処理済みであるか否かを判定する。全て処理済みであればＳ４１６に進み、そうでない場合にはＳ４０９に進んで次の候補種別についての処理を行う。

【0054】

Ｓ４１５では、ＣＰＵ２０１は、処理対象の候補種別を候補から除外する。すなわちその種別は認識結果としては確定しない。

【0055】

Ｓ４１６では、ＣＰＵ２０１は、Ｓ４０７で抽出された候補種別のうち、Ｓ４０９からＳ４１５の処理で候補から除外されなかった種別が存在するか否かを判定する。存在する場合にはＳ４１７に進み、存在しない場合（全ての種別が除外された場合）にはＳ４１８へ進む。

【0056】

Ｓ４１７では、ＣＰＵ２０１は、Ｓ４０７で抽出された候補種別のうち、Ｓ４０９からＳ４１３の処理で候補から除外されなかった残りの種別のうち、スコアが最も高い食器の種別を１つ特定し、認識結果として確定する。すなわち、１つの容器領域に対して１つの食器の種別を特定する。

【0057】

一方、Ｓ４１８では、ＣＰＵ２０１は、検出対象の食器が、未登録の食器（未登録物品）として判定する。その場合、未登録物品は会計に含めないように処理を行う。例えば、トレー上に食器以外のタオル等が置かれていた場合、それを未登録物品として認識し、会計には含めないようにする。また、未登録物品であると識別できるように、当該物品に対して、「Ｕｎｋｎｏｗｎ」等の通知をしてもよい。

【0058】

こうしてＳ４１７，Ｓ４１８で食器の種別が特定されると、ＣＰＵ２０１は、その日のメニュー（献立）情報を参照し、特定された食器に対応する料理（メニュー）と値段を取得する。そして、１つのトレー画像に含まれる全ての食器に対応する料理と値段を取得すると、ディスプレイ１０４に、検出結果として、各料理名、値段、合計金額を表示するように制御する。その後、ユーザーからの清算操作に応じて、表示された合計金額での清算を行う。

【0059】

以上が図４の説明である。

【0060】

以上説明したように、本実施形態によれば、学習・推論時に大きさ情報が欠落する仕組みにおいても大きさ情報を使った学習・推論が可能となるため、色や形状が似ている食器についても、より正確に認識させることができるようになる。

【0061】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0062】

なお、ＣＰＵ２０１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0063】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0064】

また、上述した実施形態においては、本発明をＰＣに適用した場合を例にして説明したが、これはこの例に限定されず黒塗り画像を生成できる装置であれば適用可能である。すなわち、本発明はＰＤＡ、携帯電話端末（スマートフォン）、タブレット端末などに適用可

【0065】

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【符号の説明】

【0066】

１０１ クライアント端末
１０７ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】