特開 2023-171458 情報処理システム、情報処理装置、および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023171458

(43)【公開日】2023-12-01

(54)【発明の名称】情報処理システム、情報処理装置、および情報処理方法

(51)【国際特許分類】

   G06V 10/98 20220101AFI20231124BHJP

   G07G 1/00 20060101ALI20231124BHJP

【ＦＩ】

G06V10/98

G07G1/00 311D

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023171271

(22)【出願日】2023-10-02

(62)【分割の表示】P 2020105633の分割

【原出願日】2020-06-18

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(72)【発明者】

【氏名】キム ジェチョル

(72)【発明者】

【氏名】田口 賢佑

(72)【発明者】

【氏名】戴 暁艶

(57)【要約】

【課題】物体に対して信頼性の高い推定ができない場合に物体に関する指示を生成する。
【解決手段】情報処理システム１０は撮像部１４と制御部とを備える。撮像部１４は撮像により画像を生成する。制御部は画像に基づいて画像に含まれる物体の推定を行う。制御部は画像に対する認識処理により物体および物体のカテゴリを推定可能である。制御部は認識処理において物体の推定に失敗した場合推定された物体のカテゴリに基づいて物体に関する指示を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体の画像を含む撮像画像を取得する取得部と、
前記物体のカテゴリに基づいて、前記物体に関する指示を生成する制御部と、を備える
情報処理システム。

【請求項2】

前記制御部は、
前記物体を推定する認識処理を実行し、
前記認識処理に失敗した場合、前記指示を生成する
請求項１に記載の情報処理システム。

【請求項3】

前記制御部は、
複数の物体それぞれに認識処理を実行し、
前記複数の物体の内、前記認識処理に失敗した物体のカテゴリに基づいて、当該物体に関する指示を生成する
請求項２に記載の情報処理システム。

【請求項4】

前記撮像画像を表示する表示部を、さらに備え、
前記制御部は、前記指示を、前記撮像画像に含まれる当該指示を生成した物体に対するものであると識別可能な態様で前記表示部に表示させる
請求項２または３に記載の情報処理システム。

【請求項5】

前記制御部は、前記物体の認識処理に失敗した場合、前記物体の向きに基づいて、前記物体に関する指示を生成する
請求項２から４のいずれか１項に記載の情報処理システム。

【請求項6】

前記物体に関する指示は、前記物体の向きを基準とした、姿勢の変更を示唆する
請求項５に記載の情報処理システム。

【請求項7】

前記物体に関する指示は、前記カテゴリに対応する特定の向きへの、姿勢の変更を示唆する
請求項２から６のいずれか１項に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置、および情報処理方法に関するものである。

【背景技術】

【0002】

撮像した画像に基づいて、任意の物体が何であるかを認識することが求められている。例えば、商店などにおけるキャッシュレジスター端末において、カメラで撮影した商品を、撮影済みの取扱商品と比較することにより、カメラで撮影した商品を特定することが知られている。また、カメラで撮像した商品に対して類似度の差が小さな複数の取扱商品がある場合、複数の取扱商品の相違を判別し得る物体方向を報知する商品識別装置が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０９７８８３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に記載の商品識別装置では、撮像した商品に対する類似度が閾値を超えていなければ、類似度の差の小さな複数の取扱商品があったとしても、撮像における物体に関する指示を報知できなかった。

【0005】

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、任意の物体に対して信頼性の高い推定ができない場合に、物体に関する指示を生成する情報処理システム、情報処理装置、および情報処理方法を提供することにある。

【課題を解決するための手段】

【0006】

上述した諸課題を解決すべく、第１の観点による情報処理システムは、
撮像により画像を生成する撮像部と、
前記画像に基づいて、該画像に含まれる物体の推定を行う制御部と、を備え、
前記制御部は、
前記画像に対する認識処理により、物体および該物体のカテゴリを推定可能であり、
前記認識処理において該物体の推定に失敗した場合、推定された前記物体のカテゴリに基づいて、該物体に関する指示を生成する。

【0007】

第２の観点による情報処理装置は、
撮像部から画像を取得する取得部と、
前記画像に基づいて、該画像に含まれる物体の推定を行う制御部と、を備え、
前記制御部は、
前記画像に対する認識処理により、該画像内の物体および該物体のカテゴリを推定可能であり、
前記認識処理において該物体の推定に失敗した場合、推定された前記物体のカテゴリに基づいて、該物体に関する指示を生成する。

【0008】

第３の観点による情報処理方法は、
撮像部に撮像による画像を生成させ、
前記画像内の物体および該物体のカテゴリを推定可能な認識処理において、該物体の推定に失敗した場合、推定された前記物体のカテゴリに基づいて、該物体に関する指示を生成する。

【発明の効果】

【0009】

上記のように構成された本開示に係る情報処理システム、情報処理装置、および情報処理方法によれば、任意の物体に対して信頼性の高い推定ができない場合に当該物体に関する指示を生成し得る。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報処理システムを含む精算システムの全体構成を示す構成図である。

【図2】図１の情報処理システムの全体構成を示す外観図である。

【図3】図２の情報処理装置の概略構成を示す機能ブロック図である。

【図4】図３の制御部が実行する物体推定処理を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示を適用した情報処理システムの実施形態について、図面を参照して説明する。

【0012】

図１に示すように、本開示の一実施形態に係る情報処理システム１０を含む精算システム１１は、少なくとも１つの情報処理システム１０およびサーバ１２を含んで構成されている。本実施形態では、精算システム１１は、複数の情報処理システム１０を含む。

【0013】

本実施形態において、情報処理システム１０はレジ端末に含まれている。情報処理システム１０は、購入者がレジ端末に載置する商品を撮像する。情報処理システム１０は、撮像による画像に対して物体認識を行い、画像中に含まれる物体が店舗におけるいずれの商品であるかを推定する。画像中の物体は、画像内に描画されている物体を意味する。情報処理システム１０は、載置された全商品の推定結果を、ネットワーク１３を介してサーバ１２に通知する。サーバ１２は推定結果に基づいて、請求金額を算出する。サーバ１２は、請求金額を情報処理システム１０に通知する。情報処理システム１０は、購入者に請求金額を提示し、購入金額の支払いを要求する。

【0014】

図２に示すように、情報処理システム１０は、撮像部１４および情報処理装置１５を含んで構成される。また、情報処理システム１０は、表示装置１６、載置台１７、および支持柱１８をさらに含んで構成されてもよい。

【0015】

撮像部１４は、載置台１７の全範囲を撮像可能に固定されている。撮像部１４は、例えば、載置台１７の側面から延びる支持柱１８に固定されている。撮像部１４は、例えば、載置台１７の上面ｕｓ全面を撮像可能、かつ当該上面ｕｓに光軸が垂直になるように固定されている。撮像部１４は、任意のフレームレートで連続的に撮像を行い、画像信号を生成する。

【0016】

表示装置１６は、従来公知の任意のディスプレイである。表示装置１６は、情報処理装置１５から送信される画像信号に相当する画像を表示する。また、後述するように、表示装置１６は、タッチスクリーンとして機能してよい。

【0017】

図３に示すように、情報処理装置１５は、通信部１９（取得部）、入力部２０、記憶部２１、および制御部２２を含んで構成される。情報処理装置１５は、本実施形態において、撮像部１４および表示装置１６とは別の装置として構成されているが、例えば、撮像部１４、載置台１７、支持柱１８、および表示装置１６の少なくともいずれかと一体的に構成されてもよい。

【0018】

通信部１９は、例えば、有線または無線を含んで構成される通信線を介して撮像部１４と通信する通信モジュールを含む。通信部１９は、撮像部１４から画像を信号として受信、言い換えると取得する。通信部１９は、通信線を介して表示装置１６と通信する通信モジュールを含む。通信部１９は、表示させる画像を画像信号として表示装置１６に向けて送信する。通信部１９は、表示装置１６から表示面において接触を検知した位置に相当する位置信号を受信してよい。通信部１９は、ネットワーク１３を介してサーバ１２と通信する通信モジュールを含む。通信部１９は、後述する、確定した認識結果に相当する結果情報をサーバ１２に送信する。通信部１９は、サーバ１２から請求金額に相当する金額情報をサーバ１２から受信してよい。

【0019】

入力部２０は、ユーザ入力を検出する１つ以上のインタフェースを含む。入力部２０は、例えば、物理キー、静電容量キー、および表示装置１６と一体的に設けられたタッチスクリーンを含んでよい。本実施形態においては、入力部２０はタッチスクリーンである。

【0020】

記憶部２１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。記憶部２１は、制御部２２を機能させる多様なプログラム、および制御部２２が用いる多様な情報を記憶する。

【0021】

制御部２２は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部２２は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。

【0022】

制御部２２は、画像に含まれる物体の推定を行う。制御部２２による、物体の推定について、以下に詳細に説明する。制御部２２は、通信部１９が取得した画像に対する認識処理により、画像に含まれる各物体および当該各物体のカテゴリを推定可能である。制御部２２は、当該認識処理により、画像に含まれる各物体の状態、およびバウンディングボックスのような、単一の物体を囲繞する境界枠を推定可能であってよい。制御部２２による、物体、カテゴリ、状態、および境界枠の推定について、以下に詳細に説明する。

【0023】

制御部２２は、特徴点推定部２３、境界推定部２４、カテゴリ推定部２５、状態推定部２６、および物体推定部２７として機能することにより、画像に含まれる物体の推定を行う。

【0024】

特徴点推定部２３は、画像に基づいて、画像に含まれる特徴点を推定する。

【0025】

境界推定部２４は、特徴点推定部２３が推定した特徴点に基づいて、画像内の各物体を囲繞する境界枠を推定する。境界推定部２４は、画像に複数の物体が含まれる場合、物体別に境界枠を推定する。

【0026】

カテゴリ推定部２５は、特徴点推定部２３が推定した特徴点に基づいて、境界枠内の物体のカテゴリを推定する。したがって、カテゴリ推定部２５は、画像に複数の物体が含まれる場合、各物体を囲繞する各境界枠別に物体のカテゴリを推定してよい。物体のカテゴリは、例えば、カップ麺、袋入り即席麺、ペットボトル飲料、紙パック飲料、缶詰、袋入り菓子、書籍などの、包装状態も含めた物体の種類である。

【0027】

状態推定部２６は、特徴点推定部２３が推定した特徴点に基づいて、境界枠内の物体の状態を推定する。したがって、状態推定部２６は、画像に複数の物体が含まれる場合、各物体を囲繞する各境界枠別に物体の状態を推定してよい。物体の状態は、例えば、画像における物体の向きである。

【0028】

物体推定部２７は、特徴点推定部２３が推定した特徴点に基づいて、境界枠内の物体を推定する。したがって、カテゴリ推定部２５は、画像に複数の物体が含まれる場合、各物体を囲繞する各境界枠別に物体を推定してよい。物体の推定とは、例えば、取扱商品名の推定である。物体推定部２７は、物体の推定とともに、当該推定の信頼度を算出する。推定の信頼度が閾値以上である場合、物体の推定は成功したとみなされる。推定の信頼度が閾値未満である場合、物体の推定は失敗したとみなされる。

【0029】

特徴点推定部２３、境界推定部２４、カテゴリ推定部２５、状態推定部２６、および物体推定部２７は、例えば、多層構造のニューラルネットワークにより構成されている。特徴点推定部２３、境界推定部２４、カテゴリ推定部２５、状態推定部２６、および物体推定部２７は教師あり学習により構築される。特徴点推定部２３は、物体毎に、境界枠、カテゴリ、状態、および物体の名称をラベル付けした画像を用いて、学習することにより構築されている。

【0030】

制御部２２は、上述の認識処理において、物体推定部２７が物体の推定に失敗した場合、カテゴリ推定部２５により推定された物体のカテゴリに基づいて、物体に関する指示を生成する。なお、一般的に、カテゴリは物体そのものより推定が容易である。それゆえ、物体の推定に失敗しても、カテゴリは高い信頼性で推定され得る。

【0031】

物体に関する指示は、物体の特定の向きへの姿勢の変更を示唆してよい。一般的に、物体のカテゴリにより、当該物体の推定に最適な面は変わる。例えば、物体のカテゴリがカップ麺、または書籍である場合、当該物体の推定に最適な面は上面である。例えば、物体のカテゴリがペットボトル飲料、紙パック飲料、または缶詰である場合、当該物体の推定に最適な面は側面である。例えば、物体のカテゴリが、袋入り菓子または袋入り即席麺である場合、当該物体の推定に最適な面は正面である。それゆえ、物体に関する指示は、物体のカテゴリがカップ麺である場合、「上面をカメラに向けてください」、またはカップ麺の上面を具体的に報知するように「蓋側をカメラに向けてください」などであってよい。また、物体に関する指示は、物体のカテゴリが書籍である場合、書籍の上面を具体的に報知するように「表紙をカメラ側に向けてください」などであってよい。また、物体に関する指示は、物体のカテゴリがペットボトル飲料などである場合、「側面をカメラに向けてください」、またはペットボトルの側面を具体的に報知するように「ラベルをカメラ側に向けてください」などであってよい。また、物体に関する指示は、物体のカテゴリが袋入り菓子などである場合、「正面をカメラに向けてください」などであってよい。

【0032】

制御部２２は、物体推定部２７が物体の推定に失敗した場合の物体に関する指示の生成を、状態推定部２６により推定された物体の状態にも基づかせてよい。なお、一般的に、状態は物体そのものより推定が容易である。それゆえ、物体の推定に失敗しても、状態は高い信頼性で推定され得る。

【0033】

物体に関する指示は、さらに、推定された物体の状態である、物体の向きを基準とした、姿勢の変更を示唆してよい。物体に関する指示は、例えば、推定された物体の向きが底面側であり、当該物体の推定に最適な面が上面である場合、推定された向きである底面側から上面側への姿勢の変更を示唆してよい。さらに具体的には、当該場合において、物体に関する指示は、「ひっくり返してください」であってよい。また、物体に関する指示は、例えば、推定された物体の向きが底面側であり、当該物体の推定に最適な面が側面である場合、推定された向きである底面側から側面側への姿勢の変更を示唆してよい。さらに具体的には、当該場合において、物体に関する指示は、「倒してください」であってよい。

【0034】

上述のように、物体に関する指示は、カテゴリ別および状態別にあらかじめ定められており、記憶部２１に記憶されている。制御部２２は、カテゴリ推定部２５が推定するカテゴリ、および状態推定部２６が推定する状態に対応する物体に関する指示を記憶部２１から読み出すことにより生成してよい。

【0035】

制御部２２は、物体に関する指示を表示装置１６に送信するように、通信部１９を制御する。制御部２２は、画像に複数の物体が含まれる場合、物体に関する指示がいずれの物体に対するものかを識別可能な態様で表示されるように、当該指示を生成してよい。例えば、制御部２２は、認識処理を施した画像において、推定に失敗した物体を囲繞する境界枠に近接して、当該物体に関する指示が表示されるように当該指示を生成してよい。

【0036】

制御部２２は、物体推定部２７が物体の推定に成功した場合、推定した物体を示す情報を、サーバ１２に送信するように、通信部１９を制御する。制御部２２は、推定した物体を示す情報の送信に対して、サーバ１２から請求金額を示す情報を受信するとき、当該請求金額をユーザに提示する。制御部２２は、例えば、当該請求金額の支払いを要求する画像を作成し、表示装置１６に表示させることにより、ユーザに提示してよい。

【0037】

サーバ１２は、例えば、物理サーバ、またはクラウドサーバで構成されている。サーバ１２は、情報処理システム１０から送信される推定した物体を示す情報に基づいて、当該情報処理システム１０における載置台１７に載置された物体を特定する。サーバ１２は、データベースから当該物体の販売価格を読出すことにより当該情報処理システム１０のユーザに対する請求金額を算出する。サーバ１２は、当該請求金額を示す情報を情報処理システム１０に送信する。

【0038】

サーバ１２では、それぞれ更新される、特徴点推定部２３、境界推定部２４、カテゴリ推定部２５、状態推定部２６、および物体推定部２７を構築するためのデータを有しており、当該データを情報処理システム１０に送信してよい。

【0039】

次に、本実施形態において制御部２２が実行する、物体推定処理について、図４のフローチャートを用いて説明する。物体推定処理は、撮像部１４から１フレームの画像を受信するたびに開始する。

【0040】

ステップＳ１００において、制御部２２は、受信する画像に認識処理を施す。認識処理の実行後、プロセスはステップＳ１０１に進む。

【0041】

ステップＳ１０１では、制御部２２は、境界枠に囲繞された物体のすべての推定に成功しているか否かを判別する。物体の推定に成功している場合、プロセスはステップＳ１０２に進む。物体の推定に成功せず失敗している場合、プロセスはステップＳ１０３に進む。

【0042】

ステップＳ１０２では、制御部２２は、ステップＳ１０１において推定に失敗したと判別された物体別に、推定されたカテゴリおよび状態に対応する物体に関する指示を生成する。生成後、プロセスはステップＳ１０３に進む。

【0043】

ステップＳ１０３では、制御部２２は、ステップＳ１０２において生成した物体に関する指示を表示装置１６に送信するように通信部１９を制御する。送信後、物体推定処理は終了する。

【0044】

ステップＳ１０４では、制御部２２は、ステップＳ１００の認識処理により推定に成功した全物体を示す情報をサーバ１２に送信するように、通信部１９を制御する。送信後、物体推定処理は終了する。

【0045】

以上のような構成の本実施形態の情報処理システム１０は、画像に対する認識処理において物体の推定に失敗した場合、推定された物体のカテゴリに基づいて物体に関する指示を生成する。このような構成により、情報処理システム１０では、物体そのものよりも推定が容易であるカテゴリに基づいて、物体の推定を容易にさせる、当該物体に関する指示をユーザに認識させ得る。したがって、情報処理システム１０は、信頼性の高い物体の推定ができない場合であっても、適切な物体に関する指示を生成し得る。

【0046】

また、本実施形態の情報処理システム１０は、認識処理により物体の状態を推定可能であり、物体の推定に失敗した場合、推定された物体の状態にも基づいて、物体に関する指示を生成する。このような構成により、情報処理システム１０は、撮像された画像における物体の状態からどうすべきかの指示を生成し得る。したがって、情報処理システム１０は、ユーザによる理解の容易な指示を生成し得る。

【0047】

また、本実施形態の情報処理システム１０は、画像に含まれる複数の物体別に物体およびカテゴリを推定可能である。このような構成により、情報処理システム１０は、画像に含まれる複数の物体の一部の推定に失敗した場合でも、当該一部の物体別に物体に関する指示を生成し得る。

【0048】

また、本実施形態の情報処理システム１０では、制御部２２は、画像に基づいて特徴点を推定する特徴点推定部２３、特徴点に基づいて物体を囲繞する境界枠を推定する境界推定部２４、特徴点に基づいて物体のカテゴリを推定するカテゴリ推定部２５、特徴点に基づいて物体の状態を推定する状態推定部２６、および特徴点に基づいて物体を推定する物体推定部２７として機能する。このような構成により、情報処理システム１０では、画像に基づいて物体を推定する構成よりも、ニューラルネットワークの構成がシンプルになり、メンテナンスおよび管理が容易である。

【0049】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【符号の説明】

【0050】

１０ 情報処理システム
１１ 精算システム
１２ サーバ
１３ ネットワーク
１４ 撮像部
１５ 情報処理装置
１６ 表示装置
１７ 載置台
１８ 支持柱
１９ 通信部
２０ 入力部
２１ 記憶部
２２ 制御部
２３ 特徴点推定部
２４ 境界推定部
２５ カテゴリ推定部
２６ 状態推定部
２７ 物体推定部
ｕｓ 上面

【図1】

【図2】

【図3】

【図4】