(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-13
(45)【発行日】2023-11-21
(54)【発明の名称】処理装置、処理方法及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20231114BHJP
G06T 7/00 20170101ALI20231114BHJP
【ＦＩ】
G06N20/00
G06T7/00 350B
【請求項の数】
9
(21)【出願番号】P 2022502774
(86)(22)【出願日】2020-02-28
(86)【国際出願番号】 JP2020008294
(87)【国際公開番号】W WO2021171553
(87)【国際公開日】2021-09-02
【審査請求日】2022-08-17
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】橋本 博志
(72)【発明者】
【氏名】荒井 観
(72)【発明者】
【氏名】渋谷 恵
(72)【発明者】
【氏名】花沢 健
(72)【発明者】
【氏名】古川 あずさ
(72)【発明者】
【氏名】秋口 万貴子
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１５－１２９９８８（ＪＰ，Ａ）
【文献】特許第６１６１２２９（ＪＰ，Ｂ１）
【文献】国際公開第２０１９／１６３０９４（ＷＯ，Ａ１）
【文献】土井 賢治，ラーメン画像からの全店舗識別，情報処理，日本，一般社団法人情報処理学会，2018年10月15日，第５９巻 , 第１１号，pp.971-973，ISSN 0447-8053
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
推論器に基づきクラス分類を実行する分類実行手段と、前記クラス分類により特定されたクラスの事前分布に基づき、前記クラス分類により特定されたクラスの適合率を算出する算出手段と、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段と、
を有する処理装置。
【請求項2】
前記算出手段は、下記式（１）に基づき、前記適合率を算出する請求項１に記載の処理装置。【数1】
【請求項3】
Ｒ及びＳは固定値である請求項２に記載の処理装置。
【請求項4】
予め環境ごとにＲ及びＳの値が用意されており、前記適合率を算出する時の環境に基づきＲ及びＳが決定される請求項２に記載の処理装置。
【請求項5】
前記分類実行手段は、商品を撮影した画像及び前記推論器に基づくクラス分類により、前記画像に含まれる商品を特定し、前記適合率が前記基準値以上である場合、前記クラス分類により特定された商品を購入対象として登録し、前記適合率が前記基準値未満である場合、前記オペレータによる正誤入力で特定された商品を購入対象として登録する登録手段をさらに有し、
前記事前分布は、前記クラス分類により特定された商品が購入対象として登録される頻度を示す請求項１から４のいずれか１項に記載の処理装置。
【請求項6】
前記事前分布は、店舗で扱っている商品各々の購入対象としての登録回数の合計に対する前記クラス分類により特定された商品の購入対象としての登録回数の割合である請求項５に記載の処理装置。
【請求項7】
前記算出手段は、各商品が購入対象として登録された時の環境を記録した情報に基づき、前記適合率を算出する時の環境下における前記クラス分類により特定された商品の前記事前分布を算出し、算出した前記事前分布に基づき前記適合率を算出する請求項５又は６に記載の処理装置。
【請求項8】
コンピュータが、推論器に基づきクラス分類を実行し、
前記クラス分類により特定されたクラスの事前分布に基づき、前記クラス分類により特定されたクラスの適合率を算出し、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理方法。
【請求項9】
コンピュータを、推論器に基づきクラス分類を実行する分類実行手段、
前記クラス分類により特定されたクラスの事前分布に基づき、前記クラス分類により特定されたクラスの適合率を算出する算出手段、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１は、番組映像内から検索対象者を検索する顔認識処理において、各出演者が番組映像に写っている可能性を示す適合率を用いたソートを行うことを開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－３３３７２号
【発明の概要】
【発明が解決しようとする課題】
【0004】
機械学習等で生成された推論器は推論結果を誤ることがある。推論結果が誤っている可能性があることを検知し、それを訂正するための技術が望まれる。当該技術により、誤った推論結果に基づき以降の処理が行われる不都合を抑制できる。特許文献１は、当該課題及びその解決手段を開示していない。
【0005】
本発明の課題は、機械学習等で生成された推論器による推論結果が誤っている可能性があることを検知し、それを訂正するための技術を提供することである。
【課題を解決するための手段】
【0006】
本発明によれば、
推論器に基づきクラス分類を実行する分類実行手段と、
前記クラス分類により特定されたクラスの適合率を算出する算出手段と、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段と、
を有する処理装置が提供される。
推論器に基づきクラス分類を実行する分類実行手段と、
前記クラス分類により特定されたクラスの適合率を算出する算出手段と、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段と、
を有する処理装置が提供される。
【0007】
また、本発明よれば、
コンピュータが、
推論器に基づきクラス分類を実行し、
前記クラス分類により特定されたクラスの適合率を算出し、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理方法が提供される。
コンピュータが、
推論器に基づきクラス分類を実行し、
前記クラス分類により特定されたクラスの適合率を算出し、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理方法が提供される。
【0008】
また、本発明によれば、
コンピュータを、
推論器に基づきクラス分類を実行する分類実行手段、
前記クラス分類により特定されたクラスの適合率を算出する算出手段、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段、
として機能させるプログラムが提供される。
コンピュータを、
推論器に基づきクラス分類を実行する分類実行手段、
前記クラス分類により特定されたクラスの適合率を算出する算出手段、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段、
として機能させるプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることを検知し、それを訂正するための技術が実現される。
【図面の簡単な説明】
【0010】
【図1】本実施形態の処理装置のハードウエア構成の一例を示す図である。
【図2】本実施形態の処理装置の機能ブロック図の一例である。
【図3】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図4】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図5】本実施形態の処理装置が出力する画面の一例を模式的に示す図である。
【図6】本実施形態の処理装置が出力する画面の一例を模式的に示す図である。
【図7】本実施形態の処理装置が出力する画面の一例を模式的に示す図である。
【図8】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図9】本実施形態の処理装置の処理の流れの一例を示すフローチャートである。
【図10】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図11】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図12】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【図13】本実施形態の処理装置が処理する情報の一例を模式的に示す図である。
【発明を実施するための形態】
【0011】
＜第１の実施形態＞
「概要」
まず、本実施形態の処理装置が実行する処理の概要を説明する。処理装置は、機械学習等で生成された推論器に基づきクラス分類を実行すると、当該クラス分類により特定されたクラスの事前分布に基づき、特定されたクラスの適合率を算出する。そして、適合率が基準値以上である場合、処理装置は、特定されたクラスに基づき以降の処理を実行する。一方、適合率が基準値未満である場合、処理装置は、特定されたクラスを出力してオペレータによる正誤入力を受付け、当該正誤入力で特定された正しいクラスに基づき以降の処理を実行する。
「概要」
まず、本実施形態の処理装置が実行する処理の概要を説明する。処理装置は、機械学習等で生成された推論器に基づきクラス分類を実行すると、当該クラス分類により特定されたクラスの事前分布に基づき、特定されたクラスの適合率を算出する。そして、適合率が基準値以上である場合、処理装置は、特定されたクラスに基づき以降の処理を実行する。一方、適合率が基準値未満である場合、処理装置は、特定されたクラスを出力してオペレータによる正誤入力を受付け、当該正誤入力で特定された正しいクラスに基づき以降の処理を実行する。
【0012】
本実施形態の処理装置の適用場面を説明する。本実施形態の処理装置は、コンビニエンスストア、スーパーマーケット等の店舗における会計処理において利用される。本実施形態の処理装置の一例は、いわゆるＰＯＳ（point of sales）レジスターである。処理装置は、購入対象の商品を撮影した画像と推論器とに基づき、画像に含まれる商品を特定するクラス分類を実行する。そして、処理装置は、特定された商品が購入対象として登録される頻度（購入頻度）を示す事前分布に基づき、特定された商品の適合率を算出する。そして、適合率が基準値以上である場合、処理装置１０は、特定された商品を購入対象として登録する。一方、適合率が基準値未満である場合、処理装置１０は、特定結果を出力してオペレータによる正誤入力を受付け、当該正誤入力で特定された商品を購入対象として登録する。
【0013】
このような本実施形態の処理装置によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることを検知し、それを訂正するための技術が実現される。結果、誤った推論結果に基づき以降の処理が行われる不都合を抑制できる。上述した適用場面の場合、画像に含まれる商品と異なる商品を購入対象として登録し、会計処理を行う不都合が抑制される。
【0014】
「ハードウエア構成」
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
【0015】
図１は、処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよいし、物理的及び／又は論理的に一体となった１つの装置で構成されてもよい。処理装置が物理的及び／又は論理的に分かれた複数の装置で構成される場合、複数の装置各々が上記ハードウエア構成を備えることができる。
【0016】
バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサー、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
【0017】
「機能構成」
次に、処理装置の機能構成を説明する。図２に示すように、処理装置１０は、記憶部１１と、分類実行部１２と、算出部１３と、処理部１４と、登録部１５とを有する。
次に、処理装置の機能構成を説明する。図２に示すように、処理装置１０は、記憶部１１と、分類実行部１２と、算出部１３と、処理部１４と、登録部１５とを有する。
【0018】
記憶部１１は、本実施形態の処理に必要な各種情報を記憶する。例えば、記憶部１１は、画像に含まれる商品を特定する推論器（推定モデル）を記憶する。推論器は、画像に含まれる商品を特定する。例えば、商品画像と商品識別情報（商品名、商品コード等）とを紐づけた教師データに基づく機械学習により、推論器が生成される。
【0019】
分類実行部１２は、推論器に基づきクラス分類を実行する。まず、分類実行部１２は、購入対象の商品を撮影した画像を取得する。当該撮影は、会計処理を実行するオペレータ（例：店員、客）が行う。そして、分類実行部１２は、当該画像及び記憶部１１に記憶されている推論器に基づくクラス分類により、画像に含まれる商品を特定する。分類実行部１２は、取得した画像をそのまま推論器に入力してもよいし、所定の処理（例：ノイズ除去、物体検出、背景除去、トリミング等）を行った後に推論器に入力してもよい。推論器による推論結果は、画像に含まれる商品であると特定された商品の商品識別情報等を示す。なお、商品を撮影するカメラの構成、撮影方法、処理装置１０への画像の入力方法などは設計的事項であり、あらゆる技術を採用できる。
【0020】
算出部１３は、分類実行部１２によるクラス分類により特定されたクラスの適合率を算出する。すなわち、算出部１３は、画像に含まれる商品であると特定された商品の適合率を算出する。
【0021】
ここで、適合率を算出する処理の詳細を説明する。算出部１３は、クラス分類により特定されたクラス（商品）の事前分布に基づきそのクラスの適合率を算出する。具体的には、算出部１３は、下記式（１）に基づき、適合率Ｐを算出する。
【0022】
【数1】
【0023】
Ｒは再現率であり、Ｓは特異度である。本実施形態では、再現率Ｒ及び特異度Ｓは固定値である。すなわち、会計処理時の環境（時間帯、天気など）やクラス分類の結果に関わらず、再現率Ｒ及び特異度Ｓは同じ値である。ｐは事前分布である。本実施形態では、事前分布ｐは特定された商品が購入対象として処理装置１０に登録される頻度を示す。事前分布ｐはその会計処理時における各商品の登録履歴に基づき算出される。
【0024】
すなわち、算出部１３は、予め記憶部１１に記憶されている再現率Ｒ及び特異度Ｓの値を取り出す。また、算出部１３は、その会計処理時における各商品の登録履歴に基づき、特定された商品の最新の事前分布ｐを算出する。そして、算出部１３は、上記式（１）に、取り出した再現率Ｒ及び特異度Ｓと、算出した事前分布ｐを入力して、適合率Ｐを算出する。
【0025】
ここで、上記式（１）について説明する。まず、以下のパラメータを定義する。
ＴＰ：true positive：正解を正解と推論した数
ＦＰ：false positive：不正解を正解と推論した数
ＦＮ：false negative：正解を不正解と推論した数
ＴＮ：true negative：不正解を不正解と推論した数
ＴＰ：true positive：正解を正解と推論した数
ＦＰ：false positive：不正解を正解と推論した数
ＦＮ：false negative：正解を不正解と推論した数
ＴＮ：true negative：不正解を不正解と推論した数
【0026】
一般的に、適合率Ｐ、再現率Ｒ、特異度Ｓ、事前分布ｐは下記式（２）乃至（５）で算出されることが知られている。これらの式を変形することで、上記式（１）が得られる。
【0027】
【数2】
【0028】
【数3】
【0029】
【数4】
【0030】
【数5】
【0031】
次に、再現率Ｒ及び特異度Ｓを固定値とすること、及び、その値の決定方法を説明する。
【0032】
再現率Ｒ及び特異度Ｓは、推論器による認識の難しさによって変わる。認識の難しさは、画像に含まれる推論対象の写り方によるところが大きく、例えば、撮影時の光環境（外光、室内光、室内光の種類、光と被写体との相対的な関係（距離、向き等）等）や、推論対象（被写体）とカメラの相対的な関係（距離、向き等）等によって異なる。
【0033】
しかし、店舗における会計処理において処理装置１０が利用される本実施形態の場合、実行環境によらず認識の難しさは不変と想定できる。すなわち、本実施形態の場合、撮影に影響する光は室内光であり、外光の影響は無視できる。そして、室内光の強さ等は時間等に関係なく不変であることが一般的である。また、室内のライトや会計処理に利用するカメラは所定位置に固定されていることが一般的であるので、これらの相対的な関係（距離、向き等）は時間等に関係なく不変であることが一般的である。さらに、会計処理時に購入対象の商品をカメラで撮影する方法はマニュアル化されるので、推論対象（被写体）とカメラの相対的な関係（距離、向き等）はオペレータ毎の多少のずれがあったとしても、大きくずれることはない。
【0034】
本発明者は、本実施形態はこのように再現率Ｒ及び特異度Ｓを不変と想定できる環境にあることを新たに見出し、これらの値を固定値とすることを新たに想到した。
【0035】
再現率Ｒ及び特異度Ｓの値は、例えば、店舗で実際に処理装置１０を使用する前に、所定の場所で分類実行部１２によるクラス分類のテストを実行し、そのテストの結果、及び、上記式（３）及び（４）に基づき算出することができる。テストを実行する場所は、店舗であるのが好ましいが、他の場所であってもよい。
【0036】
次に、事前分布ｐの算出方法を説明する。店舗における会計処理において処理装置１０が利用される本実施形態の場合、事前分布ｐは、クラス分類により特定された商品が購入対象として登録される頻度（購入頻度）を示す。
【0037】
例えば、本実施形態の事前分布ｐは、「店舗で扱っている商品各々の購入対象としての登録回数の合計」に対する「クラス分類により特定された商品の購入対象としての登録回数」の割合である。ここでの「購入対象としての登録」は、以下で説明する登録部１５により実現される処理であり、会計処理時にＰＯＳレジスター等の会計装置に購入対象として登録することである。
【0038】
記憶部１１は、図３に示すように、店舗で扱っている商品各々の商品識別情報と、各商品が購入対象として登録された回数とを紐づけた事前分布情報を記憶している。当該事前分布情報は、会計処理が行われるごとに更新される。そして、算出部１３は、当該事前分布情報に基づき、上述した事前分布ｐを算出する。
【0039】
なお、「店舗で扱っている商品各々の購入対象としての登録回数の合計」は、その店舗で扱っているすべての商品の登録回数の合計であってもよい。
【0040】
その他、「店舗で扱っている商品各々の購入対象としての登録回数の合計」は、その店舗で扱っている一部商品の登録回数の合計であってもよい。一部商品は、例えば、クラス分類により特定された商品と外観が類似しており、分類実行部１２によるクラス分類で互いの識別が比較的困難な商品の集まり（外観類似商品群）とすることができる。クラス分類で互いの識別が比較的困難な商品の集まりは、例えば同種商品（飲料、シャンプー、歯磨き粉等）の集まりであってもよいし、同一メーカの同種商品の集まりであってもよいし、同一メーカの同一シリーズの商品の集まりであってもよいし、その他であってもよい。
【0041】
記憶部１１は、図４に示すように、分類実行部１２によるクラス分類で互いの識別が比較的困難な商品の集まりを示すグループ情報を記憶しておいてもよい。そして、算出部１３は、当該グループ情報に基づき、クラス分類により特定された商品と同一のグループ番号を紐づけられた商品を特定し、「クラス分類により特定された商品と同一のグループ番号を紐づけられた商品（クラス分類により特定された商品を含む）の登録回数」の合計を、「店舗で扱っている商品各々の購入対象としての登録回数の合計」として算出してもよい。
【0042】
なお、本実施形態では、当該頻度は、処理装置１０が設置された一の店舗において各商品が購入対象として登録される頻度とする。すなわち、処理装置１０が設置されたその店舗における各商品の購入頻度を示す。変形例として、複数の店舗群においてその商品が購入対象として登録される頻度としてもよい。すなわち、複数の店舗全体での各商品の購入頻度としてもよい。複数の店舗群は、客による商品の購入傾向が似ている店舗の集まりとするのが好ましく、例えば、立地条件（例：１００ｍ以内に駅がある、１００ｍ以内に大学がある等）が似ている店舗の集まり等が例示される。
【0043】
図２に戻り、処理部１４は、算出部１３により算出された適合率Ｐが基準値未満である場合、分類実行部１２によるクラス分類により特定されたクラス（商品）を出力し、オペレータによる正誤入力を受付ける。処理部１４は、会計処理を実行するオペレータに向けて当該情報を出力し、当該オペレータから正誤入力を受付ける。情報の出力は、ディスプレイ、スピーカ、投影装置等のあらゆる出力装置を介して実現される。また、入力の受付は、タッチパネル、物理ボタン、マイク、マウス、キーボード等のあらゆる入力装置を介して実現される。
【0044】
例えば、処理部１４は、図５に示すような画面をタッチパネルディスプレイに表示し、入力を受付けてもよい。図５に示す画面では、分類実行部１２によるクラス分類により特定された商品を識別する情報が表示され、それが正しいか否かの回答の入力を受付けるようになっている。そして、処理部１４は、当該画面で「Ｎｏ」の入力を受付けた場合、図６に示すような画面をタッチパネルディスプレイに表示し、入力を受付けてもよい。図６に示す画面では、店舗で扱っている商品が一覧表示され、その中から１つを指定する入力を受付けるようになっている。
【0045】
その他、処理部１４は、図７に示すような画面をタッチパネルディスプレイに表示し、入力を受付けてもよい。図７に示す画面では、店舗で扱っている商品の中から選択された一部の複数の商品が、購入対象の商品の候補として表示されている。そして、当該画面では、その候補の中から１つを指定する入力を受付けるようになっている。処理部１４は、当該画面で「どれでもない」の入力を受付けた場合、図６に示すような画面をタッチパネルディスプレイに表示し、入力を受付けてもよい。
【0046】
ここで、図７に示す画面に表示する商品の候補を選択する方法の一例を説明する。
【0047】
（選択方法１）その時点で事前分布の値が高い方から所定数の商品を選択する。
【0048】
（選択方法２）その時点の事前分布の値が高い方から所定数の商品に含まれ、かつ、事前分布の値が基準値以上の商品を選択する。
【0049】
（選択方法３）選択方法１又は選択方法２で選択した商品に加え、分類実行部１２によるクラス分類で特定された商品を選択する。
【0050】
（選択方法４）分類実行部１２によるクラス分類で特定された商品と同一のグループ番号を紐づけられた商品の中からその時点で事前分布の値が高い方から所定数を選択する。
【0051】
（選択方法５）分類実行部１２によるクラス分類で特定された商品と同一のグループ番号を紐づけられた商品の中でその時点の事前分布の値が高い方から所定数の商品に含まれ、かつ、事前分布の値が基準値以上の商品を選択する。
【0052】
（選択方法６）選択方法４又は選択方法５で選択した商品に加え、分類実行部１２によるクラス分類で特定された商品を選択する。
【0053】
（選択方法７）推論器が事後分布を出力する場合、選択方法１乃至６の方法において、事前分布の値を事後分布の値に置き換えて、商品を選択する。
【0054】
図２に戻り、登録部１５は、算出部１３により算出された適合率Ｐが基準値以上である場合、分類実行部１２によるクラス分類により特定された商品を購入対象として登録する。そして、登録部１５は、当該適合率Ｐが当該基準値未満である場合、処理部１４により受付けられたオペレータによる正誤入力で特定された商品を購入対象として登録する。
【0055】
例えば、登録部１５は、店舗サーバに記憶されている商品マスタから、購入対象として登録する商品の商品情報（商品名、単価等）を取得し、記憶部１１に記憶させる。
【0056】
次に、図８のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
【0057】
店舗における会計処理において処理装置１０が利用される本実施形態の場合、処理装置１０は、購入対象の商品を登録する商品登録処理Ｓ２０と、登録内容に基づく精算処理Ｓ２１とを繰り返す。
【0058】
商品登録処理Ｓ２０では、処理装置１０は、図９のフローチャートで示す処理を繰り返す。
【0059】
まず、オペレータは、購入対象の商品を撮影する操作を行う。分類実行部１２は、当該撮影で生成された画像を取得する（Ｓ１０）。次いで、分類実行部１２は、記憶部１１に記憶されている推論器と、Ｓ１０で取得された画像とに基づき、画像に含まれる商品を特定するクラス分類を実行する（Ｓ１１）。
【0060】
次に、算出部１３は、Ｓ１１のクラス分類で特定された商品の適合率Ｐを算出する（Ｓ１２）。具体的には、算出部１３は、その時点の事前分布情報（図３参照）に基づき、Ｓ１１のクラス分類で特定された商品の事前分布を算出する。そして、算出部１３は、記憶部１１に予め記憶されている再現率Ｒ及び特異度Ｓと、算出した事前分布と、上述した式（１）とに基づき、適合率Ｐを算出する。
【0061】
算出された適合率Ｐが基準値以上である場合（Ｓ１３のＹｅｓ）、登録部１５は、Ｓ１１のクラス分類で特定された商品を購入対象として登録する（Ｓ１６）。例えば、登録部１５は、店舗サーバに記憶されている商品マスタからその商品の商品情報（商品名、単価等）を取得し、記憶部１１に記憶させる。次いで、登録部１５は、事前分布情報（図３参照）を更新する（Ｓ１７）。すなわち、登録部１５は、購入対象として登録した商品の登録回数を「１」増加させる。
【0062】
一方、算出された適合率Ｐが基準値未満である場合（Ｓ１３のＮｏ）、処理部１４は、Ｓ１１のクラス分類で特定された商品を出力し、オペレータによる正誤入力を受付ける正誤入力受付処理を実行する（Ｓ１４）。そして、登録部１５は、Ｓ１４の正誤入力の内容に基づき正しい商品を特定し（Ｓ１５）、Ｓ１４の正誤入力の内容に基づき特定された商品を購入対象として登録する（Ｓ１６）。例えば、登録部１５は、店舗サーバに記憶されている商品マスタからその商品の商品情報（商品名、単価等）を取得し、記憶部１１に記憶させる。次いで、登録部１５は、事前分布情報（図３参照）を更新する（Ｓ１７）。すなわち、登録部１５は、購入対象として登録した商品の登録回数を「１」増加させる。Ｓ１６及びＳ１７の処理は、上述の通りである。
【0063】
図９のフローチャートで示す処理を少なくとも一回行い、少なくとも１つの商品が購入対象として登録された後、処理装置１０は、精算処理に進む入力を受付け可能となる。そして、処理装置１０は、当該入力に応じて精算処理Ｓ２１を実行する。
【0064】
例えば、処理装置１０は、精算処理Ｓ２１において、クレジットカード情報の入力を受付けたり、クレジットカード会社のサーバと通信して決済処理を行ったり、預かり金額の入力を受付けたり、釣銭を算出したり、算出した釣銭を送出したり、コード決済等のその他の処理を実行したり、レシートを発行したりすることで、商品登録処理Ｓ２０での登録内容に基づき算出された会計金額の精算を行う。
【0065】
その他、処理装置１０は、精算処理Ｓ２１において、商品登録処理Ｓ２０での登録内容に基づき算出された会計金額や購入対象の商品の明細などを、処理装置１０とは物理的及び／又は論理的に分かれた精算装置に送信してもよい。そして、当該精算装置が、クレジットカード情報の入力を受付けたり、クレジットカード会社のサーバと通信して決済処理を行ったり、預かり金額の入力を受付けたり、釣銭を算出したり、算出した釣銭を送出したり、コード決済等のその他の処理を実行したり、レシートを発行したりしてもよい。この例は、購入対象の商品を登録するための装置と、精算処理を行うための装置とが物理的及び／又は論理的に分かれている状況を想定している。
【0066】
「作用効果」
以上説明した本実施形態の処理装置１０によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることを検知し、それを訂正するための技術が実現される。このため、誤った推論結果に基づき以降の処理が実行される不都合を軽減できる。店舗における会計処理において処理装置１０が利用される本実施形態の場合、画像に含まれる商品と異なる商品を購入対象として登録し、会計処理を行う不都合が抑制される。
以上説明した本実施形態の処理装置１０によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることを検知し、それを訂正するための技術が実現される。このため、誤った推論結果に基づき以降の処理が実行される不都合を軽減できる。店舗における会計処理において処理装置１０が利用される本実施形態の場合、画像に含まれる商品と異なる商品を購入対象として登録し、会計処理を行う不都合が抑制される。
【0067】
また、本実施形態の処理装置１０によれば、各商品が購入対象として登録される頻度を示す事前分布に基づき、各商品の適合率Ｐを算出することができる。このような特徴的な事前分布を利用することで、高精度に適合率Ｐを算出し、推論結果の誤りを高精度に検知することができる。
【0068】
また、本実施形態の処理装置１０によれば、上述のような特徴的な式（１）に基づき、適合率Ｐを算出することができる。このため、比較的簡易に、高精度な適合率Ｐを算出することができる。
【0069】
また、本実施形態の処理装置１０は、実行環境に関わらず再現率Ｒ及び特異度Ｓが不変と想定できる環境下で利用されるので、上記式（１）に含まれるパラメータのうち、再現率Ｒ及び特異度Ｓを固定値とすることができる。このため、処理装置１０による処理負担を軽減することができる。
【0070】
＜第２の実施形態＞
本実施形態の処理装置１０は、事前分布（購入頻度）の算出の仕方が、第１の実施形態と異なる。具体的には、処理装置１０は、会計処理時の環境を特定し、その環境下での事前分布（購入頻度）を算出する。
本実施形態の処理装置１０は、事前分布（購入頻度）の算出の仕方が、第１の実施形態と異なる。具体的には、処理装置１０は、会計処理時の環境を特定し、その環境下での事前分布（購入頻度）を算出する。
【0071】
本実施形態の記憶部１１は、図１０に示すような事前分布情報、及び、図１１に示すような環境情報を記憶する。図１０に示すように、本実施形態の事前分布情報では、各環境下で各商品が購入対象として登録された回数を示す。すなわち、当該事前分布情報は、各商品が購入対象として登録された時の環境を記録している。各環境は、曜日、時間帯、季節、天気、商品メーカ、商品形状、商品種類、購入者属性、在庫情報（在庫有無、在庫数）等のパラメータの中の１つ以上で特定されてもよい。
【0072】
算出部１３は、事前分布や適合率Ｐを算出する際、まず、その時の環境を特定する。算出部１３は、処理装置１０内に記憶されている情報に基づき、上述のような環境を特定する各種パラメータの値を取得してもよいし、外部装置から取得してもよい。そして、算出部１３は、取得した各種パラメータの値と、図１１に示すような環境情報とに基づき、その時の環境（環境番号）を特定する。
【0073】
環境を特定後、算出部１３は、図１０に示すような事前分布情報を参照し、「店舗で扱っている商品各々の特定した環境下での購入対象としての登録回数の合計」に対する「クラス分類により特定された商品の特定した環境下での購入対象としての登録回数」の割合を、クラス分類により特定された商品のその環境下での事前分布として算出する。
【0074】
処理装置１０のその他の構成は、第１の実施形態と同様である。
【0075】
本実施形態の処理装置１０によれば、第１の実施形態と同様の作用効果が実現される。また、会計処理時の環境を考慮して各商品の事前分布及び適合率Ｐを算出できる本実施形態の処理装置１０によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることをより精度よく検知することが可能となる。
【0076】
＜第３の実施形態＞
本実施形態の処理装置１０は、再現率Ｒ及び特異度Ｓが固定値でなく、会計処理時の環境毎に用意されている。そして、処理装置１０は、会計処理時の環境に紐づいた再現率Ｒ及び特異度Ｓを用いて、適合率Ｐを算出する。
本実施形態の処理装置１０は、再現率Ｒ及び特異度Ｓが固定値でなく、会計処理時の環境毎に用意されている。そして、処理装置１０は、会計処理時の環境に紐づいた再現率Ｒ及び特異度Ｓを用いて、適合率Ｐを算出する。
【0077】
本実施形態の記憶部１１は、図１２に示すようなＲＳ情報、及び、図１３に示すようなＲＳ環境情報を記憶する。これらの図に示すように、本実施形態では、会計処理時の環境を複数の環境に分類し、環境毎に再現率Ｒ及び特異度Ｓを予め記憶部１１に記憶しておく。例えば、店舗で実際に処理装置１０を使用する前に所定の場所で行われる分類実行部１２によるクラス分類のテストを、複数の環境各々の下で行い、各環境下で複数のテスト結果を収集する。そして、各環境下でのテストの結果、及び、上記式（３）及び（４）に基づき、環境毎に再現率Ｒ及び特異度Ｓを算出することができる。
【0078】
算出部１３は、適合率Ｐを算出する際、まず、その時の環境を特定する。算出部１３は、処理装置１０内に記憶されている情報に基づき、上述のような環境を特定する各種パラメータの値を取得してもよいし、外部装置から取得してもよい。そして、算出部１３は、取得した各種パラメータの値と、図１３に示すようなＲＳ環境情報とに基づき、その時の環境（ＲＳ環境番号）を特定する。環境を特定後、算出部１３は、図１２に示すようなＲＳ情報に基づき、適合率Ｐの算出に用いる再現率Ｒ及び特異度Ｓを取得する。
【0079】
処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。
【0080】
本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、会計処理時の環境を考慮して再現率Ｒ及び特異度Ｓを決定できる本実施形態の処理装置１０によれば、機械学習等で生成された推論器による推論結果が誤っている可能性があることをより精度よく検知することが可能となる。
【0081】
本実施形態の処理装置１０は、再現率Ｒ及び特異度Ｓを実行環境によらず不変と想定できないが、実行環境を分類し、各実行環境下では再現率Ｒ及び特異度Ｓを不変と想定できるような状況下で利用できる。店舗における会計処理において処理装置１０が利用される本実施形態の場合、例えば、窓やドアの近くに処理装置１０が設置されており、商品の撮影において外光の影響を無視できない場合などが当該状況に該当する。
【0082】
＜変形例＞
第１乃至第３の実施形態では、処理装置１０を店舗における会計処理において利用するものとした。しかし、処理装置１０の利用場面はこれに限定されない。第１及び第２の実施形態の処理装置１０は、再現率Ｒ及び特異度Ｓが実行環境によらず不変と想定できる各種場面で利用可能である。また、第３の実施形態の処理装置１０は、実行環境を分類し、各実行環境下では再現率Ｒ及び特異度Ｓを不変と想定できる各種場面で利用可能である。なお、変形例においては、処理装置１０は、登録部１５に代えて、クラス分類による特定結果に基づき所定の処理を実行する実行部を有してもよい。実行部は、適合率が基準値以上である場合、クラス分類による特定結果に基づき所定の処理を実行し、適合率が基準値未満である場合、オペレータによる正誤入力に基づく特定結果に基づき所定の処理を実行する。所定の処理の詳細は設計的事項である。
第１乃至第３の実施形態では、処理装置１０を店舗における会計処理において利用するものとした。しかし、処理装置１０の利用場面はこれに限定されない。第１及び第２の実施形態の処理装置１０は、再現率Ｒ及び特異度Ｓが実行環境によらず不変と想定できる各種場面で利用可能である。また、第３の実施形態の処理装置１０は、実行環境を分類し、各実行環境下では再現率Ｒ及び特異度Ｓを不変と想定できる各種場面で利用可能である。なお、変形例においては、処理装置１０は、登録部１５に代えて、クラス分類による特定結果に基づき所定の処理を実行する実行部を有してもよい。実行部は、適合率が基準値以上である場合、クラス分類による特定結果に基づき所定の処理を実行し、適合率が基準値未満である場合、オペレータによる正誤入力に基づく特定結果に基づき所定の処理を実行する。所定の処理の詳細は設計的事項である。
【0083】
なお、本明細書において、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置が他の装置や記憶媒体に格納されているデータを取りに行くこと（能動的な取得）」、たとえば、他の装置にリクエストまたは問い合わせして受信すること、他の装置や記憶媒体にアクセスして読み出すこと等を含んでもよい。また、「取得」とは、ユーザ入力に基づき、又は、プログラムの指示に基づき、「自装置に他の装置から出力されるデータを入力すること（受動的な取得）」、たとえば、配信（または、送信、プッシュ通知等）されるデータを受信すること等を含んでもよい。また、「取得」とは、受信したデータまたは情報の中から選択して取得すること、及び、「データを編集（テキスト化、データの並び替え、一部データの抽出、ファイル形式の変更等）などして新たなデータを生成し、当該新たなデータを取得すること」を含んでもよい。
【0084】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0085】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限定されない。
１． 推論器に基づきクラス分類を実行する分類実行手段と、
前記クラス分類により特定されたクラスの適合率を算出する算出手段と、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段と、
を有する処理装置。
２． 前記算出手段は、前記クラス分類により特定されたクラスの事前分布に基づき前記適合率を算出する１に記載の処理装置。
３． 前記算出手段は、上記式（１）に基づき、前記適合率を算出する２に記載の処理装置。
４． Ｒ及びＳは固定値である３に記載の処理装置。
５． 予め環境ごとにＲ及びＳの値が用意されており、記適合率を算出する時の環境に基づきＲ及びＳが決定される３に記載の処理装置。
６． 前記分類実行手段は、商品を撮影した画像及び前記推論器に基づくクラス分類により、前記画像に含まれる商品を特定し、
前記適合率が前記基準値以上である場合、前記クラス分類により特定された商品を購入対象として登録し、前記適合率が前記基準値未満である場合、前記オペレータによる正誤入力で特定された商品を購入対象として登録する登録手段をさらに有し、
前記事前分布は、前記クラス分類により特定された商品が購入対象として登録される頻度を示す２から５のいずれかに記載の処理装置。
７． 前記事前分布は、店舗で扱っている商品各々の購入対象としての登録回数の合計に対する前記クラス分類により特定された商品の購入対象としての登録回数の割合である６に記載の処理装置。
８． 前記算出手段は、各商品が購入対象として登録された時の環境を記録した情報に基づき、前記適合率を算出する時の環境下における前記クラス分類により特定された商品の前記事前分布を算出し、算出した前記事前分布に基づき前記適合率を算出する６又は７に記載の処理装置。
９． コンピュータが、
推論器に基づきクラス分類を実行し、
前記クラス分類により特定されたクラスの適合率を算出し、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理方法。
１０． コンピュータを、
推論器に基づきクラス分類を実行する分類実行手段、
前記クラス分類により特定されたクラスの適合率を算出する算出手段、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段、
として機能させるプログラム。
１． 推論器に基づきクラス分類を実行する分類実行手段と、
前記クラス分類により特定されたクラスの適合率を算出する算出手段と、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段と、
を有する処理装置。
２． 前記算出手段は、前記クラス分類により特定されたクラスの事前分布に基づき前記適合率を算出する１に記載の処理装置。
３． 前記算出手段は、上記式（１）に基づき、前記適合率を算出する２に記載の処理装置。
４． Ｒ及びＳは固定値である３に記載の処理装置。
５． 予め環境ごとにＲ及びＳの値が用意されており、記適合率を算出する時の環境に基づきＲ及びＳが決定される３に記載の処理装置。
６． 前記分類実行手段は、商品を撮影した画像及び前記推論器に基づくクラス分類により、前記画像に含まれる商品を特定し、
前記適合率が前記基準値以上である場合、前記クラス分類により特定された商品を購入対象として登録し、前記適合率が前記基準値未満である場合、前記オペレータによる正誤入力で特定された商品を購入対象として登録する登録手段をさらに有し、
前記事前分布は、前記クラス分類により特定された商品が購入対象として登録される頻度を示す２から５のいずれかに記載の処理装置。
７． 前記事前分布は、店舗で扱っている商品各々の購入対象としての登録回数の合計に対する前記クラス分類により特定された商品の購入対象としての登録回数の割合である６に記載の処理装置。
８． 前記算出手段は、各商品が購入対象として登録された時の環境を記録した情報に基づき、前記適合率を算出する時の環境下における前記クラス分類により特定された商品の前記事前分布を算出し、算出した前記事前分布に基づき前記適合率を算出する６又は７に記載の処理装置。
９． コンピュータが、
推論器に基づきクラス分類を実行し、
前記クラス分類により特定されたクラスの適合率を算出し、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理方法。
１０． コンピュータを、
推論器に基づきクラス分類を実行する分類実行手段、
前記クラス分類により特定されたクラスの適合率を算出する算出手段、
前記適合率が基準値未満である場合、前記クラス分類により特定されたクラスを出力し、オペレータによる正誤入力を受付ける処理手段、
として機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】