(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-31
(45)【発行日】2022-11-09
(54)【発明の名称】物品特定装置
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221101BHJP
【ＦＩ】
G06Q50/10
【請求項の数】
7
(21)【出願番号】P 2017249720
(22)【出願日】2017-12-26
(65)【公開番号】P2019117437
(43)【公開日】2019-07-18
【審査請求日】2020-10-26
(73)【特許権者】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】内田 昌希
(72)【発明者】
【氏名】松葉 靖寿
【審査官】鈴木 和樹
(56)【参考文献】
【文献】特開２０１７－１１１７３１（ＪＰ，Ａ）
【文献】特開２０１０－２１８３７２（ＪＰ，Ａ）
【文献】特開２０１７－１３０２１６（ＪＰ，Ａ）
【文献】米国特許出願公開第２００４／０２０８３７２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００ － ９９／００
Ｇ０６Ｆ １６／００ － １６／９５８
(57)【特許請求の範囲】
【請求項1】
画像を取得する画像取得部と、取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定する候補特定部と、
特定した前記物品候補に係る情報を出力する出力部と、
出力した前記物品候補が正解であるか否かを示す正解情報を取得する情報取得部と、
取得した前記正解情報及び前記画像取得部が取得した画像を用いて、前記識別器の再学習を行う学習部と
を備え、
前記候補特定部は、複数の前記物品候補のそれぞれに対して前記画像中の物品である可能性を示す確信度を算出し、算出した確信度が高い複数の物品候補を特定し、
前記出力部は、特定された前記物品候補を、それぞれの前記確信度に応じて強調表示する指示を出力し、
前記情報取得部は、前記複数の物品候補のうちの正解である物品を示す正解情報を取得する
ことを特徴とする物品特定装置。
【請求項2】
前記情報取得部が取得した前記正解情報に基づいて正解である物品に応じた物品情報を出力する物品情報出力部を備えることを特徴とする請求項１に記載の物品特定装置。
【請求項3】
前記画像取得部は、前記画像及びユーザ情報を取得し、前記物品情報出力部は、取得した前記ユーザ情報に応じた前記物品情報を出力する
ことを特徴とする請求項２に記載の物品特定装置。
【請求項4】
前記画像取得部は、前記画像及びユーザ情報を取得し、前記出力部は、前記候補特定部が特定した前記物品候補から前記ユーザ情報に応じた物品候補を抽出し、抽出した前記物品候補に係る情報を出力する
ことを特徴とする請求項１から３までのいずれかひとつに記載の物品特定装置。
【請求項5】
前記出力部は、前記画像中の物品の撮像方向に応じた、前記候補特定部が特定した前記物品候補の画像を出力することを特徴とする請求項１から４までのいずれかひとつに記載の物品特定装置。
【請求項6】
前記識別器は、複数の物品画像から複数の物品のそれぞれにおける特徴量を学習させた識別器であり、前記候補特定部は、前記複数の物品から前記画像中の物品候補を特定する
ことを特徴とする請求項１から５までのいずれかひとつに記載の物品特定装置。
【請求項7】
前記画像取得部は、外部装置で撮像された撮像画像を取得し、前記候補特定部は、取得した前記撮像画像中の被写体に対応する物品候補を特定する
ことを特徴とする請求項１から６までのいずれかひとつに記載の物品特定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物品特定装置に関する。
【背景技術】
【0002】
商品を撮像した撮像画像に対して画像認識を行い、撮像された商品を特定する技術がある。例えば特許文献１では、ディープラーニングによる認識モデルを用いて、事前に登録された商品から、撮像画像中の商品を認識するシステムが開示されている。特許文献１に開示されたシステムでは、所定の商品認識エリアに置かれた商品が例えば上から又は横から撮像され、得られた撮像画像に基づいて被写体の商品が特定される。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６２０９７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１のように認識モデルを用いて被写体の商品を認識する構成では、商品を撮像する際の撮像環境によっては高い精度で商品を認識することができない虞がある。例えば被写体の背景、被写体に対する撮像方向、周囲の明るさ等の撮像環境が異なる状況で商品が撮像された場合に、被写体の商品を正確に特定することは難しい。これは、認識モデルを構築する際に、あらゆる撮像環境で撮像した画像を用いることが難しいからである。
【0005】
本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、撮像画像に基づく被写体の認識精度を向上させることが可能な物品特定装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係る物品特定装置は、画像を取得する画像取得部と、取得した前記画像から識別器を用いて前記画像中に存在する物品候補を特定する候補特定部と、特定した前記物品候補に係る情報を出力する出力部と、出力した前記物品候補が正解であるか否かを示す正解情報を取得する情報取得部と、取得した前記正解情報及び前記画像取得部が取得した画像を用いて、前記識別器の再学習を行う学習部とを備え、前記候補特定部は、複数の前記物品候補のそれぞれに対して前記画像中の物品である可能性を示す確信度を算出し、算出した確信度が高い複数の物品候補を特定し、前記出力部は、特定された前記物品候補を、それぞれの前記確信度に応じて強調表示する指示を出力し、前記情報取得部は、前記複数の物品候補のうちの正解である物品を示す正解情報を取得することを特徴とする。
【発明の効果】
【0007】
本発明の一態様にあっては、撮像画像に基づいて被写体の物品を認識する精度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】物品特定システムの構成例を示す模式図である。
【図2】サーバ装置及びユーザ端末の構成例を示すブロック図である。
【図3】サーバ装置の制御部によって実現される機能を示すブロック図である。
【図4】物品特定システムが行う処理の説明図である。
【図5】ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。
【図6】ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。
【図7】ユーザ端末の画面例を示す模式図である。
【図8】ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。
【図9】ユーザ端末の画面例を示す模式図である。
【図10】ユーザ情報ＤＢの構成例を示す模式図である。
【図11】ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。
【図12】ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。
【図13】ユーザ端末の画面例を示す模式図である。
【図14】ユーザ端末の画面例を示す模式図である。
【図15】ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。
【図16】ユーザ端末及びサーバ装置が行う処理の手順を示すフローチャートである。
【図17】ユーザ端末の画面例を示す模式図である。
【図18】受信履歴ＤＢの構成例を示す模式図である。
【図19】サーバ装置が行う判断処理の手順を示すフローチャートである。
【図20】ユーザ端末及びサーバ装置が行う処理の手順の一部を示すフローチャートである。
【発明を実施するための形態】
【0009】
（実施形態１）
図１は、物品特定システムの構成例を示す模式図である。本実施形態では、商品等の物品を撮像して得られた撮像画像に基づいて、撮像画像中の被写体の物品を特定する物品特定システムについて説明する。物品特定システム１００は、サーバ装置（情報処理装置）１０及び複数のユーザ端末２０を含み、サーバ装置１０及び各ユーザ端末２０は、インターネット等のネットワークＮを介して通信接続されている。ユーザ端末２０は、ユーザによる操作に従って商品等の物品を撮像し、得られた撮像画像をサーバ装置１０へ送信する。サーバ装置１０は、ユーザ端末２０から取得した撮像画像に対して予め学習済みの学習モデルを参照し、撮像画像に含まれる物品（商品）を特定する。サーバ装置１０は、複数台設けられてもよいし、１台の装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。
図１は、物品特定システムの構成例を示す模式図である。本実施形態では、商品等の物品を撮像して得られた撮像画像に基づいて、撮像画像中の被写体の物品を特定する物品特定システムについて説明する。物品特定システム１００は、サーバ装置（情報処理装置）１０及び複数のユーザ端末２０を含み、サーバ装置１０及び各ユーザ端末２０は、インターネット等のネットワークＮを介して通信接続されている。ユーザ端末２０は、ユーザによる操作に従って商品等の物品を撮像し、得られた撮像画像をサーバ装置１０へ送信する。サーバ装置１０は、ユーザ端末２０から取得した撮像画像に対して予め学習済みの学習モデルを参照し、撮像画像に含まれる物品（商品）を特定する。サーバ装置１０は、複数台設けられてもよいし、１台の装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。
【0010】
図２は、サーバ装置１０及びユーザ端末２０の構成例を示すブロック図である。サーバ装置１０は、サーバコンピュータ、パーソナルコンピュータ等である。サーバ装置１０は、制御部１１、記憶部１２、通信部１３等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラムを適宜実行することにより、本開示の物品特定装置が行うべき種々の情報処理、制御処理等をサーバ装置１０に行わせる。
【0011】
記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部１２に記憶される制御プログラムには、本開示のプログラムである物品特定プログラム１２ａが含まれる。また記憶部１２は、例えば機械学習処理によって構築されたＣＮＮ（Convolution Neural Network）モデルの物品識別器１２ｂを記憶している。物品識別器１２ｂは、物品の撮像画像に基づいて、撮像画像中の被写体における外観の形状、色等の複数の特徴量から、被写体の物品が、予め学習された複数の物品のいずれであるかを特定するためのニューラルネットワークである。サーバ装置１０は、物品識別器１２ｂを用いて、撮像画像中の被写体の物品を特定する。
【0012】
通信部１３は、ネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。
本実施形態のサーバ装置１０は、上述した構成のほかに表示部及び入力部等を備えていてもよい。なお、表示部は制御部１１からの指示に従って各種の情報を表示し、入力部はユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。サーバ装置１０は、通信部１３を介して外部装置から物品特定プログラム１２ａ及び物品識別器１２ｂを取得して記憶部１２に記憶してもよい。また、サーバ装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から物品特定プログラム１２ａ及び物品識別器１２ｂを読み出して記憶部１２に記憶してもよい。
本実施形態のサーバ装置１０は、上述した構成のほかに表示部及び入力部等を備えていてもよい。なお、表示部は制御部１１からの指示に従って各種の情報を表示し、入力部はユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。サーバ装置１０は、通信部１３を介して外部装置から物品特定プログラム１２ａ及び物品識別器１２ｂを取得して記憶部１２に記憶してもよい。また、サーバ装置１０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、可搬型記憶媒体から物品特定プログラム１２ａ及び物品識別器１２ｂを読み出して記憶部１２に記憶してもよい。
【0013】
ユーザ端末２０は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラムを適宜実行することにより、ユーザ端末２０が行うべき種々の情報処理、制御処理等を行う。
【0014】
記憶部２２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部２２は、制御部２１が実行する制御プログラム及び制御プログラムの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラムを実行する際に発生するデータ等を一時的に記憶する。記憶部２２に記憶される制御プログラムには、物品照会アプリケーションプログラム（以下、物品照会アプリという）２２ａが含まれる。物品照会アプリ２２ａは、例えば通信部２３を介して外部装置から取得されて記憶部２２に記憶される。なお、ユーザ端末２０が可搬型記憶媒体に記憶された情報を読み取る読取部等を備える場合、物品照会アプリ２２ａは可搬型記憶媒体から読み出されて記憶部２２に記憶されてもよい。
【0015】
通信部２３は、ネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。表示部２４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２５は、表示部２４の表面に配置されたタッチセンサ又は押下式のボタンであり、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。なお、タッチセンサである入力部２５は、表示部２４と一体としてタッチパネルを構成する。
【0016】
カメラ２６は、レンズ及び撮像素子等を有し、レンズを介して入射した光を撮像素子にて光電変換して画像データを取得する。カメラ２６は、制御部２１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を逐次制御部２１へ送出する。なお、ユーザ端末２０は、カメラ２６が内蔵された構成のほかに、外部カメラの接続が可能な接続部を備える構成でもよい。この場合、接続部は、外部カメラにて取得された画像データの入力を受け付け、入力された画像データを逐次制御部２１へ送出する。
ユーザ端末２０は、カメラ２６、表示部２４、通信部２３を有する情報機器であれば、どのような機器でもよい。
ユーザ端末２０は、カメラ２６、表示部２４、通信部２３を有する情報機器であれば、どのような機器でもよい。
【0017】
次に、サーバ装置１０において制御部１１が物品特定プログラム１２ａを実行することによって実現される機能について説明する。図３は、サーバ装置１０の制御部１１によって実現される機能を示すブロック図、図４は、物品特定システム１００が行う処理の説明図である。サーバ装置１０の制御部１１は、記憶部１２に記憶してある物品特定プログラム１２ａを実行した場合、候補特定部１０ａ、表示情報生成部１０ｂ、学習部１０ｃの各機能を実現する。なお、本実施形態では、これらの各機能を制御部１１が物品特定プログラム１２ａを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
【0018】
本実施形態の物品特定システム１００では、ユーザはユーザ端末２０を用いて商品等の物品を撮像し、得られた撮像画像をサーバ装置１０へ送信する。サーバ装置１０の制御部（画像取得部）１１は、通信部１３を介してユーザ端末２０（外部装置）から撮像画像を取得する。図４Ａは、ユーザ端末２０を用いて撮像した画像の例を示す。ユーザ端末２０は、図４Ａに示すように物品（商品）の外観（パッケージ）を撮像する。図４Ａに示す画像は、ペットボトルに入ったオレンジジュースの撮像画像であり、例えばペットボトルを持つユーザ（撮像者）の手及び背景等も撮像画像に含まれるが、図４Ａでは省略している。
【0019】
候補特定部１０ａは、ユーザ端末２０から取得した撮像画像に対して物品識別器１２ｂを用いて、撮像画像中の被写体の物品が、物品識別器１２ｂで識別可能な商品（物品）のいずれであるかを特定する。なお、本実施形態の物品識別器１２ｂは、例えばペットボトルに入った飲料及び調味料を含む所定の商品についての画像特徴量を学習済みであるとする。例えばサーバ装置１０は、事前登録されている商品（例えば企業の自社商品）を撮像した教師用画像に、各商品を示す情報がラベル付けされた教師データを取得し、教師用画像から商品容器の色、形状等の特徴量を学習する機械学習処理を行い、各商品を識別する物品識別器１２ｂ（学習モデル）を構築しておく。なお、教師用画像は、商品を正面から撮像した画像、背面から撮像した画像等、複数の方向から撮像した画像を用いることが望ましい。
【0020】
物品識別器１２ｂは、予め登録された識別可能な商品のそれぞれについて、撮像画像中の被写体である可能性を示す確信度を算出する。物品識別器１２ｂは、例えばsoftmax関数を用いて確信度を算出し、確信度は０から１までの数値で示される。候補特定部１０ａは、物品識別器１２ｂで算出された各商品の確信度に基づいて、撮像画像中の被写体である可能性が高い商品（以下では商品候補という）を特定する。例えば候補特定部１０ａは、確信度が高い順に所定数（例えば３つ）の商品を抽出し、被写体の商品候補（物品候補）に特定してもよい。また候補特定部１０ａは、確信度が最も高い商品を被写体の商品候補に特定してもよい。更に候補特定部１０ａは、物品識別器１２ｂで算出された各商品の確信度が所定値以上である商品を被写体の商品候補に特定してもよく、所定値以上の確信度である商品がない場合には被写体の商品候補はないと特定してもよい。
【0021】
表示情報生成部１０ｂは、候補特定部１０ａによる特定結果を示す表示情報を生成する。具体的には、表示情報生成部１０ｂは、例えば図４Ｂに示すように、候補特定部１０ａによって特定された撮像画像中の被写体の各商品候補のサンプル画像を表示するための表示情報を生成する。図４Ｂに示す画面は、ユーザ端末２０を用いて撮像された撮像画像２４ａと、候補特定部１０ａが被写体の商品候補に特定した各商品のサンプル画像２４ｂとを表示する。サーバ装置１０は、表示情報生成部１０ｂが生成した表示情報を、候補特定部１０ａによる特定結果として通信部（出力部）１３からユーザ端末２０へ送信する。ユーザ端末２０の制御部２１は、通信部２３を介してサーバ装置１０から表示情報を受信し、受信した表示情報に基づいて図４Ｂに示すような画面を表示する。
【0022】
ここで、本実施形態の物品特定システム１００では、ユーザ端末２０に表示された画面は、表示された商品候補のサンプル画像２４ｂに対して入力部２５を介して選択操作が可能に構成されている。ユーザ端末２０のユーザは、表示されたサンプル画像２４ｂを確認し、自身が撮像した商品（物品）のサンプル画像２４ｂがあれば、このサンプル画像２４ｂに対して選択操作を行う。表示中のサンプル画像２４ｂに対して選択操作された場合、ユーザ端末２０の制御部２１は、選択操作された商品候補が被写体の商品（正解の商品）であることを受け付ける。図４Ｂに示す画面例では、ユーザは、例えば左側に表示されたオレンジジュースのサンプル画像２４ｂをタップして選択する。そして制御部２１は、入力部２５を介してユーザが選択した商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付ける。ユーザ端末２０は、受け付けた正解情報をサーバ装置１０へ送信する。
【0023】
サーバ装置１０の制御部（情報取得部）１１は、ユーザ端末２０が送信した正解情報を取得する。学習部１０ｃは、ユーザ端末２０から受信した正解情報と、既にユーザ端末２０から受信した撮像画像とに基づいて、物品識別器１２ｂの再学習を行う。例えば学習部１０ｃは、ユーザ端末２０から受信した撮像画像を教師用画像とし、この教師用画像に、ユーザ端末２０から受信した正解情報が示す正解の商品の情報をラベル付けした教師データを生成する。そして学習部１０ｃは、生成した教師データを物品識別器１２ｂに入力する。これにより、物品識別器１２ｂは、教師用画像から商品容器の色、形状等の特徴量を学習して再構築を行う。
【0024】
次に、物品特定システム１００において各装置による物品特定処理について説明する。図５は、ユーザ端末２０及びサーバ装置１０が行う処理の手順を示すフローチャートである。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラムに従って制御部２１によって実行され、サーバ装置１０の記憶部１２に記憶してある制御プログラムに従って制御部１１によって実行される。
【0025】
ユーザ端末２０のユーザは、入力部２５を介して物品照会アプリ２２ａの起動を指示する。ユーザ端末２０の制御部２１は、入力部２５を介して物品照会アプリ２２ａの起動指示を受け付けた場合、記憶部２２に記憶してある物品照会アプリ２２ａを起動する（Ｓ１）。物品照会アプリ２２ａを起動した場合、制御部２１は、カメラ２６を起動し（Ｓ２）、カメラ２６にて撮像画像を取得する（Ｓ３）。制御部２１は、例えば図４Ａに示すように物品（商品）の外観（パッケージ）を撮像した画像を取得する。制御部２１は、入力部２５を介してユーザからの撮像指示を受け付けた場合に、撮像画像をカメラ２６にて取得してもよい。起動中のカメラ２６は所定のタイミングで画像を取得し、取得された画像は表示部２４に送出されて表示される。よってユーザは、表示部２４に表示された画像を見ながら、所望のタイミングで撮像指示を行うことができる。
【0026】
制御部２１は、取得した撮像画像をサーバ装置１０へ送信する（Ｓ４）。なお、制御部２１は、自端末２０の識別情報と共に撮像画像を送信する。サーバ装置１０の宛先は、例えば物品照会アプリ２２ａに組み込まれている。制御部２１は、取得した撮像画像をサーバ装置１０へ送信する際に、一旦撮像画像を表示部２４に表示し、ユーザからの送信指示を受け付けた後にサーバ装置１０へ送信してもよい。サーバ装置１０の制御部１１は、ユーザ端末２０が送信した撮像画像を、ユーザ端末２０の識別情報と共に取得する（Ｓ５）。
【0027】
制御部１１は、撮像画像に対して物品識別器１２ｂを用いて、撮像画像中の被写体の物品が、物品識別器１２ｂで識別可能な商品のいずれであるかを特定する（Ｓ６）。制御部１１は、撮像画像中の被写体である可能性が高い商品候補を特定し、特定結果をユーザ端末２０へ送信する（Ｓ７）。制御部１１は、例えば図４Ｂに示すような、被写体の商品候補に特定した各商品のサンプル画像を表示するための表示情報を生成し、特定結果としてユーザ端末２０へ送信する。ユーザ端末２０の制御部２１は、サーバ装置１０から特定結果を取得し、例えば図４Ｂに示すような表示画面を表示部２４に表示する（Ｓ８）。
【0028】
制御部２１は、表示画面において入力部２５を介してユーザから商品候補に対する選択を受け付け、これにより、選択された商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付ける（Ｓ９）。そして制御部２１は、受け付けた正解情報をサーバ装置１０へ送信する（Ｓ１０）。ここでも制御部２１は、自端末２０の識別情報と共に正解情報を送信する。
【0029】
サーバ装置１０の制御部（情報取得部）１１は、ユーザ端末２０が送信した正解情報をユーザ端末２０の識別情報と共に取得する（Ｓ１１）。そして制御部１１は、ステップＳ５で取得した撮像画像と、ステップＳ１１で取得した正解情報とに基づいて物品識別器１２ｂの再学習を行う（Ｓ１２）。なお、制御部１１は、ステップＳ５で取得した撮像画像（教師用画像）に、ステップＳ１１で取得した正解情報が示す正解の商品の情報をラベル付けして教師データを生成して記憶部１２に記憶しておき、ある程度の量の教師データが蓄積された後に、物品識別器１２ｂの再学習を行う構成でもよい。
【0030】
本実施形態では、ユーザがユーザ端末２０を用いて撮像した画像に基づいて、サーバ装置１０が被写体の物品（商品）を特定し、特定された商品が正解であるか否かをユーザが入力する。これにより、サーバ装置１０による商品の特定結果に対してユーザが評価を行うことができる。また、ユーザによる評価結果を用いて物品識別器１２ｂが逐次学習を行うことができる。更に、ユーザがユーザ端末２０を用いて撮像した画像を教師データに用いるので、被写体の背景、被写体に対する撮像方向、周囲の明るさ等の撮像環境が異なる状況で物品を撮像した撮像画像を教師データに用いることが可能となる。このような教師データを用いて物品識別器１２ｂの再学習を行うので、物品識別器１２ｂによる物品の識別精度を向上させることができる。
【0031】
（実施形態２）
実施形態２の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関する情報を提供する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態２の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関する情報を提供する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
【0032】
本実施形態の物品特定システム１００における物品特定処理について説明する。図６は、ユーザ端末２０及びサーバ装置１０が行う処理の手順の一部を示すフローチャート、図７は、ユーザ端末２０の画面例を示す模式図である。図６に示す処理は、図５に示した実施形態１の処理において、ステップＳ１２の処理の後にステップＳ２１及びＳ２２の処理を追加したものである。図６では、図５中のステップＳ１～Ｓ１０の図示を省略する。
【0033】
本実施形態の物品特定システム１００において、ユーザ端末２０及びサーバ装置１０は、図５中のステップＳ１～Ｓ１２の処理を行う。その後、サーバ装置１０の制御部（物品情報出力部）１１は、ステップＳ１１で取得した正解情報が示す商品に応じた商品情報（物品情報）をユーザ端末２０へ出力する（Ｓ２１）。なお、物品識別器１２ｂで識別可能な各商品に応じた商品情報は予め記憶部１２に記憶されており、制御部１１は、正解情報が示す商品に応じた商品情報を記憶部１２から読み出してユーザ端末２０へ出力する。制御部１１は、例えば図７に示すように、ユーザが正解であると選択した商品のサンプル画像２４ｃが表示され、この商品に関する商品情報を提供するウェブサイトへのリンクＬ１、及びこの商品を販売する販売サイトへのリンクＬ２が設定された表示画面を生成し、商品情報として出力する。
【0034】
ユーザ端末２０の制御部２１は、サーバ装置１０から商品情報を取得し、例えば図７に示すような表示画面を表示部２４に表示し（Ｓ２２）、処理を終了する。図７に示す画面において、入力部２５を介していずれかのリンクＬ１，Ｌ２が選択操作された場合、ユーザ端末２０の制御部２１は、操作されたリンク先のサイトにアクセスし、所定の商品情報又は販売サイトのウェブページを取得する。なお、図７に示す画面において、商品情報を取得するためのリンクＬ１の代わりに商品情報自体が表示されてもよく、商品の販売サイトへのリンクＬ２の代わりに販売サイトのウェブページが表示されてもよい。
【0035】
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、ユーザがユーザ端末２０を用いて撮像した商品に応じた情報をユーザ端末２０で確認することができる。
【0036】
（実施形態３）
実施形態３の物品特定システムについて説明する。本実施形態では、喘息等の呼吸器系疾患に対する薬剤を家庭で吸入するための吸入器を撮像して得られた撮像画像に基づいて、被写体の呼吸器を特定する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置１０において、物品識別器１２ｂは、呼吸器系疾患に対する薬剤を吸入するための吸入器についての画像特徴量を学習済みであるとする。例えばサーバ装置１０は、事前登録されている吸入器を撮像した教師用画像に、各吸入器を示す情報がラベル付けされた教師データを取得し、教師用画像から吸入器の外観の色、形状等の特徴量を学習する機械学習処理を行い、各吸入器を識別する物品識別器１２ｂを構築しておく。
実施形態３の物品特定システムについて説明する。本実施形態では、喘息等の呼吸器系疾患に対する薬剤を家庭で吸入するための吸入器を撮像して得られた撮像画像に基づいて、被写体の呼吸器を特定する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置１０において、物品識別器１２ｂは、呼吸器系疾患に対する薬剤を吸入するための吸入器についての画像特徴量を学習済みであるとする。例えばサーバ装置１０は、事前登録されている吸入器を撮像した教師用画像に、各吸入器を示す情報がラベル付けされた教師データを取得し、教師用画像から吸入器の外観の色、形状等の特徴量を学習する機械学習処理を行い、各吸入器を識別する物品識別器１２ｂを構築しておく。
【0037】
本実施形態の物品特定システム１００における物品特定処理について説明する。図８は、ユーザ端末２０及びサーバ装置１０が行う処理の手順の一部を示すフローチャート、図９は、ユーザ端末２０の画面例を示す模式図である。図８に示す処理は、図５に示した実施形態１の処理において、ステップＳ７～Ｓ８の処理の代わりにステップＳ３１～Ｓ３４の処理を行うものである。図８では、図５中のステップＳ１～Ｓ４の図示を省略する。
【0038】
本実施形態の物品特定システム１００において、ユーザ端末２０及びサーバ装置１０は、図５中のステップＳ１～Ｓ６の処理を行う。そして、サーバ装置１０の制御部１１は、物品識別器１２ｂによる特定結果に基づいて、撮像画像中の被写体である可能性が高い吸入器（以下では吸入器候補という）を複数特定する（Ｓ３１）。ここでは、例えば、物品識別器１２ｂが識別可能な吸入器のそれぞれについて算出した確信度が所定値以上であり、確信度が高い順に所定数（例えば２つ）の吸入器を吸入器候補に特定する。
【0039】
本実施形態のサーバ装置１０の制御部１１は、被写体の吸入器候補に特定した各吸入器のサンプル画像を表示するための表示情報を生成する（Ｓ３２）。制御部１１は、例えば図９Ａに示すように、ユーザ端末２０（カメラ２６）にて取得された撮像画像２４ａと、サーバ装置１０で吸入器候補に特定された各吸入器のサンプル画像２４ｂとを表示する表示画面を生成する。ここで本実施形態では、制御部１１は、各吸入器候補のサンプル画像２４ｂを、物品識別器１２ｂが算出した確信度に応じた態様で表示する表示画面を生成する。図９Ａには、物品識別器１２ｂが算出した確信度が高いほど、各吸入器候補のサンプル画像２４ｂを大きく表示する例を示す。図９Ａに示す例では、右側のサンプル画像２４ｂの吸入器候補よりも左側のサンプル画像２４ｂの吸入器候補の方が確信度が高いので、左側のサンプル画像２４ｂが右側のサンプル画像２４ｂよりも大きく表示されている。なお、制御部１１は、図９Ｂに示すように、各吸入器候補のサンプル画像２４ｂに、物品識別器１２ｂがそれぞれ算出した確信度を付加して表示する表示画面を生成してもよい。図９Ｂでは各吸入器候補に対応付けて０．６，０．３の確信度が表示されている。
【0040】
制御部１１は、生成した表示情報をユーザ端末２０へ送信する（Ｓ３３）。ユーザ端末２０の制御部２１は、サーバ装置１０から表示情報を取得し、図９Ａ，Ｂに示すような表示画面を表示部２４に表示する（Ｓ３４）。図９Ａ，Ｂに示す画面においても、表示されたサンプル画像２４ｂに対して入力部２５を介して選択操作されることにより、選択操作された吸入器候補が被写体の吸入器（正解の吸入器）であることを受け付けるように構成されている。よって、ユーザ端末２０の制御部２１及びサーバ装置１０の制御部１１は、ステップＳ９以降の処理を行う。なお、ステップＳ９では、ユーザ端末２０の制御部２１は、図９Ａ，Ｂに示す画面において、入力部２５を介してユーザから吸入器候補に対する選択を受け付けた場合、選択された吸入器候補を示す情報と、この吸入器候補が正解の吸入器であることを示す情報とを含む正解情報を受け付ける。
【0041】
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、物品識別器１２ｂで算出された確信度に応じた態様で、各吸入器候補のサンプル画像２４ｂを表示できるので、確信度の高い吸入器候補を目立つように表示することができる。これにより、ユーザが表示中の吸入器候補から正解の吸入器を選択する際に、より容易に適切な吸入器の選択が可能となる。
【0042】
本実施形態の構成は実施形態２にも適用可能であり、実施形態２に適用した場合であっても実施形態２と同様の効果が得られる。実施形態２に適用した場合、例えばサーバ装置１０の記憶部１２に、各吸入器の使用方法、取り扱い方法等の吸入器情報を記憶しておく。そして、サーバ装置１０は、ユーザ端末２０から取得した正解情報が示す吸入器に応じて、吸入器の使用方法、取り扱い方法等の吸入器情報をユーザ端末２０へ出力する。これにより、ユーザがユーザ端末２０を用いて撮像した被写体の吸入器に関する情報をユーザ端末２０で確認することができる。よって、ユーザは、吸入器の使用方法、取り扱い方法等を自宅等で再確認することができ、誤った方法での使用を回避できる。なお、吸入器に関する情報は、図７に示すように、所定のウェブサイトへのリンクが設定された画面情報であってもよい。
【0043】
（実施形態４）
実施形態４の物品特定システムについて説明する。本実施形態では、吸入器を撮像して得られた撮像画像に基づいて被写体の呼吸器を特定するシステムであって、予めユーザ登録しているユーザによって利用される物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置１０は、物品特定システム１００を利用するためにユーザ登録したユーザのユーザ情報が登録してあるユーザ情報データベース（以下では、ユーザ情報ＤＢという）を記憶部１２に記憶している。
実施形態４の物品特定システムについて説明する。本実施形態では、吸入器を撮像して得られた撮像画像に基づいて被写体の呼吸器を特定するシステムであって、予めユーザ登録しているユーザによって利用される物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。なお、本実施形態のサーバ装置１０は、物品特定システム１００を利用するためにユーザ登録したユーザのユーザ情報が登録してあるユーザ情報データベース（以下では、ユーザ情報ＤＢという）を記憶部１２に記憶している。
【0044】
図１０は、ユーザ情報ＤＢの構成例を示す模式図である。ユーザ情報ＤＢには、ユーザ登録したユーザのユーザＩＤ、ユーザ認証用のパスワード、薬品情報が対応付けて登録されている。サーバ装置１０において、制御部１１は、通信部１３を介して例えばユーザ端末２０からユーザ情報の変更又は追加を受け付けた場合、ユーザ情報ＤＢの登録内容を更新する。なお、薬品情報は、例えば各ユーザに処方されている薬剤に関する情報及び服用タイミングを含み、薬剤を処方した主治医等によってサーバ装置１０のユーザ情報ＤＢに登録されてもよい。また、薬品情報は、薬剤の服用に使用する吸入器の使用方法、取り扱い方法等の吸入器情報を含んでも良い。ユーザ情報ＤＢは、サーバ装置１０に接続された外部の記憶装置等に記憶されてもよく、ネットワークＮを介してサーバ装置１０に接続された別の記憶装置に記憶されてもよい。
【0045】
本実施形態の物品特定システム１００における物品特定処理について説明する。図１１及び図１２は、ユーザ端末２０及びサーバ装置１０が行う処理の手順を示すフローチャート、図１３は、ユーザ端末２０の画面例を示す模式図である。
ユーザ端末２０の制御部２１は、入力部２５を介して物品照会アプリ２２ａの起動指示を受け付けた場合、記憶部２２に記憶してある物品照会アプリ２２ａを起動する（Ｓ４１）。物品照会アプリ２２ａを起動した場合、制御部２１は、カメラ２６を起動し（Ｓ４２）、撮像画像を取得する（Ｓ４３）。制御部２１は、ユーザ情報を入力するための入力画面を表示部２４に表示する（Ｓ４４）。制御部２１は、例えば図１３Ａに示すように、ステップＳ４３でカメラ２６にて取得した撮像画像２４ｄを表示し、ユーザＩＤ及びパスワードの入力欄を有する入力画面を表示する。
ユーザ端末２０の制御部２１は、入力部２５を介して物品照会アプリ２２ａの起動指示を受け付けた場合、記憶部２２に記憶してある物品照会アプリ２２ａを起動する（Ｓ４１）。物品照会アプリ２２ａを起動した場合、制御部２１は、カメラ２６を起動し（Ｓ４２）、撮像画像を取得する（Ｓ４３）。制御部２１は、ユーザ情報を入力するための入力画面を表示部２４に表示する（Ｓ４４）。制御部２１は、例えば図１３Ａに示すように、ステップＳ４３でカメラ２６にて取得した撮像画像２４ｄを表示し、ユーザＩＤ及びパスワードの入力欄を有する入力画面を表示する。
【0046】
ユーザは、入力画面において入力部２５を介してユーザＩＤ及びパスワードを入力する。これにより、制御部２１は、入力部２５を介してユーザＩＤ及びパスワードのユーザ情報を受け付ける（Ｓ４５）。図１３Ａに示す入力画面には送信ボタンが表示されており、ユーザ端末２０の制御部２１は、ユーザが入力部２５を介して送信ボタンを操作することにより、送信指示を受け付ける。制御部２１は、送信指示を受け付けた場合、ステップＳ４３で取得した撮像画像と、ステップＳ４５で受け付けたユーザ情報とをサーバ装置１０へ送信する（Ｓ４６）。なお、制御部２１は、撮像画像とユーザ情報とを各別にサーバ装置１０へ送信してもよい。例えば、制御部２１はユーザ情報を先にサーバ装置１０へ送信し、サーバ装置１０にてユーザ認証された場合に、制御部２１が撮像画像をサーバ装置１０へ送信する構成でもよい。また、サーバ装置１０にて一旦ユーザ認証された後は、制御部２１は撮像画像のみをサーバ装置１０へ送信すればよい。
【0047】
サーバ装置１０の制御部１１は、ユーザ端末２０が送信した撮像画像及びユーザ情報を取得する（Ｓ４７）。制御部１１は、取得した撮像画像に対して物品識別器１２ｂを用いて、撮像画像中の被写体（物品）が、物品識別器１２ｂで識別可能な吸入器のいずれであるかを特定する（Ｓ４８）。なお、制御部１１は、ユーザ端末２０から取得したユーザ情報に基づいてユーザ認証を行い、認証できた場合に、ステップＳ４８以降の処理を行うようにしてもよい。具体的には、制御部１１は、ユーザ端末２０から取得したユーザＩＤ及びパスワードをユーザ情報ＤＢの登録情報と比較照合し、ユーザ情報ＤＢに登録されていた場合、認証できたと判断してもよい。
【0048】
制御部１１は、ユーザ認証を行った場合、ユーザ情報ＤＢに記憶してあるユーザ情報に含まれる薬品情報を考慮して、撮像画像中の被写体が、物品識別器１２ｂで識別可能な吸入器のいずれであるかを特定してもよい。撮像画像中の被写体は、この画像を撮像したユーザに処方された薬剤を服用するための吸入器である可能性が高い。よって、物品識別器１２ｂにて特定した吸入器候補の中に、ユーザ情報に含まれる薬品情報のいずれかがある場合、被写体は薬品情報が示す吸入器である可能性が高い。従って、制御部１１は、物品識別器１２ｂにて特定した吸入器候補から、ユーザ情報の薬品情報に含まれる吸入器を抽出し、抽出した吸入器を被写体の吸入器候補に特定する。
【0049】
制御部１１は、特定結果をユーザ端末２０へ送信する（Ｓ４９）。ここでは、制御部１１は、図４Ｂに示すような画面を表示するための表示情報を生成して送信する。なお、ここでは、図４Ｂに示す画面において、商品候補のサンプル画像２４ｂは、吸入器のサンプル画像である。ユーザ端末２０の制御部２１は、サーバ装置１０から特定結果を取得し、図４Ｂに示すような表示画面を表示部２４に表示する（Ｓ５０）。そして制御部２１は、表示画面において入力部２５を介してユーザから吸入器候補に対する選択を受け付けた場合、選択された吸入器候補を示す情報と、この吸入器候補が正解であることを示す情報とを含む正解情報を受け付ける（Ｓ５１）。そして制御部２１は、受け付けた正解情報をサーバ装置１０へ送信する（Ｓ５２）。
【0050】
サーバ装置１０の制御部１１は、ユーザ端末２０が送信した正解情報を取得し（Ｓ５３）、ステップＳ４７で取得した撮像画像と、ステップＳ５３で取得した正解情報とに基づいて物品識別器１２ｂの再学習を行う（Ｓ５４）。その後、サーバ装置１０の制御部１１は、ステップＳ５３で取得した正解情報が示す吸入器について、ユーザ情報ＤＢに登録してある薬品情報を読み出し、ユーザ端末２０へ出力する（Ｓ５５）。制御部１１は、例えば図１３Ｂに示すような画面を表示するための表示情報を生成してユーザ端末２０へ出力する。図１３Ｂに示す画面では、ユーザが正解であると選択した吸入器のサンプル画像２４ｅ、及びこの吸入器を用いた薬剤の服用タイミングに関する情報が表示され、この吸入器の使用方法を案内するウェブサイトへのリンクＬ３、及びこの吸入器を用いて服用する薬剤に関する薬品情報を提供するウェブサイトへのリンクＬ４が設定されている。
【0051】
ユーザ端末２０の制御部２１は、サーバ装置１０から薬品情報を取得し、例えば図１３Ｂに示すような表示画面を表示部２４に表示し（Ｓ５６）、処理を終了する。なお、図１３Ｂに示す画面において、リンクＬ３の代わりに吸入器の使用方法自体が表示されてもよく、リンクＬ４の代わりに薬剤に関する薬品情報自体が表示されてもよい。
【0052】
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、予めユーザ登録しておくことにより、ユーザがユーザ端末２０を用いて撮像した被写体（吸入器）に関する情報だけでなく、ユーザに応じた情報をユーザ端末２０のユーザに提供することができる。また本実施形態において、サーバ装置１０が、ユーザ端末２０からの撮像画像に基づいて特定した被写体の物品（商品、薬品）の受信履歴（特定履歴）を蓄積し、蓄積した受信履歴を、各ユーザの物品の使用履歴又は購入履歴として扱ってもよい。この場合、例えばサーバ装置１０は、蓄積した受信履歴から、各ユーザの物品の使用頻度又は購入頻度を算出し、算出した使用頻度又は購入頻度に基づいて物品の宣伝メッセージ等をユーザ毎に送信することができる。よって、ユーザ毎に宣伝を行うことができ、また、使用経験又は購入経験のあるユーザに効率良く宣伝することができる。本実施形態の構成は実施形態２，３にも適用可能であり、実施形態２，３に適用した場合であっても実施形態２，３と同様の効果が得られる。
【0053】
（実施形態５）
実施形態５の物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。図１４は、ユーザ端末２０の画面例を示す模式図である。本実施形態では、サーバ装置１０が物品識別器１２ｂによる商品候補（吸入器候補）の特定結果をユーザ端末２０へ送信する際に、制御部１１は、図１４に示すような画面を表示するための表示情報を生成して送信する。図１４に示す画面では、吸入器候補に特定された各吸入器のサンプル画像２４ｂが、撮像画像２４ａ中の被写体の向き（被写体に対する撮像方向）と同じ向きになるように表示されている。なお、本実施形態のサーバ装置１０では、サンプル画像２４ｂとして、物品識別器１２ｂにて識別可能な物品（吸入器）を複数の方向から撮像した画像を記憶部１２に記憶している。
実施形態５の物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。図１４は、ユーザ端末２０の画面例を示す模式図である。本実施形態では、サーバ装置１０が物品識別器１２ｂによる商品候補（吸入器候補）の特定結果をユーザ端末２０へ送信する際に、制御部１１は、図１４に示すような画面を表示するための表示情報を生成して送信する。図１４に示す画面では、吸入器候補に特定された各吸入器のサンプル画像２４ｂが、撮像画像２４ａ中の被写体の向き（被写体に対する撮像方向）と同じ向きになるように表示されている。なお、本実施形態のサーバ装置１０では、サンプル画像２４ｂとして、物品識別器１２ｂにて識別可能な物品（吸入器）を複数の方向から撮像した画像を記憶部１２に記憶している。
【0054】
本実施形態の物品特定システムにおいて、ユーザ端末２０及びサーバ装置１０は、実施形態１で説明した図５に示す処理と同様の処理を行う。なお、図５中のステップＳ７において、本実施形態のサーバ装置１０の制御部１１は、図１４に示すように、物品識別器１２ｂによって吸入器候補に特定された吸入器のサンプル画像２４ｂを、撮像画像２４ａ中の被写体と同じ向きに表示するための表示情報を生成する。例えば制御部１１は、吸入器候補の複数のサンプル画像２４ｂから、撮像画像２４ａ中の被写体と同じ向きで撮像されたサンプル画像２４ｂを記憶部１２から読み出し、読み出したサンプル画像２４ｂを用いて表示情報を生成する。また制御部１１は、吸入器候補のサンプル画像２４ｂに対して、撮像画像２４ａ中の被写体と同じ向きとなるように画像処理を行い、処理後のサンプル画像２４ｂを用いて表示情報を生成してもよい。また、サンプル画像２４ｂとして、それぞれの吸入器の全周面を撮像した画像を合成した３Ｄモデル画像を用いてもよい。この場合、制御部１１は、３Ｄモデル画像のサンプル画像２４ｂから、撮像画像２４ａ中の被写体と同じ向きから吸入器を見た状態の２Ｄ画像を生成し、生成した２Ｄ画像を用いて表示情報を生成してもよい。
【0055】
本実施形態では、サーバ装置１０で吸入器候補に特定された各吸入器のサンプル画像２４ｂが、ユーザ端末２０で撮像された被写体の撮像状態に応じた状態で表示される。具体的には、サンプル画像２４ｂが、ユーザ端末２０で撮像された被写体と同じ向きで表示されるので、各吸入器候補をより見易く表示できる。これにより、ユーザが表示中の吸入器候補から正解の吸入器を選択する際に、より容易に適切な吸入器の選択が可能となる。
【0056】
本実施形態において、各商品（吸入器）のサンプル画像に、各商品（吸入器）の３Ｄモデル画像を用いた場合、例えばユーザが表示画面中のサンプル画像２４ｂに対してスライド操作等の操作を行うことにより、表示中のサンプル画像２４ｂの向きを変更することができる。例えば、ユーザが表示画面中のサンプル画像２４ｂに対して操作を行った場合、ユーザ端末２０は、ユーザの操作に係る操作情報をサーバ装置１０へ送信する。そして、サーバ装置１０の制御部１１は、受信した操作情報に応じた向きにサンプル画像２４ｂを回転させてユーザ端末２０へ送信する。これにより、３次元においてユーザが所望する方向から商品（吸入器）を見た状態のサンプル画像２４ｂをユーザ端末２０に表示させることができる。よって、ユーザが表示中の商品候補（吸入器候補）から正解を選択する際に、各商品候補を見分けやすく、選択間違いを抑制できる。なお、ユーザ端末２０の制御部２１が、ユーザの操作に応じて、表示中のサンプル画像２４ｂを回転させる処理を行ってもよい。
【0057】
（実施形態６）
実施形態６の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関して物品情報、販売サイト、問い合わせ先を案内する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態６の物品特定システムについて説明する。本実施形態では、商品等の物品の撮像画像に基づいて被写体の物品を特定した後に、特定した物品に関して物品情報、販売サイト、問い合わせ先を案内する物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
【0058】
本実施形態の物品特定システム１００における物品特定処理について説明する。図１５及び図１６は、ユーザ端末２０及びサーバ装置１０が行う処理の手順を示すフローチャート、図１７は、ユーザ端末２０の画面例を示す模式図である。本実施形態の物品特定システム１００において、ユーザ端末２０の制御部２１は、入力部２５を介して物品照会アプリ２２ａの起動指示を受け付けた場合、記憶部２２に記憶してある物品照会アプリ２２ａを起動する（Ｓ６１）。物品照会アプリ２２ａを起動した場合、制御部２１は、図１７に示すような選択画面を表示部２４に表示する（Ｓ６２）。図１７に示す選択画面は、物品特定システム１００にて特定された物品に関して行うべき処理を選択するための画面であり、物品の使い方を調べる処理、同じ物品を買う処理、物品に関する問い合わせを行う処理の選択が可能に構成されている。
【0059】
制御部２１は、選択画面において入力部２５を介してユーザが選択した処理を受け付ける（Ｓ６３）。そして制御部２１は、カメラ２６を起動し（Ｓ６４）、カメラ２６にて撮像画像を取得する（Ｓ６５）。制御部２１は、取得した撮像画像と、ステップＳ６３で受け付けた処理を示す処理情報とをサーバ装置１０へ送信する（Ｓ６６）。サーバ装置１０の制御部１１は、ユーザ端末２０が送信した撮像画像及び処理情報を取得する（Ｓ６７）。制御部１１は、取得した撮像画像に対して物品識別器１２ｂを用いた物品特定を行い（Ｓ６８）、撮像画像中の被写体である可能性が高い商品を特定する。制御部１１は、特定結果をユーザ端末２０へ送信する（Ｓ６９）。
【0060】
ユーザ端末２０の制御部２１は、サーバ装置１０から特定結果を取得し、例えば図４に示すような表示画面を表示部２４に表示する（Ｓ７０）。制御部２１は、表示画面において入力部２５を介してユーザによって選択された商品候補を示す情報と、この商品候補が正解の商品であることを示す情報とを含む正解情報を受け付け（Ｓ７１）、受け付けた正解情報をサーバ装置１０へ送信する（Ｓ７２）。サーバ装置１０の制御部１１は、ユーザ端末２０が送信した正解情報を取得し（Ｓ７３）、ステップＳ６７でユーザ端末２０から取得した撮像画像と、ステップＳ７３で取得した正解情報とに基づいて物品識別器１２ｂの再学習を行う（Ｓ７４）。
【0061】
また制御部１１は、ステップＳ７３で取得した正解情報が示す商品について、ステップＳ６７でユーザ端末２０から取得した処理情報が示す処理に応じた商品情報を取得する（Ｓ７５）。なお、各商品の各処理に応じた商品情報は、例えば記憶部１２に記憶されており、制御部１１は商品情報を記憶部１２から読み出す。各商品の各処理に応じた商品情報は、サーバ装置１０に接続された外部の記憶装置、又はネットワークＮを介してサーバ装置１０と通信可能な外部の記憶装置等に記憶されてもよい。この場合、制御部１１は、商品情報を外部の記憶装置から取得する。制御部１１は、取得した商品情報をユーザ端末２０へ出力する（Ｓ７６）。
【0062】
ユーザ端末２０の制御部２１は、サーバ装置１０から商品情報を取得し、表示画面を表示部２４に表示する（Ｓ７７）。ここでの表示画面は、図１７に示す選択画面を介してユーザが選択した処理に応じた情報を表示する。例えば図１７に示す選択画面を介して物品の使い方を調べる処理が選択されていた場合、ユーザ端末２０は、図７中のリンクＬ１が設定された表示画面をサーバ装置１０から取得して表示する。また、図１７に示す選択画面を介して同じ物品を買う処理が選択されていた場合、ユーザ端末２０は、図７中のリンクＬ２が設定された表示画面をサーバ装置１０から取得して表示する。なお、それぞれの表示画面において、リンクＬ１の代わりに商品の使い方を含む商品情報自体が表示されてもよく、リンクＬ２の代わりに販売サイトのウェブページが表示されてもよい。また、図１７に示す選択画面を介して物品に関する問い合わせを行う処理が選択されていた場合、ユーザ端末２０は、問い合わせ先の電話番号が表示された表示画面、又はネットワークＮを介して問い合わせを行うウェブサイトへのリンクが設定された表示画面等をサーバ装置１０から取得して表示する。なお、ユーザ端末２０は、所定のコールセンターに電話の発信を行ってもよい。
【0063】
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、ユーザ端末２０が物品照会アプリ２２ａを起動した時点で、ユーザが撮像した物品（商品）に対して行いたい処理を選択するので、ユーザは選択した処理に応じた情報をユーザ端末２０で確認することができる。本実施形態の構成は実施形態２～５にも適用可能であり、実施形態２～５に適用した場合であっても実施形態２～５と同様の効果が得られる。なお、実施形態２～５に適用した場合、ユーザ端末２０は、物品照会アプリ２２ａを起動した後に、図１７に示すような選択画面を表示し、サーバ装置１０で商品を特定した後に行うべき処理の選択を受け付ける構成とすればよい。
【0064】
（実施形態７）
実施形態７の物品特定システムについて説明する。本実施形態では、サーバ装置１０がユーザ端末２０から受信した撮像画像（教師用画像）に正解情報に基づくラベル付けを行った教師データを物品識別器１２ｂの再学習に利用するか否かを、正解情報に応じて切り替える物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
実施形態７の物品特定システムについて説明する。本実施形態では、サーバ装置１０がユーザ端末２０から受信した撮像画像（教師用画像）に正解情報に基づくラベル付けを行った教師データを物品識別器１２ｂの再学習に利用するか否かを、正解情報に応じて切り替える物品特定システムについて説明する。本実施形態の物品特定システムの各装置は、実施形態１の各装置と同じ構成を有するので、構成については説明を省略する。
【0065】
本実施形態のユーザ端末２０及びサーバ装置１０は、図５に示した実施形態１の処理と同様の処理を行う。なお、本実施形態のサーバ装置１０は、図５中のステップＳ１１の処理の後、ステップＳ５でユーザ端末２０から取得した撮像画像と、ステップＳ１１でユーザ端末２０から取得した正解情報とを、記憶部１２に記憶してある受信履歴データベース（以下、受信履歴ＤＢという）に蓄積する。図１８は、受信履歴ＤＢの構成例を示す模式図である。受信履歴ＤＢには、撮像画像及び正解情報の送信元のユーザ端末２０又はユーザを識別するためのユーザ識別情報、受信した撮像画像及び正解情報が対応付けて登録されている。正解情報は、ユーザ端末２０においてユーザによって正解の商品であると選択された商品候補を示す商品ＩＤと、この商品候補に対してサーバ装置１０の物品識別器１２ｂが算出された確信度とを含む。なお、サーバ装置１０からユーザ端末２０へ送信される特定結果に、各商品候補の確信度が含まれる場合、ユーザ端末２０からサーバ装置１０へ送信される正解情報に、正解の商品（選択された商品候補）に対する確信度を含めてもよい。
【0066】
本実施形態のサーバ装置１０は、図１８に示すように受信履歴を蓄積しており、所定のタイミングで、受信履歴に基づいて、撮像画像を送信するユーザ端末２０又はユーザ端末２０のユーザが、物品識別器１２ｂの学習対象とすべきであるか否かの判断処理を行う。この判断処理は、例えば１日毎、１週間毎のように定期的に行ってもよく、所定量の受信履歴が蓄積される都度行ってもよい。
【0067】
図１９は、サーバ装置１０が行う判断処理の手順を示すフローチャートである。サーバ装置１０の制御部１１は、判断処理を行うタイミングが到来した場合、図１８に示す受信履歴ＤＢから、１つのユーザ識別情報に対応する正解情報を読み出す（Ｓ８１）。制御部１１は、読み出した正解情報において、確信度が所定値未満（例えば０．５未満）の正解情報の数と、確信度が所定値以上の正解情報の数とを計数し、確信度が所定値未満の正解情報の割合を算出する（Ｓ８２）。制御部１１は、算出した割合が所定割合以上（例えば６０％以上）であるか否かを判断し（Ｓ８３）、所定割合以上であると判断した場合（Ｓ８３：ＹＥＳ）、このユーザ識別情報を、物品識別器１２ｂの学習対象としないユーザ又はユーザ端末２０の情報として記憶部１２に記憶する（Ｓ８４）。確信度が所定値未満の正解情報の割合が所定割合以上である場合、このユーザは、複数の商品候補に対して悪意を持って、正解ではない商品候補を正解であると選択している可能性が高い。よって、確信度が低い商品候補を正解の商品であると選択する割合が高いユーザからの情報（撮像画像及び正解情報）を、物品識別器１２ｂの学習対象から除外する。
【0068】
ステップＳ８２で算出した割合が所定割合未満であると判断した場合（Ｓ８３：ＮＯ）、制御部１１は、ステップＳ８４の処理をスキップする。制御部１１は、受信履歴ＤＢに記憶してある全ての受信履歴に対して処理を終了したか否かを判断しており（Ｓ８５）、終了していないと判断した場合（Ｓ８５：ＮＯ）、ステップＳ８１の処理に戻る。そして、制御部１１は、未処理のユーザ識別情報について、ステップＳ８１～Ｓ８４の処理を行う。全ての受信履歴に対して処理を終了したと判断した場合（Ｓ８５：ＹＥＳ）、制御部１１は処理を終了する。このような処理により、サーバ装置１０は、物品識別器１２ｂの学習対象とすべきでないユーザ又はユーザ端末２０の識別情報を記憶部１２に記憶することができる。
【0069】
上述したように、本実施形態では、サーバ装置１０が、物品識別器１２ｂの学習対象とすべきでないユーザ又はユーザ端末２０のユーザ識別情報を記憶部１２に記憶している。このような構成の物品特定システム１００における物品特定処理について説明する。図２０は、ユーザ端末２０及びサーバ装置１０が行う処理の手順の一部を示すフローチャートである。図２０に示す処理は、図５に示した実施形態１の処理において、ステップＳ１１の処理とステップＳ１２の処理との間にステップＳ９１の処理を追加したものである。図２０では、図５中のステップＳ１～Ｓ１０の図示を省略する。
【0070】
本実施形態の物品特定システム１００において、ユーザ端末２０及びサーバ装置１０は、図５中のステップＳ１～Ｓ１１の処理を行う。そして、サーバ装置１０の制御部１１は、ステップＳ５で取得した撮像画像及びステップＳ１１で取得した正解情報の送信元が、物品識別器１２ｂの学習対象とすべきユーザ又はユーザ端末２０であるか否かを判断する（Ｓ９１）。具体的には、制御部１１は、送信元のユーザ端末２０又はユーザ端末２０のユーザの識別情報を特定し、特定した識別情報が、物品識別器１２ｂの学習対象とすべきでないユーザ又はユーザ端末２０の識別情報として記憶部１２に記憶してあるか否かを判断する。特定した識別情報が、学習対象とすべきでないユーザ又はユーザ端末２０の識別情報として記憶部１２に記憶されていない場合、ここでの送信元は学習対象とすべきユーザ又はユーザ端末２０であると判断する。
【0071】
制御部１１は、送信元が学習対象とすべきユーザ又はユーザ端末２０であると判断した場合（Ｓ９１：ＹＥＳ）、ステップＳ１２の処理に移行し、ユーザ端末２０から取得した撮像画像及び正解情報に基づいて物品識別器１２ｂの再学習を行う（Ｓ１２）。送信元が学習対象とすべきユーザ又はユーザ端末２０でないと判断した場合（Ｓ９１：ＮＯ）、制御部１１はステップＳ１２の処理をスキップして処理を終了する。
【0072】
本実施形態では、ユーザ端末２０で撮像した画像に基づいてサーバ装置１０の物品識別器１２ｂが特定した被写体の商品候補に対して、正解ではない商品候補を正解であると故意に選択した可能性の高いユーザを特定できる。また、このようなユーザによって得られた教師データを物品識別器１２ｂの学習対象から除外することができ、物品識別器１２ｂによる物品識別精度の低下を回避できる。本実施形態の構成は実施形態２～５にも適用可能であり、実施形態２～５に適用した場合であっても実施形態２～５と同様の効果が得られる。
【0073】
上述した各実施形態では、飲料商品を撮像した画像に基づいてサーバ装置１０がいずれの商品であるかを特定する構成や、吸入器を撮像した画像に基づいてサーバ装置１０がいずれの吸入器であるかを特定する構成について説明した。本実施形態の物品特定システム１００は、種々の物品の特定処理に適用可能である。例えば、物品識別器１２ｂで識別可能な対象物の種類、分類を決定し、種類、分類毎に対象物を撮像した教師用画像に、各対象物を示す情報がラベル付けされた教師データを用いて機械学習処理を行うことにより、種類、分類毎に物品識別器１２ｂを構築しておく。また、ユーザ端末２０に、それぞれの物品識別器１２ｂに応じた物品照会アプリ２２ａを適宜インストールすることにより、それぞれの物品照会アプリ２２ａを介して、対応する物品識別器１２ｂを有するサーバ装置１０と通信して物品特定処理を行うことが可能となる。対象物の種類は例えば飲料、調味料、お菓子、洗剤、化粧品、吸入器、薬品等、様々なものとすることができる。
【0074】
上述した各実施形態において、サーバ装置１０の物品識別器１２ｂの再学習を行う際に、ユーザによって正解であると選択された物品について既に物品識別器１２ｂが０．８以上の確信度を算出している場合、このときの撮像画像及び正解情報による教師データを、物品識別器１２ｂの学習対象から除外してもよい。このように、ユーザ端末２０で撮像された画像において、物品識別器１２ｂの再学習の際に教師データに用いるか否かを適宜切り替えるように構成してもよい。
【0075】
上述した各実施形態では、サーバ装置１０が、ユーザ端末２０から取得した撮像画像中の被写体の物品候補を特定し、特定結果をユーザ端末２０へ送信し、正解である物品を示す正解情報をユーザ端末２０から取得する構成について説明した。このほかに、例えばサーバ装置１０が、通信ケーブルを介して接続されたカメラ等の撮像装置から取得した撮像画像、又は内蔵されたカメラにて撮像した撮像画像に対して、物品識別器１２ｂを用いて被写体の物品候補を特定する構成としてもよい。また、サーバ装置１０は、特定結果を、自装置１０に設けられた表示部に表示してもよく、表示した物品候補中の正解の物品に対する選択を、自装置１０に設けられた入力部を介して受け付けてもよい。このような構成とした場合であっても、サーバ装置１０は、物品識別器１２ｂを用いた物品の特定結果に対するユーザの評価を取得することができる。また、種々の撮像環境で得られた撮像画像を教師データに用いて物品識別器１２ｂの再学習を行うことができるので、物品識別器１２ｂによる物品の識別精度を向上させることができる。
【0076】
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0077】
１００ 物品特定システム
１０ サーバ装置（物品特定装置、情報処理装置）
１１ 制御部
１２ 記憶部
２０ ユーザ端末（外部装置）
２１ 制御部
２２ 記憶部
１０ａ 候補特定部
１０ｃ 学習部
１２ａ 物品特定プログラム
１２ｂ 物品識別器
１０ サーバ装置（物品特定装置、情報処理装置）
１１ 制御部
１２ 記憶部
２０ ユーザ端末（外部装置）
２１ 制御部
２２ 記憶部
１０ａ 候補特定部
１０ｃ 学習部
１２ａ 物品特定プログラム
１２ｂ 物品識別器
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】