特開 2024-111958 情報処理システム及びその制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024111958

(43)【公開日】2024-08-20

(54)【発明の名称】情報処理システム及びその制御方法、プログラム

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240813BHJP

   G09G 5/38 20060101ALI20240813BHJP

   G09G 5/377 20060101ALI20240813BHJP

   G06Q 50/10 20120101ALI20240813BHJP

   G06F 3/01 20060101ALI20240813BHJP

【ＦＩ】

G09G5/00 550C

G09G5/38

G09G5/377 100

G06Q50/10

G06F3/01 510

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023016731

(22)【出願日】2023-02-07

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ［ウェブサイトのアドレス］ 第４２回医療情報学連合大会（第２３回日本医療情報学会学術大会）講演情報ページ ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｃｍｉ２０２２／ｓｕｂｊｅｃｔ／４－Ｉ－１－０６／ｔａｂｌｅｓ？ｃｒｙｐｔｏＩｄ＝ ［掲載日］ 令和４年１１月１１日 ［刊行物等］ ［集会名］ 第４２回医療情報学連合大会（第２３回日本医療情報学会学術大会） ［開催日］ 令和４年１１月２０日 ［刊行物等］ ［ウェブサイトのアドレス］ 第４２回医療情報学連合大会（第２３回日本医療情報学会学術大会）プログラム・抄録ＰＤＦダウンロードページ ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｊｃｍｉ２０２２／ｐｒｏｃｅｅｄｉｎｇｓ／ｌｉｓｔ ［掲載日］ 令和４年１１月１７日 ［刊行物等］ ［刊行物名］ 第４２回医療情報学連合大会論文集（第２３回日本医療情報学会学術大会）『医療情報学』Ｖｏｌ．４２，（２０２２年１１月）第１１２５～１１２８頁 ［発行日］ 令和４年１１月１７日

【国等の委託研究の成果に係る記載事項】（出願人による申告）２０２２年度、国立研究開発法人医薬基盤・健康・栄養研究所、「戦略的イノベーション創造プログラムＡＩ（人工知能）ホスピタルによる高度診断・治療システム」「人工知能を有する統合がん診療支援システム」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(71)【出願人】

【識別番号】000173588

【氏名又は名称】公益財団法人がん研究会

(74)【代理人】

【識別番号】100096091

【弁理士】

【氏名又は名称】井上 誠一

(72)【発明者】

【氏名】片岡 新

(72)【発明者】

【氏名】鈴木 一洋

(72)【発明者】

【氏名】笠原 あや菜

【テーマコード（参考）】

5C182

5E555

5L049

5L050

【Ｆターム（参考）】

5C182AA31

5C182AB08

5C182AB09

5C182AB12

5C182AB14

5C182AB35

5C182AC02

5C182BA14

5C182BA46

5C182BA68

5C182BB02

5C182BB03

5C182BC01

5C182CB41

5C182CB47

5C182CB54

5C182DA65

5C182FA01

5C182FA32

5C182FA68

5E555AA26

5E555BA08

5E555BA22

5E555BB08

5E555BB22

5E555BE17

5E555CA42

5E555CB45

5E555DA09

5E555DC09

5E555DC18

5E555EA22

5E555FA00

5L049CC11

5L050CC11

(57)【要約】

【課題】 比較対象物と画像から検出された検出対象物との比較に基づく表示の目視での確認がより容易にしたい。
【解決手段】 比較対象物情報を取得する第１の取得手段と、
撮像手段で撮像された画像から検出対象物を検出する検出処理の結果情報を取得する第２の取得手段と、
前記撮像手段で撮像される検出対象物が視認可能な表示手段上において、前記検出処理によって検出された検出対象物に対応する位置に対して検出された対象物であることを示す情報を表示することなく、前記比較対象物情報と、前記第２の取得手段で取得した結果情報に基づく検出対象物であって、前記検出処理で検出された検出対象物と、の比較に基づく表示をするように制御する表示制御手段と、
を備えることを特徴とする。
【選択図】 図７

【特許請求の範囲】

【請求項1】

比較対象物情報を取得する第１の取得手段と、
撮像手段で撮像された画像から検出対象物を検出する検出処理の結果情報を取得する第２の取得手段と、
前記撮像手段で撮像される検出対象物が視認可能な表示手段上において、前記検出処理によって検出された検出対象物に対応する位置に対して検出された対象物であることを示す情報を表示することなく、前記比較対象物情報と、前記第２の取得手段で取得した結果情報に基づく検出対象物であって、前記検出処理で検出された検出対象物と、の比較に基づく表示をするように制御する表示制御手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

前記表示制御手段は、前記検出処理によって検出された検出対象物に対応する位置に対する枠を表示することなく、前記比較に基づく情報を表示するよう制御することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記表示制御手段は、前記比較に基づく情報を前記表示手段の左右中央に表示するよう制御することを特徴とする請求項１に記載の情報処理システム。

【請求項4】

前記比較対象物情報は、前記撮像手段で撮像された画像に含まれるコード画像に基づく情報であることを特徴とする請求項１に記載の情報処理システム。

【請求項5】

前記表示制御手段は、前記撮像手段で撮像されたライブビュー画像を表示し、当該ライブビュー画像に対して前記比較に基づく情報を重畳表示するよう制御することを特徴とする請求項１に記載の情報処理システム。

【請求項6】

前記表示手段は、ウェアラブルな装置に備えられた表示手段であることを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記表示手段は、メガネ型デバイスの表示手段であることを特徴とする請求項１に記載の情報処理システム。

【請求項8】

前記表示手段は、ユーザーの頭部に装着可能な装置の表示手段であることを特徴とする請求項１に記載の情報処理システム。

【請求項9】

比較対象物情報を取得する第１の取得ステップと、
撮像手段で撮像された画像から検出対象物を検出する検出処理の結果情報を取得する第２の取得ステップと、
前記撮像手段で撮像される検出対象物が視認可能な表示手段上において、前記検出処理によって検出された検出対象物に対応する位置に対して検出された対象物であることを示す情報を表示することなく、前記比較対象物情報と、前記第２の取得ステップで取得した結果情報に基づく検出対象物であって、前記検出処理で検出された検出対象物と、の比較に基づく表示をするように制御する表示制御ステップと、
を備えることを特徴とする情報処理システムの制御方法。

【請求項10】

少なくとも１つのコンピュータを、請求項１乃至８のいずれか１項に記載の情報処理システムの各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像からの検出対象物の検出に係る情報処理システム及びその制御方法、プログラムに関する。

【背景技術】

【0002】

従来、撮影された画像から検出対象物を画像認識によって検出し、検出結果に応じた表示をする技術が知られている。

【0003】

特許文献１には、伝票データと検品対象画像を表示し、検品対象画像に含まれる検品対象の商品が伝票データに含まれるか否かを判定することが提案されている。検品対象画像表示欄に表示した画像において伝票データに含まれると判定された検品対象商品の上に、その商品に対応する明細番号を表示することで、それぞれの位置に、その位置に表示された明細番号に対応する明細データに含まれる商品が写っていることを示すことが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－８８３４５号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

メガネ型デバイスのように表示画面のサイズが小さい機器を活用する場合、特許文献１において商品上に表示される明細番号のように、検出された対象物の位置を示す表示と、検出リストとを同じ画面に表示すると、目視で画面の確認がしづらくなってしまう。また、画面上での対象物の位置の動きが大きい場合、位置を示す表示を対象物の位置にリアルタイムで追従することが難しく、正しい位置を示せない可能性がある。また、正しい位置を示せたとしても動きが大きすぎて煩雑な表示となる。

【0006】

そこで本発明では、上記課題に鑑み、比較対象物と画像から検出された検出対象物との比較に基づく表示の目視での確認がより容易となる仕組みを提供することを目的とする。

【課題を解決するための手段】

【0007】

比較対象物情報を取得する第１の取得手段と、
撮像手段で撮像された画像から検出対象物を検出する検出処理の結果情報を取得する第２の取得手段と、
前記撮像手段で撮像される検出対象物が視認可能な表示手段上において、前記検出処理によって検出された検出対象物に対応する位置に対して検出された対象物であることを示す情報を表示することなく、前記比較対象物情報と、前記第２の取得手段で取得した結果情報に基づく検出対象物であって、前記検出処理で検出された検出対象物と、の比較に基づく表示をするように制御する表示制御手段と、
を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、比較対象物と画像から検出された検出対象物との比較に基づく表示の目視での確認がより容易になる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの構成の一例を示す図である。

【図2】各種装置のハードウェア構成の一例を示す図である。

【図3】クライアント端末１００の処理の概要を示すフローチャートである。

【図4】クライアント端末１００への画面表示を示すフローチャートである。

【図5】サーバ１１０の構成の一例を示す図である。

【図6】アプリ起動後の画面の一例を示す図である。

【図7】リストを取得した後にメニューの判定結果を取得した場合の画面遷移の一例を示す図である。

【図8】メニューの判定結果を取得した後にリストを取得した場合の画面遷移の一例を示す図である。

【図9】ウェアラブル端末１２０上で表示される画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態の一例について説明する。

【0011】

まず、図１を参照して、本発明の実施形態における情報処理システムの構成の一例について説明する。図１は画像から検出対象物を検出し、クライアント端末１００又はウェアラブル端末１２０上にその結果を表示するためのシステム構成である。

【0012】

本実施形態は、例えばユーザーがトレー上の食事に誤りがないかを確認するために活用することができる。例えば、病院では患者に合わせて配膳される食事が決められており、患者に誤った食事が配膳される誤配膳が発生しないように細心の注意が払われている。患者ごとにメニューリストが予め用意されており、そのリストと実際に配膳されている食事とを見比べ、問題がないかどうかを人手で判断している。

【0013】

本発明の情報処理システムは、クライアント端末１００、サーバ１１０、ウェアラブル端末１２０、メニューＤＢ１３０がネットワーク１０１によって通信可能に接続されて構成されている。

【0014】

配膳トレー１４０には、検出対象のセットとなる、少なくとも１品以上の食事と、メニューリストの情報を持つＱＲコード（登録商標）が印字された紙が載っている。ユーザーが装着しているウェアラブル端末１２０の撮像部１２１で、配膳トレー１４０上の食事とＱＲコードを含む画像を撮影する。撮像部１２１は、ウェアラブル端末１２０を装着したユーザーが見た方向（顔を向けた方向、視界）を撮影するカメラユニットである。ディスプレイ１２２は、ウェアラブル端末１２０を装着したユーザーの視線上のメガネレンズ部分に配置される表示部であり、ディスプレイ１２２に表示された内容は、ディスプレイ１２２を透過する現実物体からの可視光（光学像）と一緒にユーザーに視認される。すなわち、後述する各種表示物は、撮像部１２１で撮像される被写体の光学像を透過するディスプレイ１２２に、当該光学像と同時に視認可能に表示するように制御される。表示される内容がディスプレイ１２２（メガネのレンズ部分）に投影して表示される構成であってもよい。ウェアラブル端末１２０は、例えばスマートグラス等の体の一部に装着可能な端末である。スマートグラスとは、ディスプレイを有したメガネ型の装置であり、現実の視野に対して映像を重畳させることができる。

【0015】

クライアント端末１００は、例えばパーソナルコンピュータやスマートフォンのような情報処理装置であり、ウェアラブル端末１２０と通信可能に接続される。また、ウェアラブル端末１２０を制御するためのアプリケーションプログラム（以下、アプリと称する）がインストールされている。また、ウェアラブル端末１２０とサーバ１１０、メニューＤＢ１３０と通信可能に接続されている。クライアント端末１００は、ウェアラブル端末１２０から送信された画像（撮像部１２１で撮像された画像）をサーバ１１０に送信し、サーバ１１０による画像認識の検出結果やＱＲコードから読み取ったメニューリストを受信し、その検出結果やメニューリストをディスプレイ２０５に表示する。また、クライアント端末１００で表示されている内容をミラーリングすることで、同じ内容をウェアラブル端末１２０のディスプレイ１２２にも表示する。すなわち、ディスプレイ２０５に表示するように制御する処理は、ウェアラブル端末１２０のディスプレイ１２２に表示するように制御する処理でもある。ウェアラブル端末１２０はウェアラブル（人体に装着可能）なメガネ型のデバイスである。ディスプレイ１２２は、人体の頭部に装着可能なヘッドマウントディスプレイの一種である。

【0016】

図９にウェアラブル端末１２０のディスプレイ１２２での表示例を示す。スマートグラス上では、検出結果を示す情報９００と撮像部１２１で撮像された画像９０１を表示する。画像９０１はライブビュー画像であり、画像９０１に対して検出結果を示す情報９００を重畳させるように表示する。スマートグラス上に表示する場合、両脇にデータを表示すると品質が落ちて見づらくなってしまうので情報９００を画面の左右中央に表示する。情報９００は、後述する結果表示エリア６００に対応する表示物である。また、表示画面には、検出対象物の位置を示す枠等の情報は表示せず、メニューリストと画像認識の検出結果、画像９０１のみを表示している。スマートグラスの場合、人物の頭部に装着しているので、頭部の動きに応じて撮像部１２１で撮影される画像９０１の映像の内容は大きく変動する。従って対象物の位置をリアルタイムで検出することが処理負荷や検出精度の問題で難しく、位置を正しく示せない可能性がある。また、対象物の位置を示す枠を含めると、スマートグラスのように表示画面のサイズが小さい場合に、煩雑な表示になってしまう。そのため、必要最低限の情報のみを表示することで、目視で確認しやすい画面の表示を可能としている。

【0017】

メニューＤＢ１３０には、毎日の献立メニューが記憶されている。その日のメニューを含めた候補リストを作成しておくことで、見た目が似ている食事によって発生する誤検出を低減させる。例えば、その日の夕食のメニューにハヤシライスが含まれていたとする。ハヤシライスとカレーだと画像認識による識別が難しく、誤ってカレーが検出されてしまう可能性がある。そのため、予めハヤシライスを含めた候補リストを作成し、サーバ１１０に送信することで、ハヤシライスと判定する可能性が高くなるように判定条件を変更する。このようにして、見た目が似ていたとしても正確に検出できるようにしている。

【0018】

サーバ１１０は、ネットワーク上の少なくとも１つの情報処理装置であり、撮像部１２１で撮影される画像に対する画像認識処理を行う。サーバ１１０は少なくとも１つのプロセッサーであるＣＰＵ１１１、ワークメモリとなるＲＡＭ１１２，プログラムを記憶するＲＯＭ１１３を有する。ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３のそれぞれは１つのサーバ装置内に含まれるハードウェアである必要はなく、ネット―ワーク上の環境で利用できる少なくとも１つのハードウェアリソースであればよい。

【0019】

次に図２を参照して、本発明を適用可能な装置の一例としてのクライアント端末１００の構成の一例を示す。

【0020】

図２において、内部バス２５０に対してＣＰＵ２０１、メモリ２０２、不揮発性メモリ２０３、画像処理部２０４、ディスプレイ２０５、操作部２０６、記録媒体Ｉ／Ｆ２０７、外部Ｉ／Ｆ２０９、通信Ｉ／Ｆ２１０が接続されている。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやりとりを行うことができるようにされている。

【0021】

メモリ２０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ２０１は、例えば不揮発性メモリ２０３に格納されるプログラムに従い、メモリ２０２をワークメモリとして用いて、クライアント端末１００の各部を制御する。不揮発性メモリ２０３には、画像データや音声データ、その他のデータ、ＣＰＵ２０１が動作するための各種プログラムなどが格納される。不揮発性メモリ２０３は例えばハードディスク（ＨＤ）やＲＯＭなどで構成される。

【0022】

画像処理部２０４は、ＣＰＵ２０１の制御に基づいて、不揮発性メモリ２０３や記録媒体２０８に格納された画像データや、外部Ｉ／Ｆ２０９を介して取得した映像信号、通信Ｉ／Ｆ２１０を介して取得した画像データ、撮像された画像などに対して各種画像処理を施す。画像処理部２０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部２０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部２０４を用いずにＣＰＵ２０１がプログラムに従って画像処理を施すことも可能である。画像から認識すべき対象を認識する処理は、ＣＰＵ２０１が画像処理部２０４と協働して行う。

【0023】

ディスプレイ２０５は、ＣＰＵ２０１の制御に基づいて、画像やＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ２０１は、プログラムに従い表示制御信号を生成し、ディスプレイ２０５に表示するための映像信号を生成してディスプレイ２０５に出力するようにクライアント端末１００の各部を制御する。ディスプレイ２０５は出力された映像信号に基づいて映像を表示する。なお、クライアント端末１００自体が備える構成としてはディスプレイ２０５に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ２０５は外付けのモニタ（テレビなど）で構成してもよい。

【0024】

操作部２０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ２０５に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。

【0025】

記録媒体Ｉ／Ｆ２０７は、メモリーカードやＣＤ、ＤＶＤといった記録媒体２０８が装着可能とされ、ＣＰＵ２０１の制御に基づき、装着された記録媒体２０８からのデータの読み出しや、当該記録媒体２０８に対するデータの書き込みを行う。外部Ｉ／Ｆ２０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ２１０は、外部機器やインターネット２１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。

【0026】

カメラ部２１２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子（撮像センサー）等で構成されるカメラユニットである。

【0027】

次に図３を参照して、本発明の実施形態における、クライアント端末１００の基本処理について説明する。なお、各ステップの処理は、クライアント端末１００のＣＰＵ２０１が、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して実行することにより実現する。ユーザーが配膳トレー１４０上の食事が適切かどうかを確認する前の処理として、クライアント端末１００内のアプリを起動すると、図３の処理が開始される。

【0028】

Ｓ３０１では、ＣＰＵ２０１は、ウェアラブル端末１２０の制御用のアプリの起動の指示を受け付けると、アプリを起動させる。例えば、クライアント端末１００にインストールされたアプリのアイコンをタッチ、クリックすることで起動させる。起動直後のＵＩには、図６のように結果表示エリア６００が表示される。結果表示エリア６００には、信頼度表示領域６０１，メニューリスト表示領域６０２，その他の検出結果表示領域６０３が含まれる。この時点では、信頼度表示領域６０１，メニューリスト表示領域６０２，その他の検出結果表示領域６０３は空欄の表示となる。なお、図６～図９に示す各点線枠は、領域を図示するための図面上の補助線であって、表示されるものではない。

【0029】

Ｓ３０２では、ＣＰＵ２０１は、ウェアラブル端末１２０の撮像部１２１によって撮影された映像を取得する。例えば、ウェアラブル端末１２０は、配膳トレー１４０上の食事や、メニューリストの情報を持つＱＲコードの映像を撮影する。クライアント端末１００のＣＰＵ２０１は、撮影された当該映像を取得する。なお、以下、ウェアラブル端末１２０によって撮影された画像と言う場合は、撮像部１２１によって撮影された画像のことであるものとする。

【0030】

Ｓ３０３では、ＣＰＵ２０１は、Ｓ３０２で取得した映像を背景画像としてディスプレイ２０５上に表示する。ＵＩの基本画面の表示例を図７に示す。なお、後述するステップにおいて表示する場合の表示先は、特に説明がない限りディスプレイ２０５であるものとする。

【0031】

図７の表示例では、ウェアラブル端末１２０から取得した映像を、背景画像６１０として表示する。背景画像６１０はライブビュー画像である。背景画像には、ウェアラブル端末１２０を装着したユーザーが配膳トレーの方向を向いていれば、配膳トレー上の食事画像８０３とＱＲコード画像８０４が含まれる。また、サーバ１１０による処理結果（画像認識の結果）を表示するための領域である結果表示エリア６００を表示する。

【0032】

Ｓ３０４では、ＣＰＵ２０１は、Ｓ３０２で取得した映像をサーバ１１０に送信する。サーバ１１０では、取得した映像からトレー上の食事メニューの推論やＱＲコードのデコードを行う。サーバ側の処理については、図５のフローチャートを用いて詳述する。

【0033】

Ｓ３０５では、ＣＰＵ２０１は、サーバ１１０から処理結果を受信したか否かを判定する。受信した場合はＳ３０６に進み、そうでない場合にはＳ３０７へ進む。ここで受信する処理結果は、後述する図５のＳ５１７で送信されるＱＲコードのデコード結果であるメニューリスト、Ｓ５２４で送信される食器検出数、Ｓ５２７で送信されるメニュー推論結果のいずれかである。

【0034】

Ｓ３０６では、ＣＰＵ２０１は、サーバ１１０から受信した処理結果に基づく表示制御処理を実行する。この処理については、図４のフローチャートを用いて詳述する。図４の処理（Ｓ３０６の処理）が終了すると、Ｓ３０５へ戻り、サーバ１１０から次の処理結果を受信したか否かを判定する。アプリが終了されるまでこの処理を繰り返す。

【0035】

Ｓ３０７では、ＣＰＵ２０１は、１フレーム分の時間（例えば３０分の１秒）が経過したか否かを判定する。経過した場合には、Ｓ３０２に戻り、再度スマートグラスからの映像を取得する。すなわち、撮像部１２１によって撮影された画像は毎フレーム連続的に取得する。Ｓ３０７で１フレーム分の時間が経過していないと判定した場合にはＳ３０５へ進む。

【0036】

図４に、表示制御処理のフローチャートを示す。この処理は、前述した図３のＳ３０６の詳細である。なお、各ステップの処理は、クライアント端末１００のＣＰＵ２０１が、不揮発性メモリ２０３に記録されたプログラムをメモリ２０２に展開して実行することにより実現する。クライアント端末１００がサーバ１１０から処理結果を受信すると、図４の処理が開始される。

【0037】

Ｓ４０１では、ＣＰＵ２０１は、サーバ１１０から受信した処理結果が正解メニューリストであるか否かを判定する。正解メニューリストは、後述する図５のＳ５１７でサーバ１１０から送信される情報である。また、正解メニューリストは、メニュー推論結果と比較するための比較対象となるメニュー品目群を含む比較対象情報である。正解メニューリストであればＳ４０２へ進み、そうでない場合にはＳ４０６に進む。具体的には、サーバ１１０では配膳トレー１４０上の食事の推論（画像認識による検出）と、ＱＲコードのデコード処理を行っている。クライアント端末１００がＱＲコードをデコードした結果、すなわちメニューリストを食事の推論結果（以下、メニュー推論結果）よりも先に受信したか否かを判定する。

【0038】

Ｓ４０２では、ＣＰＵ２０１は、メニューリストを結果表示エリア６００のメニューリスト表示領域６０２に表示する。メニューリストの表示例を図７（ａ）に示す。受信したメニューリストを、図７（ａ）の点線枠内のメニューリスト表示領域６０２に表示する。表示例では、御飯・グラタン・野菜サラダ・果物（オレンジ）・キャベツスープのメニューリストを取得した結果を表示している。メニューリスト表示領域６０２に表示された複数の項目のそれぞれが、メニューリストに含まれる一品（一皿）分の食事名（料理名）を表している。

【0039】

Ｓ４０３では、ＣＰＵ２０１は、メニュー推論結果（撮像部１２１で撮像した画像からの画像認識処理である、後述する図５のS５２５の処理による検出結果）をサーバ１１０から受信済であるか否かを判定する。受信済である場合はＳ４０４へ進み、そうでない場合は処理を終了する。

【0040】

Ｓ４０４では、ＣＰＵ２０１は、結果表示エリア６００の信頼度表示領域６０１に判定結果記号を表示する。より具体的には、S401で受信した正解メニューリストと、S403で受信済みと判定したメニュー推論結果とを比較し、正解メニューリストにある料理の品目（比較対象物）のそれぞれについて、メニュー推論結果に検出された対象物として含まれているか否かを判定する。そして、メニュー推論結果に検出された対象物として含まれている場合、メニュー推論結果での検出信頼度を取得し、これに基づいて判定結果記号を表示する。すなわち、正解メニューリストにある料理の品目（比較対象物）のそれぞれに対応づけて、メニュー推論処理で検出されたかに関する検出情報を信頼度表示領域６０１に表示する。なお、その他の検出結果表示領域６０３に表示される項目に関しては、信頼度（判定結果記号）を対応付けて表示することはしない。

【0041】

この時の表示例を図７（ｂ）に示す。信頼度表示領域６０１に検出結果の信頼度を記号で表示しており、例えば、◎・〇・△・×で表し、◎に近いほど信頼度が高いことを示している。図７（ｂ）の表示例では、メニューリストにある御飯は◎が表示されており、メニュー推論結果において非常に高いスコア値で検出されていることを示している。グラタン・果物（オレンジ）はメニュー推論結果において高いスコア値で検出されていることを示している。キャベツスープはスコア値が低く、検出はされたが信頼度が低い（キャベツスープでない可能性がある程度ある）ことを示している。野菜サラダはスコア値が非常に低く、信頼度が低い（野菜サラダでない可能性が高い）、あるいは検出されていない（推論スコアが取得できていない）ことを示している。画像認識の検出結果を「正」か「誤」の二択ではなく、３段階以上の信頼度で表示することで、ユーザーは信頼度の低い対象物を重点的に目視にて確認することができるようになる。すなわち、検出結果を二択で表示するといずれか一方に振り分けられ、「誤」と表示されていなくても結果が誤っている可能性があるので、検出結果に幅を持たせることでより正確な結果を取得でき、ユーザーは効率よく対象物を確認できるようになる。

【0042】

なお、信頼度表示領域６０１に表示する信頼度の表示物については、例えば数値（８０％や６０％など）や文字（高、中、低など）のように、ユーザーが信頼度を認識できる形態であれば記号でなくともよい。なお、検出結果の信頼度が△や×で表示されている場合（すなわち信頼度が所定の基準より低い場合）、△や×のものだけ赤字や太字で強調表示したり、別途メッセージを表示するなどして、ユーザーに確認を促すように通知するようにしても良い。

【0043】

また、Ｓ４０１で取得した正解メニューリストにはない食事（料理）が検出されている場合、後述するＳ４０９，Ｓ４１０において、その他の検出結果表示領域６０３に検出された食事の名称を表示する。その他の検出結果表示領域６０３に表示される各項目は、一品（一皿）分の料理名（食事名）である。図７（ｂ）の表示例では、メニューリストが示す内容とは一致しないイタリアンサラダが検出されていることを示している。このように、リストにない食事の名称を表示することで、画像認識の正解データと画像認識結果が本当に一致しないかを確認することが出来る。すなわち、ユーザーはリストにはないと検出された食事がリストの情報とは合致しないかを目視にて確認することができる。なお、メニューリストが示す内容とは一致しない食事であることが識別できる情報であれば、名称でなくとも、例えば識別番号といった情報でも良い。画像認識結果ではその他の検出結果だとしても、実際に目視で確認した場合には問題の無いケースもある。例えば、正解メニューリストに含まれるのが「野菜サラダ」であり、その他の検出結果に含まれるのが「イタリアンサラダ」である場合、「イタリアンサラダ」が実際には「野菜サラダ」の一種であり包含されるものなのであれば問題はなく、そのまま配膳してもよい。一方、例えば、正解メニューリストに含まれるのが「野菜サラダ」であり、その他の検出結果に含まれるのが「ハンバーグ」である場合、「野菜サラダ」を追加して「ハンバーグ」を除外してから配膳する必要がある。このような判断は、ウェアラブル端末１２０を身に着けたユーザーである作業者が、信頼度表示領域６０１、メニューリスト表示領域６０２、その他の検出結果表示領域６０３の表示内容と実物を見比べて行うこととなる。このように、正解メニューリストに含まれない対象物を検知した場合に、その対象物の識別除法(名称、種別)をその他の検出結果表示領域６０３に表示することで、検出された正解メニューリストに含まれない対象物が本当に不適当なものであるのかを作業者が確認しやすくなる。さらに例を挙げると、正解メニューリストに「青果物」があり、メニュー推論処理で「バナナ」が検出された場合、名称は一致しないため、「青果物」はメニューリスト表示領域６０２に表示され、「バナナ」はその他の検出結果表示領域６０３に表示される。しかし作業者は、メニューリスト表示領域６０２に表示された「青果物」がその他の検出結果表示領域６０３に表示された「バナナ」を包含する上位概念の言葉であることがわかるため、不適当な結果（「誤り」）ではなく、問題の無い結果（すなわちその料理をそのまま配膳してよい結果）である可能性を認識することができる。従ってより正確な判断を実物を見て行うことの動機付けとなる。

【0044】

Ｓ４０５では、ＣＰＵ２０１は、その他の検出結果表示領域６０３に表示済みの料理名（メニュー、品目）のうち、メニューリスト表示領域６０２に表示済みのメニューであり、信頼度表示領域６０１に判定結果記号を表示済みのメニューがある場合はこれを削除する。具体的な説明は後述するが、Ｓ４０６、Ｓ４０７において先にメニュー推論結果を受信した場合、その他の検出結果表示領域６０３にその内容を表示しておく。その後、メニューリストを受信した際に、その他の検出結果表示領域６０３に表示されている内容のうち結果判定済みのメニュー（メニューリスト表示領域６０２に表示されるものと同じ品目の料理）を削除する。

【0045】

Ｓ４０６では、ＣＰＵ２０１は、サーバ１１０から受信した処理結果がメニュー推論結果であるか否かを判定する。メニュー推論結果である場合はＳ４０７へ進み、そうでない場合はＳ４１１へ進む。Ｓ３０５で受信した処理結果が、後述する図５のＳ５２７でサーバ１１０から送信されたメニュー推論結果である場合に、Ｓ４０６でＹｅｓと判定される。

【0046】

Ｓ４０７では、ＣＰＵ２０１は、サーバ１１０からメニューリストを受信済みか否かを判定する。受信済みである場合にはＳ４０８へ進み、そうでない場合はＳ４１０へ進む。メニューリストを受信済みの場合とは、メニューリスト表示領域６０２にメニューリストに含まれる料理名を表示済みの場合である。

【0047】

Ｓ４０８では、ＣＰＵ２０１は、信頼度表示領域６０１に、メニューリスト表示領域６０２に表示済みの料理名にそれぞれ対応する判定結果記号であって、Ｓ４０６で受信したと判定したメニュー推論結果に基づく判定結果記号を表示する。

【0048】

Ｓ４０９では、ＣＰＵ２０１は、その他の検出結果表示領域６０３に、Ｓ４０３で受信したと判定したメニュー推論結果に含まれる料理名のうち、メニューリスト表示領域６０２に表示済みの料理名に含まれない料理名をその他の検出結果表示領域６０３に表示する。

【0049】

Ｓ４１０では、ＣＰＵ２０１は、メニュー推論結果をその他の検出結果表示領域６０３に表示する。このときの表示例を図８（ａ）に示す。図８（ａ）の表示例は、メニューリストよりも先にメニュー推論結果を受信した場合であり、メニューリスト表示領域６０２に料理名が表示されることなく、その他の検出結果表示領域６０３にメニュー推論結果が示す料理名が表示される。図８（ｂ）は、その後にメニューリストを受信した後の表示例である。メニューリスト表示領域６０２に受信したメニューリストが示す料理名を表示し、信頼度表示領域６０１に信頼度を示した記号を表示する。このとき、その他の検出結果表示領域６０３には、メニューリストに存在する食事であってすでに信頼度が判定された食事は削除される。図８（ａ）から図８（ｂ）への遷移の例では御飯・グラタン・果物（オレンジ）・キャベツスープがその他の検出結果表示領域６０３から削除される。また、メニューリストにはない食事（図８（ｂ）の表示例で示すイタリアンサラダ）はその他の検出結果表示領域６０３から削除されずに、そのまま表示される。メニュー推論結果を先に受信したときに、仮に何も表示されていないとすると、ユーザーはシステムの故障や動作不良等を懸念してしまうか、レスポンスが悪い（応答性が低い）と感じてしまう可能性がある。そのため、メニュー推論結果を受信した時点で、メニューリストを受信していなくともメニュー推論結果をその他の検出結果表示領域６０３に表示することで、ユーザーはシステムが正常に処理していることを認識することができる。あるいは、好適な応答性であると感じることができる。

【0050】

Ｓ４１１では、ＣＰＵ２０１は、食器の検出数０個が規定回数以上繰り返されたか否かを判定する。すなわち、ウェアラブル端末１２０によって撮像された画像から検出対象物が検出されない状態が規定回数以上繰り返されたか否かを判定する。検出数０個が規定回数以上繰り返された場合はＳ４１０へ進み、そうでない場合は処理を終了する。規定回数は例えば６０回である。これは、撮像のフレームレートが３０ｆｐｓであり、サーバ１１０への画像送信とサーバ１１０での画像認識の処理も同じフレームレートで行えるとすれば、２秒に相当する。なお、検出数０個である状態を判定することができるのであれば回数でなくとも良く、例えば一定時間検出数０個が続いているか否かを判定するといった方法でも良い。

【0051】

Ｓ４１２では、ＣＰＵ２０１は、結果表示エリア６００と背景画像６１０を初期化する。初期化した後は図６のように、信頼度表示領域６０１、メニューリスト表示領域６０２，その他の検出結果表示領域６０３が空欄の表示となり、ウェアラブル端末１２０から次の映像が送信されるまで待機する。この表示をみることで、ユーザーは、いったんリセットされたことを認識できる。すなわち、次に信頼度表示領域６０１、メニューリスト表示領域６０２，その他の検出結果表示領域６０３に表示される内容は、これから撮影する料理のセット（次のトレーの料理群）に関するものであり、過去に撮影された料理のセットに関するものとは違うことを確認することができる。

【0052】

Ｓ４１１の判定は、メニュー推論結果に基づく判定ではなく、食器有無の検出結果に基づいて判定している。食器有無の検出処理（後述する図５のＳ５２３の処理）は、メニュー推論処理（後述するＳ５３５の処理）に比べると、検出対象物の種別の検出までは行わない分、少ない処理負荷で高速に処理を行うことが可能であり、かつ、確実な処理結果（信頼度の高い処理結果）を得ることができる。そのため、Ｓ４１１の判定を検出対象物の種別の検出までは行わない食器有無の検出結果に基づいて行うようにすることで、ユーザーの意図に沿ったより好適なタイミングで結果表示エリア６００の表示内容をリセットすることができる。例えば、ウェアラブル端末１２０を装着した作業者（ユーザー）が連続して複数のトレー上の配膳メニューをチェックする際に、トレーとは関係のないところをあえて２秒みる（顔を向けて撮影範囲を変更して２秒まつ）といった動作をするだけで確実にリセットをすることができる。あるいは、トレーの入れ替えの際に自然と２秒、トレー以外をみることになるような運用であれば、作業者がリセットするための意識的な動作を行わなくてもリセットを行える。作業者はリセットのために手を使わないので、手を使った他の作業を阻害しない。また、メニュー推論処理よりも確実な判定条件としているため、実際にはトレー上の食器を見続けている（撮影し続けている）のに、画像認識結果の不確実性のために食器が検出されず、意図せずリセットされてしまうということも起こりくい。すなわち、意図しないリセットも抑制される。仮に、Ｓ４１１の判定条件を食器の有無ではなく、メニュー推論の結果で料理の種別が検出されない状態が一定時間（一定回数）続いたという判定条件とした場合は、実際にはトレー上の食器を見続けている（撮影し続けている）のにも関わらず意図せずリセットされてしまうということが比較的起こりやすくなってしまう。

【0053】

次に図５（ａ）～図５（ｃ）を参照して、本発明の実施形態における、サーバ１１０の処理について説明する。なお、各ステップの処理は、サーバ１１０のＣＰＵ１１１がＲＯＭ１１３に記録されたプログラムをＲＡＭ１１２に展開して実行することで実現する。ウェアラブル端末１２０によって撮像された画像をクライアント端末１００から受信すると、図５（ａ）の処理が開始される。

【0054】

Ｓ５０１では、サーバ１１０のＣＰＵ１１１は、サーバプログラムを起動させる。

【0055】

Ｓ５０２では、サーバ１１０のＣＰＵ１１１は、メニューＤＢ１３０から現在日時に対応する候補メニューを取得する。例えば、１０時に次の昼食のメニューを取得するように設定しておいて、その設定時刻になったら昼食のメニューが含まれた候補リストをメニューＤＢ１３０から取得する。

【0056】

Ｓ５０３では、サーバ１１０のＣＰＵ１１１は、スマートグラスからの映像（スマートグラス１２０で撮像された画像）をクライアント端末１００から受信する。ここで受信する画像は、前述した図３のＳ３０４で送信された画像である。

【0057】

Ｓ５０４では、サーバ１１０のＣＰＵ１１１は、Ｓ５０３で受信したスマートグラス１２０で撮像されたフレーム画像（１フレーム分の画像）をＱＲコードリーダのキューにキューイングする。

【0058】

Ｓ５０５では、サーバ１１０のＣＰＵ１１１は、Ｓ５０３で受信したスマートグラス１２０で撮像されたフレーム画像（１フレーム分の画像）を画像認識のキューにキューイングする。

【0059】

Ｓ５０６では、サーバ１１０のＣＰＵ１１１は、再起動予定時刻を過ぎたか否かを判定する。再起動予定時刻を過ぎた場合はＳ５０７へ進み、そうでない場合はＳ５０３へ戻る。再起動予定時刻とは、メニューＤＢから候補リストを取得するために設定された時刻のことを指す。再起動予定時刻を過ぎた場合、次の時刻に対応する候補メニューを取得するためにサーバプログラムを再起動させる。

【0060】

Ｓ５０７では、サーバ１１０のＣＰＵ１１１は、サーバプログラムを終了させ、Ｓ５０１に進み、再起動させる。

【0061】

次に図５（ｂ）を参照して、サーバ１１０によるＱＲコード読み取り処理について説明する。Ｓ５０４でＱＲコードリーダのキューにデータがキューイングされると図５（ｂ）の処理が開始される。

【0062】

Ｓ５１１では、サーバ１１０のＣＰＵ１１１は、ＱＲコードリーダのキューからデータの取得を開始する。ここで取得されるデータは、Ｓ５０４でキューイングされた画像（スマートグラス１２０で撮像されたフレーム画像）である。

【0063】

Ｓ５１２では、サーバ１１０のＣＰＵ１１１は、キューにデータがあるか否かを判定する。データがある場合はＳ５１３へ進み、データがない場合はＳ５１１へ戻る。

【0064】

Ｓ５１３では、サーバ１１０のＣＰＵ１１１は、Ｓ５１１で取得したデータに含まれるフレーム画像からＱＲコードの位置を検出する。例えば、画像に配膳トレー１４０に置いてあるＱＲコードが写っていればその位置を検出する。

【0065】

Ｓ５１４では、サーバ１１０のＣＰＵ１１１は、ＱＲコードの位置検出に成功したか否かを判定する。ＱＲコードの位置検出に成功した場合はＳ５１５へ進み、失敗した場合（ＱＲコードが写っていない画像である場合）はＳ５１１へ戻る。

【0066】

Ｓ５１５では、サーバ１１０のＣＰＵ１１１は、Ｓ５１４で検出したＱＲコード（Ｓ５１１で取得したデータに含まれるフレーム画像に写っているＱＲコード）のデコードを開始する。

【0067】

Ｓ５１６では、サーバ１１０のＣＰＵ１１１は、ＱＲコードのデコードに成功したか否かを判定する。デコードに成功した場合はＳ５１７へ進み、失敗した場合はＳ５１１へ戻る。

【0068】

Ｓ５１７では、サーバ１１０のＣＰＵ１１１は、デコード結果をクライアント端末１００に送信する。すなわち、デコードした結果取得したメニューリストをクライアント端末１００に送信する。その後はＳ５１１へ戻り、次のデータをキューから取得する。ここで送信されたメニューデータが、前述した図３の３０５で受信された場合、前述した図４のＳ４０１でＹｅｓと判定される。

【0069】

次に図５（ｃ）を参照して、サーバ１１０による画像認識処理について説明する。Ｓ５０５で画像認識のキューにデータがキューイングされると、図５（ｃ）の処理が開始される。

【0070】

Ｓ５２１では、サーバ１１０のＣＰＵ１１１は、画像認識のキューからデータの取得を開始する。ここで取得されるデータは、Ｓ５０５でキューイングされた画像（スマートグラス１２０で撮像されたフレーム画像）である。

【0071】

Ｓ５２２では、サーバ１１０のＣＰＵ１１１は、キューにデータがあるか否かを判定する。データがある場合はＳ５２３へ進み、データがない場合はＳ５２１へ戻る。

【0072】

Ｓ５２３では、サーバ１１０のＣＰＵ１１１は、Ｓ５２１で取得したデータに含まれるフレーム画像から食器の位置を検出する。この処理は、検出対象物である食器有無の検出処理であり、検出対象物である食器の種別の検出（例えば、大皿か小皿かまでの検出）までは行わない。検出対象物の種別の検出までは行わない分、後述するＳ５２５のメニュー推論処理による料理の種別の検出よりも、少ない処理負荷で高速に処理を行うことが可能であり、かつ、後述するＳ５２５のメニュー推論処理による料理の種別の検出よりも確実な処理結果（信頼度の高い処理結果）を出力可能である。食器は、後述するＳ５２５のメニュー推論処理が検出対象物とする料理を包含する物品（器）である。すなわち、Ｓ５２３で食器が検出されなければＳ５２５の処理で検出されるべき料理も無いと想定できる。また、Ｓ５２３で食器が検出されれば、Ｓ５２５の処理で検出されるべき料理が、画像中の食器の内側の領域にあると想定できる。

【0073】

Ｓ５２４では、サーバ１１０のＣＰＵ１１１は、Ｓ５２３で検出した食器検出数をクライアント端末１００に送信する。ここで送信された食器検出数に基づいて、前述したＳ４１１の判定が行われる。

【0074】

Ｓ５２５では、サーバ１１０のＣＰＵ１１１は、Ｓ５２１で取得したデータに含まれるフレーム画像からメニューの推論を行う。より詳しくは、Ｓ５２１で取得した画像を、予め用意された学習済みデータに入力することで推論処理を行い、結果として画像に含まれる料理の種別（料理名、品目）と、その推論スコア（信頼度）を取得する。ここで行われる推論処理は画像から検出対象物を検出する画像認識処理の一種であり、検出対象物である料理の有無だけではなく、料理の種別までを検出する処理である。例えば、検出対象物である料理の種別がハンバーグであるかカレーであるか、という検出まで必要な処理である。検出対象物の種別の検出まで行う分、前述したＳ５２３の食器の有無の検出処理よりも、高い処理負荷が必要であり、処理時間がかかる。また、Ｓ５２４の食器の有無の検出処理に比べれば検出結果の精度は高くない（信頼度が相対的に低い）。

【0075】

Ｓ５２６では、サーバ１１０のＣＰＵ１１１は、Ｓ５２５の処理で検出された料理（品目）のそれぞれについて、推論スコアが閾値以上であるか否かを判定する。そして、推論スコアが閾値以上である料理について、料理名（料理の種別、品目）とそのスコアとを、Ｓ５２７で送信するメニュー推論結果に含める。推論スコアが閾値未満である料理については、その料理名とスコアはＳ５２７で送信するメニュー推論結果には含めない。推論スコアが極端に低い料理の検出結果をクライアント端末１００に送信すると、メニュー推論結果とメニューリストとの比較を正確に行うことが出来なくなる。そのために閾値を設定して、ある程度信頼性のおける結果だけをクライアント端末１００に送信する。

【0076】

Ｓ５２７では、サーバ１１０のＣＰＵ１１１は、メニュー推論結果をクライアント端末１００に送信する。すなわち、配膳トレー１４０上の食事の種別を推論した結果をクライアント端末１００に送信する。その後はＳ５２１へ戻り、次のデータをキューから取得する。Ｓ５２７で送信されたメニュー推論結果が前述の図３のＳ３０５で受信された場合に、前述の図４のＳ４０６でＹｅｓと判定される。

【0077】

本実施形態の信頼度表示領域６０１の表示によれば、画像認識での検出処理の結果の信頼度をユーザーが効率的に確認できる仕組みを提供することができる。

【0078】

仮に、本実施形態を適用せず、画像認識の判定結果を信頼度表示領域６０１に「正」か「誤」の二択で表示する場合を想定する。この場合、たとえ判断が難しいとしてもいずれかに割り当てられてしまうため、「誤」と表示されていても判定結果が正しくなく、実際には正しい料理（メニューリストにある料理）が画像に含まれている可能性がある。これに対し、本実施形態によれば、〇△×のような記号で信頼度を表示している。そのため、画像認識での判断が難しい場合は△もしくは×に割り当てられるので、ユーザーはその部分について画像認識での正誤を対象物の目視で確認することを重点的に行うことが出来る。例えば、「正」か「誤」の二択で表示する場合に「誤」と表示されるような場合でも、本実施形態であれば「△」と表示されるケースがあり、ユーザーはその品目の料理について、画像認識の結果だけで判断することなく、実物を目視しての確認を怠ることなく行うことができる。また、「正」か「誤」の二択で表示する場合に「正」と表示されるような場合でも、本実施形態であれば「〇」または「△」と表示されるケースがあり、ユーザーはその品目の料理について、画像認識の結果だけで判断することなく、実物を目視しての確認を怠ることなく行うことができる。

【0079】

また、上記の仮の想定における、画像認識の判定結果の正誤を一つ一つ確認するとなると、多くの時間や労力を費やしてしまう。これに対し、本実施形態によれば、検出結果の信頼度が低いところのみを人がチェックするようにすることが出来る。そのため、確認が必要なところのみを人が確認していくことで、作業時間を短縮できたり、確認する労力を減らしたりできる。

【0080】

また、本実施形態によれば、ディスプレイ１２２に結果表示エリア６００を表示する際、ライブビュー上において、あるいは、ディスプレイ１２２を透過した被写体光の位置に対して、メニュー推論処理や食器の検出処理で検出された検出対象物がどこかという位置を示す表示は行わない。これによって、目視での確認が容易な画面を表示することができる。仮に、本実施形態を適用せず、ディスプレイ１２２上で検出対象物の位置を示す枠等を含めた情報を表示しようとする場合を想定する。その場合、ディスプレイ１２２の画面上での対象物の位置の動きが大きいと、位置を示す表示を対象物の位置にリアルタイムで追従することが難しく、正しい位置を示せない可能性がある。また、正しい位置を示せたとしても動きが大きすぎて煩雑な表示となる。これに対して、本実施形態によれば、検出対象物の位置を示す枠等の情報を表示せず、表示位置が固定された結果表示エリア６００内の固定された領域（６０１～６０３）に記号と文字を表示することで、目視での確認が容易になる。また、メガネ型デバイスのように表示画面のサイズが小さい端末機器を活用する場合、検出された物品の位置を示す情報が表示されると、画面上が煩雑になり情報が読み取りにくくなる。これに対し、本実施形態によれば、リストと検出結果を記号と文字で表示しており、検出された物品の位置を示す情報は表示されない。そのため、ユーザーにとって見やすい画面を提供することが可能になる。

【0081】

また、本実施形態によれば、比較対象の情報（メニューリスト）に無い対象物が画像認識（メニュー推論処理）で検出された場合に、より有益な情報を表示する仕組みを提供することができる。具体的には、比較対象の情報（メニューリスト）に無い対象物が画像認識（メニュー推論処理）で検出された場合に、その他の検出結果表示領域６０３にその検出物の種別（料理の品目名）を表示する。

【0082】

また、本実施形態によれば、検出対象物を確実に検出できない状況であっても、作業の妨げを抑止しながらも表示情報の意図しない更新を抑止できる仕組みを提供することができる。仮に、本実施形態を適用せず、検出対象が食事のメニューの場合であって、その検出結果の信頼度が低い状態が続くことにより結果がリセットされてしまう場合、トレーを見続けているにも関わらず頻繁に結果がリセットされてしまう。これに対し、本実施形態によれば、食器の縁を検出している。これにより、食事のメニューを検出対象とするよりも、検出結果のレスポンスが早くなり、頻繁にリセットされることを防ぐことが出来る。

【0083】

また、本実施形態によれば、比較対象物情報（正解メニューリスト）の取得と画像認識結果（メニュー推論処理の結果）の取得との取得順にかかわらず好適な表示を行える。メニューリストの情報を持つＱＲコード（登録商標）が印字された紙が食器等によって隠れていたり、トレーから落ちているために、QRコードの読込が行えていないこともあり得る。しかし、多くのトレーを素早く確認していると、QRコードを正確に認識できていないことに気付かない可能性がある。これに対し、本実施形態によれば、先にメニュー推論処理の結果をその他の検出結果表示領域６０３に表示しておくことで、既にメニュー推論処理は終了しており、後はリストの取得待ち、すなわちQRコードの読込待ちであることをユーザが認識できる。そのため、印刷された紙からコードが取得できていない（撮影できていない）と把握でき、紙の行方が分からなくなっていることに気付くことができる。すなわち、信頼度表示領域６０１、メニューリスト表示領域６０２に結果の表示がされない場合にも原因に素早く気付いて解決をする一助となり、作業が長く中断してしまうことを抑制することができる。

【0084】

なお、上述の実施形態では、クライアント端末１００を通して、ウェアラブル端末１２０上に画面を表示する例を説明したが、これに限るものではない。クライアント端末１００を間に入れずに、ウェアラブル端末１２０とサーバ１１０を、ネットワーク１０１を介して直接繋げる構成であってもよい。その場合、上述の実施形態で説明したクライアント端末１００が主体となる動作を、これに代わってウェアラブル端末１２０が主体となって動作する。

【0085】

また、ウェアラブル端末１２０で撮像された画像をクライアント端末１００からサーバ１１０に送信し、サーバ１１０で画像認識処理を行い、クライアント端末１００で画像認識処理の結果に応じた表示を行う例を説明したが、これに限るものではない。サーバ１１０で行うものとして説明した図５（ａ）～図５（ｃ）の画像認識処理を、クライアント端末１００で行うようにしてもよい。また、サーバ１１０で行うものとして説明した図５（ａ）～図５（ｃ）の画像認識処理と、図４で行うものとして説明した表示制御処理を含む処理を、ウェアラブル端末１２０で行うようにしても良い。

【0086】

本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0087】

なお、ＣＰＵ２０１、ＣＰＵ１１１が行うものとして説明した上述の各種制御は１つのハードウェアが行ってもよいし、複数のハードウェア（例えば、複数のプロセッサーや回路）が処理を分担することで、装置全体の制御を行ってもよい。

【0088】

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

【0089】

また、上述した実施形態は、クライアント端末１００を携帯電話端末（スマートフォン）に適用した場合を例にして説明したが、これはこの例に限定されず、画像処理により検出された対象物と、検出されるべき物品のリストを比較した結果を表示可能な装置であれば適用可能である。すなわち、パーソナルコンピュータやＰＤＡ、携帯型の画像ビューワー、タブレット端末、ゲーム機、電子ブックリーダー、ヘッドマウントディスプレイなどに適用可能である。

【0090】

さらに、上述した実施形態においては、トレー上の食事（料理）を撮影した画像から画像認識によって画像に含まれる料理の品目（種別）検出し、同じトレー上にあるＱＲコードから取得した正解メニューリストを比較した結果を表示する例を説明した。しかしこれに限るものでは無く、被写体を撮影して得られた画像から画像認識によって検出された物品と、別途取得される情報であって、本来あるべき物品のリストとを比較した結果を表示するものであれば本発明を適用可能である。例えば、物流倉庫へ商品を入荷、または、出荷する際に商品の種類と数量が正しいかどうかをチェックする検品作業の際などにも適用可能である。また、工場などにおいて、組み立て部品を保存棚等からピックアップした結果を撮影し、本来ピックアップすべき部品と一致しているかどうかを確認する際などにも適用可能である。また、処方箋に基づいて薬をピックアップした結果を撮影し、処方箋と一致しているかを確認する際などにも適用可能である。本来あるべき物品のリストの取得方法もＱＲコードを撮影して取得する方法に限るものではなく、サーバーと通信して取得するなど他の方法で取得してもよい。

【0091】

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

【符号の説明】

【0092】

１００ クライアント端末
１０１ ネットワーク
１１０ サーバ
１２０ ウェアラブル端末
１３０ メニューＤＢ
１４０ 配膳トレー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】