(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022158732
(43)【公開日】2022-10-17
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221007BHJP
G06F 16/54 20190101ALI20221007BHJP
【ＦＩ】
G06Q50/10
G06F16/54
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021063836
(22)【出願日】2021-04-04
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ［ウェブサイトの掲載日］ 令和２年４月２５日 ［ウェブサイトのアドレス］ ｈｔｔｐｓ：／／ａｐｐｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／％Ｅ３％８３％９５％Ｅ３％８３％ＢＣ％Ｅ３％８３％８９％Ｅ３％８２％Ｂ９％Ｅ３％８２％ＡＤ％Ｅ３％８３％Ａ３％Ｅ３％８３％Ｂ３／ｉｄ１５０２０１５２５９？ｉｇｎ－ｍｐｔ＝ｕｏ％３Ｄ２ ［刊行物等］ ［ウェブサイトの掲載日］ 令和２年５月１１日 ［ウェブサイトのアドレス］ ｈｔｔｐｓ：／／ｗｗｗ．ｆａｃｅｂｏｏｋ．ｃｏｍ／１００００３７８４６９８８７８／ｐｏｓｔｓ／１８１９１３９８４１５５５４８８／？ｄ＝ｎ
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＨＵＮＤＥＲＢＯＬＴ
(71)【出願人】
【識別番号】521150352
【氏名又は名称】三浦 康司
(74)【代理人】
【識別番号】100132702
【弁理士】
【氏名又は名称】櫻田 賢
(72)【発明者】
【氏名】三浦 康司
(72)【発明者】
【氏名】三浦 玄誠
【テーマコード（参考）】
5B175
5L049
【Ｆターム（参考）】
5B175DA02
5B175GA03
5B175JB02
5L049CC11
(57)【要約】 （修正有）
【課題】飲食物にアレルゲンや添加物等の所定の物質が含まれているか否かを容易に確認し、確認結果をデータとして簡便に管理することができる情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】情報処理システムは、次の各ステップを実行する。第１の受付ステップでは、飲食物の原材料表示を含む第１の画像をユーザから受け付ける。検出ステップでは、第１の画像から第１の文字情報と、第２の文字情報との検出を実行する。第１の文字情報は、所定の物質を表す情報であり、第２の文字情報は、飲食物の名称を表す情報である。第１の生成ステップでは、検出の結果をユーザに示すための第１の表示情報を生成する。保存ステップでは、検出の結果を履歴情報として保存する。
【選択図】図１２
【解決手段】情報処理システムは、次の各ステップを実行する。第１の受付ステップでは、飲食物の原材料表示を含む第１の画像をユーザから受け付ける。検出ステップでは、第１の画像から第１の文字情報と、第２の文字情報との検出を実行する。第１の文字情報は、所定の物質を表す情報であり、第２の文字情報は、飲食物の名称を表す情報である。第１の生成ステップでは、検出の結果をユーザに示すための第１の表示情報を生成する。保存ステップでは、検出の結果を履歴情報として保存する。
【選択図】図１２
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップを実行するように構成され、
第１の受付ステップでは、飲食物の原材料表示を含む第１の画像をユーザから受け付け、
検出ステップでは、前記第１の画像から第１の文字情報と、第２の文字情報との検出を実行し、ここで、前記第１の文字情報は、所定の物質を表す情報であり、前記第２の文字情報は、前記飲食物の名称を表す情報であり、
第１の生成ステップでは、前記検出の結果を前記ユーザに示すための第１の表示情報を生成し、
保存ステップでは、前記検出の結果を履歴情報として保存する、
もの。
次の各ステップを実行するように構成され、
第１の受付ステップでは、飲食物の原材料表示を含む第１の画像をユーザから受け付け、
検出ステップでは、前記第１の画像から第１の文字情報と、第２の文字情報との検出を実行し、ここで、前記第１の文字情報は、所定の物質を表す情報であり、前記第２の文字情報は、前記飲食物の名称を表す情報であり、
第１の生成ステップでは、前記検出の結果を前記ユーザに示すための第１の表示情報を生成し、
保存ステップでは、前記検出の結果を履歴情報として保存する、
もの。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記第１の受付ステップでは、前記ユーザから前記所定の物質の指定をさらに受け付ける、
もの。
前記第１の受付ステップでは、前記ユーザから前記所定の物質の指定をさらに受け付ける、
もの。
【請求項3】
請求項１または請求項２に記載の情報処理システムにおいて、
前記所定の物質は、アレルギー物質である、
もの。
前記所定の物質は、アレルギー物質である、
もの。
【請求項4】
請求項１～請求項３の何れか１つに記載の情報処理システムにおいて、
前記第１の表示情報は、前記第１の文字情報を含む部分が強調表示された前記第１の画像を含む、
もの。
前記第１の表示情報は、前記第１の文字情報を含む部分が強調表示された前記第１の画像を含む、
もの。
【請求項5】
請求項１～請求項４の何れか１つに記載の情報処理システムにおいて、
判定ステップおよび第２の生成ステップをさらに実行するように構成され、
前記第１の受付ステップでは、前記飲食物の栄養成分表示を含む第２の画像を前記ユーザから受け付け、
前記検出ステップでは、前記第２の画像から第３の文字情報の検出をさらに実行し、ここで、前記第３の文字情報は、所定の栄養成分の含有量または熱量を表す情報であり、
前記判定ステップでは、前記第３の文字情報と、予め設定された参照情報とに基づいて、前記含有量または前記熱量が、所定の基準を満たしているかの判定を実行し、
前記第２の生成ステップでは、前記判定の結果を前記ユーザに示すための第２の表示情報を生成する、
もの。
判定ステップおよび第２の生成ステップをさらに実行するように構成され、
前記第１の受付ステップでは、前記飲食物の栄養成分表示を含む第２の画像を前記ユーザから受け付け、
前記検出ステップでは、前記第２の画像から第３の文字情報の検出をさらに実行し、ここで、前記第３の文字情報は、所定の栄養成分の含有量または熱量を表す情報であり、
前記判定ステップでは、前記第３の文字情報と、予め設定された参照情報とに基づいて、前記含有量または前記熱量が、所定の基準を満たしているかの判定を実行し、
前記第２の生成ステップでは、前記判定の結果を前記ユーザに示すための第２の表示情報を生成する、
もの。
【請求項6】
請求項５に記載の情報処理装置において、
前記第２の画像は、前記第１の画像と異なる画像である、
もの。
前記第２の画像は、前記第１の画像と異なる画像である、
もの。
【請求項7】
請求項５または請求項６に記載の情報処理装置において、
前記保存ステップでは、前記判定の結果をさらに前記履歴情報として保存する、
もの。
前記保存ステップでは、前記判定の結果をさらに前記履歴情報として保存する、
もの。
【請求項8】
請求項１～請求項７の何れか１つに記載の情報処理システムにおいて、
送信ステップをさらに実行するように構成され、
前記送信ステップでは、前記第１の表示情報、前記第２の表示情報または前記履歴情報を、前記ユーザが指定した送信先に送信する、
もの。
送信ステップをさらに実行するように構成され、
前記送信ステップでは、前記第１の表示情報、前記第２の表示情報または前記履歴情報を、前記ユーザが指定した送信先に送信する、
もの。
【請求項9】
請求項８に記載の情報処理システムにおいて、
第２の受付ステップをさらに実行するように構成され、
前記第２の受付ステップでは、前記送信先から、前記第１の表示情報、前記第２の表示情報または前記履歴情報に対する応答を受け付け、
前記保存ステップでは、前記応答の内容をさらに前記履歴情報として保存する、
もの。
第２の受付ステップをさらに実行するように構成され、
前記第２の受付ステップでは、前記送信先から、前記第１の表示情報、前記第２の表示情報または前記履歴情報に対する応答を受け付け、
前記保存ステップでは、前記応答の内容をさらに前記履歴情報として保存する、
もの。
【請求項10】
情報処理方法であって、
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、
方法。
請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを備える、
方法。
【請求項11】
プログラムであって、
コンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、
もの。
コンピュータに、請求項１～請求項９の何れか１つに記載の情報処理システムの各ステップを実行させる、
もの。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、購入しようとしている商品の中にアレルギー物質を含む商品があるかを清算途中に顧客が知ることができる商品販売データ登録処理装置が開発されている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開第２０１４－１７０３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、顧客は、清算途中にアレルギー物質を含む商品を知ることができても、店舗から出たあとに、どの商品にアレルギー物質が含まれているのかを記録し、管理するのは、自らの記憶に頼るほかなく、容易ではなかった。
【0005】
本発明では上記事情を鑑み、飲食物にアレルゲンや添加物等の所定の物質が含まれているか否かを容易に確認し、確認結果をデータとして簡便に管理することができる技術を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、次の各ステップを実行するように構成される。第１の受付ステップでは、飲食物の原材料表示を含む第１の画像をユーザから受け付ける。検出ステップでは、第１の画像から第１の文字情報と、第２の文字情報との検出を実行する。第１の文字情報は、所定の物質を表す情報であり、第２の文字情報は、飲食物の名称を表す情報である。第１の生成ステップでは、検出の結果をユーザに示すための第１の表示情報を生成する。保存ステップでは、検出の結果を履歴情報として保存する。
【0007】
本開示によれば、飲食物にアレルゲンや添加物等の所定の物質が含まれているか否かを容易に確認し、確認結果をデータとして簡便に管理することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る情報処理システム１を表す構成図である。
【図2】情報処理装置３のハードウェア構成を示すブロック図である。
【図3】情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。
【図4】ユーザ端末２に表示される画面であって、メニュー画面４の一例である。
【図5】ユーザ端末２に表示される画面であって、所定の物質Ｍを指定するための設定画面５の一例である。
【図6】ユーザ端末２に表示される画面であって、所定の物質Ｍを指定するための対象物質追加画面６の一例である。
【図7】ユーザ端末２に表示される画面であって、所定の物質Ｍに関する詳細情報を表示する詳細表示画面７の一例である。
【図8】ユーザ端末２に表示される画面であって、撮像画像を表示する撮像画面８の一例である。
【図9】ユーザ端末２に表示される画面であって、検出の結果をユーザに示すための第１の表示情報９の一例である。
【図10】ユーザ端末２に表示される画面であって、判定の結果をユーザに示すための第２の表示情報１０の一例である。
【図11】ユーザ端末２に表示される画面であって、履歴情報表示画面１１の一例である。
【図12】情報処理システム１によって実行される情報処理の流れの一例を示すタイミングチャートである。
【図13】情報処理システム１によって実行される情報処理の流れの一例を示すタイミングチャートである。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現され得るソフトウェアの情報処理とを合わせたものも含み得る。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０または１で構成される２進数のビット集合体としての信号値の高低、または量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行され得る。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、およびメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．ハードウェア構成
本節では、第１の実施形態（以下、本実施形態と称する）のハードウェア構成について説明する。
本節では、第１の実施形態（以下、本実施形態と称する）のハードウェア構成について説明する。
【0014】
１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、ユーザ端末２と、情報処理装置３とを備え、これらがネットワークを通じて接続されている。これらの構成要素について、さらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つまたはそれ以上の装置または構成要素からなるものである。したがって、情報処理装置３単体であっても、システムの一例となる。
図１は、本実施形態に係る情報処理システム１を表す構成図である。情報処理システム１は、ユーザ端末２と、情報処理装置３とを備え、これらがネットワークを通じて接続されている。これらの構成要素について、さらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つまたはそれ以上の装置または構成要素からなるものである。したがって、情報処理装置３単体であっても、システムの一例となる。
【0015】
１．２ ユーザ端末２
ユーザ端末２は、通信部と、記憶部と、制御部と、表示部と、入力部、撮像部とを有し、これらの構成要素がユーザ端末２の内部において通信バスを介して電気的に接続されている。通信部、記憶部および制御部の説明は、情報処理装置３における通信部３１、記憶部３２および制御部３３と略同様のため、省略する。なお、図１において、個々のユーザのユーザ端末２を、ｎを１以上の整数として「２－ｎ」で表している。
ユーザ端末２は、通信部と、記憶部と、制御部と、表示部と、入力部、撮像部とを有し、これらの構成要素がユーザ端末２の内部において通信バスを介して電気的に接続されている。通信部、記憶部および制御部の説明は、情報処理装置３における通信部３１、記憶部３２および制御部３３と略同様のため、省略する。なお、図１において、個々のユーザのユーザ端末２を、ｎを１以上の整数として「２－ｎ」で表している。
【0016】
表示部は、例えば、ユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。このような表示部は、例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイおよびプラズマディスプレイ等の表示デバイスを、ユーザ端末２の種類に応じて使い分けて実施されることが好ましい。ここでは、表示部は、ユーザ端末２の筐体に含まれるものとして説明する。
【0017】
入力部は、ユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部は、表示部と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部が、ユーザによってなされた操作入力を受け付ける。当該入力が、命令信号として、通信バスを介して制御部に転送され、制御部が、必要に応じて、所定の制御や演算を実行し得る。
【0018】
撮像部は、外界の情報を撮像可能に構成される、いわゆるビジョンセンサ（カメラ）である。撮像部は、撮影対象を撮影することで画像データを生成するように構成される。撮像部は、後述の情報処理装置３における通信部３１とネットワークを介して接続され、撮像した画像データを情報処理装置３に転送可能に構成される。
【0019】
１．３ 情報処理装置３
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを備え、これらの構成要素が、情報処理装置３の内部において、通信バス３０を介して電気的に接続されている。各構成要素について、さらに説明する。
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを備え、これらの構成要素が、情報処理装置３の内部において、通信バス３０を介して電気的に接続されている。各構成要素について、さらに説明する。
【0020】
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、通信部３１は、これら複数の通信手段の集合として実施されることがより好ましい。すなわち、情報処理装置３は、通信部３１を介して、ユーザ端末２とネットワークを介して、種々の情報を通信する。
【0021】
記憶部３２は、前述の記載により定義される様々な情報を記憶する。記憶部３２は、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施され得る。また、記憶部３２は、これらの組み合わせであってもよい。記憶部３２は、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶している。
【0022】
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば、不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、情報処理装置３に係る種々の機能は、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行され得る。各機能部については、次節において、更に詳述する。なお、制御部３３は、単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施されてもよい。また、制御部３３は、複数の制御部の組み合わせであってもよい。
【0023】
２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、情報処理装置３に係る種々の機能は、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行され得る。
本節では、本実施形態の機能構成について説明する。前述の通り、情報処理装置３に係る種々の機能は、記憶部３２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる各機能部として実行され得る。
【0024】
図３は、情報処理装置３における制御部３３等によって実現される機能を示すブロック図である。具体的には、情報処理システム１の一例である情報処理装置３は、第１の受付部３３１と、第２の受付部３３２と、検出部３３３と、判定部３３４と、第１の生成部３３５と、第２の生成部３３６と、保存部３３７と、送信部３３８とを備える。
【0025】
第１の受付部３３１は、種々の情報を受け付けるように構成される。例えば、第１の受付部３３１は、ユーザ端末２から第１の画像ＦＩおよび第２の画像ＳＩを受け付けるように構成される。詳細については、後述する。
【0026】
第２の受付部３３２は、種々の情報を受け付けるように構成される。例えば、第２の受付部３３２は、第１の表示情報９、第２の表示情報１０または履歴情報ＲＩに対する応答を受け付けるように構成される。詳細については、後述する。
【0027】
検出部３３３は、種々の情報を検出するように構成される。例えば、検出部３３３は、第１の文字情報、第２の文字情報および第３の文字情報の検出を実行するように構成される。詳細については、後述する。
【0028】
判定部３３４は、種々の情報について、所定の基準に基づいた判定を実行するように構成される。例えば、判定部３３４は、第３の文字情報と、予め設定された参照情報とに基づいて、所定の栄養成分ＮＣの含有量ＮＡまたは熱量が、所定の基準を満たしているかの判定を実行するように構成される。詳細については、後述する。
【0029】
第１の生成部３３５は、種々の情報を生成するように構成される。例えば、第１の生成部３３５は、検出の結果をユーザに示すための第１の表示情報９（図９参照）を生成するように構成される。詳細については、後述する。
【0030】
第２の生成部３３６は、種々の情報を生成するように構成される。例えば、第２の生成部３３６は、判定の結果をユーザに示すための第２の表示情報１０（図１０参照）を生成するように構成される。詳細については、後述する。
【0031】
なお、表示情報とは、画面、画像、アイコン、メッセージ等といった、ユーザが視認可能な態様で生成された情報そのものでもよいし、例えば、ユーザ端末２の表示部に画面、画像、アイコン、メッセージ等を表示させるためのレンダリング情報であってもよい。
【0032】
保存部３３７は、種々の情報を保存するように構成される。例えば、保存部３３７は、検出の結果および判定の結果を履歴情報ＲＩとして保存するように構成される。詳細については、後述する。
【0033】
送信部３３８は、種々の情報を送信するように構成される。例えば、送信部３３８は、第１の表示情報９、第２の表示情報１０または履歴情報ＲＩを、ユーザが指定した送信先に送信するように構成される。詳細については、後述する。
【0034】
３．情報処理方法
本節では、前述した情報処理システム１の情報処理方法について説明する。
本節では、前述した情報処理システム１の情報処理方法について説明する。
【0035】
また、本節で参照する各図は、以下の通りである。図４は、ユーザ端末２に表示される画面であって、メニュー画面４の一例である。図５は、ユーザ端末２に表示される画面であって、所定の物質Ｍを指定するための設定画面５の一例である。図６は、ユーザ端末２に表示される画面であって、所定の物質Ｍを指定するための対象物質追加画面６の一例である。図７は、ユーザ端末２に表示される画面であって、所定の物質Ｍに関する詳細情報を表示する詳細表示画面７の一例である。図８は、ユーザ端末２に表示される画面であって、撮像画像を表示する撮像画面８の一例である。図９は、ユーザ端末２に表示される画面であって、検出の結果をユーザに示すための第１の表示情報９の一例である。図１１は、ユーザ端末２に表示される画面であって、履歴情報表示画面１１の一例である。図１２は、情報処理システム１によって実行される情報処理の流れの一例を示すタイミングチャートである。
【0036】
以下では、図１２のタイミングチャートに沿って、情報処理システム１によって実行される情報処理の流れを説明するものとする。ここで、説明の都合上、ユーザは、包装された飲食物を所持しているものとする。
【0037】
ユーザは、ユーザ端末２を用いて、情報処理システム１によって提供されるサービスのＵＲＬにブラウザを用いてアクセスする。なお、情報処理システム１によって提案されるサービスは、専用のモバイルアプリケーションにより提供されてもよく、この場合、ユーザは、当該アプリケーションを起動する。その後、情報処理装置３における制御部３３は、図４に示されるメニュー画面４を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ１０１）。
【0038】
図４に示されるメニュー画面４は、設定画面５（図５参照）の表示を可能とするボタン４１と、ユーザ端末２の撮像部の起動を可能とするボタン４２と、ユーザ端末２の内部ストレージにある画像が保存されているフォルダへのアクセスを可能とするボタン４３と、履歴情報表示画面１１（図１１参照）への遷移を可能とするボタン４４とを含む（ステップＳ１０１）。
【0039】
ユーザは、図４のメニュー画面４において、飲食物中の含有の有無を確認する対象となる所定の物質Ｍを指定するために、ボタン４１を押下する。ユーザにより図４のボタン４１が押下されると、情報処理装置３における制御部３３は、図５に示される設定画面５を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ１０１）。
【0040】
図５に示される設定画面５は、平成２７年４月１日に施行された食品表示法に定められているアレルギー物質ＭＡである特定原材料７品目を列挙している領域５１と、同法に定められているアレルギー物質ＭＡである特定原材料に準ずるもの２１品目を列挙している領域５２と、その他のアレルギー物質ＭＡを表示する領域５３と、栄養成分ＮＣを表示する領域５４とを含む（ステップＳ１０１）。
【0041】
領域５１では、特定原材料７品目それぞれについて、その名称とともに、所定の物質Ｍとしての指定を可能にするチェックボックス５１１と、詳細表示画面７（図７参照）への遷移を可能とするテキストリンク５１２とが設けられている。同様に、領域５２では、特定原材料に準ずるもの２１品目それぞれについて、所定の物質Ｍとしての指定を可能にするチェックボックス５２１と、詳細表示画面７（図７参照）への遷移を可能とするテキストリンク５２２とが設けられている（ステップＳ１０１）。
【0042】
なお、領域５１および領域５２において、デフォルトでは、すべてのチェックボックス５１１およびチェックボックス５２１にチェックが入っていることにより、アレルギー物質ＭＡである特定原材料７品目および特定原材料に準ずるもの２１品目が、所定の物質Ｍとして指定されていることが好ましい。すなわち、所定の物質Ｍは、アレルギー物質ＭＡであることが好ましい。このような態様によれば、食物アレルギーを有するユーザが、飲食物に含まれるアレルゲンを容易に確認し、確認結果をデータとして簡便に管理することができる（ステップＳ１０１）。
【0043】
なお、この場合、ユーザは、自分にとってはアレルゲンではないことが分かっているアレルギー物質ＭＡについては、対応するチェックボックスのチェックを外すことにより、所定の物質Ｍとしての指定を解除することができる（ステップＳ１０１）。
【0044】
さらに、ユーザは、特定原材料７品目および特定原材料に準ずるもの２１品目について、対応するテキストリンク５１２またはテキストリンク５２２を押下することにより、図７に示される詳細表示画面７において、詳細情報を確認することができる（ステップＳ１０１）。
【0045】
図７に示される詳細表示画面７は、アレルギー物質ＭＡの名称の記載を含むタイトル７１と、アレルギー物質ＭＡを表す表記が列挙されている領域７２と、表記を追加するための画面の表示を可能とするボタン７３とを含む。図７の詳細表示画面７では、アレルギー物質ＭＡが特定原材料の小麦である場合が表されており、領域７２には、小麦を表す表記が列挙されている。なお、領域７２に「うどん」および「パン」が挙げられているように、アレルギー物質ＭＡそのものではなくとも、アレルギー物質ＭＡが含まれていることが明らかなものは、アレルギー物質ＭＡを表す表記とすることができる（ステップＳ１０１）。
【0046】
ユーザは、アレルギー物質ＭＡを表す表記を追加したい場合には、図７のボタン７３を押下し、表示された画面にて、表記を追加することができる。また、ユーザは、図７に示される詳細表示画面７の確認を終えた場合には、クローズボタンＣＢを押下すればよい。ユーザによりクローズボタンＣＢが押下されると、ユーザ端末２に再度図５の設定画面５が表示される（ステップＳ１０１）。
【0047】
また、ユーザは、特定原材料および特定原材料に準ずるもの以外のアレルギー物質ＭＡを、所定の物質Ｍとして指定したい場合には、図５の領域５３中のボタン５３１を押下する。ユーザにより図５のボタン５３１が押下されると、情報処理装置３における制御部３３は、図６に示される対象物質追加画面６を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ１０１）。
【0048】
図６に示される対象物質追加画面６は、所定の物質Ｍとして指定するアレルギー物質ＭＡの表示名を入力するためのテキストフィールド６１と、アレルギー物質ＭＡを表す表示名以外の表記を入力するためのテキストフィールド６２、テキストフィールド６３、テキストフィールド６４、テキストフィールド６５およびテキストフィールド６６を含む。なお、表示名とは、情報処理システム１によって提供されるサービスにおいて物質Ｍを表すために主に使用される名称を指す（ステップＳ１０１）。
【0049】
また、図６の対象物質追加画面６では、ユーザが、「たまねぎ」を所定の物質Ｍとして指定する場合が表されている。詳細には、ユーザにより、テキストフィールド６１に表示名として「たまねぎ」が入力され、「たまねぎ」の他の表記として、「タマネギ」、「玉ねぎ」および「玉ネギ」が、テキストフィールド６２、テキストフィールド６３およびテキストフィールド６４にそれぞれ入力されている。ユーザは、入力が完了した場合には、クローズボタンＣＢを押下すればよい。ユーザによりクローズボタンＣＢが押下されると、ユーザ端末２に再度図５の設定画面５が表示される（ステップＳ１０１）。
【0050】
ユーザは、図５に示される設定画面５を確認し、所定の物質Ｍの指定を完了する場合には、クローズボタンＣＢを押下すればよい。ユーザによりクローズボタンＣＢが押下されると、所定の物質Ｍの指定に関する情報が、ネットワークを介して情報処理装置３に送信される（ステップＳ１０１）。
【0051】
その後、情報処理装置３において、通信部３１が、ユーザ端末２から送信された当該情報を受信し、第１の受付部３３１が、当該情報を受け付ける。続いて、当該情報は、情報処理装置３における記憶部３２に少なくとも一時的に記憶される（ステップＳ１０２）。
【0052】
すなわち、第１の受付部３３１は、ユーザから所定の物質Ｍの指定を受け付ける。このような態様によれば、飲食物に含まれ得る物質Ｍのうち、どの物質Ｍが問題であるのかはユーザによって異なるため、ユーザ自身に検出対象となる物質Ｍを指定させることにより、ユーザの必要性に応じた過不足のない情報をユーザに提供することができる（ステップＳ１０２）。
【0053】
その後、情報処理装置３における制御部３３は、図４に示されるメニュー画面４を、通信部３１およびネットワークを介してユーザ端末２に再度送信する。ユーザは、図４のメニュー画面４において、所持している飲食物を撮影するために、ボタン４３を押下し、ユーザ端末２の撮像部を起動させる。撮像部の起動後、ユーザは、飲食物の包装に付されている原材料表示ＲＬ部分を撮像する（ステップＳ１０３）。
【0054】
その後、ユーザ端末２の通信部が、ネットワークを介して情報処理装置３に撮像画像を送信し、通信部３１が受信する。次いで、情報処理装置３の制御部３３が、図８に示される撮像画面８を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ１０３）。
【0055】
図８に示される撮像画面８は、撮像画像が表示される領域８１と、再度の撮像を可能とするボタン８２と、撮像された画像を情報処理装置３へ送信することを可能とするボタン８３とを含む（ステップＳ１０３）。
【0056】
ユーザは、図８の撮像画面８において、領域８１に原材料表示ＲＬが含まれていることを確認し、所定の物質Ｍの検出を実行させてもよいと判断した場合には、ボタン８３を押下すればよい。ユーザによりボタン８３が押下されると、飲食物の原材料表示ＲＬを含む撮像画像が、第１の画像ＦＩとして、ネットワークを介して情報処理装置３に送信される（ステップＳ１０４）。
【0057】
その後、情報処理装置３において、通信部３１が、第１の画像ＦＩを受信し、第１の受付部３３１が第１の画像ＦＩを受け付ける。すなわち、第１の受付部３３１は、飲食物の原材料表示ＲＬを含む第１の画像ＦＩをユーザから受け付ける。次いで、検出部３３３は、機械学習による文字認識処理等により、第１の画像ＦＩから第１の文字情報と、第２の文字情報との検出を実行する。なお、第１の文字情報とは、所定の物質Ｍを表す情報であり、第２の文字情報とは、飲食物の名称Ｎを表す情報である（ステップＳ１０５）。
【0058】
ここで、第１の文字情報および第２の文字情報について、より詳細に説明することとする。第１の文字情報は、所定の物質Ｍを表す表示名および表示名以外の表記を含む。例えば、上記のステップＳ１０１で例示したように、ユーザが「たまねぎ」を所定の物質Ｍとして指定した場合、第１の文字情報は、「たまねぎ」、「タマネギ」、「玉ねぎ」および「玉ネギ」を含む（ステップＳ１０５）。
【0059】
第２の文字情報は、上記で定義したように、飲食物の名称Ｎを表す情報であり、飲食物の名称Ｎには、商品名ＮＰ、食品の名称ＮＤ等が含まれる。例えば、図８の領域８１中の原材料表示ＲＬの場合、商品名ＮＰ「知財食パン」および食品の名称ＮＤ「食パン」が第２の情報に該当する（ステップＳ１０５）。
【0060】
検出部３３３により検出が実行されたあと、第１の生成部３３５は、検出の結果をユーザに示すための第１の表示情報９を生成する。その後、第１の表示情報９は、通信部３１およびネットワークを介して、ユーザ端末２に送信され、ユーザ端末２に表示される（ステップＳ１０６）。
【0061】
図９に示される第１の表示情報９は、設定画面５（図５参照）の表示を可能とするボタン９１と、メニュー画面４（図４参照）への遷移を可能とするボタン９２と、原材料表示ＲＬを含む第１の画像ＦＩの表示と、検出された第１の文字情報および第２の文字情報の表示と、履歴情報表示画面１１（図１１参照）への遷移を可能とするボタン９３とを含む（ステップＳ１０６）。
【0062】
ここで、図９の第１の表示情報９について、より具体的に説明することとする。図９の第１の表示情報９では、検出の結果が主に画面下部に表示されている。詳細には、検出された第１の文字情報として、「こむぎ」および「Ｗｈｅａｔ」の表記とともに、小麦を示すアイコンが表示されており、検出された第２の文字情報として、商品名ＮＰ「知財食パン」および食品の名称ＮＤ「食パン」が記載されている。このように、特に第１の文字情報に関しては、ユーザの年齢層や国籍等の多様性を考慮し、英語での併記や、アイコン表示等を採用することにより、より多くのユーザにとって分かりやすい表示にすることが好ましい（ステップＳ１０６）。
【0063】
さらに、図９の第１の表示情報９では、画面上部の原材料表示ＲＬを含む第１の画像ＦＩの表示において、第１の文字情報である「小麦」が強調表示ＨＬされている。このように、第１の表示情報９は、第１の文字情報を含む部分が強調表示ＨＬされた第１の画像ＦＩを含むことが好ましい。このような態様によれば、検出の結果の根拠となる部分を明示することにより、検出の結果に対する信頼性を高め、ユーザエクスペリエンスを向上させることができる（ステップＳ１０６）。
【0064】
なお、第１の画像ＦＩから第１の文字情報が何ら検出されなかった場合、第１の表示情報９において、その旨が表示される（ステップＳ１０６）。
【0065】
ユーザは、このように図９の第１の表示情報９に示された検出の結果を確認したうえで、履歴情報ＲＩとして保存したい場合には、ボタン９３を押下すればよい。ユーザによりボタン９３が押下されると、検出の結果の保存を要求する信号が、ネットワークを介して情報処理装置３に送信される（ステップＳ１０７）。
【0066】
検出の結果の保存を要求する信号は、情報処理装置３の通信部３１が受信し、次いで、保存部３３７が、検出の結果を履歴情報ＲＩとして保存する（ステップＳ１０８）。
【0067】
その後、情報処理装置３における制御部３３は、図１１に示される履歴情報表示画面１１を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ１０９）。
【0068】
図１１に示される履歴情報表示画面１１は、履歴情報ＲＩの送信先を指定する画面（不図示）への遷移を可能とするボタン１１１と、メニュー画面４（図４参照）への遷移を可能とするボタン１１２と、履歴情報ＲＩの表示と、所定の送信先への履歴情報ＲＩの送信を可能とするボタン１１３とを含む。なお、所定の送信先への履歴情報ＲＩの送信に関する詳細は、後述することとする。（ステップＳ１０９）。
【0069】
ここで、履歴情報ＲＩは、図１１の履歴情報表示画面１１に示されているように、日付ＤＩと、飲食物の名称Ｎと、検出されたアレルギー物質ＭＡの情報と、判定された所定の栄養成分ＮＣの含有量ＮＡまたは熱量に関する情報と、画像ファイル形式の第１の表示情報９または第２の表示情報１０へのアクセスを可能とするテキストリンクＩＬとが対応づけられた情報であることが好ましい。なお、判定された所定の栄養成分ＮＣの含有量ＮＡまたは熱量に関する情報と、第２の表示情報１０とについては、詳細は後述することとする（ステップＳ１０９）。
【0070】
ここで、図１１の履歴情報表示画面１１について、より具体的に説明することとする。図１１の履歴情報表示画面１１では、履歴情報ＲＩの第２行目において、日付ＤＩとして「２０２１／４／１」と、飲食物の名称Ｎとして商品名ＮＰ「知財食パン」および食品の名称ＮＤ「食パン」と、検出されたアレルギー物質ＭＡの情報として「小麦」と、画像ファイル形式の第１の表示情報９へのアクセスを可能とするテキストリンクＩＬとが対応づけられて、検出の結果として表示されている。（ステップＳ１０９）。
【0071】
このように、履歴情報ＲＩは、飲食物の名称Ｎと検出された所定の物質Ｍとを文字で表した情報と、第１の表示情報９とを含むことが好ましい。すなわち、履歴情報ＲＩは、第１の画像ＦＩ、または第１の文字情報を含む部分が強調表示された第１の画像ＦＩを含んでもよい。また、履歴情報ＲＩは、第１の表示情報９そのものとしてもよい（ステップＳ１０９）。
【0072】
以上をまとめると、本実施形態の情報処理方法は、第１の受付ステップと、検出ステップと、第１の生成ステップと、保存ステップとを備える。第１の受付ステップでは、飲食物の原材料表示ＲＬを含む第１の画像ＦＩをユーザから受け付ける。検出ステップでは、第１の画像ＦＩから第１の文字情報と、第２の文字情報との検出を実行する。ここで、第１の文字情報は、所定の物質Ｍを表す情報であり、第２の文字情報は、飲食物の名称Ｎを表す情報である。第１の生成ステップでは、検出の結果をユーザに示すための第１の表示情報９を生成する。保存ステップでは、検出の結果を履歴情報ＲＩとして保存する。
【0073】
本実施形態によれば、飲食物にアレルゲン等の所定の物質が含まれているか否かを容易に確認し、確認結果をデータとして簡便に管理することができる。また、飲食物の原材料表示ＲＬを含む画像からアレルゲン等を検出するため、バーコードの読み取りを介して取得した商品情報に基づく検出に比べて、バーコードが付されていない飲食物についても検出を行うことができ、バーコード情報に関連づけられた原材料データベースへ原材料変更の情報が反映されるのに時間がかかり、正しい情報に基づいた検出を行うことができない場合があるという問題を回避することができる。
【0074】
４．第２の実施形態
本節では、第２の実施形態（以下、本実施形態と称する）に係る情報処理システム１について説明する。ただし、第１の実施形態に係る情報処理システム１と略同様の構成や機能については、その説明を省略する。本節で新たに参照する各図は、以下の通りである。図１０は、ユーザ端末２に表示される画面であって、判定の結果をユーザに示すための第２の表示情報１０の一例である。図１３は、情報処理システム１によって実行される情報処理の流れの一例を示すタイミングチャートである。
本節では、第２の実施形態（以下、本実施形態と称する）に係る情報処理システム１について説明する。ただし、第１の実施形態に係る情報処理システム１と略同様の構成や機能については、その説明を省略する。本節で新たに参照する各図は、以下の通りである。図１０は、ユーザ端末２に表示される画面であって、判定の結果をユーザに示すための第２の表示情報１０の一例である。図１３は、情報処理システム１によって実行される情報処理の流れの一例を示すタイミングチャートである。
【0075】
以下では、図１３のタイミングチャートに沿って、本実施形態を説明するものとする。
【0076】
ユーザは、図４のメニュー画面４において、情報処理システム１によって提供されるサービスによる判定の対象として、所定の栄養成分ＮＣ等を指定するために、ボタン４１を押下する。ユーザにより図４のボタン４１が押下されると、情報処理装置３における制御部３３は、図５に示される設定画面５を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ２０１）。
【0077】
ユーザは、食塩を所定の栄養成分ＮＣとし、その含有量ＮＡについて判定を望む場合には、図５の設定画面５において、領域５４中のテキストボックスに、判定の基準とする数値を入力すればよい。図５の設定画面５では、ユーザが、食塩相当量が２ｇ以上である場合を判定結果として出力するように指定した場合が表されている。なお、図５の設定画面５では、所定の栄養成分ＮＣとして食塩がデフォルトで設定されているが、当然ながら、他の栄養成分ＮＣがデフォルトで設定されていてもよい。あるいは、領域５３のように、デフォルトでは具体的な設定がされておらず、ボタン５４１を押下すると表示される画面（不図示）にてユーザが栄養成分ＮＣとその含有量ＮＡの基準とを設定するようにしてもよい（ステップＳ２０１）。
【0078】
また、図５の設定画面５には示されていないが、飲食物の熱量を、情報処理システム１によって提供されるサービスによる判定の対象とすることもできる。この場合、ユーザは、熱量の基準値を指定すればよい（ステップＳ２０１）。
【0079】
ユーザは、図５に示される設定画面５を確認し、所定の栄養成分ＮＣ等の指定を完了する場合には、クローズボタンＣＢを押下すればよい。ユーザによりクローズボタンＣＢが押下されると、所定の栄養成分ＮＣ等の指定に関する情報が、ネットワークを介して情報処理装置３に送信される。その後、情報処理装置３において、通信部３１が、ユーザ端末２から送信された当該情報を受信し、第１の受付部３３１が、当該情報を受け付ける。続いて、当該情報は、情報処理装置３における記憶部３２に少なくとも一時的に記憶される（ステップＳ２０２）。
【0080】
すなわち、第１の受付部３３１は、ユーザから所定の栄養成分ＮＣ等の指定をさらに受け付けることが好ましい。このような態様によれば、飲食物に含まれ得る栄養成分ＮＣのうち、どの栄養成分ＮＣが問題であるのかはユーザによって異なるため、ユーザ自身に判定対象となる栄養成分ＮＣを指定させることにより、ユーザの必要性に応じた過不足のない情報をユーザに提供することができる（ステップＳ２０２）。
【0081】
その後、情報処理装置３における制御部３３は、図４に示されるメニュー画面４を、通信部３１およびネットワークを介してユーザ端末２に再度送信する。ユーザは、図４のメニュー画面４において、所持している飲食物を撮影するために、ボタン４３を押下し、ユーザ端末２の撮像部を起動させる。撮像部の起動後、ユーザは、飲食物の包装に付されている栄養成分表示ＮＬ部分を撮像する（ステップＳ２０３）。
【0082】
その後、ユーザ端末２の通信部が、ネットワークを介して情報処理装置３に撮像画像を送信し、通信部３１が受信する。次いで、情報処理装置３の制御部３３が、図８の撮像画面８を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ２０３）。
【0083】
ユーザは、図８の撮像画面８において、撮像画像が表示される領域８１に栄養成分表示ＮＬが含まれていることを確認し、所定の栄養成分ＮＣの含有量ＮＡ等の判定を実行させてもよいと判断した場合には、ボタン８３を押下すればよい。ユーザによりボタン８３が押下されると、飲食物の栄養成分表示ＮＬを含む撮像画像が、第２の画像として、ネットワークを介して情報処理装置３に送信される。なお、図８では、領域８１に原材料表示ＲＬのみが含まれているが、これは例示にすぎず、本実施形態では、領域８１に栄養成分表示ＮＬが含まれている状態で、ユーザは、ボタン８３を押下することとなる（ステップＳ２０４）。
【0084】
その後、情報処理装置３において、通信部３１が、第２の画像を受信し、第１の受付部３３１が第２の画像を受け付ける。すなわち、第１の受付部３３１は、飲食物の栄養成分表示ＮＬを含む第２の画像ＳＩをユーザから受け付ける。次いで、検出部３３３は、機械学習による文字認識処理等により、第２の画像ＳＩから第３の文字情報の検出をさらに実行する。なお、第３の文字情報は、所定の栄養成分ＮＣの含有量ＮＡまたは熱量を表す情報である。その後、判定部３３４は、第３の文字情報と、予め設定された参照情報とに基づいて、含有量ＮＡまたは熱量が、所定の基準を満たしているかの判定を実行する（ステップＳ２０５）。
【0085】
ここで、参照情報は、ステップＳ２０１およびステップＳ２０２において、ユーザにより指定され、情報処理装置３における記憶部３２に少なくとも一時的に記憶された、所定の栄養成分ＮＣの含有量ＮＡの基準または熱量の基準に関する情報である。なお、参照情報は、情報処理システム１によって提供されるサービスの運営者によって予め設定された情報であってもよい（ステップＳ２０５）。
【0086】
判定部３３４により判定が実行されたあと、第２の生成部３３６は、判定の結果をユーザに示すための第２の表示情報１０を生成する。その後、第２の表示情報１０は、通信部３１およびネットワークを介して、ユーザ端末２に送信され、ユーザ端末２に表示される（ステップＳ２０６）。
【0087】
図１０に示される第２の表示情報１０は、設定画面５（図５参照）の表示を可能とするボタン１０１と、メニュー画面４（図４参照）への遷移を可能とするボタン１０２と、栄養成分表示ＮＬを含む第２の画像ＳＩの表示と、判定の結果の表示と、履歴情報表示画面１１（図１１参照）への遷移を可能とするボタン１０３とを含む（ステップＳ２０６）。
【0088】
ここで、図１０の第２の表示情報１０について、より具体的に説明することとする。図１０において、第２の画像ＳＩ中の栄養成分表示ＮＬでは、「食塩相当量 ３．０ｇ」となっており、これが第３の文字情報に該当する。ここで、上述のステップＳ２０１で説明したように、ユーザは、食塩相当量が２ｇ以上である場合を判定結果として出力するように指定しているため、判定部３３４により、食塩が基準を満たしていないと判定されることになる。この判定の結果が、第２の表示情報１０の画面下部において、「塩分」および「Ｓａｌｔ」の表記とともに、容器に入った塩を示すアイコンで表示されている（ステップＳ２０６）。
【0089】
また、図１０の第２の表示情報１０では、画面上部の栄養成分表示ＮＬを含む第２の画像ＳＩの表示において、第３の文字情報である「食塩相当量 ３．０ｇ」が強調表示ＨＬされている。このように、第２の表示情報１０は、第３の文字情報を含む部分が強調表示ＨＬされた第２の画像ＳＩを含むことが好ましい。このような態様によれば、判定の結果の根拠となる部分を明示することにより、判定の結果に対する信頼性を高め、ユーザエクスペリエンスを向上させることができる（ステップＳ２０６）。
【0090】
さらに、図１０の第２の表示情報１０では、検出部３３３により検出された第２の情報として、商品名ＮＰ「知財めん」が表示されている（ステップＳ２０６）。
【0091】
ユーザは、このように図１０の第２の表示情報１０に示された判定の結果を確認したうえで、履歴情報ＲＩとして保存したい場合には、ボタン１０３を押下すればよい。ユーザによりボタン１０３が押下されると、判定の結果の保存を要求する信号が、ネットワークを介して情報処理装置３に送信される（ステップＳ２０７）。
【0092】
判定の結果の保存を要求する信号は、情報処理装置３の通信部３１が受信し、次いで、保存部３３７は、判定の結果をさらに履歴情報ＲＩとして保存する（ステップＳ２０８）。
【0093】
その後、情報処理装置３における制御部３３は、図１１に示される履歴情報表示画面１１を、通信部３１およびネットワークを介してユーザ端末２に送信する（ステップＳ２０９）。
【0094】
ここで、図１１の履歴情報表示画面１１について、より具体的に説明することとする。図１１の履歴情報表示画面１１では、履歴情報ＲＩの第３行目において、日付ＤＩとして「２０２１／４／２」と、飲食物の名称Ｎとして商品名ＮＰ「知財めん」と、判定された所定の栄養成分ＮＣの含有量ＮＡまたは熱量に関する情報として「塩分過多」と、画像ファイル形式の第２の表示情報１０へのアクセスを可能とするテキストリンクＩＬとが対応づけられて、判定の結果として表示されている。（ステップＳ２０９）。
【0095】
このように、履歴情報ＲＩは、飲食物の名称Ｎと、判定された所定の栄養成分ＮＣの含有量ＮＡまたは熱量に関する情報とを文字で表した情報と、第２の表示情報１０とを含むことが好ましい。すなわち、履歴情報ＲＩは、第２の画像ＳＩ、または第３の文字情報を含む部分が強調表示された第２の画像ＳＩを含んでもよい。また、履歴情報ＲＩは、第２の表示情報１０そのものとしてもよい（ステップＳ２０９）。
【0096】
なお、図１１の履歴情報表示画面１１では、履歴情報ＲＩの第３行目において、検出されたアレルギー物質ＭＡの情報が空欄となっているが、これは、第２の画像ＳＩが原材料表示ＲＬを含まず、第１の画像ＦＩには該当しなかったことに起因する。すなわち、第２の画像ＳＩは、第１の画像ＦＩと異なる画像であることができる。このような態様によれば、飲食物の包装等において、原材料表示ＲＬと栄養成分表示ＮＬとが離れており、１枚の画像に収めることが困難な場合であっても、栄養成分表示ＮＬを撮像し、所定の判定を実行させることができる。
【0097】
以上で説明した第２の実施形態によれば、栄養成分ＮＣの含有量ＮＡまたは摂取カロリーに問題はないかを容易に確認することができ、さらに、判定の結果を履歴情報ＲＩとして保存することにより、飲食物に関するデータを簡便に管理することができる。
【0098】
５．その他
情報処理システム１に関して、以下のような態様を採用してもよい。
情報処理システム１に関して、以下のような態様を採用してもよい。
【0099】
本実施形態の態様は、プログラムであってもよい。このプログラムは、コンピュータに、情報処理システム１の各ステップを実行させる。
【0100】
上記では、飲食物の原材料表示ＲＬは、飲食物の包装に付されているものとして説明したが、飲食物の原材料表示ＲＬは、これに限られず、原材料が列挙されているものであれば、あらゆるものが含まれる。例えば、飲食物の原材料表示ＲＬは、料理のレシピの材料欄であってもよい。なお、レシピは、紙面上に印刷されたものであってもよく、Ｗｅｂページに記載されたものであってもよく、テレビ画面に映し出されたものであってもよい。
【0101】
第１の文字情報として検出される所定の物質Ｍには、飲食物に含まれ得る物質であって、ユーザがその含有を確認したいものであれば、あらゆる物質が含まれる。所定の物質Ｍはアレルギー物質ＭＡであるとして上記で説明をしてきたが、所定の物質Ｍは、例えば、食品添加物であってもよい。
【0102】
上述のステップＳ１０１およびステップＳ１０２、ならびにステップＳ２０１およびステップＳ２０２において、例えば、ユーザが図４のボタン４１を押下しない場合や、ユーザが図５の設定画面５上で何ら設定の変更を行わない場合、情報処理装置３の記憶部３２に記憶されている、所定の物質Ｍもしくは所定の栄養成分ＮＣ等に関するデフォルトの設定、または前回ユーザが指定した所定の物質Ｍもしくは所定の栄養成分ＮＣ等に基づき、第１の文字情報の検出、または第３の文字情報の検出および判定が実行されてもよい。
【0103】
第２の画像ＳＩは、第１の画像ＦＩと同一の画像であってもよい。すなわち、第２の画像は、原材料表示ＲＬと栄養成分表示ＮＬとの両方を含み、第２の画像において、アレルギー物質ＭＡ等の所定の物質Ｍの検出と、所定の栄養成分ＮＣの含有量ＮＡまたは熱量の判定との両方が行われてもよい。
【0104】
情報処理システム１は、送信部３３８をさらに備えてもよい。送信部３３８は、第１の表示情報９、第２の表示情報１０または履歴情報ＲＩを、ユーザが指定した送信先に送信するように構成される。例えば、ユーザは、図１１の履歴情報表示画面１１のボタン１１３を押下することにより、第１の表示情報９および第２の表示情報１０を含む履歴情報ＲＩを所定の送信先に送信できてもよい。また、図９に示される第１の表示情報９が、所定の送信先への送信を可能とするボタンをさらに備えていてもよい。同様に、図１０に示される第２の表示情報１０が、所定の送信先への送信を可能とするボタンをさらに備えていてもよい。
【0105】
本態様において、送信先は、図１１の履歴情報表示画面１１のボタン１１１を押下したあとにユーザ端末２に表示される画面（不図示）にて、ユーザが指定できることが好ましい。また、送信先として、複数を指定できることが好ましい。さらに、送信先の人物の属性、例えば、所定のコミュニティへの所属の有無に基づいて、複数の送信先への一斉送信が可能であることが好ましい。本態様によれば、ユーザの保護者、学校関係者、介護者等が、検出結果や判定結果を容易に確認することができる。
【0106】
情報処理システム１は、第２の受付部３３２をさらに備えてもよい。第２の受付部３３２は、送信先から、第１の表示情報９、第２の表示情報１０または履歴情報ＲＩに対する応答を受け付けるように構成される。本態様において、保存部３３７は、応答の内容をさらに履歴情報ＲＩとして保存するように構成される。このような態様によれば、ユーザの保護者、学校関係者、介護者等が検出結果や判定結果を見て下した判断をユーザが確認し、検出結果や判定結果とともにデータとして簡便に管理することができる。
【0107】
本実施形態では、第１の受付部３３１、第２の受付部３３２、検出部３３３、判定部３３４、第１の生成部３３５、第２の生成部３３６、保存部３３７および送信部３３８を、情報処理装置３の制御部３３によって実現される機能部として説明しているが、この少なくとも一部を、ユーザ端末２の制御部によって実現される機能部として実施してもよい。同様に、情報処理装置３における記憶部３３が記憶している種々の情報の少なくとも一部を、ユーザ端末２における不図示の記憶部に記憶させてもよい。
【0108】
次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記第１の受付ステップでは、前記ユーザから前記所定の物質の指定をさらに受け付ける、もの。
前記情報処理システムにおいて、前記所定の物質は、アレルギー物質である、もの。
前記情報処理システムにおいて、前記第１の表示情報は、前記第１の文字情報を含む部分が強調表示された前記第１の画像を含む、もの。
前記情報処理システムにおいて、判定ステップおよび第２の生成ステップをさらに実行するように構成され、前記第１の受付ステップでは、前記飲食物の栄養成分表示を含む第２の画像を前記ユーザから受け付け、前記検出ステップでは、前記第２の画像から第３の文字情報の検出をさらに実行し、ここで、前記第３の文字情報は、所定の栄養成分の含有量または熱量を表す情報であり、前記判定ステップでは、前記第３の文字情報と、予め設定された参照情報とに基づいて、前記含有量または前記熱量が、所定の基準を満たしているかの判定を実行し、前記第２の生成ステップでは、前記判定の結果を前記ユーザに示すための第２の表示情報を生成する、もの。
前記情報処理装置において、前記第２の画像は、前記第１の画像と異なる画像である、もの。
前記情報処理装置において、前記保存ステップでは、前記判定の結果をさらに前記履歴情報として保存する、もの。
前記情報処理システムにおいて、送信ステップをさらに実行するように構成され、前記送信ステップでは、前記第１の表示情報、前記第２の表示情報または前記履歴情報を、前記ユーザが指定した送信先に送信する、もの。
前記情報処理システムにおいて、第２の受付ステップをさらに実行するように構成され、前記第２の受付ステップでは、前記送信先から、前記第１の表示情報、前記第２の表示情報または前記履歴情報に対する応答を受け付け、前記保存ステップでは、前記応答の内容をさらに前記履歴情報として保存する、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。
前記情報処理システムにおいて、前記第１の受付ステップでは、前記ユーザから前記所定の物質の指定をさらに受け付ける、もの。
前記情報処理システムにおいて、前記所定の物質は、アレルギー物質である、もの。
前記情報処理システムにおいて、前記第１の表示情報は、前記第１の文字情報を含む部分が強調表示された前記第１の画像を含む、もの。
前記情報処理システムにおいて、判定ステップおよび第２の生成ステップをさらに実行するように構成され、前記第１の受付ステップでは、前記飲食物の栄養成分表示を含む第２の画像を前記ユーザから受け付け、前記検出ステップでは、前記第２の画像から第３の文字情報の検出をさらに実行し、ここで、前記第３の文字情報は、所定の栄養成分の含有量または熱量を表す情報であり、前記判定ステップでは、前記第３の文字情報と、予め設定された参照情報とに基づいて、前記含有量または前記熱量が、所定の基準を満たしているかの判定を実行し、前記第２の生成ステップでは、前記判定の結果を前記ユーザに示すための第２の表示情報を生成する、もの。
前記情報処理装置において、前記第２の画像は、前記第１の画像と異なる画像である、もの。
前記情報処理装置において、前記保存ステップでは、前記判定の結果をさらに前記履歴情報として保存する、もの。
前記情報処理システムにおいて、送信ステップをさらに実行するように構成され、前記送信ステップでは、前記第１の表示情報、前記第２の表示情報または前記履歴情報を、前記ユーザが指定した送信先に送信する、もの。
前記情報処理システムにおいて、第２の受付ステップをさらに実行するように構成され、前記第２の受付ステップでは、前記送信先から、前記第１の表示情報、前記第２の表示情報または前記履歴情報に対する応答を受け付け、前記保存ステップでは、前記応答の内容をさらに前記履歴情報として保存する、もの。
情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムの各ステップを実行させる、もの。
もちろん、この限りではない。
【0109】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0110】
１ ：情報処理システム
２ ：ユーザ端末
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：第１の受付部
３３２ ：第２の受付部
３３３ ：検出部
３３４ ：判定部
３３５ ：第１の生成部
３３６ ：第２の生成部
３３７ ：保存部
３３８ ：送信部
４ ：メニュー画面
４１ ：ボタン
４２ ：ボタン
４３ ：ボタン
４４ ：ボタン
５ ：設定画面
５１ ：領域
５１１ ：チェックボックス
５１２ ：テキストリンク
５２ ：領域
５２１ ：チェックボックス
５２２ ：テキストリンク
５３ ：領域
５３１ ：ボタン
５４ ：領域
５４１ ：ボタン
６ ：対象物質追加画面
６１ ：テキストフィールド
６２ ：テキストフィールド
６３ ：テキストフィールド
６４ ：テキストフィールド
６５ ：テキストフィールド
６６ ：テキストフィールド
７ ：詳細表示画面
７１ ：タイトル
７２ ：領域
７３ ：ボタン
８ ：撮像画面
８１ ：領域
８２ ：ボタン
８３ ：ボタン
９ ：第１の表示情報
９１ ：ボタン
９２ ：ボタン
９３ ：ボタン
１０ ：第２の表示情報
１０１ ：ボタン
１０２ ：ボタン
１０３ ：ボタン
１１ ：履歴情報表示画面
１１１ ：ボタン
１１２ ：ボタン
１１３ ：ボタン
ＣＢ ：クローズボタン
ＤＩ ：日付
ＦＩ ：第１の画像
ＨＬ ：強調表示
ＩＬ ：テキストリンク
Ｍ ：物質
ＭＡ ：アレルギー物質
Ｎ ：名称
ＮＤ ：食品の名称
ＮＰ ：商品名
ＮＡ ：含有量
ＮＣ ：栄養成分
ＮＤ ：名称
ＮＬ ：栄養成分表示
ＲＩ ：履歴情報
ＲＬ ：原材料表示
ＳＩ ：第２の画像
２ ：ユーザ端末
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：第１の受付部
３３２ ：第２の受付部
３３３ ：検出部
３３４ ：判定部
３３５ ：第１の生成部
３３６ ：第２の生成部
３３７ ：保存部
３３８ ：送信部
４ ：メニュー画面
４１ ：ボタン
４２ ：ボタン
４３ ：ボタン
４４ ：ボタン
５ ：設定画面
５１ ：領域
５１１ ：チェックボックス
５１２ ：テキストリンク
５２ ：領域
５２１ ：チェックボックス
５２２ ：テキストリンク
５３ ：領域
５３１ ：ボタン
５４ ：領域
５４１ ：ボタン
６ ：対象物質追加画面
６１ ：テキストフィールド
６２ ：テキストフィールド
６３ ：テキストフィールド
６４ ：テキストフィールド
６５ ：テキストフィールド
６６ ：テキストフィールド
７ ：詳細表示画面
７１ ：タイトル
７２ ：領域
７３ ：ボタン
８ ：撮像画面
８１ ：領域
８２ ：ボタン
８３ ：ボタン
９ ：第１の表示情報
９１ ：ボタン
９２ ：ボタン
９３ ：ボタン
１０ ：第２の表示情報
１０１ ：ボタン
１０２ ：ボタン
１０３ ：ボタン
１１ ：履歴情報表示画面
１１１ ：ボタン
１１２ ：ボタン
１１３ ：ボタン
ＣＢ ：クローズボタン
ＤＩ ：日付
ＦＩ ：第１の画像
ＨＬ ：強調表示
ＩＬ ：テキストリンク
Ｍ ：物質
ＭＡ ：アレルギー物質
Ｎ ：名称
ＮＤ ：食品の名称
ＮＰ ：商品名
ＮＡ ：含有量
ＮＣ ：栄養成分
ＮＤ ：名称
ＮＬ ：栄養成分表示
ＲＩ ：履歴情報
ＲＬ ：原材料表示
ＳＩ ：第２の画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
