2026-85693 システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2026085693

(43)【公開日】2026-05-25

(54)【発明の名称】システム

(51)【国際特許分類】

   G06Q 10/00 20260101AFI20260518BHJP

【ＦＩ】

G06Q10/00

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2024198488

(22)【出願日】2024-11-13

(71)【出願人】

【識別番号】591280485

【氏名又は名称】ソフトバンクグループ株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】星野 静

【テーマコード（参考）】

5L010

【Ｆターム（参考）】

5L010AA22

(57)【要約】

【課題】システムを提供する。
【解決手段】
画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、
識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、
物品の使用優先順位をユーザに通知する手段と、
ユーザからの保存方法に関するリクエストを解析し、適切な情報を返答する手段と、
を含むシステム。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、
識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、
物品の使用優先順位をユーザに通知する手段と、
ユーザからの保存方法に関するリクエストを解析し、適切な情報を返答する手段と、
を含むシステム。

【請求項2】

物品の賞味期限を監視し、その期限が近い物品を優先的に使用するよう促す、請求項１記載のシステム。

【請求項3】

画像認識技術および自然言語処理技術を用いて効率的に物品の位置管理および保存方法の提案を行う、請求項１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、システムに関する。

【背景技術】

【0002】

特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８０２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

現代社会において、家庭における食品ロスは重要な問題になっている。特に冷蔵庫内での食材の保存が不適切であることが原因で、食材が劣化しやすく、結果として多くの食品が無駄になるという課題がある。また、食品の賞味期限を把握することが難しく、期限切れを防ぐための仕組みが不足していることも問題である。このような課題を解決し、食品ロスを減少させるとともに、冷蔵庫のスペースを効率的に活用する方法が求められている。

【課題を解決するための手段】

【0005】

この発明は、画像認識技術を用いて冷蔵庫内の物品を識別し、その情報をデータベースに登録する手段を提供する。さらに、識別された物品に基づき、各物品の最適な保存位置を推奨する機能を含んでいる。このシステムは、物品の賞味期限を監視し、その期限が近い物品についてユーザに通知することで使用を促す。加えて、ユーザから保存方法に関するリクエストを受け取った際には、自然言語処理を用いてリクエストを解析し、適切な保存方法を提案する手段が組み込まれている。これにより、効率的な食材管理を実現し、食品ロスを効果的に減少させることが可能である。

【0006】

「画像を解析」とは、電子的またはデジタル的な方法で画像データを処理し、そこに含まれる物体やパターンを識別することを指す。

【0007】

「収納装置」とは、食品や日用品などの物品を保存または保管するための装置であり、主に冷蔵庫などが該当する。

【0008】

「物品」とは、家庭内で消費または使用される食品や日用品などの具体的な物体を指し、特に冷蔵庫内で管理されるものを指す。

【0009】

「識別」とは、画像もしくはそのほかのデータから特定の物品を認識し、その特徴を特定することを意味する。

【0010】

「データベース」とは、情報を構造的に管理し、保存、検索、更新が可能なコンピュータシステム内に構築された情報の集合体である。

【0011】

「最適な保存位置」とは、物品の品質や寿命を保つために最も適した環境や場所を指し、冷蔵庫内の位置が含まれる。

【0012】

「推奨」とは、特定の行動や選択を勧めることであり、使用者に対して最良の選択肢を提示することを指す。

【0013】

「使用優先順位」とは、物品を使用や消費する順序を決定する基準であり、特に賞味期限などの期限に基づいて決められる。

【0014】

「通知」とは、重要な情報や更新をユーザに伝えるための通信手段である。

【0015】

「保存方法」とは、物品を劣化させずに保管し続けるために必要な特定の手段や手法を指す。

【0016】

「リクエスト」とは、ユーザから送られる特定の情報やサービスを求める要求である。

【0017】

「自然言語処理」とは、人間の言語を理解し分析するためのコンピュータ技術であり、リクエストを正確に解析するために使用される。

【図面の簡単な説明】

【0018】

【図1】第１実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図2】第１実施形態に係るデータ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。

【図3】第２実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図4】第２実施形態に係るデータ処理装置及びスマート眼鏡の要部機能の一例を示す概念図である。

【図5】第３実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図6】第３実施形態に係るデータ処理装置及びヘッドセット型端末の要部機能の一例を示す概念図である。

【図7】第４実施形態に係るデータ処理システムの構成の一例を示す概念図である。

【図8】第４実施形態に係るデータ処理装置及びロボットの要部機能の一例を示す概念図である。

【図9】複数の感情がマッピングされる感情マップを示す。

【図10】複数の感情がマッピングされる感情マップを示す。

【図11】実施例１におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図12】応用例１におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図13】感情エンジンを組み合わせた場合の実施例２におけるデータ処理システムの処理の流れを示すシーケンス図である。

【図14】感情エンジンを組み合わせた場合の応用例２におけるデータ処理システムの処理の流れを示すシーケンス図である。

【発明を実施するための形態】

【0019】

以下、添付図面に従って本開示の技術に係るシステムの実施形態の一例について説明する。

【0020】

先ず、以下の説明で使用される文言について説明する。

【0021】

以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、ＡＰＵ（Accelerated Processing Unit）等が挙げられる。

【0022】

以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。

【0023】

以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。

【0024】

以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

【0025】

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0026】

［第１実施形態］

【0027】

図１には、第１実施形態に係るデータ処理システム１０の構成の一例が示されている。

【0028】

図１に示すように、データ処理システム１０は、データ処理装置１２及びスマートデバイス１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0029】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0030】

スマートデバイス１４は、コンピュータ３６、受付装置３８、出力装置４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、受付装置３８、出力装置４０、及びカメラ４２も、バス５２に接続されている。

【0031】

受付装置３８は、タッチパネル３８Ａ及びマイクロフォン３８Ｂ等を備えており、ユーザ入力を受け付ける。タッチパネル３８Ａは、指示体（例えば、ペン又は指等）の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン３８Ｂは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部４６Ａは、タッチパネル３８Ａ及びマイクロフォン３８Ｂによって受け付けたユーザ入力を示すデータをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が、ユーザ入力を示すデータを取得する。

【0032】

出力装置４０は、ディスプレイ４０Ａ及びスピーカ４０Ｂ等を備えており、データをユーザ２０が知覚可能な表現形（例えば、音声及び／又はテキスト）で出力することでデータをユーザ２０に対して提示する。ディスプレイ４０Ａは、プロセッサ４６からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ４０Ｂは、プロセッサ４６からの指示に従って音声を出力する。カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。

【0033】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。

【0034】

図２には、データ処理装置１２及びスマートデバイス１４の要部機能の一例が示されている。

【0035】

図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。

【0036】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0037】

スマートデバイス１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。受付出力プログラム６０は、データ処理システム１０によって特定処理プログラム５６と併用される。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0038】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0039】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、冷蔵庫内の食材管理を効率的に行うために、画像認識技術および自然言語処理技術を活用し、物品の識別と保存方法の最適化を実現する。

【0040】

まず、ユーザはスマートフォンやタブレットなどの端末を用いて冷蔵庫内の画像を撮影する。端末はその画像データを即座にサーバに送信する。サーバは受信した画像を解析し、画像認識技術を用いて冷蔵庫内にある物品を識別することができる。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0041】

この情報に基づき、サーバは各物品に対して最適な保存場所を計算し、端末に通知する。例えば、サーバは葉物野菜を野菜室に保存することが最適であると判断し、ユーザにその位置を提案する。また、サーバは物品の賞味期限情報を監視し、期限が近い物品があれば、端末を介してユーザに使用を促す通知を送る。

【0042】

さらに、ユーザから保存方法に関するリクエストがあった場合、端末はそのリクエストをサーバに送信する。サーバは自然言語処理技術を使用してリクエストを解析し、データベースに基づいて適切な保存方法やアドバイスを生成し、端末を通じてユーザに返答する。このシステムは、食品を効率的に管理し、食品ロスを減少させるための便利なツールとして機能する。

【0043】

具体例: ユーザが冷蔵庫内の写真を撮影した際、サーバは「牛乳」「トマト」「りんご」などを識別し、牛乳をドアポケットに、トマトを野菜室に置くよう提案する。さらに、賞味期限が2日後に迫った牛乳に関しては、ユーザに対策を促す通知を端末に送信する。また、「トマトの保存方法を教えて」とのリクエストがあれば、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」といった情報を返す。

【0044】

このシステムにより、ユーザは食品を最適に管理し、結果として食品ロスの防止に役立てることができる。

【0045】

以下に、処理の流れについて説明する。

【0046】

ステップ1：

【0047】

ユーザが冷蔵庫内の食材の画像をスマートフォンまたはタブレットで撮影する。ユーザは画面上で撮影ボタンを押すことで画像を取得する。

【0048】

ステップ2：

【0049】

端末が撮影した画像をサーバへ送信する。画像データはインターネット経由でサーバにアップロードされる。

【0050】

ステップ3：

【0051】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類、量、賞味期限（画像に表示されている場合）を抽出する。

【0052】

ステップ4：

【0053】

サーバが識別した物品情報をデータベースに登録または更新する。既存のデータと新しいデータを比較し、必要に応じて情報を更新する。

【0054】

ステップ5：

【0055】

サーバがデータベースに基づいて各物品の最適な保存場所を計算する。サーバは環境条件や物品の特性を考慮し、保存位置を決定する。

【0056】

ステップ6：

【0057】

サーバが計算された保存場所の情報を端末に送信する。端末はユーザに対してプッシュ通知または画面表示で保存場所の提案を行う。

【0058】

ステップ7：

【0059】

サーバがデータベース内の賞味期限情報を定期的にチェックし、期限が近い物品を特定する。ユーザに期限内に使用を促す通知を端末に送信する。

【0060】

ステップ8：

【0061】

ユーザが特定の保存方法について質問する場合、リクエストを端末を通して送信する。リクエスト内容はテキスト形式で入力される。

【0062】

ステップ9：

【0063】

サーバがユーザのリクエストを自然言語処理技術で解析し、適切な保存方法を取得する。データベース内の情報を基に応答を生成する。

【0064】

ステップ10：

【0065】

サーバが生成した応答を端末に送信し、ユーザに対して保存方法やアドバイスを提供する。端末は画面表示や音声通知でユーザに情報を伝える。

【0066】

（実施例１）

【0067】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0068】

家庭内の食品管理において、冷蔵庫内の物品の状態や保存方法に関する情報が不十分であるために、食品ロスや効率的な物品の管理が困難となっている。この課題を解決するために、より高度な計算と通知機能を提供し、利用者が食品を適切に管理することを可能とするシステムが求められている。

【0069】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0070】

この発明では、サーバは、画像を解析し、収納装置内にある物品を識別し、物品の情報を情報格納装置に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存場所を計算し推奨する手段と、物品の使用優先順位を通知装置を介して利用者に提示する手段と、を含む。これにより、利用者は冷蔵庫の中身を効率的に管理し、食品ロスを最小限に抑えることが可能となる。

【0071】

「画像を解析する」とは、デジタルデータとして取り込まれた画像情報を処理し、特徴を抽出する技術である。

【0072】

「収納装置内の物品を識別する」とは、画像処理を用いて、特定の領域に格納された物品の種類や属性を特定することである。

【0073】

「情報格納装置に登録する」とは、収集されたデータを保存し、後で参照できるようにするプロセスである。

【0074】

「最適な保存場所を推奨する」とは、対象物品の特性や保存条件を考慮して、最高の状態を保つための保存位置を提示することである。

【0075】

「使用優先順位を通知する」とは、特定の基準に基づいて物品の使用順序を決定し、それを利用者に知らせる行為である。

【0076】

「保存方法に関する要求を解釈する」とは、利用者からの質問やリクエストを理解し、その意図を解釈するプロセスである。

【0077】

「適切な情報を応答する」とは、解釈された要求に対して、関連する情報やアドバイスを提供することである。

【0078】

「期限情報を監視する」とは、物品の消費期限や賞味期限を追跡し、その状態を確認し続ける行為である。

【0079】

「画像認識技術」とは、コンピュータビジョンを用いて画像データから物体やパターンを認識する技術である。

【0080】

「自然言語解析技術」とは、人間の言語をコンピュータが理解し解析するための処理技術である。

【0081】

このシステムは、食品の管理を効率的に行うためのもので、主にサーバ、端末、ユーザの3つの構成要素を含む。システムの主な機能は、画像認識技術と自然言語解析技術を組み合わせ、利用者が冷蔵庫内の食品を最適に管理する支援を行うことである。

【0082】

まず、ユーザはスマートフォンやタブレットといった端末を用いて、冷蔵庫内の写真を撮影する。端末はこの画像データをサーバに送信する。サーバは、ＴＥＮＳＯＲＦＬＯＷ（登録商標）やOpenCVといった画像解析ライブラリを利用して画像を解析し、収納されている物品を特定する。

【0083】

特定された物品は、情報格納装置に名前や種類、数量、賞味期限がデータベースとして登録される。サーバはこの登録情報を基に、各物品に最適な保存場所を計算し、利用者へ提案を送信する。例えば、サーバは葉物野菜は湿度が高めの野菜室が最適であると判断し、ユーザの端末に通知を送る。

【0084】

さらに、サーバはデータベースを監視し、物品の賞味期限を追跡する。期限が近づいた場合、物品の優先使用を促す警告メッセージをユーザの端末にプッシュ通知として送信する。

【0085】

ユーザが保存方法に関して質問をした場合、端末から送信されるリクエストをサーバが受け取り、生成AIモデルを活用した自然言語解析技術を用いてリクエストを解釈し、適切な情報を返信する。具体例として、「トマトの保存方法を教えて」とのプロンプト文がユーザから送られた場合、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」と返答する。

【0086】

これらの処理を通じて、システムは利用者が冷蔵庫内の食品を最適に管理し、食品ロスを防ぐことを支援する。

【0087】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0088】

ステップ1：

【0089】

ユーザは端末を使用して冷蔵庫内の写真を撮影する。この画像が入力データとなる。具体的な動作として、ユーザはアプリケーションのカメラ機能を起動し、冷蔵庫内部を撮影し、その画像データを自動でサーバに送信する設定を行う。

【0090】

ステップ2：

【0091】

サーバは受信した画像データを解析する。入力は撮影された冷蔵庫内の画像であり、出力は識別された物品のリストである。サーバは画像認識技術、例えばTensorFlowやOpenCVなどを用いて、画像中の物品を特定し、名前や種類に関するデータを抽出する。このデータは情報格納装置に送られる。

【0092】

ステップ3：

【0093】

サーバは物品情報をデータベースに登録する。入力はサーバが解析した物品のリストであり、出力は更新されたデータベースである。サーバは名称、種類、数量、賞味期限などの詳細情報をデータベースに記録し、物品管理を効率化する。

【0094】

ステップ4：

【0095】

サーバは各物品の最適保存場所を計算する。入力はデータベースの物品情報であり、出力は保存場所の推奨リストである。サーバは物品の特性や保存条件を考慮し、葉物野菜は野菜室が最適である等、具体的な推奨を作成する。

【0096】

ステップ5：

【0097】

サーバは推奨された保存場所に関する通知を端末に送信する。入力は最適保存場所の推奨リストであり、出力は保存場所情報を含む通知である。端末はこの情報をユーザにリアルタイムで表示する。

【0098】

ステップ6：

【0099】

サーバは物品の賞味期限を監視する。入力はデータベース内の賞味期限情報であり、出力は期限が近い物品に関する警告通知である。サーバは期限が近づいた物品を特定し、端末を通じてユーザに通知するよう設定する。

【0100】

ステップ7：

【0101】

ユーザが保存方法の質問をした場合、端末はそのリクエストをサーバに送信する。入力はユーザのリクエスト文であり、「トマトの保存方法を教えて」といったプロンプト文が含まれる。

【0102】

ステップ8：

【0103】

サーバは受け取ったリクエストをもとに自然言語解析技術を用いて処理する。入力はユーザのリクエスト文であり、出力は推奨の保存方法を含む返信である。サーバは生成AIモデルを活用して、リクエストを深く解析し、具体的で有用な情報を生成し、端末へ返答する。

【0104】

（応用例１）

【0105】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0106】

従来の食品管理システムでは、物品の保存管理や賞味期限の監視が非効率であり、食品ロスの発生や在庫管理の不徹底という課題が存在する。また、実店舗における在庫情報の即時確認や、効率的な商品管理の実現が難しいという問題も生じている。

【0107】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0108】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータ集合に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位を利用者に通知する手段と、実世界の閲覧装置を通じて物品情報をリアルタイムに表示し、在庫管理を改善する手段と、を含む。これにより、効率的な物品管理と在庫最適化が可能となる。

【0109】

「画像を解析」とは、デジタルデータとして撮影された画像を処理し、内容を認識する技術である。

【0110】

「収納装置」とは、物品を整理して保存するためのスペースや設備を指す。

【0111】

「物品」とは、冷蔵庫内外を含む様々な環境において分析や管理対象とされる個別の商品のことである。

【0112】

「データ集合」とは、特定の情報を体系的に記録、保存、管理するために用いるデジタルなデータの集まりである。

【0113】

「保存位置」とは、物品を最適な状態で保つために推奨される具体的な場所またはエリアを意味する。

【0114】

「利用者」とは、システムを使用する個人やグループであり、情報を提供される主体である。

【0115】

「要求」とは、利用者がシステムに対して行う特定のアクションや情報に関するリクエストである。

【0116】

「実世界の閲覧装置」とは、現実の対象物に対して直接的に情報を提供するためのデバイスであり、スマート眼鏡などが該当する。

【0117】

「リアルタイム」とは、現実の時間に沿って即座に処理や表示が行われる状態である。

【0118】

「在庫管理」とは、保管されている物品の数量や状態を最適にするための一連のプロセスである。

【0119】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、実世界の閲覧装置を用いて実店舗内の物品管理を効率的に行うために、画像認識技術および自然言語処理技術を活用している。

【0120】

サーバは、スマート眼鏡などの実世界の閲覧装置から取得された画像データを受信後、画像認識技術を使用して物品を自動的に識別する。この際、OpenCVやTensorFlowといった画像処理ライブラリが活用される。識別された物品は、種類、在庫量、賞味期限などの情報とともにデータ集合に記録される。

【0121】

端末は、サーバから受け取った情報を利用して、実世界の閲覧装置に物品情報をリアルタイムで表示する。例えば、賞味期限が近づいている商品が特定されれば、スマート眼鏡を通じて利用者に通知が送られる。また、商品が少なくなっている場合は、追加の発注や陳列の提案が行われる。

【0122】

ユーザは、リアルタイムで提供される情報を基に、効率的な在庫管理や適切な商品配置を行うことができる。さらに、保存方法に関する質問を自然言語で入力すれば、サーバが質問を解析して情報を返答する。この際、自然言語処理技術を用いることで、利用者の意図を正確に汲み取ることができる。

【0123】

具体例として、ユーザが実店舗内でスマート眼鏡を用いて商品棚を閲覧すると、サーバは「牛乳」「トマト」「パン」などの物品を識別し、それぞれの賞味期限や在庫状況をリアルタイムでユーザに表示する。「この段ボールの中のジャムの保存方法は？」といった質問を音声で入力すれば、サーバは「常温保存が適しています」といった情報を提供する。

【0124】

生成AIモデルへのプロンプト文の例:

【0125】

商品棚の画像を知覚し、そこに存在する全ての商品を識別し、賞味期限が間近のものを特定して通知せよ。また、最適な陳列方法について提案を行い、リアルタイムな在庫情報を提供せよ。

【0126】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0127】

ステップ１：

【0128】

ユーザは、実世界の閲覧装置であるスマート眼鏡を用いて、実店舗内の商品棚を視覚的に捉える。入力として商品棚の画像データが生成される。この画像データが端末に送信される。

【0129】

ステップ２：

【0130】

端末は、スマート眼鏡から受信した画像データをサーバへ送信する。サーバは、入力された画像データに対して画像認識技術を用いて解析を行う。具体的には、OpenCVやTensorFlowを使用し、各物品を識別するデータ加工が行われる。出力として、識別された物品リストとその属性（種類、在庫量、賞味期限）が生成される。

【0131】

ステップ３：

【0132】

サーバは、画像認識により得られた物品リストを基に、データ集合に登録されたデータと照合することで、商品の在庫状況や賞味期限を確認する。このデータ演算にはデータベース照合が関与する。出力は、最新の在庫情報や賞味期限情報である。

【0133】

ステップ４：

【0134】

サーバは、更新された在庫情報を基に、在庫が少ない物品や賞味期限が迫っている物品を検出し、端末を通じてスマート眼鏡に情報を送信する。利用者にはリアルタイムで視覚的に通知される。

【0135】

ステップ５：

【0136】

ユーザはスマート眼鏡に表示される情報を受け、在庫状況や商品情報を把握することができる。さらに、商品の保存方法や陳列方法についての質問を自然言語で端末に入力する。

【0137】

ステップ６：

【0138】

端末は、ユーザからの自然言語によるリクエストをサーバへ送信する。サーバは、このリクエストを自然言語処理技術を用いて解析し、ユーザの意図を解釈する。解析結果に基づき、適切な保存方法や陳列アドバイスを生成し出力する。

【0139】

ステップ７：

【0140】

サーバは生成したアドバイスを端末を介してスマート眼鏡に送信する。ユーザはスマート眼鏡を通じて、実世界の閲覧において即時にその情報を取得し、実店舗内での業務に活用する。

【0141】

更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0142】

この発明は、感情エンジンを組み込んだシステムにより、ユーザの感情状態を認識し、それに応じた食品管理と提案を行うものである。システムはサーバ、端末、および感情エンジンの三つの主要な構成要素を用いる。システムの主な目的は、ユーザの感情状態を考慮して食品の使用を最適化し、個別化された食品管理体験を提供することである。

【0143】

まず、ユーザはスマートフォンやタブレットといった端末を使用して、冷蔵庫内の画像を撮影する。この画像は端末からサーバへ送信される。サーバは受信した画像を解析し、画像認識技術を利用して冷蔵庫内の物品を識別する。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0144】

感情エンジンは、ユーザの音声、表情、操作データなどを解析し、ユーザの感情状態を特定する。この情報は、サーバに送られ、食品の使用優先順位や保存方法の提案に活用される。例えば、ユーザがストレスを感じている場合、システムはそのストレス緩和に役立つ食品の使用を優先的に提案する。また、ユーザの興奮状態が高まっている場合は、その状態に合った食品を選定し、積極的に消費するよう促す。

【0145】

サーバは感情エンジンからのインプットと、物品のデータベース情報から得た情報を統合し、保存場所の最適化や使用推奨のカスタマイズを行う。結果は端末を通じてユーザに通知され、ユーザは画面上で保存場所や使用優先順位に関する提案を確認することができる。

【0146】

具体例: ユーザが冷蔵庫内の画像を撮影し、同時に感情インタフェースを使用して現在の気分を記録する。もし感情エンジンがユーザにストレスを検知した場合、サーバは、ストレス緩和に良いとされるヨーグルトやバナナを積極的に使用するよう提案する。また、ユーザが幸福感が高い場合は、その気分を維持するためのデザートなどをお勧めする。

【0147】

このようにして、システムはユーザの個別の感情ニーズに応じた食品管理を可能にし、よりパーソナライズされた体験を提供する。

【0148】

以下に、処理の流れについて説明する。

【0149】

ステップ1：

【0150】

ユーザが冷蔵庫内の画像をスマートフォンまたはタブレットで撮影する。撮影後、画像データは端末に一時保存される。

【0151】

ステップ2：

【0152】

端末が取得した画像データをサーバに送信する。通信はインターネット経由で行われ、リアルタイムでの処理を可能にする。

【0153】

ステップ3：

【0154】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類や数量、賞味期限を抽出し、データベースに登録する。

【0155】

ステップ4：

【0156】

ユーザが感情状態の記録を行うため、端末上の感情インタフェースを使用する。ユーザの音声指示や表情情報が感情エンジンに入力される。

【0157】

ステップ5：

【0158】

感情エンジンがユーザの入力を解析し、現在の感情状態を特定する。ストレス、幸福感、興奮などの状態がデータとして生成される。

【0159】

ステップ6：

【0160】

感情エンジンが解析結果をサーバに送信する。サーバは、この感情情報を用いて食品の使用優先順位や保存方法を決定する。

【0161】

ステップ7：

【0162】

サーバが感情情報と識別した物品情報を組み合わせ、最適な保存場所および使用推奨を計算する。例えば、ストレス状態であれば、ストレス緩和に役立つ食品を優先的に推奨する。

【0163】

ステップ8：

【0164】

サーバが計算結果を端末に送信し、保存場所と使用推奨をユーザに通知する。端末は画面上でユーザに分かりやすい方法で情報を提供する。

【0165】

ステップ9：

【0166】

ユーザが端末から提示された情報を確認し、その内容に基づいて冷蔵庫内の物品管理や消費計画を立てる。

【0167】

これにより、ユーザは自分の現在の感情状態に適した形で食品の管理や利用が可能となり、効率的でパーソナライズされた食品マネジメントが実現される。

【0168】

（実施例２）

【0169】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0170】

現代社会において、ユーザ個々人の感情状態を考慮した食品管理が求められている。しかしながら、既存の食品管理システムは、ユーザの感情を考慮した動的な提案ができず、一般化された保存方法や使用優先順位のみを提供するにとどまっている。このため、ユーザの感情に応じた食品の最適化が実現されていない。この発明は、ユーザの感情状態を考慮したパーソナライズされた食品管理を提供することで、この課題を解決することを目的とする。

【0171】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0172】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、ユーザの感情状態を収集及び解析し、その感情状態に応じた物品の使用優先順位を決定する手段と、ユーザに物品の使用優先順位や最適な保存方法に関する情報を通知する手段と、を含む。これにより、ユーザの個別の感情状態を考慮した食品の使用と保存の最適化が可能となる。

【0173】

「画像を解析」とは、デジタル画像データから特定の情報を抽出し、理解するプロセスである。

【0174】

「収納装置」とは、冷蔵庫やパントリーのように、物品を整理し収納するための設備である。

【0175】

「物品の情報」とは、物品の種類、数量、賞味期限など、物品を管理するために必要なデータである。

【0176】

「データベースに登録」とは、特定の情報を後で容易に検索、更新、管理できるようにデータベースに記録する処理である。

【0177】

「ユーザの感情状態」とは、ユーザが感じている感情や気分の状態を指し、音声や表情から解析されるものである。

【0178】

「使用優先順位」とは、特定の条件下でどの物品を使用するべきかの優先度を決定する基準である。

【0179】

「通知する」とは、ユーザに対して情報を提示し、注意を促すことを指す。

【0180】

「保存方法」とは、物品を適切に保つための手順や手法を意味する。

【0181】

「解析」とは、データを詳細に調査し、意味やパターンを見出すプロセスである。

【0182】

この発明は、ユーザの感情状態を考慮した食品管理を実現するシステムであり、サーバ、端末、および感情エンジンから構成される。このシステムは、ユーザがパーソナライズされた食品の保存方法と使用優先順位の提案を享受できるように設計されている。

【0183】

端末は、ユーザがスマートフォンやタブレットを使用して冷蔵庫内やその他の収納装置内の画像を撮影することを可能とする。この画像は、画像データとしてサーバへ送信される。サーバは、これを受信し、OpenCVやTensorFlowのような画像認識ツールを用いて画像を解析し、収納装置内の物品を識別する。識別された情報には、物品の種類、数量、賞味期限などが含まれ、これらはデータベースに登録される。

【0184】

ユーザは、端末を通じて自身の音声や表情を記録することで感情データを収集する。これには、Google（登録商標） Speech-to-Text APIやMicrosoft（登録商標） Face APIなどを使用することができる。サーバは、感情エンジンを用いてこのデータを解析し、ユーザの感情状態を判断する。この情報は、物品の使用や保存方法に反映され、ユーザに提供される食品の提案に利用される。

【0185】

サーバは、解析された感情データと物品情報を統合して、ユーザに最適な食品の保存場所と使用優先順位を提案する。たとえば、ユーザがストレスを感じている場合、サーバはストレス緩和に役立つ食品を優先する。これにより、ユーザは自分の感情に合った食品を選びやすくなる。

【0186】

具体例として、ユーザが「疲れている」と音声入力する場合、感情エンジンはこれを解析してユーザがストレス状態にあると判断し、サーバはストレス緩和に効果がある食品をすすめる。プロンプト文の例としては、「ユーザの感情状態を感知し、ストレスを和らげる食品を提案する方法を教えてください」といったものが挙げられる。このようにして、システムはユーザに向けた個別化された食品管理体験を提供する。

【0187】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0188】

ステップ１：

【0189】

ユーザは、スマートフォンやタブレットを使用して冷蔵庫内の画像を撮影する。入力は、冷蔵庫内の現在の画像データである。端末はこの画像を、Wi-Fiやモバイルデータ通信を介してサーバに送信する。出力は画像データのサーバへの送信完了である。具体的な動作として、ユーザはアプリケーションを起動してカメラ機能を使用し、冷蔵庫内を撮影する。

【0190】

ステップ２：

【0191】

サーバは受信した画像データを解析し、画像認識技術を用いて冷蔵庫内の物品を識別する。入力はステップ１で送信された画像データである。サーバはOpenCVやTensorFlowを使用して画像内の食品を種類や数量などの情報として抽出する。出力は、識別された物品データであり、データベースへの登録である。具体的な動作としては、サーバが画像をピクセル単位で分析し、特徴量を抽出して、物品のラベル付けを行う。

【0192】

ステップ３：

【0193】

ユーザは端末を使用して自身の感情データを入力する。具体的には音声録音や顔認識カメラを使用して感情を記録する。入力は、ユーザの音声データや顔画像データである。端末はこれらのデータをサーバに送信する。出力は感情データのサーバへの送信完了である。ユーザは、「疲れている」や「嬉しい」といった感情を音声で記録する。

【0194】

ステップ４：

【0195】

サーバは感情データを解析し、ユーザの感情状態を特定する。入力はステップ３で送信された音声データと顔画像データである。感情エンジンが自然言語処理技術および顔認識を使用してデータを処理し、ユーザの感情状態（例えば、ストレス状態、幸福状態）を特定する。出力は、特定された感情状態情報である。具体的な動作としては、サーバが音声トーンや表情の特徴を解析し、感情状態を推測する。

【0196】

ステップ５：

【0197】

サーバは、物品データと感情状態情報を統合し、ユーザに最適な食品提案を生成する。入力は、ステップ２の物品データとステップ４の感情状態情報である。サーバはこれらをもとに機械学習アルゴリズムを適用し、ユーザの感情に合わせた食品の使用優先順位を決定する。出力は、提案された食品リストとその使用優先順位である。具体的な動作として、サーバは物品データベースにアクセスして、感情に効果的な食品を特定する。

【0198】

ステップ６：

【0199】

サーバは生成された食品提案を端末に送信する。入力はステップ５で生成された食品提案と使用優先順位である。端末はこれをユーザに通知し画面に表示する。出力は、ユーザが目視できる形での食品提案である。具体的な動作として、端末はプッシュ通知を用いてユーザにアラートを送り、詳細な情報をアプリケーション上で表示する。

【0200】

（応用例２）

【0201】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

【0202】

ユーザの感情状態を考慮した食品の提案を、効率よく適切に行うことや、店舗での購買体験を個別化し、満足度を向上させることが課題である。現行のシステムでは、ユーザの気分や感情を反映した商品提案が十分に行われておらず、個別のニーズへの対応が不十分である。

【0203】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0204】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位をユーザに通知する手段と、ユーザの感情状態を解析し、その結果に基づいて適切な食品提案を生成する手段と、ユーザの視覚装置に食品提案を表示し、リアルタイムで通知する手段と、を含む。これにより、ユーザの感情状態を反映した個別化された食品提案が可能となる。

【0205】

「画像を解析して収納装置内にある物品を識別する」とは、デジタル画像処理技術を使用して、画像内の物体を認識し、各物の種類や特徴を特定することである。

【0206】

「物品の情報をデータベースに登録する」とは、特定された物品の詳細情報をデジタルデータベースに記録し、保存することである。

【0207】

「それぞれの物品の最適な保存位置を推奨する」とは、物品の特性および使用条件に基づいて、保存に最適な場所をユーザに提案することである。

【0208】

「物品の使用優先順位をユーザに通知する」とは、物品の状態や優先度に応じて、どの物品を先に使用すべきかをユーザに知らせることである。

【0209】

「ユーザの感情状態を解析する」とは、音声、表情、行動データをもとに、ユーザが現在どのような感情を持っているかを特定することである。

【0210】

「適切な食品提案を生成する」とは、解析されたユーザの感情状態とデータベースの情報を組み合わせて、ユーザに合った食品やメニューを選出し、提案することである。

【0211】

「ユーザの視覚装置に食品提案を表示する」とは、ユーザが使用するスマートデバイスのディスプレイに、適切な食品の提案を視覚的に示すことである。

【0212】

この発明の実施には、システムが必要であり、ユーザの感情状態に基づき個別化された食品の提案を行うためのものである。システムは、スマート眼鏡やスマートフォンのような端末、サーバ、および感情エンジンの三つの主要な構成要素を含む。

【0213】

まず、端末はユーザの表情や音声をリアルタイムで取得するために、カメラとマイクを用いる。このデータは、感情エンジンを利用してユーザの感情状態を解析する。感情エンジンは、ユーザの音声トーン、顔の動き、さらには指のタッチパターンを分析し、ユーザがどのような感情を持っているかを特定する。解析された感情データはサーバに送信される。

【0214】

サーバは、受信した感情データと、端末で取得された物品画像を合わせて解析する。ここでは、画像認識技術を利用して冷蔵庫内の物品を特定し、その情報をデータベースに格納する。サーバはその後、感情状態に応じて適切な食品の提案を生成する。この提案プロセスには、自然言語処理技術も用いられる。

【0215】

ユーザが視覚化装置であるスマート眼鏡を使用している場合、これらの提案は眼鏡に組み込まれたディスプレイに提示される。ユーザは、提案された食品をリアルタイムで確認し、購買や消費の意思決定を行うことができる。

【0216】

具体例として、ユーザが店舗に入った際にシステムが彼のストレスを感知した場合、サーバはリラックス効果があるとされるハーブティーやスムージーを提案する。こうした提案は、ユーザがその場で商品を選ぶ際の支援となり得る。

【0217】

生成AIモデルを用いたプロンプト文の例として、「ユーザが店舗に入ったとき、彼の表情と音声から感情状態を分析し、ストレスを感じている場合にはリラックス効果のあるハーブティーを提案するスマート眼鏡用アプリケーションについて詳述してください。」が挙げられる。

【0218】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0219】

ステップ１：

【0220】

端末は、カメラを通じてユーザの顔の画像と、マイクを通じて音声データをリアルタイムで取得する。この際の入力は、ユーザのリアルタイムでの表情と音声であり、出力としては、これらのデータがデジタル形式で取得される。具体的な動作として、端末上のセンサーが作動し、継続的にデータを記録する。

【0221】

ステップ２：

【0222】

サーバは、端末から取得した顔の画像と音声データを受信し、感情エンジンに送信する。入力はユーザの顔画像と音声データで、出力として解析された感情状態が得られる。感情エンジンは、画像解析アルゴリズムや音声解析アルゴリズムを用いて、ユーザの感情状態を「幸福」「ストレス」などと分類する。

【0223】

ステップ３：

【0224】

感情エンジンによって解析された感情状態がサーバに返される。サーバはこの感情状態と端末から取得された物品画像データを組み合わせ、データベースから提案すべき食品を選定する。このステップの入力は解析された感情データと物品画像データで、出力はユーザの感情状態に合わせた商品提案である。サーバは、データベース内の商品の中から感情に適した食品を照合する。

【0225】

ステップ４：

【0226】

サーバは、選定された食品提案を視覚化装置であるスマート眼鏡に送信する。入力は生成された食品提案であり、出力はユーザのスマート眼鏡ディスプレイに表示される食品リストである。ここで具体的な動作として、サーバが提案情報をフォーマットし、眼鏡に対応する形でデータを送信する。

【0227】

ステップ５：

【0228】

ユーザはスマート眼鏡のディスプレイを通して、提案された食品を確認し、これに基づいて購買行動を決定する。入力はディスプレイ上の食品提案で、出力はユーザの選択した購入対象となる。ユーザは提示された情報をもとに意思決定を行い、店舗での購入を進める。

【0229】

特定処理部２９０は、特定処理の結果をスマートデバイス１４に送信する。スマートデバイス１４では、制御部４６Ａが、出力装置４０に対して特定処理の結果を出力させる。マイクロフォン３８Ｂは、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン３８Ｂによって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0230】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ChatGPT（登録商標）（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（登録商標）（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0231】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマートデバイス１４によって特定処理が行われるようにしてもよい。

【0232】

［第２実施形態］

【0233】

図３には、第２実施形態に係るデータ処理システム２１０の構成の一例が示されている。

【0234】

図３に示すように、データ処理システム２１０は、データ処理装置１２及びスマート眼鏡２１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0235】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0236】

スマート眼鏡２１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、及びカメラ４２も、バス５２に接続されている。

【0237】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0238】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0239】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0240】

図４には、データ処理装置１２及びスマート眼鏡２１４の要部機能の一例が示されている。図４に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0241】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0242】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0243】

スマート眼鏡２１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0244】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0245】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、冷蔵庫内の食材管理を効率的に行うために、画像認識技術および自然言語処理技術を活用し、物品の識別と保存方法の最適化を実現する。

【0246】

まず、ユーザはスマートフォンやタブレットなどの端末を用いて冷蔵庫内の画像を撮影する。端末はその画像データを即座にサーバに送信する。サーバは受信した画像を解析し、画像認識技術を用いて冷蔵庫内にある物品を識別することができる。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0247】

この情報に基づき、サーバは各物品に対して最適な保存場所を計算し、端末に通知する。例えば、サーバは葉物野菜を野菜室に保存することが最適であると判断し、ユーザにその位置を提案する。また、サーバは物品の賞味期限情報を監視し、期限が近い物品があれば、端末を介してユーザに使用を促す通知を送る。

【0248】

さらに、ユーザから保存方法に関するリクエストがあった場合、端末はそのリクエストをサーバに送信する。サーバは自然言語処理技術を使用してリクエストを解析し、データベースに基づいて適切な保存方法やアドバイスを生成し、端末を通じてユーザに返答する。このシステムは、食品を効率的に管理し、食品ロスを減少させるための便利なツールとして機能する。

【0249】

具体例: ユーザが冷蔵庫内の写真を撮影した際、サーバは「牛乳」「トマト」「りんご」などを識別し、牛乳をドアポケットに、トマトを野菜室に置くよう提案する。さらに、賞味期限が2日後に迫った牛乳に関しては、ユーザに対策を促す通知を端末に送信する。また、「トマトの保存方法を教えて」とのリクエストがあれば、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」といった情報を返す。

【0250】

このシステムにより、ユーザは食品を最適に管理し、結果として食品ロスの防止に役立てることができる。

【0251】

以下に、処理の流れについて説明する。

【0252】

ステップ1：

【0253】

ユーザが冷蔵庫内の食材の画像をスマートフォンまたはタブレットで撮影する。ユーザは画面上で撮影ボタンを押すことで画像を取得する。

【0254】

ステップ2：

【0255】

端末が撮影した画像をサーバへ送信する。画像データはインターネット経由でサーバにアップロードされる。

【0256】

ステップ3：

【0257】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類、量、賞味期限（画像に表示されている場合）を抽出する。

【0258】

ステップ4：

【0259】

サーバが識別した物品情報をデータベースに登録または更新する。既存のデータと新しいデータを比較し、必要に応じて情報を更新する。

【0260】

ステップ5：

【0261】

サーバがデータベースに基づいて各物品の最適な保存場所を計算する。サーバは環境条件や物品の特性を考慮し、保存位置を決定する。

【0262】

ステップ6：

【0263】

サーバが計算された保存場所の情報を端末に送信する。端末はユーザに対してプッシュ通知または画面表示で保存場所の提案を行う。

【0264】

ステップ7：

【0265】

サーバがデータベース内の賞味期限情報を定期的にチェックし、期限が近い物品を特定する。ユーザに期限内に使用を促す通知を端末に送信する。

【0266】

ステップ8：

【0267】

ユーザが特定の保存方法について質問する場合、リクエストを端末を通して送信する。リクエスト内容はテキスト形式で入力される。

【0268】

ステップ9：

【0269】

サーバがユーザのリクエストを自然言語処理技術で解析し、適切な保存方法を取得する。データベース内の情報を基に応答を生成する。

【0270】

ステップ10：

【0271】

サーバが生成した応答を端末に送信し、ユーザに対して保存方法やアドバイスを提供する。端末は画面表示や音声通知でユーザに情報を伝える。

【0272】

（実施例１）

【0273】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0274】

家庭内の食品管理において、冷蔵庫内の物品の状態や保存方法に関する情報が不十分であるために、食品ロスや効率的な物品の管理が困難となっている。この課題を解決するために、より高度な計算と通知機能を提供し、利用者が食品を適切に管理することを可能とするシステムが求められている。

【0275】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0276】

この発明では、サーバは、画像を解析し、収納装置内にある物品を識別し、物品の情報を情報格納装置に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存場所を計算し推奨する手段と、物品の使用優先順位を通知装置を介して利用者に提示する手段と、を含む。これにより、利用者は冷蔵庫の中身を効率的に管理し、食品ロスを最小限に抑えることが可能となる。

【0277】

「画像を解析する」とは、デジタルデータとして取り込まれた画像情報を処理し、特徴を抽出する技術である。

【0278】

「収納装置内の物品を識別する」とは、画像処理を用いて、特定の領域に格納された物品の種類や属性を特定することである。

【0279】

「情報格納装置に登録する」とは、収集されたデータを保存し、後で参照できるようにするプロセスである。

【0280】

「最適な保存場所を推奨する」とは、対象物品の特性や保存条件を考慮して、最高の状態を保つための保存位置を提示することである。

【0281】

「使用優先順位を通知する」とは、特定の基準に基づいて物品の使用順序を決定し、それを利用者に知らせる行為である。

【0282】

「保存方法に関する要求を解釈する」とは、利用者からの質問やリクエストを理解し、その意図を解釈するプロセスである。

【0283】

「適切な情報を応答する」とは、解釈された要求に対して、関連する情報やアドバイスを提供することである。

【0284】

「期限情報を監視する」とは、物品の消費期限や賞味期限を追跡し、その状態を確認し続ける行為である。

【0285】

「画像認識技術」とは、コンピュータビジョンを用いて画像データから物体やパターンを認識する技術である。

【0286】

「自然言語解析技術」とは、人間の言語をコンピュータが理解し解析するための処理技術である。

【0287】

このシステムは、食品の管理を効率的に行うためのもので、主にサーバ、端末、ユーザの3つの構成要素を含む。システムの主な機能は、画像認識技術と自然言語解析技術を組み合わせ、利用者が冷蔵庫内の食品を最適に管理する支援を行うことである。

【0288】

まず、ユーザはスマートフォンやタブレットといった端末を用いて、冷蔵庫内の写真を撮影する。端末はこの画像データをサーバに送信する。サーバは、TensorFlowやOpenCVといった画像解析ライブラリを利用して画像を解析し、収納されている物品を特定する。

【0289】

特定された物品は、情報格納装置に名前や種類、数量、賞味期限がデータベースとして登録される。サーバはこの登録情報を基に、各物品に最適な保存場所を計算し、利用者へ提案を送信する。例えば、サーバは葉物野菜は湿度が高めの野菜室が最適であると判断し、ユーザの端末に通知を送る。

【0290】

さらに、サーバはデータベースを監視し、物品の賞味期限を追跡する。期限が近づいた場合、物品の優先使用を促す警告メッセージをユーザの端末にプッシュ通知として送信する。

【0291】

ユーザが保存方法に関して質問をした場合、端末から送信されるリクエストをサーバが受け取り、生成AIモデルを活用した自然言語解析技術を用いてリクエストを解釈し、適切な情報を返信する。具体例として、「トマトの保存方法を教えて」とのプロンプト文がユーザから送られた場合、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」と返答する。

【0292】

これらの処理を通じて、システムは利用者が冷蔵庫内の食品を最適に管理し、食品ロスを防ぐことを支援する。

【0293】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0294】

ステップ1：

【0295】

ユーザは端末を使用して冷蔵庫内の写真を撮影する。この画像が入力データとなる。具体的な動作として、ユーザはアプリケーションのカメラ機能を起動し、冷蔵庫内部を撮影し、その画像データを自動でサーバに送信する設定を行う。

【0296】

ステップ2：

【0297】

サーバは受信した画像データを解析する。入力は撮影された冷蔵庫内の画像であり、出力は識別された物品のリストである。サーバは画像認識技術、例えばTensorFlowやOpenCVなどを用いて、画像中の物品を特定し、名前や種類に関するデータを抽出する。このデータは情報格納装置に送られる。

【0298】

ステップ3：

【0299】

サーバは物品情報をデータベースに登録する。入力はサーバが解析した物品のリストであり、出力は更新されたデータベースである。サーバは名称、種類、数量、賞味期限などの詳細情報をデータベースに記録し、物品管理を効率化する。

【0300】

ステップ4：

【0301】

サーバは各物品の最適保存場所を計算する。入力はデータベースの物品情報であり、出力は保存場所の推奨リストである。サーバは物品の特性や保存条件を考慮し、葉物野菜は野菜室が最適である等、具体的な推奨を作成する。

【0302】

ステップ5：

【0303】

サーバは推奨された保存場所に関する通知を端末に送信する。入力は最適保存場所の推奨リストであり、出力は保存場所情報を含む通知である。端末はこの情報をユーザにリアルタイムで表示する。

【0304】

ステップ6：

【0305】

サーバは物品の賞味期限を監視する。入力はデータベース内の賞味期限情報であり、出力は期限が近い物品に関する警告通知である。サーバは期限が近づいた物品を特定し、端末を通じてユーザに通知するよう設定する。

【0306】

ステップ7：

【0307】

ユーザが保存方法の質問をした場合、端末はそのリクエストをサーバに送信する。入力はユーザのリクエスト文であり、「トマトの保存方法を教えて」といったプロンプト文が含まれる。

【0308】

ステップ8：

【0309】

サーバは受け取ったリクエストをもとに自然言語解析技術を用いて処理する。入力はユーザのリクエスト文であり、出力は推奨の保存方法を含む返信である。サーバは生成AIモデルを活用して、リクエストを深く解析し、具体的で有用な情報を生成し、端末へ返答する。

【0310】

（応用例１）

【0311】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0312】

従来の食品管理システムでは、物品の保存管理や賞味期限の監視が非効率であり、食品ロスの発生や在庫管理の不徹底という課題が存在する。また、実店舗における在庫情報の即時確認や、効率的な商品管理の実現が難しいという問題も生じている。

【0313】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0314】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータ集合に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位を利用者に通知する手段と、実世界の閲覧装置を通じて物品情報をリアルタイムに表示し、在庫管理を改善する手段と、を含む。これにより、効率的な物品管理と在庫最適化が可能となる。

【0315】

「画像を解析」とは、デジタルデータとして撮影された画像を処理し、内容を認識する技術である。

【0316】

「収納装置」とは、物品を整理して保存するためのスペースや設備を指す。

【0317】

「物品」とは、冷蔵庫内外を含む様々な環境において分析や管理対象とされる個別の商品のことである。

【0318】

「データ集合」とは、特定の情報を体系的に記録、保存、管理するために用いるデジタルなデータの集まりである。

【0319】

「保存位置」とは、物品を最適な状態で保つために推奨される具体的な場所またはエリアを意味する。

【0320】

「利用者」とは、システムを使用する個人やグループであり、情報を提供される主体である。

【0321】

「要求」とは、利用者がシステムに対して行う特定のアクションや情報に関するリクエストである。

【0322】

「実世界の閲覧装置」とは、現実の対象物に対して直接的に情報を提供するためのデバイスであり、スマート眼鏡などが該当する。

【0323】

「リアルタイム」とは、現実の時間に沿って即座に処理や表示が行われる状態である。

【0324】

「在庫管理」とは、保管されている物品の数量や状態を最適にするための一連のプロセスである。

【0325】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、実世界の閲覧装置を用いて実店舗内の物品管理を効率的に行うために、画像認識技術および自然言語処理技術を活用している。

【0326】

サーバは、スマート眼鏡などの実世界の閲覧装置から取得された画像データを受信後、画像認識技術を使用して物品を自動的に識別する。この際、OpenCVやTensorFlowといった画像処理ライブラリが活用される。識別された物品は、種類、在庫量、賞味期限などの情報とともにデータ集合に記録される。

【0327】

端末は、サーバから受け取った情報を利用して、実世界の閲覧装置に物品情報をリアルタイムで表示する。例えば、賞味期限が近づいている商品が特定されれば、スマート眼鏡を通じて利用者に通知が送られる。また、商品が少なくなっている場合は、追加の発注や陳列の提案が行われる。

【0328】

ユーザは、リアルタイムで提供される情報を基に、効率的な在庫管理や適切な商品配置を行うことができる。さらに、保存方法に関する質問を自然言語で入力すれば、サーバが質問を解析して情報を返答する。この際、自然言語処理技術を用いることで、利用者の意図を正確に汲み取ることができる。

【0329】

具体例として、ユーザが実店舗内でスマート眼鏡を用いて商品棚を閲覧すると、サーバは「牛乳」「トマト」「パン」などの物品を識別し、それぞれの賞味期限や在庫状況をリアルタイムでユーザに表示する。「この段ボールの中のジャムの保存方法は？」といった質問を音声で入力すれば、サーバは「常温保存が適しています」といった情報を提供する。

【0330】

生成AIモデルへのプロンプト文の例:

【0331】

商品棚の画像を知覚し、そこに存在する全ての商品を識別し、賞味期限が間近のものを特定して通知せよ。また、最適な陳列方法について提案を行い、リアルタイムな在庫情報を提供せよ。

【0332】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0333】

ステップ１：

【0334】

ユーザは、実世界の閲覧装置であるスマート眼鏡を用いて、実店舗内の商品棚を視覚的に捉える。入力として商品棚の画像データが生成される。この画像データが端末に送信される。

【0335】

ステップ２：

【0336】

端末は、スマート眼鏡から受信した画像データをサーバへ送信する。サーバは、入力された画像データに対して画像認識技術を用いて解析を行う。具体的には、OpenCVやTensorFlowを使用し、各物品を識別するデータ加工が行われる。出力として、識別された物品リストとその属性（種類、在庫量、賞味期限）が生成される。

【0337】

ステップ３：

【0338】

サーバは、画像認識により得られた物品リストを基に、データ集合に登録されたデータと照合することで、商品の在庫状況や賞味期限を確認する。このデータ演算にはデータベース照合が関与する。出力は、最新の在庫情報や賞味期限情報である。

【0339】

ステップ４：

【0340】

サーバは、更新された在庫情報を基に、在庫が少ない物品や賞味期限が迫っている物品を検出し、端末を通じてスマート眼鏡に情報を送信する。利用者にはリアルタイムで視覚的に通知される。

【0341】

ステップ５：

【0342】

ユーザはスマート眼鏡に表示される情報を受け、在庫状況や商品情報を把握することができる。さらに、商品の保存方法や陳列方法についての質問を自然言語で端末に入力する。

【0343】

ステップ６：

【0344】

端末は、ユーザからの自然言語によるリクエストをサーバへ送信する。サーバは、このリクエストを自然言語処理技術を用いて解析し、ユーザの意図を解釈する。解析結果に基づき、適切な保存方法や陳列アドバイスを生成し出力する。

【0345】

ステップ７：

【0346】

サーバは生成したアドバイスを端末を介してスマート眼鏡に送信する。ユーザはスマート眼鏡を通じて、実世界の閲覧において即時にその情報を取得し、実店舗内での業務に活用する。

【0347】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0348】

この発明は、感情エンジンを組み込んだシステムにより、ユーザの感情状態を認識し、それに応じた食品管理と提案を行うものである。システムはサーバ、端末、および感情エンジンの三つの主要な構成要素を用いる。システムの主な目的は、ユーザの感情状態を考慮して食品の使用を最適化し、個別化された食品管理体験を提供することである。

【0349】

まず、ユーザはスマートフォンやタブレットといった端末を使用して、冷蔵庫内の画像を撮影する。この画像は端末からサーバへ送信される。サーバは受信した画像を解析し、画像認識技術を利用して冷蔵庫内の物品を識別する。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0350】

感情エンジンは、ユーザの音声、表情、操作データなどを解析し、ユーザの感情状態を特定する。この情報は、サーバに送られ、食品の使用優先順位や保存方法の提案に活用される。例えば、ユーザがストレスを感じている場合、システムはそのストレス緩和に役立つ食品の使用を優先的に提案する。また、ユーザの興奮状態が高まっている場合は、その状態に合った食品を選定し、積極的に消費するよう促す。

【0351】

サーバは感情エンジンからのインプットと、物品のデータベース情報から得た情報を統合し、保存場所の最適化や使用推奨のカスタマイズを行う。結果は端末を通じてユーザに通知され、ユーザは画面上で保存場所や使用優先順位に関する提案を確認することができる。

【0352】

具体例: ユーザが冷蔵庫内の画像を撮影し、同時に感情インタフェースを使用して現在の気分を記録する。もし感情エンジンがユーザにストレスを検知した場合、サーバは、ストレス緩和に良いとされるヨーグルトやバナナを積極的に使用するよう提案する。また、ユーザが幸福感が高い場合は、その気分を維持するためのデザートなどをお勧めする。

【0353】

このようにして、システムはユーザの個別の感情ニーズに応じた食品管理を可能にし、よりパーソナライズされた体験を提供する。

【0354】

以下に、処理の流れについて説明する。

【0355】

ステップ1：

【0356】

ユーザが冷蔵庫内の画像をスマートフォンまたはタブレットで撮影する。撮影後、画像データは端末に一時保存される。

【0357】

ステップ2：

【0358】

端末が取得した画像データをサーバに送信する。通信はインターネット経由で行われ、リアルタイムでの処理を可能にする。

【0359】

ステップ3：

【0360】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類や数量、賞味期限を抽出し、データベースに登録する。

【0361】

ステップ4：

【0362】

ユーザが感情状態の記録を行うため、端末上の感情インタフェースを使用する。ユーザの音声指示や表情情報が感情エンジンに入力される。

【0363】

ステップ5：

【0364】

感情エンジンがユーザの入力を解析し、現在の感情状態を特定する。ストレス、幸福感、興奮などの状態がデータとして生成される。

【0365】

ステップ6：

【0366】

感情エンジンが解析結果をサーバに送信する。サーバは、この感情情報を用いて食品の使用優先順位や保存方法を決定する。

【0367】

ステップ7：

【0368】

サーバが感情情報と識別した物品情報を組み合わせ、最適な保存場所および使用推奨を計算する。例えば、ストレス状態であれば、ストレス緩和に役立つ食品を優先的に推奨する。

【0369】

ステップ8：

【0370】

サーバが計算結果を端末に送信し、保存場所と使用推奨をユーザに通知する。端末は画面上でユーザに分かりやすい方法で情報を提供する。

【0371】

ステップ9：

【0372】

ユーザが端末から提示された情報を確認し、その内容に基づいて冷蔵庫内の物品管理や消費計画を立てる。

【0373】

これにより、ユーザは自分の現在の感情状態に適した形で食品の管理や利用が可能となり、効率的でパーソナライズされた食品マネジメントが実現される。

【0374】

（実施例２）

【0375】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0376】

現代社会において、ユーザ個々人の感情状態を考慮した食品管理が求められている。しかしながら、既存の食品管理システムは、ユーザの感情を考慮した動的な提案ができず、一般化された保存方法や使用優先順位のみを提供するにとどまっている。このため、ユーザの感情に応じた食品の最適化が実現されていない。この発明は、ユーザの感情状態を考慮したパーソナライズされた食品管理を提供することで、この課題を解決することを目的とする。

【0377】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0378】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、ユーザの感情状態を収集及び解析し、その感情状態に応じた物品の使用優先順位を決定する手段と、ユーザに物品の使用優先順位や最適な保存方法に関する情報を通知する手段と、を含む。これにより、ユーザの個別の感情状態を考慮した食品の使用と保存の最適化が可能となる。

【0379】

「画像を解析」とは、デジタル画像データから特定の情報を抽出し、理解するプロセスである。

【0380】

「収納装置」とは、冷蔵庫やパントリーのように、物品を整理し収納するための設備である。

【0381】

「物品の情報」とは、物品の種類、数量、賞味期限など、物品を管理するために必要なデータである。

【0382】

「データベースに登録」とは、特定の情報を後で容易に検索、更新、管理できるようにデータベースに記録する処理である。

【0383】

「ユーザの感情状態」とは、ユーザが感じている感情や気分の状態を指し、音声や表情から解析されるものである。

【0384】

「使用優先順位」とは、特定の条件下でどの物品を使用するべきかの優先度を決定する基準である。

【0385】

「通知する」とは、ユーザに対して情報を提示し、注意を促すことを指す。

【0386】

「保存方法」とは、物品を適切に保つための手順や手法を意味する。

【0387】

「解析」とは、データを詳細に調査し、意味やパターンを見出すプロセスである。

【0388】

この発明は、ユーザの感情状態を考慮した食品管理を実現するシステムであり、サーバ、端末、および感情エンジンから構成される。このシステムは、ユーザがパーソナライズされた食品の保存方法と使用優先順位の提案を享受できるように設計されている。

【0389】

端末は、ユーザがスマートフォンやタブレットを使用して冷蔵庫内やその他の収納装置内の画像を撮影することを可能とする。この画像は、画像データとしてサーバへ送信される。サーバは、これを受信し、OpenCVやTensorFlowのような画像認識ツールを用いて画像を解析し、収納装置内の物品を識別する。識別された情報には、物品の種類、数量、賞味期限などが含まれ、これらはデータベースに登録される。

【0390】

ユーザは、端末を通じて自身の音声や表情を記録することで感情データを収集する。これには、Google Speech-to-Text APIやMicrosoft Face APIなどを使用することができる。サーバは、感情エンジンを用いてこのデータを解析し、ユーザの感情状態を判断する。この情報は、物品の使用や保存方法に反映され、ユーザに提供される食品の提案に利用される。

【0391】

サーバは、解析された感情データと物品情報を統合して、ユーザに最適な食品の保存場所と使用優先順位を提案する。たとえば、ユーザがストレスを感じている場合、サーバはストレス緩和に役立つ食品を優先する。これにより、ユーザは自分の感情に合った食品を選びやすくなる。

【0392】

具体例として、ユーザが「疲れている」と音声入力する場合、感情エンジンはこれを解析してユーザがストレス状態にあると判断し、サーバはストレス緩和に効果がある食品をすすめる。プロンプト文の例としては、「ユーザの感情状態を感知し、ストレスを和らげる食品を提案する方法を教えてください」といったものが挙げられる。このようにして、システムはユーザに向けた個別化された食品管理体験を提供する。

【0393】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0394】

ステップ１：

【0395】

ユーザは、スマートフォンやタブレットを使用して冷蔵庫内の画像を撮影する。入力は、冷蔵庫内の現在の画像データである。端末はこの画像を、Wi-Fiやモバイルデータ通信を介してサーバに送信する。出力は画像データのサーバへの送信完了である。具体的な動作として、ユーザはアプリケーションを起動してカメラ機能を使用し、冷蔵庫内を撮影する。

【0396】

ステップ２：

【0397】

サーバは受信した画像データを解析し、画像認識技術を用いて冷蔵庫内の物品を識別する。入力はステップ１で送信された画像データである。サーバはOpenCVやTensorFlowを使用して画像内の食品を種類や数量などの情報として抽出する。出力は、識別された物品データであり、データベースへの登録である。具体的な動作としては、サーバが画像をピクセル単位で分析し、特徴量を抽出して、物品のラベル付けを行う。

【0398】

ステップ３：

【0399】

ユーザは端末を使用して自身の感情データを入力する。具体的には音声録音や顔認識カメラを使用して感情を記録する。入力は、ユーザの音声データや顔画像データである。端末はこれらのデータをサーバに送信する。出力は感情データのサーバへの送信完了である。ユーザは、「疲れている」や「嬉しい」といった感情を音声で記録する。

【0400】

ステップ４：

【0401】

サーバは感情データを解析し、ユーザの感情状態を特定する。入力はステップ３で送信された音声データと顔画像データである。感情エンジンが自然言語処理技術および顔認識を使用してデータを処理し、ユーザの感情状態（例えば、ストレス状態、幸福状態）を特定する。出力は、特定された感情状態情報である。具体的な動作としては、サーバが音声トーンや表情の特徴を解析し、感情状態を推測する。

【0402】

ステップ５：

【0403】

サーバは、物品データと感情状態情報を統合し、ユーザに最適な食品提案を生成する。入力は、ステップ２の物品データとステップ４の感情状態情報である。サーバはこれらをもとに機械学習アルゴリズムを適用し、ユーザの感情に合わせた食品の使用優先順位を決定する。出力は、提案された食品リストとその使用優先順位である。具体的な動作として、サーバは物品データベースにアクセスして、感情に効果的な食品を特定する。

【0404】

ステップ６：

【0405】

サーバは生成された食品提案を端末に送信する。入力はステップ５で生成された食品提案と使用優先順位である。端末はこれをユーザに通知し画面に表示する。出力は、ユーザが目視できる形での食品提案である。具体的な動作として、端末はプッシュ通知を用いてユーザにアラートを送り、詳細な情報をアプリケーション上で表示する。

【0406】

（応用例２）

【0407】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

【0408】

ユーザの感情状態を考慮した食品の提案を、効率よく適切に行うことや、店舗での購買体験を個別化し、満足度を向上させることが課題である。現行のシステムでは、ユーザの気分や感情を反映した商品提案が十分に行われておらず、個別のニーズへの対応が不十分である。

【0409】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0410】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位をユーザに通知する手段と、ユーザの感情状態を解析し、その結果に基づいて適切な食品提案を生成する手段と、ユーザの視覚装置に食品提案を表示し、リアルタイムで通知する手段と、を含む。これにより、ユーザの感情状態を反映した個別化された食品提案が可能となる。

【0411】

「画像を解析して収納装置内にある物品を識別する」とは、デジタル画像処理技術を使用して、画像内の物体を認識し、各物の種類や特徴を特定することである。

【0412】

「物品の情報をデータベースに登録する」とは、特定された物品の詳細情報をデジタルデータベースに記録し、保存することである。

【0413】

「それぞれの物品の最適な保存位置を推奨する」とは、物品の特性および使用条件に基づいて、保存に最適な場所をユーザに提案することである。

【0414】

「物品の使用優先順位をユーザに通知する」とは、物品の状態や優先度に応じて、どの物品を先に使用すべきかをユーザに知らせることである。

【0415】

「ユーザの感情状態を解析する」とは、音声、表情、行動データをもとに、ユーザが現在どのような感情を持っているかを特定することである。

【0416】

「適切な食品提案を生成する」とは、解析されたユーザの感情状態とデータベースの情報を組み合わせて、ユーザに合った食品やメニューを選出し、提案することである。

【0417】

「ユーザの視覚装置に食品提案を表示する」とは、ユーザが使用するスマートデバイスのディスプレイに、適切な食品の提案を視覚的に示すことである。

【0418】

この発明の実施には、システムが必要であり、ユーザの感情状態に基づき個別化された食品の提案を行うためのものである。システムは、スマート眼鏡やスマートフォンのような端末、サーバ、および感情エンジンの三つの主要な構成要素を含む。

【0419】

まず、端末はユーザの表情や音声をリアルタイムで取得するために、カメラとマイクを用いる。このデータは、感情エンジンを利用してユーザの感情状態を解析する。感情エンジンは、ユーザの音声トーン、顔の動き、さらには指のタッチパターンを分析し、ユーザがどのような感情を持っているかを特定する。解析された感情データはサーバに送信される。

【0420】

サーバは、受信した感情データと、端末で取得された物品画像を合わせて解析する。ここでは、画像認識技術を利用して冷蔵庫内の物品を特定し、その情報をデータベースに格納する。サーバはその後、感情状態に応じて適切な食品の提案を生成する。この提案プロセスには、自然言語処理技術も用いられる。

【0421】

ユーザが視覚化装置であるスマート眼鏡を使用している場合、これらの提案は眼鏡に組み込まれたディスプレイに提示される。ユーザは、提案された食品をリアルタイムで確認し、購買や消費の意思決定を行うことができる。

【0422】

具体例として、ユーザが店舗に入った際にシステムが彼のストレスを感知した場合、サーバはリラックス効果があるとされるハーブティーやスムージーを提案する。こうした提案は、ユーザがその場で商品を選ぶ際の支援となり得る。

【0423】

生成AIモデルを用いたプロンプト文の例として、「ユーザが店舗に入ったとき、彼の表情と音声から感情状態を分析し、ストレスを感じている場合にはリラックス効果のあるハーブティーを提案するスマート眼鏡用アプリケーションについて詳述してください。」が挙げられる。

【0424】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0425】

ステップ１：

【0426】

端末は、カメラを通じてユーザの顔の画像と、マイクを通じて音声データをリアルタイムで取得する。この際の入力は、ユーザのリアルタイムでの表情と音声であり、出力としては、これらのデータがデジタル形式で取得される。具体的な動作として、端末上のセンサーが作動し、継続的にデータを記録する。

【0427】

ステップ２：

【0428】

サーバは、端末から取得した顔の画像と音声データを受信し、感情エンジンに送信する。入力はユーザの顔画像と音声データで、出力として解析された感情状態が得られる。感情エンジンは、画像解析アルゴリズムや音声解析アルゴリズムを用いて、ユーザの感情状態を「幸福」「ストレス」などと分類する。

【0429】

ステップ３：

【0430】

感情エンジンによって解析された感情状態がサーバに返される。サーバはこの感情状態と端末から取得された物品画像データを組み合わせ、データベースから提案すべき食品を選定する。このステップの入力は解析された感情データと物品画像データで、出力はユーザの感情状態に合わせた商品提案である。サーバは、データベース内の商品の中から感情に適した食品を照合する。

【0431】

ステップ４：

【0432】

サーバは、選定された食品提案を視覚化装置であるスマート眼鏡に送信する。入力は生成された食品提案であり、出力はユーザのスマート眼鏡ディスプレイに表示される食品リストである。ここで具体的な動作として、サーバが提案情報をフォーマットし、眼鏡に対応する形でデータを送信する。

【0433】

ステップ５：

【0434】

ユーザはスマート眼鏡のディスプレイを通して、提案された食品を確認し、これに基づいて購買行動を決定する。入力はディスプレイ上の食品提案で、出力はユーザの選択した購入対象となる。ユーザは提示された情報をもとに意思決定を行い、店舗での購入を進める。

【0435】

特定処理部２９０は、特定処理の結果をスマート眼鏡２１４に送信する。スマート眼鏡２１４では、制御部４６Ａが、スピーカ２４０に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0436】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0437】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマート眼鏡２１４によって特定処理が行われるようにしてもよい。

【0438】

［第３実施形態］

【0439】

図５には、第３実施形態に係るデータ処理システム３１０の構成の一例が示されている。

【0440】

図５に示すように、データ処理システム３１０は、データ処理装置１２及びヘッドセット型端末３１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0441】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0442】

ヘッドセット型端末３１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及びディスプレイ３４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及びディスプレイ３４３も、バス５２に接続されている。

【0443】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0444】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0445】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0446】

図６には、データ処理装置１２及びヘッドセット型端末３１４の要部機能の一例が示されている。図６に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0447】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0448】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0449】

ヘッドセット型端末３１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0450】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0451】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、冷蔵庫内の食材管理を効率的に行うために、画像認識技術および自然言語処理技術を活用し、物品の識別と保存方法の最適化を実現する。

【0452】

まず、ユーザはスマートフォンやタブレットなどの端末を用いて冷蔵庫内の画像を撮影する。端末はその画像データを即座にサーバに送信する。サーバは受信した画像を解析し、画像認識技術を用いて冷蔵庫内にある物品を識別することができる。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0453】

この情報に基づき、サーバは各物品に対して最適な保存場所を計算し、端末に通知する。例えば、サーバは葉物野菜を野菜室に保存することが最適であると判断し、ユーザにその位置を提案する。また、サーバは物品の賞味期限情報を監視し、期限が近い物品があれば、端末を介してユーザに使用を促す通知を送る。

【0454】

さらに、ユーザから保存方法に関するリクエストがあった場合、端末はそのリクエストをサーバに送信する。サーバは自然言語処理技術を使用してリクエストを解析し、データベースに基づいて適切な保存方法やアドバイスを生成し、端末を通じてユーザに返答する。このシステムは、食品を効率的に管理し、食品ロスを減少させるための便利なツールとして機能する。

【0455】

具体例: ユーザが冷蔵庫内の写真を撮影した際、サーバは「牛乳」「トマト」「りんご」などを識別し、牛乳をドアポケットに、トマトを野菜室に置くよう提案する。さらに、賞味期限が2日後に迫った牛乳に関しては、ユーザに対策を促す通知を端末に送信する。また、「トマトの保存方法を教えて」とのリクエストがあれば、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」といった情報を返す。

【0456】

このシステムにより、ユーザは食品を最適に管理し、結果として食品ロスの防止に役立てることができる。

【0457】

以下に、処理の流れについて説明する。

【0458】

ステップ1：

【0459】

ユーザが冷蔵庫内の食材の画像をスマートフォンまたはタブレットで撮影する。ユーザは画面上で撮影ボタンを押すことで画像を取得する。

【0460】

ステップ2：

【0461】

端末が撮影した画像をサーバへ送信する。画像データはインターネット経由でサーバにアップロードされる。

【0462】

ステップ3：

【0463】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類、量、賞味期限（画像に表示されている場合）を抽出する。

【0464】

ステップ4：

【0465】

サーバが識別した物品情報をデータベースに登録または更新する。既存のデータと新しいデータを比較し、必要に応じて情報を更新する。

【0466】

ステップ5：

【0467】

サーバがデータベースに基づいて各物品の最適な保存場所を計算する。サーバは環境条件や物品の特性を考慮し、保存位置を決定する。

【0468】

ステップ6：

【0469】

サーバが計算された保存場所の情報を端末に送信する。端末はユーザに対してプッシュ通知または画面表示で保存場所の提案を行う。

【0470】

ステップ7：

【0471】

サーバがデータベース内の賞味期限情報を定期的にチェックし、期限が近い物品を特定する。ユーザに期限内に使用を促す通知を端末に送信する。

【0472】

ステップ8：

【0473】

ユーザが特定の保存方法について質問する場合、リクエストを端末を通して送信する。リクエスト内容はテキスト形式で入力される。

【0474】

ステップ9：

【0475】

サーバがユーザのリクエストを自然言語処理技術で解析し、適切な保存方法を取得する。データベース内の情報を基に応答を生成する。

【0476】

ステップ10：

【0477】

サーバが生成した応答を端末に送信し、ユーザに対して保存方法やアドバイスを提供する。端末は画面表示や音声通知でユーザに情報を伝える。

【0478】

（実施例１）

【0479】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0480】

家庭内の食品管理において、冷蔵庫内の物品の状態や保存方法に関する情報が不十分であるために、食品ロスや効率的な物品の管理が困難となっている。この課題を解決するために、より高度な計算と通知機能を提供し、利用者が食品を適切に管理することを可能とするシステムが求められている。

【0481】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0482】

この発明では、サーバは、画像を解析し、収納装置内にある物品を識別し、物品の情報を情報格納装置に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存場所を計算し推奨する手段と、物品の使用優先順位を通知装置を介して利用者に提示する手段と、を含む。これにより、利用者は冷蔵庫の中身を効率的に管理し、食品ロスを最小限に抑えることが可能となる。

【0483】

「画像を解析する」とは、デジタルデータとして取り込まれた画像情報を処理し、特徴を抽出する技術である。

【0484】

「収納装置内の物品を識別する」とは、画像処理を用いて、特定の領域に格納された物品の種類や属性を特定することである。

【0485】

「情報格納装置に登録する」とは、収集されたデータを保存し、後で参照できるようにするプロセスである。

【0486】

「最適な保存場所を推奨する」とは、対象物品の特性や保存条件を考慮して、最高の状態を保つための保存位置を提示することである。

【0487】

「使用優先順位を通知する」とは、特定の基準に基づいて物品の使用順序を決定し、それを利用者に知らせる行為である。

【0488】

「保存方法に関する要求を解釈する」とは、利用者からの質問やリクエストを理解し、その意図を解釈するプロセスである。

【0489】

「適切な情報を応答する」とは、解釈された要求に対して、関連する情報やアドバイスを提供することである。

【0490】

「期限情報を監視する」とは、物品の消費期限や賞味期限を追跡し、その状態を確認し続ける行為である。

【0491】

「画像認識技術」とは、コンピュータビジョンを用いて画像データから物体やパターンを認識する技術である。

【0492】

「自然言語解析技術」とは、人間の言語をコンピュータが理解し解析するための処理技術である。

【0493】

このシステムは、食品の管理を効率的に行うためのもので、主にサーバ、端末、ユーザの3つの構成要素を含む。システムの主な機能は、画像認識技術と自然言語解析技術を組み合わせ、利用者が冷蔵庫内の食品を最適に管理する支援を行うことである。

【0494】

まず、ユーザはスマートフォンやタブレットといった端末を用いて、冷蔵庫内の写真を撮影する。端末はこの画像データをサーバに送信する。サーバは、TensorFlowやOpenCVといった画像解析ライブラリを利用して画像を解析し、収納されている物品を特定する。

【0495】

特定された物品は、情報格納装置に名前や種類、数量、賞味期限がデータベースとして登録される。サーバはこの登録情報を基に、各物品に最適な保存場所を計算し、利用者へ提案を送信する。例えば、サーバは葉物野菜は湿度が高めの野菜室が最適であると判断し、ユーザの端末に通知を送る。

【0496】

さらに、サーバはデータベースを監視し、物品の賞味期限を追跡する。期限が近づいた場合、物品の優先使用を促す警告メッセージをユーザの端末にプッシュ通知として送信する。

【0497】

ユーザが保存方法に関して質問をした場合、端末から送信されるリクエストをサーバが受け取り、生成AIモデルを活用した自然言語解析技術を用いてリクエストを解釈し、適切な情報を返信する。具体例として、「トマトの保存方法を教えて」とのプロンプト文がユーザから送られた場合、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」と返答する。

【0498】

これらの処理を通じて、システムは利用者が冷蔵庫内の食品を最適に管理し、食品ロスを防ぐことを支援する。

【0499】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0500】

ステップ1：

【0501】

ユーザは端末を使用して冷蔵庫内の写真を撮影する。この画像が入力データとなる。具体的な動作として、ユーザはアプリケーションのカメラ機能を起動し、冷蔵庫内部を撮影し、その画像データを自動でサーバに送信する設定を行う。

【0502】

ステップ2：

【0503】

サーバは受信した画像データを解析する。入力は撮影された冷蔵庫内の画像であり、出力は識別された物品のリストである。サーバは画像認識技術、例えばTensorFlowやOpenCVなどを用いて、画像中の物品を特定し、名前や種類に関するデータを抽出する。このデータは情報格納装置に送られる。

【0504】

ステップ3：

【0505】

サーバは物品情報をデータベースに登録する。入力はサーバが解析した物品のリストであり、出力は更新されたデータベースである。サーバは名称、種類、数量、賞味期限などの詳細情報をデータベースに記録し、物品管理を効率化する。

【0506】

ステップ4：

【0507】

サーバは各物品の最適保存場所を計算する。入力はデータベースの物品情報であり、出力は保存場所の推奨リストである。サーバは物品の特性や保存条件を考慮し、葉物野菜は野菜室が最適である等、具体的な推奨を作成する。

【0508】

ステップ5：

【0509】

サーバは推奨された保存場所に関する通知を端末に送信する。入力は最適保存場所の推奨リストであり、出力は保存場所情報を含む通知である。端末はこの情報をユーザにリアルタイムで表示する。

【0510】

ステップ6：

【0511】

サーバは物品の賞味期限を監視する。入力はデータベース内の賞味期限情報であり、出力は期限が近い物品に関する警告通知である。サーバは期限が近づいた物品を特定し、端末を通じてユーザに通知するよう設定する。

【0512】

ステップ7：

【0513】

ユーザが保存方法の質問をした場合、端末はそのリクエストをサーバに送信する。入力はユーザのリクエスト文であり、「トマトの保存方法を教えて」といったプロンプト文が含まれる。

【0514】

ステップ8：

【0515】

サーバは受け取ったリクエストをもとに自然言語解析技術を用いて処理する。入力はユーザのリクエスト文であり、出力は推奨の保存方法を含む返信である。サーバは生成AIモデルを活用して、リクエストを深く解析し、具体的で有用な情報を生成し、端末へ返答する。

【0516】

（応用例１）

【0517】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0518】

従来の食品管理システムでは、物品の保存管理や賞味期限の監視が非効率であり、食品ロスの発生や在庫管理の不徹底という課題が存在する。また、実店舗における在庫情報の即時確認や、効率的な商品管理の実現が難しいという問題も生じている。

【0519】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0520】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータ集合に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位を利用者に通知する手段と、実世界の閲覧装置を通じて物品情報をリアルタイムに表示し、在庫管理を改善する手段と、を含む。これにより、効率的な物品管理と在庫最適化が可能となる。

【0521】

「画像を解析」とは、デジタルデータとして撮影された画像を処理し、内容を認識する技術である。

【0522】

「収納装置」とは、物品を整理して保存するためのスペースや設備を指す。

【0523】

「物品」とは、冷蔵庫内外を含む様々な環境において分析や管理対象とされる個別の商品のことである。

【0524】

「データ集合」とは、特定の情報を体系的に記録、保存、管理するために用いるデジタルなデータの集まりである。

【0525】

「保存位置」とは、物品を最適な状態で保つために推奨される具体的な場所またはエリアを意味する。

【0526】

「利用者」とは、システムを使用する個人やグループであり、情報を提供される主体である。

【0527】

「要求」とは、利用者がシステムに対して行う特定のアクションや情報に関するリクエストである。

【0528】

「実世界の閲覧装置」とは、現実の対象物に対して直接的に情報を提供するためのデバイスであり、スマート眼鏡などが該当する。

【0529】

「リアルタイム」とは、現実の時間に沿って即座に処理や表示が行われる状態である。

【0530】

「在庫管理」とは、保管されている物品の数量や状態を最適にするための一連のプロセスである。

【0531】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、実世界の閲覧装置を用いて実店舗内の物品管理を効率的に行うために、画像認識技術および自然言語処理技術を活用している。

【0532】

サーバは、スマート眼鏡などの実世界の閲覧装置から取得された画像データを受信後、画像認識技術を使用して物品を自動的に識別する。この際、OpenCVやTensorFlowといった画像処理ライブラリが活用される。識別された物品は、種類、在庫量、賞味期限などの情報とともにデータ集合に記録される。

【0533】

端末は、サーバから受け取った情報を利用して、実世界の閲覧装置に物品情報をリアルタイムで表示する。例えば、賞味期限が近づいている商品が特定されれば、スマート眼鏡を通じて利用者に通知が送られる。また、商品が少なくなっている場合は、追加の発注や陳列の提案が行われる。

【0534】

ユーザは、リアルタイムで提供される情報を基に、効率的な在庫管理や適切な商品配置を行うことができる。さらに、保存方法に関する質問を自然言語で入力すれば、サーバが質問を解析して情報を返答する。この際、自然言語処理技術を用いることで、利用者の意図を正確に汲み取ることができる。

【0535】

具体例として、ユーザが実店舗内でスマート眼鏡を用いて商品棚を閲覧すると、サーバは「牛乳」「トマト」「パン」などの物品を識別し、それぞれの賞味期限や在庫状況をリアルタイムでユーザに表示する。「この段ボールの中のジャムの保存方法は？」といった質問を音声で入力すれば、サーバは「常温保存が適しています」といった情報を提供する。

【0536】

生成AIモデルへのプロンプト文の例:

【0537】

商品棚の画像を知覚し、そこに存在する全ての商品を識別し、賞味期限が間近のものを特定して通知せよ。また、最適な陳列方法について提案を行い、リアルタイムな在庫情報を提供せよ。

【0538】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0539】

ステップ１：

【0540】

ユーザは、実世界の閲覧装置であるスマート眼鏡を用いて、実店舗内の商品棚を視覚的に捉える。入力として商品棚の画像データが生成される。この画像データが端末に送信される。

【0541】

ステップ２：

【0542】

端末は、スマート眼鏡から受信した画像データをサーバへ送信する。サーバは、入力された画像データに対して画像認識技術を用いて解析を行う。具体的には、OpenCVやTensorFlowを使用し、各物品を識別するデータ加工が行われる。出力として、識別された物品リストとその属性（種類、在庫量、賞味期限）が生成される。

【0543】

ステップ３：

【0544】

サーバは、画像認識により得られた物品リストを基に、データ集合に登録されたデータと照合することで、商品の在庫状況や賞味期限を確認する。このデータ演算にはデータベース照合が関与する。出力は、最新の在庫情報や賞味期限情報である。

【0545】

ステップ４：

【0546】

サーバは、更新された在庫情報を基に、在庫が少ない物品や賞味期限が迫っている物品を検出し、端末を通じてスマート眼鏡に情報を送信する。利用者にはリアルタイムで視覚的に通知される。

【0547】

ステップ５：

【0548】

ユーザはスマート眼鏡に表示される情報を受け、在庫状況や商品情報を把握することができる。さらに、商品の保存方法や陳列方法についての質問を自然言語で端末に入力する。

【0549】

ステップ６：

【0550】

端末は、ユーザからの自然言語によるリクエストをサーバへ送信する。サーバは、このリクエストを自然言語処理技術を用いて解析し、ユーザの意図を解釈する。解析結果に基づき、適切な保存方法や陳列アドバイスを生成し出力する。

【0551】

ステップ７：

【0552】

サーバは生成したアドバイスを端末を介してスマート眼鏡に送信する。ユーザはスマート眼鏡を通じて、実世界の閲覧において即時にその情報を取得し、実店舗内での業務に活用する。

【0553】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0554】

この発明は、感情エンジンを組み込んだシステムにより、ユーザの感情状態を認識し、それに応じた食品管理と提案を行うものである。システムはサーバ、端末、および感情エンジンの三つの主要な構成要素を用いる。システムの主な目的は、ユーザの感情状態を考慮して食品の使用を最適化し、個別化された食品管理体験を提供することである。

【0555】

まず、ユーザはスマートフォンやタブレットといった端末を使用して、冷蔵庫内の画像を撮影する。この画像は端末からサーバへ送信される。サーバは受信した画像を解析し、画像認識技術を利用して冷蔵庫内の物品を識別する。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0556】

感情エンジンは、ユーザの音声、表情、操作データなどを解析し、ユーザの感情状態を特定する。この情報は、サーバに送られ、食品の使用優先順位や保存方法の提案に活用される。例えば、ユーザがストレスを感じている場合、システムはそのストレス緩和に役立つ食品の使用を優先的に提案する。また、ユーザの興奮状態が高まっている場合は、その状態に合った食品を選定し、積極的に消費するよう促す。

【0557】

サーバは感情エンジンからのインプットと、物品のデータベース情報から得た情報を統合し、保存場所の最適化や使用推奨のカスタマイズを行う。結果は端末を通じてユーザに通知され、ユーザは画面上で保存場所や使用優先順位に関する提案を確認することができる。

【0558】

具体例: ユーザが冷蔵庫内の画像を撮影し、同時に感情インタフェースを使用して現在の気分を記録する。もし感情エンジンがユーザにストレスを検知した場合、サーバは、ストレス緩和に良いとされるヨーグルトやバナナを積極的に使用するよう提案する。また、ユーザが幸福感が高い場合は、その気分を維持するためのデザートなどをお勧めする。

【0559】

このようにして、システムはユーザの個別の感情ニーズに応じた食品管理を可能にし、よりパーソナライズされた体験を提供する。

【0560】

以下に、処理の流れについて説明する。

【0561】

ステップ1：

【0562】

ユーザが冷蔵庫内の画像をスマートフォンまたはタブレットで撮影する。撮影後、画像データは端末に一時保存される。

【0563】

ステップ2：

【0564】

端末が取得した画像データをサーバに送信する。通信はインターネット経由で行われ、リアルタイムでの処理を可能にする。

【0565】

ステップ3：

【0566】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類や数量、賞味期限を抽出し、データベースに登録する。

【0567】

ステップ4：

【0568】

ユーザが感情状態の記録を行うため、端末上の感情インタフェースを使用する。ユーザの音声指示や表情情報が感情エンジンに入力される。

【0569】

ステップ5：

【0570】

感情エンジンがユーザの入力を解析し、現在の感情状態を特定する。ストレス、幸福感、興奮などの状態がデータとして生成される。

【0571】

ステップ6：

【0572】

感情エンジンが解析結果をサーバに送信する。サーバは、この感情情報を用いて食品の使用優先順位や保存方法を決定する。

【0573】

ステップ7：

【0574】

サーバが感情情報と識別した物品情報を組み合わせ、最適な保存場所および使用推奨を計算する。例えば、ストレス状態であれば、ストレス緩和に役立つ食品を優先的に推奨する。

【0575】

ステップ8：

【0576】

サーバが計算結果を端末に送信し、保存場所と使用推奨をユーザに通知する。端末は画面上でユーザに分かりやすい方法で情報を提供する。

【0577】

ステップ9：

【0578】

ユーザが端末から提示された情報を確認し、その内容に基づいて冷蔵庫内の物品管理や消費計画を立てる。

【0579】

これにより、ユーザは自分の現在の感情状態に適した形で食品の管理や利用が可能となり、効率的でパーソナライズされた食品マネジメントが実現される。

【0580】

（実施例２）

【0581】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0582】

現代社会において、ユーザ個々人の感情状態を考慮した食品管理が求められている。しかしながら、既存の食品管理システムは、ユーザの感情を考慮した動的な提案ができず、一般化された保存方法や使用優先順位のみを提供するにとどまっている。このため、ユーザの感情に応じた食品の最適化が実現されていない。この発明は、ユーザの感情状態を考慮したパーソナライズされた食品管理を提供することで、この課題を解決することを目的とする。

【0583】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0584】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、ユーザの感情状態を収集及び解析し、その感情状態に応じた物品の使用優先順位を決定する手段と、ユーザに物品の使用優先順位や最適な保存方法に関する情報を通知する手段と、を含む。これにより、ユーザの個別の感情状態を考慮した食品の使用と保存の最適化が可能となる。

【0585】

「画像を解析」とは、デジタル画像データから特定の情報を抽出し、理解するプロセスである。

【0586】

「収納装置」とは、冷蔵庫やパントリーのように、物品を整理し収納するための設備である。

【0587】

「物品の情報」とは、物品の種類、数量、賞味期限など、物品を管理するために必要なデータである。

【0588】

「データベースに登録」とは、特定の情報を後で容易に検索、更新、管理できるようにデータベースに記録する処理である。

【0589】

「ユーザの感情状態」とは、ユーザが感じている感情や気分の状態を指し、音声や表情から解析されるものである。

【0590】

「使用優先順位」とは、特定の条件下でどの物品を使用するべきかの優先度を決定する基準である。

【0591】

「通知する」とは、ユーザに対して情報を提示し、注意を促すことを指す。

【0592】

「保存方法」とは、物品を適切に保つための手順や手法を意味する。

【0593】

「解析」とは、データを詳細に調査し、意味やパターンを見出すプロセスである。

【0594】

この発明は、ユーザの感情状態を考慮した食品管理を実現するシステムであり、サーバ、端末、および感情エンジンから構成される。このシステムは、ユーザがパーソナライズされた食品の保存方法と使用優先順位の提案を享受できるように設計されている。

【0595】

端末は、ユーザがスマートフォンやタブレットを使用して冷蔵庫内やその他の収納装置内の画像を撮影することを可能とする。この画像は、画像データとしてサーバへ送信される。サーバは、これを受信し、OpenCVやTensorFlowのような画像認識ツールを用いて画像を解析し、収納装置内の物品を識別する。識別された情報には、物品の種類、数量、賞味期限などが含まれ、これらはデータベースに登録される。

【0596】

ユーザは、端末を通じて自身の音声や表情を記録することで感情データを収集する。これには、Google Speech-to-Text APIやMicrosoft Face APIなどを使用することができる。サーバは、感情エンジンを用いてこのデータを解析し、ユーザの感情状態を判断する。この情報は、物品の使用や保存方法に反映され、ユーザに提供される食品の提案に利用される。

【0597】

サーバは、解析された感情データと物品情報を統合して、ユーザに最適な食品の保存場所と使用優先順位を提案する。たとえば、ユーザがストレスを感じている場合、サーバはストレス緩和に役立つ食品を優先する。これにより、ユーザは自分の感情に合った食品を選びやすくなる。

【0598】

具体例として、ユーザが「疲れている」と音声入力する場合、感情エンジンはこれを解析してユーザがストレス状態にあると判断し、サーバはストレス緩和に効果がある食品をすすめる。プロンプト文の例としては、「ユーザの感情状態を感知し、ストレスを和らげる食品を提案する方法を教えてください」といったものが挙げられる。このようにして、システムはユーザに向けた個別化された食品管理体験を提供する。

【0599】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0600】

ステップ１：

【0601】

ユーザは、スマートフォンやタブレットを使用して冷蔵庫内の画像を撮影する。入力は、冷蔵庫内の現在の画像データである。端末はこの画像を、Wi-Fiやモバイルデータ通信を介してサーバに送信する。出力は画像データのサーバへの送信完了である。具体的な動作として、ユーザはアプリケーションを起動してカメラ機能を使用し、冷蔵庫内を撮影する。

【0602】

ステップ２：

【0603】

サーバは受信した画像データを解析し、画像認識技術を用いて冷蔵庫内の物品を識別する。入力はステップ１で送信された画像データである。サーバはOpenCVやTensorFlowを使用して画像内の食品を種類や数量などの情報として抽出する。出力は、識別された物品データであり、データベースへの登録である。具体的な動作としては、サーバが画像をピクセル単位で分析し、特徴量を抽出して、物品のラベル付けを行う。

【0604】

ステップ３：

【0605】

ユーザは端末を使用して自身の感情データを入力する。具体的には音声録音や顔認識カメラを使用して感情を記録する。入力は、ユーザの音声データや顔画像データである。端末はこれらのデータをサーバに送信する。出力は感情データのサーバへの送信完了である。ユーザは、「疲れている」や「嬉しい」といった感情を音声で記録する。

【0606】

ステップ４：

【0607】

サーバは感情データを解析し、ユーザの感情状態を特定する。入力はステップ３で送信された音声データと顔画像データである。感情エンジンが自然言語処理技術および顔認識を使用してデータを処理し、ユーザの感情状態（例えば、ストレス状態、幸福状態）を特定する。出力は、特定された感情状態情報である。具体的な動作としては、サーバが音声トーンや表情の特徴を解析し、感情状態を推測する。

【0608】

ステップ５：

【0609】

サーバは、物品データと感情状態情報を統合し、ユーザに最適な食品提案を生成する。入力は、ステップ２の物品データとステップ４の感情状態情報である。サーバはこれらをもとに機械学習アルゴリズムを適用し、ユーザの感情に合わせた食品の使用優先順位を決定する。出力は、提案された食品リストとその使用優先順位である。具体的な動作として、サーバは物品データベースにアクセスして、感情に効果的な食品を特定する。

【0610】

ステップ６：

【0611】

サーバは生成された食品提案を端末に送信する。入力はステップ５で生成された食品提案と使用優先順位である。端末はこれをユーザに通知し画面に表示する。出力は、ユーザが目視できる形での食品提案である。具体的な動作として、端末はプッシュ通知を用いてユーザにアラートを送り、詳細な情報をアプリケーション上で表示する。

【0612】

（応用例２）

【0613】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

【0614】

ユーザの感情状態を考慮した食品の提案を、効率よく適切に行うことや、店舗での購買体験を個別化し、満足度を向上させることが課題である。現行のシステムでは、ユーザの気分や感情を反映した商品提案が十分に行われておらず、個別のニーズへの対応が不十分である。

【0615】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0616】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位をユーザに通知する手段と、ユーザの感情状態を解析し、その結果に基づいて適切な食品提案を生成する手段と、ユーザの視覚装置に食品提案を表示し、リアルタイムで通知する手段と、を含む。これにより、ユーザの感情状態を反映した個別化された食品提案が可能となる。

【0617】

「画像を解析して収納装置内にある物品を識別する」とは、デジタル画像処理技術を使用して、画像内の物体を認識し、各物の種類や特徴を特定することである。

【0618】

「物品の情報をデータベースに登録する」とは、特定された物品の詳細情報をデジタルデータベースに記録し、保存することである。

【0619】

「それぞれの物品の最適な保存位置を推奨する」とは、物品の特性および使用条件に基づいて、保存に最適な場所をユーザに提案することである。

【0620】

「物品の使用優先順位をユーザに通知する」とは、物品の状態や優先度に応じて、どの物品を先に使用すべきかをユーザに知らせることである。

【0621】

「ユーザの感情状態を解析する」とは、音声、表情、行動データをもとに、ユーザが現在どのような感情を持っているかを特定することである。

【0622】

「適切な食品提案を生成する」とは、解析されたユーザの感情状態とデータベースの情報を組み合わせて、ユーザに合った食品やメニューを選出し、提案することである。

【0623】

「ユーザの視覚装置に食品提案を表示する」とは、ユーザが使用するスマートデバイスのディスプレイに、適切な食品の提案を視覚的に示すことである。

【0624】

この発明の実施には、システムが必要であり、ユーザの感情状態に基づき個別化された食品の提案を行うためのものである。システムは、スマート眼鏡やスマートフォンのような端末、サーバ、および感情エンジンの三つの主要な構成要素を含む。

【0625】

まず、端末はユーザの表情や音声をリアルタイムで取得するために、カメラとマイクを用いる。このデータは、感情エンジンを利用してユーザの感情状態を解析する。感情エンジンは、ユーザの音声トーン、顔の動き、さらには指のタッチパターンを分析し、ユーザがどのような感情を持っているかを特定する。解析された感情データはサーバに送信される。

【0626】

サーバは、受信した感情データと、端末で取得された物品画像を合わせて解析する。ここでは、画像認識技術を利用して冷蔵庫内の物品を特定し、その情報をデータベースに格納する。サーバはその後、感情状態に応じて適切な食品の提案を生成する。この提案プロセスには、自然言語処理技術も用いられる。

【0627】

ユーザが視覚化装置であるスマート眼鏡を使用している場合、これらの提案は眼鏡に組み込まれたディスプレイに提示される。ユーザは、提案された食品をリアルタイムで確認し、購買や消費の意思決定を行うことができる。

【0628】

具体例として、ユーザが店舗に入った際にシステムが彼のストレスを感知した場合、サーバはリラックス効果があるとされるハーブティーやスムージーを提案する。こうした提案は、ユーザがその場で商品を選ぶ際の支援となり得る。

【0629】

生成AIモデルを用いたプロンプト文の例として、「ユーザが店舗に入ったとき、彼の表情と音声から感情状態を分析し、ストレスを感じている場合にはリラックス効果のあるハーブティーを提案するスマート眼鏡用アプリケーションについて詳述してください。」が挙げられる。

【0630】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0631】

ステップ１：

【0632】

端末は、カメラを通じてユーザの顔の画像と、マイクを通じて音声データをリアルタイムで取得する。この際の入力は、ユーザのリアルタイムでの表情と音声であり、出力としては、これらのデータがデジタル形式で取得される。具体的な動作として、端末上のセンサーが作動し、継続的にデータを記録する。

【0633】

ステップ２：

【0634】

サーバは、端末から取得した顔の画像と音声データを受信し、感情エンジンに送信する。入力はユーザの顔画像と音声データで、出力として解析された感情状態が得られる。感情エンジンは、画像解析アルゴリズムや音声解析アルゴリズムを用いて、ユーザの感情状態を「幸福」「ストレス」などと分類する。

【0635】

ステップ３：

【0636】

感情エンジンによって解析された感情状態がサーバに返される。サーバはこの感情状態と端末から取得された物品画像データを組み合わせ、データベースから提案すべき食品を選定する。このステップの入力は解析された感情データと物品画像データで、出力はユーザの感情状態に合わせた商品提案である。サーバは、データベース内の商品の中から感情に適した食品を照合する。

【0637】

ステップ４：

【0638】

サーバは、選定された食品提案を視覚化装置であるスマート眼鏡に送信する。入力は生成された食品提案であり、出力はユーザのスマート眼鏡ディスプレイに表示される食品リストである。ここで具体的な動作として、サーバが提案情報をフォーマットし、眼鏡に対応する形でデータを送信する。

【0639】

ステップ５：

【0640】

ユーザはスマート眼鏡のディスプレイを通して、提案された食品を確認し、これに基づいて購買行動を決定する。入力はディスプレイ上の食品提案で、出力はユーザの選択した購入対象となる。ユーザは提示された情報をもとに意思決定を行い、店舗での購入を進める。

【0641】

特定処理部２９０は、特定処理の結果をヘッドセット型端末３１４に送信する。ヘッドセット型端末３１４では、制御部４６Ａが、スピーカ２４０及びディスプレイ３４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0642】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0643】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ヘッドセット型端末３１４によって特定処理が行われるようにしてもよい。

【0644】

［第４実施形態］

【0645】

図７には、第４実施形態に係るデータ処理システム４１０の構成の一例が示されている。

【0646】

図７に示すように、データ処理システム４１０は、データ処理装置１２及びロボット４１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

【0647】

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

【0648】

ロボット４１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及び制御対象４４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び制御対象４４３も、バス５２に接続されている。

【0649】

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

【0650】

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

【0651】

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

【0652】

制御対象４４３は、表示装置、目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット４１４の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット４１４の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット４１４の目部のＬＥＤの発光状態を制御することによっても、ロボット４１４の表情を表現できる。

【0653】

図８には、データ処理装置１２及びロボット４１４の要部機能の一例が示されている。図８に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

【0654】

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

【0655】

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

【0656】

ロボット４１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

【0657】

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0658】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、冷蔵庫内の食材管理を効率的に行うために、画像認識技術および自然言語処理技術を活用し、物品の識別と保存方法の最適化を実現する。

【0659】

まず、ユーザはスマートフォンやタブレットなどの端末を用いて冷蔵庫内の画像を撮影する。端末はその画像データを即座にサーバに送信する。サーバは受信した画像を解析し、画像認識技術を用いて冷蔵庫内にある物品を識別することができる。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0660】

この情報に基づき、サーバは各物品に対して最適な保存場所を計算し、端末に通知する。例えば、サーバは葉物野菜を野菜室に保存することが最適であると判断し、ユーザにその位置を提案する。また、サーバは物品の賞味期限情報を監視し、期限が近い物品があれば、端末を介してユーザに使用を促す通知を送る。

【0661】

さらに、ユーザから保存方法に関するリクエストがあった場合、端末はそのリクエストをサーバに送信する。サーバは自然言語処理技術を使用してリクエストを解析し、データベースに基づいて適切な保存方法やアドバイスを生成し、端末を通じてユーザに返答する。このシステムは、食品を効率的に管理し、食品ロスを減少させるための便利なツールとして機能する。

【0662】

具体例: ユーザが冷蔵庫内の写真を撮影した際、サーバは「牛乳」「トマト」「りんご」などを識別し、牛乳をドアポケットに、トマトを野菜室に置くよう提案する。さらに、賞味期限が2日後に迫った牛乳に関しては、ユーザに対策を促す通知を端末に送信する。また、「トマトの保存方法を教えて」とのリクエストがあれば、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」といった情報を返す。

【0663】

このシステムにより、ユーザは食品を最適に管理し、結果として食品ロスの防止に役立てることができる。

【0664】

以下に、処理の流れについて説明する。

【0665】

ステップ1：

【0666】

ユーザが冷蔵庫内の食材の画像をスマートフォンまたはタブレットで撮影する。ユーザは画面上で撮影ボタンを押すことで画像を取得する。

【0667】

ステップ2：

【0668】

端末が撮影した画像をサーバへ送信する。画像データはインターネット経由でサーバにアップロードされる。

【0669】

ステップ3：

【0670】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類、量、賞味期限（画像に表示されている場合）を抽出する。

【0671】

ステップ4：

【0672】

サーバが識別した物品情報をデータベースに登録または更新する。既存のデータと新しいデータを比較し、必要に応じて情報を更新する。

【0673】

ステップ5：

【0674】

サーバがデータベースに基づいて各物品の最適な保存場所を計算する。サーバは環境条件や物品の特性を考慮し、保存位置を決定する。

【0675】

ステップ6：

【0676】

サーバが計算された保存場所の情報を端末に送信する。端末はユーザに対してプッシュ通知または画面表示で保存場所の提案を行う。

【0677】

ステップ7：

【0678】

サーバがデータベース内の賞味期限情報を定期的にチェックし、期限が近い物品を特定する。ユーザに期限内に使用を促す通知を端末に送信する。

【0679】

ステップ8：

【0680】

ユーザが特定の保存方法について質問する場合、リクエストを端末を通して送信する。リクエスト内容はテキスト形式で入力される。

【0681】

ステップ9：

【0682】

サーバがユーザのリクエストを自然言語処理技術で解析し、適切な保存方法を取得する。データベース内の情報を基に応答を生成する。

【0683】

ステップ10：

【0684】

サーバが生成した応答を端末に送信し、ユーザに対して保存方法やアドバイスを提供する。端末は画面表示や音声通知でユーザに情報を伝える。

【0685】

（実施例１）

【0686】

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0687】

家庭内の食品管理において、冷蔵庫内の物品の状態や保存方法に関する情報が不十分であるために、食品ロスや効率的な物品の管理が困難となっている。この課題を解決するために、より高度な計算と通知機能を提供し、利用者が食品を適切に管理することを可能とするシステムが求められている。

【0688】

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0689】

この発明では、サーバは、画像を解析し、収納装置内にある物品を識別し、物品の情報を情報格納装置に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存場所を計算し推奨する手段と、物品の使用優先順位を通知装置を介して利用者に提示する手段と、を含む。これにより、利用者は冷蔵庫の中身を効率的に管理し、食品ロスを最小限に抑えることが可能となる。

【0690】

「画像を解析する」とは、デジタルデータとして取り込まれた画像情報を処理し、特徴を抽出する技術である。

【0691】

「収納装置内の物品を識別する」とは、画像処理を用いて、特定の領域に格納された物品の種類や属性を特定することである。

【0692】

「情報格納装置に登録する」とは、収集されたデータを保存し、後で参照できるようにするプロセスである。

【0693】

「最適な保存場所を推奨する」とは、対象物品の特性や保存条件を考慮して、最高の状態を保つための保存位置を提示することである。

【0694】

「使用優先順位を通知する」とは、特定の基準に基づいて物品の使用順序を決定し、それを利用者に知らせる行為である。

【0695】

「保存方法に関する要求を解釈する」とは、利用者からの質問やリクエストを理解し、その意図を解釈するプロセスである。

【0696】

「適切な情報を応答する」とは、解釈された要求に対して、関連する情報やアドバイスを提供することである。

【0697】

「期限情報を監視する」とは、物品の消費期限や賞味期限を追跡し、その状態を確認し続ける行為である。

【0698】

「画像認識技術」とは、コンピュータビジョンを用いて画像データから物体やパターンを認識する技術である。

【0699】

「自然言語解析技術」とは、人間の言語をコンピュータが理解し解析するための処理技術である。

【0700】

このシステムは、食品の管理を効率的に行うためのもので、主にサーバ、端末、ユーザの3つの構成要素を含む。システムの主な機能は、画像認識技術と自然言語解析技術を組み合わせ、利用者が冷蔵庫内の食品を最適に管理する支援を行うことである。

【0701】

まず、ユーザはスマートフォンやタブレットといった端末を用いて、冷蔵庫内の写真を撮影する。端末はこの画像データをサーバに送信する。サーバは、TensorFlowやOpenCVといった画像解析ライブラリを利用して画像を解析し、収納されている物品を特定する。

【0702】

特定された物品は、情報格納装置に名前や種類、数量、賞味期限がデータベースとして登録される。サーバはこの登録情報を基に、各物品に最適な保存場所を計算し、利用者へ提案を送信する。例えば、サーバは葉物野菜は湿度が高めの野菜室が最適であると判断し、ユーザの端末に通知を送る。

【0703】

さらに、サーバはデータベースを監視し、物品の賞味期限を追跡する。期限が近づいた場合、物品の優先使用を促す警告メッセージをユーザの端末にプッシュ通知として送信する。

【0704】

ユーザが保存方法に関して質問をした場合、端末から送信されるリクエストをサーバが受け取り、生成AIモデルを活用した自然言語解析技術を用いてリクエストを解釈し、適切な情報を返信する。具体例として、「トマトの保存方法を教えて」とのプロンプト文がユーザから送られた場合、サーバは「トマトは常温も可能だが、少し冷やしたい場合は野菜室保存が適しています」と返答する。

【0705】

これらの処理を通じて、システムは利用者が冷蔵庫内の食品を最適に管理し、食品ロスを防ぐことを支援する。

【0706】

実施例１における特定処理の流れについて図１１を用いて説明する。

【0707】

ステップ1：

【0708】

ユーザは端末を使用して冷蔵庫内の写真を撮影する。この画像が入力データとなる。具体的な動作として、ユーザはアプリケーションのカメラ機能を起動し、冷蔵庫内部を撮影し、その画像データを自動でサーバに送信する設定を行う。

【0709】

ステップ2：

【0710】

サーバは受信した画像データを解析する。入力は撮影された冷蔵庫内の画像であり、出力は識別された物品のリストである。サーバは画像認識技術、例えばTensorFlowやOpenCVなどを用いて、画像中の物品を特定し、名前や種類に関するデータを抽出する。このデータは情報格納装置に送られる。

【0711】

ステップ3：

【0712】

サーバは物品情報をデータベースに登録する。入力はサーバが解析した物品のリストであり、出力は更新されたデータベースである。サーバは名称、種類、数量、賞味期限などの詳細情報をデータベースに記録し、物品管理を効率化する。

【0713】

ステップ4：

【0714】

サーバは各物品の最適保存場所を計算する。入力はデータベースの物品情報であり、出力は保存場所の推奨リストである。サーバは物品の特性や保存条件を考慮し、葉物野菜は野菜室が最適である等、具体的な推奨を作成する。

【0715】

ステップ5：

【0716】

サーバは推奨された保存場所に関する通知を端末に送信する。入力は最適保存場所の推奨リストであり、出力は保存場所情報を含む通知である。端末はこの情報をユーザにリアルタイムで表示する。

【0717】

ステップ6：

【0718】

サーバは物品の賞味期限を監視する。入力はデータベース内の賞味期限情報であり、出力は期限が近い物品に関する警告通知である。サーバは期限が近づいた物品を特定し、端末を通じてユーザに通知するよう設定する。

【0719】

ステップ7：

【0720】

ユーザが保存方法の質問をした場合、端末はそのリクエストをサーバに送信する。入力はユーザのリクエスト文であり、「トマトの保存方法を教えて」といったプロンプト文が含まれる。

【0721】

ステップ8：

【0722】

サーバは受け取ったリクエストをもとに自然言語解析技術を用いて処理する。入力はユーザのリクエスト文であり、出力は推奨の保存方法を含む返信である。サーバは生成AIモデルを活用して、リクエストを深く解析し、具体的で有用な情報を生成し、端末へ返答する。

【0723】

（応用例１）

【0724】

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0725】

従来の食品管理システムでは、物品の保存管理や賞味期限の監視が非効率であり、食品ロスの発生や在庫管理の不徹底という課題が存在する。また、実店舗における在庫情報の即時確認や、効率的な商品管理の実現が難しいという問題も生じている。

【0726】

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0727】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータ集合に登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位を利用者に通知する手段と、実世界の閲覧装置を通じて物品情報をリアルタイムに表示し、在庫管理を改善する手段と、を含む。これにより、効率的な物品管理と在庫最適化が可能となる。

【0728】

「画像を解析」とは、デジタルデータとして撮影された画像を処理し、内容を認識する技術である。

【0729】

「収納装置」とは、物品を整理して保存するためのスペースや設備を指す。

【0730】

「物品」とは、冷蔵庫内外を含む様々な環境において分析や管理対象とされる個別の商品のことである。

【0731】

「データ集合」とは、特定の情報を体系的に記録、保存、管理するために用いるデジタルなデータの集まりである。

【0732】

「保存位置」とは、物品を最適な状態で保つために推奨される具体的な場所またはエリアを意味する。

【0733】

「利用者」とは、システムを使用する個人やグループであり、情報を提供される主体である。

【0734】

「要求」とは、利用者がシステムに対して行う特定のアクションや情報に関するリクエストである。

【0735】

「実世界の閲覧装置」とは、現実の対象物に対して直接的に情報を提供するためのデバイスであり、スマート眼鏡などが該当する。

【0736】

「リアルタイム」とは、現実の時間に沿って即座に処理や表示が行われる状態である。

【0737】

「在庫管理」とは、保管されている物品の数量や状態を最適にするための一連のプロセスである。

【0738】

この発明を実施するためのシステムは、主にサーバ、端末、ユーザの3つの構成要素から成り立っている。システムは、実世界の閲覧装置を用いて実店舗内の物品管理を効率的に行うために、画像認識技術および自然言語処理技術を活用している。

【0739】

サーバは、スマート眼鏡などの実世界の閲覧装置から取得された画像データを受信後、画像認識技術を使用して物品を自動的に識別する。この際、OpenCVやTensorFlowといった画像処理ライブラリが活用される。識別された物品は、種類、在庫量、賞味期限などの情報とともにデータ集合に記録される。

【0740】

端末は、サーバから受け取った情報を利用して、実世界の閲覧装置に物品情報をリアルタイムで表示する。例えば、賞味期限が近づいている商品が特定されれば、スマート眼鏡を通じて利用者に通知が送られる。また、商品が少なくなっている場合は、追加の発注や陳列の提案が行われる。

【0741】

ユーザは、リアルタイムで提供される情報を基に、効率的な在庫管理や適切な商品配置を行うことができる。さらに、保存方法に関する質問を自然言語で入力すれば、サーバが質問を解析して情報を返答する。この際、自然言語処理技術を用いることで、利用者の意図を正確に汲み取ることができる。

【0742】

具体例として、ユーザが実店舗内でスマート眼鏡を用いて商品棚を閲覧すると、サーバは「牛乳」「トマト」「パン」などの物品を識別し、それぞれの賞味期限や在庫状況をリアルタイムでユーザに表示する。「この段ボールの中のジャムの保存方法は？」といった質問を音声で入力すれば、サーバは「常温保存が適しています」といった情報を提供する。

【0743】

生成AIモデルへのプロンプト文の例:

【0744】

商品棚の画像を知覚し、そこに存在する全ての商品を識別し、賞味期限が間近のものを特定して通知せよ。また、最適な陳列方法について提案を行い、リアルタイムな在庫情報を提供せよ。

【0745】

応用例１における特定処理の流れについて図１２を用いて説明する。

【0746】

ステップ１：

【0747】

ユーザは、実世界の閲覧装置であるスマート眼鏡を用いて、実店舗内の商品棚を視覚的に捉える。入力として商品棚の画像データが生成される。この画像データが端末に送信される。

【0748】

ステップ２：

【0749】

端末は、スマート眼鏡から受信した画像データをサーバへ送信する。サーバは、入力された画像データに対して画像認識技術を用いて解析を行う。具体的には、OpenCVやTensorFlowを使用し、各物品を識別するデータ加工が行われる。出力として、識別された物品リストとその属性（種類、在庫量、賞味期限）が生成される。

【0750】

ステップ３：

【0751】

サーバは、画像認識により得られた物品リストを基に、データ集合に登録されたデータと照合することで、商品の在庫状況や賞味期限を確認する。このデータ演算にはデータベース照合が関与する。出力は、最新の在庫情報や賞味期限情報である。

【0752】

ステップ４：

【0753】

サーバは、更新された在庫情報を基に、在庫が少ない物品や賞味期限が迫っている物品を検出し、端末を通じてスマート眼鏡に情報を送信する。利用者にはリアルタイムで視覚的に通知される。

【0754】

ステップ５：

【0755】

ユーザはスマート眼鏡に表示される情報を受け、在庫状況や商品情報を把握することができる。さらに、商品の保存方法や陳列方法についての質問を自然言語で端末に入力する。

【0756】

ステップ６：

【0757】

端末は、ユーザからの自然言語によるリクエストをサーバへ送信する。サーバは、このリクエストを自然言語処理技術を用いて解析し、ユーザの意図を解釈する。解析結果に基づき、適切な保存方法や陳列アドバイスを生成し出力する。

【0758】

ステップ７：

【0759】

サーバは生成したアドバイスを端末を介してスマート眼鏡に送信する。ユーザはスマート眼鏡を通じて、実世界の閲覧において即時にその情報を取得し、実店舗内での業務に活用する。

【0760】

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

【0761】

この発明は、感情エンジンを組み込んだシステムにより、ユーザの感情状態を認識し、それに応じた食品管理と提案を行うものである。システムはサーバ、端末、および感情エンジンの三つの主要な構成要素を用いる。システムの主な目的は、ユーザの感情状態を考慮して食品の使用を最適化し、個別化された食品管理体験を提供することである。

【0762】

まず、ユーザはスマートフォンやタブレットといった端末を使用して、冷蔵庫内の画像を撮影する。この画像は端末からサーバへ送信される。サーバは受信した画像を解析し、画像認識技術を利用して冷蔵庫内の物品を識別する。識別された物品は、種類、数量、賞味期限などの情報とともにデータベースに登録される。

【0763】

感情エンジンは、ユーザの音声、表情、操作データなどを解析し、ユーザの感情状態を特定する。この情報は、サーバに送られ、食品の使用優先順位や保存方法の提案に活用される。例えば、ユーザがストレスを感じている場合、システムはそのストレス緩和に役立つ食品の使用を優先的に提案する。また、ユーザの興奮状態が高まっている場合は、その状態に合った食品を選定し、積極的に消費するよう促す。

【0764】

サーバは感情エンジンからのインプットと、物品のデータベース情報から得た情報を統合し、保存場所の最適化や使用推奨のカスタマイズを行う。結果は端末を通じてユーザに通知され、ユーザは画面上で保存場所や使用優先順位に関する提案を確認することができる。

【0765】

具体例: ユーザが冷蔵庫内の画像を撮影し、同時に感情インタフェースを使用して現在の気分を記録する。もし感情エンジンがユーザにストレスを検知した場合、サーバは、ストレス緩和に良いとされるヨーグルトやバナナを積極的に使用するよう提案する。また、ユーザが幸福感が高い場合は、その気分を維持するためのデザートなどをお勧めする。

【0766】

このようにして、システムはユーザの個別の感情ニーズに応じた食品管理を可能にし、よりパーソナライズされた体験を提供する。

【0767】

以下に、処理の流れについて説明する。

【0768】

ステップ1：

【0769】

ユーザが冷蔵庫内の画像をスマートフォンまたはタブレットで撮影する。撮影後、画像データは端末に一時保存される。

【0770】

ステップ2：

【0771】

端末が取得した画像データをサーバに送信する。通信はインターネット経由で行われ、リアルタイムでの処理を可能にする。

【0772】

ステップ3：

【0773】

サーバが受信した画像を画像認識アルゴリズムに入力し、冷蔵庫内の物品を識別する。サーバは物品の種類や数量、賞味期限を抽出し、データベースに登録する。

【0774】

ステップ4：

【0775】

ユーザが感情状態の記録を行うため、端末上の感情インタフェースを使用する。ユーザの音声指示や表情情報が感情エンジンに入力される。

【0776】

ステップ5：

【0777】

感情エンジンがユーザの入力を解析し、現在の感情状態を特定する。ストレス、幸福感、興奮などの状態がデータとして生成される。

【0778】

ステップ6：

【0779】

感情エンジンが解析結果をサーバに送信する。サーバは、この感情情報を用いて食品の使用優先順位や保存方法を決定する。

【0780】

ステップ7：

【0781】

サーバが感情情報と識別した物品情報を組み合わせ、最適な保存場所および使用推奨を計算する。例えば、ストレス状態であれば、ストレス緩和に役立つ食品を優先的に推奨する。

【0782】

ステップ8：

【0783】

サーバが計算結果を端末に送信し、保存場所と使用推奨をユーザに通知する。端末は画面上でユーザに分かりやすい方法で情報を提供する。

【0784】

ステップ9：

【0785】

ユーザが端末から提示された情報を確認し、その内容に基づいて冷蔵庫内の物品管理や消費計画を立てる。

【0786】

これにより、ユーザは自分の現在の感情状態に適した形で食品の管理や利用が可能となり、効率的でパーソナライズされた食品マネジメントが実現される。

【0787】

（実施例２）

【0788】

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0789】

現代社会において、ユーザ個々人の感情状態を考慮した食品管理が求められている。しかしながら、既存の食品管理システムは、ユーザの感情を考慮した動的な提案ができず、一般化された保存方法や使用優先順位のみを提供するにとどまっている。このため、ユーザの感情に応じた食品の最適化が実現されていない。この発明は、ユーザの感情状態を考慮したパーソナライズされた食品管理を提供することで、この課題を解決することを目的とする。

【0790】

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0791】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、ユーザの感情状態を収集及び解析し、その感情状態に応じた物品の使用優先順位を決定する手段と、ユーザに物品の使用優先順位や最適な保存方法に関する情報を通知する手段と、を含む。これにより、ユーザの個別の感情状態を考慮した食品の使用と保存の最適化が可能となる。

【0792】

「画像を解析」とは、デジタル画像データから特定の情報を抽出し、理解するプロセスである。

【0793】

「収納装置」とは、冷蔵庫やパントリーのように、物品を整理し収納するための設備である。

【0794】

「物品の情報」とは、物品の種類、数量、賞味期限など、物品を管理するために必要なデータである。

【0795】

「データベースに登録」とは、特定の情報を後で容易に検索、更新、管理できるようにデータベースに記録する処理である。

【0796】

「ユーザの感情状態」とは、ユーザが感じている感情や気分の状態を指し、音声や表情から解析されるものである。

【0797】

「使用優先順位」とは、特定の条件下でどの物品を使用するべきかの優先度を決定する基準である。

【0798】

「通知する」とは、ユーザに対して情報を提示し、注意を促すことを指す。

【0799】

「保存方法」とは、物品を適切に保つための手順や手法を意味する。

【0800】

「解析」とは、データを詳細に調査し、意味やパターンを見出すプロセスである。

【0801】

この発明は、ユーザの感情状態を考慮した食品管理を実現するシステムであり、サーバ、端末、および感情エンジンから構成される。このシステムは、ユーザがパーソナライズされた食品の保存方法と使用優先順位の提案を享受できるように設計されている。

【0802】

端末は、ユーザがスマートフォンやタブレットを使用して冷蔵庫内やその他の収納装置内の画像を撮影することを可能とする。この画像は、画像データとしてサーバへ送信される。サーバは、これを受信し、OpenCVやTensorFlowのような画像認識ツールを用いて画像を解析し、収納装置内の物品を識別する。識別された情報には、物品の種類、数量、賞味期限などが含まれ、これらはデータベースに登録される。

【0803】

ユーザは、端末を通じて自身の音声や表情を記録することで感情データを収集する。これには、Google Speech-to-Text APIやMicrosoft Face APIなどを使用することができる。サーバは、感情エンジンを用いてこのデータを解析し、ユーザの感情状態を判断する。この情報は、物品の使用や保存方法に反映され、ユーザに提供される食品の提案に利用される。

【0804】

サーバは、解析された感情データと物品情報を統合して、ユーザに最適な食品の保存場所と使用優先順位を提案する。たとえば、ユーザがストレスを感じている場合、サーバはストレス緩和に役立つ食品を優先する。これにより、ユーザは自分の感情に合った食品を選びやすくなる。

【0805】

具体例として、ユーザが「疲れている」と音声入力する場合、感情エンジンはこれを解析してユーザがストレス状態にあると判断し、サーバはストレス緩和に効果がある食品をすすめる。プロンプト文の例としては、「ユーザの感情状態を感知し、ストレスを和らげる食品を提案する方法を教えてください」といったものが挙げられる。このようにして、システムはユーザに向けた個別化された食品管理体験を提供する。

【0806】

実施例２における特定処理の流れについて図１３を用いて説明する。

【0807】

ステップ１：

【0808】

ユーザは、スマートフォンやタブレットを使用して冷蔵庫内の画像を撮影する。入力は、冷蔵庫内の現在の画像データである。端末はこの画像を、Wi-Fiやモバイルデータ通信を介してサーバに送信する。出力は画像データのサーバへの送信完了である。具体的な動作として、ユーザはアプリケーションを起動してカメラ機能を使用し、冷蔵庫内を撮影する。

【0809】

ステップ２：

【0810】

サーバは受信した画像データを解析し、画像認識技術を用いて冷蔵庫内の物品を識別する。入力はステップ１で送信された画像データである。サーバはOpenCVやTensorFlowを使用して画像内の食品を種類や数量などの情報として抽出する。出力は、識別された物品データであり、データベースへの登録である。具体的な動作としては、サーバが画像をピクセル単位で分析し、特徴量を抽出して、物品のラベル付けを行う。

【0811】

ステップ３：

【0812】

ユーザは端末を使用して自身の感情データを入力する。具体的には音声録音や顔認識カメラを使用して感情を記録する。入力は、ユーザの音声データや顔画像データである。端末はこれらのデータをサーバに送信する。出力は感情データのサーバへの送信完了である。ユーザは、「疲れている」や「嬉しい」といった感情を音声で記録する。

【0813】

ステップ４：

【0814】

サーバは感情データを解析し、ユーザの感情状態を特定する。入力はステップ３で送信された音声データと顔画像データである。感情エンジンが自然言語処理技術および顔認識を使用してデータを処理し、ユーザの感情状態（例えば、ストレス状態、幸福状態）を特定する。出力は、特定された感情状態情報である。具体的な動作としては、サーバが音声トーンや表情の特徴を解析し、感情状態を推測する。

【0815】

ステップ５：

【0816】

サーバは、物品データと感情状態情報を統合し、ユーザに最適な食品提案を生成する。入力は、ステップ２の物品データとステップ４の感情状態情報である。サーバはこれらをもとに機械学習アルゴリズムを適用し、ユーザの感情に合わせた食品の使用優先順位を決定する。出力は、提案された食品リストとその使用優先順位である。具体的な動作として、サーバは物品データベースにアクセスして、感情に効果的な食品を特定する。

【0817】

ステップ６：

【0818】

サーバは生成された食品提案を端末に送信する。入力はステップ５で生成された食品提案と使用優先順位である。端末はこれをユーザに通知し画面に表示する。出力は、ユーザが目視できる形での食品提案である。具体的な動作として、端末はプッシュ通知を用いてユーザにアラートを送り、詳細な情報をアプリケーション上で表示する。

【0819】

（応用例２）

【0820】

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

【0821】

ユーザの感情状態を考慮した食品の提案を、効率よく適切に行うことや、店舗での購買体験を個別化し、満足度を向上させることが課題である。現行のシステムでは、ユーザの気分や感情を反映した商品提案が十分に行われておらず、個別のニーズへの対応が不十分である。

【0822】

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

【0823】

この発明では、サーバは、画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、物品の使用優先順位をユーザに通知する手段と、ユーザの感情状態を解析し、その結果に基づいて適切な食品提案を生成する手段と、ユーザの視覚装置に食品提案を表示し、リアルタイムで通知する手段と、を含む。これにより、ユーザの感情状態を反映した個別化された食品提案が可能となる。

【0824】

「画像を解析して収納装置内にある物品を識別する」とは、デジタル画像処理技術を使用して、画像内の物体を認識し、各物の種類や特徴を特定することである。

【0825】

「物品の情報をデータベースに登録する」とは、特定された物品の詳細情報をデジタルデータベースに記録し、保存することである。

【0826】

「それぞれの物品の最適な保存位置を推奨する」とは、物品の特性および使用条件に基づいて、保存に最適な場所をユーザに提案することである。

【0827】

「物品の使用優先順位をユーザに通知する」とは、物品の状態や優先度に応じて、どの物品を先に使用すべきかをユーザに知らせることである。

【0828】

「ユーザの感情状態を解析する」とは、音声、表情、行動データをもとに、ユーザが現在どのような感情を持っているかを特定することである。

【0829】

「適切な食品提案を生成する」とは、解析されたユーザの感情状態とデータベースの情報を組み合わせて、ユーザに合った食品やメニューを選出し、提案することである。

【0830】

「ユーザの視覚装置に食品提案を表示する」とは、ユーザが使用するスマートデバイスのディスプレイに、適切な食品の提案を視覚的に示すことである。

【0831】

この発明の実施には、システムが必要であり、ユーザの感情状態に基づき個別化された食品の提案を行うためのものである。システムは、スマート眼鏡やスマートフォンのような端末、サーバ、および感情エンジンの三つの主要な構成要素を含む。

【0832】

まず、端末はユーザの表情や音声をリアルタイムで取得するために、カメラとマイクを用いる。このデータは、感情エンジンを利用してユーザの感情状態を解析する。感情エンジンは、ユーザの音声トーン、顔の動き、さらには指のタッチパターンを分析し、ユーザがどのような感情を持っているかを特定する。解析された感情データはサーバに送信される。

【0833】

サーバは、受信した感情データと、端末で取得された物品画像を合わせて解析する。ここでは、画像認識技術を利用して冷蔵庫内の物品を特定し、その情報をデータベースに格納する。サーバはその後、感情状態に応じて適切な食品の提案を生成する。この提案プロセスには、自然言語処理技術も用いられる。

【0834】

ユーザが視覚化装置であるスマート眼鏡を使用している場合、これらの提案は眼鏡に組み込まれたディスプレイに提示される。ユーザは、提案された食品をリアルタイムで確認し、購買や消費の意思決定を行うことができる。

【0835】

具体例として、ユーザが店舗に入った際にシステムが彼のストレスを感知した場合、サーバはリラックス効果があるとされるハーブティーやスムージーを提案する。こうした提案は、ユーザがその場で商品を選ぶ際の支援となり得る。

【0836】

生成AIモデルを用いたプロンプト文の例として、「ユーザが店舗に入ったとき、彼の表情と音声から感情状態を分析し、ストレスを感じている場合にはリラックス効果のあるハーブティーを提案するスマート眼鏡用アプリケーションについて詳述してください。」が挙げられる。

【0837】

応用例２における特定処理の流れについて図１４を用いて説明する。

【0838】

ステップ１：

【0839】

端末は、カメラを通じてユーザの顔の画像と、マイクを通じて音声データをリアルタイムで取得する。この際の入力は、ユーザのリアルタイムでの表情と音声であり、出力としては、これらのデータがデジタル形式で取得される。具体的な動作として、端末上のセンサーが作動し、継続的にデータを記録する。

【0840】

ステップ２：

【0841】

サーバは、端末から取得した顔の画像と音声データを受信し、感情エンジンに送信する。入力はユーザの顔画像と音声データで、出力として解析された感情状態が得られる。感情エンジンは、画像解析アルゴリズムや音声解析アルゴリズムを用いて、ユーザの感情状態を「幸福」「ストレス」などと分類する。

【0842】

ステップ３：

【0843】

感情エンジンによって解析された感情状態がサーバに返される。サーバはこの感情状態と端末から取得された物品画像データを組み合わせ、データベースから提案すべき食品を選定する。このステップの入力は解析された感情データと物品画像データで、出力はユーザの感情状態に合わせた商品提案である。サーバは、データベース内の商品の中から感情に適した食品を照合する。

【0844】

ステップ４：

【0845】

サーバは、選定された食品提案を視覚化装置であるスマート眼鏡に送信する。入力は生成された食品提案であり、出力はユーザのスマート眼鏡ディスプレイに表示される食品リストである。ここで具体的な動作として、サーバが提案情報をフォーマットし、眼鏡に対応する形でデータを送信する。

【0846】

ステップ５：

【0847】

ユーザはスマート眼鏡のディスプレイを通して、提案された食品を確認し、これに基づいて購買行動を決定する。入力はディスプレイ上の食品提案で、出力はユーザの選択した購入対象となる。ユーザは提示された情報をもとに意思決定を行い、店舗での購入を進める。

【0848】

特定処理部２９０は、特定処理の結果をロボット４１４に送信する。ロボット４１４では、制御部４６Ａが、スピーカ２４０及び制御対象４４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

【0849】

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

【0850】

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ロボット４１４によって特定処理が行われるようにしてもよい。

【0851】

なお、感情エンジンとしての感情特定モデル５９は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情特定モデル５９は、特定のマッピングである感情マップ（図９参照）に従い、ユーザの感情を決定してよい。また、感情特定モデル５９は、同様に、ロボットの感情を決定し、特定処理部２９０は、ロボットの感情を用いた特定処理を行うようにしてもよい。

【0852】

図９は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

【0853】

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

【0854】

感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

【0855】

ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。

【0856】

感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。

【0857】

感情特定モデル５９は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図１０に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図１０では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

【0858】

以上、本開示に係るシステムをデータ処理装置１２の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。

【0859】

上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。例えば、データ生成モデル５８が、データ処理装置１２の外部装置に設けられ、当該外部装置において、入力データに応じたデータの生成を行うようにしてもよい。

【0860】

上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。

【0861】

また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。

【0862】

なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。

【0863】

特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。

【0864】

特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0865】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0866】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0867】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0868】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0869】

以上の実施形態に関し、更に以下を開示する。

【0870】

（請求項１）

【0871】

画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、

【0872】

識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、

【0873】

物品の使用優先順位をユーザに通知する手段と、

【0874】

ユーザからの保存方法に関するリクエストを解析し、適切な情報を返答する手段と、

【0875】

を含むシステム。

【0876】

（請求項２）

【0877】

物品の賞味期限を監視し、その期限が近い物品を優先的に使用するよう促す、請求項１記載のシステム。

【0878】

（請求項３）

【0879】

画像認識技術および自然言語処理技術を用いて効率的に物品の位置管理および保存方法の提案を行う、請求項１記載のシステム。

【0880】

「実施例１」

【0881】

（請求項１）

【0882】

画像を解析し、収納装置内にある物品を識別し、物品の情報を情報格納装置に登録する手段と、

【0883】

識別された物品に基づき、それぞれの物品の最適な保存場所を計算し推奨する手段と、

【0884】

物品の使用優先順位を通知装置を介して利用者に提示する手段と、

【0885】

利用者からの保存方法に関する要求を解釈して、適切な情報を応答する手段と、

【0886】

物品の最適保存場所の提案を生成し、利用者に表示する手段と、

【0887】

画像認識技術を用いて物品を認識する手段と、

【0888】

情報解析技術を用いて利用者の要求を処理する手段と、

【0889】

を含むシステム。

【0890】

（請求項２）

【0891】

物品の期限情報を監視し、その期限が近づく物品を優先的に使用するよう促す手段を備えた、請求項１記載のシステム。

【0892】

（請求項３）

【0893】

画像認識技術および自然言語解析技術を用いて効率的に物品の位置管理および保存方法の提案を行う手段を備えた、請求項１記載のシステム。

【0894】

「応用例１」

【0895】

（請求項１）

【0896】

画像を解析して収納装置内にある物品を識別し、物品の情報をデータ集合に登録する手段と、

【0897】

識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、

【0898】

物品の使用優先順位を利用者に通知する手段と、

【0899】

利用者からの保存方法に関する要求を解析し、適切な情報を返答する手段と、

【0900】

実世界の閲覧装置を通じて物品情報をリアルタイムに表示し、在庫管理を改善する手段と、

【0901】

を含むシステム。

【0902】

（請求項２）

【0903】

物品の賞味期限を監視し、その期限が近い物品を優先的に使用するよう促す、請求項１記載のシステム。

【0904】

（請求項３）

【0905】

画像認識技術および自然言語処理技術を用いて効率的に物品の位置管理および保存方法の提案を行い、実世界の閲覧装置との連携により情報を視覚的に提供する、請求項１記載のシステム。

【0906】

「感情エンジンを組み合わせた場合の実施例２」

【0907】

（請求項１）

【0908】

画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、

【0909】

識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、

【0910】

ユーザの感情状態を収集及び解析し、その感情状態に応じた物品の使用優先順位を決定する手段と、

【0911】

ユーザに物品の使用優先順位や最適な保存方法に関する情報を通知する手段と、

【0912】

を含むシステム。

【0913】

（請求項２）

【0914】

物品の賞味期限を監視し、その期限が近い物品を優先的に使用するよう促す、請求項１記載のシステム。

【0915】

（請求項３）

【0916】

画像認識技術および自然言語処理技術を用いて効率的に物品の位置管理および保存方法の提案を行い、ユーザの感情状態を解析して食品管理をカスタマイズする、請求項１記載のシステム。

【0917】

「感情エンジンを組み合わせた場合の応用例２」

【0918】

（請求項１）

【0919】

画像を解析して収納装置内にある物品を識別し、物品の情報をデータベースに登録する手段と、

【0920】

識別された物品に基づき、それぞれの物品の最適な保存位置を推奨する手段と、

【0921】

物品の使用優先順位をユーザに通知する手段と、

【0922】

ユーザの感情状態を解析し、その結果に基づいて適切な食品提案を生成する手段と、

【0923】

ユーザの視覚装置に食品提案を表示し、リアルタイムで通知する手段と、

【0924】

…

【0925】

を含むシステム。

【0926】

（請求項２）

【0927】

物品の賞味期限を監視し、その期限が近い物品を優先的に使用するよう促す、請求項１記載のシステム。

【0928】

（請求項３）

【0929】

画像認識技術および自然言語処理技術を用いて効率的に物品の位置管理および保存方法の提案を行い、さらにユーザの感情解析を通じて個別化された食品提案を行う、請求項１記載のシステム。

【符号の説明】

【0930】

１０、２１０、３１０、４１０ データ処理システム
１２ データ処理装置
１４ スマートデバイス
２１４ スマート眼鏡
３１４ ヘッドセット型端末
４１４ ロボット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】