知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024041290
(43)【公開日】2024-03-27
(54)【発明の名称】食材管理システム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240319BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022146012
(22)【出願日】2022-09-14
(71)【出願人】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】藤原 圭吾
(72)【発明者】
【氏名】船山 敦子
(72)【発明者】
【氏名】小川 真申
(72)【発明者】
【氏名】吉川 晴奈
(72)【発明者】
【氏名】築地新 建太
(72)【発明者】
【氏名】加藤 功記
(72)【発明者】
【氏名】長谷川 亮
(72)【発明者】
【氏名】青山 勝
(72)【発明者】
【氏名】石野 千春
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC11
(57)【要約】
【課題】音声入力を併用した食材登録が円滑に行える食材管理システムを提供する。
【解決手段】１以上のコンピュータに、音声入力の受付を開始させる開始部と、音声認識した文字列を表示画面に表示させる表示出力部と、前記表示画面に表示された文字列の編集をユーザの操作に応じて受付け、編集された場合は編集後の文字列を前記表示画面に表示させる編集処理部と、音声認識した文字列に終端を付与し、その後に音声認識した文字列を新たな文字列として扱わせる終端付与部と、ユーザの操作に応じて、前記表示画面に表示されている文字列を食材名として、食材リストに追加させる登録処理部と、としての動作を行わせる、食材管理システム。
【選択図】図１
【解決手段】１以上のコンピュータに、音声入力の受付を開始させる開始部と、音声認識した文字列を表示画面に表示させる表示出力部と、前記表示画面に表示された文字列の編集をユーザの操作に応じて受付け、編集された場合は編集後の文字列を前記表示画面に表示させる編集処理部と、音声認識した文字列に終端を付与し、その後に音声認識した文字列を新たな文字列として扱わせる終端付与部と、ユーザの操作に応じて、前記表示画面に表示されている文字列を食材名として、食材リストに追加させる登録処理部と、としての動作を行わせる、食材管理システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
１以上のコンピュータに、
音声入力の受付を開始させる開始部と、
音声認識した文字列を表示画面に表示させる表示出力部と、
前記表示画面に表示された文字列の編集をユーザの操作に応じて受付け、編集された場合は編集後の文字列を前記表示画面に表示させる編集処理部と、
音声認識した文字列に終端を付与し、その後に音声認識した文字列を新たな文字列として扱わせる終端付与部と、
ユーザの操作に応じて、前記表示画面に表示されている文字列を食材名として、食材リストに追加させる登録処理部と、としての動作を行わせる、食材管理システム。
音声入力の受付を開始させる開始部と、
音声認識した文字列を表示画面に表示させる表示出力部と、
前記表示画面に表示された文字列の編集をユーザの操作に応じて受付け、編集された場合は編集後の文字列を前記表示画面に表示させる編集処理部と、
音声認識した文字列に終端を付与し、その後に音声認識した文字列を新たな文字列として扱わせる終端付与部と、
ユーザの操作に応じて、前記表示画面に表示されている文字列を食材名として、食材リストに追加させる登録処理部と、としての動作を行わせる、食材管理システム。
【請求項2】
請求項１に記載の食材管理システムであって、
前記表示出力部は、２以上の文字列を表示し、
前記編集処理部は、前記表示出力部が表示する文字列それぞれに対して編集が可能であり、
前記登録処理部は、前記表示出力部が表示する文字列それぞれを食材名として、食材リストに追加させる、食材管理システム。
前記表示出力部は、２以上の文字列を表示し、
前記編集処理部は、前記表示出力部が表示する文字列それぞれに対して編集が可能であり、
前記登録処理部は、前記表示出力部が表示する文字列それぞれを食材名として、食材リストに追加させる、食材管理システム。
【請求項3】
請求項２に記載の食材管理システムであって、
食材名と、該食材名に対応する食材詳細情報とを記憶したマスタデータベースを参照可能であり、
前記登録処理部の動作の際、前記表示出力部が表示している文字列それぞれに対応する食材名を前記マスタデータベースから検索し、対応する食材名がある文字列については、該食材名及び対応する食材詳細情報を組として食材リストに追加させることが可能な、食材管理システム。
食材名と、該食材名に対応する食材詳細情報とを記憶したマスタデータベースを参照可能であり、
前記登録処理部の動作の際、前記表示出力部が表示している文字列それぞれに対応する食材名を前記マスタデータベースから検索し、対応する食材名がある文字列については、該食材名及び対応する食材詳細情報を組として食材リストに追加させることが可能な、食材管理システム。
【請求項4】
請求項１に記載の食材管理システムであって、
前記表示出力部は、１の文字列を表示し、
前記登録処理部の動作の後、自動的に前記開始部を動作させる、食材管理システム。
前記表示出力部は、１の文字列を表示し、
前記登録処理部の動作の後、自動的に前記開始部を動作させる、食材管理システム。
【請求項5】
請求項４に記載の食材管理システムであって、
食材名と、該食材名に対応する食材詳細情報とを記憶したマスタデータベースを参照可能であり、
前記表示出力部が表示している文字列に対応する食材名を前記マスタデータベースから検索し、対応する食材名があれば前記表示出力部に候補食材として表示させ、
前記表示画面に表示された、該候補食材の選択をユーザから受付けた場合、前記登録処理部は、該候補食材の食材名及び対応する食材詳細情報を組として食材リストに追加させる、食材管理システム。
食材名と、該食材名に対応する食材詳細情報とを記憶したマスタデータベースを参照可能であり、
前記表示出力部が表示している文字列に対応する食材名を前記マスタデータベースから検索し、対応する食材名があれば前記表示出力部に候補食材として表示させ、
前記表示画面に表示された、該候補食材の選択をユーザから受付けた場合、前記登録処理部は、該候補食材の食材名及び対応する食材詳細情報を組として食材リストに追加させる、食材管理システム。
【請求項6】
請求項３又は請求項５に記載の食材管理システムであって、
前記マスタデータベースとは別に用意され、食材名または食材ＩＤによって該マスタデータベースの食材に対応する食材を参照可能なコンシェルジュデータベースを参照可能であり、
前記食材リスト中の或る食材を指定することで、該食材の食材名または食材ＩＤを前記コンシェルジュデータベースの検索鍵として自動入力させることができる、食材管理システム。
前記マスタデータベースとは別に用意され、食材名または食材ＩＤによって該マスタデータベースの食材に対応する食材を参照可能なコンシェルジュデータベースを参照可能であり、
前記食材リスト中の或る食材を指定することで、該食材の食材名または食材ＩＤを前記コンシェルジュデータベースの検索鍵として自動入力させることができる、食材管理システム。
【請求項7】
請求項３又は請求項５に記載の食材管理システムであって、
前記食材詳細情報として、貯蔵庫の保存場所が含まれ、
ユーザは、前記保存場所として設定され得る貯蔵室の種類を予め指定できる、食材管理システム。
前記食材詳細情報として、貯蔵庫の保存場所が含まれ、
ユーザは、前記保存場所として設定され得る貯蔵室の種類を予め指定できる、食材管理システム。
【請求項8】
請求項３又は請求項５に記載の食材管理システムであって、
前記食材詳細情報として、食材の消費目安期間が含まれ、
ユーザは、前記消費目安期間として設定される期間の長短を予め指定できる、食材管理システム。
前記食材詳細情報として、食材の消費目安期間が含まれ、
ユーザは、前記消費目安期間として設定される期間の長短を予め指定できる、食材管理システム。
【請求項9】
請求項３又は請求項５に記載の食材管理システムであって、
前記食材詳細情報として、食材の標準画像データが２種以上含まれ、
ユーザは、前記標準画像データとして設定する種類を、それぞれの食材の食材リストへの追加の際に指定できる、食材管理システム。
前記食材詳細情報として、食材の標準画像データが２種以上含まれ、
ユーザは、前記標準画像データとして設定する種類を、それぞれの食材の食材リストへの追加の際に指定できる、食材管理システム。
【請求項10】
請求項３又は請求項５に記載の食材管理システムであって、
前記食材名として、同じ食材を示す食材名であるが異なる保存状態を示すものが２種以上、前記マスタデータベースに準備されている、食材管理システム。
前記食材名として、同じ食材を示す食材名であるが異なる保存状態を示すものが２種以上、前記マスタデータベースに準備されている、食材管理システム。
【請求項11】
請求項３又は請求項５に記載の食材管理システムであって、
前記表示出力部が表示している文字列を検索ワードとして前記マスタデータベースを検索した結果、複数の完全一致の候補食材を取得した場合、前記登録処理部を動作させても、該食材名に対しては食材詳細情報を設定しない、食材管理システム。
前記表示出力部が表示している文字列を検索ワードとして前記マスタデータベースを検索した結果、複数の完全一致の候補食材を取得した場合、前記登録処理部を動作させても、該食材名に対しては食材詳細情報を設定しない、食材管理システム。
【請求項12】
請求項３又は請求項５に記載の食材管理システムであって、
当該食材管理装置は、カメラを備え、
前記カメラが撮像した画像に画像認識処理を行って、該画像に含まれる食材それぞれを切り取り、
画像認識の結果、食材名を認識した食材については、
該食材の前記食材詳細情報として前記画像から切り取った該食材の画像を設定し、
前記マスタデータベースから該食材名に対応する食材詳細情報の少なくとも一部を取得して、該食材の食材詳細情報として設定し、
該食材を前記食材リストに追加する、食材管理システム。
当該食材管理装置は、カメラを備え、
前記カメラが撮像した画像に画像認識処理を行って、該画像に含まれる食材それぞれを切り取り、
画像認識の結果、食材名を認識した食材については、
該食材の前記食材詳細情報として前記画像から切り取った該食材の画像を設定し、
前記マスタデータベースから該食材名に対応する食材詳細情報の少なくとも一部を取得して、該食材の食材詳細情報として設定し、
該食材を前記食材リストに追加する、食材管理システム。
【請求項13】
請求項３又は請求項５に記載の食材管理システムであって、
当該食材管理装置は、カメラを備え、
前記カメラが撮像した画像に画像認識処理を行って、該画像に含まれる食材それぞれを切り取り、
画像認識の結果、食材ごとに切り取った食材画像それぞれを表示して、それぞれの食材の前記食材リストへの追加要否を前記ユーザに問い合わせる、食材管理システム。
当該食材管理装置は、カメラを備え、
前記カメラが撮像した画像に画像認識処理を行って、該画像に含まれる食材それぞれを切り取り、
画像認識の結果、食材ごとに切り取った食材画像それぞれを表示して、それぞれの食材の前記食材リストへの追加要否を前記ユーザに問い合わせる、食材管理システム。
【請求項14】
請求項１又は請求項４に記載の食材管理システムであって、
前記食材リストとして、保管中の食材リストと削除した食材リストと、を備え、
前記保管中の食材リストに含まれ、消費目安日を経過した食材は、前記削除した食材リストに移動する、食材管理システム。
前記食材リストとして、保管中の食材リストと削除した食材リストと、を備え、
前記保管中の食材リストに含まれ、消費目安日を経過した食材は、前記削除した食材リストに移動する、食材管理システム。
【請求項15】
請求項１乃至請求項５の何れか一項に記載の食材管理システムであって、
前記食材リストに、消費目安日が近い食材が含まれる場合、該食材の消費を勧めるリマインド表示を行い、そうでない場合は旬の時期の食材を表示するレコメンド表示を行う、食材管理システム。
前記食材リストに、消費目安日が近い食材が含まれる場合、該食材の消費を勧めるリマインド表示を行い、そうでない場合は旬の時期の食材を表示するレコメンド表示を行う、食材管理システム。
【請求項16】
請求項１乃至請求項５の何れか一項に記載の食材管理システムであって、
前記食材リストに含まれる、消費目安日が未設定のまま時間経過した食材の存在、又は、消費目安日が未設定の食材の数に応じて、消費目安日の設定を促す出力を行う、食材管理システム。
前記食材リストに含まれる、消費目安日が未設定のまま時間経過した食材の存在、又は、消費目安日が未設定の食材の数に応じて、消費目安日の設定を促す出力を行う、食材管理システム。
【請求項17】
請求項１乃至請求項５の何れか一項に記載の食材管理システムであって、
食材詳細情報として、一の食材に対して、保存場所を２種類以上設定できる、食材管理システム。
食材詳細情報として、一の食材に対して、保存場所を２種類以上設定できる、食材管理システム。
【請求項18】
請求項１乃至請求項５の何れか一項に記載の食材管理システムであって、
当該食材管理装置は、貯蔵室を仮想的に複数の領域に区切って認識可能に設定されたカメラを備え、
前記複数の領域の何れかを指定して所定の食材を保存する旨のユーザからの指定を受けて、該領域に保存された該所定の食材の個数認識及び／又は回転率の追跡を実行する、食材管理システム。
当該食材管理装置は、貯蔵室を仮想的に複数の領域に区切って認識可能に設定されたカメラを備え、
前記複数の領域の何れかを指定して所定の食材を保存する旨のユーザからの指定を受けて、該領域に保存された該所定の食材の個数認識及び／又は回転率の追跡を実行する、食材管理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、食材管理システムに関する。
【背景技術】
【0002】
近年、ＩＴ技術の進展により、携帯情報端末の音声入力機能を活用した家庭電化製品の管理制御が実現されている。例えば冷蔵庫に関して特許文献１では、冷蔵庫に保存された食材の管理において、使い勝手の向上を図ることができる情報処理システムを提供することを目的として、「情報処理システムは、音声対話機能の１回の受付終了までに複数種類の食材を登録可能である処理部を持つ。処理部は、１回の起動において１つの指示を受け付けたら起動状態を終了する第１モードと、１回の起動において１つの指示を受け付けても起動状態を継続する第２モードとを実行可能であり、食材の登録に関しては第２モードを実行する。」ことを提案している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１２８５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１によれば、携帯情報端末に対するウェイクアップワードを毎回使用しなくても、連続して音声入力が可能であり、食品名に付随する数量などの不明な情報については、手入力を促す案内をすることにしている。
【0005】
しかし、音声入力では音声認識ミスによる、意図しない食材名認識があり得るが、これを円滑に訂正しながら、食材登録していくには改善の余地がある。
【課題を解決するための手段】
【0006】
以上のことから本発明においては、１以上のコンピュータに、音声入力の受付を開始させる開始部と、音声認識した文字列を表示画面に表示させる表示出力部と、前記表示画面に表示された文字列の編集をユーザの操作に応じて受付け、編集された場合は編集後の文字列を前記表示画面に表示させる編集処理部と、音声認識した文字列に終端を付与し、その後に音声認識した文字列を新たな文字列として扱わせる終端付与部と、ユーザの操作に応じて、前記表示画面に表示されている文字列を食材名として、食材リストに追加させる登録処理部と、としての動作を行わせる、食材管理システムとした。
【図面の簡単な説明】
【0007】
【図1】本発明の実施例に係る食材管理装置の全体構成例を示す図。
【図2】音声入力時の携帯情報端末２の画面構成例を示す図。
【図3】方式１における画面遷移例を示す図。
【図4】方式１における候補情報が存在する場合での画面遷移例を示す図。
【図5】方式１における候補情報が存在しない場合での画面遷移例を示す図。
【図6】方式１におけるユーザと携帯情報端末とサーバの間での一連の処理手順を示すシーケンス図。
【図7】方式２における画面遷移例を示す図。
【図8】方式２の画面遷移例を示す図。
【図9】仮リスト表示からの食材名変更時の画面遷移例を示す図。
【図10】仮リスト表示からの食材名削除時の画面遷移例を示す図。
【図11】方式２におけるユーザと携帯情報端末とサーバの間での一連の処理手順を示すシーケンス図。
【図12】マスタデータベースとコンシェルジュデータベースの構成例を示す図。
【図13】マスタデータベース、コンシェルジュデータベースを参照するときの概略フローを示す図。
【図14】コンシェルジュデータベースのデータ構造例を示す図。
【図15】型式及び設定ごとに想定される貯蔵室位置を示す図。
【図16】コンシェルジュデータベースを参照するときの画面遷移を示す図。
【図17】マスタデータベースとコンシェルジュデータベースの連動処理手順を示すシーケンス図。
【図18】検索ワードに完全一致する食材が複数ある場合の処理を示す図。
【図19】消費目安日を過ぎた食材の表示の取り扱いを示す図。
【図20】保管中の食材リストから削除した食材の取り扱いを示す図。
【図21】食材管理機能起動直後のトップ画面の一例を示す図。
【図22】消費目安登録のリマインダ機能に関する画面遷移を示す図。
【図23】食材の追加をどの方法で行うかユーザが選択できる場合の画面遷移を示す図。
【発明を実施するための形態】
【0008】
以下、本発明の実施例について、添付の図面を参照しつつ説明する。実施例においては食材管理装置（食材管理システム）について説明するが、食材に限らず、任意の物品についても適用できる。
【実施例0009】
図１は、本発明の実施例に係る食材管理装置の全体構成例を示す図である。食材管理装置はコンピュータとしての携帯情報端末２と、マスタデータベース３１、食材リスト３２、及びコンシェルジュデータベース３３を記憶するコンピュータとしてのサーバ３を含む。これらがクラウドまたはネットワーク（以下、単にクラウド５という。）を経由して連携したコンピュータの演算処理を行い、適宜携帯情報端末２の画面を生成する。例えば食材リスト３２は、携帯情報端末２などに記憶されてもよい。貯蔵庫の一例としての冷蔵庫４は、例えば後述するカメラを備える場合は少なくとも、クラウド５に接続可能にすることができる。
【0010】
マスタデータベース３１には、図１２に示すように、一意の食材ＩＤ３１１と食材名３１２に対して、検索ワード３１３、参照食材情報３１０（消費目安期間３１４、推奨保存場所３１５、食材カテゴリ３１６、１つ又は２つ以上の標準画像データ３１７，３１８）、が組として紐づけて記憶されている。
【0011】
また、携帯情報端末２に表示させることができる食材リスト３２は、１以上の食材を登録したリストであり、それぞれの食材については、食材名３２２、食材詳細情報３２０（消費目安日３２４、保存場所３２５、食材カテゴリ３２６、食材画像３２７）が紐付けられて食材リスト３２中に記憶される。食材リスト３２を表示する携帯情報端末２の表示画面を例示する図１２を参照されたい。また、後述するが、図１２に例示する食材詳細情報３２０の表示画面には、コンシェルジュデータベース３３との連動ボタン７２が表示されることができる。
【0012】
食材管理装置においては、ユーザが管理する食材の食材リスト３２を作成、保持するとともに、食材リスト３２に登録されたそれぞれの食材の食材名３２２、食材詳細情報３２０を設定、記憶する。食材名３２２、食材詳細情報３２０は、マスタデータベース３１の食材名３１２、参照食材情報３１０を参照して設定することもできるし、携帯情報端末２を通じてユーザ１が設定することもできる。
【0013】
携帯情報端末２は、演算部ＣＰＵと、データを一時保管するＲＡＭと、プログラムを記録するＲＯＭと、通信部ＴｒなどがバスＢＵＳを介して接続されている。演算部ＣＰＵは、ＲＯＭに記録されたプログラムに従い種々の処理が可能であるが、図１では音声入力に特化した処理機能を主として記載している。携帯情報端末２は、音声入力を受付けるマイクを備えることができる。
【0014】
音声入力に関連する機能としては、音声入力に関する音声入力部２１の機能として音声入力の受付を開始させる開始部２１ａと、新たな文字列の音声入力の受付をユーザ１の操作を必要とせずに開始させる連続部２１ｂとを備える。また、音声入力された文字列などを表示画面に表示させる表示出力部２２と、入力された音声を文字列に文字変換する文字変換部２３の機能として１つの文字列の終端を付与する終端付与部２３ａと、表示画面に表示中の文字列の編集をユーザ１の操作に応じて受付ける編集処理部２４と、表示されている文字列それぞれに応じた食材を食材リスト３２に登録させる登録処理部２５を備える。また上記個別機能を有機的に結合させて実行するとともに、ユーザ要望を含め、クラウド５を介した全体制御を統括処理部２６において管理している。統括処理部２６は必須ではない。
【0015】
図２は、音声入力時の携帯情報端末２の画面構成例を示している。この場合の表示画面例では、上部位置に主画面９１，下部位置に文字入力画面９２，中間部位置に音声入力状態表示部９３と文字列表示部９４を配置し、少なくともこれらの表示部を含んで構成されるのがよい。また例えば最下部には各種のメニューボタン９６が配置されている。
【0016】
なお主画面９１には、音声入力またはユーザ１の操作指示に応じて情報が逐次変更されて表示される。文字入力画面９２はキーボードによる文字入力画面であり、ユーザ１によるテキスト（文字列）の手入力を可能とする。音声入力状態表示部９３は例えばマイクのシンボルを用いて、音声入力有効時と音声入力無効時とを区別して表示する。文字列表示部９４は、文字入力画面９２を用いたキーボードからの文字入力、またはマイクからの音声入力に応じて生成した文字列を、そのまままたは漢字などに変換して表示している。
【0017】
【0018】
ここで図３または図７に示す処理手順は、図１に示した食材管理装置によって実行される。例えば、後述するテキスト編集は、携帯情報端末２の表示画面に表示中の文字列の編集をユーザ１の操作に応じて、編集処理部２４が受付けることで実現される。音声での連続入力は音声入力部２１の連続部２１ｂが新たな文字列の音声入力の受付を開始させることで実現されている。
【0019】
＜一度に一食材の登録を行う方式１＞
方式１によって食材リスト３２に食材を登録する処理手順を説明する。図３は方式１における画面遷移例を示す図である。図４は方式１における候補情報が存在する場合での画面遷移例を示す図である。図５は方式１における候補情報が存在しない場合での画面遷移例を示す図である。
方式１によって食材リスト３２に食材を登録する処理手順を説明する。図３は方式１における画面遷移例を示す図である。図４は方式１における候補情報が存在する場合での画面遷移例を示す図である。図５は方式１における候補情報が存在しない場合での画面遷移例を示す図である。
【0020】
まず、音声入力状態表示部９３の操作やウェイクアップワードの入力によって音声入力が開始されると（Ｓ１０）、音声による文字入力を受付け、認識した文字列が文字列表示部９４に表示される。無音の時間が例えば１秒間以上継続したり、音声入力状態表示部９３がタップされるなどして音声入力の終了が検知された場合（Ｓ１１，Ｙ）、１つの食材名の音声入力（仮入力）が終わり、１つの文字列（食材名）の終端だと判断する。終端を付与した後に音声認識された文字列は、新たな文字列として扱われることができる。終端付与後に新たな音声認識が開始されるまでの間に、後述の登録指示がされなかった場合は、マスタデータベース３１の検索による候補食材名が唯一であればその候補食材名を以て食材リスト３２に登録させてもよいし、その直前までに入力されていた文字列を破棄してもよい。
【0021】
次に、音声入力状態表示部９３の表示を音声受付ＯＦＦとして、音声入力の受付を一時停止する。また、少なくともこれまでには、編集処理部２４を有効化してキーボードを文字入力画面９２に表示させる。図４，図５では、音声入力の受付前から編集処理部２４を有効化しているが、このようにしても構わない。
【0022】
次に、文字列表示部９４に表示されている文字列を検索ワード３１３としてマスタデータベース３１を検索する（Ｓ１２）。検索ワード３１３に一致する食材（食材ＩＤ３１１または食材名称３１２）が発見されれば（Ｓ１３，Ｙ）、候補食材名として例えば主画面９１にその食材名称３１２を表示する（Ｓ１４）。
【0023】
音声認識が不調な場合などは、音声認識結果として文字列表示部９４に表示された文字列を、編集処理部２４を通じてユーザが編集できる。この文字列編集があった場合（Ｓ１５，Ｙ）、編集後の文字列によって再びＳ１２に戻って処理を進める。これにより、容易に音声認識結果の不調を修正できる。
【0024】
主画面９１に表示されていた候補食材名がタップされるなどして選択されると（Ｓ１６，Ｙ）、選択された食材名称３１２を以て登録指示があったと判断する。すなわち、当該食材名称３１２を食材名３２２として食材リスト３２に追加するとともに、マスタデータベース３１に格納されていた参照食材情報３１０を当該食材に自動設定する（Ｓ１７）。一方、マスタデータベース３１に候補食材が発見されない場合に例えばキーボードの「決定」ボタンが操作されるなどして登録指示がされた場合は、参照食材情報３１０を使用できないため、食品詳細情報３２０を自動設定せずに、文字列表示部９４に入力されていた食材名で食材リスト３２に追加する。このようにして食材リスト３２に１つの食材を追加した後、再び音声入力が開始される（Ｓ１０）。この開始は、連続部２１ｂの動作として自動的に行われてもよいし、音声入力状態表示部９３の操作によって行われてもよい。
【0025】
なお、Ｓ１３において検索ワード３１３に一致する食材がマスタデータベース３１にない場合、候補食材（食材名３１２）は表示されない（Ｓ１３Ｎ）。この場合、図３には示していないが、ユーザは、文字列編集を行って（Ｓ１５）、再びマスタデータベース３１を検索して候補食材を探すようにしてもよい（Ｓ１２）。また、マスタデータベース３１に格納されていない食材名のまま（文字列表示部９４に表示された文字列のまま）食材リスト３２に追加させてもよい。このとき、食材リスト３２にはこの文字列を食材名３２２として食材が追加されるものの、参照できる参照食材情報３１０がないため、食材詳細情報３２０は自動設定されない。
【0026】
また、Ｓ１２は音声入力の終了前にも行ってもよい。
【0027】
図４、図５は、第１の方式における各状態での画面遷移例を示しており、図４は候補情報が存在する場合（Ｓ１３，Ｙ）、図５は候補情報が存在しない場合（Ｓ１３，Ｎ）の画面遷移例である。いずれもＳ１０からの画面遷移を示している。
【0028】
まず図４において説明する。画面表示内容は画面１０１から画面１０５まで順次遷移する。
【0029】
画面１０１は、Ｓ１０の直前（図３の「開始」の状態）で表示されることができる。主画面９１には、この時点で登録済の食材が列挙された食材リストの一部が表示されることができる。音声入力状態表示部９３がタップされると画面１０２に遷移する（Ｓ１０）。
【0030】
画面１０１の一部、例えば下部位置には文字入力画面９２としてキーボードが表示される。音声入力と、テキスト編集の併用を可能にしている。
【0031】
画面１０２は、音声入力中の画面であり、音声入力状態表示部９３は音声入力中であることを示すように強調表示されている。音声入力で確認できた文字列が文字列表示部９４に表示されている。この例では、ユーザは「とまと」と発声し、その意思通りに音声認識されたものとする。
【0032】
画面１０３は、音声入力後の画面である（Ｓ１１，Ｙ）。音声入力に基づいてマスタデータベース３１を参照して、音声入力に対応する候補表示として「トマト」、さらに「ミニトマト」が主画面９１に表示されている（Ｓ１４）。音声認識結果が不調で、例えば「トメト」などという文字列が文字列表示部９４に表示されてしまった場合は、文字入力画面９２を使いながら編集することができる。なお、この状態ではマイクからの音声入力を停止（Ｓ１２）しているので、音声入力状態表示部９３には音声入力無効を示す表示がされている。また、候補食材名の表示中は、食材リスト３２の食材表示を隠している。これにより、候補食材が表示されていることをユーザは認識しやすい。
【0033】
画面１０４は、候補確定の画面であり、主画面９１に表示された食材の１つをタップなどして指示（選択）することができる。方式１では、例えば、候補食材名のタップが登録指示部９５として機能する。ここでは「トマト」を選択して確定したとする。
【0034】
画面１０５は、登録指示後の画面である。主画面９１の食材リスト３２には選択した食材「トマト」が追加されている。このとき、「トマト」の食材情報としては、食材名３２２「トマト」のみでの食材リスト３２への追加ではなく、マスタデータベース３１に設定されている参照食材情報３１０を参照することで食材詳細情報３２０が自動設定される。例えば、「トマト」の食材リスト３２への追加日３２９（図１２参照されたい）を基準に、消費目安期間３１４に設定されている日数を参照して、追加日３２９からこの日数だけ後の日付を、「トマト」の消費目安日３２４であるとして自動設定する。また、例えば、マスタデータベース３１の食材名３１２が「トマト」である項目から、推奨保存場所３１５「野菜室」を参照して保存場所３２５に設定する。
【0035】
さて、画面１０５には、「トマト」の食材リストへの追加後、音声入力が自動で活性化される（Ｓ１０）。音声入力状態表示部９３には音声入力中であることを示すように強調表示がされている。このように、一度に一つの食材の登録指示を受付ける方式１では、文字列の終端付与後は一旦、音声入力の受付を停止する（Ｓ１２）。編集処理部２４がユーザ１の指示に応じて動作し、さらに登録指示部９５が動作して一つの食材が食材リスト３２に追加されてから、連続部２１ｂがはたらいて新たな文字列の音声入力の受付が開始することとなる。次の食材の入力に直ちに入ることができる。
【0036】
次に図５について説明する。画面表示内容は画面１１１から画面１１５まで順次遷移する。なお、画面１１１、１１２は、図４の画面１０１、１０２と基本的に同じであるので説明は繰り返さない。但し、画面１１２では、マスタデータベース３１に一致する検索ワード３１３が登録がされていない文字列である、「〇△□×」が入力されているものとする。
【0037】
画面１１３は、文字列表示部９４の文字列を検索ワード３１３としてマスタデータベース３１を参照した結果、一致する候補食材が発見されない（検索ワード３１３に紐づく食材名３１２が発見されない）ため、主画面９１上には候補が表示されていない（Ｓ１３Ｎ）。
【0038】
画面１１４は、候補食材が発見されない状態で文字入力画面９２からのキーボード操作により、登録指示部９５としての「完了」ボタンを選択した場面を示している。
【0039】
画面１１５は、登録指示後の画面であり、主画面９１には入力されていた文字列「〇△□×」を食材名３２２とした食材が追加されている。しかし、マスタデータベース３１には対応する候補食材が発見されていないため、消費目安日３２４や保管場所３２５といった食品詳細情報３２０の自動設定ができない。すなわち、食材名３２２のみが登録され、食材詳細情報３２０は未設定として登録される（Ｓ１７）。そして、再び音声入力の受付が開始される（Ｓ１０）。
【0040】
このように、候補情報が存在しない場合には、その食材の画像３２７や消費目安日３２４は自動設定されない。食材「〇△□×」については、ユーザが食材リスト３２からこの食材を選択して編集を行い、食材詳細情報３２０を手動設定できる。
【0041】
図６は、第１の方式におけるユーザ１と携帯情報端末２とサーバ３の間での一連の処理手順を示すシーケンス図である。処理ステップＳ２０１でユーザ１はマイクボタン（図２の音声入力状態表示部９３に相当）をタップし、これを受けた携帯情報端末２が処理ステップＳ２０２において音声入力機能を開始する。処理ステップＳ２０３でユーザ１による音声入力がされると処理ステップＳ２０４において音声の文字列変換後に文字列を表示する。処理ステップＳ２０５において音声入力後の文字列のキーボード操作による編集を可能とする。
【0042】
音声入力および／またはキーボード操作で編集された文字列は、検索ワード３１３として処理ステップＳ２０６においてサーバ３に送られ、サーバ３内のマスタデータベース３１を参照して候補を抽出する。処理ステップＳ２０７では、候補食材名を携帯情報端末２側に提示する。上述の例から明らかであるが、候補食材名の数としては、０，１，または２以上があり得る。
【0043】
処理ステップＳ２０８では、携帯情報端末２に表示された候補食材名３１２をユーザ１が確認する。表示された候補食材名３１２に適切なものを発見すれば、その候補食材名３１２を選択して登録指示を行い、発見しなければ文字列編集をして検索ワード３１３を変更したり、マスタデータベース３１にない食材であるとしてそのまま食材リスト３２に登録する登録指示をしたりすることができる。このようにして、食材リスト３２に追加する食材名３２２を確定させる。
【0044】
登録指示がされた食材名の情報は処理ステップＳ２０９でサーバ３に送られ、処理ステップＳ２１０においてサーバ３内の食材リスト３２に追加される。この際、マスタデータベース３１の参照食材情報３１０を参照して、食材詳細情報３２０を自動設定できる。なお、食材リスト３２は、携帯情報端末２で記憶してもよい。
【0045】
処理ステップＳ２１１では登録された食材リスト３２や食材詳細情報３２０を携帯情報端末２に表示する。処理ステップＳ２０２の音声入力待機状態に移動して次の音声入力を待つ。
【0046】
＜一度に複数食材の登録を可能とする方式２＞
図７は、第２の方式の処理手順を示す図である。まず、音声入力状態表示部９３の操作やウェイクアップワードの入力によって音声入力が開始されると（Ｓ２０）、音声による文字入力を受付ける。無音の時間が例えば１秒間以上継続したり、音声入力状態表示部９３がタップされるなどして音声入力の終了が検知された場合（Ｓ２１，Ｙ）、１つの食材名の音声入力（仮入力）が終わり、１つの文字列（食材名）の終端だと判断する。すなわち、１つの文字列が文字列表示部９４に仮リストとして表示される（Ｓ２２）。方式２では、仮リストに複数食材を留めておくことができる。このため、仮リストは、方式１では食材リスト３２の一部が表示されていた、主画面９１の範囲に表示される。
図７は、第２の方式の処理手順を示す図である。まず、音声入力状態表示部９３の操作やウェイクアップワードの入力によって音声入力が開始されると（Ｓ２０）、音声による文字入力を受付ける。無音の時間が例えば１秒間以上継続したり、音声入力状態表示部９３がタップされるなどして音声入力の終了が検知された場合（Ｓ２１，Ｙ）、１つの食材名の音声入力（仮入力）が終わり、１つの文字列（食材名）の終端だと判断する。すなわち、１つの文字列が文字列表示部９４に仮リストとして表示される（Ｓ２２）。方式２では、仮リストに複数食材を留めておくことができる。このため、仮リストは、方式１では食材リスト３２の一部が表示されていた、主画面９１の範囲に表示される。
【0047】
さらに、方式２においては、音声入力の受付が再開される（Ｓ２２）。続くＳ２３，Ｓ２５は割り込み処理として実行される。音声入力の受付再開は、連続部２１ｂの動作として自動的に行われてもよいし、音声入力状態表示部９３の操作によって行われてもよい。
【0048】
音声入力の受付中（Ｓ２２）、仮リストに登録されている文字列（食材名）いずれかがタップされるなどして選択された場合（Ｓ２３，Ｙ）、選択された文字列について、編集処理部２４が有効化して文字列編集を実行できる（Ｓ２４）。文字列編集の実行中は、音声入力は停止される。
【0049】
また、登録指示部９５としての登録ボタンがタップされるなどして登録指示がされた場合（Ｓ２５，Ｙ）、仮リストに登録されている文字列それぞれを検索ワード３１３としてマスタデータベース３１を検索する。文字列それぞれについて、検索ワード３１３に一致する食材が発見されれば、対応する食材名３１２を食材リスト３２に追加し、その食材の食材詳細情報３２０として参照食材情報３１０を自動設定する。一致する食材が発見されなければ、食材詳細情報３２０の自動設定はせずに文字列を食材名３２２として、食材リスト３２に追加する。一方、登録指示がされない場合（Ｓ２５，Ｎ）、音声入力受付を継続する（Ｓ２０）。
【0050】
図８、図９，図１０は、方式２における各状態での画面遷移例を示している。図８は、方式２の画面遷移例である。図９は仮リスト表示からの食材名変更時の画面遷移例である。図１０は仮リスト表示からの食材名削除時の画面遷移例である。
【0051】
まず図８において画面表示内容は画面１２１から画面１２５まで順次遷移する。但し、この画面では、主画面９１と音声入力状態表示部９３のみを表示した例で示している。まず画面１２１は、Ｓ２０の直前の状態で表示されることができる。この画面において、例えば主画面９１には、図９，１０に示す操作のやり方をユーザ１に対して説明するための情報を表示してもよい。例えば、「仮リストの食材名をタップすることで、食材名を編集できます」とか、「仮リストの食材名をスワイプすることで、食材を削除できます」である。画面１２１において音声入力状態表示部９３をタップすることで音声入力の受付が開始される（Ｓ２０）。
【0052】
画面１２２は、音声入力中の画面であり、音声入力状態表示部９３は音声入力中であることを示すように強調表示されている。音声入力された文字列が主画面９１に、文字列表示部９４として表示される。
【0053】
画面１２３は、１つの文字列の音声入力を終えた画面である（Ｓ２１，Ｙ）。この例では、ユーザは「にんじん」と発声し、その意思通りに音声認識されたものとする。「にんじん」の発声を終えてから例えば１秒間無音を継続させたことや、音声入力状態表示部９３をタップしたことを以て、１つの文字列の音声入力が終わり、１つの文字列の終端が付与される。終端の付与後、文字列編集や登録指示などの割り込み処理がない場合、再び音声入力の受付が開始される（Ｓ２０）。また、文字列表示部９４の仮リストに１以上の文字列が入力された場合、登録指示部９５（登録ボタン）が活性化される。
【0054】
画面１２４は、同じようにしてユーザが、「ブロッコリー」「ニラ」「さけ」を音声入力と、適宜文字列編集を併用して入力した場合を示している（Ｓ２０～Ｓ２５，Ｎの繰り返し）。
【0055】
登録指示部９５がタップされるなどして登録指示がなされると（Ｓ２５，Ｙ）、文字列表示部９４の仮リストに登録されている食材名（文字列）それぞれを検索ワード３１３として、方式１で説明したような、マスタデータベース３１の検索と食材詳細情報３２０の自動設定とが行われる。
【0056】
画面１２５は、Ｓ２６が完了し、食材リスト３２の一覧表示画面に遷移した状態を示す。食材リスト３２の一覧表示画面における、各食材の詳細な表示を画面１２６に示している。画面１２６では、食材名３２２「にんじん」とする食材について、消費目安日３２４までの残日数（残り「１日」と表示されている。）、画像データ３２７が表示されている。また、画像データ３２７に重ねて保存場所３２５である野菜室を示唆する野菜のアイコン３２５１、新しく食材リスト３２に登録されたことを示す「Ｎ」アイコン３２５２が表示されている。このように、一覧表示画面中に、特に画像データ３２７に重ねて、保存場所３２５や登録が新しい食材であることなど、食材の情報を示す種々のアイコンを表示させることができる。
【0057】
なお、図８の例では文字列「さけ」は、食材名「酒」や「鮭」の検索ワード３１３であり得る、多義語である。この例では、そのうちの何れか１つである「鮭」が自動で選択されて食材リスト３２に登録されている。しかし、後述するように、多義語については、登録指示部９５の指示を例えばトリガとして、マスターデータ３１中のいずれの食材を選択するのか選択させる画面に遷移させてもよい。
【0058】
図９は方式２の文字列編集時の画面遷移例である（Ｓ２３，Ｓ２４）。画面１３１には主画面９１の文字列表示部９４の仮リスト（「にんじん」、「ブロッコリー」、「ニラ」、「さけ」が仮表示）と登録指示部９５が表示されている。音声入力状態表示部９３としてはマイクアイコンが表示されている。ここでは、この文字列表示部９４の「にんじん」を編集しようとタップしたとする。
【0059】
次の画面１３２では、文字入力画面９２が表示され、編集処理部２４が機能する。また、文字列表示部９４は、選択された文字列「にんじん」以外の部分が暗く表示される。文字入力画面９２のキーボードを使って文字列「にんじん」を例えば「にんにく」に修正できる。修正後の画面１３３では、文字列表示部９４の文字列編集が反映されている。
【0060】
図１０は文字列表示部９４の仮リストから食材削除する画面遷移例である。画面１４１には主画面９１の文字列表示部９４から文字列「にんじん」に対して所定の操作、例えばスワイプ操作すると、次の画面１４２に表示されるように「削除」ボタンが活性化する。「削除」ボタンをタップ操作すると、画面１４３に遷移する。すなわち、仮リストから「にんじん」が削除される。
【0061】
図１１は、第２の方式におけるユーザ１と携帯情報端末２とサーバ３の間での、図７による一連の処理手順を示すシーケンス図である。処理ステップＳ２２１でユーザ１は音声入力状態表示部９３をタップして音声入力の受付を指示し、携帯情報端末２が処理ステップＳ２２２において音声入力受付を開始する（Ｓ２０）。処理ステップＳ２２３でユーザ１による音声入力がされると処理ステップＳ２２４において音声の文字列変換後に文字列を表示し、文字列終端を無音時間などで判断して（Ｓ２１，Ｙ）１つの食材を仮リストに追加する（Ｓ２２）。再度の音声入力待ちモードに入る（Ｓ２０）。
【0062】
処理ステップＳ２２５では、ユーザ１によるキーボードを用いた文字列修正の指示が処理ステップＳ２２４においてされたときには、入力された文字列のキーボードからの操作による修正や削除を可能とする。処理ステップＳ２２３の音声入力や文字列修正入力は複数回数繰り返される場合があり、これに応じて処理ステップＳ２２４、処理ステップＳ２２５もその都度実行される。なお図示では、記号ａ，ｂ，ｃにより、複数回の処理を表している。なお、音声入力の受付（Ｓ２０）は、文字列編集がされている間（Ｓ２３，Ｓ２４）は、一時的に停止してもよい。
【0063】
その後に処理ステップＳ２２６では、ユーザ１が登録指示する（Ｓ２５，Ｙ）。この登録指示は、仮リストとともに処理ステップＳ２２７においてサーバ３に送られる。処理ステップＳ２２８ではサーバ３内のマスタデータベース３１を参照して仮リストの文字列のそれぞれを検索ワード３１３として検索し、一致する食材があるか確認する。一致する食材がある場合、処理ステップＳ２２９では食材名３１２、消費目安期間３１４などをマスタデータベース３１から取得して、食材詳細情報３２０として紐づけして、食材リスト３２に登録する。後述するコンシェルジュ機能との連動に使う場合、食材ＩＤ３１１を取得してもよい。
【0064】
＜コンシェルジュデータベース３３との連動＞
コンシェルジュデータベース３３は、食材管理機能（食材リスト３２管理機能）とは独立した別機能のために作成されることができるデータベースである。例えば、コンシェルジュデータベース３３は、或るメーカが生産する冷蔵庫の型式別に、どういった貯蔵室を備えているか、どういった温度設定パターンを備えているかなどの、型式別の詳細情報を含んでいる。そして、或る食材の保管をするに際して、その型式の冷蔵庫に対応したアドバイスを出力することができるコンシェルジュ機能のために作成されていることができる。より具体的には、或る型式の冷蔵庫が冷蔵室とチルド室のみを備える冷蔵庫である場合は、食材ごとに、冷蔵室とチルド室のどちらに保存するのが適しているかを助言できる機能である。食材名「生ハム」であればチルド室、食材名「牛乳」であれば冷蔵室、と例えば助言できる。また、その型式の冷蔵庫において、チルド室がどこに位置しているかを、冷蔵庫を模式したアイコンを使って明示することができる。また、その型式の冷蔵庫が、或る貯蔵室の温度設定を変更できる場合、例えば冷蔵温度設定や冷凍温度設定で変更可能な場合、設定ごとに区別した助言をすることができる。
コンシェルジュデータベース３３は、食材管理機能（食材リスト３２管理機能）とは独立した別機能のために作成されることができるデータベースである。例えば、コンシェルジュデータベース３３は、或るメーカが生産する冷蔵庫の型式別に、どういった貯蔵室を備えているか、どういった温度設定パターンを備えているかなどの、型式別の詳細情報を含んでいる。そして、或る食材の保管をするに際して、その型式の冷蔵庫に対応したアドバイスを出力することができるコンシェルジュ機能のために作成されていることができる。より具体的には、或る型式の冷蔵庫が冷蔵室とチルド室のみを備える冷蔵庫である場合は、食材ごとに、冷蔵室とチルド室のどちらに保存するのが適しているかを助言できる機能である。食材名「生ハム」であればチルド室、食材名「牛乳」であれば冷蔵室、と例えば助言できる。また、その型式の冷蔵庫において、チルド室がどこに位置しているかを、冷蔵庫を模式したアイコンを使って明示することができる。また、その型式の冷蔵庫が、或る貯蔵室の温度設定を変更できる場合、例えば冷蔵温度設定や冷凍温度設定で変更可能な場合、設定ごとに区別した助言をすることができる。
【0065】
マスタデータベース３１は食材名３１２（または食材ＩＤ３１１）を一意鍵とし、消費目安期間３１４や一般的な冷蔵庫が備える貯蔵室（冷蔵室、冷凍室、野菜室など）のレベルでの推奨保存場所３１５などをデータ項目として含んでおり、食材の一般的な管理に適する。一方、コンシェルジュデータベース３３は、同様に食材名３３２（または食材ＩＤ３３１）を一意鍵とするものの、冷蔵庫の型式や設定別の情報をデータ項目として含んでいる。このため、冷蔵庫の一般的なレベルの情報を前提とするマスタデータベース３１と、型式や設定別の細かいレベルの情報を含むコンシェルジュデータベース３３とを連動（連携）できれば、利便性のある機能の構築に貢献できる。
【0066】
本実施例では、食材管理機能においてコンシェルジュデータベース３３から食材を検索する場合に、食材管理機能（食材リスト３２などを使用する機能）で入力したり設定したりした食材名を自動入力させる機能を備えることで、利便性に貢献する。
【0067】
図１２は、マスタデータベース３１と使い方コンシェルジュデータベース３３の構成例を示す図である。
【0068】
マスタデータベース３１には、使い方コンシェルジュデータベース３３に記憶された食材ＩＤ３３１と互いに一意に対応する食材ＩＤ３１１，食材ＩＤ３１１に一意に対応する食材名３１２，食材名３１２に対応する検索ワード３１３，消費期限などに対応する指標であり、食材登録時点からの消費目安である消費目安期間３１４，食材名が示す食材に適するとして割り当てらされた推奨保存場所３１５、食材名３１２が示す食材が対応するよう割り当てられた食材カテゴリ３１６，食材名３１２が示す食材の外観などが表された標準画像データ３１７、食材カテゴリ３１６に対応する標準画像データ３１８などが含まれている。
【0069】
携帯情報端末２に表示される食材詳細情報３２０は、上述のように、検索ワード３１３を使用してマスタデータベース３１を参照することで取得した情報を自動設定することができる。携帯情報端末２に表示されない情報を食材詳細情報３２０は備えていてもよく、本実施例では、マスタデータベース３１の食材ＩＤ３１１と同一の食材ＩＤを備えている。そして、食材詳細情報３２０の表示画面から連動ボタン７２をタップすると、コンシェルジュデータベース３３からこの食材ＩＤに対応する食材を検索して参照できる。
【0070】
図１３は、上述した処理を説明するものである。まず処理ステップＳ３１では、携帯情報端末２での検索ワード３１３の文字列入力を通じてマスタデータベース３１が検索され、食材名３１２「にんじん」が発見されて登録指示がされた。これを受けて処理ステップＳ３２ではマスタデータベース３１を参照し、食材名３１２「にんじん」に対応する消費目安期間３１４、推奨保存場所３１５、食材カテゴリ３１６、標準画像データ３１７，３１８の情報を読み出し、食材詳細情報３２０として食材リスト３２に自動設定する（Ｓ３３）。
【0071】
さらにユーザ１が、コンシェルジュ機能を使って食材詳細情報３２０以外の情報を参照したいと考えたとする。例えば、ユーザ１が使用する型式の冷蔵庫において、食材名３１２「にんじん」の保存場所はどこが適切であるかについてのアドバイスを得るべく、食材名３１２「にんじん」の食材詳細情報３２０の表示画面に表示された連動ボタン７２を操作する。これにより、この食材の食材ＩＤ３１１（連携がとれれば特に制限されず、食材名３１２でもよい。）を使ってコンシェルジュデータベース３３の検索がなされる。上述の通り、マスタデータベース３１の食材ＩＤ３１１と使い方コンシェルジュデータベース３３の食材ＩＤ３３１とは一意であるから、対応する食材の検索・参照が可能である。こうすることで、食材管理機能で食材を指定して連動ボタン７２を操作することで、この食材についてコンシェルジュデータベース３３を検索できる。ユーザ１は、コンシェルジュ機能を起動して食材名をわざわざ再び入力する手間を軽減できる。
【0072】
図１４は、コンシェルジュデータベース３３のデータ構造例を示す図である。食材ＩＤ３３１は上述の通り、マスタデータベース３１の食材ＩＤ３１１と一意である。検索ワード３３３は、食材管理機能とは別に、ユーザがコンシェルジュ機能を使用するに際して用いられる。ここではマスタデータベース３１の食材ＩＤ３１１から検索しているため、あまり気にしなくてよい。
【0073】
コンシェルジュデータベース３３は、各食材に対して、冷蔵庫の型式及び設定ごとに細分化された、保存場所／アドバイスパターン３３４を備えている。例えば、図１４の保存場所／アドバイスパターン３３４に例示するように、「型式Ａ」の冷蔵庫は図１５に示すイラストＡ－Ｍに共通する、いわゆる６ドアレイアウトであるとする。「型式Ａ」の冷蔵庫は、設定１－４の４種類の設定を採り得る型式である。ここで、設定１－４はそれぞれ、イラストＤ，Ｋにそれぞれ示す２つの貯蔵室（切替室）の温度設定が違うものであり、イラスト（Ｄ，Ｋ）で塗り潰された貯蔵室の温度設定が、設定１＝（野菜、冷凍）、設定２＝（冷凍、野菜）、設定３＝（野菜、野菜）、設定４＝（冷凍、冷凍）となる型式であるとする。また、どの設定においても、イラストＡで表示された貯蔵室は、冷蔵温度設定だとする。
【0074】
すると、例えば図１４の食材名「にんじん」３３２は野菜であるから、野菜温度設定となっている切替室が保存場所として推奨される。野菜温度設定となっている切替室がない場合は冷蔵室が推奨されるべきである。設定１－４での野菜温度帯の切替室の場所はそれぞれ、イラストＤ，Ｋ，Ｌ，Ｍに相当する。保存場所／アドバイスパターン３３４としては、設定１，２，３では、野菜温度帯の切替室の場所に対応するイラストＤ，Ｋ，Ｌが設定されている。一方、設定４においては野菜温度帯の切替室が存在しないため、冷蔵温度帯の貯蔵室を示すこととなるイラストＡが設定されている。
【0075】
図１６は、コンシェルジュデータベース３３を参照するときの画面遷移を示す図である。ここでは、検索する食材として上記の「にんじん」に代えて「トマト」を用いているが、「にんじん」であってももちろん支障ない。まず画面１４１は、図１３の処理ステップＳ３３における参照食材情報３１０反映後の携帯情報端末２の主画面９１の表示例を示している。この画面上で連動ボタン７２（「保存場所のアドバイスを見る」）をタップすることで、画面１４２に遷移する。
【0076】
画面１４２は、コンシェルジュ機能の一例として、型式別の食材推奨保存場所を検索する画面である。連動ボタン７２をタップすることで、コンシェルジュ機能における検索キーワードとして、マスタデータベース３１の食材名３１２を参照して設定された食材名３２２が設定される。ここでは「トマト」がコンシェルジュデータベース３３から検索される。説明の簡便のためにここでは食材名を用いているが、食材リスト３２への食材登録の際、マスターデータベース３１の食材ＩＤ３１１を設定しておけば、そちらを用いてもよい。
【0077】
そして、コンシェルジュ機能は別途、ユーザ１が使用している冷蔵庫の型式情報を参照することで、主画面９１上に選択した「トマト」の保存場所として、この型式の冷蔵庫の場合の推奨保存場所の位置を表示することができる。ここでは、上記の型式における「設定１」だったとすると、イラストＤが表示されることとなる。
【0078】
なお、コンシェルジュ機能の一環として、食材の保存に関するさらなる助言ページに遷移できる。画面１４３は、この型式におけるさらなる助言を表示しており「切替室が『野菜』設定のとき」保存場所として推奨されることが表示されている。
【0079】
図１７は、マスタデータベース３１とコンシェルジュデータベース３３の連動処理手順を示すシーケンス図である。図６の処理内容に引き続いて、処理ステップＳ２１２では、ユーザ１が携帯情報端末２に表示された食品リスト３２から詳細を確認したい食品をタップして食材詳細情報３２０を表示する。これを受けて処理ステップＳ２１３では、食材詳細情報３２０と「保存場所のアドバイスを見る」（連動ボタン７２）が携帯情報端末２に表示される。
【0080】
処理ステップＳ２１４において、連動ボタン７２をタップする。処理ステップＳ２１５では、アプリ内で「コンシェルジュ機能」画面に移動し、処理ステップＳ２１６では予め取得されているユーザ１が使用する冷蔵庫４の型式と、処理ステップＳ２１５時点での設定を冷蔵庫４から取得する。処理ステップＳ２１７では食材詳細情報３２０に対応する食材名３２２（または食材ＩＤ３２１）を鍵としてコンシェルジュデータベース３３を検索する。一致する食材について、さらに、Ｓ２１６で取得済の情報を使って、コンシェルジュデータベース３３中の保存場所／アドバイスパターン３３４を取得する。処理ステップＳ２１８では取得した結果を携帯情報端末２に表示する。
【0081】
［その他の機能］
次に、関連する各種機能について説明する。
次に、関連する各種機能について説明する。
【0082】
＜保存場所３２５の選択肢の事前設定＞
上記実施例では、マスタデータベース３１には、食材ＩＤ３１１ごとに推奨保存場所３１５が定められていた。しかし、ユーザ１が使用する冷蔵庫の型式によっては、その推奨保存場所３１５が備わっていないことがある。このため、推奨保存場所３１５のうち、保存場所３２５として自動設定されることができる貯蔵室を予め指定しておく機能が設けられていてもよい。
上記実施例では、マスタデータベース３１には、食材ＩＤ３１１ごとに推奨保存場所３１５が定められていた。しかし、ユーザ１が使用する冷蔵庫の型式によっては、その推奨保存場所３１５が備わっていないことがある。このため、推奨保存場所３１５のうち、保存場所３２５として自動設定されることができる貯蔵室を予め指定しておく機能が設けられていてもよい。
【0083】
具体的には、ユーザ１が使用する冷蔵庫が備える貯蔵室を登録する機能を追加する。この機能を通じて、例えばユーザ１が使用できる貯蔵室が「冷蔵室」と「冷凍室」のみであると登録されたとする。この場合、「野菜室」が推奨保管場所３１５として定められている食材については、例えば、近しい温度帯である「冷蔵室」が保存場所３２５に変換されて自動設定されるようにしたり、または、保存場所３２５が自動設定されないようにすることができる。
【0084】
＜自動入力される食材詳細情報３２０の選択および調整＞
上記実施例では、マスタデータベース３１の検索を通じて自動設定される項目として、消費目安期間３１４、推奨保存場所３１５，食材カテゴリ３１６、標準画像データ３１７，３１８が定められていた。しかし、例えば、消費目安期間３１４の管理までは望まないユーザがあり得る。このため、自動設定される項目を選択できる機能を設けてもよい。
上記実施例では、マスタデータベース３１の検索を通じて自動設定される項目として、消費目安期間３１４、推奨保存場所３１５，食材カテゴリ３１６、標準画像データ３１７，３１８が定められていた。しかし、例えば、消費目安期間３１４の管理までは望まないユーザがあり得る。このため、自動設定される項目を選択できる機能を設けてもよい。
【0085】
また、消費目安期間３１４としては、上記実施例では、マスタデータベース３１の食材ごとに１種類の期間が定められている（例えば、「豚肉」であれば５日間など）。しかし、保鮮機能に優れた冷蔵庫を使用しているなど、通常よりも長期間の保鮮が可能であるとか、鮮度に敏感なユーザが想定され得る。このため、例えば消費目安期間３１４として自動設定される期間を「短い」、「標準」、「長い」、といった複数段階に調整できる機能を設けてもよい。
【0086】
また、食材販売店は、消費期限が接近したために割引価格で食材を販売することがある。このような食材についても通常の消費目安期間３１４を設定するのは実情に沿わないことがあるため、いわゆる「おつとめ品」として登録するチェックボックス等を設けてもよい。そして、このチェックボックスがチェックされた状態で食材が食材リスト３２に登録された場合、通常よりも短い消費目安期間３１４を設定するようにしてもよい。このチェックが登録された食材は、食材リスト３２の表示画面で、区別できるように表示されるとよい。
【0087】
＜マスタデータベース３１の画像データ３１７，３１８どちらを反映するかの選択＞
食材詳細情報３２０として自動設定する画像データとして、上記実施例では標準画像データ３１７，３１８の２種類を用意していた。これは、例えば、写真データとイラストデータというまったく雰囲気が異なる２種類を用意しておくことで、各々のユーザにおいて、「写真データであれば家族Ａが買って使うもの」、「イラストデータであれば家族Ｂが買って使うもの」といった独自の、暗黙の了解を定めたうえで活用することを想定できる。このため、食材詳細情報３２０として設定する画像データとしてどれを使用するかを、自動ではなく、敢えて毎回手動で選択させるようにしてもよい。
食材詳細情報３２０として自動設定する画像データとして、上記実施例では標準画像データ３１７，３１８の２種類を用意していた。これは、例えば、写真データとイラストデータというまったく雰囲気が異なる２種類を用意しておくことで、各々のユーザにおいて、「写真データであれば家族Ａが買って使うもの」、「イラストデータであれば家族Ｂが買って使うもの」といった独自の、暗黙の了解を定めたうえで活用することを想定できる。このため、食材詳細情報３２０として設定する画像データとしてどれを使用するかを、自動ではなく、敢えて毎回手動で選択させるようにしてもよい。
【0088】
＜保存状態毎に食材名３１２を区別したデータベース構造＞
上記実施例では、マスタデータベース３１は、「にんじん」「ブロッコリー」など、食材の状態を区別しない食材名３１２としていた。しかし、例えば「海老」については、チルド室などの保存が適する生の海老と、冷凍状態で販売されている冷凍の海老など、保存状態が違うものが有り得る。このため、食材名３１２として「海老（生）」、「海老（冷凍）」など、保存状態を区別した食材名を予めマスタデータベース３１やコンシェルジュデータベース３３に準備しておいてもよい。この場合、推奨保存場所３１５としては、前者はチルド室や冷蔵室、後者は冷凍室が設定されるようなデータベースとしておくことができる。
上記実施例では、マスタデータベース３１は、「にんじん」「ブロッコリー」など、食材の状態を区別しない食材名３１２としていた。しかし、例えば「海老」については、チルド室などの保存が適する生の海老と、冷凍状態で販売されている冷凍の海老など、保存状態が違うものが有り得る。このため、食材名３１２として「海老（生）」、「海老（冷凍）」など、保存状態を区別した食材名を予めマスタデータベース３１やコンシェルジュデータベース３３に準備しておいてもよい。この場合、推奨保存場所３１５としては、前者はチルド室や冷蔵室、後者は冷凍室が設定されるようなデータベースとしておくことができる。
【0089】
＜検索ワード３１３に完全一致する食材が複数ある場合の処理＞
検索ワード３１３として例えば同音多義な文字列が入力された場合、２つの食材名３１２が完全一致で対応してしまうことがある。例えば「さけ」という検索ワード３１３は、「酒」と「鮭」の２つの食材名３１２が対応してしまい、どちらか判断ができない。この場合、食品詳細情報３２０を設定せずに一旦登録し、後から決定するようにしてもよい。
検索ワード３１３として例えば同音多義な文字列が入力された場合、２つの食材名３１２が完全一致で対応してしまうことがある。例えば「さけ」という検索ワード３１３は、「酒」と「鮭」の２つの食材名３１２が対応してしまい、どちらか判断ができない。この場合、食品詳細情報３２０を設定せずに一旦登録し、後から決定するようにしてもよい。
【0090】
図１８は、検索ワード３１３に完全一致する食材が複数ある場合の処理を示す図である。まず画面１５１は、例えば方式２において仮リストを作成したときの表示内容である。画面１５２は登録指示によって食材リスト３２に仮リストの文字列を使って決定した食材名を食材リスト３２に反映したときの表示内容である。検索ワード３１３「さけ」から完全一致する「酒」「鮭」があるため、敢えて食材を決定せずにそのまま「さけ」として、マスタデータベース３１にない食材と同様に扱って、食材リスト３２に追加する。こうすることで、誤った食材名３２２や食材詳細情報３２０の設定を抑制できる。
【0091】
ユーザ１は、画面１５２から「さけ」の食材詳細情報３２０画面に遷移して食材名３２２をテキスト編集し、改めて例えば「鮭」と編集することで、適切な食材追加をすることができる。「鮭」を食材名３２２に設定してもらったことに応じて、改めてマスタデータベース３１を検索し、食材詳細情報３２０を自動設定させる。
【0092】
＜冷蔵庫カメラを活用した食材管理＞
上記実施例では、音声入力やキーボードを使った文字列編集を使って食材を食材リストに追加するものであったが、例えば冷蔵庫にカメラを取り付けるなどして、カメラ画像を使って食材リストに追加するようにしてもよい。カメラは、図１に例示した食材管理装置に含まれるようにする。
上記実施例では、音声入力やキーボードを使った文字列編集を使って食材を食材リストに追加するものであったが、例えば冷蔵庫にカメラを取り付けるなどして、カメラ画像を使って食材リストに追加するようにしてもよい。カメラは、図１に例示した食材管理装置に含まれるようにする。
【0093】
まず、上記実施例のような方法で、食材名、実際の保存場所を食材詳細情報３２０に登録して既知にしておく。実際の保存場所とは、マスタデータベース３１を参照して取得する推奨保存場所ではなく、適宜ユーザ１が修正することでユーザ１が使用する冷蔵庫などでの保存場所である。このようにすることで、実保管に一致する情報を予め得ておくことができる。
【0094】
次に、カメラで貯蔵室内の食材を撮像し、この画像を使って食材の画像認識を行う。画像認識処理としては公知の手法を用いることができる。まず、食材か非食材かを認識して、食材ごとに画像を切り取る。例えば、野菜室を撮像した場合、にんじんやブロッコリーなどの食材ごとに、画像を切り取る。この時点では、画像認識は食材の存在の認識はし得るものの、切り取った食材それぞれが何であるかは認識していない。
【0095】
次に、それぞれの切り取った食材について、品目を認識する処理を行う。この際、カメラが撮像した貯蔵室がどこであるか（冷蔵室、冷凍室、野菜室など）の情報を取得できるように構成しておくと好ましい。これは、例えば撮像の前にユーザ１から入力してもらうようにすることで実現できる。さらに、食材リスト３２の各食材詳細情報３２０を参照して、各貯蔵室に何が収納されているかを参照するようにする。
【0096】
これらカメラが撮像した場所の貯蔵室情報と、食材リスト３２の保存場所情報とを利用することで、画像認識の精度を向上することができる。すなわち、例えば食材リスト３２には、野菜室ににんじんが収納されていることを示す情報が登録されていれば、画像認識機能において、野菜室にはにんじんがあるはずだという重みづけをして食材認識を進めることができる。
【0097】
そして、カメラが撮像した食材それぞれについて、既に食材リスト３２に登録されているか否かを判定する。既に登録されていると判定したものについては、カメラが撮像した画像データを、食材リスト３２の或る食材における食材詳細情報３２０の画像データ３２７として登録することができる。このようにすることで、標準画像データ３１７，３１８ではなく実使用での画像データを採用できるため、ユーザ１の記憶に近い画像を提供することができる。
【0098】
一方、食材リスト３２に登録されていない食材であると判定したものについては、新たな食材の追加として処理を始める。すなわち、画像認識で得た食材名を検索ワード３１３としてマスタデータベース３１を検索し、発見できた食材詳細情報３２０を設定する。但し、推奨保管場所についてはこの限りではない。また、画像データ３２７としてカメラの画像を設定する。
【0099】
なお、現時点の技術水準としては、必ずしも画像認識の高精度な実行は容易ではない。このため、カメラが撮像した食材それぞれについて、一旦、すべてをユーザ１に画像データ３２７を設定して提示し、食材リスト３２への追加要否をユーザ１に目視で判断してもらうようにしてもよい。この場合、一旦、食材リスト３２にすべてを追加してしまって、不要な食材についてはユーザ１に削除処理をしてもらうようにしてもよいし、追加候補リストとして新たなリストを作成して提示してもよい。
【0100】
＜消費目安日３２４を経過した食材の食材リスト３２における処理＞
図１９は、消費目安日を過ぎた食材の表示の取り扱いを示す図である。図１９の画面１６１に例示するように、食材リスト３２として、複数種類のリストを定義しておくことができる。上記実施例で説明した食材リスト３２を、便宜上、「保管中の食材」リストと呼ぶ。画面１６１に示したリストはこれである。
図１９は、消費目安日を過ぎた食材の表示の取り扱いを示す図である。図１９の画面１６１に例示するように、食材リスト３２として、複数種類のリストを定義しておくことができる。上記実施例で説明した食材リスト３２を、便宜上、「保管中の食材」リストと呼ぶ。画面１６１に示したリストはこれである。
【0101】
画面１６１の状態から１日が経過すると、画面１６１中のリスト上側２つの食材（にんじん、ブロッコリー）は、それぞれの食材詳細情報３２０の消費目安日３２４を経過する。この状態で再び「保管中の食材」リストを表示させると、「保管中の食材」リストから、消費目安日３２４を経過した食材が「保管中の食材」リストから削除された旨を示すポップアップが表示される（画面１６２）。そして、「保管中の食材」リストからは、これら食材が削除されている（画面１６３）。
【0102】
図２０は、保管中の食材リストから削除した食材の取り扱いを示す図である。食材管理装置は、「保管中の食材」リストとは別に、例えば「最近削除した食材」リストを定義しておく。これらリスト間は、同じ表示画面にタブ表示されており、互いに１タップで遷移できる。「保管中の食材」リストに登録された食材は、その食材詳細情報３２０の消費目安日３２４が経過した場合、「最近削除した食材」リストに移動するようにしておくことができる（画面１７１，１７２）。「最近削除した食材」リスト（画面１７２）に移動した食材は、例えば移動後、４８時間の経過を以て完全に削除されることができる。
【0103】
こうすることで、「保管中の食材」リストに食材が滞留することを抑制でき、ユーザ１が「保管中の食材」リストの更新を怠ってしまったとしても、或る程度実際の保管品目に対応したリストを維持することができる。一方で、「最近削除した食材」リストに移動させておくことで、消費目安日３２４は経過してしまって、しかも未だ保管中であるために、比較的すぐに消費しなければならない食材があることを「最近削除した食材」リストから発見できる。
【0104】
「最近削除した食材」リストに移動した食材の食材詳細情報３２０からは、上述のアラーム機能が不活性化されてもよい（画面１７３）。また、消費目安日３２４は「保管中の食材」リストにおいて登録されていたものからそのまま維持されてもよい。
【0105】
＜食材管理機能のトップ画面（ホーム画面）＞
食材管理装置が携帯情報端末２において食材管理機能（食材管理アプリ）を起動させた際に表示させるトップ画面について説明する。図２１は、食材管理機能起動直後のトップ画面の一例を示す図である。トップ画面１８１は、おすすめ食材を表示する機能があり、特に、食材リスト３２（「保管中の食材」リスト）に、消費目安日３２４が近い食材があるか否かでおすすめ食材が変わる機能が設けられている。トップ画面１８１に含まれる２つの画面１８２，１８３について次に説明する。
食材管理装置が携帯情報端末２において食材管理機能（食材管理アプリ）を起動させた際に表示させるトップ画面について説明する。図２１は、食材管理機能起動直後のトップ画面の一例を示す図である。トップ画面１８１は、おすすめ食材を表示する機能があり、特に、食材リスト３２（「保管中の食材」リスト）に、消費目安日３２４が近い食材があるか否かでおすすめ食材が変わる機能が設けられている。トップ画面１８１に含まれる２つの画面１８２，１８３について次に説明する。
【0106】
食材リスト３２に消費目安日３２４が近い食材がない（例えば、３日後以降しかない）場合、今日が旬の時期の食材を表示する（レコメンド表示。画面１８２）。レコメンド表示においては、食材リスト３２に旬の食材があれば、その中から消費目安日３２４までの残日数が一番少ない食材を表示するようにしてもよい。
【0107】
食材リスト３２に、消費目安日が今日の食材がある場合、その食材の消費を提案する旨の表示が行われる（リマインド表示。画面１８３）。食材リスト３２に、同じ消費目安日の食材が複数ある場合は、例えばその中からランダムで表示されてもよい。リマインド表示は、携帯情報端末２にプッシュ通知を行い、これに応答すると食材リスト３２を表示するような画面遷移を可能にしてもよい。
【0108】
＜消費目安日３２４の登録リマインダ＞
図２２は消費目安登録のリマインダ機能に関する画面遷移を示す図である。食材管理装置の食材管理機能は、上述のコンシェルジュ機能など複数の機能が統合されたアプリとして構成されることができる。例えばこのような場合でもそうでなくても、トップ画面１９１に、食材管理機能に遷移するためのメニューを表示しておき、この選択を以て食材管理機能画面に遷移することができる（画面１９２，１９３）。
図２２は消費目安登録のリマインダ機能に関する画面遷移を示す図である。食材管理装置の食材管理機能は、上述のコンシェルジュ機能など複数の機能が統合されたアプリとして構成されることができる。例えばこのような場合でもそうでなくても、トップ画面１９１に、食材管理機能に遷移するためのメニューを表示しておき、この選択を以て食材管理機能画面に遷移することができる（画面１９２，１９３）。
【0109】
画面１９２は、食材リスト３２に登録済の食材がない場合を示す。この場合、食材を登録した場合に消費目安日３２４を食材詳細情報３２０に設定すると、それに応じて、使用すべき食材の推奨といったお知らせ（リマインド）が可能である旨のメッセージが表示される。
【0110】
画面１９３は、食材リスト３２に登録済の食材がある場合を示す。登録済の食材の何れかの食材詳細情報３２０に、消費目安日３２４が未設定のものがあるとき、画面１９３に例示するように、その旨のメッセージが表示される。消費目安日３２４が未設定の食材であるか否かは、画面１９３のような食材リスト３２のリスト表示において、消費目安までの残日数などの表示がされていない食材であるか否かで判断できる。画面１８３では、消費目安日３２４が設定されている食材については、「消費目安残り Ｄ日」（Ｄは実際の残日数）と表示される。
【0111】
消費目安日３２４が未設定のものがある旨のメッセージ表示は、消費目安日３２４が未登録のまま数日が経過した食材があることや、未登録の食材件数が或る閾値を超えたこと、などを以て表示させてもよい。また、メッセージを出すかどうかはユーザ１が選択できるようにしてもよい。
【0112】
＜ユーザ１が複数台の冷蔵庫を所有している場合の食材リスト３２のソート＞
食材詳細情報３２０には、さらに、保管場所として「どの冷蔵庫」であるか区別できるようにしてもよい。上記実施例においては、ユーザ１が使用する冷蔵庫は唯１つという暗黙の了解の下、保存場所３２５に設定できる保存場所としては、「冷蔵室」「野菜室」といった、或る冷蔵室中の貯蔵室を選択肢として準備していた。しかし、保存場所３２５としてより詳細に、２種類の情報を設定可能にしてもよい。具体的には、１種類めの情報として「冷蔵庫１」「冷蔵庫２」「倉庫」など、保管設備の設定を可能にしておき、２種類めの情報として「冷蔵室」「野菜室」など、その設備内での保存場所を設定可能にしてもよい。１種類めの情報の名称は、ユーザ１が定義可能にしてもよい。２種類めの情報の名称は、１種類めの情報の設定に応じて変わるように、階層構造にしてもよい。例えば、「冷蔵庫１」が設定された場合は「冷蔵室」「野菜室」などの選択肢が表示され、「倉庫」が設定された場合は「下から１段め」「下から２段め」など、異なる選択肢が表示されるように定義できてもよい。
食材詳細情報３２０には、さらに、保管場所として「どの冷蔵庫」であるか区別できるようにしてもよい。上記実施例においては、ユーザ１が使用する冷蔵庫は唯１つという暗黙の了解の下、保存場所３２５に設定できる保存場所としては、「冷蔵室」「野菜室」といった、或る冷蔵室中の貯蔵室を選択肢として準備していた。しかし、保存場所３２５としてより詳細に、２種類の情報を設定可能にしてもよい。具体的には、１種類めの情報として「冷蔵庫１」「冷蔵庫２」「倉庫」など、保管設備の設定を可能にしておき、２種類めの情報として「冷蔵室」「野菜室」など、その設備内での保存場所を設定可能にしてもよい。１種類めの情報の名称は、ユーザ１が定義可能にしてもよい。２種類めの情報の名称は、１種類めの情報の設定に応じて変わるように、階層構造にしてもよい。例えば、「冷蔵庫１」が設定された場合は「冷蔵室」「野菜室」などの選択肢が表示され、「倉庫」が設定された場合は「下から１段め」「下から２段め」など、異なる選択肢が表示されるように定義できてもよい。
【0113】
食材管理装置は、これら保存場所３２５ごとに食材リスト３２が表示できるように、フィルタリング機能やソート機能を備えることができる。例えば、フィルタリング機能として、「冷蔵庫１」に保管されている食材のみを食材リストとして表示できるような機能を備えていてもよい。フィルタリング機能やソート機能としては、保存場所３２５ごとに順番に表示するような機能の他、例えば、食材リスト３２（「保管中の食材」リスト）に最近登録した食材をフィルタリングまたはソートする機能を備えていてもよい。なお、最近登録した食材については、食材リスト３２の表示画面（例えば、図８の画面１２５）や、食材詳細情報３２０の表示画面（例えば、図１２の画面３２０）に、その旨を示すアイコンを表示してもよい。具体例として図８で例示した「Ｎ」アイコン３２５２を示してもよい。
【0114】
＜食材リスト３２への追加登録のバリエーション＞
図２３は食材の追加をどの方法で行うかユーザ１が選択できる場合の画面遷移を示す図である。トップ画面２０１において「食材管理」機能の起動を指示すると、食材管理トップ画面２０２が表示される。食材管理トップ画面１９２では既に登録済の食材を含む食材リスト３２とともに、食材登録方法選択ボタン７５が表示されており、これを操作すると画面２０３に遷移する。画面２０３では、食材登録方法として、カメラ入力、音声入力、テキスト入力の選択ボタンが表示される。これらのいずれかの選択により、食材入力画面２０３Ａ，２０３Ｂ，２０３Ｃのいずれかがそれぞれ表示される。音声入力は上記実施例の通りである。その他、音声を不使用でキーボードのみを使うテキスト入力や、まず画像データ３２７の設定から始めるカメラ入力が準備されている。
図２３は食材の追加をどの方法で行うかユーザ１が選択できる場合の画面遷移を示す図である。トップ画面２０１において「食材管理」機能の起動を指示すると、食材管理トップ画面２０２が表示される。食材管理トップ画面１９２では既に登録済の食材を含む食材リスト３２とともに、食材登録方法選択ボタン７５が表示されており、これを操作すると画面２０３に遷移する。画面２０３では、食材登録方法として、カメラ入力、音声入力、テキスト入力の選択ボタンが表示される。これらのいずれかの選択により、食材入力画面２０３Ａ，２０３Ｂ，２０３Ｃのいずれかがそれぞれ表示される。音声入力は上記実施例の通りである。その他、音声を不使用でキーボードのみを使うテキスト入力や、まず画像データ３２７の設定から始めるカメラ入力が準備されている。
【0115】
＜食材の回転率の検知＞
ユーザ１によって異なるものであるが、例えば卵、乳製品、ビールなど比較的毎日消費し、購入頻度も高い高回転率の食材があることが想定される。このような食材を認識できれば、在庫切れを防ぐための通知などを提供できるようになることが期待されるため、その一例を説明する。ここでは、上述のカメラを使用するものとする。
ユーザ１によって異なるものであるが、例えば卵、乳製品、ビールなど比較的毎日消費し、購入頻度も高い高回転率の食材があることが想定される。このような食材を認識できれば、在庫切れを防ぐための通知などを提供できるようになることが期待されるため、その一例を説明する。ここでは、上述のカメラを使用するものとする。
【0116】
例えば、食材リスト３２に追加されて短期間（例えば２４時間以内）に消費された食材や、上述のカメラの画像認識機能を活用して保存場所での場所や向きが変わった食材を、回転率の高い食材の候補と推定する方法があり得る。他には、携帯情報端末２に、カメラが撮像した、食材を収納した貯蔵室の画像を表示させ、回転率を追跡したい食材をユーザ１に選択してもらう方法があり得る。回転率が高い、又はユーザ１が指定した食材については、カメラの画像認識において、個数認識を行わせると好ましい。個数認識を行いやすくするため、個数認識機能をＯＮにする場合、食材管理装置は、例えば携帯情報端末２の表示画面を通じて、貯蔵室中で互いに近い領域に、認識対象の食材を保管するように依頼するメッセージを出力してもよい。また、携帯情報端末２の表示画面に、予め認識対象の食材を保管する領域を食材別に複数用意し、ユーザ１が選択した領域ごとに個数認識が行えるようにしてもよい。すなわち、カメラは予め、或る貯蔵室の内部を仮想的に複数の領域に区切って認識できるようにしておく。例えば冷蔵室に複数の棚が在る場合、棚ごとに異なる領域であると認識できるようにしておく。そして、特定の食材、例えばヨーグルトについては、所定の領域、例えば或る１つの棚に置くことをユーザが明示する。カメラは、こうすることで当該領域に載置されたヨーグルトの認識をしやすくなり、以てヨーグルトの個数認識や回転率の認識をしやすくなる。
【0117】
ユーザによるヨーグルトの保存棚の明示は、携帯情報端末２などを通じて行うことができる。
【0118】
一方、長期間消費されない食材や、保存場所や向きが変わらなかった食材を、回転率の低い食材の候補と推定する。回転率の低い食材については、ユーザ１が存在を忘れてしまっている懸念もあるため、消費目安日に拘らないタイミングで通知を行うようにしてもよい。
【符号の説明】
【0119】
１：ユーザ
２：携帯情報端末
３：サーバ
４：冷蔵庫（貯蔵庫、物品庫）
５：クラウド（ネットワーク）
３１：マスタデータベース
３２：食材リスト
ＣＰＵ：演算部
Ｔｒ：通信部
Ｂｕｓ：バス
２１：音声入力部
２１ａ：開始部
２１ｂ：連続部
２２：表示出力部
２３：文字変換部
２３ａ：終端付与部
２４：編集処理部
２５：登録処理部
２６：統括処理部
９１：主画面
９２：文字入力画面
９３：音声入力状態表示部
９４：文字列表示部
２：携帯情報端末
３：サーバ
４：冷蔵庫（貯蔵庫、物品庫）
５：クラウド（ネットワーク）
３１：マスタデータベース
３２：食材リスト
ＣＰＵ：演算部
Ｔｒ：通信部
Ｂｕｓ：バス
２１：音声入力部
２１ａ：開始部
２１ｂ：連続部
２２：表示出力部
２３：文字変換部
２３ａ：終端付与部
２４：編集処理部
２５：登録処理部
２６：統括処理部
９１：主画面
９２：文字入力画面
９３：音声入力状態表示部
９４：文字列表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】