特開2022-124203ユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022124203
(43)【公開日】2022-08-25
(54)【発明の名称】ユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法
(51)【国際特許分類】
G16H 20/00 20180101AFI20220818BHJP
【ＦＩ】
G16H20/00
【審査請求】未請求
【請求項の数】26
【出願形態】ＯＬ
(21)【出願番号】P 2021021827
(22)【出願日】2021-02-15
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＶＥＲＩＬＯＧ
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100109209
【弁理士】
【氏名又は名称】小林 一任
(72)【発明者】
【氏名】神田 和男
(72)【発明者】
【氏名】福谷 佳之
(72)【発明者】
【氏名】後町 智子
(72)【発明者】
【氏名】野中 修
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA15
(57)【要約】
【課題】ユーザの状況に応じて適切な食事に関するアドバイスを行うことができる、またはユーザが食するのに適している否かが容易に分かるようにしたユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法を提供する。
【解決手段】ユーザの診断・検査情報を入力し（Ｓ３）、ユーザの状況情報を入力し（Ｓ５）、診断・検査情報と状況情報に基づいて、ユーザに食事に関するアドバイスを出力する（Ｓ１３、Ｓ１５）。また、食事に関するアドバイスは、食材と調理法を組み合わせた情報である。
【選択図】 図２Ａ
【解決手段】ユーザの診断・検査情報を入力し（Ｓ３）、ユーザの状況情報を入力し（Ｓ５）、診断・検査情報と状況情報に基づいて、ユーザに食事に関するアドバイスを出力する（Ｓ１３、Ｓ１５）。また、食事に関するアドバイスは、食材と調理法を組み合わせた情報である。
【選択図】 図２Ａ
【特許請求の範囲】
【請求項1】
ユーザの状況情報を入力するユーザ状況情報入力部と、
上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを上記店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを上記店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
【請求項2】
ユーザの状況情報を入力するユーザ状況情報入力部と、
上記状況情報に従って得られる、食材と調理法を組み合わせたデータベース情報によって、上記ユーザの食事に関するアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
上記状況情報に従って得られる、食材と調理法を組み合わせたデータベース情報によって、上記ユーザの食事に関するアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
【請求項3】
食材または調理された料理の画像を入力する画像入力部と、
上記画像入力部によって入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
上記画像入力部によって入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力装置。
【請求項4】
上記ユーザの診断に際に得られた情報を入力する診断情報入力部を有し、
上記アドバイス出力部は、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力することを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
上記アドバイス出力部は、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力することを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項5】
上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材を提供可能な店舗情報またはサービス情報を含むことを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項6】
上記状況情報に従って得られる、食材と調理法を組み合わせた情報によって、上記ユーザの食事に関する注文、予約を行うことを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項7】
上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材と調理法に従った料理を提供可能な店舗情報またはサービス情報を含むことを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項8】
上記画像入力部は、食材または調理された料理を画像として入力する撮像部を有し、
上記アドバイス出力部は、上記撮像部によって入力した画像について、上記ユーザが食することについての適否を表示する、
ことを特徴とする請求項３に記載のユーザ補助情報出力装置。
上記アドバイス出力部は、上記撮像部によって入力した画像について、上記ユーザが食することについての適否を表示する、
ことを特徴とする請求項３に記載のユーザ補助情報出力装置。
【請求項9】
上記アドバイス出力部は、上記ユーザ状況情報入力部が入力した上記状況情報に基づいて、上記ユーザが検査を受ける予定があるか否かについて判定し、上記検査を受ける予定の日より前から、食事に関するアドバイスを提供することを特徴とする請求項１または２に記載にユーザ補助情報出力装置。
【請求項10】
上記診断情報入力部は、上記ユーザの診断の際に、得られた画像を入力することを特徴とする請求項４に記載のユーザ補助情報出力装置。
【請求項11】
上記アドバイス出力部は、上記ユーザの診断の際に、得られた画像中における検査結果の特徴に応じて、アドバイスを出力することを特徴とする請求項４に記載のユーザ補助情報出力装置。
【請求項12】
上記アドバイス出力部は、上記ユーザの診断に関する情報に応じて、上記食事に関するアドバイスの内容および／または上記食事に関するアドバイスを出力する期間を変更することを特徴とする請求項４に記載のユーザ補助情報出力装置。
【請求項13】
請求項１ないし３のいずれか一項に記載の上記ユーザ補助情報出力装置は、スマート家電であることを特徴とする。
【請求項14】
上記ユーザ状況情報入力部は、上記状況情報として、上記ユーザの所在位置、上記ユーザ自身の現在の画像、上記ユーザが診断を受けてからの時間、現在時刻、上記ユーザのプロフィール、上記ユーザの生活習慣、上記ユーザの病歴、上記ユーザの服薬履歴の内、少なくとも１つを入力することを特徴とする請求項１または２に記載のユーザ補助情報出力装置。
【請求項15】
上記アドバイス出力部は、上記ユーザが診断を受けた時期を基準として、この時期からの期間に応じて、上記ユーザの食事に関するアドバイスを変更することを特徴とする請求項１または２に記載のユーザ補助情報出力装置。
【請求項16】
上記アドバイス出力部が出力した上記アドバイスについて、食事を摂取する前に医師、栄養士、医療従事者に承認してもらうことを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項17】
上記アドバイス出力部は、上記アドバイスに従って、上記食事に関するアドバイスに従った食材や料理を店舗やサービス提供者に予約サービスを提供することを特徴とする請求項１ないし３のいずれか一項に記載のユーザ補助情報出力装置。
【請求項18】
上記アドバイス出力部は、上記状況情報に従って得られる上記ユーザの食事に関するアドバイスを複数用意し、優先順位に従って、順次表示することを特徴とする請求項１または２に記載のユーザ補助情報出力装置。
【請求項19】
食材と調理法を組み合わせた上記データベースは、さらに料理および／または食材の画像情報を含むことを特徴とする請求項２に記載のユーザ補助情報出力装置。
【請求項20】
食材と調理法を組み合わせた上記データベースは、さらに料理提供時の温度情報を含むことを特徴とする請求項２に記載のユーザ補助情報出力装置。
【請求項21】
食材と調理法を組み合わせた上記データベースは、素材または調理法に対しての過不足情報をさらに含むことを特徴とする請求項２に記載のユーザ補助情報出力装置。
【請求項22】
ユーザの診断・検査情報を入力する診断・検査情報入力部と、
上記ユーザの状況情報を入力するユーザ状況情報入力部と、
上記診断・検査情報と上記状況情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力システム。
上記ユーザの状況情報を入力するユーザ状況情報入力部と、
上記診断・検査情報と上記状況情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力部と、
を具備することを特徴とするユーザ補助情報出力システム。
【請求項23】
ユーザの状況情報を入力するユーザ状況情報入力ステップと、
上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを上記店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを上記店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
【請求項24】
ユーザの状況情報を入力するユーザ状況情報入力ステップと、
上記状況情報に従って得られる食材と調理法を組み合わせたデータベース情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
上記状況情報に従って得られる食材と調理法を組み合わせたデータベース情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
【請求項25】
食材または調理された料理の画像を入力する画像入力ステップと、
上記画像入力ステップにおいて入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
上記画像入力ステップにおいて入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力ステップと、
を有することを特徴とするユーザ補助情報出力方法。
【請求項26】
上記ユーザの診断に際に得られた情報を入力する診断情報入力ステップを有し、
上記アドバイス出力ステップは、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力する、
ことを特徴とする請求項２３ないし２５のいずれか一項に記載のユーザ補助情報出力方法。
上記アドバイス出力ステップは、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力する、
ことを特徴とする請求項２３ないし２５のいずれか一項に記載のユーザ補助情報出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの状況に応じて、適切な食事に関するアドバイスを与えることが可能なユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法に関する。
【背景技術】
【0002】
病院に入院した患者は、病院内において病状に応じた食事を取る。病院食は患者の容態に応じて変更するが、患者、医師看護師、管理栄養士、調理師、配膳担当者等、種々の方の間で情報を共有しなければならない。そこで、特許文献１には、これらの人の間で食事メニューに関する情報を共有できるようにした病院食管理システムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６４４２１００号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示された病院食管理システムにおいては、病院内において関係者が病院食に関する情報を共有し、患者の状況に応じた食事が提供される。すなわち、患者の容態の変化、あるいは診察計画の変化処置計画の変化に応じて、食事メニューが変更された場合であっても、患者、医師、看護師、配膳担当者、管理栄養士が食事の変更に関する情報を共有することができる。
【0005】
しかし、特許文献１では、患者が病院を退院した後には、患者自身が食事については、自ら気を付けるようしなければならない。また、ユーザが入院しない場合においても、ユーザの状況に応じて食事にも気を付けなればならない。また検査の種類によっては検査前から食事に気を付けなければならないことが多い。しかし、これらの食事について気を付けるべきことは、ユーザに委ねられていたことから、適切な食事管理を行えない場合もある。
【0006】
さらに、ユーザが自らの状況に応じて、相応しい食事を得ようとしても、相応しい食事が提供可能な店舗やサービスが分からない場合がる。また、どのような食材や調理法を取れば相応しい食事を得ることが分からない場合がある。また、目の前にある食材や料理が、ユーザが食してもよいかどうか簡単には分からない場合がある。
【0007】
本発明は、このような事情を鑑みてなされたものであり、ユーザの状況に応じて適切な食事に関するアドバイスを行うことができる、またはユーザが食するのに適している否かが容易に分かるようにしたユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するため第１の発明に係るユーザ補助情報出力装置は、ユーザの状況情報を入力するユーザ状況情報入力部と、上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを上記店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力部と、を具備する。
上記目的を達成するため第２の発明に係るユーザ補助情報出力装置は、ユーザの状況情報を入力するユーザ状況情報入力部と、上記状況情報に従って得られる、食材と調理法を組み合わせたデータベース情報によって、上記ユーザの食事に関するアドバイスを出力するアドバイス出力部と、を具備する。
上記目的を達成するため第３の発明に係るユーザ補助情報出力装置は、食材または調理された料理の画像を入力する画像入力部と、上記画像入力部によって入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力部と、を具備する。
上記目的を達成するため第２の発明に係るユーザ補助情報出力装置は、ユーザの状況情報を入力するユーザ状況情報入力部と、上記状況情報に従って得られる、食材と調理法を組み合わせたデータベース情報によって、上記ユーザの食事に関するアドバイスを出力するアドバイス出力部と、を具備する。
上記目的を達成するため第３の発明に係るユーザ補助情報出力装置は、食材または調理された料理の画像を入力する画像入力部と、上記画像入力部によって入力した画像について、上記画像内の位置に応じて、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力部と、を具備する。
【0009】
第４の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記ユーザの診断に際に得られた情報を入力する診断情報入力部を有し、上記アドバイス出力部は、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力する。
第５の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材を提供可能な店舗情報またはサービス情報を含む。
第５の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材を提供可能な店舗情報またはサービス情報を含む。
【0010】
第６の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記状況情報に従って得られる、食材と調理法を組み合わせた情報によって、上記ユーザの食事に関する注文、予約を行う。
第７の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材と調理法に従った料理を提供可能な店舗情報またはサービス情報を含む。
第７の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部が出力する上記食事に関するアドバイスは、食材と調理法に従った料理を提供可能な店舗情報またはサービス情報を含む。
【0011】
第８の発明に係るユーザ補助情報出力装置は、上記第３の発明において、 上記画像入力部は、食材または調理された料理を画像として入力する撮像部を有し、上記アドバイス出力部は、上記撮像部によって入力した画像について、上記ユーザが食することについての適否を表示する。
第９の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記ユーザ状況情報入力部が入力した上記状況情報に基づいて、上記ユーザが検査を受ける予定があるか否かについて判定し、上記検査を受ける予定の日より前から、食事に関するアドバイスを提供する。
第９の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記ユーザ状況情報入力部が入力した上記状況情報に基づいて、上記ユーザが検査を受ける予定があるか否かについて判定し、上記検査を受ける予定の日より前から、食事に関するアドバイスを提供する。
【0012】
第１０の発明に係るユーザ補助情報出力装置は、上記第４の発明において、 上記診断情報入力部は、上記ユーザの診断の際に、得られた画像を入力する。
第１１の発明に係るユーザ補助情報出力装置は、上記第４の発明において、上記アドバイス出力部は、上記ユーザの診断の際に、得られた画像中における検査結果の特徴に応じて、アドバイスを出力する。
第１１の発明に係るユーザ補助情報出力装置は、上記第４の発明において、上記アドバイス出力部は、上記ユーザの診断の際に、得られた画像中における検査結果の特徴に応じて、アドバイスを出力する。
【0013】
第１２の発明に係るユーザ補助情報出力装置は、上記第４の発明において、 上記アドバイス出力部は、上記ユーザの診断に関する情報に応じて、上記食事に関するアドバイスの内容および／または上記食事に関するアドバイスを出力する期間を変更する。
第１３の発明において、第１ないし第３の発明に係るユーザ補助情報出力装置は、スマート家電である。
第１３の発明において、第１ないし第３の発明に係るユーザ補助情報出力装置は、スマート家電である。
【0014】
第１４の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記ユーザ状況情報入力部は、上記状況情報として、上記ユーザの所在位置、上記ユーザ自身の現在の画像、上記ユーザが診断を受けてからの時間、現在時刻、上記ユーザのプロフィール、上記ユーザの生活習慣、上記ユーザの病歴、上記ユーザの服薬履歴の内、少なくとも１つを入力する。
第１５の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記ユーザが診断を受けた時期を基準として、この時期からの期間に応じて、上記ユーザの食事に関するアドバイスを変更する。
第１５の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記ユーザが診断を受けた時期を基準として、この時期からの期間に応じて、上記ユーザの食事に関するアドバイスを変更する。
【0015】
第１６の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部が出力した上記アドバイスについて、食事を摂取する前に医師、栄養士、医療従事者に承認してもらう。
第１７の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部は、上記アドバイスに従って、上記食事に関するアドバイスに従った食材や料理を店舗やサービス提供者に予約サービスを提供する。
第１８の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記状況情報に従って得られる上記ユーザの食事に関するアドバイスを複数用意し、優先順位に従って、順次表示する。
第１７の発明に係るユーザ補助情報出力装置は、上記第１ないし第３の発明において、上記アドバイス出力部は、上記アドバイスに従って、上記食事に関するアドバイスに従った食材や料理を店舗やサービス提供者に予約サービスを提供する。
第１８の発明に係るユーザ補助情報出力装置は、上記第１または第２の発明において、上記アドバイス出力部は、上記状況情報に従って得られる上記ユーザの食事に関するアドバイスを複数用意し、優先順位に従って、順次表示する。
【0016】
第１９の発明に係るユーザ補助情報出力装置は、上記第２の発明において、食材と調理法を組み合わせた上記データベースは、さらに料理提供時の温度情報を含む。
第２０の発明に係るユーザ補助情報出力装置は、上記第２の発明において、食材と調理法を組み合わせた上記データベースは、さらに料理提供時の温度情報を含む。
第２１の発明に係るユーザ補助情報出力装置は、上記第２の発明において、食材と調理法を組み合わせた上記データベースは、素材または調理法に対しての過不足情報をさらに含む。
第２０の発明に係るユーザ補助情報出力装置は、上記第２の発明において、食材と調理法を組み合わせた上記データベースは、さらに料理提供時の温度情報を含む。
第２１の発明に係るユーザ補助情報出力装置は、上記第２の発明において、食材と調理法を組み合わせた上記データベースは、素材または調理法に対しての過不足情報をさらに含む。
【0017】
第２２の発明に係るユーザ補助情報出力システムは、ユーザの診断・検査情報を入力する診断・検査情報入力部と、上記ユーザの状況情報を入力するユーザ状況情報入力部と、上記診断・検査情報と上記状況情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力部と、を具備する。
【0018】
第２３の発明に係るユーザ補助情報出力方法は、ユーザの状況情報を入力するユーザ状況情報入力ステップと、上記状況情報に従って上記ユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを出力するアドバイス出力ステップと、を有する。
第２４の発明に係るユーザ補助情報出力方法は、ユーザの状況情報を入力するユーザ状況情報入力ステップと、上記状況情報に従って得られる食材と調理法を組み合わせた情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力ステップと、を有する。
第２５の発明に係るユーザ補助情報出力方法は、食材または調理された料理の画像を入力する画像入力ステップと、上記画像入力ステップにおいて入力した画像について、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力ステップと、を有する。
第２６の発明に係るユーザ補助情報出力方法は、上記第２３ないし第２５の発明において、上記ユーザの診断に際に得られた情報を入力する診断情報入力ステップを有し、上記アドバイス出力ステップは、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力する。
第２４の発明に係るユーザ補助情報出力方法は、ユーザの状況情報を入力するユーザ状況情報入力ステップと、上記状況情報に従って得られる食材と調理法を組み合わせた情報に基づいて、上記ユーザに食事に関するアドバイスを出力するアドバイス出力ステップと、を有する。
第２５の発明に係るユーザ補助情報出力方法は、食材または調理された料理の画像を入力する画像入力ステップと、上記画像入力ステップにおいて入力した画像について、上記ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力ステップと、を有する。
第２６の発明に係るユーザ補助情報出力方法は、上記第２３ないし第２５の発明において、上記ユーザの診断に際に得られた情報を入力する診断情報入力ステップを有し、上記アドバイス出力ステップは、上記ユーザの診断の際に、得られた情報に応じて、アドバイスを出力する。
【発明の効果】
【0019】
本発明によれば、ユーザの状況に応じて適切な食事に関するアドバイスを行うことができる、またはユーザが食するのに適している否かが容易に分かるようにしたユーザ補助情報出力装置、ユーザ補助情報出力システム、およびユーザ補助情報出力方法を提供することができる。
【図面の簡単な説明】
【0020】
【図1A】本発明の一実施形態に係るユーザ補助情報出力システムを示すブロック図である。
【図1B】本発明の一実施形態に係るユーザ補助情報出力システムにおける情報端末の内部構成を示すブロック図である。
【図1C】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、大病院や介護施設における介護食データの例を示す図である。
【図2A】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、チャットボットの動作を示すフローチャートである。
【図2B】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、チャットボットの動作を示すフローチャートである。
【図3】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、情報取得の動作を示すフローチャートである。
【図4】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、アドバイス内容、アドバイス終了の目安期間を判定する動作を示すフローチャートである。
【図5】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、食事アドバイスの動作を示すフローチャートである。
【図6】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、食事アドバイスの他の動作を示すフローチャートである。
【図7A】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、提供可能な情報の表示の動作を示すフローチャートである。
【図7B】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、提供可能な情報の表示の動作を示すフローチャートである。
【図8】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、携帯端末の動作を示すフローチャートである。
【図9】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、データベース（ＤＢ部）に記憶されているデータの例を示す図である。
【図10】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、医療機器のＣＰＵの動作を示すフローチャートである。
【図11】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、教師画像のデータの収集の動作を示すフローチャートである。
【図12】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、携帯端末に食事アドバイスを表示する例を示す図である。
【図13】本発明の一実施形態に係るユーザ補助情報出力システムにおいて、食事アドバイスが必要な状況を説明する図である。
【発明を実施するための形態】
【0021】
以下、本発明の一実施形態として、本発明をユーザ補助情報出力システムに適用した例について説明する。
【0022】
情報端末１０は、ユーザが所持しており、ここではスマートフォンやその周辺機器のウエアラブル端末、あるいは携帯端末（単独使用可能なウエアラブル端末等を含んでもよい）を想定している。スマートフォン等の場合には、ユーザがこれを所持しているために、ユーザと一緒に移動することが可能である。しかし、スマートフォンに限らず、スマート家電（ＡＩスピーカーを含む）、デジタル家電、パーソナルコンピュータ等、必ずしもユーザと一緒に移動しない情報機器であってもよい。また、情報端末１０は、チャットボットとしての機能を有し、人工知能を活用した自動会話プログラムを有している。すなわち、チャットボットは、人工知能を組み込んだコンピュータが人間に代わって対話することができる。
【0023】
また、店舗や交通機関で利用できるＩＣカードなども、それらに対応するシステムの設置場所やユーザのカード利用などの実績、履歴等に基づいて、ユーザの行動を把握できるので、ＩＣカード利用時の対応機器（システムの端末）が、その時のみ、ユーザの情報端末１０として機能するという応用例も本実施形態における情報端末１０の範疇に入る。その他、カード以外の電子決済システムを構成する機器も同様の考え方で、情報端末１０の役割を担える。
【0024】
情報端末１０は、図１Ａに示す推論エンジン１１の他にも、図１Ｂに示すように、制御部１２、通信部１３、記録部１４、表示部１５、操作部１６、センサ部１７を有する。なお、推論エンジン１１は、情報端末１０中に備えていなくてもよく、ネットワークで接続され情報端末１０から離れた場所にある装置（サーバ等も含む）と連携するようにしてもよい。また、電子決済システムの端末は、端末から離れた場所にある制御部とネットワークで接続される場合があり、あるいは端末や制御部が分散して用意されている場合もある。これらのケースも制御部を有する扱いである。もちろん、スマートフォンのような携帯端末が、ユーザーインターフェース部分のみの制御を担い、その他の部分はクラウド上の制御部と連携するケースがある。本願では連携したものを含めて端末の制御部１２として表現している。また、制御部１２の機能の一部や、記録部１４等の機能は、クラウドや外部コンピュータ等、通信部を通じて通信可能な装置に分散するようにしても勿論かまわない。
【0025】
推論エンジン１１は、入力層、中間層（ニューラル・ネットワーク）、出力層を有している。推論エンジン１１は、コンピュータ３０によって生成された推論モデルを用いて、推論を行う。この推論エンジン１１は、市中病院Ａ２０や地方病院Ｂ２５等におけるユーザ９０の状況を示すユーザ状況情報７１、医療機関や検査機関等における診断・検査情報７２を入力し、ユーザに食材と調理法を組み合わせた情報等、ユーザの食事に関するアドバイスを推論する。このアドバイスは、単純ガイド７３ａ、７３ｂ、スペシャルガイド７４ａ 、７４ｂとして、ユーザ９０に表示する。
【0026】
なお、推論エンジン１１は、ＣＰＵ、ＧＰＵ、ＤＳＰなどＡＩチップを中心とした回路ブロックで、メモリなども搭載してニューラル・ネットワークを構成している。この推論エンジン１１が、医療機関や検査機関等などが連携して運営するネットワーク等に接続されており、これらと協働して制御部１２が利用できる場合があり得ることを、本実施形態においては想定している。
【0027】
通信部１３は、通信回路を有し、コンピュータ３０と、市中病院Ａ２０、地方病院Ｂ２５等の医療機関や検査機関等と、通信を行うことができる。すなわち、通信部１３は、コンピュータ３０から推論モデル７８を受信することができる。また、通信部１３は、市中病院Ａ２０や地方病院Ｂ２５等の医療機関や検査機関等から、ユーザ状況情報７１や診断・検査情報７２を受信することができる。診断・検査情報７２には、医療機関や検査機関等における医療機器情報７２ａ、７２ｂが含まれる。これらの情報は、ユーザに食事に関するアドバイスを推論によって得る際に使用される。
【0028】
通信部１３は、ユーザの状況情報を入力するユーザ状況情報入力部として機能する（例えば、図２ＡのＳ５等参照）。ユーザ状況情報入力部が入力するユーザの状況情報は、例えば、ユーザの所在位置、ユーザ自身の現在の画像、ユーザが診断を受けてからの時間、現在時刻、ユーザのプロフィール、ユーザの生活習慣、ユーザの病歴、ユーザの服薬履歴の内、少なくとも１つである。
【0029】
また、通信部１３は、ユーザの診断の際に得られた情報（診断情報）を入力する診断情報入力部として機能する（例えば、図２ＡのＳ３等参照）。通信部１３は、ユーザの診断・検査情報を入力する診断・検査情報入力部として機能する（例えば、図２ＡのＳ３等参照）。診断に関する診断情報や診断・検査情報は、医師等が患者を診察した際に得た情報に限らず、診断のために行った検査の際に得た情報や、また、診察や検査を受けるために医療機関や検査機関に予約を行った際の情報等、広い意味で用いる。診断情報入力部は、ユーザの診断の結果、得られた画像を入力する（例えば、図２ＡのＳ３等参照）。診断の結果得られた画像は、例えば、内視鏡画像、胸部レントゲン写真、ＭＲＩ（核磁気共鳴：Magnetic Resonance Imaging）画像、ＣＴ（コンピュータ断層：Computed Tomography）画像等がある。これらの画像は、症状を判断したり、処置の結果を判断したりする際に、好適な情報となる。
【0030】
記録部１４は、電気的に書き換え可能な不揮発性メモリであり、種々のデータを記録する。制御部１２内のＣＰＵにおいて使用するプログラムを記憶しておいてもよい。また、記録部１４は、通信部１３によって受信した診断・検査情報７２やユーザ状況情報７１等の情報も記録する。また、記録部１４は、診断・検査結果等に応じた食事アドバイスを記録しておくデータベースを有していてもよい（図９参照）。
【0031】
記録部１４は、ユーザの診断結果を情報として記録する記録部として機能する（例えば、図２ＡのＳ３）。また、記録部はユーザの診断結果として、診断の際に取得した画像（例えば、内視鏡画像、胸部レントゲン画像、ＭＲＩ画像、ＣＴ画像）を記録することもある（例えば、図２ＡのＳ３、図９参照）。
【0032】
表示部１５は、表示用ディスプレイを有し、推論エンジン１１によって推論された食事に関するアドバイスを表示することができる。この食事に関するアドバイスは、推論する以外にも、記録部１４に食事に関するアドバイスのデータベースの検索結果に基づいて、表示してもよい。また、表示部１５は、情報端末１０の各種モードや入力用のアイコン等、種々の情報を表示することができる。なお、情報端末１０がチャットボット機能として、音声を用いる場合には、マイク、スピーカー、音声認識回路等を備える。
【0033】
操作部１６は、表示用ディプレイに向けられたタッチセンサや、各種釦等の操作部材を有する。操作部１６によって、ユーザが情報端末１０に種々の指示を行うための指示操作を行うことができる。
【0034】
センサ部１７は、各種センサや各種センサの出力を処理する処理回路等を有する。各種センサとしては、例えば、情報端末１０の位置を検出するためのＧＰＳ（全地球測位システム：Global Positioning System）や、画像を取得するための撮像部がある。 ユーザは、情報端末を所持して移動するので、ＧＰＳを設けておくことによって、ユーザの位置を判定することができる。また、撮像部によってユーザ自身の画像を取得することができ、この画像を解析することによって、ユーザの健康状態を判定することができる。また、ユーザが、撮像部によって食した食事の画像を取得すれば、食事に関する情報を得ることができる。
【0035】
センサ部１７内の撮像部は、食材または調理された料理を画像として入力する撮像部として機能する（例えば、図５のＳ７７、Ｓ７９等参照）。なお、情報端末１０が撮像部を有さない場合には、通信部１２等を通じて、画像データを入力してもよい。この場合には、通信部１２等が食材または調理された料理の画像を入力する画像入力部として機能する。
【0036】
また、情報端末１０がスマートウォッチと連携するように構成しておけば、ユーザの歩数、心拍数、血圧等のバイタル情報を取得することができる。情報端末１０が、これらの情報を計測するためのセンサを有していてもよい。
【0037】
制御部１２は、ＣＰＵ（Central Processing Unit）、メモリ、ＨＤＤ等から構成されているＩＴ機器であり、ＣＰＵ等とその周辺回路およびメモリ等を有するプロセッサである。このプロセッサは１つであってもよく、また複数のチップから構成されてもよい。ＣＰＵはメモリに記憶されたプログラムに従って、情報端末１０内の各部を制御することによって情報端末１０の全体を実行する。情報端末１０内の各部は、ＣＰＵによってソフトウエア的に制御することによって実現される。制御部１２を構成するプロセッサ内に、前述した通信部１３等を配置しても勿論かまわない。
【0038】
また、制御部１２は、通信部１３が受信したユーザ９０のユーザ状況情報７１に基づいて、ユーザの状況を判定する。制御部１２は、ユーザの状況を判定するユーザ状況判定部として機能する（例えば、図２ＡのＳ５参照）。ユーザ状況判定部は、ユーザの所在位置、ユーザ自身の現在の画像、ユーザが診断を受けてからの時間、現在時刻の内、少なくとも１つに基づいて、ユーザの状況を判定する（図２ＡのＳ５参照）。
【0039】
また、制御部１２は、診断に関する情報と上記ユーザの状況情報に従って得られる、上記ユーザの食事に関するアドバイスを出力するアドバイス出力部として機能する（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５、図２ＢのＳ２９、Ｓ２９等参照）。制御部１２は、診断・検査情報と状況情報に基づいて、ユーザに食事に関するアドバイスを出力するアドバイス出力部（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５、図２ＢのＳ２９、Ｓ２９等参照）。また、食事に関するアドバイスは、食材と調理法を組み合わせた情報に基づいて作成する。なお、食事は、食材（肉、魚、野菜、穀物、豆類等の狩猟、採取、養殖または栽培によって得られる材料を想定）と調理方法で料理するものである。
【0040】
制御部１２は、状況情報に従ってユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを店舗、またはサービスのＰＯＳシステムの有する情報と連携して出力するアドバイス出力部として機能する（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５、図２ＢのＳ２９、Ｓ２９等参照）。制御部１２は、状況情報に従って得られる、食材と調理法を組み合わせたデータ情報によって、ユーザの食事に関するアドバイスを出力するアドバイス出力部として機能する（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５、図２ＢのＳ２９、Ｓ２９等参照）。
【0041】
アドバイス出力部が食事に関するアドバイスを出力するために、料理や飲料ごとに、その食材と（香辛料や香料等、調味料、使用する油、加熱の有無、生かどうかなどを含め）調理法、あるいはカロリーや塩分、糖分などの量を、分けて管理したデータベースなどを用意しておき、食材や調理法や味付け（塩分、糖分、カロリー、調味料、トッピングなど）に分けて、データベースを用いて判定可能にしておく。この判定の結果、それぞれについてユーザが食するのにＯＫなら、できたものもＯＫという考え方で、症例ごとに、安全な料理、飲料を選ぶことが出来る。また、このデータベースは、代表的な画像情報やレシピなども関連付けて記録しておき、画像を用いて検索することができたり、またレシピを用いて食材情報や調理情報を検索できるようにしたりしてもよい。レシピであれば、調理手順もわかり、加熱される場合と加熱されない場合の素材の変化などが判定可能となる。
【0042】
また、データベースは、完成品としての料理や飲料ごとに、健康的であるか、健康的でないといった分類をしてもよい。しかし、本実施形態においては、症例や体質ごとに細かく情報が欲しいので、完成品に〇〇病ＯＫ、△△症例ＮＧといった分類をすることを想定している。ただし、この方法では、情報量が増えすぎて新商品が出来るたびに管理が大変になるので、食材や調理法ごとに〇〇病ＯＫ、△△症例ＮＧといった分類をしておいたほうが、含まれている素材を吟味して、より広範囲に展開でき、多くの商品を簡単に判定できるシステムにできる。
【0043】
また、制御部１２は、画像入力部によって入力した画像について、画像内の位置に応じて、ユーザが食することについての適否を表示するためのアドバイスを出力するアドバイス出力部として機能する（例えば、図５のＳ７７、Ｓ７９、図１２参照）。画像は一般的に二次元空間上に配置された、その位置ごとに視認可能な情報の集合であるが、その特徴ゆえに、視認性が良く、一見しての判定がしやすいというメリットがある。この特徴を利用して、画像表示時の画面内のどの位置に何があるかというアノテーションや判定もしやすく、多くの画像が人工知能（ＡＩ）の教師データとして使われやすい状況、あるいは画像判定ＡＩの入力に使いやすい状況にある。
【0044】
そこで、本実施形態においては、この画像の持つ特徴ゆえに、どのような料理が画面内のどこにあって、それのどの特徴がユーザにとって良いか悪いかなどを判定できるようにしている。これには、画面のどこにどのような料理、食べ物、飲み物があるかを、例えば容器がどこにあるか、又その容器に何が含まれていそうかについて、類似画像検索から得られたデータベースにある画像と、その検索された画像に対応する類似料理が作られる時の食材や調理法を、それぞれ判定し、あるいはレシピを判定して、画面内の部分毎に、摂取に相応しく、相応しくないかを判定するＡＩが簡単に用意できるということを意味している。これについては、図１２などで改めて説明する。
【0045】
また、制御部１２は、ユーザの診断の際に、得られた情報に応じて、アドバイスを出力するアドバイス出力部として機能する（例えば、図２ＡのＳ１、Ｓ３、Ｓ１３、Ｓ１５等参照）。このアドバイス出力部は、診断の際に得られた診断情報に加えてユーザ状況情報も用いて、アドバイスを出力するようにしてもよい。
【0046】
また、アドバイス出力部（制御部１２）が出力する食事に関するアドバイスは、食材を提供可能な店舗情報またはサービス情報を含む（例えば、図２ＢのＳ２９、図７ＡのＳ９３等参照）。また、アドバイス出力部（制御部１２）が出力する食事に関するアドバイスは、食材と調理法に従った料理（デザート、飲み物なども含めて、食事）を提供可能な店舗情報またはサービス情報を含む（例えば、図２ＢのＳ２９、図７ＢのＳ１９３等参照）。ここで、店舗情報またはサービス情報としては、レストランの名称や連絡先等があり、またサービス情報は宅配サービス等の名称や連絡先等である。また、アドバイス出力部が出力したアドバイスについて、食事を摂取する前に医師、栄養士、医療従事者に承認してもらう（例えば、図２ＡのＳ１３、Ｓ１５の前または後のタイミングにおいて、医師等の承認を得るステップを設ける）。
【0047】
制御部１２は、ユーザ状況情報入力部が入力した状況情報に基づいて、ユーザが検査を受ける予定があるか否かについて判定する（例えば、図２ＡのＳ３参照）。制御部１２は、検査を受ける予定の日より前から、食事に関するアドバイスを提供するアドバイス出力部として機能する（例えば、図２Ａの参照）。
【0048】
アドバイス出力部は、ユーザの診断の結果、得られた画像中における検査結果の特徴に基づいて、アドバイスを出力する（例えば、図２ＡのＳ１３、Ｓ１５等参照）。例えば、画像として内視鏡画像を得た場合には、画像中のポリープの大きさに応じてアドバイスを出力する。また、アドバイス出力部は、ユーザの診断に関する情報に応じて、食事に関するアドバイスの内容および／または食事に関するアドバイスを出力する期間を変更してもよい（例えば、図２ＡのＳ１３、Ｓ１５等参照）。例えば、診断の結果、得られたポリープの大きさに基づいて、アドバイスを出力する期間を変更してもよい。
【0049】
なお、ここでは内視鏡における処置について述べたが、他の検査や処置行った場合にも検査や処置の結果に応じて、出力するアドバイスを変更してもよい。例えば、歯科の領域では、治療時の状況に応じて、口や歯が使えなくなる場合があり、また口腔外科や皮膚科などでも、同様の症状や処置ごとの推奨項目に変化がある。また、様々な検査、例えば、採血が上手くいかない場合なども、しばらく様子を見てから再度、試みる場合がある。症状がひどい時は、症状が落ち着いてから処置をする場合があり、その場合においても、診察、診断、検査の後、アドバイスの出し方が変わった方が良い。
【0050】
アドバイス出力部は、ユーザが診断を受けた時期を基準として、この時期からの期間に応じて、ユーザの食事に関するアドバイスを変更する（例えば、図２Ａの）。診断を受けた時期は、医師等が患者に対して診察し、この診断した時期に限らず、例えば、検査を受けた時期でもよい。基準日から後の期間に限らず、検査日や診察日を基準として、その基準日より前の期間であってもよい。また、情報端末１０が食材または料理、調理、配合、アレンジされたものを画像として入力する画像入力部（または撮像部）を有する場合に、アドバイス出力部は、画像入力部（撮像部）によって入力した画像について、ユーザが食することについての適否を表示する（例えば、図５のＳ７７、Ｓ７９、図１２参照）。
【0051】
アドバイス出力部は、アドバイスに従って、食事に関するアドバイスに従った食材や料理、食事、飲み物を店舗やサービス提供者に予約サービスを提供する（例えば、図２ＢのＳ３１、Ｓ３３参照）。情報端末１０は、状況情報に従って得られる、食材と調理法を組み合わせた情報によって、上記ユーザの食事に関する注文、予約を行う（例えば、図２ＢのＳ３１、Ｓ３３参照）。なお、この注文や予約は、情報端末１０に限らず、コンピュータ３０や、その他のコンピュータ、サーバ等が代行してもよい。アドバイス出力部は、診断結果および／またはユーザの状況の判定結果に従って得られるユーザの食事に関するアドバイスを複数用意し、優先順位に従って、順次表示する（例えば、図２ＢのＳ２３参照）。
【0052】
なお、上述のアドバイスは、本人のみならず、その人の食事を用意する家族やパートナーや補助者の情報端末などにも表示等、出力できるようにしてもよい。この場合、ユーザが設定した他の人の情報端末にも、同様の情報が送信されたり、その他の人の情報端末から情報にアクセスしたりできるようにすればよい。
【0053】
市中病院Ａ２０および地方病院Ｂ２５は、ユーザ９０が診察を受け、また検査を受ける医療・検査機関である。ユーザが医療・検査機関を受診する際に、ユーザ登録する場合や、ユーザ用のアプリケーションソフトを情報端末１０に入力することによって、情報端末１０が医療・検査機関等から各種情報を取得することが可能となる。ユーザの情報端末１０に医療・検査機関等から情報を取得可能になると、情報端末１０がユーザ９０の診断・検査情報７２を取得することができる。病院等において、診断・検査結果等のサービスを受けることを予約する等によって、情報端末１０が診断結果等の診断・検査情報７２を取得するようにしてもよい。
【0054】
また、市中病院Ａ２０には医療機器２０ａ、また地方病院Ｂ２５には医療機器２５ａが配置されている。医療機器２０ａ、２５ａおける医療機器情報２０ａ、２５ａも診断・検査情報７２と共に情報端末１０に送信してもよい。また、医療機器２０ａ、２５ａが、それぞれスタンドアロンではなく、医療・検査機関内の医療サーバ等に接続され、この医療サーバが情報端末１０に診断・検査情報７２を送信するようにしてもよい。医療機器情報、診断・検査情報、医療機器情報等の医療や健康に関する情報を総称して医療情報ともいう。医療機器等における詳しい動作については、図１０を用いて後述する。
【0055】
前述の推論エンジン１１は、ユーザ状況情報７１および診断・検査情報７２を入力すると、推論モデルを用いて、単純ガイド７３ａ、７３ｂを出力するための推論を行う。この単純ガイドは、ユーザ９０が市中病院Ａ２０等の医療機関や検査機関で診察等を受けた際に、このときの医療情報に基づいて、ユーザ９０が病院外における活動を行う際の補助的なアドバイスである。例えば、予防注射等を受けた後に、接種したワクチン等によっては早く寝た方が良い場合があり、この場合にはカフェインを取らない方が良いといったような食事アドバイスをする。また、内視鏡検査を受けた際にポリープを取った場合には、消化の良いものを食するのが良いとかいったようなアドバイスをし、また海苔、ゴマ、ネギ等を食するのは控えるようアドバイスする。
【0056】
また、推論エンジン１１は、医療情報に加えて、ユーザの生活習慣等の情報に基づいて、スペシャルガイド７４ａ、７４ｂを出力し、このスペシャルガイドをユーザ９０に提示する。前述の単純ガイド７３ａ、７３ｂは、市中病院Ａ２０等において、診察や検査を受けた際の特定のタイミングを基準に所定期間の間だけ、診察や検査に関連するアドバイスである。これに対して、スペシャルガイドは、内視鏡検査等などの診察や検査の前後に関わらず、ユーザ９０が生活を見守って欲しい場合にアドバイスする等を想定している。例えば、中性脂肪が多い人に対して、バター、クリーム、牛肉や豚肉など脂質の多いもの、果物、はちみつ、菓子、ジュースなど糖質の多いもの、ビール、酒などのアルコール飲料などを控えるようなアドバイスを行う。
【0057】
上述のスペシャルガイド７４ａ、７４ｂを行う場合には、情報端末１０は、ユーザ９０の状況に関する情報（端末情報等７５ａ、７５ｂ）を取得し、ユーザの生活習慣情報として、コンピュータ３０に送信する。 端末情報等７５ａ、７５ｂは、ユーザ９０がどこにいるか、どこで何を買ったか、食べたか等の情報を含んでもよい。また端末情報等７５ａ、７５ｂは、バイタル情報や健康診断結果の要点を記録してもよい。また、ユーザの冷蔵庫やエアコン等の情報を参考にしてもよい。これらの情報を取得するために、情報端末１０は、ＧＰＳを備え、位置情報を取得してもよい。また、情報端末１０は、撮像部と画像解析部を備え、ユーザ９０が購入する物品や行動等を解析し情報を取得してもよい。さらに、クレジット決済等、ＩＴ利用の決済情報から購入物に関する情報を取得してもよい。
【0058】
情報端末１０と連携して動作するコンピュータ３０は、このような病院や介護施設にないデータを取得し、このデータに基づいて教師データを生成する。このような食生活をしているとこうなるというユーザの生活情報が集まる。このユーザの生活習慣に関するデータを取得した教師データは、グレートアップ版の教師データとなる。
【0059】
また、大病院５１、介護施設５３は、日々、介護食を患者や入所者に提供している。介護食の介護食データ７７ａ～７７ｃは、図１Ｃに示すように、患者や入所者の症状（図１Ｃでは、症状１～３）、経過時間（図１Ｃでは、経過時間１～３）、処置前時間（（図１Ｃでは、時間１～３）、画像（（図１Ｃでは、画像１～３）、素材集情報（（図１Ｃでは、情報１～３）、調理情報（（図１Ｃでは、症状１～３）を含んでいる。大病院（治療の場であり、生活の場である療養型病院などもある）５１や、介護施設５３であれば、どのような症状であれば、どのような食事メニューだと効果があったかを、年齢、性別ごとに情報を有している。そこで、これらの情報を整理すれば介護食データセットができるので、これを収集し、このデータにセットに含まれている素材、調理法をメイン教師データとする。この教師データは、画像データや、たんぱく質、糖質、カロリー、塩分等の情報を有するようにする。
【0060】
この教師データは、料理データベースとしても利用できる。図１Ｃでは、一回の食事相当の料理一式の画像例（画像１～３）で示した。しかし、専門的な施設で用意される料理と同一の料理をユーザ自らが、まったく同じように料理したり用意したりするのは困難なので、個々の皿など容器ごとの内容に分けて、それぞれについて教師データとしてもよい。つまり、図１Ｃに示した例は概念的な部分を含み、実際には、皿や椀や容器ごとの画像ごとに整理した方が実用的になる。ただし、単品では、必要な栄養素やカロリーが欠ける可能性があり、それらを補い合う料理一式の画像も利用が可能な場合もある。
【0061】
この場合、同じ料理でも摂取量も重要な健康管理指標になるので、データベースには、それぞれの料理用の容器、食器、あるいはお盆等のサイズ毎に、料理の量（重量など）が推定できるようにしてもよいし、また、これらの情報を別途、記録しておいてもよい。例えば、特定の栄養やカロリーが足りているか否かを判定する際には、１セットの料理の教師データについて、足りない付け合わせ（その栄養素やカロリー）等を判定するＡＩや、食べ過ぎなど摂取過多を判定するＡＩが、利用できるようにすればよい。
【0062】
このような工夫を行うことによって、どのような料理が、どのような症例や治癒段階に相応しいかについてや、また、その素材や調理法と関連付けて（教師データ化にする場合にはアノテーションできる形式でデータを関連付ける）記録しておけば、それぞれの容器に盛られた料理ごとに、適不適の判定が可能となる。また、同じ皿に複数の料理（素材と調理法、レシピが異なるもの）が盛り付けられる場合もある。その場合には、画面内のどの位置にどのような素材が主の料理が配置されているかを、色や質感や境界線等に基づいて判定し、それぞれに分けてデータベース化や教師データ化してもよい。
【0063】
なお、この教師データやデータベースは、代表的な画像情報やレシピなども関連付けて記録しておき、画像に基づいて検索できるようにしたり、食材情報や調理情報をレシピに基づいて検索できるようにしたりしてもよい。レシピであれば、調理手順も分かり、加熱される場合と加熱されない場合の素材の変化なども判定することができる。
【0064】
ここで教師データは、特定の情報Ａ（例えば画像データ）から特定の情報Ｂを引き出す推論モデルを作成する場合に深層学習等に使用される場合がある。また、情報Ａに情報Ｂをアノテーションして学習させる場合にも教師データと書いている。しかし、情報Ａと情報Ｂが関連付けられて、それらの相互関係が分かるように整理されて記録され、情報ＡからＢ、情報ＢからＡと（あるいは、関連するＣ、Ｄと）関係する情報を検出できればデータベースとして表すことが出来るので、結局、教師データを構成する情報と、データベースを構成する情報は、略等しいと考えてよい。また、アノテーション情報は取捨選択してもよい。
【0065】
画面内にある食材や料理の個々の位置情報も、併せて記録しておいてもよく、その位置ごとにアノテーションできるような構成でもよい。画像からは直接には分からない、温度の情報やその他のデータも合わせて整理してもよい。また、図９を用いて後述する患部やその症状と、ここで説明した各料理、あるいはその食材や調理法、レシピの関係がデータベース化されていてもよい。また、様々な素材と調理法を組み合わせて出来上がる各種料理は、多様になりすぎる可能性もあり、さらに、素材に分解したデータベースを用意してもよい。また、調味料や油などを含めた調理法ごとに分解したデータベースを用意してもよい。例えば、グリーンサラダの場合、レタスがどのような症例に問題があるかに加え、調理法としてドレッシングを例にすると、しょうゆなら良いが、胡麻はだめといった違いを反映できる。もちろん、体質によって、サラダそのものがだめ、といった判定も可能となる。先ほどの付け合わせの考え方を入れて、暖かいものと一緒なら良いという判定をするＡＩにすることも可能である。この場合、データベースに、体への良し悪しの情報の他、それだけでは不足するものや、付け合わせの情報を併せて記録してもよい。
【0066】
コンピュータ３０は、ＣＰＵ等の情報処理部、プログラム等を記憶したメモリと、通信回路等の周辺回路等を有する一般的なコンピュータとしての構成を有しており、また、データ収集部３１とカスタマイズ学習部３３を有する。データ収集部３１は、前述したように大病院５１、介護施設５３から介護食データセット７７ａ～７７ｃを収集し、このとき、たんぱく質、糖質、カロリー、塩分情報も収集し、メイン教師データを生成する。
【0067】
また、コンピュータ３０は、クラウドサービス一般の制御を司るサーバ等を想定してもよい。このようなサーバは一台である必要はなく、様々な役割を持つサーバと連携して想定する機能を満たす他、ユーザの情報端末１０の一部の機能を請け負って、あるいは。そこからの情報も入手し、この情報に更に情報を加味して所定のサービスを可能としてもよい。例えば、情報端末１０に内蔵してもよいと述べた推論エンジン１１は、コンピュータ３０内、あるいは、それと連携するコンピュータ（サーバ）内に設けてもよく、情報端末１０とコンピュータ３０が連携して、あたかも情報端末１０が、その機能を有しているように作動することも可能である。
【0068】
また、コンピュータ３０は、他のビジネスと連携し、例えば、宅配産業、外食産業、小売業、配送産業等におけるシステムの商品発注や注文、デリバリシステムと連携して制御を可能としてもよい。これらのシステムと連携することによって、情報端末１０やコンピュータ３０の制御部が、ユーザの注文を受け付けて、様々な食事のニーズを満たすサービスも実施可能となる。また、注文をユーザ自らが行わなくても、契約によってユーザとの同意がある場合などは、ユーザの上述したような情報を、店舗やサービスのシステムの制御部に入力し、ユーザに合わせた料理、食事、デザート、飲料やその材料、食材、調味料を予め用意しておくようなサービスを行う工夫も可能である。ユーザ状況を判定し、その状況に相応しい食材や、その食材と調理法、アレンジによる料理、デザート、飲料など総じて食事内容を推論して、ユーザに提供するシステムが構成できる。
【0069】
また、上述したような連携を通じて、関連産業、企業のシステムを制御する制御部が、対応する食材を調達する情報を出力したり、食材や調理法の情報を関連工場に出力し、その仕様に準じた製品を、特定に時間までに納入させたりすればよい。この特定の時間は、ユーザが食材や製品等を購入したくなるタイミング以前である必要がある。購入したくなるタイミングは、その店舗の前を通過、あるいは到着するまでの時間、あるいは、朝食時間、昼食時間、夕食時間、その他の時間に対応させればよい。このような商品が提供可能であることを、情報の連携、サービスの連携によって、制御部がユーザに情報提供できるようにすることが好ましい。
【0070】
また、データ収集部３１は、インターネット情報７６からの情報に基づいて、グレードアップ版の教師データを生成する。インターネット情報７６は、例えば、ユーザの生活習慣情報７６ａおよび料理サイト情報７６ｂを有する。生活習慣情報７６ａは、端末情報等７５ａ、７５ｂから収集した情報である。また、料理サイト情報は、例えば、インターネット上に掲載されている料理の写真（例えば、クックパッド）等がある。料理サイト情報は、素材や調理法についても含まれているので、これらの情報を用いて学習するようにしてもよい。教師データは、画像に対してアノテーションを付することによって、生成され、このアノテーションの付与は、人によって行ってもよく、またコンピュータによって自動的に付与してもよい。
【0071】
カスタマイズ学習部３３は、推論エンジン１１と同様に入力層、中間層（ニューラル・ネットワーク）、出力層を有している。データ収集部３１によって収集した教師データを用いて、機械学習を行うことによって、中間層（ニューラル・ネットワーク）の各層における結合の強さのパラメータを求め、単純ガイドやスペシャルガイドを行うための推論モデルを生成する。ここで生成された単純ガイドやスペシャルガイド用の推論モデルは、コンピュータ３０内の通信部を通じて、情報端末１０に送信され、推論エンジン１１に格納される。推論モデル作成用のデータ収集および学習の動作の詳細については、図１１を用いて後述する。
【0072】
ここで、深層学習について、説明する。「深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。順伝搬型ニューラル・ネットワークは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることによって、論理ゲートを容易に形成できる。
【0073】
ニューラル・ネットワークは、簡単な判別を行うのであれば３層でもよいが、中間層を多数にすることによって、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの観点から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を行い、最小限の処理で動作し、パターン認識に強い「畳み込み型ニューラル・ネットワーク」を利用してもよい。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。
【0074】
これらの技術を実現するために、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）等の従来からある汎用的な演算処理回路を使用してもよい。しかし、これに限らず、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるプロセッサを利用してもよい。近年ではこのような人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵ等その他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
【0075】
その他、機械学習の方法としては、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するものあり、これ以外にも、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要がある。本実施形態においては、画像の判定を、機械学習によって導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。
【0076】
このように、カスタマイズ学習部３３において推論モデルを生成し、この推論モデルを推論エンジン１１に設定すると、ユーザに種々の食事アドバイスを与えることが可能となる。例えば、ユーザ９０が、情報端末１０を持って、コンビニエンスストア４１やレストラン４３や食材宅配等４５を訪れた際に、食材や料理の画像を取得すると、ユーザ９０に食事に関するアドバイスを提供することができる。
【0077】
コンビニエンスストア４１、レストラン４３、食材宅配等４５などは、商品管理用にそれぞれサーバ等（店舗サーバと称する）のコンピュータを有し、コンピュータ３０や情報端末１０と、連携した制御が可能である。これらの店舗サーバ等のコンピュータは、データのやり取りや検索や表示制御等を分担しながら協調して動作し、本願のようなサービスがユーザに提供可能であるものとする。これらは商品管理や発注管理、納入管理用に設けられたデータベース等と連携しており、また、他の店舗や関係機関と適宜、ネットワークを形成し、連携可能になっている。
【0078】
例えば、図１２に示すように、カメラを食材や料理に向けて画像を取得すると、この情報端末のコンピュータ、あるいは、情報端末と連携するクラウド上などのコンピュータは、画面内のどの位置に、どのような料理や飲料があるかを判定し、画面を、判定対象とする料理ごとに分類し、分類されたそれぞれの画面内位置ごとに、その料理（デザートや飲料を含む）の特徴から、食材や調理法を推論し、その推論結果で得られた食材、素材や調理法ごとに、どのような影響が人間の体にあるか（ペットや家畜に与える場合は、それぞれの動物に対して影響があるか）をデータベース等で検索して、食材も調理法もよければ、ＯＫを出す、といった判断を行う。この処理を行うことによって、画面内のどの領域にあるものが摂取可能であるかについて、ユーザが一目瞭然で確認できるようにできる。この時、画像に基づいて料理の大きさ（重さ）を判定できるようにしたり、ユーザが目分量や実測値を入力できるようにしたりすれば、データベースにある理想の摂取量との比較や推論等を行うことによって、摂取量に対するアドバイスを行うことも可能とすることができる。もちろん、ユーザの身長、体重情報を入力可能として、情報を加味するようにしてもよい。
【0079】
情報端末のコンピュータ、あるいは、情報端末と連携するクラウド上などのコンピュータが、ユーザの状況を考慮し、画面内の料理等について、食してもよい食材の場合には、〇が表示され、食することが好ましくない食材の場合には、×が表示される。画像が不鮮明であったり、小さすぎたり、陰になったりしてわからないものもあるので、その場合は、ＡＩの信頼性が低いとして、「？」等、わからない旨を表示し、あるいは撮像の方法の改善を求めてもよい。またユーザ９０が食材を宅配可能なネットスーパーを訪れた場合に、食材や料理の画像を選択すると、同様に、〇や×の表示がなされる。もちろん、ネット上の画像でも、同様の判定が可能である。なお、こうした電子データ化した画像は、撮影せずともそのまま、推論エンジンに入力させて、上述したような〇や×の判定を行い、ユーザに告知するようにしてもよい。〇や×の判定を行うのみならず、好ましさを何らかの数値で表したり、色やマーク、枠表示などでビジュアルに表現してもよく、文字、または、音声で表現したりしてもよい。
【0080】
また、コンピュータ３０は、特定人に限らずユーザの食生活ニーズを取得し、近くに健康上の問題で困った人がいるという情報を取得できれば、その人に対して、健康に良い食事が提供可能であることをアドバイスことができる。すなわち、食材や食事の検討や、用意に役立つ情報を提供でき、またコンビニエンスストア等にとっては商品を広告することができる。
【0081】
次に、図２Ａおよび図２Ｂに示すフローチャートを用いて、ユーザ補助情報出力システム内の情報端末１０におけるチャットボットの動作について説明する。このフロー（なお、図３ないし図７Ｂのフローも同様）は、主として、制御部１１内のＣＰＵがメモリに記憶されたプログラムに従って、情報端末１０を制御することによって、実行される。
【0082】
図２Ａに示すチャットボットのフローが開始すると、まず、健診・診察情報を取得できたか否かを判定する（Ｓ１）。ユーザが、市中病院Ａ２０、地方病院Ｂ２５等の医療機関や検査機関等において、健診や診察等の予約や申し込みを行う際に、健診や診察情報の通知を受けることを申し込むことが出来る場合がある。例えば、医療機関や検査機関等の受付において登録した場合にその医療機関等が自動的に健診や診察情報を送信するようにしてもよく、また情報受領用のアプリケーションソフトを情報端末１０にインストロールすることによって、医療機関等が自動的に健診や診察情報を送信するようにしてもよい。アプリケーションソフト入力用のコード（例えば、ＱＲコード（登録商標））等を受付に用意しておき、ユーザが簡単にアプリケーションソフトをインストールできるようにしておいてもよい。なお、アプリアプリケーションソフトをインストールするタイミングは、健診申し込み時、健診後、健診結果を聴いた後、などがある。また、アプリアプリケーションソフトをインストールすると、次回の健診等までの間、アドバイスが出力され、症状の改善なども出来るようにしてもよい。
【0083】
医療機関等が自動的に健診や診察情報を送信するように設定されている場合には、医療機関等がユーザの健診や診察等を行うと、その結果を診断・検査情報７２として情報端末１０に送信するので、このステップでは、情報端末１０がこの情報を取得したか否かを判定する。また、診察や検査結果に限らず、ユーザが診察や検査の予約を行った際にも、このことを診察・検査情報７２として、取得できるようにしてもよい。
【0084】
ステップＳ１における判定の結果、健診・診察情報を取得したと判定した場合には、その健診・診察情報を取得する（Ｓ３）。ここでは、制御部１２が、健診等の予約をしたか否か、また健診や診察を受けたどうかを判定し、市中病院Ａ２０や地方病院Ｂ２５等の医療機関等が、予約、健診、診察に関する情報として、診断・検査情報７２を情報端末１０に送信してきたか否かを判定する。この判定の結果、診断・検査情報７２を受信した場合には、情報端末１０は、診断・検査情報７２を入力し、また記録部１４に記録する。
【0085】
情報取得にあたっては、市中病院Ａ２０や地方病院Ｂ２５において、内視鏡検査を行った場合に、この内視鏡画像を取得するようにしてもよい。ステップＳ３において取得した健診・診察情報等、ユーザの診断結果を情報として記録してもよい。また、内視鏡画像に限らず、医療機関等が、レントゲン画像、ＭＲＩ画像、ＣＴ画像等、診断や検査の際に取得した画像を入力し、この入力した画像を記録しておいてもよい。ステップＳ３における情報取得における詳しい動作については、図３を用いて後述する。
【0086】
ステップＳ３において情報取得の処理を行うと、またはステップＳ１における判定の結果、健診・診察情報を取得しない場合には、次に、ユーザの日常状況を判定する（Ｓ５）。ここでは、制御部１２は、ユーザの日常状況に関する情報を収集し、この情報に基づいてユーザの日常状況を判定する。この日常状況に関する情報は、例えば、市中病院Ａ２０等からのユーザ状況情報７１や、情報端末１０のセンサ部１７によって取得した情報や、ユーザのメール情報やＳＮＳ等への投稿情報等、情報端末１０によって収集できるユーザの情報であってもよい。また、ユーザ９０が使用するスマート家電等と連携して収集してもよい。
【0087】
また、情報端末１０の位置がセンサ部１７内のＧＰＳ等によって分かれば、ユーザの状況情報として、情報端末１０を所持しているユーザの移動情報、例えば、ランニング等の運動を行っている等の情報を得ることができる。また、制御部１２は、ユーザの睡眠時間、食事時間、歩数、運動量、体温、血圧、心拍数、血中酸素濃度、体重、体脂肪率、血糖値、トイレの情報等のバイタル情報を内蔵するセンサ部１７、あるいは連携する機器のセンサ部（この場合もセンサ部１７が別体であると考えられる）等で収集してもよい。また、これらの数値やデータそのもののみならず、この時間変化などを判定に利用してもよい。これによって、体調の変化に即応することが可能である。さらに、情報端末１０のセンサ部１７が撮影部を有していれば、ユーザ自身の写真、例えば、ユーザが食した食事等の写真を利用して、日常状況判定を行ってもよい。
【0088】
さらに、ユーザの状況情報は、例えば、ユーザが診断を受けてからの時間、現在時刻、ユーザのプロフィール（性別、年齢等）、ユーザの生活習慣、ユーザの病歴、ユーザの服薬履歴等であってもよい。ユーザの生活習慣情報は、例えば、食事のタイミング、食生活、喫煙、飲酒、暴飲暴食傾向、運動、仕事の内容やスタイル、睡眠の傾向、顔写真等による表情や顔色の変化の傾向等が参考になる。また、ユーザの病歴情報があれば、例えば、アレルギー等で、通常のアドバイスから変更する必要がある、逆流性胃腸炎の場合などは、食材や調理法の他、さらに逆流しにくい食事の対応が必要である等、種々の対応策が分かる。また、ユーザの服薬履歴情報は、検査前の、精神安定剤や血液の流れをよくする薬の服用などがある。
【0089】
次に、診察時の情報が必要か否かを判定する（Ｓ７）。ここでは、制御部１２は、ユーザに対してアドバイスを与えるために、診察や検査等の情報が必要か否かを判定する。制御部１２が、ユーザの健診・診察情報や日常情報を判定した結果に基づいて、ユーザに情報を与える際に、診察や検査の結果が関係する場合がある。一方、診察時の情報がなくてもユーザにアドバイスを与えることができる場合がある。例えば、就寝前に甘いものを食するのは健康上好ましくないことや、運動不足のユーザである場合に、運動を進める場合等、診察時の情報がなくてもユーザにアドバイスを与えることができる。そこで、このステップでは、ユーザにアドバイスを与えるために、診察時や検査時に取得した情報が必要であるか否かを判定する。
【0090】
ステップＳ７における判定の結果、診察時の情報が必要でないと判定された場合には、通常アドバイスを行う（Ｓ９）。この場合は、診察時等の情報が必要でない通常のアドバイスを行う。例えば、ユーザが不規則な生活を送っている場合には、制御部１２は不規則な生活対策をアドバイスする。また、制御部１２は、日常情報に基づいて、入浴、飲酒の可否等、診察時の情報が必要ないアドバイスをユーザに与える。、診察時の情報が必要としない食事に関するアドバイスは、本実施形態においては、後述するステップＳ１３またはＳ１５において行う。
【0091】
ステップＳ９のアドバイスを出すと、またはステップＳ７おける判定の結果、診察時の情報が必要な場合には、次に、時間に依存する情報か否かを判定する（Ｓ１１）。ユーザに食事に関する情報を提供する場合、診察時や検査時からの時間に応じて、食事アドバイスを変える場合がある。例えば、検査後に食事制限がある場合があり、その場合でも時間の経過と共に食事制限の内容が変わってくる。また検査前であっても、食事制限の内容は時間と共に変化する。医療機関等において手術を受けた場合でも同様に食事制限は時間と共に変化する。さらに、食事制限に限らず、推奨される食事内容（メニュー）も時間と共に変化する場合がある。このステップでは、制御部１２は、ユーザの診察・検査結果や日常状況に応じて、食事アドバイスを行う場合に、その食事アドバイスが時間と変化するか否かを判定する。
【0092】
ステップＳ１１における判定の結果、時間に依存しない情報の場合には、通常の食事アドバイスを行う（Ｓ１５）。この場合には、制御部１２は、経時変化を考慮せずに行うことのできる食事アドバイス、例えば、アレルギーや慢性疾患、生活習慣病対策（暴飲暴食対策等を含む）等の食事アドバイスを行う。この食事アドバイスは、情報端末１０の表示部１５においてユーザに提示するが、これ以外の提示方法であってもよい。この通常の食事アドバイスの詳しい動作については、図５を用いて後述する。また、この通常食事アドバイスを行う際に、補充的に行うアドバイスについて、図６を用いて後述する。
【0093】
一方、ステップＳ１１における判定の結果、時間に依存する情報の場合には、時間に依存する食事アドバイスを行う（Ｓ１３）。ここでは、制御部１２は、診察時等からの経時変化を考慮して食事アドバイスを行う。例えば、ユーザの罹患した病名や症状の程度等を考慮して食事アドバイスを行う。また、診察時や検査時に取得した画像に基づいて、食事アドバイスを変更する。例えば、内視鏡画像に基づいて、切除したポリープの位置や大きさが分かる場合に、この画像に基づいて、食事をどうするかを決めてアドバイスを出してもよい。もちろん、ポリープ以外の腫瘍、病変も切除する場合もあるが、ここでは、分かり易くポリープという言葉で代表させている。また、診察後・検査後に限らず、診察前・検査前の食事制限などに応じた食事アドバイスを行うようにしてもよい。食事アドバイスは、情報端末１０の表示部１５においてユーザに提示するが、これ以外の提示方法であってもよい。この食事アドバイスの詳しい動作については、図５を用いて後述する。また、時間依存食事アドバイスを行う際に、補充的に行うアドバイスについては、図６を用いて後述する。
【0094】
ステップＳ１３またはＳ１５において食事アドバイスを行うと、次に、ネゴシエーションが発生したか否かを判定する（Ｓ１７）。食事アドバイスが提示されたユーザは、種々の事情があり、提示されたアドバイスに異議があり、アドバイスに従えない場合もある。また、アドバイスに従うにあたって情報端末１０によるアシストが必要な場合がある。そのような場合には、その旨を、操作部１６等を通じて情報端末１０に入力する。ステップＳ１７における判定の結果、ユーザがその旨を入力した場合には、ネゴシエーションが発生したと判定する。このステップＳ１７における判定の結果、ネゴシエーションが発生しない場合には、ステップＳ１に戻る。
【0095】
ステップＳ１７における判定の結果、ネゴシエーションが発生した場合には、次に、補助ヘルプがあるか否かを判定する（Ｓ２１）。ネゴシエーションが発生している場合には、ユーザが食事アドバイスに従うためには詳しい情報を必要としている場合や、カスタマイズした情報を必要としている場合等がある。これらの場合には、ユーザは、情報端末１０の操作部１１等を通じて補助ヘルプが必要である旨を入力するので、制御部１２は、この入力があるか否かに基づいて判定すればよい。なお、ユーザがカスタマイズ情報を必要とする場合には、カスタマイズ情報の内容によっては、課金することを前提として提供するようにしてもよい。
【0096】
ステップＳ２１における判定の結果、補助ヘルプがなかった場合には、ネゴシエーションに対応して代替アドバイスを提供する（Ｓ２３）。食事アドバイスを提供するにあたって、制御部１２はアドバイスを複数用意し、複数のアドバイスの中で優先順位をつけておく。ネゴシエーションがあり、補助ヘルプを必要としていない場合には（Ｓ１７Ｙｅｓ→Ｓ２１Ｎｏの場合）、複数のアドバイスの中から、順次、代替アドバイスを提供する。すなわち、ステップＳ１３、Ｓ１５において食事アドバイスをユーザに提供した際に、ユーザが拒否した場合には、順次、代替案を提示する。
【0097】
ステップＳ２１における判定の結果、補助ヘルプが必要な場合には、対応補助手段を検索する（Ｓ２５）。ユーザがステップＳ１３またはＳ１５において提示された食事アドバイスに従うとしても、直ぐには対応できない場合がある。例えば、ステップＳ１３またはＳ１５において提示された食事アドバイスに必要な食材または食事内容が、ユーザの手元にない場合には、ユーザの近くの店舗において購入、またはサービス等を利用しなければ、食事アドバイスに従うことができない。このような事情をユーザが補助ヘルプを用いて情報端末１０に入力すると、制御部１２は、この補助ヘルプに対応するための補助手段（例えば、近くの店舗や、提供することのできるサービス）を検索する。
【0098】
また、食事アドバイスとして、「消化によい食べ物」を推奨した場合に、ユーザとしては、どのような食材や料理が消化によいか分からない場合がある。そこで、このような場合に、消化によい食材や料理の例を提示してもよく、また消化に良い食材や料理を提供できる店舗やサービスを提示してもよい。
【0099】
続いて、現状提供可能か否かを判定する（Ｓ２７）。ここでは、ステップＳ２５において検索した対応補助手段に基づいて、制御部１２が、ユーザに現状で補助手段を提供できるか否かを判定する。例えば、ステップＳ１３、Ｓ１５において提示した食事アドバイスを実行するために必要な食材や食事メニューを提供可能な店舗やデリバリサービス等の中で、現状提供可能か否かを判定する。
【0100】
ステップＳ２７における判定の結果、現状で提供が可能と判定された場合には、提供可能な情報を表示する（Ｓ２９）。ここでは、制御部１２は、ステップＳ２７において判定した結果に基づいて、提供可能な情報を表示する。この情報の提供にあたっては、食材および／または調理法に従った料理を提供可能な店舗情報またはデリバリサービス等のサービス情報を含んでもよい（例えば、図７ＡのＳ９３、図７ＢのＳ１０３参照）。また、どこのコンビニエンスストアが良いとか、どのデリバリサービスが良いとか等の情報を提供してもよい。この提供可能な情報表示の詳しい動作については、図７Ａおよび図７Ｂを用いて後述する。
【0101】
ステップＳ２７における判定の結果、現状提供可能でない場合には、予約できるか否かを判定する（Ｓ３１）。店舗やデリバリサービス等によって現状提供可能でなくても、予約することによって入手できる場合がある。そこで、このステップでは、制御部１２は、予約可能な店舗等があれば、その旨をユーザに提供する。
【0102】
ステップＳ３１における判定の結果、予約が可能であれば、予約手続等を提示する（Ｓ３３）。ここでは、制御部１２は、ユーザに予約可能な店舗やサービス等を提示し、ユーザが予約手続をできるようにアシストする。この場合、複数の店舗やサービスを提示し、ユーザが店舗等を選択し、情報端末１０を通じて予約を行うようにしてもよい。
【0103】
ステップＳ３３において予約手続等を行うと、またはステップＳ３１における判定の結果、予約できない場合には、またはステップＳ２９において、提供可能情報表示を行うと、またはステップＳ２３において、ネゴシエーションに対応して代替アドバイスを提供すると、ステップＳ１７に戻る。
【0104】
このように、図２Ａ、図２Ｂに示すチャットボットのフローでは、ユーザの状況情報を入力し（Ｓ５参照）、またユーザの診断に関する診断情報を入力し（Ｓ３参照）、診断に関する情報とユーザの状況情報に基づいて、ユーザの食事に関するアドバイスを出力するようにしている（Ｓ１３、Ｓ１５参照）。食事に関するアドバイスは、食材と調理法を組み合わせた情報として提供してもよい。
【0105】
また、アドバイス出力部が出力したアドバイスについて、ユーザが食事を摂取する前に医師、栄養士、医療従事者に承認してもらうとよい。例えば、ステップＳ１３、Ｓ１５等において、食事アドバイスを提示する前または提示した後に、医師等の承認を貰うステップを付加してもよい。また、ステップＳ１３、Ｓ１５等において、診断の際に得られた画像に基づいてアドバイスを行うようにしてもよい。例えば、診断の際に、内視鏡画像を取得している場合には、内視鏡画像から得られたポリープの大きさに応じて、アドバイスを出力するようにしてもよい。
【0106】
また、診断の際に得られた画像に基づいてアドバイスを行う期間を変更するようにしてもよい。例えば、診断の際に、ポリープの大きさに応じて、食事に関するアドバイスの内容および／または食事に関するアドバイスを出力する期間を変更してもよい。一般的には、画像から症状が重いことが判明した場合には、完治するまでに時間がかかることから、アドバイスを出力する期間を長くする。但し、症状が標準よりも軽かった場合には、安全をみて、アドバイスする期間を標準的な期間としてもよい（図４のＳ６１、Ｓ６３参照）。
【0107】
なお、本実施形態においては、情報端末１０を有する本人に対して、アドバイスを提供するようにしていた（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５、図２ＢＳ２３、Ｓ２９、Ｓ３３等参照）。しかし、料理を作るのは本人ではなく配偶者やパートナーや家族の者が作る場合もあることから、アドバイスは、これらの者に提供するようにしてもよい。また、配偶者等が買い物に行く際に見られるようにしてもよい。
【0108】
また、本実施形態において、診断・検査情報や状況情報として、病院等において処方された処方薬や、ドラッグストア等において購入した市販薬等についても、記録部１４（あるいはコンピュータ３０等内の記録部でも可）内のデータベースに記録するようにしておけば（例えば、ステップＳ３、Ｓ５参照）、処方薬等と飲食の関係も把握することができる。これらの情報に基づいて、ユーザに食事アドバイスを提供することもできる（例えば、ステップＳ１３、Ｓ１５参照）。店舗と店舗、サービスとサービスが連携して、ユーザの健康を見守ることが可能となる。
【0109】
次に、図３に示すフローチャートを用いて、情報取得の動作（図２ＡのＳ３参照）について説明する。前述したように、ステップＳ３の情報取得においては、制御部１２が、医療機関や検査機関等からの診断・検査情報７２を取得し、種々の判定を行う。
【0110】
図３に示す情報取得のフローが開始すると、まず、健診の予約か否かを判定する（Ｓ４１）。ここでは、制御部１２は、取得した診断・検査情報７２が健診の予約に関する情報であるか否かを判定する。なお、ステップＳ４１の実行前に、患者情報が不明の場合には、この患者情報を先に取得してもよい。患者情報は、市中病院Ａ２０、地方病院Ｂ２５の医療機関等からの診断・検査情報７２に含めて送信された来る情報に基づいて、入力する。患者情報としては、氏名等、患者を特定できる情報であればよいが、性別、年齢、プロフィール等、種々の情報が追加されていてもよい。
【0111】
ステップＳ４１における判定の結果、取得した情報が健診の予約であった場合には、アドバイス内容とアドバイス開始日を判定する（Ｓ４３）。検査前から、食事制限がかかる場合があり、さらに特定期間の間、断食しなければならい場合があり、また検査によっては推奨される食事内容がある。そこで、制御部１２は、患者情報、健診内容、および健診予約日に基づいて、アドバイス内容や、アドバイスの開始日を判定する。
【0112】
ステップＳ４１における判定の結果、健診の予約でない場合には、次に、取得した情報が健診・診断結果であるか否かを判定する（Ｓ４５）。ここでは、制御部１２は、診断・検査情報７２を取得し、この取得した診断・検査情報７２が健診・診断の結果に関する情報であるか否かを判定する。
【0113】
ステップＳ４５における判定の結果、取得した情報が、健診・診断結果でなかった場合には、ユーザ情報等に基づいて、アドバイス内容とアドバイス目安期間を判定する（Ｓ４７）。ここでは、制御部１２は、ユーザ情報、ユーザの行動情報、ユーザのバイタルデータ等に基づいて、アドバイス内容やアドバイスを行う目安期間を判定する。すなわち、取得した情報が、健診結果や診断結果等でないことから、それまでユーザに関して取得した履歴情報、例えば、ユーザ情報、ユーザの行動情報、ユーザのバイタル情報等に基づいて、制御部１２がユーザに提供する食事アドバイスの内容や、このアドバイスを行う期間の目安を判定する。
【0114】
一方、ステップＳ４５における判定の結果、取得した情報が、健診・診断情報であった場合には、健診・診断結果等に基づいて、アドバイス内容、アドバイス終了の目安期間を判定する（Ｓ４９）。取得した情報が健診・診断結果であることから、ここでは、制御部１２が、患者情報、健診結果、検査データ（処置時の傷口画像等医療機器情報を含む）等に基づいて、アドバイス内容やアドバイスを終了する時期についての目安期間を判定する。取得した情報が健診結果や診断結果等であることから、これらの情報を含めて、制御部１２が、ユーザに提供する食事アドバイスの内容や、このアドバイスを終了する時期の目安を判定する。このステップにおける詳しい動作については、図４を用いて後述する。
【0115】
ステップＳ４７、Ｓ４９、またはＳ４３における処理を実行すると、この情報取得のフローを終了し、元のフローに戻る。
【0116】
次に、図４に示すフローチャートを用いて、健診・診断結果等に基づいて、アドバイス内容、アドバイス終了目安期間を判定（図３のＳ４９参照）について説明する。前述したように、ステップＳ４３においては、制御部１２が、健診・診断結果等を用いて、医療機器情報を反映させて、アドバイス内容、アドバイス終了目安期間を判定する。
【0117】
図４に示すフローが開始すると、まず、患者情報を入力する（Ｓ５１）。患者情報は、市中病院Ａ２０、地方病院Ｂ２５からの診断・検査情報７２に含めて送信された来る情報に基づいて、入力する。ステップＳ４１の実行前において患者情報を入力していれば、このステップを省略してもよい。
【0118】
次に、検診結果と検査時データを入力する（Ｓ５３）。制御部１２は、市中病院Ａ２０、地方病院Ｂ２５からの診断・検査情報７２に基づいて、健診結果と検査時データを入力する。
【0119】
次に、アドバイスと、時間変化パターを決定する（Ｓ５５）。健診結果に応じて、その後に提供する食事アドバイスを決定する。検査時から時間が経つに連れて、食事制限が次第に緩和される。そこで、この検査時からの経過時間に応じて、食事アドバイスを変化させる。このステップでは、制御部１２が提供する食事アドバイスの時間変化パターンを決定する。
【0120】
次に、検査時情報を取得するか否かを判定する（Ｓ５７）。検査時の状況によっては、例えば、処置時の傷口の状況によっては、回復までの時間が異なる。そこで、回復のタイミングを想定するために、検査時の情報が必要か否かについて、制御部１２が判定する。
【0121】
ステップＳ５７における判定の結果、検査時情報の取得が必要である場合には、検査時情報から回復時定数等を判定する（Ｓ５９）。ここでは、制御部１２は、取得した検査時情報に基づいて、回復までに要する日数等（回復時定数等）を判定する。例えば、検査時情報として傷口画像を取得した場合には、制御部１２は、ダメージの場所や範囲を判定し、この情報から回復時定数を算出する。
【0122】
次に、判定した回復時定数等が標準以上か否かを判定する（Ｓ６１）。前述したように、検査時から食事アドバイスを行うが、この食事アドバイスは検査時情報に応じて、時間の経過と共に異ならせ最終的には通常の食事となるようにする。ここでは、制御部１２は、通常の食事となるまでの日数（回復時定数等）が、通常想定される日数（標準日数）よりも長いか否かを判定する。この判定の結果、標準以上でない場合には、食事アドバイスが通常状態になるまでの日数を短くしてもよいが、ここでは、安全を見て、標準日数で食事アドバイスを行うようにしている。
【0123】
ステップＳ６１における判定の結果、標準以上の場合には、アドバイス変化のタイミングを長めに設定変更する（Ｓ６３）。ステップＳ５９において求めた回復時定数が標準より長いことから、制御部１２は、食事アドバイスの変化するタイミングを長めになるように、設定変更する。
【0124】
ステップＳ５７における判定の結果、検査時情報を取得しない場合、またはステップＳ６１における判定の結果、回復時定数等が標準以上でない場合、またはステップＳ６３における処理を実行すると、図4に示すフローを終了し、元のフローに戻る。
【0125】
次に、図５に示すフローチャートを用いて、食事アドバイス（図２ＡのＳ１３、Ｓ１５参照）について説明する。前述したように、ステップＳ１３、Ｓ１５においては、制御部１２が、ユーザに提供する食事アドバイスの内容を判定し、この判定に基づいて食事アドバイスを表示する。このフローでは、ユーザの症状に応じて、食材や調理法が適合したものであるかについてのアドバイスを提示する。
【0126】
図５に示すフローが開始すると、まず、推奨食材を判定する（Ｓ７１）。ここでは、健診・診察情報（図２ＡのＳ１、Ｓ３参照）や、ユーザの日常情報（図２ＡのＳ５参照）等に基づいて、制御部１２は、ユーザが食するに推奨される食材を判定する。なお、ステップＳ１３における食事アドバイスの場合には、診察時等からの経過時間と共に推奨食材が異なるなるので、この時間を考慮して推奨食材か否かを判定する。
【0127】
次に、推奨調理方法を判定する（Ｓ７３）。ここでは、健診・診察情報（図２ＡのＳ１、Ｓ３参照）や、ユーザの日常情報（図２ＡのＳ５参照）等に基づいて、制御部１２は、ユーザが食するに食事の調理法を判定する。なお、ステップＳ１３における食事アドバイスの場合には、診察時等からの経過時間と共に推奨調理法が異なるなるので、この時間を考慮して推奨調理法か否かを判定する。
【0128】
次に、推奨食材と推奨調理法の条件を満たす料理を判別する（Ｓ７５）。ここでは、ステップＳ７１およびＳ７３において判定された推奨食材と推奨調理法を満たす料理であるか否かを判別する。なお、ステップＳ７１およびＳ７３における判定は、推奨食材と推奨調理法を判定するための推論モデルを推論エンジン１１に設定し、この推論結果に基づいて判別してもよい。または、情報端末１０内の記録部１４にデータベースを構築しておき、このデータベースを参照することによって行ってもよい。ステップＳ７５において条件に合うとされた料理（食材のみでも可）をユーザに提示する。
【0129】
次に、画像参照か否かを判定する（Ｓ７７）。例えば、図１２に示すように、ユーザが今から食そうとしている料理が、食事アドバイスに適合しているか否かを知りたい場合がある。この場合に、情報端末１０の表示部１５に判断結果が表示されると便利である。そこで、本実施形態においては、情報端末１０のセンサ部１７内の撮像部が料理の画像を取得し、この画像を識別し、この識別結果に基づいて、ステップＳ７５における条件を満たしているか否かを判定するようにしている。このステップでは、情報端末１０が画像を取得し、ユーザが、この画像に基づいて食事アドバイスを求めているか否かを判定する。なお、撮像部がなくても、料理の画像を入力して判定できればよい。
【0130】
ステップＳ７７における判定の結果、画像参照であった場合には、条件を満たすもの、満たさないものを判別し、表示する（Ｓ７９）。ここでは、制御部１２は撮像部によって取得した画像を分析し、食材が何であるか、また調理法が何であるかを判別する。そして判別した食材および調理法が、ステップＳ７５において求めた条件を満たすかどうかを判別し、判別結果を表示する（図１２参照）。
【0131】
ステップＳ７９における表示を実行すると、またはステップＳ７７における判定の結果、画像を参照していない場合には、食事アドバイスのフローを終了し、元のフローに戻る。
【0132】
. この食事アドバイスのフローによれば、ユーザの症状等に応じて、適切な食事アドバイスを病院や介護施設等以外においても行うことができる。例えば、ユーザが脂質異常症の場合に日々の生活の中で、食しても良いメニューがあるが、どの食材や調理法が適していないかが分からないことが多い。脂質異常症は、血液中の脂質にはＬＤＬコレステロール、ＨＤＬコレステロール、トリグリセライド（中性脂肪）などがあり、高ＬＤＬコレステロール血症、低ＨＤＬコレステロール血症、高トリグリセライド血症といった血液中の脂質の異常を総称して「脂質異常症」という。ＬＤＬコレステロールの値が高い状態が続くと動脈硬化を進展させる。一方で、ＨＤＬコレステロールは血管壁にたまった余分なコレステロールを取り出し、動脈硬化の進展をおさえる働きがある。また、トリグリセライドの値が高い状態が続くと心筋梗塞や狭心症、脳梗塞などを発症する危険性が高まる。脂質異常症に加え、肥満（特に内臓脂肪型肥満）、血糖値や血圧が高めという状態が重なるメタボリックシンドロームは、心筋梗塞などの動脈硬化性疾患となる危険性がさらに高くなる。このような、脂質異常症を罹患した場合に、どのような食材は不適切であるか、またどのような調理法が不適切であるかが、表示されれば、ユーザにとって大変便利なものとなる。
【0133】
食事アドバイスを提供するにあたって、カロリー、塩分、糖質、たんぱく情報を利用するとよい。たんぱく質は我々の健康のために重要であるが、摂取量が多すぎると腎臓の負担が大きくなる。また、主に、心臓疾患・腎臓病・高血圧症・妊娠高血圧症候群などを患っているユーザには、塩分を１日６ｇ未満に制限した食事にするとよい。１日分の食材（生鮮食品など）に含まれるナトリウム量を１ｇ程度と考えると、この食事の添加できる塩分としては、１日５ｇとなる。
【0134】
また、ステップＳ７１、Ｓ７３における判定にあたって、図９に示すようなデータベースを検索してもよく、またカスタマイズ学習部３３が機械学習によって生成した推論モデルを用いてもよい。ここでは、図１Ｃと同様、分かり易い概念的な例を取り上げているが、さらに画像情報や、素材情報、調理情報などを併せて記録したデータベースになっていてもよい。推論モデルを作成するための教師データとしては、図１Ａおよび図１Ｃに示した介護食データセット１～３を用いてもよい。介護食は、栄養管理士等が個々の患者等の症状に合わせて適切なメニューとしていることから、この介護食データセット１～３を参照することによって、適切な食事アドバイスを行うことが可能となる。また、インターネット上の料理サイト等に掲載されている料理の画像を教師画像として、機械学習を行ってもよい。
【0135】
図９では、患部と食事の関係がデータベース化されている。しかし、このデータベースにおいて、患部や症状、処置状況、治癒の経過情報、食材、調理法の関係が整理されていれば、新しい料理が出て来た場合にも、素材や調味料や加工法に分けてそれぞれの適不適を判定可能となる。また、このデータベースにおいて、前述したように、画像データや、それだけでは不足する情報等も整理しておけば、その料理が摂取適切か否かのみならず、過不足情報を併せて表示することができる。
【0136】
このように整理したデータベースを任意に加工して教師データを作成し、この教師データを用いて学習した推論モデルであれば、ＡＩ技術の併用を行ってもよい。例えば、見た目だけで判断する場合などは、画像推論の技術が進んでいるので、画像による摂取適不適の活用ができる。ここでの食材と調理法を組み合わせたデータベースは、さらに料理および／または食材の画像情報と料理名情報、素材名情報を含むことが好ましく、それは、画像で、その料理名などを検索できるようにしたいからである。このようなテキスト化した情報はさらなる効能等を検索しやすいからである。
【0137】
また、食材と調理法を組み合わせたデータベースは、さらに料理提供時の温度情報を含んでもよく、これは体質、体調によっては冷たいものなど、温度によっては健康に影響があることがある事を理由とする。もちろん、加工時の温度情報も感染症対策などには重要である。ここでの食材と調理法を組み合わせたデータベースは、素材または調理法に対しての過不足情報をさらに含む事が好ましく、これによって、その料理だけでは補いきれない栄養やカロリーをユーザにアドバイスが可能となる。また、摂取量でカロリーが変わるので、料理の大きさや重量やその他、椀や皿を基準にした量の情報も記録、または、判定可能としてもよい。この場合、画像から量を判定するようにしてもよい。
【0138】
また、ステップＳ７９においては、画像内にある個々の料理の位置毎に、ユーザが摂取することについての適否を表示するためのアドバイスを出力していた（図１２参照）。この場合、単に表示するだけではなく、情報端末１０（これ以外にも、コンピュータ３０等であってもよい）と連携する機関（例えば、市中病院Ａ２０、地方病院Ｂ２５等の医療機関や検査機関等も可）や専門家等と、出力したアドバイス、またはアドバイスを作成する際に使用した情報を、シェアするようにしてもよい。シェアすることによって、摂取すべき食材や飲料等のアドバイスを関連機関等から得ることも可能になる。
【0139】
また、ステップＳ７７、Ｓ７９において、料理を撮影するのは、食事の前であることから、このタイミングを利用して、食前に飲む薬をユーザに指示してもよい。また、状況情報等（ステップＳ５参照）に基づいて、食後のタイミングにおいて、食後に服用する薬をユーザに指示するようにしてもよい。この場合、情報端末１０の表示部１０に限らず、例えば音声やスーパーインポーズ表示や別画面用アイコン表示等によって、ユーザに告知してもよい。これらのアドバイスを提供することによって、薬の飲み忘れや、誤用を防ぐアドバイスを簡単に出すことができる。
【0140】
次に、図６に示すフローチャートを用いて、食事アドバイス（図２ＡのＳ１３、Ｓ１５参照）において行う補助的な食事アドバイスについて説明する。前述したように、ステップＳ１３、Ｓ１５においては、制御部１２が、ユーザに提供する食事アドバイスの内容を判定し、この判定に基づいて食事アドバイスを表示する。この図６に示すフローは、図５に示した食事アドバイスのフローに先立って実行し、図５に示す食事アドバイスは参考情報であることにユーザが同意した場合に（Ｓ８３参照）、図５示す食事アドバイスを提示するようにしてもよい（Ｓ８５参照）。
【0141】
図６に示すフローが開始すると、まず、「参考」であることを表示する（Ｓ８１）。情報端末１０にステップＳ１３、Ｓ１５に示すような食事アドバイスが表示されると、ユーザはその食事アドバイスを必ず実行しなければならないと考える場合がある。しかし、食事アドバイスは参考情報であり、最終的には、食事内容はユーザが決定すべき事項である。そこで、制御部１２は、食事アドバイスが参考情報であることを、ユーザに告知する。
【0142】
続いて、自己責任で参考にすることについて了解したことを示す操作がなされたか否かを判定する（Ｓ８３）。情報端末１０に、食事アドバイスが表示されるにあたって、自己責任で食事アドバイスを参考にすることを受諾する意思表示を行うためのアイコンを表示部１５に表示するようにしておく。、このステップでは、制御部１２は、ユーザがこのアイコンに対してクリック等の操作を行って、意思を表示したか否かを判定する。なお、この操作はアイコンの操作以外にも釦等の操作部材を操作することによって行ってもよい。
【0143】
ステップＳ８３における判定の結果、自己責任で参考することの操作がなされた場合には、参考情報を表示する（Ｓ８５）。ここでは、例えば、図５に示したようなフローに従って食事アドバイスを、参考情報として表示する。
【0144】
ステップＳ８５において参考情報を表示すると、またはステップＳ８３における判定の結果、自己責任で参考にするとの操作がなされなかった場合には、次に、専門家情報取得の操作がなされたか否かを判定する（Ｓ８７）。ユーザが参考情報としての食事アドバイスに従う場合であっても、従わない場合であっても、専門家の助言は大変有益である。そこで、このステップでは、ユーザが専門家の助言を求めるための操作がなされたか否かを判定する。
【0145】
ステップＳ８７における判定の結果、専門家の情報を取得するための操作がなされた場合には、専門家とのコンタクトを支援する（Ｓ８９）。ここでは、情報端末１０は、専門家とコンタクトがとれるように、専門家のリストや、その連絡先等を表示する。このために、情報端末１０を用いたチャットボットを運営する企業は、専門家とのネットワークを構築しておくとよい。
【0146】
ステップＳ８９において、専門家とのコンタクトを支援すると、またはステップＳ８７における判定の結果、専門家の情報を取得するための操作がなされなかった場合には、この食事アドバイスのフローを終了し、元のフローに戻る。
【0147】
次に、図７Ａおよび図７Ｂに示すフローチャートを用いて、提供可能な情報の表示（図２ＢのＳ２９参照）について説明する。前述したように、ステップＳ２９においては、制御部１２が、食事アドバイスを実現するために、現状提供可能な情報を表示する。
【0148】
図７Ａに示すフローが開始すると、まず、コンビニエンスストアやスーパーマーケットを検索する（Ｓ９１）。ここでは、ステップＳ１３、Ｓ１５における食事アドバイスに従って、ユーザが食材を入手し、調理する場合である。この場合には、制御部１２が、ステップＳ１３やＳ１５（図２Ａ参照）において表示した食材等を入手することが可能なコンビニエンスストアやスーパーマーケット等の小売店を検索する。
【0149】
ステップＳ９１における判定の結果、コンビニエンスストアやスーパーマーケットを検索することが出来た場合には、次に、販売中の商品から条件を満たすものを検索し、その店舗と品名を表示する（Ｓ９３）。ここでは、ステップＳ７１において表示した食材であって、ステップＳ７５における条件を満たした食材を販売しているコンビニエンスストアやスーパーマーケット等の店舗と、その店舗における品名を表示部１５に表示する。
【0150】
店舗や、店舗における品名を表示させるために、情報端末１０から店舗の商品管理システムを構成するコンピュータやデータベースにアクセス可能にしておく。このデータベース等は、料理やデザート等の素材や調味料を含めた調理方法などの情報も得られるようなものを想定している。また、素材そのものでなくとも、どのような健康状態に好ましいかを判定可能にしたメタデータやフラグ等が付いた形で、料理やデザート等が分類可能であっても利用可能である。
【0151】
次に、取り置き操作がなされたか否かを判定する（Ｓ９５）。ユーザが店舗に到着する前にその商品が売り切れになることがある。そこで、ユーザがその商品の取り置きを依頼する操作ができるようにする。このため、情報端末１０のチャットボットを運営する企業は、コンビニエンスストア等の店舗と、取り置きを行うためのネットワークを構築しておくとよい。
【0152】
ステップＳ９５における判定の結果、ユーザが取り置き操作を行った場合には、支払い、取り置きのための処理を行い、更に必要に応じて宅配の手続を行う（Ｓ９７）。ユーザが、食事アドバイスを実行するための食材をコンビニエンスストアに依頼するための支払いを電子決済等において行い、取り置きの処置を行う。また、ユーザのところへ食材を届けるよう、宅配の手続をとれるようにしてもよい。
【0153】
ステップＳ９１に戻り、このステップにおける判定の結果、コンビニエンスストアやスーパーマーケットを検索でない場合には、次に、レストラン、食事処を検索する（Ｓ１０１）。これは、ユーザがレストラン等において外食する場合である。この場合には、制御部１２が、ステップＳ１３、Ｓ１５（図２Ａ参照）において表示した食材および調理法を満足する料理を食することが可能なレストランや食事処を検索する。
【0154】
ステップＳ１０１における判定の結果、レストラン、食事処を検索できた場合には、次に、販売中の商品から条件を満たすものを検索し、その店舗と品名を表示する（Ｓ１０３）。ここでは、ステップＳ７１において表示した食材、かつステップＳ７３において表示した調理法であって、ステップＳ７５における条件を満たした料理を提供しているコレストラン等の店舗と、その店舗における料理名を表示部１５に表示する。
【0155】
次に、予約操作がなされたか否かを判定する（Ｓ１０５）。情報端末１０は、ユーザがその店舗（レストラン、食事処）においてその料理を食せるように、予約操作ができるようにしておく。ここでは、制御部１２は予約操作がなされたか否かを判定する。このため、情報端末１０のチャットボットを運営する企業は、レストラン等の店舗と、予約を行うためのネットワークを構築しておくとよい。
【0156】
ステップＳ１０５における判定の結果、予約操作がなされた場合には、支払い、調理開始指示を行い、必要に応じて宅配手続を行う（Ｓ１０７）。ユーザが、食事アドバイスを実行するための料理をレストラン等に依頼するための支払いを電子決済等において行い、また調理の開始を依頼する。もちろん、単なる予約のみでも構わない。また、レストラン等において宅配を行うことが出来る場合には、宅配の手続をとれるようにしてもよい。
【0157】
ステップＳ１０１における判定の結果、レストラン、食事処の検索でない場合には、店内モードであるか否かを判定する（Ｓ１１１）。ユーザが既にコンビニエンスストア等の小売店舗内にいる場合や、またレストラン等の料理提供店舗内にいる場合がある。ここでは、制御部１２が、ＧＰＳ等の位置検出装置によって、検出したユーザ位置に基づいて判定してもよく、また店舗内で提供されているＷｉＦｉ信号に基づいて判定してもよい。もちろん、ユーザが店舗内にいる場合に店内モードを直接、選択するようにしてもよい。
【0158】
ステップＳ１１１における判定の結果、店内モードの場合には、検索条件に合う商品を検索・表示し、またはカスタマイズ（アレンジ）依頼を行う（Ｓ１１３）。既に、コンビニエンスストア等の小売店舗にいる場合や、レストラン等の料理提供店舗にいる場合には、その店舗において、ステップＳ７１～Ｓ７５における食材や調理法等の条件を満たす商品（料理）を検索し、表示部１５に表示する。または条件をカスタマイズして、その店舗に依頼してもよい。
【0159】
ステップＳ１１１における判定の結果、店内モードでない場合には、専用業者に依頼等を行う（Ｓ１１５）。ここでは、制御部１２は、ステップＳ７１～Ｓ７５における条件を満たす食材、または食材と調理法の組み合わせを提供できる専門業者、例えば、宅配サービスを行う業者に依頼する。
【0160】
ステップＳ１１５、Ｓ１１３、Ｓ１０７の処理を実行すると、またはステップＳ１０５の判定の結果、予約操作がなされていなかった場合、またはステップＳ９５の取り置き操作がなされていなかった場合、またはステップＳ９７の処理を実行すると、提供可能な情報表示のフローを終了し、元のフローに戻る。
【0161】
次に、図８に示すフローチャートを用いて、携帯端末の動作について説明する。このフローは、情報端末１０が携帯端末として機能する場合における動作を示す。情報端末１０は、スマートフォン以外の機器であってもよいが、本実施形態においては、スマートフォンを想定した動作について説明している。このスマートフォンは常時パワーオンとなっているとして説明する。
【0162】
図８に示すフローが開始すると、まず各種情報を取得する（Ｓ１２１）。ここでは、携帯端末としての情報端末１０は、各種情報を取得する。情報端末１０は、常時、中継局と通信を行い、各種情報、例えばメール情報、ニュース情報等、種々の情報を取得している。
【0163】
各種情報を取得すると、次に、ユーザ操作があったか否かを判定する（Ｓ１２３）。ユーザが、携帯端末に動作を指示する場合には、操作部１６（例えば、表示部１５上のアイコン、各種操作釦等）を操作するので、このステップでは、制御部１２は操作部１６によって操作、例えば、情報端末１０を起動させるためのアプリケーションや、特定用途のアプリケーションソフトを起動するためのアイコンのタッチ操作がなされたか否かを判定する。この判定の結果、ユーザ操作がなされなかった場合には、ステップＳ１２１に戻る。
【0164】
ステップＳ１２３における判定の結果、ユーザ操作があった場合には、認証を行う（Ｓ１２５）。ここでは、制御部１２は、ユーザ本人が操作を行ったかを検知する。例えば、パスワード方式でユーザ本人が操作したか否かを判定する。
【0165】
ステップＳ１２５において認証を行うと、次に、アプリケーションを起動する（Ｓ１２７）。本人が操作したことから、制御部１２はユーザが指定したアプリケーションソフトを起動する。
【0166】
アプリケーションソフトを起動すると、次に、ユーザ操作がなされたか否かを判定する（Ｓ１２９）。ここでは、ステップＳ１２３と同様に、ユーザが操作部１６を操作したか否かを判定する。この判定の結果、ユーザ操作がなされていない場合には、ステップＳ１２９に戻る。
【0167】
ステップＳ１２９における判定の結果、ユーザ操作がなされていた場合には、情報の送受信を行う（Ｓ１３１）。情報端末１０がスマートフォンの場合には、携帯電話やインターネット等との送受信を行うための情報送受信が行われる。またチャットボット機能を有している場合には、市中病院Ａ２０や地方病院Ｂ２５等の医療機関や検査機関等から、ユーザ状況情報７１や診断・検査情報７２等の情報を受信する（例えば、図２ＡのＳ１、Ｓ３、Ｓ５等参照）。
【0168】
情報の送受信を行うと、次に、情報に基づいて結果を表示する（Ｓ１３３）。ここでは、制御部１２は、ステップ１において取得した情報に基づいて、表示を行う。例えば、図２Ａに示す通常アドバイスや食事アドバイス（Ｓ９、Ｓ１３、Ｓ１５）、図２Ｂに示す代替アドバイスや提供可能情報（Ｓ２３、Ｓ２９）等を表示してもよい。情報に基づいて結果を表示すると、携帯端末のフローを終了し、元のフローに戻る。
【0169】
次に、図９を用いて、食事アドバイスを記憶しておくデータベース（ＤＢ）の例を説明する。検査や手術等を行うと、検査や手術の前後において、ユーザに食事制限がかかる。本実施形態においては、検査や手術の内容に応じて、適切な食事アドバイスを行うようにしている（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５等参照）。この食事アドバイスは、情報端末１０内の推論エンジン１１によって、推論を行うようにする他、記録部１４内に食事アドバイス用のＤＢを記憶しておき、ユーザの状況に応じて、ＤＢから食事アドバイスを検索し、ユーザに表示するようにしてもよい。
【0170】
図９は、ユーザが胃部内視鏡、大腸内視鏡による検査を受けた場合の食事アドバイスを記憶したＤＢの例である。胃部・大腸内視鏡による検査を行った場合でも、検査時の処置によって、その後の食事アドバイスが異なる。図９に示す例では、検査時に組織を採集した場合、病理検査を行った場合、およびポリープを切除した場合を示す。
【0171】
例えば、大腸内視鏡検査の際に、大腸ポリープを切除した場合には、切除後、５－７日間は、消化の良い食事を心掛けるように食事アドバイスを表示する。特に手術当日から翌日までは食事内容に細心の注意が必要である。食事アドバイスとして、体に優しいメニューやレシピ作りを心がけるようにアドバイスする。例えば、脂っこい食べ物、高脂肪食、唐辛子や炭酸などの刺激物、酒（アルコール）等の食事は避けるように注意する。一方、好ましい食べ物としては、うどん、味噌汁、親子丼、ラーメン、シチュー、カレーを表示してもよい。
【0172】
避けたい食べ物としては、例えば、いちごやキウイやすいか等、種のある果物やジャムがあり、また、キノコ類、昆布、わかめ、葉野菜、ごぼう、とうもろこし、こんにゃく、枝豆、ヒジキや切り干し大根、そば、てんぷら揚げ物がある。一方、好ましい食べ物として、煮うどん、おかゆ、食パン、イモ類、バナナ、りんご、プリン、ゼリー、卵や卵料理、切身の魚、キャンディ、スープ類等がある。
【0173】
その他、ポリープ切除時の食事アドバイスとしては、ノンアルコールは飲んでも問題ないことや、安静を心掛け、激しい運動（ジョギング、ゴルフなど）や出張・旅行などの遠出は避けた方がよいことを表示してもよい。また、長時間の入浴を避け、短時間にするか、シャワー程度にすることを推奨し、いきんだり重いものを持つなど、腹圧がかかることは避けるようにアドバイスするとよい。さらに、抗凝固薬、抗血小板薬を服用している場合や、大腸ポリープ切除後に、腹痛、血便、発熱などが見られた時は、必ず担当医師に相談することを勧める表示を行う。
【0174】
また、図９に示したデータベースは、胃部・大腸内視鏡によって検査・処置を行った場合の食事アドバイスについて示している。しかし、検査や処置は内視鏡には限らず、他の検査機器や処置の場合の食事アドバイスについてのデータベースであってもよい。また、医療機関における検査や処置に限らず、ユーザの体質や生活習慣を考慮して、食事アドバイスを提供するためのデータベースを用意しておいてもよい。このデータベースは、ユーザの状況情報に基づいて、ユーザの体質を改善し、または健康を維持するに相応しい食料品、食材、飲料等が提供可能な店舗またはサービスに関するアドバイスを整理して記憶しておく。ユーザの状況に基づいて、データベースから食事アドバイスを検索し、このアドバイスを提供すれば、ユーザが簡単に、必要な食事を摂取することができるようになる。また、データベース情報に、有効成分や相互作用などを記録しておけば、複数の素材を組み合わせる場合であっても、アドバイスも提供することができる。
【0175】
次に、図１０に示すフローチャートを用いて、医療機器のＣＰＵの動作について説明する。市中病院Ａ２０や地方病院Ｂ２５等の医療機関や検査機関等には、胃部内視鏡や大腸内視鏡等、種々の医療機器が備えられている。医療機器のＣＰＵは、個々の医療機器毎に備えられていてもよい。または医療機関や検査機関等内の備えられた医療サーバ等が個々の医療機器と接続され、この医療サーバ等が医療機関等内に配置された全ての医療機器のＣＰＵの機能を果たしてもよい。
【0176】
図１０に示す医療機器のＣＰＵのフローが開始すると、まず、患者情報を入力する（Ｓ１４１）。ここでは、ＣＰＵが、検査を受ける患者の情報を入力する。例えば、患者の氏名、患者の登録番号、検査日、検査項目、患者の情報送信先情報（例えば、情報端末１０のアドレス等）等の情報を入力してもよい。さらに、患者のプロフィール、生活習慣情報、病歴、投薬歴等を患者情報として入力してもよい。医療機関や検査機関等のデータベースに患者の基礎情報が記録されていれば、その情報とリンクできるようにしてもよい。患者情報は、後述するステップＳ１４９において、診断・検査情報７２に含めて情報端末１０に送信される（例えば、図２ＡのＳ３、図４のＳ５１等参照）。
【0177】
次に、計測設定を行う（Ｓ１４３）。ここでは、ＣＰＵは検査項目に応じて、機器毎に計測する内容を設定する。例えば、胃部内視鏡や大腸内視鏡の場合には、画像を記録するための条件を設定しておく。また、Ｘ線計測機器であればＸ線量の設定や、投射位置の設定等、検査を実行するために必要な設定を行う。
【0178】
次に、医療従事者の操作によって検査情報を取得する（Ｓ１４５）。ここでは、医師等の医療従事者が医療機器を操作し、このとき検査情報を取得する。例えば、胃部内視鏡や大腸内視鏡を操作する場合には、必要な場所で適宜、画像を取得し、記録する。ここで取得した内視鏡画像等のデータは、情報端末１０に送信し、記録部１４に記録してもよい。
【0179】
次に、検査が終了したか否かを判定する（Ｓ１４７）。医療従事者が所定の検査を終了した場合には、その旨を医療機器に入力する場合であれば、その情報に基づいて判断する。医療機器側で自動的に判断できる場合には、その判断結果に従う。この判定の結果、検査が終了していなければ、ステップＳ１４５に戻り、検査を続行する。
【0180】
ステップＳ１４７における判定の結果、検査が終了した場合には、取得検査項目情報と取得検査情報を、患者情報に対応付けて送信する（Ｓ１４９）。例えば、胃部内視鏡や大腸内視鏡検査の場合には、この胃部内視鏡検査であるか大腸内視鏡検査であるかの情報と、組織採取を行ったか、病理検査を行ったか、ポリープの切除を行ったかの情報を、患者の情報端末１０に送信する。情報端末１０はこれらの情報を受信すると（例えば、図８のＳ１３１、図２ＡのＳ３等参照）、これらの情報に基づいて、食事アドバイスをユーザに提供することができる（例えば、図２ＡのＳ９、Ｓ１３、Ｓ１５参照）。
【0181】
次に、図１１に示すフローチャートを用いて、教師画像データ収集の動作について説明する。前述したように、コンピュータ３０はデータ収集部３１とカスタマイズ学習部３３を有し、データ収集部３１が収集したデータに対してアノテーションを施して学習用の教師データを生成し、カスタマイズ学習部３３が教師データを用いて学習し、推論モデルを生成する。情報端末１０内の推論エンジン１１は、この推論モデルを用いて、食事アドバイスを推論し、推論結果に基づいて食事アドバイスを表示する。図１１に示すフローチャートは、コンピュータ３０（またはデータ収集部３１）内のＣＰＵ等の制御部（プロセッサ）が、プログラムに従って実行することによって、実現される。
【0182】
図１１に示す教師画像データの収集のフローが開始すると、まず、素材を入力する（Ｓ１５１）。医療機関や検査機関等において、検査や手術等を受ける場合には、その前後で、食事制限や推奨される食事がある。これらの食事制限や推奨食事における素材（食材や調味料等）を、テキストデータ等の形式で入力する。この入力は、手作業で入力してもよく、また、データ収集部３１が、インターネット上に投稿されているデータや、図１Ｃに示すような介護食データセットに基づいて、自動的に入力してもよい。
【0183】
素材を入力すると、次に、料理画像を検索する（Ｓ１５３）。データ収集部３１は、ステップＳ１５１において入力された素材を含む料理画像を収集する。例えば、大病院５１や介護施設５３において提供された食事の画像（例えば、介護食セット７７ａ～７７ｃの画像１～３参照）の中からステップＳ１５１において入力された素材を含む画像を収集する。大病院（治療の場であり、生活の場である療養型病院などもある）や、介護施設であれば、どのような症状であれば、どのような食事メニューで効果があったかについて、年齢、性別ごとに情報がある。病院等において提供される病院食や介護食であれば、食事アドバイスを提供する際の教師データとして使用できるものが多い。これらの食事メニューの素材、調理法を収集して教師データとする。また、インターネット上にアップロードされている料理サイト情報７６ｂ（例えば、クックパッド（登録商標）等）の写真を収集してもよい。
【0184】
料理画像を検索すると、次に、良い食材のみの料理に丸（〇）を付し、不都合な食材を含む料理にばつ（×）を付す（Ｓ１５５）。ここでは、ステップＳ１５３において検索した画像について、データ収集部３１は、ユーザが食しても良い食材のみで調理された料理については、画像に丸（〇）を付する。一方、ユーザが食した場合に不都合がある食材が含まれている料理については、画像にばつ（×）を付する。なお、ユーザが食してもよい食材か、また食するに不都合な食材かは、ユーザが受けた検査等によって異なる場合があり、また検査後の日数等によって異なる。この点も含めて〇や×を付する。また、食材によっては、単に良いというよりは推奨されることがあり、その場合には、二重丸（◎）を付してもよい。また、一応、食するに可能な食材等については、三角（△）を付してもよい。評価の段階は２段階や４段階に限らず、適宜変更してもよく、また数値で評価のレベルを表しても良い。画像中には、複数の料理が存在する場合があり、その場合には、料理ごとに〇か×を付するようにする。〇や×等の評価記号は、種々、変更可能である。
【0185】
ステップＳ１５５において、画像にアノテーションを付すと、次に、所定数の画像を取得したか否かを判定する（Ｓ１５７）。機械学習によって信頼性の高い推論モデルを生成するには、多数の教師データが必要である。ここでは、データ収集部３１は、機械学習を行うに必要な所定数の画像を取得し、画像に〇や×を付すことができたか否かを判定する。この判定の結果、所定数の画像を取得していなかった場合には、ステップＳ１５１に戻る。
【0186】
一方、ステップＳ１５７における判定の結果、所定数の画像を取得した場合には、次に、画像に〇×をアノテーションとして付し、教師データとし、機械学習を実行する（Ｓ１５９）。ここではデータ収集部３１は、ステップＳ１５５における判定結果に従って、料理画像に〇または×をアノテーションし、教師データを生成する。教師データが生成されると、カスタマイズ学習部３３は、教師データを用いて、推論モデルを生成する。
【0187】
機械学習を行うと、次に、生成された推論モデルの信頼性がＯＫか否かを判定する（Ｓ１６１）。ここでは、カスタマイズ学習部３３が、生成された推論モデルの信頼性が所定値以上か否かに基づいて判定する。信頼性は、予め正解が分かっている画像を推論モデルに入力した際に正解と一致する割合から求める。
【0188】
ステップＳ１６１における判定の結果、信頼性がＯＫでない場合には、教師データの取捨選択を行う（Ｓ１６５）。信頼性が低い場合には、教師データの母集団が不適切な場合がある。そこで、データ収集部３１が、信頼性が向上するように、教師データ取捨選択を行う。教師データの取捨選択を行うと、ステップＳ１６９に戻り、再度、機械学習を実行する。
【0189】
一方、ステップ１６１における判定の結果、信頼性がＯＫであった場合には、推論モデルを送信する（Ｓ１６３）。ここでは、コンピュータ３０内の通信部（通信回路）は、カスタマイズ学習部３１が生成した推論モデルを情報端末１０の通信部１３に送信する。情報端末１０は推論モデルを受信すると、推論エンジン１１に設定する。推論エンジン１１は、設定された推論モデルを用いて、食事アドバイスを提供する（例えば、図２ＡのＳ１３、Ｓ１５参照）。推論モデルを送信すると、教師画像データの収集のフローを終了し、元のフローに戻る。
【0190】
このような推論モデルを用いて画像を推論すると、料理ごとにユーザの食事制限等に応じた食事アドバイスを行うことができる（図２ＡのＳ１３、Ｓ１５参照）。この食事アドバイスを行う様子を図１２に示す。図１２において、ユーザが３品からなるセット料理に情報端末１０を向けると、表示部１５にセット料理が表示される。このとき、各料理に、ユーザが食しても良い食材のみで調理された料理には〇が表示され、不都合な食材を含む料理には×が表示される。このため、ユーザは情報端末１０を料理に向けて画像を取得するだけで食してよいか否かが簡単に分かって便利である。
【0191】
また、図１３に示すように、内視鏡検査を行った後で、食事制限されているユーザや、アレルギーがあり食事制限されているユーザがコンビニエンスストアにおいて、食事制限を満足するような弁当を探して購入することは大変である。この場合には、図１２に示したように、情報端末１０の撮像部を弁当の料理に向けることによって簡単に判断することができる。弁当が多数あっても、食事制限される食材の種類が多い場合には、店頭で販売されている弁当の中で満足するものがない場合がある。そのような場合には、図１３に示すように、食事制限中のユーザ向けアレンジ弁当を、情報端末１０を通じて、コンビニエンスストアや、他の料理デリバリに注文することも可能である。
【0192】
また、注文をユーザ自らが行わなくても、契約によって同意がある場合などは、ユーザの上述したような情報を、店舗やサービスのシステムの制御部（例えば、店舗サーバ）が取得できるようにして、店舗等がユーザに合わせた料理や食材を予め用意しておく工夫も可能である。ユーザ状況を判定し、その状況に相応しい食材や、その食材と調理法による料理を推論して、ユーザに提供するシステムが構成できる。対応する食材を調達する情報を出力したり、その食材や調理法の情報を関連工場に出力し、その仕様に準じた製品を、特定の時間までに納入させたりすればよい。この特定の時間は、ユーザがそれを購入したくなるタイミング以前である必要がある。購入したくなるタイミングは、その店舗の前を通過、あるいは到着するまでの時間、あるいは、朝食時間、昼食時間、夕食時間、その他の時間に対応させればよい。そうした商品が提供可能であることを、ユーザに情報提供できるようにすることが好ましい。前述したステップＳ２７～Ｓ３３（図２Ｂ参照）において、このような情報提供を行うようにしてもよい。
【0193】
上述したようなサービスを行う店舗サーバは、商品管理サーバで、レジなどで会計が行われるタイミングや商品納入タイミング等で、商品の在庫の管理を行うものである。その在庫情報に扱う食事類、スナック類、飲料類の健康に対する情報を紐づけておくものとする。あるいは、その品名から、これらの情報が検索できる仕組みにしておいてもよい。店舗サーバは、無線通信部と連携で、商品の一覧やお薦め商品をユーザの端末に表示可能な情報を出力可能となっている。対応するユーザにカスタマイズしたお薦め情報（その人の健康状態に即したもの）を、無線によって配信可能としてもよい。そのほか、インターネットや専用回線で、他の店舗や本店サーバなどと連携して、情報を共有し、商品管理を効率化してもよい。これらのシステムによって、必要な商品は、必要な時期に納入したり、広告したり、販売したりできる。
【0194】
こうした機能を司るシステムは、ＰＯＳシステムと呼ばれる。これは「Point of Sale（販売時点情報管理）」の略であり、日々の売り上げを商品の種類ごとに集計・分析して、そのデータを経営に活かすためのシステムであり、手法として捉えることも出来る。ＰＯＳシステムを制御するコンピュータは、バーコードなどのリーダー（スキャナー）の入力情報を扱うことができる。ＰＯＳシステムのコンピュータが、例えば、会計や入荷時にレジ等のスキャナーでバーコードを読み取ると、入荷・出荷した商品やその数を登録・収集し、整理して商品管理用記録部に記録できる。このレジ情報入力時に、顧客のプロフィール情報などを併せて扱うことができる。
【0195】
ＰＯＳ用のコンピュータはネットワークで接続することによって大きなシステムにすることも可能である。集計されたデータは本部でも共有され、本部にあるコンピュータで収集可能な情報によって、在庫管理や売り上げ分析、売れ筋商品の調査までが可能となる。当然、各店舗の位置情報や開店時間なども管理可能となっている。したがって、どのような商品がどこの店舗にあるか等は、この本部コンピュータの記録部に記録された情報と連携すれば、簡単に検索、確認することが可能となっている。例えば、病院の近くにある店舗は、健康状態や診断結果に従って、他の地域にある店舗と比較して、ユーザ層に相応しい商品が多く購買されるなど、店舗ごとの情報が把握でき、それに相応しい品揃えにすることが可能になる。しかし、その病院から出た患者が、自分の住居の近くで、同様の品ぞろえを期待すると、必ずしもそうなっていない可能性がある。本実施形態に示すように、ＰＯＳシステムと連携したサービスであれば、どの店舗に行けば、期待の商品を購入できるか等について直ぐに確認可能となる。また、商品を用意していない店舗が、用意している店舗とＰＯＳシステムで連携して、それを取り寄せることなどが可能となる。
【0196】
上述した商品を識別するためのバーコードは、国際的な共通商品コードで、商品コード、品名、価格などの情報を表すことが可能なものである。商品がいつ売れたか、商品がどこのお店で売れたか、商品の在庫はどのくらいか、最も人気の高い商品は何かといった情報が把握されやすくなるので、多くの店舗が、ＰＯＳシステムを活用している。ＰＯＳシステムが各商品に対応付けて管理している商品情報に、それが食べ物、飲料等であれば、素材や調理法などが関連付けて記録し、それを簡単に検索可能とするだけで、本実施形態に示すように、どこの店舗で、自分の体調に相応しい食事が可能かが判定可能となる。ここでも、商品の素材（食材等）や調理法がデータベース化されていれば、意識していない商品が、実は、そのユーザにとっては問題があるとかないとかを簡単に判定可能にできる。
【0197】
以上の記載では、もっぱら、具体的な症状が顕著な部位、データ、特定の場所の治癒を目的に、その患部に直接アプローチし、投薬や手術といった方法で原因を取り除いて治療していく、いわゆる西洋医学を前提に論述した。これまで積極的に言及をしていなかったが、体質を根本から治療するために、鍼灸や食養生も含めた医学としての東洋医学、あるいは漢方などにも、本実施形態を応用することができ、本実施形態と親和性が高いことは言うまでもない。
【0198】
この東洋医学では、“人間の体は自然の一部として把握する”という考え方を基本にして、体全体の状態のバランスを総合的に見直すといった特徴がある。したがって、東洋医学では、体質や生活習慣などから見直し、これを整えて健康に至るという考え方のアプローチをとる。このため、東洋医学は病名がついていない不調や未病状態などにも効果があることが知られている。また、治療には有効成分を含んだ生薬が使われるため、同様の成分を有する飲食を適切に行うことによって、健康を維持するが期待できる。
【0199】
この「体質や生活習慣」は、ユーザ本人が自覚できないものが多いが、問診や生活習慣の記録などから、その客観的に分析できる場合がある。例えば、漢方医学では、顔色や表情、態度、姿勢、体型など「望診」、声の大きさやトーン、話し方、咳の出方、痰（たん）の様子（つまり方）、呼吸音などを聞く聞診、自覚症状や、これまでにかかった病気、食べ物の好み、ライフスタイルなどを調べる問診、体に触れてその状態を確認する切診として分類されている。同様の調査は西洋医学にもある。
【0200】
本実施形態においては、携帯端末や情報端末等を介したチャットボット機能とそのセンサ類によって各種情報（ユーザの状況情報）を取得できるので、前述したような体質や生活習慣を考慮してアドバイスを行うことを含むようにしてもよい。すなわち、ユーザの状況情報から、ユーザの体質を分類し（例えば、漢方では体質を「証（しょう）」と「気・血・水（き・けつ・すい）」）、この分類に基づいてユーザの体質を把握できる場合がある。そこで、ユーザのタイプに応じて、推奨する食事等を整理したデータベースを検索し、体質改善や健康維持に相応しい食料品、食材、飲料等が提供可能な店舗に関するアドバイスを提供し、または、サービスに関するアドバイスを提供することができる。これらのアドバイスが提供されると、ユーザは簡単に、必要な食事を摂取可能にすることができる。店舗によっては、店員と相談してもよい。また、その食料品、食材、飲料等を食材と調理法を組み合わせたデータベース情報に有効成分や相互作用などを記録しておけば、料理を構成する複数の素材について照らし合わせること等によって、アドバイスも可能となる。このようなアドバイスができると、有効なもののみを摂取し、効果を失わせるものを避けながら、食事を摂取することが可能となる。
【0201】
このように、本実施形態によれば、摂取物を一元管理することができ、また病院外における患者行動を見守ることができる。さらに、処方した薬もデータベースに記録するようにすれば、処方薬と飲食の関係なども把握可能とある。すなわち、病院、薬局など医療機関が様々な店舗、サービスと連携しながら、あるいは、店舗と店舗、サービスとサービスが連携して、ユーザの健康を見守ることが可能となる。
【0202】
また、情報端末１０が、店頭やテーブル上に並べられた食材または調理された料理の画像を入力する画像入力部を有する携帯端末であれば、前述したように、画像内にある個々の料理の位置毎に、ユーザが摂取することについての適否を表示するためのアドバイスを出力できる（図１２参照）。この表示を行うと同時に、その情報を連携機関や専門家とシェアし、併せて摂取すべき食材や飲料などのアドバイスを、シェアした連携機関等から受けるように応用することも可能である。
【0203】
もちろん、料理を撮影するのは、食事の前であることから、このタイミングを利用して、食前に飲む薬をユーザに指示してもよい。また、食後を見計らって、例えば音声やスーパーインポーズ表示や別画面用アイコン表示によって、食後に服用する薬をユーザに指示することによって、飲み忘れや、誤用を防ぐアドバイスを簡単に出すことができる。
【0204】
以上説明したように、本発明の一実施形態においては、ユーザの診断・検査情報を入力し（例えば、図１Ｂの制御部１２、通信部１３、図２ＡのＳ３等参照）、ユーザの状況情報を入力し（例えば、図１Ｂの制御部１２、通信部１３、図２ＡのＳ５等参照）、診断・検査情報と状況情報に基づいて、ユーザに食事に関するアドバイスを出力する（例えば、図１Ｂの制御部１２、図２ＡのＳ１３、Ｓ１５等参照）。なお、ユーザの診断・検査情報を入力せず、ユーザの状況情報を入力し、この状況情報尾に基づいて、食事に関するアドバイスを出力するようにしてもよい。また、食事に関するアドバイスを出力する際に、本人の自覚症状や健康情報を診断・検査情報に代えてもよい。このように、本実施形態によれば、ユーザの状況や、診断・検査結果に基づいて、ユーザに食事に関するアドバイスを行うことができる。すなわち、ユーザが病院に入院している場合に限らず、ユーザの診断・検査結果や状況に応じて適切な食事に関するアドバイスを行うことができる。
【0205】
また、本発明の一実施形態においては、ユーザの状況情報を入力し（例えば、図２ＡのＳ５）、この状況情報に従ってユーザに相応しい食事が提供可能な店舗、または、サービスに関するアドバイスを出力している（例えば、図２ＡのＳ２９、図７Ａ、図７Ｂ等参照）。このため、ユーザの状況に応じて適切な食事に関するアドバイスを行うことができる
【0206】
また、本発明の一実施形態においては、食材または調理された料理の画像を入力し（例えば、図５のＳ７７）、この入力した画像について、ユーザが食することについての適否を表示するためのアドバイスを出力している（例えば、図５のＳ７９、図１２参照）。このため、ユーザが食するのに適している否かが容易に分かる
【0207】
なお、本発明の一実施形態においては、情報端末として、スマートフォンを用いる例を主として説明した。しかし、スマートフォンに限らず、情報端末としては、スマート家電（ＡＩスピーカーを含む）、デジタル家電、パーソナルコンピュータ等の情報機器であってもよい。情報端末がインターネット等の通信網に接続することができれば、種々の機器と通信を行い、診断・検査情報やユーザ状況情報を収集し、これらの情報に基づいて、食事に関するアドバイスを行うことができる。
【0208】
また、本発明の一実施形態においては、データベースなどを使用したロジックベースの判定と、機械学習を使用した推論による判定の例を記述したが、これらは、本実施形態においてはどちらを使用してもよい。データベースであっても、このデータベースを教師データ化して推論モデル作成時（学習時）に使用する場合もあり、これもまた、データベースを使用した判定の一つといえる。また、判定の過程で、部分的にそれぞれの良さを利用してハイブリッド式の判定をしてもよい。例えば、料理画像から料理名を判定する部分は推論モデルを使用し、その料理の素材や調理法はデータベース検索を用いて判定し、判定された素材等はデータベースで、どのような影響が体にあるかを検索可能とするが、これは素材名称があいまいな場合は推論を使ってもよく、厳密な場合はデータベース判定でもよい。
【0209】
また、本発明の一実施形態においては、制御部１２は、ＣＰＵ、メモリ、ＨＤＤ等から構成されているＩＴ機器として説明した。しかし、ＣＰＵとプログラムによってソフトウエア的に構成する以外にも、各部の一部または全部をハードウエア回路で構成してもよく、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。また、ＣＰＵに限らず、コントローラとしての機能を果たす素子であればよく、上述した各部の処理は、ハードウエアとして構成された１つ以上のプロセッサが行ってもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録されたコンピュータプログラムを読み込んで実行することによって、各部としての機能を実行しても構わない。
【0210】
また、本発明の一実施形態においては、情報端末１０は、推論エンジン１１、制御部１２、通信部１２、記録部１４、表示部１５、および操作部１６を有しているものとして説明した。しかし、一体の装置内に設けられている必要はなく、例えば、インターネット等の通信網によって接続されていれば、上述の各部は分散されていても構わない。
【0211】
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを通じてダウンロードしたものでもよい。
【0212】
また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。
【0213】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【0214】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせによって、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0215】
１０・・・情報端末、１１・・・推論エンジン、１２・・・制御部、１３・・・通信部、１４・・・記録部、１５・・・表示部、１６・・・操作部、２０・・・市中病院Ａ、２０ａ・・・医療機器、２５・・・地方病院Ｂ、２５ａ・・・医療機器、３０・・・コンピュータ、３１・・・データ収集部、３３・・・カスタマイズ学習部、４１・・・コンビニエンスストア、４３・・・レストラン、４５・・・食材宅配、５１・・・大病院、５３・・・介護施設、７１・・・ユーザ状況情報、７２・・・診断・検査情報、７２ａ・７２ｂ・・・医療機器情報、７３・・・単純ガイド、７４・・・スペシャルガイド、７５・・・端末情報、７６・・・インターネット情報、７６ａ・・・ユーザの生活習慣、７６ｂ・・・料理サイト情報、７８・・・推論モデル
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】