IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ テルモ株式会社の特許一覧

特許7602476画像管理システム、画像管理方法及び画像管理プログラム
<>
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図1
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図2
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図3
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図4
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図5
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図6
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図7
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図8
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図9
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図10
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図11
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図12
  • 特許-画像管理システム、画像管理方法及び画像管理プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-10
(45)【発行日】2024-12-18
(54)【発明の名称】画像管理システム、画像管理方法及び画像管理プログラム
(51)【国際特許分類】
   G16H 10/00 20180101AFI20241211BHJP
   G16H 20/60 20180101ALI20241211BHJP
【FI】
G16H10/00
G16H20/60
【請求項の数】 10
(21)【出願番号】P 2021554129
(86)(22)【出願日】2020-09-03
(86)【国際出願番号】 JP2020033440
(87)【国際公開番号】W WO2021084903
(87)【国際公開日】2021-05-06
【審査請求日】2023-05-11
(31)【優先権主張番号】P 2019199662
(32)【優先日】2019-11-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000109543
【氏名又は名称】テルモ株式会社
(74)【代理人】
【識別番号】100077665
【弁理士】
【氏名又は名称】千葉 剛宏
(74)【代理人】
【識別番号】100116676
【弁理士】
【氏名又は名称】宮寺 利幸
(74)【代理人】
【識別番号】100191134
【弁理士】
【氏名又は名称】千馬 隆之
(74)【代理人】
【識別番号】100136548
【弁理士】
【氏名又は名称】仲宗根 康晴
(74)【代理人】
【識別番号】100136641
【弁理士】
【氏名又は名称】坂井 志郎
(74)【代理人】
【識別番号】100180448
【弁理士】
【氏名又は名称】関口 亨祐
(72)【発明者】
【氏名】櫨田 知樹
(72)【発明者】
【氏名】有田 栄次
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】特開2003-173375(JP,A)
【文献】国際公開第2012/042887(WO,A1)
【文献】特開2019-028625(JP,A)
【文献】EDISON, Thomaz et al.,Technological approaches for addressing privacy concerns when recognizing eating behaviors with wear,Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing,Association for Computing Machinery,2013年09月,p.739-748,ISBN978-1-4503-1770-2, 特にp.739, 741
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
ユーザが身に着けられるウェアラブルデバイスと、前記ウェアラブルデバイスと通信可能な情報処理サーバと、を備えた医療用の画像管理システムであって、
前記ウェアラブルデバイスは、
被写体を撮影するためのカメラと、
前記ユーザに食事日時の入力を促す報知制御を行う報知制御部と、
を有し、
前記情報処理サーバは、
前記ウェアラブルデバイスから受信した撮影画像を記憶するサーバ記憶部と、
前記ユーザの食事日時を取得したか否かを判定する日時取得判定部と、
前記食事日時を取得していないと前記日時取得判定部が判定した場合に、前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定部と、
前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定部が判定した場合に、前記ウェアラブルデバイスに前記報知制御を要求する報知要求制御部と、
を有し、
前記ウェアラブルデバイス及び前記情報処理サーバのいずれかは、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理する情報整理部を有し、
前記情報整理部は、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、
前記サーバ記憶部は、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を保持する、画像管理システム。
【請求項2】
請求項1記載の画像管理システムであって、
前記画像判定部は、前記ウェアラブルデバイス及び前記情報処理サーバとは別に設けられた画像判定サーバであり、
前記情報処理サーバは、
前記サーバ記憶部に記憶されている前記撮影画像を前記画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する判定通信部と、
前記サーバ記憶部に記憶されている前記撮影画像を整理する前記情報整理部としてのサーバ情報整理部と、を有し、
前記サーバ情報整理部は、前記撮影画像が前記食事画像ではないとの判定結果を前記判定通信部が受信した場合に当該撮影画像を前記サーバ記憶部から削除し、
前記サーバ記憶部は、前記撮影画像が前記食事画像であるとの判定結果を前記判定通信部が受信した場合に当該撮影画像を保持する、画像管理システム。
【請求項3】
請求項2記載の画像管理システムであって、
前記ウェアラブルデバイスは、
前記カメラが撮影した前記撮影画像を記憶する記憶部と、
前記記憶部に記憶されている前記撮影画像を整理するデバイス情報整理部と、を有し、
前記デバイス情報整理部は、前記記憶部に記憶されている前記撮影画像を前記情報処理サーバに送信した後で、当該撮影画像を前記記憶部から削除する、画像管理システム。
【請求項4】
請求項2又は3に記載の画像管理システムであって、
前記ウェアラブルデバイスは、前記カメラの撮影範囲にガイド光を出力する発光部を有する、画像管理システム。
【請求項5】
請求項4記載の画像管理システムであって、
前記ウェアラブルデバイスは、
前記ユーザが操作可能な2つの操作部と、
前記発光部の動作を制御する発光制御部と、を有し、
前記発光制御部は、前記2つの操作部が同時に操作された場合に前記発光部から前記ガイド光を出力し、前記2つの操作部のうちの1つのみが操作された場合に前記発光部から前記ガイド光を出力しない、画像管理システム。
【請求項6】
請求項1~5のいずれか1項に記載の画像管理システムであって、
前記ウェアラブルデバイスは、
前記カメラの撮影範囲内に入った前記被写体が所定の食事情報に該当するか否かを判定する被写体判定部と、
前記カメラの動作を制御するカメラ制御部と、を有し、
前記カメラ制御部は、前記被写体が前記所定の食事情報に該当しないと前記被写体判定部が判定した場合に前記カメラによる当該被写体の撮影を禁止し、前記被写体が前記所定の食事情報に該当すると前記被写体判定部が判定した場合に前記カメラによる当該被写体の撮影を許可する、画像管理システム。
【請求項7】
医療用の画像管理方法であって、
日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、
前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、
前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、
前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、
前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、
前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、
前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、を含み、
前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、コンピュータが行う画像管理方法。
【請求項8】
医療用の画像管理方法であって、
日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、
前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、
前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、
前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、
前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、
前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、
前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、を含み、
前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、コンピュータが行う画像管理方法。
【請求項9】
医療用の画像管理プログラムであって、
日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、
前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、
前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、
前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、
前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、
前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、
前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、をコンピュータに実行させ、
前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、画像管理プログラム。
【請求項10】
医療用の画像管理プログラムであって、
日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、
前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、
前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、
前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、
前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、
前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、
前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、をコンピュータに実行させ、
前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、画像管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像管理システム、画像管理方法及び画像管理プログラムに関する。
【背景技術】
【0002】
特開2019-28625号公報には、スマートフォン等のユーザ端末のカメラで撮影した撮影画像(食事画像)をサーバに送信するとともに当該サーバに記憶する画像管理システムが開示されている。サーバに記憶されている撮影画像は、血糖管理(糖尿病の治療指導や健康指導等)に用いられる。
【発明の概要】
【0003】
しかしながら、上述したような画像管理システムでは、ユーザ端末を携帯し忘れた場合やユーザ端末が鞄の中にある場合、食事の撮影を素早く行うことができないことがある。また、撮影画像が食事画像でない場合であっても当該撮影画像がそのままサーバに記憶されるため、食事画像を用いた健康管理(血糖管理)を効果的に行うことができないおそれがある。
【0004】
本発明は、このような課題を考慮してなされたものであり、食事の撮影を効率的に行うことができるとともに食事画像を用いた健康管理を効果的に行うことができる画像管理システム、画像管理方法及び画像管理プログラムを提供することを目的とする。
【0005】
本発明の第1の態様は、ユーザが身に着けられるウェアラブルデバイスと、前記ウェアラブルデバイスと通信可能な情報処理サーバと、を備えた医療用の画像管理システムであって、前記ウェアラブルデバイスは、被写体を撮影するためのカメラと、前記ユーザに食事日時の入力を促す報知制御を行う報知制御部と、を有し、前記情報処理サーバは、前記ウェアラブルデバイスから受信した撮影画像を記憶するサーバ記憶部と、前記ユーザの食事日時を取得したか否かを判定する日時取得判定部と、前記食事日時を取得していないと前記日時取得判定部が判定した場合に、前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定部と、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定部が判定した場合に、前記ウェアラブルデバイスに前記報知制御を要求する報知要求制御部と、を有し、前記ウェアラブルデバイス及び前記情報処理サーバのいずれかは、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理する情報整理部を有し、前記情報整理部は、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記サーバ記憶部は、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を保持する、画像管理システムである。
【0007】
本発明の第の態様は、医療用の画像管理方法であって、日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、を含み、前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、コンピュータが行う画像管理方法である。
【0008】
本発明の第の態様は、医療用の画像管理方法であって、日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、を含み、前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、コンピュータが行う画像管理方法である。
【0009】
本発明の第の態様は、医療用の画像管理プログラムであって、日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、をコンピュータに実行させ、前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、画像管理プログラムである。
【0010】
本発明の第の態様は、医療用の画像管理プログラムであって、日時取得判定部がユーザの食事日時を取得したか否かを判定する日時取得判定ステップと、前記食事日時を取得していないと前記日時取得判定ステップで判定された場合に、時間判定部が前回の食事日時からの経過時間が所定の食事間隔を超えたか否かを判定する時間判定ステップと、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定ステップで判定された場合に、報知要求制御部が前記ユーザに食事日時の入力を促す報知制御をウェアラブルデバイスに要求する報知要求制御ステップと、前記ユーザが身に着けられる前記ウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、をコンピュータに実行させ、前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、画像管理プログラムである。
【0011】
本発明によれば、ユーザがウェアラブルデバイスを身に着けることにより、ウェアラブルデバイスのカメラによって食事の撮影を素早く行うことができる。これにより、食事の撮影を効率的に行うことができる。また、撮影画像が食事画像ではない場合に撮影画像をサーバ記憶部(記憶部)から削除するため、食事画像を用いた健康管理を効果的に行うことができる。
【図面の簡単な説明】
【0012】
図1】本発明の一実施形態に係る画像管理システムのブロック図である。
図2図1のウェアラブルデバイスの斜視図である。
図3図3Aは、図2のウェアラブルデバイスの正面図であり、図3Bは、図3AのIIIB-IIIB線に沿った縦断面図である。
図4図3Bのウェアラブルデバイスを形成するデバイス本体のブロック図である。
図5図1のウェアラブルデバイスの動作を説明するためのフローチャートである。
図6図1の情報処理サーバの動作を説明するための第1のフローチャートである。
図7図1の情報処理サーバの動作を説明するための第2のフローチャートである。
図8】血糖管理グラフの例である。
図9図1のウェアラブルデバイスの動作を説明するための第1変形例に係るフローチャートである。
図10図1のウェアラブルデバイスの動作を説明するための第2変形例に係るフローチャートである。
図11図11Aは、ウェアラブルデバイスのカメラによる被写体の撮影の第1説明図であり、図11Bは、ウェアラブルデバイスのカメラによる被写体の撮影の第2説明図である。
図12】変形例に係るウェアラブルデバイスを説明するためのブロック図である。
図13図12のウェアラブルデバイスの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0013】
以下、本発明に係る画像管理システム、ウェアラブルデバイス、画像管理方法及び画像管理プログラムについて好適な実施形態を挙げ、添付の図面を参照しながら説明する。
【0014】
本発明の一実施形態に係る画像管理システム10は、ユーザ200(図11A参照)が撮影する食事画像を用いて健康管理(例えば、血糖管理)を行うための医療用のシステムである。
【0015】
図1に示すように、画像管理システム10は、ウェアラブルデバイス12と、情報処理デバイス14及び情報処理サーバ16を有する情報処理システム18と、画像判定サーバ20と、指導用デバイス22と備える。
【0016】
図11Aに示すようにウェアラブルデバイス12は、ユーザ200が身に着けることができるように構成されている。ウェアラブルデバイス12は、例えば、リストバンドのように手首に着脱可能に構成されている。ただし、ウェアラブルデバイス12は、眼鏡に一体的に設けられてもよいし、衣服に着脱可能に構成されてもよいし、ネックレスのように首に着脱可能に構成されてもよいし、頭に着脱可能に構成されてもよい。つまり、ウェアラブルデバイス12は、ユーザ200が着脱可能に身に着けることができれば、どのように構成されてもよい。
【0017】
図2図3Bにおいて、ウェアラブルデバイス12は、デバイス本体24と、デバイス本体24をユーザ200の手首に装着するための第1ベルト部26及び第2ベルト部28とを備える。デバイス本体24は、縦長の箱状に形成されたケース30を有する。ただし、ケース30は、横長の箱状、多角形の底面を有する箱状(四角形状以外)、円柱状、楕円柱状等であってもよい。
【0018】
図2及び図3Bに示すように、第1ベルト部26は、ケース30の一端部に対して第1固定部32によって固定されている。第1ベルト部26には、複数の係止孔34が形成されている。複数の係止孔34は、第1ベルト部26の延在方向に等間隔に並んでいる。第1ベルト部26の先端部には、第2ベルト部28を通すためのベルト通し孔36が設けられている。
【0019】
第2ベルト部28は、ケース30の他端部に対して第2固定部38によって固定されている。第2ベルト部28の先端部には、第1ベルト部26の係止孔34に嵌合可能な係止ピン40が設けられている。第1ベルト部26及び第2ベルト部28は、係止ピン40が係止孔34に嵌合することにより互いに係止される。
【0020】
図2図3Bにおいて、デバイス本体24は、表示部42、インジケータ44、血糖センサ装着部46、カメラ48、発光部50、第1通信部52、バッテリ54、プリント基板56(PCB)、2つの操作スイッチ58を有する。
【0021】
表示部42は、ケース30の表面側に設けられている。表示部42は、LEDディスプレイ、LCDディスプレイ、CRTディスプレイ、プラズマディスプレイ、タッチスクリーンディスプレイ等で構成することができるが、これらに限定されない。
【0022】
インジケータ44は、ケース30のうち表示部42よりも第1固定部32が位置する側に設けられている。インジケータ44は、デバイス本体24の状態を表示するためのものであってLEDインジケータとして構成されている。
【0023】
血糖センサ装着部46は、ケース30のうち表示部42よりも第2固定部38が位置する側に設けられている。血糖センサ装着部46には、血液を取り込んだ図示しない血糖センサが装着される。
【0024】
カメラ48は、ユーザ200の食事を撮影するためのものである。カメラ48は、ケース30のうち表示部42よりも第1固定部32が位置する側に設けられている。カメラ48は、ピンホールカメラとして構成されている。ただし、カメラ48は、ピンホールカメラに限定されず、レンズ付きのカメラであってもよい。
【0025】
図2及び図3Aにおいて、発光部50は、カメラ48の撮影機能を妨害しないようにケース30のうちカメラ48とは異なる位置に設けられている。具体的に、発光部50は、カメラ48の側方に設けられている。発光部50は、カメラ48の撮影方向を示すガイド光Lを出力する(図11B参照)。ガイド光Lは、可視光であるが、その色は適宜設定可能である。ガイド光Lの発光強度は、発光部50から1m以内を照射することができればよい。
【0026】
発光部50は、例えば、ガイド光Lとしてのレーザ光を発振するレーザダイオードを有する。この場合、レーザダイオードから出力されたガイド光Lは、マスクに形成されたアパーチャを通り、投光光学系から被写体202(図11A及び図11B参照)に向かって出力される。アパーチャの形状は、適宜設定可能である。レーザダイオードから発振された光(ガイド光L)は、被写体202の一点を照射する。
【0027】
発光部50は、LED素子等の発光素子を有してもよい。この場合、発光部50から出力されたガイド光Lは、被写体202に向かって広がる。発光素子は、LED素子に限定されず、有機EL素子、無機EL素子等であってもよい。発光部50から発光されるガイド光Lは、カメラ48のAF補助光としても機能する。
【0028】
図3Bにおいて、第1通信部52は、ケース30内に収容されている。第1通信部52は、情報処理サーバ16のサーバ通信部88(図1参照)との間で無線通信回線を構築して情報通信を行う。第1通信部52とサーバ通信部88との間の無線通信回線の規格は、LPWAが好ましい。ただし、第1通信部52とサーバ通信部88との間の無線通信回線の規格は、例えば、Wi-Fi(登録商標)やLTE(登録商標)等であってもよい。
【0029】
バッテリ54は、第1通信部52よりも表示部42側に位置するようにケース30内に収容されている。バッテリ54は、デバイス本体24の電子部品に電力を供給する。バッテリ54は、二次電池又はキャパシタ等を含む。プリント基板56は、バッテリ54よりも表示部42側に位置するようにケース30内に収容されている。プリント基板56には、図示しない電子部品が実装されている。
【0030】
図2及び図3Aにおいて、2つの操作スイッチ58(操作部)は、カメラ48の撮影を行うためのものであって、ケース30の左右の側面に1つずつ設けられている。各操作スイッチ58は、押しボタン式のスイッチである。ただし、各操作スイッチ58は、押しボタン式のものに限定されず、スライドスイッチ等であってもよい。
【0031】
デバイス本体24において、インジケータ44、血糖センサ装着部46、第1通信部52、バッテリ54及びプリント基板56の配置は、適宜変更可能である。操作スイッチ58の数、大きさ、形状、位置は、適宜設定可能である。
【0032】
図4に示すように、ウェアラブルデバイス12のデバイス本体24は、生体情報測定部60、第2通信部62、報知部64及び制御部66をさらに有している。
【0033】
生体情報測定部60は、ユーザ200の生体情報を測定する。具体的に、生体情報測定部60は、加速度センサ70を有する。加速度センサ70は、例えば、ユーザ200の歩数等を測定する。生体情報測定部60は、血圧、脈拍(心拍)、体温等をさらに測定してもよい。この場合、生体情報測定部60は、例えば、心拍検出用センサを含んでもよい。心拍検出用センサは、心電図法、光電脈波法、血圧計測法、心音図法のいずれかの方式で心拍を測定する。
【0034】
生体情報測定部60で測定された情報は、表示部42に表示される。具体的に、表示部42には、血糖値(グルコース濃度)、活動量、歩数、心拍数、睡眠時間等が表示される。また、表示部42には、現在の日時、生体情報の測定可否、データ(例えば、カメラ48による撮影画像)の送信可否等が表示される。なお、カメラ48で撮影した撮影画像自体は、表示部42に表示されない。
【0035】
図1に示すように、第2通信部62は、情報処理デバイス14との間で無線通信回線を構築して情報通信を行う。第2通信部62と情報処理デバイス14との間の無線通信回線の規格は、Bluetooth(登録商標)であって、特に、BLE(Bluetooth Low Energy)が好ましい。ただし、第2通信部62と情報処理デバイス14との間の無線通信回線の規格は、例えば、Wi-Fi(登録商標)等であってもよい。また、第2通信部62は、情報処理デバイス14との間で有線通信回線を構築して情報通信を行ってよい。第2通信部62は、例えば、生体情報(歩数情報等)を情報処理デバイス14に送信する。
【0036】
図4において、報知部64は、スピーカ72及び振動部74を有する。スピーカ72は、音情報(音声、電子音等)を出力する。振動部74は、ユーザ200に振動を伝える。
【0037】
制御部66は、マイクロコンピュータを含む計算機であり、CPU(中央処理装置)、メモリであるROM、RAM等を有しており、CPUがROMに記憶されているプログラムを読み出し実行することで各種機能実現部(機能実現手段)として機能する。なお、各種機能実現部は、ハードウエアとしての機能実現器により構成することもできる。
【0038】
制御部66は、血糖測定制御部76、発光制御部78、被写体判定部79、カメラ制御部80、記憶部82、デバイス情報整理部84及び報知制御部86を有する。
【0039】
血糖測定制御部76は、血糖測定センサに取り込んだ血液の血糖値(血漿中のグルコース濃度)を測定する。血糖情報を連続的に取得する場合は、連続グルコースモニタを使用してもよい。この場合、血糖測定制御部76は、連続グルコースモニタから測定値と測定時刻情報を取得する。発光制御部78は、発光部50の動作を制御して発光部50からガイド光Lを出力する。被写体判定部79は、カメラ48の撮影範囲内にある被写体202が所定の食事画像と一致又は類似するか否かを判定する。カメラ制御部80は、カメラ48の動作を制御する。
【0040】
記憶部82は、血糖情報(血糖測定制御部76によって取得された測定値及び測定日時)及びカメラ48の撮影画像等を記憶する。デバイス情報整理部84は、記憶部82に記憶されている撮影画像を整理する。報知制御部86は、報知部64の動作を制御する。具体的に、報知制御部86は、スピーカ72から音情報を出力させたり、振動部74を振動させたりする。
【0041】
図1に示すように、情報処理デバイス14は、ユーザ200が操作するものである。情報処理デバイス14は、例えば、スマートフォン、ラップトップ、タブレット等であるが、これらに限定されない。情報処理デバイス14は、例えば、ウェアラブルデバイス12の第2通信部62にウェアラブルデバイス12の設定指示情報や操作指示情報を送信する。
【0042】
情報処理デバイス14は、情報処理サーバ16のサーバ通信部88との間で無線通信回線を構築して情報通信を行う。情報処理デバイス14とサーバ通信部88との間の無線通信回線の規格は、ウェアラブルデバイス12の第1通信部52と情報処理サーバ16のサーバ通信部88との間の無線通信回線の規格と同様のものを用いることができる。情報処理デバイス14は、例えば、生体情報等をサーバ通信部88に送信する。
【0043】
情報処理サーバ16は、サーバ通信部88、判定通信部90及びサーバ制御部92を有する。サーバ通信部88は、指導用デバイス22との間で無線通信回線を構築して情報通信を行う。サーバ通信部88と指導用デバイス22との間の無線通信回線の規格は、ウェアラブルデバイス12の第1通信部52と情報処理サーバ16との間の無線通信回線の規格と同様のものを用いることができる。
【0044】
判定通信部90は、画像判定サーバ20との間で無線通信回線を構築して情報通信を行う。判定通信部90と画像判定サーバ20との間の無線通信回線の規格は、ウェアラブルデバイス12の第1通信部52とサーバ通信部88との間の無線通信回線の規格と同様のものを用いることができる。なお、画像判定サーバ20の代わりに、ウェアラブルデバイス12に画像判定機能を付加してもよい。この場合、判定通信部90は省略できる。
【0045】
サーバ制御部92は、日時取得判定部93、報知要求制御部94、サーバ情報整理部(情報整理部)95、タイマ96、時間判定部98、サーバ記憶部100及びグラフ作成部102を有する。
【0046】
日時取得判定部93は、ユーザ200の食事日時を取得したか否かを判定する。報知要求制御部94は、食事日時の入力を促す報知制御をウェアラブルデバイス12に要求する。サーバ情報整理部95は、サーバ記憶部100に記憶されている撮影画像を整理する。
【0047】
タイマ96は、時間を計測する。時間判定部98は、所定の時間判定を行う。サーバ記憶部100には、血糖情報(血糖日時及びグルコース濃度)並びに撮影画像(食事画像)が記憶される。グラフ作成部102は、サーバ記憶部100に記憶されている血糖情報及び食事画像に基づいて血糖管理グラフ104(図8参照)を作成する。
【0048】
指導用デバイス22は、医療従事者(医者や管理栄養士等)が操作する医療用デバイスであって、ユーザ200の血糖管理(治療指導や健康指導等)を行うために使用される。
【0049】
次に、画像管理システム10を用いた画像管理方法について説明する。まず、ウェアラブルデバイス12の動作フローについて説明する。
【0050】
図5に示すように、まず、制御部66は、撮影指示があったか否かを判定する(ステップS1)。具体的には、制御部66は、2つの操作スイッチ58が同時に操作された場合に撮影指示があったと判定する。なお、制御部66は、2つの操作スイッチ58が同時に操作されない場合(例えば、片方の操作スイッチ58のみが操作された場合等)に撮影指示がなかったと判定する。撮影指示がなかったと制御部66が判定した場合(ステップS1:NO)、撮影指示があるまでステップS1に留まる。
【0051】
撮影指示があったと制御部66が判定した場合(ステップS1:YES)、発光制御部78は、発光部50からガイド光Lを出力する(ステップS2)。この際、ユーザ200は、ガイド光Lを被写体202に向ける。
【0052】
続いて、カメラ制御部80は、カメラ48による撮影を行う(ステップS3)。具体的に、被写体判定部79は、カメラ48の撮影範囲内に入った被写体202が所定の食事情報に該当するか否かを判定する。被写体判定部79は、例えば、カメラ48の撮影範囲内に入った被写体202が所定の食事画像に一致又は類似するか否かを判定する。
【0053】
そして、カメラ制御部80は、カメラ48の撮影範囲内に入った被写体202が所定の食事情報に該当しないと被写体判定部79が判定した場合にカメラ48による被写体202の撮影を禁止する。つまり、カメラ制御部80は、被写体202が食事ではない可能性が高いため、カメラ48による被写体202の撮影を行わない(シャッタを切らない)。
【0054】
一方、カメラ制御部80は、カメラ48の撮影範囲内に入った被写体202が所定の食事情報に該当すると被写体判定部79が判定した場合にカメラ48による被写体202の撮影を許可する。つまり、カメラ制御部80は、被写体202が食事である可能性が高いため、カメラ48による被写体202の撮影を行う(シャッタを切る)。すなわち、カメラ制御部80は、被写体202が食事である場合に、被写体202を撮影する。
【0055】
このステップS3において、カメラ制御部80は、カメラ48による撮影完了時にスピーカ72から撮影音(例えば、シャッタ音)を出力したり、インジケータ44を点滅させたりしてもよい。こうすることにより、ユーザ200は、撮影が完了したことを容易に知ることができる。
【0056】
次いで、発光制御部78は、発光部50からのガイド光Lの出力を停止する(ステップS4)。すなわち、被写体202の撮影が完了した場合には、特に操作スイッチ58を操作しなくてもガイド光Lの出力が自動的に停止する。これにより、ユーザ200は、撮影が完了したことを一層容易に知ることができる。その後、デバイス情報整理部84は、撮影画像を記憶部82に記憶する(ステップS5)。
【0057】
そして、ウェアラブルデバイス12は、記憶部82に記憶された撮影画像を情報処理サーバ16に送信する(ステップS6)。具体的に、第1通信部52は、記憶部82に記憶された撮影画像を情報処理サーバ16に送信する。このステップS6では、第2通信部62が、記憶部82に記憶された撮影画像を情報処理デバイス14に送信した後で、当該撮影画像を情報処理デバイス14が情報処理サーバ16に送信してもよい。こうすることにより、第1通信部52が撮影画像を情報処理サーバ16に直接送信する場合と比較して、ウェアラブルデバイス12のバッテリ54の消費を抑えることができる。
【0058】
続いて、デバイス情報整理部84は、撮影画像を記憶部82から削除する(ステップS7)。これにより、撮影画像を記憶するために必要な記憶部82の記憶容量を低減することができる。その後、ウェアラブルデバイス12の動作フローを終了する。
【0059】
次に、情報処理サーバ16の動作フローについて説明する。
【0060】
図6に示すように、日時取得判定部93は、サーバ通信部88が食事日時を受信したか否かを判定する(ステップS10)。食事日時は、ユーザ200が実際に食事をした日時(食事開始日時)であって、例えば、ユーザ200によって情報処理デバイス14に登録される。情報処理デバイス14に登録された食事日時は、情報処理デバイス14から情報処理サーバ16に送信される。
【0061】
食事日時を受信していないと日時取得判定部93が判定した場合(ステップS10:NO)、時間判定部98は、前回の食事日時からの経過時間T1が所定の食事間隔T2を超えたか否かを判定する(ステップS11)。ここで、食事間隔T2は、例えば、前回の食事日時が朝食又は昼食の時間である場合には6時間に設定され、前回の食事日時が夕食の時間である場合には12時間に設定される。ただし、食事間隔T2は、適宜設定可能である。
【0062】
前回の食事日時からの経過時間T1が所定の食事間隔T2に達していないと時間判定部98が判定した場合(ステップS11:NO)、後述するステップS14に進む。
【0063】
前回の食事日時からの経過時間T1が所定の食事間隔T2を超えたと時間判定部98が判定した場合(ステップS11:YES)、サーバ通信部88は、報知制御要求をウェアラブルデバイス12に送信する(ステップS12)。ウェアラブルデバイス12の第1通信部52が報知制御要求を受信すると、報知制御部86は、ユーザ200に食事日時の登録を促す報知制御を行う。具体的に、報知制御部86は、例えば、「食事日時の登録を行って下さい」という音声をスピーカ72から出力する。また、音声による報知に代えて(又は加えて)、表示部42に食事日時の登録を促す図形又は画像等を表示させてもよい。なお、この際、報知制御部86は、振動部74を振動させてもよい。
【0064】
また、ステップS12において、サーバ通信部88は、報知制御要求を情報処理デバイス14に送信してもよい。この場合、情報処理デバイス14が報知制御要求を受信すると、情報処理デバイス14は、ユーザ200に食事日時の登録を促す報知制御を行う。具体的に、情報処理デバイス14は、例えば、「食事日時の登録を行って下さい」という音声を情報処理デバイス14の図示しないスピーカから出力する。また、音声による報知に代えて(又は加えて)、情報処理デバイス14の図示しない表示部に「食事日時の登録を行って下さい」という文字を表示させてもよい。
【0065】
さらに、ステップS12において、サーバ通信部88は、報知制御要求をウェアラブルデバイス12と情報処理デバイス14との両方に送信してもよい。この場合、ウェアラブルデバイス12と情報処理デバイス14との両方において、報知制御が行われる。ステップS12の後、ステップS10に戻る。
【0066】
食事日時を受信したとサーバ制御部92が判定した場合(ステップS10:YES)、サーバ情報整理部95は、受信した食事日時をサーバ記憶部100に記憶する(ステップS13)。続いて、サーバ制御部92は、サーバ通信部88が撮影画像を受信したか否かを判定する(ステップS14)。撮影画像は、ウェアラブルデバイス12が上述した図5のステップS6の処理を行うことにより第1通信部52からサーバ通信部88に送信される。
【0067】
撮影画像を受信していないとサーバ制御部92が判定した場合(ステップS14:NO)、ステップS10に戻る。一方、撮影画像を受信したとサーバ制御部92が判定した場合(ステップS14:YES)、当該撮影画像をサーバ記憶部100に記憶する(ステップS15)。
【0068】
続いて、判定通信部90は、サーバ記憶部100に記憶されている最新の撮影画像を画像判定サーバ20に送信する(ステップS16)。そうすると、画像判定サーバ20は、当該撮影画像が食事情報を含む画像であるか否かを判定し、食事情報を含む場合、食事画像と判定する。そして、その判定結果を判定通信部90に送信する。判定通信部90は、当該撮影画像が食事画像であるか否かの判定結果を受信する(ステップS17)。なお、ステップS16において、画像判定サーバ20は、撮影画像が画像判定サーバ20に予め登録した特定画像を含むか否かを判定できる。
【0069】
次に、最新の撮影画像が食事画像、特定画像のいずれでもないとの判定結果を判定通信部90が受信した場合(ステップS18:NO)、当該撮影画像をサーバ記憶部100から削除する(ステップS19)。これにより、撮影画像を記憶するために必要なサーバ記憶部100の記憶容量を低減することができる。また、ウェアラブルデバイス12によって食事情報や特定画像を含まない画像(例えば、盗撮画像等)を撮影した場合であっても、当該撮影画像をサーバ記憶部100から削除することができる。その後、今回の動作フローを終了する(図7参照)。
【0070】
最新の撮影画像が食事画像又は特定画像を含むとの判定結果を判定通信部90が受信した場合(ステップS18:YES)、図7に示すように、サーバ制御部92は、最新の撮影画像が食事イベントに関するものであるか否かを判定する(ステップS20)。具体的には、サーバ制御部92の判定に基づき、撮影画像が食事情報を含む場合は、食事画像として登録するとともに、食事イベントに分類する。サーバ制御部92が、撮影画像は食事情報を含まないと判定した場合は、撮影画像を特殊イベントに分類する。あるいは、ユーザ200は、ウェアラブルデバイス12のカメラ48による撮影を行う際に、当該撮影に関するイベントが食事イベントであるか特殊イベントであるかを情報処理デバイス14に登録してもよい。
【0071】
特殊イベントは、食事内容そのもの以外であって、ユーザ200の血糖管理に関連する情報を含む。より具体的には、特殊イベントは、内服薬の服用、インスリンの注射、発熱、低血糖や高血糖、倦怠感、運動の有無、食事を開始した時刻、食事を終了した時刻が例として挙げられる。情報処理デバイス14及び情報処理サーバ16のそれぞれには、特殊イベントを意味する特定図形(例えば、服用中の内服薬)を予め登録しておく。撮影画像に、登録された特定図形のいずれかが、所定の比率で含まれている場合に、特殊イベントと判定することができる。これにより、情報処理デバイス14及び情報処理サーバ16の処理を簡素化することができるとともに、ユーザ200は、ウェアラブルデバイス12で、予め設定した対象物を撮影するだけで、手軽に情報を収集し、記録することができる。なお、ユーザ200が、食事イベントか特殊イベントかを手入力した情報を、情報処理デバイス14及び情報処理サーバ16に送信してもよい。
【0072】
最新の撮影画像が食事イベントに関するものであるとサーバ制御部92が判定した場合(ステップS20:YES)、サーバ制御部92は、当該食事イベントにおける最初の撮影画像であるか否かを判定する(ステップS21)。当該食事イベントにおける最初の撮影画像であるとサーバ制御部92が判定した場合(ステップS21:YES)、タイマ96は、食事グループ分類時間T3の計測を開始する(ステップS22)。その後、最新の撮影画像を第1食事グループに設定する(ステップS23)。
【0073】
一方、当該食事イベントにおける最初の撮影画像ではない(つまり、当該食事イベントにおける2枚目以降の撮影画像である)とサーバ制御部92が判定した場合(ステップS21:NO)、時間判定部98は、食事グループ分類時間T3が所定時間T4を超えたか否かを判定する(ステップS24)。ここで、所定時間T4は、例えば、30分に設定される。ただし、所定時間T4は、適宜設定可能であって、1時間であってもよい。
【0074】
食事グループ分類時間T3が所定時間T4を超えていないと時間判定部98が判定した場合(ステップS24:NO)、最新の撮影画像を第1食事グループに設定する(ステップS23)。これにより、比較的短い時間(所定時間T4)に撮影された複数枚の撮影画像を1つの食事イベントに関連づけることができる。その後、後述するステップS27に進む。
【0075】
食事グループ分類時間T3が所定時間T4を超えたと時間判定部98が判定した場合(ステップS24:YES)、最新の撮影画像を第2食事グループに設定する(ステップS25)。これにより、食事イベントにおける最初の撮影画像(食事画像)を取得してから比較的長い時間(所定時間T4)が経過した後で取得した撮影画像(食事画像)については、当該食事イベントとは関係のないものとなる。その後、後述するステップS27に進む。
【0076】
最新の撮影画像が食事イベントに関するものではない(特殊イベントに関するものである)とサーバ制御部92が判定した場合(ステップS20:NO)、サーバ情報整理部95は、最新の撮影画像を特殊グループに設定する(ステップS26)。特殊グループはユーザ200が任意に設定することができ、特殊グループごとに対応する特定図形を設定してもよい。
【0077】
その後、グラフ作成部102は、サーバ記憶部100に記憶されている撮影画像(食事画像)と血糖情報とに基づいて血糖管理グラフ104を作成する(ステップS27)。ここで、血糖情報は、グルコースセンサに取り込まれた検体のグルコース濃度の測定値と測定時間を含む。血糖情報は、ウェアラブルデバイス12で測定された後、第1通信部52からサーバ通信部88に送信される。ただし、血糖情報は、第2通信部62から情報処理デバイス14を介してサーバ通信部88に送信されてもよい。
【0078】
グラフ作成部102は、例えば、図8に示す血糖管理グラフ104を作成する。図8に示すように、この血糖管理グラフ104は、測定値の時間変化を示すグルコース濃度線106に、食事画像P1~P3を重ねて表示したものである。なお、血糖管理グラフ104において、横軸は時間を示し、縦軸は測定値(グルコース濃度)を示している。血糖管理グラフ104において、時点t1には食事画像P1が表示され、時点t2には食事画像P2が表示され、時点t3には食事画像P3が表示されている。また、特殊グループの画像が取得された時刻に、特殊グループの属性に関連するアイコン等を表示させることができる。これにより、血糖管理グラフ104上で、時系列に沿って特殊イベントを併記させることができる。
【0079】
このような画像管理方法は、ユーザ200が身に着けられるウェアラブルデバイス12のカメラ48で被写体202を撮影する撮影ステップ(ステップS3)と、撮影ステップで撮影された撮影画像を情報処理サーバ16に送信する画像送信ステップ(ステップS6)と、ウェアラブルデバイス12から受信した撮影画像を情報処理サーバ16のサーバ記憶部100に記憶する記憶ステップ(ステップS15)と、カメラ48が撮影した撮影画像が食事画像であるか否かについての画像判定部(画像判定サーバ20)の判定結果に基づいて撮影画像を整理する情報整理ステップ(ステップS19~ステップS26)と、を含み、サーバ情報整理ステップでは、撮影画像が食事画像ではないと画像判定部が判定した場合に当該撮影画像を削除し、撮影画像が食事画像であると画像判定部が判定した場合に当該撮影画像をサーバ記憶部100に保持する。
【0080】
画像管理方法は、上述した方法に限定されない。例えば、画像判定サーバ20の代わりに、ウェアラブルデバイス12に画像判定機能を付加した場合、カメラ48の撮影画像を記憶部82に記憶した後(ステップS5の後)で、制御部66は、記憶部82に記憶されている撮影画像が食事画像又は特定画像であるか否かを判定する。記憶部82に記憶されている撮影画像が食事画像及び特定画像のいずれでもない場合には、デバイス情報整理部84(情報整理部)は、最新の撮影画像を記憶部82から削除する。記憶部82に記憶されている撮影画像が食事画像又は特定画像である場合には、制御部66は、上述したステップS20~ステップS26と同様の処理を行い、当該撮影画像を情報処理サーバ16に送信する。
【0081】
この場合、本実施形態は、以下の効果を奏する。
【0082】
画像管理システム10は、ウェアラブルデバイス12と情報処理サーバ16とを備える。ウェアラブルデバイス12は、被写体202を撮影するためのカメラ48を有する。情報処理サーバ16は、ウェアラブルデバイス12から受信した撮影画像を記憶するサーバ記憶部100と、カメラ48が撮影した撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて撮影画像を整理する情報整理部(デバイス情報整理部84又はサーバ情報整理部95)とを有する。情報整理部は、撮影画像が食事画像ではないと画像判定部が判定した場合に撮影画像を削除し、サーバ記憶部100は、撮影画像が食事画像であると画像判定部が判定した場合に当該撮影画像をサーバ記憶部100に保持する。
【0083】
このような構成によれば、ユーザ200がウェアラブルデバイス12を身に着けることにより、ウェアラブルデバイス12のカメラ48によって食事の撮影を素早く行うことができる。これにより、食事の撮影を効率的に行うことができる。また、撮影画像が食事画像ではない場合に撮影画像を削除するため、食事画像を用いた健康管理を効果的に行うことができる。
【0084】
画像判定部は、ウェアラブルデバイス12及び情報処理サーバ16とは別に設けられた画像判定サーバ20である。情報処理サーバ16は、サーバ記憶部100に記憶されている撮影画像を画像判定サーバ20に送信して当該撮影画像が食事画像であるか否かについての画像判定サーバ20の判定結果を受信する判定通信部90と、サーバ記憶部100に記憶されている撮影画像を整理する情報整理部としてのサーバ情報整理部95とを有する。サーバ情報整理部95は、撮影画像が食事画像ではないとの判定結果を判定通信部90が受信した場合に当該撮影画像をサーバ記憶部100から削除し、サーバ記憶部100は、撮影画像が食事画像であるとの判定結果を判定通信部90が受信した場合に当該撮影画像を保持する。
【0085】
このような構成によれば、判定通信部90がウェアラブルデバイス12ではなく情報処理サーバ16にあるため、判定通信部90をウェアラブルデバイス12に設ける場合と比較して、ウェアラブルデバイス12のバッテリ54の消費を抑えることができる。
【0086】
ウェアラブルデバイス12は、カメラ48が撮影した撮影画像を記憶する記憶部82と、記憶部82に記憶されている撮影画像を整理するデバイス情報整理部84とを有する。デバイス情報整理部84は、記憶部82に記憶されている撮影画像を情報処理サーバ16に送信した後で、当該撮影画像を記憶部82から削除する。
【0087】
このような構成によれば、撮影画像を記憶するために必要な記憶部82の記憶容量を低減することができる。
【0088】
ウェアラブルデバイス12は、カメラ48の撮影範囲にガイド光Lを出力する発光部50を有する。
【0089】
このような構成によれば、ユーザ200は、撮影時に、被写体202(食事)に向けてガイド光Lを照射することにより、当該被写体202をカメラ48の撮影範囲内に簡単に収めることができる。
【0090】
ウェアラブルデバイス12は、ユーザ200が操作可能な2つの操作スイッチ58と、発光部50の動作を制御する発光制御部78とを有する。発光制御部78は、2つの操作スイッチ58が同時に操作された場合に発光部50からガイド光Lを出力し、2つの操作スイッチ58のうちの1つのみが操作された場合に発光部50からガイド光Lを出力しない。
【0091】
このような構成によれば、2つの操作スイッチ58のいずれかが誤って操作された場合に、発光部50からガイド光Lが出力することを防止できる。
【0092】
ウェアラブルデバイス12は、カメラ48の撮影範囲内に入った被写体202が所定の食事情報に該当するかを判定する被写体判定部79と、カメラ48の動作を制御するカメラ制御部80とを有する。カメラ制御部80は、被写体202が所定の食事情報に該当しないと被写体判定部79が判定した場合にカメラ48による当該被写体202の撮影を禁止し、被写体202が所定の食事情報に該当すると被写体判定部79が判定した場合にカメラ48による当該被写体202の撮影を許可する。
【0093】
このような構成によれば、ウェアラブルデバイス12のカメラ48によって健康管理に必要のない画像が撮影されること(例えば、盗撮等)を効果的に抑えることができる。
【0094】
ウェアラブルデバイス12は、ユーザ200に食事日時の入力を促す報知制御を行う報知制御部86を有する。情報処理サーバ16は、ユーザ200の食事日時を取得したか否かを判定する日時取得判定部93と、食事日時を取得していないと日時取得判定部93が判定した場合に、前回の食事日時からの経過時間T1が所定の食事間隔T2を超えたか否かを判定する時間判定部98と、前回の食事日時からの経過時間T1が所定の食事間隔T2を超えたと時間判定部98が判定した場合に、ウェアラブルデバイス12に報知制御を要求する報知要求制御部94とを有する。
【0095】
このような構成によれば、ユーザ200の食事日時を効果的に取得することができる。
【0096】
次に、第1変形例に係るウェアラブルデバイス12の動作フローについて説明する。図9に示すように、この場合、ユーザ200は、ウェアラブルデバイス12のカメラ48を被写体202に向けた状態で(ステップS30)、一方の操作スイッチ58を操作する(ステップS31)。そうすると、発光制御部78は、発光部50からガイド光Lを出力する(ステップS32)。
【0097】
続いて、ユーザ200が他方の操作スイッチ58を操作すると(ステップS33)、カメラ制御部80は、被写体202を撮影する(ステップS34)。そして、カメラ48による被写体202の撮影が完了すると、発光制御部78は、発光部50からのガイド光Lの出力を停止する(ステップS35)。すなわち、ガイド光Lは、被写体202の撮影が完了した場合には、特に操作スイッチ58を操作しなくてもガイド光Lの出力が自動的に停止する。これにより、ユーザ200は、撮影が完了したことを容易に知ることができる。
【0098】
その後、ステップS36~ステップS38の処理が行われる。なお、ステップS36~ステップS38の処理は、上述した図5のステップS5~ステップS7の処理と同一であるため、その説明については省略する。
【0099】
このような動作フローに用いられるウェアラブルデバイス12では、上述した被写体判定部79が削除される。後述する第2変形例に係る動作フローに用いられるウェアラブルデバイス12についても同様である。
【0100】
第1変形例に係るウェアラブルデバイス12の動作フローにおいて、発光制御部78は、2つの操作スイッチ58のうちの一方が操作された場合に発光部50からガイド光Lを出力し、カメラ制御部80は、2つの操作スイッチ58のうちの他方が操作された場合にカメラ48の撮影を行っている。
【0101】
このような構成によれば、ユーザ200が自分のタイミングでカメラ48の撮影を行うことができる。
【0102】
次に、第2変形例に係るウェアラブルデバイス12の動作フローについて説明する。図10に示すように、この場合、ウェアラブルデバイス12は、ユーザ200のウェアラブルデバイス12の装着位置情報を取得する(ステップS40)。具体的に、ユーザ200は、ウェアラブルデバイス12を左右の腕のどちらに装着したかの情報を情報処理デバイス14に入力する。そうすると、当該情報が情報処理デバイス14からウェアラブルデバイス12に送信されるため、ウェアラブルデバイス12がユーザ200のウェアラブルデバイス12の装着位置情報を取得する。
【0103】
続いて、ユーザ200は、一方の操作スイッチ58を操作する(ステップS41)。この際、制御部66は、カメラ48の向きがユーザ200の前方且つ下方に向かって変化するようにウェアラブルデバイス12が回転したか否かを判定する(ステップS42)。具体的に、制御部66は、ステップS41で取得したウェアラブルデバイス12の装着位置情報と加速度センサ70の出力信号に基づいて、ウェアラブルデバイス12の回転方向を判定する。
【0104】
カメラ48の向きがユーザ200の前方且つ下方に向かって変化するようにウェアラブルデバイス12が回転していないと制御部66が判定した場合(ステップS42:NO)、カメラ48の向きがユーザ200の前方且つ下方に向かって変化するようにウェアラブルデバイス12が回転するまでステップS42に留まる。
【0105】
一方、カメラ48の向きがユーザ200の前方且つ下方に向かって変化するようにウェアラブルデバイス12が回転したと制御部66が判定した場合(ステップS42:YES)、発光制御部78は、発光部50からガイド光Lを出力する(ステップS43、図11A及び図11B参照)。
【0106】
続いて、ユーザ200が他方の操作スイッチ58を操作すると(ステップS44)、カメラ制御部80は、被写体202を撮影する(ステップS45)。具体的に、カメラ制御部80は、カメラ48の向きが斜め下方である場合にカメラ48の撮影を許可し、カメラ48の向きが斜め下方でない場合(例えば、カメラ48の向きが斜め上方である場合)にカメラ48の撮影を禁止する。
【0107】
被写体202を撮影することができなかった場合(ステップS45:NO)、発光制御部78は、ガイド光Lが点滅するように発光部50の動作を制御する(ステップS46)。これにより、被写体202の撮影が完了していないことをユーザ200に知らせることができる。ただし、ステップS46において、発光制御部78は、ガイド光Lの出力パターンを変化させる例に限定されず、ガイド光Lの色が変化するように発光部50の動作を制御してもよい。この場合、ステップS44に戻る。
【0108】
そして、カメラ48による被写体202の撮影が完了すると(ステップS45:YES)、発光制御部78は、発光部50からのガイド光Lの出力を停止する(ステップS47)。すなわち、ガイド光Lは、被写体202の撮影が完了した場合には、特に操作スイッチ58を操作しなくてもガイド光Lの出力が自動的に停止する。これにより、ユーザ200は、撮影が完了したことを容易に知ることができる。
【0109】
その後、ステップS48~ステップS50の処理が行われる。なお、ステップS48~ステップS50の処理は、上述した図5のステップS5~ステップS7の処理と同一であるため、その説明については省略する。
【0110】
第2変形例に係るウェアラブルデバイス12の動作フローにおいて、カメラ制御部80は、カメラ48の向きが斜め下方である場合にカメラ48による被写体202の撮影を許可し、カメラ48の向きが斜め下方でない場合にカメラ48による被写体202の撮影を禁止する。
【0111】
このような構成によれば、ウェアラブルデバイス12とユーザ200との位置関係によって撮影範囲を絞ることができるため、カメラ48が悪用される(盗撮に用いられる)ことを抑えることができる。
【0112】
画像管理システム10は、上述したウェアラブルデバイス12に代えて図12に示すウェアラブルデバイス12aを備えてもよい。ウェアラブルデバイス12aの説明において、上述したウェアラブルデバイス12と同一の構成には同一の参照符号を付し、その説明を省略する。
【0113】
図12に示すように、ウェアラブルデバイス12aのデバイス本体24aは、判定通信部110を備えている。この場合、情報処理サーバ16の上述した判定通信部90は削除される。情報処理サーバ16は、図1と同様に指導用デバイス22と連携する。
【0114】
判定通信部110は、画像判定サーバ20との間で無線通信回線を構築して情報通信を行う。判定通信部110と画像判定サーバ20との間の無線通信回線の規格は、第1通信部52とサーバ通信部88との間の無線通信回線の規格と同様のものを用いることができる。
【0115】
判定通信部110は、記憶部82に記憶されている撮影画像を画像判定サーバ20に送信し、当該撮影画像が食事画像であるか否かについての画像判定サーバ20の判定結果を受信する。デバイス情報整理部84は、撮影画像が食事画像ではないとの判定結果を判定通信部110が受信した場合に当該撮影画像を記憶部82から削除し、撮影画像が食事画像であるとの判定結果を判定通信部110が受信した場合に当該撮影画像を情報処理サーバ16に送信した後で記憶部82から削除する。
【0116】
次に、ウェアラブルデバイス12aの動作フローについて説明する。図13に示すように、ステップS60~ステップS64までの処理は、上述した図5のステップS1~ステップS5までの処理と同一であるため、その説明を省略する。
【0117】
ステップS64の後、判定通信部110は、記憶部82に記憶されている撮影画像を画像判定サーバ20に送信する(ステップS65)。そうすると、画像判定サーバ20は、当該撮影画像が食事画像又は特定画像であるか否かを判定し、その判定結果を判定通信部110に送信する。そして、判定通信部110は、当該撮影画像が食事画像であるか否かの判定結果を受信する(ステップS66)。
【0118】
次に、撮影画像が食事画像ではないとの判定結果を判定通信部110が受信した場合(ステップS67:NO)、撮影画像が特定画像を含むかどうかを判定する(ステップS68)。撮影画像が特定画像を含む場合(ステップS68:YES)、デバイス情報整理部84は、撮影画像に含まれる特定図形の種類に対応した情報を情報処理サーバ16に送信する(ステップS69)。その後、デバイス情報整理部84は、該特定画像を記憶部82から削除する(ステップS70)。撮影画像に特定画像が含まれない場合(ステップS68:NO)、当該撮影画像を記憶部82から削除する(ステップS70)。これにより、撮影画像を記憶するために必要な記憶部82の記憶容量を低減するとともに、取得する特定画像に対応する情報を効率よく収集することができる。また、ウェアラブルデバイス12aによって食事画像や必要な特定画像以外の画像(例えば、盗撮画像等)を撮影した場合であっても、当該撮影画像を記憶部82から削除することができる。その後、今回の動作フローを終了する。
【0119】
撮影画像が食事画像であるとの判定結果を判定通信部110が受信した場合(ステップS67:YES)、デバイス情報整理部84は、記憶部82に記憶された撮影画像を情報処理サーバ16に送信する(ステップS71)。その後、デバイス情報整理部84は、当該撮影画像を記憶部82から削除する(ステップS70)。そして、今回の動作フローを終了する。なお、情報処理サーバ16では、上述した図6及び図7のフローチャートに従った処理が行われる(ただし、この場合、ステップS16~ステップS19については行われない)。
【0120】
このような画像管理方法は、ユーザ200が身に着けられるウェアラブルデバイス12aのカメラ48で被写体202を撮影する撮影ステップ(ステップS62)と、撮影ステップで撮影された撮影画像をウェアラブルデバイス12aの記憶部82に記憶する記憶ステップ(ステップS64)と、記憶部82に記憶されている撮影画像を画像判定サーバ20に送信して当該撮影画像が食事画像であるか否かについての画像判定サーバ20の判定結果を受信する画像判定ステップ(ステップS65及びステップS66)と、記憶部82に記憶されている撮影画像を整理する情報整理ステップ(ステップS70及びステップS71)と、を含み、情報整理ステップでは、撮影画像が食事画像ではないとの判定結果をウェアラブルデバイス12aが受信した場合に当該撮影画像を記憶部82から削除し、撮影画像が食事画像であるとの判定結果をウェアラブルデバイス12aが受信した場合に当該撮影画像を情報処理サーバ16に送信した後で削除する。
【0121】
このようなウェアラブルデバイス12aは、被写体202を撮影するためのカメラ48と、カメラ48によって撮影された撮影画像を記憶する記憶部82と、記憶部82に記憶されている撮影画像を画像判定サーバ20に送信して当該撮影画像が食事画像であるか否かについて画像判定サーバ20の判定結果を受信する判定通信部110と、記憶部82に記憶されている撮影画像を整理するデバイス情報整理部84とを有する。デバイス情報整理部84は、撮影画像が食事画像ではないとの判定結果を判定通信部110が受信した場合に当該撮影画像を記憶部82から削除し、撮影画像が食事画像であるとの判定結果を判定通信部110が受信した場合に当該撮影画像を情報処理サーバ16に送信した後で削除する。情報処理サーバ16に送信された情報は、指導用デバイス22に提供される。
【0122】
このような構成によれば、撮影画像が食事画像ではない場合に撮影画像を記憶部82から削除するため、食事画像を用いた健康管理を効果的に行うことができる。ウェアラブルデバイス12aは、上述したウェアラブルデバイス12と同様の効果を奏する。
【0123】
本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改変が可能である。
【0124】
情報処理サーバ16は、ユーザ200が食事を撮影してから一定時間経過後に血糖測定を促す血糖測定報知制御をウェアラブルデバイス12、12a及び情報処理デバイス14の少なくともいずれかに要求してもよい。
【0125】
以上の実施形態をまとめると、以下のようになる。
【0126】
上記実施形態は、ユーザ(200)が身に着けられるウェアラブルデバイス(12、12a)と、前記ウェアラブルデバイスと通信可能な情報処理サーバ(16)と、を備えた医療用の画像管理システム(10)であって、前記ウェアラブルデバイスは、被写体(202)を撮影するためのカメラ(48)を有し、前記情報処理サーバは、前記ウェアラブルデバイスから受信した撮影画像を記憶するサーバ記憶部(100)を有し、前記ウェアラブルデバイス及び前記情報処理サーバのいずれかは、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理する情報整理部(84、95)を有し、前記情報整理部は、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記サーバ記憶部は、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を保持する、画像管理システムを開示している。
【0127】
上記の画像管理システムにおいて、前記画像判定部は、前記ウェアラブルデバイス及び前記情報処理サーバとは別に設けられた画像判定サーバ(20)であり、前記情報処理サーバは、前記サーバ記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する判定通信部(90)と、前記サーバ記憶部に記憶されている前記撮影画像を整理する前記情報整理部としてのサーバ情報整理部(95)と、を有し、前記サーバ情報整理部は、前記撮影画像が前記食事画像ではないとの判定結果を前記判定通信部が受信した場合に当該撮影画像を前記サーバ記憶部から削除し、前記サーバ記憶部は、前記撮影画像が前記食事画像であるとの判定結果を前記判定通信部が受信した場合に当該撮影画像を保持してもよい。
【0128】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記カメラが撮影した前記撮影画像を記憶する記憶部(82)と、前記記憶部に記憶されている前記撮影画像を整理するデバイス情報整理部(84)と、を有し、前記デバイス情報整理部は、前記記憶部に記憶されている前記撮影画像を前記情報処理サーバに送信した後で、当該撮影画像を前記記憶部から削除してもよい。
【0129】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記カメラの撮影範囲にガイド光(L)を出力する発光部(50)を有してもよい。
【0130】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記ユーザが操作可能な2つの操作部(58)と、前記発光部の動作を制御する発光制御部(78)と、を有し、前記発光制御部は、前記2つの操作部が同時に操作された場合に前記発光部から前記ガイド光を出力し、前記2つの操作部のうちの1つのみが操作された場合に前記発光部から前記ガイド光を出力しなくてもよい。
【0131】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記カメラの撮影範囲内に入った前記被写体(202)が所定の食事情報に該当するか否かを判定する被写体判定部(79)と、前記カメラの動作を制御するカメラ制御部(80)と、を有し、前記カメラ制御部は、前記被写体が前記所定の食事情報に該当しないと前記被写体判定部が判定した場合に前記カメラによる当該被写体の撮影を禁止し、前記被写体が前記所定の食事情報に該当すると前記被写体判定部が判定した場合に前記カメラによる当該被写体の撮影を許可してもよい。
【0132】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記ユーザが操作可能な2つの操作部と、前記発光部の動作を制御する発光制御部と、前記カメラの動作を制御するカメラ制御部と、を有し、前記発光制御部は、前記2つの操作部のうちの一方が操作された場合に前記発光部から前記ガイド光を出力し、前記カメラ制御部は、前記2つの操作部のうちの他方が操作された場合に前記カメラの撮影を行ってもよい。
【0133】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記カメラの動作を制御するカメラ制御部を有し、前記カメラ制御部は、前記カメラの向きが斜め下方である場合に前記カメラによる前記被写体の撮影を許可し、前記カメラの向きが斜め下方でない場合に前記カメラによる前記被写体の撮影を禁止してもよい。
【0134】
上記の画像管理システムにおいて、前記ウェアラブルデバイスは、前記ユーザに食事日時の入力を促す報知制御を行う報知制御部(86)を有し、前記情報処理サーバは、前記ユーザの食事日時を取得したか否かを判定する日時取得判定部(93)と、前記食事日時を取得していないと前記日時取得判定部が判定した場合に、前回の食事日時からの経過時間(T1)が所定の食事間隔(T2)を超えたか否かを判定する時間判定部(98)と、前回の食事日時からの前記経過時間が前記所定の食事間隔を超えたと前記時間判定部が判定した場合に、前記ウェアラブルデバイスに前記報知制御を要求する報知要求制御部(94)と、を有してもよい。
【0135】
上記実施形態は、ユーザが身に着けられる医療用のウェアラブルデバイス(12a)であって、被写体を撮影するためのカメラと、前記カメラによって撮影された撮影画像を記憶する記憶部と、前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する判定通信部(110)と、前記記憶部に記憶されている前記撮影画像を整理するデバイス情報整理部と、を有し、前記デバイス情報整理部は、前記撮影画像が前記食事画像ではないとの判定結果を前記判定通信部が受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記判定通信部が受信した場合に当該撮影画像を情報処理サーバに送信した後で前記記憶部から削除する、ウェアラブルデバイスを開示している。
【0136】
上記のウェアラブルデバイスにおいて、前記被写体にガイド光を出力するための発光部を有してもよい。
【0137】
上記のウェアラブルデバイスにおいて、前記ユーザが操作可能な2つの操作部と、前記発光部の動作を制御する発光制御部と、を有し、前記発光制御部は、前記2つの操作部が同時に操作された場合に前記発光部から前記ガイド光を出力し、前記2つの操作部のうちの1つのみが操作された場合に前記発光部から前記ガイド光を出力しなくてもよい。
【0138】
上記のウェアラブルデバイスにおいて、前記カメラの撮影範囲内に入った前記被写体が所定の食事画像に一致又は類似するか否かを判定する被写体判定部と、前記カメラの動作を制御するカメラ制御部と、を有し、前記カメラ制御部は、前記被写体が前記所定の食事情報に該当しないと前記被写体判定部が判定した場合に前記カメラの撮影を禁止し、前記被写体が前記所定の食事情報に該当すると前記被写体判定部が判定した場合に前記カメラの撮影を許可してもよい。
【0139】
上記のウェアラブルデバイスにおいて、前記ユーザが操作可能な2つの操作部と、前記発光部の動作を制御する発光制御部と、前記カメラの動作を制御するカメラ制御部と、を有し、前記発光制御部は、前記2つの操作部の一方が操作された場合に前記発光部から前記ガイド光を出力し、前記カメラ制御部は、前記2つの操作部の他方が操作された場合に前記カメラの撮影を行ってもよい。
【0140】
上記のウェアラブルデバイスにおいて、前記ユーザの手首に装着するための装着部(26、28)と、前記カメラの動作を制御するカメラ制御部と、を有し、前記カメラ制御部は、前記カメラの撮影範囲が下方に向くように前記ウェアラブルデバイスを回転させることにより前記カメラの撮影を行ってもよい。
【0141】
上記実施形態は、医療用の画像管理方法であって、ユーザが身に着けられるウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、を含み、前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、画像管理方法を開示している。
【0142】
上記実施形態は、医療用の画像管理方法であって、ユーザが身に着けられるウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、を含み、前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、画像管理方法を開示している。
【0143】
上記実施形態は、医療用の画像管理プログラムであって、ユーザが身に着けられるウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を情報処理サーバに送信する画像送信ステップと、前記ウェアラブルデバイスから受信した前記撮影画像を前記情報処理サーバのサーバ記憶部に記憶する記憶ステップと、前記カメラが撮影した前記撮影画像が食事画像であるか否かについての画像判定部の判定結果に基づいて前記撮影画像を整理するサーバ情報整理ステップと、をコンピュータに実行させ、前記サーバ情報整理ステップでは、前記撮影画像が前記食事画像ではないと前記画像判定部が判定した場合に当該撮影画像を削除し、前記撮影画像が前記食事画像であると前記画像判定部が判定した場合に当該撮影画像を前記サーバ記憶部に保持する、画像管理プログラムを開示している。
【0144】
上記実施形態は、医療用の画像管理プログラムであって、ユーザが身に着けられるウェアラブルデバイスのカメラで被写体を撮影する撮影ステップと、前記撮影ステップで撮影された撮影画像を前記ウェアラブルデバイスの記憶部に記憶する記憶ステップと、前記記憶部に記憶されている前記撮影画像を画像判定サーバに送信して当該撮影画像が食事画像であるか否かについての前記画像判定サーバの判定結果を受信する画像判定ステップと、前記記憶部に記憶されている前記撮影画像を整理する情報整理ステップと、をコンピュータに実行させ、前記情報整理ステップでは、前記撮影画像が前記食事画像ではないとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を前記記憶部から削除し、前記撮影画像が前記食事画像であるとの判定結果を前記ウェアラブルデバイスが受信した場合に当該撮影画像を情報処理サーバに送信した後で削除する、画像管理プログラムを開示している。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13