知財求人 - 知財ポータルサイト「IP Force」
特開2022-151736遠隔画像表示システム、遠隔画像表示方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022151736
(43)【公開日】2022-10-07
(54)【発明の名称】遠隔画像表示システム、遠隔画像表示方法、及びプログラム
(51)【国際特許分類】
A61B 5/00 20060101AFI20220929BHJP
【ＦＩ】
A61B5/00 102E
A61B5/00 101A
A61B5/00 M
A61B5/00 102C
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022041392
(22)【出願日】2022-03-16
(31)【優先権主張番号】P 2021048615
(32)【優先日】2021-03-23
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】藤田 尚吾
(72)【発明者】
【氏名】渡邉 隆史
(72)【発明者】
【氏名】酒井 修二
(72)【発明者】
【氏名】千葉 崇人
【テーマコード（参考）】
4C117
【Ｆターム（参考）】
4C117XB11
4C117XB13
4C117XE43
4C117XE60
4C117XG22
4C117XG34
4C117XG51
4C117XJ14
4C117XJ16
4C117XK09
(57)【要約】
【課題】スペクトルカメラを用いずに被写体のスペクトル画像を取得することで、安価かつ容易に遠隔診療や化粧品のオンラインカウンセリングの精度を向上することが可能な遠隔画像表示システム、遠隔画像表示方法、及びプログラムを提供する。
【解決手段】観察者が表示を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムであって、ＲＧＢ画像を撮像する撮像装置によって撮像された被写体の撮像画像から、被写体の分光反射率を推定する分光反射率推定部と、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成部と、観察者の選択に応じて、撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、観察者端末に表示させる出力制御部と、を備える、遠隔画像表示システム。
【選択図】図１
【解決手段】観察者が表示を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムであって、ＲＧＢ画像を撮像する撮像装置によって撮像された被写体の撮像画像から、被写体の分光反射率を推定する分光反射率推定部と、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成部と、観察者の選択に応じて、撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、観察者端末に表示させる出力制御部と、を備える、遠隔画像表示システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムであって、
ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定部と、
前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成部と、
前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御部と、
を備える、遠隔画像表示システム。
ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定部と、
前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成部と、
前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御部と、
を備える、遠隔画像表示システム。
【請求項2】
前記観察者によって選択された画像の表示領域が１つのみ存在し、かつ前記表示領域に表示される画像が前記観察者によって複数選択されている場合、１つの前記表示領域に対して、前記観察者によって選択された複数の画像を切り替えて表示させる表示切替部、
をさらに備える、請求項１に記載の遠隔画像表示システム。
をさらに備える、請求項１に記載の遠隔画像表示システム。
【請求項3】
前記出力制御部は、前記観察者によって選択された画像の表示領域が複数存在し、かつ前記表示領域に表示される画像が前記観察者によって複数選択されている場合に、前記観察者によって選択された複数の画像をそれぞれ対応する前記表示領域に表示させる、
請求項１又は請求項２に記載の遠隔画像表示システム。
請求項１又は請求項２に記載の遠隔画像表示システム。
【請求項4】
過去に撮像された前記被写体の撮像画像と、前記撮像画像から推定された前記分光反射率とを関連付けて記憶する過去画像記憶部、
をさらに備え、
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像として前記被写体の過去の画像が選択された場合、該当する画像を前記過去画像記憶部に記憶された情報に基づき取得し、前記観察者端末に表示させる、
請求項１から請求項３のいずれか１項に記載の遠隔画像表示システム。
をさらに備え、
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像として前記被写体の過去の画像が選択された場合、該当する画像を前記過去画像記憶部に記憶された情報に基づき取得し、前記観察者端末に表示させる、
請求項１から請求項３のいずれか１項に記載の遠隔画像表示システム。
【請求項5】
前記撮像画像と、前記撮像画像から推定された前記分光反射率と、前記撮像画像に写る被写体に関する症状とを関連付けて記憶する過去画像記憶部、
をさらに備え、
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像に関する症状が入力された場合、前記入力された症状と対応する画像を前記過去画像記憶部に記憶された情報に基づき取得し、前記観察者端末に表示させる、
請求項１から請求項３のいずれか１項に記載の遠隔画像表示システム。
をさらに備え、
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像に関する症状が入力された場合、前記入力された症状と対応する画像を前記過去画像記憶部に記憶された情報に基づき取得し、前記観察者端末に表示させる、
請求項１から請求項３のいずれか１項に記載の遠隔画像表示システム。
【請求項6】
前記分光反射率推定部は、前記撮像画像から、所定の波長間隔ごとに前記被写体の分光反射率を推定し、
前記スペクトル画像生成部は、前記観察者端末に表示させる前記スペクトル画像の波長が指定された場合、前記指定された波長における前記スペクトル画像を生成する、
請求項１から請求項５のいずれか１項に記載の遠隔画像表示システム。
前記スペクトル画像生成部は、前記観察者端末に表示させる前記スペクトル画像の波長が指定された場合、前記指定された波長における前記スペクトル画像を生成する、
請求項１から請求項５のいずれか１項に記載の遠隔画像表示システム。
【請求項7】
前記スペクトル画像生成部は、前記観察者端末に表示させる前記スペクトル画像の波長が所定の範囲で指定された場合、前記指定された範囲内の各波長におけるスペクトルの積分値から前記スペクトル画像を生成する、
請求項６に記載の遠隔画像表示システム。
請求項６に記載の遠隔画像表示システム。
【請求項8】
前記出力制御部は、前記推定された分光反射率と、前記観察者が観察を行う場所の光源に関する光源データとに基づき、前記撮像画像の色を補正する、
請求項１から請求項７のいずれか１項に記載の遠隔画像表示システム。
請求項１から請求項７のいずれか１項に記載の遠隔画像表示システム。
【請求項9】
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像の撮影時刻、撮影場所の気温もしくは室温、湿度、気圧の少なくともいずれかを前記観察者端末に表示させる、
請求項１から請求項８のいずれか１項に記載の遠隔画像表示システム。
請求項１から請求項８のいずれか１項に記載の遠隔画像表示システム。
【請求項10】
前記出力制御部は、前記観察者が前記観察者端末に表示したい画像の撮影時における被写体の体温、血圧の少なくともいずれかを前記観察者端末に表示させる、
請求項１から請求項８のいずれか１項に記載の遠隔画像表示システム。
請求項１から請求項８のいずれか１項に記載の遠隔画像表示システム。
【請求項11】
観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示方法であって、
分光反射率推定部が、ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する過程と、
スペクトル画像生成部が、前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する過程と、
出力制御部が、前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる過程と、
を含む、遠隔画像表示方法。
分光反射率推定部が、ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する過程と、
スペクトル画像生成部が、前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する過程と、
出力制御部が、前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる過程と、
を含む、遠隔画像表示方法。
【請求項12】
観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムとしてコンピュータを機能させるプログラムであって、
前記コンピュータを、
ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定手段と、
前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成手段と、
前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御手段と、
として機能させる、プログラム。
前記コンピュータを、
ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定手段と、
前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成手段と、
前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御手段と、
として機能させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔画像表示システム、遠隔画像表示方法、及びプログラムに関する。
【背景技術】
【0002】
近年、遠隔診療（オンライン診療）や化粧品のオンラインカウンセリングなど、観察者が観察対象である被写体の画像を遠隔からオンラインで観察可能なシステム（以下、「遠隔画像表示システム」とも称される）を利用したオンラインサービスの需要が高まっている。例えば、遠隔診療では、患者が医療機関から遠隔にある場所にて患部等の画像（被写体の画像の一例）を撮像し、医師（観察者の一例）が医療機関にある端末に表示された当該画像に基づき診療を行う。そのため、当該オンラインサービスの需要の高まりに伴い、遠隔地にて撮像された画像を表示するための技術が各種提案されている。
【0003】
例えば、下記特許文献１には、患者が家にて診断対象を撮像した画像と、当該画像を画素ごとに定量化した画像データから得られる所定データの特徴を示す画像とを、遠隔にある病院の端末に表示する技術が開示されている。当該技術では、画素ごとの４波長（Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）、ＩＲ（Ｉｎｆｒａｒｅｄ））の各色データから、血液濃度、その酸素飽和度、メラニンなどの色素沈着レベルなどの診断に必要な各所定データが算出される。
【0004】
しかしながら、特許文献１の技術では、スペクトル解析を行っていないため、特定波長のスペクトルを見ることはできない。視診においては、細かい波長ごとのスペクトル画像を見た方が視診の精度が向上する場合がある。そのため、例えば遠隔診療の正確性を向上するためには、医療機関の端末にて患者の患部が撮像された画像のスペクトル画像を表示できることが好ましい。
【0005】
下記特許文献２には、スペクトルカメラで被写体の顔を撮像して得られる分光反射画像（スペクトル画像）を用いて、被写体の皮膚の評価を行う技術が開示されている。当該技術のようにスペクトルカメラを用いることで、例えば患者の患部のスペクトル画像を容易に取得することは可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第３４１７２３５号公報
【特許文献2】特許第６００１２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、スペクトルカメラは高価かつ構造が複雑なため、設置環境が限られてしまう。例えば、患者の自宅や救急車内等にスペクトルカメラを設けることは困難である。そこで、スペクトルカメラを用いずに被写体のスペクトル画像を取得することで、安価かつ容易に遠隔診療の精度を向上することが望まれる。
【0008】
上述の課題を鑑み、本発明の目的は、スペクトルカメラを用いずに被写体のスペクトル画像を取得することで、安価かつ容易に遠隔診療や化粧品のオンラインカウンセリングの精度を向上することが可能な遠隔画像表示システム、遠隔画像表示方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上述の課題を解決するために、本発明の一態様に係る遠隔画像表示システムは、観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムであって、ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定部と、前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成部と、前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御部と、を備える。
【0010】
本発明の一態様に係る遠隔画像表示方法は、観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示方法であって、分光反射率推定部が、ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する過程と、スペクトル画像生成部が、前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する過程と、出力制御部が、前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる過程と、を含む。
【0011】
本発明の一態様に係るプログラムは、観察者が観察を行う場所とは異なる場所にて撮影された被写体の撮像画像を、観察者端末に表示させる遠隔画像表示システムとしてコンピュータを機能させるプログラムであって、前記コンピュータを、ＲＧＢ画像を撮像する撮像装置によって撮像された前記撮像画像から、前記被写体の分光反射率を推定する分光反射率推定手段と、前記推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成するスペクトル画像生成手段と、前記観察者の選択に応じて、前記撮像画像又は前記スペクトル画像の少なくともいずれか一方の画像を、前記観察者端末に表示させる出力制御手段と、として機能させる。
【発明の効果】
【0012】
本発明によれば、スペクトルカメラを用いずに被写体のスペクトル画像を取得することで、安価かつ容易に遠隔診療や化粧品のオンラインカウンセリングの精度を向上することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る遠隔診療システムの構成の一例を示す図である。
【図2】本発明の実施形態に係る分光反射率の推定を説明するための図である。
【図3】本発明の実施形態に係る分光反射率の推定を説明するための図である。
【図4】本発明の実施形態に係る分光反射率の推定を説明するための図である。
【図5】本発明の実施形態に係る分光反射率の推定を説明するための図である。
【図6】本発明の実施形態に係る医師端末における患部画像の表示の一例を示す図である。
【図7】本発明の実施形態に係る遠隔診療システムにおける処理の流れの一例を示すシーケンス図である。
【図8】本発明の実施形態に係る遠隔診療用画像表示システムにおける画像表示処理の流れの一例を示すフローチャートである。
【図9】本発明の実施形態に係る遠隔診療用画像表示システムにおける表示切替処理の流れの一例を示すフローチャートである。
【図10】本発明の実施形態に係る医師端末における患部画像の表示の第１の変形例を示す図である。
【図11】本発明の実施形態に係る遠隔診療用画像表示システムにおける画像表示処理の流れの第１の変形例を示すフローチャートである。
【図12】本発明の実施形態に係る医師端末における患部画像の表示の第２の変形例を示す図である。
【図13】本発明の実施形態に係る医師端末における患部画像の表示の第２の変形例を示す図である。
【図14】本発明の実施形態に係る遠隔診療用画像表示システムにおける画像表示処理の流れの第２の変形例を示すフローチャートである。
【図15】本発明の実施形態に係る患部画像表示画面の変形例を示す図である。
【図16】本発明の実施形態に係る詳細情報表示画面の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
本発明は、観察者が観察対象である被写体の画像を遠隔からオンラインで観察可能なシステム（以下、「遠隔画像表示システム」とも称される）に関する。当該遠隔画像表示システムは、例えば、遠隔診療（オンライン診療）や化粧品のオンラインカウンセリングなどで用いられる。以下の実施形態では、一例として、遠隔画像表示システムが遠隔診療に用いられる例について説明する。
本発明は、観察者が観察対象である被写体の画像を遠隔からオンラインで観察可能なシステム（以下、「遠隔画像表示システム」とも称される）に関する。当該遠隔画像表示システムは、例えば、遠隔診療（オンライン診療）や化粧品のオンラインカウンセリングなどで用いられる。以下の実施形態では、一例として、遠隔画像表示システムが遠隔診療に用いられる例について説明する。
【0015】
＜１．遠隔診療システムの構成＞
図１を参照して、本実施形態に係る一例として遠隔診療システムの構成について説明する。図１は、本発明の実施形態に係る遠隔診療システムの構成の一例を示す図である。遠隔診療システム１０００は、医師が患者に対して遠隔診療を行うためのシステムである。本実施形態において、遠隔診療は、医師と患者が距離を隔てたところでインターネット等の情報通信技術を用いて診療を行う行為である。本発明では医師が観察者、患者が被写体にそれぞれ該当する。
以下、本実施形態では、患者宅ＰＨにいる患者が遠隔診療システム１０００を利用して、患者宅ＰＨから遠隔地にある病院ＨＳにいる医師より、遠隔診療を受ける例について説明する。
図１を参照して、本実施形態に係る一例として遠隔診療システムの構成について説明する。図１は、本発明の実施形態に係る遠隔診療システムの構成の一例を示す図である。遠隔診療システム１０００は、医師が患者に対して遠隔診療を行うためのシステムである。本実施形態において、遠隔診療は、医師と患者が距離を隔てたところでインターネット等の情報通信技術を用いて診療を行う行為である。本発明では医師が観察者、患者が被写体にそれぞれ該当する。
以下、本実施形態では、患者宅ＰＨにいる患者が遠隔診療システム１０００を利用して、患者宅ＰＨから遠隔地にある病院ＨＳにいる医師より、遠隔診療を受ける例について説明する。
【0016】
図１に示すように、遠隔診療システム１０００は、撮像装置１０、患者端末２０、遠隔診療用画像表示システム３０（遠隔画像表示システムの一例）、及び医師端末４０（観察者端末の一例）を備えている。撮像装置１０及び患者端末２０は、患者宅ＰＨに存在している。医師端末４０は、病院ＨＳに存在している。
遠隔診療システム１０００において、患者端末２０、遠隔診療用画像表示システム３０、及び医師端末４０の各々は、ネットワークＮＷによって接続されている。
遠隔診療システム１０００において、患者端末２０、遠隔診療用画像表示システム３０、及び医師端末４０の各々は、ネットワークＮＷによって接続されている。
【0017】
（１）撮像装置１０
撮像装置１０は、ＲＧＢ画像を撮像する撮像装置である。撮像装置は、例えば、デジタルカメラ、Ｗｅｂカメラ、ビデオカメラ等である。患者は、撮像装置１０を用いて、患部を撮像する。撮像装置１０が撮像した患者の患部の撮像画像は、患者端末２０を介して、遠隔診療用画像表示システム３０へ出力される。
なお、撮像装置１０は、患者端末２０とは独立したカメラあってもよいし、患者端末２０に組み込まれたカメラであってもよい。撮像装置１０が患者端末２０とは独立したカメラである場合、患者は、有線通信、無線通信、あるいは記憶媒体等を利用して、撮像装置１０が撮像した画像を患者端末２０へ出力する。
また、患者が患部の撮像に用いる撮像装置１０の台数は１台に限定されず、複数台であってもよい。
撮像装置１０は、ＲＧＢ画像を撮像する撮像装置である。撮像装置は、例えば、デジタルカメラ、Ｗｅｂカメラ、ビデオカメラ等である。患者は、撮像装置１０を用いて、患部を撮像する。撮像装置１０が撮像した患者の患部の撮像画像は、患者端末２０を介して、遠隔診療用画像表示システム３０へ出力される。
なお、撮像装置１０は、患者端末２０とは独立したカメラあってもよいし、患者端末２０に組み込まれたカメラであってもよい。撮像装置１０が患者端末２０とは独立したカメラである場合、患者は、有線通信、無線通信、あるいは記憶媒体等を利用して、撮像装置１０が撮像した画像を患者端末２０へ出力する。
また、患者が患部の撮像に用いる撮像装置１０の台数は１台に限定されず、複数台であってもよい。
【0018】
（２）患者端末２０
患者端末２０は、患者が医師からの遠隔診療を受けるために用いる端末である。患者端末２０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等である。患者端末２０は、ネットワークＮＷを介して、遠隔診療用画像表示システム３０と接続されている。患者は、患者端末２０から遠隔診療用画像表示システム３０へアクセスし、撮像装置１０を用いて撮像した患部の撮像画像を遠隔診療用画像表示システム３０へアップロードする。患者は、遠隔診療用画像表示システム３０へアップロードした画像をもとにした遠隔診療を医師から受ける。
図１に示すように、患者端末２０は、通信部２１、入力部２２、出力部２３、記憶部２４、及び制御部２５を備える。
患者端末２０は、患者が医師からの遠隔診療を受けるために用いる端末である。患者端末２０は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末等である。患者端末２０は、ネットワークＮＷを介して、遠隔診療用画像表示システム３０と接続されている。患者は、患者端末２０から遠隔診療用画像表示システム３０へアクセスし、撮像装置１０を用いて撮像した患部の撮像画像を遠隔診療用画像表示システム３０へアップロードする。患者は、遠隔診療用画像表示システム３０へアップロードした画像をもとにした遠隔診療を医師から受ける。
図１に示すように、患者端末２０は、通信部２１、入力部２２、出力部２３、記憶部２４、及び制御部２５を備える。
【0019】
（２－１）通信部２１
通信部２１は、各種情報の送受信を行う機能を有する。例えば、通信部２１は、患者の患部の撮像画像や音声を遠隔診療用画像表示システム３０へ送信する。また、通信部２１は、遠隔診療用画像表示システム３０から送信される画像を受信する。通信部２１が受信する画像は、例えば、病院ＨＳにて遠隔診療を行う医師の画像や音声である。
通信部２１は、各種情報の送受信を行う機能を有する。例えば、通信部２１は、患者の患部の撮像画像や音声を遠隔診療用画像表示システム３０へ送信する。また、通信部２１は、遠隔診療用画像表示システム３０から送信される画像を受信する。通信部２１が受信する画像は、例えば、病院ＨＳにて遠隔診療を行う医師の画像や音声である。
【0020】
（２－２）入力部２２
入力部２２は、患者による入力を受け付ける機能を有する。入力部２２は、例えば、キーボード、マウス、タッチパネル等の入力装置によって実現される。当該入力装置は、患者端末２０がハードウェアとして予め備える装置であってもよいし、患者端末２０に外部接続される装置であってもよい。
入力部２２は、患者による入力を受け付ける機能を有する。入力部２２は、例えば、キーボード、マウス、タッチパネル等の入力装置によって実現される。当該入力装置は、患者端末２０がハードウェアとして予め備える装置であってもよいし、患者端末２０に外部接続される装置であってもよい。
【0021】
（２－３）出力部２３
出力部２３は、各種情報を出力する機能を有する。出力部２３は、例えば、ディスプレイ等の表示装置やスピーカ等の音声出力装置によって実現される。当該表示装置及び音声出力装置は、患者端末２０がハードウェアとして予め備える装置であってもよいし、患者端末２０に外部接続される装置であってもよい。出力部２３は、例えば、撮像装置１０で撮像した患者の患部の撮像画像を表示装置に表示したり、遠隔診療において表示装置に医師の画像を表示し、音声出力装置から医師の音声を出力したりする。
出力部２３は、各種情報を出力する機能を有する。出力部２３は、例えば、ディスプレイ等の表示装置やスピーカ等の音声出力装置によって実現される。当該表示装置及び音声出力装置は、患者端末２０がハードウェアとして予め備える装置であってもよいし、患者端末２０に外部接続される装置であってもよい。出力部２３は、例えば、撮像装置１０で撮像した患者の患部の撮像画像を表示装置に表示したり、遠隔診療において表示装置に医師の画像を表示し、音声出力装置から医師の音声を出力したりする。
【0022】
（２－４）記憶部２４
記憶部２４は、各種情報を記憶する機能を有する。記憶部２４は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
記憶部２４は、各種情報を記憶する機能を有する。記憶部２４は、記憶媒体、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＡＭ（Random Access read/write Memory）、ＲＯＭ（Read Only Memory）、またはこれらの記憶媒体の任意の組み合わせによって構成される。
【0023】
（２－５）制御部２５
制御部２５は、患者端末２０の動作全般を制御する機能を有する。制御部２５は、例えば、患者端末２０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。
制御部２５は、患者端末２０の動作全般を制御する機能を有する。制御部２５は、例えば、患者端末２０がハードウェアとして備えるＣＰＵ（Central Processing Unit）にプログラムを実行させることによって実現される。
【0024】
（３）遠隔診療用画像表示システム３０
遠隔診療用画像表示システム３０は、医師が遠隔診療を行う場所とは異なる場所にて医師による遠隔診療を受ける患者の患部を示す患部画像を、医師が遠隔診療に用いる医師端末４０に表示させるシステムである。遠隔診療用画像表示システム３０は、例えば、サーバ装置等の端末である。遠隔診療用画像表示システム３０は、ネットワークＮＷを介して、患者端末２０及び医師端末４０のそれぞれと接続されている。
図１に示すように、遠隔診療用画像表示システム３０は、通信部３１、記憶部３２、及び制御部３３を備える。
遠隔診療用画像表示システム３０は、医師が遠隔診療を行う場所とは異なる場所にて医師による遠隔診療を受ける患者の患部を示す患部画像を、医師が遠隔診療に用いる医師端末４０に表示させるシステムである。遠隔診療用画像表示システム３０は、例えば、サーバ装置等の端末である。遠隔診療用画像表示システム３０は、ネットワークＮＷを介して、患者端末２０及び医師端末４０のそれぞれと接続されている。
図１に示すように、遠隔診療用画像表示システム３０は、通信部３１、記憶部３２、及び制御部３３を備える。
【0025】
（３－１）通信部３１
通信部３１は、各種情報の送受信を行う機能を有する。例えば、通信部３１は、患者端末２０から患者の患部の撮像画像や音声を受信したり、医師端末４０から医師の画像や音声、医師が入力した情報を受信したりする。通信部３１は、患者端末２０から受信した患者の患部の撮像画像を過去画像データベース３２４（請求項における過去画像記憶部の一例）に書き込んで記憶させる。過去画像データベース３２４への書き込みは、例えばバックグラウンドで自動的に行われてもよいし、医師側の操作に基づき行われてもよい。
また、通信部４１は、医師端末４０に出力させる情報（例えば患者の患部を示す患部画像や音声）を医師端末４０へ送信したり、患者端末２０に出力させる情報（例えば医師の画像や音声）を患者端末２０へ送信したりする。
通信部３１は、各種情報の送受信を行う機能を有する。例えば、通信部３１は、患者端末２０から患者の患部の撮像画像や音声を受信したり、医師端末４０から医師の画像や音声、医師が入力した情報を受信したりする。通信部３１は、患者端末２０から受信した患者の患部の撮像画像を過去画像データベース３２４（請求項における過去画像記憶部の一例）に書き込んで記憶させる。過去画像データベース３２４への書き込みは、例えばバックグラウンドで自動的に行われてもよいし、医師側の操作に基づき行われてもよい。
また、通信部４１は、医師端末４０に出力させる情報（例えば患者の患部を示す患部画像や音声）を医師端末４０へ送信したり、患者端末２０に出力させる情報（例えば医師の画像や音声）を患者端末２０へ送信したりする。
【0026】
（３－２）記憶部３２
記憶部３２は、各種情報を記憶する機能を有する。記憶部３２は、記憶媒体、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。
図１に示すように、記憶部３２は、撮像装置分光感度データベース３２１、分光反射率データベース３２２、光源データベース３２３、及び過去画像データベース３２４を備える。
記憶部３２は、各種情報を記憶する機能を有する。記憶部３２は、記憶媒体、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。
図１に示すように、記憶部３２は、撮像装置分光感度データベース３２１、分光反射率データベース３２２、光源データベース３２３、及び過去画像データベース３２４を備える。
【0027】
（３－２－１）撮像装置分光感度データベース３２１
撮像装置分光感度データベース３２１には、撮像装置１０の各々の識別情報と、当該識別情報の示す撮像装置１０の分光感度とが組として、予め書き込まれて記憶されている。
撮像装置分光感度データベース３２１には、撮像装置１０の各々の識別情報と、当該識別情報の示す撮像装置１０の分光感度とが組として、予め書き込まれて記憶されている。
【0028】
（３－２－２）分光反射率データベース３２２
分光反射率データベース３２２には、色見本の各々の識別情報と、当該識別情報の示す色見本の分光反射率との組、または、撮像対象（例えば人体表面）の各々の識別情報と、当該識別情報の示す撮像対象の分光反射率との組が、予め書き込まれて記憶されている。
分光反射率データベース３２２には、色見本の各々の識別情報と、当該識別情報の示す色見本の分光反射率との組、または、撮像対象（例えば人体表面）の各々の識別情報と、当該識別情報の示す撮像対象の分光反射率との組が、予め書き込まれて記憶されている。
【0029】
なお、分光反射率データベース３２２に色見本の分光反射率が記憶されている場合、患者は、患部と色見本とが一緒に写るように撮像装置１０で患部と色見本とを撮像する。
【0030】
（３－２－３）光源データベース３２３
光源データベース３２３には、光源の各々の識別情報と、当該識別情報の示す光源の分光分布（光源分光分布）とが組として、予め書き込まれて記憶されている。光源は、例えば、太陽光、蛍光灯等である。
光源データベース３２３には、光源の各々の識別情報と、当該識別情報の示す光源の分光分布（光源分光分布）とが組として、予め書き込まれて記憶されている。光源は、例えば、太陽光、蛍光灯等である。
【0031】
（３－２－４）過去画像データベース３２４
過去画像データベース３２４は、過去に撮像された患者の患部の撮像画像、過去に推定された分光反射率、当該分光反射率の各々の波長毎のスペクトル強度の推定結果、各種症例に対応する画像が記憶されている。
過去画像データベース３２４は、過去に撮像された患者の患部の撮像画像、過去に推定された分光反射率、当該分光反射率の各々の波長毎のスペクトル強度の推定結果、各種症例に対応する画像が記憶されている。
【0032】
（３－３）制御部３３
制御部３３は、遠隔診療用画像表示システム３０の動作全般を制御する機能を有する。制御部３３は、例えば、遠隔診療用画像表示システム３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。
図１に示すように、制御部３３は、データ取得部３３１、分光反射率推定部３３２、画像選択部３３３、スペクトル画像生成部３３４、出力制御部３３５、及び表示切替部３３６を備える。
制御部３３は、遠隔診療用画像表示システム３０の動作全般を制御する機能を有する。制御部３３は、例えば、遠隔診療用画像表示システム３０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。
図１に示すように、制御部３３は、データ取得部３３１、分光反射率推定部３３２、画像選択部３３３、スペクトル画像生成部３３４、出力制御部３３５、及び表示切替部３３６を備える。
【0033】
（３－３－１）データ取得部３３１
データ取得部３３１は、各種データを取得する機能を有する。例えば、データ取得部３３１は、分光反射率の推定に必要なデータを各データベースから取得する。具体的に、データ取得部３３１は、撮像装置分光感度データベース３２１から、患者が患部の撮像に用いた撮像装置１０の分光感度を取得する。また、データ取得部３３１は、分光反射率データベース３２２から、色見本の分光反射率、あるいは撮像対象の分光反射率を取得する。また、データ取得部３３１は、光源データベース３２３から、患者が患部を撮像した際の光源の分光分布を取得する。また、データ取得部３３１は、過去画像データベース３２４から撮像画像を取得する。
データ取得部３３１は、各種データを取得する機能を有する。例えば、データ取得部３３１は、分光反射率の推定に必要なデータを各データベースから取得する。具体的に、データ取得部３３１は、撮像装置分光感度データベース３２１から、患者が患部の撮像に用いた撮像装置１０の分光感度を取得する。また、データ取得部３３１は、分光反射率データベース３２２から、色見本の分光反射率、あるいは撮像対象の分光反射率を取得する。また、データ取得部３３１は、光源データベース３２３から、患者が患部を撮像した際の光源の分光分布を取得する。また、データ取得部３３１は、過去画像データベース３２４から撮像画像を取得する。
【0034】
（３－３－２）分光反射率推定部３３２
分光反射率推定部３３２は、撮像装置１０によって撮像された患者の患部の撮像画像から、患部の分光反射率を推定する機能を有する。分光反射率推定部３３２は、撮像画像の画素毎に分光反射率を推定する。分光反射率推定部３３２は、推定した分光反射率を撮像画像と関連付けて過去画像データベース３２４に書き込んで記憶させる。
具体的に、分光反射率推定部３３２は、撮像装置分光感度データベース３２１に記憶された撮像装置の分光感度（ＲＧＢ画像の各々の分光感度）、分光反射率データベース３２２に記憶されている基底ベクトル群、光源データベース３２３に記憶された撮像光源の分光分布、及びデータ取得部３３１によって過去画像データベース３２４から取得された患者の患部が撮像されたＲＧＢ画像の画像データから、患者の患部の分光反射率を推定する。
分光反射率推定部３３２は、撮像装置１０によって撮像された患者の患部の撮像画像から、患部の分光反射率を推定する機能を有する。分光反射率推定部３３２は、撮像画像の画素毎に分光反射率を推定する。分光反射率推定部３３２は、推定した分光反射率を撮像画像と関連付けて過去画像データベース３２４に書き込んで記憶させる。
具体的に、分光反射率推定部３３２は、撮像装置分光感度データベース３２１に記憶された撮像装置の分光感度（ＲＧＢ画像の各々の分光感度）、分光反射率データベース３２２に記憶されている基底ベクトル群、光源データベース３２３に記憶された撮像光源の分光分布、及びデータ取得部３３１によって過去画像データベース３２４から取得された患者の患部が撮像されたＲＧＢ画像の画像データから、患者の患部の分光反射率を推定する。
【0035】
本実施形態において、分光反射率推定部３３２は、例えば、データ取得部３３１が取得した患部の撮像画像から、所定の波長間隔ごとに患部の分光反射率を推定する。一例として、分光反射率推定部３３２は、４００ｎｍから７００ｎｍの範囲で１０ｎｍごとに分光反射率を推定する。即ち、分光反射率推定部３３２は、４００ｎｍから７００ｎｍの波長単位を、１０ｎｍ刻みでサンプリングして、３１次元ベクトルとして分光反射率を推定する。
【0036】
ここで、分光反射率の推定処理について、具体的に説明する。
一般に、ある対象物を汎用的な撮像装置（以下、カメラという）により撮像した場合、取得される画像データの画像座標ｘにおける輝度値ｐｍ，ｋ（ｘ）は、以下の（１）式で表される。ここで、ｍはカメラに付した番号、ｋはカメラのチャネル、ｓ（λ，ｘ）は画像座標ｘにおける波長λの分光反射率、ｌ（λ）は光源における波長λの分光分布、ｃｍ，ｋ（ｘ）は画像座標ｘにおけるカメラｍのチャネルｋの分光感度、をそれぞれ示している。なお、チャネルは、カメラが撮像可能な色の要素を示しており、例えば、ＲＧＢ画像を撮像するカメラであれば、Ｒ、Ｇ、Ｂの別を表す。
一般に、ある対象物を汎用的な撮像装置（以下、カメラという）により撮像した場合、取得される画像データの画像座標ｘにおける輝度値ｐｍ，ｋ（ｘ）は、以下の（１）式で表される。ここで、ｍはカメラに付した番号、ｋはカメラのチャネル、ｓ（λ，ｘ）は画像座標ｘにおける波長λの分光反射率、ｌ（λ）は光源における波長λの分光分布、ｃｍ，ｋ（ｘ）は画像座標ｘにおけるカメラｍのチャネルｋの分光感度、をそれぞれ示している。なお、チャネルは、カメラが撮像可能な色の要素を示しており、例えば、ＲＧＢ画像を撮像するカメラであれば、Ｒ、Ｇ、Ｂの別を表す。
【0037】
【数1】
【0038】
（１）式に示すように、画像座標ｘにおけるカメラｍのチャネルｋの輝度値ｐｍ，ｋ（ｘ）は、画像座標ｘにおけるカメラｍのチャネルｋの分光反射率ｓ（λ，ｘ）と、光源の分光分布ｌ（λ）と、画像座標ｘにおけるカメラｍのチャネルｋの分光感度ｃｍ，ｋ（ｘ）との積を、波長λで積分した積分値で示される。
参考文献１（Do It Yourself Hyperspectral Imaging with Everyday Digital Cameras, Seoung Wug Oh, 2016 IEEE Conference on Computer Vision and Pattern Recognition）によれば、光源の分光分布ｌ（λ）は、分光分布基底ベクトルと、基底係数を用いて、以下の（２）式で定義される。ここで、ａｊはｊ番目の基底ベクトルに乗算する基底係数、ｅｊはｊ番目の分光分布基底ベクトル、をそれぞれ示している。
参考文献１（Do It Yourself Hyperspectral Imaging with Everyday Digital Cameras, Seoung Wug Oh, 2016 IEEE Conference on Computer Vision and Pattern Recognition）によれば、光源の分光分布ｌ（λ）は、分光分布基底ベクトルと、基底係数を用いて、以下の（２）式で定義される。ここで、ａｊはｊ番目の基底ベクトルに乗算する基底係数、ｅｊはｊ番目の分光分布基底ベクトル、をそれぞれ示している。
【0039】
【数2】
【0040】
（２）式において、参考文献１によれば、Ｎａ＝６を用いている。Ｎａ＝６の場合、光源の分光分布ｌ（λ）は１番目の分光分布基底ベクトルから６番目の分光分布基底ベクトルに各々の基底係数ａｊを乗算したものを加算したデータとして表現される。すなわち、この場合において、光源の分光分布ｌ（λ）は第１主成分から第６主成分までを用いて表現される。
【0041】
ここで、光源の分光分布ｌ（λ）を、幾つの主成分を用いて表現するかは、制御部３３の演算処理能力や、表現する分光分布データに要求される精度に応じて任意に決定されてよい。一般に、主成分分析においては、多くの主成分を用いてデータを表現する方が精度よくデータを表現することが可能であるが、その一方で、主成分の数が多くなる程、扱う変数の数が多く処理負荷が重くなる。また、主成分の数が多くなる程ノイズの影響を受けて処理が不安定になり易い傾向にあり、主成分にノイズがない状態であれば精度よくデータを表現できるが、ノイズがある状態では表現するデータの精度が著しく劣化する場合がある。
【0042】
参考文献１によれば、画像座標ｘにおける対象物の分光反射率ｓ（λ，ｘ）は、分光反射率基底ベクトルと、基底係数を用いて、以下の（３）式で定義される。ここで、ｒｊ（ｘ）は画像座標ｘにおけるｊ番目の基底ベクトルに乗算する基底係数、ｂｊはｊ番目の分光分布基底ベクトル、をそれぞれ示している。
【0043】
【数3】
【0044】
（３）式において、参考文献１によれば、Ｎｒ＝８を用いている。Ｎｒ＝８の場合、画像座標ｘにおける対象物の分光反射率ｓ（λ，ｘ）は１番目の分光反射率基底ベクトルから８番目の分光反射率基底ベクトルに各々の基底係数ｒｊ（ｘ）を乗算したものを加算したデータとして表現される。すなわち、この場合において、対象物の分光反射率ｓ（λ，ｘ）は第１主成分から第８主成分までを用いて表現される。
【0045】
ここで、対象物の分光反射率ｓ（λ，ｘ）を、幾つの主成分を用いて表現するかは、主成分として扱うことが可能な数の上限を超えない範囲において、制御部３３の演算処理能力や、表現する分光反射率データに要求される精度に応じて任意に決定されてよい。
【0046】
分光反射率データにおいて主成分として扱うことが可能な数の上限は、例えば、撮像条件（撮像時におけるカメラの分光感度）の数に基づいて決定される。この上限は、互いに分光感度が異なる複数のカメラの各々によりＲＧＢ画像を撮像した場合、カメラの台数にチャネル数を乗算した値から１を引いた数である。例えば、３台のカメラの各々によりＲＧＢ画像を撮像した場合、上限は、（カメラの台数＝３）×（チャネル数＝３）－１、つまり８である。
【0047】
上述した（２）式、及び（３）式を、（１）式に適応することにより、画像座標ｘにおける輝度値ｐｍ，ｋ（ｘ）は、以下の（４）式で表される。ここで、太字のＡは積分記号により表される積分項を行列に置き換えて表したものである。Ａｍ，ｋ（ｉ，ｊ）は、カメラｍのチャネルｋについての積分項における（ｉ、ｊ）成分を示している。
【0048】
【数4】
【0049】
（４）式のΣ（シグマ）記号で示される項をベクトル（行列の積）に置き換えることで、以下の（５）式に示すように、画像座標ｘにおける輝度値ｐｍ，ｋ（ｘ）は、行列式で表現することができる。ここで、太字のｒは画像座標ｘにおける分光反射率基底ベクトル群の各々の基底係数を示す行列、太字のａは分光分布基底ベクトル群の各々の基底係数を示す行列、太字のＡはカメラｍのチャネルｋについての積分項の各々を示すＮｒ×Ｎａの行列を示している。
【0050】
【数5】
【0051】
（５）式の左辺は画像座標ｘにおける輝度値ｐｍ，ｋ（ｘ）を示し、右辺はスペクトル情報を示している。輝度値ｐｍ，ｋ（ｘ）は、ＲＧＢ画像であれば、ある一つの画素におけるＲＧＢ値を表す。すなわち、（５）式はある一つの画素におけるＲＧＢ値とスペクトル情報との関係を示すということができる。（５）式に対して、ＲＧＢ画像を構成するｎ個の各画素におけるＲＧＢ値とスペクトル情報との関係は、以下の（６）式で表される。ここで、太字のｐは各画像座標における輝度値を示す行列、太字のＲは各画像座標における分光反射率基底ベクトル群の各々の基底係数を示すＮｒ×ｎの行列、太字のａは分光分布基底ベクトル群の各々の基底係数を示す行列、太字のＡはカメラｍのチャネルｋについての積分項の各々を示すＮｒ×Ｎａの行列を示している。なお、ｎはＲＧＢ画像全体の画素数（ｐｉｘｅｌ（ピクセル）数）を示している。
【0052】
【数6】
【0053】
分光反射率推定部３３２は、データ取得部３３１から取得した画像データについて、上述した（６）式が成立し得る行列Ｒ（分光反射率の基底係数）、及び行列ａ（光源分光分布の基底係数）を、最小二乗法により推定する。分光反射率推定部３３２は、推定した行列Ｒを（３）式に代入することにより患者の患部の分光反射率ｓ（λ，ｘ）を推定することができる。また、分光反射率推定部３３２は、推定した行列ａを（２）式に代入することにより撮像光源の分光分布ｌ（λ）を推定することができる。
【0054】
ここで、図２から図５を参照して、分光反射率推定部３３２が、最小二乗法により（６）式における行列Ｒ、及び行列ａを推定する方法について説明する。図２～図５は、本発明の実施形態に係る分光反射率の推定を説明するための図である。
【0055】
図２は、（６）式に最小二乗法を適用した式である（７）式を示している。（７）式において、左辺の＾（ハット）付き太字のＲは分光反射率の基底係数の推定値、＾（ハット）付き太字のａは分光分布の基底係数の推定値を示している。（７）式の右辺は（６）式における左辺と右辺との差分（ベクトル空間における距離）の二乗を、全てのチャネル、全てのカメラについて加算したものが最小となる行列Ｒ、及び行列ａの組合せを示している。
【0056】
分光反射率推定部３３２は、データ取得部３３１から取得した画像データにおけるＲＧＢ画像の輝度値を、（７）式の輝度値ｐｍ，ｋに代入する。また、分光反射率推定部３３２は、分光反射率データベース３２２から取得した分光分布基底ベクトル群、分光反射率基底ベクトル群、及びデータ取得部３３１から取得した画像データにおける分光感度を、（７）式の行列Ａに代入する。そして、分光反射率推定部３３２は、各々を代入した（７）式を解くことにより、分光反射率の基底係数の推定値、及び分光分布の基底係数の推定値を算出する。
【0057】
図３は（７）式に平滑化を示す項を加えた式である（８）式を示している。（８）式において、平滑化パラメータα及びβは、平滑化を示す項（平滑化項）に乗算される係数であり、平滑化を行う度合い（強さ）に応じて定まる任意の正の実数である。
【0058】
最小二乗法においては、ノイズなどの外乱の影響を強く受け易い。このため、分光反射率推定部３３２は、データ取得部３３１から取得した画像データに誤差がある場合、（７）式を解いても適切な推定を行うことが困難となる。そこで、分光反射率推定部３３２は、（７）式に平滑化項を加えた（８）式を解くようにしてもよい。ここで、平滑化項は、分光反射率ｓ（λ，ｘ）に関する項と、分光分布ｌ（λ）に関する項があってよい。分光反射率ｓ（λ，ｘ）に関する平滑化項は、分光反射率ｓ（λ，ｘ）を波長λにより二次微分した値の二乗値を波長λについて積分したものを、全画素について加算したものである。分光分布ｌ（λ）に関する平滑化項は、分光分布ｌ（λ）を波長λにより二次微分した値の二乗値を波長λについて積分したものを、全画素について加算したものである。
【0059】
分光反射率推定部３３２は、（７）式に平滑化項を加えた（８）式を解くことにより、画像データに誤差ある場合であっても、より適切な推定を行うことが可能である。なお、平滑化項は、分光反射率に関する平滑化項と、分光分布に関する平滑化項との両方あってもよいし、何れか一方のみであってもよい。
【0060】
図４は、（８）式に制約条件を付した式である（９）式を示している。（８）式における分光反射率ｓ（λ，ｘ）、及び分光分布ｌ（λ）は負の値となることはない。このため、分光反射率推定部３３２は、（９）式に示すように、（８）式の分光反射率ｓ（λ，ｘ）、及び分光分布ｌ（λ）が共に正の値となる制約条件を課して、分光反射率の基底係数の推定値、及び分光分布の基底係数の推定値を算出する。これにより、分光反射率ｓ（λ，ｘ）、及び分光分布ｌ（λ）の少なくとも一方が負となる場合が理論上あったとしても、それを除いた推定を行うことができる。
【0061】
図５は、（９）式を行列形式で示した式である（１０）式を示している。（１０）式において分光反射率ｓ（λ，ｘ）に関する平滑化項は、二次微分行列Ｗ、分光反射率基底ベクトル行列Ｂ、及び分光反射率の基底係数行列Ｒの積で示される。また、分光分布ｌ（λ）に関する平滑化項は、二次微分行列Ｗ、分光分布基底ベクトル行列Ｅ、及び分光分布の基底係数行列ａの積で示される。ここで、行列Ｂｖ，ｉはバンドｖにおけるｉ番目の分光反射率基底ベクトルを示す。行列Ｅｖ，ｊはバンドｖにおけるｊ番目の分光分布基底ベクトルを示す。なお、バンドは、スペクトル画像における分光された帯域を示しており、例えば、波長４００ｎｍから７００ｎｍまでの帯域を１０ｎｍ毎にサンプリングした３１バンドで構成される。
【0062】
一般に、（９）式について、行列Ｒ、及び行列ａの双方を同時に解くことは困難である。そこで、分光反射率推定部３３２は、行列Ｒに対する最適化と、行列ａに対する最適化とを交互に行い、行列Ｒと行列ａとを収束させる。
【0063】
（３－３－３）画像選択部３３３
画像選択部３３３は、医師端末４０に表示させる画像を選択する機能を有する。画像選択部３３３は、例えば、医師によって選択された画像を医師端末４０に表示させる画像として選択する。
画像選択部３３３は、医師端末４０に表示させる画像を選択する機能を有する。画像選択部３３３は、例えば、医師によって選択された画像を医師端末４０に表示させる画像として選択する。
【0064】
具体的に、医師が撮像画像を選択した場合、画像選択部３３３は、撮像画像を医師端末４０に表示させる画像として選択する。この場合、撮像装置１０で撮影された撮像画像が、医師端末４０に表示される撮像画像として取得される。
【0065】
一方、医師がスペクトル画像を選択した場合、画像選択部３３３は、スペクトル画像を医師端末４０に表示させる画像として選択する。この場合、後述するスペクトル画像生成部３３４によって生成されるスペクトル画像が、医師端末４０に表示されるスペクトル画像として取得される。
【0066】
本実施形態において医師は、後述する医師端末４０の表示画面に表示される患部画像表示画面にて、医師端末４０に表示させる画像を２つ選択することができる。なお、医師は、患部画像表示画面にてスペクトル画像を選択した場合、医師端末４０に表示させるスペクトル画像の生成に用いる分光反射率の波長を指定することができる。
【0067】
（３－３－４）スペクトル画像生成部３３４
スペクトル画像生成部３３４は、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する機能を有する。スペクトル画像生成部３３４は、生成したスペクトル画像を撮像画像と関連付けて過去画像データベース３２４に書き込んで記憶させる。
スペクトル画像生成部３３４は、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する機能を有する。スペクトル画像生成部３３４は、生成したスペクトル画像を撮像画像と関連付けて過去画像データベース３２４に書き込んで記憶させる。
【0068】
例えば、スペクトル画像生成部３３４は、医師端末４０に表示させるスペクトル画像の波長が指定された場合、指定された波長におけるスペクトル画像を生成する。一例として、医師が、医師端末４０に表示させるスペクトル画像の波長に５４０ｎｍを指定したとする。この場合、スペクトル画像生成部３３４は、分光反射率推定部３３２によって推定された分光反射率の波長５４０ｎｍにおけるスペクトルから、スペクトル画像を生成する。
また、スペクトル画像生成部３３４は、医師端末４０に表示させるスペクトル画像の波長が所定の範囲で指定された場合、指定された範囲内の各波長におけるスペクトルの積分値からスペクトル画像を生成する。一例として、医師が、医師端末４０に表示させるスペクトル画像の波長を波長５４０ｎｍから波長５５０ｎｍの範囲で指定したとする。この場合、スペクトル画像生成部３３４は、分光反射率推定部３３２によって推定された分光反射率の波長５４０ｎｍにおけるスペクトルと、波長５４０ｎｍにおけるスペクトルとの積分値からスペクトル画像を生成する。
また、スペクトル画像生成部３３４は、医師端末４０に表示させるスペクトル画像の波長が所定の範囲で指定された場合、指定された範囲内の各波長におけるスペクトルの積分値からスペクトル画像を生成する。一例として、医師が、医師端末４０に表示させるスペクトル画像の波長を波長５４０ｎｍから波長５５０ｎｍの範囲で指定したとする。この場合、スペクトル画像生成部３３４は、分光反射率推定部３３２によって推定された分光反射率の波長５４０ｎｍにおけるスペクトルと、波長５４０ｎｍにおけるスペクトルとの積分値からスペクトル画像を生成する。
【0069】
なお、スペクトル画像生成部３３４は、医師に指定された波長における分光反射率が分光反射率推定部３３２によって推定されていない場合、推定されている分光反射率の内、指定された波長の近傍の分光反射率に基づき、スペクトル画像を生成する。
例えば、医師が、医師端末４０に表示させるスペクトル画像の波長として５４３ｎｍを指定したとする。本実施形態において分光反射率推定部３３２は、４００ｎｍから７００ｎｍの範囲内で１０ｎｍごとに分光反射率を推定する。そのため、波長５４３ｎｍの分光反射率は、分光反射率推定部３３２によって推定されていない。この場合、スペクトル画像生成部３３４は、波長５４３ｎｍの近傍である５４０ｎｍと５５０ｎｍの分光反射率を重み付き平均した値を用いて、スペクトル画像を生成する。
例えば、医師が、医師端末４０に表示させるスペクトル画像の波長として５４３ｎｍを指定したとする。本実施形態において分光反射率推定部３３２は、４００ｎｍから７００ｎｍの範囲内で１０ｎｍごとに分光反射率を推定する。そのため、波長５４３ｎｍの分光反射率は、分光反射率推定部３３２によって推定されていない。この場合、スペクトル画像生成部３３４は、波長５４３ｎｍの近傍である５４０ｎｍと５５０ｎｍの分光反射率を重み付き平均した値を用いて、スペクトル画像を生成する。
【0070】
なお、各分光反射率に対する重み付けの値には、任意の値が設定されてよい。例えば、指定された波長が５４３ｎｍである場合、波長５４３ｎｍは、波長５４０ｎｍ寄りの値である。この場合、スペクトル画像生成部３３４は、波長５４０ｎｍの分光反射率に対する重みに、波長５５０ｎｍの分光反射率に対する重みよりも大きい値を設定する。
また、指定された波長が５４５ｎｍである場合、波長５４５ｎｍは、波長５４０ｎｍと波長５５０ｎｍの中間値である。この場合、スペクトル画像生成部３３４は、波長５４０ｎｍの分光反射率に対する重みと波長５５０ｎｍの分光反射率に対する重みに同じ値を設定する。
また、指定された波長が５４５ｎｍである場合、波長５４５ｎｍは、波長５４０ｎｍと波長５５０ｎｍの中間値である。この場合、スペクトル画像生成部３３４は、波長５４０ｎｍの分光反射率に対する重みと波長５５０ｎｍの分光反射率に対する重みに同じ値を設定する。
【0071】
なお、スペクトル画像生成部３３４は、分光反射率をカラースケール化した画像をスペクトル画像として生成してもよいし、光源データベース３２３から選択した光源に応じてＲＧＢ画像化した画像をスペクトル画像として生成してもよい。
【0072】
（３－３－５）出力制御部３３５
出力制御部３３５は、医師端末４０に表示させる患部画像の出力を制御する機能を有する。例えば、出力制御部３３５は、医師の選択に応じて、撮像画像又はスペクトル画像の少なくともいずれか一方の画像を、患部画像として医師端末４０に表示させる。なお、出力制御部３３５は、通信部３１が患者端末２０から受信した患部画像をそのまま医師端末４０に表示させてもよいし、過去画像データベース３２４に記憶されている患部画像を取得して医師端末４０に表示させてもよい。
本実施形態では、医師は、医師端末４０の表示画面に表示される患部画像表示画面にて、患部画像表示画面に表示させる患部画像を２つ選択することができる。ただし、当該患部画像表示画面に患部画像が表示される表示領域が１つのみであるとする。即ち、出力制御部３３５は、医師が２つの画像を選択した後の患部画像表示画面の初期表示において、選択した２つの画像の内のいずれか一方の画像のみを当該表示領域に表示させる。
なお、当該初期表示にて表示領域に表示されなかった方の患部画像は、後述する表示切替部３３６の機能によって、初期表示以降に患部画像表示画面の表示領域に表示され得る。
出力制御部３３５は、医師端末４０に表示させる患部画像の出力を制御する機能を有する。例えば、出力制御部３３５は、医師の選択に応じて、撮像画像又はスペクトル画像の少なくともいずれか一方の画像を、患部画像として医師端末４０に表示させる。なお、出力制御部３３５は、通信部３１が患者端末２０から受信した患部画像をそのまま医師端末４０に表示させてもよいし、過去画像データベース３２４に記憶されている患部画像を取得して医師端末４０に表示させてもよい。
本実施形態では、医師は、医師端末４０の表示画面に表示される患部画像表示画面にて、患部画像表示画面に表示させる患部画像を２つ選択することができる。ただし、当該患部画像表示画面に患部画像が表示される表示領域が１つのみであるとする。即ち、出力制御部３３５は、医師が２つの画像を選択した後の患部画像表示画面の初期表示において、選択した２つの画像の内のいずれか一方の画像のみを当該表示領域に表示させる。
なお、当該初期表示にて表示領域に表示されなかった方の患部画像は、後述する表示切替部３３６の機能によって、初期表示以降に患部画像表示画面の表示領域に表示され得る。
【0073】
（３－３－６）表示切替部３３６
表示切替部３３６は、医師端末４０に表示させる患部画像の表示を切り替える機能を有する。例えば、医師によって選択された画像の表示領域が患部画像表示画面に１つのみ存在し、かつ当該表示領域に表示される画像が医師によって複数選択されているとする。この場合、表示切替部３３６は、１つの表示領域に対して、医師によって選択された複数の画像を切り替えて表示させる。
かかる構成により、医師は、複数の患部画像を見比べながら遠隔診療を行うことができる。
表示切替部３３６は、医師端末４０に表示させる患部画像の表示を切り替える機能を有する。例えば、医師によって選択された画像の表示領域が患部画像表示画面に１つのみ存在し、かつ当該表示領域に表示される画像が医師によって複数選択されているとする。この場合、表示切替部３３６は、１つの表示領域に対して、医師によって選択された複数の画像を切り替えて表示させる。
かかる構成により、医師は、複数の患部画像を見比べながら遠隔診療を行うことができる。
【0074】
一例として、患部画像表示画面に表示させる患部画像として、医師が撮像画像とスペクトル画像の２つの患部画像を選択したとする。この場合、表示切替部３３６は、撮像画像とスペクトル画像を交互に切り替えながら表示領域に表示させる。
表示切替部３３６は、例えば、医師による表示切替操作が入力された際に、表示領域に表示する患部画像を切り替える。例えば、患部画像表示画面に表示切替ボタンが設けられているとする。この場合、表示切替部３３６は、医師が当該表示切替ボタンを押す表示切替操作を行うごとに、表示領域に表示する患部画像を切り替える。
表示切替部３３６は、例えば、医師による表示切替操作が入力された際に、表示領域に表示する患部画像を切り替える。例えば、患部画像表示画面に表示切替ボタンが設けられているとする。この場合、表示切替部３３６は、医師が当該表示切替ボタンを押す表示切替操作を行うごとに、表示領域に表示する患部画像を切り替える。
【0075】
なお、表示切替部３３６は、医師による表示切替操作が入力されなくても、表示領域に表示する患部画像を所定の時間間隔で継時的に切り替えてもよい。かかる構成により、表示切替部３３６は、医師が表示切替操作を入力する手間を省くことができる。
【0076】
（４）医師端末４０
医師端末４０は、医師が患者に対して遠隔診療を行うために用いる端末である。医師端末４０は、例えば、ＰＣ、スマートフォン、タブレット端末等である。医師端末４０は、ネットワークＮＷを介して、遠隔診療用画像表示システム３０と接続されている。医師は、医師端末４０から遠隔診療用画像表示システム３０へアクセスし、医師端末４０に表示される患者の患部画像をもとに、患者に対して遠隔診療を行う。
図１に示すように、医師端末４０は、通信部４１、入力部４２、出力部４３、記憶部４４、及び制御部４５を備える。
医師端末４０は、医師が患者に対して遠隔診療を行うために用いる端末である。医師端末４０は、例えば、ＰＣ、スマートフォン、タブレット端末等である。医師端末４０は、ネットワークＮＷを介して、遠隔診療用画像表示システム３０と接続されている。医師は、医師端末４０から遠隔診療用画像表示システム３０へアクセスし、医師端末４０に表示される患者の患部画像をもとに、患者に対して遠隔診療を行う。
図１に示すように、医師端末４０は、通信部４１、入力部４２、出力部４３、記憶部４４、及び制御部４５を備える。
【0077】
（４－１）通信部４１
通信部４１は、各種情報の送受信を行う機能を有する。例えば、通信部４１は、医師の画像を遠隔診療用画像表示システム３０へ送信する。また、通信部４１は、遠隔診療用画像表示システム３０から送信される画像や音声を受信する。通信部４１が受信する画像は、例えば、遠隔診療を受ける患者の患部を示す患部画像や患者の音声である。
通信部４１は、各種情報の送受信を行う機能を有する。例えば、通信部４１は、医師の画像を遠隔診療用画像表示システム３０へ送信する。また、通信部４１は、遠隔診療用画像表示システム３０から送信される画像や音声を受信する。通信部４１が受信する画像は、例えば、遠隔診療を受ける患者の患部を示す患部画像や患者の音声である。
【0078】
（４－２）入力部４２
入力部４２は、医師による入力を受け付ける機能を有する。入力部４２は、例えば、キーボード、マウス、タッチパネル等の入力装置によって実現される。当該入力装置は、医師端末４０がハードウェアとして予め備える装置であってもよいし、医師端末４０に外部接続される装置であってもよい。
医師は、入力部４２を操作して、出力部４３に表示された画面に対して各種入力を行う。例えば、医師は、遠隔診療用画像表示システム３０へアクセスし、診療対象である患者を識別する識別情報を入力する。患者を識別する情報は、例えば診察券番号、救急医療の際に付与される患者番号などである。また、同一の患者であっても、複数の患部が存在する場合、患者番号の他に、患部を識別する患部番号を入力してもよい。また、医師は、出力部４３に表示させる患部画像の種類を選択する操作を入力する。
入力部４２は、医師による入力を受け付ける機能を有する。入力部４２は、例えば、キーボード、マウス、タッチパネル等の入力装置によって実現される。当該入力装置は、医師端末４０がハードウェアとして予め備える装置であってもよいし、医師端末４０に外部接続される装置であってもよい。
医師は、入力部４２を操作して、出力部４３に表示された画面に対して各種入力を行う。例えば、医師は、遠隔診療用画像表示システム３０へアクセスし、診療対象である患者を識別する識別情報を入力する。患者を識別する情報は、例えば診察券番号、救急医療の際に付与される患者番号などである。また、同一の患者であっても、複数の患部が存在する場合、患者番号の他に、患部を識別する患部番号を入力してもよい。また、医師は、出力部４３に表示させる患部画像の種類を選択する操作を入力する。
【0079】
（４－３）出力部４３
出力部４３は、各種情報を出力する機能を有する。出力部４３は、例えば、ディスプレイ等の表示装置やスピーカ等の音声出力装置によって実現される。当該表示装置及び音声出力装置は、医師端末４０がハードウェアとして予め備える装置であってもよいし、医師端末４０に外部接続される装置であってもよい。出力部４３は、例えば、遠隔診療において表示装置に患者の患部画像を表示し、音声出力装置から患者の音声を出力する。
出力部４３は、各種情報を出力する機能を有する。出力部４３は、例えば、ディスプレイ等の表示装置やスピーカ等の音声出力装置によって実現される。当該表示装置及び音声出力装置は、医師端末４０がハードウェアとして予め備える装置であってもよいし、医師端末４０に外部接続される装置であってもよい。出力部４３は、例えば、遠隔診療において表示装置に患者の患部画像を表示し、音声出力装置から患者の音声を出力する。
【0080】
ここで、図６を参照して、本実施形態に係る医師端末４０における患部画像の表示について説明する。図６は、本発明の実施形態に係る医師端末４０における患部画像の表示の一例を示す図である。医師端末４０には、例えば、図６に示す患部画像表示画面５０が表示される。
【0081】
患部画像表示画面５０において、「画像１」の選択欄５１は、撮像装置１０によって撮像された患者の患部の撮像画像か、あるいは当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像のいずれを表示するかを選択する欄である。
欄５２は、スペクトル画像を選択欄５１で選択した場合に、表示するスペクトル画像の最小波長を入力する欄である。
欄５３は、スペクトル画像を選択欄５１で選択した場合に、表示するスペクトル画像の最大波長を入力する欄である。
欄５２及び欄５３における入力形式は、例えば、テキスト入力やプルダウンである。プルダウンの場合、所定の波長間隔（例えば１０ｎｍ間隔）で波長を選択可能とする。
欄５２は、スペクトル画像を選択欄５１で選択した場合に、表示するスペクトル画像の最小波長を入力する欄である。
欄５３は、スペクトル画像を選択欄５１で選択した場合に、表示するスペクトル画像の最大波長を入力する欄である。
欄５２及び欄５３における入力形式は、例えば、テキスト入力やプルダウンである。プルダウンの場合、所定の波長間隔（例えば１０ｎｍ間隔）で波長を選択可能とする。
【0082】
ここで、欄５２における最小波長のみを設定し、欄５３には設定を行わない場合、欄５２の波長のスペクトル画像のカラースケール化した画像が表示される。
一方、欄５２及び欄５３の各々に最小波長、最大波長それぞれを設定した場合、欄５２から欄５３の各波長におけるスペクトル画像の積分値、すなわちそれぞれの画素のスペクトルの積算値をカラースケール化した画像が表示される。
一方、欄５２及び欄５３の各々に最小波長、最大波長それぞれを設定した場合、欄５２から欄５３の各波長におけるスペクトル画像の積分値、すなわちそれぞれの画素のスペクトルの積算値をカラースケール化した画像が表示される。
【0083】
同様に、「画像２」の選択欄５４は、撮像装置１０によって撮像された患者の患部の撮像画像か、あるいは当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像のいずれを表示するかを選択する欄である。
欄５５は、スペクトル画像を選択欄５４で選択した場合に、表示するスペクトル画像の最小波長を入力する欄である。
欄５６は、スペクトル画像を選択欄５４で選択した場合に、表示するスペクトル画像の最大波長を入力する欄である。
欄５５及び欄５６における入力形式は、例えば、テキスト入力やプルダウンである。プルダウンの場合、所定の波長間隔（例えば１０ｎｍ間隔）で波長を選択可能とする。
欄５５は、スペクトル画像を選択欄５４で選択した場合に、表示するスペクトル画像の最小波長を入力する欄である。
欄５６は、スペクトル画像を選択欄５４で選択した場合に、表示するスペクトル画像の最大波長を入力する欄である。
欄５５及び欄５６における入力形式は、例えば、テキスト入力やプルダウンである。プルダウンの場合、所定の波長間隔（例えば１０ｎｍ間隔）で波長を選択可能とする。
【0084】
ここで、欄５５における最小波長のみを設定し、欄５６には設定を行わない場合、欄５５の波長のスペクトル画像のカラースケール化した画像が表示される。
一方、欄５５及び欄５６の各々に最小波長、最大波長それぞれを設定した場合、欄５５から欄５６の各波長のスペクトル画像の積分値、すなわちそれぞれの画素のスペクトルの積算値をカラースケール化した画像が表示される。
一方、欄５５及び欄５６の各々に最小波長、最大波長それぞれを設定した場合、欄５５から欄５６の各波長のスペクトル画像の積分値、すなわちそれぞれの画素のスペクトルの積算値をカラースケール化した画像が表示される。
【0085】
表示領域５７は、選択欄５１で選択された表示画像５８ａ、あるいは選択欄５４で選択された表示画像５８ｂのいずれかが表示される領域である。
【0086】
表示切替ボタン５９は、マウス等で押下される毎に、表示領域５７に表示される画像を切り替える。例えば、表示切替ボタン５９は、マウス等で押下される毎に、選択欄５１で選択された表示画像５８ａと、選択欄５４で選択された表示画像５８ｂとを順次切り替えて、表示領域５７に表示させる。
【0087】
なお、患部画像表示画面５０における画像１と画像２の組み合わせは、図６に示した撮像画像とスペクトル画像の組み合わせに限定されない。例えば、画像１と画像２の組み合わせは、スペクトル画像と撮像画像の組み合わせ、撮像画像と撮像画像の組み合わせ、スペクトル画像とスペクトル画像の組み合わせのいずれであってもよい。
【0088】
（４－４）記憶部４４
記憶部４４は、各種情報を記憶する機能を有する。記憶部４４は、記憶媒体、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。
記憶部４４は、各種情報を記憶する機能を有する。記憶部４４は、記憶媒体、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＡＭ、ＲＯＭ、またはこれらの記憶媒体の任意の組み合わせによって構成される。
【0089】
（４－５）制御部４５
制御部４５は、医師端末４０の動作全般を制御する機能を有する。制御部４５は、例えば、医師端末４０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。
制御部４５は、医師端末４０の動作全般を制御する機能を有する。制御部４５は、例えば、医師端末４０がハードウェアとして備えるＣＰＵにプログラムを実行させることによって実現される。
【0090】
＜２．処理の流れ＞
続いて、図７から図９を参照して、本実施形態に係る処理の流れについて説明する。なお、以下で説明する処理の流れでは、患部画像表示画面にて選択可能な画像数は２つで、患部画像表示画面に表示可能な患部画像数は１つであるとする。
続いて、図７から図９を参照して、本実施形態に係る処理の流れについて説明する。なお、以下で説明する処理の流れでは、患部画像表示画面にて選択可能な画像数は２つで、患部画像表示画面に表示可能な患部画像数は１つであるとする。
【0091】
（１）遠隔診療システムにおける処理の流れ
まず、図７を参照して、遠隔診療システム１０００における処理の流れについて説明する。図７は、本発明の実施形態に係る遠隔診療システム１０００における処理の流れの一例を示すシーケンス図である。
まず、図７を参照して、遠隔診療システム１０００における処理の流れについて説明する。図７は、本発明の実施形態に係る遠隔診療システム１０００における処理の流れの一例を示すシーケンス図である。
【0092】
図７に示すように、まず、患者は、撮像装置１０に対して撮像操作を行う（ステップＳ１０１）。
撮像装置１０は、患者からの撮像操作を受けて、患者の患部を撮像する（ステップＳ１０２）。
撮像後、撮像装置１０は、患者の患部の撮像画像を患者端末２０へ送信する（ステップＳ１０３）。
患者は、患者端末２０から遠隔診療用画像表示システム３０へアクセスする。患者は、患者端末２０に表示されるアップロード画面を操作して、遠隔診療用画像表示システム３０へ撮像画像をアップロードする操作を行う（ステップＳ１０４）。
ユーザからアップロード操作を入力された患者端末２０は、撮像装置１０から受信した撮像画像を、通信部２１からネットワークＮＷ経由で遠隔診療用画像表示システム３０へ送信する（ステップＳ１０５）。
撮像装置１０は、患者からの撮像操作を受けて、患者の患部を撮像する（ステップＳ１０２）。
撮像後、撮像装置１０は、患者の患部の撮像画像を患者端末２０へ送信する（ステップＳ１０３）。
患者は、患者端末２０から遠隔診療用画像表示システム３０へアクセスする。患者は、患者端末２０に表示されるアップロード画面を操作して、遠隔診療用画像表示システム３０へ撮像画像をアップロードする操作を行う（ステップＳ１０４）。
ユーザからアップロード操作を入力された患者端末２０は、撮像装置１０から受信した撮像画像を、通信部２１からネットワークＮＷ経由で遠隔診療用画像表示システム３０へ送信する（ステップＳ１０５）。
【0093】
遠隔診療用画像表示システム３０の通信部３１は、患者端末２０から受信した撮像画像を過去画像データベース３２４に書き込んで記憶させる（ステップＳ１０６）。
データ取得部３３１は、分光反射率の推定に必要なデータを各データベースから取得する（ステップＳ１０７）。具体的に、データ取得部３３１は、撮像装置分光感度データベース３２１から撮像装置１０の分光感度、分光反射率データベース３２２から撮像対象の分光反射率、光源データベース３２３から光源の分光分布、過去画像データベース３２４から撮像画像を取得する。
分光反射率推定部３３２は、データ取得部３３１が取得した各データに基づき、撮像画像に写る患者の患部の分光反射率を推定する（ステップＳ１０８）。
データ取得部３３１は、分光反射率の推定に必要なデータを各データベースから取得する（ステップＳ１０７）。具体的に、データ取得部３３１は、撮像装置分光感度データベース３２１から撮像装置１０の分光感度、分光反射率データベース３２２から撮像対象の分光反射率、光源データベース３２３から光源の分光分布、過去画像データベース３２４から撮像画像を取得する。
分光反射率推定部３３２は、データ取得部３３１が取得した各データに基づき、撮像画像に写る患者の患部の分光反射率を推定する（ステップＳ１０８）。
【0094】
医師は、患者が患部の撮像画像を遠隔診療用画像表示システム３０へアップロードした後に、医師端末４０から遠隔診療用画像表示システム３０へアクセスする。医師は、医師端末４０に表示される患部画像表示画面を操作して、患部画像表示画面に表示したい画像を選択する操作を行う（ステップＳ１１１）。
医師によって画像選択操作を入力された医師端末４０は、医師が選択した画像の情報を示す選択情報を遠隔診療用画像表示システム３０へ送信する（ステップＳ１１２）。
遠隔診療用画像表示システム３０は、医師端末４０から受信した選択情報に基づき、画像表示処理を行う（ステップＳ１１３）。なお、画像表示処理の詳細は後述する。
画像表示処理後、遠隔診療用画像表示システム３０は、医師が選択した画像を患部画像として、医師端末４０に表示させる（ステップＳ１１４）。
医師によって画像選択操作を入力された医師端末４０は、医師が選択した画像の情報を示す選択情報を遠隔診療用画像表示システム３０へ送信する（ステップＳ１１２）。
遠隔診療用画像表示システム３０は、医師端末４０から受信した選択情報に基づき、画像表示処理を行う（ステップＳ１１３）。なお、画像表示処理の詳細は後述する。
画像表示処理後、遠隔診療用画像表示システム３０は、医師が選択した画像を患部画像として、医師端末４０に表示させる（ステップＳ１１４）。
【0095】
医師は、医師端末４０に患部画像が表示された後に、医師端末４０に表示された患部画像表示画面を操作して、患部画像の表示を切り替える操作を行う（ステップＳ１２１）。
医師によって表示切替操作を入力された医師端末４０は、医師が表示切替操作を行ったことを示す切替情報を遠隔診療用画像表示システム３０へ送信する（ステップＳ１２２）。
遠隔診療用画像表示システム３０は、医師端末４０から受信した切替情報に基づき、表示切替処理を行う（ステップＳ１２３）。なお、表示切替処理の詳細は後述する。
表示切替処理後、遠隔診療用画像表示システム３０は、切替後の画像を患部画像として、医師端末４０に表示させる（ステップＳ１２４）。
医師によって表示切替操作を入力された医師端末４０は、医師が表示切替操作を行ったことを示す切替情報を遠隔診療用画像表示システム３０へ送信する（ステップＳ１２２）。
遠隔診療用画像表示システム３０は、医師端末４０から受信した切替情報に基づき、表示切替処理を行う（ステップＳ１２３）。なお、表示切替処理の詳細は後述する。
表示切替処理後、遠隔診療用画像表示システム３０は、切替後の画像を患部画像として、医師端末４０に表示させる（ステップＳ１２４）。
【0096】
（２）遠隔診療用画像表示システム３０における画像表示処理の流れ
次に、図８を参照して、遠隔診療用画像表示システム３０における画像表示処理の流れについて説明する。図８は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの一例を示すフローチャートである。なお、画像表示処理において、定数Ｎは、患部画像表示画面にて選択可能な画像数を示す。変数ｎは、画像の選択処理が行われた回数を示す。
次に、図８を参照して、遠隔診療用画像表示システム３０における画像表示処理の流れについて説明する。図８は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの一例を示すフローチャートである。なお、画像表示処理において、定数Ｎは、患部画像表示画面にて選択可能な画像数を示す。変数ｎは、画像の選択処理が行われた回数を示す。
【0097】
図８に示すように、まず、画像選択部３３３は、医師によって選択された画像を選択するために、初期化処理を行う（ステップＳ２０１）。初期化処理では、定数Ｎに対して患部画像表示画面にて選択可能な画像数（例えば２）を設定し、変数ｎには０を設定する。
画像選択部３３３は、ｎ＜Ｎであるか否かを判定する（ステップＳ２０２）。ｎ＜Ｎである場合（ステップＳ２０２／ＹＥＳ）、画像選択部３３３は、処理をステップＳ２０３へ進める。一方、ｎ＜Ｎでない場合（ステップＳ２０２／ＮＯ）、画像選択部３３３は、処理をステップＳ２０７へ進める。
画像選択部３３３は、ｎ＜Ｎであるか否かを判定する（ステップＳ２０２）。ｎ＜Ｎである場合（ステップＳ２０２／ＹＥＳ）、画像選択部３３３は、処理をステップＳ２０３へ進める。一方、ｎ＜Ｎでない場合（ステップＳ２０２／ＮＯ）、画像選択部３３３は、処理をステップＳ２０７へ進める。
【0098】
ステップＳ２０３にて、画像選択部３３３は、医師によって選択された画像ｎの種類が撮像画像であるか否かを判定する。医師によって選択された画像ｎの種類が撮像画像である場合（ステップＳ２０３／ＹＥＳ）、画像選択部３３３は、処理をステップＳ２０４へ進める。一方、医師によって選択された画像ｎの種類が撮像画像でない場合（ステップＳ２０３／ＮＯ）、画像選択部３３３は、処理をステップＳ２０５へ進める。
【0099】
ステップＳ２０４にて、データ取得部３３１は、過去画像データベース３２４から撮像画像を取得し、処理をステップＳ２０６へ進める。
ステップＳ２０５にて、スペクトル画像生成部３３４は、分光反射率推定部３３２が推定した分光反射率に基づき、スペクトル画像を生成し、処理をステップＳ２０６へ進める。
ステップＳ２０６にて、画像選択部３３３は、変数ｎの値を１だけカウントアップする。カウントアップ後、画像選択部３３３は、ｎ＜Ｎでなくなるまで、処理をステップＳ２０２から繰り返す。
ステップＳ２０５にて、スペクトル画像生成部３３４は、分光反射率推定部３３２が推定した分光反射率に基づき、スペクトル画像を生成し、処理をステップＳ２０６へ進める。
ステップＳ２０６にて、画像選択部３３３は、変数ｎの値を１だけカウントアップする。カウントアップ後、画像選択部３３３は、ｎ＜Ｎでなくなるまで、処理をステップＳ２０２から繰り返す。
【0100】
ステップＳ２０７にて、出力制御部３３５は、医師が画像１として選択した画像を医師端末４０に表示させる。画像１の表示後、画像表示処理を終了する。
なお、出力制御部３３５は、医師が画像２として選択した画像を医師端末４０に表示させてもよい。
なお、出力制御部３３５は、医師が画像２として選択した画像を医師端末４０に表示させてもよい。
【0101】
（３）遠隔診療用画像表示システム３０における表示切替処理の流れ
次に、図９を参照して、遠隔診療用画像表示システム３０における表示切替処理の流れについて説明する。図９は、本発明の実施形態に係る遠隔診療用画像表示システム３０における表示切替処理の流れの一例を示すフローチャートである。
次に、図９を参照して、遠隔診療用画像表示システム３０における表示切替処理の流れについて説明する。図９は、本発明の実施形態に係る遠隔診療用画像表示システム３０における表示切替処理の流れの一例を示すフローチャートである。
【0102】
図９に示すように、まず、表示切替部３３６は、医師端末４０に画像１が表示されているか否かを判定する（ステップＳ３０１）。
医師端末４０に画像１が表示されている場合（ステップＳ３０１／ＹＥＳ）、表示切替部３３６は、医師端末４０に表示させる画像を画像１から画像２へ切り替える（ステップＳ３０２）。
一方、医師端末４０に画像２が表示されている場合（ステップＳ３０１／ＮＯ）、表示切替部３３６は、医師端末４０に表示させる画像を画像２から画像１へ切り替える（ステップＳ３０３）。
画像の切替後、表示切替処理を終了する。
医師端末４０に画像１が表示されている場合（ステップＳ３０１／ＹＥＳ）、表示切替部３３６は、医師端末４０に表示させる画像を画像１から画像２へ切り替える（ステップＳ３０２）。
一方、医師端末４０に画像２が表示されている場合（ステップＳ３０１／ＮＯ）、表示切替部３３６は、医師端末４０に表示させる画像を画像２から画像１へ切り替える（ステップＳ３０３）。
画像の切替後、表示切替処理を終了する。
【0103】
以上説明したように、本実施形態に係る遠隔診療用画像表示システム３０は、医師が遠隔診療を行う場所とは異なる場所にて、当該医師による遠隔診療を受ける患者の患部を示す患部画像を、医師が遠隔診療に用いる医師端末４０に表示させるシステムである。
遠隔診療用画像表示システム３０は、分光反射率推定部３３２、スペクトル画像生成部３３４、及び出力制御部３３５を備える。
分光反射率推定部３３２は、ＲＧＢ画像を撮像する撮像装置１０によって撮像された患部の撮像画像から、患部の分光反射率を推定する。
スペクトル画像生成部３３４は、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する。
出力制御部３３５は、医師の選択に応じて、撮像画像又はスペクトル画像の少なくともいずれか一方の画像を、患部画像として医師端末４０に表示させる。
遠隔診療用画像表示システム３０は、分光反射率推定部３３２、スペクトル画像生成部３３４、及び出力制御部３３５を備える。
分光反射率推定部３３２は、ＲＧＢ画像を撮像する撮像装置１０によって撮像された患部の撮像画像から、患部の分光反射率を推定する。
スペクトル画像生成部３３４は、推定された分光反射率の所定の波長におけるスペクトルからスペクトル画像を生成する。
出力制御部３３５は、医師の選択に応じて、撮像画像又はスペクトル画像の少なくともいずれか一方の画像を、患部画像として医師端末４０に表示させる。
【0104】
かかる構成により、本実施形態に係る遠隔診療用画像表示システム３０は、ＲＧＢ画像からスペクトル画像を生成することができるため、スペクトル画像の取得のために高価なスペクトルカメラを備える必要がない。また、患者及び医師は、スペクトルカメラを用いるための設備環境を整える必要がないため、容易に本システムを利用することができる。また、医師は、遠隔診療用画像表示システム３０の機能によって生成されるスペクトル画像により、患者の患部の色を視認する際における特性が統一されるため、遠隔診療の精度を向上することができる。
【0105】
よって、本実施形態に係る遠隔診療用画像表示システム３０は、スペクトルカメラを用いずに患者の患部のスペクトル画像を取得することで、安価かつ容易に遠隔診療の精度を向上することを可能とする。
【0106】
＜３．変形例＞
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
以上、本発明の実施形態について説明した。続いて、本発明の実施形態の変形例について説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。
【0107】
（１）第１の変形例
上述の実施形態では、医師によって選択された画像の表示領域が患部画像表示画面に１つのみ存在する例について説明したが、かかる例に限定されない。例えば、医師によって選択された画像の表示領域は、患部画像表示画面に複数存在してもよい。
この場合、出力制御部３３５は、表示領域に表示される画像が医師によって複数選択されている場合に、医師によって選択された複数の画像をそれぞれ対応する表示領域に表示させる。
かかる構成により、患部画像表示画面には、複数の患部画像が表示される。これにより、医師は、表示切替操作を行うことなく、複数の患部画像を見比べながら遠隔診療を行うことができる。
上述の実施形態では、医師によって選択された画像の表示領域が患部画像表示画面に１つのみ存在する例について説明したが、かかる例に限定されない。例えば、医師によって選択された画像の表示領域は、患部画像表示画面に複数存在してもよい。
この場合、出力制御部３３５は、表示領域に表示される画像が医師によって複数選択されている場合に、医師によって選択された複数の画像をそれぞれ対応する表示領域に表示させる。
かかる構成により、患部画像表示画面には、複数の患部画像が表示される。これにより、医師は、表示切替操作を行うことなく、複数の患部画像を見比べながら遠隔診療を行うことができる。
【0108】
ここで、図１０及び図１１を参照して、医師端末４０における患部画像の表示と、遠隔診療用画像表示システム３０における画像表示処理の流れの第１の変形例について説明する。なお、図１０及び図１１に示す例では、患部画像表示画面にて選択可能な画像数は２つで、患部画像表示画面に表示可能な患部画像数は２つであるとする。
【0109】
（１－１）医師端末４０における患部画像の表示
図１０は、本発明の実施形態に係る医師端末４０における患部画像の表示の第１の変形例を示す図である。
図１０に示す患部画像表示画面６０における選択欄６１、欄６２、欄６３、選択欄６４、欄６５、及び欄６６の機能は、図６を参照して説明した患部画像表示画面５０における選択欄５１、欄５２、欄５３、選択欄５４、欄５５、及び欄５６の機能とそれぞれ同様であるため、その説明を省略する。
図１０は、本発明の実施形態に係る医師端末４０における患部画像の表示の第１の変形例を示す図である。
図１０に示す患部画像表示画面６０における選択欄６１、欄６２、欄６３、選択欄６４、欄６５、及び欄６６の機能は、図６を参照して説明した患部画像表示画面５０における選択欄５１、欄５２、欄５３、選択欄５４、欄５５、及び欄５６の機能とそれぞれ同様であるため、その説明を省略する。
【0110】
表示領域６７ａは、選択欄６１で選択された表示画像６８ａが表示される領域である。図１０に示す例では、表示画像６８ａは撮像画像である。
表示領域６７ｂは、選択欄６４で選択された表示画像６８ｂが表示される領域である。図１０に示す例では、表示画像６８ｂはスペクトル画像である。
表示領域６７ｂは、選択欄６４で選択された表示画像６８ｂが表示される領域である。図１０に示す例では、表示画像６８ｂはスペクトル画像である。
【0111】
なお、患部画像表示画面６０における画像１と画像２の組み合わせは、図１０に示した撮像画像とスペクトル画像の組み合わせに限定されない。例えば、画像１と画像２の組み合わせは、スペクトル画像と撮像画像の組み合わせ、撮像画像と撮像画像の組み合わせ、スペクトル画像とスペクトル画像の組み合わせのいずれであってもよい。
【0112】
なお、図１０に示す患部画像表示画面６０は、医師によって選択された患部画像を全て表示可能である。そのため、患部画像表示画面６０には表示切替ボタンが設けられていない。
【0113】
（１－２）遠隔診療用画像表示システムにおける画像表示処理
図１１は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの第１の変形例を示すフローチャートである。
図１１に示すステップＳ４０１からステップＳ４０６の処理は、図８を参照して説明したステップＳ２０１からステップＳ２０６の処理とそれぞれ同様であるため、その説明を省略する。
図１１は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの第１の変形例を示すフローチャートである。
図１１に示すステップＳ４０１からステップＳ４０６の処理は、図８を参照して説明したステップＳ２０１からステップＳ２０６の処理とそれぞれ同様であるため、その説明を省略する。
【0114】
図１１に示すフローチャートにおいて、図８に示したフローチャートと異なる処理であるステップＳ４０７では、出力制御部３３５は、医師が画像１として選択した画像と、医師が画像２として選択した画像を、それぞれ医師端末４０に表示させる。
【0115】
（２）第２の変形例
上述の実施形態では、患部画像表示画面にて選択できる画像の種類が撮像画像とスペクトル画像の２種類であったが、かかる例に限定されない。例えば、患部画像表示画面にて、患者の患部の経過観察を示す画像や、症状に関する検索結果（例えば症例の検索結果）を示す画像を選択可能であってもよい。
上述の実施形態では、患部画像表示画面にて選択できる画像の種類が撮像画像とスペクトル画像の２種類であったが、かかる例に限定されない。例えば、患部画像表示画面にて、患者の患部の経過観察を示す画像や、症状に関する検索結果（例えば症例の検索結果）を示す画像を選択可能であってもよい。
【0116】
患部画像表示画面にて、患者の患部の経過観察を示す画像を選択可能にしたとする。この場合、過去画像データベース３２４は、過去に撮像された患者の患部の撮像画像と、当該撮像画像から推定された分光反射率とを関連付けて記憶する。出力制御部３３５は、医師が医師端末４０に表示したい患部画像として患者の過去の画像（即ち経過観察を示す画像）が選択された場合、該当する画像を過去画像データベース３２４に記憶された情報に基づき取得し、医師端末４０に表示させる。例えば、経過観察を示す画像として撮像画像が選択された場合、出力制御部３３５は、該当する撮像画像を過去画像データベース３２４から取得し、医師端末４０に表示させる。一方、経過観察を示す画像としてスペクトル画像が選択された場合、出力制御部３３５は、過去画像データベース３２４に記憶されている分光反射率に基づきスペクトル画像生成部３３４によって生成されたスペクトル画像を取得し、医師端末４０に表示させる。
【0117】
かかる構成により、患部画像表示画面には、同一患者の画像であって、撮像日時が異なる２つの画像が表示される。例えば患者の患部の現在の様子を示す画像と、患者の患部の過去の様子を示す画像が並列表示される。これにより、医師は、表示された画像を比較することで、患者の患部の様子の経過を観察することができる。患者の患部の様子の経過は、例えば、症状が改善または悪化したか否か、薬による治療効果が出ているか否か等である。
なお、過去の患部画像は、診療対象の患者と同一人物の画像であってもよいし、他人の画像であってもよい。
なお、過去の患部画像は、診療対象の患者と同一人物の画像であってもよいし、他人の画像であってもよい。
【0118】
また、患部画像表示画面にて、症例の検索結果を示す画像を選択可能にしたとする。この場合、過去画像データベース３２４は、撮像画像と、当該撮像画像から推定された分光反射率と、撮像画像に写る患部に関する症例（症状）とを関連付けて記憶する。医師が医師端末４０に表示したい患部画像に関する症例を患部画像表示画面に入力したとする。この場合、出力制御部３３５は、入力された症例をキーに過去画像データベース３２４を検索し、入力された症例と関連付けられている情報に基づき、医師端末４０に表示させる画像を取得する。そして、出力制御部３３５は、取得した画像を医師端末４０に表示させる。例えば、症例の検索結果を示す画像として撮像画像が選択された場合、出力制御部３３５は、入力された症例と関連付けられている撮像画像を過去画像データベース３２４から取得し、医師端末４０に表示させる。一方、症例の検索結果を示す画像としてスペクトル画像が選択された場合、出力制御部３３５は、入力された症例と関連付けられている分光反射率に基づきスペクトル画像生成部３３４によって生成されたスペクトル画像を取得し、医師端末４０に表示させる。
【0119】
かかる構成により、患部画像表示画面には、例えば患者の患部の画像と、各種の症例を示す画像が並列表示される。例えば、診療対象の患者の患部画像と、異なる患者の患部画像との各々を、２個の表示枠のそれぞれ並列に表示して比較、例えば診療対象の患者と正常人との比較や、すでに診療により病状が確定した患者との比較を行うように表示する。これにより、医師は、表示された画像を比較することで、患者の患部の症例が、比較対象として表示されている画像の症例に当てはまるか否かを判定することができる。即ち、医師は、過去の症例を参考に診療を行うことができる。また、医師は、症例の検索を繰り返して多くの画像と比較することで、患者の患部の症例の判定精度を高めることもできる。
【0120】
ここで、図１２から図１４を参照して、医師端末４０における患部画像の表示と、遠隔診療用画像表示システム３０における画像表示処理の流れの第２の変形例について説明する。なお、図１２から図１４に示す例では、患部画像表示画面にて選択可能な画像数は２つで、患部画像表示画面に表示可能な患部画像数は２つであるとする。
【0121】
（２－１）医師端末４０における患部画像の表示
図１２及び図１３は、本発明の実施形態に係る医師端末４０における患部画像の表示の第２の変形例を示す図である。図１２には、画像２として患者の患部の経過観察を示す画像を選択した場合の例が示されている。図１３には、画像２として症例の検索結果を示す画像を選択した場合の例が示されている。
図１２及び図１３は、本発明の実施形態に係る医師端末４０における患部画像の表示の第２の変形例を示す図である。図１２には、画像２として患者の患部の経過観察を示す画像を選択した場合の例が示されている。図１３には、画像２として症例の検索結果を示す画像を選択した場合の例が示されている。
【0122】
図１２に示す患部画像表示画面７０における選択欄７１、欄７２、欄７３、及び表示領域７６ａの機能と、表示領域７６ａに表示されている表示画像７７ａは、図１０を参照して説明した患部画像表示画面６０における選択欄６１、欄６２、欄６３、及び表示領域６７ａの機能と、表示領域６７ａに表示されている表示画像６８ａとそれぞれ同様であるため、その説明を省略する。
【0123】
「画像２」の選択欄７４は、撮像装置１０によって撮像された患者の患部の撮像画像か、当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像か、患者の患部の過去の画像（即ち経過観察を示す画像）のいずれを表示するかを選択する欄である。患者の患部の過去の画像は、撮像画像とスペクトル画像のいずれを表示させるかを選択欄７４にて選択可能であってもよい。
選択欄７５は、経過観察を選択欄７４で選択した場合に、表示する経過観察を示す画像を選択する欄である。経過観察を示す画像として撮像画像を表示させる場合、医師は、例えば、選択欄７４にて経過観察を示す撮像画像を選択し、選択欄７５のアイコンを押下して表示されるダイアログボックスを操作して、表示領域７６ｂに表示させる撮像画像のファイルを選択する。また、医師は、選択欄７５に対して、表示領域７６ｂに表示させる撮像画像のファイルをドラッグアンドドロップによって設定してもよい。経過観察を示す画像としてスペクトル画像を表示させる場合、医師は、例えば、撮像画像を表示させる場合と同様にしてスペクトル画像を選択する。これにより、選択されたスペクトル画像が表示領域７６ｂに表示される。また、医師は、経過観察を示す画像として表示領域７６ｂにスペクトル画像を表示させる場合であっても、選択欄７５にて撮像画像を選択してもよい。この場合、選択された撮像画像に関連付けられた分光反射率に基づき生成されたスペクトル画像が表示領域７６ｂに表示される。
表示領域７６ｂは、選択欄７５で選択された表示画像７７ｂが表示される領域である。図１２に示す例では、表示画像７７ｂは前回診療時に撮像された撮像画像である。
選択欄７５は、経過観察を選択欄７４で選択した場合に、表示する経過観察を示す画像を選択する欄である。経過観察を示す画像として撮像画像を表示させる場合、医師は、例えば、選択欄７４にて経過観察を示す撮像画像を選択し、選択欄７５のアイコンを押下して表示されるダイアログボックスを操作して、表示領域７６ｂに表示させる撮像画像のファイルを選択する。また、医師は、選択欄７５に対して、表示領域７６ｂに表示させる撮像画像のファイルをドラッグアンドドロップによって設定してもよい。経過観察を示す画像としてスペクトル画像を表示させる場合、医師は、例えば、撮像画像を表示させる場合と同様にしてスペクトル画像を選択する。これにより、選択されたスペクトル画像が表示領域７６ｂに表示される。また、医師は、経過観察を示す画像として表示領域７６ｂにスペクトル画像を表示させる場合であっても、選択欄７５にて撮像画像を選択してもよい。この場合、選択された撮像画像に関連付けられた分光反射率に基づき生成されたスペクトル画像が表示領域７６ｂに表示される。
表示領域７６ｂは、選択欄７５で選択された表示画像７７ｂが表示される領域である。図１２に示す例では、表示画像７７ｂは前回診療時に撮像された撮像画像である。
【0124】
なお、患部画像表示画面７０における画像１と画像２の組み合わせは、図１２に示した撮像画像と経過観察を示す画像の組み合わせに限定されない。例えば、画像１と画像２の組み合わせは、撮像画像、スペクトル画像、及び経過観察を示す画像の３種類から２種類を選ぶ場合の組み合わせのいずれであってもよい。
【0125】
図１３に示す患部画像表示画面８０における選択欄８１、欄８２、欄８３、及び表示領域８６ａの機能と、表示領域８６ａに表示されている表示画像８７ａは、図１０を参照して説明した患部画像表示画面６０における選択欄６１、欄６２、欄６３、及び表示領域６７ａの機能と、表示領域６７ａに表示されている表示画像６８ａとそれぞれ同様であるため、その説明を省略する。
【0126】
「画像２」の選択欄８４は、撮像装置１０によって撮像された患者の患部の撮像画像か、当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像か、症例の検索結果を示す画像のいずれを表示するかを選択する欄である。症例の検索結果を示す画像は、撮像画像とスペクトル画像のいずれを表示させるかを選択欄８４にて選択可能であってもよい。
検索欄８５は、症例検索を選択欄８４で選択した場合に、検索したい症例を入力する欄である。医師は、例えば、テキスト入力やプルダウンによって検索欄８５へ症例を入力する。症例の検索結果を示す画像として撮像画像を表示させる場合、医師は、例えば、選択欄８４にて症例の検索結果を示す撮像画像を選択した上で、検索欄８５に症例を入力する。これにより、入力された症例に関連付けられた撮像画像が表示領域８６ｂに表示される。症例の検索結果を示す画像としてスペクトル画像を表示させる場合、医師は、例えば、選択欄８４にて症例の検索結果を示すスペクトル画像を選択した上で、検索欄８５に症例を入力する。これにより、入力された症例に関連付けられた分光反射率に基づき生成されたスペクトル画像が表示領域８６ｂに表示される。
表示領域８６ｂは、検索欄８５で入力された症例を示す表示画像８７ｂが表示される領域である。図１３に示す例では、表示画像８７ｂは症例が脳梗塞である患者の撮像画像である。
検索欄８５は、症例検索を選択欄８４で選択した場合に、検索したい症例を入力する欄である。医師は、例えば、テキスト入力やプルダウンによって検索欄８５へ症例を入力する。症例の検索結果を示す画像として撮像画像を表示させる場合、医師は、例えば、選択欄８４にて症例の検索結果を示す撮像画像を選択した上で、検索欄８５に症例を入力する。これにより、入力された症例に関連付けられた撮像画像が表示領域８６ｂに表示される。症例の検索結果を示す画像としてスペクトル画像を表示させる場合、医師は、例えば、選択欄８４にて症例の検索結果を示すスペクトル画像を選択した上で、検索欄８５に症例を入力する。これにより、入力された症例に関連付けられた分光反射率に基づき生成されたスペクトル画像が表示領域８６ｂに表示される。
表示領域８６ｂは、検索欄８５で入力された症例を示す表示画像８７ｂが表示される領域である。図１３に示す例では、表示画像８７ｂは症例が脳梗塞である患者の撮像画像である。
【0127】
なお、患部画像表示画面８０における画像１と画像２の組み合わせは、図１３に示した撮像画像と症例の検索結果を示す画像の組み合わせに限定されない。例えば、画像１と画像２の組み合わせは、撮像画像、スペクトル画像、及び症例の検索結果を示す画像の３種類から２種類を選ぶ場合の組み合わせのいずれであってもよい。
【0128】
（２－２）遠隔診療用画像表示システムにおける画像表示処理
図１４は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの第２の変形例を示すフローチャートである。
図１４に示すステップＳ５０１からステップＳ５０４、ステップＳ５０６、及びステップＳ５１０の処理は、図８を参照して説明したステップＳ２０１からステップＳ２０４、ステップＳ２０５、及びステップＳ２０６の処理とそれぞれ同様であるため、その説明を省略する。
図１４は、本発明の実施形態に係る遠隔診療用画像表示システム３０における画像表示処理の流れの第２の変形例を示すフローチャートである。
図１４に示すステップＳ５０１からステップＳ５０４、ステップＳ５０６、及びステップＳ５１０の処理は、図８を参照して説明したステップＳ２０１からステップＳ２０４、ステップＳ２０５、及びステップＳ２０６の処理とそれぞれ同様であるため、その説明を省略する。
【0129】
図１４に示すフローチャートにおいて、ステップＳ５０５では、画像選択部３３３は、医師によって選択された画像ｎの種類がスペクトル画像であるか否かを判定する。医師によって選択された画像ｎの種類がスペクトル画像である場合（ステップＳ５０５／ＹＥＳ）、画像選択部３３３は、処理をステップＳ５０６へ進める。一方、医師によって選択された画像ｎの種類がスペクトル画像でない場合（ステップＳ５０５／ＮＯ）、画像選択部３３３は、処理をステップＳ５０７へ進める。
【0130】
ステップＳ５０７にて、画像選択部３３３は、医師によって選択された画像ｎの種類が経過観察を示す画像であるか否かを判定する。医師によって選択された画像ｎの種類が経過観察を示す画像である場合（ステップＳ５０７／ＹＥＳ）、画像選択部３３３は、処理をステップＳ５０８へ進める。一方、医師によって選択された画像ｎの種類が経過観察を示す画像でない場合（ステップＳ５０７／ＮＯ）、画像選択部３３３は、処理をステップＳ５０９へ進める。
【0131】
ステップＳ５０８にて、データ取得部３３１は、過去画像データベース３２４から該当する撮像画像を過去画像として取得し、処理をステップＳ５１０へ進める。
ステップＳ５０９にて、出力制御部３３５（あるいはデータ取得部３３１）は、過去画像データベース３２４から検索した症例に関連付けられている撮像画像を取得し、処理をステップＳ５１０へ進める。
ステップＳ５０９にて、出力制御部３３５（あるいはデータ取得部３３１）は、過去画像データベース３２４から検索した症例に関連付けられている撮像画像を取得し、処理をステップＳ５１０へ進める。
【0132】
ステップＳ５１１にて、出力制御部３３５は、医師が画像１として選択した画像と、医師が画像２として選択した画像を、それぞれ医師端末４０に表示させる。
【0133】
（３）第３の変形例
上述の実施形態では、患部画像表示画面の表示領域に対して、過去画像データベース３２４から取得した撮像画像やスペクトル画像生成部３３４が生成したスペクトル画像をそのまま表示させる例について説明したが、かかる例に限定されない。例えば、出力制御部３３５は、表示領域に対して、画像を補正してから表示させてもよい。
上述の実施形態では、患部画像表示画面の表示領域に対して、過去画像データベース３２４から取得した撮像画像やスペクトル画像生成部３３４が生成したスペクトル画像をそのまま表示させる例について説明したが、かかる例に限定されない。例えば、出力制御部３３５は、表示領域に対して、画像を補正してから表示させてもよい。
【0134】
具体的に、出力制御部３３５は、分光反射率推定部３３２によって推定された分光反射率と、医師が遠隔診療を行う場所の光源に関する光源データとに基づき、撮像画像の色を補正する。医師が遠隔診療を行う場所（例えば診察室）の光源に関する光源データは、例えば、光源データベース３２３に予め書き込んで記憶させておく。
具体的に、出力制御部３３５は、スペクトル画像の各々（即ち、分光反射率）と、医師が使用する診察室の光源の分光分布とにより、撮像画像の色を診察室で診療を行う際の色に補正する。
かかる構成により、医師は、患者の患部の観察を通常の環境下における診察と同様に行うことができ、光源の分光分布の違いによる色の変化を気にする必要がなくなる。これにより、医師は、より正確な患部の病状の診察を行うことができる。また、医師は、診察時間を短縮して迅速な対応を取ることもできる。
具体的に、出力制御部３３５は、スペクトル画像の各々（即ち、分光反射率）と、医師が使用する診察室の光源の分光分布とにより、撮像画像の色を診察室で診療を行う際の色に補正する。
かかる構成により、医師は、患者の患部の観察を通常の環境下における診察と同様に行うことができ、光源の分光分布の違いによる色の変化を気にする必要がなくなる。これにより、医師は、より正確な患部の病状の診察を行うことができる。また、医師は、診察時間を短縮して迅速な対応を取ることもできる。
【0135】
（４）第４の変形例
上述の実施形態では、診療対象の患者が患者宅（自宅）にて遠隔診療を受ける例について説明したが、かかる例に限定されない。例えば、診療対象の患者が遠隔診療を受ける場所は、事故現場、災害現場、救急現場、救急車の車内等であってもよい。また、患者の患部の画像の撮像者は、患者自身に限定されず、その場に居合わせた他人（例えば救急隊員）であってもよい。
上述の実施形態では、診療対象の患者が患者宅（自宅）にて遠隔診療を受ける例について説明したが、かかる例に限定されない。例えば、診療対象の患者が遠隔診療を受ける場所は、事故現場、災害現場、救急現場、救急車の車内等であってもよい。また、患者の患部の画像の撮像者は、患者自身に限定されず、その場に居合わせた他人（例えば救急隊員）であってもよい。
【0136】
（５）第５の変形例
上述の実施形態では、遠隔画像表示システムが遠隔診療に用いられる例について説明したが、かかる例に限定されない。遠隔画像表示システムは、化粧品のオンラインカウンセリングに用いられてもよい。ここで、遠隔画像表示システムが用いられた化粧品のオンラインカウンセリングシステムについて説明する。オンラインカウンセリングシステムでは、相談者が自身の肌の色や状態に適した化粧品の選定や使い方等についてＢＡ（ビューティーアドバイザー）にオンラインで相談を行う。オンラインカウンセリングシステムの構成としては上述した遠隔診療システム１と同じでよく、患者（被写体）を相談者、医師（観察者）をＢＡと置き換えればよい。
また、過去画像データベース３２４については、素肌または化粧時の画像を、その時の肌の症状（目のクマやシミの有無等）と関連付けて記憶しておけばよい。
かかる構成により、ＢＡは相談者の肌の色や状態を正確に把握することができる。
上述の実施形態では、遠隔画像表示システムが遠隔診療に用いられる例について説明したが、かかる例に限定されない。遠隔画像表示システムは、化粧品のオンラインカウンセリングに用いられてもよい。ここで、遠隔画像表示システムが用いられた化粧品のオンラインカウンセリングシステムについて説明する。オンラインカウンセリングシステムでは、相談者が自身の肌の色や状態に適した化粧品の選定や使い方等についてＢＡ（ビューティーアドバイザー）にオンラインで相談を行う。オンラインカウンセリングシステムの構成としては上述した遠隔診療システム１と同じでよく、患者（被写体）を相談者、医師（観察者）をＢＡと置き換えればよい。
また、過去画像データベース３２４については、素肌または化粧時の画像を、その時の肌の症状（目のクマやシミの有無等）と関連付けて記憶しておけばよい。
かかる構成により、ＢＡは相談者の肌の色や状態を正確に把握することができる。
【0137】
（６）第６の変形例
上述の実施形態では、患部画像表示画面５０において、患者の患部の撮像画像か、あるいは当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像のいずれを表示して確認できる例について説明したが、かかる例に限定されない。患部画像表示画面５０において、医師が表示したい撮像画像又はスペクトル画像に関連付けられている情報をさらに表示してもよい。撮像画像又はスペクトル画像に関連付けられている情報は、例えば、環境情報や患者情報などの情報である。環境情報は、例えば、撮像画像の撮影時刻、撮影場所の気温もしくは室温、湿度、気圧などを示す情報である。患者情報は、例えば、撮像画像の撮影時における患者の体温、血圧などを示す情報ある。
患者の皮膚表面等の色は撮影時の撮影環境や患者の体調によって変化し得る。このため、医師は、撮影画像又はスペクトル画像とともに、気温もしくは室温、湿度、気圧、体温、血圧などの情報も確認できることで、これらの情報も考慮した診療を行うことができる。そこで、本変形例では、患部画像表示画面５０に撮影画像又はスペクトル画像とともに環境情報や患者情報も合わせて表示することを可能とする。これにより、医師は、画像のみが表示される場合と比較して遠隔診療の精度をさらに向上することができる。
上述の実施形態では、患部画像表示画面５０において、患者の患部の撮像画像か、あるいは当該撮像画像から推定された分光反射率に基づき生成されたスペクトル画像のいずれを表示して確認できる例について説明したが、かかる例に限定されない。患部画像表示画面５０において、医師が表示したい撮像画像又はスペクトル画像に関連付けられている情報をさらに表示してもよい。撮像画像又はスペクトル画像に関連付けられている情報は、例えば、環境情報や患者情報などの情報である。環境情報は、例えば、撮像画像の撮影時刻、撮影場所の気温もしくは室温、湿度、気圧などを示す情報である。患者情報は、例えば、撮像画像の撮影時における患者の体温、血圧などを示す情報ある。
患者の皮膚表面等の色は撮影時の撮影環境や患者の体調によって変化し得る。このため、医師は、撮影画像又はスペクトル画像とともに、気温もしくは室温、湿度、気圧、体温、血圧などの情報も確認できることで、これらの情報も考慮した診療を行うことができる。そこで、本変形例では、患部画像表示画面５０に撮影画像又はスペクトル画像とともに環境情報や患者情報も合わせて表示することを可能とする。これにより、医師は、画像のみが表示される場合と比較して遠隔診療の精度をさらに向上することができる。
【0138】
環境情報及び患者情報の取得方法は、特に限定されない。例えば、環境情報や患者情報は、各情報を検出可能なセンサ装置によって検出された情報であってもよいし、患者が各情報を測定可能な測定装置を用いて測定した情報であってもよいし、各情報を取得可能なサービスを利用して取得された情報であってもよい。環境情報及び患者情報は、各装置やサービスから患者端末２０へ入力されてもよいし、患者によって患者端末２０へ入力されてもよい。また、患者端末２０が撮像機能と測定機能を有するスマートフォン等の装置である場合には、患者端末２０自身が環境情報及び患者情報を取得してもよい。
【0139】
患者端末２０へ入力された環境情報及び患者情報は、例えば図７に示したステップＳ１０５において、撮像画像に関連付けられて遠隔診療用画像表示システム３０へアップロードされ、記憶部３２に記憶される。
また、図７に示したステップＳ１１１において、患部画像表示画面５０にて医師によって選択された画像に環境情報又は患者情報が関連付けられているとする。この場合、遠隔診療用画像表示システム３０の出力制御部３３５は、環境情報又は患者情報も医師端末４０に表示する。例えば、出力制御部３３５は、患部画像表示画面５０上にボタンを表示し、当該ボタンが医師によって押下された場合に環境情報又は患者情報を示す画面（以下、「詳細情報表示画面」とも称される）を別ウィンドウで表示する。なお、出力制御部３３５は、環境情報又は患者情報を画像ともに患部画像表示画面５０に表示してもよい。
また、図７に示したステップＳ１２１において、患部画像表示画面５０にて医師によって表示切替された画像に環境情報又は患者情報が関連付けられているとする。この場合、遠隔診療用画像表示システム３０は、表示されている画像とともに環境情報又は患者情報の表示も切り替える。
また、図７に示したステップＳ１１１において、患部画像表示画面５０にて医師によって選択された画像に環境情報又は患者情報が関連付けられているとする。この場合、遠隔診療用画像表示システム３０の出力制御部３３５は、環境情報又は患者情報も医師端末４０に表示する。例えば、出力制御部３３５は、患部画像表示画面５０上にボタンを表示し、当該ボタンが医師によって押下された場合に環境情報又は患者情報を示す画面（以下、「詳細情報表示画面」とも称される）を別ウィンドウで表示する。なお、出力制御部３３５は、環境情報又は患者情報を画像ともに患部画像表示画面５０に表示してもよい。
また、図７に示したステップＳ１２１において、患部画像表示画面５０にて医師によって表示切替された画像に環境情報又は患者情報が関連付けられているとする。この場合、遠隔診療用画像表示システム３０は、表示されている画像とともに環境情報又は患者情報の表示も切り替える。
【0140】
ここで、図１５及び図１６を参照して、本変形例における患部画像表示画面と詳細情報表示画面の一例について説明する。図１５は、本発明の実施形態に係る患部画像表示画面の変形例を示す図である。図１６は、本発明の実施形態に係る詳細情報表示画面の一例を示す図である。
【0141】
図１５に示す患部画像表示画面５０には、図６に示した患部画像表示画面５０に対して、詳細情報ボタン９１と詳細情報ボタン９２がさらに設けられている。詳細情報ボタン９１は、選択欄５１にて選択された画像について詳細情報表示画面を表示するためのボタンである。詳細情報ボタン９２は、選択欄５４にて選択された画像について詳細情報表示画面を表示するためのボタンである。
詳細情報ボタン９１又は詳細情報ボタン９２が押下されると、例えば図１６に示す詳細情報表示画面９３が表示される。詳細情報表示画面９３には、患者情報の一例として、患者の体温が「３６．５℃」、血圧が「８０～１１０」であることが示されている。また、詳細情報表示画面９３には、環境情報の一例として、気温／室温が「２５．０℃」、湿度が「５０％」であることが示されている。
詳細情報ボタン９１又は詳細情報ボタン９２が押下されると、例えば図１６に示す詳細情報表示画面９３が表示される。詳細情報表示画面９３には、患者情報の一例として、患者の体温が「３６．５℃」、血圧が「８０～１１０」であることが示されている。また、詳細情報表示画面９３には、環境情報の一例として、気温／室温が「２５．０℃」、湿度が「５０％」であることが示されている。
【0142】
なお、詳細情報ボタン９１及び９２が表示される位置は、図１５に示す位置に限定されず、任意の位置に表示されてもよい。また、患者情報及び環境情報は、別ウィンドウを用いずに、患部画像表示画面５０上に表示されてもよい。また、患者情報及び環境情報は、患部画像表示画面５０の表示領域５７に表示されている表示画像５８ａを押下することで表示されてもよい。
また、図１５及び図１６を参照して説明した例が適用される画面は患部画像表示画面５０に限定されず、図１０に示した患部画像表示画面６０、図１２に示した患部画像表示画面７０、図１３に示した患部画像表示画面８０にも同様に適用されてよい。
また、図１５及び図１６を参照して説明した例が適用される画面は患部画像表示画面５０に限定されず、図１０に示した患部画像表示画面６０、図１２に示した患部画像表示画面７０、図１３に示した患部画像表示画面８０にも同様に適用されてよい。
【0143】
以上、本発明の実施形態について説明した。なお、上述した実施形態における遠隔画像表示システムが備える構成の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0144】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0145】
１０…撮像装置
２０…患者端末
２１…通信部
２２…入力部
２３…出力部
２４…記憶部
２５…制御部
３０…遠隔診療用画像表示システム
３１…通信部
３２…記憶部
３３…制御部
４０…医師端末
４１…通信部
４２…入力部
４３…出力部
４４…記憶部
４５…制御部
３２１…撮像装置分光感度データベース
３２２…分光反射率データベース
３２３…光源データベース
３２４…過去画像データベース
３３１…データ取得部
３３２…分光反射率推定部
３３３…画像選択部
３３４…スペクトル画像生成部
３３５…出力制御部
３３６…表示切替部
１０００…遠隔診療システム
２０…患者端末
２１…通信部
２２…入力部
２３…出力部
２４…記憶部
２５…制御部
３０…遠隔診療用画像表示システム
３１…通信部
３２…記憶部
３３…制御部
４０…医師端末
４１…通信部
４２…入力部
４３…出力部
４４…記憶部
４５…制御部
３２１…撮像装置分光感度データベース
３２２…分光反射率データベース
３２３…光源データベース
３２４…過去画像データベース
３３１…データ取得部
３３２…分光反射率推定部
３３３…画像選択部
３３４…スペクトル画像生成部
３３５…出力制御部
３３６…表示切替部
１０００…遠隔診療システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】