(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2018-187112(P2018-187112A)
(43)【公開日】2018年11月29日
(54)【発明の名称】毛細血管の遠隔評価用複合サーバ装置および毛細血管の評価プログラム
(51)【国際特許分類】
A61B 5/107 20060101AFI20181102BHJP
A61B 5/00 20060101ALI20181102BHJP
【FI】
A61B5/10 300Z
A61B5/00 102C
A61B5/00 G
【審査請求】有
【請求項の数】7
【出願形態】OL
【全頁数】29
(21)【出願番号】特願2017-92569(P2017-92569)
(22)【出願日】2017年5月8日
(11)【特許番号】特許第6379374号(P6379374)
(45)【特許公報発行日】2018年8月29日
(71)【出願人】
【識別番号】515108727
【氏名又は名称】あっと株式会社
(72)【発明者】
【氏名】武野 團
(72)【発明者】
【氏名】金子俊和
【テーマコード(参考)】
4C038
4C117
【Fターム(参考)】
4C038VA04
4C038VB13
4C038VC05
4C117XA05
4C117XB02
4C117XD17
4C117XE43
4C117XG01
4C117XH16
4C117XJ01
4C117XJ03
4C117XJ13
4C117XJ33
4C117XJ34
4C117XJ38
4C117XK02
4C117XK09
4C117XL01
4C117XQ18
(57)【要約】
【課題】 毛細血管の分析・診断・判定を行うシステムの利用性を広げると共に、該システムによって実際に毛細血管の分析・診断等が行われた人の個人情報の流出や前記ソフトウェアの不正コピーのリスクを解消することができるようにする。
【解決手段】 クラウドサーバシステムであって、クラウドを構成する毛細血管評価センター(0001)の複合サーバ群(0006)(0007)と、インターネット等の通信ネットワークを介して前記毛細血管評価センター(0001)のサーバ群(0006)(0007)にアクセスするパーソナルコンピュータ等の情報端末(0002)〜(0004)と、これら情報端末(0002)〜(0004)のそれぞれに接続された顕微鏡形式の毛細血管観察装置(0005)を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
情報端末から毛細血管の評価を受け付ける毛細血管評価受付部と毛細血管の評価結果を表示する評価結果ウエブ画面構成部を有するウェブインターフェースサーバと、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部を備えた毛細血管評価サーバとで構成される複合サーバ装置。
【請求項2】
毛細血管評価サーバの毛細血管画像判別評価部での毛細血管画像の正誤判断が、オートホワイトバランス処理による画像の色味差の標準化と自動輝度補正処理による画像の明度差の標準化とHSV平均値および標準偏差の所定範囲判定とによって行われることを特徴とする、請求項1記載の複合サーバ装置。
【請求項3】
毛細血管評価サーバの毛細血管画像判別評価部が、毛細血管画像の画像品質判定も行なう請求項1または請求項2記載の複合サーバ装置。
【請求項4】
毛細血管評価サーバの毛細血管画像判別評価部による画像品質判定が、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータによって行われる請求項3記載の複合サーバ装置。
【請求項5】
ウェブインターフェースサーバが、情報端末からアクセスされるウェブインターフェースと、情報端末の利用者のIDやパスワードを記憶する利用者情報格納部並びに毛細血管の被験者の画像を蓄積する毛細血管画像蓄積部および前記被験者の情報を記憶する被験者情報格納部を有する利用者関係管理データベースとを備えた、請求項1〜請求項4のうちのいずれか一項記載の複合サーバ装置。
【請求項6】
利用者関係管理データベースの被験者情報格納部が被験者の非個人情報を記憶するものである、請求項5記載の複合サーバ装置。
【請求項7】
アップロードされた毛細血管画像の正誤を判断するステップと、毛細血管画像が正であった場合に、その分析処理を行うステップと、毛細血管の評価結果を表示する評価結果ウエブ画面を構成するステップを有する、毛細血管の評価方法。
【請求項8】
毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基いて毛細血管画像の画像品質判定を行うステップと、評価結果ウエブ画面で前記画像品質判定の結果を毛細血管の評価結果と共に表示するステップを更に有する、請求項7記載の毛細血管の評価方法。
【請求項9】
一方のコンピュータを、
毛細血管の評価を受け付ける毛細血管評価受付部と
毛細血管画像の評価結果を表示する評価結果ウエブ画面構成部として機能させ、
他方のコンピュータを、
前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部として機能させるためのプログラム。
【請求項10】
他方のコンピュータを、その毛細血管画像判別評価部が、更に、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基づく画像品質判定も行うものとして機能させるための請求項9記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報端末側で撮影取得した毛細血管の画像をクラウドサーバシステムによって、サーバ側にアップロードして、その診断結果等を情報端末側で閲覧できるようにした毛細血管の遠隔評価システムにおける複合サーバ装置等に関する。
【0002】
なお、本出願において、「毛細血管」という用語には皮下血管の他、粘膜下血管等も含むものとする。
【背景技術】
【0003】
一般に、毛細血管は、年齢や体調によって変化し、指先や眼底等の皮下毛細血管の状態を観察することで健康状態や生活習慣病、疾病等を把握することができるとされているが、毛細血管は非常に繊細で肉眼では観察できないため、顕微鏡装置等の観察装置を用いて診断が行われている。
【0004】
従来、例えば健康状態評価支援システムとして、毛細血管の撮影画像を処理して、該画像中の毛細血管の形状を認識する画像処理手段と、認識された前記毛細血管の形状から、毛細血管の異常度を算出する算出手段を備え、最終的に毛細血管の異常度を判定するシステムが知られている。
【0005】
また、指先の爪上皮の毛細血管部分を拡大したカラー動画像により血管及び血流を観測するシステムであって、得られた動画像での血管の密度、太さ、形状、及び血流速度を数値化し、該数値と予めシステムに記憶された基準テーブルの数値データとを比較してクラス分けし、クラス分けされた全データを分析評価手段によって分析評価し、その結果を健康状態の総合評価として表示手段に出力するようにした医療診断支援システムも知られている。
【0006】
また、本願の出願人は、既に、毛細血管の観察装置を使って、撮影取得した毛細血管画像を反応拡散方程式に基づく特殊な画像処理によって鮮明・顕在化させ、その形態的特性を数値化して毛細血管の評価を行う分析診断装置等を提案している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2015−157071号公報
【特許文献2】特開2006−325714号公報
【特許文献3】特開2016−202442号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
前項で述べた毛細血管の分析・診断・評価等を行うシステムによれば、多様な毛細血管を所定の基準に基づいて、その状態を客観的に判定することができるが、このようなシステムを利用するには、毛細血管を撮影する顕微鏡装置等の観察装置の他に、該観察装置によって得られた毛細血管の画像その他のデータを演算処理するソフトウェアがインストールされたパーソナルコンピュータ等が必要となる。そのため、このようなパーソナルコンピュータ等の設置は、通常、健康診断や簡易検査を行う健康管理センター、病院およびクリニックといった医療関係機関に限定される上、毛細血管が適切に撮影されない場合には、それが判定結果の精度に影響することから、前記システムの使用者についても、ある程度の技能が必要となり、そのため、前述した毛細血管の分析・診断・評価のシステムを種々の場所で広範囲に利用することができないという不都合があった。
【0009】
このため、前述したシステムをインターネット等の情報通信を使って拡大することも考えられるが、この場合、毛細血管の撮影、観察および評価判定等に関する個人情報が不正なアクセスによって流出したり、評価判定を行う前記ソフトウェアが不正にコピーされるというリスクがある。
【0010】
本発明の目的は、毛細血管の分析・診断・判定を行うシステムの利用性を広げると共に、該システムによって実際に毛細血管の分析・診断等が行われた人の個人情報の流出や前記ソフトウェアの不正コピーのリスク等を解消することができる毛細血管の遠隔評価システムにおける複合サーバ装置等を提供することにある。
【課題を解決するための手段】
【0011】
請求項1記載の本発明は、情報端末から毛細血管の評価を受け付ける毛細血管評価受付部と毛細血管の評価結果を表示する評価結果ウェブ画面構成部を有するウェブインターフェースサーバと、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部を備えた毛細血管評価サーバとで構成される複合サーバ装置である。
【0012】
請求項2記載の本発明は、前記請求項1記載の複合サーバ装置について、毛細血管評価サーバの毛細血管画像判別評価部での毛細血管画像の正誤判断が、オートホワイトバランス処理による画像の色味差の標準化と自動輝度補正処理による画像の明度差の標準化とHSV平均値および標準偏差の所定範囲判定とによって行われることを特徴とする。
【0013】
請求項3記載の本発明は、前記請求項1または請求項2記載の複合サーバ装置について、 毛細血管評価サーバの毛細血管画像判別評価部が、毛細血管画像の画像品質判定も行なうことを特徴とする。
【0014】
請求項4記載の本発明は、前記請求項3記載の複合サーバ装置について、毛細血管評価サーバの毛細血管画像判別評価部による画像品質判定が、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータによって行われることを特徴とする。
【0015】
請求項5記載の本発明は、前記請求項1〜請求項4のうちのいずれか一項記載の複合サーバ装置について、ウェブインターフェースサーバが、情報端末からアクセスされるウェブインターフェースと、情報端末の利用者のIDやパスワードを記憶する利用者情報格納部並びに毛細血管の被験者の画像を蓄積する毛細血管画像蓄積部および前記被験者の情報を記憶する被験者情報格納部を有する利用者関係管理データベースとを備えたものである。
【0016】
請求項6記載の本発明は、前記請求項5記載の複合サーバ装置について、利用者関係管理データベースの被験者情報格納部が被験者の非個人情報を記憶することを特徴とする。
【0017】
請求項7記載の本発明は、アップロードされた毛細血管画像の正誤を判断するステップと、毛細血管画像が正であった場合に、その分析処理を行うステップと、毛細血管の評価結果を表示する評価結果ウェブ画面を構成するステップを有する毛細血管の評価方法である。
【0018】
請求項8記載の本発明は、前記請求項7記載の毛細血管の評価方法について、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基いて毛細血管画像の画像品質判定を行うステップと、評価結果ウェブ画面で前記画像品質判定の結果を毛細血管の評価結果と共に表示するステップを更に有することを特徴とする。
【0019】
請求項9記載の本発明は、一方のコンピュータを、毛細血管の評価を受け付ける毛細血管評価受付部と毛細血管画像の評価結果を表示する評価結果ウェブ画面構成部として機能させ、他方のコンピュータを、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部として機能させるためのプログラムである。
【0020】
請求項10記載の本発明は、前記請求項9記載のプログラムについて、他方のコンピュータを、その毛細血管画像判別評価部が、更に、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基づく画像品質判定も行うものとして機能させることを特徴とする。
【発明の効果】
【0021】
本発明の複合サーバ装置を用いれば、クライアントサーバシステムによって、汎用のパーソナルコンピュータやスマートホンおよびタブレット型端末を用いて遠隔での毛細血管の評価が広範囲且つ容易に行えるという実用的利点が得られる。
【0022】
また、前記パーソナルコンピュータやスマートホン等の汎用の情報端末を用いて、毛細血管画像をアップロードする際に、誤って毛細血管画像ではない風景写真や人物写真等の一般写真が用いられた場合には、これら誤った画像が自動的に排除され、正しい毛細血管画像がアップロードされた場合だけ評価が行われ得る。
【0023】
また、本発明によれば、汎用のパーソナルコンピュータやスマートホン等からアップロードされる毛細血管画像の品質にバラツキがあることに対応して、毛細血管の評価と共に評価対象となった画像自体の品質評価も併せて表示され得るため、毛細血管の評価結果の信頼度についても把握され得るという実用的利点がある。
【0024】
そして、本発明の複合サーバ装置では、毛細血管の評価計算を行う中核となる毛細血管評価サーバを前記クラウドサービス提供のためのウェブインターフェースサーバと別構成としているため、毛細血管評価サーバをセキュリティが確保され易い国内に設置することができ、また、該毛細血管評価サーバにはシステムの利用者の情報や被験者の情報は記憶されず、これら情報は前記ウェブインターフェースサーバのみに保管され得るため、毛細血管評価サーバについては、サイバーセキュリティ上の制約やリスクが回避され得る。
【0025】
この他、ウェブインターフェースサーバは、前記中核となる毛細血管評価サーバとは切り離したものとして、そのデザインや仕様を任意に設計することができるという利点がある。また、前述した通り、ウェブインターフェースサーバに、利用者情報や被験者情報が保管されるが、本システムで、これら情報を氏名や住所、電話番号等といった個人情報を含まないもの(非個人情報)とすることもできるため、クラウド側での個人情報の流出の問題も解消され得る。
【図面の簡単な説明】
【0026】
【
図1】本発明の実施形態に係るクラウドサーバ型の毛細血管遠隔評価システムの概要を示す全体図である。
【
図2】本発明に係る複合サーバ装置の機能ブロック図である。
【
図3】毛細血管観察装置の一例を示す概念図である。
【
図4】情報端末の構成を示す機能ブロック図である。
【
図5】本発明に係る複合サーバ装置における処理の一例を示すフローチャートである。
【
図6】評価結果ウェブ画面構成部による評価結果ウェブ画面の一例を示す図である。
【
図7】毛細血管画像判別評価部による処理の一例を示すフローチャートである。
【
図8】光源反射の判定処理の一例を示すフローチャートである。
【
図9】ピント合致率処理の一例をフローチャートである。
【
図10】毛細血管の傾き判定処理の一例を示すフローチャートである。
【
図11】情報端末における画像フォルダの記憶状況を示す図である。
【
図16】処理前の毛細血管の傾きの関係画像である。
【
図17】処理後の毛細血管の傾きの関係画像である。
【
図18】本発明で使用するコンピュータの一例を示す機能ブロック図である。
【発明を実施するための形態】
【0027】
次に、本発明の実施形態を図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。
【0028】
図1に示すように、本実施形態に係る毛細血管の遠隔評価システムは、全体構成が所謂、クラウドサーバシステムであって、クラウドを構成する毛細血管評価センター(0001)のサーバ群(0006)(0007)と、インターネット等の通信ネットワークを介して前記毛細血管評価センター(0001)のサーバ群(0006)(0007)にアクセスするパーソナルコンピュータ等の情報端末(0002)〜(0004)と、これら情報端末(0002)〜(0004)のそれぞれに接続された顕微鏡形式の毛細血管観察装置(0005)を有する。
【0029】
前記遠隔評価システムにおいて、情報端末(0002)〜(0004)と各毛細血管観察装置(0005)は、例えば健康診断を行う健康管理センターや病院、或いは地域の各種クリニックといった医療関係機関の他、介護サービスを提供する事業所等、種々の場所に広範囲に設置される。そして、通常、前記情報端末(0002)〜(0004)と各毛細血管観察装置(0005)は、前述した各施設における職員等が利用者として操作し、各施設における患者や健康診断受診者、或は要介護者等が被験者として自己の毛細血管の評価・判定を受けるようになされている。
【0030】
なお、本システムは、情報端末(0002)〜(0004)について、所謂、マルチデバイス対応とし、前記パーソナルコンピュータの他、タブレット端末やスマートホンといった種々のものを使用し得る。また、本実施形態に係るクラウドサーバシステムにおけるクラウドは、前述した毛細血管評価センター(0001)において、例えば、クラウド基盤層と、その上層のクラウドサービス層およびクラウドアプリケーション層といった階層で構成され、後述するような毛細血管およびその画像品質に関する評価サービスを提供するものである。
【0031】
本発明で使用するサーバ装置は、少なくともコンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって機能するものである。
【0032】
図18に示すように、前記コンピュータ(1801)としては、例えばCD−ROMドライブ(1802)の他、MPU(1803)と、該MPU(1803)および前記CD−ROMドライブ(1802)に接続されたバス(1804)と、前記プログラム等を記憶するためのROM(1805)と、前記MPU(1803)に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM(1806)と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク(1807)等を含む。ただし、これら構成は一例であって、他のハードウェア構成で実現されても良い。
【0033】
すなわち、前記毛細血管評価センター(0001)には、インターネット等の通信ネットワークを介して前記情報端末(0002)〜(0004)からアクセスされるウェブインターフェースサーバ(0006)と毛細血管の評価処理等を行う毛細血管評価サーバ(0007)を有する。
【0034】
また、前記ウェブインターフェースサーバ(0006)は、後述する通り、毛細血管の評価等に関する利用者や被験者に関する情報の管理やセキュアなアクセス管理、ウェブ画面の編集構成等を行うものである。
【0035】
具体的には、
図2に示すように、ウェブインターフェースサーバ(0006)は、前記情報端末(0002)〜(0004)との間で毛細血管の評価等に係るクラウドサービスを提供するためのウェブインターフェース(2001)と毛細血管の評価等を要求する利用者や、その被験者に関する種々の情報を管理する利用者関係管理データベース(2002)を備えている。
【0036】
そして、前記ウェブインターフェース(2001)は、アクセスする利用者のログインIDやパスワードの利用者情報を受信してログイン制御を行う毛細血管評価受付部(2003)と、被験者の毛細血管画像のウェブ用HTML構成部(2004)と、評価結果を示す評価結果ウェブ画面構成部(2005)を有する。
【0037】
前記ウェブインターフェース(2001)は、ウェブブラウザによる前記情報端末(0002)〜(0004)との通信接続を行なう機能を有する。
【0038】
毛細血管評価受付部(2003)は、前述した通り、情報端末(0002)〜(0004)からのアクセスによって前述した利用者関係管理データベース(2002)の利用者情報格納部(2007)に記憶されている利用者のログインIDやパスワードと前記アクセスしたものを照合してログインの可否を実行する機能を有するものであり、通信デバイスとログイン制御のソフトウェア等により実現される。
【0039】
ウェブ用HTML構成部(2004)はウェブ用HTMLによるファイル等形成機能を有するものであって、通常、作成ソフトウェアによって実現されるが専用回路で形成しても良い。
【0040】
評価結果ウェブ画面構成部(2005)は、前記の通り、評価結果を示す評価結果ウェブ画面を構成する機能を有するものであり、作成ソフトウェアによって実現される。具体的には、後述する
図6に示すようなCAS画面構成等とするものである。
【0041】
前記利用者関係管理データベース(2002)は、利用者の利用履歴等を記憶する利用者ログ部(2006)と、利用者のログインIDやパスワードおよび所属機関といった利用者情報を記憶する利用者情報格納部(2007)と、被験者の毛細血管画像を記憶する毛細血管画像蓄積部(2008)と、被験者の性別および年齢という情報を記憶する被験者情報格納部(2009)を有する。
【0042】
利用者ログ部(2006)は、前述した通り、利用履歴等を記憶する機能を有するものであり、メモリー等と記録するソフトウェアにより実現される。
【0043】
利用者情報格納部(2007)は、通常、ハードディスク等の記録媒体によって実現される。
【0044】
毛細血管画像蓄積部(2008)は、被験者の毛細血管画像を適宜、記憶しておく機能を有するものであり、メモリーやハードウエア(専用回路)で実現される。
【0045】
被験者情報格納部(2009)には、被験者の整理番号、年齢および性別が記憶されているが、被験者の氏名や住所、電話番号といった被験者の個人情報は含まれない。ただし、セキュリティ上のリスクが完全に解消されている場合には、例外的に個人情報を含めても良い。当該格納部(2009)は、通常、ハードディスク等の記録媒体によって実現される。
【0046】
前記毛細血管評価サーバ(0007)は、前記ウェブインターフェースサーバ(0006)のウェブ用HTML構成部(2004)から被験者の毛細血管画像を受信する評価対象画像受信部(2011)と、前記ウェブ用HTML構成部(2004)から後述する計算用パラメータを受信するパラメータ受信部(2012)と、評価対象画像受信部(2011)で受信した毛細血管画像とパラメータ受信部(2012)で受信した計算用パラメータとに基いて後述する評価処理等を行う毛細血管画像計算部(2013)と、毛細血管画像計算部(2013)で処理された結果画像および画像の品質判定情報等を前記ウェブインターフェースサーバ(0006)の評価結果ウェブ画面構成部(2005)に出力する計算結果出力部(2014)を有する。
【0047】
評価対象画像受信部(2011)は、前述した通り、被験者の毛細血管画像を受信する機能を有するものであり、有線または無線の受信デバイスと駆動するドライバ等により実現される。
【0048】
パラメータ受信部(2012)は、前記ウェブインターフェースサーバ(0006)のウェブ用HTML構成部(2004)からの計算用パラメータを受信する機能を有するものであり、有線または無線の受信デバイスと駆動するドライバ等により実現される。
【0049】
前記計算用パラメータとしては、例えば年齢/性別補正、後述する毛細血管画像における輝度自動調整、同画像における反射/傾き/ピントの判定の閾値設定が挙げられる。
【0050】
これら計算用パラメータは、後述する毛細血管の評価に影響を及ぼす因子であり、一般に男女ともに年齢が高くなるほど毛細血管の総長さは短くなり、また女性は男性よりも毛細血管の合計長が短くなることから、これら年齢および性別の前記補正を行うか否か、また毛細血管画像の観察装置によって、取得した毛細血管画像の明るさにバラツキがあることから、輝度の平均値を計算して一定値化するような自動輝度補正を行うか否か、或は反射/傾き/ピントの判定処理で良好な画像となる閾値設定を行うかという内容である。
【0051】
毛細血管画像計算部(2013)は、後述する反応拡散方程式による毛細血管自体の分析処理を行う毛細血管分析処理部(2015)と毛細血管画像か否かの画像判別と毛細血管画像の品質判定を行う毛細血管画像判別評価部(2016)を有し、前述した通り、計算用パラメータを使用して後述する要領で毛細血管自体の分析処理と毛細血管画像の判別および品質評価を行う機能を有するものであり、これらの機能は、通常、ソフトウェアによって実現され、該ソフトウェアは当該サーバ(0007)におけるROM等の記録媒体に記憶されている。
【0052】
前記毛細血管分析処理部(2015)における毛細血管自体の評価分析は、例えば本願の出願人による前述した特開2016−202442号公報に記載されているものと同様の方法を用いる。
【0053】
すなわち、
図3に示すように、利用者が利用する端末側の前記顕微鏡形式の毛細血管観察装置(0005)は、指Fを載せる指置き台2と、指置き台2上の指Fにおける爪床部分F1等の観察対象に焦点を合わせるための複数のレンズ等からなる光学系部3と、観察対象に可視光や赤外線等を照射する照明部4と、観察対象を撮影するCCDやCMOS等の撮影素子を具備する撮影部5と、撮影部5における撮影素子を制御するシャッター等の撮影制御部6と、撮影画像のデジタルデータを出力するための画像出力インターフェース7と、前記撮影画像のデジタルデータを伝送するためのUSB、NTSC、無線、或はインターネット等の伝送系部8を備えている。
【0054】
そして、前記毛細血管分析処理部(2015)では、前記毛細血管観察装置(0005)を用いて、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する後述の反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化する毛細血管画像処理方法である。そして、後記の方程式における拡散反応は、前述した通り、それ以前の直前の計算処理の結果により変動する変数パラメータaを用いて方向性を持たせた画像処理を行うものである。
【0055】
前記反応拡散方程式は、
【数1】
前記ε、b、c、dはいずれも定数パラメータ、Du、Dvは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータ(閾値パラメータ)である。そして、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出であったり、或は、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出であったり、または前記数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出である。
【0056】
前記毛細血管判別評価部(2016)は、前述した計算用パラメータによる毛細血管画像の判別と品質の評価を行うものである。
【0057】
図4に示すように、前記情報端末(0002)〜(0004)は、前記毛細血管評価センター(0001)とインターネット等の通信ネットワークを介してアクセスする通信部(4001)と、前記毛細血管観察装置(0005)との接続を行うコネクタ部(4002)と、毛細血管画像を被験者のID等とともに記憶する毛細血管画像記憶部(4003)と、毛細血管画像を表示する毛細血管画像表示部(4004)と、利用者のIDやパスワード等を入力する入力部(4005)と、毛細血管画像記憶部(4003)やコネクタ部(4002)から毛細血管画像を取得する毛細血管画像取得部(4006)等を有する。
【0058】
なお、前記通信部(4001)は、通信モジュールやモデムにより実現され、コネクタ部(4002)はハードウエアインターフェースのコネクタ、接続端子等であり、毛細血管画像記憶部(4003)はハードディスク等の記録媒体と記録するソフトウェアで実現される。
【0059】
また、毛細血管画像表示部(4004)は、通常、ディスプレイであり、前記毛細血管画像の他、毛細血管評価センター(0001)へのアクセスによって閲覧される前記毛細血管の評価や画像品質判定結果等を表示する。
【0060】
この他、前記入力部(4005)はキーボードやタッチパネル等であり、毛細血管画像取得部(4006)は、通常、ソフトウェアで実現される。
【0061】
次に、
図5に示すように、前述した毛細血管評価センター(0001)におけるウェブインターフェースサーバ(0006)と毛細血管評価サーバ(0007)とによる関連動作について説明すると、先ず、ウェブインターフェースサーバ(0006)では、情報端末(0002)〜(0004)を使った利用者からのログイン制御を行ない(S5001)、所定のログインIDやパスワードによって利用者確認と該利用者の履歴保存を行う(S5002)。次に、利用者の情報端末(0002)〜(0004)からの被験者情報と該被験者の毛細血管画像を受け付け(S5003)、これらを前記利用者関係管理データベース(2002)に保存する(S5004)。その後、前記毛細血管画像を計算用パラメータと共に、毛細血管評価サーバ(0007)に転送する(S5005)。前記計算用パラメータとしては、例えば、被験者の年代や性別による補正を行うか否か(ON/OFF)、毛細血管画像における輝度の自動調整機能のON/OFF、更には後述する毛細血管画像における光源反射、傾きおよびピントの判定における閾値の設定等が挙げられる。
【0062】
そして、前記毛細血管評価サーバ(0007)では、前記毛細血管画像および計算用パラメータを受信し(S5006)、先ず前記毛細血管画像が真正なものであるか否かを後述の方法で判断する(S5007)。
【0063】
すなわち、
図11に示すように、情報端末(0002)〜(0004)は、クラウド型である当該毛細血管遠隔評価システムにおいて、専用の端末ではないため、画像フォルダ(1101)には、前記毛細血管観察装置(0005)によって取得した毛細血管画像(1102)以外に、風景写真(1103)や天体画像(1104)、CG画像(1105)、テスト画像(1106)およびイラスト(1107)等といった毛細血管画像ではない画像がランダムに入っている場合が多く、誤ってこれら画像が送信された場合には、自動的に評価は行わず、エラーと判断し、エラー結果をウェブインターフェースサーバ(0006)に転送する。
【0064】
一方、前記画像判断ステップ(S5007)で、画像が真正な毛細血管画像であると判断された際に、後述する光源反射の判定(S5009)、ピント合致率の判定(S5010)、および反応拡散方程式による二値化(S5011)、毛細血管の傾き判定(S5012)を行ない、また毛細血管自体の評価としてその長さ、曲がりや本数および合計長等を算出する(S5013)。そして、前述した毛細血管画像についての光源反射の判定(S5009)、ピント合致率の判定(S5010)、反応拡散方程式による二値化(S5011)および毛細血管の傾き判定(S5012)による毛細血管画像の総合的な品質判定と前記毛細血管自体の評価と前記処理済の毛細血管画像を前記ウェブインターフェースサーバ(0006)に転送する(S5014)。また該転送は前述した毛細血管画像のエラー判定の際にもエラー画面として行なわれる。そして、最終的には、このような種々の結果や評価判定がウェブインターフェースサーバ(0006)に受信されると共に、そのウェブ画面が構成され(S5015)、これが計算結果等履歴として保存され(S1516)。また、前記ウェブ画面が前記情報端末(0002)〜(0004)で閲覧表示される。なお、以上のような処理における順序は限定的なものではなく、例えば前記光源反射の判定(S5009)やピント合致率の判定(S5010)等は任意に行われ得る。
【0065】
図6に示すように、前記ウェブ評価画面として、例えば被験者の性別、年代、毛細血管の合計長、毛細血管の評価点および画像の品質判定としての信頼度(最高評価が5つ星で、前記減点処理によって4つ星から一つ星までの下位評価となる)が表示される。
【0066】
図7に示すように、前述した毛細血管評価サーバ(0007)の毛細血管画像計算部(2013)の毛細血管画像判別評価部(2016)における毛細血管画像の自動判別処理の一例について説明すると、自動判別の大きな流れとしては、先ずオートホワイトバランス(AWB)処理を行なって画像毎の色味の差を標準化し(S7001)、次に自動輝度補正処理を行なって画像毎の明度差を標準化し(S7002)、最後に判別パラメータに基づく毛細血管画像の判別を行なう(S7003)。なお、これら判別で判別パラメータの設定は人的でも深層学習法に基いても良い。
【0067】
より詳細には、先ず前記色味の差の標準化(S7001)として、RGB画像をYUVに変換し(S7001A)、その輝度分布から背景部抽出し(S7001B)、該背景部を無彩色と仮定して(S7001C)、その無彩色目標値を決めてピクセル毎のRGB値を乗算演算で補正する(S7001D)。その後、前記明度の差の標準化(S7002)として、RGB画像をグレースケール変換し(S7002A)、該グレースケール画像から平均輝度を算出し(S7002B)、所定の輝度目標値を基にRGBピクセル輝度を加減演算補正する(S7002C)。そして、最終的な判別処理(S7003)として、RGB画像をHSVに変換し(S7003A)、ピクセル毎のHSV平均値と標準偏差を求め(S7003B)、前記HSV平均値と標準偏差が所定の範囲内に収まっているか否かを判断する(S7003C)。この際、最終的に所定範囲内であれば、毛細血管画像と判定し、所定範囲内に収まっていない場合には、毛細血管画像ではないと判定する。
【0068】
図8、
図12および
図13に示すように、前記光源反射の判定処理の一例について説明すると、先ず、RGB画像をグレースケールに変換し(S8001)、その輝度分布から反射部を抽出し(S8002)、該反射部の面積を閾値判定し(S8003)、前記面積が所定の範囲内か否かを検知し(S8004)、所定の範囲内にある場合には信頼度評価について減点処理をせず(S8005)、所定の範囲を超えている場合には毛細血管の分析・評価の精度に影響するため、その度合いによって減点処理を行い(S8006)、前記反射部抽出ステップ(S8002)で抽出した画像に基いて反射部の合成画像(参照用)を作成する(S8007)。
【0069】
前述した
図8の画像処理によって、
図12(a)〜(c)の白色の光反射画像が、
図13(a)〜(c)の画像に変換され、
図13(a)〜(c)のうち、
図13(a)の画像は反射部分を示す黒色の範囲が最も広いために反射範囲が広いとして前記判定処理で大幅減点となり、
図13(b)(c)の画像は黒色の反射部分が(a)に比べて少ないため、減点も少なくなる。
【0070】
図9、
図14および
図15に示すように、前記ピント合致率の判定処理の一例について説明すると、先ず、RGB画像をグレースケールに変換し(S9001)、次に輪郭抽出フィルターで輪郭を抽出し(S9002)、局所平均二値化を行なう(S9003)。その後、ピント合致量またはピント合致率を算出し(S9004)、それらの算出値を閾値判定し(S9005)、その結果が所定の範囲内か否かを判定し(S9006)、所定の範囲に達している場合には減点処理をせず(S9007)、所定の範囲に達していない場合には、その度合いによって減点処理し(S9008)、前記二値化ステップ(S9003)で抽出した画像に基いてピント合成画像(参照用)を作成する(S9009)。
【0071】
前述した
図9の画像処理によって、
図14(a)〜(c)の画像が、
図15(a)〜(c)のピント合致率の画像に変換され、
図15(a)〜(c)のうち、
図15(a)(b)は、ピント合致を示す白色斑の範囲が多いため、減点がないか僅かであるのに対して、
図15(c)は白色斑の範囲が非常に少ないため、大きく減点された評価となり、このような画像に基づく毛細血管自体の評価は信頼度が低いということになる。
【0072】
図10、
図16および
図17に示すように、前述した毛細血管評価サーバ(0007)による毛細血管画像の傾き判定処理の一例について説明すると、該判定の大きな流れとしては、先ず前処理として反応拡散方程式による二値化処理を行ない(S1001)、次に毛細血管ごとの傾き計算処理を行ない(S1002)、最終的には前記傾きが許容範囲内であるか否かを判定する(S1003)。
【0073】
より詳細には、先ず前記反応拡散二値化処理(S1001)として、先ず、RGB画像をグレースケールに変換し(S1001A)、次に反応拡散方程式による二値化を行ない(S1001B)、その後、細線化処理し(S1001C)、次に画像中の各毛細血管の領域を特定する(S1001D)。その後、前記傾き計算処理(S1002)として、各毛細血管の頭頂部を検出し(S1002A)、該頭頂部領域の削除処理を行ない(S1002B)、その後に残った直線部分の血管をそれぞれラベリングして個別血管と特定し(S1002C)、その後、個別血管を矩形枠で囲んで、その対角線の角度を算出して血管毎の傾き値とする(S1002D)。次に、前記傾きの許容範囲判定(S1003)として、先ず血管毎の中央値を求め(S1003A)、該中央値を傾き閾値判定し(S1003B)、傾きが許容範囲内にあるか否かを検知し(S1003C)、許容範囲内にある場合には減点処理せず(S1003D)、傾きが許容範囲から外れている場合には、その度合いに応じて減点評価する(S1003E)。
【0074】
前述した
図10の画像処理によって、
図16(a)(b)の画像が、
図17(a)(b)の傾き画像に変換され、
図17(a)(b)は、いずれも一部に毛細血管の傾きが見られるものの、全体として比較的傾きの少ない毛細血管が多いため、いずれも画像も減点がないか僅かな減点だけという判定となる。
【産業上の利用可能性】
【0075】
本発明によれば、遠隔での毛細血管の適切な評価が行えるため、医療分野や健康管理分野および介護分野等において幅広い利用が期待できる。
【符号の説明】
【0076】
(0001) 毛細血管評価センター
(0002)〜(0004) 情報端末
(0005) 毛細血管観察装置
(0006) ウェブインターフェースサーバ
(0007) 毛細血管評価サーバ
(2001) ウェブインターフェース
(2002) 利用者関係管理データベース
(2003) 毛細血管評価受付部
(2004) ウェブ用HTML構成部
(2005) 評価結果ウェブ画面構成部
(2013) 毛細血管画像計算部
(2015) 毛細血管分析処理部
(2016) 毛細血管画像判別評価部
【手続補正書】
【提出日】2018年6月13日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報端末から毛細血管の評価を受け付ける毛細血管評価受付部と毛細血管の評価結果を表示する評価結果ウェブ画面構成部を有するウェブインターフェースサーバと、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部を備えた毛細血管評価サーバとで構成される複合サーバ装置。
【請求項2】
毛細血管評価サーバの毛細血管画像判別評価部での毛細血管画像の正誤判断が、オートホワイトバランス処理による画像の色味差の標準化と自動輝度補正処理による画像の明度差の標準化とHSV平均値および標準偏差の所定範囲判定とによって行われることを特徴とする、請求項1記載の複合サーバ装置。
【請求項3】
毛細血管評価サーバの毛細血管画像判別評価部が、毛細血管画像の画像品質判定も行なう請求項1または請求項2記載の複合サーバ装置。
【請求項4】
毛細血管評価サーバの毛細血管画像判別評価部による画像品質判定が、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータによって行われる請求項3記載の複合サーバ装置。
【請求項5】
ウェブインターフェースサーバが、情報端末からアクセスされるウェブインターフェースと、情報端末の利用者のIDやパスワードを記憶する利用者情報格納部並びに毛細血管の被験者の画像を蓄積する毛細血管画像蓄積部および前記被験者の情報を記憶する被験者情報格納部を有する利用者関係管理データベースとを備えた、請求項1〜請求項4のうちのいずれか一項記載の複合サーバ装置。
【請求項6】
利用者関係管理データベースの被験者情報格納部が被験者の非個人情報を記憶するものである、請求項5記載の複合サーバ装置。
【請求項7】
一方のコンピュータを、
毛細血管の評価を受け付ける毛細血管評価受付部と
毛細血管画像の評価結果を表示する評価結果ウェブ画面構成部として機能させ、
他方のコンピュータを、
前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部として機能させ、
且つ、前記他方のコンピュータを、
その毛細血管画像判別評価部が、更に、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基づく画像品質判定も行うものとして機能させるためのプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報端末側で撮影取得した毛細血管の画像をクラウドサーバシステムによって、サーバ側にアップロードして、その診断結果等を情報端末側で閲覧できるようにした毛細血管の遠隔評価システムにおける複合サーバ装置等に関する。
【0002】
なお、本出願において、「毛細血管」という用語には皮下血管の他、粘膜下血管等も含むものとする。
【背景技術】
【0003】
一般に、毛細血管は、年齢や体調によって変化し、指先や眼底等の皮下毛細血管の状態を観察することで健康状態や生活習慣病、疾病等を把握することができるとされているが、毛細血管は非常に繊細で肉眼では観察できないため、顕微鏡装置等の観察装置を用いて診断が行われている。
【0004】
従来、例えば健康状態評価支援システムとして、毛細血管の撮影画像を処理して、該画像中の毛細血管の形状を認識する画像処理手段と、認識された前記毛細血管の形状から、毛細血管の異常度を算出する算出手段を備え、最終的に毛細血管の異常度を判定するシステムが知られている。
【0005】
また、指先の爪上皮の毛細血管部分を拡大したカラー動画像により血管及び血流を観測するシステムであって、得られた動画像での血管の密度、太さ、形状、及び血流速度を数値化し、該数値と予めシステムに記憶された基準テーブルの数値データとを比較してクラス分けし、クラス分けされた全データを分析評価手段によって分析評価し、その結果を健康状態の総合評価として表示手段に出力するようにした医療診断支援システムも知られている。
【0006】
また、本願の出願人は、既に、毛細血管の観察装置を使って、撮影取得した毛細血管画像を反応拡散方程式に基づく特殊な画像処理によって鮮明・顕在化させ、その形態的特性を数値化して毛細血管の評価を行う分析診断装置等を提案している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2015−157071号公報
【特許文献2】特開2006−325714号公報
【特許文献3】特開2016−202442号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
前項で述べた毛細血管の分析・診断・評価等を行うシステムによれば、多様な毛細血管を所定の基準に基づいて、その状態を客観的に判定することができるが、このようなシステムを利用するには、毛細血管を撮影する顕微鏡装置等の観察装置の他に、該観察装置によって得られた毛細血管の画像その他のデータを演算処理するソフトウェアがインストールされたパーソナルコンピュータ等が必要となる。そのため、このようなパーソナルコンピュータ等の設置は、通常、健康診断や簡易検査を行う健康管理センター、病院およびクリニックといった医療関係機関に限定される上、毛細血管が適切に撮影されない場合には、それが判定結果の精度に影響することから、前記システムの使用者についても、ある程度の技能が必要となり、そのため、前述した毛細血管の分析・診断・評価のシステムを種々の場所で広範囲に利用することができないという不都合があった。
【0009】
このため、前述したシステムをインターネット等の情報通信を使って拡大することも考えられるが、この場合、毛細血管の撮影、観察および評価判定等に関する個人情報が不正なアクセスによって流出したり、評価判定を行う前記ソフトウェアが不正にコピーされるというリスクがある。
【0010】
本発明の目的は、毛細血管の分析・診断・判定を行うシステムの利用性を広げると共に、該システムによって実際に毛細血管の分析・診断等が行われた人の個人情報の流出や前記ソフトウェアの不正コピーのリスク等を解消することができる毛細血管の遠隔評価システムにおける複合サーバ装置等を提供することにある。
【課題を解決するための手段】
【0011】
請求項1記載の本発明は、情報端末から毛細血管の評価を受け付ける毛細血管評価受付部と毛細血管の評価結果を表示する評価結果ウェブ画面構成部を有するウェブインターフェースサーバと、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部を備えた毛細血管評価サーバとで構成される複合サーバ装置である。
【0012】
請求項2記載の本発明は、前記請求項1記載の複合サーバ装置について、毛細血管評価サーバの毛細血管画像判別評価部での毛細血管画像の正誤判断が、オートホワイトバランス処理による画像の色味差の標準化と自動輝度補正処理による画像の明度差の標準化とHSV平均値および標準偏差の所定範囲判定とによって行われることを特徴とする。
【0013】
請求項3記載の本発明は、前記請求項1または請求項2記載の複合サーバ装置について、 毛細血管評価サーバの毛細血管画像判別評価部が、毛細血管画像の画像品質判定も行なうことを特徴とする。
【0014】
請求項4記載の本発明は、前記請求項3記載の複合サーバ装置について、毛細血管評価サーバの毛細血管画像判別評価部による画像品質判定が、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータによって行われることを特徴とする。
【0015】
請求項5記載の本発明は、前記請求項1〜請求項4のうちのいずれか一項記載の複合サーバ装置について、ウェブインターフェースサーバが、情報端末からアクセスされるウェブインターフェースと、情報端末の利用者のIDやパスワードを記憶する利用者情報格納部並びに毛細血管の被験者の画像を蓄積する毛細血管画像蓄積部および前記被験者の情報を記憶する被験者情報格納部を有する利用者関係管理データベースとを備えたものである。
【0016】
請求項6記載の本発明は、前記請求項5記載の複合サーバ装置について、利用者関係管理データベースの被験者情報格納部が被験者の非個人情報を記憶することを特徴とする。
【0017】
請求項7記載の本発明は、一方のコンピュータを、毛細血管の評価を受け付ける毛細血管評価受付部と、毛細血管画像の評価結果を表示する評価結果ウェブ画面構成部として機能させ、他方のコンピュータを、前記毛細血管評価受付部にアップロードされた毛細血管画像の正誤を判断する毛細血管画像判別評価部および毛細血管自体の分析処理を行う毛細血管分析処理部を有する毛細血管画像計算部として機能させ、且つ、前記他方のコンピュータを、その毛細血管画像判別評価部が、更に、毛細血管画像の光源反射検出、毛細血管画像の傾き検出および毛細血管画像のピント検出のうちの少なくとも一以上の計算用パラメータに基づく画像品質判定も行うものとして機能させるためのプログラムである。
【発明の効果】
【0018】
本発明の複合サーバ装置を用いれば、クライアントサーバシステムによって、汎用のパーソナルコンピュータやスマートホンおよびタブレット型端末を用いて遠隔での毛細血管の評価が広範囲且つ容易に行えるという実用的利点が得られる。
【0019】
また、前記パーソナルコンピュータやスマートホン等の汎用の情報端末を用いて、毛細血管画像をアップロードする際に、誤って毛細血管画像ではない風景写真や人物写真等の一般写真が用いられた場合には、これら誤った画像が自動的に排除され、正しい毛細血管画像がアップロードされた場合だけ評価が行われ得る。
【0020】
また、本発明によれば、汎用のパーソナルコンピュータやスマートホン等からアップロードされる毛細血管画像の品質にバラツキがあることに対応して、毛細血管の評価と共に評価対象となった画像自体の品質評価も併せて表示され得るため、毛細血管の評価結果の信頼度についても把握され得るという実用的利点がある。
【0021】
そして、本発明の複合サーバ装置では、毛細血管の評価計算を行う中核となる毛細血管評価サーバを前記クラウドサービス提供のためのウェブインターフェースサーバと別構成としているため、毛細血管評価サーバをセキュリティが確保され易い国内に設置することができ、また、該毛細血管評価サーバにはシステムの利用者の情報や被験者の情報は記憶されず、これら情報は前記ウェブインターフェースサーバのみに保管され得るため、毛細血管評価サーバについては、サイバーセキュリティ上の制約やリスクが回避され得る。
【0022】
この他、ウェブインターフェースサーバは、前記中核となる毛細血管評価サーバとは切り離したものとして、そのデザインや仕様を任意に設計することができるという利点がある。また、前述した通り、ウェブインターフェースサーバに、利用者情報や被験者情報が保管されるが、本システムで、これら情報を氏名や住所、電話番号等といった個人情報を含まないもの(非個人情報)とすることもできるため、クラウド側での個人情報の流出の問題も解消され得る。
【図面の簡単な説明】
【0023】
【
図1】本発明の実施形態に係るクラウドサーバ型の毛細血管遠隔評価システムの概要を示す全体図である。
【
図2】本発明に係る複合サーバ装置の機能ブロック図である。
【
図3】毛細血管観察装置の一例を示す概念図である。
【
図4】情報端末の構成を示す機能ブロック図である。
【
図5】本発明に係る複合サーバ装置における処理の一例を示すフローチャートである。
【
図6】評価結果ウェブ画面構成部による評価結果ウェブ画面の一例を示す図である。
【
図7】毛細血管画像判別評価部による処理の一例を示すフローチャートである。
【
図8】光源反射の判定処理の一例を示すフローチャートである。
【
図9】ピント合致率処理の一例をフローチャートである。
【
図10】毛細血管の傾き判定処理の一例を示すフローチャートである。
【
図11】情報端末における画像フォルダの記憶状況を示す図である。
【
図16】処理前の毛細血管の傾きの関係画像である。
【
図17】処理後の毛細血管の傾きの関係画像である。
【
図18】本発明で使用するコンピュータの一例を示す機能ブロック図である。
【発明を実施するための形態】
【0024】
次に、本発明の実施形態を図面にしたがって説明するが、本発明はかかる実施形態に限定されるものではない。
【0025】
図1に示すように、本実施形態に係る毛細血管の遠隔評価システムは、全体構成が所謂、クラウドサーバシステムであって、クラウドを構成する毛細血管評価センター(0001)のサーバ群(0006)(0007)と、インターネット等の通信ネットワークを介して前記毛細血管評価センター(0001)のサーバ群(0006)(0007)にアクセスするパーソナルコンピュータ等の情報端末(0002)〜(0004)と、これら情報端末(0002)〜(0004)のそれぞれに接続された顕微鏡形式の毛細血管観察装置(0005)を有する。
【0026】
前記遠隔評価システムにおいて、情報端末(0002)〜(0004)と各毛細血管観察装置(0005)は、例えば健康診断を行う健康管理センターや病院、或いは地域の各種クリニックといった医療関係機関の他、介護サービスを提供する事業所等、種々の場所に広範囲に設置される。そして、通常、前記情報端末(0002)〜(0004)と各毛細血管観察装置(0005)は、前述した各施設における職員等が利用者として操作し、各施設における患者や健康診断受診者、或は要介護者等が被験者として自己の毛細血管の評価・判定を受けるようになされている。
【0027】
なお、本システムは、情報端末(0002)〜(0004)について、所謂、マルチデバイス対応とし、前記パーソナルコンピュータの他、タブレット端末やスマートホンといった種々のものを使用し得る。また、本実施形態に係るクラウドサーバシステムにおけるクラウドは、前述した毛細血管評価センター(0001)において、例えば、クラウド基盤層と、その上層のクラウドサービス層およびクラウドアプリケーション層といった階層で構成され、後述するような毛細血管およびその画像品質に関する評価サービスを提供するものである。
【0028】
本発明で使用するサーバ装置は、少なくともコンピュータハードウェアおよびその上で実行されるコンピュータプログラムによって機能するものである。
【0029】
図18に示すように、前記コンピュータ(1801)としては、例えばCD−ROMドライブ(1802)の他、MPU(1803)と、該MPU(1803)および前記CD−ROMドライブ(1802)に接続されたバス(1804)と、前記プログラム等を記憶するためのROM(1805)と、前記MPU(1803)に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM(1806)と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク(1807)等を含む。ただし、これら構成は一例であって、他のハードウェア構成で実現されても良い。
【0030】
すなわち、前記毛細血管評価センター(0001)には、インターネット等の通信ネットワークを介して前記情報端末(0002)〜(0004)からアクセスされるウェブインターフェースサーバ(0006)と毛細血管の評価処理等を行う毛細血管評価サーバ(0007)を有する。
【0031】
また、前記ウェブインターフェースサーバ(0006)は、後述する通り、毛細血管の評価等に関する利用者や被験者に関する情報の管理やセキュアなアクセス管理、ウェブ画面の編集構成等を行うものである。
【0032】
具体的には、
図2に示すように、ウェブインターフェースサーバ(0006)は、前記情報端末(0002)〜(0004)との間で毛細血管の評価等に係るクラウドサービスを提供するためのウェブインターフェース(2001)と毛細血管の評価等を要求する利用者や、その被験者に関する種々の情報を管理する利用者関係管理データベース(2002)を備えている。
【0033】
そして、前記ウェブインターフェース(2001)は、アクセスする利用者のログインIDやパスワードの利用者情報を受信してログイン制御を行う毛細血管評価受付部(2003)と、被験者の毛細血管画像のウェブ用HTML構成部(2004)と、評価結果を示す評価結果ウェブ画面構成部(2005)を有する。
【0034】
前記ウェブインターフェース(2001)は、ウェブブラウザによる前記情報端末(0002)〜(0004)との通信接続を行なう機能を有する。
【0035】
毛細血管評価受付部(2003)は、前述した通り、情報端末(0002)〜(0004)からのアクセスによって前述した利用者関係管理データベース(2002)の利用者情報格納部(2007)に記憶されている利用者のログインIDやパスワードと前記アクセスしたものを照合してログインの可否を実行する機能を有するものであり、通信デバイスとログイン制御のソフトウェア等により実現される。
【0036】
ウェブ用HTML構成部(2004)はウェブ用HTMLによるファイル等形成機能を有するものであって、通常、作成ソフトウェアによって実現されるが専用回路で形成しても良い。
【0037】
評価結果ウェブ画面構成部(2005)は、前記の通り、評価結果を示す評価結果ウェブ画面を構成する機能を有するものであり、作成ソフトウェアによって実現される。具体的には、後述する
図6に示すようなCAS画面構成等とするものである。
【0038】
前記利用者関係管理データベース(2002)は、利用者の利用履歴等を記憶する利用者ログ部(2006)と、利用者のログインIDやパスワードおよび所属機関といった利用者情報を記憶する利用者情報格納部(2007)と、被験者の毛細血管画像を記憶する毛細血管画像蓄積部(2008)と、被験者の性別および年齢という情報を記憶する被験者情報格納部(2009)を有する。
【0039】
利用者ログ部(2006)は、前述した通り、利用履歴等を記憶する機能を有するものであり、メモリー等と記録するソフトウェアにより実現される。
【0040】
利用者情報格納部(2007)は、通常、ハードディスク等の記録媒体によって実現される。
【0041】
毛細血管画像蓄積部(2008)は、被験者の毛細血管画像を適宜、記憶しておく機能を有するものであり、メモリーやハードウエア(専用回路)で実現される。
【0042】
被験者情報格納部(2009)には、被験者の整理番号、年齢および性別が記憶されているが、被験者の氏名や住所、電話番号といった被験者の個人情報は含まれない。ただし、セキュリティ上のリスクが完全に解消されている場合には、例外的に個人情報を含めても良い。当該格納部(2009)は、通常、ハードディスク等の記録媒体によって実現される。
【0043】
前記毛細血管評価サーバ(0007)は、前記ウェブインターフェースサーバ(0006)のウェブ用HTML構成部(2004)から被験者の毛細血管画像を受信する評価対象画像受信部(2011)と、前記ウェブ用HTML構成部(2004)から後述する計算用パラメータを受信するパラメータ受信部(2012)と、評価対象画像受信部(2011)で受信した毛細血管画像とパラメータ受信部(2012)で受信した計算用パラメータとに基いて後述する評価処理等を行う毛細血管画像計算部(2013)と、毛細血管画像計算部(2013)で処理された結果画像および画像の品質判定情報等を前記ウェブインターフェースサーバ(0006)の評価結果ウェブ画面構成部(2005)に出力する計算結果出力部(2014)を有する。
【0044】
評価対象画像受信部(2011)は、前述した通り、被験者の毛細血管画像を受信する機能を有するものであり、有線または無線の受信デバイスと駆動するドライバ等により実現される。
【0045】
パラメータ受信部(2012)は、前記ウェブインターフェースサーバ(0006)のウェブ用HTML構成部(2004)からの計算用パラメータを受信する機能を有するものであり、有線または無線の受信デバイスと駆動するドライバ等により実現される。
【0046】
前記計算用パラメータとしては、例えば年齢/性別補正、後述する毛細血管画像における輝度自動調整、同画像における反射/傾き/ピントの判定の閾値設定が挙げられる。
【0047】
これら計算用パラメータは、後述する毛細血管の評価に影響を及ぼす因子であり、一般に男女ともに年齢が高くなるほど毛細血管の総長さは短くなり、また女性は男性よりも毛細血管の合計長が短くなることから、これら年齢および性別の前記補正を行うか否か、また毛細血管画像の観察装置によって、取得した毛細血管画像の明るさにバラツキがあることから、輝度の平均値を計算して一定値化するような自動輝度補正を行うか否か、或は反射/傾き/ピントの判定処理で良好な画像となる閾値設定を行うかという内容である。
【0048】
毛細血管画像計算部(2013)は、後述する反応拡散方程式による毛細血管自体の分析処理を行う毛細血管分析処理部(2015)と毛細血管画像か否かの画像判別と毛細血管画像の品質判定を行う毛細血管画像判別評価部(2016)を有し、前述した通り、計算用パラメータを使用して後述する要領で毛細血管自体の分析処理と毛細血管画像の判別および品質評価を行う機能を有するものであり、これらの機能は、通常、ソフトウェアによって実現され、該ソフトウェアは当該サーバ(0007)におけるROM等の記録媒体に記憶されている。
【0049】
前記毛細血管分析処理部(2015)における毛細血管自体の評価分析は、例えば本願の出願人による前述した特開2016−202442号公報に記載されているものと同様の方法を用いる。
【0050】
すなわち、
図3に示すように、利用者が利用する端末側の前記顕微鏡形式の毛細血管観察装置(0005)は、指Fを載せる指置き台2と、指置き台2上の指Fにおける爪床部分F1等の観察対象に焦点を合わせるための複数のレンズ等からなる光学系部3と、観察対象に可視光や赤外線等を照射する照明部4と、観察対象を撮影するCCDやCMOS等の撮影素子を具備する撮影部5と、撮影部5における撮影素子を制御するシャッター等の撮影制御部6と、撮影画像のデジタルデータを出力するための画像出力インターフェース7と、前記撮影画像のデジタルデータを伝送するためのUSB、NTSC、無線、或はインターネット等の伝送系部8を備えている。
【0051】
そして、前記毛細血管分析処理部(2015)では、前記毛細血管観察装置(0005)を用いて、身体の部位に、可視光または赤外線を照射して毛細血管を撮影し、その撮影画像を光学的に拡大した画像について、時間的に解の状態が変化する後述の反応拡散方程式を用いて、前記拡大画像の輝度の局所的状態を自動判定すると共に局所的閾値パラメータに基づく方向要素を持たせた二値化によって毛細血管の形態を鮮明化し、この鮮明化された画像における毛細血管の形態を数値化する毛細血管画像処理方法である。そして、後記の方程式における拡散反応は、前述した通り、それ以前の直前の計算処理の結果により変動する変数パラメータaを用いて方向性を持たせた画像処理を行うものである。
【0052】
前記反応拡散方程式は、
【数1】
前記ε、b、c、dはいずれも定数パラメータ、Du、Dvは拡散パラメータであり、またaはそれ以前の計算処理の結果により変動する変数パラメータ(閾値パラメータ)である。そして、数値化が、横方向の反応拡散による二値化によって縦方向の毛細血管を鮮明化し、この鮮明化された縦方向の毛細血管の長さ、太さおよび本数の算出であったり、或は、縦横方向の反応拡散による二値化によって横方向の毛細血管の有無、並びに該毛細血管がある場合のその鮮明化による長さ、太さおよび本数の算出であったり、または前記数値化が、縦横方向の反応拡散による二値化と骨格化処理によって細線化された毛細血管の捩れや曲がりの算出である。
【0053】
前記毛細血管判別評価部(2016)は、前述した計算用パラメータによる毛細血管画像の判別と品質の評価を行うものである。
【0054】
図4に示すように、前記情報端末(0002)〜(0004)は、前記毛細血管評価センター(0001)とインターネット等の通信ネットワークを介してアクセスする通信部(4001)と、前記毛細血管観察装置(0005)との接続を行うコネクタ部(4002)と、毛細血管画像を被験者のID等とともに記憶する毛細血管画像記憶部(4003)と、毛細血管画像を表示する毛細血管画像表示部(4004)と、利用者のIDやパスワード等を入力する入力部(4005)と、毛細血管画像記憶部(4003)やコネクタ部(4002)から毛細血管画像を取得する毛細血管画像取得部(4006)等を有する。
【0055】
なお、前記通信部(4001)は、通信モジュールやモデムにより実現され、コネクタ部(4002)はハードウエアインターフェースのコネクタ、接続端子等であり、毛細血管画像記憶部(4003)はハードディスク等の記録媒体と記録するソフトウェアで実現される。
【0056】
また、毛細血管画像表示部(4004)は、通常、ディスプレイであり、前記毛細血管画像の他、毛細血管評価センター(0001)へのアクセスによって閲覧される前記毛細血管の評価や画像品質判定結果等を表示する。
【0057】
この他、前記入力部(4005)はキーボードやタッチパネル等であり、毛細血管画像取得部(4006)は、通常、ソフトウェアで実現される。
【0058】
次に、
図5に示すように、前述した毛細血管評価センター(0001)におけるウェブインターフェースサーバ(0006)と毛細血管評価サーバ(0007)とによる関連動作について説明すると、先ず、ウェブインターフェースサーバ(0006)では、情報端末(0002)〜(0004)を使った利用者からのログイン制御を行ない(S5001)、所定のログインIDやパスワードによって利用者確認と該利用者の履歴保存を行う(S5002)。次に、利用者の情報端末(0002)〜(0004)からの被験者情報と該被験者の毛細血管画像を受け付け(S5003)、これらを前記利用者関係管理データベース(2002)に保存する(S5004)。その後、前記毛細血管画像を計算用パラメータと共に、毛細血管評価サーバ(0007)に転送する(S5005)。前記計算用パラメータとしては、例えば、被験者の年代や性別による補正を行うか否か(ON/OFF)、毛細血管画像における輝度の自動調整機能のON/OFF、更には後述する毛細血管画像における光源反射、傾きおよびピントの判定における閾値の設定等が挙げられる。
【0059】
そして、前記毛細血管評価サーバ(0007)では、前記毛細血管画像および計算用パラメータを受信し(S5006)、先ず前記毛細血管画像が真正なものであるか否かを後述の方法で判断する(S5007)。
【0060】
すなわち、
図11に示すように、情報端末(0002)〜(0004)は、クラウド型である当該毛細血管遠隔評価システムにおいて、専用の端末ではないため、画像フォルダ(1101)には、前記毛細血管観察装置(0005)によって取得した毛細血管画像(1102)以外に、風景写真(1103)や天体画像(1104)、CG画像(1105)、テスト画像(1106)およびイラスト(1107)等といった毛細血管画像ではない画像がランダムに入っている場合が多く、誤ってこれら画像が送信された場合には、自動的に評価は行わず、エラーと判断し、エラー結果をウェブインターフェースサーバ(0006)に転送する。
【0061】
一方、前記画像判断ステップ(S5007)で、画像が真正な毛細血管画像であると判断された際に、後述する光源反射の判定(S5009)、ピント合致率の判定(S5010)、および反応拡散方程式による二値化(S5011)、毛細血管の傾き判定(S5012)を行ない、また毛細血管自体の評価としてその長さ、曲がりや本数および合計長等を算出する(S5013)。そして、前述した毛細血管画像についての光源反射の判定(S5009)、ピント合致率の判定(S5010)、反応拡散方程式による二値化(S5011)および毛細血管の傾き判定(S5012)による毛細血管画像の総合的な品質判定と前記毛細血管自体の評価と前記処理済の毛細血管画像を前記ウェブインターフェースサーバ(0006)に転送する(S5014)。また該転送は前述した毛細血管画像のエラー判定の際にもエラー画面として行なわれる。そして、最終的には、このような種々の結果や評価判定がウェブインターフェースサーバ(0006)に受信されると共に、そのウェブ画面が構成され(S5015)、これが計算結果等履歴として保存され(S1516)。また、前記ウェブ画面が前記情報端末(0002)〜(0004)で閲覧表示される。なお、以上のような処理における順序は限定的なものではなく、例えば前記光源反射の判定(S5009)やピント合致率の判定(S5010)等は任意に行われ得る。
【0062】
図6に示すように、前記ウェブ評価画面として、例えば被験者の性別、年代、毛細血管の合計長、毛細血管の評価点および画像の品質判定としての信頼度(最高評価が5つ星で、前記減点処理によって4つ星から一つ星までの下位評価となる)が表示される。
【0063】
図7に示すように、前述した毛細血管評価サーバ(0007)の毛細血管画像計算部(2013)の毛細血管画像判別評価部(2016)における毛細血管画像の自動判別処理の一例について説明すると、自動判別の大きな流れとしては、先ずオートホワイトバランス(AWB)処理を行なって画像毎の色味の差を標準化し(S7001)、次に自動輝度補正処理を行なって画像毎の明度差を標準化し(S7002)、最後に判別パラメータに基づく毛細血管画像の判別を行なう(S7003)。なお、これら判別で判別パラメータの設定は人的でも深層学習法に基いても良い。
【0064】
より詳細には、先ず前記色味の差の標準化(S7001)として、RGB画像をYUVに変換し(S7001A)、その輝度分布から背景部抽出し(S7001B)、該背景部を無彩色と仮定して(S7001C)、その無彩色目標値を決めてピクセル毎のRGB値を乗算演算で補正する(S7001D)。その後、前記明度の差の標準化(S7002)として、RGB画像をグレースケール変換し(S7002A)、該グレースケール画像から平均輝度を算出し(S7002B)、所定の輝度目標値を基にRGBピクセル輝度を加減演算補正する(S7002C)。そして、最終的な判別処理(S7003)として、RGB画像をHSVに変換し(S7003A)、ピクセル毎のHSV平均値と標準偏差を求め(S7003B)、前記HSV平均値と標準偏差が所定の範囲内に収まっているか否かを判断する(S7003C)。この際、最終的に所定範囲内であれば、毛細血管画像と判定し、所定範囲内に収まっていない場合には、毛細血管画像ではないと判定する。
【0065】
図8、
図12および
図13に示すように、前記光源反射の判定処理の一例について説明すると、先ず、RGB画像をグレースケールに変換し(S8001)、その輝度分布から反射部を抽出し(S8002)、該反射部の面積を閾値判定し(S8003)、前記面積が所定の範囲内か否かを検知し(S8004)、所定の範囲内にある場合には信頼度評価について減点処理をせず(S8005)、所定の範囲を超えている場合には毛細血管の分析・評価の精度に影響するため、その度合いによって減点処理を行い(S8006)、前記反射部抽出ステップ(S8002)で抽出した画像に基いて反射部の合成画像(参照用)を作成する(S8007)。
【0066】
前述した
図8の画像処理によって、
図12(a)〜(c)の白色の光反射画像が、
図13(a)〜(c)の画像に変換され、
図13(a)〜(c)のうち、
図13(a)の画像は反射部分を示す黒色の範囲が最も広いために反射範囲が広いとして前記判定処理で大幅減点となり、
図13(b)(c)の画像は黒色の反射部分が(a)に比べて少ないため、減点も少なくなる。
【0067】
図9、
図14および
図15に示すように、前記ピント合致率の判定処理の一例について説明すると、先ず、RGB画像をグレースケールに変換し(S9001)、次に輪郭抽出フィルターで輪郭を抽出し(S9002)、局所平均二値化を行なう(S9003)。その後、ピント合致量またはピント合致率を算出し(S9004)、それらの算出値を閾値判定し(S9005)、その結果が所定の範囲内か否かを判定し(S9006)、所定の範囲に達している場合には減点処理をせず(S9007)、所定の範囲に達していない場合には、その度合いによって減点処理し(S9008)、前記二値化ステップ(S9003)で抽出した画像に基いてピント合成画像(参照用)を作成する(S9009)。
【0068】
前述した
図9の画像処理によって、
図14(a)〜(c)の画像が、
図15(a)〜(c)のピント合致率の画像に変換され、
図15(a)〜(c)のうち、
図15(a)(b)は、ピント合致を示す白色斑の範囲が多いため、減点がないか僅かであるのに対して、
図15(c)は白色斑の範囲が非常に少ないため、大きく減点された評価となり、このような画像に基づく毛細血管自体の評価は信頼度が低いということになる。
【0069】
図10、
図16および
図17に示すように、前述した毛細血管評価サーバ(0007)による毛細血管画像の傾き判定処理の一例について説明すると、該判定の大きな流れとしては、先ず前処理として反応拡散方程式による二値化処理を行ない(S1001)、次に毛細血管ごとの傾き計算処理を行ない(S1002)、最終的には前記傾きが許容範囲内であるか否かを判定する(S1003)。
【0070】
より詳細には、先ず前記反応拡散二値化処理(S1001)として、先ず、RGB画像をグレースケールに変換し(S1001A)、次に反応拡散方程式による二値化を行ない(S1001B)、その後、細線化処理し(S1001C)、次に画像中の各毛細血管の領域を特定する(S1001D)。その後、前記傾き計算処理(S1002)として、各毛細血管の頭頂部を検出し(S1002A)、該頭頂部領域の削除処理を行ない(S1002B)、その後に残った直線部分の血管をそれぞれラベリングして個別血管と特定し(S1002C)、その後、個別血管を矩形枠で囲んで、その対角線の角度を算出して血管毎の傾き値とする(S1002D)。次に、前記傾きの許容範囲判定(S1003)として、先ず血管毎の中央値を求め(S1003A)、該中央値を傾き閾値判定し(S1003B)、傾きが許容範囲内にあるか否かを検知し(S1003C)、許容範囲内にある場合には減点処理せず(S1003D)、傾きが許容範囲から外れている場合には、その度合いに応じて減点評価する(S1003E)。
【0071】
前述した
図10の画像処理によって、
図16(a)(b)の画像が、
図17(a)(b)の傾き画像に変換され、
図17(a)(b)は、いずれも一部に毛細血管の傾きが見られるものの、全体として比較的傾きの少ない毛細血管が多いため、いずれも画像も減点がないか僅かな減点だけという判定となる。
【産業上の利用可能性】
【0072】
本発明によれば、遠隔での毛細血管の適切な評価が行えるため、医療分野や健康管理分野および介護分野等において幅広い利用が期待できる。
【符号の説明】
【0073】
(0001) 毛細血管評価センター
(0002)〜(0004) 情報端末
(0005) 毛細血管観察装置
(0006) ウェブインターフェースサーバ
(0007) 毛細血管評価サーバ
(2001) ウェブインターフェース
(2002) 利用者関係管理データベース
(2003) 毛細血管評価受付部
(2004) ウェブ用HTML構成部
(2005) 評価結果ウェブ画面構成部
(2013) 毛細血管画像計算部
(2015) 毛細血管分析処理部
(2016) 毛細血管画像判別評価部