特開 2024-98259 臓器評価システム及び臓器評価方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098259

(43)【公開日】2024-07-23

(54)【発明の名称】臓器評価システム及び臓器評価方法

(51)【国際特許分類】

   A61B 5/026 20060101AFI20240716BHJP

【ＦＩ】

A61B5/026 140

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023001648

(22)【出願日】2023-01-10

(71)【出願人】

【識別番号】504150450

【氏名又は名称】国立大学法人神戸大学

(71)【出願人】

【識別番号】510241915

【氏名又は名称】エバ・ジャパン 株式会社

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】浦出 剛史

(72)【発明者】

【氏名】福本 巧

(72)【発明者】

【氏名】野呂 直樹

(72)【発明者】

【氏名】高良 洋平

【テーマコード（参考）】

4C017

【Ｆターム（参考）】

4C017AA11

4C017AC27

4C017BC07

4C017BD06

(57)【要約】

【課題】患者に負担をかけることなく、臓器の血流を評価することが可能な臓器評価システム及び臓器評価方法を提供する。
【解決手段】臓器評価システムは、手術中のユーザの臓器を含む画像を取得する取得手段と、前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記臓器の血流を評価する評価手段とを備えることを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの臓器を含む画像を取得する取得手段と、
前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、
前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記臓器の血流に関する血流情報を評価する評価手段とを備えること
を特徴とする臓器評価システム。

【請求項2】

前記評価手段は、前記スペクトル取得手段により取得されたスペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、前記正規化波長と前記評価波長との間において、前記正規化波長と前記評価波長との分光強度の差に基づいて前記血流情報を評価すること
を特徴とする請求項１に記載の臓器評価システム。

【請求項3】

前記評価手段は、４５０ｎｍ～８００ｎｍの波長帯に含まれる特定波長を第１正規化波長とし、５５０ｎｍ～９５０ｎｍの波長帯に含まれる特定波長を第１評価波長として選択すること
を特徴とする請求項２に記載の臓器評価システム。

【請求項4】

前記評価手段は、予め取得された参照用スペクトル画像と血流情報の評価とからなるデータセットを学習データとして用い、入力を前記参照用スペクトル画像とし、出力を前記血流情報の評価として、機械学習により生成された評価モデルを用いて、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記血流情報を評価すること
を特徴とする請求項１に記載の臓器評価システム。

【請求項5】

前記スペクトル取得手段は、取得した前記スペクトル画像から、予め取得された臓器を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した前記波長を示す前記スペクトル画像を取得すること
を特徴とする請求項１に記載の臓器評価システム。

【請求項6】

前記スペクトル取得手段は、予め取得された参照用スペクトル画像と臓器を示すスペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を前記臓器を示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、取得した前記スペクトル画像に基づいて、前記臓器を示すスペクトル画像を取得すること
を特徴とする請求項１に記載の臓器評価システム。

【請求項7】

前記取得手段は、前記臓器に照射される光を含む光源画像をさらに取得し、
前記スペクトル取得手段は、前記取得手段により取得された前記光源画像に対する前記画像の相対反射率に基づくスペクトル画像を取得すること
を特徴とする請求項１に記載の臓器評価システム。

【請求項8】

前記取得手段は、前記光源画像を撮像したときの撮像条件を示す撮像条件情報を取得し、取得した撮像条件情報に応じて、前記画像を補正すること
を特徴とする請求項７に記載の臓器評価システム。

【請求項9】

前記評価手段により評価された血流情報に基づいて、前記臓器に灌流する血液の量を算出する血流算出手段をさらに備えること
を特徴とする請求項１に記載の臓器評価システム。

【請求項10】

臓器を含む画像を取得する取得ステップと
前記取得ステップにより取得された画像に基づく、スペクトル画像を取得するスペクトル取得ステップと、
前記スペクトル取得ステップにより取得されたスペクトル画像に基づき、前記血流情報を評価する評価ステップとをコンピュータに実行させること
を特徴とする臓器評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、臓器評価システム及び臓器評価方法に関する。

【背景技術】

【0002】

従来より、手術中において、臓器の血流に応じて、患者にかかる負担が大きく変化する。例えば、臓器の血流が少なく、虚血となった場合、患者に大きな負担がかかる。また、臓器の血流に応じて、血液を灌流する必要がある。このため、例えば特許文献１に記載されているような臓器に流れる血流に関する血流情報を測定することが可能な技術が必要とされている。

【0003】

特許文献１では、血管壁の近くにパルスを与えるためのアクチュエータとパルスの到達を感知するためのセンサとを用いて、臓器の血流情報を測定するシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０２１ー５０４０００公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されている臓器の血流情報を測定するシステムでは、血管壁の近くにパルスを与えることを前提としている。このため、臓器の血流情報を測定するためには、患者に負担がかかることが問題とされていた。

【0006】

そこで本発明は、上述した問題点を解決するために導出されたものであり、その目的とするところは、患者に負担をかけることなく、臓器の血流情報を評価することが可能な臓器評価システム及び臓器評価方法を提供することにある。

【課題を解決するための手段】

【0007】

第１発明に係る臓器評価システムは、ユーザの臓器を含む画像を取得する取得手段と、前記取得手段により取得された画像に基づくスペクトル画像を取得するスペクトル取得手段と、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記血流情報を評価する評価手段とを備えることを特徴とする。

【0008】

第２発明に係る臓器評価システムは、第１発明において、前記評価手段は、前記スペクトル取得手段により取得されたスペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、前記正規化波長と前記評価波長との間において、前記正規化波長と前記評価波長との分光強度の差に基づいて前記血流情報を評価することを特徴とする。

【0009】

第３発明に係る臓器評価システムは、第２発明において、前記評価手段は、４５０ｎｍ～８００ｎｍの波長帯に含まれる特定波長を第１正規化波長とし、５５０ｎｍ～９５０ｎｍの波長帯に含まれる特定波長を第１評価波長として選択することを特徴とする。

【0010】

第４発明に係る臓器評価システムは、第１発明において、前記評価手段は、予め取得された参照用スペクトル画像と血流情報の評価とからなるデータセットを学習データとして用い、入力を前記参照用スペクトル画像とし、出力を前記血流情報の評価として、機械学習により生成された評価モデルを用いて、前記スペクトル取得手段により取得されたスペクトル画像に基づき、前記血流情報を評価することを特徴とする。

【0011】

第５発明に係る臓器評価システムは、第１発明において、前記スペクトル取得手段は、取得した前記スペクトル画像から、予め取得された臓器を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した前記波長を示す前記スペクトル画像を取得することを特徴とする。

【0012】

第６発明に係る臓器評価システムは、第１発明において、前記スペクトル取得手段は、予め取得された参照用スペクトル画像と臓器を示すスペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を前記臓器を示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、取得した前記スペクトル画像に基づいて、前記臓器を示すスペクトル画像を取得することを特徴とする。

【0013】

第７発明に係る臓器評価システムは、第１発明において、前記取得手段は、前記臓器に照射される光を含む光源画像をさらに取得し、前記スペクトル取得手段は、前記取得手段により取得された前記光源画像に対する前記画像の相対反射率に基づくスペクトル画像を取得することを特徴とする。

【0014】

第８発明に係る臓器評価システムは、第７発明において、前記取得手段は、前記光源画像を撮像したときの撮像条件を示す撮像条件情報を取得し、取得した撮像条件情報に応じて、前記画像を補正することを特徴とする。

【0015】

第９発明に係る臓器評価システムは、第１発明において、前記評価手段により評価された血流情報に基づいて、前記臓器に灌流する血液の量を算出する血流算出手段をさらに備えることを特徴とする。

【0016】

第１０発明に係る臓器評価方法は、臓器を含む画像を取得する取得ステップと前記取得ステップにより取得された画像に基づく、スペクトル画像を取得するスペクトル取得ステップと、前記スペクトル取得ステップにより取得されたスペクトル画像に基づき、前記血流情報を評価する評価ステップとをコンピュータに実行させることを特徴とする。

【発明の効果】

【0017】

第１発明～第１０発明によれば、臓器評価システム及び臓器評価方法は、スペクトル画像に基づき、臓器の血流情報を評価する。これにより、非接触で患者の臓器の血流情報を評価することが可能であるため、患者に負担をかけることなく臓器の血流情報を評価できる。

【0018】

特に、第２発明によれば、正規化波長と評価波長との分光強度の差に基づいて臓器の血流情報を評価する。これにより、撮像されたスペクトル画像の特徴を分離することができる。このため、より高精度に臓器の血流情報を評価することができる。

【0019】

特に、第３発明によれば、４５０ｎｍ～８００ｎｍの波長帯に含まれる特定波長を第１正規化波長とし、５５０ｎｍ～９５０ｎｍの波長帯に含まれる特定波長を第１評価波長として選択する。これにより、第１正規化波長と第１評価波長とをそれぞれ適した波長帯の波長を利用できるため、より正確に評価することが可能となる。

【0020】

特に、第４発明によれば、評価モデルを用いて、スペクトル画像に基づき、臓器の血流情報を評価する。これにより、機械学習により高精度に臓器の血流情報を評価することが可能となる。

【0021】

特に、第５発明によれば、画像から、予め取得された臓器の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した波長を示すスペクトル画像を取得する。これにより、スペクトル画像に含まれる臓器のみを抽出し、その他のノイズを排除することが可能となるため、より高精度に臓器の血流情報の評価が可能となる。

【0022】

特に、第６発明によれば、抽出モデルを用いて、スペクトル画像に基づいて、臓器を示すスペクトル画像を取得する。これにより、スペクトル画像に含まれる臓器のみを抽出し、その他のノイズを排除することが可能となるため、より高精度に臓器の血流情報の評価が可能となる。

【0023】

特に、第７発明によれば、光源画像に対する画像の相対反射率に基づくスペクトル画像を取得する。これにより、光源画像を基準としてスペクトル画像を取得するため、ノイズを排除した画像を用いることが可能となる。

【0024】

特に、第８発明によれば、撮像条件情報を取得し、取得した撮像条件情報に応じて、画像を補正する。これにより、撮影時の光量等の条件を補正することが可能となり、ノイズを排除した画像を用いることが可能となる。

【0025】

特に、第９発明によれば、血流情報に基づいて、臓器に灌流する血液の量を算出する。これにより、手術中においても患者に負担をかけることなく、適切な量の血液の灌流の判断が可能となる。

【図面の簡単な説明】

【0026】

【図1】図１は、本実施形態における臓器評価システムの構成の一例を示す模式図である。

【図2】図２（ａ）は、本実施形態における臓器評価装置の構成の一例を示す模式図であり、図２（ｂ）は、本実施形態における臓器評価装置の機能の一例を示す模式図である。

【図3】図３は、本実施形態における臓器評価システムの動作のフローチャートの一例を示す図である。

【図4】図４（ａ）は、本実施形態における虚血中の臓器の画像の一例を示す図である。図４（ｂ）は、本実施形態における虚血中の臓器のスペクトル画像の一例を示す図である。図４（ｃ）は、本実施形態における灌流後の臓器の画像の一例を示す図である。図４（ｄ）は、本実施形態における灌流後の臓器のスペクトル画像の一例を示す図である。

【図5】図５は、本実施形態における抽出モデルの一例を示す図である。

【図6】図６は、波長毎のスペクトル強度の一例を示すグラフである。

【図7】図７は、本実施形態における評価モデルの一例を示す図である。

【発明を実施するための形態】

【0027】

以下、本発明を適用した実施形態における臓器評価システムの一例について、図面を用いて説明する。

【0028】

図１は、臓器評価システム１００の構成の一例を示す模式図である。臓器評価システム１００は、例えば図１に示すように、臓器評価装置１と、サーバ３と、撮像装置５と照明器具６とを有するユーザ端末２とが公共通信網４を介して接続される。また、臓器評価システム１００は、公共通信網４を介することなく接続された、臓器評価装置１と撮像装置５とのみを備えていてもよい。

【0029】

サーバ３は、臓器評価装置１及びユーザ端末２から送信された画像等の各種データを記憶する記憶媒体である。また、サーバ３は、必要に応じて記憶した各種データを臓器評価装置１及びユーザ端末２に送信する。サーバ３は、例えば臓器評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば臓器評価装置１の代わりに少なくとも一部の処理を行ってもよい。

【0030】

公共通信網４は、例えば臓器評価装置１が通信回路を介して接続されるインターネット網等である。公共通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、公共通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。ユーザ端末２は、例えば臓器評価システム１００を用いたサービスのユーザ等が保有し、公共通信網４を介して臓器評価装置１と接続される。ユーザ端末２は、例えばデータベースを生成する電子機器を示してもよい。ユーザ端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。ユーザ端末２は、例えば臓器評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。ユーザ端末２は、ユーザに臓器７の血流情報の評価結果を提示できる図示しないディスプレイ、又はスピーカを備えていてもよい。

【0031】

照明器具６は、撮像装置５によるユーザの臓器７を含む画像を撮像する際に、臓器７を照らす任意の照明器具である。照明器具６は、任意の波長の光を照射してもよい。照明器具６は、ハロゲンライト、又はファイバー光源であってもよい。また、照明器具６は、ハロゲンライト及びファイバー光源の二つの光源を用いてもよい。

【0032】

撮像装置５は、ユーザの臓器７を撮像して画像及びスペクトル画像を生成する公知のカメラである。撮像装置５として、例えばＲＧＢカメラ、マルチスペクトルカメラ、ターゲットスペクトルカメラ、ハイパースペクトルカメラ等が用いられてもよい。また、撮像装置５は、特定波長の光の強度を示すモノクロが画像を撮像するカメラであってもよい。撮像装置５は、例えば特定波長の光の強度を測定する受光センサであってもよい。撮像装置５は、例えば動画を撮影するビデオカメラであってもよく、臓器評価装置１に内蔵されてもよい。撮像装置５がスペクトルビデオカメラの場合は、例えば撮像された動画の一部からスペクトル画像が抽出されてもよい。撮像装置５は、撮像した画像をユーザ端末２に出力する。また、撮像装置５は、ユーザ端末２を介することなく、公共通信網４を介して、臓器評価装置１に撮像した画像を出力してもよい。

【0033】

臓器７は、例えばユーザの肝臓、胆嚢、膵臓等の臓器である。また、ユーザは、人間に限らず、牛や豚、犬等の動物であってもよい。

【0034】

臓器評価装置１は、ユーザ端末２から出力された画像及びスペクトル画像に基づいて、それぞれ処理を行う。臓器評価装置１は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、Ｒａｓｐｂｅｒｒｙ Ｐｉ（登録商標）等のシングルボードコンピュータが用いられてもよく、例えば撮像装置５が内蔵されてもよい。

【0035】

臓器評価装置１は、例えば撮像装置５から出力された臓器７を含む画像を取得し、取得した画像に基づく、スペクトル画像を取得し、取得したスペクトル画像に基づき、臓器７の血流情報を評価する。

【0036】

次に図２を参照して、本実施形態における臓器評価装置１の一例を説明する。図２（ａ）は、本実施形態における臓器評価装置１の構成の一例を示す模式図であり、図２（ｂ）は、本実施形態における臓器評価装置１の機能の一例を示す模式図である。

【0037】

臓器評価装置１は、例えば図２（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とは、内部バス１１０により接続される。

【0038】

ＣＰＵ１０１は、臓器評価装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、画像やスペクトル画像、抽出モデル及び評価モデル等の各種情報が保存される。保存部１０４は、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（Solid State Drive）やＳＤカード、ｍｉｎｉＳＤカード等のデータ保存装置が用いられる。なお、例えば臓器評価装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。

【0039】

Ｉ／Ｆ１０５は、公共通信網４を介して各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、臓器評価装置１を利用するユーザ等は、入力部１０８を介して、各種情報又は臓器評価装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された評価結果等の各種情報、または臓器評価装置１の処理状況等を出力する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

【0040】

保存部１０４は、例えば撮像装置５から取得した画像及びスペクトル画像が記憶されるほか、スペクトル画像等に関連する情報、血流情報の評価に用いられるアルゴリズム、抽出モデル及び評価モデル等が記憶される。

【0041】

表示部１０９は、各種情報を表示する。表示部１０９は、例えば評価結果、画像等を表示する。

【0042】

図２（ｂ）は、臓器評価装置１の機能の一例を示す模式図である。臓器評価装置１は、取得部１１と、画像処理部１２と、評価部１３と、記憶部１４と、出力部１５と、変換部１６と、抽出部１７と、診断部１８とを備える。なお、図２（ｂ）に示した取得部１１と、画像処理部１２と、評価部１３と、記憶部１４と、出力部１５と、変換部１６と、抽出部１７と、診断部１８は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

【0043】

取得部１１は、画像及びスペクトル画像を取得する。取得部１１は、撮像装置５が撮像した画像を、ユーザ端末２を介して取得する他、例えば臓器評価装置１に内蔵された撮像装置５から、画像及びスペクトル画像を取得するようにしてもよい。また、サーバ３等から公共通信網４を介して画像及びスペクトル画像を取得してもよい。なお、取得部１１が各種情報を取得する頻度、及び周期は、任意である。また、取得部１１は、ユーザの状態に関する状態情報を取得してもよい。状態情報は、例えばユーザの体調を示す情報である。また、取得部１１は、ユーザに関するユーザ情報を取得してもよい。ユーザ情報は、例えばユーザの年齢や性別、持病等を示す情報である。

【0044】

画像処理部１２は、取得部１１により取得された画像に補正等の処理を行う。

【0045】

変換部１６は、画像処理部１２により処理された画像に基づいて、スペクトル画像を取得する。かかる場合、例えば変換部１６は、画像を、画像に含まれるスペクトルを示すスペクトル画像に変換する。

【0046】

抽出部１７は、変換部１６により取得されたスペクトル画像から、臓器７を示すスペクトル画像を抽出する。

【0047】

評価部１３は、抽出部１７により抽出されたスペクトル画像に基づき、血流情報を評価する。

【0048】

診断部１８は、評価部１３により評価された血流情報に基づき、ユーザの健康状態を診断する。

【0049】

記憶部１４は、保存部１０４に保存された各種情報を必要に応じて取り出す。記憶部１４は、取得部１１と、画像処理部１２と、評価部１３と、変換部１６と、抽出部１７と、診断部１８とにより取得又は出力された各種情報を、保存部１０４に保存する。

【0050】

出力部１５は、各種情報を出力する。出力部１５は、Ｉ／Ｆ１０７を介して表示部１０９に評価結果を送信する。

【0051】

次に、本実施形態における臓器評価システム１００の動作の一例について説明する。図３は、本実施形態における臓器評価システム１００の動作の一例を示すフローチャートである。

【0052】

まず、ステップＳ１１０において、取得部１１は、臓器７を含む画像を取得する。かかる場合、例えば撮像装置５により撮像された画像を公共通信網４を介して取得してもよい。また、撮像装置５により、画像を撮像するとき、照明器具６を用いて臓器７に光を照射してもよいがこの限りではなく、照明器具６を用いることなく画像を撮像してもよい。また、例えばサーバ３に記憶されている臓器７を含む画像を、公共通信網４を介して取得してもよい。取得部１１は、撮像装置５により撮像された画像を、Ｉ／Ｆ１０５を介して取得してもよい。取得部１１は、例えば記憶部１４を介して、画像を保存部１０４に保存する。臓器７を含む画像は、例えば図４（ａ）に示すような、臓器７を含む画像である。また、ステップＳ１１０において、撮像装置５は、手術中の臓器を撮像してもよい。手術は、例えば開腹手術、腹腔鏡手術等である。かかる場合、開腹手術においては、照明装置６として、ハロゲンライトを用いて、腹腔鏡手術においては、照明装置６として、ファイバー光源を用いてもよい。

【0053】

また、ステップＳ１１０において、取得部１１は、ユーザの状態に関する状態情報と、ユーザの状態毎にそれぞれ異なる臓器７を含む画像をそれぞれ取得してもよい。状態情報は、ユーザの状態に関する情報であり、例えばユーザの健康、病気、疾患、疾患の経過、体調等に関する情報である。また、臓器７が虚血中、臓器７に血液を灌流した後等の臓器７の状態に関する情報であってもよい。かかる場合、例えばステップＳ１１０において、図４（ａ）に示す虚血の臓器７を含む画像と、図４（ｂ）に示す血液を灌流後の臓器７を含む画像とをそれぞれ取得してもよい。

【0054】

また、ステップＳ１１０において、取得部１１は、２以上の時点におけるユーザのそれぞれ異なる臓器７を含む画像をそれぞれ取得してもよい。かかる場合、例えばステップＳ１１０において、ある時点におけるユーザの臓器７を含む画像と、日時が異なる時点におけるユーザの臓器７を含む画像とをそれぞれ取得してもよい。

【0055】

また、ステップＳ１１０において、取得部１１は、ユーザに関するユーザ情報を取得してもよい。ユーザ情報は、ユーザに関する情報であり、例えばユーザの状態情報、年齢、性別、持病等に関する情報である。

【0056】

次に、ステップＳ１２０において、画像処理部１２は、ステップＳ１１０において、取得部１１により取得された画像に補正等の処理を行う。画像処理部１２は、例えば画像を平滑化する。かかる場合、まず画像処理部１２は、例えばミディアンフィルタ、ガウシアンフィルタ、移動平均、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ法等を用いて、画像を平滑化する。また、画像処理部１２は、例えば画像を平滑化し、平滑化された画像と平滑化される前の画像に基づいて、ラプラシアンフィルタ（２階微分）、アンシャープ方式等を用いて、画像を先鋭化してもよい。かかる場合、画像処理部１２は、例えば平滑化された画像と平滑化される前の画像との差分を算出し、差分を大きくするように画像を先鋭化する。平滑化は、画像をぼかすことであり、例えば画像の画素値の変化を小さくする処理である。先鋭化は、例えば画像の画素値の変化を大きくする処理である。

【0057】

次に、ステップＳ１３０において、変換部１６は、画像処理部１２より処理された画像に基づく、スペクトル画像を取得する。ステップＳ１３０において、変換部１６は、例えば図４（ｂ）に示すようなスペクトル画像を取得する。変換部１６は、例えば臓器７に照射される光を含む光源画像に対する画像の相対反射率に基づくスペクトル画像を取得する。臓器７に照射される光は、ステップＳ１１０において、画像を撮像するときに臓器７に照射した光、又は同等の波長の光である。また、ステップＳ１３０において、変換部１６は、例えば白板を撮像した白板画像に対する画像の相対反射率に基づくスペクトル画像を取得する。白板は、一定の反射率を要する基準板である。これにより照明光源の変動によらず、血流情報およびその他構成物の相対反射率を算出し、比較することができる。

【0058】

また、ステップＳ１３０において、変換部１６は、ステップＳ１１０において取得部１１が取得したそれぞれの画像をそれぞれスペクトル画像に変換してもよい。例えば、ステップＳ１１０により取得した図４（ａ）に示す虚血の臓器７を含む画像と、図４（ｂ）に示す血液を灌流後の臓器７を含む画像とをそれぞれ、図４（ｃ）、図４（ｄ）に示すようなスペクトル画像に変換してもよい。

【0059】

また、ステップＳ１３０において、変換部１６は、光源画像又は白板画像を撮像するときの条件である撮像条件と、臓器７を撮像するときの撮像条件とに基づいて、画像を補正してもよい。撮像条件は、例えば撮像するときのゲイン、露光時間、明るさ等である。例えば、変換部１６は、光源画像又は白板画像を撮像するときの照明器具６の光強度と、ステップＳ１１０において取得した画像を撮像するときの照明器具６の光強度の差に基づいて、画像のゲイン及び露光時間を補正する。

【0060】

次に、ステップＳ１４０において、抽出部１７は、ステップＳ１３０において取得したスペクトル画像から臓器７に含まれる血液である臓器７を示す図４（ｃ）に示すようなスペクトル画像を抽出する。例えば抽出部１７は、スペクトル画像から、予め取得された臓器７の波長を示す基準波長との差分が閾値以下となる波長を抽出し、抽出した波長を示すスペクトル画像を取得する。例えば抽出部１７は、ＳＡＭ（Spectral Angle Mapper）法等を用いて、予め取得された臓器７の波長を示す基準波長と近似するスペクトルを抽出する。基準波長は、例えば４５０ｎｍ～９５０ｎｍの波長範囲内から選択した任意の波長である。これにより、画像に含まれる臓器７のみを抽出し、ノイズを排除することが可能となる。また、抽出部１７は、ステップＳ１３０において取得したスペクトル画像から、後述するＮＤＳＩ（normalized difference spectral index、正規化分光反射指数）の数値に基づいて、スペクトル画像からノイズを除去してもよい。かかる場合、例えば波長が８５０ｎｍの場合の相対反射率をＩ₈₅₀、波長が７５０ｎｍの場合の相対反射率をＩ₇₅₀とした場合のＩ₈₅₀／Ｉ₇₅₀のＮＤＳＩが１０以上となる箇所をノイズとして除去してもよい。また、６５０ｎｍの波長の相対反射率が５％以下又は６５％以上である場合、その個所をノイズとして除去してもよい。ノイズは、例えば評価対象となる臓器７以外のもの、又は影部分、ハレーション等を含む。

【0061】

また、ステップＳ１４０において、抽出部１７は、予め取得された参照用スペクトル画像と臓器７のスペクトルを示す臓器スペクトル画像とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を臓器７示すスペクトル画像として、機械学習により生成された抽出モデルを用いて、ステップＳ１３０により取得されたスペクトル画像に基づいて、臓器スペクトル画像を抽出してもよい。臓器スペクトル画像は、例えば、図４（ｃ）、図４（ｄ）に示すような画像である。

【0062】

抽出モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、抽出モデルを生成してもよい。抽出モデルは、例えばＣＮＮ（Convolution Neural Network） 等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。また、抽出モデルの生成方法として、例えば線形判別、サポートベクターマシン、ｋ－近傍法、ランダムフォレスト、ディープラーニング等を用いて、抽出モデルを生成してもよい。

【0063】

かかる場合、抽出モデルには、例えば図５のように、入力データである参照用スペクトル画像と出力データである臓器７のスペクトルを示す臓器スペクトル画像との間における連関度を有する連関性が記憶される。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等の３値以上又は３段階以上で示されるほか、２値又は２段階で示されてもよい。また、参照用スペクトル画像は、予め取得した学習データに用いるための臓器７を含むスペクトル画像である。また、臓器スペクトル画像は、ステップＳ１４０と同様の方法で取得したスペクトル画像であってもよい。臓器スペクトル画像は、例えば臓器７を含むスペクトル画像から、ＳＡＭ法等を用いて、予め取得された臓器７の波長を示す基準波長と近似する臓器７のスペクトルを抽出したスペクトル画像であってもよい。

【0064】

例えば連関性は、複数の入力データ、対、複数の出力データの間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数を用いた分類器を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。連関性は、例えば図５に示すように、複数の入力データと、複数の出力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、図５の「参照用スペクトル画像Ａ」～「参照用スペクトル画像Ｃ」のそれぞれの入力データに対し、「臓器スペクトル画像Ａ」～「臓器スペクトル画像Ｃ」の複数の出力データとの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、入力データに対して多角的な出力データの選択を実現することができる。

【0065】

連関性は、例えば各入力データと、各出力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「参照用スペクトル画像Ａ」は、出力データに含まれる「臓器スペクトル画像Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「臓器スペクトル画像Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。

【0066】

このような図５に示す３段階以上の連関度を予め取得しておく。つまり実際の解の判別を行う上で、入力データと、出力データとの何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図５に示す連関度を作り上げておく。

【0067】

例えば、過去において「参照用スペクトル画像Ｂ」という入力データに対して、「臓器スペクトル画像Ｂ」が最も適合性が高いと判断され、評価されたものとする。このようなデータセットを集めて分析することにより、入力データと出力データとの連関度が強くなる。

【0068】

この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例え「参照用スペクトル画像Ｂ」という入力データに対して、「臓器スペクトル画像Ｂ」が推定される事例が多い場合には、この「参照用スペクトル画像Ｂ」と「臓器スペクトル画像Ｂ」とにつながる連関度をより高く設定する。

【0069】

また、この連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。

【0070】

また、抽出モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0071】

このような連関度が、人工知能でいうところの学習済みデータとなる。このような学習済みデータを作った後に、実際にこれから新たにスペクトル画像から臓器スペクトル画像の推定を行うこととなる。かかる場合には、ステップＳ１３０により取得されたスペクトル画像に対する臓器スペクトル画像を新たに取得する。推定の際には、例えば予め取得した図５に示す連関度を参照する。例えば、新たに取得したスペクトル画像が「参照用スペクトル画像Ａ」と同一かこれに類似するものである場合には、連関度を介して「臓器スペクトル画像Ａ」との間の連関度ＡＡ「７３％」、「臓器スペクトル画像Ｂ」との間の連関度ＡＢ「１２％」で関連付けられている。この場合には、連関度の最も高い「臓器スペクトル画像Ａ」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「臓器スペクトル画像Ｂ」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。

【0072】

このような連関度を参照することにより、スペクトル画像が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0073】

次に、ステップＳ１５０において、評価部１３は、ステップＳ１４０により抽出された臓器スペクトル画像に基づいて、臓器７の血流情報を評価する。血流情報は、臓器７に血流に関する情報であり、例えば血流の量を示す情報である。また、血流情報は、臓器７が虚血、うっ血、正常であるかどうかを示す情報であってもよい。また、血流情報は、臓器７の血流のレベルを示す血色レベルであってもよい。例えば評価部１３は、臓器スペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差に基づいて臓器７の血流情報を評価する。正規化波長は、例えば光のムラや影等、条件が異なっていた場合においても、それらの影響を軽減して、血流情報を評価するために正規化される対象となる波長である。評価波長は、正規化波長を正規化するための評価用の波長である。

【0074】

図６は、スペクトル画像が示す複数のスペクトルグラフである。図６は、縦軸を光の強度、横軸を波長［ｎｍ］とするグラフである。複数のスペクトルグラフの実線、破線は、それぞれ虚血状態から回復した又は血流情報を灌流後の臓器７の画像のスペクトル、虚血状態の臓器７の画像のスペクトルに対応する。評価部１３は、例えば４５０ｎｍ～７５０ｎｍの波長帯に含まれる特定波長を第１正規化波長とし、５５０～９５０ｎｍの波長帯に含まれる特定波長を第１評価波長として選択する。評価部１３は、例えば５４０ｎｍを第１正規化波長とし、８００ｎｍを第１評価波長としてもよい。

【0075】

評価部１３は、このようなスペクトルグラフに含まれる波長を特定波長とし、正規化波長、及び評価波長として選択する。評価部１３は、各スペクトルグラフ間のスペクトル強度の差分値が最も大きくなる波長を特定波長としてもよい。また、評価部１３は、各スペクトルグラフ上で凸のピークが形成されている特異点を特定波長として特定するようにしてもよい。また、評価部１３は、回帰分析、総当たり解析、機械学習等を用いた学習済みモデルを用いた解析により、特定波長を選択してもよい。

【0076】

ここで、例えば正規化波長及び評価波長は、１点で特定してもよいし、複数を特定してもよい。また、これらの正規化波長及び評価波長を中心とした波長範囲を設定するようにしてもよい。波長範囲は、例えば正規化波長及び評価波長の差が±１０ｎｍとなる波長幅等のように、予め設定した所定の波長範囲で構成されてもよい。このため、仮に正規化波長が７８０ｎｍであり、波長範囲が±１０ｎｍであれば、実際にスペクトルデータを評価する範囲は、７７０～７９０ｎｍとなる。かかる場合、正規化波長及び評価波長の決め方としては、例えば各波長の範囲の中心の波長を特定波長としてもよい。

【0077】

次に、評価部１３は、選択された正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差により血流情報を示す血色レベルを算出し、血流情報を評価する。

【0078】

評価部１３は、例えば正規化波長と評価波長との分光強度の差によるスペクトル変化により血色レベルを算出する。かかる場合、正規化波長と評価波長との分光強度の和で正規化することにより、例えば光のムラや影等、条件が異なっていた場合においても、それらの影響を軽減して、血色レベルを比較可能にすることができる。これらの血色レベルの算出は、例えば公知のスペクトル計測手法、スペクトル解析技法（例えば「ＮＤＳＩ：normalized difference spectral index、正規化分光反射指数」）等により次式により求める。「Ｉλ」は、例えば「λ_nm」の分光強度となり、正規化波長は「λ２」、評価波長は「λ１」として求められる。

【数1】

【0079】

評価部１３は、例えばスペクトル画像の正規化分光反射指数に基づいて、部位ごとのピクセルの分布から血色レベルを付与する。また、血色レベルとして、例えば面積当たりの血流情報に合わせ、レベル１～５等の具体的な血流情報の程度を示すようにしてもよい。かかる場合、例えば波長が６３５ｎｍの場合の強度Ｉ₆₃₅、波長が８４０ｎｍの場合の強度Ｉ₈₄₀とした場合のＩ₈₄₀／Ｉ₆₃₅のＮＤＳＩが１０未満の場合血色レベルを１とし、ＮＤＳＩが１０～１６の場合血色レベルを２とし、ＮＤＳＩが１６～２２の場合血色レベルを３とし、ＮＤＳＩが２２以上の場合血色レベルを４としてもよい。

【0080】

評価部１３は、例えば保存部１０４に保存された出力用フォーマット等の形式データを用いて、評価結果を生成する。評価部１３は、例えば記憶部１４を介して、評価結果を保存部１０４に保存する。

【0081】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０により取得された複数の画像に基づくそれぞれのスペクトル画像の比較に基づき、臓器７の血流情報を評価してもよい。かかる場合、例えばステップＳ１１０により図４（ａ）に示す虚血の臓器７を含む画像と、図４（ｂ）に示す血液を灌流後の臓器７を含む画像をそれぞれ取得した場合のそれぞれの正規化分光反射指数を算出し、それぞれの正規化分光反射指数に基づいて、臓器７の血流情報を評価してもよい。かかる場合、例えばそれぞれの正規化分光反射指数の平均に基づいて、臓器７の血流情報を評価してもよい。

【0082】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０により２以上の時点におけるユーザのそれぞれ異なる臓器７を含む画像を取得した場合、ステップＳ１３０により変換されたスペクトル画像の正規化分光反射指数に基づいて臓器７の血流情報を評価してもよい。

【0083】

また、ステップＳ１５０において、評価部１３は、ステップＳ１１０によりユーザの状態毎にそれぞれ異なる臓器７を含む画像を取得した場合、ステップＳ１３０により変換されたスペクトル画像の正規化分光反射指数に基づいて臓器７の血流情報を評価してもよい。

【0084】

また、ステップＳ１５０において、評価部１３は、予め取得された参照用スペクトル画像と血流情報の評価とからなるデータセットを学習データとして用い、入力を参照用スペクトル画像とし、出力を血流情報の評価として、機械学習により生成された評価モデルを用いて、スペクトル画像に基づき、臓器７に含まれる血流情報を評価してもよい。参照用スペクトル画像は、評価モデルの学習データとして用いるスペクトル画像であり、例えば予め取得された臓器７を示すスペクトル画像であるが、これに限らず、臓器７を示すスペクトルを含む任意の画像を用いてもよい。血流情報の評価は、例えば血流情報を示すスペクトルである血流情報スペクトルを示すスペクトル画像である。また、血流情報の評価は、例えば血色レベルであってもよい。また、血流情報の評価は、ステップＳ１５０と同様の方法で取得した血流情報の評価の結果又は血流情報を示すスペクトル画像であってもよい。つまり血流情報の評価は、スペクトル画像に基づき、所定の波長範囲に含まれる特定波長を正規化波長とし、所定の波長範囲に含まれる特定波長を評価波長として選択し、正規化波長と評価波長との間において、正規化波長と評価波長との分光強度の差により血色レベルを算出し、算出した血色レベルに基づいて、取得された血流情報を示す情報であってもよい。

【0085】

評価モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、評価モデルを生成してもよい。評価モデルは、例えばＣＮＮ（Convolution Neural Network） 等のニューラルネットワークをモデルとした機械学習を用いて生成されるほか、任意のモデルが用いられてもよい。

【0086】

かかる場合、評価モデルには、例えば図７のように、入力データである参照用スペクトル画像と出力データである血流情報の評価との間における連関度を有する連関性が記憶される。

【0087】

また、評価モデルは、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。

【0088】

このような学習済みデータを作った後に、実際にこれから新たにスペクトル画像から血流情報の評価の推定を行うこととなる。かかる場合には、ステップＳ１４０において抽出したスペクトル画像に対する血流情報の評価を新たに取得する。

【0089】

このような連関度を参照することにより、スペクトル画像が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。

【0090】

次に、ステップＳ１６０において、診断部１８は、ステップＳ１５０により評価された血流情報に基づき、ユーザの健康状態を診断する。かかる場合、例えば血流情報と健康状態とが紐づけられた対応表を予め取得しておき、ステップＳ１６０において、対応表を参照し、ステップＳ１５０により評価された血流情報に基づき、ユーザの健康状態を診断してもよい。また、ステップＳ１６０において、診断部１８は、ステップＳ１５０により評価した血流情報に基づき、ユーザの臓器７に対する処置を決定してもよい。かかる場合、例えば予め設定された血流情報と処置に関する情報とが紐づけられた対応表を用いて、血流情報に対する処置を決定してもよい。臓器７に対する処置は、例えば臓器７の手術の方法であったり、臓器７に灌流する血液の量であってもよい。

【0091】

次に、出力部１５により評価結果及び診断結果が出力される。出力部１５は、評価結果及び診断結果を表示部１０９等に出力する。また、出力部１５は、公共通信網４を介して、評価結果及び診断結果をユーザ端末２に出力してもよい。

【0092】

これにより、本実施形態における臓器評価装置１の動作が終了する。これにより、非接触で患者の臓器７の血流情報を評価することが可能であるため、患者に負担をかけることなく臓器７の血流情報を評価できる。

【0093】

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0094】

１ ：臓器評価装置
２ ：ユーザ端末
３ ：サーバ
４ ：公共通信網
５ ：撮像装置
６ ：照明器具
７ ：臓器
１０ ：筐体
１１ ：取得部
１２ ：画像処理部
１３ ：評価部
１４ ：記憶部
１５ ：出力部
１６ ：変換部
１７ ：抽出部
１８ ：診断部
１００ ：臓器評価システム
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５ ：Ｉ／Ｆ
１０６ ：Ｉ／Ｆ
１０７ ：Ｉ／Ｆ
１０８ ：入力部
１０９ ：表示部
１１０ ：内部バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】