特許 7322948 動画処理装置、動画処理方法、および動画処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-31

(45)【発行日】2023-08-08

(54)【発明の名称】動画処理装置、動画処理方法、および動画処理プログラム

(51)【国際特許分類】

   A61B 3/12 20060101AFI20230801BHJP

   G06T 1/00 20060101ALI20230801BHJP

   G06T 7/32 20170101ALI20230801BHJP

   G06T 7/33 20170101ALI20230801BHJP

   G06T 5/00 20060101ALI20230801BHJP

   G06T 7/00 20170101ALI20230801BHJP

   G06T 3/00 20060101ALI20230801BHJP

   A61B 3/13 20060101ALN20230801BHJP

【ＦＩ】

A61B3/12 300

G06T1/00 290Z

G06T7/32

G06T7/33

G06T5/00 735

G06T7/00 616

G06T3/00 755

A61B3/13

【請求項の数】 14

(21)【出願番号】P 2021514711

(86)(22)【出願日】2019-04-17

(86)【国際出願番号】 JP2019016439

(87)【国際公開番号】W WO2020213085

(87)【国際公開日】2020-10-22

【審査請求日】2021-09-10

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】向井 真梨子

【審査官】佐藤 秀樹

(56)【参考文献】

【文献】特開２０１３－１９８７１９（ＪＰ，Ａ）

【文献】特開２０１９－０４２２６３（ＪＰ，Ａ）

【文献】特表２０１０－５０２３９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００９６１１９（ＵＳ，Ａ１）

【文献】特表２０１５－５２７１３６（ＪＰ，Ａ）

【文献】特表２０１３－５０６５２３（ＪＰ，Ａ）

【文献】特開２０１６－１２０２６２（ＪＰ，Ａ）

【文献】国際公開第２０１９／００３２８５（ＷＯ，Ａ１）

【文献】特表２０１８－５０２６７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ

(57)【特許請求の範囲】

【請求項1】

被検眼動画データを取得する取得部と、
前記取得部によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の動きの除去をする除去する除去部と、
前記除去部による前記位置ずれの除去および前記動きの除去後の前記被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調部と、
前記強調部による強調後の被検眼動画データを出力する出力部と、
を有する動画処理装置。

【請求項2】

被検眼動画データを取得する取得部と、
前記取得部によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の色変化の除去をする除去部と、
前記除去部による前記位置ずれの除去および前記色変化の除去後の前記被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調部と、
前記強調部による強調後の被検眼動画データを出力する出力部と、
を有する動画処理装置。

【請求項3】

請求項１又は請求項２に記載の動画処理装置であって、
前記除去部は、前記被検眼動画データを構成する時間軸方向の被検眼フレーム群のうち、第１被検眼フレームと、前記第１被検眼フレームとは異なる第２被検眼フレームと、の位置合わせにより、前記第１被検眼フレームと前記第２被検眼フレームとの間の固視微動に起因する位置ずれを除去する、動画処理装置。

【請求項4】

請求項３に記載の動画処理装置であって、
前記第１被検眼フレームと前記第２被検眼フレームは、時間軸方向に不連続なフレームである、動画処理装置。

【請求項5】

請求項３または４に記載の動画処理装置であって、
前記除去部は、前記第１被検眼フレームおよび前記第２被検眼フレームの特徴量に基づく位置合わせにより前記被検眼動画データから位置ずれを除去する、動画処理装置。

【請求項6】

請求項５に記載の動画処理装置であって、
前記除去部は、前記第１被検眼フレームとの相関値が所定値以下である特定の第2被検眼フレームを前記被検眼動画データから除去する、動画処理装置。

【請求項7】

請求項３または４に記載の動画処理装置であって、
前記除去部は、前記第１被検眼フレームおよび前記第２被検眼フレームの視神経乳頭または黄斑に基づく位置合わせにより、前記被検眼動画データから位置ずれを除去する、動画処理装置。

【請求項8】

請求項１から７のいずれか一つに記載の動画処理装置であって、
前記出力部は、前記強調部による強調後の被検眼動画データを表示装置に出力する、動画処理装置。

【請求項9】

請求項８に記載の動画処理装置であって、
前記出力部は、前記強調後の被検眼動画データと、前記強調部による強調前の被検眼動画データと、を前記表示装置に出力する、動画処理装置。

【請求項10】

請求項９に記載の動画処理装置であって、
前記強調前の被検眼動画データは、前記除去部による位置ずれ除去後の被検眼動画データである、動画処理装置。

【請求項11】

プロセッサが、
被検眼動画データを取得する取得処理と、
前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の動きの除去をする除去処理と、
前記除去処理による前記位置ずれの除去および前記動きの除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調処理と、
前記強調処理による強調後の被検眼動画データを出力する出力処理と、
を実行する動画処理方法。

【請求項12】

プロセッサが、
被検眼動画データを取得する取得処理と、
前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の色変化の除去をする除去処理と、
前記除去処理による前記位置ずれの除去および前記色変化の除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調処理と、
前記強調処理による強調後の被検眼動画データを出力する出力処理と、
を実行する動画処理方法。

【請求項13】

プロセッサに、
被検眼動画データを取得する取得処理と、
前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに前記位置ずれの除去後の前記被検眼動画データから前記被検眼内の血管の動きの除去をする除去処理と、
前記除去処理による前記位置ずれの除去および前記動きの除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調処理と、
前記強調処理による強調後の被検眼動画データを出力する出力処理と、
を実行させる動画処理プログラム。

【請求項14】

プロセッサに、
被検眼動画データを取得する取得処理と、
前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから前記被検眼内の血管の色変化の除去をする除去処理と、
前記除去処理による前記位置ずれの除去および前記色変化の除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調処理と、
前記強調処理による強調後の被検眼動画データを出力する出力処理と、
を実行させる動画処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画処理装置、動画処理方法、および動画処理プログラムに関する。

【背景技術】

【0002】

特許文献１は、生体起因の変動を視認する画像処理装置、画像処理方法およびプログラムを開示する。特許文献１では、固視微動については考慮されていない。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１９／００３２８５号公報

【発明の概要】

【0004】

開示技術の動画処理装置は、被検眼動画データを取得する取得部と、前記取得部によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の動きの除去をする除去する除去部と、前記除去部による前記位置ずれの除去および前記動きの除去後の前記被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調部と、前記強調部による強調後の被検眼動画データを出力する出力部と、を有する。
また、開示技術の動画処理装置は、被検眼動画データを取得する取得部と、前記取得部によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の色変化の除去をする除去部と、前記除去部による前記位置ずれの除去および前記色変化の除去後の前記被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調部と、前記強調部による強調後の被検眼動画データを出力する出力部と、を有する。

【0005】

開示技術の動画処理方法は、プロセッサが、被検眼動画データを取得する取得処理と、前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の動きの除去をする除去処理と、前記除去処理による前記位置ずれの除去および前記動きの除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行する。
また、開示技術の動画処理方法は、プロセッサが、被検眼動画データを取得する取得処理と、前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから被検眼内の血管の色変化の除去をする除去処理と、前記除去処理による前記位置ずれの除去および前記色変化の除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行する。

【0006】

開示技術の動画処理プログラムは、プロセッサに、被検眼動画データを取得する取得処理と、前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに前記位置ずれの除去後の前記被検眼動画データから前記被検眼内の血管の動きの除去をする除去処理と、前記除去処理による前記位置ずれの除去および前記動きの除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な色変化を強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行させる。
また、開示技術の動画処理プログラムは、プロセッサに、被検眼動画データを取得する取得処理と、前記取得処理によって取得された前記被検眼動画データを構成する複数の被検眼フレーム間の位置合わせにより、前記複数の被検眼フレーム間の固視微動に起因する位置ずれを除去し、さらに、前記位置ずれの除去後の前記被検眼動画データから前記被検眼内の血管の色変化の除去をする除去処理と、前記除去処理による前記位置ずれの除去および前記色変化の除去後の被検眼動画データから心拍の周波数成分を抽出し、前記被検眼内の血管において、前記心拍に起因した周期的な動きを強調する強調処理と、前記強調処理による強調後の被検眼動画データを出力する出力処理と、を実行させる。

【図面の簡単な説明】

【0007】

【図1】図１は、眼底動画における固視微動除去およびＶｉｄｅｏ Ｍａｇｎｉｆｉｃａｔｏｎ（以下、動画強調と称する）例を示す説明図である。

【図2】図２は、眼科システムの一例を示すシステム構成図である。

【図3】図３は、動画処理装置のハードウェア構成例を示すブロック図である。

【図4】図４は、動画処理装置の機能的構成例を示すブロック図である。

【図5】図５は、動画処理装置による画像処理手順例を示すフローチャートである。

【図6A】図６Ａは、除去部の詳細な機能的構成例を示すブロック図である。

【図6B】図６Ｂは、強調部の詳細な機能的構成例を示すブロック図である。

【図7】図７は、強調部による動画強調後の眼底動画データを示す説明図である。

【図8】図８は、眼底動画データの表示例１を示す説明図である。

【図9】図９は、眼底動画データの表示例２を示す説明図である。

【図10】図１０は、眼底動画データの表示例３を示す説明図である。

【発明を実施するための形態】

【0008】

＜固視微動除去および動画強調例＞
図１は、眼底動画における固視微動除去およびＶｉｄｅｏ Ｍａｇｎｉｆｉｃａｔｏｎ（動画強調）例を示す説明図である。Ｔは時間軸を示す。時間軸Ｔの矢印が時間軸方向、すなわち、時間の進行方向を示す。（Ａ）は、眼底動画データ１００を示す。眼底動画データ１００は、被験者の眼底の黄斑１０１、視神経乳頭１０２、および血管１０３を含む領域を撮像した動画データである。眼底動画データ１００は、例として、時系列な眼底画像フレームＦ１～Ｆ４を含む。末尾の番号が小さいほど過去のフレームであることを示す。眼底画像フレームＦ１～Ｆ４を区別しない場合は、眼底画像フレームＦと表記する。説明の便宜上、眼底画像フレームＦ４までとしたが、眼底画像フレームＦ４に後続する眼底画像フレームＦも存在してもよい。

【0009】

眼底画像フレームＦ１～Ｆ４は、画像データとして黄斑１０１、視神経乳頭１０２、および血管１０３を含む。黄斑１０１、視神経乳頭１０２、および血管１０３以外の他の組織については図示を省略する。眼底画像フレームＦ１を眼底画像フレームＦ２～Ｆ４との位置合わせのための基準フレームとする。眼底画像フレームＦ２～Ｆ４では、眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３を点線で示す。

【0010】

撮像装置が固定された状態で眼底が撮影されるので、眼球の固視微動により、眼底画像フレームＦ２～Ｆ４の黄斑１０１、視神経乳頭１０２、および血管１０３は、眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３の位置からずれる。

【0011】

固視微動とは、サッカードと呼ばれる短時間（２０～８０［ｍｓ］程度）で高速（１００～５００度／秒程度）の視線移動を繰り返す眼球運動である。固視微動の動特性により、固視微動は、眼球運動が比較的大きく速いマイクロサッカードと、大きくてゆっくりとしたドリフトと、小さくて高周波数のトレモアと、に分類される。

【0012】

また、心拍により血管１０３を流れる血液の量が増減する。たとえば、眼底画像フレームＦ２，Ｆ４は、眼底画像フレームＦ１，Ｆ３よりも血管１０３を流れる血液の量が増加する。したがって、眼底画像フレームＦ２，Ｆ４の血管１０３は、眼底画像フレームＦ１，Ｆ３の血管１０３よりも太くなり、かつ、色が濃くなる。

【0013】

（Ａ）では、眼底画像フレームＦ１の血管１０３の色が最も薄く、眼底画像フレームＦ２，Ｆ４の血管１０３の色が最も濃いものとする。また、眼底画像フレームＦ３の血管１０３の色は、眼底画像フレームＦ１の血管１０３の色よりも濃く、眼底画像フレームＦ２，Ｆ４の血管１０３の色よりも薄いものとする。

【0014】

動画像データＶは、眼底画像フレームＦ１～Ｆ４を時間方向で再生した眼底動画データ１００である。動画像データＶは、眼底画像フレームＦ４の表示タイミングでの眼底動画データ１００であるが、過去の眼底画像フレームＦ１～Ｆ３の黄斑１０１、視神経乳頭１０２、および血管１０３が残像として視認される。このため、ユーザである医者は、血管１０３の幅や色が心拍によって変化しているのか、固視微動にともなって変化しているのか、把握しにくい。つまり、実際に血管１０３の幅や色の変化と、固視微動に起因する血管のフレーム間の位置ずれや色変化を区別すことが難しい。

【0015】

（Ｂ）は、（Ａ）の眼底動画データ１００から固視微動を除去した眼底動画データ１１０を示す。眼底動画データ１１０は、時系列な眼底画像フレームＧ１～Ｇ４を含む。眼底画像フレームＧ１～Ｇ４はそれぞれ、画像処理により、眼底画像フレームＦ１～Ｆ４から固視微動が除去されたフレームである。眼底画像フレームＧ１～Ｇ４を区別しない場合は、眼底画像フレームＧと表記する。

【0016】

固視微動に起因するフレーム間の位置ずれを補正することにより、固視微動が除去されているため、眼底画像フレームＧ２～Ｇ４の黄斑１０１、視神経乳頭１０２、および血管１０３はそれぞれ、眼底画像フレームＦ２～Ｆ４の点線で示した眼底画像フレームＦ１の黄斑１０１、視神経乳頭１０２、および血管１０３と同じ位置に表示される。一方、心拍による血管１０３の動きや色変化は除去されない。したがって、固視微動と血管１０３などの特定の組織の脈動や色変化との重畳が抑制され、医者などのユーザは、特定の組織の脈動や色変化を、固視微動の影響を受けずに観察することができる。

【0017】

（Ｃ）は、（Ｂ）眼底動画データ１１０のうち特定の組織として血管１０３を動画強調の対象として処理を行い、血管１０３の太さの変化や色の変化を強調表示した眼底動画データ１２０を示す。眼底動画データ１２０は、時系列な眼底画像フレームＨ１～Ｈ４を含む。眼底画像フレームＨ１～Ｈ４はそれぞれ、画像処理により、眼底画像フレームＧ１～Ｇ４から動画強調されたフレームである。眼底画像フレームＨ１～Ｈ４を区別しない場合は、眼底画像フレームＨと表記する。動画強調は、映像中の１ピクセル以下の微小な動きの変化やわずかな色や動きの変化を強調して表示する技術である。眼底動画に動画強調を行うことにより、心拍に起因する血管の太さ（動き）の変化や色の変化などを強調表示することができる。これにより、医者などのユーザは、心拍による血管１０３の色変化を容易に確認することができる。以下、固視微動を除去する仕組みについて説明する。

【0018】

＜眼科システム＞
図２は、眼科システムの一例を示すシステム構成図である。眼科システム２００は、眼科装置２０１としてのスリットランプ（細隙灯顕微鏡）２０２および手術用顕微鏡２０３と、管理サーバ２０４と、端末２０５と、がＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２０６により通信可能に接続される。

【0019】

スリットランプ２０２は、スリット光で被検眼を照明し、照明された被検眼断面を側方から撮影および観察する顕微鏡である。手術用顕微鏡２０３は、手術用に特化された顕微鏡である。いずれも被検眼動画データとして、眼底動画データ１００，１１０，１２０を生成、送信、記憶、表示することができる。なお、患者の被検眼を撮影可能であれば、眼底カメラ、走査型レーザ検眼鏡（ＳＬＯ：Ｓｃｃａｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）や光干渉断層計（ＯＣＴ：Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）のような眼科装置２０１でもよい。

【0020】

管理サーバ２０４は、眼科装置２０１から眼底動画データを取得して格納したり、眼底動画データを、眼科装置２０１や端末２０５に送信する。端末２０５は、眼科装置２０１や管理サーバ２０４から眼底動画データを受信して再生したり、眼底動画データ１００，１１０，１２０を眼科装置２０１や管理サーバ２０４に送信したりする。

【0021】

眼科装置２０１、管理サーバ２０４および端末２０５のうち少なくとも１つは、図１で説明した固視微動除去を実行可能であり、また、眼科装置２０１、管理サーバ２０４および端末２０５のうち少なくとも１つは、図１で説明した動画強調を実行可能である。すなわち、固視微動除去および動画強調は同一の装置で実行されてもよく、異なる装置で実行されてもよい。

【0022】

＜コンピュータのハードウェア構成例＞
つぎに、コンピュータのハードウェア構成例を示す。コンピュータは、図２に示した眼科装置２０１、管理サーバ２０４および端末２０５の総称である。なお、コンピュータが眼科装置２０１である場合、図示しない光源や光学系、センサを含む。

【0023】

図３は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、コンピュータ３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワーク２０６と接続し、データを送受信する。

【0024】

＜動画処理装置の機能的構成例＞
図４は、動画処理装置の機能的構成例を示すブロック図であり、図５は、動画処理装置による画像処理手順例を示すフローチャートである。図４において、動画処理装置４００は、取得部４０１と、除去部４０２と、強調部４０３と、出力部と、を有する。動画処理装置４００は、コンピュータ３００において除去部４０２および強調部４０３の少なくとも一方を有する。動画処理装置４００は、１台のコンピュータ３００または連携しあう複数のコンピュータ３００により構成される。

【0025】

取得部４０１、除去部４０２、強調部４０３、および出力部は、具体的には、たとえば、図３に示した記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより実現される。

【0026】

取得部４０１は、動画処理装置４００内部の記憶デバイス３０２または動画処理装置４００外の他のコンピュータ３００から、眼底動画データ１００を取得する（ステップＳ５０１）。除去部４０２は、取得部４０１によって取得された眼底動画データ１００に基づいて、眼底動画データ１００から固視微動を除去する、つまり、固視微動によるフレーム間の眼底領域の位置のずれを補正し、固視微動の影響を動画データから除去する（ステップＳ５０２）。

【0027】

強調部４０３は、除去部４０２によって固視微動の影響が除去された眼底動画データ１１０についてＶＭによる強調処理を実行する（ステップＳ５０３）。具体的には、たとえば、強調部４０３は、時間方向の特定の周波数成分を強調する。強調部４０３は、眼底動画データ１００の眼底画像フレームＦの各々について、眼底画像フレームＦ全体を強調してもよく、黄斑１０１、視神経乳頭１０２、血管１０３など特定の組織を含む領域を強調してもよい。

【0028】

出力部４０４は、強調部４０３によって特定の組織が強調された眼底動画データ１２０を出力する（ステップＳ５０４）。具体的には、たとえば、出力部４０４は、動画処理装置４００が有する表示装置に眼底動画データ１２０を表示したり、動画処理装置４００から他のコンピュータ３００に眼底動画データ１２０を送信したりする。

【0029】

図６Ａは、除去部４０２の詳細な機能的構成例を示すブロック図である。除去部４０２は、第１除去部６０１、第２除去部６０２および第３除去部６０３を有する。まず、第１除去部６０１について説明する。

【0030】

第１除去部６０１は、強調部４０３において血管１０３などの特定の組織の動きおよび色変化を強調するために、固視微動を除去する。具体的には、たとえば、第１除去部６０１は固視微動除去部でもある。第１除去部６０１は、図１で説明したように、眼底画像フレームＦ１を基準フレームとし、他の眼底画像フレームＦ２～Ｆ４を比較対象フレームとして位置合わせを実行する。なお、ここでは、基準フレームを眼底画像フレームＦ１のうち最古の眼底画像フレームＦ１としたが、眼底画像フレームＦ２～Ｆ４のいずれかでもよい。リアルタイム性の向上を図る場合には、最古の眼底画像フレームＦ１とすればよい。

【0031】

このフレーム間での位置合わせにより固視微動による眼底の位置ずれが補正されるため、補正後の動画データでは固視微動の影響が除去され、血管１０３、視神経乳頭１０２、黄斑１０１の位置はフレーム間で同じ位置になる。そのため、後述する強調部４０３で、拍動に起因する血管１０３の太さの変化や色の変化が強調されることになる。

【0032】

基準フレームと比較対象フレームとの位置合わせは、たとえば、平行移動、回転、および拡縮による変形を含むアフィン変換行列を用いた非剛体位置合わせにより実行される。また、除去部４０２は、スケール不変特徴変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ）やＳＩＦＴを高速化したＳｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）といったアルゴリズムを適用してもよい。

【0033】

また、第１除去部６０１は、基準フレームと比較対象フレームとの位置合わせについて、同一位置画素値の差分二乗和（ＳＳＤ）、同一位置画素値の差分絶対値和（ＳＡＤ）、相互情報量、相互相関を評価関数として用いてもよい。たとえば、相互情報量や相互相関を適用した場合、相関値が０よりも大きいほど基準フレームと比較対象フレームとは類似し、相関値が小さいほど基準フレームと比較対象フレームとは類似しない。

【0034】

このように、基準フレームと比較対象フレームとの位置合わせを実行することにより、図１に示した比較対象フレームである眼底画像フレームＦ２～Ｆ４の黄斑１０１、視神経乳頭１０２、および血管１０３の位置が、点線で示した基準フレーム（眼底画像フレームＦ１）の黄斑１０１、視神経乳頭１０２、および血管１０３の位置に一致するようになる。したがって、眼底画像フレームＦ１～Ｆ４における黄斑１０１、視神経乳頭１０２、および血管１０３の位置が一致するため、眼底動画データ１００から固視微動が除去される。

【0035】

また、第１除去部６０１は、上述した相関値がしきい値以下となった比較対象フレームを眼底動画データ１００から除去してもよい。相関値がしきい値以下となった比較対象フレームは、基準フレームとの類似性が低いため、固視微動の動特性の１つである、眼球運動が比較的大きく速いマイクロサッカードを示すフレームと言える。したがって、相関値がしきい値以下となった比較対象フレームを眼底動画データ１００から除去することにより、第１除去部６０１は、マイクロサッカードが表示されない眼底動画データ１１０を生成することができる。

【0036】

つぎに、第２除去部６０２について説明する。第２除去部６０２は、強調部４０３において血管１０３などの特定の組織の動きおよび色変化のうち色変化のみを強調するための除去処理を実行する。具体的には、たとえば、第２除去部６０２は、分解部６２１と、時間フィルタリング部６２２と、位相ノイズ除去部６２３と、減衰部６２４と、再構築部６２５と、を有する。

【0037】

分解部６２１は、コンプレックスステアラブルピラミッド（ｃｏｍｐｌｅｘ ｓｔｅｅｒａｂｌｅ ｐｙｒａｍｉｄｓ）のような既知のフィルタ処理を用いて、第１除去部６０１による固視微動除去後の眼底画像フレームＧが入力される都度、眼底画像フレームＧを、高周波成分ｈｐｒと、低周波成分ｌｐｒと、複数の直交成分と、に分解する。

【0038】

すなわち、分解部６２１は、局所的な波の振幅（高周波成分ｈｐｒと、低周波成分ｌｐｒ）を当該波の位相（複数の直交成分）から分離する。分解部６２１は、高周波成分ｈｐｒおよび低周波成分ｌｐｒを再構築部６２５に出力し、複数の直交成分を時間フィルタリング部６２２に出力する。

【0039】

時間フィルタリング部６２２は、眼底画像フレームＦの位相（複数の直交成分）を、各位置、方向、スケールで独立して時間的にフィルタリングする。位相ノイズ除去部６２３は、振幅で重み付けされた空間平滑化を適用して位相のＳＮ比を増加させる。

【0040】

減衰部６２４は、時間フィルタリング部６２２で時間的にバンドパスされた位相を減衰させる。これにより、第１除去部６０１による位置合わせによって生じた誤差（心拍に相当）による特定の組織（たとえば、血管１０３）の動きを抑制する。再構築部６２５は、減衰部６２４からの出力と、高周波成分ｈｐｒおよび低周波成分ｌｐｒと、を用いて、眼底画像フレームＧを再構築する。このように、再構築された眼底画像フレームＧは、特定の組織の動きが抑制された画像フレームとなる。

【0041】

つぎに、第３除去部６０３について説明する。強調部４０３において血管１０３などの特定の組織の動きおよび色変化のうち動きのみを強調するための除去処理を実行する。具体的には、たとえば、第３除去部６０３は、第１除去部６０１による固視微動除去後の眼底画像フレームＧを蓄積し、連続する２つの眼底画像フレームＧ間で特定の組織（たとえば、血管１０３）の色濃度の差分がしきい値以上であるか否かを判断する。差分がしきい値以上である場合、連続する２つの眼底画像フレームＧのうち特定の組織（たとえば、血管１０３）の色濃度が薄い方の眼底画像フレームＧを除去する。

【0042】

たとえば、図１の（Ｂ）で示した眼底画像フレームＧ１～Ｇ４の場合、眼底画像フレームＧ１，Ｇ２間で血管１０３の色濃度の差分がしきい値以上であるとする。この場合、第３除去部６０３は、血管１０３の色濃度が薄い方の眼底画像フレームＧ１を除去する。眼底画像フレームＧ２，Ｇ３間、および、眼底画像フレームＧ３，Ｇ４間では、血管１０３の色濃度の差分がしきい値以上でないものとする。したがって、眼底画像フレームＧ２，Ｇ３は除去されない。

【0043】

図６Ｂは、強調部４０３の詳細な機能的構成例を示すブロック図である。強調部４０３は、空間分解部７０１、時間フィルタリング部７０２、増幅部７０３－１，７０３－２，…，７０３－ｎ（ｎは２以上の整数）、加算部７０４－１，７０４－２，…，７０４－ｎ、および、再構築部７０５を有する。増幅部７０３－１，７０３－２，…，７０３－ｎを区別しない場合には、単に増幅部７０３と表記する。加算部７０４－１，７０４－２，…，７０４－ｎを区別しない場合には、単に加算部７０４と表記する。まず、空間分解部７０１について説明する。

【0044】

空間分解部７０１は、除去部４０２による固視微動除去後の眼底画像フレームＧが入力される都度、眼底画像フレームＧを、異なる複数の空間周波数帯域（帯域１、帯域２、…、帯域ｎ）に分解する。バンドパスフィルタ（ｂａｎｄｐａｓｓｓ）やコンプレックスステアラブルピラミッド（ｃｏｍｐｌｅｘ ｓｔｅｅｒａｂｌｅ ｐｙｒａｍｉｄｓ）のような既知のフィルタ処理を用いることができる。帯域１、帯域２、…、帯域ｎの順で空間周波数が高くなっている。空間分解部７０１で帯域１に分解された画像データｇ１、帯域２に分解された画像データｇ２，…，帯域ｎに分解された画像データｇｎを時間フィルタリング部７０２に出力する。

【0045】

つぎに、時間フィルタリング部７０２は、２次のＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタのような既知のフィルタ処理を用いて、画像データｇ１，ｇ２，…，ｇｎの各々から、人間の拍動の周波数である６０～８０［ｋＨｚ］の周波数成分を抽出する。

【0046】

時間フィルタリング部７０２を通過した画像データｇ１は、増幅部７０３－１で設定された強調係数に基づいて増幅される。強調係数は、たとえば、１０倍に設定されており、画像データｇ１が１０倍に振幅が増幅される。そして、増幅部７０３－１を通過した画像データｇ１は、加算部７０４－１で空間分解部７０１から出力された画像データ１ｇと加算され、再構築部７０５に出力される。同様にして、画像データｇ２についても増幅部７０３－２、加算部７０４－２を介して再構築部７０５に出力される。画像データｇｎについても増幅部７０３－ｎ、加算部７０４－ｎを介して再構築部７０５に出力される。

【0047】

増幅部７０３における強調係数は、除去部４０２による固視微動除去後の眼底画像フレームＧ全体で同じであるが、空間的に（画素ごとに）強調係数を設定するようにしてもよい。具体的には、人工知能などの画像処理またはユーザの指定により、視神経乳頭１０２や血管１０３などの強調領域を抽出し、抽出された強調領域の画素の強調係数を、眼底画像フレームＧ中のほかの領域とは異なる強調係数に設定するようにする。これにより眼底画像フレームＧ中の強調領域のみが動画強調される。

【0048】

再構築部７０５では、加算部７０４－１，７０４－２，…，７０４－ｎから出力された画像データｈ１，ｈ２，…，ｈｎを用いて、眼底画像フレームＧを再構築する。このように、再構築された眼底画像フレームＧは、特定の組織について心拍に起因した周期的な変動が強調された画像フレームＨ１～Ｈ４となる。

【0049】

ユーザ（眼科医など）は、入力デバイス３０３を介して、複数の動画強調モードを選択できる。動画強調モードは、動きと色変化の双方を強調する通常モード、色変化のみを強調する色強調モード、動きのみを強調する動き強調モードを少なくとも用意されている。通常モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正されて、強調部４０３で動画強調がなされる。

【0050】

色強調モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正され、つづいて、第２除去部６０２により特定の組織の動きが除去される。そして、強調部４０３で動画強調がなされる。

【0051】

動き強調モードが選択された場合、眼底動画データ１００は、除去部４０２の第１除去部６０１で固視微動に起因するフレーム間の位置ずれが補正され、つづいて、第３除去部６０３により色変化が除去される。そして、強調部４０３で動画強調がなされる。

【0052】

＜動画強調後の眼底動画データ１２０＞
図７は、強調部４０３による動画強調後の眼底動画データ１２０を示す説明図である。図７では、血管１０３のような特定の組織について心拍に起因した周期的な変動が強調される。血管１０３の色変化は、たとえば血液を送り出すときに血管１０３が濃く観察され、その後、血管１０３の色が薄まって観察される。血管１０３の動きは、たとえば、血液を送り出す時に膨張し（血管１０３の幅が太くなり）、その後、元に戻る。動脈より静脈のほうが動き及び色の変化が大きい傾向がある。

【0053】

（Ａ）は、第１除去部６０１による固視微動除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。血管１０３の動きと色の変化の双方が強調された眼底動画データ１２０である。
（Ｂ）は、第１除去部６０１による固視微動除去および第２除去部６０２による特定の組織の動き除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。特定の組織は血管１０３であり、血管１０３の色の変化のみが強調された眼底動画データ１２０である。
（Ｃ）は、第１除去部６０１による固視微動除去および第３除去部６０３による色変化を除去後の眼底動画データ１１０について動画強調した眼底動画データ１２０を示す。色の変化が除去（色濃度が薄い方の眼底画像フレームＧ１が除去）され、血管１０３の動きのみ（血管の太さの変化）が強調された眼底動画データ１２０である。

【0054】

＜眼底動画データの表示例＞
つぎに、眼底動画データ１００，１１０，１２０の表示例について図８～図１０を用いて説明する。コンピュータ３００は、たとえば、検査、治療、手術時にリアルタイムで眼底動画データ１１０，１２０を表示してもよく、記憶デバイス３０２に記憶された眼底動画データ１１０，１２０を読み出して再生することにより表示してもよい。なお、固視微動が除去されていない眼底動画データ１００は、２次元の動画データでもよく３次元の動画データでもよい。

【0055】

図８は、眼底動画データの表示例１を示す説明図である。表示画面８００は、たとえば、動画データ表示領域８０１と、患者情報表示領域８０２と、パラメータ情報表示領域８０３と、を有する。動画データ表示領域８０１には、眼底動画データ１００，１２０が表示される。したがって、ユーザは、ライブ映像である眼底動画データ１００と、固視微動除去および動画強調後の眼底動画データ１２０とを比較しながら、視認することができる。

【0056】

患者情報表示領域８０２には、患者情報が表示される。患者情報とは、氏名、住所など、患者を特定する情報である。患者とは、眼底動画データ１００として撮影された被検眼を有する者である。

【0057】

パラメータ情報表示領域８０３には、パラメータ情報が表示される。パラメータ情報は、たとえば、強調パラメータと、生体モニタリング情報と、を含む。強調パラメータは、強調部４０３による動画強調で用いられる強調する周波数領域や強調の程度を示すパラメータである。生体モニタリング情報は、患者の脈拍などの患者の生体をモニタリングした情報である。

【0058】

図９は、眼底動画データの表示例２を示す説明図である。表示画面９００は、たとえば、第１動画データ表示領域９０１と、第２動画データ表示領域９０２と、患者情報表示領域８０２と、パラメータ情報表示領域８０３と、を有する。

【0059】

第１動画データ表示領域９０１には、固視微動除去前の眼底動画データ１００が表示される。第１動画データ表示領域９０１はメイン画面であり、第２動画データ表示領域９０２よりも大きい。第２動画データ表示領域９０２には、固視微動除去および動画強調後の眼底動画データ１２０が表示される。第２動画データ表示領域９０２サブ画面であり、第１動画データ表示領域９０１よりも小さい。これにより、ユーザは、第１動画データ表示領域９０１を注視しつつ、必要に応じて第２動画データ表示領域９０２を視認することができる。

【0060】

図１０は、眼底動画データの表示例３を示す説明図である。表示画面１０００は、たとえば、固視微動除去前の眼底動画データ１００を表示する第１動画データ表示領域９０１と、固視微動除去および動画強調後の眼底動画データ１２０を表示する第２動画データ表示領域９０２と、を有する。第２動画データ表示領域９０２は、第１動画データ表示領域９０１の右上に重畳表示される。これにより、ユーザは、第１動画データ表示領域９０１を注視しつつ、必要に応じて第２動画データ表示領域９０２を視認することができる。

【0061】

なお、眼科装置２０１にフットスイッチのような切替スイッチが設けられている場合、切替スイッチのＯＮ／ＯＦＦにより、動画データ表示領域８０１および第２動画データ表示領域９０２の表示内容が、眼底動画データ１２０から眼底動画データ１１０に、または、眼底動画データ１１０から眼底動画データ１２０に、切り替えられてもよい。これにより、動画強調前後の違いを視認することができる。

【0062】

また、図９および図１０において、切替スイッチのＯＮ／ＯＦＦにより、第１動画データ表示領域９０１に眼底動画データ１２０を表示させ、第２動画データ表示領域９０２に眼底動画データ１００を表示させるように切り替えてもよい。これにより、ユーザは、眼底動画データ１２０をより大きなメイン画面で視認することができる。

【0063】

また、眼科装置２０１の接眼レンズから眼底動画データを観察する場合、眼底動画データ１１０，１２０については、いずれか一方の眼のレンズからのみ観察可能としてもよい。たとえば、図１０の場合、たとえば、右眼からは眼底動画データ１００が観察され、左眼からは眼底動画データ１００，１２０が観察される。

【0064】

また、図８～図１０の表示画面８００，９００，１０００に、動画強調モードの切替を行うモード切替ボタンを表示し、ユーザが動画強調モードを動きと色変化の双方を強調する通常モード、色変化のみを強調する色強調モード、動きのみを強調する動き強調モードを選択できるようにしてもよい。選択された動画強調モードの眼底動画データ１２０が、動画データ表示領域８０１や第２動画データ表示領域９０２に表示される。

【0065】

また、図８～図１０の表示画面８００，９００，１０００では、ライブ動画（固視微動除去前の眼底動画データ１００）を表示するようにしたが、固視微動除去後の眼底動画データ１２０を表示しるようにしてもよい。

【0066】

このように、固視微動除去後の動画強調前後の動画データについてユーザの観察自由度の向上を図ることができる。

【0067】

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

【符号の説明】

【0068】

１００，１１０，１２０ 眼底動画データ、１０１ 黄斑、１０２ 視神経乳頭、１０３ 血管、２００ 眼科システム、２０１ 眼科装置、２０４ 管理サーバ、２０５ 端末、４００ 動画処理装置、４０１ 取得部、４０２ 除去部、４０３ 強調部、４０４ 出力部、６０１ 第１除去部、６０２ 第２除去部、６０３ 第３除去部、６２１ 分解部、６２２ 時間フィルタリング部、６２３ 位相ノイズ除去部、６２４ 減衰部、６２５ 再構築部、Ｆ，Ｇ，Ｈ 眼底画像フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】