IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社トーメーコーポレーションの特許一覧

特開2024-131552教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム
<>
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図1
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図2
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図3
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図4
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図5
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図6
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図7
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図8
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図9
  • 特開-教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131552
(43)【公開日】2024-09-30
(54)【発明の名称】教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラム
(51)【国際特許分類】
   A61B 3/10 20060101AFI20240920BHJP
   G06N 20/00 20190101ALI20240920BHJP
   G06V 10/774 20220101ALI20240920BHJP
   G01N 21/17 20060101ALI20240920BHJP
【FI】
A61B3/10 100
G06N20/00 130
G06V10/774
G01N21/17 630
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023041887
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】501299406
【氏名又は名称】株式会社トーメーコーポレーション
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Knowledge Partners弁理士法人
(72)【発明者】
【氏名】山成 正宏
(72)【発明者】
【氏名】岡本 圭一郎
(72)【発明者】
【氏名】東田 理沙
【テーマコード(参考)】
2G059
4C316
5L096
【Fターム(参考)】
2G059AA05
2G059BB08
2G059BB12
2G059EE02
2G059EE05
2G059EE09
2G059FF02
2G059GG01
2G059GG09
2G059JJ17
2G059JJ19
2G059JJ22
2G059MM01
2G059MM09
2G059MM10
4C316AB04
4C316AB08
4C316AB11
4C316FB21
4C316FZ01
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】効率的に教師データを生成する技術の提供。
【解決手段】偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得する測定情報取得部と、前記測定情報に基づいて、前記測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する偏光OCT画像取得部と、前記測定情報に基づいて、偏光感受性を考慮しないOCTによって前記測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する従来型OCT画像取得部と、前記偏光OCT画像と、複数枚の前記従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する教師データ生成部と、を備える教師データ生成システムを構成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得する測定情報取得部と、
前記測定情報に基づいて、前記測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する偏光OCT画像取得部と、
前記測定情報に基づいて、偏光感受性を考慮しないOCTによって前記測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する従来型OCT画像取得部と、
前記偏光OCT画像と、複数枚の前記従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する教師データ生成部と、
を備える教師データ生成システム。
【請求項2】
前記測定情報は、
前記測定対象物の偏光特性を示すジョーンズ行列である、
請求項1に記載の教師データ生成システム。
【請求項3】
前記測定情報は、
前記偏光感受型OCTによって測定された干渉光のジョーンズベクトルである、
請求項1または請求項2に記載の教師データ生成システム。
【請求項4】
前記従来型OCT画像取得部は、
前記測定情報に基づいて、前記測定対象物から出力された測定光のジョーンズベクトルを取得し、前記測定光のジョーンズベクトルの偏光状態を変化させる偏光操作であって、互いに異なる前記偏光操作を複数回実行し、それぞれの前記偏光操作後の成分に基づいて複数の前記従来型OCT画像を取得する、
請求項1または請求項2に記載の教師データ生成システム。
【請求項5】
前記偏光操作は、
偏光状態を変化させる操作であり、
互いに異なる前記偏光操作は、
変化後の偏光状態が異なる操作である、
請求項4に記載の教師データ生成システム。
【請求項6】
前記偏光操作は、
偏光作用素子によって行われ、
互いに異なる前記偏光操作は、
一定の角度毎に設定された異なる回転角の前記偏光作用素子を前記測定光のジョーンズベクトルに作用させる操作である、
前記偏光作用素子の回転角が一定の角度毎に変化され行われる、
請求項4に記載の教師データ生成システム。
【請求項7】
前記偏光操作は、
偏光作用素子によって行われ、
互いに異なる前記偏光操作は、
所定の角度範囲を均等に分割して得られた異なる回転角の前記偏光作用素子を前記測定光のジョーンズベクトルに作用させる操作である、
請求項4に記載の教師データ生成システム。
【請求項8】
前記測定情報は、前記測定対象物の3次元空間内の座標毎の情報であり、
前記偏光OCT画像および前記従来型OCT画像は、光軸を含む切断面で前記3次元空間を切断した2次元平面上の画像であり、
複数の前記切断面について前記偏光OCT画像および前記従来型OCT画像が取得される、
請求項1または請求項2に記載の教師データ生成システム。
【請求項9】
請求項1または請求項2に記載の教師データ生成システムによって生成された前記教師データに基づいて、
前記従来型OCT画像を入力し、前記偏光OCT画像を出力する学習モデルを機械学習する機械学習部を備える機械学習システム。
【請求項10】
偏光感受性を考慮しないOCT光学系によって測定対象物を測定する測定部と、
測定結果に基づいて従来型OCT画像を生成する従来型OCT画像生成部と、
生成された前記従来型OCT画像を請求項9に記載の前記学習モデルに入力し、前記OCT光学系によって測定された前記測定対象物の偏光OCT画像を生成する偏光OCT画像生成部と、
を備えるOCTシステム。
【請求項11】
偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得する測定情報取得工程と、
前記測定情報に基づいて、前記測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する偏光OCT画像取得工程と、
前記測定情報に基づいて、偏光感受性を考慮しないOCTによって前記測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する従来型OCT画像取得工程と、
前記偏光OCT画像と、複数枚の前記従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する教師データ生成工程と、
を含む教師データ生成方法。
【請求項12】
コンピュータを、
偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得する測定情報取得部、
前記測定情報に基づいて、前記測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する偏光OCT画像取得部、
前記測定情報に基づいて、偏光感受性を考慮しないOCTによって前記測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する従来型OCT画像取得部、
前記偏光OCT画像と、複数枚の前記従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する教師データ生成部、
として機能させる教師データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教師データ生成システム、機械学習システム、OCTシステム、教師データ生成方法および教師データ生成プログラムに関する。
【背景技術】
【0002】
従来、偏光感受型OCT(Polarization-Sensitive Optical Coherence Tomography:以下、偏光OCTと呼ぶ)が知られている。偏光OCTは、OCTが本来的に原理上持っている偏光感受性を考慮しないOCT(以下、従来型OCTと呼ぶ)の機能に加え、測定対象物が持つ偏光特性を測定する機能を有している。偏光感受型OCTは、従来型OCTよりも高価である。そこで、比較的廉価な従来型OCTを用いて偏光感受型OCTと同等な偏光特性の測定を行う技術が開発されている。
【0003】
例えば、特許文献1や非特許文献1、2には、従来型OCT画像を入力とし、偏光OCT画像に対応する擬似的な偏光OCTを出力とする機械学習モデルの学習を行い、当該機械学習モデルによって従来型OCT画像から擬似的な偏光OCT画像を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開WO2022/234828号公報
【非特許文献1】Y. Sun, J. Wang, J. Shi, and S. A. Boppart, "Deep-learning-enabled polarization-sensitive optical coherence tomography (OCT)," in Biophotonics Congress 2021 (Optica Publishing Group, 2021), p. OF2E.3.
【非特許文献2】Y. Sun, J. Wang, J. Shi, and S. A. Boppart, "Synthetic polarization-sensitive optical coherence tomography by deep learning," NPJ Digit Med 4(1), 105 (2021).
【発明の概要】
【発明が解決しようとする課題】
【0005】
機械学習モデルの学習を行うためには、一般に、所望の学習率を得るために充分な量の教師データが必要になる。特許文献1や非特許文献1、2においては、大量の教師データを効率的に用意するための技術に言及されていない。例えば、特許文献1においては、同一の偏光OCTによって従来型OCT画像と偏光OCT画像とを計測し、ペアにすることで教師データを生成している(特許文献1,0070等)。しかし、このような測定によって教師データを生成するためには、極めて多数回の測定を行う必要があり、非常に労力がかかる。
本発明は、前記課題にかんがみてなされたもので、効率的に教師データを生成することを目的とする。
【課題を解決するための手段】
【0006】
上記の目的を達成するため、教師データ生成システムは、偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得する測定情報取得部と、前記測定情報に基づいて、前記測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する偏光OCT画像取得部と、前記測定情報に基づいて、偏光感受性を考慮しないOCTによって前記測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する従来型OCT画像取得部と、前記偏光OCT画像と、複数枚の前記従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する教師データ生成部と、を備える。
【0007】
すなわち、偏光感受型OCTによって測定情報を取得すると、当該測定情報から偏光OCT画像と従来型OCT画像とを生成することができる。また、従来型OCT画像は、偏光の情報を積極的にコントラスト源・情報源として活用しない従来型OCTによって測定可能な強度画像であるが、偏光感受型OCTの測定情報から任意の偏光状態の測定光によって撮影される従来型OCT画像を生成することも可能である。偏光感受型OCTの測定情報から生成された従来型OCT画像は、偏光感受型OCTの測定対象を従来型OCTで測定した場合の画像であると見なすことができる。従って、1枚の偏光OCT画像に対応する任意の枚数の従来型OCT画像を生成することができる。
【0008】
教師データ生成システムにおいては、1枚の偏光OCT画像に対応する複数数の従来型OCT画像を生成し、複数枚の従来型OCT画像のそれぞれと当該偏光OCT画像とを組とすることで複数組の教師データを生成する。このため、1枚の偏光OCT画像の基になった測定情報から複数組の教師データを生成することができる。この結果、効率的に教師データを生成することができる。
【図面の簡単な説明】
【0009】
図1】本発明の一実施形態にかかる教師データ生成システム、機械学習システムを示す図である。
図2】本実施例に係る偏光感受型OCTの光学系の概略構成図である。
図3】本実施例に係るサンプリングトリガー/クロック発生器の構成を詳細に示すブロック図である。
図4】被検眼およびB-スキャンの方向を説明するための図である。
図5】教師データ作成処理のフローチャートである。
図6】学習モデルを説明するための図である。
図7】機械学習処理のフローチャートである。
図8】本発明の一実施形態にかかる従来型OCTシステムを示す図である。
図9】偏光OCT画像生成処理のフローチャートである。
図10】ジョーンズベクトルを測定するための装置構成を模式的に示す図である。
【発明を実施するための形態】
【0010】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)データ処理システムの構成:
(1-1)偏光感受型OCTの構成:
(1-2)教師データ作成処理:
(2)機械学習処理:
(3)従来型OCTシステムの構成:
(4)他の実施形態:
【0011】
(1)データ処理システムの構成:
図1は、本発明の一実施形態にかかる教師データ生成システムおよび機械学習システムとして機能するデータ処理システム1000を示す図である。本実施形態に係るデータ処理システム1000には、偏光感受型OCT2000、記憶媒体3000、入力部4000、表示部5000が接続される。偏光感受型OCT2000は、光源からの光を参照光と測定光とに分岐し、ミラー等によって戻された参照光と、被検眼によって戻された測定光と、の干渉を測定する光干渉断層撮影を行う装置である。但し、偏光感受型OCT2000は、測定対象物が持つ偏光特性を含む測定情報を取得することが可能である。偏光感受型OCT2000は、被検眼を測定して測定情報を生成し、データ処理システム1000に対して出力する。
【0012】
記憶媒体3000は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性記憶媒体である。記憶媒体3000には、種々のデータを保存可能であり、データ処理システム1000は、任意のタイミングで記憶媒体3000にデータを保存し、また、記憶媒体3000に保存されたデータを読み出すことができる。本実施形態において、記憶媒体3000には、被検眼を撮影して得られた測定情報3000aと、データ処理システム1000によって生成された教師データ3000bとが保存される。さらに、記憶媒体3000には、データ処理システム1000によって教師データ3000bに基づいて機械学習処理が行われ、生成された学習モデルデータ3000cが保存される。
【0013】
入力部4000は、検者等の利用者が操作する装置であり、データ処理システム1000に対して各種の入力を行うための装置である。入力部4000の態様は特に限定されないが、例えば、キーボードやマウス等が挙げられる。表示部5000は、各種の情報を表示するディスプレイ装置であり、データ処理システム1000が生成した文字、画像等の各種の画像を表示する。
【0014】
データ処理システム1000は、制御部1100、通信インタフェース(I/F)1200、ディスプレイI/F1300を備えている。通信I/F1200は、データ処理システム1000と外部装置とを接続するインタフェースである。本実施形態においては、偏光感受型OCT2000、記憶媒体3000,入力部4000が、通信I/F1200を介してデータ処理システム1000に接続される。通信I/F1200は、種々の規格であって良く、例えばUSB規格、PCI-Express規格、Thunderbolt規格、イーサネット規格等(これらは登録商標)が挙げられる。
【0015】
ディスプレイI/F1300は、データ処理システム1000と表示部5000とを接続するインタフェースである。ディスプレイI/F1300は、種々の規格であって良く、例えば、HDMI(High-Definition Multimedia Interface:登録商標)やDVI(Digital Visual Interface)などが挙げられる。むろん、通信I/F1200やディスプレイI/F1300は、限定されず、無線通信のインタフェース等であって良い。
【0016】
制御部1100は、図示しないCPU,RAM,ROMを備えており、記憶媒体3000やROM等に記憶された各種プログラムを実行することができる。なお、制御部1100は後述する機械学習を効率的に実施するためにGPU(Graphics Processing Unit)を備えていても良い。制御部1100が実行するプログラムには、各種のプログラムが含まれる。本実施形態においては、教師データ3000bを生成するための教師データ生成プログラム1110および教師データ3000bから学習モデルデータ3000cを生成するための機械学習プログラム1120等が含まれる。教師データ生成プログラム1110によって制御部1100が実行する機能には、測定情報取得部1110a,偏光OCT画像取得部1110b,従来型OCT画像取得部1110c,教師データ生成部1110dが含まれる。機械学習プログラム1120によって制御部1100が実行する機能には、機械学習部1120aが含まれる。
【0017】
測定情報取得部1110aは、偏光感受型OCT2000による測定対象物の測定結果を示す測定情報3000aを取得する機能である。すなわち、制御部1100は、偏光感受型OCT20を制御し、被検眼を測定した測定情報3000aを取得して記憶媒体3000に保存する。本実施形態において、制御部1100は、複数(L人とする)の被検者の被検眼を測定してL人分の測定情報3000aを取得する。なお、同一人物の左右の眼が測定される場合、2人分の測定情報3000aとカウントされて良い。また、測定情報3000aは、測定対象物である被検眼の偏光特性を示すジョーンズ行列または偏光特性を反映した光の偏光状態を表すジョーンズベクトルである。
【0018】
(1-1)偏光感受型OCTの構成:
ここで、ジョーンズ行列を測定するための偏光感受型OCT2000の構成例を説明する。ここでは、偏光感受型OCT2000が波長掃引型の光源を用いた波長掃引型のフーリエドメイン方式(いわゆる、SS-OCT方式)の装置である例を説明する。但し、OCTの方式は、SS-OCTに限定されず、フーリエメイン方式を用いた他の方式、例えば、SD-OCT(スペクトルドメインOCT)や、フーリエドメイン方式以外の方式(例えば、タイムドメイン方式等)を用いることも可能である。
【0019】
図2に示すように、本実施例の偏光感受型OCT2000は、光源11と、光源11に光から測定光を生成する測定光生成部(21~29,31,32)と、光源11の光から参照光を生成する参照光生成部(41~46,51)と、測定光生成部で生成される測定対象物30からの反射光と参照光生成部で生成される参照光とを合波して干渉光を生成する干渉光生成部60,70と、干渉光生成部で生成された干渉光を検出する干渉光検出部80,90と、を備えている。
【0020】
(光源)
光源11は、波長掃引型の光源であり、出射される光の波長(波数)が所定の周期で変化する。測定対象物30に照射される光の波長が変化(掃引)するため、測定対象物30からの反射光と参照光との干渉光から得られる信号をフーリエ解析することで、測定対象物30の深さ方向の各部位から反射される光の強度分布を得ることができる。
【0021】
なお、光源11には、偏光制御装置12及びファイバカプラ13が接続され、ファイバカプラ13にはPM(Polarization Maintaining)カプラ14及びサンプリングトリガー/クロック発生器100が接続されている。したがって、光源11から出力される光は、偏光制御装置12及びファイバカプラ13を介して、PMカプラ14及びサンプルトリガー/クロック発生器100のそれぞれに入力される。サンプリングトリガー/クロック発生器100は、光源11の光を用いて、後述する信号処理器83,93それぞれのサンプリングトリガーおよびサンプリングクロックを生成する。
【0022】
(測定光生成部)
測定光生成部(21~29,31,32)は、PMカプラ14に接続されたPMカプラ21と、PMカプラ21から分岐する2つの測定光路S1,S2と、2つの測定光路S1,S2を接続する偏光ビームコンバイナ/スプリッタ25と、偏光ビームコンバイナ/スプリッタ25に接続される光路延長部306、コリメータレンズ26、ガルバノミラー27,28及びレンズ29を備えている。測定光路S1には、光路長差生成部22とサーキュレータ23が配置されている。測定光路S2には、サーキュレータ24が配置されている。したがって、測定光路S1と測定光路S2との光路長差Δlは、光路長差生成部22によって生成される。光路長差Δlは、測定対象物の深さ方向の測定範囲よりも長く設定してもよい。これにより、光路長差の異なる干渉光が重なることが防止できる。光路長差生成部22には、例えば、光ファイバが用いられてもよいし、ミラーやプリズム等の光学系が用いられてもよい。本実施例では、光路長差生成部22に、1mのPMファイバを用いている。また、測定光生成部は、PMカプラ31,32をさらに備えている。PMカプラ31は、サーキュレータ23に接続されている。PMカプラ32は、サーキュレータ24に接続されている。
【0023】
上記の測定光生成部(21~29,31,32)には、PMカプラ14で分岐された一方の光(すなわち、測定光)が入力される。PMカプラ21は、PMカプラ14から入力する測定光を、第1測定光と第2測定光に分割する。PMカプラ21で分割された第1測定光は測定光路S1に導かれ、第2測定光は測定光路S2に導かれる。測定光路S1に導かれた第1測定光は、光路長差生成部22及びサーキュレータ23を通って偏光ビームコンバイナ/スプリッタ25に入力される。測定光路S2に導かれた第2測定光は、サーキュレータ24を通って偏光ビームコンバイナ/スプリッタ25に入力される。
【0024】
PMファイバ304は、偏光ビームコンバイナ/スプリッタ25に、PMファイバ302に対して円周方向に90度回転した状態で接続される。これにより、偏光ビームコンバイナ/スプリッタ25に入力される第2測定光は、第1測定光に対して直交する偏光成分を持った光となる。測定光路S1に光路長差生成部22が設けられているため、第1測定光は第2測定光に対して光路長差生成部22の距離だけ遅延している(すなわち、光路長差Δlが生じている)。偏光ビームコンバイナ/スプリッタ25は、入力される第1測定光と第2測定光を重畳する。
【0025】
偏光ビームコンバイナ/スプリッタ25から出力される光(第1測定光と第2測定光が重畳された光)は、コリメータレンズ26、ガルバノミラー27,28及びレンズ29を介して測定対象物30に照射される。コリメータレンズ26とガルバノミラー27の間に光路延長部306を配置してもよい。光路延長部306には、例えば、60m程度のPMファイバを図2のように、用いてもよい。これにより、PMファイバが持つ2つのモード間のクロストークの発生を抑制することができる。測定対象物30に照射される光は、ガルバノミラー27,28によってx-y方向に走査される。なお、x方向およびy方向は、光軸に対して垂直な面内において互いに直交する方向である。
【0026】
測定対象物30に照射された光は、測定対象物30によって反射される。ここで、測定対象物30で反射される光は、測定対象物30の表面や測定対象物の内部で散乱する。測定対象物30からの反射光や散乱光は、入射経路とは逆に、レンズ29、ガルバノミラー28,27及びコリメータレンズ26を通って、偏光ビームコンバイナ/スプリッタ25に入力される。偏光ビームコンバイナ/スプリッタ25は、入力される反射光を、互いに直交する偏光成分である水平偏光反射光(水平偏光成分)と垂直偏光反射光(垂直偏光成分)に分割して、それぞれ、水平偏光反射光は測定光路S1に導かれ、垂直偏光反射光は測定光路S2に導かれる。
【0027】
水平偏光反射光は、サーキュレータ23により光路が変更され、PMカプラ31に入力される。PMカプラ31は、入力される水平偏光反射光を分岐して、PMカプラ61,71のそれぞれに入力させる。したがって、PMカプラ61,71に入力される水平偏光反射光には、第1測定光による反射光成分と、第2測定光による反射光成分が含まれている。
【0028】
垂直偏光反射光は、サーキュレータ24により光路が変更され、PMカプラ32に入力される。PMカプラ32は、入力される垂直偏光反射光を分岐して、PMカプラ62,72のそれぞれに入力させる。したがって、PMカプラ62,72に入力される垂直偏光反射光には、第1測定光による反射光成分と、第2測定光による反射光成分が含まれている。
【0029】
(参照光生成部)
参照光生成部(41~46,51)は、PMカプラ14に接続されたサーキュレータ41と、サーキュレータ41に接続された参照遅延ライン(42,43)と、サーキュレータ41に接続されたPMカプラ44と、PMカプラ44から分岐する2つの参照光路R1,R2と、参照光路R1に接続されるPMカプラ46と、参照光路R2に接続されるPMカプラ51を備えている。参照光路R1には、光路長差生成部45が配置されている。参照光路R2には、光路長差生成部は設けられていない。したがって、参照光路R1と参照光路R2との光路長差Δl'は、光路長差生成部45によって生成される。光路長差生成部45には、例えば、光ファイバが用いられる。光路長差生成部45の光路長差Δl'は、光路長差生成部22の光路長差Δlと同一としてもよい。光路長差ΔlとΔl'を同一にすることで、後述する複数の干渉光の、測定対象物に対する深さ位置が同一となる。すなわち、取得される複数の断層像の位置合わせが不要となる。
【0030】
上記の参照光生成部(41~46,51)には、PMカプラ14で分岐された他方の光(すなわち、参照光)が入力される。PMカプラ14から入力される参照光は、サーキュレータ41を通って参照遅延ライン(42,43)に入力される。光サーキュレータ41と参照遅延ライン(42,43)の間に、光路長延長部308が配置されていてもよい。光路長延長部308には、60m程度のPMファイバを図2のように、用いてもよい。参照遅延ライン(42,43)は、コリメータレンズ42と参照ミラー43によって構成されている。参照遅延ライン(42,43)に入力された参照光は、コリメータレンズ42を介して参照ミラー43に照射される。参照ミラー43で反射された参照光は、コリメータレンズ42を介してサーキュレータ41に入力される。ここで、参照ミラー43は、コリメータレンズ42に対して近接又は離間する方向に移動可能となっている。本実施例では、測定を開始する前に、PMカプラ14から第2測定光路S2を経由する測定対象物30までの光路長(測定光路長)と、PMカプラ14から参照ミラー43までの光路長(参照光路長)が一致するように、参照ミラー43の位置が調整される。
【0031】
参照ミラー43で反射された参照光は、サーキュレータ41により光路が変更され、PMカプラ44に入力される。PMカプラ44は、入力する参照光を、第1参照光と第2参照光に分岐する。第1参照光は参照光路R1に導かれ、第2参照光は参照光路R2に導かれる。第1参照光は、光路長差生成部45を通ってPMカプラ46に入力される。PMカプラ46に入力された参照光は、第1分岐参照光と第2分岐参照光に分岐される。第1分岐参照光は、コリメータレンズ47、レンズ48を通ってPMカプラ61に入力される。第2分岐参照光は、コリメータレンズ49、レンズ50を通って、PMカプラ62に入力される。第2参照光は、PMカプラ51に入力され、第3分岐参照光と第4分岐参照光に分割される。第3分岐参照光は、コリメータレンズ52、レンズ53を通って、PMカプラ71に入力される。第4分岐参照光は、コリメータレンズ54、レンズ55を通って、PMカプラ72に入力される。
【0032】
(干渉光生成部)
干渉光生成部60,70は、第1干渉光生成部60と、第2干渉光生成部70を備えている。第1干渉光生成部60は、PMカプラ61,62を有している。上述したように、PMカプラ61には、測定光生成部より水平偏光反射光が入力され、参照光生成部より第1分岐参照光(光路長差Δlを有する光)が入力される。ここで、水平偏光反射光には、第1測定光による反射光成分(光路長差Δlを有する光)と、第2測定光による反射光成分が含まれている。したがって、PMカプラ61では、水平偏光反射光のうち第1測定光による反射光成分(光路長差Δlを有する光)と、第1分岐参照光とが合波されて第1干渉光(水平偏光成分)が生成される。
【0033】
また、PMカプラ62には、測定光生成部より垂直偏光反射光が入力され、参照光生成部より第2分岐参照光(光路長差Δlを有する光)が入力される。ここで、垂直偏光反射光には、第1測定光による反射光成分(光路長差Δlを有する光)と、第2測定光による反射光成分が含まれている。したがって、PMカプラ62では、垂直偏光反射光のうち第1測定光による反射光成分(光路長差Δlを有する光)と、第2分岐参照光とが合波されて第2干渉光(垂直偏光成分)が生成される。
【0034】
第2干渉光生成部70は、PMカプラ71,72を有している。上述したように、PMカプラ71には、測定光生成部より水平偏光反射光が入力され、参照光生成部より第3分岐参照光(光路長差Δlを有しない光)が入力される。したがって、PMカプラ71では、水平偏光反射光のうち第2測定光による反射光成分(光路長差Δlを有しない光)と、第3分岐参照光とが合波されて第3干渉光(水平偏光成分)が生成される。
【0035】
また、PMカプラ72には、測定光生成部より垂直偏光反射光が入力され、参照光生成部より第4分岐参照光(光路長差Δlを有しない光)が入力される。したがって、PMカプラ72では、垂直偏光反射光のうち第2測定光による反射光成分(光路長差Δlを有しない光)と、第4分岐参照光とが合波されて第4干渉光(垂直偏光成分)が生成される。第1干渉光と第2干渉光は測定光路S1を経由した測定光に対応しており、第3干渉光と第4干渉光は測定光路S2を経由した測定光に対応している。
【0036】
(干渉光検出部)
干渉光検出部80,90は、第1干渉光生成部60で生成された干渉光(第1干渉光及び第2干渉光)を検出する第1干渉光検出部80と、第2干渉光生成部70で生成された干渉光(第3干渉光及び第4干渉光)を検出する第2干渉光検出器90を備えている。
【0037】
第1干渉光検出部80は、バランス型光検出器81,82と、バランス型光検出器81,82に接続された信号処理器83を備えている。バランス型光検出器81にはPMカプラ61が接続されており、バランス型光検出器81の出力端子には信号処理器83が接続されている。PMカプラ61は、第1干渉光を、位相が180度異なる2つの干渉光に分岐して、バランス型光検出器81に入力する。バランス型光検出器81は、PMカプラ61から入力する位相が180度異なる2つの干渉光に対して、差動増幅及びノイズ低減処理を実施し、電気信号(第1干渉信号)に変換し、第1干渉信号を信号処理器83に出力する。すなわち、第1干渉信号は、水平偏光測定光による測定対象物からの水平偏光反射光と参照光の干渉信号HHである。
【0038】
同様に、バランス型光検出器82にはPMカプラ62が接続されており、バランス型光検出器82の出力端子には信号処理器83が接続されている。PMカプラ62は、第2干渉光を、位相が180度異なる2つの干渉光に分岐して、バランス型光検出器82に入力する。バランス型光検出器82は、位相が180度異なる2つの干渉光に対して、差動増幅およびノイズ低減処理を実施し、電気信号(第2干渉信号)に変換し、第2干渉信号を信号処理器83に出力する。すなわち、第2干渉信号は、水平偏光測定光による測定対象物からの垂直偏光反射光と参照光の干渉信号HVである。信号処理器83は、サンプリングトリガー/クロック発生器100から入力するサンプリングトリガーおよびサンプリングクロックに基づいて、第1干渉信号(第1干渉光による信号)と第2干渉信号(第2干渉光による信号)とをサンプリングする。信号処理器83でサンプリングされた第1干渉信号と第2干渉信号とは、後述する演算部202に入力される。信号処理器83には、公知のデータ収集装置(いわゆる、DAQ)を用いることができる。
【0039】
第2干渉光検出器90は、第1干渉光検出部80と同様に、バランス型光検出器91,92と、バランス型光検出器91,92に接続された信号処理器93を備えている。バランス型光検出器91にはPMカプラ71が接続されており、バランス型光検出器91の出力端子には信号処理器93が接続されている。PMカプラ71は、第3干渉光を、位相が180度異なる2つの干渉光に分岐して、バランス型光検出器91に入力する。バランス型光検出器91は、位相が180度異なる2つの干渉光に対して、差動増幅及びノイズ低減処理を実施し、電気信号(第3干渉信号)に変換し、第3干渉信号を信号処理器93に出力する。すなわち、第3干渉信号は、垂直偏光測定光による測定対象物からの水平偏光反射光と参照光の干渉信号VHである。
【0040】
同様に、バランス型光検出器92にはPMカプラ72が接続されており、バランス型光検出器92の出力端子には信号処理器93が接続されている。PMカプラ72は、第4干渉光を、位相が180度異なる2つの干渉光に分岐して、バランス型光検出器91に入力する。バランス型光検出器92は、位相が180度異なる2つの干渉光に対して、差動増幅及びノイズ低減処理を実施し、電気信号(第4干渉信号)に変換し、第4干渉信号を信号処理器93に出力する。すなわち、第4干渉信号は、垂直偏光測定光からによる測定対象物の垂直偏光反射光と参照光の干渉信号VVである。信号処理器93は、サンプリングトリガー/クロック発生器100から入力するサンプリングトリガーおよびサンプリングクロックに基づいて、第3干渉信号(第3干渉光による信号)と第4干渉信号(第4干渉光による信号)とをサンプリングする。信号処理器93でサンプリングされた第3干渉信号と第4干渉信号とは、後述する演算部202に入力される。信号処理器93にも、公知のデータ収集装置(いわゆる、DAQ)を用いることができる。このような構成によると、測定対象物30の4つの偏光特性を表す干渉信号を取得することができる。
【0041】
次に、本実施例に係る偏光感受型OCT2000の制御系の構成を説明する。図3に示すように、偏光感受型OCT2000は演算装置200によって制御される。演算装置200は、演算部202と、第1干渉光検出部80と、第2干渉光検出器90によって構成されている。第1干渉光検出部80と、第2干渉光検出器90と、演算部202は、測定部10に接続されている。演算部202は、測定部10に制御信号を出力し、光源11、ガルバノミラー27および28を駆動することで測定光の測定対象物30への入射位置を走査する。
【0042】
第1干渉光検出部80は、測定部10から入力される干渉信号(干渉信号HHと干渉信号HV)に対して、サンプリングトリガー1をトリガーにして、測定部10から入力されるサンプリングクロック1に基づいて、第1サンプリングデータを取得し、演算部202に第1サンプリングデータを出力する。演算部202は、第1サンプリングデータに所定の演算処理を行い、ジョーンズ行列のHH成分とHV成分を生成する。第2干渉光検出器90は、サンプリングトリガー2をトリガーにして、測定部10から入力される干渉信号(干渉信号VHと干渉信号VV)に対して、測定部10から入力されるサンプリングクロック2に基づいて、第2サンプリングデータを取得し、演算部202に第2サンプリングデータを出力する演算部202は、第2サンプリングデータに所定の演算処理を行い、ジョーンズ行列のVH成分とVVを生成する。なお、ジョーンズ行列のHH成分、HV成分、VH成分、VV成分のそれぞれは、2行2列のジョーンズ行列の第1行第1列、第1行第2列、第2行第1列、第2行第2列である。第1行第1列をa,第1行第2列をb、第2行第1列をc、第2行第2列をdと表記すると、測定されたジョーンズ行列Jmeasuredは以下の式(1)で表現できる。
【数1】
【0043】
以上のようにして測定されたジョーンズ行列Jmeasuredにおいて、各成分a,b,c,dは複素数である。また、ジョーンズ行列は、測定対象物の深さ方向(光軸方向)の位置および光軸に垂直な方向の位置に依存する。ここで、光軸に垂直な面内で直交する2つの方向をx方向、y方向とし、光軸方向をz方向とすると、ジョーンズ行列は、3次元空間の座標(x,y,z)毎に定義される。
【0044】
本実施形態においては、3次元空間の位置毎に定義されたジョーンズ行列が測定情報3000aである。偏光感受型OCT2000によって被検眼の測定が行われると、偏光感受型OCT2000から測定情報3000aがデータ処理システム1000に送信される。制御部1100は、通信I/F1200を介して測定情報3000aを取得し、記憶媒体3000に保存する。データ処理システム1000は、以上の処理をL人分の被検眼について実施し、L人分の測定情報3000aを記憶媒体3000に保存する。
【0045】
図1に戻って説明を続ける。偏光OCT画像取得部1110bは、測定情報3000aに基づいて、測定対象物の偏光特性に応じた画像である偏光OCT画像を取得する機能である。偏光OCT画像は、偏光特性を評価するための画像であれば良い。ここでは、PD(polarization-diverse)画像が偏光OCT画像である例を説明する。本実施形態においては、光軸を含む切断面で3次元空間を切断した2次元平面上における画像を偏光OCT画像とする。2次元平面は種々の手法で定義されて良いが、本実施形態において、制御部1100は、B-スキャン画像を偏光OCT画像とする。
【0046】
図4は、被検眼EyおよびB-スキャンの方向を説明するための図である。この例においては、光軸Lxが被検眼Eyの角膜頂点を通る。図4においては、光軸Lxを含む切断面のうち、水平方向に平行な切断面の角度を0°として示しており、垂直方向に平行な切断面の角度を90°として示している。光軸Lxを含む切断面の角度は0°、90°に限定されず、光軸Lxを中心とした任意の回転角度について切断面を定義することができる。このように、光軸Lxを含み、光軸Lxを中心にした任意の角度で切断した切断面上の情報を抽出することをB-スキャンによる情報の抽出と呼ぶ。
【0047】
制御部1100は、当該B-スキャンによって得られた切断面上の測定情報3000aに基づいて、偏光OCT画像を生成する。このため、制御部1100は、偏光OCT画像の生成対象となる切断面を特定し、当該切断面上の測定情報3000aを取得する。そして、制御部1100は、当該測定情報3000aを切断面上の座標毎の情報とみなし、各座標の強度IPDを以下の式(2)によって特定し、偏光OCT画像を生成する。なお、強度に基づいて画像を可視化する際には、強度を対数によって表現し、特定の範囲を階調値で表現するなどの処理を行うことが好ましい(以下同様)。以上の構成によれば、測定対象物の3次元構造を可視化可能な2次元画像について教師データ3000bを生成することが可能になる。
【数2】
【0048】
従来型OCT画像取得部1110cは、測定情報に基づいて、偏光感受性を考慮しないOCTによって測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得する機能である。従来型OCT画像は、偏光感受性を考慮しない従来型OCTによって測定対象物を測定した場合の強度画像であるが、本実施形態においては、偏光感受型OCT2000の測定情報3000aに基づいて生成される。すなわち、偏光感受性を考慮しない従来型OCTによる測定を行うことなく、従来型OCT画像が生成される。
【0049】
測定情報3000aが示すジョーンズ行列を用いれば、任意の偏光状態の入力光が測定対象物に入射し、その応答として得られる測定光のジョーンズベクトルを計算することができる。具体的には、入射光のジョーンズベクトルEinを式(3)、測定光のジョーンズベクトルEoutを式(4)としたとき、制御部1100は、入射光のジョーンズベクトルEinにジョーンズ行列を作用させた式(5)によって測定光のジョーンズベクトルEoutを取得する。
【数3】
【数4】
【数5】
【0050】
測定光の偏光状態を表す式(5)のジョーンズベクトルEoutに任意の偏光作用素子を表すジョーンズ行列を掛けることで、数値計算によって別な任意のジョーンズベクトルを計算することができる。本実施形態においては、式(5)に示す測定光のジョーンズベクトルEoutに対して、角度θの1/2波長板を作用させる。さらに、水平直線偏光子を作用させ、測定光の水平直線偏光成分を水平直線偏光の参照光と干渉させて測定する状況を考える。
【0051】
式(6)は、測定光のジョーンズベクトルEoutに角度θの1/2波長板を作用させた場合の式である。当該式(6)は、式(5)に示される測定光のジョーンズベクトルEoutの偏光状態を2θ回転させることに相当する。すなわち、式(6)により、偏光状態を変化させることができる。従って、式(6)において任意のθを設定すれば、任意の角度で偏光状態を変化させる偏光操作を行うことができる。本実施例では角度θの1/2波長板を用いて説明するが、波長板ではなく他の各種の偏光作用素子を作用させて実現しても良い。例えばファラデー回転子も波長板と数学的に等価なジョーンズ行列となることが一般に知られており、ファラデー回転子を作用させることでも同様の計算が可能である。また、波長板の回転角だけでなく位相遅延量を変化させても構わない。ここでは、角度θの1/2波長板を作用させる場合で説明する。
【0052】
偏光感受性を考慮しない従来型OCTにおいて測定される従来型OCT画像は、測定光と参照光との干渉光を測定した結果に基づいて生成されるが、測定光は参照光の偏光成分と同一の偏光成分のみ干渉することが知られている。この現象は、Fresnel-Aragoの法則として一般に知られている。従って、従来型OCT画像は特定の偏光成分のみの測定結果となる。そこで、本実施形態においては、式(6)に基づいて水平直線偏光子を作用させた状態を式(7)によって取得する。偏光子は水平直線偏光子に限定されないが、式(6)において任意の角度の偏光操作を行うため、水平直線偏光子を用いても一般性は失われない。
【数6】
【数7】
【0053】
式(7)は、偏光感受性を考慮しない従来型OCTにおいて測定される情報を示している。ここで、水平直線偏光の参照光と式(7)を干渉させ、その強度信号を計算する場合を考える。すなわち、式(7)の水平直線偏光成分に基づいて式(8)により強度Isingleを計算する。このようにして、従来型OCT画像を擬似的に生成することができる。
【数8】
そこで、制御部1100は、偏光OCT画像の生成対象となった切断面と同一の切断面についてのジョーンズ行列を取得し、複数のθについて式(7)を演算することで、変化後の偏光状態が異なる複数回の偏光操作を実施する。そして、制御部1100は、得られた結果に基づいて式(8)を計算することで、複数枚の従来型OCT画像を計算する。なお、1つの切断面において式(2)に基づいて生成される偏光OCT画像は1枚であるが、当該切断面において式(8)に基づいて生成される従来型OCT画像は複数枚である。
【0054】
教師データ生成部1110dは、偏光OCT画像と、複数枚の従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成する機能である。すなわち、制御部1100は、式(8)に基づいて生成されたそれぞれの従来型OCT画像に対して、式(2)に基づいて生成された偏光OCT画像を対応付けて組とすることで、複数の組の教師データ3000bを生成する。生成された教師データ3000bは、記憶媒体3000に保存される。
【0055】
以上の構成においては、1カ所の切断面における測定情報3000aから複数枚の従来型OCT画像が生成され、複数組の教師データ3000bを生成することができる。また、測定情報3000aからは複数の切断面の情報を抽出することができ、各切断面の測定情報3000aから複数組の教師データ3000bを生成することができる。従って、1回の測定に基づいて極めて多数の教師データ3000bを生成することができ、効率的に教師データを生成することが可能である。
【0056】
さらに、本実施形態においては、偏光感受型OCT2000によって測定情報3000aとしてジョーンズ行列を取得するため、式(2)、式(8)に基づいて容易に偏光OCT画像および従来型OCT画像を取得することができる。さらに、本実施形態においては、偏光状態を変化させる偏光操作によって同一の情報から複数の従来型OCT画像を生成することができる。このため、容易に効率的に教師データ3000bを生成することができる。
【0057】
(1-2)教師データ作成処理:
次に、上述の構成において制御部1100が実施する教師データ作成処理を詳細に説明する。図5は、教師データ作成処理を示すフローチャートである。教師データ作成処理が実行される前には、制御部1100が測定情報取得部1110aの機能により、偏光感受型OCT2000を制御し、L人分の測定情報3000aを測定し、記憶媒体3000に保存する。
【0058】
教師データ作成処理が開始されると、制御部1100は、偏光OCT画像取得部1110bの機能により、変数l、nを0に初期化する(ステップS100,S105)。なお、変数lは、何人分の測定情報3000aの処理が行われたかカウントするための変数であり、最小値は0、最大値はL-1である。変数nは、B-スキャンを特定するための変数であり、最小値は0、最大値はN-1である。なお、本実施形態においては、図4に示す光軸Lxを中心に、0°から180/Nの角度毎の切断面についてのB-スキャンのデータが用いられることが想定されている。また、本例では、図4に示す0°が0番目のB-スキャンであることが想定されている。
【0059】
次に、制御部1100は、偏光OCT画像取得部1110bの機能により、n番目のB-スキャンに対応するジョーンズ行列のデータを取得する(ステップS110)。すなわち、制御部1100は、測定情報3000aを参照し、n番目のB-スキャンの切断面を特定し、当該切断面上の各座標におけるジョーンズ行列のデータを取得する。
【0060】
次に、制御部1100は、偏光OCT画像取得部1110bの機能により、ジョーンズ行列に基づいて偏光OCT画像を取得する(ステップS115)。すなわち、制御部1100は、式(2)に基づいて、各座標の強度IPDを取得し、偏光OCT画像を生成する。生成された偏光OCT画像は、図示しないRAMまたは記憶媒体3000に保存される。
【0061】
次に、制御部1100は、従来型OCT画像取得部1110cの機能により、入力光のジョーンズベクトルEinをジョーンズ行列へ作用させ、測定光のジョーンズベクトルEoutを取得する(ステップS120)。すなわち、制御部1100は、偏光感受型OCT2000の入力光として想定される光のジョーンズベクトルEinを式(3)によって定義し、式(5)に基づいて、各座標に対応した測定光のジョーンズベクトルEoutを取得する。
【0062】
次に、制御部1100は、従来型OCT画像取得部1110cの機能により、変数mを0に初期化する(ステップS125)。なお、変数mは、1カ所の切断面について生成された従来型OCT画像の枚数をカウントするための変数であり、最小値は0、最大値はM-1である。
【0063】
次に、制御部1100は、角度θ=(m/M)π(ラジアン)の場合の1/2波長板のジョーンズ行列をEoutに作用させ、従来型OCT画像を取得する(ステップS130)。すなわち、本例では、180°をM分割して得られる各角度をm番目の角度とし、一定の角度毎に偏光操作を行う。このため、ステップS130において制御部1100は、m番目の角度を用いて偏光操作を行った後のジョーンズベクトルを式(6)によって取得する。さらに、制御部1100は、式(7)によって得られたジョーンズベクトルに対して水平直線偏光子を作用させる。そして、制御部1100は、式(8)によって従来型OCT画像を取得する。
【0064】
次に、制御部1100は、教師データ生成部1110dの機能により、従来型OCT画像と偏光OCT画像を組とした教師データ3000bを生成する(ステップS135)。すなわち、制御部1100は、ステップS115で取得した偏光OCT画像と、ステップS130で取得した従来型OCT画像とを組にして1組の教師データ3000bを生成し、記憶媒体3000に保存する。
【0065】
次に、制御部1100は、変数mが最大値M-1と一致したか否かを判定し、一致したと判定されない場合には、変数mをインクリメントし(ステップS145)、ステップS130以降の処理を繰り返す。すなわち、1枚の偏光OCT画像に対応するM枚の従来型OCT画像を生成する。以上の構成によれば、一定の角度毎のθに基づいて容易に従来型OCT画像を生成することができる。また、0°~180°までの全範囲にわたって波長板の回転角度範囲を均等に分割した一定の角度毎の偏光操作を行うため、様々な条件下での従来型OCT画像を生成することができる。
【0066】
ステップS140において、変数mが最大値M-1と一致したと判定された場合、制御部1100は、変数nが最大値N-1と一致したか否か判定する(ステップS150)。ステップS150において、変数nが最大値N-1と一致したと判定されない場合、制御部1100は、変数nをインクリメントし(ステップS155)、ステップS110以降の処理を繰り返す。すなわち、N個のB-スキャンのそれぞれについてM個の組の教師データ3000bを生成する処理を行う。
【0067】
ステップS150において、変数nが最大値N-1と一致したと判定された場合、制御部1100は、変数lが最大値L-1と一致したか否か判定する(ステップS160)。ステップS160において、変数lが最大値L-1と一致したと判定されない場合、制御部1100は、変数lをインクリメントし(ステップS165)、ステップS105以降の処理を繰り返す。すなわち、L人分の測定情報3000aのそれぞれについてM×N個の組の教師データ3000bを生成する処理を行う。ステップS160において、変数lが最大値L-1と一致したと判定された場合、制御部1100は、教師データ作成処理を終了する。この結果、L×M×N個の組の教師データ3000bが生成される。
【0068】
(2)機械学習システムの構成:
次に、教師データ3000bを用いた機械学習について説明する。本実施形態においては、データ処理システム1000において制御部1100が機械学習プログラム1120を実行することによって機械学習が行われる。本実施形態において、機械学習処理は、ニューラルネットワークを形成する訓練モデルを最適化する処理である。本実施形態においては、従来型OCT画像から偏光OCT画像を生成するモデルを機械学習する。従って、本実施形態において、モデルとは、入力される従来型OCT画像の画素毎の階調値を入力値とし、生成される偏光OCT画像の画素毎の階調値を出力値とした場合における両データの対応関係を導出する式を示す情報である。
【0069】
図6は、本実施形態における学習モデルを模式的に示す図である。本実施形態においては、生成モデルGと識別モデルDとが訓練モデルとして用意される。生成モデルGは、1枚の画像から他の画像を生成するモデルである。識別モデルDは、第1の画像および第2の画像を比較し、第2の画像が、第1の画像から生成された偽物の画像であるか否か識別するモデルである。
【0070】
本実施形態においては、従来型OCT画像Intを生成モデルGに入力し、偏光OCT画像Ipfを生成するように機械学習する。また、本実施形態においては、従来型OCT画像Intを第1の画像とし、生成モデルGで生成された偏光OCT画像Ipf、または教師データ3000bにおいて従来型OCT画像Intに対応付けられた偏光OCT画像Iptを第2の画像として識別モデルDに入力する。そして、第2の画像が、生成モデルGによって生成された偏光OCT画像Ipfである場合に偽、第2の画像が教師データ3000bにおいて従来型OCT画像Intに対応付けられた偏光OCT画像Iptである場合に真を出力するように、識別モデルDは機械学習される。機械学習を行う際のモデルの構造や損失関数の設定等は、種々の手法で行われてよく、例えば、公知のGAN(Generative Adversarial Network)を用いることが可能である。
【0071】
図7は機械学習処理を示すフローチャートである。機械学習処理は、機械学習処理が開始されると、制御部1100は、機械学習部1120aの機能により、訓練モデルを取得する(ステップS200)。本実施形態において、制御部1100は、従来型OCT画像Intを入力値とし、偏光OCT画像Ipfを出力値とする生成モデルGの訓練モデル(モデルを示すフィルタや活性化関数、損失関数等の情報)を取得する。また、制御部1100は、従来型OCT画像と、偏光OCT画像とを入力値とし、入力された偏光OCT画像が真偽のいずれであるのかを出力値とする識別モデルDの訓練モデル(モデルを示すフィルタや活性化関数、損失関数等の情報)を取得する。
【0072】
次に、制御部1100は、機械学習部1120aの機能により、記憶媒体3000に保存された教師データ3000bを取得する(ステップS205)。次に、制御部1100は、機械学習部1120aの機能により、テストデータを取得する(ステップS210)。本実施形態においては、教師データ3000bの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。
【0073】
次に、制御部1100は、機械学習部1120aの機能により、初期値を決定する(ステップS215)。すなわち、制御部1100は、ステップS200で取得した訓練モデルのうち、学習対象となる可変のパラメーター(フィルタの重みやバイアス等)に対して初期値を与える。初期値は、種々の手法で決定されて良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良いし、各種のデータベース等から学習済のパラメーターが取得されて利用されても良い。
【0074】
次に、制御部1100は、機械学習部1120aの機能により、学習を行う(ステップS220)。すなわち、制御部1100は、ステップS200で取得した訓練モデルの生成モデルGに対して、ステップS205で取得した教師データ3000bが示す従来型OCT画像を入力し、偏光OCT画像を出力する。次に、制御部1100は、識別モデルDに対して従来型OCT画像と、比較画像とを入力し、真偽のいずれかを出力する。なお、比較画像は、教師データ3000bが示す偏光OCT画像Ipt(すなわち、真の画像)または生成モデルGで生成された偏光OCT画像Ipf(すなわち、偽の画像)のいずれかである。いずれを利用するのかは、予め統計的に決められている。
【0075】
訓練モデルによる最終的な出力値、すなわち、生成モデルGによって生成された染色画像と、識別モデルDによって識別された真偽の出力とが得られると、制御部1100は、当該出力値と、正解値(教師データ3000bが示す従来型OCT画像Intと偏光OCT画像Iptと、比較画像の真偽を示す情報)とに基づいて、出力値と正解値との誤差を評価する損失関数に基づいて誤差を特定する。損失関数Eが得られたら、制御部1100は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部1100は、損失関数Eのパラメーターによる微分に基づいてパラメーターを更新する処理を既定回数繰り返す。
【0076】
以上のようにして、既定回数のパラメーターの更新が行われると、制御部1100は、訓練モデルの汎化が完了したか否かを判定する(ステップS225)。すなわち、制御部1100は、ステップS210で取得したテストデータの従来型OCT画像を訓練モデルの生成モデルGに入力して偏光OCT画像を生成する。また、制御部1100は、生成された偏光OCT画像とテストデータの従来型OCT画像とを訓練モデルの識別モデルDに入力して、真偽を判定する。そして、制御部1100は、テストデータのうち、真が出力された数を取得し、テストデータの全サンプル数で除することで推定精度を取得する。本実施形態において、制御部1100は、推定精度が閾値以上である場合に汎化が完了したと判定する。
【0077】
なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部1100は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップS210と同様の処理により、教師データ3000bから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。
【0078】
ステップS225において、訓練モデルの汎化が完了したと判定されない場合、制御部1100は、ステップS220を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップS225において、訓練モデルの汎化が完了したと判定された場合、制御部1100は、機械学習済の訓練モデルを学習モデルデータ3000cとして記憶媒体3000に記録する(ステップS230)。以上の構成によれば、効率的に生成された教師データ3000bに基づいて、従来型OCT画像から偏光OCT画像を生成する学習モデルを生成することが可能になる。従って、学習モデルを学習するために必要となる作業の中で、非常に負荷の高い作業である教師データ3000bの生成を非常に大幅に簡易化することができる。
【0079】
(3)従来型OCTシステムの構成:
図8は、本発明の一実施形態にかかる従来型OCTシステムとして機能するデータ処理システム1500を示す図である。本実施形態に係るデータ処理システム1500には、従来型OCT2500、記憶媒体3500、入力部4500、表示部5500が接続される。従来型OCT2500は、参照光と測定光を干渉させて光干渉断層撮影を行う偏光感受性を考慮しない装置である。従来型OCT2500は、被検眼を撮影して測定情報を生成し、データ処理システム1500に対して出力する。
【0080】
記憶媒体3500、入力部4500、表示部5500およびその接続インタフェースである通信I/F1700、ディスプレイI/F1800は、図1に示す記憶媒体3000、入力部4000、表示部5000、通信I/F1200、ディスプレイI/F1300と同様の構成で実現可能である。但し、記憶媒体3500においては、従来型OCT2500で測定された測定情報3500aと、データ処理システム1000で生成された学習モデルデータ3000cが保存される。また、従来型OCTシステムの運用過程で従来型OCT画像データ3500b、偏光OCT画像データ3500cが記憶媒体3500に保存される。
【0081】
制御部1600は、図示しないCPU,RAM,ROMを備えており、記憶媒体3500やROM等に記憶された各種プログラムを実行することができる。制御部1600が実行するプログラムには、各種のプログラムが含まれる。本実施形態においては、従来型OCT2500が測定した測定情報3500aに基づいて従来型OCT画像および偏光OCT画像を生成するための測定プログラム1610等が含まれる。測定プログラム1610によって制御部1600が実行する機能には、測定部1610a、従来型OCT画像生成部1610b、偏光OCT画像生成部1610cが含まれる。
【0082】
測定部1610aは、偏光感受性のないOCT光学系によって測定対象物を測定する機能である。すなわち、制御部1600は、測定部1610aの機能により、従来型OCT2500を制御し、被検者の被検眼を測定した測定情報3500aを取得する。測定情報3500aは、記憶媒体3500に保存される。従来型OCT画像生成部1610bは、測定結果に基づいて従来型OCT画像を生成する機能である。すなわち、制御部1600は、従来型OCT画像生成部1610bの機能により、検者が入力部4500を操作して入力した切断面を受け付け、測定情報3500aを参照して当該切断面上の測定情報3500aを取得する。そして、制御部1600は、当該測定情報3500aに基づいて、切断面上の各座標についての強度情報を取得し、従来型OCT画像を生成する。また、制御部1600は、生成された従来型OCT画像を示す従来型OCT画像データ3500bを記憶媒体3500に保存する。
【0083】
偏光OCT画像生成部1610cは、生成された従来型OCT画像を学習モデルに入力し、従来型OCT2500によって測定された測定対象物の偏光OCT画像を生成する機能である。図9は、偏光OCT画像生成部1610cによる偏光OCT画像生成処理のフローチャートである。図9に示す偏光OCT画像生成処理は、記憶媒体3500に保存された従来型OCT画像データ3500bをまとめて変換するための処理である。
【0084】
偏光OCT画像生成処理が開始されると、制御部1600は、記憶媒体3500に保存された従来型OCT画像データ3500bを取得する(ステップS300)。すなわち、制御部1600は、記憶媒体3000に保存された従来型OCT画像データ3500bであって、ステップS300~S315の処理対象となっていないデータを一つ選択して取得する。
【0085】
次に、制御部1600は、従来型OCT画像を学習モデルに入力する(ステップS305)。すなわち、制御部1600は、ステップS300で取得した従来型OCT画像データ3500bが示す従来型OCT画像を、学習モデルデータ3000cが示す生成モデルGに入力する。この結果、偏光OCT画像が生成される。
【0086】
次に、制御部1600は、生成された偏光OCT画像を保存する(ステップS310)。すなわち、制御部1600は、生成された偏光OCT画像を示す偏光OCT画像データ3500cを記憶媒体3000に保存する。次に、制御部1600は、全ての従来型OCT画像の処理が終了したか否か判定し、終了したと判定されるまで、ステップS300以降の処理を繰り返す。むろん、以上の処理は一例であり、従来型OCT2500による測定の度に偏光OCT画像が生成されても良いし、撮影された従来型OCT画像や偏光OCT画像が表示部5500に表示されたりしても良い。
【0087】
以上の処理によれば、偏光感受性のないOCTである従来型OCT2500を用いて撮影された従来型OCT画像から偏光感受性のないOCTで測定される偏光OCT画像を生成することができる。このため、従来型OCT2500と比較して高価な偏光感受型OCT2000を用いなくても、偏光特性を反映した偏光OCT画像を測定し、利用することができる。
【0088】
(4)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、データ処理システムの装置構成は、図1に示す構成に限定されない。図1に示す各装置は、機能を共有するより少数の装置であっても良いし、より多数の装置であっても良い。具体的には、データ処理システム1000は、偏光感受型OCT2000,記憶媒体3000, 入力部4000,表示部5000の少なくとも一つと一体の装置であっても良い。また、データ処理システム1000の少なくとも一部がサーバによって構成されるなど、より多数の装置に分散していても良い。むろん、データ処理システム1500においても同様に、分散化、集約化が行われてもよい。むろん、各種の構成を採用であることは図8に示す構成においても同様である。
【0089】
測定情報取得部は、偏光感受型OCTによる測定対象物の測定結果を示す測定情報を取得することができればよい。すなわち、測定情報取得部は、偏光OCT画像を取得するための測定情報であり、かつ、従来型OCT画像を作成可能な測定情報を取得する。測定対象物は、被検眼に限定されず、OCTを用いて参照光と測定光との干渉による測定が可能な対象物であれば、任意の対象物を測定対象物とすることができる。
【0090】
また、測定情報は、学習モデルの用途に応じて種々の調整が行われてよい。例えば、汎用的に用いられる学習モデルを生成するのであれば、人種、性別、年齢等に偏りが生じないように種々の条件で測定された測定情報が用意されることが好ましい。一方、被検者が特定の人種であったり、特定の症例についての測定が予定されていたりする場合、特定の人種についての測定情報が収集されたり、特定の症例についての測定情報が収集されたりしても良い。
【0091】
また、測定情報は、測定対象物の偏光特性を反映した測定結果を示す情報であれば良く、上述の実施形態のようなジョーンズ行列に限定されない。例えば、測定情報が、偏光感受型OCTによって測定された干渉光のジョーンズベクトルである構成であっても良い。すなわち、あるB-スキャンによって得られた切断面上の座標毎の測定情報3000aがジョーンズベクトルとして得られている場合、各座標の強度IPDを以下の式(9)によって特定し、偏光OCT画像を生成することも可能である。
【数9】
【0092】
この場合、従来型OCT画像は、式(7)の左辺に式(4)を代入して得られる式(10)に基づいて式(11)のようにして強度を算出することによって生成される。
【数10】
【数11】
【0093】
従って、ジョーンズベクトルを用いる構成は、例えば、図1に示す偏光感受型OCT2000としてジョーンズベクトルを測定する装置を適用し、データ処理システム1000によって教師データ3000bを生成し、学習モデルデータ3000cを生成することによって実現可能である。すなわち、制御部1100が式(9)を用いて偏光OCT画像を算出し、式(11)を用いて従来型OCT画像を算出すれば、他の構成は図1と同様の構成で実現可能である。
【0094】
なお、ジョーンズベクトルを想定する装置は種々の装置であって良く、例えば、図10に示す構成で実現可能である。図10は、偏光感受型OCTの構成例を模式的に示す図である。本例において、偏光感受型OCTは光源LSを備えており、光源LSから出力された光は偏光子PL(例えば90°)を経てビームスプリッタBSに入射される。ビームスプリッタBSに入射した光は参照光と測定光に分離する。ビームスプリッタBSから出力された参照光は1/4波長板QW1(例えば、22.5°)、レンズLS1を経てミラーMRに入射する。ミラーMRで反射された参照光は、レンズLS1、1/4波長板QW1を経てビームスプリッタBSに戻る。
【0095】
一方、ビームスプリッタBSから出力された測定光は、ガルバノミラーGM、1/4波長板QW2(例えば、45°)、レンズLS2を経て測定対象物Saに入射する。測定対象物Saから戻る測定光は、レンズLS2、1/4波長板QW2、ガルバノミラーGMを経てビームスプリッタBSに戻る。
【0096】
ビームスプリッタBSに戻った参照光および測定光は、ビームスプリッタBSによって干渉光となり、偏光ビームスプリッタPBSに入射する。そして、偏光ビームスプリッタPBSから互いに直交する偏光成分の干渉光に分離され、垂直偏光成分ディテクタDV、水平偏光成分ディテクタDHのそれぞれによって測定が行われる。偏光感受型OCTは、この構成に限定されないが、いずれにしても、ジョーンズベクトルを測定する装置を利用した場合であっても、以上の構成によれば、1回の測定に基づいて極めて多数の教師データ3000bを生成することができ、効率的に教師データを生成することが可能である。
【0097】
偏光OCT画像取得部は、測定情報に基づいて、測定対象物の偏光特性に応じた画像である偏光OCT画像を取得することができればよい。すなわち、偏光OCT画像取得部は、偏光特性を反映した測定結果を可視化した偏光OCT画像を取得することができればよい。偏光特性は、測定対象物に照射された光に対する測定対象物からの応答(散乱や反射等)が光の偏光状態に依存して変動する場合において、偏光状態毎の応答を示していればよい。
【0098】
従って、偏光OCT画像は、上述のPD(polarization-diverse)画像以外にも、種々の画像であって良い。例えば、複屈折による累積位相遅延量(cumulative phase retardation)、複屈折による局所位相遅延量(local phase retardation)、複屈折軸(optic axis of birefringence)、ダイアッテニュエーション(diattenuation)、偏光均一性(degree of polarization uniformity)、偏光エントロピー(polarimetric entropy)などが挙げられる。すなわち、偏光感受型OCTの測定結果から生成可能であり、偏光特性を示す任意の画像が偏光OCT画像となり得る。
【0099】
従来型OCT画像取得部は、測定情報に基づいて、偏光感受性を考慮しない従来型OCTによって測定対象物を測定した場合の強度画像である従来型OCT画像を複数枚取得することができればよい。すなわち、従来型OCT画像取得部は、測定情報に基づいて、測定対象物を偏光感受性のないOCTで撮影した場合の従来型OCT画像を、測定情報から取得できれば良い。測定情報から従来型OCT画像を複数枚取得するための手法は、種々の手法であって良く、例えば、θとして採用される角度は上述の実施形態に限定されない。
【0100】
また、式(7)に示す1/2波長板および水平直線偏光子による偏光操作は一例であり、他の任意の偏光操作に基づいて従来型OCT画像が生成されて良い。偏光操作は、例えば、任意の回転角および位相遅延量を持つ波長板や、任意の回転角を持つ直線偏光子による偏光操作であって良い。偏光操作によって各種の偏光状態のジョーンズベクトルを計算し、水平偏光成分や垂直偏光成分の強度を算出すれば従来型OCT画像を生成可能である。なお、偏光操作は、より簡易的な計算であっても良い。例えば、測定情報が示すジョーンズ行列やジョーンズベクトルの各成分を任意の重み付け係数で線形結合することによって任意の偏光操作が行われてもよい。むろん、この場合、操作前後でベクトルの大きさは維持されることが好ましい。
【0101】
教師データ生成部は、偏光OCT画像と、複数枚の従来型OCT画像のそれぞれと、が組となっている複数組の教師データを生成することができればよい。すなわち、教師データ生成部は、測定情報から複数の従来型OCT画像を生成し、1枚の偏光OCT画像と対応付けて複数組の教師データを生成することができればよい。むろん、測定情報は、複数の被検眼についての測定結果であり、それぞれの測定結果から教師データが生成されても良い。また、偏光OCT画像を取得する際のB-スキャンの数等も限定されない。
【0102】
さらに、測定情報に基づいて複数の従来型OCT画像を生成する手法は、方法やプログラムの発明としても適用可能である。また、以上のようなシステム、方法やプログラムは、単独の装置として実現される場合や、複数の機能を有する装置の一部として実現される場合が想定可能であり、各種の態様を含むものである。
【符号の説明】
【0103】
10…測定部、11…光源、12…偏光制御装置、13…ファイバカプラ、14…PMカプラ、21…PMカプラ、22…光路長差生成部、23…サーキュレータ、24…サーキュレータ、25…スプリッタ、26…コリメータレンズ、27…ガルバノミラー、28…ガルバノミラー、29…レンズ、30…測定対象物、31…PMカプラ、32…PMカプラ、41…光サーキュレータ、42…コリメータレンズ、43…参照ミラー、44…PMカプラ、45…光路長差生成部、46…PMカプラ、47…コリメータレンズ、48…レンズ、49…コリメータレンズ、50…レンズ、51…PMカプラ、52…コリメータレンズ、53…レンズ、54…コリメータレンズ、55…レンズ、60…第1干渉光生成部、61…PMカプラ、62…PMカプラ、70…第2干渉光生成部、71…PMカプラ、72…PMカプラ、80…第1干渉光検出部、81…バランス型光検出器、82…バランス型光検出器、83…信号処理器、90…第2干渉光検出器、91…バランス型光検出器、92…バランス型光検出器、93…信号処理器、100…クロック発生器、200…演算装置、202…演算部、302…PMファイバ、304…PMファイバ、306…光路延長部、308…光路長延長部、1000…データ処理システム、1100…制御部、1110…教師データ生成プログラム、1110a…測定情報取得部、1110b…偏光OCT画像取得部、1110c…従来型OCT画像取得部、1110d…教師データ生成部、1120…機械学習プログラム、1120a…機械学習部、1200…通信I/F、1300…ディスプレイI/F、1500…データ処理システム、1600…制御部、1610…測定プログラム、1610a…測定部、1610b…従来型OCT画像生成部、1610c…偏光OCT画像生成部、1700…通信I/F、1800…ディスプレイI/F、3000…記憶媒体、3000a…測定情報、3000b…教師データ、3000c…学習モデルデータ、3500…記憶媒体、3500a…測定情報、3500b…従来型OCT画像データ、3500c…偏光OCT画像データ、4000…入力部、4500…入力部、5000…表示部、5500…表示部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10