特開2024-146325医療画像処理装置、ＯＣＴ装置、および医療画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024146325
(43)【公開日】2024-10-15
(54)【発明の名称】医療画像処理装置、ＯＣＴ装置、および医療画像処理プログラム
(51)【国際特許分類】
A61B 3/10 20060101AFI20241004BHJP
【ＦＩ】
A61B3/10 100
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023059149
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000135184
【氏名又は名称】株式会社ニデック
(74)【代理人】
【識別番号】100166785
【弁理士】
【氏名又は名称】大川 智也
(74)【代理人】
【識別番号】100184550
【弁理士】
【氏名又は名称】高田 珠美
(72)【発明者】
【氏名】柴 涼介
(72)【発明者】
【氏名】加納 徹哉
【テーマコード（参考）】
4C316
【Ｆターム（参考）】
4C316AA09
4C316AB02
4C316AB03
4C316AB04
4C316AB11
4C316FB05
4C316FB13
4C316FB16
4C316FB23
4C316FB29
4C316FZ01
(57)【要約】
【課題】複数の三次元画像の間の差異をユーザに適切に把握させることが可能な医療画像処理装置、ＯＣＴ装置、および医療画像処理プログラムを提供する。
【解決手段】制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する（Ｓ１）。制御部は、第１画像データおよび第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データ内のＺ方向画像と第２画像データ内のＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する（Ｓ７）。制御部は、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する（Ｓ９，Ｓ１０）。
【選択図】図６
【解決手段】制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する（Ｓ１）。制御部は、第１画像データおよび第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データ内のＺ方向画像と第２画像データ内のＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する（Ｓ７）。制御部は、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する（Ｓ９，Ｓ１０）。
【選択図】図６
【特許請求の範囲】
【請求項1】
生体組織の画像データを処理する医療画像処理装置であって、
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記医療画像処理装置の制御部は、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を実行することを特徴とする医療画像処理装置。
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記医療画像処理装置の制御部は、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を実行することを特徴とする医療画像処理装置。
【請求項2】
請求項１に記載の医療画像処理装置であって、
前記相関出力ステップでは、前記制御部は、ＸＹ方向の各々の位置について取得された相関の強さの、ＸＹ方向における二次元分布を示す類似度マップの生成処理を実行し、生成した前記類似度マップを出力することを特徴とする医療画像処理装置。
前記相関出力ステップでは、前記制御部は、ＸＹ方向の各々の位置について取得された相関の強さの、ＸＹ方向における二次元分布を示す類似度マップの生成処理を実行し、生成した前記類似度マップを出力することを特徴とする医療画像処理装置。
【請求項3】
請求項２に記載の医療画像処理装置であって、
前記制御部は、
表示部に表示出力された前記類似度マップ上で、ユーザによる二次元画像の抽出位置の指定指示を受け付ける抽出位置受付ステップと、
前記抽出位置受付ステップにおいて抽出位置の指定指示が受け付けられた場合に、指定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの少なくとも一方から抽出して表示部に表示させる抽出表示ステップと、
をさらに実行することを特徴とする医療画像処理装置。
前記制御部は、
表示部に表示出力された前記類似度マップ上で、ユーザによる二次元画像の抽出位置の指定指示を受け付ける抽出位置受付ステップと、
前記抽出位置受付ステップにおいて抽出位置の指定指示が受け付けられた場合に、指定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの少なくとも一方から抽出して表示部に表示させる抽出表示ステップと、
をさらに実行することを特徴とする医療画像処理装置。
【請求項4】
請求項３に記載の医療画像処理装置であって、
前記抽出表示ステップでは、前記制御部は、前記抽出位置受付ステップにおいて指定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの各々から抽出して、前記表示部に表示させることを特徴とする医療画像処理装置。
前記抽出表示ステップでは、前記制御部は、前記抽出位置受付ステップにおいて指定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの各々から抽出して、前記表示部に表示させることを特徴とする医療画像処理装置。
【請求項5】
請求項２に記載の医療画像処理装置であって、
前記制御部は、
前記類似度マップ上で相関が最も弱い位置を含む位置に、二次元画像の抽出位置を自動設定する抽出位置自動設定ステップと、
前記抽出位置自動設定ステップにおいて自動設定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの少なくとも一方から抽出して表示部に表示させる抽出表示ステップと、
をさらに実行することを特徴とする医療画像処理装置。
前記制御部は、
前記類似度マップ上で相関が最も弱い位置を含む位置に、二次元画像の抽出位置を自動設定する抽出位置自動設定ステップと、
前記抽出位置自動設定ステップにおいて自動設定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの少なくとも一方から抽出して表示部に表示させる抽出表示ステップと、
をさらに実行することを特徴とする医療画像処理装置。
【請求項6】
請求項５に記載の医療画像処理装置であって、
前記抽出表示ステップでは、前記制御部は、前記抽出位置自動設定ステップにおいて自動設定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの各々から抽出して、前記表示部に表示させることを特徴とする医療画像処理装置。
前記抽出表示ステップでは、前記制御部は、前記抽出位置自動設定ステップにおいて自動設定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの各々から抽出して、前記表示部に表示させることを特徴とする医療画像処理装置。
【請求項7】
請求項１から６のいずれかに記載の医療画像処理装置であって、
前記相関出力ステップでは、前記制御部は、ＸＹ方向の各々の位置について取得された複数の相関の値を統合する処理を実行し、統合した前記相関の統合値出力することを特徴とする医療画像処理装置。
前記相関出力ステップでは、前記制御部は、ＸＹ方向の各々の位置について取得された複数の相関の値を統合する処理を実行し、統合した前記相関の統合値出力することを特徴とする医療画像処理装置。
【請求項8】
請求項１から７のいずれかに記載の医療画像処理装置であって、
前記第１画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第１正面画像を生成する第１正面画像生成ステップと、
前記第２画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第２正面画像を生成する第２正面画像生成ステップと、
をさらに実行し、
前記相関取得ステップでは、前記制御部は、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像を、前記第１正面画像と前記第２正面画像に基づいて特定することで、前記相関を取得することを特徴とする医療画像処理装置。
前記第１画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第１正面画像を生成する第１正面画像生成ステップと、
前記第２画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第２正面画像を生成する第２正面画像生成ステップと、
をさらに実行し、
前記相関取得ステップでは、前記制御部は、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像を、前記第１正面画像と前記第２正面画像に基づいて特定することで、前記相関を取得することを特徴とする医療画像処理装置。
【請求項9】
請求項１から８のいずれかに記載の医療画像処理装置であって、
前記第１画像データに含まれる複数の前記Ｚ方向画像の間の、Ｚ方向における位置合わせを行う第１画像内位置合わせステップと、
前記第２画像データに含まれる複数の前記Ｚ方向画像の間の、Ｚ方向における位置合わせを行う第２画像内位置合わせステップと、
をさらに実行することを特徴とする医療画像処理装置。
前記第１画像データに含まれる複数の前記Ｚ方向画像の間の、Ｚ方向における位置合わせを行う第１画像内位置合わせステップと、
前記第２画像データに含まれる複数の前記Ｚ方向画像の間の、Ｚ方向における位置合わせを行う第２画像内位置合わせステップと、
をさらに実行することを特徴とする医療画像処理装置。
【請求項10】
請求項１から９のいずれかに記載の医療画像処理装置であって、
前記相関取得ステップでは、前記制御部は、撮影された前記第１画像データおよび前記第２画像データの全体同士で、ＸＹ方向の各々の位置の相関を取得することを特徴とする医療画像処理装置。
前記相関取得ステップでは、前記制御部は、撮影された前記第１画像データおよび前記第２画像データの全体同士で、ＸＹ方向の各々の位置の相関を取得することを特徴とする医療画像処理装置。
【請求項11】
請求項１から１０のいずれかに記載の医療画像処理装置であって、
前記第１画像データが撮影された日と、前記第２画像データが撮影された日が異なることを特徴とする医療画像処理装置。
前記第１画像データが撮影された日と、前記第２画像データが撮影された日が異なることを特徴とする医療画像処理装置。
【請求項12】
参照光と、生体組織に照射された測定光の反射光との干渉光を受光することで、前記生体組織の画像データを撮影するＯＣＴ装置であって、
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記ＯＣＴ装置の制御部は、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を実行することを特徴とするＯＣＴ装置。
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記ＯＣＴ装置の制御部は、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を実行することを特徴とするＯＣＴ装置。
【請求項13】
生体組織の画像データを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を前記医療画像処理装置に実行させることを特徴とする医療画像処理プログラム。
前記画像データは、
生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、
前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、
同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、
前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、
ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、
を前記医療画像処理装置に実行させることを特徴とする医療画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体組織の三次元画像の画像データを処理する医療画像処理装置、ＯＣＴ装置、および、医療画像処理装置において実行される医療画像処理プログラムに関する。
【背景技術】
【0002】
生体組織の三次元画像は、医療従事者による患者の診療を補助するために有用である。近年では、同一の生体組織について撮影された複数の三次元画像を処理することで、複数の三次元画像の間の差異（例えば、複数の三次元画像に表れる、生体組織の経時的な変化等）を、医療従事者等のユーザに把握させる技術も提案されている。例えば、特許文献１に記載の装置は、生体組織の一例である眼底の三次元画像に対して、三次元画像に写る層を検出するセグメンテーション処理を実行し、特定の層の厚みの二次元分布を示す解析マップを生成する。また、従来の装置は、同一の被検者の同一の位置を異なる時期に撮影し、撮影された複数の三次元画像の各々について解析マップを生成することも可能である。生成された複数の解析マップは、組織の経時的な変化をユーザに把握させるために用いられる場合がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１００７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
三次元画像に対するセグメンテーション処理を利用する場合には、少なくともいずれかの三次元画像に対するセグメンテーション処理の精度が低くなってしまうと、複数の三次元画像の間の差異をユーザに正確に把握させることは困難である。また、層への影響が小さい経時変化（例えば、組織に表れる白斑の経時変化等）についても、セグメンテーション処理の結果には反映され難い。本願発明の発明者は、複数の三次元画像の間の差異をユーザに適切に把握させるための、セグメンテーション処理とは異なる技術を新たに見出した。
【0005】
本開示の典型的な目的は、複数の三次元画像の間の差異をユーザに適切に把握させることが可能な医療画像処理装置、ＯＣＴ装置、および医療画像処理プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示における典型的な実施形態が提供する医療画像処理装置は、生体組織の画像データを処理する医療画像処理装置であって、前記画像データは、生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、前記医療画像処理装置の制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、を実行する。
【0007】
本開示における典型的な実施形態が提供するＯＣＴ装置は、参照光と、生体組織に照射された測定光の反射光との干渉光を受光することで、前記生体組織の画像データを撮影するＯＣＴ装置であって、前記画像データは、生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、前記ＯＣＴ装置の制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、を実行する。
【0008】
本開示における典型的な実施形態が提供する医療画像処理プログラムは、生体組織の画像データを処理する医療画像処理装置によって実行される医療画像処理プログラムであって、前記画像データは、生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データであり、前記医療画像処理プログラムが前記医療画像処理装置の制御部によって実行されることで、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する画像データ取得ステップと、前記第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における前記生体組織の撮影位置が互いに一致する前記第１画像データのＺ方向画像と前記第２画像データのＺ方向画像の相関を、ＸＹ方向の各々の位置について取得する相関取得ステップと、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する相関出力ステップと、を前記医療画像処理装置に実行させる。
【0009】
本開示に係る医療画像処理装置、ＯＣＴ装置、および医療画像処理プログラムによると、複数の三次元画像の間の差異がユーザによって適切に把握される。
【図面の簡単な説明】
【0010】
【図1】医療画像処理システム１００の概略構成を示すブロック図である。
【図2】本実施形態の撮影装置１が生体組織５０の三次元画像を撮影する方法を説明するための説明図である。
【図3】複数の二次元画像６１によって三次元画像が構成されている状態を説明するための説明図である。
【図4】三次元画像６０の一例を示す図である。
【図5】二次元画像６１に含まれる複数のＺ方向画像６２の一例を示す図である。
【図6】医療画像処理装置４０が実行する医療画像処理の一例を示す図である。
【図7】三次元の第１画像６０Ａから生成される第１正面画像６５Ａと、三次元の第２画像６０Ｂから生成される第２正面画像６５Ｂの一例を示す図である。
【図8】ＸＹ方向における同一位置のＺ方向画像６２Ａ，６２Ｂの相関および変位を取得する方法を説明するための説明図である。
【図9】類似度マップ７０の一例を示す図である。
【図10】医療画像処理中に実行される二次元画像表示処理のフローチャートである。
【図11】類似度マップ７０上で二次元画像の抽出位置７５が設定された状態の一例を示す図である。
【図12】第１二次元画像６１Ａ，第２二次元画像６１Ｂ、および合成二次元画像６９の一例を示す図である。
【発明を実施するための形態】
【0011】
＜概要＞
本開示で例示する医療画像処理装置の第１態様は、生体組織の画像データを処理する。画像データは、生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データである。医療画像処理装置の制御部は、画像データ取得ステップ、相関取得ステップ、および相関出力ステップを実行する。画像データ取得ステップでは、制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する。相関取得ステップでは、制御部は、第１画像データおよび第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データ内のＺ方向画像と第２画像データ内のＺ方向画像の相関（「類似度」と表現してもよい）を、ＸＹ方向の各々の位置について取得する。相関出力ステップでは、制御部は、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する。
本開示で例示する医療画像処理装置の第１態様は、生体組織の画像データを処理する。画像データは、生体組織の深さ方向であるＺ方向に延びる複数のＺ方向画像が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データである。医療画像処理装置の制御部は、画像データ取得ステップ、相関取得ステップ、および相関出力ステップを実行する。画像データ取得ステップでは、制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する。相関取得ステップでは、制御部は、第１画像データおよび第２画像データの各々に含まれる複数のＺ方向画像のうち、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データ内のＺ方向画像と第２画像データ内のＺ方向画像の相関（「類似度」と表現してもよい）を、ＸＹ方向の各々の位置について取得する。相関出力ステップでは、制御部は、ＸＹ方向の各々の位置について取得された複数の相関を処理して出力する。
【0012】
本開示の第１態様に係る技術によると、ＸＹ方向の撮影位置が一致する２つのＺ方向画像（つまり、第１画像データ内のＺ方向画像と、第２画像データ内のＺ方向画像）の相関が、ＸＹ方向の各々の位置について取得される。ＸＹ方向の各位置のうち、第１画像データと第２画像データの間の差異が小さい位置（例えば、生体組織の変化が小さい位置等）では、２つのＺ方向画像間の相関が強くなる。一方で、ＸＹ方向の各位置のうち、第１画像データと第２画像データの間の差異が大きい位置（例えば、生体組織の変化が大きい位置等）では、２つのＺ方向画像間の相関が弱くなる。従って、ユーザは、ＸＹ方向の各々の位置について取得される相関の情報を確認することで、第１画像データと第２画像データの間の差異を適切に把握することができる。例えば、ユーザは、ＸＹ方向の各々の位置について取得される相関の情報を確認することで、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化を、適切に把握することも可能である。
【0013】
本開示では、ＯＣＴ装置によって撮影された三次元画像の画像データを処理する場合を例示する。ＯＣＴ装置は、光コヒーレンストモグラフィの原理を利用して、生体組織の三次元画像（三次元断層画像）を撮影することができる。一例として、本開示におけるＯＣＴ装置は、光（測定光）のスポットを二次元方向に走査させることで、三次元画像を撮影する。しかし、ＯＣＴ装置の照射光学系は、被検体の組織上の二次元の領域に、測定光を同時に照射してもよい。この場合、受光素子は、組織上の二次元の領域における干渉信号を検出する二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂フルフィールドＯＣＴ（ＦＦ－ＯＣＴ）の原理によって三次元画像を撮影してもよい。また、ＯＣＴ装置は、組織において一次元方向に延びる照射ライン上に測定光を同時に照射すると共に、照射ラインに交差する方向に測定光を走査させてもよい。この場合、受光素子は、一次元受光素子（例えばラインセンサ）または二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂ラインフィールドＯＣＴ（ＬＦ－ＯＣＴ）の原理によって三次元画像を撮影してもよい。
【0014】
ただし、本開示で例示する技術は、ＯＣＴ装置以外の撮影装置によって撮影された画像のデータを処理する場合にも適用できる。例えば、本開示で例示する技術は、ＭＲＩ（磁気共鳴画像診断）装置、または、ＣＴ（コンピュータ断層撮影）装置等によって撮影された画像のデータを処理するために用いられてもよい。
【0015】
本開示では、ＯＣＴ画像を撮影する光の光軸に沿うＺ方向に延びる一次元画像（所謂Ａスキャン画像）が、Ｚ方向画像として処理される。しかし、Ｚ方向画像はＡスキャン画像に限定されない。例えば、三次元画像がＯＣＴ画像とは異なる画像である場合でも、Ｚ方向に並べられた複数の画素列が、Ｚ方向画像として処理されてもよい。また、Ｚ方向に延びる複数の画素列の集合が、Ｚ方向画像として処理されてもよい。つまり、各々のＺ方向画像では、ＸＹ方向においても複数の画素が含まれていてもよい。
【0016】
ＸＹ方向の撮影位置が一致する２つのＺ方向画像（つまり、第１画像データ内のＺ方向画像と、第２画像データ内のＺ方向画像）の相関を取得する方法は、適宜選択できる。例えば、制御部は、撮影位置が一致する２つのＺ方向画像の、Ｚ方向における相対位置を変化させながら、２つのＺ方向画像の相関が最も強くなった際の相関の値を探索することで、相関を取得してもよい。この方法は、テンプレートマッチングとして知られている。この場合、２つのＺ方向画像の相関の最高値と共に、２つのＺ方向画像の間のＺ方向の変位も併せて検出される。また、相関の取得方法として、正規化相互相関、相関係数、位相相関等の少なくともいずれかが用いられてもよい。ＳＳＤ（二乗誤差の総和）、またはＳＡＣ（絶対誤差の総和）等が相関として取得されてもよい。この場合、値が小さい程、２つのＺ方向画像の類似度が高いことになる。
【0017】
相関出力ステップでは、制御部は、ＸＹ方向の各々の位置について取得された相関の強さの、ＸＹ方向における二次元分布を示す類似度マップの生成処理を実行し、生成した前記類似度マップを出力してもよい。
【0018】
この場合、ユーザは、出力された類似度マップを確認することで、第１画像データと第２画像データの間の相関の強さ（つまり、類似度の高さ）の、ＸＹ方向における二次元分布を、直感的に把握することができる。例えば、ユーザは、出力された類似度マップを確認することで、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置を、適切に把握することも可能である。
【0019】
制御部は、抽出位置受付ステップと抽出表示ステップをさらに実行してもよい。抽出位置受付ステップでは、制御部は、表示部に表示出力された類似度マップ上で、ユーザによる二次元画像の抽出位置の指定指示を受け付ける。抽出表示ステップでは、制御部は、抽出位置受付ステップにおいて抽出位置の指定指示が受け付けられた場合に、指定された抽出位置を通過し、且つＺ方向に広がる二次元画像を、第１画像データおよび第２画像データの少なくとも一方から抽出して表示部に表示させる。
【0020】
この場合、ユーザは、類似度マップによって示される第１画像データと第２画像データの相関の強さの二次元分布を把握したうえで、適切な位置の二次元画像を表示させることができる。例えば、類似度マップによって示される相関が弱い位置では、第１画像データと第２画像データの間で、画像の写る生体組織の経時的な変化が大きい可能性が高い。従って、ユーザは、類似度マップのうち相関が弱い位置に抽出位置を指定することで、生体組織の経時的な変化を二次元画像によって適切に把握することも可能である。さらに、ユーザは、二次元画像が抽出された位置を、類似度マップ上で把握することもできる。よって、診療の効率がさらに向上し易くなる。
【0021】
なお、ユーザによる抽出位置の指定指示を受け付けるための具体的な方法は、適宜選択できる。例えば、二次元の類似度マップ上で、ライン状の抽出位置をユーザに指定させることで、抽出位置の指定指示が受け付けられてもよい。この場合、ユーザは、操作部（例えば、マウスおよびタッチパネル等の少なくともいずれか）を操作することで、ライン状の抽出位置を指定してもよい。抽出位置を示すラインの形状も、直線状、曲線状、環状等の種々の形状を採用できる。複数の抽出位置が指定されてもよいことは言うまでもない。また、ユーザは、マウスおよびタッチパネル等の少なくともいずれかを操作（例えば、マウスのドラッグ操作等）することで、類似度マップ上で任意の形状のライン状の抽出位置を指定してもよい。
【0022】
抽出表示ステップでは、制御部は、抽出位置受付ステップにおいて指定された抽出位置を通過し、且つＺ方向に広がる二次元画像を、第１画像データおよび第２画像データの各々から抽出して、表示部に表示させてもよい。
【0023】
この場合、ユーザは、第１画像データと第２画像データの相関の強さに基づいて指定した同一の抽出位置について、第１画像データ内の二次元画像と、第２画像データ内の二次元画像を容易に比較することができる。例えば、ユーザは、類似度マップのうち相関が弱い位置に抽出位置を指定し、表示される２つの二次元画像を比較することで、生体組織の経時的な変化をさらに適切に把握することも可能である。
【0024】
なお、第１画像データおよび第２画像データの各々の同一位置から抽出した２つの二次元画像の表示方法は、適宜選択できる。例えば、制御部は、抽出した２つの二次元画像を並べて表示部に表示させてもよいし、２つの二次元画像を切り換えて（交互に）表示部に表示させてもよい。また、制御部は、抽出した２つの二次元画像を、後述する方法で合成して表示させてもよい。
【0025】
制御部は、抽出位置自動設定ステップと抽出表示ステップをさらに実行してもよい。抽出位置自動設定ステップでは、制御部は、類似度マップ上で相関が最も弱い位置を含む位置に、二次元画像の抽出位置を自動設定する。抽出表示ステップでは、制御部は、抽出位置自動設定ステップにおいて自動設定された前記抽出位置を通過し、且つＺ方向に広がる二次元画像を、前記第１画像データおよび前記第２画像データの少なくとも一方から抽出して表示部に表示させてもよい。
【0026】
この場合、ユーザは、類似度マップによって示される第１画像データと第２画像データの相関が最も弱い位置の二次元画像を、容易に確認することができる。例えば、類似度マップによって示される相関が最も弱い位置では、第１画像データと第２画像データの間で、画像の写る生体組織の経時的な変化が大きい可能性が高い。よって、ユーザによる経過観察の効率も向上し易くなる。
【0027】
前述したように、抽出位置はライン状であってもよい。抽出位置を示すラインの形状には、直線状、曲線状、環状等の種々の形状を採用できる。複数の抽出位置が指定されてもよい
【0028】
二次元画像の抽出位置を自動設定するための具体的な方法は、適宜選択できる。例えば、制御部は、所定の形状（例えばライン状等）の抽出位置における相関の累積値が最も弱くなる位置を探索し、探索された位置を抽出位置として自動設定してもよい。また、制御部は、相関が最も弱い位置を中心とし、且つ所定方向（例えば、Ｘ方向またはＹ方向等）に延びる直線状の位置に、抽出位置を自動設定してもよい。制御部は、相関が最も弱い位置と、画像上の基準位置（例えば、黄斑中心または乳頭中心等）を共に通過する直線状の位置に、抽出位置を自動設定してもよい。
【0029】
抽出表示ステップでは、制御部は、抽出位置自動設定ステップにおいて自動設定された抽出位置を通過し、且つＺ方向に広がる二次元画像を、第１画像データおよび第２画像データの各々から抽出して、表示部に表示させてもよい。
【0030】
この場合、ユーザは、第１画像データと第２画像データの相関が最も弱い位置を含む同一の抽出位置について、第１画像データ内の二次元画像と、第２画像データ内の二次元画像を容易に比較することができる。従って、ユーザによる診療がさらに適切に補助され易くなる。なお、２つの二次元画像の表示方法には、前述したように種々の方法を選択できる。
【0031】
相関出力ステップでは、制御部は、ＸＹ方向の各々の位置について取得された複数の相関の値を統合する処理を実行し、算出した相関の統合値を出力してもよい。
【0032】
この場合、ユーザは、出力される相関の統合値によって、第１画像データと第２画像データの差異を適切に把握することができる。例えば、ユーザは、相関の統合値によって、第１画像データの撮影時と第２画像データの撮影時の間の、生体組織の全体的な経時変化の程度を把握することも可能である。また、相関の統合値によって、Ｚ方向画像同士の相関が取得された際の、第１画像データと第２画像データの位置合わせの正確性を評価することも可能である。また、第１画像データと第２画像データの少なくとも一方の撮影の精度が低ければ、相関の統合値は低くなる。従って、相関の統合値によって、画像の撮影精度を評価することも可能である。例えば、制御部は、第２画像データが新たに撮影された場合に、第１画像データと第２画像データの相関の統合値が閾値未満であれば、第２画像データの撮影精度が低いと判断し、第２画像データの再撮影の指示を出力してもよい。
【0033】
なお、複数の相関の値を統合する方法は、適宜選択できる。例えば、制御部は、複数の相関の値の平均値、中央値、最大値、最小値等を算出することで、複数の相関の値を統合してもよい。また、制御部は、値が閾値を超えた相関、または、値が閾値未満となった相関の数または割合等を、統合値として算出してもよい。
【0034】
制御部は、第１正面画像生成ステップと第２正面画像生成ステップをさらに実行してもよい。第１正面画像生成ステップでは、制御部は、第１画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第１正面画像を生成する。第２正面画像生成ステップでは、制御部は、第２画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第２正面画像を生成する。相関取得ステップでは、制御部は、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データのＺ方向画像と第２画像データのＺ方向画像を、第１正面画像と第２正面画像に基づいて特定することで、相関を取得してもよい。
【0035】
この場合、ＸＹ方向における同一位置を特定する必要がある第１画像データと第２画像データ自体から正面画像が生成され、生成された正面画像に基づいて同一位置が特定される。従って、他の手法（例えば、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて同一位置を特定する手法等）が用いられる場合に比べて、第１画像データと第２画像データのＸＹ方向における同一位置が、より正確に特定され易くなる。
【0036】
なお、画像データ（第１画像データと第２画像データ）に基づいて正面画像（第１正面画像および第２正面画像）を生成するための具体的な方法は、適宜選択できる。例えば、制御部は、画像データに含まれる複数のＺ方向画像の各々について、Ｚ方向に並ぶ複数の画素の画素値を加算（加算平均でもよい）することで、正面画像を生成してもよい。また、制御部は、画像データに含まれる複数のＺ方向画像の各々のうち、特定の位置または範囲の画素値（例えば、画像データに写る層および境界のうち、特定の層の画素値、特定の境界の画素値、または特定の層・境界の範囲内の画素値等）に基づいて、正面画像（所謂Ｅｎｆａｃｅ画像）を生成してもよい。この場合、制御部は、画像データに写る少なくともいずれかの層・境界を検出するセグメンテーション処理を実行し、セグメンテーション処理の結果に基づいて正面画像を生成してもよい。
【0037】
制御部は、第１正面画像と第２正面画像の位置合わせを行うことで、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データのＺ方向画像と第２画像データのＺ方向画像を特定してもよい。この場合、第１正面画像と第２正面画像の位置合わせを行うことで、ＸＹ方向における全ての範囲で、第１画像データのＺ方向画像と第２画像データのＺ方向画像の位置が一致する。よって、第１画像データと第２画像データのＸＹ方向における同一位置が、より容易且つ正確に特定され易くなる。なお、第１正面画像と第２正面画像の位置合わせを行う場合、制御部は、第１正面画像と第２正面画像を重複させた状態で、２つの正面画像の間の相対的な位置および角度を変化させてもよい。制御部は、２つの正面画像の相関が最も強くなる位置および角度を探索することで、２つの正面画像の位置合わせを行ってもよい。また、画像局所特徴量（例えば、ＳＩＦＴ：Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、または、回転不変位相限定相関等の手法が利用されることで、第１正面画像と第２正面画像の位置合わせが行われてもよい。
【0038】
また、制御部は、第１正面画像と第２正面画像の位置合わせを実際に行わずに、第１画像データと第２画像データのＸＹ方向における同一位置を特定することも可能である。例えば、制御部は、第１正面画像に写る生体組織と、第２正面画像に写る生体組織の位置ずれを算出し、算出した位置ずれに基づいて、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データのＺ方向画像と第２画像データのＺ方向画像を特定してもよい。
【0039】
なお、第１画像データと第２画像データのＸＹ方向における同一位置を特定するための方法を変更することも可能である。例えば、第１画像データを撮影する際に、第１画像データの撮影原理とは異なる原理で、第１画像データと同一の撮影位置の正面画像が撮影されてもよい。同様に、第２画像データを撮影する際に、第２画像データの撮影原理とは異なる原理で、第２画像データと同一の撮影位置の正面画像が撮影されてもよい。制御部は、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて、第１画像データと第２画像データのＸＹ方向における同一位置を特定してもよい。
【0040】
制御部は、第１画像内位置合わせステップと第２画像内位置合わせステップをさらに実行してもよい。第１画像内位置合わせステップでは、制御部は、第１画像データに含まれる複数のＺ方向画像の間の、Ｚ方向における位置合わせを行う。第２画像内位置合わせステップでは、制御部は、第２画像データに含まれる複数のＺ方向画像の間の、Ｚ方向における位置合わせを行う。
【0041】
三次元の画像データに含まれる複数のＺ方向画像の少なくとも一部には、例えば、撮影中の生体組織の動き、装置の振動等に起因して、Ｚ方向における位置が正常な位置から外れているＺ方向画像が含まれる場合がある。複数のＺ方向画像の間の位置合わせが行われることで、Ｚ方向における位置が正常な位置から外れている画像に起因する種々の影響が抑制される。例えば、第１画像データと第２画像データの少なくとも一方から二次元画像が抽出される場合には、抽出された二次元画像内に含まれる各々のＺ方向画像のＺ方向における位置ずれが抑制されているので、より適切な二次元画像が抽出され易くなる。
【0042】
相関取得ステップでは、制御部は、撮影された第１画像データおよび第２画像データの全体同士で、ＸＹ方向の各々の位置の相関を取得してもよい。この場合、画像の撮影範囲の全体で、第１画像データと第２画像データの間の差異が適切に把握される。よって、ユーザによる診療等が、より適切に補助され易くなる。
【0043】
ただし、制御部は、第１画像データおよび第２画像データのうち、互いに共通する一部の領域同士で、ＸＹ方向の各々の位置の相関を取得することも可能である。
【0044】
第１画像データが撮影された日と、第２画像データが撮影された日が異なっていてもよい。この場合、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化が、適切に把握され易くなる。従って、生体組織の経過観察等が、より適切に行われ易くなる。
【0045】
制御部は、第１画像データおよび第２画像データの少なくとも一方を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された三次元画像に写る眼底組織における層および境界の少なくともいずれかを識別するための確率分布を取得し、取得した確率分布に基づいて乖離度マップを生成してもよい。乖離度マップは、識別対象の層または境界が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度の二次元分布を示す。制御部は、乖離度マップと類似度マップを、同時に、または切り換えて表示部に表示出力してもよい。
【0046】
前提として、層・境界の構造に異常が無い場合には、数学モデルによって層・境界が正確に識別され易いので、数学モデルによって層・境界を識別する際の確率分布が偏り易い。一方で、層・境界の構造に異常がある場合には、確率分布が偏り難くなる。従って、層・境界が正確に識別される場合の確率分布と、実際に取得された確率分布の乖離度の二次元分布を示す乖離度マップには、層・境界の構造の異常度が表れやすい。また、前述したように、類似度マップによると、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置等が適切に把握され易い。従って、乖離度マップと類似度マップが同時に、または切り換えて表示部に表示されることで、ユーザは、被検者の生体組織の状態を、より適切に把握し易くなる。なお、制御部は、ユーザによって入力される指示に応じて、乖離度マップと類似度マップの同時表示を実行するか否か、乖離度マップと類似度マップの切替表示を実行するか否か等を決定してもよい。この場合、ユーザが希望するマップが適切に表示部に表示されるので、ユーザによる診療等の効率がさらに向上し易くなる。
【0047】
制御部は、第１画像データおよび第２画像データの少なくとも一方に写る眼底組織における、少なくともいずれかの層の厚みについての解析結果の二次元分布を示す厚みマップを生成してもよい。制御部は、厚みマップと類似度マップを、同時に、または切り換えて表示部に表示出力してもよい。
【0048】
厚みマップによると、生体組織の層の厚みの分布が適切に把握される。また、前述したように、類似度マップによると、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置等が適切に把握され易い。従って、厚みマップと類似度マップが同時に、または切り換えて表示部に表示されることで、ユーザは、被検者の生体組織の状態を、より適切に把握し易くなる。なお、制御部は、ユーザによって入力される指示に応じて、厚みマップと類似度マップの同時表示を実行するか否か、厚みマップと類似度マップの切替表示を実行するか否か等を決定してもよい。この場合、ユーザが希望するマップが適切に表示部に表示されるので、ユーザによる診療等の効率がさらに向上し易くなる。
【0049】
さらに、制御部は、乖離度マップ、厚みマップ、および類似度マップのうちの少なくとも２つを、同時にまたは切り換えて表示部に表示出力することも可能である。さらに、第１画像データおよび第２画像データの少なくとも一方に基づいて生成される、乖離度マップおよび厚みマップ以外の生体組織の情報の二次元分布を示すマップが、類似度マップと同時に、または切り換えて表示されてもよい。
【0050】
本開示で例示する医療画像処理装置の第２態様は、生体組織の画像データを処理する。医療画像処理装置の制御部は、二次元画像取得ステップと合成表示ステップを実行する。二次元画像取得ステップでは、制御部は、同種の生体組織についての画像である第１二次元画像および第２二次元画像を取得する。合成表示ステップでは、制御部は、第１二次元画像と第２二次元画像を重ねた状態で合成して表示部に表示させる。
【0051】
本開示の第２態様に係る技術によると、同種の生体組織についての第１二次元画像と第２二次元画像が、重ねられて合成された状態で表示部に表示される。従って、ユーザは、表示部に合成表示された二次元画像（以下、「合成二次元画像」という）を確認することで、第１二次元画像と第２二次元画像の各々に写る生体組織の差異を適切に比較することができる。
【0052】
合成表示ステップでは、制御部は、第１二次元画像と第２二次元画像を、互いに異なる色で合成して表示させてもよい。この場合、１つの合成二次元画像において、第１二次元画像に写る被写体と、第２二次元画像に写る被写体が異なる色で表示される。従って、ユーザは、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化を、合成二次元画像によってさらに適切に把握することができる。
【0053】
合成表示ステップでは、制御部は、被写体が写らない背景の画素の色である背景色を、黒色または白色としてもよい。第１二次元画像において被写体が写る部位の画素の色を、第１色とする。第２二次元画像において被写体が写る部位の画素の色を、第２色とする。制御部は、第１色と第２色の組み合わせを、２つの色が合成された場合に背景色（黒色または白色）とは逆の色となる組み合わせに設定してもよい。
【0054】
この場合、第１二次元画像の被写体と第２二次元画像の被写体が重なる位置では、背景色とは逆の色（白色または黒色）で被写体が表現される。つまり、第１二次元画像の被写体と第２二次元画像の被写体が重なる位置では、被写体がグレースケールで表現される。さらに、第１二次元画像の被写体と第２二次元画像の被写体が重ならない位置では、第１二次元画像の被写体は第１色で表現され、且つ、第２二次元画像の被写体は第２色で表現される。その結果、第１二次元画像の被写体と第２二次元画像の被写体が重ならない位置では、グレースケールではなく、カラーの第１色と第２色によって、各々の二次元画像の被写体が適切に把握される。従って、ユーザは、第１二次元画像の被写体のみが写る部位、第２二次元画像の被写体のみが写る部位、第１二次元画像の被写体と第２二次元画像の被写体が重なる部位、および背景部位の各々を、直感的に把握することが可能である。
【0055】
さらに換言すると、第１色と第２色の合成色が、背景と反対の色にならない場合には、第１色、第２色、および合成色の３つの色が、合成二次元画像に含まれることになるので、被写体の視認性が低下し易い。例えば、第１色を赤、第２色を緑とすると、赤と緑の合成色である黄色も合成二次元画像に含まれることになる。これに対し、第１色と第２色の合成色を、背景色とは逆の色とすることで、２つの被写体が重なる位置がグレースケールで示されることになり、被写体の視認性が向上し易くなる。
【0056】
第１色と第２色の具体的な組み合わせは適宜選択できる。例えば、制御部は、背景色を黒色とする場合には、全ての色が合成された際に白色となる光の三原色（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）のうち、２つの原色の合成色を第１色および第２色の一方とし、残りの１つの原色を他方の色としてもよい。一例として、制御部は、背景色を黒色とする場合に、ＲｅｄとＢｌｕｅを合成したＭａｇｅｎｔａを第１色とし、残りの原色であるＧｒｅｅｎを第２色としてもよい。また、制御部は、背景色を白色とする場合には、全ての色が合成された際に黒色となる色材の三原色（Ｃｙａｎ，Ｍａｇｅｎｔａ，Ｙｅｌｌｏｗ）のうち、２つの原色の合成色を第１色および第２色の一方とし、残りの１つの原色を他方の色としてもよい。
【0057】
ただし、第１二次元画像の被写体と第２二次元画像の被写体が重なる位置を、グレースケール（つまり、白色または黒色）以外の色で表現することも可能である。この場合でも、第１色と第２色が異なる色に設定されることで、第１二次元画像の被写体のみが写る部位、第２二次元画像の被写体のみが写る部位、第２二次元画像に被写体と第２二次元画像の被写体が重なる部位、および背景部位の各々が適切に把握される。
【0058】
制御部は、第１二次元画像と第２二次元画像の各々を構成する複数の部分画像のうち、第１二次元画像と第２二次元画像が位置合わせされた結果同一位置となる部分画像間の類似度を算出し、算出された複数の類似度の二次元分布を示す二次元画像類似度マップを出力する二次元画像類似度マップ出力ステップをさらに実行してもよい。この場合、ユーザは、出力された二次元画像類似度マップを確認することで、第１二次元画像と第２二次元画像の位置合わせが行われた場合の類似度の分布を、直感的に把握することができる。従って、ユーザは、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化を、より適切に把握することができる。
【0059】
なお、第１二次元画像と第２二次元画像の間で類似度を取得する単位となる部分画像は、各画像を構成する画素であってもよい。この場合、２つの画像の間の類似度の分布が画素毎に示されるので、生体組織の経時的な変化を細かく把握し易くなる。しかし、部分画像の単位を変更することも可能である。例えば、複数の画素を含む矩形の部分画像を単位として類似度が取得されてもよい。また、Ｚ方向に延びる複数の画素の集合であるＺ方向画像を部分画像として類似度が取得されてもよい。
【0060】
二次元画像類似度マップを生成するための具体的な方法は、適宜選択できる。例えば、公知のＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｙｔｙ）が利用されることで、二次元画像類似度マップが生成されてもよい。この場合、複数の画素を含む小領域内でＳＳＩＭが算出される。２つの小領域の相対位置をずらしながら、複数のＳＳＩＭが算出され、算出された複数のＳＳＩＭの平均値等が類似度とされる。その結果、同一位置の一対の部分画像の情報（例えば、輝度およびコントラスト等）に加えて、周囲の部分画像の情報も用いられるので、画像の構造の差の評価も可能となる。
【0061】
画像データは、生体組織の深さ方向であるＺ方向と、Ｚ方向に交差する二次元のＸＹ方向に広がる三次元画像の画像データであってもよい。制御部は、画像データ取得ステップと抽出位置設定ステップをさらに実行してもよい。画像データ取得ステップでは、制御部は、同一の被検者の生体組織について異なる時期に撮影され、且つ、撮影位置の少なくとも一部が互いに重複する第１画像データおよび第２画像データを取得する。抽出位置設定ステップでは、制御部は、第１画像データと第２画像データで共通するＸＹ方向における撮影範囲内で、二次元画像を抽出する抽出位置を設定する。二次元画像取得ステップでは、制御部は、第１画像データと第２画像データの各々のうち、画像に写る生体組織中の位置が互いに共通する同一の抽出位置から二次元画像を抽出することで、第１二次元画像と第２二次元画像を取得してもよい。合成表示ステップでは、制御部は、第１画像データの抽出位置から抽出された第１二次元画像と、第２画像データの抽出位置から抽出された第２二次元画像を、位置合わせした状態で合成して表示部に表示させてもよい。
【0062】
この場合、第１画像データと第２画像データの各々のうち、画像に写る生体組織中の同一の位置から、二次元画像（つまり、第１二次元画像と第２二次元画像）が自動的に抽出される。抽出された第１二次元画像と第２二次元画像が、位置合わせされた状態で表示部に合成表示される。従って、ユーザは、表示部に合成表示された二次元画像（以下、「合成二次元画像」という）を確認することで、生体組織中の撮影位置が共通する第１二次元画像と第２二次元画像の各々の被写体を適切に比較することができる。よって、ユーザは、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化を、合成二次元画像によって適切に把握することができる。
【0063】
本開示では、ＯＣＴ装置によって撮影された三次元画像の画像データを処理する場合を例示する。ＯＣＴ装置は、光コヒーレンストモグラフィの原理を利用して、生体組織の三次元画像（三次元断層画像）を撮影することができる。一例として、本開示におけるＯＣＴ装置は、光（測定光）のスポットを二次元方向に走査させることで、三次元画像を撮影する。しかし、ＯＣＴ装置の照射光学系は、被検体の組織上の二次元の領域に、測定光を同時に照射してもよい。この場合、受光素子は、組織上の二次元の領域における干渉信号を検出する二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂フルフィールドＯＣＴ（ＦＦ－ＯＣＴ）の原理によって三次元画像を撮影してもよい。また、ＯＣＴ装置は、組織において一次元方向に延びる照射ライン上に測定光を同時に照射すると共に、照射ラインに交差する方向に測定光を走査させてもよい。この場合、受光素子は、一次元受光素子（例えばラインセンサ）または二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂ラインフィールドＯＣＴ（ＬＦ－ＯＣＴ）の原理によって三次元画像を撮影してもよい。
【0064】
ただし、本開示で例示する技術は、ＯＣＴ装置以外の撮影装置によって撮影された画像のデータを処理する場合にも適用できる。例えば、本開示で例示する技術は、ＭＲＩ（磁気共鳴画像診断）装置、または、ＣＴ（コンピュータ断層撮影）装置等によって撮影された画像のデータを処理するために用いられてもよい。
【0065】
なお、二次元画像取得ステップにおいて第１二次元画像と第２二次元画像を取得する方法を変更することも可能である。例えば、制御部は、生体組織の深さ方向であるＺ方向と、Ｚ方向に交差する二次元のＸＹ方向に広がる生体組織の三次元画像の画像データを取得する画像データ取得ステップを実行してもよい。二次元画像取得ステップでは、制御部は、取得された１つの三次元画像の画像データのうち、画像に写る生体組織中の位置が互いに異なる２つの抽出位置の各々から二次元画像を抽出することで、第１二次元画像と第２二次元画像を取得してもよい。合成表示ステップでは、制御部は、第１二次元画像と第２二次元画像を重ねた状態で合成して表示部に表示させてもよい。この場合、１つの三次元画像のうち、異なる位置から抽出された第１二次元画像と第２に次元画像が合成表示される。従って、ユーザは、１つの生体組織のうち、撮影位置（抽出位置）が互いに異なる第１二次元画像と第２に次元画像の各々に写る生体組織の差異を、合成二次元画像によって適切に比較することができる。
【0066】
１つの三次元画像の画像データのうち、２つの抽出位置の各々から二次元画像を抽出するための具体的な方法は、適宜選択できる。例えば、制御部は、特定の基準部位（例えば、黄斑または乳頭等）の位置を特定し、特定した基準部位を中心として対称となる２つの位置に、二次元画像の抽出位置を設定してもよい。この場合、基準部位を中心として対称となる２つの位置の二次元画像の差異が、合成二次元画像によって適切に比較される。具体的には、制御部は、黄斑を基準部位とし、基準部位を中心として上下に対象となる２つのライン状の位置に、二次元画像の抽出位置を設定してもよい。緑内障等の疾患では、黄斑を基準とする上下の位置の組織の対称性が、診療に有効活用される場合も多い。従って、黄斑を中心として上下に対象となる２つの位置の二次元画像の差異が、合成二次元画像によって適切に比較されることで、診療がより適切に補助され易くなる。
【0067】
また、制御部は、同一の被検者の生体組織の同一位置について、異なる時期に撮影された第１二次元画像および第２二次元画像を、二次元画像取得ステップにおいて取得してもよい。合成表示ステップでは、制御部は、第１二次元画像と第２二次元画像を重ねた状態で合成して表示部に表示させてもよい。つまり、制御部は、同一の被検者の生体組織について異なる時期に撮影された２つの三次元画像から、同一位置の二次元画像を抽出する処理を行わずに、異なる時期に同一位置について撮影された第１二次元画像と第２二次元画像を直接取得してもよい。この場合でも、第１二次元画像の撮影時と第２二次元画像の撮影時の間の、生体組織の経時的な変化を、合成二次元画像によって適切に把握することができる。
【0068】
本開示では、合成する対象の第１二次元画像と第２二次元画像として、組織の深さ方向に広がる二次元断層画像が用いられる場合を主に例示する。しかし、合成する対象の第１二次元画像と第２二次元画像は、組織を正面から見た二次元正面画像であってもよい。この場合、第１二次元画像と第２二次元画像の各々に写る、生体組織の正面の差異が、合成二次元画像によって適切に把握される。なお、二次元正面画像である第１二次元画像および第２二次元画像の取得方法も、適宜選択できる。例えば、二次元正面画像は、生体組織の二次元正面画像を撮影する撮影装置（生体組織が眼底である場合には、眼底カメラおよび走査型レーザ検眼鏡等の少なくともいずれか）によって撮影されてもよい。また、制御部は、三次元画像に含まれる複数のＺ方向画像の各々のうち、特定の位置または範囲の画素値（例えば、画像データに写る層および境界のうち、特定の層の画素値、特定の境界の画素値、または特定の層・境界の範囲内の画素値等）に基づいて正面画像（所謂Ｅｎｆａｃｅ画像）を生成することで、二次元正面画像を取得してもよい。
【0069】
本開示では、同一の被検者の生体組織について撮影された第１二次元画像と第２二次元画像を合成して表示させる場合を例示する。しかし、制御部は、複数の被検者の各々の、同種の生体組織について撮影された、第１二次元画像および第２二次元画像を合成して表示させてもよい。この場合、複数の被検者の生体組織の差異が、合成二次元画像によって適切に把握され易くなる。また、制御部は、同一の被検者の左眼の第１二次元画像と、右眼の第２二次元画像を合成して表示させてもよい。この場合、左眼と右眼の各々の生体組織のうち、互いに対称となる位置についての第１二次元画像と第２二次元画像が合成されてもよい。なお、第１二次元画像と第２二次元画像の各々に写る生体組織の左右が略対称となる場合には、一方の画像の左右を判定させたうえで２つの画像を合成してもよい。この場合、左眼と右眼の各々の生体組織が適切に比較され易くなる。
【0070】
制御部は、第１正面画像生成ステップと第２正面画像生成ステップをさらに実行してもよい。第１正面画像生成ステップでは、制御部は、第１画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第１正面画像を生成する。第２正面画像生成ステップでは、制御部は、第２画像データに基づいて、撮影対象をＺ方向から見た場合の二次元の第２正面画像を生成する。二次元画像取得ステップでは、第１画像データおよび第２画像データの各々のうち、生体組織中の位置が互いに共通する同一の抽出位置を、第１正面画像と第２正面画像に基づいて特定してもよい。
【0071】
この場合、ＸＹ方向における同一の抽出位置を特定する必要がある第１画像データと第２画像データ自体から正面画像が生成され、生成された正面画像に基づいて二次元画像の抽出位置が特定される。従って、他の手法（例えば、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて抽出位置を特定する手法等）が用いられる場合に比べて、第１画像データと第２画像データのＸＹ方向における二次元画像の抽出位置が、より正確に特定され易くなる。
【0072】
なお、画像データ（第１画像データと第２画像データ）に基づいて正面画像（第１正面画像および第２正面画像）を生成するための具体的な方法は、適宜選択できる。例えば、制御部は、画像データに含まれる複数のＺ方向画像の各々について、Ｚ方向に並ぶ複数の画素の画素値を加算（加算平均でもよい）することで、正面画像を生成してもよい。また、制御部は、画像データに含まれる複数のＺ方向画像の各々のうち、特定の位置または範囲の画素値（例えば、画像データに写る層および境界のうち、特定の層の画素値、特定の境界の画素値、または特定の層・境界の範囲内の画素値等）に基づいて、正面画像（所謂Ｅｎｆａｃｅ画像）を生成してもよい。この場合、制御部は、画像データに写る少なくともいずれかの層・境界を検出するセグメンテーション処理を実行し、セグメンテーション処理の結果に基づいて正面画像を生成してもよい。
【0073】
制御部は、第１正面画像と第２正面画像の位置合わせを行うことで、ＸＹ方向における第１画像データおよび第２画像データにおける同一の抽出位置を特定してもよい。この場合、第１正面画像と第２正面画像の位置合わせを行うことで、ＸＹ方向における全ての範囲で、第１画像データと第２画像データの生体組織上の位置が一致する。よって、第１画像データと第２画像データの各々の抽出位置が、より容易且つ正確に特定され易くなる。なお、第１正面画像と第２正面画像の位置合わせを行う場合、制御部は、第１正面画像と第２正面画像を重複させた状態で、２つの正面画像の間の相対的な位置および角度を変化させてもよい。制御部は、２つの正面画像の相関が最も高くなる位置および角度を探索することで、２つの正面画像の位置合わせを行ってもよい。
【0074】
また、制御部は、第１正面画像と第２正面画像の位置合わせを実際に行わずに、第１画像データおよび第２画像データにおける同一の抽出位置を特定することも可能である。例えば、制御部は、第１正面画像に写る生体組織と、第２正面画像に写る生体組織の位置ずれを算出し、算出した位置ずれに基づいて抽出位置を特定してもよい。
【0075】
なお、第１画像データと第２画像データの各々の二次元画像の抽出位置を特定するための方法を変更することも可能である。例えば、第１画像データを撮影する際に、第１画像データの撮影原理とは異なる原理で、第１画像データと同一の撮影位置の正面画像が撮影されてもよい。同様に、第２画像データを撮影する際に、第２画像データの撮影原理とは異なる原理で、第２画像データと同一の撮影位置の正面画像が撮影されてもよい。制御部は、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて、第１画像データと第２画像データの各々の二次元画像の抽出位置を特定してもよい。
【0076】
合成表示ステップでは、制御部は、第１二次元画像と第２二次元画像の各々に写る像の、Ｚ方向における位置合わせが行われた状態で、第１二次元画像と第２二次元画像を合成して表示部に表示させてもよい。二次元画像に含まれる複数のＺ方向画像（Ｚ方向に延びる画像）の少なくとも一部には、例えば、撮影中の生体組織の動き、装置の振動等に起因して、Ｚ方向における位置が正常な位置から外れているＺ方向画像が含まれる場合がある。Ｚ方向における位置が外れているＺ方向画像が二次元画像に含まれた状態で、２つの二次元画像が合成されても、合成二次元画像によって生体組織の差異をユーザに把握させることは困難である。これに対し、像のＺ方向における位置合わせが行われた状態で、合成二次元画像が表示されることで、第１二次元画像と第２二次元画像の各々の被写体を、合成二次元画像によってさらに適切に比較することができる。
【0077】
なお、制御部は、三次元画像である第１画像データと第２画像データの間で、Ｚ方向における位置合わせを予め行った後に、第１二次元画像と第２二次元画像を抽出してもよい。この場合、抽出位置に関わらず、抽出された第１二次元画像と第２二次元画像のＺ方向における相対位置が適切になる。
【0078】
なお、第１画像データと第２画像データの間のＺ方向における位置合わせを行う方法も、適宜選択できる。例えば、制御部は、ＸＹ方向における撮影位置が一致する２つのＺ方向画像（つまり、第１画像データ内のＺ方向画像と、第２画像データ内のＺ方向画像）の、Ｚ方向における相対位置を変化させながら、２つのＺ方向画像の相関が最も高くなった際の相関の値を探索してもよい。制御部は、探索された相関が最も高くなる場合のＺ方向の変位に基づいて、２つのＺ方向画像の位置合わせを行ってもよい。ここで、制御部は、第１画像データと第２画像データの間のＺ方向における位置合わせを行う前に、第１画像データに含まれる複数のＺ方向画像の間のＺ方向における位置合わせと、第２画像データに含まれる複数のＺ方向画像の間のＺ方向における位置合わせを、予め行っておくことも可能である。この場合、撮影中の生体組織の動き等に起因して、Ｚ方向における位置が正常な位置から外れている部分が存在していても、より高い精度でＺ方向における位置合わせが行われ易くなる。
【0079】
ただし、制御部は、第１二次元画像と第２二次元画像を取得（例えば抽出等）した後で、第１二次元画像と第２二次元画像の間のＺ方向における位置合わせを行うことも可能である。
【0080】
第１二次元画像と第２二次元画像は、同一の被検者の生体組織について撮影された画像であってもよい。第１二次元画像が撮影された日と、第２二次元画像が撮影された日が異なっていてもよい。この場合、第１二次元画像の撮影時と、第２二次元画像の撮影時の間の生体組織の経時的な変化が、適切に把握され易くなる。従って、生体組織の経過観察等が、より適切に行われ易くなる。
【0081】
＜実施形態＞
以下、本開示に係る典型的な実施形態の１つについて説明する。本実施形態では、ＯＣＴ装置によって撮影された、被検眼Ｅの眼底組織の三次元画像の画像データを処理する場合を例示する。しかし、本開示の技術によって処理する対象となる画像は、眼底組織以外の組織の画像であってもよい。例えば、処理対象の画像は、被検眼Ｅの眼底以外の生体組織（例えば前眼部等）の画像であってもよいし、被検眼Ｅ以外の生体組織（例えば、皮膚、消化器、または脳等）の画像であってもよい。また、前述したように、処理対象の画像を撮影する撮影装置は、ＯＣＴ装置に限定されない。
以下、本開示に係る典型的な実施形態の１つについて説明する。本実施形態では、ＯＣＴ装置によって撮影された、被検眼Ｅの眼底組織の三次元画像の画像データを処理する場合を例示する。しかし、本開示の技術によって処理する対象となる画像は、眼底組織以外の組織の画像であってもよい。例えば、処理対象の画像は、被検眼Ｅの眼底以外の生体組織（例えば前眼部等）の画像であってもよいし、被検眼Ｅ以外の生体組織（例えば、皮膚、消化器、または脳等）の画像であってもよい。また、前述したように、処理対象の画像を撮影する撮影装置は、ＯＣＴ装置に限定されない。
【0082】
図１を参照して、本実施形態の医療画像処理システム１００の概略構成について説明する。本実施形態の医療画像処理システム１００は、撮影装置１と医療画像処理装置４０を備える。撮影装置（本実施形態ではＯＣＴ装置）１は、生体組織からの光を受光することで、生体組織の三次元画像を撮影する。医療画像処理装置４０は、撮影装置１によって撮影された画像データの処理を実行する。本実施形態の医療画像処理装置４０にはＰＣが用いられる。しかし、医療画像処理装置４０として機能できるデバイスは、ＰＣに限定されない。例えば、撮影装置（ＯＣＴ装置）１またはサーバ等が、医療画像処理装置４０として機能してもよい。撮影装置１が医療画像処理装置４０として機能する場合、撮影装置１は、生体組織の三次元画像を撮影しつつ、撮影した三次元画像を適切に処理することができる。また、タブレット端末またはスマートフォン等の携帯端末が、医療画像処理装置４０として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１のＣＰＵ３１）が、協働して各種処理を行ってもよい。
【0083】
本実施形態の撮影装置１の構成について説明する。撮影装置（ＯＣＴ装置）１は、ＯＣＴ部１０と制御ユニット３０を備える。ＯＣＴ部１０は、ＯＣＴ光源１１、カップラー（光分割器）１２、測定光学系１３、参照光学系２０、および受光素子２２を備える。
【0084】
ＯＣＴ光源１１は、画像データを取得するための光（ＯＣＴ光）を出射する。カップラー１２は、ＯＣＴ光源１１から出射されたＯＣＴ光を、測定光と参照光に分割する。また、本実施形態のカップラー１２は、生体組織（本実施形態では被検眼Ｅの眼底）によって反射された測定光と、参照光学系２０によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー１２は、ＯＣＴ光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子（例えば、サーキュレータ、ビームスプリッタ等）が使用されてもよい。
【0085】
測定光学系１３は、カップラー１２によって分割された測定光を被検体に導くと共に、生体組織によって反射された測定光をカップラー１２に戻す。測定光学系１３は、走査部（スキャナ）１４、照射光学系１６、およびフォーカス調整部１７を備える。走査部１４は、駆動部１５によって駆動されることで、測定光の光軸に交差する二次元方向に測定光をスキャン（走査）させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な２つのガルバノミラーが、走査部１４として用いられている。しかし、光を偏向させる別のデバイス（例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか）が走査部１４として用いられてもよい。照射光学系１６は、走査部１４よりも光路の下流側（つまり被検体側）に設けられており、測定光を生体組織に照射する。フォーカス調整部１７は、照射光学系１６が備える光学部材（例えばレンズ）を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。
【0086】
参照光学系２０は、参照光を生成してカップラー１２に戻す。本実施形態の参照光学系２０は、カップラー１２によって分割された参照光を反射光学系（例えば、参照ミラー）によって反射させることで、参照光を生成する。しかし、参照光学系２０の構成も変更できる。例えば、参照光学系２０は、カップラー１２から入射した光を反射させずに透過させて、カップラー１２に戻してもよい。参照光学系２０は、測定光と参照光の光路長差を変更する光路長差調整部２１を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系１３の光路中に設けられていてもよい。
【0087】
受光素子２２は、カップラー１２によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が受光素子２２によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。フーリエドメインＯＣＴの一例として、Ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ－ＯＣＴ（ＳＤ－ＯＣＴ）、Ｓｗｅｐｔ－ｓｏｕｒｃｅ－ＯＣＴ（ＳＳ－ＯＣＴ）等を採用できる。また、例えば、Ｔｉｍｅ－ｄｏｍａｉｎ－ＯＣＴ（ＴＤ－ＯＣＴ）等を採用することも可能である。
【0088】
また、本実施形態では、測定光のスポットが、走査部１４によって二次元の領域内で走査されることで、三次元画像のデータが取得される。しかし、三次元画像のデータを取得する原理を変更することも可能である。例えば、ラインフィールドＯＣＴ（以下、「ＬＦ－ＯＣＴ」という）の原理によって三次元画像のデータが取得されてもよい。ＬＦ－ＯＣＴでは、組織において一次元方向に延びる照射ライン上に測定光が同時に照射され、測定光の反射光と参照光の干渉光が、一次元受光素子（例えばラインセンサ）または二次元受光素子によって受光される。二次元の測定領域内において、照射ラインに交差する方向に測定光が走査されることで、三次元ＯＣＴデータが取得される。また、フルフィールドＯＣＴの原理によって三次元画像のデータが取得されてもよい。フルフィールドＯＣＴでは、被検体の組織上の二次元の領域に、測定光が同時に照射され、干渉光が二次元受光素子によって受光される。
【0089】
制御ユニット３０は、撮影装置１の各種制御を司る。制御ユニット３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、および不揮発性メモリ（ＮＶＭ）３４を備える。ＣＰＵ３１は各種制御を行うコントローラである。ＲＡＭ３２は各種情報を一時的に記憶する。ＲＯＭ３３には、ＣＰＵ３１が実行するプログラム、および各種初期値等が記憶されている。ＮＶＭ３４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。撮影装置１が医療画像処理装置として機能する場合には、後述する医療画像処理（図６参照）を実行するための医療画像処理プログラムがＮＶＭ３４等に記憶されていてもよい。
【0090】
制御ユニット３０には、モニタ３７および操作部３８が接続されている。モニタ３７は、各種画像を表示する表示部の一例である。操作部３８は、ユーザが各種操作指示を撮影装置１に入力するために、ユーザによって操作される。操作部３８には、例えば、マウス、キーボード、タッチパネル、フットスイッチ等の種々のデバイスを用いることができる。なお、マイクに音が入力されることで各種操作指示が撮影装置１に入力されてもよい。
【0091】
医療画像処理装置４０の概略構成について説明する。医療画像処理装置４０は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、およびＮＶＭ４４を備える。後述する医療画像処理（図６参照）を実行するための医療画像処理プログラムは、ＮＶＭ４４に記憶されていてもよい。また、医療画像処理装置４０には、モニタ４７および操作部４８が接続されている。モニタ４７は、各種画像を表示する表示部の一例である。操作部４８は、ユーザが各種操作指示を医療画像処理装置４０に入力するために、ユーザによって操作される。操作部４８には、撮影装置１の操作部３８と同様に、マウス、キーボード、タッチパネル等の種々のデバイスを用いることができる。また、マイク４６に音が入力されることで、各種操作指示が医療画像処理装置４０に入力されてもよい。
【0092】
医療画像処理装置４０は、撮影装置１から各種データ（例えば、撮影装置１によって撮影された画像データ等）を取得することができる。各種データは、例えば、有線通信、無線通信、および着脱可能な記憶装置（例えばＵＳＢメモリ）等の少なくともいずれかによって取得されればよい。
【0093】
（三次元画像）
図２から図５を参照して、処理対象となる三次元画像の一例について説明する。図２に示すように、本実施形態の撮影装置１は、生体組織５０（図２に示す例では、眼底組織）における二次元の撮影領域５１内で、光（測定光）をスキャンする。詳細には、本実施形態の撮影装置１は、撮影領域５１内の所定の方向に延びるスキャンライン５２上で光をスキャンすることで、光の光軸に沿うＺ方向と、Ｚ方向に垂直なＸ方向に広がる二次元画像６１（図３参照）を撮影（取得）する。図３に示す例では、Ｚ方向は二次元の撮影領域５１に対して垂直な方向（生体組織５０の深さ方向）となり、Ｘ方向はスキャンライン５２が延びる方向となる。次いで、撮影装置１は、スキャンライン５２の位置を撮影領域５１内でＹ方向に移動させて、二次元画像６１の撮影を繰り返す。Ｙ方向は、Ｚ方向およびＸ方向に共に交差（本実施形態では垂直に交差）する方向となる。その結果、複数のスキャンライン５２の各々を通過し、且つ生体組織５０の深さ方向に広がる複数の二次元画像６１が取得される。次いで、図３に示すように、複数の二次元画像６１が、Ｙ方向（各々の二次元画像の画像領域に対して交差する方向）に並べられることで、撮影領域５１における三次元画像６０（図４参照）が生成される。つまり、本実施形態の医療画像処理装置４０によって処理される対象の画像データは、生体組織の深さ方向であるＺ方向と、Ｚ方向に交差する二次元のＸＹ方向に広がる三次元画像の画像データである。
図２から図５を参照して、処理対象となる三次元画像の一例について説明する。図２に示すように、本実施形態の撮影装置１は、生体組織５０（図２に示す例では、眼底組織）における二次元の撮影領域５１内で、光（測定光）をスキャンする。詳細には、本実施形態の撮影装置１は、撮影領域５１内の所定の方向に延びるスキャンライン５２上で光をスキャンすることで、光の光軸に沿うＺ方向と、Ｚ方向に垂直なＸ方向に広がる二次元画像６１（図３参照）を撮影（取得）する。図３に示す例では、Ｚ方向は二次元の撮影領域５１に対して垂直な方向（生体組織５０の深さ方向）となり、Ｘ方向はスキャンライン５２が延びる方向となる。次いで、撮影装置１は、スキャンライン５２の位置を撮影領域５１内でＹ方向に移動させて、二次元画像６１の撮影を繰り返す。Ｙ方向は、Ｚ方向およびＸ方向に共に交差（本実施形態では垂直に交差）する方向となる。その結果、複数のスキャンライン５２の各々を通過し、且つ生体組織５０の深さ方向に広がる複数の二次元画像６１が取得される。次いで、図３に示すように、複数の二次元画像６１が、Ｙ方向（各々の二次元画像の画像領域に対して交差する方向）に並べられることで、撮影領域５１における三次元画像６０（図４参照）が生成される。つまり、本実施形態の医療画像処理装置４０によって処理される対象の画像データは、生体組織の深さ方向であるＺ方向と、Ｚ方向に交差する二次元のＸＹ方向に広がる三次元画像の画像データである。
【0094】
図５に示すように、三次元画像を構成する複数の二次元画像６１の１つに着目すると、各々の二次元画像６１は、Ｚ方向に延びる複数のＺ方向画像６２がＸ方向に並べられることで構成されている。一例として、本実施形態で処理される画像はＯＣＴ画像である。本実施形態では、ＯＣＴ画像を構成する複数のＡスキャン画像の各々が、Ｚ方向画像とされる。前述したように、三次元画像は、複数の二次元画像６１がＹ方向に並べられることで構成される。従って、本実施形態の医療画像処理装置４０によって処理される対象の画像データは、Ｚ方向に延びる複数のＺ方向画像６２が、Ｚ方向に交差する二次元のＸＹ方向に並べられた三次元画像の画像データとなる。
【0095】
（医療画像処理）
図６から図１２を参照して、本実施形態の医療画像処理装置４０が実行する医療画像処理について説明する。本実施形態では、ＰＣＴである医療画像処理装置４０が撮影装置１から生体組織の三次元画像の画像データを取得し、取得した画像データを処理する。しかし、前述したように、他のデバイスが医療画像処理装置として機能してもよい。例えば、撮影装置（本実施形態ではＯＣＴ装置）１自身が医療画像処理を実行してもよい。また、複数の制御部（例えば、撮影装置１のＣＰＵ３１と、医療画像処理装置４０のＣＰＵ４１）が協働して医療画像処理を実行してもよい。本実施形態では、医療画像処理装置４０のＣＰＵ４１は、ＮＶＭ４４に記憶された医療画像処理プログラムに従って、図６に示す医療画像処理を実行する。
図６から図１２を参照して、本実施形態の医療画像処理装置４０が実行する医療画像処理について説明する。本実施形態では、ＰＣＴである医療画像処理装置４０が撮影装置１から生体組織の三次元画像の画像データを取得し、取得した画像データを処理する。しかし、前述したように、他のデバイスが医療画像処理装置として機能してもよい。例えば、撮影装置（本実施形態ではＯＣＴ装置）１自身が医療画像処理を実行してもよい。また、複数の制御部（例えば、撮影装置１のＣＰＵ３１と、医療画像処理装置４０のＣＰＵ４１）が協働して医療画像処理を実行してもよい。本実施形態では、医療画像処理装置４０のＣＰＵ４１は、ＮＶＭ４４に記憶された医療画像処理プログラムに従って、図６に示す医療画像処理を実行する。
【0096】
まず、ＣＰＵ４１は、撮影装置１によって撮影された第１画像データおよび第２画像データを取得する（Ｓ１）。第１画像データおよび第２画像データは、同一の被検者の生体組織が異なる時期に撮影されることで生成されている。第１画像データの撮影位置（撮影領域）と、第２画像データの撮影位置は、少なくとも一部において互いに重複している。仮に、第１画像データの撮影時と第２画像データの撮影時の間で、生体組織に何ら変化が無く、且つ、２つの画像データが共に高い精度で撮影されていれば、第１画像データと第２画像データの間で重複する撮影範囲内の画像は、同じ画像となる。一方で、第１画像データの撮影時と第２画像データの撮影時の間で、生体組織に経時的な変化が生じていれば、第１画像データと第２画像データの間で重複する撮影範囲のうち、変化が生じた部位の画像が異なることになる。
【0097】
例えば、ユーザは、操作部４８を操作し、特定の被検者について異なる時期に撮影された複数の画像データの中から、経過観察等を行うために比較したい２つの画像データを第１画像データおよび第２画像データとして指定してもよい。ＣＰＵ４１は、ユーザによって指定された第１画像データおよび第２画像データを取得してもよい。
【0098】
本実施形態のＳ１では、互いに異なる日に撮影された２つの画像データが、第１画像データおよび第２画像データとして取得される。この場合、以下説明する処理が行われることで、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化が、適切に把握され易くなる。従って、生体組織の経過観察等が、より適切に行われ易くなる。ただし、Ｓ１では、同一の日の異なる時間に撮影された第１画像データと第２画像データが取得されてもよい。
【0099】
ＣＰＵ４１は、第１画像データによって示される三次元の第１画像６０Ａ（図７参照）内の、複数のＺ方向画像６２（図５参照）の位置合わせを実行する（Ｓ２）。つまり、ＣＰＵ４１は、第１画像データに含まれる複数のＺ方向画像６２の間の、Ｚ方向における位置合わせを実行する。同様に、ＣＰＵ４１は、第２画像データによって示される三次元の第２画像６０Ｂ（図７参照）内の、複数のＺ方向画像６２の位置合わせを実行する（Ｓ３）。三次元の画像データ（第１画像データおよび第２画像データの各々）に含まれる複数のＺ方向画像６２の少なくとも一部には、撮影中の生体組織の動き、装置の振動等に起因して、Ｚ方向における位置が正常な位置から外れている画像が含まれる場合がある。複数のＺ方向画像６２の間の位置合わせが、第１画像データおよび第２画像データの各々について予め行われることで、Ｚ方向における位置が正常な位置から外れている画像の影響が抑制される。その結果、以後に行われる各種処理の精度、および、出力（表示）される画像の精度等が向上し易くなる。
【0100】
Ｓ２およびＳ３において、各々の画像データ内における複数のＺ方向画像６２の位置合わせを行うための具体的な方法は、適宜選択できる。例えば、ＣＰＵ４１は、三次元の画像（第１画像および第２画像の各々）に写る特定の層、または層の境界を検出し、検出された層または境界が特定の方向（例えば、ＸＹ平面に沿う方向）に沿って直線状に近づくように、複数のＺ方向画像６２の各々に写る像のＺ方向における位置合わせを実行してもよい。また、ＣＰＵ４１は、複数のＺ方向画像６２の各々のうち、輝度が最大となる位置がＺ方向において一致するように、複数のＺ方向画像６２の各々をＺ方向に移動させてもよい。また、ＣＰＵ２３は、隣接するＺ方向画像６２同士の位置ずれの量を、位相限定相関法またはテンプレートマッチング等によって検出し、検出したずれ量が解消されるように、複数のＺ方向画像６２のＺ方向における位置合わせを行ってもよい。
【0101】
また、三次元の画像（第１画像および第２画像の各々）に含まれる複数のＺ方向画像６２の間のＺ方向の位置ずれ量には、画像の撮影中における生体組織の動きに起因する動き成分と、生体組織の形状に起因する形状成分が共に含まれる場合がある。この場合、ＣＰＵ４１は、Ｓ２およびＳ３の処理において、複数のＺ方向画像６２の間の位置ずれ量のうち、動き成分のみを解消させる処理（つまり、形状成分のみを残存させる処理）を行うことで、撮影中の生体組織の動きの影響を抑制してもよい。以上の処理には、例えば、特開２０２０－１６２８８６号公報に記載されている技術等を採用することが可能である。
【0102】
次いで、ＣＰＵ４１は、図７に示すように、２つの三次元画像（第１画像６０Ａおよび第２画像６０Ｂ）の各々に基づいて、撮影対象である生体組織をＺ方向（本実施形態では、測定光の光軸に沿う方向）から見た場合の二次元の正面画像６５Ａ，６５Ｂを生成する（Ｓ４，Ｓ５）。つまり、ＣＰＵ４１は、三次元の第１画像６０Ａに基づいて、撮影対象をＺ方向から見た場合の二次元の第１正面画像６５Ａを生成する（Ｓ４）。また、ＣＰＵ４１は、三次元の第２画像６０Ｂに基づいて、撮影対象をＺ方向から見た場合の二次元の第２正面画像６５Ｂを生成する（Ｓ５）。
【0103】
詳細は後述するが、本実施形態では、第１画像６０Ａと第２画像６０Ｂの間の、ＸＹ方向における同一位置を特定するために、第１正面画像６５Ａと第２正面画像６５Ｂが用いられる。また、本実施形態では、第１画像６０Ａと第２画像６０Ｂの各々から二次元画像を抽出する際に、第１画像６０Ａと第２画像６０Ｂのうち、生体組織中の位置が互いに共通する同一の抽出位置を特定するために、第１正面画像６５Ａと第２正面画像６５Ｂが用いられる。つまり、本実施形態では、ＸＹ方向における同一の位置を特定する必要がある第１画像データと第２画像データ自体から正面画像６５Ａ，６５Ｂが生成され、生成された正面画像６５Ａ，６５Ｂに基づいて位置が特定される。従って、他の手法（例えば、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて位置を特定する手法等）が用いられる場合に比べて、第１画像データと第２画像データのＸＹ方向における位置が、より正確に特定され易くなる。
【0104】
なお、三次元の画像（第１画像６０Ａと第２画像６０Ｂ）に基づいて正面画像（第１正面画像６５Ａおよび第２正面画像６５Ｂ）を生成するための具体的な方法は、適宜選択できる。例えば、ＣＰＵ４１は、画像データに含まれる複数のＺ方向画像６２の各々について、Ｚ方向に並ぶ複数の画素の画素値を加算（加算平均でもよい）することで、正面画像６５Ａ，６５Ｂを生成してもよい。また、ＣＰＵ４１は、画像データに含まれる複数のＺ方向画像６２の各々のうち、特定の位置または範囲の画素値（例えば、画像データに写る層および境界のうち、特定の層の画素値、特定の境界の画素値、または特定の層・境界の範囲内の画素値等）に基づいて、正面画像６５Ａ，６５Ｂ（所謂Ｅｎｆａｃｅ画像）を生成してもよい。この場合、ＣＰＵ４１は、画像データに写る少なくともいずれかの層・境界を検出するセグメンテーション処理を実行し、セグメンテーション処理の結果に基づいて正面画像６５Ａ，６５Ｂを生成してもよい。
【0105】
次いで、ＣＰＵ４１は、第１正面画像６５Ａと第２正面画像６５Ｂの位置合わせを行う（Ｓ６）。その結果、第１画像データと第２画像データについて、生体組織の撮影位置が互いに一致するＸＹ方向の位置が特定される。つまり、本実施形態では、第１正面画像６５Ａと第２正面画像６５Ｂの位置合わせが行われることで、ＸＹ方向における共通の撮影領域の全ての範囲で、第１画像データと第２画像データの生体組織の撮影位置が一致する。よって、第１画像データと第２画像データのＸＹ方向における位置が、より容易且つ正確に特定され易くなる。
【0106】
なお、第１正面画像６５Ａと第２正面画像６５Ｂの位置合わせを行う場合、ＣＰＵ４１は、第１正面画像６５Ａと第２正面画像６５Ｂを重複させた状態で、２つの正面画像６５Ａ，６５Ｂの間の相対的な位置および角度を変化させてもよい。ＣＰＵ４１は、２つの正面画像６５Ａ，６５Ｂの相関が最も強くなる位置および角度を探索することで、２つの正面画像６５Ａ，６５Ｂの位置合わせを行ってもよい。また、画像局所特徴量（例えば、ＳＩＦＴ：Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、または、回転不変位相限定相関等の手法が利用されることで、第１正面画像６５Ａと第２正面画像６５Ｂの位置合わせが行われてもよい。
【0107】
次いで、ＣＰＵ４１は、第１画像データおよび前記第２画像データの各々に含まれる複数のＺ方向画像６２のうち、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データのＺ方向画像６２Ａと前記第２画像データのＺ方向画像６２Ｂの相関および変位（つまり、Ｚ方向におけるずれ量）を、ＸＹ方向の各々の位置について取得する（Ｓ７）。ＸＹ方向の各位置のうち、第１画像データと第２画像データの間の差異が小さい位置（例えば、生体組織の変化が小さい位置等）では、生体組織の同一位置における２つのＺ方向画像６２間の相関が強くなる。一方で、ＸＹ方向の各位置のうち、第１画像データと第２画像データの間の差異が大きい位置（例えば、生体組織の変化が大きい位置等）では、生体組織の同一位置における２つのＺ方向画像６２間の相関が弱くなる。従って、ＸＹ方向の各々の位置について取得される相関の情報によると、第１画像データと第２画像データの間の差異（例えば、生体組織の経時的な変化等）が適切に把握される。
【0108】
図８を参照して、ＸＹ方向における同一位置のＺ方向画像６２Ａ，６２Ｂの間の相関および変位を取得する方法の一例について説明する。図８に示すように、本実施形態では、ＣＰＵ４１は、ＸＹ方向における生体組織の撮影位置が互いに一致する第１画像データのＺ方向画像６２Ａと第２画像データのＺ方向画像６２Ｂを特定する。前述したように、本実施形態では、第１画像データと第２画像データの間のＸＹ方向における位置合わせが予め実行されている。従って、位置合わせの結果に基づいて、ＸＹ方向における生体組織の撮影位置が互いに一致する位置（図８に示す例では位置（ｘ，ｙ））が、適切に特定される。次いで、ＣＰＵ４１は、撮影位置が一致する２つのＺ方向画像６２Ａ，６２Ｂの、Ｚ方向における相対位置を変化させながら、２つのＺ方向画像６２Ａ，６２Ｂの相関が最も強くなった際の相関の値を探索する。ＣＰＵ４１は、探索された相関の最高値を、２つのＺ方向画像６２Ａ，６２Ｂの間の相関Ｃ（ｘ，ｙ）として取得する。さらに、ＣＰＵ４１は、２つのＺ方向画像６２Ａ，６２Ｂの相関が最も強くなった際の、２つのＺ方向画像６２Ａ，６２Ｂの間のＺ方向における相対位置の変位ｄｚ（ｘ，ｙ）を取得する。以上の処理が、ＸＹ方向における複数の位置の各々について実行される。なお、相関の取得方法として、正規化相互相関、相関係数、位相相関等の少なくともいずれかが用いられてもよい。ＳＳＤ（二乗誤差の総和）、またはＳＡＣ（絶対誤差の総和）等が相関として取得されてもよい。この場合、値が小さい程、２つのＺ方向画像の類似度が高いことになる。
【0109】
次いで、ＣＰＵ４１は、Ｓ７においてＸＹ方向の各位置で取得された変位（つまり、生体組織の同一位置における２つのＺ方向画像６２Ａ，６２Ｂの間の変位）に基づいて、第１画像データと第２画像データのＺ方向における位置合わせを、各々のＺ方向画像６２毎に実行する（Ｓ８）。その結果、第１画像データと第２画像データの間の位置合わせが、より正確に行われ易くなる。
【0110】
次いで、ＣＰＵ４１は、ＸＹ方向の各々の位置について取得された相関の強さの、ＸＹ方向における二次元分布を示す類似度マップ７０（図９参照）の生成処理を実行し、生成した類似度マップ７０を出力する（Ｓ９）。ユーザは、出力された類似度マップ７０を確認することで、第１画像データと第２画像データの間の相関の強さの、ＸＹ方向における二次元分布を、直感的に把握することができる。例えば、ユーザは、出力された類似度マップ７０を確認することで、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置を、適切に把握することも可能である。
【0111】
本実施形態のＳ９では、ＣＰＵ４１は、撮影された第１画像データおよび第２画像データの全体同士（つまり、少なくとも、第１画像データと第２画像データの間で重複する撮影領域の全体）で、ＸＹ方向の各々の位置の相関を取得する。従って、重複する画像の撮影領域の全体で、第１画像データと第２画像データの間の差異が適切に把握される。よって、ユーザによる診療等が、より適切に補助され易くなる。
【0112】
なお、類似度マップ７０の出力方法は適宜選択できる。例えば、ＣＰＵ４１は、生成した類似度マップ７０をモニタ（表示部）４７に表示させることで、類似度マップ７０を出力してもよい。この場合、ＣＰＵ４１は、類似度マップ７０の各々の位置の色および明度等の少なくともいずれかを、相関の強さに応じて変化させることで、相関の強さの二次元分布を示してもよい。また、ＣＰＵ４１は、生成した類似度マップ７０のデータを他のデバイスに出力してもよい。なお、ＣＰＵ４１は、ＸＹ方向の各々の位置について取得された相関の値に対して、平滑化処理、または、最小値フィルタを掛ける処理等を行ったうえで、類似度マップ７０を表示させてもよい。この場合、第１画像データと第２画像データの間の差異が大きい位置が、より適切に類似度マップ７０に表れやすくなる。
【0113】
また、ＣＰＵ４１は、乖離度マップと相関マップ７０を、同時にまたは切り換えてモニタ４７に表示させることも可能である。乖離度マップは、機械学習アルゴリズムによって訓練された数学モデルが、三次元画像に写る層および境界の少なくともいずれかを識別する際の、識別対象の層または境界が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度の二次元分布を示す。この場合、ＣＰＵ４１は、第１画像データおよび第２画像データの少なくとも一方（例えば、直近に撮影されたデータ等）を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された三次元画像に写る眼底組織における層および境界の少なくともいずれかを識別するための確率分布を取得する。ＣＰＵ４１は、取得した確率分布に基づいて乖離度マップを生成する。前述したように、乖離度マップには、層・境界の構造の異常度が表れやすい。また、相関マップ７０によると、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置等が適切に把握され易い。従って、乖離度マップと相関マップ７０が同時に、または切り換えてモニタ４７に表示されることで、ユーザは、被検者の生体組織の状態をより適切に把握し易くなる。なお、乖離度の取得方法、および乖離度マップの生成方法等については、例えば、特開２０２０－１８７９４号公報に記載の技術等を採用できる。
【0114】
また、ＣＰＵ４１は、厚みマップと相関マップ７０を、同時にまたは切り換えてモニタ４７に表示させることも可能である。厚みマップは、三次元画像に写る層および境界のうち、少なくともいずれかの層の厚みについての解析結果の二次元分布を示す。この場合、ＣＰＵ４１は、第１画像データおよび第２画像データの少なくとも一方に基づいて厚みマップを生成する。厚みマップによると、生体組織の層の厚みの分布が適切に把握される。また、前述したように、相関マップ７０によると、生体組織の経時的な変化が大きい可能性が高いＸＹ方向の位置等が適切に把握され易い。従って、厚みマップと相関マップ７０が同時に、または切り換えてモニタ４７に表示されることで、ユーザは、被検者の生体組織の状態を、より適切に把握し易くなる。
【0115】
ＣＰＵ４１は、ＸＹ方向の各々の位置について取得された複数の相関の統合値を算出し、算出した相関の統合値を出力する（Ｓ１０）。ユーザは、出力される相関の統合値によって、第１画像データと第２画像データの差異を適切に把握することができる。例えば、ユーザは、相関の統合値によって、第１画像データの撮影時と第２画像データの撮影時の間の、生体組織の全体的な経時変化の程度を把握することも可能である。また、相関の統合値によって、Ｚ方向画像６２同士の相関が取得された際の、第１画像データと第２画像データの位置合わせの正確性を評価することも可能である。また、第１画像データと第２画像データの少なくとも一方の撮影の精度が低ければ、相関の統合値は低くなる。従って、相関の統合値によって、画像の撮影精度を評価することも可能である。例えば、ＣＰＵ４１は、第２画像データが新たに撮影された場合に、第１画像データと第２画像データの相関の統合値が閾値未満であれば、第２画像データの撮影精度が低いと判断し、第２画像データの再撮影の指示を出力してもよい。
【0116】
なお、算出された相関の統合値の出力方法も適宜選択できる。本実施形態では、ＣＰＵ４１は、複数の相関の平均値を統合値として算出する。しかし、複数の相関の中央値、最大値、最小値等を算出することで、複数の相関の値を統合することも可能である。ＣＰＵ４１は、算出された相関の統合値そのもの、または、相関の都合値の高さを示す指標（例えば、算出された相関の統合値の高さが、複数の段階のうちいずれの段階に該当するかを示す指標）等を、表示部への表示、および音声等の少なくともいずれかによって出力してもよい。また、ＣＰＵ４１は、値が閾値を超えた相関、または、値が閾値未満となった相関の数または割合等を、統合値として算出してもよい。
【0117】
次いで、ＣＰＵ４１は、二次元画像表示処理（Ｓ１１）を実行し、処理を終了する。二次元画像表示処理では、ＣＰＵ４１は、三次元の第１画像データおよび第２画像データを処理することで、ユーザによる診療等に有用な二次元画像をモニタ４７に表示させることができる。特に、本実施形態では、ＣＰＵ４１は、第１画像データと第２画像データの各々のうち、画像に共通して写る生体組織中の同一の位置から、二次元画像（つまり、図１２に示す第１二次元画像６１Ａと第２二次元画像６１Ｂ）を自動的に抽出することができる。ＣＰＵ４１は、同一位置から抽出した第１二次元画像６１Ａと第２二次元画像６１Ｂを位置合わせした状態（つまり、重ねた状態で）で合成することで、合成二次元画像６９（図１２参照）を生成し、モニタ４７に表示させることができる。
【0118】
図１０を参照して、二次元画像表示処理について詳細に説明する。まず、第１画像データと第２画像データの間の相関が弱い位置の二次元画像を自動的に抽出して表示させる処理（Ｓ２１～Ｓ２３，Ｓ３３～Ｓ３８）について説明する。
【0119】
ＣＰＵ４１は、ＸＹ方向に広がる第１画像データと第２画像データの撮影範囲のうち、Ｓ７（図６参照）で取得された相関が最も弱い位置（つまり、類似度マップ７０上で相関が最も弱い位置５５）を含む位置に、二次元画像６１の抽出位置を自動設定する（Ｓ２１）。この場合、ユーザは、自動設定された抽出位置の二次元画像６１を確認することで、第１画像データと第２画像データの相関が最も弱い位置の生体組織の状態（例えば、生体組織の経時的な変化等）を、二次元画像６１によって適切に把握することができる。
【0120】
図１１に示すように、本実施形態では、ＣＰＵ４１は、ＸＹ方向に広がる二次元の類似度マップ７０上で、ライン状の抽出位置７５を設定する。図１１に示す例では、直線のライン状の抽出位置７５が自動設定されている。しかし、抽出位置７５を示すラインの形状には、直線以外の形状（例えば、曲線状、環状等）が採用されてもよい。図１１に示す例では、ＣＰＵ４１は、相関が最も弱い位置５５と、画像上の基準位置５６（図１１では黄斑中心）を共に通過する直線状の位置に、抽出位置７５を自動設定する。この場合、ＣＰＵ４１は、三次元画像および正面画像の少なくともいずれかに対して、公知の画像処理を行うことで、画像上の基準位置５６を検出してもよい。また、ＣＰＵ４１は、所定の形状（例えばライン状等）の抽出位置における相関の累積値が最も低くなる位置を探索し、探索された位置を抽出位置として自動設定してもよい。また、ＣＰＵ４１は、相関が最も弱い位置を中心とし、且つ所定方向（例えば、Ｘ方向またはＹ方向等）に延びる直線状の位置に、抽出位置を自動設定してもよい。
【0121】
ＣＰＵ４１は、第１画像データのうち、Ｓ２１で自動設定された抽出位置７５を通過し、且つＺ方向に広がる第１二次元画像６１Ａ（図１２参照）を、第１画像データから抽出する（Ｓ２２）。また、ＣＰＵ４１は、第２画像データのうち、Ｓ２１で自動設定された抽出位置７５を通過し、且つＺ方向に広がる第２二次元画像６１Ｂ（図１２参照）を、第２画像データから抽出する（Ｓ２３）。つまり、Ｓ２２，Ｓ２３では、ＣＰＵ４１は、第１画像データと第２画像データの各々のうち、画像に写る生体組織中の位置が互いに共通する同一の抽出位置７５から二次元画像６１Ａ，６１Ｂを抽出する。
【0122】
前述したように、本実施形態では、ＸＹ方向における同一の抽出位置７５を特定する必要がある第１画像データと第２画像データ自体から正面画像６５Ａ，６５Ｂが生成され、生成された正面画像６５Ａ，６５Ｂに基づいて、二次元画像６１Ａ，６１Ｂの各々の抽出位置７５が特定される。従って、他の手法（例えば、第１画像データおよび第２画像データの撮影原理とは異なる原理で撮影された正面画像に基づいて抽出位置を特定する手法等）が用いられる場合に比べて、第１画像データと第２画像データのＸＹ方向における二次元画像６１Ａ，６１Ｂの抽出位置が、より正確に特定され易くなる。
【0123】
前述したように、本実施形態では、第１正面画像６５Ａと第２正面画像６５Ｂの位置合わせが行われることで、ＸＹ方向における第１画像データおよび第２画像データにおける同一の抽出位置７５が特定される。その結果、ＸＹ方向において共通する撮影領域内の全ての範囲で、第１画像データと第２画像データのＸＹ方向における生体組織上の位置が一致する。よって、第１画像データと第２画像データの各々の抽出位置７５が、より容易且つ正確に特定され易くなる。
【0124】
ＣＰＵ４１は、第１二次元画像６１Ａと第２二次元画像６１Ｂの各々に写る像の、Ｚ方向における位置合わせが行われた状態で、第１二次元画像６１Ａと第２二次元画像６１Ｂを合成してモニタ４７に表示させる。従って、ＸＹ方向の同一の抽出位置７５から抽出された第１二次元画像６１Ａと第２二次元画像６１Ｂが、Ｚ方向における位置合わせも行われた状態で合成表示される。よって、ユーザは、合成二次元画像６９を確認することで、第１二次元画像６１Ａと第２二次元画像６１Ｂの各々の被写体を、さらに適切に比較することができる。なお、本実施形態では、ＣＰＵ４１は、三次元画像である第１画像データと第２画像データの間で、Ｚ方向における位置合わせを予め行った後に、第１二次元画像６１Ａと第２二次元画像６１Ｂを抽出する。従って、抽出位置に関わらず、抽出された第１二次元画像６１Ａと第２二次元画像６１ＢのＺ方向における相対位置が適切になる。
【0125】
抽出された個々の二次元画像６１Ａ，６１Ｂを表示させる設定が行われている場合（Ｓ３３：ＹＥＳ）、ＣＰＵ４１は、Ｓ２２，Ｓ２３で抽出された第１二次元画像６１Ａと第２二次元画像６１Ｂを、並べて、または切り換えてモニタ４７に表示させる（Ｓ３４）。この場合、ユーザは、第１画像データと第２画像データの各々のうち、画像に写る生体組織中の位置が互いに共通する同一の抽出位置の二次元画像６１Ａ，６１Ｂを、適切に比較することができる。従って、生体組織の経時的な変化等が、２つの二次元画像６１Ａ，６１Ｂを比較することで適切に把握され易くなる。
【0126】
合成二次元画像６９（図１２参照）を表示させる設定が行われている場合（Ｓ３５：ＹＥＳ）、ＣＰＵ４１は、同一位置から抽出した第１二次元画像６１Ａと第２二次元画像６１Ｂを位置合わせした状態で合成することで、合成二次元画像６９を生成し、モニタ４７に表示させる（Ｓ３６）。ユーザは、モニタ４７に表示された合成二次元画像６９を確認することで、生体組織中の撮影位置が共通する第１二次元画像６１Ａと第２二次元画像６１Ｂの各々の被写体を、より適切に比較することができる。
【0127】
合成二次元画像６９をモニタ４７表示させる方法について、詳細に説明する。本実施形態では、ＣＰＵ４１は、第１二次元画像６１Ａと第２二次元画像６１Ｂを、互いに異なる色で合成して表示させる。その結果、１つの合成二次元画像６９において、第１二次元画像６１Ａに写る被写体と、第２二次元画像６１Ｂに写る被写体が、異なる色で表示される。従って、ユーザは、第１二次元画像６１Ａと第２二次元画像６１Ｂの各々に写る生体組織の差異（例えば、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化等）を、合成二次元画像６９によってさらに適切に把握することができる。
【0128】
また、ＣＰＵ４１は、合成二次元画像６９のうち、被写体が写らない背景の画素の色（背景色）を、黒色または白色とする。第１二次元画像６１Ａにおいて被写体が写る部位の画素の色を、第１色とする。第２二次元画像６１Ｂにおいて被写体が写る部位の画素の色を、第２色とする。ＣＰＵ４１は、合成二次元画像６９を表示させる際に、第１色と第２色の組み合わせを、２つの色が合成された場合に背景色（黒色または白色）とは逆の色となる組み合わせに設定する。その結果、第１二次元画像６１Ａの被写体と第２二次元画像６１Ｂの被写体が重なる位置では、背景色とは逆の色（白色または黒色）で被写体が表現される。つまり、第１二次元画像６１Ａの被写体と第２二次元画像６１Ｂの被写体が重なる位置では、被写体がグレースケールで表現される。さらに、第１二次元画像６１Ａの被写体と第２二次元画像６１Ｂの被写体が重ならない位置では、第１二次元画像６１Ａの被写体は第１色で表現され、且つ、第２二次元画像６１Ｂの被写体は第２色（第１色とは異なる色）で表現される。その結果、第１二次元画像６１Ａの被写体と第２二次元画像６１Ｂの被写体が重ならない位置では、グレースケールではなく、カラーの第１色と第２色によって、各々の二次元画像６１Ａ，６１Ｂの被写体が適切に把握される。従って、ユーザは、第１二次元画像６１Ａの被写体のみが写る部位、第２二次元画像６１Ｂの被写体のみが写る部位、第１二次元画像６１Ａの被写体と第２二次元画像６１Ｂの被写体が重なる部位、および背景部位の各々を、直感的に把握することが可能である。
【0129】
換言すると、第１色と第２色の合成色が、背景と反対の色にならない場合には、第１色、第２色、および合成色の３つの色が、合成二次元画像に含まれることになる。この場合、被写体の視認性が低下し易い。例えば、第１色を赤、第２色を緑とすると、赤と緑の合成色である黄色も合成二次元画像６９に含まれることになる。これに対し、第１色と第２色の合成色を、背景色とは逆の色とすることで、２つの被写体が重なる位置がグレースケールで示されることになり、被写体の視認性が向上し易くなる。
【0130】
一例として、ＣＰＵ４１は、背景色を黒色とする場合には、全ての色が合成された際に白色となる光の三原色（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）のうち、２つの原色の合成色を第１色および第２色の一方とし、残りの１つの原色を他方の色とする。また、ＣＰＵ４１は、背景色を白色とする場合には、全ての色が合成された際に黒色となる色材の三原色（Ｃｙａｎ，Ｍａｇｅｎｔａ，Ｙｅｌｌｏｗ）のうち、２つの原色の合成色を第１色および第２色の一方とし、残りの１つの原色を他方の色とする。ただし、第１色と第２色の組み合わせを変更することも可能である。
【0131】
また、ＣＰＵ４１は、第１二次元画像６１Ａと第２二次元画像６１Ｂの類似度の二次元分布を示す二次元画像類似度マップをモニタ４７に表示させることも可能である。二次元画像類似度マップを生成する場合、ＣＰＵ４１は、第１二次元画像６１Ａと第２二次元画像６１Ｂの各々を構成する複数の部分画像（例えば画素等）のうち、第１二次元画像６１Ａと第２二次元画像６１Ｂが位置合わせされた結果同一位置となる部分画像間の類似度を、各位置の部分画像について算出する。ＣＰＵ４１は、各位置の部分画像について算出された類似度に基づいて、二次元画像類似度マップを生成する。二次元画像類似度マップを表示させる設定が行われている場合（Ｓ３７：ＹＥＳ）、ＣＰＵ４１は、二次元画像類似度マップを生成してモニタ４７に表示させる（Ｓ３８）。その後、処理はＳ２６へ移行する。ユーザは、出力された二次元画像類似度マップを確認することで、第１二次元画像６１Ａと第２二次元画像６１Ｂの位置合わせが行われた場合の類似度の分布を、直感的に把握することができる。従って、ユーザは、第１画像データの撮影時と、第２画像データの撮影時の間の生体組織の経時的な変化を、より適切に把握することができる。
【0132】
二次元画像類似度マップを生成するための具体的な方法は、適宜選択できる。例えば、公知のＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｙｔｙ）が利用されることで、二次元画像類似度マップが生成されてもよい。この場合、複数の画素を含む小領域内でＳＳＩＭが算出される。２つの小領域の相対位置をずらしながら、複数のＳＳＩＭが算出され、算出された複数のＳＳＩＭの平均値等が類似度とされる。その結果、同一位置の一対の部分画像の情報（例えば、輝度およびコントラスト等）に加えて、周囲の部分画像の情報も用いられるので、画像の構造の差の評価も可能となる。また、公知のＤＰマッチングの手法が用いられることで、二次元画像類似度マップが生成されてもよい。この場合、二次元画像６１Ａ，６１Ｂに写る被写体の変化（例えば、層の厚みの変化等）が、さらに把握され易くなる。
【0133】
次に、第１二次元画像６１Ａと第２二次元画像６１Ｂの抽出位置７５を、ユーザによって入力される指示に応じて設定し、設定した抽出位置の二次元画像を表示させる処理（Ｓ２６～Ｓ３０，Ｓ３３～Ｓ３８）について説明する。
【0134】
ＣＰＵ４１は、処理を終了させる指示が入力されていなければ（Ｓ２６：ＮＯ）、ＣＰＵ４１は、モニタ４７に表示させた類似度マップ７０（図９および図１１参照）上で二次元画像６１Ａ，６１Ｂの抽出位置が指定されたか否かを判断する（Ｓ２７）。指定されていなければ（Ｓ２７：ＮＯ）、Ｓ２６，Ｓ２７の判断が繰り返されて待機状態となる。処理を終了させる指示が入力されると（Ｓ２６：ＹＥＳ）、医療画像処理は終了する。
【0135】
本実施形態では、ＣＰＵ４１は、モニタ４７に表示出力された類似度マップ７０上で、ユーザによる二次元画像６１Ａ，６１Ｂの抽出位置の指定指示を受け付ける。一例として、本実施形態では、二次元の類似度マップ７０上で、ライン状の抽出位置７５をユーザに指定させることで、抽出位置７５の指定指示が受け付けられる。ユーザは、操作部４８を操作することで、ライン状の抽出位置７５を指定する。前述したように、抽出位置７５を示すラインの形状には、直線状、曲線状、環状等の種々の形状を採用できる。複数の抽出位置７５が指定されてもよいことは言うまでもない。
【0136】
類似度マップ７０上で二次元画像６１Ａ，６１Ｂの抽出位置が指定されると（Ｓ２７：ＹＥＳ）、ＣＰＵ４１は、類似度マップ７０上で指定された位置に抽出位置７５を設定する（Ｓ２８）。ＣＰＵ４１は、前述したＳ２２の処理と同様に、第１画像データのうち、Ｓ２８で設定された抽出位置７５を通過し、且つＺ方向に広がる第１二次元画像６１Ａ（図１２参照）を、第１画像データから抽出する（Ｓ２９）。また、ＣＰＵ４１は、前述したＳ２３の処理と同様に、第２画像データのうち、Ｓ２８で設定された抽出位置７５を通過し、且つＺ方向に広がる第２二次元画像６１Ｂ（図１２参照）を、第２画像データから抽出する（Ｓ３０）。つまり、Ｓ２９，Ｓ３０では、ＣＰＵ４１は、第１画像データと第２画像データの各々のうち、画像に写る生体組織中の位置が互いに共通する同一の抽出位置７５から二次元画像６１Ａ，６１Ｂを抽出する。その後、Ｓ３３～Ｓ３８の処理が実行される。この場合、ユーザは、類似度マップ７０によって示される第１画像データと第２画像データの相関の強さの二次元分布を把握したうえで、適切な位置の二次元画像（第１二次元画像６１Ａおよび第２二次元画像６１Ｂの少なくとも一方）を表示させることができる。例えば、類似度マップ７０によって示される相関が弱い位置では、第１画像データと第２画像データの間で、画像の写る生体組織の経時的な変化が大きい可能性が高い。従って、ユーザは、類似度マップ７０のうち相関が弱い位置に抽出位置７５を指定することで、生体組織の経時的な変化を二次元画像によって適切に把握することも可能である。
【0137】
上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された処理の一部のみを実行することも可能である。例えば、ＣＰＵ４１は、第１画像データと第１画像データの相関（例えば類似度マップ７０等）の出力処理を実行せずに、合成二次元画像６９を表示させる処理を実行してもよい。この場合、第１二次元画像７５と第２二次元画像の抽出位置７５は、類似度マップ７０上で指定されなくてもよい。例えば、ＣＰＵ４１は、正面画像６５Ａ，６５Ｂ上で、ユーザによる抽出位置７５の指定指示を受け付けてもよい。また、ＣＰＵ４１は、合成二次元画像６９を表示させる処理を実行せずに、第１画像データと第１画像データの相関の出力処理を実行してもよい。この場合、ＣＰＵ４１は、第１二次元画像６１Ａおよび第２二次元画像６１Ｂの一方のみを画像データから抽出して表示させてもよい。
【0138】
以下、本開示の第１態様の各ステップを、上記実施形態の処理と対応させる。図６のＳ１で画像データを取得する処理は、「画像データ取得ステップ」の一例である。図６のＳ７で相関を取得する処理は、「相関取得ステップ」の一例である。図６のＳ９，Ｓ１０で相関を処理して出力する処理は、「相関出力ステップ」の一例である。図１０のＳ２７で二次元画像の抽出位置の指定指示を受け付ける処理は、「抽出位置受付ステップ」の一例である。図１０のＳ２２，Ｓ２３，Ｓ２９，Ｓ３０，Ｓ３３～Ｓ３６で二次元画像を抽出して表示させる処理は、「抽出表示ステップ」の一例である。図１０のＳ２１で二次元画像の抽出位置を自動設定する処理は、「抽出位置自動設定ステップ」の一例である。図６のＳ４で第１正面画像を生成する処理は、「第１正面画像生成ステップ」の一例である。図６のＳ５で第２正面画像を生成する処理は、「第２正面画像生成ステップ」の一例である。図６のＳ２で第１画像データ内のＺ方向における位置合わせを行う処理は、「第１画像内位置合わせステップ」の一例である。図６のＳ３で第２画像データ内のＺ方向における位置合わせを行う処理は、「第２画像内位置合わせステップ」の一例である。
【0139】
本開示の第２態様の各ステップを、上記実施形態の処理と対応させる。図１０のＳ２２，Ｓ２３，Ｓ２９，Ｓ３０で二次元画像を取得する処理は、「二次元画像取得ステップ」の一例である。図１０のＳ３６で合成二次元画像を表示させる処理は、「合成表示ステップ」の一例である。図６のＳ１で画像データを取得する処理は、「画像データ取得ステップ」の一例である。図１０のＳ２１，Ｓ２８で二次元画像の抽出位置を設定する処理は、「抽出位置設定ステップ」の一例である。図１０のＳ３８で二次元画像類似度マップを出力する処理は、「二次元画像類似度マップ出力ステップ」の一例である。図６のＳ４で第１正面画像を生成する処理は、「第１正面画像生成ステップ」の一例である。図６のＳ５で第２正面画像を生成する処理は、「第２正面画像生成ステップ」の一例である。
【0140】
１ 撮影装置（ＯＣＴ装置）
４０ 医療画像処理装置
４１ ＣＰＵ
４４ ＮＶＭ
４７ モニタ
４８ 操作部
５０ 生体組織
６１Ａ 第１二次元画像
６１Ｂ 第２二次元画像
６２ Ｚ方向画像
６５Ａ 第１正面画像
６５Ｂ 第２正面画像
６９ 合成二次元画像
７０ 類似度マップ
７５ 抽出位置
４０ 医療画像処理装置
４１ ＣＰＵ
４４ ＮＶＭ
４７ モニタ
４８ 操作部
５０ 生体組織
６１Ａ 第１二次元画像
６１Ｂ 第２二次元画像
６２ Ｚ方向画像
６５Ａ 第１正面画像
６５Ｂ 第２正面画像
６９ 合成二次元画像
７０ 類似度マップ
７５ 抽出位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
