特開 2023-50532 画像処理方法および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050532

(43)【公開日】2023-04-11

(54)【発明の名称】画像処理方法および画像処理プログラム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20230404BHJP

【ＦＩ】

A61B3/10 100

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021160685

(22)【出願日】2021-09-30

(71)【出願人】

【識別番号】000135184

【氏名又は名称】株式会社ニデック

(74)【代理人】

【識別番号】100166785

【弁理士】

【氏名又は名称】大川 智也

(72)【発明者】

【氏名】佐々木 大寛

(72)【発明者】

【氏名】柴 涼介

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB11

4C316AB16

4C316FB12

4C316FB21

4C316FZ01

(57)【要約】

【課題】三次元画像に対するフィルタ処理に要する時間を適切に短縮することが可能な画像処理方法および画像処理プログラムを提供する。
【解決手段】フィルタ処理の対象となる三次元画像は、二次元空間に広がる二次元画像が、二次元空間に交差する交差方向に複数並べられることで構成される。二次元フィルタ適用ステップでは、三次元画像を構成する各々の二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理が適用される。一次元フィルタ適用ステップでは、二次元フィルタ処理が適用され、且つ交差方向に沿って連続して並べられたＮ枚（Ｎは自然数）の二次元画像を１つのブロックとし、ブロック毎に、交差方向に沿う方向の一次元フィルタ処理が適用される。
【選択図】図５

【特許請求の範囲】

【請求項1】

フィルタによって三次元画像を処理する画像処理装置によって実行される画像処理方法であって、
前記三次元画像は、二次元空間に広がる二次元画像が、前記二次元空間に交差する交差方向に複数並べられることで構成され、
前記三次元画像を構成する各々の前記二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理を適用する二次元フィルタ適用ステップと、
前記二次元フィルタ処理が適用され、且つ、前記交差方向に沿って連続して並べられたＮ枚（Ｎは、前記三次元画像を構成する前記二次元画像の全枚数よりも少ない自然数）の前記二次元画像を１つのブロックとし、前記ブロック毎に、前記交差方向に沿う方向の一次元フィルタ処理を適用する一次元フィルタ適用ステップと、
を含むことを特徴とする画像処理方法。

【請求項2】

請求項１に記載の画像処理方法であって、
複数の前記二次元画像は、
互いに平行な複数の照射ラインの各々に、ＯＣＴ装置によって測定光が照射されることで撮影される二次元断層画像であり、
前記三次元画像は、複数の前記二次元断層画像が、二次元の画像領域に対して垂直な方向に並べられることで構成される三次元断層画像であることを特徴とする画像処理方法。

【請求項3】

請求項１または２に記載の画像処理方法であって、
１つの前記ブロックに含める前記二次元画像の枚数Ｎは、前記一次元フィルタ適用ステップにおいて用いられるカーネルの、前記交差方向に沿う方向のサイズよりも大きいことを特徴とする画像処理方法。

【請求項4】

請求項１から３のいずれかに記載の画像処理方法であって、
前記二次元フィルタ適用ステップでは、前記二次元画像を配列順に従って１枚ずつ取得する毎に、取得した前記二次元画像に対して前記二次元フィルタ処理を適用し、
前記一次元フィルタ適用ステップでは、前記二次元フィルタ処理の適用が完了した前記二次元画像がＮ枚に達する毎に、Ｎ枚の前記二次元画像を１つのブロックとして前記一次元フィルタ処理を適用することを特徴とする画像処理方法。

【請求項5】

請求項１から３のいずれかに記載の画像処理方法であって、
複数の前記二次元画像によって構成される前記三次元画像を、複数の前記ブロックに分割し、
分割した複数の前記ブロックに対して、前記二次元フィルタ適用ステップおよび前記一次元フィルタ適用ステップによるフィルタ処理を、並列で実行することを特徴とする画像処理方法。

【請求項6】

請求項１から５のいずれかに記載の画像処理方法であって、
前記三次元画像が撮影装置によって撮影されることを契機として、撮影された前記三次元画像に対する前記二次元フィルタ適用ステップおよび前記一次元フィルタ適用ステップが実行されると共に、
撮影された前記三次元画像の良否をユーザに確認させるための確認画面に、前記二次元フィルタ適用ステップおよび前記一次元フィルタ適用ステップが実行された画像に関する情報を表示させる確認画面表示ステップ、
をさらに含むことを特徴とする画像処理方法。

【請求項7】

請求項１から５のいずれかに記載の画像処理方法であって、
前記三次元画像は、被検者の診療に用いられる医用画像であり、
撮影されて記憶装置に記憶されている前記三次元画像を、診療時に起動される診療時画面に表示させる指示が入力されることを契機として、前記二次元フィルタ適用ステップおよび前記一次元フィルタ適用ステップが実行されると共に、
前記診療時画面に、前記二次元フィルタ適用ステップおよび前記一次元フィルタ適用ステップが実行された画像に関する情報を表示させる診療時画面表示ステップ、
をさらに含むことを特徴とする画像処理方法。

【請求項8】

フィルタによって三次元画像を処理する画像処理装置によって実行される画像処理プログラムであって、
前記三次元画像は、二次元空間に広がる二次元画像が、前記二次元空間に交差する交差方向に複数並べられることで構成され、
前記画像処理プログラムが前記画像処理装置によって実行されることで、
前記三次元画像を構成する各々の前記二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理を適用する二次元フィルタ適用ステップと、
前記二次元フィルタ処理が適用され、且つ、前記交差方向に沿って連続して並べられたＮ枚（Ｎは、前記三次元画像を構成する前記二次元画像の全枚数よりも少ない自然数）の前記二次元画像を１つのブロックとし、前記ブロック毎に、前記交差方向に沿う方向の一次元フィルタ処理を適用する一次元フィルタ適用ステップと、
を前記画像処理装置に実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、フィルタによって三次元画像を処理するための画像処理方法および画像処理プログラムに関する。

【背景技術】

【0002】

画像のノイズ除去、または特徴抽出等を目的として、フィルタによって画像を処理する技術が知られている。フィルタによる画像処理（以下、「画像のフィルタ処理」という場合もある）に要する時間は、極力短縮できることが望ましい。非特許文献１では、フィルタ処理に要する時間を短縮する技術の１つとして、二次元画像のタイリングの技術が開示されている。詳細には、非特許文献１では、二次元画像がブロック分割され、ブロック単位で二次元フィルタ処理が行われる。ブロック単位でフィルタ処理が行われることで、メモリアクセスの局所性が高まってキャッシュミスが減少するので、処理時間が短縮されると考えられる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】福嶋慶繁，“計算機アーキテクチャを考慮した高能率画像処理プログラミング”ＩＥＩＣＥ－ＣＳ２０１７－７２，ＩＥＩＣＥ－ＩＥ２０１７－８７，２０１７年１２月１日

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の二次元画像が撮影されて並べられることで、三次元画像が構成される場合もある。三次元画像に対してフィルタ処理を実行する際には、二次元画像に対する二次元フィルタ処理に加えて、複数の二次元画像を跨ぐ方向へのフィルタ処理も必要となる。以上の処理に要する時間を適切に短縮することが可能な技術が望まれる。

【0005】

本開示の典型的な目的は、三次元画像に対するフィルタ処理に要する時間を適切に短縮することが可能な画像処理方法および画像処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示における典型的な実施形態が提供する画像処理方法は、フィルタによって三次元画像を処理する画像処理装置によって実行される画像処理方法であって、前記三次元画像は、二次元空間に広がる二次元画像が、前記二次元空間に交差する交差方向に複数並べられることで構成され、前記三次元画像を構成する各々の前記二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理を適用する二次元フィルタ適用ステップと、前記二次元フィルタ処理が適用され、且つ、前記交差方向に沿って連続して並べられたＮ枚（Ｎは、三次元画像を構成する二次元画像の全枚数よりも少ない自然数）の前記二次元画像を１つのブロックとし、前記ブロック毎に、前記交差方向に沿う方向の一次元フィルタ処理を適用する一次元フィルタ適用ステップと、を含む。

【0007】

本開示における典型的な実施形態が提供する画像処理プログラムは、フィルタによって三次元画像を処理する画像処理装置によって実行される画像処理プログラムであって、前記三次元画像は、二次元空間に広がる二次元画像が、前記二次元空間に交差する交差方向に複数並べられることで構成され、前記画像処理プログラムが前記画像処理装置によって実行されることで、前記三次元画像を構成する各々の前記二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理を適用する二次元フィルタ適用ステップと、前記二次元フィルタ処理が適用され、且つ、前記交差方向に沿って連続して並べられたＮ枚（Ｎは、三次元画像を構成する二次元画像の全枚数よりも少ない自然数）の前記二次元画像を１つのブロックとし、前記ブロック毎に、前記交差方向に沿う方向の一次元フィルタ処理を適用する一次元フィルタ適用ステップと、を前記画像処理装置に実行させる。

【0008】

本開示に係る画像処理方法および画像処理プログラムによると、三次元画像に対するフィルタ処理に要する時間が適切に短縮される。

【図面の簡単な説明】

【0009】

【図1】ＯＣＴ装置１の概略構成を示すブロック図である。

【図2】三次元画像の撮影方法の一例を説明するための説明図である。

【図3】三次元画像３の構成を説明するための説明図である。

【図4】ＯＣＴ装置１が実行する撮影時フィルタ処理のフローチャートである。

【図5】撮影時フィルタ処理の流れを説明するための説明図である。

【図6】ＯＣＴ装置１が実行する診療時フィルタ処理のフローチャートである。

【図7】診療時フィルタ処理の流れを説明するための説明図である。

【発明を実施するための形態】

【0010】

＜概要＞
本開示で例示する画像処理方法は、フィルタによって三次元画像を処理する画像処理装置によって実行される。フィルタ処理の対象となる三次元画像は、二次元空間に広がる二次元画像が、二次元空間に交差する交差方向に複数並べられることで構成される。本開示の画像処理方法は、二次元フィルタ適用ステップと一次元フィルタ適用ステップを含む。二次元フィルタ適用ステップでは、三次元画像を構成する各々の二次元画像に対して、二次元の各方向に分離可能な二次元フィルタによる二次元フィルタ処理が適用される。一次元フィルタ適用ステップでは、二次元フィルタ処理が適用され、且つ交差方向に沿って連続して並べられたＮ枚（Ｎは、三次元画像を構成する二次元画像の全枚数よりも少ない自然数）の二次元画像を１つのブロックとし、ブロック毎に、交差方向に沿う方向の一次元フィルタ処理が適用される。

【0011】

本開示の画像処理方法によると、Ｎ枚の二次元画像を１つのブロックとして一次元フィルタ処理が実行される。従って、複数の二次元画像の全体に対して一次元フィルタ処理が実行される場合とは異なり、全ての二次元画像に対する二次元フィルタ処理が完了していなくても、ブロックに対する一次元フィルタ処理を実行することも可能である。また、ブロック毎の処理を行わず、（１）三次元画像全体を走査しながら二次元フィルタ処理を実行し、その後、（２）再度三次元画像を走査しながら一次元フィルタ処理を実行することも考えられる。しかし、この方法では、（１）の演算と（２）の演算の間で広範なデータを処理するため、（２）の演算時に必要な画素がキャッシュ上に存在しない状況が頻発する。この場合、転送速度が高速なキャッシュからではなくメモリから、データを取得する必要がある。その結果、処理時間を短縮することが困難となる。これに対し、本開示の画像処理方法によると、メモリアクセスの局所性が高まってキャッシュミスが減少する。よって、三次元画像に対するフィルタ処理に要する時間が、適切に短縮される。

【0012】

本開示で例示するフィルタ処理では、平滑化フィルタの１つであるガウシアンフィルタが用いられる。ガウシアンフィルタは、カーネル内の重みがガウス分布に従うフィルタである。ガウシアンフィルタでは、処理対象となる注目画素の重みが最も大きくなり、外側の画素である程重みが小さくなる。その結果、自然な平滑化効果が得られる。

【0013】

ただし、フィルタ処理で用いるフィルタは、分離可能なフィルタであればよく、ガウシアンフィルタに限定されない。例えば、カーネルを用いて、注目画素の周辺の画素値の平均値を注目画素の新たな画素値とする平均化フィルタ（ボックスフィルタ）等が、フィルタ処理で用いられてもよい。また、分離可能なフィルタ以外のフィルタを用いることも可能である。例えば、各次元に対して一次元のフィルタを適用するフィルタ（例えば、ドメイントランスフォームフィルタ等）が用いられてもよい。

【0014】

なお、カーネルとは、処理対象となる注目画素と、注目画素の周辺の画素を使用して、注目画素の画素値を変換する際の、重み付け加算のための係数マトリクスである。カーネルは、マスクまたはフィルタ等と言われる場合もある。

【0015】

各方向に分離可能なフィルタは、分離可能フィルタと呼ばれる場合もある。例えば、二次元の分離可能フィルタは、フィルタ関数が、２つの一次元関数の外積で表現できる二次元フィルタと言うこともできる。

【0016】

複数の二次元画像は、互いに平行な複数の照射ラインの各々に、ＯＣＴ装置によって測定光が照射されることで撮影される、二次元断層画像であってもよい。三次元画像は、複数の二次元断層画像が、二次元の画像領域に対して垂直な方向に並べられることで構成される三次元断層画像であってもよい。この場合、実際に撮影された各々の二次元断層画像に対して、二次元フィルタ適用ステップが実行される。従って、実際には撮影されていない二次元画像（例えば、実際に撮影された複数の二次元画像に跨るように、三次元画像から抽出された二次元画像等）に対して、二次元フィルタ処理が適用される場合に比べて、フィルタ処理後の画像の品質が高くなり易い。

【0017】

ＯＣＴ装置は走査部を備えていてもよい。走査部は、照射光学系によって組織に照射される測定光を、光軸に交差する二次元方向に走査させる。三次元断層画像は、測定光のスポットが走査部によって測定領域内で二次元方向に走査されることで得られてもよい。この場合、三次元断層画像がＯＣＴ装置によって適切に得られる。ただし、ＯＣＴ装置の構成を変更することも可能である。例えば、ＯＣＴ装置は、組織において一次元方向に延びる照射ライン上に測定光を同時に照射すると共に、照射ラインに交差する方向に測定光を走査させてもよい。この場合、受光素子は、一次元受光素子（例えばラインセンサ）または二次元受光素子であってもよい。つまり、ＯＣＴ装置は、所謂ラインフィールドＯＣＴ（ＬＦ－ＯＣＴ）の原理によって断層画像を取得してもよい。

【0018】

三次元画像は、被検眼の組織の画像（三次元眼科画像）であってもよい。特に、医師による眼科の診療では、三次元眼科画像を解析した結果が頻繁に参照される。従って、三次元眼科画像に対して、本開示における技術が適用されることで、医師による診療の前に必要な画像処理の時間が短縮されるので、眼科の診療が円滑に行われる。また、三次元画像は、被検眼のＯＣＴアンジオ画像であってもよい。ＯＣＴアンジオ画像は、同一位置に関して異なる時間に取得された少なくとも２つのＯＣＴ信号が処理されることで取得されるモーションコントラスト画像であってもよい。

【0019】

１つのブロックに含める二次元画像の枚数Ｎは、一次元フィルタ適用ステップにおいて用いられるカーネルの、交差方向に沿う方向のサイズ（カーネルサイズ）よりも大きくてもよい。この場合、ブロックに含まれるＮ枚の二次元画像に対し、カーネルを用いた一次元フィルタ処理が適切に実行される。

【0020】

二次元フィルタ適用ステップでは、二次元画像を配列順に従って１枚ずつ取得される毎に、取得された二次元画像に対して二次元フィルタ処理が適用されてもよい。一次元フィルタ適用ステップでは、二次元フィルタ処理の適用が完了した二次元画像がＮ枚に達する毎に、Ｎ枚の二次元画像を１つのブロックとして一次元フィルタ処理が適用されてもよい。この場合、画像処理装置は、三次元画像を構成する二次元画像を取得する処理と並行して、取得した画像に対するフィルタ処理を高速で実行することができる。よって、三次元画像に対するフィルタ処理が、より効率良く実行される。

【0021】

複数の二次元画像によって構成される三次元画像が、複数のブロックに分割されてもよい。分割された複数のブロックに対して、二次元フィルタ適用ステップおよび一次元フィルタ適用ステップによるフィルタ処理が、並列で実行されてもよい。つまり、三次元画像が複数のブロックに予め分割されたうえで、分割された複数のブロックに対する並列処理が実行されてもよい。この場合には、並列処理を実行しない場合に比べてさらに効率良く三次元画像が処理される。

【0022】

三次元画像が撮影装置によって撮影されることを契機として、撮影された三次元画像に対する二次元フィルタ適用ステップおよび一次元フィルタ適用ステップが実行されてもよい。撮影された三次元画像の良否をユーザに確認させるための確認画面に、二次元フィルタ適用ステップおよび一次元フィルタ適用ステップが実行された画像に関する情報が表示されてもよい。この場合、フィルタ処理を実行させる指示がユーザによって入力されなくても、三次元画像が撮影される毎に適切に高速のフィルタ処理が実行される。また、撮影が完了した後、フィルタ処理が行われた画像に関する情報が、短時間で確認画面に表示される。よって、ユーザは、撮影された三次元画像の品質等を、確認画面によって円滑に確認することができる。

【0023】

なお、確認画面に表示させる情報（つまり、本開示のフィルタ処理が実行された画像に関する情報）は、適宜選択できる。例えば、フィルタ処理が実行された三次元画像そのものが、確認画面に表示されてもよい。フィルタ処理が実行された三次元画像を構成する二次元画像が、確認画面に表示されてもよい。フィルタ処理が実行された三次元画像に基づいて生成された画像（例えば、三次元画像の撮影領域を、撮影光の光軸に沿う方向から見た二次元のＥｎｆａｃｅ画像等）が、確認画面に表示されてもよい。フィルタ処理が実行された三次元画像に対する解析結果の情報（例えば、三次元画像が組織の断層画像である場合、組織における層、または、層の境界についての解析結果等）が、確認画面に表示されてもよい。

【0024】

三次元画像は、被検者の診療に用いられる医用画像であってもよい。二次元フィルタ適用ステップおよび一次元フィルタ適用ステップは、既に撮影されて記憶装置に記憶されている三次元画像を、診療時に起動される診療時画面に表示させる指示が入力されることを契機として実行されてもよい。診療時画面に、二次元フィルタ適用ステップおよび一次元フィルタ適用ステップが実行された画像に関する情報が表示されてもよい。この場合、フィルタ処理を実行させる指示がユーザによって入力されなくても、診療時画面の表示指示が入力される毎に高速のフィルタ処理が実行されて、フィルタ処理が行われた画像に関する情報が診療時画面に表示される。よって、より円滑に診察が行われる。また、フィルタ処理が実行されていない状態の三次元画像のデータと、フィルタ処理が実行された三次元画像のデータを、共に記憶装置に記憶させていなくても、診療時画面を表示させる際に適切にフィルタ処理が実行される。よって、記憶装置の記憶領域も確保され易い。

【0025】

画像処理装置は、三次元画像に対し、撮影光（測定光）の光軸に沿う方向における像の位置合わせを行う位置合わせステップを、さらに実行してもよい。二次元フィルタ適用ステップおよび一次元フィルタ適用ステップは、位置合わせステップが行われた三次元画像に対して実行されてもよい。被検体の動き等の影響で、三次元画像の一部が、撮影光の光軸に沿う方向に大きくずれていると、フィルタ処理の効果が大幅に低下する。これに対し、フィルタ処理の適用前に位置合わせが行われることで、フィルタ処理がさらに適切に行われる。

【0026】

＜実施形態＞
以下、本開示に係る典型的な実施形態の１つについて説明する。本実施形態のＯＣＴ装置１は、被検眼Ｅの眼底の三次元画像（三次元断層画像）を撮影して処理することができる。本実施形態の三次元画像は、被検者の診療に用いられる医用画像（三次元眼科画像）である。なお、本実施形態では、三次元画像を撮影するＯＣＴ装置１が、撮影した三次元画像を処理する。つまり、本実施形態では、ＯＣＴ装置１自身が画像撮影装置として機能する。しかし、ＯＣＴ装置１とは異なる装置（例えば、ＯＣＴ装置１から三次元画像のデータを取得して処理することが可能なパーソナルコンピュータ、または携帯端末等）が、画像処理装置として機能してもよい。また、複数のデバイスが共同して処理を実行してもよい。三次元画像は、ＯＣＴ装置１以外の撮影装置（例えば、コンピュータ断層撮影装置（ＣＴ）または磁気共鳴画像診断装置（ＭＲＩ）等）によって撮影されてもよい。ＯＣＴ装置１以外の撮影装置が、画像処理装置として機能してもよい。

【0027】

図１を参照して、本実施形態のＯＣＴ装置１の概略構成について説明する。ＯＣＴ装置１は、ＯＣＴ部１０と制御ユニット３０を備える。ＯＣＴ部１０は、ＯＣＴ光源１１、カップラー（光分割器）１２、測定光学系１３、参照光学系２０、受光素子２２、および正面観察光学系２３を備える。

【0028】

ＯＣＴ光源１１は、ＯＣＴデータを取得するための光（ＯＣＴ光）を出射する。カップラー１２は、ＯＣＴ光源１１から出射されたＯＣＴ光を、測定光と参照光に分割する。また、本実施形態のカップラー１２は、被検体（本実施形態では被検眼Ｅの眼底）によって反射された測定光と、参照光学系２０によって生成された参照光を合波して干渉させる。つまり、本実施形態のカップラー１２は、ＯＣＴ光を測定光と参照光に分岐する分岐光学素子と、測定光の反射光と参照光を合波する合波光学素子を兼ねる。なお、分岐光学素子および合波光学素子の少なくともいずれかの構成を変更することも可能である。例えば、カップラー以外の素子（例えば、サーキュレータ、ビームスプリッタ等）が使用されてもよい。

【0029】

測定光学系１３は、カップラー１２によって分割された測定光を被検体に導くと共に、被検体によって反射された測定光をカップラー１２に戻す。測定光学系１３は、走査部１４、照射光学系１６、およびフォーカス調整部１７を備える。走査部１４は、駆動部１５によって駆動されることで、測定光の光軸に交差する二次元方向に測定光を走査（偏向）させることができる。本実施形態では、互いに異なる方向に測定光を偏向させることが可能な２つのガルバノミラーが、走査部１４として用いられている。しかし、光を偏向させる別のデバイス（例えば、ポリゴンミラー、レゾナントスキャナ、音響光学素子等の少なくともいずれか）が走査部１４として用いられてもよい。照射光学系１６は、走査部１４よりも光路の下流側（つまり被検体側）に設けられており、測定光を被検体の組織に照射する。フォーカス調整部１７は、照射光学系１６が備える光学部材（例えばレンズ）を測定光の光軸に沿う方向に移動させることで、測定光のフォーカスを調整する。

【0030】

参照光学系２０は、参照光を生成してカップラー１２に戻す。本実施形態の参照光学系２０は、カップラー１２によって分割された参照光を反射光学系（例えば、参照ミラー）によって反射させることで、参照光を生成する。しかし、参照光学系２０の構成も変更できる。例えば、参照光学系２０は、カップラー１２から入射した光を反射させずに透過させて、カップラー１２に戻してもよい。参照光学系２０は、測定光と参照光の光路長差を変更する光路長差調整部２１を備える。本実施形態では、参照ミラーが光軸方向に移動されることで、光路長差が変更される。なお、光路長差を変更するための構成は、測定光学系１３の光路中に設けられていてもよい。

【0031】

受光素子２２は、カップラー１２によって生成された測定光と参照光の干渉光を受光することで、干渉信号を検出する。本実施形態では、フーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が受光素子２２によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。フーリエドメインＯＣＴの一例として、Ｓｐｅｃｔｒａｌ－ｄｏｍａｉｎ－ＯＣＴ（ＳＤ－ＯＣＴ）、Ｓｗｅｐｔ－ｓｏｕｒｃｅ－ＯＣＴ（ＳＳ－ＯＣＴ）等を採用できる。また、例えば、Ｔｉｍｅ－ｄｏｍａｉｎ－ＯＣＴ（ＴＤ－ＯＣＴ）等を採用することも可能である。

【0032】

本実施形態では、ＳＤ－ＯＣＴが採用されている。ＳＤ－ＯＣＴの場合、例えば、ＯＣＴ光源１１として低コヒーレント光源（広帯域光源）が用いられると共に、干渉光の光路における受光素子２２の近傍には、干渉光を各周波数成分（各波長成分）に分光する分光光学系（スペクトロメータ）が設けられる。ＳＳ－ＯＣＴの場合、例えば、ＯＣＴ光源１１として、出射波長を時間的に高速で変化させる波長走査型光源（波長可変光源）が用いられる。この場合、ＯＣＴ光源１１は、光源、ファイバーリング共振器、および波長選択フィルタを備えていてもよい。波長選択フィルタには、例えば、回折格子とポリゴンミラーを組み合わせたフィルタ、および、ファブリー・ペローエタロンを用いたフィルタ等がある。

【0033】

ここで、本実施形態における三次元画像の撮影方法について説明する。本実施形態では、測定光のスポットが、走査部１４によって二次元の測定領域内で走査されることで、三次元画像（三次元断層画像）が撮影される。一例として、本実施形態のＯＣＴ装置１は、図２に示すように、ＯＣＴ測定光の光軸に交差する方向に広がる二次元の測定領域５５内に、スポットを照射（走査）させる直線状の照射ライン（スキャンライン）５８を、等間隔で複数設定する。ＯＣＴ装置１は、それぞれの照射ライン５８上に測定光のスポットを走査させることで、測定領域５５の三次元画像を撮影する。

【0034】

図２および図３に示すように、本実施形態では、１つの照射ライン５８に測定光が照射されることで、照射ライン５８における二次元画像（つまり、照射ライン５８に交差する二次元断層画像）２が撮影される。複数の照射ライン５８の各々について撮影された複数の二次元画像２が並べられることで、三次元画像（三次元断層画像）３が構成される。図３に示すように、本実施形態では、照射ライン５８が延びる方向をＸ方向、組織の深さ方向（つまり、測定光の光軸に沿う方向）をＺ方向、Ｘ方向とＺ方向に共に垂直に交差する方向をＹ方向とする。各々の二次元画像２は、二次元のＸＺ空間に広がる。複数の二次元画像２は、二次元のＸＺ空間に対して垂直に交差するＹ方向（交差方向）に並べられる。換言すると、複数の二次元画像２は、各々の二次元画像２の画像領域に対して垂直な方向に並べられる。

【0035】

なお、三次元画像を撮影する原理を変更することも可能である。例えば、ラインフィールドＯＣＴ（以下、「ＬＦ－ＯＣＴ」という）の原理によって三次元画像が撮影されてもよい。ＬＦ－ＯＣＴでは、組織において一次元方向に延びる照射ライン上に測定光が同時に照射され、測定光の反射光と参照光の干渉光が、一次元受光素子（例えばラインセンサ）または二次元受光素子によって受光される。二次元の測定領域内において、照射ラインに交差する方向に測定光が走査されることで、三次元画像が撮影される。

【0036】

正面観察光学系２３は、被検体の組織（本実施形態では被検眼Ｅの眼底）の正面観察画像をリアルタイムで撮影するために設けられている。本実施形態における正面観察画像とは、ＯＣＴの測定光の光軸に沿う方向（正面方向）から組織を見た場合の二次元の画像である。本実施形態では、走査型レーザ検眼鏡（ＳＬＯ）が正面観察光学系２３として採用されている。ただし、正面観察光学系２３の構成には、ＳＬＯ以外の構成（例えば、二次元の撮影範囲に赤外光を一括照射して正面画像を撮影する赤外カメラ等）が採用されてもよい。

【0037】

制御ユニット３０は、ＯＣＴ装置１の各種制御を司る。制御ユニット３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、および不揮発性メモリ（ＮＶＭ）３４を備える。ＣＰＵ３１は各種制御を行うコントローラである。ＲＡＭ３２は各種情報を一時的に記憶する。ＲＯＭ３３には、ＣＰＵ３１が実行するプログラム、および各種初期値等が記憶されている。ＮＶＭ３４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。後述するフィルタ処理（図４および図６参照）を実行するための撮影制御プログラムは、ＮＶＭ３４に記憶されていてもよい。

【0038】

制御ユニット３０には、マイク３６、モニタ３７、および操作部３８が接続されている。マイク３６は音を入力する。モニタ３７は、各種画像を表示する表示部の一例である。操作部３８は、ユーザが各種操作指示をＯＣＴ装置１に入力するために、ユーザによって操作される。操作部３８には、例えば、マウス、キーボード、タッチパネル、フットスイッチ等の種々のデバイスを用いることができる。なお、マイク３６に音が入力されることで各種操作指示がＯＣＴ装置１に入力されてもよい。この場合、ＣＰＵ３１は、入力された音に対して音声認識処理を行うことで、操作指示の種類を判別してもよい。

【0039】

（撮影時フィルタ処理）
図４および図５を参照して、ＯＣＴ装置（画像処理装置）１が実行する撮影時フィルタ処理について説明する。撮影時フィルタ処理では、三次元画像３の撮影が開始されることを契機として、撮影された三次元画像３に対するフィルタ処理が実行される。ＯＣＴ装置１のＣＰＵ３１は、ＮＶＭ３４に記憶された画像処理プログラムに従って、図４に示す撮影時フィルタ処理を実行する。

【0040】

なお、本実施形態（詳細には、図４に示す撮影時フィルタ処理、および、図５に示す診療時フィルタ処理）では、ガウシアンフィルタを用いて三次元画像３を処理する場合を例示する。ガウシアンフィルタでは、注目画素の重みが最も大きくなり、外側の画素である程重みが小さくなる。その結果、自然な平滑化効果が得られる。ただし、フィルタには、ガウシアンフィルタ以外のフィルタ（例えば、平均化フィルタ、またはドメイントランスフォームフィルタ等）を用いることも可能である。

【0041】

図４に示すように、ＣＰＵ３１は、三次元画像３の撮影を開始させるトリガが入力されたか否かを判断する（Ｓ１）。例えば、ユーザが操作部３８を操作し、ＯＣＴ装置１に撮影開始指示を入力することで、撮影を開始させるトリガが入力されてもよい。トリガが入力されていなければ（Ｓ１：ＮＯ）、待機状態となる。撮影開始指示が入力されると、ＣＰＵ３１は、三次元画像３の撮影を開始する（Ｓ２）。前述したように、ＯＣＴ装置１は、互いに平行な複数の照射ライン５８の各々に測定光を照射させることで、二次元画像２を順に撮影する。撮影された複数の二次元画像２が並べられることで、三次元画像が構成される（図２および図３参照）。つまり、ＯＣＴ装置１は、三次元画像３を構成する複数の二次元画像２を、配列順に従って１枚ずつ撮影する。

【0042】

ＣＰＵ３１は、配列順に従って撮影された１枚の二次元画像２を取得する（Ｓ３）。ＣＰＵ３１は、取得した二次元画像２に対して、二次元の各方向に分離可能な二次元フィルタによるフィルタ処理（以下、「二次元フィルタ処理」という）を適用する（Ｓ４）。その結果、本実施形態では、図５に示すように、二次元画像２のノイズが除去される。なお、図５および図７では、フィルタ処理が行われる前後の画像の差を分かりやすくするために、フィルタ処理が行われた後の画像を実際の画像よりもぼけた画像としている。

【0043】

次いで、ＣＰＵ３１は、撮影および二次元フィルタ処理が完了した二次元画像２の枚数が、ブロックを構成するＮ枚に達したか否かを判断する（Ｓ５）。Ｎは、三次元画像３を構成する二次元画像２の全枚数よりも少ない自然数である。Ｎ枚に達していなければ（Ｓ５：ＮＯ）、処理はそのままＳ８へ移行する。撮影および二次元フィルタ処理が完了した二次元画像２の枚数がＮ枚に達すると（Ｓ５：ＹＥＳ）、ＣＰＵ３１は、Ｎ枚の二次元画像２を１つのブロックとして、交差方向であるＹ方向の一次元フィルタ処理を実行する（Ｓ６）。その結果、複数の二次元画像２の全体に対して一次元フィルタ処理が実行される場合とは異なり、全ての二次元画像２の撮影および二次元フィルタ処理が完了していなくても、ブロックを構成する二次元画像２の撮影および二次元フィルタ処理が完了した時点で、ブロックに対する一次元フィルタ処理を実行することができる。また、複数の二次元画像２の全体に対して一括でフィルタ処理を実行する場合に比べて、メモリアクセスの局所性が高まってキャッシュミスが減少する。よって、三次元画像３に対するフィルタ処理に要する時間が、適切に短縮される。

【0044】

なお、１つのブロックに含める二次元画像２の枚数Ｎは、一次元フィルタ処理（Ｓ６）において用いられるカーネルの、交差方向（本実施形態ではＹ方向）に沿う方向のサイズよりも大きくなっている。その結果、ブロックに含まれるＮ枚の二次元画像２に対し、カーネルを用いたＹ方向の一次元フィルタ処理が適切に実行される。なお、カーネルとは、処理対象となる注目画素と、注目画素の周辺の画素を使用して、注目画素の画素値を変換する際の、重み付け加算のための係数マトリクスである。

【0045】

また、ＣＰＵ３１は、Ｓ６の処理を実行する前に、処理対象とするＮ枚の二次元画像２から構成される三次元画像に対し、測定光の光軸に沿う方向における像の位置合わせ処理（例えば、複数の二次元画像２間の像の位置合わせ、および、各々の二次元画像２内の像の位置合わせの少なくともいずれか）を実行してもよい。この場合、より適切にフィルタ処理が実行される。

【0046】

次いで、ＣＰＵ３１は、三次元画像３全体の撮影およびフィルタ処理が完了したか否かを判断する（Ｓ８）。完了していなければ（Ｓ８：ＮＯ）、処理はＳ３へ戻り、撮影およびフィルタ処理が繰り返される。

【0047】

三次元画像３全体の撮影およびフィルタ処理が完了すると（Ｓ８：ＹＥＳ）、ＣＰＵ３１は、撮影された三次元画像３の良否をユーザに確認させるための確認画面に、フィルタ処理された三次元画像３に関する情報（例えば、三次元画像３そのもの、三次元画像３を構成する二次元画像２、三次元画像３に基づいて生成された画像、および、三次元画像に対する解析結果の情報等の少なくともいずれか）を表示させる。つまり、本実施形態では、三次元画像３が撮影される際に、撮影された画像に対するフィルタ処理が自動的に短時間で実行されたうえで、三次元画像に関する情報が確認画面に表示される。従って、ユーザは、三次元画像３の撮影の良否を、短時間で適切に確認することができる。

【0048】

図５を参照して、撮影時フィルタ処理における二次元フィルタ処理および一次元フィルタ処理の流れについて再度説明する。撮影時フィルタ処理では、三次元画像３を構成する各々の二次元画像２が、配列順に従って１枚ずつ取得される。ＣＰＵ３１は、二次元画像２を取得する毎に、取得した二次元画像に対する二次元フィルタ処理（２Ｄフィルタ）を適用する。二次元フィルタ処理が完了した二次元画像２の枚数がＮ枚に達する毎に、Ｎ枚の二次元画像を１つのブロックＢＬとして、交差方向に沿うＹ方向の一次元フィルタ処理（１Ｄフィルタ）を適用する。以上の処理が繰り返されることで、処理が完了した複数のブロックＢＬによって、フィルタ処理適用後の三次元画像３が構成される。

【0049】

（診療時フィルタ処理）
図６および図７を参照して、ＯＣＴ装置（画像処理装置）１が実行する診療時フィルタ処理について説明する。診療時フィルタ処理では、診療時画面を表示させる指示がユーザによって入力されることを契機として、予め撮影されていた三次元画像３に対するフィルタ処理が実行される。

【0050】

診療時画面とは、診療を行う患者について撮影された三次元画像に関する情報を表示させる画面（所謂「ビュワー」）である。本実施形態では、ユーザ（医師または補助者等）は、患者の診療を開始する際に、既に撮影された複数の三次元画像の中から、診療を行う患者の三次元画像を選択したうえで、診療時画面を表示させる指示をＯＣＴ装置１に入力する。

【0051】

診療時画面の表示指示が入力されていなければ（Ｓ１１：ＮＯ）、待機状態となる。診療時画面の表示指示が入力されると（Ｓ１１：ＹＥＳ）、ＣＰＵ３１は、処理対象の三次元画像３（つまり、ユーザによって選択された三次元画像）を記憶装置から取得する。図７に示すように、ＣＰＵ３１は、複数の二次元画像２によって構成される三次元画像３を、Ｎ枚の二次元画像２を含む複数のブロックＢＬに分割する（Ｓ１２）。ＣＰＵ３１は、分割した複数のブロックＢＬに対して、各々の二次元画像２の二次元フィルタ処理、および、各々のブロックＢＬの交差方向における一次元フィルタ処理を、並列で実行する（Ｓ１３）。つまり、診療時フィルタ処理では、三次元画像３が複数のブロックＢＬに予め分割されたうえで、分割された複数のブロックに対する並列処理が実行される。その結果、三次元画像３が効率良く処理される。図７に示すように、並列処理された複数のブロックＢＬによって、フィルタ処理適用後の三次元画像３が構成される。

【0052】

なお、前述した撮影時フィルタ処理と同様に、１つのブロックに含める二次元画像２の枚数Ｎは、一次元フィルタ処理（Ｓ１３）において用いられるカーネルの、交差方向（本実施形態ではＹ方向）に沿う方向のサイズよりも大きくなっている。その結果、ブロックに含まれるＮ枚の二次元画像２に対し、カーネルを用いたＹ方向の一次元フィルタ処理が適切に実行される。

【0053】

また、ＣＰＵ３１は、Ｓ１３の処理を実行する前に、複数の二次元画像２から構成される三次元画像３に対し、測定光の光軸に沿う方向における像の位置合わせ処理（例えば、複数の二次元画像２間の像の位置合わせ、および、各々の二次元画像２内の像の位置合わせの少なくともいずれか）を実行してもよい。この場合、より適切にフィルタ処理が実行される。

【0054】

次いで、ＣＰＵ３１は、フィルタ処理が実行された三次元画像３に関する情報（例えば、三次元画像３そのもの、三次元画像３を構成する二次元画像２、三次元画像３に基づいて生成された画像、および、三次元画像に対する解析結果の情報等の少なくともいずれか）を、診療時画面（ビュワー）に表示させる（Ｓ１４）。つまり、本実施形態では、フィルタ処理を実行させる指示がユーザによって入力されなくても、診療時画面の表示指示が入力される毎に高速のフィルタ処理が実行されて、フィルタ処理が行われた画像に関する情報が診療時画面に表示される。よって、より円滑に診察が行われる。また、フィルタ処理が実行されていない状態の三次元画像３のデータと、フィルタ処理が実行された三次元画像３のデータを、共に記憶装置に記憶させていなくても、診療時画面を表示させる際に適切にフィルタ処理が実行される。よって、記憶装置の記憶領域も確保され易い。

【0055】

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態の撮影時フィルタ処理（図４参照）では、三次元画像３を構成する二次元画像２が撮影される毎に、二次元フィルタ処理が実行される。次いで、Ｎ枚の二次元画像２が撮影される毎に、交差方向の一次元フィルタ処理が実行される。以上の処理を、撮影時以外の処理に応用することも可能である。例えば、ＣＰＵ３１は、三次元画像３のデータを記憶するデータベースから、三次元画像３を構成する二次元画像２のデータを１枚ずつ取得する毎に、二次元フィルタ処理を実行してもよい。次いで、ＣＰＵ３１は、Ｎ枚の二次元画像２を取得する毎に、交差方向の一次元フィルタ処理を実行してもよい。また、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。

【0056】

なお、図４のＳ４および図６のＳ１３で実行される二次元フィルタ処理は、「二次元フィルタ適用ステップ」の一例である。図４のＳ６および図６のＳ１３で実行される一次元フィルタ処理は、「一次元フィルタ適用ステップ」の一例である。図４のＳ９で確認画面に情報を表示させる処理は、「確認画面表示ステップ」の一例である。図６のＳ１４で診療時画面に情報を表示させる処理は、「診療時画面表示ステップ」の一例である。

【符号の説明】

【0057】

１ ＯＣＴ装置（画像処理装置）
２ 二次元画像
３ 三次元画像
３１ ＣＰＵ
３２ ＲＡＭ
３４ ＮＶＭ
５８ 照射ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】