特許 7337124 眼底検査画像用の画像前処理方法及び画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-24

(45)【発行日】2023-09-01

(54)【発明の名称】眼底検査画像用の画像前処理方法及び画像処理装置

(51)【国際特許分類】

   A61B 3/14 20060101AFI20230825BHJP

   G06T 7/00 20170101ALI20230825BHJP

   G06T 5/00 20060101ALI20230825BHJP

   G06T 1/00 20060101ALI20230825BHJP

【ＦＩ】

A61B3/14

G06T7/00 660A

G06T5/00 705

G06T1/00 340A

G06T7/00 350C

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2021119515

(22)【出願日】2021-07-20

(65)【公開番号】P2022145411

(43)【公開日】2022-10-04

【審査請求日】2021-08-20

(31)【優先権主張番号】110109989

(32)【優先日】2021-03-19

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】522096916

【氏名又は名称】宏碁智醫股▲ふん▼有限公司

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(72)【発明者】

【氏名】▲ファン▼ 宜瑾

(72)【発明者】

【氏名】蔡 金翰

(72)【発明者】

【氏名】陳 名科

【審査官】▲高▼木 尚哉

(56)【参考文献】

【文献】中国特許出願公開第１１１８３３３３４（ＣＮ，Ａ）

【文献】特開２００６－０９５００９（ＪＰ，Ａ）

【文献】特開平０９－２０６２７８（ＪＰ，Ａ）

【文献】特開２００４－０４６３２９（ＪＰ，Ａ）

【文献】特開２００７－１１７１５４（ＪＰ，Ａ）

【文献】特開２０１５－０５１０５４（ＪＰ，Ａ）

【文献】特開２００６－２６３１２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

眼底検査画像から、該眼底検査画像中の眼球の中心を特定し、前記中心に従って前記眼球に絞られた関心領域を決定して第１画像を生成するステップと、
前記第１画像に対して平滑化処理を行って第２画像を生成するステップと、
前記第２画像の画素ごとに、前記画素の値と隣接画素の値との差である画素値の差と基準値との間の距離を比較するステップと、
前記第２画像の前記画素ごとに、前記距離に基づいて前記画素値の差を更新して、検出モデルのトレーニングフェーズ及び／又は推論フェーズにおける前処理で用いられ得る第３画像を生成するステップと、を含み、
前記第２画像の前記画素ごとに、前記距離に基づいて前記画素値の差を更新して前記第３画像を生成するステップにおいて、
前記距離が増大する場合に前記画素値の差を増やすように前記画素の値を変更する画像前処理方法。

【請求項2】

請求項１に記載の画像前処理方法において、前記第１画像を生成することは、
前記眼底検査画像から前記関心領域を切り出すことと、
前記関心領域外に背景色を加えて前記第１画像を形成することと
を含む画像前処理方法。

【請求項3】

請求項１に記載の画像前処理方法において、前記平滑化処理は、ガウスぼかしであり、
前記第１画像に対して前記平滑化処理を行うことは、前記第１画像に対して前記ガウスぼかしを行うことを含む、画像前処理方法。

【請求項4】

請求項１に記載の画像前処理方法において、前記第３画像の生成後に、機械学習アルゴリズムに基づく検出モデルに前記第３画像を入力することを更に含む画像前処理方法。

【請求項5】

コードを記憶する記憶装置と、
前記記憶装置に結合され、
眼底検査画像から、前記眼底検査画像中の眼球の中心を特定し、前記中心に従って前記眼球に絞られた関心領域を決定して第１画像を生成し、
前記第１画像に対して平滑化処理を行って第２画像を生成し、
前記第２画像の画素ごとに、前記画素の値と隣接画素の値との差である画素値の差と基準値との間の距離を比較し、
前記第２画像の前記画素ごとに、前記距離が増大する場合に前記画素値の差を増やすように前記画素の値を変更することにより、検出モデルのトレーニングフェーズ及び／又は推論フェーズにおける前処理で用いられ得る第３画像を生成するよう構成されるようにコードをロードし実行するプロセッサと、
を備える画像処理装置。

【請求項6】

請求項５に記載の画像処理装置において、前記プロセッサはさらに、
前記眼底検査画像から前記関心領域を切り出し、
前記関心領域外に背景色を加えて前記第１画像を形成するよう構成される、画像処理装置。

【請求項7】

請求項５に記載の画像処理装置において、前記平滑化処理は、ガウスぼかしであり、
前記プロセッサはさらに、前記第１画像に対して前記ガウスぼかしを行うよう構成される、画像処理装置。

【請求項8】

請求項５に記載の画像処理装置において、前記プロセッサはさらに、機械学習アルゴリズムに基づく検出モデルに前記第３画像を入力するよう構成される、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術に関し、特に、眼底検査画像用の画像前処理方法及び画像処理装置に関する。

【背景技術】

【0002】

医用画像は、生物の特定の部分を撮影した画像であり、これらの画像を用いて、疾患の危険性又は重症度を評価することができる。例えば、眼底写真検査により、網膜症、緑内障、黄斑疾患等の疾患を早期に検出することができる。概して、大半の医師は、医用画像中の病変を手作業で判断する。医用画像のコンピュータ支援評価が可能となっているが、効率、複雑性、及び精度等の指標に関して進歩が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示の実施形態は、特徴を強調することができ、それにより病変又は他の特徴のその後の識別精度を向上させる眼底検査画像用の画像前処理方法及び画像処理装置を提供する。

【課題を解決するための手段】

【0004】

本開示の実施形態による画像前処理方法は、（限定はされないが）以下のステップを含む。眼底検査画像から関心領域を得て第１画像を生成する。関心領域を眼底検査画像中の眼球に絞る。第１画像に対して平滑化処理を行って第２画像を生成する。複数の隣接画素間の値の差を増加させて第３画像を生成する。第３画像を画像認識に用いる。

【0005】

本開示の実施形態による画像処理装置は、（限定はされないが）記憶装置及びプロセッサを含む。記憶装置はコードを記憶する。プロセッサは記憶装置に結合される。プロセッサは、眼底検査画像から関心領域を得て第１画像を生成し、第１画像に対して平滑化処理を行って第２画像を生成し、第２画像中の複数の隣接画素間の値の差を増加させて第３画像を生成するよう構成されるようにコードをロードし実行する。関心領域は、眼底検査画像中の眼球に絞られる。第３画像は、画像認識に用いられる。

【発明の効果】

【0006】

上記に基づき、本開示の実施形態による眼底検査画像用の画像前処理方法及び画像処理装置によれば、画像認識を行う前に、関心領域が最初の眼底検査画像から切り出され、平滑化処理及び値の改善がさらに行われる。このようにして、特徴を強調することができ、ノイズを減らすことができ、且つ後続の画像認識の精度を向上させることができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による画像処理装置のコンポーネントのブロック図である。

【図2】本開示の実施形態による画像前処理方法のフローチャートである。

【図3】本開示の実施形態による第１画像の概略図である。

【図4】本開示の実施形態による第２画像の概略図である。

【図5】本開示の実施形態による第３画像の概略図である。

【発明を実施するための形態】

【0008】

上記をより分かりやすくするために、添付図面と共にいくつかの実施形態を以下で詳細に説明する。

【0009】

添付図面は、本開示のさらなる理解を促すために含まれるものであり、本明細書の一部に組み込まれてこれを構成するものである。図面は、本開示の例示的な実施形態を示し、本文と共に本開示の原理を説明する働きをする。

【0010】

図１は、本開示の実施形態による画像処理装置１００のコンポーネントのブロック図である。図１を参照すると、画像処理装置１００は、（限定はされないが）記憶装置１１０及びプロセッサ１３０を含む。画像処理装置１００は、デスクトップコンピュータ、ノートブックコンピュータ、スマートフォン、タブレットコンピュータ、サーバ、医療検査機器、又は他のコンピュータ装置であり得る。

【0011】

記憶装置１１０は、任意のタイプの固定の又は着脱可能なランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、又は同様のコンポーネントであり得る。一実施形態において、記憶装置１１０は、コード、ソフトウェアモジュール、構成、データ（例えば、画像、値、基準値、距離等）、又はファイルを記録するよう構成され、その実施形態はより詳細に後述する。

【0012】

プロセッサ１３０は、記憶装置１１０に結合される。プロセッサ１３０は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、若しくは他のプログラム可能な汎用若しくは専用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ニューラルネットワークアクセラレータ、又は他の同様のコンポーネント若しくは上記コンポーネントの組み合わせであり得る。一実施形態において、プロセッサ１３０は、画像処理装置１００の動作の全部又は一部を実行するよう構成され、記憶装置１１０により記録された各コード、ソフトウェアモジュール、ファイル、及びデータをロードし実行し得る。

【0013】

以下において、本開示の実施形態による方法を画像処理装置１００の各装置、コンポーネント、及びモジュールに関して説明する。本方法の各プロセスは、実際の実施に従って調整することができ、本明細書に記載のものに限定されない。

【0014】

図２は、本開示の実施形態による画像前処理方法のフローチャートである。図２を参照すると、プロセッサ１３０は、眼底検査画像から関心領域を得て第１画像を生成する（ステップＳ２１０）。具体的には、眼底検査画像は、ヒト又は他の生物の眼底写真により得られた画像である。プロセッサ１３０は、内蔵の又は外部の撮像装置により眼底検査画像を得ることができるか、又はプロセッサ１３０は、サーバ、コンピュータ、又は記憶媒体から眼底検査画像をダウンロードすることができる。異なる供給源からの眼底検査画像は形状又はサイズが異なり得ることに留意されたい。これらの眼底検査画像を正規化するために、プロセッサ１３０は、重要又は有用な情報とみなされる関心領域を最初に切り出すことができる。

【0015】

本開示の実施形態による関心領域は、眼底検査画像中の眼球に絞られる。一実施形態では、プロセッサ１３０は、眼底検査画像から眼球の中心を特定することができる。例えば、プロセッサ１３０は、画素の勾配方向の最も多くの直線が眼底検査画像中で交わる点を眼球の位置とし得る。別の例として、プロセッサ１３０は、眼底検査画像に対してハフ変換を行って要件を最も満たす円を選択し、それに応じて関心領域の輪郭の円の中心を決定することができる。プロセッサ１３０はさらに、眼球の中心に従って関心領域を決定することができる。例えば、プロセッサ１３０は、中心に従って眼球の輪郭に比較的又は最も一致する円を設定し、その円の輪郭を関心領域の境界として用いることができる。別の例として、ハフ変換により得られた円が、プロセッサ１３０により関心領域として用いられてもよい。

【0016】

別の実施形態において、プロセッサ１３０は、眼底検査画像の外側から中心へ向かって眼球の境界を探すことができる。例えば、プロセッサ１３０は、眼底検査画像を四辺から中心に向かって連続して走査し、走査領域の明度を決定する。眼球の境界の一方の側の明度値（又は輝度、すなわち色の明るさ）が、眼球の境界の他方の側よりも高いことに留意されたい。概して、眼底検査画像中の眼球の外側の領域は、明度値が低く、黒色であり得る。任意の側の隣接画素間の明度差が差分閾値よりも大きいか、又は１つ又は複数の画素の明度値が明度閾値よりも大きい（すなわち、一方の側の明度値が他方の側の明度値よりも高い）場合、プロセッサ１３０は、この側の関心領域の最外縁が見付かったと判断し得る。プロセッサ１３０は、眼底検査画像の四辺でそれぞれ見付かった最外縁を境界線として用いることができる。すなわち、四辺形が形成される。プロセッサ１３０は、四辺形の最も短い辺の長さを円（眼球と考える）の直径として用い、この直径により形成された円を眼球の境界として用いることができる。円の中心は四辺形の中心である。別の実施形態において、周囲に現れることが多い干渉を最初に除去するために、プロセッサ１３０は、四辺形の最も短い辺の長さの半分に０より大きく１より小さい浮動小数点数を掛けて半径長さを得て、半径長さを用いて円を得る。さらに、円の中心は依然として四辺形の中心である。続いて、プロセッサ１３０は、眼球の境界に従って関心領域を決定することができる。すなわち、眼球の境界は関心領域の境界とみなされる。

【0017】

一実施形態において、プロセッサ１３０は、眼底写真から関心領域を切り出すことができる。すなわち、プロセッサ１３０は、関心領域ではない眼底検査画像中の領域を削除することができる。プロセッサ１３０はさらに、関心領域外に背景色を加えて第１画像を形成することができる。この背景色は、眼底検査画像の（例えば、病変同定又は重症度同定のための）後続の画像認識で無用な情報と考えられる。無用な情報は、特徴抽出により除外され得るか、又は比較的小さな値を有し得る。例えば、赤、緑、及び青の背景色は、全てが１２８、６４、又は０の値からなるが、これに限定されない。さらに、第１画像のサイズ、形状、及び／又は比を固定することにより、異なる眼底検査画像を正規化することができる。いくつかの実施形態において、円は、楕円又は他の幾何学的図形に変えることができる。

【0018】

例えば、図３は、本開示の実施形態による第１画像の概略図である。図３を参照すると、図示の円形領域（すなわち、関心領域）は眼球に対応する。

【0019】

プロセッサ１３０は、第１画像に対して平滑化処理を行って第２画像を生成することができる（ステップＳ２３０）。具体的には、平滑化処理は、画像中の画素を直接ぼかしてノイズを除去することが可能な空間領域フィルタリング技術である。例えば、隣接画素間の値の差（距離とも称する）を減らすことができる。

【0020】

一実施形態において、平滑化処理はガウスぼかしである。プロセッサ１３０は、第１画像に対してガウスぼかしを行うことができる。例えば、プロセッサ１３０は、ガウス畳み込みカーネルを用いて第１画像の各画素に対して畳み込み演算を行い、続いて畳み込み結果を合計して第２画像を得ることができる。

【0021】

例えば、図４は、本開示の実施形態による第２画像の概略図である。図３及び図４を参照し、図３と比較すると、図４は、血管、黄斑、静脈、及び／又は動脈のエッジが見えたままある程度のノイズ成分がガウスぼかしによりぼかされることを示す。

【0022】

他の実施形態において、平滑化処理は、メディアンフィルタリング、平均フィルタリング、ボックスフィルタリング、又は他の処理でもあり得る。

【0023】

プロセッサ１３０は、第２画像の複数の隣接画素間の値の差を増加させて第３画像を生成することができる（ステップＳ２５０）。具体的には、平滑化処理は、隣接画素間の値の差を狭めることができる。特徴をさらに強調するために、一実施形態において、プロセッサ１３０は、隣接画素間の値の差と基準値との間の距離に比例して値の差を増加させる（すなわち、更新又は変更する）ことができる。例えば、基準値が１２８である場合、プロセッサ１３０は、各画素とその隣接画素との間の赤、緑、及び青チャンネル値の元の値の差を計算し、元の値の差と基準値との間の距離を比較することができる。距離が増えると、プロセッサ１３０は、値の差の増加の大きさを増やすことができる。距離が減ると、プロセッサ１３０は、値の差の増加の大きさを減らすことができる。比率は、１倍、２倍、５倍、又は１０倍であり得る。続いて、値の差の増加（すなわち、更新された値の差）に従って、プロセッサ１３０は、２つの画素間の値の差が更新された値の差に一致するように対応する画素の値を変更することができる。

【0024】

いくつかの実施形態において、変更される値には上限又は下限がある。例えば、上限は２５５、下限は０であり得る。変更された値が上限又は下限を超える場合、それは特定値（例えば、上限、下限、又は他の値）として設定され得る。

【0025】

元の値の差と更新された値の差との間の数学的関係は、比例関係に限定されないことに留意されたい。他の実施形態において、プロセッサ１３０は、線形関係、指数関係、又は実際のニーズに応じて他の数学的関係を採用することもできる。

【0026】

例えば、図５は、本開示の実施形態による第３画像の概略図である。図４及び図５を参照すると、図５における血管、黄斑、視神経乳頭、静脈、動脈その他の方が明確である。

【0027】

本開示の実施形態による第３画像が画像認識に用いられ得ることに留意されたい。一実施形態において、プロセッサ１３０は、機械学習アルゴリズム（例えば、ディープニューラルネットワーク（ＤＮＮ）、多層パーセプトロン（ＭＬＰ）、サポートベクターマシン（ＳＶＭ）、又は他の機械学習モデル）に基づく検出モデルに第３画像を入力する。一実施形態において、検出モデルは画像認識に用いられ得る。第３画像が検出モデルのトレーニングフェーズ及び／又は推論フェーズにおける前処理で用いられ得ることに留意されたい。概して、検出モデルでは、最初の眼底検査画像に、通常は画像前処理をせずに特徴抽出を直接行う。本開示の実施形態による画像前処理により、出血、滲出物、及び浮腫等の病変の画像の比較的正確な認識結果を得ることができる。代替として、本開示の実施形態による画像前処理は、血管、黄斑、又は静脈等の部分の同定を容易にし得るが、本開示は上記に限定されない。

【0028】

別の実施形態において、画像認識は、スケール不変特徴変換（ＳＩＦＴ）、Ｈａａｒ－ｌｉｋｅ特徴、ＡｄａＢｏｏｓｔ（アダブースト）、又は他の認識技術に基づき得る。

【0029】

要約すると、本開示の実施形態による眼底検査画像用の画像前処理方法及び画像処理装置では、眼底検査画像中の関心領域を決定し、画像に対して平滑化処理を行い、値の差を増加させる。このように、特徴を強調することができ、後続の画像認識、モデルトレーニング、又は他の画像用途が容易になり得る。

【0030】

本開示の範囲又は趣旨から逸脱せずに開示の実施形態に種々の変更及び変形を加えることができることが、当業者には明らかであろう。上記に鑑みて、本開示は、変更及び変形が添付の特許請求の範囲及びそれらの等価物の範囲に入る限りそれらを包含することが意図される。

【産業上の利用可能性】

【0031】

本発明の眼底検査画像用の画像前処理方法及び画像処理装置は、画像認識、モデルトレーニング、又は医用画像用の他の画像用途で適用され得る。

【符号の説明】

【0032】

１００ 画像処理装置
１１０ 記憶装置
１３０ プロセッサ
Ｓ２１０、Ｓ２３０、Ｓ２５０ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】