(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-02
(45)【発行日】2023-11-13
(54)【発明の名称】画像復元を応用する光学システム及び光学画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231106BHJP
G06T 5/00 20060101ALI20231106BHJP
C12M 1/34 20060101ALI20231106BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 630
G06T5/00 710
C12M1/34 A
【請求項の数】
6
(21)【出願番号】P 2021200745
(22)【出願日】2021-12-10
(65)【公開番号】P2022093314
(43)【公開日】2022-06-23
【審査請求日】2021-12-10
(31)【優先権主張番号】63/124,220
(32)【優先日】2020-12-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504007741
【氏名又は名称】國立中央大學
【住所又は居所原語表記】ＮＯ．３００， Ｊｈｏｎｇｄａ Ｒｏａｄ， Ｊｈｏｎｇｌｉ Ｄｉｓｔｒｉｃｔ， Ｔａｏｙｕａｎ Ｃｉｔｙ， ＴＡＩＷＡＮ
(74)【代理人】
【識別番号】110002262
【氏名又は名称】ＴＲＹ国際弁理士法人
(72)【発明者】
【氏名】黄 貞翰
(72)【発明者】
【氏名】戴 君珊
(72)【発明者】
【氏名】林 庭伊
【審査官】佐藤 実
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２９４１０８（ＵＳ，Ａ１）
【文献】国際公開第２０２０／２１９４６８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － ７／９０
Ｃ１２Ｍ １／３４
(57)【特許請求の範囲】
【請求項1】
画像復元を応用する光学システムであって、光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置とを含み、
前記ピンホールは前記光源の光伝達経路に設けられ、
前記検出プラットホームは前記光源の前記光伝達経路に設けられ、かつ前記ピンホールが前記光源と前記検出プラットホームとの間に位置し、前記検出プラットホームは検出サンプルを載置するために用いられ、
前記画像検知器は前記検出プラットホームの下方に設置され、前記検出サンプルを検知して光学回折信号を出力し、
前記画像処理装置は、前記画像検知器に電気接続され、前記検出サンプルの前記光学回折信号に対して信号処理及び光学信号識別を行って前記検出サンプルの高画質画像を取得するために用いられ、
前記画像処理装置は、
前記光学回折信号に対してサブサンプリングを行い、前記検出サンプルの前記光学回折信号の複数の初期特徴を抽出するための画像特徴抽出モジュールと、
畳み込み層、活性化層及び結合層を備え、前記画像特徴抽出モジュールに接続され、前記複数の初期特徴に基づいて、前記検出サンプルの前記光学回折信号の複数の画像特徴を抽出するための残差ネットワークモジュールと、
前記残差ネットワークモジュールに接続され、前記残差ネットワークモジュールが抽出する前記検出サンプルの前記光学回折信号の前記複数の画像特徴に基づいてアップサンプリングし、前記検出サンプルの前記光学回折信号の元の解像度を復元する画像再構成モジュールと、
前記画像再構成モジュールに接続され、前記検出サンプルの前記複数の画像特徴を融合して、前記高画質画像を取得する直列連結モジュールとを含むことを特徴とする光学システム。
【請求項2】
前記光源は、発光ダイオードからなる点光源であり、かつ前記ピンホールは、マイクロメートルサイズの光学ピンホール又は光ファイバからなることを特徴とする請求項１に記載の光学システム。
【請求項3】
前記検出サンプルは、生体組織切片又は血液塗抹標本であることを特徴とする請求項１に記載の光学システム。
【請求項4】
画像復元を応用する光学画像処理方法であって、検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行うことと、
検出対象の検出サンプルを検出プラットホームに載置し、光源調光とピンホールを介して、画像検知器により前記検出サンプルを検知して前記光学回折信号を出力することと、
画像特徴抽出モジュールにより前記検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、前記検出サンプルの前記光学回折信号の複数の画像特徴を抽出することと、
画像再構成モジュールにより、前記残差ネットワークモジュールが抽出する前記光学回折信号の複数の前記画像特徴に基づいてアップサンプリングし、前記検出サンプルの前記光学回折信号の元の解像度を復元することであって、前記残差ネットワークモジュールは、畳み込み層、活性化層及び結合層を含み、それぞれ、まず前記光学回折信号に対して前記畳み込み層により特徴を検索し、前記活性化層が前記光学回折信号の出力を線形正規化変換して勾配消失の問題を克服し、最後、結合層に元の入力と非線形変換した前記光学回折信号を重畳することと、
直列連結モジュールにより、前記検出サンプルの複数の前記画像特徴を融合し、高画質画像を取得することとを含むことを特徴とする光学画像処理方法。
【請求項5】
前記画像特徴抽出モジュールは、前記光学回折信号をサブサンプリングし、前記光学回折信号の３つのサブネットワークの前記初期特徴を取得することを特徴とする請求項４に記載の光学画像処理方法。
【請求項6】
前記光学画像処理方法は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を応用して前記光学回折信号の画像処理を行うことを特徴とする請求項４に記載の光学画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学システム及び光学画像処理方法に関し、特に、ディープラーニングによる画像復元を応用する光学システム及び光学画像処理方法に関する。
【背景技術】
【0002】
光学顕微鏡は、工学物理学や、生物医学などの分野において重要な役割を果たし、光学顕微鏡により、肉眼で見えない表面構成、細胞又は微生物などを観察でき、検査医学において、各病院が疾患を診断する時に、光学イメージング技術に非常に依存し、例えば、各類型の癌及び感染症について、いずれも、生体組織診断又は血液塗抹標本により細胞状態が病変であるか否かを評価する。しかしながら、現在の光学イメージングプラットホームの複雑性及び高いコストにより、その実際応用が制限され、必ず、専門的な訓練を受けた実験室の人員により操作され、特に、辺ぴな地域及び資源が有限である地域に、光学イメージングプラットホームの幅広い応用を制限した。
【0003】
ディープラーニングは、大量のデータを利用して構築される演算モデルを訓練してデータ特徴を抽出するラーニング方式であり、訓練データセットのデータ量は、訓練効果を決める重要な条件であり、訓練セットのデータが不足すると、訓練されたネットワークモデルは、訓練したデータを精確的に予測できるが、未知のデータを予測する時に、訓練セットを予測する時の正確率よりも遥かに低く、このような情況を過剰適合（Ｏｖｅｒｆｉｔｔｉｎｇ）と称し、特に、生物医学の関連分野において、非常に大きなデータセットを取得し難く、データ量が不足する問題を解決するために、データ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）は、この問題を解決するための重要な手段になっている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ラーニング技術における光学イメージングプラットホームの複雑性及び高いコストにより、その実際応用が制限され、特に、生物医学の関連分野においてデータ量が不足する問題を解決する必要がある。従って、一般的なレンズレスの光学画像技術を応用し、かつデータ拡張を組み合わせて、顕微システムを超小型化させ、かつ画像視野を大幅に向上できる機能を有する必要がある。
【0005】
本発明は、顕微システムを超小型化し、画像視野を大幅に向上する機能を有し、かつディープラーニング演算法により画像再構成を行い、かつ自動識別機能を実行することができるレンズレスの光学画像復元システム及び演算方法を提供することを目的としている。
【0006】
本発明は、光学レンズがなくてディープラーニング演算法により画像再構成を行い、かつ自動識別機能を実行できるディープラーニングの画像復元技術を応用する光学画像処理方法を提供することを別の目的としている。
【課題を解決するための手段】
【0007】
上記目的によれば、本発明は、画像復元を応用する光学システムを開示し、光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置を含む。ピンホールは、該光源の光伝達経路に設けられ、検出プラットホームは、該光源の該光伝達経路に設けられ、かつ該ピンホールが該光源と該検出プラットホームとの間に位置し、該検出プラットホームは、検出サンプルを放置する。画像検知器は、検出プラットホームの下方に設けられ、かつ検出サンプルを検出して光学回折信号を出力する。画像処理装置は、画像検知器に電気接続され、検出サンプルの光学回折信号に対して信号処理及び光学信号識別を行って検出サンプルの高画質画像を取得する。
【0008】
上記目的によれば、本発明は、画像復元を応用する光学画像処理方法を開示し、検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行い、検出対象の検出サンプルを検出プラットホームに載置し、光源調光とピンホールを介して、画像検知器により前記検出サンプルの光学回折信号を検知し、画像特徴抽出モジュールにより検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、検出サンプルの光学回折信号の複数の画像特徴を抽出し、画像再構成モジュールにより、残差ネットワークモジュールが抽出する光学回折信号の複数の画像特徴に基づいてアンサンプリングし、検出サンプルの光学回折信号の元の解像度を復元し、直列連結モジュールにより、検出サンプルの複数の画像特徴を融合し、高画質画像を取得することを含む。
【発明の効果】
【0009】
本発明は、以下のメリットを有する。本発明のレンズレスの光学画像復元システム及び演算方法によれば、従来の高価な光学顕微鏡に代ることができ、短い時間に最終の画像再構成結果を取得することができ、かつ画像の解像度及び識別度は、光学顕微鏡の効果に近似し、かつ比較的大きな可視視野を有する。
【図面の簡単な説明】
【0010】
【図1】本発明に係る画像復元を応用する光学システムの模式図である。
【図2】本発明の画像処理装置のブロック図である。
【図3A】本発明に係る画像検知器が検知する光学回折信号の模式図である。
【図3B】本発明に係る画像処理装置により処理した高画質画像の模式図である。
【図3C】光学顕微鏡の画像模式図である。
【図3D-3E】本発明に係る画像処理装置の入力画像と処理した出力画像の対比図である。
【図4】本発明に係る画像復元を応用する光学画像処理方法のフローチャートである。
【発明を実施するための形態】
【0011】
以下、図面及び本発明のこの好ましい実施例を組み合わせて、本発明が所定の目的を達成するために採用する技術的手段を説明する。
【0012】
図１は、本発明に係る画像復元を応用する光学システムの模式図である。図１に示すように、本発明に係る画像復元を応用する光学システム１０は、主に、光源１１と、ピンホール１２と、検出プラットホーム１３と、画像検知器１４と、画像処理装置１５とを含む。
【0013】
光源１１は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）などであってもよく、かつ選択される光源１１は、波長変更可能であり、或いは広波長の光源（例えば、白光など）を使用することができ、かつ本発明に係る光学システム１０には、さらにフィルターレンズが設けられて波長を選択し、しかし、それに限定されていない。ピンホール１２は、光源１１の光伝達経路に設けられ、光学式ピンホールであってもよく、ピンホール１２のサイズがミクロングレードであり、マイクロメートルのピンホール又は光ファイバなどにより構成されることができる。検出プラットホーム１３は、ピンホール１２の下方に設けられ、かつピンホール１２を通過する光の伝達経路に位置し、検出対象の検出サンプルが検出プラットホーム１３に設けられ、検出サンプルが生体組織切片又は血液塗抹標本であってもよいが、それに限定されていない。光源１１は、光をピンホール１２に伝達して光を検出プラットホーム１３に収束して伝達し、光は、検出プラットホーム１３に置かれる検出サンプルを通過し、その後に画像検知器１４により検出サンプルの画像を検知する。画像検知器１４が検知する検出サンプルの画像は、回折写真であり、その解像度及び鮮明度は、医学検査に適用しないので、画像検知器１４により取得する検出サンプルの画像をさらに画像処理する必要があり、それにより、その画像の解像度及び鮮明度が医学検査用の標準に達する。
【0014】
例を挙げて、本発明は、サンプル目標物の形態、撮影する時の角度差、光学回折信号の再構成などの面に基づいて、選択されるデータ拡張方式が、画像の平行移動、回転、反転を含む。平行移動とは、画像を入力画像サイズの１０パーセント以下の範囲に上下左右へランダム的に水平移動させ、回転とは、画像の中心点から３６０度内のランダム的な角度で画像を回転させ、反転とは、画像を左右又は上下に鏡像反転させ、ディープラーニング画像再構成モデルが実際に訓練される演算プローには、入力する光学回折信号及び該画像に対応する従来の顕微鏡での画像は、それぞれの訓練周期に新たなランダムなパラメータで画像をデータ拡張し、それぞれの訓練周期に同じ訓練データセットを入力したが、それぞれの訓練周期の初期に血球細胞画像に対して新たにデータの平行移動、回転及び反転を行い、それによりモデル訓練に既存のデータセットをより有効的に使用することができると共に、モデルの一般化能力を大幅に増強し、検証セットでモデルを評価すると、検証セットにおけるモデルの目標画像に対する再構成効果は、訓練セットに対する画像再構成よりも僅かに低いと発見できる。
【0015】
画像処理装置１５は、画像検知器１４に電気接続され、検出サンプルの画像を受信し、検出サンプルの画像の画像処理及び画像識別を行う。画像処理装置１５は、計算機装置、例えば、コンピュータや、サーバなどであってもよいが、それに限定されていない。画像処理装置１５は、機械学習機が使用される教師あり機械学習演算法、例えば、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、転置畳み込み（Ｔｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）、マスク領域畳み込みニューラルネットワーク（Ｍａｓｋ Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｍａｓｋ Ｒ－ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、特徴ピラミッドネットワーク（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ、ＦＰＮ）、ニアレストネイバー法（Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間法（Ｂｉ－Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（Ｂｉ－Ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ）、ｋ近傍法（ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木演算法（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ Ｉｎｄｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、ランダムフォレスト演算法（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ Ａｌｇｏｒｉｔｈｍ）及び／又はベイズ式分類法（Ｂａｙｅｓｉａｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ）などを含むが、それに限定されていない。
【0016】
なお、本発明において、画像処理装置１５が備えるディープラーニング技術において、まず、高画質画像の画像識別を行う。例を挙げて、検出サンプルが血液塗抹標本である時、まず、高画質画像を入力し、画像処理装置１５により血液塗抹標本における白血球や赤血球などの画像特徴を識別し、その後に本発明に係る画像検知器１４が検知する大量の検出サンプルの画像データを入力し、大量の画像データにより画像識別及び画像処理を行い、画像処理装置１５は、画像検知器１４が発生する画像データにおける騒音及び強化画像データにおける特徴をフィルタすることができ、最後に高画質画像を取得することができる。
【0017】
図２に示すように、本発明に係る画像処理装置１５は、強度を記録した光学回折信号が顕微鏡で観察される画像になるように再構成することを主な目的としており、画像処理装置１５は、主に、特徴抽出（サブサンプリング（subsampling））及び画像再構成（アップサンプリング（upsampling））という２つの部分に分かれ、本発明の好ましい実施例において、２つの部分の特徴訓練は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を採用し、画像処理装置１５は、画像を入力する時に、特徴画像を２回サブサンプリングし、３つの平行演算サブネットワークの初期特徴を形成し、その目的は、異なる解像度での画像（回折信号）特徴を取得するということである。そして、３種の異なる解像度の画像により、残差ニューラルネットワーク（ＲｅｓＮｅｔ）をバックボーンとして平行的に特徴抽出を行い、その後に、サブネットワークが抽出される解像度の違いにより、元の入力画像の解像度を復元するまでに異なる回数に分けて段階的にアップサンプリングし、最後に、３つのサブネットワークにより復元される特徴を連結し、かつ一層の畳み込みニューラルネットワークを経って、顕微鏡により観測される画像のような高画質画像を取得する。
【0018】
本発明では、復号層序により、画像に対して、異なるサイズ及び有益な特徴を検索し、入力した画像に対して、一連の畳み込み及び次元削減を行い、全体構築は、畳み込み層を利用して画像を特徴検索し、かつ活性化層を組み合わせてディープラーニングモデルが複雑かつ非線形の出力を学習し、このモデルにおいて、畳み込み層により構成される残差ニューラルネットワークの方式で画像特徴を抽出する。復号層序は、復号層序の特徴次元について、段階的にアップサンプリングし、最初に入力される次元に復元し、かつ再構成した顕微画像を出力する。
【0019】
さらに、本発明に係る画像処理装置１５は、画像特徴抽出モジュール１５１と、残差ネットワークモジュール１５２と、画像再構成モジュール１５３と、直列連結モジュール１５４とを含む。画像特徴抽出モジュール１５１は、主に、検出サンプルの複数の初期特徴を抽出し、画像特徴抽出モジュール１５１は、ディープラーニング分野において、主にサブサンプリングの画像処理ステップを行い、残差ネットワークモジュール１５２は、画像特徴抽出モジュール１５１に接続し、複数の初期特徴に基づいて、検出サンプルの画像の複数の画像特徴を抽出する。画像再構成モジュール１５３は、残差ネットワークモジュール１５２に接続され、残差ネットワークモジュール１５２が抽出する画像の画像特徴に基づいてアップサンプリングし、検出サンプルの画像の元の解像度を復元する。直列連結モジュール１５４は、画像再構成モジュール１５３に接続され、検出サンプルの複数の画像特徴を融合して該高画質画像を取得することができる。
【0020】
画像特徴抽出モジュール１５１において、光学回折信号を入力する時に、まず、２回サブサンプリングし、光学回折信号の３つの平行演算サブネットワークの初期特徴を取得し、その目的は、異なる解像度での画像（回折写真）特徴を抽出し、２つのステップの畳み込み演算により通常のプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を置換して特徴損失を低下させる。残差ネットワークモジュール１５２において、特徴抽出を行う時に、残差ネットワーク（ＲｅｓＮｅｔ５０）をバックボーンとして、それぞれ、３つの異なる解像度を有する画像のサブネットワークに対して平行的に特徴抽出を行い、入力した光学回折信号に対して一連の畳み込み演算及び次元削減を行い、それにより、異なるサイズでの有利な特徴を検索し、全体構築は、畳み込み層、活性化層及び結合層を含み、それぞれ、まず、光学回折信号に対し、畳み込み層により特徴を検索し、活性化層は、出力する光学回折信号に対して線形正規化変換を行って勾配消失の問題を克服し、最後に、結合層に元の入力と非線形変換を経って出力した光学回折信号を重畳し、このようにして、ニューラルネットワークは、表層ネットワークの重みを有効的に調整することができ、勾配消失が発生し難い。
【0021】
画像再構成モジュール１５３において、サブネットワークが抽出する解像度の違いにより、元の入力画像の解像度を復元するまでに転置畳み込み（Ｔｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）の方式で異なる回数に分けて段階的にアップサンプリングし、画像次元を上昇させることにおいて、一般的な方法は、ニアレストネイバー法（Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間法（Ｂｉ－Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（Ｂｉ－Ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）などをさらに有し、 しかしながら、これらの方式に対して、転置畳み込みは、畳み込みの概念でニューラルネットワークを利用してより良い補間方式を学習し、画像再構成の精度を向上する。最後に、直列連結モジュール１５４において、連結（ｃｏｎｃａｔｅｎａｔｅ）の方式で３つのサブネットワークが復元する特徴を融合し、残差ネットワークにおいて採用される結合の方式と異なり、次元が変化しない情況で複数の特徴を融合し、連結の方式により多くの次元情報を残し、最後の畳み込み層が異なる解像度で抽出する特徴は、重要な特徴をより自由に選択し、画像再構成において好ましい。
【0022】
例を挙げて、図２に示すように、残差ネットワークモジュール１５２は、画像特徴抽出モジュール１５１から入力した血球細胞画像を受信した後に、複数回サブサンプリングし、順次に複数の特徴図の画像を発生し、本発明において使用されるサブサンプリング方式は、残差ネットワークをバックボーンとし、その内には畳み込み層、活性化層及び結合層が含まれ、残差ネットワークが層に渡って連接する特性を利用し、ネットワークを有効的に深めて特徴検索を行うことができ、それと同時に演算過程において、毎回に次元削減して取得するそれぞれのサイズの特徴図を保存し、後続きに画像特徴の融合を行うことに有利である。画像再構成モジュール１５３は、残差ネットワークモジュール１５２は、最も小さいサイズの特徴図の画像を畳み込み演算を介して特徴図の深さを調整してその画像を取得し、さらに、該画像を最近傍アップサンプリング（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｕｐｓａｍｐｌｉｎｇ）で段階的にアップサンプリングし、かつアップサンプリングする同時に、それぞれ、残差ネットワークモジュール１５２において取得する各特徴図の画像を特徴融合し、このようにして、残差ネットワークモジュール１５２により異なるサイズで抽出する画像特徴情報を有効的に利用することができる。
【0023】
特徴融合する過程において、画像再構成モジュール１５３においてアップサンプリング演算を行う時に発生可能なエイリアシング効果（ａｌｉａｓｉｎｇ ｅｆｆｅｃｔ）、即ち、特徴図をアップサンプリングして画素を補間することによる歪み現象を回避するために、ここで、残差ネットワークモジュール１５２及び画像再構成モジュール１５３が融合した特徴図を畳み込み演算して画像特徴の歪みを大幅に低下することができ、それにより複数の特徴図が得られ、かつ最終の特徴図を一回最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）し、最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）とは、ある画像をフィルタしていくつかの特徴値を抽出し、そのうちの最大のプーリング層を保持値として抽出し、そのほかの特徴値が全部放棄され、値が最大であることは、これらの特徴において最も強いもののみを残し、他の弱い特徴を放棄することを示し、その目的は、サイズがより小さい特徴を取得して組み合わせて、後続きに画像において比較的大きな目標物を検出して位置決めするということである。
【0024】
直列連結モジュール１５４は、最終の画像特徴図を取得した後に、取得した画像特徴図のうちのそれぞれの目標検出物を位置決めし、かつ方形のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）で目標検出物の画像における具体的な位置を標識し、直列連結モジュール１５４において、異なる解像度で抽出した特徴は、より自由的に重要な特徴を選択し、画像再構成において好ましいものである。
【0025】
図３Ａは、本発明に係る画像検知器１４が検知する光学回折信号の模式図であり、図３Ｂは、本発明に係る画像処理装置１５により処理された高画質画像の模式図であり、図３Ｃは、光学顕微鏡の画像模式図である。図３Ａに示すように、明らかに、画像検知器１４が検知する光学回折信号３１の画像の鮮明度が悪く、かつ白血球又は紅血球を明らかに観察できないが、図３Ｂに示すように、本発明に係る画像処理装置１５により処理された高画質画像３２が光学回折信号３１に対して、より鮮明になり、かつその解像度と鮮明度が図３Ｃに示す光学顕微鏡により発生する画像３３と近似する。図３Ｄと図３Ｅは、本発明に係る画像処理装置の入力画像と処理した出力画像の対比図であり、図３Ｄと図３Ｅに示すように、本発明に係る画像処理装置１５は、本発明により撮像される、形態を弁別できない血液細胞及び鼻咽頭癌細胞の光学回折信号画像を顕微鏡により撮影される画像のように鮮明に識別できる画像に再構成する。かつ、本発明により復元される検証セット画像をディープラーニングのモデルに入力し、後続きに血液細胞画像を分類し、位置決めし、及びマスク生成を実現する。
【0026】
本発明に係る画像復元を応用する光学システム１０は、高価な光学顕微鏡を使用する必要がなく、光学顕微鏡が発生する鮮明な画像に近似する画像を取得することができる。
【0027】
図４は、本発明に係る画像復元を応用する光学画像処理方法のステップのフローチャートである。図４に示すように、ステップＳ４０１において、検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行う。本発明の画像処理装置は、光学顕微鏡が発生する高画質画像に近似する画像を発生する効果を有することができるために、画像処理装置に対して、データラーニング及びモデル訓練を行う必要があり、画像処理装置は、ラーニング過程において、大量の画像データが必要であるので、異なる検出サンプルの高画質画像と本発明に係る画像検知器により収集される光学回折信号をモデル訓練して、識別度を向上する必要がある。
【0028】
ステップＳ４０２では、検出対象の検出サンプルを検出プラットホームに置き、光源調光及びピンホールを介して、画像検知器により検出サンプルの光学回折信号を検知する。本発明は、スカラー回折理論を利用して光学イメージング設備を簡易化し、非常に大きくかつ複雑な光学素子を必要としていない。インコヒーレント光源、ピンホール及び光学画像検知器から構成すればよく、レンズが視野（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）の大きさを限定せず、広い視野を有し（光学画像検知器の面積と一致する）かつ同時にマイクロメートルスケールの画像解像度を達成でき、光源の空間コヒーレンスを制御することによりセンサに光学回折信号を記録し、光学レンズを必要としなくて、機械学習演算法により画像再構成を行い、かつ自動識別機能を実行でき、このレンズレスの光学画像復元システム及び演算方法により、短い時間に最終の画像再構成結果を取得することができる。
【0029】
ステップＳ４０３において、画像特徴抽出モジュールにより検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、検出サンプルの光学回折信号の複数の画像特徴を抽出する。ステップＳ４０４において、画像再構成モジュールにより、残差ネットワークモジュールが抽出する光学回折信号の画像特徴に基づいてアップサンプリングし、検出サンプルの光学回折信号の元の解像度を復元し、最後、ステップＳ４０５において、直列連結モジュールにより、検出サンプルの複数の画像特徴を融合し、高画質画像を取得する。上記の画像処理及び画像識別により、元の光学回折信号を光学顕微鏡が発生するような高画質画像を変換することができる。
【0030】
本発明は、レンズレスの光学画像復元システム及び画像復元を応用する光学画像処理方法は、光学顕微システムを超小型化させ、画像視野を大幅に向上する機能を有し、かつ機械学習演算法を使用して画像再構成を行い、かつ自動識別機能を実行することができ、生物医学検出業界の応用において、良好な見込み及び応用価値を有する。
【0031】
上記の実施形態は、好ましい実施例であり、本発明の特許請求の範囲を限定しない。本発明の特許請求の範囲及び明細書に基づいて行った同等変化及び修飾は、いずれも、本発明の下記特許請求の範囲に含まれる。
【符号の説明】
【0032】
１０ 光学システム
１１ 光源
１２ ピンホール
１３ 検出プラットホーム
１４ 画像検知器
１５ 画像処理装置
１５１ 画像特徴抽出モジュール
１５２ 残差ネットワークモジュール
１５３ 画像再構成モジュール
１５４ 直列連結モジュール
３１ 光学回折信号
３２ 高画質画像
３３ 画像
Ｓ４０１～Ｓ４０５ ステップ
１１ 光源
１２ ピンホール
１３ 検出プラットホーム
１４ 画像検知器
１５ 画像処理装置
１５１ 画像特徴抽出モジュール
１５２ 残差ネットワークモジュール
１５３ 画像再構成モジュール
１５４ 直列連結モジュール
３１ 光学回折信号
３２ 高画質画像
３３ 画像
Ｓ４０１～Ｓ４０５ ステップ
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4】
