知財求人 - 知財ポータルサイト「IP Force」
▶ 南方科技大学の特許一覧 ▶ 株式会社トーメーコーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151312
(43)【公開日】2024-10-24
(54)【発明の名称】顕微鏡撮像モード移行方法、システムおよび記憶媒体
(51)【国際特許分類】
A61B 3/13 20060101AFI20241017BHJP
A61B 3/10 20060101ALI20241017BHJP
G06V 10/82 20220101ALI20241017BHJP
G06T 7/00 20170101ALI20241017BHJP
【ＦＩ】
A61B3/13 300
A61B3/10 300
G06V10/82
G06T7/00 350C
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024059298
(22)【出願日】2024-04-02
(31)【優先権主張番号】2023104308491
(32)【優先日】2023-04-11
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】519154623
【氏名又は名称】南方科技大学
【氏名又は名称原語表記】ＳＯＵＴＨ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ ＯＦ ＣＨＩＮＡ
【住所又は居所原語表記】Ｎｏ．１０８８，Ｘｕｅｙｕａｎ Ｂｌｖｄ．，Ｘｉｌｉ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５５，Ｃｈｉｎａ
(71)【出願人】
【識別番号】501299406
【氏名又は名称】株式会社トーメーコーポレーション
(74)【代理人】
【識別番号】110000660
【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人
(72)【発明者】
【氏名】ルイリン シ
(72)【発明者】
【氏名】インリン ジャン
(72)【発明者】
【氏名】ジアン リュウ
(72)【発明者】
【氏名】東田 理沙
(72)【発明者】
【氏名】岡本 圭一郎
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA04
4C316AB12
4C316AB16
4C316FB21
5L096BA13
5L096DA01
5L096HA11
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】画像が不鮮明となる問題を発生することを解決する。
【解決手段】本発明では、生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する、顕微鏡撮像モード移行方法、システムおよび記憶媒体を開示している。
【選択図】図１
【解決手段】本発明では、生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する、顕微鏡撮像モード移行方法、システムおよび記憶媒体を開示している。
【選択図】図１
【特許請求の範囲】
【請求項1】
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するステップであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、ステップと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む、ことを特徴とする顕微鏡撮像モード移行方法。
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む、ことを特徴とする顕微鏡撮像モード移行方法。
【請求項2】
前記生成ネットワークは第１の生成器と、第２の生成器と、第１の識別器と、第２の識別器とを含み、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行う前記ステップは、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、前記第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、前記ドメインＡ画像データセットは複数の前記ドメインＡ原画像データを含み、前記ドメインＢ画像データセットは複数の前記ドメインＢ原画像データを含む、ステップと、
前記第１の生成器を用いて、前記ドメインＡ合成画像データに対して変換を行うことで、前記ドメインＢ合成画像データを更新するとともに、前記第２の生成器を用いて、前記ドメインＢ合成画像データに対して変換を行うことで、前記ドメインＡ合成画像データを更新するステップと、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、前記第２の識別器を用いて、前記ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む、ことを特徴とする請求項１に記載の顕微鏡撮像モード移行方法。
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行う前記ステップは、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、前記第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、前記ドメインＡ画像データセットは複数の前記ドメインＡ原画像データを含み、前記ドメインＢ画像データセットは複数の前記ドメインＢ原画像データを含む、ステップと、
前記第１の生成器を用いて、前記ドメインＡ合成画像データに対して変換を行うことで、前記ドメインＢ合成画像データを更新するとともに、前記第２の生成器を用いて、前記ドメインＢ合成画像データに対して変換を行うことで、前記ドメインＡ合成画像データを更新するステップと、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、前記第２の識別器を用いて、前記ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む、ことを特徴とする請求項１に記載の顕微鏡撮像モード移行方法。
【請求項3】
前記損失関数は第１の周波数領域情報損失関数と、第２の周波数領域情報損失関数とを含み、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
前記第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
前記第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
【請求項4】
前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、周波数領域畳み込み層デコーダとを含み、前記第１の周波数領域情報損失関数は、以下の数学モデルにより制約されるものであり、
式中、
は前記第１の周波数領域情報損失関数、
はドメインＡ周波数領域画像データ、
はドメインＢ周波数領域画像データを表し、
前記第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、前記ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから前記畳み込み層エンコーダ、前記集約的残差変換器、前記周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、前記ドメインＡ周波数領域画像データは前記ドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
前記ドメインＢ周波数領域画像データおよび前記ドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、前記第１の周波数領域情報損失関数を得る、ステップと、により得られる、ことを特徴とする請求項３に記載の顕微鏡撮像モード移行方法。
【数1】
【数2】
【数3】
【数4】
前記第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、前記ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから前記畳み込み層エンコーダ、前記集約的残差変換器、前記周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、前記ドメインＡ周波数領域画像データは前記ドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
前記ドメインＢ周波数領域画像データおよび前記ドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、前記第１の周波数領域情報損失関数を得る、ステップと、により得られる、ことを特徴とする請求項３に記載の顕微鏡撮像モード移行方法。
【請求項5】
前記損失関数は更に、第１の識別器性能関数と、第２の識別器性能関数と、サイクル損失関数とを含み、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の識別器性能関数を低減して前記第１の識別器を学習することで、前記第１の識別器が生成データと原データとを区別する能力を向上するステップと、
前記第２の識別器性能関数を低減して前記第２の識別器を学習することで、前記第２の識別器が生成データと原データとを区別する能力を向上するステップと、
前記サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の識別器性能関数を低減して前記第１の識別器を学習することで、前記第１の識別器が生成データと原データとを区別する能力を向上するステップと、
前記第２の識別器性能関数を低減して前記第２の識別器を学習することで、前記第２の識別器が生成データと原データとを区別する能力を向上するステップと、
前記サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
【請求項6】
前記第１の識別器性能関数および前記第２の識別器性能関数はそれぞれ以下の数学モデルにより制約されるものであり、
式中、
は前記第１の識別器性能関数を表し、
は前記第２の識別器性能関数を表し、
はドメインＡ中の画像データであり、
はドメインＢ中の画像データが前記第２の生成器により生成され得られたものであり、
はドメインＢ中の画像データであり、
はドメインＡ中の画像データが前記第１の生成器により生成され得られたものであり、
および
はデータドメインＡとデータドメインＢ中から取得したサンプルをそれぞれ表しており、
および
はＬ１ノルム計算を用いてサイクル的に生成された損失期待値を表し、
は前記第１の識別器を表し、
は前記第２の識別器を表しており、
前記サイクル損失関数は以下の数学モデルにより制約されるものであり、
式中、
は前記サイクル損失関数、
は前記第１の生成器、
は前記第２の生成器を表している、ことを特徴とする請求項５に記載の顕微鏡撮像モード移行方法。
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
前記サイクル損失関数は以下の数学モデルにより制約されるものであり、
【数18】
【数19】
【数20】
【数21】
【請求項7】
前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、画像畳み込み層デコーダとを含み、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成する前記ステップは、
前記ドメインＡ原画像データを前記畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
前記符号化画像データを前記集約的残差変換器にて処理することで、変換画像データを得るステップと、
前記変換画像データを前記画像畳み込み層デコーダにて処理することで、前記ドメインＢ合成画像データを得るステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成する前記ステップは、
前記ドメインＡ原画像データを前記畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
前記符号化画像データを前記集約的残差変換器にて処理することで、変換画像データを得るステップと、
前記変換画像データを前記画像畳み込み層デコーダにて処理することで、前記ドメインＢ合成画像データを得るステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
【請求項8】
前記第１の識別器はセンサモジュールと、複数の第１の畳み込み層と、全結合層とを含み、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得る前記ステップは、
前記センサモジュールを用いて前記ドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
前記第１の特徴抽出データに順次複数の前記第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
前記全結合層を用いて前記第２の特徴抽出データに対して処理を行うことで、前記識別結果を得るステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得る前記ステップは、
前記センサモジュールを用いて前記ドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
前記第１の特徴抽出データに順次複数の前記第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
前記全結合層を用いて前記第２の特徴抽出データに対して処理を行うことで、前記識別結果を得るステップと、を含む、ことを特徴とする請求項２に記載の顕微鏡撮像モード移行方法。
【請求項9】
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するのに用いられるものであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、データ準備およびモデル構築ユニットと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うのに用いられるモデル学習ユニットと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するのに用いられる学習最適化ユニットと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するのに用いられるモード移行ユニットと、を備える、ことを特徴とする顕微鏡撮像モード移行システム。
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うのに用いられるモデル学習ユニットと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するのに用いられる学習最適化ユニットと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するのに用いられるモード移行ユニットと、を備える、ことを特徴とする顕微鏡撮像モード移行システム。
【請求項10】
コンピュータ実行可能コマンドが記憶されており、前記コンピュータ実行可能コマンドは請求項１から８のいずれか一項に記載の顕微鏡撮像モード移行方法をコンピュータに実行させるのに用いられる、ことを特徴とするコンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像処理技術分野に関し、とりわけ顕微鏡撮像モード移行方法、システムおよび記憶媒体に関する。
【背景技術】
【0002】
角膜内皮細胞は角膜の後面に位置して緊密に並んでいる再生不可能な細胞の層であり、多くが六角形をなしている。角膜内皮細胞は、加齢以外に、外部の損傷、角膜疾患等の要因がいずれも死滅、細胞密度の低下を招く可能性がある。角膜は十分な内皮細胞がなければ正常な機能を維持することができず、その細胞の限界密度は通常１平方ミリメートルあたり４００～５００個である。角膜内皮細胞が死んでしまうと、隣接する細胞が移っていき、拡大するように死滅した角膜内皮細胞の領域を占めて、予測できない細胞の伸長や、薄くなる、面積の増大を招いてしまう。
【0003】
現在、角膜内皮細胞の画像を取得する主な方式は、接触型角膜内皮細胞顕微鏡と、非接触型顕微鏡とに分けられる。ｉｎ ｖｉｖｏ共焦点顕微鏡は接触型顕微鏡であり、画像が鮮明である。観察時には、装置は、ゲルを介して角膜と直接接触することから、患者にとって不親切で、操作しにくく、検査の前後に準備および消毒が必要になり、しかも眼に損傷を与える可能性がある。非接触型角膜内皮細胞顕微鏡を使用することで、被験者の感染のリスクおよび眼球への潜在的な損傷リスクを低減できる。非接触型角膜内皮顕微鏡は視野が比較的狭く、且つ患者の眼振状態を回避できないことから、画像のぶれ、ピンボケ、照明ムラ、コントラストが低い等の低画質の要因が生じやすく、角膜内皮細胞画像の下流タスク、例えばセグメンテーションタスクおよびパラメータ推定タスクの課題が増加する。
【発明の概要】
【0004】
本発明の主旨は、従来技術に存在する技術的課題の一つを少なくとも解決するところにある。そこで、本発明では、現在、角膜内皮細胞画像を取得するために、接触型顕微鏡を使用することは患者に不親切であるが、一方で非接触型顕微鏡を使用することは画像が不鮮明となる問題を発生することを解決する、顕微鏡撮像モード移行方法を提供する。
【0005】
本発明では更に、顕微鏡撮像モード移行システムおよびコンピュータ読取り可能な記憶媒体を提供する。
【0006】
本発明の第１の態様の実施例の顕微鏡撮像モード移行方法によれば、
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するステップであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、ステップと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む。
本発明の実施例の顕微鏡撮像モード移行方法によれば、少なくとも以下の有益な効果を有する。
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するステップであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、ステップと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む。
本発明の実施例の顕微鏡撮像モード移行方法によれば、少なくとも以下の有益な効果を有する。
【0007】
生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、更に、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する。したがって、本発明の実施例の方法中では生成ネットワークを使用することで、角膜内皮顕微鏡撮像と共焦点顕微鏡撮像との間の双方向モード移行を実現しており、モード移行は非接触型角膜内皮細胞顕微鏡の撮像技術的な制約を緩和するのに有利となり、一定の設備コスト制約の下で画像品質を向上する。効果的な画像品質向上方法は、より正確な角膜内皮細胞セグメンテーションの結果を取得するのにより有利となることから、角膜内皮細胞に関連する臨床パラメータをより好適に評価するのに有利となり、臨床従事者にとってより信頼性の高い評価補助を提供することになる。
【0008】
本発明のいくつかの実施例によれば、前記生成ネットワークは第１の生成器と、第２の生成器と、第１の識別器、第２の識別器とを含み、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行う前記ステップは、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、前記第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、前記ドメインＡ画像データセットは複数の前記ドメインＡ原画像データを含み、前記ドメインＢ画像データセットは複数の前記ドメインＢ原画像データを含む、ステップと、
前記第１の生成器を用いて、前記ドメインＡ合成画像データに対して変換を行うことで、前記ドメインＢ合成画像データを更新するとともに、前記第２の生成器を用いて、前記ドメインＢ合成画像データに対して変換を行うことで、前記ドメインＡ合成画像データを更新するステップと、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、前記第２の識別器を用いて、前記ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む。
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行う前記ステップは、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、前記第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、前記ドメインＡ画像データセットは複数の前記ドメインＡ原画像データを含み、前記ドメインＢ画像データセットは複数の前記ドメインＢ原画像データを含む、ステップと、
前記第１の生成器を用いて、前記ドメインＡ合成画像データに対して変換を行うことで、前記ドメインＢ合成画像データを更新するとともに、前記第２の生成器を用いて、前記ドメインＢ合成画像データに対して変換を行うことで、前記ドメインＡ合成画像データを更新するステップと、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、前記第２の識別器を用いて、前記ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む。
【0009】
本発明のいくつかの実施例によれば、前記損失関数は第１の周波数領域情報損失関数と、第２の周波数領域情報損失関数とを含み、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
前記第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む。
本発明のいくつかの実施例によれば、前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、周波数領域畳み込み層デコーダとを含み、前記第１の周波数領域情報損失関数は、以下の数学モデルにより制約される、
式中、
は前記第１の周波数領域情報損失関数、
はドメインＡ周波数領域画像データ、
はドメインＢ周波数領域画像データを表し、
前記第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、前記ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから前記畳み込み層エンコーダ、前記集約的残差変換器、前記周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、前記ドメインＡ周波数領域画像データは前記ドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
前記ドメインＢ周波数領域画像データおよび前記ドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、前記第１の周波数領域情報損失関数を得る、ステップと、により得られる。
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
前記第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む。
本発明のいくつかの実施例によれば、前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、周波数領域畳み込み層デコーダとを含み、前記第１の周波数領域情報損失関数は、以下の数学モデルにより制約される、
【数1】
【数2】
【数3】
【数4】
前記第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、前記ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから前記畳み込み層エンコーダ、前記集約的残差変換器、前記周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、前記ドメインＡ周波数領域画像データは前記ドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
前記ドメインＢ周波数領域画像データおよび前記ドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、前記第１の周波数領域情報損失関数を得る、ステップと、により得られる。
【0010】
本発明のいくつかの実施例によれば、前記損失関数は更に、第１の識別器性能関数と、第２の識別器性能関数と、サイクル損失関数とを含み、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の識別器性能関数を低減して前記第１の識別器を学習することで、前記第１の識別器が生成データと原データとを区別する能力を向上するステップと、
前記第２の識別器性能関数を低減して前記第２の識別器を学習することで、前記第２の識別器が生成データと原データとを区別する能力を向上するステップと、
前記サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む。
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上する前記ステップは更に、
前記第１の識別器性能関数を低減して前記第１の識別器を学習することで、前記第１の識別器が生成データと原データとを区別する能力を向上するステップと、
前記第２の識別器性能関数を低減して前記第２の識別器を学習することで、前記第２の識別器が生成データと原データとを区別する能力を向上するステップと、
前記サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む。
【0011】
本発明のいくつかの実施例によれば、前記第１の識別器性能関数および前記第２の識別器性能関数はそれぞれ以下の数学モデルにより制約される、
式中、
は前記第１の識別器性能関数を表し、
は前記第２の識別器性能関数を表し、
はドメインＡ中の画像データであり、
はドメインＢ中の画像データが前記第２の生成器により生成され得られたものであり、
はドメインＢ中の画像データであり、
はドメインＡ中の画像データが前記第１の生成器により生成され得られたものであり、
および
はデータドメインＡとデータドメインＢ中から取得したサンプルをそれぞれ表しており、
および
はＬ１ノルム計算を用いてサイクル的に生成された損失期待値を表し、
は前記第１の識別器を表し、
は前記第２の識別器を表しており、
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【数12】
【数13】
【数14】
【数15】
【数16】
【数17】
【0012】
前記サイクル損失関数は以下の数学モデルにより制約される、
式中、
は前記サイクル損失関数、
は前記第１の生成器、
は前記第２の生成器を表している。
【数18】
【数19】
【数20】
【数21】
【0013】
本発明のいくつかの実施例によれば、前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、画像畳み込み層デコーダとを含み、
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成する前記ステップは、
前記ドメインＡ原画像データを前記畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
前記符号化画像データを前記集約的残差変換器にて処理することで、変換画像データを得るステップと、
前記変換画像データを前記画像畳み込み層デコーダにて処理することで、前記ドメインＢ合成画像データを得るステップと、を含む。
前記第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成する前記ステップは、
前記ドメインＡ原画像データを前記畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
前記符号化画像データを前記集約的残差変換器にて処理することで、変換画像データを得るステップと、
前記変換画像データを前記画像畳み込み層デコーダにて処理することで、前記ドメインＢ合成画像データを得るステップと、を含む。
【0014】
本発明のいくつかの実施例によれば、前記第１の識別器はセンサモジュールと、複数の第１の畳み込み層と、全結合層とを含み、
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得る前記ステップは、
前記センサモジュールを用いて前記ドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
前記第１の特徴抽出データに順次複数の前記第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
前記全結合層を用いて前記第２の特徴抽出データに対して処理を行うことで、前記識別結果を得るステップと、を含む。
前記第１の識別器を用いて、前記ドメインＢ合成画像データに対して処理を行うことで識別結果を得る前記ステップは、
前記センサモジュールを用いて前記ドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
前記第１の特徴抽出データに順次複数の前記第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
前記全結合層を用いて前記第２の特徴抽出データに対して処理を行うことで、前記識別結果を得るステップと、を含む。
【0015】
本発明の第２の態様の実施例の顕微鏡撮像モード移行システムによれば、
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するのに用いられるものであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、データ準備およびモデル構築ユニットと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うのに用いられるモデル学習ユニットと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するのに用いられる学習最適化ユニットと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するのに用いられるモード移行ユニットと、を備える。
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するのに用いられるものであり、前記ドメインＡは角膜内皮顕微鏡撮像ドメインであり、前記ドメインＢは共焦点顕微鏡撮像ドメインであり、前記ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、データ準備およびモデル構築ユニットと、
前記ドメインＡ画像データセットおよび前記ドメインＢ画像データセットを前記生成ネットワークに入力することでモデル学習を行うのに用いられるモデル学習ユニットと、
低減した損失関数を用いて前記生成ネットワークを学習することで、性能を向上するのに用いられる学習最適化ユニットと、
処理対象のドメインＡ画像を学習済みの前記生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するのに用いられるモード移行ユニットと、を備える。
【0016】
本発明の実施例の顕微鏡撮像モード移行システムによれば、少なくとも以下の有益な効果を有する。
【0017】
生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、更に、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する。したがって、本発明の実施例のシステム中では生成ネットワークを使用することで、角膜内皮顕微鏡撮像と共焦点顕微鏡撮像との間の双方向モード移行を実現しており、モード移行は非接触型角膜内皮細胞顕微鏡の撮像技術的な制約を緩和するのに有利となり、一定の設備コスト制約の下で画像品質を向上する。効果的な画像品質向上方法は、より正確な角膜内皮細胞セグメンテーションの結果を取得するのにより有利となることから、角膜内皮細胞に関連する臨床パラメータをより好適に評価するのに有利となり、臨床従事者にとってより信頼性の高い評価補助を提供することになる。
【0018】
本発明の第３の態様の実施例のコンピュータ読取り可能な記憶媒体によれば、前記コンピュータ読取り可能な記憶媒体にはコンピュータ実行可能コマンドが記憶されており、前記コンピュータ実行可能コマンドは、例えば本発明の第１の態様の実施例に記載の顕微鏡撮像モード移行方法をコンピュータに実行させるのに用いられる。
【0019】
関連する技術と比べて上記第３の態様の有益な効果は、関連する技術と比べて上記第１の態様の有益な効果と同じであることが理解でき、第１の態様中の関連する記述を参照できることから、ここでは別途説明しない。
【0020】
本発明のその他特徴および長所は下記の明細書中で説明するものであり、しかも、明細書中から部分的に明らかになるか、または本発明を実施することで明白になる。本発明の上記および/または付加的な態様および長所は、以下の図面を合わせて実施例に対する説明から明らかになり、容易に理解されるものである。
【図面の簡単な説明】
【0021】
【図1】本発明の１つの実施例の顕微鏡撮像モード移行方法のフローチャートである。
【図2】本発明の１つの実施例の生成ネットワークの模式図である。
【図3】本発明の１つの実施例の第１の生成器の模式図である。
【図4】本発明の１つの実施例の第１の識別器の模式図である。
【発明を実施するための形態】
【0022】
以下にて本発明の実施例を詳細に説明するが、前記実施例の例示は図中に示すものであって、このうち終始同じまたは類似した符号は同じまたは類似した構成要素または同じまたは類似した機能を有する要素を表す。以下にて、図面の記述を参考する実施例は例示的なものであり、本発明を説明するために過ぎず、本発明に対する制限として理解することはできない。
【0023】
本発明の説明において、もし第１、第２等で説明している場合は単に技術特徴を区別する目的に過ぎず、相対的な重要性を指示または暗示する、または指示する技術特徴の数量を暗に含む、または指示する技術特徴の前後関係を指示または暗に含むものとして理解することはできない。
【0024】
本発明の記述にて、理解しておくべきは、方向に関する説明、例えば上、下等で示す方向または位置関係は、図示する方向または位置関係に基づくものであり、単に本発明を記述しやすく、または記述を簡素化するためのものであって、示される装置または構成要素が必ず特定の方向、特定の方向で構成および操作することを指示または暗示するためのものではないため、本発明を制限するためと理解してはならないということである。
【0025】
本発明の説明において、特に明示的に限定されない限り、設置、取付、接続等の語句は広義に解釈されるものとし、当該技術分野に属する当業者であれば、技術手法の具体的内容に合わせて、本発明における当該語句の具体的意味を合理的に判断できる、ということを説明しておくべきである。
【0026】
以下にて図面を合わせて、本発明の技術手法をより明確に、完全に記述するが、明らかなことは、記述する実施例は本発明の実施例の一部であって、全ての実施例ではないということである。
【0027】
本発明の実施例で提供する顕微鏡撮像モード移行方法のフローチャートである図１を参照するに、方法は、
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するステップであり、ドメインＡは角膜内皮顕微鏡撮像ドメインであり、ドメインＢは共焦点顕微鏡撮像ドメインであり、ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、ステップと、
ドメインＡ画像データセットおよびドメインＢ画像データセットを生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む。
ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するステップであり、ドメインＡは角膜内皮顕微鏡撮像ドメインであり、ドメインＢは共焦点顕微鏡撮像ドメインであり、ドメインＡ画像データセットと前記ドメインＢ画像データセットとはすでに対になっているか、または対になっていない、ステップと、
ドメインＡ画像データセットおよびドメインＢ画像データセットを生成ネットワークに入力することでモデル学習を行うステップと、
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上するステップと、
処理対象のドメインＡ画像を学習済みの生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するステップと、を含む。
【0028】
具体的には、図１に示すように、まずドメインＡ（角膜内皮顕微鏡撮像）およびドメインＢ（共焦点顕微鏡撮像）の画像データセットを準備するとともに、生成ネットワークを構築することが理解できる。生成ネットワークの特長によれば、ドメインＡ画像データセットとドメインＢ画像データセットとが正確に対となる必要はなく、つまりはドメインＡ画像データセットとドメインＢ画像データセットとがすでに対になっているか、または対になっていない。その後、ドメインＡ画像データセットおよびドメインＢ画像データセットを用いて生成ネットワークに対して学習を行うが、学習プロセスにおいて、損失関数を低減して生成ネットワークを学習することで性能を向上するとともに、最終的には学習済みの生成ネットワークが得られる。学習するネットワークによって、入力した角膜内皮顕微鏡画像はモード移行により共焦点モード画像を生成することができ、反対もまた然りである。本発明の実施例のモード移行方法を用いることで、共焦点顕微鏡画像を取得するコストおよび難度を低減できる。
【0029】
本実施例においては、生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、更に、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する。したがって、本発明の実施例の方法中では生成ネットワークを使用することで、角膜内皮顕微鏡撮像と共焦点顕微鏡撮像との間の双方向モード移行を実現しており、モード移行は非接触型角膜内皮細胞顕微鏡の撮像技術的な制約を緩和するのに有利となり、一定の設備コスト制約の下で画像品質を向上する。効果的な画像品質向上方法は、より正確な角膜内皮細胞セグメンテーションの結果を取得するのにより有利となることから、角膜内皮細胞に関連する臨床パラメータをより好適に評価するのに有利となり、臨床従事者にとってより信頼性の高い評価補助を提供することになる。
【0030】
いくつかの実施例において、図２に示すように、生成ネットワークは第１の生成器と、第２の生成器と、第１の識別器と、第２の識別器とを含み、
ドメインＡ画像データセットおよびドメインＢ画像データセットを生成ネットワークに入力することでモデル学習を行うステップは、
第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、ドメインＡ画像データセットは複数のドメインＡ原画像データを含み、ドメインＢ画像データセットは複数のドメインＢ原画像データを含む、ステップと、
第１の生成器を用いて、ドメインＡ合成画像データに対して変換を行うことで、ドメインＢ合成画像データを更新するとともに、第２の生成器を用いて、ドメインＢ合成画像データに対して変換を行うことで、ドメインＡ合成画像データを更新するステップと、
第１の識別器を用いて、ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、第２の識別器を用いて、ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む。
ドメインＡ画像データセットおよびドメインＢ画像データセットを生成ネットワークに入力することでモデル学習を行うステップは、
第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するとともに、第２の生成器を用いて、ドメインＢ原画像データを変換してドメインＡ合成画像データを生成するステップであり、ドメインＡ画像データセットは複数のドメインＡ原画像データを含み、ドメインＢ画像データセットは複数のドメインＢ原画像データを含む、ステップと、
第１の生成器を用いて、ドメインＡ合成画像データに対して変換を行うことで、ドメインＢ合成画像データを更新するとともに、第２の生成器を用いて、ドメインＢ合成画像データに対して変換を行うことで、ドメインＡ合成画像データを更新するステップと、
第１の識別器を用いて、ドメインＢ合成画像データに対して処理を行うことで識別結果を得るとともに、第２の識別器を用いて、ドメインＡ合成画像データに対して処理を行うことで識別結果を得るステップと、を含む。
【0031】
具体的には、図２を参照するに、いくつかの実施例において、生成ネットワークはサイクル敵対的生成ネットワーク（ＣｙｃｌｅＧＡＮ）であり、生成ネットワークは２組の生成器－識別器からなる、ことが理解できる。まず、第１の生成器および第２の生成器をそれぞれ用いて、学習ドメインＢの共焦点顕微鏡画像データおよびドメインＡの角膜内皮顕微鏡画像データを初期化することで、ドメインＢ合成画像データ、ドメインＡ合成画像データをそれぞれ生成する。更に、ドメインＢ合成画像データ、ドメインＡ合成画像データを引き続き用いて生成・更新を繰り返し行うものであり、つまり、第１の生成器および第２の生成器は継続的に学習することで、最終的に第１の生成器は相似性が極めて高いドメインＢ中の画像データを生成することができ、同じように第２の生成器でも相似性が極めて高いドメインＡ中の画像データを生成する。学習プロセスにおいて、第１の識別器および第２の識別器をそれぞれ用いて、毎回生成するドメインＢ合成画像データとドメインＡ合成画像データとが好適な相似性を有するか否かを確認できる。同時に、損失関数を取得することで、これに対して関数の低減処理を行うことから、学習プロセス中の生成ネットワークの性能はますます好適となる。
【0032】
いくつかの実施例において、損失関数は第１の周波数領域情報損失関数と、第２の周波数領域情報損失関数とを含み、
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上する前記ステップは更に、
第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む。
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上する前記ステップは更に、
第１の周波数領域情報損失関数を低減して前記第１の生成器を学習することで、前記第１の生成器が細胞境界パターンの一致性を保持するステップと、
第２の周波数領域情報損失関数を低減して前記第２の生成器を学習することで、前記第２の生成器が細胞境界パターンの一致性を保持するステップと、を含む。
【0033】
具体的には、角膜内皮細胞画像に基づいて、その周波数領域情報で細胞構造の輪郭情報を効果的に抽出できることが理解できる。したがって、本発明の実施例の設計の第１の生成器および第２の生成器では、周波数領域情報の比較制約を使用して一致性を増強しており、具体的には、生成された周波数領域空間画像と元の周波数領域空間画像とを比較して、第１の生成器および第２の生成器を学習することで、細胞境界パターンの一致性を保持する。
【0034】
いくつかの実施例において、図３に示すように、前記第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、周波数領域畳み込み層デコーダとを含み、第１の周波数領域情報損失関数は、以下の数学モデルにより制約される、
式中、
は第１の周波数領域情報損失関数、
はドメインＡ周波数領域画像データを表し、
はドメインＢ周波数領域画像データを表し、
第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから畳み込み層エンコーダ、集約的残差変換器、周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、ドメインＡ周波数領域画像データはドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
ドメインＢ周波数領域画像データおよびドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、第１の周波数領域情報損失関数を得る、ステップと、により得られる。
【数22】
【数23】
【数24】
【数25】
第１の周波数領域情報損失関数は、
ドメインＢ周波数領域画像データを取得するステップであり、ドメインＢ周波数領域画像データは前記ドメインＡ原画像データから畳み込み層エンコーダ、集約的残差変換器、周波数領域畳み込み層デコーダの順で処理して得られる、ステップと、
ドメインＡ周波数領域画像データを取得するステップであり、ドメインＡ周波数領域画像データはドメインＡ原画像データを離散フーリエ変換して得られる、ステップと、
ドメインＢ周波数領域画像データおよびドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、第１の周波数領域情報損失関数を得る、ステップと、により得られる。
【0035】
具体的には、図３を参照するに、本発明の実施例は第１の生成器のみを例としているが、第２の生成器も同様に周波数領域畳み込み層デコーダを含むことから、同様に第２の周波数領域情報損失関数が得られることが理解できる。更には、ドメインＡ原画像データは順に畳み込み層エンコーダ、集約的残差変換器で処理された後、周波数領域畳み込み層デコーダで処理を行うことで、生成したドメインＢ合成画像データの周波数領域画像データ、つまりドメインＢ周波数領域画像データを抽出し、そして元の周波数領域空間画像、つまりドメインＡ周波数領域画像データは、ドメインＡ原画像データに対して離散フーリエ変換または高速フーリエ変換を行うことで得られる。ドメインＢ周波数領域画像データおよびドメインＡ周波数領域画像データに対して平均二乗誤差計算を行うことで、第１の周波数領域情報損失関数が得られることから、よって、平均二乗誤差値を低減する方式を用いて第１の生成器を学習することで、細胞境界パターンの一致性をより好適に保持できる。
【0036】
更には、上記数学モデルもまた第１の周波数領域情報損失関数のみを例としているが、第２の周波数領域情報損失関数も同様に得られる。本発明の実施例は周波数領域情報損失を学習プロセスにおける損失として考慮していることから、周波数領域情報損失関数を構築している。２つの周波数領域情報損失関数はそれぞれ２つの生成器により取得されることが理解できる。周波数領域情報損失関数は具体的には、生成器に入力された原画像周波数領域結果と、生成器が生成した周波数領域画像とを計算した差である。周波数領域情報は角膜内皮細胞画像の細胞構造と幾何学的な分布等の特長を表すことができるため、周波数領域情報は生成プロセスにおける細胞輪郭の一致性をより好適に制約できる。２つの周波数領域情報損失関数の数値を低減することで、生成画像細胞の構造の制約、これと原ドメイン入力画像細胞構造とを極力一致させるという目的を達成できる。
【0037】
いくつかの実施例において、損失関数は更に、第１の識別器性能関数と、第２の識別器性能関数と、サイクル損失関数とを含み、
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上するステップは更に、
第１の識別器性能関数を低減して第１の識別器を学習することで、第１の識別器が生成データと原データとを区別する能力を向上ステップと、
第２の識別器性能関数を低減して第２の識別器を学習することで、第２の識別器が生成データと原データとを区別する能力を向上ステップと、
サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む。
低減した損失関数を用いて生成ネットワークを学習することで、性能を向上するステップは更に、
第１の識別器性能関数を低減して第１の識別器を学習することで、第１の識別器が生成データと原データとを区別する能力を向上ステップと、
第２の識別器性能関数を低減して第２の識別器を学習することで、第２の識別器が生成データと原データとを区別する能力を向上ステップと、
サイクル損失関数を低減することで、データ生成プロセス中でのサイクル安定性を保証するステップと、を含む。
【0038】
具体的には、学習プロセスにおいて、本発明の実施例では損失関数を低減する方式を用いて、生成器および識別器の性能を向上することが理解できる。損失関数が低減するにつれて、生成器は目的ドメインデータにより相似するデータを生成でき、識別器は生成データと原データとを区別する能力を向上できる。主な損失関数には、第１の識別器性能関数と、第２の識別器性能関数と、サイクル損失関数とが含まれる。
【0039】
いくつかの実施例において、第１の識別器性能関数および第２の識別器性能関数はそれぞれ以下の数学モデルにより制約される、
式中、
は第１の識別器性能関数を表し、
は第２の識別器性能関数を表し、
はドメインＡ中の画像データであり、
はドメインＢ中の画像データが第２の生成器により生成され得られたものであり、
はドメインＢ中の画像データであり、
はドメインＡ中の画像データが第１の生成器により生成され得られたものであり、
および
はデータドメインＡとデータドメインＢ中から取得したサンプルをそれぞれ表しており、
および
はＬ１ノルム計算を用いてサイクル的に生成された損失期待値を表し、
は第１の識別器を表し、
は第２の識別器を表しており、
具体的には、第１の識別器性能関数および第２の識別器性能関数の値が小さいほど、第１の識別器および第２の識別器は原画像と生成画像との差をより峻別できることを表している。識別器性能を向上することで、生成器の生成データと目的ドメインデータとの相似レベルを間接的に向上している。
【数26】
【数27】
【数28】
【数29】
【数30】
【数31】
【数32】
【数33】
【数34】
【数35】
【数36】
【数37】
【数38】
具体的には、第１の識別器性能関数および第２の識別器性能関数の値が小さいほど、第１の識別器および第２の識別器は原画像と生成画像との差をより峻別できることを表している。識別器性能を向上することで、生成器の生成データと目的ドメインデータとの相似レベルを間接的に向上している。
【0040】
サイクル損失関数は以下の数学モデルにより制約される、
式中、
はサイクル損失関数、
は第１の生成器、
は第２の生成器を表している。
【数39】
【数40】
【数41】
【数42】
【0041】
更に、生成データプロセスにおけるサイクル安定性を保証するために、学習プロセス中ではサイクル損失関数を使用している。サイクルプロセスでは、まず原データを架空のターゲットデータドメインデータとして生成して、次に他の生成器を用いて、ターゲットデータドメインに属する架空データを原データがあるデータドメインのデータとして生成する。サイクル損失関数は、原データとサイクル生成プロセスの後に同じデータドメインでの架空データとの間の差を計算するのに用いられ、サイクル損失関数を低減して、生成プロセス中にてデータのスタイルを移行させると同時に、元の構造輪郭の内容を極力保留できる。
【0042】
いくつかの実施例において、図３に示すように、第１の生成器は畳み込み層エンコーダと、集約的残差変換器と、画像畳み込み層デコーダとを含み、
第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するステップは、
ドメインＡ原画像データを畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
符号化画像データを集約的残差変換器にて処理することで、変換画像データを得るステップと、
変換画像データを画像畳み込み層デコーダにて処理することで、ドメインＢ合成画像データを得るステップと、を含む。
第１の生成器を用いて、ドメインＡ原画像データを変換してドメインＢ合成画像データを生成するステップは、
ドメインＡ原画像データを畳み込み層エンコーダにて処理することで、符号化画像データを得るステップと、
符号化画像データを集約的残差変換器にて処理することで、変換画像データを得るステップと、
変換画像データを画像畳み込み層デコーダにて処理することで、ドメインＢ合成画像データを得るステップと、を含む。
【0043】
具体的には、図３を参照するに、第１の生成器を例とすると、まずドメインＡ原画像データを畳み込み層エンコーダにて符号化した後、集約的残差変換器により更に処理を行うことで、畳み込み特徴の深度抽出が完了して、最終的に畳み込み層エンコーダに対応する画像畳み込み層デコーダにより復号化を行うことで、ドメインＢ合成画像データを生成できる。本発明の実施例の第２の生成器の構造は第１の生成器の構造と同じまたは相似しており、主な相違点は画像データ処理ドメインが異なるところであると理解できる。
【0044】
なお、集約的残差変換器、つまり集約的残差変換ネットワーク（Ａｇｇｒｅｇａｔｅｄ Ｒｅｓｉｄｕａｌ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ Ｎｅｔｗｏｒｋｓ、ＲｅｓＮｅＸｔ）、ＲｅｓＮｅＸｔはＲｅｓＮｅｔの繰り返し層ストラテジー（Ｓｔｒａｔｅｇｙ ｏｆ Ｒｅｐｅａｔｉｎｇ Ｌａｙｅｒｓ）およびスキップ接続（Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎ）という２大特性を継承することを基礎として、新しいトポロジー構造、つまり集約的残差変換モジュール（Ａｇｇｒｅｇａｔｅｄ Ｒｅｓｉｄｕａｌ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ、ＡＲＴ）を導入するものであって、当該モジュールはグループ分けされた畳み込み化特徴抽出を行う。ＲｅｓＮｅＸｔにおける各々のサブモジュールはグループの畳み込みの形式で畳み込みを行い、集約的残差ブロック中での畳み込みのグループ分けは複数の平行するグループの畳み込み演算を通じて、より差別化された表現情報をネットワーク学習が有するように監督できるうえ、ネットワーク正則化の効果ももたらし、抽出した畳み込み演算はより疎らとなり、各々のサブネットワークの複雑度を大幅に低減し、ひいてはモデルの過学習のリスクを回避する。
【0045】
いくつかの実施例において、図４に示すように、第１の識別器はセンサモジュールと、複数の第１の畳み込み層と、全結合層とを含み、
第１の識別器を用いて、ドメインＢ合成画像データに対して処理を行うことで識別結果を得るステップは、
センサモジュールを用いてドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
第１の特徴抽出データに順次複数の第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
全結合層を用いて第２の特徴抽出データに対して処理を行うことで、識別結果を得るステップと、を含む。
第１の識別器を用いて、ドメインＢ合成画像データに対して処理を行うことで識別結果を得るステップは、
センサモジュールを用いてドメインＢ合成画像データに対して複数のスケール特徴抽出を行うとともに、アップサンプリング処理の後に第１の特徴抽出データを得るステップと、
第１の特徴抽出データに順次複数の第１の畳み込み層にて畳み込み演算を行うことで、第２の特徴抽出データを得るステップと、
全結合層を用いて第２の特徴抽出データに対して処理を行うことで、識別結果を得るステップと、を含む。
【0046】
具体的には、図４を参照するに、第１の識別器を例として、入力したドメインＢ合成画像データに対して処理を行うが、まずセンサモジュールを用いてｘｌ、ｘｌ／２およびｘｌ／４の３つのスケールの特徴抽出を行う。抽出した特徴はアップサンプリングおよび連結後に第１の識別器の後続部分に入力される。第１の識別器の後続部分には、３つの畳み込み演算と、ｓｏｆｔｍａｘ関数を有する１つの完全連結畳み込み層とが含まれる。ドメインＢ合成画像データの原ドメインＢデータセット由来であり、生成データの確率ではなく定量化された識別結果を最終的に出力できる。
【0047】
いくつかの実施例において、図４に示すように、センサモジュールは、連続して接続された平均プーリング層と、第２の畳み込み層と、バッチ正規化層と、ＲｅＬＵ関数とを含む。
【0048】
また、本発明の実施例は更に、データ準備およびモデル構築ユニットと、モデル学習ユニットと、学習最適化ユニットと、モード移行ユニットとを備える顕微鏡撮像モード移行システムを提供する。ドメインＡ画像データセットと、ドメインＢ画像データセットとを準備するとともに生成ネットワークを構築するのに用いられるものであり、ドメインＡは角膜内皮顕微鏡撮像ドメインであり、ドメインＢは共焦点顕微鏡撮像ドメインであり、ドメインＡ画像データセットとドメインＢ画像データセットとはすでに対になっているか、または対になっていない、データ準備およびモデル構築ユニットと、ドメインＡ画像データセットおよびドメインＢ画像データセットを生成ネットワークに入力することでモデル学習を行うのに用いられるモデル学習ユニットと、低減した損失関数を用いて生成ネットワークを学習することで、性能を向上するのに用いられる学習最適化ユニットと、処理対象のドメインＡ画像を学習済みの生成ネットワークに入力して処理することで、ドメインＢモード移行した眼科画像処理システムを実現するのに用いられるモード移行ユニットと、を備える。
【0049】
具体的には、図１を参照するに、本願実施例の顕微鏡撮像モード移行システムは顕微鏡撮像モード移行方法を実現するのに用いられ、本願実施例の顕微鏡撮像モード移行システムは前述した顕微鏡撮像モード移行方法に対応していることが理解できるものであって、具体的な処理プロセスは前述した顕微鏡撮像モード移行方法を参照されたく、ここでは別途説明しない。
【0050】
本実施例においては、生成ネットワークを用いてモデル学習を行って、ドメインＡの角膜内皮顕微鏡画像データとドメインＢの共焦点顕微鏡画像データとを互いに変換することで、相手方ドメインの画像を学習するとともに、更に、生成したドメインＢ合成画像データ、ドメインＡ合成画像データを入力として、生成した画像データを継続的に繰り返して学習するとともに、継続的に更新したドメインＢ合成画像データ、ドメインＡ合成画像データに対して継続的に識別することで、生成した画像データと原ドメイン中における実際の画像データとがますます近づくように逐次的に得ることができ、そして学習プロセスでは主に、取得した損失関数の値を低減することで、生成ネットワークの性能を向上する。したがって、本発明の実施例のシステム中では生成ネットワークを使用することで、角膜内皮顕微鏡撮像と共焦点顕微鏡撮像との間の双方向モード移行を実現しており、モード移行は非接触型角膜内皮細胞顕微鏡の撮像技術的な制約を緩和するのに有利となり、一定の設備コスト制約の下で画像品質を向上する。効果的な画像品質向上方法は、より正確な角膜内皮細胞セグメンテーションの結果を取得するのにより有利となることから、角膜内皮細胞に関連する臨床パラメータをより好適に評価するのに有利となり、臨床従事者にとってより信頼性の高い評価補助を提供することになる。
【0051】
また、本発明の実施例は更に、コンピュータ読取り可能な記憶媒体を提供しており、当該コンピュータ読取り可能な記憶媒体にはコンピュータ実行可能コマンドが記憶されており、当該コンピュータ実行可能コマンドは１つ以上の制御プロセッサにより実行されるものであり、上記１つ以上の制御プロセッサは上記方法実施例における顕微鏡撮像モード移行方法、例えば、上記した図１中の方法を実行する。
【0052】
当業者であれば、上記にて公開された方法における全部またはいくつかのステップ、システムはソフトウェア、ファームウェア、ハードウェアおよびその適切な組合せとして実施され得ることを理解できる。いくつかの物理的なアセンブリまたは全ての物理的なアセンブリは、例えばＣＰＵ、デジタル信号プロセッサまたはマイクロプロセッサといったプロセッサで実行されるハードウェアとして実施される、またはハードウェアとして実施される、または例えば特殊用途集積回路といった集積回路として実施され得る。このようなソフトウェアは、コンピュータ読取り可能な媒体で配布でき、コンピュータ読取り可能な媒体はコンピュータ記憶媒体（または非一過性媒体）および通信媒体（または一過性媒体）を含み得る。当業者に公知されているように、用語であるコンピュータ記憶媒体には、情報記憶用（例えばコンピュータ読取り可能なコマンド、データ構造、プログラムモジュールまたはその他データ）のいずれかの方法、または技術中で実施される揮発性および不揮発性、着脱可能および着脱不可能な媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他メモリデバイス、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）またはその他光ディスクメモリ、磁気カセット、磁気テープ、磁気ディスクメモリまたはその他磁気記憶装置、または所望の情報を記憶するとともにコンピュータでアクセス可能ないずれかのその他媒体が含まれるが、これらに限定されない。また、当業者に公知されているように、通信媒体には通常、コンピュータ読取り可能コマンド、データ構造、プログラムモジュールまたは例えば搬送波またはその他伝送メカニズムの類いの変調データ信号におけるその他データが含まれるとともに、いずれかの情報伝送媒体を含み得る。
【0053】
以上、本発明の実施例を図面と共に詳細に説明したが、本発明は上記実施例に限定されるものではなく、当業者が有する知識範囲内において、更に本発明の趣旨を逸脱しない範囲で各種の変更が可能である。
【図1】
【図2】
【図3】
【図4】
【外国語明細書】