▶ シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッドの特許一覧
特表2023-522527画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-31
(54)【発明の名称】画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230524BHJP
G06T 7/33 20170101ALI20230524BHJP
G06V 10/80 20220101ALI20230524BHJP
G06V 10/82 20220101ALI20230524BHJP
【ＦＩ】
G06T7/00 350C
G06T7/33
G06V10/80
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022544835
(86)(22)【出願日】2021-08-25
(85)【翻訳文提出日】2022-07-22
(86)【国際出願番号】 CN2021114524
(87)【国際公開番号】W WO2022198915
(87)【国際公開日】2022-09-29
(31)【優先権主張番号】202110325843.9
(32)【優先日】2021-03-26
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】519290264
【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】ホアン イエチョン
(72)【発明者】
【氏名】イエ ユーシアン
(72)【発明者】
【氏名】ジュー ヤージン
(72)【発明者】
【氏名】チェン イーナン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA06
5L096DA01
5L096EA39
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
本開示の実施例は、画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラムを開示する。前記方法は、電子デバイスによって実行され、前記方法は、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップと、第１特徴マップと第２特徴マップとを融合し、速度フィールドを得るステップと、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るステップと、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップと、を含む。このようにして、画像レジストレーション精度を向上させることができ、医用画像のレジストレーション精度を向上させるために、医用画像のレジストレーションに適用可能である。
【特許請求の範囲】
【請求項1】
電子デバイスによって実行される画像レジストレーション方法であって、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るステップであって、前記新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、かつ前記新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なる、ステップと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップと、を含む、方法。
【請求項2】
前記第１画像を符号化し、第１特徴マップを得るステップ、又は、前記第２画像を符号化し、第２特徴マップを得るステップは、画像に対して特徴抽出を行い、複数のチャネル特徴マップを得るステップと、
各前記チャネル特徴マップの前記複数のチャネル特徴マップにおける重要度に基づいて、前記チャネル特徴マップに対応する注意力重みを得るステップと、
各前記チャネル特徴マップの注意力重みをそれぞれ用いて対応する前記チャネル特徴マップを重み付けし、前記画像の特徴マップを得るステップと、を含み、
前記画像が前記第１画像である場合、上記ステップで得られた前記特徴マップは、前記第１特徴マップであり、又は、前記画像が前記第２画像である場合、上記ステップで得られた前記特徴マップは、前記第２特徴マップであることを特徴とする請求項１に記載の方法。
【請求項3】
前記第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップの前に、前記方法は、レジストレーション待ちの複数の画像を取得するステップと、
前記複数の画像のうちの１つの画像を前記第１画像として用い、残りの少なくとも１つの画像を前記それぞれ第２画像として用いるステップと、をさらに含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記複数の画像は、いずれも医用画像であり、かつ前記複数の画像は、前記複数の画像が異なる種類の医用デバイスによってスキャンされたものであること、
前記複数の画像が同じ医用デバイスによって異なるスキャン時間でスキャンされたものであることのいずれか１つを満たすことを特徴とする請求項３に記載の方法。
【請求項5】
得られた前記速度フィールドを用いて前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップは、得られた前記速度フィールドを変換し、変位フィールドを得るステップと、
前記変位フィールドを用いて前記新しい第１特徴マップを変形し、変形特徴マップを得るステップと、
前記変形特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、を含むことを特徴とする請求項１－４のいずれか一項に記載の方法。
【請求項6】
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップは、前記第１特徴マップと前記第２特徴マップとをスプライシングし、スプライシング特徴マップを得るステップと、
前記スプライシング特徴マップに対して特徴抽出を行い、前記速度フィールドを得るステップと、を含むことを特徴とする請求項１－５のいずれか一項に記載の方法。
【請求項7】
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップの前に、前記方法は、予め設定された条件を満たす場合、新たに得られた第１特徴マップと第２特徴マップに基づいて、前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得るステップ及び後続のステップを再実行するステップをさらに含むことを特徴とする請求項１－６のいずれか一項に記載の方法。
【請求項8】
前記予め設定された条件は、前記復号の実行回数が予め設定された閾値よりも小さく、最後に前記復号を実行することによって得られた前記第１特徴マップ又は前記第２特徴マップの解像度が予め設定された解像度よりも小さいこと、及び／又は、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きいことのいずれか１つを含むことを特徴とする請求項７に記載の方法。
【請求項9】
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップの後、前記方法は、前記レジストレーションパラメータを用いて前記第１画像を処理し、前記第１画像のレジストレーション画像を得るステップと、
前記レジストレーションパラメータを用いて前記第２画像を処理し、前記第２画像のレジストレーション画像を得るステップと、
前記レジストレーションパラメータを用いて前記第１画像の少なくとも１つの第１画素点を処理し、処理後の前記少なくとも１つの第１画素点に基づいて、前記第２画像の前記少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得るステップと、
前記レジストレーションパラメータを用いて前記第２画像の少なくとも１つの第２画素点を処理し、処理後の前記少なくとも１つの第２画素点に基づいて、前記第１画像の前記少なくとも１つの第２画素点にそれぞれ対応する少なくとも１つの第１画素点を得るステップと、のうちの少なくとも１つをさらに含むことを特徴とする請求項１－８のいずれか一項に記載の方法。
【請求項10】
前記第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップは、画像レジストレーションモデルの第１符号化サブネットワークを用いて第１画像を符号化し、第１特徴マップを得、前記画像レジストレーションモデルの第２符号化サブネットワークを用いて第２画像を符号化し、第２特徴マップを得るステップを含み、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップは、
前記画像レジストレーションモデルの速度フィールドサブネットワークを用いて前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップを含み、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得るステップは、
前記画像レジストレーションモデルの第１復号サブネットワークを用いて前記第１特徴マップを復号し、新しい第１特徴マップを得、前記画像レジストレーションモデルの第２復号サブネットワークを用いて前記第２特徴マップを復号し、新しい第２特徴マップを得るステップを含むことを特徴とする請求項１－９のいずれか一項に記載の方法。
【請求項11】
画像レジストレーション装置であって、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るように構成される画像符号化モジュールと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るように構成される第１融合モジュールと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るように構成される画像復号モジュールであって、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きい、画像復号モジュールと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成される第２融合モジュールと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するように構成されるパラメータ取得モジュールと、を備える、画像レジストレーション装置。
【請求項12】
互いに結合されたメモリ及びプロセッサを備える電子デバイスであって、前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して、請求項１－１０のいずれか一項に記載の画像レジストレーション方法を実施する、電子デバイス。
【請求項13】
プロセッサに実行されるとき、前記プロセッサに請求項１－１０のいずれか一項に記載の画像レジストレーション方法を実施させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
【請求項14】
電子デバイスで実行するとき、前記電子デバイスのプロセッサに請求項１－１０のいずれか一項に記載の画像レジストレーション方法を実施させるためのコンピュータ可読コードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本特許出願は、２０２１年３月２６日に提出された中国特許出願番号が２０２１１０３２５８４３．９であり、出願名称が「画像レジストレーション方法及び関連装置、電子デバイス、記憶媒体」である優先権を主張し、当該出願の全内容が参照により本出願に組み込まれる。
本特許出願は、２０２１年３月２６日に提出された中国特許出願番号が２０２１１０３２５８４３．９であり、出願名称が「画像レジストレーション方法及び関連装置、電子デバイス、記憶媒体」である優先権を主張し、当該出願の全内容が参照により本出願に組み込まれる。
【0002】
本開示は、画像処理技術分野に関し、特に画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラムに関する。
【背景技術】
【0003】
画像レジストレーション（Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）は、画像処理研究分野の重要な一環であり、同じ対象について異なる条件下で取得された画像を比較又は融合することを目的とする。同時に、画像レジストレーションは、コンピュータビジョン、医用画像処理、リモートセンシングなどの多くの分野で広く適用されている。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の実施例は、画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。
【0005】
本開示の実施例による電子デバイスによって実行される画像レジストレーション方法は、
第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るステップであって、前記新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、かつ前記新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なる、ステップと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップと、を含む。
第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るステップであって、前記新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、かつ前記新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なる、ステップと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップと、を含む。
【0006】
このように、複数の段階で異なる解像度の特徴マップを融合することにより、異なるスケールの速度フィールドを得ることができるため、異なるスケールの速度フィールドに基づいてレジストレーションパラメータの精度を向上させることができ、さらにレジストレーションの精度を向上させることに役立つ。また、複数の段階で異なるスケールの速度フィールドがそれぞれ得られるため、第１画像を第２画像に順方向にレジストレーションするためのレジストレーションパラメータを得ることに役立つことができ、第２画像を第１画像に逆方向にレジストレーションするためのレジストレーションパラメータを得ることに役立つこともでき、さらに微分同相写像を満たすことに役立つことができる。
【0007】
本開示の幾つかの実施例では、第１画像を符号化し、第１特徴マップを得るステップ、又は、第２画像を符号化し、第２特徴マップを得るステップは、画像に対して特徴抽出を行い、複数のチャネル特徴マップを得るステップと、各前記チャネル特徴マップの前記複数のチャネル特徴マップにおける重要度に基づいて、前記チャネル特徴マップに対応する注意力重みを得るステップと、各前記チャネル特徴マップの注意力重みをそれぞれ用いて対応する前記チャネル特徴マップを重み付けし、前記画像の特徴マップを得るステップと、を含み、前記画像が第１画像である場合、上記ステップで得られた前記特徴マップは、前記第１特徴マップであり、又は、前記画像が前記第２画像である場合、上記ステップで得られた前記特徴マップは、前記第２特徴マップである。このように、各チャネル特徴マップの複数のチャネル特徴マップにおける重要度によって得られた注意力重みによって対応チャネル特徴マップを重み付けすることにより、複数のチャネル特徴マップのうち、強く表現される特徴マップを弱化し、又は複数のチャネル特徴マップのうち、弱く表現される特徴マップを強化することに役立つことができ、それによって異なるモダリティの画像を符号化した後、類似した特徴マップを得ることに役立つことができ、さらにマルチモダリティ画像のレジストレーションを満たし、適用範囲を広くすることに役立つことができる。
【0008】
本開示の幾つかの実施例では、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップの前に、前記方法は、レジストレーション待ちの複数の画像を取得するステップと、前記複数の画像のうちの１つの画像を前記第１画像として用い、残りの少なくとも１つの画像を前記それぞれ第２画像として用いるステップと、をさらに含む。このように、「微分同相写像」を満たすことに基づいて、２つの画像は、１回のレジストレーションプロセスだけで、順方向及び逆方向のレジストレーションが実現されてもよく、したがって、レジストレーション回数を減らすことに役立つことができる。同時に、「マルチモダリティレジストレーション」を満たすことに基づいて、少ないレジストレーション回数だけでマルチモダリティ画像レジストレーションを実現することができる。
【0009】
本開示の幾つかの実施例では、前記複数の画像は、いずれも医用画像であり、かつ前記複数の画像は、前記複数の画像が異なる種類の医用デバイスによってスキャンされたものであること、前記複数の画像が同じ医用デバイスによって異なるスキャン時間でスキャンされたものであることのいずれか１つを満たす。このように、マルチモダリティの医用画像レジストレーションを実現することに役立つことができる。
【0010】
本開示の幾つかの実施例では、得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップは、得られた前記速度フィールドを変換し、変位フィールドを得るステップと、前記変位フィールドを用いて前記新しい第１特徴マップを変形し、変形特徴マップを得るステップと、前記変形特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、を含む。このように、得られた速度フィールドによって変位フィールドを得、変位フィールドによって変形されて得られた変形特徴マップと新しい第２特徴マップとの再度融合により、速度フィールドを得ることができるため、得られた速度フィールドに基づいて速度フィールドを再度得ることに役立つことができ、さらに「複数の段階」で速度フィールドを最適化することに役立つことができ、速度フィールドの精度を向上させることに役立つことができる。
【0011】
本開示の幾つかの実施例では、前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップは、前記第１特徴マップと前記第２特徴マップとをスプライシングし、スプライシング特徴マップを得るステップと、前記スプライシング特徴マップに対して特徴抽出を行い、前記速度フィールドを得るステップと、を含む。このように、速度フィールドの取得プロセスを簡略化し、速度フィールドの取得効率を向上させることに役立つことができる。
【0012】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップの前に、前記方法は、予め設定された条件を満たす場合、新たに得られた第１特徴マップと第２特徴マップに基づいて、前記第１特徴マップと前記第２特徴マップをそれぞれ再復号し、新しい第１特徴マップと新しい第２特徴マップを得るステップ及び後続のステップを再実行するステップをさらに含む。このように、特徴マップの解像度が高くなるプロセスにおいて、スケールが大きくなる速度フィールドを得ることに役立つことができるため、「粗放から精細まで」の複数の段階のレジストレーションを実現することに役立つことができ、さらにレジストレーション精度を向上させることに役立つことができる。
【0013】
本開示の幾つかの実施例では、前記予め設定された条件は、前記復号の実行回数が予め設定された閾値よりも小さく、最後に前記復号を実行することによって得られた前記第１特徴マップ又は前記第２特徴マップの解像度が予め設定された解像度よりも小さいこと、及び／又は、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きいことのいずれか１つを含む。このように、復号回数又は特徴マップ解像度を基準次元として速度フィールドの最適化を連続的に反復することに役立つことができる。
【0014】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップの前に、前記方法は、前記レジストレーションパラメータを用いて前記第１画像を処理し、前記第１画像のレジストレーション画像を得るステップと、前記レジストレーションパラメータを用いて前記第２画像を処理し、前記第２画像のレジストレーション画像を得るステップと、前記レジストレーションパラメータを用いて前記第１画像の画素点を処理し、処理後の前記少なくとも１つの第１画素点に基づいて、前記第２画像の前記少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得るステップと、前記レジストレーションパラメータを用いて前記第２画像の少なくとも１つの第２画素点を処理し、処理後の前記少なくとも１つの第２画素点に基づいて、前記第１画像の前記少なくとも１つの第２画素点にそれぞれ対応する少なくとも１つの第１画素点を得るステップと、のうちの少なくとも１つをさらに含む。このように、第１画像及び第２画像の少なくとも１つの画素点のレジストレーションを実現することができ、これは、画像レジストレーションを局所的に実現することに役立つ。
【0015】
本開示の幾つかの実施例では、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップは、画像レジストレーションモデルの第１符号化サブネットワークを用いて第１画像を符号化し、第１特徴マップを得、前記画像レジストレーションモデルの第２符号化サブネットワークを用いて第２画像を符号化し、第２特徴マップを得るステップを含み、前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップは、前記画像レジストレーションモデルの速度フィールドサブネットワークを用いて前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップを含み、前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るステップは、前記画像レジストレーションモデルの第１復号サブネットワークを用いて前記第１特徴マップを復号し、新しい第１特徴マップを得、前記画像レジストレーションモデルの第２復号サブネットワークを用いて前記第２特徴マップを復号し、新しい第２特徴マップを得るステップを含む。このように、画像レジストレーションモデルを用いて符号化、融合及び復号などを実現することができるため、画像レジストレーションの効率を向上させることに役立つことができる。
【0016】
以下の装置、電子デバイスなどの効果の説明については、上記画像レジストレーション方法の説明を参照する。
【0017】
本開示の実施例による画像レジストレーション装置は、
第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るように構成される画像符号化モジュールと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るように構成される第１融合モジュールと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るように構成される画像復号モジュールであって、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きい、画像復号モジュールと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成される第２融合モジュールと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するように構成されるパラメータ取得モジュールと、を備える。
第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るように構成される画像符号化モジュールと、
前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るように構成される第１融合モジュールと、
前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るように構成される画像復号モジュールであって、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きい、画像復号モジュールと、
得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成される第２融合モジュールと、
複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するように構成されるパラメータ取得モジュールと、を備える。
【0018】
本開示の幾つかの実施例では、画像符号化モジュールは、画像に対して特徴抽出を行い、複数のチャネル特徴マップを得るように構成される特徴抽出サブモジュールと、各前記チャネル特徴マップの前記複数のチャネル特徴マップにおける重要度に基づいて、前記チャネル特徴マップに対応する注意力重みを得るように構成される重み取得サブモジュールと、各前記チャネル特徴マップの注意力重みをそれぞれ用いて対応する前記チャネル特徴マップを重み付けし、前記画像の特徴マップを得るように構成される特徴マップ重み付けサブモジュールと、を含み、前記画像が前記第１画像である場合、上記ステップで得られた前記特徴マップは、前記第１特徴マップであり、又は、前記画像が前記第２画像である場合、上記ステップで得られた前記特徴マップは、前記第２特徴マップである。
【0019】
本開示の幾つかの実施例では、画像レジストレーション装置は、レジストレーション待ちの複数の画像を取得し、前記複数の画像のうちの１つの画像を前記第１画像として用い、残りの少なくとも１つの画像を前記それぞれ第２画像として用いるように構成される画像取得モジュールを備える。
【0020】
本開示の幾つかの実施例では、前記複数の画像は、いずれも医用画像であり、かつ前記複数の画像は、前記複数の画像が異なる種類の医用デバイスによってスキャンされたものであること、前記複数の画像が同じ医用デバイスによって異なるスキャン時間でスキャンされたものであることのいずれか１つを満たす。
【0021】
本開示の幾つかの実施例では、第２融合モジュールは、得られた前記速度フィールドを変換し、変位フィールドを得るように構成される変換サブモジュールと、前記変位フィールドを用いて前記新しい第１特徴マップを変形し、変形特徴マップを得るように構成される変形サブモジュールと、前記変形特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成される融合サブモジュールと、を含む。
【0022】
本開示の幾つかの実施例では、第１融合モジュールは、前記第１特徴マップと前記第２特徴マップとをスプライシングし、スプライシング特徴マップを得るように構成されるスプライシングサブモジュールと、前記スプライシング特徴マップに対して特徴抽出を行い、前記速度フィールドを得るように構成される抽出サブモジュールと、を含む。
【0023】
本開示の幾つかの実施例では、第２融合モジュールは、さらに予め設定された条件を満たす場合、新たに得られた第１特徴マップと第２特徴マップに基づいて、前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得るステップ及び後続のステップを再実行するように構成される。
【0024】
本開示の幾つかの実施例では、予め設定された条件は、前記復号の実行回数が予め設定された閾値よりも小さく、最後に前記復号を実行することによって得られた前記第１特徴マップ又は前記第２特徴マップの解像度が予め設定された解像度よりも小さいこと、及び／又は、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きいことのいずれか１つを含む。
【0025】
本開示の幾つかの実施例では、画像レジストレーション装置は、前記レジストレーションパラメータを用いて前記第１画像を処理し、前記第１画像のレジストレーション画像を得るステップと、前記レジストレーションパラメータを用いて前記第２画像を処理し、前記第２画像のレジストレーション画像を得るステップと、前記レジストレーションパラメータを用いて前記第１画像の少なくとも１つの第１画素点を処理し、処理後の前記少なくとも１つの第１画素点に基づいて、前記第２画像の前記少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得るステップと、前記レジストレーションパラメータを用いて前記第２画像の少なくとも１つの第２画素点を処理し、処理後の前記少なくとも１つの第２画素点に基づいて、前記第１画像の前記少なくとも１つの第２画素点にそれぞれ対応する少なくとも１つの第１画素点を得るステップと、のうちの少なくとも１つを実行するように構成される画像処理モジュールを備える。
【0026】
本開示の幾つかの実施例では、画像符号化モジュールは、さらに画像レジストレーションモデルの第１符号化サブネットワークを用いて第１画像を符号化し、第１特徴マップを得、前記画像レジストレーションモデルの第２符号化サブネットワークを用いて第２画像を符号化し、第２特徴マップを得るように構成され、第１融合モジュールは、さらに前記画像レジストレーションモデルの速度フィールドサブネットワークを用いて前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るように構成され、画像復号モジュールは、さらに前記画像レジストレーションモデルの第１復号サブネットワークを用いて前記第１特徴マップを復号し、新しい第１特徴マップを得、前記画像レジストレーションモデルの第２復号サブネットワークを用いて前記第２特徴マップを復号し、新しい第２特徴マップを得るように構成される。
【0027】
本開示の実施例は、互いに結合されたメモリ及びプロセッサを備え、プロセッサが上記のいずれかの実施例に記載される画像レジストレーション方法を実施するために、メモリに記憶されたプログラム命令を実行する電子デバイスをさらに提供する。
【0028】
本開示の実施例は、プログラム命令を記憶し、プログラム命令がプロセッサに実行されるとき、プロセッサに上記のいずれかの実施例に記載される画像レジストレーション方法を実施させるコンピュータ可読記憶媒体をさらに提供する。
【0029】
本開示の実施例は、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子デバイスで実行されるとき、前記電子デバイスのプロセッサに上記のいずれかの実施例に記載される画像レジストレーション方法を実行させるコンピュータプログラムをさらに提供する。
【0030】
本開示の実施例によって提供される画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラムでは、まず、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得、次に第１特徴マップと第２特徴マップとを融合し、速度フィールドを得、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップと第２特徴マップを得、かつ新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度と異なり、新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度と異なり、最後に、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするためのレジストレーションパラメータを生成する。このように、複数の段階で異なる解像度の特徴マップを融合することにより、異なるスケールの速度フィールドを得ることができるため、異なるスケールの速度フィールドに基づいてレジストレーションパラメータの精度を向上させることができ、さらにレジストレーションの精度を向上させることに役立つ。また、複数の段階で異なるスケールの速度フィールドがそれぞれ得られるため、第１画像を第２画像に順方向にレジストレーションするためのレジストレーションパラメータを得ることに役立つことができ、第２画像を第１画像に逆方向にレジストレーションするためのレジストレーションパラメータを得ることに役立つこともでき、さらに微分同相写像を満たすことに役立つことができる。
【0031】
本開示の実施例の上記目的、特徴と利点がより明確かつ理解しやすくなるために、以下に好ましい実施例を特に挙げて、前記添付の図面を参照して次のように詳しく説明する。
【図面の簡単な説明】
【0032】
【図1】本開示による画像レジストレーション方法の一実施例のフローチャートである。
【図2】本開示による画像レジストレーションモデルの一実施例のフレームワーク概略図である。
【図3】本開示による速度フィールドを用いる画像レジストレーションの一実施例の状態概略図である。
【図4】本開示による速度フィールドを用いる画像レジストレーションの別の一実施例の状態概略図である。
【図5】本開示の実施例による画像レジストレーション方法を適用できるシステムのアーキテクチャ概略図である。
【図6】本開示による画像レジストレーション方法の別の実施例のフローチャートである。
【図7】本開示による画像レジストレーション方法の一実施例の状態概略図である。
【図8】本開示によるドメイン注意力ブロックの一実施例のフレームワーク概略図。
【図9】本開示による画像レジストレーションモデルの訓練方法の一実施例のフローチャートである。
【図10】本開示による画像レジストレーション装置１００の一実施例のフレームワーク概略図である。
【図11】本開示による電子デバイス１１０の一実施例のフレームワーク概略図である。
【図12】本開示によるコンピュータ可読記憶媒体１２０の一実施例のフレームワーク概略図である。
【発明を実施するための形態】
【0033】
本開示の実施例における技術案をより明確に説明するために、以下に実施例に必要な図面を簡単に説明するが、ここでの図面は、明細書に組み込まれて明細書の一部を構成し、これらの図面は、本開示に合致する実施例を示し、本明細書とともに本開示の実施例の技術案を説明するために用いられる。以下の図面が本開示の幾つかの実施例のみを示すため、範囲を限定するためのものと見なすべきではなく、当業者にとって、創造的な労働をすることなく、これらの図面に基づいて他の関連する図面を取得することができることを理解すべきである。
【0034】
以下に本明細書の添付の図面と併せて、本開示の実施例の案を詳細に説明する。
【0035】
以下の説明では、限定ではなく説明のために、特定のシステム構造、インターフェース、技術などの具体的な詳細は、本開示を完全に理解するために提案される。
【0036】
本明細書で用語「システム」及び「ネットワーク」は、本明細書で常に交換可能に用いられる。本明細書では「及び／又は」という用語は、関連付けられたオブジェクトの関連関係を説明するためのものだけであり、３種類の関係が存在できることを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在すること、Ａ及びＢが同時に存在すること、Ｂが単独で存在することの３つの状況を示すことができる。また、本明細書では文字「／」は、一般的に前後にある関連オブジェクトが「又は」の関係であることを示す。また、本明細書での「複数」とは、２つ又は２つ以上を意味している。本開示の実施例における複数又は複数種類は、少なくとも２つ又は少なくとも２種類をそれぞれ指す。
【0037】
【0038】
Ｓ１１において、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得る。
【0039】
本開示の幾つかの実施例では、第１画像と第２画像は、異なる条件下での同じ対象の画像である。第１画像及び第２画像の両方が医用画像であることを例とすると、第１画像と第２画像は、異なる種類の医用デバイスが同じ対象（例えば、同じ患者の腹部、胸部など）をスキャンすることによって得られたものであってもよい。例えば、第１画像と第２画像は、それぞれ患者の腹部をスキャンすることによって得られたコンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像、核磁気共鳴（ＭＲ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ）画像であり、又は、第１画像と第２画像は、同じ医用デバイスによって異なるスキャン時間でスキャンされたものであってもよい。本開示の幾つかの実施例では、スキャン時間は、１回のスキャンプロセスにおける異なる造影時間長に対応することができる。例えば、第１画像と第２画像は、それぞれ患者の肝部に対してＣＴ又はＭＲスキャンを行うことによって得られたプレーンスキャン画像、動脈相画像、門脈相画像、遅延相画像のいずれか２つであり、また、スキャン時間は、異なる回のスキャンに対応することもできる。例えば、第１画像は、１月にスキャンされたものであるが、第２画像は、２月にスキャンされたものである。第１画像と第２画像が医用画像以外の他のタイプの画像である場合、このように類推し、ここでは例を１つずつ挙げない。
【0040】
本開示の幾つかの実施例では、第１画像と第２画像に対して特徴抽出をそれぞれ行い、第１画像の複数のチャネル特徴マップ、第２画像の複数のチャネル特徴マップを得ることができる。本開示の幾つかの実施例では、第１画像の複数のチャネル特徴マップには、通常、第１画像のスタイルを反映できる、少なくとも１つの強く表現される（又は弱く表現される）チャネル特徴マップが存在し、同様に、第２画像の複数のチャネル特徴マップには、通常、第２画像のスタイルを反映できる、少なくとも１つの強く表現される（又は弱く表現される）チャネル特徴マップも存在する。依然として医用画像を例とすると、例えば、第１画像は、ＣＴ画像であり、ＣＴ画像には、ＣＴ画像のグレースケール特徴を反映できる、少なくとも１つの強く表現されるチャネル特徴マップが存在し、又は、ＣＴ画像には、ＣＴ画像のテクスチャ特徴を反映できる、少なくとも１つの弱く表現されるチャネル特徴マップが存在する。又は、第２画像は、ＭＲ画像であり、ＭＲ画像には、ＭＲ画像のテクスチャ特徴を反映できる、少なくとも１つの強く表現されるチャネル特徴マップが存在し、又は、ＭＲ画像には、ＭＲ画像のグレースケール特徴を反映できる、少なくとも１つの弱く表現されるチャネル特徴マップが存在し、他の状況については、このように類推することができ、ここでは例を１つずつ挙げない。この場合、各チャネル特徴マップの複数のチャネル特徴マップにおける重要度によってチャネル特徴マップに対応する注意力重みを得、当該注意力重みによって対応するチャネル特徴マップを重み付けし、第１画像の第１特徴マップ、及び第２画像の第２特徴マップを得ることができる。本開示の幾つかの実施例では、強く表現されるチャネル特徴マップに小さい注意力重みを与え、又は、弱く表現されるチャネル特徴マップに大きな注意力重みを与え、又は、同時に、強く表現されるチャネル特徴マップに小さい注意力重みを与え、弱く表現されるチャネル特徴マップに大きな注意力重みを与えることができ、これにより、第１特徴マップと第２特徴マップは、類似している。例えば、第１画像がＣＴ画像であり、かつその中のｎ１つのチャネル特徴マップがＣＴ画像のテクスチャ特徴を反映し、残りのｎ２つのチャネル特徴マップがＣＴ画像のグレースケール特徴を反映する場合、上記のｎ１つのチャネル特徴マップに大きな注意力重みを与え、上記のｎ２つのチャネル特徴マップに小さい注意力重みを与えることができ、これにより、ＣＴ画像のグレースケール特徴を弱化し、ＣＴ画像のテクスチャ特徴を強化することができ、第２画像がＭＲ画像でる場合、その中のｍ１つのチャネル特徴マップがＭＲ画像のテクスチャ特徴を反映し、残りのｍ２つのチャネル特徴マップがＭＲ画像のグレースケール特徴を反映する場合、上記ｍ１つのチャネル特徴マップに小さい注意力重みを与え、上記のｍ２つのチャネル特徴マップに大きな注意力重みを与えることができ、これにより、ＭＲ画像のテクスチャ特徴を弱化し、ＭＲ画像のグレースケール特徴を強化することができ、さらに異なるモダリティのＣＴ画像とＭＲ画像の最終的な符号化によって得られた第１特徴マップと第２特徴マップを類似させることができ、さらにマルチモダリティ画像のレジストレーションを満たし、適用範囲を広げることに役立つことができる。また、第１画像と第２画像が他の画像である場合、このように類推することができ、ここでは例を１つずつ挙げない。
【0041】
本開示の幾つかの実施例では、画像レジストレーション効率を向上させるために、画像レジストレーションモデルを予め訓練することができ、かつ当該画像レジストレーションモデルは、符号化のための第１符号化サブネットワーク及び第２符号化サブネットワークを含み、その結果、第１符号化サブネットワークを用いて第１画像を符号化し、第１特徴マップを得、第２符号化サブネットワークを用いて第２画像を符号化し、第２特徴マップを得ることができる。画像レジストレーションモデルの訓練プロセスについては、本開示の画像レジストレーションモデルの訓練方法の実施例におけるステップを参照することができる。
【0042】
本開示の幾つかの実施例では、図２を参照すると、図２が本開示による画像レジストレーションモデルの一実施例のフレームワーク概略図であり、図２に示すように、第１符号化サブネットワークは、少なくとも１つの順次接続された特徴抽出層を含むことができ、各特徴抽出層は、それに応じて異なる解像度の特徴マップを抽出することができ、最後の特徴抽出層によって抽出された特徴マップは、第１画像の第１特徴マップとして用いられ、同様に、第２符号化サブネットワークは、少なくとも１つの順次接続された特徴抽出層を含むこともでき、各特徴抽出層は、それに応じて異なる解像度の特徴マップを抽出することができ、最後の特徴抽出層によって抽出された特徴マップは、第２特徴マップとして用いられる。本開示の幾つかの実施例では、特徴抽出層は、少なくとも畳み込み層を含むことができる。
【0043】
本開示の幾つかの実施例では、第１符号化サブネットワーク及び第２符号化サブネットワークを異なるモダリティの画像に適用可能にするために、第１符号化サブネットワークにおける隣接する特徴抽出層間には第１ドメイン注意力ブロックが設けられ、かつ第２符号化サブネットワークにおける隣接する特徴抽出層間には第２ドメイン注意力ブロックが設けられ、第１ドメイン注意力ブロックと第２ドメイン注意力ブロックの両方は、第１特徴マップと第２特徴マップを類似させるように、特徴抽出層によって抽出された特徴マップへのドメイン変換に用いられる。
【0044】
本開示の幾つかの実施例では、本開示の実施例のステップＳ１１の前に、まず第１画像と第２画像を線形レジストレーションすることもできる。線形レジストレーションは、剛体レジストレーション、アフィンレジストレーションを含むが、ここでは限定されない。この後、線形レジストレーション後の第１画像と第２画像を用い、本開示の実施例におけるステップを実行する。上記方式により、レジストレーションの精度を向上させることができる。本開示の幾つかの実施例では、第１画像の対象と第２画像の対象のそれぞれの相対位置が異なる場合（例えば、同じ対象の胸部をＣＴスキャンする時に、当該対象は、スキャン中に移動する可能性がある）、線形レジストレーションを先に実行することにより、レジストレーションの精度を大幅に向上させることができる。
【0045】
ステップＳ１２において、第１特徴マップと第２特徴マップとを融合し、速度フィールドを得る。
【0046】
本開示の実施例では、速度フィールドは、各時点、各点上の速度ベクトルからなる物理フィールドであってもよい。本開示の幾つかの実施例では、線形補間を例とすると、速度フィールドの各要素は、第１画像の当該要素に対応する少なくとも１つの画素点の中心画素点の変形時の速度ベクトルを表し、他の画素点の変形時の速度ベクトルは、補間によって計算されてもよく、他の画素点の速度ベクトルを計算する場合、当該画素点に最も近い幾つかの中心画素点の速度ベクトルを取得し、各中心画素点の速度ベクトルに対応する重みを取得し、それによって取得された重みを用いて対応する中心画素点の速度ベクトルを重み付けし、当該画素点の速度ベクトルを得ることができる。
【0047】
本開示の幾つかの実施例では、中心画素点の速度ベクトルに対応する重みは、当該画素点から対応する中心画素点までの距離に反比例し、即ち距離が小さいほど重みが大きくなり、距離が大きいほど重みが小さくなる。例えば、第１画像が解像度４８０＊４８０の画像であり、速度フィールドが４８＊４８の物理フィールドである場合、当該速度フィールドの各要素は、第１画像の１０＊１０領域の中心画素点の変形時の速度ベクトルに対応し、他の画素点の変形時の速度ベクトルは、上記補間によって計算されてもよく、又は、第１画像が解像度７２０＊７２０＊７２０の画像であり、速度フィールドが７２＊７２＊７２の物理フィールドである場合、当該速度フィールドの各要素は、第１画像の１０＊１０＊１０領域の中心画素点の変形時の速度ベクトルに対応し、他の画素点の変形時の速度ベクトルは、上記補間によって計算されてもよい。他の状況については、このように類推することができ、ここでは例を１つずつ挙げない。
【0048】
本開示の幾つかの実施例では、第１特徴マップと第２特徴マップをスプライシングし、スプライシング特徴マップを得、スプライシング特徴マップに対して特徴抽出を行い、速度フィールドを得ることができる。本開示の幾つかの実施例では、第１特徴マップと第２特徴マップをチャネル次元でスプライシングし、それによってチャネル数が倍になりかつ解像度が変わらないスプライシング特徴マップを得ることができる。例えば、第１特徴マップと第２特徴マップの両方は、解像度がＷ＊Ｈでありかつチャネル数がＣである特徴マップであり、第１特徴マップと第２特徴マップをスプライシングすることにより、チャネル数が２Ｃであり、かつ解像度が依然としてＷ＊Ｈである特徴マップを得ることができる。また、スプライシング特徴マップに対して特徴抽出を行うことにより、スプライシング特徴マップのチャネル数を半分にすることができる。上記方式では、第１特徴マップと第２特徴マップをスプライシングし、スプライシング特徴マップを得、スプライシング特徴マップに対して特徴抽出を行い、速度フィールドを得ることにより、速度フィールドの取得プロセスを簡略化し、速度フィールドの取得効率を向上させることに役立つことができる。
【0049】
本開示の幾つかの実施例では、レジストレーション効率を向上させるために、画像レジストレーションモデルを予め訓練することができ、かつ当該画像レジストレーションモデルが速度フィールドサブネットワークを含むため、画像レジストレーションモデルの速度フィールドサブネットワークを用いて第１特徴マップと第２特徴マップとを融合し、速度フィールドを得ることができる。本開示の幾つかの実施例では、速度フィールドサブネットワークは、順次接続されたスプライシング処理層及び特徴抽出層を含むことができ、スプライシング処理層は、第１特徴マップと第２特徴マップとをスプライシングし、スプライシング特徴マップを得るために用いられ、特徴抽出層は、スプライシング特徴マップに対して特徴抽出を行い、速度フィールドを得るために用いられる。また、特徴抽出層は、少なくとも畳み込み層を含むことができる。
【0050】
ステップＳ１３において、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得る。
【0051】
本開示の実施例では、新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、かつ新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なる。例えば、新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度よりも大きくてもよく、かつ新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度よりも大きくてもよい。
【0052】
本開示の幾つかの実施例では、レジストレーション効率を向上させるために、画像レジストレーションモデルを予め訓練することができ、かつ当該画像レジストレーションモデルは、第１特徴マップを復号するための第１復号サブネットワークを含み、また、当該画像レジストレーションモデルは、第２特徴画像を復号するための第２復号サブネットワークをさらに含み、これにより、画像レジストレーションモデルの第１復号サブネットワークを用いて第１特徴マップを復号し、新しい第１特徴マップを得、画像レジストレーションモデルの第２復号サブネットワークを用いて第２特徴マップを復号し、新しい第２特徴マップを得ることができる。本開示の幾つかの実施例では、第１復号サブネットワークは、少なくとも１つの順次接続された復号処理層を含むことができる。復号処理層は、デコンボリューション層、アップサンプリング層のいずれか１つを含むことができるが、ここでは限定されない。
【0053】
ステップＳ１４において、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得る。
【0054】
本開示の幾つかの実施例では、今回の得られた速度フィールドは、新しい第１特徴マップと新しい第２特徴マップに基づいて得られたものであり、新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なり、したがって、今回の得られた速度フィールドは、前回の得られた速度フィールドと異なる。本開示の幾つかの実施例では、毎回復号した後、特徴マップの解像度が高くなり、その結果、速度フィールドのサイズも大きくなり、即ち、特徴マップの解像度が高くなるプロセスにおいて、スケールが大きくなる速度フィールドを得ることができる。
【0055】
本開示の幾つかの実施例では、得られた速度フィールドを変換し、変位フィールドを得、変位フィールドを用いて新しい第１特徴マップを変化させ、変形特徴マップを得ることができ、これにより、変形特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得ることができる。上記方式では、得られた速度フィールドによって変位フィールドを得、変位フィールドによって変形されて得られた変形特徴マップと新しい第２特徴マップとの再度融合により、速度フィールドを得ることができるため、得られた速度フィールドに基づいて速度フィールドを再度得ることに役立つことができ、さらに「複数の段階」で速度フィールドを最適化することに役立つことができ、速度の精度を向上させることに役立つことができる。
【0056】
本開示の幾つかの実施例では、変形特徴マップと新しい第２特徴マップとをスプライシングし、それに応じてスプライシング特徴マップを得、当該スプライシング特徴マップに対して特徴抽出を行い、それによって速度フィールドを得ることができる。本開示の幾つかの実施例では、変形特徴マップと新しい第２特徴マップを融合する実施形態については、第１特徴マップと第２特徴マップの上記融合の説明を参照することができる。
【0057】
本開示の幾つかの実施例では、得られた速度フィールドをそれぞれ変換し、速度フィールドに対応する変位フィールドを得、さらに得られた速度フィールドに対応する変位フィールドを融合し（例えば、チャネル次元で積み重ね）、新しい第１特徴マップを変形するための変位フィールドを得ることができる。本開示の幾つかの実施例では、差動方式に基づいて、速度フィールドを予め設定された回数反復し、速度フィールドに対応する変位フィールドを得ることができる。予め設定された回数は、少なくとも１回であり、例えば、１回、２回、３回又は４回などであり、ここでは限定されない。説明を容易にするために、速度フィールドは、
に記されてもよく、速度フィールド
に対応する変位フィールドは、
に記されてもよく、速度フィールドと変位フィールドの間は常微分方程式で式（１）に表されてもよい。
式（１）
【0058】
上記式（１）では、ｔが時間を表すため、最小時間単位は、
に記されてもよく、速度フィールド
の最小時間単位に対応する変位
を得ることができ、説明を容易にするために、ｎ個の最小時間単位の変位は、
に記され、
、これにより、変位の複合規則に従って、
を得ることができ、ここで、
は、前者の変換を後者に適用することを示し、さらにｎ回反復すると速度フィールド
に対応する変位フィールド
を得ることができる。例えば、速度フィールド
は、１２８（即ち２の７乗）個の最小時間単位に対応するため、７回反復する必要がある。他の状況については、このように類推することができ、ここでは例を１つずつ挙げない。
【0059】
また、得られた速度フィールドをスケーリング正規化し、スケール正規化後に得られた速度フィールドを次式（２）で変換して変位フィールドを得ることができる。
式（２）
【0060】
上記式（２）で、
、
は、スケール正規化後に得られる速度フィールドを表し、
は、速度フィールドを変位フィールドに変換するための変換関数を表し、上記の説明を参照することができる。
【0061】
本開示の幾つかの実施例では、図２を参照すると、画像レジストレーションモデルは、得られた速度フィールドを変換し、変位フィールドを得、変位フィールドを用いて新しい第１特徴マップを用いて変形し、変形マップを得るための変形層をさらに含むことができる。変形層の実行内容については上記の説明を参照することができる。
【0062】
本開示の幾つかの実施例では、速度フィールドを再度得た後、予め設定された条件を満たすか否かを検出することができ、予め設定された条件を満たす場合、新たに得られた第１特徴マップと第２特徴マップに基づいて、上記ステップＳ１３及び後のステップを再実行することができ、かつ新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きい。上記方式により、特徴マップの解像度が高くなるプロセスにおいて、スケールが多くなる速度フィールドを得ることに役立つことができ、それによって「粗放から精細まで」の複数の段階のレジストレーションを実現することに役立つことができ、さらにレジストレーション精度を向上させることに役立つことができる。
【0063】
図２を引き続き参照すると、第１段階で、第１符号化サブネットワークを用いて第１画像０１を符号化することにより、第１特徴マップ０１＿１を得ることができ、第２符号化サブネットワークを用いて第２画像０２を符号化することにより、第２特徴マップ０２＿１を得ることができ、速度フィールドサブネットワーク１を用いて第１特徴マップ０１＿１と第２特徴マップ０２＿１とを融合することにより、速度フィールド
を取得することができる。第２段階で、復号処理層１１を用いて第１特徴マップ０１＿１を復号して新しい第１特徴マップ０１＿２を得、復号処理層２１を用いて第２特徴マップ０２＿１を復号して新しい第２特徴マップ０２＿２を得、変形層１を用いて速度フィールド
を変換して変位フィールド
を得、変位フィールド
を用いて新しい第１特徴マップ０１＿２を変形し、変形特徴マップ０１＿２’を得、速度フィールドサブネットワーク２を用いて変形特徴マップ０１＿２’と新しい第２特徴マップ０２＿２とを融合することにより、速度フィールド
を得ることができ、このとき、新たに得られた第１特徴マップは、第１特徴マップ０１＿２であり、新たに得られた第２特徴マップは、第２特徴マップ０２＿２である。第３段階で、復号処理層１２を用いて第１特徴マップ０１＿２を復号し、新しい第１特徴マップ０１＿３を得、復号処理層２２を用いて第２特徴マップ０２＿２を復号して新しい第２特徴マップ０２＿３を得、変形層２を用いて速度フィールド
を変換して変位フィールド
を得、変位フィールド
を用いて新しい第１特徴マップ０１＿３を変形し、変形特徴マップ０１＿３’を得、速度フィールドサブネットワーク３を用いて変形特徴マップ０１＿３’と新しい第２特徴マップ０２＿３とを融合することにより、速度フィールド
を得る。したがって、上記の３つの段階により、速度フィールド
、
及び
を得ることができる。上記の各段階で、
は、速度フィールドを変位フィールドに変換するための変換関数を表す。また、画像レジストレーションモデルにおける速度フィールドサブネットワークが図２に示す画像レジストレーションモデルよりも多く又は少ない場合、このように類推することができ、ここでは例を１つずつ挙げない。
【0064】
本開示の幾つかの実施例では、各速度フィールドサブネットワークのネットワーク構造は、同じであってもよく、図２を例とすると、速度フィールドサブネットワーク１、速度フィールドサブネットワーク２及び速度フィールドサブネットワーク３は、いずれも１つのスプライシング処理層と１つの畳み込み層を含むことができる。また、各速度フィールドサブネットワークは、ニューラルネットワークの実際の設計状況に応じて、異なるネットワーク構造を有するように設けられてもよく、ここでは限定されない。
【0065】
本開示の幾つかの実施例では、予め設定された条件は、復号実行回数が予め設定された閾値よりも小さく、最後に復号を実行することによって得られた第１特徴マップ又は第２特徴マップの解像度が予め設定された解像度よりも小さいこと、新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きいことのいずれか１つを含む。本開示の幾つかの実施例では、予め設定された条件が、復号実行回数が予め設定された閾値よりも小さいことを含む場合、予め設定された閾値は、少なくとも２回、例えば２回、３回又は４回などに設定されてもよく、ここでは限定されない。
【0066】
本開示の幾つかの実施例では、予め設定された条件が、最後に復号を実行することによって得られた第１特徴マップ又は第２特徴マップの解像度が予め設定された解像度よりも小さいことを含む場合、予め設定された解像度は、第１画像又は第２画像のオリジナル解像度に設定されてもよく、また、予め設定された解像度は、オリジナル解像度よりも小さくてもよく、又はオリジナル解像度よりも大きくてもよいが、ここでは限定されない。
【0067】
本開示の幾つかの実施例では、図２を参照すると、画像レジストレーションモデルの第１復号サブネットワークによって第１特徴マップの復号を実行し、画像レジストレーションモデルの第２復号サブネットワークによって第２特徴マップの復号を実行する場合、予め設定された条件は、第１復号サブネットワークにおける最後の復号処理層が復号を実行すること、又は第２復号サブネットワークにおける最後の復号処理層が復号を実行することのいずれか１つを含むことができる。
【0068】
本開示の幾つかの実施例では、予め設定された条件を満さないことが検出された場合、本開示の実施例における下記のステップＳ１５を実行し、複数回の融合によって得られた速度フィールドに基づいて、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータを生成することができる。
【0069】
ステップＳ１５において、複数回の融合によって得られた速度フィールドに基づいて、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータを生成する。
【0070】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドを変換し、変位フィールドを得ることができるため、当該変位フィールドを、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータとして用いることができる。
【0071】
本開示の幾つかの実施例では、「融合によって得られた速度フィールド」は、特徴マップを融合することによって得られた速度フィールドであってもよく、上記の関連する説明を参照することができる。本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドを変換し、変位フィールドを得ることができ、これに基づいて、この変位フィールドを、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータとして用いることができ、又は、複数回の融合によって得られた速度フィールドから一部の速度フィールドを選択し、選択された速度フィールドを変換し、変位フィールドを得ることもでき、これにより、この変位フィールドを、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータとして用いることができ、実際の適用ニーズに応じて設定することができる。例えば、レジストレーションパラメータの精度が高く要求される場合、複数回の融合によって得られた速度フィールドに基づいて、レジストレーションパラメータを得ることができ、レジストレーションパラメータの精度が低く要求される場合、複数回の融合によって得られた速度フィールドから一部の速度フィールドを選択し、選択された速度フィールドに基づいて、レジストレーションパラメータを得ることができる。
【0072】
図３を参照すると、図３は、本開示による速度フィールドを用いる画像レジストレーションの一実施例の状態概略図である。本開示の幾つかの実施例では、図３は「単一の段階」の画像レジストレーション状態の概略図である。図３に示すように、式
は、速度フィールドＶによって得られた変位フィールドｆ（Ｖ）を用いてオリジナル画像ｘ、即ち３０１（即ち図３の左側に示す同心円画像）を変形し、変形画像（即ち図３の中央に示される変形画像）、即ち３０２を得ることを示し、式
は、速度フィールドＶを反転させて変換して得られた変位フィールドｆ（－Ｖ）を用いて変形画像ｘ（即ち図３の中央に示す変形画像）を変形させても、依然としてオリジナル画像（同心円画像）、即ち３０３を復元して得ることができることを示し、式
は、速度フィールドＶを変換して得られた変位フィールドｆ（Ｖ）を反転させて新しい変位フィールド－ｆ（Ｖ）を得、新しい変位フィールドを用いて変形画像ｘ（即ち画像ｘの中央に示す変形画像）を変形し、オリジナル画像（同心円画像）、即ち３０４を得ることができないことを示す。これにより、「単一の段階」の画像レジストレーションでは、変位フィールドに直接基づく画像レジストレーションは、微分同相写像を満たすことができないが、速度フィールドに基づく画像レジストレーションは、微分同相写像を満たすことができることが分かる。したがって、融合によって得られた速度フィールドは、第１画像を第２画像にレジストレーションするための順方向レジストレーションパラメータだけでなく、第２画像を第１画像にレジストレーションするためのレジストレーションパラメータを得ることができる。
【0073】
図４を引き続き参照すると、図４は速度フィールドを用いて画像レジストレーションを行う別の実施例の状態概略図である。本開示の幾つかの実施例では、図４は「複数の段階」の画像レジストレーション状態の概略図である。図４に示すように、図４の左上隅にある同心円画像がオリジナル画像であり、スケールが大きくなる速度フィールドを用いた後、左上隅にあるオリジナル画像と同じ行の右側の４つの画像をそれぞれ得、上述したように、スケールが小さい速度フィールドにおける各要素が画像の大きな画素領域に対応し、スケールが大きい速度フィールドにおける各要素が画像の小さい画素領域に対応するため、オリジナル画像に小さいスケールの速度フィールドが適用されると、オリジナル画像を全体的に変形させることができ、即ち、変形スケールが「粗放」であり、大きなスケールの速度フィールドが適用されると、オリジナル画像を局所的に変形させることができ、即ち変形スケールが「精細」であり、即ち、これは図４の第１行「順方向」に示す「粗放から精細まで」の変化プロセスであり、逆に、図４の右下隅にある画像に、スケールが小さくなりかつ反転された速度フィールドが適用された後、図４の右下隅にある画像と同じ行の左側の４つの画像を得ることができ、即ち、これは、図４の第３行に「逆方向」に示す変化プロセスである。これに基づいて、同じ列における順方向行及び逆方向行にそれぞれ位置する画像に対して違い分析を行うことにより、図４の第２行の画像を得ることができ、明らかに、図４の中間行における各画像のグレー値は、基本的に変更しないように維持される。したがって、「複数の段階段」の画像レジストレーションでは、速度フィールドに基づく画像レジストレーションは、依然として微分同相写像を満たすことができる。
【0074】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドをスケール正規化することができるため、式（３）を用い、スケール正規化後の複数の融合によって得られた速度フィールドにより、変位フィールドを生成し、この変位フィールドを、第１画像を第２画像にレジストレーションするための順方向レジストレーションパラメータとして用いることができる。
式（３）
【0075】
上記式（３）で、
は、順方向レジストレーションパラメータを表し、
は、スケール正規化後の複数回の融合によって得られる速度フィールドをそれぞれ表し、
は、速度フィールドを変位フィールドに変換するための関数を表し、上記の説明を参照することができる。
【0076】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドをスケール正規化し、反転させることもできるため、式（４）を用い、スケール正規化及び反転後の複数回の融合によって得られた速度フィールドにより、変位フィールドを生成し、この変位フィールドを、ユーザが第２画像を第１画像にレジストレーションするための逆方向レジストレーションパラメータとして用いることができる。
式（４）
【0077】
上記式（４）で、は、
は逆方向レジストレーションパラメータを表し、記号「-」は、反転操作を表す。
【0078】
本開示の幾つかの実施例では、複数回の融合によって得られた速度フィールドの集合を第１画像と第２画像をレジストレーションするためのレジストレーションパラメータとして用いることができるため、第１画像を第２画像にレジストレーションする必要がある場合、上記式（３）により、第１画像を第２画像にレジストレーションするための順方向レジストレーションパラメータを得ることができ、第２画像を第１画像にレジストレーションする必要がある場合、上記式（４）により、第２画像を第１画像にレジストレーションするための逆方向レジストレーションパラメータを得ることができる。
【0079】
本開示の幾つかの実施例では、レジストレーションパラメータが得られた後、レジストレーションパラメータを用いて第１画像を処理し、第１画像のレジストレーション画像を得ることができる。本開示の幾つかの実施例では、上記順方向レジストレーションパラメータが得られた後、順方向レジストレーションパラメータを用いて第１画像を処理し、第１画像のレジストレーション画像を得ることができる。第１画像と第２画像の両方が医用画像であることを例とすると、順方向レジストレーションパラメータにより、異なる種類のデバイスによってスキャンされた画像（ＣＴ画像、ＭＲ画像など）間のレジストレーションを実現し、又は、同じスキャンデバイスの異なるスキャン時間に対応する画像（異なる造影時間に対応するプレーンスキャン画像、動脈相画像、門脈相画像、遅延相画像など）間のレジストレーションを実現することができる。上記方式により、第１画像及び第２画像のすべての画素点のレジストレーションを実現することができ、画像レジストレーションを全体的に実現することに役立つことができる。
【0080】
本開示の幾つかの実施例では、レジストレーションパラメータが得られた後、レジストレーションパラメータを用いて第２画像を処理し、第２画像のレジストレーション画像を得ることができる。本開示の幾つかの実施例、上記逆方向レジストレーションパラメータが得られた後、逆方向レジストレーションパラメータを用いて第２画像を処理し、第２画像のレジストレーション画像を得ることができる。第１画像と第２画像の両方が医用画像であることを例とすると、逆方向レジストレーションパラメータにより、異なる種類のデバイスによってスキャンされた画像（ＣＴ画像、ＭＲ画像など）間のレジストレーションを実現し、又は、同じスキャンデバイスの異なるスキャン時間に対応する画像（異なる造影時間に対応するプレーンスキャン画像、動脈相画像、門脈相画像、遅延相画像など）間のレジストレーションを実現することができる。上記方式により、第１画像及び第２画像のすべての画素点のレジストレーションを実現することができ、画像レジストレーションを全体的に実現することに役立つことができる。
【0081】
本開示の幾つかの実施例では、レジストレーションパラメータが得られた後、レジストレーションパラメータを用いて第１画像の少なくも１つの第１画素点を処理することにより、処理後の少なくとも１つの第１画素点に基づいて、第２画像の少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得ることができる。本開示の幾つかの実施例では、上記順方向レジストレーションパラメータが得られた後、順方向レジストレーションパラメータを用いて第１画像の少なくとも１つの第１画素点を処理することができるため、処理後の少なくとも１つの第１画素点に基づいて、第２画像の少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得ることができる。第１画像と第２画像の両方が医用画像であることを例とすると、順方向レジストレーションパラメータにより、異なる種類のデバイスによってスキャンされた画像（ＣＴ画像、ＭＲ画像など）の画素点間のレジストレーションを実現し、又は、同じスキャンデバイスの異なるスキャン時間に対応する画像（異なる造影時間に対応するプレーンスキャン画像、動脈相画像、門脈相画像、遅延相画像など）の画素点間のレジストレーションを実現することができる。上記方式により、第１画像及び第２画像の少なくとも１つの画素点のレジストレーションを実現することができ、画像レジストレーションを局所的に実現することに役立つことができる。
【0082】
本開示の幾つかの実施例では、レジストレーションパラメータが得られた後、レジストレーションパラメータを用いて第２画像の少なくも１つの第２画素点を処理することもでき、これにより、処理後の少なくとも１つの第２画素点に基づいて、第１画像の少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得ることができる。本開示の幾つかの実施例では、上記逆方向レジストレーションパラメータが得られた後、逆方向レジストレーションパラメータを用いて第２画像の少なくとも１つの第２画素点を処理することができるため、処理後の少なくとも１つの第２画素点に基づいて、第１画像の少なくとも１つの第２画素点にそれぞれ対応する少なくとも１つの第１画素点を得ることができる。第１画像と第２画像の両方が医用画像であることを例とすると、逆方向レジストレーションパラメータにより、異なる種類のデバイスによってスキャンされた画像（ＣＴ画像、ＭＲ画像など）の画素点間のレジストレーションを実現し、又は、同じスキャンデバイスの異なるスキャン時間に対応する画像（異なる造影時間に対応するプレーンスキャン画像、動脈相画像、門脈相画像、遅延相画像）の画素点間のレジストレーションを実現することができる。上記方式により、第１画像及び第２画像の少なくとも１つの画素点のレジストレーションを実現することができ、画像レジストレーションを局所的に実現することに役立つことができる。
【0083】
上記案では、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得、それによって第１特徴マップと第２特徴マップとを融合し、速度フィールドを得、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得、かつ新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度と異なり、新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度と異なり、さらに得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするためのレジストレーションパラメータを生成する。したがって、複数の段階で異なる解像度の特徴マップを融合することにより、異なるスケールの速度フィールドを得ることができるため、異なるスケールの速度フィールドに基づいてレジストレーションパラメータの精度を向上させることができ、さらにレジストレーションの精度を向上させることに役立つ。また、複数の段階で異なるスケールの速度フィールドがそれぞれ得られるため、第１画像を第２画像に順方向にレジストレーションするためのレジストレーションパラメータを得ることに役立つことができ、第２画像を第１画像に逆方向にレジストレーションするためのレジストレーションパラメータを得ることにも役立つことができ、さらに微分同相写像を満たすことに役立つことができる。
【0084】
図５は本開示の実施例による拡張現実シーンにおける表示方法を適用できるシステムのアーキテクチャ概略図である。図５に示すように、当該システムアーキテクチャには、画像取得端末５０１、ネットワーク５０２及び画像レジストレーション端末５０３が含まれる。１つの例示的なアプリケーションへのサポートを実現するために、画像取得端末５０１と画像レジストレーション端末５０３は、ネットワーク５０２を介して通信接続を確立し、画像取得端末５０１は、ネットワーク５０２を介して画像レジストレーション端末５０３に第１画像と第２画像を報告し、画像レジストレーション端末５０３は、まず、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得、次に第１特徴マップと第２特徴マップとを融合し、速度フィールドを得、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得、かつ新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度と異なり、新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度と異なり、最後に、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするためのレジストレーションパラメータを生成する。同時に、画像レジストレーション端末５０３は、レジストレーションパラメータをネットワーク５０２にアップロードし、ネットワーク５０２を介して画像取得端末５０１に送信する。
【0085】
例として、画像取得端末５０１は、画像収集デバイスを含むことができ、画像レジストレーション端末５０３は、視覚情報処理機能を備えた視覚処理デバイス又はリモートサーバーを含むことができる。ネットワーク５０２は、有線又は無線接続方式を採用することができる。ここで、画像レジストレーション端末５０３が視覚処理デバイスである場合、画像取得端末５０１は、有線接続により視覚処理デバイスと通信接続し、例えば、バスを介してデータ通信を行うことができ、画像レジストレーション端末５０３がリモートサーバーである場合、画像取得端末５０１は、無線ネットワークを介してリモートサーバーとのデータインタラクションを行うことができる。
【0086】
又は、幾つかのシーンでは、画像取得端末５０１は、ビデオ収集モジュールを備えた視覚処理デバイスであってもよく、カメラを備えたホストであってもよい。この場合、本開示の実施例の画像レジストレーション方法は、画像取得端末５０１によって実行されてもよく、上記システムアーキテクチャには、ネットワーク５０２と画像レジストレーション端末５０３とが含まれなくてもよい。
【0087】
【0088】
ステップＳ６１において、レジストレーション待ちの複数の画像を取得し、複数の画像のうちの１つの画像を第１画像として用い、残りの少なくとも１つの画像をそれぞれ第２画像として用いる。
【0089】
本開示の幾つかの実施例では、複数の画像は、いずれも医用画像であり、かつ複数の画像は、複数の画像が異なる種類の医用デバイスによってスキャンされたものであること、複数の画像が同じ医用デバイスによって異なるスキャン時間でスキャンされたものであることのいずれか１つを満たす。上記の開示の実施例における関連する説明を参照することができる。
【0090】
図７を参照すると、図７は本開示による画像レジストレーション方法の一実施例の状態概略図である。図７に示すように、複数の画像は、画像Ａ、画像Ｂ、画像Ｃ、画像Ｄを含み、画像Ａを第１画像として用い、画像Ｂ、画像Ｃ、画像Ｄを第２画像として用いることができる。例えば、画像Ａは、門脈相画像であり、画像Ｂは、プレーンスキャン画像であり、画像Ｃは、動脈相画像であり、画像Ｄは、遅延相画像であり、門脈相画像を第１画像として用い、プレーンスキャン画像、動脈相画像、遅延相画像を第２画像として用いることができる。他の状況については、このように類推することができ、ここでは例を１つずつ挙げない。
【0091】
ステップＳ６２において、画像に対して特徴抽出を行い、複数のチャネル特徴マップを得る。
【0092】
本開示の実施例では、画像が第１画像である場合、複数のチャネル特徴マップは、第１画像に対応するチャネル特徴マップであり、画像が第２画像である場合、複数のチャネル特徴マップは、第２画像に対応するチャネル特徴マップである。本開示の幾つかの実施例では、第１画像に対して特徴抽出を行い、第１画像の複数のチャネル特徴マップを得、第２画像に対して特徴抽出を行い、第２画像の複数のチャネル特徴マップを得ることができる。また、チャネル特徴マップを抽出する実施形態については、上記の開示の実施例における関連する説明を参照することができる。
【0093】
ステップＳ６３において、各チャネル特徴マップの複数のチャネル特徴マップにおける重要度に基づいて、チャネル特徴マップに対応する注意力重みを得る。
【0094】
本開示の幾つかの実施例では、図２を参照すると、上記の開示の実施例に記載されるように、第１符号化サブネットワークにおける隣接する特徴抽出層の間には第１ドメイン注意力ブロックも設けられてもよく、かつ第２符号化サブネットワークにおける隣接する特徴抽出層の間には第２ドメイン注意力ブロックが設けられてもよく、第１画像の複数のチャネル特徴マップの注意力重みは、第１ドメイン注意力ブロックによって得られてもよく、第２画像の複数のチャネル特徴マップの注意力重みは、第２ドメイン注意力ブロックによって得られてもよい。第１ドメイン注意力ブロックと第２ドメイン注意力ブロックは、同じネットワーク構造を有することができ、説明を容易にするために、本開示の実施例は、第１ドメイン注意力ブロックと第２ドメイン注意力ブロックは、ドメイン注意力ブロックとして総称される。
【0095】
本開示の幾つかの実施例では、図８を参照すると、図８は本開示によるドメイン注意力ブロックの一実施例のフレームワーク概略図である。図８に示すように、ドメイン注意力ブロックは、ドメイン適応モジュールと複数のチャネル注意力モジュールを含み、各チャネル注意力モジュールは、チャネル特徴マップ全体のチャネル注意力表現をそれぞれ取得し、ドメイン適応モジュールは、これらの注意力表現を重み付けし、各チャネル特徴マップの注意力重みを得るために用いられる。チャネル特徴マップのチャネル数がＣであり、解像度がＨ＊Ｗであることを例とすると、チャネル注意力モジュールがｋ個である場合、各チャネル注意力モジュールは、Ｃ＊Ｈ＊Ｗのチャネル特徴マップを処理し、Ｃ＊１のチャネル注意表現を得ることができるため、１番目のチャネル注意力表現、２番目のチャネル注意力表現、……、ｋ番目のチャネル注意力表現をそれぞれ得ることができ、ドメイン適応モジュールは、Ｃ＊Ｈ＊Ｗのチャネル特徴マップを処理し、ｋ＊１の重み組み合わせを得ることがきるため、さらに各チャネル注意力モジュールによって出力されたＣ＊１のチャネル注意力表現をスプライシングし、Ｃ＊ｋのチャネル注意力表現を得ることができ、スプライシングされたＣ＊ｋのチャネル注意力表現とｋ＊１の重み組み合わせをドット積演算（即ち図８における
演算）すると、Ｃ＊１のチャネル注意力重み、即ちＣ個のチャネル特徴マップのそれぞれの注意重みを得ることができる。本開示の幾つかの実施例では、ドメイン適応モジュールは、順次接続されたグローバル平均プーリング（ＧＡＰ：Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）層、完全接続（ＦＣ：Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）層及びｓｏｆｔｍａｘを含むことができる。また、チャネル注意力モジュールは、ＳＥ（Ｓｅｑｕｅｚｅ ａｎｄ Ｅｘｃｉｔａｔｉｏｎ）ｂｌｏｃｋであってもよい。上記の開示の実施例に記載されるように、ＣＴ画像、ＭＲ画像などの異なるモダリティ画像の特徴は、異なることが多く、例えば、ＣＴ画像には、グレースケール特徴（骨及び軟組織の境界など）が明らかであり、テクスチャ特徴（軟組織内の微細構造など）が弱いことが多く、ＭＲ画像には、グレースケール特徴が弱くかつテクスチャ特徴が明らかであることが多く、ＣＴ画像でもＭＲ画像でも、特徴抽出層により複数のチャネル特徴マップを抽出することができ、ドメイン注意力ブロックは、複数のチャネル注意力モデルにより適応チャネル注意力表現（即ちチャネル特徴マップ全体のチャネル注意力表現）を得、ドメイン適応モジュールにより、チャネル注意力表現に従って異なるチャネル特徴マップに異なる重みを与え、これにより、異なるモダリティの画像間の特徴の違いをできるだけ弱めることができ、さらに画像レジストレーションモデルのクロスドメイン適応性を向上させることができ、これは、同じ画像レジストレーションモデルでの異なるモダリティの画像のレジストレーションを実現することに役立つ。
【0096】
ステップＳ６４において、各チャネル特徴マップの注意力重みをそれぞれ用いて対応するチャネル特徴マップを重み付けし、画像の特徴マップを得る。
【0097】
本開示の実施例では、各チャネル特徴マップの注意力重みを用いて対応するチャネル特徴マップを重み付けすることにより、画像の特徴マップを得ることができる。本開示の幾つかの実施例では、画像が第１画像である場合、画像の特徴マップは、第１特徴マップであり、画像が第２画像である場合、画像の特徴マップは、第２特徴マップである。
【0098】
本開示の幾つかの実施例では、下記ステップＳ６５を実行する前に、予め設定された条件を満たすか否かを検出することができ、予め設定された条件は、ステップＳ６２で説明された特徴抽出の実行回数が予め設定された閾値よりも小さく、最後にステップＳ６２の特徴抽出を実行することによって得られたチャネル特徴マップの解像度が予め設定された解像度よりも大きいことを含むことができ、この場合、重み付け処理により得られた画像を、ステップＳ６２で説明される特徴処理のための入力画像として用い、ステップＳ６２及び後のステップを再実行することができる。本開示の幾つかの実施例では、複数回の符号化により、第１特徴マップと第２特徴マップの類似度を向上させることができる。本開示の幾つかの実施例では、予め設定された値は、少なくとも１回、例えば１回、２回、３回などに設定されてもよく、ここでは限定されず、予め設定された解像度は、実際の適用ニーズに応じて設定されてもよく、例えば、第１画像又は第２画像のオリジナル解像度の半分、３分の１などに設定されてもよく、ここでは限定されない。
【0099】
本開示の幾つかの実施例では、図２を参照すると、画像レジストレーションモデルの第１符号化サブネットワークにおける特徴抽出層によって特徴抽出操作を実行し、画像レジストレーションモデルの第２符号化サブネットワークにおける特徴抽出層によって特徴抽出操作を実行する場合、予め設定された条件は、第１符号化サブネットワークにおける最後の特徴抽出層が特徴抽出を実行すること、第２符号化サブネットワークの最後の特徴抽出層が特徴抽出を実行することのいずれか１つを含むことができる。
【0100】
ステップＳ６５において、第１特徴マップと第２特徴マップとを融合し、速度フィールドを得る。
【0101】
本開示の幾つかの実施例では、第１特徴マップと第２特徴マップとを融合して速度フィールドを得る実施形態については、上記の開示の実施例における関連するステップを参照することができる。
【0102】
ステップＳ６６において、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得る。
【0103】
本開示の実施例では、新しい第１特徴マップの解像度は、今回の復号前の第１特徴マップの解像度と異なり、かつ新しい第２特徴マップの解像度は、今回の復号前の第２特徴マップの解像度と異なる。
【0104】
ステップＳ６７において、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得る。
【0105】
ステップＳ６８において、複数回の融合によって得られた速度フィールドに基づいて、第１画像及び第２画像をレジストレーションするためのレジストレーションパラメータを生成する。
【0106】
本開示の幾つかの実施例では、ステップＳ６２からステップＳ６４に基づいて、第１画像の第１特徴マップと第２画像の第２特徴マップを類似させることができるため、マルチモダリティ画像間のレジストレーションに適用することができ、同時に、速度フィールドに基づくレジストレーションは、微分同相写像を満たすことができる。したがって、本開示の実施例におけるステップにより、マルチモダリティ画像間のレジストレーションに適用可能であるだけでなく、レジストレーション回数を減らすこともでき、図７を参照すると、画像Ａ、画像Ｂ、画像Ｃ、画像Ｄの場合、いずれか２つの画像間でレジストレーションを１回実行する必要があり、これら４つの画像に必要な画像レジストレーションモデルが１つだけでよく、即ち、ｎ個の画像の場合、１つの画像レジストレーションモデルを訓練するだけでよく、合計ｎ－１回のレジストレーションを実行するだけでよく、「マルチモダリティ」に適用できず、かつ「微分同相写像」が満たされない場合、画像Ａ、画像Ｂ、画像Ｃ及び画像Ｄの場合、任意の２つの画像間で２回のレジストレーションを実行する必要があり、又は、その中の１つの画像を別の画像にレジストレーションするための順方向レジストレーションパラメータ及び逆方向レジストレーションパラメータを得るために、２つのレジストレーションモデルが必要であり、即ち、ｎ個の画像の場合、ｎ（ｎ－１）回のレジストレーションを実行する必要があり、又はｎ（ｎ－１）個の画像レジストレーションモデルを訓練する必要がある。
【0107】
上記実施例とは異なり、上記方式により画像符号化を行う前に、まずレジストレーション待ちの複数の画像を取得し、次に複数の画像のうちの１つの画像を第１画像として用い、残りの少なくとも１つの画像をそれぞれ第２画像として用いる。したがって、「微分同相写像」を満たすことに基づいて、１回のレジストレーションプロセスを実行するだけで、２つの画像の順方向レジストレーション及び逆方向レジストレーションを実現することができるため、レジストレーション回数を減らすことに役立つことができ、「マルチモダリティレジストレーション」を満たすことに基づいて、少ない回数だけでマルチモダリティ画像のレジストレーションを実現することができる。
【0108】
【0109】
ステップＳ９１において、画像レジストレーションモデルの第１符号化サブネットワークを用いて第１サンプル画像を符号化し、第１サンプル特徴マップを得、画像レジストレーションモデルの第２符号化サブネットワークを用いて第２サンプル画像を符号化し、第２サンプル特徴マップを得る。
【0110】
ステップＳ９２において、画像レジストレーションモデルの速度フィールドサブネットワークを用いて第１サンプル特徴マップと第２サンプル特徴マップとを融合し、サンプル速度フィールドを得る。
【0111】
ステップＳ９３において、画像レジストレーションモデルの第１復号サブネットワークを用いて第１サンプル特徴マップを復号し、新しい第１サプル特徴マップを得、画像レジストレーションモデルの第２復号サブネットワークを用いて第２サンプル特徴マップを復号し、新しい第２サンプル特徴マップを得る。
【0112】
本開示の実施例では、新しい第１サンプル特徴マップの解像度は、今回の復号前の第１サンプル特徴マップの解像度と異なり、かつ新しい第２サンプル特徴マップの解像度は、今回の復号前の第２サンプル特徴マップの解像度と異なる。
【0113】
ステップＳ９４において、画像レジストレーションモデルの速度フィールドサブネットワークに基づいて、得られたサンプル速度フィールドを用いて、新しい第１サンプル特徴マップと新しい第２サンプル特徴マップとを融合し、サンプル速度フィールドを再度得る。
【0114】
ステップＳ９５において、複数回の融合によって得られたサンプル速度フィールドに基づいて、第１サンプル画像及び第２サンプル画像をレジストレーションするためのサンプルレジストレーションパラメータを得る。
【0115】
上記の開示の実施例に記載されるように、複数回の融合によって得られたサンプル速度フィールドに基づいて、第１サンプル画像を第２サンプル画像にレジストレーションするための順方向サンプルレジストレーションパラメータを得ることができる。また、本開示の幾つかの実施例では、複数回の融合によって得られたサンプル速度フィールドに基づいて、第２サンプル画像を第１サンプル画像にレジストレーションするための逆方向サンプルレジストレーションパラメータを得ることができ、ここでは限定されない。
【0116】
ステップＳ９６において、サンプルレジストレーションパラメータを用いて第１サンプル画像を処理し、第１サンプル画像のサンプルレジストレーション画像を得る。
【0117】
本開示の実施例では、サンプルレジストレーションパラメータは、順方向サンプルレジストレーションパラメータであってもよく、この場合、順方向サンプルレジストレーションパラメータを用いて第１サンプル画像を処理し、第１サンプル画像のサンプルレジストレーション画像を得ることができる。また、サンプルレジストレーションパラメータが逆方向サンプルレジストレーションパラメータである場合、逆方向サンプルレジストレーションパラメータを用いて第２画像を処理し、第２サンプル画像のサンプルレジストレーション画像を得ることができ、ここでは限定しない。
【0118】
ステップＳ９７において、第２サンプル画像とサンプルレジストレーション画像との違いに基づいて、画像レジストレーションモデルのネットワークパラメータを調整する。
【0119】
上記ステップＳ９１からステップＳ９７の実施の詳細については、上記の本開示の実施例における関連するステップを参照することができる。
【0120】
本開示の幾つかの実施例では、第２サンプル画像とサンプルレジストレーション画像との損失値を計算し、損失値に基づいて画像レジストレーションモデルのネットワークパラメータを調整することができる。
【0121】
１つの実施シーンでは、確率的勾配降下（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、バッチ勾配降下（ＢＧＤ：Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、ミニバッチ最急降下（ＭＢＧＤ：Ｍｉｎｉ－Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）などの方式により、損失値を用いて画像レジストレーションモデルのネットワークパラメータを調整することができ、ここで、バッチ勾配降下は、毎回反復するたびに、すべてのサンプルを用いてパラメータ更新を行うことを意味し、確率的勾配降下は、毎回反復するたびに１つのサンプルを用いてパラメータ更新を行うことを意味し、バッチ勾配降下は、毎回反復するたびに、１バッチのサンプルを用いてパラメータ更新を行うことを意味する。
【0122】
本開示の幾つかの実施例では、訓練終了条件を設定することもでき、訓練終了条件が満たされる場合、画像レジストレーションモデルの訓練を終了することができる。本開示の幾つかの実施例では、訓練終了条件は、損失値が予め設定された損失値閾値よりも小さいこと、現在の訓練回数が予め設定された回数閾値（例えば、５００回、１０００回など）に達することを含むことができ、ここでは限定されない。
【0123】
また、サンプルレジストレーションパラメータが逆方向サンプルレジストレーションパラメータである場合、逆方向サンプルレジストレーションパラメータを用いて第２画像を処理し、第２サンプル画像のサンプルレジストレーション画像を得ることができるため、第１サンプル画像と第２サンプル画像のサンプルレジストレーション画像間の違いに基づいて、画像レジストレーションモデルのネットワークパラメータを調整することができる。
【0124】
上記実施例とは異なり、複数の段階で異なる解像度のサンプル特徴マップを融合することにより、異なるスケールのサンプル速度フィールドを得ることができるため、異なるスケールのサンプル速度フィールドに基づいてサンプルレジストレーションパラメータの精度を向上させることができ、さらに画像レジストレーションモデルの精度を向上させることに役立つ。また、複数の段階で異なるスケールのサンプル速度フィールドがそれぞれ得られるため、第１サンプル画像を第２サンプル画像に順方向にレジストレーションするためのサンプルレジストレーションパラメータを得ることに役立つことができ、第２サンプル画像を第１サンプル画像に逆方向にレジストレーションするためのサンプルパラメータを得ることにも役立つことができ、さらに微分同相写像を満たすことに役立つことができる。
【0125】
同一の技術的思想に基づいて、本開示の実施例において画像レジストレーション方法に対応する画像レジストレーション装置がさらに提供され、本開示の実施例における装置が問題を解決する原理は、本開示の実施例の上記表示方法と類似し、したがって、装置の実施例については方法の実施を参照することができる。
【0126】
図１０を参照すると、図１０は本開示による画像レジストレーション装置１００の一実施例のフレームワーク概略図である。画像レジストレーション装置１００は、画像符号化モジュール１００１、第１融合モジュール１００２、画像復号モジュール１００３、第２融合モジュール１００４及びパラメータ取得モジュール１００５を備え、
画像符号化モジュール１００１は、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るように構成され、
第１融合モジュール１００２は、第１特徴マップと第２特徴マップとを融合し、速度フィールドを得るように構成され、
画像復号モジュール１００３は、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るように構成され、新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きく、
第２融合モジュール１００４は、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成され、
パラメータ取得モジュール１００５は、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするように構成される。
画像符号化モジュール１００１は、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るように構成され、
第１融合モジュール１００２は、第１特徴マップと第２特徴マップとを融合し、速度フィールドを得るように構成され、
画像復号モジュール１００３は、第１特徴マップと第２特徴マップをそれぞれ復号し、新しい第１特徴マップ及び新しい第２特徴マップを得るように構成され、新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きく、
第２融合モジュール１００４は、得られた速度フィールドを用いて、新しい第１特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成され、
パラメータ取得モジュール１００５は、複数回の融合によって得られた速度フィールドに基づいて、第１画像と第２画像をレジストレーションするように構成される。
【0127】
本開示の幾つかの実施例では、画像符号化モジュール１００１は、画像に対して特徴抽出を行い、複数のチャネル特徴マップを得るように構成される特徴抽出サブモジュールと、各チャネル特徴マップの複数のチャネル特徴マップにおける重要度に基づいて、チャネル特徴マップに対応する注意力重みを得るように構成される重み取得サブモジュールと、各チャネル特徴マップの注意力重みをそれぞれ用いて対応するチャネル特徴マップを重み付けし、画像の特徴マップを得るように構成される特徴マップ重み付けサブモジュールと、を含み、画像が第１画像である場合、上記ステップで得られた特徴マップは、第１特徴マップであり、画像が第２画像である場合、上記ステップで得られた特徴マップは、第２特徴マップである。
【0128】
本開示の幾つかの実施例では、画像レジストレーション装置１００は、レジストレーション待ちの複数の画像を取得し、複数の画像のうちの１つの画像を第１画像として用い、残りの少なくとも１つの画像をそれぞれ第２画像として用いるように構成される画像取得モジュールを備える。
【0129】
本開示の幾つかの実施例では、複数の画像は、いずれも医用画像であり、かつ複数の画像は、複数の画像が異なる種類の医用デバイスによってスキャンされたものであること、複数の画像が同じ医用デバイスによって異なるスキャン時間でスキャンされたものであることを満たす。
【0130】
本開示の幾つかの実施例では、第２融合モジュール１００４は、得られた速度フィールドを変換し、変位フィールドを得るように構成される変換サブモジュールと、変位フィールドを用いて新しい第１特徴マップを変形し、変形特徴マップを得るように構成される変形サブモジュールと、変形特徴マップと新しい第２特徴マップとを融合し、速度フィールドを再度得るように構成される融合サブモジュールと、を含む。
【0131】
本開示の幾つかの実施例では、第１融合モジュール１００２は、第１特徴マップと第２特徴マップとをスプライシングし、スプライシング特徴マップを得るように構成されるスプライシングサブモジュールと、スプライシング特徴マップに対して特徴抽出を行い、速度フィールドを得るように構成される抽出サブモジュールと、を含む。
【0132】
本開示の幾つかの実施例では、第２融合モジュール１００４は、さらに予め設定された条件を満たす場合、新たに得られた第１特徴マップと第２特徴マップに基づいて、第１特徴マップと第２特徴マップをそれぞれ符号化し、新しい第１特徴マップと新しい第２特徴マップを得るステップ及び後続のステップを再実行ように構成される。
【0133】
本開示の幾つかの実施例では、予め設定された条件は、復号実行回数が予め設定された閾値よりも小さく、最後に復号を実行することによって得られた第１特徴マップ又は第２特徴マップの解像度が予め設定された解像度よりも小さいこと、及び／又は、新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度よりも大きく、かつ新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度よりも大きいことのいずれか１つを含む。
【0134】
本開示の幾つかの実施例では、画像レジストレーション装置１０００は、レジストレーションパラメータを用いて第１画像を処理し、第１画像のレジストレーション画像を得るステップと、レジストレーションパラメータを用いて第２画像を処理し、第２画像のレジストレーション画像を得るステップと、レジストレーションパラメータを用いて第１画像の少なくとも１つの第１画素点を処理し、処理後の少なくとも１つの第１画素点に基づいて、第２画像の少なくとも１つの第１画素点にそれぞれ対応する少なくとも１つの第２画素点を得るステップと、レジストレーションパラメータを用いて第２画像の少なくとも１つの第２画素点を処理し、処理後の少なくとも１つの第２画素点に基づいて、第１画像の少なくとも１つの第２画素点にそれぞれ対応する少なくとも１つの第１画素点を得るステップと、のうちの少なくとも１つを実行するように構成される画像処理モジュールを備える。
【0135】
本開示の幾つかの実施例では、画像符号化モジュール１００１は、さらに画像レジストレーションモデルの第１符号化サブネットワークを用いて第１画像を符号化し、第１特徴マップを得、画像レジストレーションモデルの第２符号化サブネットワークを用いて第２画像を符号化し、第２特徴マップを得るように構成され、第１融合モジュール１００２は、さらに画像レジストレーションモデルの速度フィールドサブネットワークを用いて第１特徴マップと第２特徴マップとを融合し、速度フィールドを得るように構成され、画像復号モジュール１００３は、さらに画像レジストレーションモデルの第１復号サブネットワークを用いて第１特徴マップを復号し、新しい第１特徴マップを得、画像レジストレーションモデルの第２復号サブネットワークを用いて第２特徴マップを復号し、新しい第２特徴マップを得るように構成される。
【0136】
図１１を参照すると、図１１は本開示による電子デバイス１１０の一実施例のフレームワーク概略図である。電子デバイス１１０は、互いに結合されたメモリ１０１及びプロセッサ１０２を備え、プロセッサ１０２は、上記のいずれかの画像レジストレーション方法を実現するために、メモリ１０１に記憶されたプログラム命令を実行する。本開示の幾つかの実施例では、電子デバイス１１０は、マイクロコンピュータ、サーバーを含むことができるが、これらに限定されず、また、電子デバイス１１０は、ノートブックコンピュータ、タブレットコンピュータなどのモバイルデバイスも含むことができ、ここで限定されない。
【0137】
本開示の幾つかの実施例では、プロセッサ１０２は、上記のいずれかの画像レジストレーション方法を実現するために、それ自体及びメモリ１０１を制御するように構成される。プロセッサ１０２は、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と呼ばれてもよい。プロセッサ１０２は、信号処理機能を備えた集積回路チップであってもよい。プロセッサ１０２は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ －Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェア部材であってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、いずれかの従来のプロセッサなどであってもよい。また、プロセッサ１０２は、集積回路チップによって共同で実現されてもよい。
【0138】
図１２を参照すると、図１２は本開示によるコンピュータ可読記憶媒体１２０の一実施例のフレームワーク概略図である。コンピュータ可読記憶媒体１２０は、プロセッサで実行可能なプログラム命令１２１を記憶し、プログラム命令１２１がプロセッサに上記のいずれかの画像レジストレーション方法を実施させる。
【0139】
本開示の実施例は、コンピュータ可読コードを含み、コンピュータ可読コードが電子デバイスで実行されるとき、電子デバイスのプロセッサに上記のいずれかの実施例に記載さ画像レジストレーション方法を実行させるコンピュータプログラムをさらに提供する。
【0140】
本開示の実施例は、プログラムコードをロードし、プログラムコードに含まれる命令がコンピュータに上記方法の実施例で説明される画像レジストレーション方法を実行させる別のコンピュータプログラム製品をさらに提供する。
【0141】
ここで、上記コンピュータプログラム製品は、ハードウェア、ソフトウェア又はそれらの組み合わせによって実現されてもよい。幾つかの実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具現化されてもよく、他の幾つかの実施例では、コンピュータプログラム製品は、ソフトウェア製品、例えばソフトウェア開発キット（ＳＤＫ：Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）などとして具現化されてもよい。
【0142】
本開示の実施例に係るデバイスは、システム、方法及びコンピュータプログラム製品のうちの少なくとも１つであってもよい。コンピュータプログラム製品は、プロセッサも本開示の様々な態様を実現させるためのコンピュータ可読プログラム命令をロードしているコンピュータ可読記憶媒体を含むことができる。
【0143】
コンピュータ可読記憶媒体は、命令実行デバイスによって用いられる命令を維持及び記憶できる有形デバイスであってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス又は上記の任意の適切な組み合わせであってよいがこれらに限定されない。コンピュータ可読記憶媒体の例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、読み取り－専用メモリ（ＲＯＭ：ｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、消去可能プログラマブルランダムアクセスメモリ（ＥＰＲＯＭ：Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はフラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ Ｒａｎｄｏｍ －Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク光ファイバーデバイス（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、メモリースティック、フロッピーディスク、機械的符号化デバイス、例えば命令を記憶しているパンチカード又は溝内突出構造、及び上記のいずれかの適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、無線電波又は他の自由に伝播する電磁波、導波路又は他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通る光パルス）、又は電線を介して伝送される電気信号などの一時的信号自体として解釈されない。
【0144】
ここで説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理デバイスにダウンロードされてもよく、又はインターネット、ローカルエリアネットワーク、広域ネットワーク及びワイヤレスネットワークのうちの少なくとも１つを介して外部コンピュータ又は外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイコンピューター及びエッジサーバーのうちの少なくとも１つを含むことができる。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、当該コンピュータ可読プログラム命令を、各コンピューティング／処理デバイスのコンピュータ可読記憶媒体に記憶するために転送する。
【0145】
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト向けプログラミング言語、及び「Ｃ」言語などの従来の手続き型プログラミング言語又は類似するプログラミング言語を含む。コンピュータ可読プログラムコードは、ユーザのコンピュータで完全に実行されたり、ユーザのコンピュータで部分的に実行されたり、１つの独立したソフトウェアパッケージとして実行されたり、ユーザのコンピュータで部分的に実行されたり、遠隔コンピュータで部分的に実行されたり、又は遠隔コンピュータ又はサーバーで完全に実行されたりすることができる。遠隔コンピュータに関する場合、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又は広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを介してユーザのコンピュータ、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダーによってインターネットを介して接続される）。幾つかの実施例では、コンピュータ可読プログラム命令の状態情報により電子回路、例えばプログラマブルロジック回路、ＦＰＧＡ又はプログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙｓ）をパーソナライズしてカスタマイズすることにより、当該電子回路は、コンピュータ可読プログラム命令を実行することができ、それによって本開示の様々な態様が実現される。
【0146】
本開示の幾つかの実施例では、本開示の実施例で提供される装置が備えた機能又はそれに含まれるモジュールは、上記の方法の実施例で説明される方法を実行するように構成れてもよく、その実施形態の実現プロセスについては上記の方法の実施例の説明を参照することができる。
【0147】
以上に本開示の各実施例の説明は、各実施例の間の異なる点を強調する傾向があり、同じ又は類似する点については相互に参照できる。
【0148】
本開示で提供される幾つかの実施例では、開示される方法及び装置が他の方式により実現されてもよいことを理解すべきである。例えば、上記の装置の実施形態は、例示的なものだけであり、例えば、モジュール又はユニットの区分は、論理機能的区分だけであり、実際に実施する時に他の区分方式もあり得、例えばユニット又は構成要素は組み合わせられてもよく又は別のシステムに統合されてもよく、又は幾つかの特徴は無視されてもよく、又は実行されなくてもよい。また、示され、又は議論される相互結合又は直接結合又は通信接続は、幾つかのインターフェース、デバイス又はユニットを介した間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
【0149】
分離部材として説明されるユニットは、物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は、物理ユニットであってもよく又は物理ユニットでなくてもよく、即ち１つの位置に配置されてもよく、又はネットワークユニットに分布してもよい。実際のニーズに応じてその中の一部又は全てのユニットを選択して本実施形態の案の目的を達成することができる。
【0150】
また、本開示の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、個々のユニットは、単独で物理的に存在してもよく、２つ又は２つ以上のユニットは、１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形態で実現されてもよいし、ソフトウェア機能ブロックの形態で実現されてもよい。
【0151】
統合されたユニットは、ソフトウェア機能ユニットの形態で実現されかつ独立した製品として販売又は使用されると、１つのコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の技術案は、本質的に又は従来技術に寄与する部分又は当該技術案の全て又は部分がソフトウェア製品の形で体現されてもよく、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバー、又はネットワークデバイス等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本開示の各実施形態の方法のステップの全て又は一部を実行させるための幾つかの命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードドライブ、ＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
【0152】
最後に説明すべきこととして、上記実施例は、本開示の具体的な実施形態だけであり、本開示の技術案を説明するためのものであり、それを制限しなく、本開示の保護範囲は、これに限定されず、上記実施例を参照して本開示を詳細に説明するが、当業者は、いかなる当業者が本開示で開示される技術範囲で、依然として上記実施例に記載される技術案に対して変更又は変化を容易に想到し、又はその中の一部の技術的特徴に対して同等の入れ替えを行うことができ、これらの変更、変化又は入れ替えが対応する技術案の本質を、本開示の実施例における技術案の精神及び範囲から逸脱させなく、全て本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は、前記特許請求の範囲に準拠するべきである。
【産業上の利用可能性】
【0153】
本開示の実施例は、画像レジストレーション方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。前記方法は、電子デバイスによって実行され、当該方法は、第１画像を符号化し、第１特徴マップを得、第２画像を符号化し、第２特徴マップを得るステップと、前記第１特徴マップと前記第２特徴マップとを融合し、速度フィールドを得るステップと、前記第１特徴マップと前記第２特徴マップをそれぞれ復号し、新しい第１特徴マップと新しい第２特徴マップを得るステップであって、前記新しい第１特徴マップの解像度が今回の復号前の第１特徴マップの解像度と異なり、かつ前記新しい第２特徴マップの解像度が今回の復号前の第２特徴マップの解像度と異なる、ステップと、得られた前記速度フィールドを用いて、前記新しい第１特徴マップと前記新しい第２特徴マップとを融合し、速度フィールドを再度得るステップと、複数回の前記融合によって得られた速度フィールドに基づいて、前記第１画像と前記第２画像をレジストレーションするためのレジストレーションパラメータを生成するステップと、を含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【国際調査報告】