特許 7340107 画像再構成方法、装置、デバイス、システムおよびコンピューター可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-29

(45)【発行日】2023-09-06

(54)【発明の名称】画像再構成方法、装置、デバイス、システムおよびコンピューター可読記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230830BHJP

   G06V 10/82 20220101ALI20230830BHJP

   A61B 6/03 20060101ALI20230830BHJP

   A61B 5/055 20060101ALI20230830BHJP

   G01T 1/161 20060101ALI20230830BHJP

   G06N 3/04 20230101ALI20230830BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

A61B6/03 360T

A61B5/055 376

G01T1/161 A

G06N3/04

【請求項の数】 13

(21)【出願番号】P 2022539312

(86)(22)【出願日】2020-11-27

(65)【公表番号】

(43)【公表日】2023-03-02

(86)【国際出願番号】 CN2020132370

(87)【国際公開番号】W WO2021139439

(87)【国際公開日】2021-07-15

【審査請求日】2022-06-27

(31)【優先権主張番号】202010012326.1

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】512322380

【氏名又は名称】▲蘇▼州瑞派▲寧▼科技有限公司

【氏名又は名称原語表記】ＲＡＹＣＡＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｂｕｉｌｄｉｎｇ １７， Ｎｏ．８ Ｊｉｎｆｅｎｇ Ｒｏａｄ， Ｓｕｚｈｏｕ Ｎｅｗ Ｄｉｓｔｒｉｃｔ， Ｓｕｚｈｏｕ， Ｊｉａｎｇｓｕ， ２１５１６３， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002468

【氏名又は名称】弁理士法人後藤特許事務所

(72)【発明者】

【氏名】程 ▲ゼン▼

(72)【発明者】

【氏名】謝 慶国

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１９／１２４０７６（ＷＯ，Ａ１）

【文献】朴 君ほか，ＣＮＮを用いた段階的な一枚超解像，ＦＩＴ２０１７ 第１６回情報科学技術フォーラム 講演論文集 第３分冊 選奨論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション＆インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2017，日本，一般社団法人情報処理学会 一般社団法人電子情報通信学会，2017年09月05日，第69-72頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ｇ０１Ｔ １／１６１－ １／１６６

Ｇ０６Ｎ ３／０４

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

(57)【特許請求の範囲】

【請求項1】

ターゲット再構成モデルに基づく画像再構成方法であって、
前記ターゲット再構成モデルは、第１の畳み込み層、ＲｅｓＮｅｔモジュール、ＤｅｎｓｅＮｅｔモジュールおよび第２の畳み込み層を含み、前記画像再構成方法は、
前記第１の畳み込み層を呼び出して、取得された再構成しようとする画像中の浅層特徴を抽出する段階と、
前記ＲｅｓＮｅｔモジュールを呼び出して、前記浅層特徴から中間層特徴を取得する段階と、
前記ＤｅｎｓｅＮｅｔモジュールを呼び出して、前記中間層特徴から深層特徴を取得する段階と、
前記第２の畳み込み層を呼び出して、前記深層特徴に対して画像再構成して前記再構成しようとする画像の再構成画像を取得する段階とを含むことを特徴とする、画像再構成方法。

【請求項2】

取得された前記再構成しようとする画像から前記浅層特徴を抽出する前に、前記画像再構成方法は、
複数の異なるサンプル画像グループをトレーニングデータとして取得する段階と、各前記サンプル画像グループは、いずれも高解像度の画像、および前記高解像度の画像に対して処理することによって得られた低解像度の画像を含み、
取得された前記サンプル画像グループを使用して、構築された深層学習モデルをトレーニングし、またトレーニング効果が最適に達する時の前記深層学習モデルを前記ターゲット再構成モデルとして決定する段階とをさらに含むことを特徴とする
請求項１に記載の画像再構成方法。

【請求項3】

前記低解像度の画像は、画像スケーリングアルゴリズムを使用して前記高解像度の画像を処理することによって得られ、前記画像スケーリングアルゴリズムは、バイキュービック補間法またはバイリニア補間法を含むことを特徴とする
請求項２に記載の画像再構成方法。

【請求項4】

取得された再構成しようとする画像から前記浅層特徴を抽出する前に、前記画像再構成方法は、
外部装置から事前にトレーニングされた前記ターゲット再構成モデルを取得する段階をさらに含むことを特徴とする
請求項１に記載の画像再構成方法。

【請求項5】

前記ＲｅｓＮｅｔモジュールは、複数の残差ユニットを含み、対応的に、前記ＲｅｓＮｅｔモジュールを呼び出して、前記浅層特徴から中間層特徴を取得する段階は、
複数の前記残差ユニットを使用して、受信された前記浅層特徴から第２の特徴ベクトルを取得し、また取得された前記第２の特徴ベクトルおよび前記浅層特徴を加算して中間層特徴を得る段階を含むことを特徴とする
請求項１に記載の画像再構成方法。

【請求項6】

前記ＤｅｎｓｅＮｅｔモジュールは、複数のｄｅｎｓｅブロックを含み、対応的に、前記ＤｅｎｓｅＮｅｔモジュールを呼び出して、前記中間層特徴から深層特徴を取得する段階は、
複数の前記ｄｅｎｓｅブロックを使用して、受信された前記中間層特徴から第３の特徴ベクトルを取得し、また取得された前記第３の特徴ベクトルおよび前記中間層特徴を加算して、深層特徴を得る段階を含むことを特徴とする
請求項１に記載の画像再構成方法。

【請求項7】

前記第２の畳み込み層を呼び出して、前記深層特徴に対して画像再構成処理する前に、前記画像再構成方法は、次のような段階をさらに含み、
前記ターゲット再構成モデル中のサブピクセル畳み込み層を呼び出して、前記ＤｅｎｓｅＮｅｔモジュールによって出力された前記深層特徴に対してアップサンプリング処理し、またアップサンプリング処理後の深層特徴を前記第２の畳み込み層に送信する段階をさらに含むことを特徴とする
請求項１に記載の画像再構成方法。

【請求項8】

前記再構成しようとする画像は、生体内のターゲット部位または臓器のＣＴ画像、ＭＲＩ画像、ＰＥＴ画像またはＰＥＴ／ＣＴ画像を含むことを特徴とする
請求項１～７のいずれか１項に記載の画像再構成方法。

【請求項9】

画像再構成装置であって、
前記画像再構成装置には、トレーニングされたターゲット再構成モデルが設置され、前記ターゲット再構成モデルは、第１の畳み込み層、ＲｅｓＮｅｔモジュール、ＤｅｎｓｅＮｅｔモジュールおよび第２の畳み込み層を含み、前記画像再構成装置は、
前記第１の畳み込み層を呼び出して、取得された再構成しようとする画像中の浅層特徴を抽出するように構成される抽出ユニットと、
前記ＲｅｓＮｅｔモジュールを呼び出して、前記浅層特徴から中間層特徴を取得するように構成される第１の取得ユニットと、
前記ＤｅｎｓｅＮｅｔモジュールを呼び出して、前記中間層特徴から深層特徴を取得するように構成される第２の取得ユニットと、
前記第２の畳み込み層を呼び出して、前記深層特徴に対して画像再構成して前記再構成しようとする画像の再構成画像を取得するように構成される画像再構成ユニットとを含むことを特徴とする、前記画像再構成装置。

【請求項10】

コンピューターデバイスであって、
前記コンピューターデバイスは、メモリおよびプロセッサを含み、前記メモリには、コンピュータープログラムが保存され、前記コンピュータープログラムが前記プロセッサによって実行される場合、前記プロセッサは、請求項１～８のいずれか１項に記載の画像再構成方法を実行することを特徴とする、コンピューターデバイス。

【請求項11】

画像処理システムであって、
前記画像処理システムは、請求項１０に記載のコンピューターデバイスおよび検出デバイスを含み、ここで、前記検出デバイスは、ターゲット対象に対して放射線検出することによって再構成しようとする画像を取得し、かつ取得された前記再構成しようとする画像を前記コンピューターデバイスに提供するように構成されることを特徴とする、画像処理システム。

【請求項12】

前記検出デバイスは、ＣＴスキャナー、ＭＲＩスキャナー、ＰＥＴ検出器またはＰＥＴ／ＣＴデバイスを含むことを特徴とする
請求項１１に記載の画像処理システム。

【請求項13】

コンピューター可読記憶媒体であって、
前記コンピューター可読記憶媒体には、コンピュータープログラムが保存され、前記コンピュータープログラムが実行される場合に請求項１～８のいずれか１項に記載の画像再構成方法を実現することができることを特徴とする、コンピューター可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、画像処理の技術分野に関し、特に、画像再構成方法、装置、デバイス、システムおよびコンピューター可読記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展に伴い、高解像度の画像は、非常に幅広い適用価値を有する。例えば、医用画像処理の分野において、高解像度の画像は、医師が病変領域をより正確に判断することにより、より効率的に患者を治療するのに役立ち、セキュリティ検査の分野において、高解像度の画像は、セキュリティ担当者が荷物に違法なアイテムが疑われるかどうかをより明確に確認することにより、乗客の安全を確保するのに役立ち、家庭用電子製品の分野において、高解像度の画像は、主観的な視覚体験を向上させることにより、ユーザーの体験を向上させることができる。従って、高解像度の画像を取得する方法は非常に重要である。

【0003】

現在、画像解像度は、主にハードウェアおよびソフトウェアのアルゴリズムの二つの側面から向上される。しかしながら、ハードウェアからの画像解像度の向上には、より高いコストおよび技術サポートが必要である。ソフトウェアのアルゴリズムの側面に関しては、ほとんどの場合、内挿法を使用して画像を再構成することにより、画像解像度を向上させる。現在、より一般的な内挿法は、主に最近隣内挿、バイリニア補間法およびバイキュービック補間法の三つの方法を含む。最近隣内挿は、主に内挿される位置に対応するピクセル値がこのポイントに最も近い既知のピクセル値であることを仮定する。この方法は、比較的に簡単であるが、ギザギザのエッジおよび画像がぼやけたアーティファクトを簡単に生成することができる。バイリニア補間法は、主に内挿される位置の周囲の四つの隣接するポイントのピクセル値を使用して、内挿される位置のピクセル値を選択し、当該方法は、ぼやけたアーティファクトをあまり発生しないが、エッジの詳細処理で詳細情報の値を失われるため、得られた画像解像度は、それほど高くない。バイキュービック補間法は、内挿される位置の周囲の４×４＝１６の隣接するポイントのピクセル値を使用して、内挿される位置のピクセル値を選択し、当該方法は、最近隣内挿法で現れるギザギザ現象を効果的に改善し、またエッジの詳細を効果的に保持するが、計算量が比較的に大きく、データ処理速度が比較的に遅い。

【0004】

上記の内挿法を使用して画像を再構成する場合、その結果的特徴を考慮せずに簡単な内挿操作だけを行うため、所得られた再構成画像は、視覚的に滑らかでぼやけた感じが得られ、得られた画像解像度もそれほど高くない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本出願の実施例の目的は、従来の技術に存在する少なくとも一つの問題を解決するために、画像再構成方法、装置、デバイス、システムおよびコンピューター可読記憶媒体を提供することである。

【課題を解決するための手段】

【0006】

上記の技術的問題を解決するために、本出願の実施例は、画像再構成方法を提供し、当該画像再構成方法は、
ターゲット再構成モデル中の畳み込みモジュールを呼び出して、取得された再構成しようとする画像に対して画像再構成して第１の画像を得る段階と、
前記ターゲット再構成モデル中のＲｅｓＮｅｔモジュールを呼び出して、前記第１の画像に対して画像再構成して第２の画像を得る段階と、
前記ターゲット再構成モデル中のＤｅｎｓｅＮｅｔモジュールを呼び出して、前記第２の画像に対して画像再構成して第３の画像を得る段階とを含み、
ここで、前記第１の画像、前記第２の画像および前記第３の画像の解像度は、順次に増加する。

【0007】

任意選択で、取得された再構成しようとする画像に対して画像再構成する前に、前記画像再構成方法は、
複数の異なるサンプル画像グループをトレーニングデータとして取得する段階と、各前記サンプル画像グループは、いずれも高解像度の画像、および前記高解像度の画像に対して処理することによって得られた低解像度の画像を含み、
取得された前記サンプル画像グループを使用して、構築された深層学習モデルをトレーニングし、またトレーニング効果が最適に達する時の前記深層学習モデルを前記ターゲット再構成モデルとして決定する段階とをさらに含む。
任意選択で、前記低解像度の画像は、画像スケーリングアルゴリズムを使用して前記高解像度の画像を処理することによって得られ、前記画像スケーリングアルゴリズムは、バイキュービック補間法またはバイリニア補間法を含む。

【0008】

任意選択で、取得された再構成しようとする画像に対して画像再構成する前に、前記画像再構成方法は、
外部装置から事前にトレーニングされた前記ターゲット再構成モデルを取得する段階をさらに含む。

【0009】

任意選択で、前記ＲｅｓＮｅｔモジュールは、順次に接続された第１の畳み込み層、複数の残差ユニットおよび第２の畳み込み層を含み、対応的に、前記ターゲット再構成モデル中のＲｅｓＮｅｔモジュールを呼び出して、前記第１の画像に対して画像再構成して第２の画像を得る段階は、
前記第１の畳み込み層を呼び出して、前記第１の画像中の浅層特徴情報を抽出する段階と、
前記残差ユニットを呼び出して、前記第１の畳み込み層によって出力された前記浅層特徴情報から深層特徴情報を抽出する段階と、
前記第２の畳み込み層を呼び出して、前記浅層特徴情報および前記深層特徴情報に対して処理して前記第２の画像を得る段階とを含む。

【0010】

任意選択で、前記画像再構成方法は、
前記ターゲット再構成モデル中のサブピクセル畳み込み層を呼び出して、前記ＤｅｎｓｅＮｅｔモジュールによって出力された前記第３の画像に対してアップサンプリング処理する段階をさらに含む。

【0011】

任意選択で、前記再構成しようとする画像は、生体内のターゲット部位または臓器のＣＴ画像、ＭＲＩ画像、ＰＥＴ画像またはＰＥＴ／ＣＴ画像を含む。

【0012】

本出願の実施例は、画像再構成装置をさらに提供し、当該画像再構成装置は、
ターゲット再構成モデル中の畳み込みモジュールを呼び出して、取得された再構成しようとする画像に対して画像再構成して第１の画像を得るように構成される第１の呼び出しユニットと、
前記ターゲット再構成モデル中のＲｅｓＮｅｔモジュールを呼び出して、前記第１の画像に対して画像再構成して第２の画像を得るように構成される第２の呼び出しユニットと、
前記ターゲット再構成モデル中のＤｅｎｓｅＮｅｔモジュールを呼び出して、前記第２の画像に対して画像再構成して第３の画像を得るように構成される第３の呼び出しユニットとを含むことができ、
ここで、前記第１の画像、前記第２の画像および前記第３の画像の解像度は、順次に増加する。

【0013】

本出願の実施例は、コンピューターデバイスをさらに提供し、当該コンピューターデバイスは、メモリおよびプロセッサを含むことができ、前記メモリには、コンピュータープログラムが保存され、前記コンピュータープログラムが前記プロセッサによって実行される場合、前記プロセッサは、上記の画像再構成方法を実行する。

【0014】

本出願の実施例は、画像処理システムをさらに提供し、当該画像処理システムは、上記のコンピューターデバイスおよび検出デバイスを含み、ここで、前記検出デバイスは、ターゲット対象に対して放射線検出することによって再構成しようとする画像を取得し、かつ取得された前記再構成しようとする画像を前記コンピューターデバイスに提供するように構成される。

【0015】

任意選択で、前記検出デバイスは、ＣＴスキャナー、ＭＲＩスキャナー、ＰＥＴ検出器またはＰＥＴ／ＣＴデバイスを含む。

【0016】

本出願の実施例は、コンピューター可読記憶媒体をさらに提供し、当該コンピューター可読記憶媒体には、コンピュータープログラムが保存され、前記コンピュータープログラムが実行される場合に上記の画像再構成方法を実現することができる。

【発明の効果】

【0017】

上記の本出願の実施例によって提供される技術的解決策から、本出願の実施例は、ターゲット再構成モデル中の畳み込みモジュール、ＲｅｓＮｅｔモジュールおよびＤｅｎｓｅＮｅｔモジュールを順次に呼び出して、再構成しょうとする画像に対して処理することにより、超解像度を有する再構成画像を取得し、これにより、再構成画像の品質を向上させることができることが分かる。また、ターゲット再構成モデルを使用して、再構成しようとする画像に対して画像再構成処理することにより、データ処理速度を向上させることができる。

【図面の簡単な説明】

【0018】

本出願の実施例または先行技術における技術的解決策をより明確に説明するために、以下は、実施例または先行技術の説明において使用される必要がある添付の図面を簡単に紹介し、明らかに、以下の説明における図面は、本出願で記載されるいくつかの実施例にすぎず、当業者にとって、創造的労力なしにこれらの図面に基づいて、他の図面を取得することもできる。

【0019】

【図1】本出願の一実施例における画像再構成方法の適用環境図である。

【図2】本出願の一実施例で使用されるターゲット再構成モデルの構造模式図である。

【図3】ターゲット再構成モデルにおけるＲｅｓＮｅｔモジュールの構造模式図である。

【図4】ターゲット再構成モデルにおけるＤｅｎｓｅＮｅｔモジュールの構造模式図である。

【図5】本出願の一実施例によって提供される画像再構成方法のフローチャート模式図である。

【図6】本出願の別の実施例によって提供される画像再構成方法のフローチャート模式図である。

【図7】本出願の一実施例によって提供される画像再構成装置の構造模式図である。

【図8】本出願の一実施例におけるコンピューターデバイスの構造模式図である。

【図9】本出願の別の実施例におけるコンピューターデバイスの構造模式図である。

【図10】本出願の一実施例における画像処理システムの構造模式図である。

【発明を実施するための形態】

【0020】

以下、本出願の実施例における添付の図面を参照して、本出願の実施例における技術的解決策を明確かつ完全に説明し、明らかに、説明される実施例は、本出願のすべての実施例ではない一部の実施例を説明するためにのみ使用され、本出願の範囲または特許請求の範囲を限定することを意図するものではない。本出願における実施例に基づいて、当業者は、創造的労力なしに取得されたすべての他の実施例は、本出願の保護範囲に含まれるものとする。

【0021】

ある要素が別の要素に「設置される」と呼ばれる場合、それは、他の要素に直接設置されることができるか、または介在する要素が存在する場合もある。ある要素が別の要素に「接続／連結」されると呼ばれる場合、それは、他の要素に直接接続／連結されるか、または同時に介在する要素が存在する場合もある。本明細書で使用される「接続／連結」という用語は、電気的および／または機械的な物理的接続／連結を含むことができる。本明細書で使用される「含む／含有」という用語は、特徴、段階または要素の存在を指すが、一つまたは複数の他の特徴、段階または要素の存在または追加を排除するものではない。本明細書で使用される「および／または」という用語は、関連するリストされたアイテムの一つまたは複数のありとあらゆる組み合わせを含む。

【0022】

特に明記しない限り、本明細書で使用されるすべての技術的用語および科学的用語は、本出願が属する技術分野の当業者が一般的に理解しているのと同じ意味を有する。本明細書で使用される用語は、具体的な実施例を説明することのみを目的とし、本出願を制限することを意図するものではない。

【0023】

さらに、本出願の説明において、「第１の」、「第２の」、「第３の」等の用語は、目的の説明および類似な対象の区別でのみ使用され、二つの間には、順次なく、相対的な重要性を示したり暗示したりするものとして理解することもできない。さらに、本出願の説明において、特に明記しない限り、「複数」とは、二つまたは二つ以上を意味する。

【0024】

図１は、一実施例における画像再構成方法の適用環境図である。図１を参照すると、当該方法は、コンピューターデバイスに適用されることができる。当該コンピューターデバイスは、ネットワークによって接続される端末１００およびサーバー２００を含む。当該方法は、端末１００またはサーバー２００で実行されることができ、例えば、端末１００は、検出デバイスからターゲット対象の元の画像を直接取得し、かつ端末側で上記の方法を実行することができ、または、端末１００は、ターゲット対象の元の画像を取得した後に元の画像をサーバー２００に送信して、サーバー２００がターゲット対象の元の画像を取得しかつ上記の方法を実行することができる。端末１００は、具体的には、デスクトップ端末（例えば、デスクトップコンピューター）またはモバイル端末（例えば、ノートブックコンピューター）であり得る。サーバー２００は、独立したサーバーまたは複数のサーバーで構成されるサーバークラスターによって実現されることができる。

【0025】

図２は、本出願の一実施例で使用されるターゲット再構成モデルの構造模式図である。図２を参照すると、ターゲット再構成モデルは、ｄｅｅｐ 畳み込みニューラルネットワーク（畳み込みニューラルネットワーク、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルであり得、ここで、各ネットワークパラメーターは、大量のトレーニングデータを使用してトレーニングすることで決定されることができる。当該ターゲット再構成モデルは、第１の畳み込み層、ＲｅｓＮｅｔモジュール、ＤｅｎｓｅＮｅｔモジュールおよび第２の畳み込み層を含むことができる。ここで、第１の畳み込み層は、浅層特徴として事前に設定された畳み込みカーネルに従って、受信された低解像度の画像から第１の特徴ベクトルの複数のセットを抽出し、かつ抽出された浅層特徴をＲｅｓＮｅｔモジュールに直接送信するために使用されることができ、抽出された浅層特徴は、一般に、例えば、入力された画像のエッジ、コーナー、色、ピクセル、グラデーション等の小さな詳細情報を含み、ＲｅｓＮｅｔモジュールは、畳み込みモジュールによって送信される浅層特徴から中間層特徴を取得し、かつ取得された中間層特徴をＤｅｎｓｅモジュールに送信するために使用されることができ、取得された中間層特徴は、浅層特徴の一部および一定のセマンティック情報を有する特徴の一部を含み、当該特徴は、入力された画像の一部の形状等を事前に表し、ＤｅｎｓｅＮｅｔモジュールは、ＲｅｓＮｅｔモジュールによって送信される中間層特徴から深層特徴を取得するために使用されることができ、これらの深層特徴は、より豊富なセマンティック情報を有する画像におけるターゲット領域の形状、テクスチャ等を識別および／または検出するために使用されることができる。

【0026】

ＲｅｓＮｅｔモジュールは、Ｅｎｈａｎｃｅｄ Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＥＤＳＲ）またはＷｉｄｅｎｅｄ Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＷＤＳＲ）等のニューラルネットワーク構造であり得るが、これらに限定されない。当該ＲｅｓＮｅｔモジュールは、複数（例えば、４個）の残差ユニットを含み得、各残差ユニットは、図３に示されるように、複数（例えば、３個）の畳み込み層および正規化線形関数（ＲｅＬＵ）を含み得る。

【0027】

ＤｅｎｓｅＮｅｔモジュールは、密に接続された畳み込みニューラルネットワークであり得、これは、複数（例えば、Ｎ個、Ｎは、１より大きい正の整数）のｄｅｎｓｅブロックを含み得、図４に示されるように、各ｄｅｎｓｅブロックは、いずれも一つまたは複数の層の畳み込み層、ＲｅＬｕ、接続層および遷移層を含み得、各ｄｅｎｓｅブロック内の任意の二つのネットワーク層間には、直接な接続がある。つまり、ｄｅｎｓｅブロックにおいて、各ネットワーク層の入力は、以前のすべてのネットワーク層によって出力された連合であり、当該ネットワーク層によって出力された特徴ベクトルも、その後のすべてのネットワーク層に直接送信することにより、特徴ベクトルに対する多重化を実現し、ここでのネットワーク層は、畳み込み層、ＲｅＬｕ、接続層、および遷移層等を指す。

【0028】

第２の畳み込み層は、ＤｅｎｓｅＮｅｔによって出力された深層特徴に対して画像再構成処理するために使用されることができる。

【0029】

さらに、当該ターゲット再構成モデルは、ＤｅｎｓｅＮｅｔモジュールと第２の畳み込み層との間に設置されたサブピクセル畳み込み層をさらに含み得、これは、ＤｅｎｓｅＮｅｔモジュールによって出力された深層特徴に対してアップサンプリング処理して深層特徴のサイズを拡大するために使用されることができるため、後の画像再構成効果を向上させることができる。

【0030】

一実施例において、本出願は、図５に示されるように、画像再構成方法を提供する。当該方法は、具体的には、次の段階を含むことができる。
Ｓ１：ターゲット再構成モデルを取得する。

【0031】

ターゲット再構成モデルは、ｄｅｅｐ畳み込みニューラルネットワークモデルを指すことができ、これは、第１の畳み込み層、ＲｅｓＮｅｔモジュール、ＤｅｎｓｅＮｅｔモジュールおよび第２の畳み込み層を含むことができる。当該ターゲット再構成モデルの詳細な説明に関しては、上記の図２～４の詳細な説明を参照することができる。

【0032】

当該段階は、具体的には、外部装置（例えば、画像再構成モデルをトレーニングする専用装置）から事前にトレーニングされたターゲット再構成モデルを取得すること、またはトレーニングデータを使用して、ローカルに構築された深層学習モデルをトレーニングすることによってターゲット再構成モデルを取得することを含む。

【0033】

ターゲット再構成モデルを取得する上記の第２の葬式は、具体的には、以下を含むことができる。

【0034】

（１）複数の異なるサンプル画像グループをトレーニングデータとして取得する。

【0035】

異なるサンプル画像グループとは、各サンプル画像グループに含まれる画像の解像度が異なることを指すことができれば、含まれる画像の内容が異なることを指すこともでき、例えば、第１のサンプル画像は、人間の胸部ＣＴ画像であり得、第２のサンプル画像は、人間の頭部ＣＴ画像であり得る。

【0036】

すでに処理されたサンプル画像ライブラリーから大量（例えば、１０００個以上）の異なるサンプル画像グループを取得でき、各サンプル画像グループは、いずれも高解像度の画像、および当該高解像度の画像に対して処理することによって得られた低解像度の画像を含み得る。例えば、バイキュービック補間法またはバイリニア補間法等の画像スケーリングアルゴリズムを使用して、高解像度の画像に対してダウンサンプリング処理することで低解像度の画像を得ることができる。

【0037】

ここでの高解像度の画像は、様々なフィルタリングプロセスを経た画像を指し、その解像度は、一般に約１０００×２０００またはそれ以上に達することができ、低解像度の画像は、一般にノイズおよび／またはアーティファクトを含む画像を指し、その解像度は、高解像度の画像の解像度より１／３、１／４、１／８またはそれ以上低くなる。

【0038】

（２）取得されたサンプル画像グループを使用して、構築された深層学習モデルに対してトレーニングし、またトレーニング効果が最適な場合に達した深層学習モデルをターゲット再構成モデルとして決定する。

【0039】

トレーニングデータとしてサンプル画像グループを取得した後、サンプル画像グループ中のサンプル画像を使用して、構築された深層学習モデルに対してトレーニングし、またトレーニング効果が最適な場合に達したネットワークパラメーターを深層学習モデルの最終パラメーターとして決定し、またネットワークパラメーターが決定された深層学習モデルをターゲット再構成モデルとして決定する。ここでのトレーニング効果が最適に達したことは、出力された再構成画像が元の高解像度の画像と最も高い類似性を有することを指すことができる。

【0040】

具体的なトレーニングプロセスに関しては、先行技術の関連する説明を参照することができ、ここでは繰り返さない。

【0041】

再構成しようとする画像が受信され後、トレーニング後のターゲット再構成モデルを使用して、当該再構成しようとする画像に対して画像再構成処理して、超解像度の画像を取得することができる。

【0042】

Ｓ２：取得されたターゲット再構成モデル中の第１の畳み込み層を呼び出して、取得された再構成しようとする画像から浅層特徴を抽出する。

【0043】

再構成しようとする画像は、画像再構成を必要とする低解像度の画像を指すことができ、これは、生体（例えば、人またはペット）内のターゲット部位または臓器のＣＴ画像、ＭＲＩ画像、ＰＥＴ画像またはＰＥＴ／ＣＴ画像、例えば、人間の胸部ＣＴ画像を含むことができ、セキュリティ検査物品のＣＴ画像等を指すこともできるが、これらに限定されない。

【0044】

ターゲット再構成モデル中の第１の畳み込み層を呼び出して、再構成しようとする画像から浅層特徴として第１の特徴ベクトルの複数のセットを抽出し、また抽出された浅層特徴をＲｅｓＮｅｔモジュールに送信する。例えば、第１の畳み込み層は、その内部の事前に設定された３×３のサイズの畳み込みカーネルに従って、再構成しようとする画像から１２８セットの第１の特徴ベクトルを含む浅層特徴を抽出し、また当該浅層特徴を処理なしでＲｅｓＮｅｔモジュールに直接送信することができる。

【0045】

Ｓ３：ターゲット再構成モデル中のＲｅｓＮｅｔモジュールを呼び出して、浅層特徴から中間層特徴を取得する。

【0046】

畳み込みモジュールが浅層特徴を出力した後、ＲｅｓＮｅｔモジュールを呼び出して、畳み込みモジュールによって出力される浅層特徴から中間層特徴を取得することができる。具体的には、ＲｅｓＮｅｔモジュール中の複数の残差ユニットを呼び出して、第１の畳み込み層によって出力される浅層特徴から第２の特徴ベクトルの複数のセットを取得し、また得られた第２の特徴ベクトルの複数のセットおよび浅層特徴を加算して中間層特徴を取得し、最後に得られた中間層特徴を第１の送信層を介してＤｅｎｓｅモジュールに送信することができる。

【0047】

Ｓ４：ターゲット再構成モデル中のＤｅｎｓｅＮｅｔモジュールを呼び出して、中間層特徴から深層特徴を取得する。

【0048】

ＲｅｓＮｅｔモジュールが中間層特徴を出力した後、ＤｅｎｓｅＮｅｔモジュールを呼び出して、中間層特徴から深層特徴を取得することができる。具体的には、ＤｅｎｓｅＮｅｔモジュール中の複数のｄｅｎｓｅブロックを呼び出して、中間層特徴から第３の特徴ベクトルの複数のセットを取得し、また得られた第３の特徴ベクトルの複数のセットおよび中間層特徴を加算して深層特徴を取得し、また得られた深層特徴を第２の送信層を介して第２の畳み込み層に送信することができる。

【0049】

ｄｅｎｓｅブロックの第３の特徴ベクトルを取得する方法の具体的なプロセスに関しては、先行技術の説明を参照することができ、ここでは繰り返さない。

【0050】

ＤｅｎｓｅＮｅｔモジュールを呼び出して、中間層特徴を処理することにより、特徴ベクトルに対する多重化を実現し、画像中のすべての特徴情報を保存することができるため、後の再構成画像の信頼性を向上させることができる。

【0051】

Ｓ５：ターゲット再構成モデル中の第２の畳み込み層を呼び出して、深層特徴に対して画像再構成して再構成しようとする画像の再構成画像を取得する。

【0052】

ＤｅｎｓｅＮｅｔモジュールが深層特徴を出力した後、第２の畳み込み層を呼び出して、深層特徴に対して画像再構成して再構成しようとする画像の再構成画像を取得することができ、取得された再構成画像は、超解像度の画像と見なすことができる。畳み込み層が深層特徴に対して画像再構成を実行する方法の具体的なプロセスに関しては、先行技術の関連する説明を参照することができ、ここでは繰り返さない。

【0053】

本出願の別の実施例において、図６に示されるように、深層特徴を取得した後、当該画像再構成方法は、次の段階をさらに含む。

【0054】

Ｓ４５：ターゲット再構成モデル中のサブピクセル畳み込み層を呼び出して、ＤｅｎｓｅＮｅｔモジュールによって出力される深層特徴に対してアップサンプリング処理し、またアップサンプリング処理後の深層特徴を第２の畳み込み層に送信する。

【0055】

ＤｅｎｓｅＮｅｔモジュールが深層特徴を出力した後、サブピクセル畳み込み層を呼び出して、当該深層特徴に対してアップサンプリング処理して深層特徴のサイズを拡大してから、拡大されたサイズの深層特徴を第２の畳み込み層に送信することができる。

【0056】

サブピクセル畳み込み層を呼び出して深層特徴のサイズを拡大することにより、後の再構成画像の解像度を向上させることができる。

【0057】

上記の説明から、本出願の実施例は、ターゲット再構成モデルにおける第１の畳み込み層、ネットワーク残差モジュール、Ｄｅｎｓｅモジュールおよび第２の畳み込み層を順次に使用して、再構成しようとする画像に対して画像再構成処理することにより、超解像度の再構成画像を取得し、これにより、再構成画像の解像度を向上させ、ユーザーの体験を向上させることができることが分かる。また、ターゲット再構成モデルを使用して、再構成しようとする画像に対して画像再構成処理して、データ処理速度を向上させることができる。さらに、再構成しようとする画像は、患者のＣＴ画像またはＰＥＴ画像等であり得るため、本出願の実施例で提供される技術的解決策を使用することによって超解像度の再構成画像が取得され、これは、医師が患者を診断するのに効果的に役立つ。

【0058】

図７に示されるように、本出願の一実施例は、トレーニングされたターゲット再構成モデルが設置される、画像再構成装置をさらに提供し、当該ターゲット再構成モデルは、第１の畳み込み層、ＲｅｓＮｅｔモジュール、ＤｅｎｓｅＮｅｔモジュールおよび第２の畳み込み層を含み、当該画像再構成装置は、
第１の畳み込み層を呼び出して、取得された再構成しようとする画像中の浅層特徴を抽出する抽出ユニット７１０と、
ＲｅｓＮｅｔモジュールを呼び出して、浅層特徴から中間層特徴を取得する第１の取得ユニット７２０と、
ＤｅｎｓｅＮｅｔモジュールを呼び出して、中間層特徴から深層特徴を取得する第２の取得ユニット７３０と、および
第２の畳み込み層を呼び出して、深層特徴に対して画像再構成して再構成しようとする画像の再構成画像を取得する画像再構成ユニット７４０とを含むことができる。

【0059】

別の実施例において、当該画像再構成装置は、ターゲット再構成モデル中のサブピクセル畳み込み層を呼び出して、ＤｅｎｓｅＮｅｔモジュールによって出力される深層特徴に対してアップサンプリング処理するように構成される、アップサンプリング処理ユニット（図示せず）をさらに含むことができる。

【0060】

上記のユニットの具体的な説明に関しては、上記の方法の実施例における段階Ｓ１～Ｓ５の説明を参照することができ、ここでは繰り返さない。

【0061】

上記の装置は、呼び出しユニットを使用して、再構成しようとする画像に対して画像再構成処理することにより、再構成画像の解像度を向上させることができ、データ処理速度を向上させることもできる。
図８は、一実施例におけるコンピューターデバイスの構造模式図を示す。当該コンピューターデバイスは、具体的には、図１の端末１００であり得る。図８に示されるように、当該コンピューターデバイスは、システムバスによって接続されるプロセッサ、メモリ、ネットワークインターフェース、入力装置およびディスプレイを含む。ここで、メモリは、不揮発性記憶媒体および内部メモリを含む。当該コンピューターデバイスの不揮発性記憶媒体には、オペレーティングシステムが保存され、コンピュータープログラムがさらに保存されることができ、当該コンピュータープログラムがプロセッサによって実行される場合、プロセッサは、上記の実施例で説明された画像再構成方法を実行させることができる。当該内部メモリには、コンピュータープログラムが保存されることもでき、当該コンピュータープログラムがプロセッサによって実行される場合、上記の実施例で説明された画像再構成方法を実行させる。

【0062】

図９は、別の実施例におけるコンピューターデバイスの構造模式図を示す。当該コンピューターデバイスは、具体的には、図１のサーバー２００であり得る。図９に示されるように、当該コンピューターデバイスは、システムバスによって接続されるプロセッサ、メモリおよびネットワークインターフェースを含む。ここで、メモリは、不揮発性記憶媒体および内部メモリを含む。当該コンピューターデバイスの不揮発性記憶媒体には、オペレーティングシステムが保存され、コンピュータープログラムがさらに保存されることができ、当該コンピュータープログラムがプロセッサによって実行される場合、プロセッサは、上記の実施例で説明された画像再構成方法を実行させることができる。当該内部メモリには、コンピュータープログラムが保存されることもでき、当該コンピュータープログラムがプロセッサによって実行される場合、上記の実施例で説明された画像再構成方法を実行させる。

【0063】

当業者は、図８および図９に示される構造は、本出願の解決策に関連する構造の一部のブロック図にすぎず、本出願の解決策が適用されるコンピューターデバイスに対する限定を構成するものではなく、具体的なコンピューターデバイスは、図に示されているよりも多いまたは少ないコンポーネントを含むか、または特定のコンポーネントを組み合わせるか、または異なるコンポーネントの構成を有することができることを理解することができる。

【0064】

一実施例において、図１０に示されるように、本出願は、画像処理システムをさらに提供し、当該画像処理システムは、図８または図９のコンピューターデバイスおよびそれに接続される検出デバイスを含むことができ、当該検出デバイスは、ターゲット対象（例えば、人、ペットまたはセキュリティ検査物品等）に対して放射線検出することによって再構成しようとする画像を取得し、かつ取得された再構成画像をコンピューターデバイスに提供するために使用されることができる。当該検出デバイスは、放射性光線を検出できる任意のデバイスであり得、例えば、ＣＴスキャナー、ＭＲＩスキャナー、ＰＥＴ検出器またはＰＥＴ／ＣＴデバイス等を含み得るが、これらに限定されない。

【0065】

一実施例において、本出願は、コンピューター可読記憶媒体をさらに提供し、当該コンピューター可読記憶媒体には、コンピュータープログラムが保存され、当該コンピュータープログラムが実行される場合、上記の方法の実施例で説明された対応する機能実現することができる。当該コンピュータープログラムは、図８または図９に示されるようなコンピューターデバイスで実行されることができる。当該コンピューターデバイスのメモリは、当該装置を構成する個々のプログラムモジュールを含み、各プログラムモジュールによって構成されるコンピュータープログラムが実行される場合、上記の実施例で説明された画像再構成方法における各段階に対応する機能を実現することができる。

【0066】

当業者は、上記の実施例の方法におけるプロセスの全部または一部が、コンピュータープログラムを介して、関連するハードウェアに指示することによって実施されることができることを理解することができ、前記プログラムは、不揮発性コンピューター読み取り可能記憶媒体に保存されることができ、当該プログラムが実行される場合、上記の各方法の実施例の流れを含むことができる。ここで、本出願で提供される各実施例で使用されるメモリ、記憶媒体、データベースまたは他の媒体への任意の参照は、いずれも不揮発性および／または揮発性メモリを含むことができる。不揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部キャッシュメモリを含むことができる。限定でない説明として、ＲＡＭは、例えば、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、およびメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）等の様々な形式が得られることができる。

【0067】

上記の実施例で説明されるシステム、デバイス、装置、ユニット等は、具体的には、半導体チップ、コンピューターチップおよび／またはエンティティによって、または特定の機能を有する製品によって実現されることができる。説明の便宜上、上記の装置を説明する時、機能は、様々なユニットに分割され、それぞれ説明される。もちろん、本出願を実施する場合、各ユニットの機能を一つまたは複数のチップで実現することができる。

【0068】

本出願は、上記の実施例またはフローチャートに記載の方法の操作段階を提供したが、従来的または創造的な作業なしで、前記方法は、より多くのまたはより少ない操作段階を含むことができる。論理的に必要な印加関係が存在しない段階において、これらの段階の実行順序は、本出願の実施例で提供される実行順序に限定されない。

【0069】

本明細書の各実施例は、いずれも漸進的方式で説明され、各実施例の間の同じおよび類似の部分は、互いに参照されることができ、各実施例で重点的に説明されるのは、他の実施例との違いである。さらに、上記の実施例の各技術的特徴は、任意に組み合わせることができ、説明を簡潔にするために、上記の実施例における各技術的特徴のすべての可能な組み合わせに対して説明せず、しかしながら、これらの技術的特徴の組み合わせに矛盾がない限り、すべて本明細書の説明の範囲内であると見なされるべきである。

【0070】

上記の実施例は、当業者による本出願の理解および使用を容易にするために説明される。これらの実施例に様々な修正を容易に行うことができ、本明細書に記載の一般的原理を創造的労力なしに他の実施例に適用できることは当業者には明らかであろう。従って、本出願は、上記の実施例に限定されず、本出願の範囲から逸脱することなく本出願の開示に従って当業者によって行われた改善および修正は、すべて本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】