▶ シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッドの特許一覧
特表2023-522818画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-01
(54)【発明の名称】画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230525BHJP
G06V 10/82 20220101ALI20230525BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022551056
(86)(22)【出願日】2021-08-25
(85)【翻訳文提出日】2022-08-24
(86)【国際出願番号】 CN2021114518
(87)【国際公開番号】W WO2022205754
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】202110341708.3
(32)【優先日】2021-03-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】519290264
【氏名又は名称】シャンハイ センスタイム インテリジェント テクノロジー カンパニー リミテッド
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】シュー ルー
(72)【発明者】
【氏名】レン スージエ
(72)【発明者】
【氏名】ジョウ ムー
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA06
5L096BA13
5L096EA39
5L096FA06
5L096FA34
5L096FA69
5L096GA30
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
本願は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供し、ここで、画像最適化モデルの訓練方法は、第１サンプル画像及び第２サンプル画像を取得することであって、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得することと、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得することと、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。このようにして、画像最適化品質を向上させることができ、低線量ＣＴ画像の最適化に適用して、低線量ＣＴ画像の最適化品質を向上させることができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
電子機器が実行する、画像最適化モデルの訓練方法であって、第１サンプル画像及び第２サンプル画像を取得することであって、前記第１サンプル画像及び前記第２サンプル画像は、同じオブジェクトを含み、且つ前記第２サンプル画像の画質は、前記第１サンプル画像の画質より良好であることと、
画像最適化モデルに基づいて前記第１サンプル画像を最適化して、サンプル最適化画像を取得することと、
前記第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得することと、
前記第２サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得することであって、前記第２サンプル画素点及び第３サンプル画素点は、いずれも前記第１サンプル画素点に対応することと、及び
前記第１損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整することと、を含む、前記画像最適化モデルの訓練方法。
【請求項2】
前記第２サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得することは、前記構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することと、
前記少なくとも１つの所定の構造の損失関数をそれぞれ使用して、前記第２サンプル画素点及び前記第３サンプル画素点を処理して、前記少なくとも１つの所定の構造のサブ損失値を取得することと、及び
前記少なくとも１つの所定の構造の重み係数を使用して、前記少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、前記第１損失値を取得することと、を含む、
請求項１に記載の画像最適化モデルの訓練方法。
【請求項3】
前記少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも１つを含み、前記構造的特徴情報は、強度及び相関度を含み、前記サイドバンド構造及び前記細粒構造には、画素値の急激な変化が存在し、前記サイドバンド構造には、エッジ方向の相関が存在し、前記強度は、前記画素値の急激な変化が存在する可能性を表し、前記相関度は、前記エッジ方向の相関が存在する可能性を表し、且つ前記相関度は、前記サイドバンド構造の重み係数と正の相関関係を有し、前記強度は、前記細粒構造の重み係数と正の相関関係を有する、請求項２に記載の画像最適化モデルの訓練方法。
【請求項4】
前記構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することは、第１調整係数に基づいて、前記フラット構造の重み係数を取得すること、
前記強度に基づいて、前記細粒構造の重み係数を取得すること、
前記相関度と第２調整係数の積に基づいて、前記サイドバンド構造の重み係数を取得することのうちの少なくとも１つを含む、
請求項２又は３に記載の画像最適化モデルの訓練方法。
【請求項5】
前記少なくとも１つの所定の構造の損失関数をそれぞれ使用して、前記第２サンプル画素点及び前記第３サンプル画素点を処理して、前記少なくとも１つの所定の構造のサブ損失値を取得することは、第１損失関数によって取得された前記第２サンプル画素点と、前記第３サンプル画素点との第１の差に基づいて、前記フラット構造の第１サブ損失値を決定することであって、前記第１の差は、前記第１サブ損失値と正の相関関係を有すること
第２損失関数によって取得された前記第２サンプル画素点と、前記第３サンプル画素点との第２の差に基づいて、前記サイドバンド構造の第２サブ損失値を決定することであって、前記第２の差は、前記第２サブ損失値と正の相関関係を有すること
第３損失関数によって取得された前記第２サンプル画像における前記第２サンプル画素点を含む局所領域と、前記サンプル最適化画像における前記第３サンプル画素点を含む局所領域との類似度に基づいて、前記細粒構造の第３サブ損失値を決定することであって、前記類似度は、前記第３サブ損失値と負の相関関係を有することのうちの少なくとも１つを含む、
請求項２ないし４のいずれか一項に記載の画像最適化モデルの訓練方法。
【請求項6】
前記第１損失値は、前記少なくとも１つの所定の構造の重み係数によって、前記少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、前記第１サンプル画像の前記第１サンプル画素点の第１損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整することは、
前記所定の構造の重み係数が所定の閾値より低い場合、前記所定の閾値より低い重み係数が属する前記所定の構造を、目標構造として使用することと、
前記目標構造の損失関数を使用して、前記第３サンプル画素点及び前記第２サンプル画素点を処理して、前記第１サンプル画素点の第２損失値を取得することと、
各前記第１サンプル画素点の第１損失値及び第２損失値に基づいて、前記画像最適化モデルの総損失値を取得することと、
前記総損失値を使用して、前記画像最適化モデルのネットワークパラメータを調整することと、を含む、
請求項１ないし５のいずれか一項に記載の画像最適化モデルの訓練方法。
【請求項7】
前記第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得することは、前記第２サンプル画像における前記第２サンプル画素点を含む局所領域の、第１方向での第１勾配情報及び第２方向での第２勾配情報をそれぞれ抽出することと、
前記第１勾配情報及び前記第２勾配情報に基づいて、前記構造的特徴情報を取得することと、を含む、
請求項１ないし６のいずれか一項に記載の画像最適化モデルの訓練方法。
【請求項8】
前記第１サンプル画像及び前記第２サンプル画像は、いずれも医用画像であり、且つ前記第１サンプル画像は、低線量ＣＴ画像を含み、前記第２サンプル画像は、通常線量ＣＴ画像を含み、及び／又は、前記第１サンプル画像における前記第１サンプル画素点の位置情報と、前記第２サンプル画像における前記第２サンプル画素点の位置情報が同じである場合、前記第１サンプル画素点及び前記第２サンプル画素点は、前記オブジェクト上の同じ３次元ポイントに対応し、
及び／又は、前記第２サンプル画像における第２サンプル画素点を含む局所領域は、前記第２サンプル画素点を中心とする画像領域である、
請求項１ないし７のいずれか一項に記載の画像最適化モデルの訓練方法。
【請求項9】
電子機器が実行する、画像最適化方法であって、最適化される画像を取得することと、
画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得することであって、ここで、前記画像最適化モデルは、請求項１ないし８のいずれか一項に記載の画像最適化モデルの訓練方法を使用することによって取得されるものであることと、を含む、前記画像最適化方法。
【請求項10】
前記画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得することは、前記画像最適化モデルを使用して、前記最適化対象の画像に対して予測を実行して、前記最適化対象の画像の各第１画素点の最適化パラメータを取得することと、
各前記第１画素点の最適化パラメータをそれぞれ使用して、前記第１画素点に対して最適化を実行して、前記最適化された画像を取得することと、含む、
請求項９に記載の画像最適化方法。
【請求項11】
前記最適化パラメータは、所定のサイズの畳み込みカーネルを含み、前記各前記第１画素点の最適化パラメータをそれぞれ使用して、前記第１画素点に対して最適化を実行して、前記最適化された画像を取得することは、各前記第１画素点の畳み込みカーネルをそれぞれ使用して、前記最適化対象の画像における前記第１画素点を含む画像領域を処理して、前記最適化された画像内の、前記第１画素点に対応する第２画素点を取得することを含み、
前記画像領域のサイズは、前記所定のサイズである、
請求項１０に記載の画像最適化方法。
【請求項12】
画像最適化モデルの訓練装置であって、第１サンプル画像及び第２サンプル画像を取得するように構成される画像取得モジュールであって、前記第１サンプル画像及び前記第２サンプル画像は、同じオブジェクトを含み、且つ前記第２サンプル画像の画質は、前記第１サンプル画像の画質より良好である、画像取得モジュールと、
画像最適化モデルに基づいて前記第１サンプル画像を最適化して、サンプル最適化画像を取得するように構成される画像最適化モジュールと、
前記第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、前記第２サンプル画素点、前記構造的特徴情報、及び前記サンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得するように構成される損失計算モジュールであって、前記第２サンプル画素点及び第３サンプル画素点は、いずれも前記第１サンプル画素点に対応する、損失計算モジュールと、
前記第１損失値に基づいて、前記画像最適化モデルのネットワークパラメータを調整するように構成されるパラメータ調整モジュールと、を備える、前記画像最適化モデルの訓練装置。
【請求項13】
画像最適化装置であって、最適化対象の画像を取得するように構成される画像取得モジュールと、
画像最適化モデルを使用して前記最適化対象の画像を最適化して、最適化された画像を取得するように構成される画像最適化モジュールであって、前記画像最適化モデルは、請求項１２に記載の画像最適化モデルの訓練装置を使用することによって取得されるものである、画像最適化モジュールと、を備える、前記画像最適化装置。
【請求項14】
相互に結合されているメモリとプロセッサを備え、前記プロセッサは、前記メモリに記憶されたプログラムを実行することにより、請求項１ないし８のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項９ないし１１のいずれか一項に記載の画像最適化方法を実行する、電子機器。
【請求項15】
プロセッサによって実行されるときに、請求項１ないし８のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項９ないし１１のいずれか一項に記載の画像最適化方法を実行させるプログラム命令を記憶する、コンピュータ可読記憶媒体。
【請求項16】
電子機器で実行されるときに、電子機器のプロセッサが請求項１ないし８のいずれか一項に記載の画像最適化モデルの訓練方法、又は請求項９ないし１１のいずれか一項に記載の画像最適化方法を実行するコンピュータ可読コードを含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、２０２１年０３月３０日に中国特許局に提出された、出願番号が２０２１１０３４１７０８．３であり、出願人が「上海商湯智能科技有限公司」であり、発明の名称が「画像最適化方法及び関連モデルの訓練方法並びに関連装置、機器」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。
本願は、２０２１年０３月３０日に中国特許局に提出された、出願番号が２０２１１０３４１７０８．３であり、出願人が「上海商湯智能科技有限公司」であり、発明の名称が「画像最適化方法及び関連モデルの訓練方法並びに関連装置、機器」である中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照により本願に組み込まれる。
【0002】
本願は、人工知能技術の分野に関し、特に、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムに関する。
【背景技術】
【0003】
電子情報技術の発展に伴い、画像データはビデオ監視や医療検査などの多くのシナリオに適用されている。例えば、医療検査のシナリオにおいて、コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像は、補助診断や手術計画などの臨床診療に不可欠な部分になっている。その中でも、低線量ＣＴ（ＬＤＣＴ：Ｌｏｗ－Ｄｏｓｅ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像は、放射線量が少ないため、人的被害を大幅に軽減するなどの優れたメリットがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願実施例は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供する。
【課題を解決するための手段】
【0005】
本願実施例は、電子機器によって実行される画像最適化モデルの訓練方法を提供し、前記方法は、第１サンプル画像及び第２サンプル画像を取得することであって、ここで、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より良好であることと、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得することと、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得することであって、ここで、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応することと、及び第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。
【0006】
したがって、第１サンプル画像及び第２サンプル画像を取得し、且つ第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得し、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得し、且つ第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、それにより、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質が良好な第２サンプル画像における第１サンプル画素点に対応する第２サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得し、それにより、第１損失値の精度を向上させることができ、且つ第１サンプル画素点の第１損失値はすべて、対応する第２サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
【0007】
いくつかの実施例では、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得することは、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することと、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得することと、及び、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１損失値を取得することと、を含む。
【0008】
したがって、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することにより、重み係数の精度を向上させることができ、同時に、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得し、これに基づいて、次に、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１損失値を取得し、即ち、第１サンプル画素点の第１損失値は、少なくとも１つの所定の構造の重み係数と、少なくとも１つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるものであるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
【0009】
いくつかの実施例では、少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも１つを含み、構造的特徴情報は、強度及び相関度を含み、ここで、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にある。
【0010】
したがって、少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも１つを含み、構造的特徴情報は、強度及び相関度を含み、且つサイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にあるので、構造的特徴情報に基づいて重み係数を正確に決定することができる。
【0011】
いくつかの実施例では、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することは、第１調整係数に基づいて、フラット構造の重み係数を取得すること、強度に基づいて、細粒構造の重み係数を取得すること、相関度と第２調整係数の積に基づいて、サイドバンド構造の重み係数を取得することのうちの少なくとも１つを含む。
【0012】
したがって、第１調整係数に基づいて、フラット構造の重み係数を取得し、強度に基づいて、細粒構造の重み係数を取得し、及び相関度と第２調整係数の積に基づいて、サイドバンド構造の重み係数を取得することにより、第１調整係数及び第２調整係数に基づいて、第１損失値における、異なる所定の構造のサブ損失値の相対的な割合を調整することができ、第１損失値の精度を向上させることができる。
【0013】
いくつかの実施例では、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得することは、第１損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第１の差に基づいて、フラット構造の第１サブ損失値を決定すること、第２損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第２の差に基づいて、サイドバンド構造の第２サブ損失値を決定すること、第３損失関数によって取得された第２サンプル画像における第２サンプル画素点を含む局所領域と、サンプル最適化画像における第３サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第３サブ損失値を決定することのうちの少なくとも１つを含み、ここで、第１の差は、第１サブ損失値と正の相関関係にあり、第２の差は、第２サブ損失値と正の相関関係にあり、類似度は、第３サブ損失値と負の相関関係にある。
【0014】
したがって、第１損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第１の差に基づいて、フラット構造の第１サブ損失値を決定し、第１の差は、第１サブ損失値と正の相関関係にあり、それにより、フラット構造の第１サブ損失値の精度を向上させることができ、第２損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第２の差に基づいて、サイドバンド構造の第２サブ損失値を決定し、且つ第２の差は、第２サブ損失値と正の相関関係にあり、それにより、サイドバンド構造の第２サブ損失値の精度を向上させることができ、及び第３損失関数によって取得された第２サンプル画像における第２サンプル画素点を含む局所領域と、サンプル最適化画像における第３サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第３サブ損失値を決定し、且つ類似度は、第３サブ損失値と負の相関関係にあり、それにより、第３サブ損失値の精度を向上させることができる。
【0015】
いくつかの実施例では、第１損失値は、少なくとも１つの所定の構造の重み係数によって、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することは、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を、目標構造として使用することと、目標構造の損失関数を使用して、第３サンプル画素点及び第２サンプル画素点を処理して、第１サンプル画素点の第２損失値を取得することと、各第１サンプル画素点の第１損失値及び第２損失値に基づいて、画像最適化モデルの総損失値を取得することと、及び、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することと、を含む。
【0016】
したがって、第１損失値は、少なくとも１つの所定の構造の重み係数によって、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであるので、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を目標構造として使用し、これに基づいて、目標構造の損失関数を使用して、第３サンプル画素点及び第２サンプル画素点を処理して、第１サンプル画素点の第２損失値を取得し、それにより、各第１サンプル画素点の第１損失値及び第２損失値に基づいて、画像最適化モデルの総損失値を取得し、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することができ、したがって、特定の所定の構造の重み係数が低い場合、当該所定の構造のサブ損失値の割合を適当に増やすことができ、総損失値の精度を向上し、さらに、画像最適化モデルの精度を向上させることができる。
【0017】
いくつかの実施例では、第２サンプル画像における第１サンプル画素点に対応する第２サンプル画素点を含む局所領域の構造的特徴情報を取得することは、第２サンプル画像における第２サンプル画素点を含む局所領域の、第１方向における第１勾配情報及び第２方向における第２勾配情報をそれぞれ抽出することと、及び、第１勾配情報及び第２勾配情報に基づいて、構造的特徴情報を取得することと、を含む。
【0018】
したがって、第２サンプル画像における第２サンプル画素点を含む局所領域の、第１方向における第１勾配情報及び第２方向における第２勾配情報をそれぞれ抽出し、上記の第１勾配情報及び第２勾配情報に基づいて、構造的特徴情報を取得することにより、構造的特徴情報の精度を向上させることができる。
【0019】
いくつかの実施例では、第１サンプル画像及び第２サンプル画像は、いずれも医用画像であり、且つ第１サンプル画像は、低線量ＣＴ画像を含み、第２サンプル画像は、通常線量ＣＴ画像を含み、及び／又は、第１サンプル画像における第１サンプル画素点の位置情報と、第２サンプル画像における第２サンプル画素点の位置情報が同じである場合、第１サンプル画素点及び第２サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応し、及び／又は、第２サンプル画像における第２サンプル画素点を含む局所領域は、第２サンプル画素点を中心とする画像領域である。
【0020】
したがって、第１サンプル画像及び第２サンプル画像の両方を医用画像として設定し、且つ第１サンプル画像は、低線量ＣＴ画像を含み、第２サンプル画像は、通常線量のＣＴ画像を含むことにより、訓練のプロセスで、通常線量のＣＴ画像を使用して画像最適化モデルの訓練を監視し、最終的に訓練して取得された画像最適化モデルを、低線量ＣＴ画像の最適化に適用し、一方、第１サンプル画像における第１サンプル画素点の位置情報と、第２サンプル画像における第２サンプル画素点の位置情報が同じである場合、第１サンプル画素点と第２サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応し、即ち、第１サンプル画像の第１サンプル画素点と第２サンプル画像の第２サンプル画素点は、同じ位置が１対１で対応する関係を有し、それにより、画像最適化モデルの精度を向上させることができ、さらに、第２サンプル画像における第２サンプル画素点を含む局所領域は、第２サンプル画素点を中心とする画像領域であり、即ち、第１画素点に対応する第２画素点は、局所領域の中心に位置する場合、第２画素点が局所領域の隅に位置する場合と比較すると、局所領域における第２画素点近くの画素点の数を増やすことができ、それにより、構造的特徴情報の精度を向上させることができる。
【0021】
本願実施例は、画像最適化方法を提供し、前記方法は、最適化対象の画像を取得することと、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得することを含み、ここで、画像最適化モデルは、上記の第１態様における画像最適化モデルの訓練方法を使用することによって取得されるものである。
【0022】
したがって、最適化対象の画像を取得し、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得し、且つ画像最適化モデルは、上記の第１態様における画像最適化モデルの訓練方法を使用することによって取得されるものであるので、画像最適化の品質を向上させることができる。
【0023】
いくつかの実施例では、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得することは、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第１画素点の最適化パラメータを取得することと、各第１画素点の最適化パラメータをそれぞれ使用して、第１画素点に対して最適化を実行して、最適化された画像を取得することと、を含む。
【0024】
したがって、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第１画素点の最適化パラメータを取得し、各第１画素点の最適化パラメータをそれぞれ使用して、第１画素点に対して最適化を実行して、最適化された画像を取得し、最適化プロセスで、最適化対象の画像の各画素位置の最適化パラメータを取得できるので、一方では、各画素位置で微分最適化を実現することができ、もう一方、画像最適化モデルの解釈可能性を向上させることができる。
【0025】
いくつかの実施例では、最適化パラメータは、所定のサイズの畳み込みカーネルを含み、各第１画素点の最適化パラメータをそれぞれ使用して、第１画素点に対して最適化を実行して、最適化された画像を取得することは、各第１画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第１画素点を含む画像領域を処理して、最適化された画像内の、第１画素点に対応する第２画素点を取得することを含み、ここで、画像領域のサイズは、所定のサイズである。
【0026】
したがって、最適化パラメータは、所定のサイズの畳み込みカーネルを含み、それにより、各第１画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第１画素点を含み且つ所定のサイズである画像領域を処理して、最適化された画像内の、第１画素点に対応する第２画素点を取得し、即ち、各画素位置で、対応する畳み込みカーネルを使用して、当該画素位置を含む画像領域を処理するだけでよく、それにより、各画素位置での最適化の複雑さを軽減することができる。
【0027】
本願実施例は、画像最適化モデルの訓練装置を提供し、前記装置は、画像取得モジュール、画像最適化モジュール、損失計算モジュール、及びパラメータ調整モジュールを備え、画像取得モジュールは、第１サンプル画像及び第２サンプル画像を取得するように構成され、ここで、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、画像最適化モジュールは、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、損失計算モジュールは、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得するように構成され、ここで、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、パラメータ調整モジュールは、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
【0028】
本願実施例は、画像最適化装置を提供し、前記装置は、画像取得モジュール及び画像最適化モジュールを備え、画像取得モジュールは、最適化対象の画像を取得するように構成され、画像最適化モジュールは、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得するように構成され、ここで、画像最適化モデルは、上記の実施例のいずれかにおける画像最適化モデルの訓練装置を使用することによって取得されるものである。
【0029】
本願実施例は、相互に結合されているメモリと、プロセッサと、を備える、電子機器を提供し、プロセッサは、メモリに記憶されたプログラムを実行することにより、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
【0030】
本願実施例は、プログラム命令を記憶したコンピュータ可読記憶媒体を提供し、プログラム命令は、プロセッサによって実行されるときに、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
【0031】
本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサが、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
【0032】
本願実施例は、少なくとも画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供し、第１サンプル画像及び第２サンプル画像を取得し、且つ第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得し、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得し、且つ第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、それにより、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質の良好な第２サンプル画像における第１サンプル画素点に対応する第２サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得し、それにより、第１損失値の精度を向上させることができ、且つ第１サンプル画素点の第１損失値はすべて、対応する第２サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
【0033】
本願の実施例の技術的解決策をより明確に説明するために、以下では、実施例又は背景技術の説明に必要な図面を簡単に説明する。
【0034】
ここでの図面は、本明細書に組み込まれ、本明細書の一部を構成し、これらの図面は、本願に準拠する実施例を示し、本明細書とともに本願実施例の技術的解決策を説明するために使用される。
【図面の簡単な説明】
【0035】
【図1】本願実施例による画像最適化モデルの訓練方法のフローチャートである。
【図2】本願実施例による画像最適化モデルのフレームワークの概略図である。
【図3A】本願実施例によるフラット構造、細粒構造、及びサイドバンド構造の概略図である。
【図3B】本願実施例による画像最適化モデルの訓練方法の例示的な状態図である。
【図4】本願実施例による画像最適化モデルの訓練方法のシステムアーキテクチャの概略図である。
【図6】本願実施例による画像最適化方法のフローチャートである。
【図7】本願実施例による異なる畳み込みカーネルの可視化を示す概略図である。
【図8】本願実施例による画像最適化モデルの訓練装置のフレームワークの概略図である。
【図9】本願実施例による画像最適化装置のフレームワークの概略図である。
【図10】本願実施例による電子機器のフレームワークの概略図である。
【図11】本願実施例によるコンピュータ可読記憶媒体のフレームワークの概略図である。
【発明を実施するための形態】
【0036】
当業者が本願の技術案をよりよく理解できるようにするために、以下では、本願の実施例における図面を参照して、本願の実施例の技術的解決策について、明確且つ完全に説明するが、明らかに、説明される実施例は、本願の実施例の一部のみであり、全部の実施例ではない。本願の実施例に基づいて、創造的な作業なしに当業者によって得られた他のすべての実施例は、本願の保護範囲に含まれるものとする。
【0037】
以下では、図面を参照して、本願の実施例における解決策を詳細に説明する。
【0038】
以下の説明では、本願の実施例を完全に理解するために、特定のシステム構造、インターフェース、及び技術などの特定の詳細が提案されるが、これらは、本願の実施例を説明するためのものであり、限定するものではない。
【0039】
本明細書における「システム」及び「ネットワーク」という用語は、本明細書で常に互換可能に使用される。本明細書における「及び／又は」という用語は、関連付けられた関係についてのみ説明し、３つの関係が存在し得ることを表示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢの両方が存在する場合、Ｂが独立で存在する場合の３つの場合を表示することができる。さらに、本明細書における記号「／」は、通常、関連付けられた対象間の関係が、「又は」という関係にあることを表示する。さらに、本明細書における「複数」は、２つ又は２つ以上であることを表示する。
【0040】
【0041】
ステップＳ１１において、第１サンプル画像及び第２サンプル画像を取得する。
【0042】
本願実施例では、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より優れる。画質は、ノイズ、アーティファクトなどの観点から測定できることに留意されたい。例えば、第２サンプル画像のノイズは、第１サンプル画像のノイズより小さく、又は、第２サンプル画像のアーティファクトは、第１サンプル画像のアーティファクトより小さい。
【0043】
いくつかの実施例では、医療シナリオを例にとると、低線量でオブジェクトをスキャンして、ＬＤＣＴ画像（即ち、低線量ＣＴ画像）を第１サンプル画像として取得し、通常線量でオブジェクトをスキャンして、ＮＤＣＴ画像（即ち、通常線量のＣＴ画像）を第２サンプル画像として取得することができる。例えば、３０ミリアンペア（ｍＡ）、９０ｍＡ、１５０ｍＡ、２１０ｍＡなどをＬＤＣＴ電流として使用し、２７０ｍＡなどをＮＤＣＴ電流として使用することができ、ここでは限定しない。又は、所定のシナリオを例にとると、標準解像度のレンズでオブジェクトを撮影して取得された撮影画面を、第１サンプル画像として使用し、高解像度のレンズでオブジェクトを撮影して取得された撮影画面を第２サンプル画像として使用することができる。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
【0044】
いくつかの実施例では、第１サンプル画像及び第２サンプル画像を取得する複雑さを軽減するために、まず、第２サンプル画像を取得し、第２サンプル画像に対してノイズ処理を実行して、第１サンプル画像を取得することもできる。引き続き、医療シナリオを例にとると、通常線量でオブジェクトをスキャンして、ＮＤＣＴ画像を第２サンプル画像として取得し、ＮＤＣＴ画像に対してノイズ処理を実行して、第１サンプル画像を取得することができ、又は、所定のシナリオを例にとると、高解像度のレンズでオブジェクトを撮影して撮影画面を第２サンプル画像として取得し、モニタリング画面に対してノイズ処理を実行して、第１サンプル画像を取得することができる。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
【0045】
いくつかの実施例では、前述のように、第１サンプル画像及び第２サンプル画像は、実際の適用シナリオに応じて設定でき、これに基づいて、第１サンプル画像及び第２サンプル画像に含まれる同じオブジェクトも実際の適用シナリオに基づいて設定することができる。引き続き医療シナリオを例にとると、第１サンプル画像及び第２サンプル画像に含まれる同じオブジェクトは、骨格、及び肝臓、脾臓、胆嚢、膵臓、胃などの臓器を含み得るが、これらに限定されない。他のシナリオもこのように類推でき、ここでは繰り返して説明しない。
【0046】
いくつかの実施例では、訓練の精度を向上させるために、第１サンプル画像における第１サンプル画素点の位置情報と、第２サンプル画像における第２サンプル画素点の位置情報が同じである場合、第１サンプル画素点と第２サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応する。例えば、第１サンプル画像における第ｉ行第ｊ列に位置する第１サンプル画素点と、第２サンプル画像における第ｉ行第ｊ列に位置する第２サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応する。したがって、第１サンプル画像の第１サンプル画素点と第２サンプル画像の第２サンプル画素点は、同じ位置が１対１で対応する関係を有し、画像最適化モデルの精度を向上させることができる。
【0047】
ステップＳ１２において、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得する。
【0048】
一実装シナリオにおいて、第１サンプル画像を画像最適化モデルに入力して、サンプル最適化画像を取得でき、即ち、画像最適化モデルは、第１サンプル画像に対して直接最適化を実行して、サンプル最適化画像を取得することができる。画像最適化モデルは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを含み得るが、ここでは限定しない。
【0049】
別の実装シナリオにおいて、画像最適化モデルの解釈可能性を向上させるために、画像最適化モデルを使用して第１サンプル画像に対して予測を実行して、第１サンプル画像の各第１サンプル画素点のサンプル最適化パラメータを取得し、これに基づいて、各第１サンプル画素点のサンプル最適化パラメータをそれぞれ使用して第１サンプル画素点に対して最適化を実行して、サンプル最適化画像を取得することができる。画像最適化モデルは、カーネル予測ネットワーク（ＫＰＮ：Ｋｅｒｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｎｅｔｗｏｒｋ）などを含み得るが、ここでは限定しない。
【0050】
いくつかの実施例では、図２を参照すると、図２は、本願実施例による画像最適化モデルのフレームワークの概略図である。図２に示されるように、画像最適化モデルは、予測サブネットワークを含み、予測サブネットワークを使用して、第１サンプル画像に対して予測を実行して、第１サンプル画像の各第１サンプル画素点のサンプル最適化パラメータを取得することができる。図２に示されるように、予測サブネットワークは、順次接続された畳み込み層、活性化層、畳み込み層、少なくとも１つの残差ブロック、畳み込み層、活性化層、畳み込み層、及び正規化指数関数（ｓｏｆｔｍａｘ）を含み得る。ここで、１番目及び２番目の畳み込み層は、いずれも３＊３の畳み込みカーネルを含み、且つｇｒｏｕｐパラメータは、２、又は１などの他の値に設定することができ、ここでは限定しない。残差ブロックの構築方法については、ここでは詳しく説明しない。さらに、残差ブロックの後の畳み込み層はすべて、１＊１の畳み込みカーネルを含む。活性化層は、線形整流関数（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）であり得る。少なくとも１つの残差ブロックは、２４個であり得、実際の応用に応じて２５、２６などの他の値に設定することができ、ここでは限定しない。
【0051】
いくつかの実施例では、サンプル最適化パラメータは、所定のサイズの畳み込みカーネルを含み得、例えば、ｋ＊ｋの畳み込みカーネルであり得、当該畳み込みカーネルには、ｋ＊ｋ個の重みが含まれる。第１サンプル画像のサイズがＷ＊Ｈ＊Ｃである場合を例にとると、ここで、Ｗは、幅を表し、Ｈは、高さを表し、Ｃは、カラーチャネルの数を表し、第１サンプル画像を画像最適化モデルに入力して、第１サンプル画像の各第１サンプル画素点のサンプル最適化パラメータを取得でき、即ち、各第１サンプル画素点のｋ＊ｋの候補畳み込みカーネルを取得でき、したがって、上記の第１サンプル画像Ｘを画像最適化モデルＦに入力して、出力
を取得でき、出力Ｚは、
として表すことができ、即ち、第１サンプル画像の各カラーチャネルの第１サンプル画素点ごとに、ｋ＊ｋの候補畳み込みカーネルを取得することができる。特に、第１サンプル画像Ｘがシングルチャネル画像の場合、出力Ｚは、
として表すことができる。図２を参照すると、図２に示されるように、上記の出力を取得した後、ｓｏｆｔｍａｘを使用して、上記の出力に対して正規化処理を実行して、各ｋ＊ｋの候補畳み込みカーネルＶは、合計が１になるように拘束され、ｋ＊ｋの畳み込みカーネルを取得でき、即ち、各ｋ＊ｋ畳み込みカーネルのすべての重みの合計は１である。したがって、畳み込みカーネルを使用して局所畳み込みを実行する後続のプロセスにおいて、局所畳み込み出力結果の一貫性を向上させることができる。
【0052】
いくつかの実施例では、ｋ＊ｋの畳み込みカーネルの場合、ｋ＝２＊ｒ＋１であり、ここで、ｒは、畳み込みカーネルの半分のサイズを表す。引き続き図２を参照すると、画像最適化モデルは、畳み込みサブネットワークを更に含み得、各第１サンプル画素点の畳み込みカーネルを取得した後、また、畳み込みサブネットワークに基づいて、各第１サンプル画素点の畳み込みカーネルをそれぞれ使用して、第１サンプル画素点に対して局所畳み込みを実行して、サンプル最適化画像を取得することもできる。例えば、畳み込みサブネットワークは、局所畳み込み層を含み、局所畳み込みのプロセスにおいて、第１サンプル画素点の畳み込みカーネルを使用して、第１サンプル画像における第１サンプル画素点を含み且つ所定のサイズ（即ち、ｋ＊ｋ）である画像領域に対して畳み込み処理を実行して、サンプル最適化画像内の、第１サンプル画素点に対応する第３サンプル画素点を取得することができる。さらに、当該画像領域の中心は、第１サンプル画素点であり得る。説明の便宜上、第１サンプル画像Ｘの第ｍ行第ｎ列の第１サンプル画素点を例にとると、当該第１サンプル画素点に対応する第３サンプル画素点の画素値は、下記式（１）で表すことができる。
【0053】
【0054】
上記の式（１）において、
は、局所畳み込み動作を表し、ｓ、ｔの値の範囲は、いずれも－ｒ～ｒであり、即ち、画像領域で１つの画素点を選択し、第１サンプル画像Ｘにおける当該画素点の行数からｍを引いたのはｓであり、第１サンプル画像Ｘにおける当該画素点の列数からｎを引いたのはｔであることを表し、
は、第１サンプル画素点（ｍ，ｎ）の畳み込みカーネルの
番目の重みを表す。上記の式（１）に示されるように、第１サンプル画像Ｘの第１サンプル画素点（ｍ，ｎ）の場合、第１サンプル画像から第１サンプル画素点（ｍ，ｎ）を中心として、１つの所定のサイズ（即ち、ｋ＊ｋ）の画像領域を選択し、画像領域の第ｉ行第ｊ列の画素点と、第１サンプル画素点（ｍ，ｎ）の畳み込みカーネルＶの第ｉ行第ｊ列の重みの積を計算し、画像領域のすべての画素点に対応して求めた積を加算して、サンプル最適化画像内の、第１サンプル画素点に対応する第２サンプル画素点の画素値
を取得することができる。
【0055】
上記の式のように、本願実施例及び後述の実施例は、特に明記しない限り、「画素点を処理する」、「画素点に対して最適化を実行する」、「画素点に対して分析を実行する」などの説明はすべて、画素点の画素値に対して処理、最適化、又は分析を実行することを表すことに留意されたい。
【0056】
ステップＳ１３において、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得する。
【0057】
本願実施例では、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応する。つまり、第２サンプル画素点、第３サンプル画素点、及び第１サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応する。いくつかの実施例では、前述のように、第１サンプル画像の第１サンプル画素点と第２サンプル画像の第２サンプル画素点は、同じ位置が１対１で対応する関係を有し、即ち、この場合、第１サンプル画像の第ｉ行第ｊ列に位置する第１サンプル画素点の場合、その対応する第２サンプル画素点も第２サンプル画像の第ｉ行第ｊ列に位置し、且つその対応する第３サンプル画素点もサンプル画像の第ｉ行第ｊ列に位置する。
【0058】
いくつかの実施例では、第２サンプル画像における第２サンプル画素点を含む局所領域の、第１方向における第１勾配情報及び第２方向における第２勾配情報をそれぞれ抽出でき、これに基づいて、第１勾配情報及び第２勾配情報に基づいて、構造的特徴情報を取得することができる。このようにして、構造的特徴情報の精度を向上させることができる。
【0059】
いくつかの実施例では、第２サンプル画素点を中心として、第２サンプル画像で１つの画像領域を、第２サンプル画素点を含む局所領域として決定することができる。説明の便宜上、当該局所領域のサイズは、
であり得る。例えば、
は、実際の応用に応じて設定でき、例えば、第２サンプル画像のサイズが大きい場合、
は、やや大きく設定することもでき、逆に、第２サンプル画像のサイズが小さい場合、
は、やや小さく設定することもでき、
の値は、ここでは限定しない。
【0060】
いくつかの実施例では、第１方向は、水平方向であり得、第２方向は、垂直方向であり得、即ち、第２サンプル画素点を含む局所領域の場合、当該局所領域における各画素点の水平方向上の第１勾配情報と垂直方向上の第２勾配情報を抽出することができる。
【0061】
いくつかの実施例では、説明の便宜上、第１サンプル画素点（ｍ，ｎ）の場合、第２サンプル画素点を含む局所領域における各画素点の水平方向上の第１勾配情報は、
として表し、垂直方向上の第２勾配情報は、
として表すことができる。ここで、第１勾配情報
は、
として表すことができ、同様に、第２勾配情報
は、
として表すことができ、
は、当該局所領域に含まれる画素点の総数を表す。これに基づいて、第１勾配情報及び第２勾配情報に基づいて、勾配行列
を取得することができる。
【0062】
【0063】
特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）を使用して、上記の勾配行列
を解いて、降順配列の特徴値
を求めることができ、即ち、特徴値
は特徴値
より大きい。特徴値
に基づいて、構造的特徴情報を取得することができる。
【0064】
いくつかの実施例では、構造的特徴情報は、強度及び相関度を含み得、ここで、強度は、画素値の急激な変化が存在する可能性を表し、且つ強度が大きいほど、画素値の急激な変化が存在する可能性は高くなり、この場合、局所領域に明らかな構造が存在する可能性は高くなり、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度が大きいほど、エッジ方向の相関が存在する可能性は高くなり、この場合、局所領域にサイドバンド構造が存在する可能性は高くなる。エッジの各セグメントは、画素値が急激に変化する少なくとも１つの位置で構成されたものであり、エッジ方向の相関関係は、エッジの２つの隣接するセグメント間の夾角が所定の条件を満たすことを表し、所定の条件は、隣接するエッジ間の夾角が所定の閾値より大きいことを含み得、所定の閾値は、１７０度、１７５度、１８０度など、１８０度に近くなるように設定でき、ここでは限定しないことに留意されたい。つまり、エッジ方向が相関である場合、各セグメントのエッジ方向は基本的に同じである。例えば、第１サンプル画素点（ｍ，ｎ）に対応する構造的特徴情報における強度と相関度は、次のように表すことができる。
【0065】
【0066】
上記の式（３）及び式（４）において、
は、強度を表し、
は、相関度を表す。
【0067】
いくつかの実施例では、前述のように、画素点に対応する構造的特徴情報は、強度及び相関度を含み得、これに基づいて、強度及び相関度に基づいて、当該画素点を含む局所領域の構造タイプを決定することができる。例えば、強度及び相関度の両方が高い場合、局所領域の構造タイプは、サイドバンド構造であると決定でき、強度が高く且つ相関度が低い場合、局所領域の構造タイプは、細粒構造であると決定でき、強度及び相関度の両方が低い場合、局所領域の構造タイプは、フラット構造であると決定できる。サイドバンド構造と細粒構造の両方に、画素値の急激な変化が存在し、即ち、両者には明らかな構造が存在し、区別としては、サイドバンド構造にエッジ方向の相関が存在するが、フラット構造には、画素値の急激な変化が存在せず、即ち、フラット構造の画素値の変化は、緩やかで、さらにほとんど変化しないことに留意されたい。
【0068】
いくつかの実施例では、図３Ａを参照すると、図３Ａは、フラット構造、細粒構造、及びサイドバンド構造の概略図である。図３Ａに示されるように、第１サンプル画像から、右下隅の長方形フレーム内の局所領域を選択し、当該局所領域は、図３Ａのサイドバンド構造に対応し、第１サンプル画像から、上部の長方形フレーム内の局所領域を選択し、当該局所領域は、図３Ａの細粒構造に対応し、及び第１サンプル画像から、左下隅の長方形フレーム内の局所領域を選択し、当該局所領域は、図３Ａのフラット構造に対応する。図３Ａのフラット構造の概略図に示されるように、局所領域における画素点の画素値は、明らかな変化はなく、このように、フラット構造には、明らかな構造は存在しなく、図３Ａの細粒構造の概略図に示されるように、局所領域における画素点の画素値には急激な変化が存在し、このように、細粒構造には、明らかな構造は存在し、図３Ａのサイドバンド構造の概略図に示されるように、局所領域における画素点の画素値には急激な変化が存在し、白い点線の各セグメントは、ピクセル値が急激に変化する少なくとも１つの位置によって形成されるエッジを表し、隣接するエッジ間の角度は１８０度に近く、このように、エッジ方向の相関が存在する。
【0069】
いくつかの実施例では、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得し、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得することができ、これに基づいて、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理を実行して、第１損失値を取得することができる。第１損失値を取得するプロセスについては、以下の本願実施例の関連する説明を参照することができる。上記の方式では、第１サンプル画素点の第１損失値は、少なくとも１つの所定の構造の重み係数と、少なくとも１つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
【0070】
いくつかの実施例では、前述のように、少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも１つを含み得、その意味については、前述の関連説明を参照することができる。
【0071】
いくつかの実施例では、前述のように、構造的特徴情報は、強度及び相関度を含み得、強度及び相関度の意味については、前述の関連説明を参照することができる。さらに、サイドバンド構造の重み係数は、相関度と正の相関関係であり得、細粒構造の重み係数は、強度と正の相関関係であり得、フラット構造には、画素値の急激な変化も、エッジ方向の相関も存在しないので、１つの固定定数をフラット構造の重み係数として設定することができる。
【0072】
いくつかの実施例では、所定の構造の損失関数実際の応用に応じて設定できる。例えば、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持する必要があり、Ｌ２損失関数は、差が大きい場合にペナルティを増やし、過度のスムージングを減らすことができるので、Ｌ２損失関数は、サイドバンド構造の損失関数として使用でき、又は、細粒構造の場合、構造類似性指数（ＳＳＩＭ：Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ ｉｎｄｅｘ）損失関数が構造類似性を高めることができることを考慮すると、ＳＳＩＭ損失関数は、細粒構造の損失関数として使用でき、又は、フラット構造の場合、Ｌ１損失関数は、Ｌ２損失関数やＳＳＩＭ損失関数などの損失関数と比較して、汚れの歪みを低減できることを考慮すると、Ｌ１損失関数は、フラット構造の損失関数として使用できる。
【0073】
いくつかの実施例では、画像最適化の平滑性を考慮せずに、構造的特徴情報に基づいて、第１サンプル画素点が属する所定の構造を決定し、第１サンプル画素点が属する所定の構造の損失関数を使用して、第２サンプル画素点及び第３サンプル画素点を処理して、第１サンプル画像の第１サンプル画素点の第１損失値を取得することもできる。
【0074】
いくつかの実施例では、前述のように、構造的特徴情報は、強度及び相関度を含み得、且つ強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、その意味については、前述の関連説明を参照することができる。これに基づいて、強度については、第１強度範囲及び第２強度範囲を設定でき、且つ第１強度範囲の上限値は、第２強度範囲の下限値よりも小さく、相関度については、第１相関度範囲、第２相関度範囲、及び第３相関度範囲に設定せき、且つ第１相関度範囲の上限値は、第２相関度範囲の下限値より小さく、第２相関度範囲の上限値は、第３相関度範囲の下限値より小さい。したがって、強度が第１強度範囲にあり、且つ相関度が第１相関度範囲にある場合、即ち、強度及び相関度の両方が低い場合、第１サンプル画素点がフラット構造に属すると決定でき、強度が第２強度範囲にあり、且つ相関度が第３相関度範囲にある場合、即ち、強度及び相関度の両方が高い場合、第１サンプル画素点がサイドバンド構造に属すると決定でき、強度が第２強度範囲にあり、且つ相関度が第２相関度範囲にある場合、即ち、強度が高く、且つ相関度が低い場合、第１サンプル画素点が細粒構造に属すると決定できる。
【0075】
いくつかの実施例では、前述のように、所定の構造の損失関数は、実際の応用に応じて設定できる。
【0076】
ステップＳ１４において、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。
【0077】
いくつかの実施例では、第１サンプル画像のすべての第１サンプル画素点の第１損失値を加算して、画像最適化モデルの総損失値を取得することができる。これに基づいて、総損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができる。
【0078】
いくつかの実施例では、第１サンプル画像のすべての第１サンプル画素点の第１損失値を加算し、加算結果の平均値を、画像最適化モデルの総損失値として使用することができる。
【0079】
いくつかの実施例では、確率的勾配降下（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、バッチ勾配降下（ＢＧＤ：Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、ミニ・バッチ勾配降下（ＭＢＧＤ：Ｍｉｎｉ－Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）などの方式を採用することができ、総損失値を使用して、画像最適化モデルのネットワークパラメータに対して調整を実行し、ここで、バッチ勾配降下は、各反復で、すべてのサンプルを使用してパラメータ更新を実行することを指し、確率的勾配降下は、各反復で、１つのサンプルを使用してパラメータ更新を実行することを指し、ミニ・バッチ勾配降下は、各反復で、サンプルのバッチを使用してパラメータ更新を実行することを指す。
【0080】
いくつかの実施例では、１つの訓練終了条件を設定することもでき、訓練終了条件を満たす場合、画像最適化モデルの訓練を終了することができる。例えば、訓練終了条件は、総損失値が所定の損失閾値未満であること、現在の訓練回数が所定の回数閾値（５００回、１０００回など）に達することを含み得、ここでは限定しない。
【0081】
いくつかの実施例では、前述のように、第１損失値は、少なくとも１つの所定の構造の重み係数によって、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり得、この場合、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値の重み係数が属する所定の構造を目標構造として使用し、目標構造の損失関数を使用して、第３サンプル画素点及び第２サンプル画素点を処理して、第１サンプル画素点の第２損失値を取得し、それにより、各第１サンプル画素点の第１損失値及び第２損失値に基づいて、画像最適化モデルの総損失値を取得し、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整することができる。上記の方式では、特定の所定の構造の重み係数が低い場合、当該所定の構造のサブ損失値の割合を適当に増やすことができ、総損失値の精度を向上し、それにより、画像最適化モデルの精度を向上させることができる。
【0082】
いくつかの実施例では、所定の閾値は、実際の状況に応じて設定でき、例えば、実際の状況に応じて０．５などに設定でき、ここでは限定しない。
【0083】
いくつかの実施例では、Ｈ＊Ｗの第１サンプル画像の場合、第１サンプル画素点（ｍ，ｎ）の第１損失値は、
として表すことができ、フラット構造の重み係数が所定の閾値より低く、且つフラット構造の損失関数がＬ１損失関数である場合、フラット構造を目標構造として使用し、Ｌ１損失関数を使用して、第２サンプル画素点の画素値
及び第３サンプル画素点の画素値
を処理して、第２損失値
を取得することができる。他の場合はこのように類推でき、ここでは繰り返して説明しない。
【0084】
いくつかの実施例では、第１サンプル画像のすべての第１サンプル画素点の第１損失値を加算し、加算結果の平均値を、画像最適化モデルの総損失値として使用することができる。引き続き前述のＨ＊Ｗの第１サンプル画像を例にとると、総損失値
は、下記式（５）で表すことができる。
【0085】
【0086】
図３Ｂを参照すると、図３Ｂは、本願実施例による画像最適化モデルの訓練方法の例示的な状態図である。図３Ｂに示されるように、第１サンプル画像が低線量ＣＴ画像であり、且つ第２サンプル画像が通常線量のＣＴ画像である場合を例にとると、画像最適化モデルの予測サブネットワークを使用して、低線量ＣＴ画像に対して予測を実行して、低線量ＣＴ画像の各第１サンプル画素点の畳み込みカーネルを取得し、各第１サンプル画素点の畳み込みカーネルをそれぞれ使用して、第１サンプル画素点に対して最適化を実行して、ノイズ除去されたＣＴ画像を取得することができる。同時に、低線量ＣＴ画像の各第１サンプル画素点に対して以下のステップを実行し、具体的には、通常線量のＣＴ画像における第１サンプル画素点に対応する第２サンプル画素点を含む局所領域に対して勾配分析を実行して、局所領域の構造的特徴情報を取得し、構造的特徴情報に基づいて、第１サンプル画素点に対応する少なくとも１つの所定の構造の重み係数を取得する。これに基づいて、各第１サンプル画素点に対して、引き続き以下のステップを実行し、具体的には、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、通常線量のＣＴ画像内の、第１サンプル画素点に対応する第２サンプル画素点及びノイズ除去されたＣＴ画像内の、第１サンプル第１サンプル画素点に対応する第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得し、次に、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１サンプル画素点の第１損失値を取得する。最後に、低線量ＣＴ画像の各第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。前述のように、画像最適化モデルは、予測サブネットワーク及び畳み込みサブネットワークを含み、畳み込みサブネットワークに含まれる局所畳み込み層は、予測して取得された畳み込みカーネル使用して局所畳み込みを実行することだけで、いかなるネットワークパラメータを含まないので、画像最適化モデルのネットワークパラメータを調整することは、予測サブネットワークのネットワークパラメータを調整することと見なすことができることに留意されたい。
【0087】
本願実施例では、第１サンプル画像及び第２サンプル画像を取得し、且つ第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、これに基づいて、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得し、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、及び第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得し、且つ第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、それにより、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することができ、構造的特徴情報は、画質の良好な第２サンプル画像における第１サンプル画素点に対応する第２サンプル画素点を含む局所領域の分析に基づいて取得されるので、構造的特徴情報の精度を確保することができ、これに基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得し、それにより、第１損失値の精度を向上させることができ、且つ第１サンプル画素点の第１損失値はすべて、対応する第２サンプル画素点を含む局所領域の構造的特徴情報を参照するので、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
【0088】
図４は、本願実施例による画像最適化モデルの訓練方法を適用可能なシステムアーキテクチャの概略図である。図４に示されるように、当該システムアーキテクチャは、サンプル画像取得端末４０１、ネットワーク４０２、及び制御端末４０３を含む。一例示的な適用をサポートするために、サンプル画像取得端末４０１と制御端末４０３は、ネットワーク４０２を介して通信接続を確立し、サンプル画像取得端末４０１は、ネットワーク４０２を介して第１サンプル画像及び第２サンプル画像を制御端末４０３に報告し、制御端末４０３は、第１サンプル画像及び第２サンプル画像に応答し、画像最適化モデルに基づいて、第１サンプル画像に対して最適化を実行して、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、次に、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得し、次に、第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整する。最後に、制御端末４０３は、調整されたネットワークパラメータをネットワーク４０２にアップロードし、調整されたネットワークパラメータを、ネットワーク４０２を介してサンプル画像取得端末４０１に送信する。
【0089】
一例として、サンプル画像取得端末４０１は、画像収集機器を含み得、制御端末４０３は、視覚情報処理機能を備えた視覚処理機器又はリモートサーバを含み得る。ネットワーク４０２は、有線又は無線接続方式を採用することができる。ここで、制御端末４０３が視覚処理機器である場合、サンプル画像取得端末４０１は、バスを介したデータ通信などの有線接続を介して視覚処理機器と通信することができ、制御端末４０３がリモートサーバである場合、サンプル画像取得端末４０１は、無線ネットワークを介してリモートサーバとデータ交換することができる。
【0090】
又は、いくつかのシーンでは、サンプル画像取得端末４０１は、ビデオ収集モジュールを備えた視覚処理機器であり得、又はカメラを備えたホストであり得る。この場合、本願の実施例における画像最適化モデルの訓練方法は、サンプル画像取得端末４０１によって実行され得、上記のシステムアーキテクチャは、ネットワーク４０２及び制御端末４０３を含まなくてもよい。
【0091】
図５を参照すると、図５は、本願実施例による図１におけるステップＳ１３のフローチャートである。図５は、第１損失値を計算するフローチャートである。図５に示されるように、第１損失値の計算方法は、以下のステップを含む。
【0092】
ステップＳ５１において、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得する。
【0093】
いくつかの実施例では、前述の本願実施例に記載されたように、少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造などのうちの少なくとも１つを含み得、ここでは限定しない。さらに、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、且つサイドバンド構造にエッジ方向の相関が存在し、その意味については、その意味については、前述の本願実施例の関連説明を参照することができる。さらに、構造的特徴情報は、強度及び相関度を含み、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、その意味については、前述の関連説明を参照することができる。これに基づいて、サイドバンド構造の重み係数は、相関度と正の相関関係にあり、即ち、相関度が大きいほど、サイドバンド構造の重み係数は大きくなり、強度は、細粒構造の重み係数と正の相関関係にあり、即ち、同度が大きいほど、細粒構造の重み係数は大きくなる。
【0094】
いくつかの実施例では、第１調整係数に基づいて、フラット構造の重み係数を取得することができる。例えば、第１調整係数は、フラット構造の重み係数として直接使用できる。さらに、第１調整係数は、実際の状況に応じて設定でき、例えば、０．３５、０．３８、０．４などに設定でき、ここでは限定しない。
【0095】
いくつかの実施例では、強度に基づいて、細粒構造の重み係数を取得することができる。例えば、強度は、細粒構造の重み係数として直接使用できる。
【0096】
いくつかの実施例では、相関度と第２調整係数の積に基づいて、サイドバンド構造の重み係数を取得することができる。例えば、相関度と第２調整係数の積は、サイドバンド構造の重み係数として直接使用できる。第２調整係数、実際の状況に応じて設定でき、例えば、１．７、１．８、１．９などに設定でき、ここでは限定しない。
【0097】
いくつかの実施例では、第１調整係数、強度、相関度と第２調整係数の積に対して正規化処理を実行し、正規化処理された第１調整係数をフラット構造の重み係数として使用し、正規化された強度を細粒構造の重み係数として使用し、及び正規化された相関度と第２調整係数の積をサイドバンド構造の重み係数として使用することもできる。説明の便宜上、第１サンプル画素点（ｍ，ｎ）の強度は、
として表し、相関度は、
として表し、第１調整係数は、
として表し、第２調整係数は、
として表し、サイドバンド構造の重み係数は、
といて記録でき、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表し、
、
、及び
は、下記式（６）で表すことができる。
【0098】
【0099】
上記の式（６）において、ｓｏｆｔｍａｘは、正規化関数を表す。
【0100】
ステップＳ５２において、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得する。
【0101】
いくつかの実施例では、第１損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第１の差に基づいて、フラット構造の第１サブ損失値を決定でき、第１の差は、第１サブ損失値と正の相関関係にあり、即ち、第１の差が大きいほど、第１サブ損失値は大きくなり、逆に、第１の差が小さいほど、第１サブ損失値は小さくなる。さらに、前述の本願実施例に記載されたように、フラット構造の場合、汚れの歪みを低減できることを考慮すると、Ｌ１損失関数は、フラット構造の損失関数として使用できる。これに基づいて、説明の便宜上、第２サンプル画素点の画素値は、
として表し、第３サンプル画素点の画素値は、
として表し、第１サブ損失値は、
として表すことができる。
【0102】
いくつかの実施例では、第２損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第２の差に基づいて、サイドバンド構造の第２サブ損失値を決定でき、且つ第２の差は、第２サブ損失値と正の相関関係にあり、即ち、第２の差が大きいほど、第２サブ損失値は大きくなり、逆に、第２の差が小さいほど、第２サブ損失値は小さくなる。さらに、前述の本願実施例に記載されたように、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持する必要があり、Ｌ２損失関数は、差が大きい場合にペナルティを増やし、過度のスムージングを減らすことができるので、Ｌ２損失関数は、サイドバンド構造の損失関数として使用できる。これに基づいて、第２サブ損失値は、
として表すことができる。
【0103】
いくつかの実施例では、第３損失関数によって取得された第２サンプル画像における第２サンプル画素点を含む局所領域と、前記サンプル最適化画像における第３サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第３サブ損失値を決定でき、且つ類似度は、第３サブ損失値と負の相関関係にあり、即ち、類似度が高いほど、第３サブ損失値は小さくなり、逆に、類似度が低いほど、第３サブ損失値は大きくなる。
【0104】
いくつかの実施例では、第２サンプル画像における第２サンプル画素点を含む局所領域は、第２サンプル画素点（ｍ，ｎ）を中心とした、所定のサイズ
（１１＊１１など）の画像領域であり得、説明の便宜上、
として表すことができ、同様に、サンプル最適化画像における第３サンプル画素点を含む局所領域は、第３サンプル画素点（ｍ，ｎ）を中心とした、所定のサイズ
（１１＊１１など）の画像領域であり得、説明の便宜上、
として表すことができる。
【0105】
いくつかの実施例では、前述の本願実施例に記載されたように、細粒構造の場合、ＳＳＩＭ損失関数が構造類似性を高めることができることを考慮すると、ＳＳＩＭ損失関数は、細粒構造の損失関数として使用できる。これに基づいて、第３サブ損失値は、
として表すことができる。
【0106】
ステップＳ５３において、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１損失値を取得する。
【0107】
前述のように、説明の便宜上、サイドバンド構造の重み係数は、
として表し、フラット構造の重み係数は、
として表し、細粒構造の重み係数は、
として表すことができ、この場合、第１損失値
は、下記式（７）で表すことができる。
【0108】
【0109】
前述の実施例とは異なり、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得することにより、重み係数の精度を向上させることができ、同時に、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得し、これに基づいて、次に、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１損失値を取得し、即ち、第１サンプル画素点の第１損失値は、少なくとも１つの所定の構造の重み係数と、少なくとも１つの所定の構造のサブ損失値を異なる程度で組み合わせることに基づいて取得されるので、各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するプロセスで、画像最適化の平滑性を向上させることができる。
【0110】
【0111】
ステップＳ６１において、最適化対象の画像を取得する。
【0112】
いくつかの実施例では、最適化対象の画像は、実際の適用シナリオに応じて設定できる。医療シナリオを例にとると、最適化対象の画像は、ＬＤＣＴ画像などを含み得るが、ここでは限定しない。
【0113】
ステップＳ６２において、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得する。
【0114】
本願実施例では、画像最適化モデルは、前述の画像最適化モデルの訓練方法を使用することによって取得できる。訓練プロセスについては、前述の本願実施例を参照することができる。
【0115】
いくつかの実施例では、前述の本願実施例に記載されたように、最適化対象の画像を画像最適化モデルに入力することができ、画像最適化モデルは、最適化された画像を直接出力して取得する。画像最適化方法については、前述の本願実施例の関連説明を参照することができる。
【0116】
いくつかの実施例では、前述の実施例に記載されたように、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第１画素点の最適化パラメータを取得することもでき、それにより、各第１画素点の最適化パラメータをそれぞれ使用して、第１画素点に対して最適化を実行して、最適化された画像を取得することができる。上記の方式では、最適化プロセスで、最適化対象の画像の各画素位置の最適化パラメータを取得できるので、一方では、各画素位置で微分最適化を実現することができ、もう一方、画像最適化モデルの解釈可能性を向上させることができる。
【0117】
いくつかの実施例では、前述の本願実施例に記載されたように、最適化パラメータは、所定のサイズの畳み込みカーネルを含み得、所定のサイズは、３＊３、５＊５、７＊７などを含み得るが、ここでは限定しない。これに基づいて、各第１画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第１画素点を含み且つ所定のサイズである画像領域を処理して、最適化された画像内の、第１画素点に対応する第２画素点を取得することができる。例えば、最適化対象の画像から、第１画素点を中心として、所定のサイズの領域を選択して、上記の画像領域を取得でき、それにより、第１画素点の畳み込みカーネルを使用して、当該画像領域に対して局所畳み込みを実行することができ、即ち、畳み込みカーネルの第ｉ行第ｊ列の重みに、画像領域の第ｉ行第ｊ列の画素点の画素値を掛けて、第ｉ行第ｊ列の画素点の重み付けられた画素値を取得し、当該画像領域内のすべての画素点の重み付けられた画素値の合計の平均値を、最適化された画像内の、第１画素点に対応する第２画素点の画素値として使用することができる。局所畳み込みのプロセスについては、前述の本願実施例の関連説明を参照することができる。
【0118】
いくつかの実施例では、前述の実施例に記載されたように、サイドバンド構造の場合、最適化プロセスではエッジのシャープネスとエッジ方向を維持することができる。したがって、第１画素点がサイドバンド構造に属する場合、第１画素点の畳み込みカーネルの中央位置の重みが最大であり、且つサイドバンドエッジの重みは、中央位置の重みより小さく、他の位置の重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが５である場合を例にとると、第１画素点がサイドバンド構造に属され、且つ当該サイドバンド構造のエッジ方向が左下から右上に４５度の方向である場合、第１画素点の畳み込みカーネルは、下記式（８）のように表すことができる。
【0119】
【0120】
図３Ａと図７を組み合わせて参照すると、図７は、本願実施例による異なる畳み込みカーネルの可視化を示す概略図である。図３Ａのサイドバンド構造の概略図に示されるように、矢印が指す画素点は、第１画素点（ｍ，ｎ）であり、引き続き図７のサイドバンド構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図７に示されるサイドバンド構造の畳み込みカーネルを使用して、図３Ａの矢印が指す第１画素点を含む画像領域に対して局所畳み込みを実行することにより、エッジのシャープネスとエッジ方向を維持することができる。
【0121】
いくつかの実施例では、前述の本願実施例に記載されたように、細粒構造の場合、最適化プロセスは、構造類似性を高めることができる。したがって、第１画素点が細粒構造に属する場合、第１画素点の畳み込みカーネルの中央位置の重みが最大であり、中央位置から離れるほど重みは小さくなり、且つ細粒構造に関連しない位置の重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが５である場合を例にとると、第１画素点が細粒構造に属する場合、第１画素点の畳み込みカーネルは、下記式（９）のように表すことができる。
【0122】
【0123】
図３Ａと図７を組み合わせて参照すると、図３Ａの細粒構造の概略図に示されるように、矢印が指す画素点は、第１画素点（ｍ，ｎ）であり、引き続き図７の細粒構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図７に示される細粒構造の畳み込みカーネルを使用して、図３Ａの矢印が指す第１画素点を含む画像領域に対して局所畳み込みを実行することにより、細粒構造にマッチングする畳み込みカーネルを使用して、細粒構造を拡張することができる。
【0124】
いくつかの実施例では、前述の本願実施例に記載されたように、フラット構造の場合、最適化プロセスは、汚れの歪みを低減することができる。したがって、第１画素点がフラット構造に属する場合、第１画素点の畳み込みカーネルの中央位置の重みが最大であり、中央位置から離れるほど重みは小さくなり、且つ畳み込みカーネルエッジの重みは、ほとんど無視できる。例えば、一般性を失うことなく、所定のサイズが５である場合を例にとると、第１画素点がフラット構造に属する場合、第１画素点の畳み込みカーネルは、下記式（１０）のように表すことができる。
【0125】
【0126】
図３Ａと図７を組み合わせて参照すると、図３Ａのフラット構造の概略図に示されるように、矢印が指す画素点は、第１画素点（ｍ，ｎ）であり、引き続き図７のフラット構造の畳み込みカーネルの概略図を参照すると、当該畳み込みカーネル
の各正方形は、畳み込みカーネルの重みを表し、且つ正方形が暗いほど、重みは小さくなる。このように、この図７に示されるフラット構造の畳み込みカーネルを使用して、図３Ａの矢印が指す第１画素点を含む画像領域に対して局所畳み込みを実行することにより、当該画像領域を平滑フィルタリングして、画像領域の汚れの歪みを低減することができる。
【0127】
本願実施例では、最適化対象の画像を取得し、画像最適化モデルを使用して最適化対象の画像を最適化することにより、最適化された画像を取得し、且つ画像最適化モデルは、上記の本願実施例における画像最適化モデルの訓練方法を使用することによって取得されるものであり、それにより、画像最適化の品質を向上させることができる。
【0128】
図８を参照すると、図８は、本願実施例による画像最適化モデルの訓練装置８０のフレームワークの概略図である。画像最適化モデルの訓練装置８０は、画像取得モジュール８１、画像最適化モジュール８２、損失計算モジュール８３、及びパラメータ調整モジュール８４を備え、
前記画像取得モジュール８１は、第１サンプル画像及び第２サンプル画像を取得するように構成され、ここで、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、
前記画像最適化モジュール８２は、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、
前記損失計算モジュール８３は、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得するように構成され、ここで、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、及び
前記パラメータ調整モジュール８４は、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
前記画像取得モジュール８１は、第１サンプル画像及び第２サンプル画像を取得するように構成され、ここで、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より良好であり、
前記画像最適化モジュール８２は、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得するように構成され、
前記損失計算モジュール８３は、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得し、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、前記第１サンプル画像の第１サンプル画素点の第１損失値を取得するように構成され、ここで、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応し、及び
前記パラメータ調整モジュール８４は、第１サンプル画像の第１サンプル画素点の第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整するように構成される。
【0129】
いくつかの実施例では、損失計算モジュール８３は、構造的特徴情報に基づいて、少なくとも１つの所定の構造の重み係数を取得するように構成される重み係数取得サブモジュールと、少なくとも１つの所定の構造の損失関数をそれぞれ使用して、第２サンプル画素点及び第３サンプル画素点を処理して、少なくとも１つの所定の構造のサブ損失値を取得するように構成されるサブ損失値取得サブモジュールと、少なくとも１つの所定の構造の重み係数を使用して、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して、第１損失値を取得するように構成される第１損失計算サブモジュールと、を備える。
【0130】
いくつかの実施例では、少なくとも１つの所定の構造は、サイドバンド構造、細粒構造、及びフラット構造のうちの少なくとも１つを含み、構造的特徴情報は、強度及び相関度を含み、ここで、サイドバンド構造及び細粒構造には、画素値の急激な変化が存在し、サイドバンド構造には、エッジ方向の相関が存在し、強度は、画素値の急激な変化が存在する可能性を表し、相関度は、エッジ方向の相関が存在する可能性を表し、且つ相関度は、サイドバンド構造の重み係数と正の相関関係にあり、強度は、細粒構造の重み係数と正の相関関係にある。
【0131】
いくつかの実施例では、重み係数取得サブモジュールはさらに、第１調整係数に基づいて、フラット構造の重み係数を取得すること、強度に基づいて、細粒構造の重み係数を取得すること、相関度と第２調整係数の積に基づいて、サイドバンド構造の重み係数を取得することのうちの少なくとも１つを実行するように構成される。
【0132】
いくつかの実施例では、サブ損失値取得サブモジュールはさらに、第１損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第１の差に基づいて、フラット構造の第１サブ損失値を決定すること、第２損失関数によって取得された第２サンプル画素点と、第３サンプル画素点との第２の差に基づいて、サイドバンド構造の第２サブ損失値を決定すること、第３損失関数によって取得された第２サンプル画像における第２サンプル画素点を含む局所領域と、サンプル最適化画像における第３サンプル画素点を含む局所領域との類似度に基づいて、細粒構造の第３サブ損失値を決定することのうちの少なくとも１つを実行するように構成され、ここで、第１の差は、第１サブ損失値と正の相関関係にあり、第２の差は、第２サブ損失値と正の相関関係にあり、類似度は、第３サブ損失値と負の相関関係にある。
【0133】
いくつかの実施例では、第１損失値は、少なくとも１つの所定の構造の重み係数によって、少なくとも１つの所定の構造のサブ損失値に対して重み付け処理をそれぞれ実行して取得されるものであり、パラメータ調整モジュール８４は、所定の構造の重み係数が所定の閾値より低い場合、所定の閾値より低い重み係数が属する所定の構造を、目標構造として使用するように構成される目標構造決定サブモジュールと、目標構造の損失関数を使用して、第３サンプル画素点及び第２サンプル画素点を処理して、第１サンプル画素点の第２損失値を取得するように構成される第２損失計算サブモジュールと、各第１サンプル画素点の第１損失値及び第２損失値に基づいて、画像最適化モデルの総損失値を取得するように構成される総損失値計算サブモジュールと、及び、総損失値を使用して、画像最適化モデルのネットワークパラメータを調整するように構成されるネットワークパラメータ調整サブモジュールと、を備える。
【0134】
いくつかの実施例では、損失計算モジュール８３は、第２サンプル画像における第２サンプル画素点を含む局所領域の、第１方向における第１勾配情報及び第２方向における第２勾配情報をそれぞれ抽出するように構成される勾配情報取得サブモジュールと、第１勾配情報及び第２勾配情報に基づいて、構造的特徴情報を取得するように構成される構造特徴取得サブモジュールと、を備える。
【0135】
いくつかの実施例では、第１サンプル画像及び第２サンプル画像は、いずれも医用画像であり、且つ第１サンプル画像は、低線量ＣＴ画像を含み、第２サンプル画像は、通常線量ＣＴ画像を含み、及び／又は、第１サンプル画像における第１サンプル画素点の位置情報と、第２サンプル画像における第２サンプル画素点の位置情報が同じである場合、第１サンプル画素点及び第２サンプル画素点は、オブジェクト上の同じ３次元ポイントに対応し、及び／又は、第２サンプル画像における第２サンプル画素点を含む局所領域は、第２サンプル画素点を中心とする画像領域である。
【0136】
図９を参照すると、図９は、本願実施例による画像最適化装置９０のフレームワークの概略図である。画像最適化装置９０は、画像取得モジュール９１及び画像最適化モジュール９２を備え、前記画像取得モジュール９１は、最適化対象の画像を取得するように構成され、前記画像最適化モジュール９２は、画像最適化モデルを使用して最適化対象の画像を最適化して、最適化された画像を取得するように構成され、ここで、画像最適化モデルは、上記の実施例のいずれかにおける画像最適化モデルの訓練方法を使用することによって取得されるものである。
【0137】
いくつかの実施例では、画像最適化モジュール９２は、画像最適化モデルを使用して最適化対象の画像に対して予測を実行して、最適化対象の画像の各第１画素点の最適化パラメータを取得するように構成されるパラメータ予測サブモジュールと、各第１画素点の最適化パラメータをそれぞれ使用して、第１画素点に対して最適化を実行して、最適化された画像を取得するように構成される画素最適化サブモジュールと、を備える。
【0138】
いくつかの実施例では、画素最適化サブモジュールは、各第１画素点の畳み込みカーネルをそれぞれ使用して、最適化対象の画像における第１画素点を含む画像領域を処理して、最適化された画像内の、第１画素点に対応する第２画素点を取得するように構成され、ここで、画像領域のサイズは、所定のサイズである。
【0139】
図１０を参照すると、図１０は、本願実施例による電子機器１００のフレームワークの概略図である。電子機器１００は、相互に結合されているメモリ１０１と、プロセッサ１０２と、を備え、前記プロセッサ１０２は、前記メモリ１０１に記憶されたプログラムを実行することにより、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。いくつかの実施例では、電子機器１００は、マイクロコンピュータ、サーバの他に、ノートブックコンピュータ、タブレットコンピュータなどのモバイルデ機器を含み得るが、ここでは限定しない。
【0140】
プロセッサ１０２は、それ自体及びメモリ１０１を制御して、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。プロセッサ１０２は、ＣＰＵ（中央処理ユニット：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも呼ばれる。プロセッサ１０２は、信号処理機能を備えた集積回路チップであり得る。プロセッサ１０２はまた、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポ―ネットなどであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、又は当該プロセッサは、任意の従来のプロセッサなどであってもよい。さらに、プロセッサ１０２は、集積回路チップによって共同で実現することができる。
【0141】
上記の技術案は、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
【0142】
図１１を参照すると、図１１は、本願実施例によるコンピュータ可読記憶媒体１１０のフレームワークの概略図である。コンピュータ可読記憶媒体１１０には、プロセッサによって実行可能なプログラム命令１１１が記憶され、プログラム命令１１１は、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行する。
【0143】
上記の技術案は、画像最適化モデルが、画像最適化プロセスで各画素位置の局所領域の構造特徴に基づいて微分最適化を実行するようにガイドでき、それにより、画像最適化の品質を向上させることができる。
【0144】
本願実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の実施例のいずれかにおける画像最適化モデルの訓練方法、又は上記の実施例のいずれかにおける画像最適化方法を実行させる。
【0145】
いくつかの実施例では、本願実施例による装置に含まれる機能又はモジュールは、上記の方法の実施例で説明された方法を実行するために用いられることができ、その具体的な実現については、上記の方法の実施例の説明を参照することができる。
【0146】
各実施例の上記の説明は、各実施例間の違いを強調する傾向があり、その同じ又は類似なところは相互に参照することができる。
【0147】
本願で提供されるいくつかの実施例では、開示された方法及び装置は、他の方式で実現できる。例えば、上記で説明された装置の実施例は例示的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際の実現では、他の分割方法があり、例えば、ユニット又はコンポーネントを別のシステムに統合又は集積したり、又は一部の特徴を無視するか実行しないことができる。なお、表示又は議論された相互結合又は直接結合又は通信接続は、いくつかのインターフェースを使用して実現することができ、装置又はユニット間の間接的な結合又は通信接続は、電気的、機械的又は他の形態であり得る。
【0148】
個別のパーツとして説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示されるパーツは、物理ユニットである場合とそうでない場合があり、１箇所に配置される場合もあれば、ネットワークユニットに分散される場合もある。実際の需要に応じて、その中のユニットの一部又は全部を選択して本実施形態における技術的解決策の目的を達成することができる。
【0149】
さらに、本願の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、又は各ユニットが物理的に別々に存在してもよく、２つ又は２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形で実現されてもよく、ソフトウェア機能ユニットの形で実現されてもよい。
【0150】
統合されたユニットがソフトウェア機能の形で実現され且つ独立した製品として販売又は使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づいて、本願の技術的解決策の本質的な部分、即ち、先行技術に貢献のある部分、又は当該技術の解決策の全部又は一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、一台のコンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであリ得る）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施形態における全部又は一部の処理を実行させるためのいくつかの命令を含む。前述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【産業上の利用可能性】
【0151】
本願実施例は、画像最適化方法、関連モデルの訓練方法、関連装置、機器及びプログラムを提供する。前記画像最適化モデルの訓練方法は、第１サンプル画像及び第２サンプル画像を取得することであって、ここで、第１サンプル画像及び第２サンプル画像は、同じオブジェクトを含み、且つ第２サンプル画像の画質は、第１サンプル画像の画質より良好であることと、画像最適化モデルに基づいて第１サンプル画像を最適化して、サンプル最適化画像を取得することと、第２サンプル画像における第２サンプル画素点を含む局所領域の構造的特徴情報を取得することと、第２サンプル画素点、構造的特徴情報、及びサンプル最適化画像の第３サンプル画素点に基づいて、第１サンプル画像の第１サンプル画素点の第１損失値を取得することであって、ここで、第２サンプル画素点及び第３サンプル画素点は、いずれも第１サンプル画素点に対応することと、及び第１損失値に基づいて、画像最適化モデルのネットワークパラメータを調整することと、を含む。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】