特表 2022-516196 画像処理及びニューラルネットワーク訓練方法、装置、機器、媒体並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-24

(54)【発明の名称】画像処理及びニューラルネットワーク訓練方法、装置、機器、媒体並びにプログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20220216BHJP

   G06T 7/00 20170101ALI20220216BHJP

【ＦＩ】

G06T7/246

G06T7/00 612

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539385

(86)(22)【出願日】2020-07-22

(85)【翻訳文提出日】2021-07-05

(86)【国際出願番号】 CN2020103635

(87)【国際公開番号】W WO2021082544

(87)【国際公開日】2021-05-06

(31)【優先権主張番号】201911050567.9

(32)【優先日】2019-10-31

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】516158932

【氏名又は名称】ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】リー ジュオウェイ

(72)【発明者】

【氏名】シア チン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096FA10

5L096FA67

5L096FA69

5L096FA81

5L096GA13

5L096GA51

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

本願の実施例は、画像処理及びニューラルネットワーク訓練方法、装置、電子機器並びにコンピュータ記憶媒体を提供する。該画像処理方法は、処理されるべき画像を取得することと、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む。

【特許請求の範囲】

【請求項1】

処理されるべき画像を取得することと、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、
前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、
前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、画像処理方法。

【請求項2】

前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、
前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択することを更に含む
請求項１に記載の画像処理方法。

【請求項3】

前記複数の分岐のうちの１つの分岐を選択することは、
前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得ることと、
前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択することと、を含む
請求項２に記載の画像処理方法。

【請求項4】

前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択することは、
前記複数の分岐から、評価値が最も高い分岐を選択することを含む
請求項３に記載の画像処理方法。

【請求項5】

選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うことであって、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有する、ことと、
画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定することと、を更に含む
請求項２から４のうちいずれか一項に記載の画像処理方法。

【請求項6】

前記画素点追跡されていない分岐を再選択することは、
前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得ることと、
画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択することと、を含む
請求項５に記載の画像処理方法。

【請求項7】

前記画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択することは、
画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択することを含む
請求項６に記載の画像処理方法。

【請求項8】

前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む
請求項５から７のうちいずれか一項に記載の画像処理方法。

【請求項9】

前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることは、
前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択することと、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定することと、を含む
請求項１から８のうちいずれか一項に記載の画像処理方法。

【請求項10】

前記追跡されるべき対象は、血管ツリーである
請求項１から９のうちいずれか一項に記載の画像処理方法。

【請求項11】

サンプル画像を取得することと、
前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行することであって、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、ことと、
追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たすまで継続することと、を含む、ニューラルネットワーク訓練方法。

【請求項12】

処理されるべき画像を取得するように構成される第１取得モジュールと、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定し、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得て、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得るように構成される第１処理モジュールと、を備える、画像処理装置。

【請求項13】

前記第１処理モジュールは更に、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択するように構成される
請求項１２に記載の画像処理装置。

【請求項14】

前記第１処理モジュールは、前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得て、前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択するように構成される
請求項１３に記載の画像処理装置。

【請求項15】

前記第１処理モジュールは、前記複数の分岐から、評価値が最も高い分岐を選択するように構成される
請求項１４に記載の画像処理装置。

【請求項16】

前記第１処理モジュールは更に、
選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うように構成され、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有し、
前記第１処理モジュールは更に、画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定するように構成される
請求項１３から１５のうちいずれか一項に記載の画像処理装置。

【請求項17】

前記第１処理モジュールは、前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得て、画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択するように構成される
請求項１６に記載の画像処理装置。

【請求項18】

前記第１処理モジュールは、画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択するように構成される
請求項１７に記載の画像処理装置。

【請求項19】

前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む
請求項１６から１８のうちいずれか一項に記載の画像処理装置。

【請求項20】

前記第１処理モジュールは、前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択し、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定するように構成される
請求項１２から１９のうちいずれか一項に記載の画像処理装置。

【請求項21】

前記追跡されるべき対象は、血管ツリーである
請求項１２から２０のうちいずれか一項に記載の画像処理装置。

【請求項22】

サンプル画像を取得するように構成される第２取得モジュールと、
前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行するように構成される第２処理モジュールであって、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、第２処理モジュールと、
追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整するように構成される調整モジュールと、
前記サンプル画像を取得するステップ、前記初期ニューラルネットワークを利用して前記サンプル画像を処理するステップ、及び前記初期ニューラルネットワークのネットワークパラメータ値を調整するステップを繰り返して実行し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たして訓練が完了したニューラルネットワークを得るまで継続するように構成される第３処理モジュールと、を備える、ニューラルネットワーク訓練装置。

【請求項23】

プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記コンピュータプログラムを実行して、請求項１から１０のうちいずれか一項に記載の画像処理方法又は請求項１１に記載のニューラルネットワーク訓練方法を実行するように構成される、電子機器。

【請求項24】

プロセッサにより実行されるときに、前記プロセッサに請求項１から１０のうちいずれか一項に記載の画像処理方法又は請求項１１に記載のニューラルネットワーク訓練方法を実現させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

【請求項25】

電子機器で実行されるときに、前記電子機器におけるプロセッサに、請求項１から１０のうちいずれか一項に記載の画像処理方法又は請求項１１に記載のニューラルネットワーク訓練方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年１０月３１日に中国特許局に提出された出願番号２０１９１１０５０５６７．９の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、映像分析技術に関し、画像処理及びニューラルネットワーク訓練方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムに関するが、これらに限定されない。

【背景技術】

【0003】

関連技術において、血管ツリーのような追跡されるべき対象に対して画素点抽出を行うことは、追跡されるべき対象に対する更なる検討に寄与する。例えば、心臓の冠動脈、脳血管などの複雑な血管に対して、血管画像画素点抽出を如何に行うかは、検討のホットスポットとなっている。しかしながら、関連技術において、追跡されるべき対象の画素点追跡及び抽出を如何に実現させるかは、解決しようとする技術的課題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願の実施例は、画像処理及びニューラルネットワーク訓練方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムを提供することが望ましい。

【課題を解決するための手段】

【0005】

本願の実施例は、画像処理方法を提供する。前記画像処理方法は、
処理されるべき画像を取得することと、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、
前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、
前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む。

【0006】

上記から分かるように、本願の実施例において、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0007】

本願の幾つかの実施例において、上記画像処理方法は、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択することを更に含む。

【0008】

上記から分かるように、現在の画素点が、追跡されるべき対象における各分岐同士の交差点に位置するかどうかを判定することで、各分岐の画素点追跡を実現させることができる。つまり、追跡されるべき対象が分岐を有する場合、本願の実施例は、追跡されるべき対象の分岐に対する画素点追跡を実現させることができる。

【0009】

本願の幾つかの実施例において、前記複数の分岐のうちの１つの分岐を選択することは、
前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得ることと、
前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択することと、を含む。

【0010】

上記から分かるように、本願の実施例において、追跡されるべき対象の交差点に対して、複数の分岐の評価値に基づいて、複数の分岐から１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0011】

本願の幾つかの実施例において、前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択することは、
前記複数の分岐から、評価値が最も高い分岐を選択することを含む。

【0012】

上記から分かるように、選択された分岐は、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0013】

本願の幾つかの実施例において、上記画像処理方法は、
選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うことであって、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有する、ことと、
画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定することと、を更に含む。

【0014】

上記から分かるように、各交差点の各分岐に対して画素点追跡を行うことで、追跡されるべき対象全体に対する画素点追跡タスクを実現させることができる。

【0015】

本願の幾つかの実施例において、画素点追跡されていない分岐を再選択することは、
前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得ることと、
画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択することと、を含む。

【0016】

上記から分かるように、本願の実施例において、追跡されるべき対象の、画素点追跡されていない交差点に対して、画素点追跡されていない各分岐の評価値に基づいて、画素点追跡されていない各分岐から、１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0017】

本願の幾つかの実施例において、画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択することは、
画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択することを含む。

【0018】

上記から分かるように、選択された分岐は、画素点追跡されていない各分岐のうち、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0019】

本願の幾つかの実施例において、前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む。

【0020】

追跡されるべき対象の末端は予めマーキングされてもよい。追跡した次の画素点が、事前決定された追跡されるべき対象の末端に位置する場合、対応する分岐に対して画素点追跡を行う必要がないことを表す。この場合、対応する分岐に対する画素点追跡を中止することができる。これにより、画素点追跡の正確性を向上させることができる。画素点の空間エントロピー値は、画素点の不安定性を表すことができる。画素点の空間エントロピー値が高いほど、画素点の不安定性が高くなることを表す。現在分岐が、画素点追跡に適しない場合、交差点に移行して画素点追跡を継続することができる。これにより、画素点追跡の正確性を向上させることができる。Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きい場合、最近の数回で得られた追跡ルートの振動幅が大きいことを表す。従って、追跡した画素点の正確性が低い。この場合、対応する分岐に対する画素点追跡を中止することで、画素点追跡の正確性を向上させることができる。

【0021】

本願の幾つかの実施例において、少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることは、
前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択することと、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定することと、を含む。

【0022】

上記から分かるように、次の画素点は、選択されるべき画素点のうち、評価値が最も高い画素点である。画素点の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、得られた次の画素点は、より正確である。

【0023】

本願の幾つかの実施例において、前記追跡されるべき対象は、血管ツリーである。

【0024】

上記から分かるように、本願の実施例において、血管ツリーに対して、選択されるべき画素点の評価値に基づいて、現在の画素点から、次の画素点を決定することができる。つまり、血管ツリーに対する画素点追跡及び抽出を正確に実現させることができる。

【0025】

本願の実施例は、ニューラルネットワーク訓練方法を更に提供する。前記ニューラルネットワーク訓練方法は、
サンプル画像を取得することと、
前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行することであって、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、ことと、
追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整することと、
上記ステップを繰り返して実行し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たして訓練が完了したニューラルネットワークを得るまで継続することと、を含む。

【0026】

上記から分かるように、本願の実施例において、ニューラルネットワークを訓練する場合、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在の画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。これにより、訓練が完了したニューラルネットワークは、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0027】

本願の実施例は、画像処理装置を更に提供する。前記装置は、第１取得モジュールと、第１処理モジュールと、を備え、
第１取得モジュールは、処理されるべき画像を取得するように構成され、
第１処理モジュールは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定し、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得て、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得るように構成される。

【0028】

上記から分かるように、本願の実施例において、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0029】

本願の幾つかの実施例において、前記第１処理モジュールは更に、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択するように構成される。

【0030】

上記から分かるように、現在の画素点が、追跡されるべき対象における各分岐同士の交差点に位置するかどうかを判定することで、各分岐の画素点追跡を実現させることができる。つまり、追跡されるべき対象が分岐を有する場合、本願の実施例は、追跡されるべき対象の分岐に対する画素点追跡を実現させることができる。

【0031】

本願の幾つかの実施例において、前記第１処理モジュールは、前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得て、前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択するように構成される。

【0032】

上記から分かるように、本願の実施例において、追跡されるべき対象の交差点に対して、複数の分岐の評価値に基づいて、複数の分岐から１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0033】

本願の幾つかの実施例において、前記第１処理モジュールは、前記複数の分岐から、評価値が最も高い分岐を選択するように構成される。

【0034】

上記から分かるように、選択された分岐は、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0035】

本願の幾つかの実施例において、前記第１処理モジュールは更に、
選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うように構成され、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有し、
前記第１処理モジュールは更に、画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定するように構成される。

【0036】

上記から分かるように、各交差点の各分岐に対して画素点追跡を行うことで、追跡されるべき対象全体に対する画素点追跡タスクを実現させることができる。

【0037】

本願の幾つかの実施例において、前記第１処理モジュールは、前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得て、画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択するように構成される。

【0038】

上記から分かるように、本願の実施例において、追跡されるべき対象の、画素点追跡されていない交差点に対して、画素点追跡されていない各分岐の評価値に基づいて、画素点追跡されていない各分岐から、１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0039】

本願の幾つかの実施例において、前記第１処理モジュールは、画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択するように構成される。

【0040】

上記から分かるように、選択された分岐は、画素点追跡されていない各分岐のうち、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0041】

本願の幾つかの実施例において、前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む。

【0042】

追跡されるべき対象の末端は予めマーキングされてもよい。追跡した次の画素点が、事前決定された追跡されるべき対象の末端に位置する場合、対応する分岐に対して画素点追跡を行う必要がないことを表す。この場合、対応する分岐に対する画素点追跡を中止することができる。これにより、画素点追跡の正確性を向上させることができる。画素点の空間エントロピー値は、画素点の不安定性を表すことができる。画素点の空間エントロピー値が高いほど、画素点の不安定性が高くなることを表す。現在分岐が、画素点追跡に適しない場合、交差点に移行して画素点追跡を継続することができる。これにより、画素点追跡の正確性を向上させることができる。Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きい場合、最近の数回で得られた追跡ルートの振動幅が大きいことを表す。従って、追跡した画素点の正確性が低い。この場合、対応する分岐に対する画素点追跡を中止することで、画素点追跡の正確性を向上させることができる。

【0043】

本願の幾つかの実施例において、前記第１処理モジュールは、前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択し、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定するように構成される。

【0044】

上記から分かるように、次の画素点は、選択されるべき画素点のうち、評価値が最も高い画素点である。画素点の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、得られた次の画素点は、より正確である。

【0045】

本願の幾つかの実施例において、前記追跡されるべき対象は、血管ツリーである。

【0046】

上記から分かるように、本願の実施例において、血管ツリーに対して、選択されるべき画素点の評価値に基づいて、現在の画素点から、次の画素点を決定することができる。つまり、血管ツリーに対する画素点追跡及び抽出を正確に実現させることができる。

【0047】

本願の実施例は、ニューラルネットワーク訓練装置を更に提供する。前記ニューラルネットワーク訓練装置は、第２取得モジュールと、第２処理モジュールと、調整モジュールと、第３処理モジュールと、を備え、
第２取得モジュールは、サンプル画像を取得するように構成され、
第２処理モジュールは、前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行するように構成され、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含み、
調整モジュールは、追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整するように構成され、
第３処理モジュールは、前記サンプル画像を取得するステップ、前記初期ニューラルネットワークを利用して前記サンプル画像を処理するステップ、及び前記初期ニューラルネットワークのネットワークパラメータ値を調整するステップを繰り返して実行し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たして訓練が完了したニューラルネットワークを得るまで継続するように構成される。

【0048】

本願の実施例は、電子機器を更に提供する。前記電子機器は、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記コンピュータプログラムを実行して、上記いずれか１つの画像処理方法又は上記いずれか１つのニューラルネットワーク訓練方法を実行するように構成される。

【0049】

本願の実施例は、コンピュータ可読記憶媒体を更に提供する。前記コンピュータ記憶媒体に、コンピュータプログラムが記憶されており、該コンピュータプログラムがプロセッサにより実行されるときに、前記プロセッサに上記いずれか１つの画像処理方法又は上記いずれか１つのニューラルネットワーク訓練方法を実現させる。

【0050】

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、上記いずれか１つの画像処理方法又は上記いずれか１つのニューラルネットワーク訓練方法を実行させる。

【発明の効果】

【0051】

本願の実施例で提供される画像処理及びニューラルネットワーク訓練方法、装置、電子機器、コンピュータ記憶媒体並びにコンピュータプログラムによれば、処理されるべき画像を取得し、前記処理されるべき画像の血管ツリーにおける現在の画素点に基づいて、前記血管ツリーにおける少なくとも１つの選択されるべき画素点を決定し、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の血管ツリーの真値により、前記少なくとも１つの選択されるべき画素点の評価値を得て、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得る。従って、本願の実施例において、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0052】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

【図面の簡単な説明】

【0053】

【図1A】本願の実施例による画像処理方法を示すフローチャートである。

【図1B】本願の実施例の１つの適用シーンを示す概略図である。

【図2】本願の実施例によるニューラルネットワーク訓練方法を示すフローチャートである。

【図3】本願の実施例による画像処理装置の構造を示す概略図である。

【図4】本願の実施例によるニューラルネットワーク訓練装置の構造を示す概略図である。

【図5】本願の実施例による電子機器の構造を示す概略図である。

【発明を実施するための形態】

【0054】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

【0055】

以下、図面及び実施例を参照しながら、本願を更に詳しく説明する。ここで提供される実施例は、本願を解釈するためのものに過ぎず、本願を限定するものではないことを理解すべきである。なお、以下において提供される実施例は、本願の一部の実施例を実行するためのものであり、本願の全ての実施例を実行するためのものではない。矛盾しない限り、本願の実施例に記載の技術的解決手段を任意の組み合わせで実行することができる。

【0056】

本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含む方法又は装置は、明確に記載された要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このような方法又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有する方法又は装置内に、別の関連要素（例えば、方法における工程又は装置におけるユニットであり、ユニットは、例えば、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェアなどであってもよい）が更に存在することを排除しない。

【0057】

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0058】

例えば、本願の実施例で提供される画像処理及びニューラルネットワーク訓練方法は、一連の工程を含むが、本願の実施例で提供される画像処理及びニューラルネットワーク訓練方法は、記載した工程に限定されない。同様に、本願の実施例で提供される画像処理及びニューラルネットワーク訓練装置は、一連のモジュールを備えるが、本願の実施例で提供される装置は、明確に記載されたモジュールを備えるものに限定されず、関連情報の取得、又は情報に基づいた処理に必要なモジュールを更に備えてもよい。

【0059】

本願の実施例は、端末及びサーバからなるコンピュータシステムに適用され、多くの他の汎用又は専用コンピュータシステム環境又は構成と協働することができる。ここで、端末は、シンクライアント、シッククライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者向け電子製品、ネットワークパソコン、小型コンピュータシステムなどであってもよい。サーバは、サーバコンピュータシステム、小型コンピュータシステム、大型コンピュータシステム及び上記如何なるシステムを含む分散型クラウドコンピューティング技術などであってもよい。

【0060】

端末、サーバなどの電子機器は、コンピュータシステムにより実行されるコンピュータシステムによる実行可能な命令（例えば、プログラムモジュール）の一般的な内容で説明できる。一般的には、プログラムモジュールは、ルーチン、プログラム、ターゲットプログラム、ユニット、ロジック、データ構造などを含んでもよい。それらは、特定のタスクを実行するか又は特定の抽象的データタイプを実現させる。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境で実行される。分散型クラウドコンピューティング環境において、タスクは、通信ネットワークを通じてリンクされたリモート処理デバイスによって実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは、記憶装置を含むローカル又はリモートコンピューティングシステム記憶媒体に位置してもよい。

【0061】

関連技術において、深層学習及び強化学習に対する検討の進展及び普及に伴い、両者を組み合わせることで得られた深層強化学習（Ｄｅｅｐ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ：ＤＲＬ）方法は、近年来、人工知能、ロボット分野などにおいて、大きな成果を得た。例示的に、ＤＲＬ方法で血管中心線を抽出することができる。具体的には、血管中心線抽出タスクを順序決定モデルとして構築して、ＤＲＬモデルを利用して訓練学習を行うことができるが、上記血管中心線の抽出方法は、単一の血管という簡単な構造モデルのみに適用可能であり、心臓の冠動脈、脳血管などのより複雑なツリー構造を処理できない。

【0062】

上記技術的課題に対して、本願の幾つかの実施例において、画像処理方法を提供する。

【0063】

図１Ａは、本願の実施例による画像処理方法を示すフローチャートである。図１Ａに示すように、該プロセスは以下を含む。

【0064】

ステップ１０１において、処理されるべき画像を取得する。

【0065】

本願の実施例において、処理されるべき画像は、追跡されるべき対象を含む画像であってもよい。追跡されるべき対象は、複数の分岐を含んでもよい。本願の幾つかの実施例において、追跡されるべき対象が血管ツリーである。血管ツリーは、ツリー状構造を有する血管を表す。ツリー状血管は少なくとも１つの分岐点を含む。本願の幾つかの実施例において、ツリー状血管は、心臓の冠動脈、脳血管などであってもよい。処理されるべき画像は、三次元医用映像又は他のツリー状血管を含む画像であってもよい。本願の幾つかの実施例において、心臓の冠動脈に基づいて造影を行い、心臓の冠動脈を含む三次元画像を得ることができる。

【0066】

ステップ１０２において、処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する。

【0067】

ここで、追跡されるべき対象における現在の画素点は、追跡されるべき対象のいずれか１つの画素点であってもよい。本願の幾つかの実施例において、追跡されるべき対象が血管ツリーである場合、血管ツリーにおける現在の画素点は、血管ツリーのいずれか１つの点を表すことができる。本願の幾つかの実施例において、血管ツリーにおける現在の画素点は、血管ツリー中心線における画素点又は血管ツリーにおける他の画素点であってもよく、本願の実施例は、これを限定するものではない。

【0068】

本願の実施例において、追跡されるべき対象における少なくとも１つの選択されるべき画素点は、現在の画素点に隣接する画素点であってもよい。従って、処理されるべき画像の追跡されるべき対象における現在の画素点を決定した後、画素点の位置に基づいて、追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することができる。

【0069】

本願の幾つかの実施例において、事前取得された追跡されるべき対象の構造情報に基づいて、現在の画素点が所在する局所の画素点結線傾向を決定することができる。続いて、追跡されるべき対象の形状及び寸法情報に基づいて、少なくとも１つの選択されるべき画素点を算出することができる。

【0070】

ステップ１０３において、現在の画素点及び少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、少なくとも１つの選択されるべき画素点の評価値を得る。

【0071】

ここで、所定の追跡されるべき対象的真値は、事前マーキングされた追跡されるべき対象における画素点結線を表すことができる。画素点結線は、追跡されるべき対象のルート構造情報を表す。実際の適用において、追跡されるべき対象に対して、手動方式で、追跡されるべき対象のルートを表す画素点結線をマーキングすることができる。本願の幾つかの実施例において、追跡されるべき対象が血管ツリーである場合、血管ツリーの中心線をマーキングし、マーキングした血管ツリーの中心線を血管ツリーの真値とすることができる。上述において、追跡されるべき対象の真値のみに対して例示的な説明を行ったが、本願の実施例は、これに限定されない。

【0072】

本願の実施例において、選択されるべき画素点の評価値は、選択されるべき画素点を現在の画素点の次の画素点とする場合の適合度を表すことができる。実際に実施する時、所定の追跡されるべき対象の真値に基づいて、各選択されるべき画素点を次の画素点とする場合の適合度を判定することができる。選択されるべき画素点を次の画素点とする場合の適合度が高いほど、選択されるべき画素点の評価値は高くなる。本願の幾つかの実施例において、選択されるべき画素点を次の画素点とする場合、現在の画素点から次の画素点までの結線と的所定の追跡されるべき対象の真値とのマッチング程度を決定することができる。マッチング程度が高いほど、選択されるべき画素点の評価値は高くなる。

【0073】

ステップ１０４において、少なくとも１つの選択されるべき画素点の評価値に基づいて、現在の画素点に対して追跡を行い、次の画素点を得る。

【0074】

該ステップの実現形態について、例示的に、少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択し、選択した評価値が最も高い画素点を次の画素点として決定することができる。

【0075】

上記から分かるように、次の画素点は、選択されるべき画素点のうち、評価値が最も高い画素点である。画素点の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、得られた次の画素点はより正確である。

【0076】

実際の適用において、現在の画素点は、絶え間なく変動するものである。本願の幾つかの実施例において、追跡されるべき対象の開始点から、画素点を追跡することができる。つまり、追跡されるべき対象の開始点を現在の画素点として、画素点追跡により、次の画素点を得る。続いて、追跡により得られた画素点を現在の画素点として、画素点追跡を引き続き行う。これにより、ステップ１０２からステップ１０４を繰り返して実行することで、追跡されるべき対象の画素点結線を抽出することができる。

【0077】

本願の実施例において、追跡されるべき対象の開始点は、事前決定されてもよい。追跡されるべき対象の開始点は、追跡されるべき対象の入口の画素点又は追跡されるべき対象の他の画素点であってもよい。本願の幾つかの実施例において、追跡されるべき対象が血管ツリーである場合、血管ツリーの開始点は、血管ツリー入口の画素点の他の画素点であってもよい。１つの具体的な例において、血管ツリーが心臓の冠動脈である場合、血管ツリーの開始点は、心臓の冠動脈の入口の画素点であってもよい。

【0078】

本願の幾つかの実施例において、追跡されるべき対象が血管ツリーであり、且つ血管ツリーの開始点が血管ツリー入口の中心点である場合、上記画素点追跡プロセスにより、血管ツリーの中心線を抽出することができる。

【0079】

実際の適用において、ユーザにより入力された追跡されるべき対象の開始点の位置情報に基づいて、追跡されるべき対象の開始点を決定することができる。また、訓練した、追跡されるべき対象の開始点を決定するためのニューラルネットワークにより、処理されるべき画像を処理し、追跡されるべき対象の開始点の位置を得ることもできる。本願の実施例において、追跡されるべき対象の開始点を決定するためのニューラルネットワークのネットワーク構造を限定しない。

【0080】

実際の適用において、ステップ１０１からステップ１０４は、画像処理装置のプロセッサにより実現してもよい。上記画像処理装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器等であってもよい。上記プロセッサは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ：ＤＳＰＤ）、プログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。様々な電子機器について、上記プロセッサ機能を実現させるための電子素子は、他のものであってもよく、本願の実施例は、これを具体的に限定しない。

【0081】

上記から分かるように、本願の実施例において、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0082】

本願の幾つかの実施例において、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定することもできる。現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置すれば、複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、選択されるべき画素点を選択する。つまり、選択した分岐の画素点を追跡する。本願の幾つかの実施例において、複数の分岐のうちの１つの分岐を選択した後、選択した分岐に対して、ステップ１０２からステップ１０４を実行し、選択した分岐に対する画素点追跡を実現させることができる。現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置しないと、ステップ１０２からステップ１０４を直接的に実行し、現在の画素点の次の画素点を現在の画素点として決定する。

【0083】

本願の幾つかの実施例において、二値化ニューラルネットワークに基づいて、現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定することもできる。本願の実施例において、二値化ニューラルネットワークのネットワーク構造を限定しない。二値化ニューラルネットワークは、現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定することができるものであればよい。例えば、二値化ニューラルネットワークのネットワーク構造は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）等であってもよい。

【0084】

上記から分かるように、現在の画素点が、追跡されるべき対象における各分岐同士の交差点に位置するかどうかを判定することで、各分岐の画素点追跡を実現させることができる。つまり、追跡されるべき対象が分岐を有する場合、本願の実施例は、追跡されるべき対象の分岐に対する画素点追跡を実現させることができる。

【0085】

初期段階において、各交差点に対応する各分岐がいずれも画素点追跡されていない。従って、各分岐において、交差点の１つの分岐を任意に選択することができる。

【0086】

複数の分岐のうちの１つの分岐を選択するための実現形態について、例示的に、現在の画素点及び複数の分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、複数の分岐のうちの各分岐の評価値を得て、複数の分岐のうちの各分岐の評価値に基づいて、複数の分岐から１つの分岐を選択することができる。

【0087】

実際に実施する時、上記複数の分岐から、選択されるべき次の画素点をそれぞれ決定することができる。更に、次の画素点の評価値を対応する分岐の評価値とすることができる。

【0088】

上記から分かるように、本願の実施例において、追跡されるべき対象の交差点に対して、複数の分岐の評価値に基づいて、複数の分岐から１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0089】

前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から、１つの分岐を選択するための実現形態について、例示的に、上記複数の分岐から、評価値が最も高い分岐を選択することができる。

【0090】

上記から分かるように、選択された分岐は、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0091】

本願の幾つかの実施例において、選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行う。前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有する。画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定する。
実際に実施する時、現在の画素点が、追跡されるべき対象における各分岐同士の交差点に位置すると判定した場合、交差点を移行リストに追加して、追跡されるべき対象の画素点追跡プロセスにおける画素点移行に用いることができる。

【0092】

本願の幾つかの実施例において、選択した分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定した場合、移行リストから、１つの交差点を選択し、続いて、選択された交差点に、画素点追跡されていない分岐が存在するかどうかを判定する。存在すれば、該選択された交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行う。存在しなければ、該交差点を移行リストから削除することができる。

【0093】

移行リストに交差点が存在しない場合、画素点追跡が完了していない交差点が存在しないことを表す。つまり、各交差点の各分岐の画素点追跡が完了した。

【0094】

上記から分かるように、各交差点の各分岐に対して画素点追跡を行うことで、追跡されるべき対象全体に対する画素点追跡タスクを実現させることができる。

【0095】

画素点追跡されていない分岐を再選択するための実現形態について、例示的に、画素点追跡が完了していない交差点及び交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得て、画素点追跡されていない各分岐の評価値に基づいて、画素点追跡されていない各分岐から１つの分岐を選択することができる。

【0096】

実際に実施する時、交差点に対応する、画素点追跡されていない各分岐から、選択されるべき次の画素点をそれぞれ決定し、更に、次の画素点の評価値を対応する分岐の評価値とすることができる。

【0097】

上記から分かるように、本願の実施例において、追跡されるべき対象の、画素点追跡されていない交差点に対して、画素点追跡されていない各分岐の評価値に基づいて、画素点追跡されていない各分岐から、１つの分岐を選択することができる。つまり、交差点の分岐を正確かつ合理的に選択することができる。

【0098】

画素点追跡されていない各分岐の評価値に基づいて、画素点追跡されていない各分岐から１つの分岐を選択するための実現形態について、例示的に、画素点追跡されていない各分岐から、評価値が最も高い分岐を選択することができる。

【0099】

上記から分かるように、選択された分岐は、画素点追跡されていない各分岐のうち、評価値が最も高い分岐である。分岐の評価値は、追跡されるべき対象の真値に基づいて得られたものであるため、選択された分岐は、より正確である。

【0100】

本願の幾つかの実施例において、前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置すること、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいこと、
又は、Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、ことのうちの少なくとも１つを含む。

【0101】

ここで、Ｎは、第１ニューラルネットワークのハイパーパラメータである。所定の角度閾値は、実際の適用需要に応じて事前設定されてもよい。例えば、所定の角度閾値は、１０度より大きい。追跡されるべき対象の末端は予めマーキングされてもよい。追跡した次の画素点が、事前決定された追跡されるべき対象の末端に位置する場合、対応する分岐に対して画素点追跡を行う必要がないことを表す。この場合、対応する分岐に対する画素点追跡を中止することができる。これにより、画素点追跡の正確性を向上させることができる。画素点の空間エントロピー値は、画素点の不安定性を表すことができる。画素点の空間エントロピー値が高いほど、画素点の不安定性が高くなることを表す。現在分岐が、画素点追跡に適しない場合、交差点に移行して画素点追跡を継続することができる。これにより、画素点追跡の正確性を向上させることができる。Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きい場合、最近の数回で得られた追跡ルートの振動幅が大きいことを表す。従って、追跡した画素点の正確性が低い。この場合、対応する分岐に対する画素点追跡を中止することで、画素点追跡の正確性を向上させることができる。

【0102】

本願の実施例において、追跡されるべき対象の主路及び分岐に対する追跡を実現させることができる。追跡されるべき対象の主路は、追跡されるべき対象の開始点から１つ目の交差点までに追跡したルートを表す。追跡されるべき対象の主路又は各分岐に対して画素点追跡を行う場合、ＤＲＬ方法で画素点追跡を行うこともできる。

【0103】

本願の幾つかの実施例において、ＤＱＮ（Ｄｅｅｐ Ｑ－ｌｅａｒｎｉｎｇ）フレームワークを有するニューラルネットワークを利用して追跡されるべき対象の主路又は各分岐に対して画素点追跡を行うことができる。例えば、ＤＱＮフレームワークに用いられるアルゴリズムは、Ｄｏｕｂｌｅ－ＤＱＮ、Ｄｕｅｌｉｎｇ－ＤＱＮ、ｐｒｉｏｒｉｔｉｚｅｄ ｍｅｍｏｒｙ ｒｅｐｌａｙ、ｎｏｉｓｙ ｌａｙｅｒのうちの少なくとも１つを含んでもよい。次の画素点を決定した後、次の画素点の評価値に基づいて、ＤＱＮフレームワークを有するニューラルネットワークのネットワークパラメータを更新することができる。

【0104】

本願の実施例において、ＤＱＮフレームワークを有するニューラルネットワークのネットワーク構造を限定しない。例えば、ＤＱＮフレームワークを有するニューラルネットワークは、特徴サブサンプリングのための三層の畳み込み層及び二層の完全結合層を含む。

【0105】

本願の幾つかの実施例において、追跡されるべき対象の開始点を決定するための上記ニューラルネットワーク、二値型ニューラルネットワーク又はＤＱＮフレームワークを有するニューラルネットワークとして、浅層ニューラルネットワーク又は深層ニューラルネットワークを用いることができる。追跡されるべき対象の開始点を決定するためのニューラルネットワーク、二値型ニューラルネットワーク又はＤＱＮフレームワークを有するニューラルネットワークとして浅層ニューラルネットワークを用いる場合、ニューラルネットワークによるデータ処理の速度及び効率を向上させることができる。

【0106】

要するに、上記から分かるように、追跡されるべき対象の開始点を決定することで、上記画像処理方法で、追跡されるべき対象全体の画素点追跡タスクを完了することができる。更に、追跡されるべき対象の開始点を決定するためのニューラルネットワークを利用して追跡されるべき対象の開始点を決定する場合、本願の実施例は、取得された処理されるべき画像に対して、追跡されるべき対象全体の画素点追跡タスクを完了することができる。

【0107】

本願の幾つかの実施例において、心臓の冠動脈を含む処理されるべき画像を得た後、上記画像処理方法で、５秒間で、処理されるべき画像から抽出された単一の心臓の冠動脈の中心線の用途は、血管命令、構造展示などを含むが、これらに限定されない。

【0108】

図１Ｂは、本願の実施例の１つの適用シーンを示す概略図である。図１Ｂに示すように、心臓の冠動脈の血管図２１は、上記処理されるべき画像である。ここで、心臓の冠動脈の血管図２１を画像処理装置２２に入力する。画像処理装置２２において、前記実施例に記載の画像処理方法で処理を行い、心臓の冠動脈の血管図に対する画素点追跡及び抽出を実現させることができる。図１Ｂに示すシーンは、本願の実施例の１つの例示的なシーンだけであり、本願は、具体的な適用シーンを限定しない。

【0109】

上述によれば、本願の実施例は、ニューラルネットワーク訓練方法を更に提供する。図２は、本願の実施例によるニューラルネットワーク訓練方法を示すフローチャートである。図２に示すように、該プロセスは以下を含む。

【0110】

ステップ２０１において、サンプル画像を取得する。

【0111】

本願の実施例において、サンプル画像は、追跡されるべき対象を含む画像であってもよい。

【0112】

ステップ２０２において、サンプル画像を初期ニューラルネットワークに入力し、初期ニューラルネットワークを利用して下記のステップを実行し、該ステップは、処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、現在の画素点及び少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、少なくとも１つの選択されるべき画素点の評価値を得ることと、少なくとも１つの選択されるべき画素点の評価値に基づいて、現在の画素点に対して追跡を行い、現在の画素点の次の画素点を得ることと、を含む。

【0113】

本願の実施例において、初期ニューラルネットワークにより実行されるステップの実現形態は、上述において説明されたため、ここで詳細な説明を省略する。

【0114】

ステップ２０３において、追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、初期ニューラルネットワークのネットワークパラメータ値を調整する。

【0115】

該ステップの実現形態について、例示的に、追跡した各画素点の中心線及び所定の追跡されるべき対象の真値に基づいて、初期ニューラルネットワークの損失を得て、上記ニューラルネットワークの損失に基づいて、初期ニューラルネットワークのネットワークパラメータ値を調整することができる。本願の幾つかの実施例において、初期ニューラルネットワークの損失の低減を目的として、ニューラルネットワークのネットワークパラメータ値を調整する。

【0116】

実際の適用において、マーキングプラットフォームで、追跡されるべき対象の真値をマーキングして、ニューラルネットワークの訓練に用いることができる。

【0117】

ステップ２０４において、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たすかどうかを判定し、満たしていない場合、ステップ２０１からステップ２０４を再実行し、満たした場合、ステップ２０５を実行する。

【0118】

本願の実施例において、所定の精度需要は、初期ニューラルネットワークの損失に基づいて決定されてもよい。例えば、所定の精度需要は、初期ニューラルネットワークの損失が所定の損失より小さいことであってもよい。実際の適用において、所定の損失は、実際の適用需要に応じて事前設定されてもよい。

【0119】

ステップ２０５において、ネットワークパラメータ値の調整された初期ニューラルネットワークを訓練が完了したニューラルネットワークとする。

【0120】

本願の実施例において、訓練が完了したニューラルネットワークを利用して、処理されるべき画像に対して直接処理を行うことができる。つまり、処理されるべき画像における追跡されるべき対象の各画素点を追跡することができる。つまり、エンドツーエンド型訓練により、追跡されるべき対象に対して画素点を追跡するためのニューラルネットワークを得ることができる。移植性が高い。

【0121】

実際の適用において、ステップ２０１からステップ２０５は、電子機器におけるプロセッサにより実現してもよい。上記プロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つであってもよい。

【0122】

上記から分かるように、本願の実施例において、ニューラルネットワークを訓練する場合、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在の画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。これにより、訓練が完了したニューラルネットワークは、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【0123】

本願の幾つかの実施例において、初期ニューラルネットワークを利用して下記のステップを実行することもできる。サンプル画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置すれば、複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択する。つまり、選択した分岐の画素点に対して追跡を行う。具体的には、複数の分岐のうちの１つの分岐を選択した後、選択した分岐に対して、ステップ１０２からステップ１０４を実行し、選択した分岐に対する画素点追跡を実現させることができる。現在の画素点が、追跡されるべき対象における複数の分岐同士の交差点に位置しなければ、ステップ１０２からステップ１０４を直接実行し、現在の画素点の次の画素点を現在の画素点として決定する。

【0124】

本願の幾つかの実施例において、初期ニューラルネットワークを利用して下記のステップを実行することもできる。該ステップは、選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うことであって、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有する、ことと、画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定することと、を含む。

【0125】

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

【0126】

前記実施例で提供される画像処理方法によれば、本願の実施例は、画像処理装置を更に提供する。

【0127】

図３は、本願の実施例による画像処理装置の構造を示す概略図である。図３に示すように、該装置は、第１取得モジュール３０１と、第１処理モジュール３０２と、を備え、
第１取得モジュール３０１は、処理されるべき画像を取得するように構成され、
第１処理モジュール３０２は、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定し、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得て、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得るように構成される。

【0128】

本願の幾つかの実施例において、第１処理モジュール３０２は更に、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択するように構成される。

【0129】

本願の幾つかの実施例において、第１処理モジュール３０２は、前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得て、前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から１つの分岐を選択するように構成される。

【0130】

本願の幾つかの実施例において、第１処理モジュール３０２は、前記複数の分岐から、評価値が最も高い分岐を選択するように構成される。

【0131】

本願の幾つかの実施例において、第１処理モジュール３０２は更に、
選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うように構成され、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有し、
第１処理モジュール３０２は更に、画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定するように構成される。
本願の幾つかの実施例において、第１処理モジュール３０２は、前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得て、画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から１つの分岐を選択するように構成される。

【0132】

本願の幾つかの実施例において、第１処理モジュール３０２は、画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択するように構成される。

【0133】

本願の幾つかの実施例において、前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む。

【0134】

追跡されるべき対象の末端は予めマーキングされてもよい。追跡した次の画素点が、事前決定された追跡されるべき対象の末端に位置する場合、対応する分岐に対して画素点追跡を行う必要がないことを表す。この場合、対応する分岐に対する画素点追跡を中止することができる。これにより、画素点追跡の正確性を向上させることができる。画素点の空間エントロピー値は、画素点の不安定性を表すことができる。画素点の空間エントロピー値が高いほど、画素点の不安定性が高くなることを表す。現在分岐が、画素点追跡に適しない場合、交差点に移行して画素点追跡を継続することができる。これにより、画素点追跡の正確性を向上させることができる。Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きい場合、最近の数回で得られた追跡ルートの振動幅が大きいことを表す。従って、追跡した画素点の正確性が低い。この場合、対応する分岐に対する画素点追跡を中止することで、画素点追跡の正確性を向上させることができる。

【0135】

本願の幾つかの実施例において、第１処理モジュール３０２は、前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択し、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定するように構成される。

【0136】

本願の幾つかの実施例において、前記追跡されるべき対象は、血管ツリーである。

【0137】

上記第１取得モジュール３０１及び第１処理モジュール３０２はいずれも、電子機器におけるプロセッサにより実現してもよい。上記プロセッサは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つである。

【0138】

前記実施例で提供されるニューラルネットワーク訓練方法によれば、本願の実施例は、ニューラルネットワーク訓練装置を更に提供する。

【0139】

図４は、本願の実施例によるニューラルネットワーク訓練装置の構造を示す概略図である。図４に示すように、該装置は、第２取得モジュール４０１と、第２処理モジュール４０２と、調整モジュール４０３と、第３処理モジュール４０４と、を備え、
第２取得モジュール４０１は、サンプル画像を取得するように構成され、
第２処理モジュール４０２は、前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行するように構成され、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含み、
調整モジュール４０３は、追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整するように構成され、
第３処理モジュール４０４は、前記サンプル画像を取得するステップ、前記初期ニューラルネットワークを利用して前記サンプル画像を処理するステップ、及び前記初期ニューラルネットワークのネットワークパラメータ値を調整するステップを繰り返して実行し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たして訓練が完了したニューラルネットワークを得るまで継続するように構成される。

【0140】

上記第２取得モジュール４０１、第２処理モジュール４０２、調整モジュール４０３及び第３処理モジュール４０４はいずれも、電子機器におけるプロセッサにより実現してもよい。上記プロセッサは、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちの少なくとも１つである。

【0141】

また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよく、各ユニットが物理的に別個のものとして存在してもよく、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。

【0142】

上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク装置など）又プロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。

【0143】

具体的には、本実施例における画像処理方法又はニューラルネットワーク訓練方法に対応するコンピュータプログラム命令は、光ディスク、ハードディスク、ＵＳＢメモリなどの記憶媒体に記憶されてもよい。記憶媒体における、画像処理方法又はニューラルネットワーク訓練方法に対応するコンピュータプログラム命令が電子機器により読み出されるか又は実行される場合、電子機器に前記実施例のいずれか１つの画像処理方法又はいずれか１つのニューラルネットワーク訓練方法を実現させる。

【0144】

前記実施例と同様な技術的構想によれば、本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器におけるプロセッサに、前記実施例のいずれか１つの画像処理方法又はいずれか１つのニューラルネットワーク訓練方法を実行させる。

【0145】

前記実施例と同様な技術的構想によれば、図５に示すように、本願の実施例で提供される電子機器は、メモリ５０１と、プロセッサ５０２と、を備えてもよく、
前記メモリ５０１は、コンピュータプログラム及びデータを記憶するように構成され、
前記プロセッサ５０２は、前記メモリに記憶されたコンピュータプログラムを実行し、前記実施例のいずれか１つの画像処理方法又はいずれか１つのニューラルネットワーク訓練方法を実現させるように構成される。

【0146】

実際の適用において、上記メモリ５０１は、ＲＡＭのような揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、ＲＯＭ、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）又はソリッドステートドライブ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ、又は上記メモリの組み合わせであってもよい。該メモリは、プロセッサ５０２に命令及びデータを提供する。

【0147】

上記プロセッサ５０２は、ＡＳＩＣ、ＤＳＰ、ＤＳＰＤ、ＰＬＤ、ＦＰＧＡ、ＣＰＵ、コントローラ、マイクロコントローラ、マイクロプロセッサのうちのすくなくとも１つであってもよい。様々な拡張現実クラウドプラットフォームについて、上記プロセッサ機能を実現させるための電子機器は他のものであってもよく、本願の実施例は、これを具体的に限定するものではない。

【0148】

幾つかの実施例において、本願の実施例で提供される装置の機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実現は、上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

【0149】

各実施例に関する上記説明において、各実施例の相違点を強調する傾向があり、その同一あるいは類似の部分は相互参照することができる。簡潔化のために、ここで詳細な説明を省略する。

【0150】

矛盾が生じない限り、本願で提供される幾つかの方法実施例で開示された方法を互いに任意に組み合わせて、新たな方法実施例を得ることができる。

【0151】

矛盾が生じない限り、本願で提供される幾つかの製品実施例で開示された特徴を互いに任意に組み合わせて、新たな製品実施例を得ることができる。

【0152】

矛盾が生じない限り、本願で提供される幾つかの方法又は装置実施例で開示された特徴を互いに任意に組み合わせて、新たな方法実施例又は装置実施例を得ることができる。

【0153】

上記実施形態の説明により、上記実施例の方法は、ソフトウェアと必須な汎用ハードウェアプラットフォームとの組み合わせで実現することができ、勿論、ハードウェアにより実現することもできるが、多くの場合、前者は、より好適な実施形態であることを当業者が理解すべきである。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶しても良く、また、一台のコンピュータ機器（携帯電話、コンピュータ、サーバ、エアコン、又はネットワーク装置等）に、本願の各実施例に記載の方法を実行させるための若干の命令を含む。

【0154】

以上は図面を参照しながら、本願の実施形態を説明した。本願は、上記具体的な実施形態に限定されず、上記具体的な実施形態は模式的なものに過ぎず、本願を限定するものではない。当業者は、本願に基づいて、本願の要旨及び特許請求の範囲の保護範囲から逸脱することなく、多くの実施形態を想到しうる。これらは、いずれも本願の保護範囲内に含まれる。

【産業上の利用可能性】

【0155】

本願の実施例は、画像処理及びニューラルネットワーク訓練方法、装置、電子機器並びにコンピュータ記憶媒体を提供する。該画像処理方法は、処理されるべき画像を取得することと、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む。これにより、本願の実施例において、追跡されるべき対象に対して、選択されるべき画素点の評価値に基づいて、現在画素点から、次の画素点を決定することができる。つまり、追跡されるべき対象に対する画素点追跡及び抽出を正確に実現させることができる。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2021-07-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

処理されるべき画像を取得することと、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、
前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、
前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、画像処理方法。

【請求項2】

前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定する前に、
前記現在の画素点が、前記追跡されるべき対象における複数の分岐同士の交差点に位置するかどうかを判定し、前記現在の画素点が交差点に位置する場合、前記複数の分岐のうちの１つの分岐を選択し、選択した前記分岐における画素から、前記選択されるべき画素点を選択することを更に含む
請求項１に記載の画像処理方法。

【請求項3】

前記複数の分岐のうちの１つの分岐を選択することは、
前記現在の画素点及び前記複数の分岐の画素点に基づいて、前記所定の追跡されるべき対象の真値により、前記複数の分岐のうちの各分岐の評価値を得ることと、
前記複数の分岐のうちの各分岐の評価値に基づいて、前記複数の分岐から、評価値が最も高い分岐を選択することと、を含む
請求項２に記載の画像処理方法。

【請求項4】

選択された分岐の画素点に対して追跡を行い、且つ所定の分岐追跡中止要件を満たすと判定したことに応答して、画素点追跡が完了していない交差点に対して、画素点追跡されていない分岐を再選択し、選択した分岐に対して画素点追跡を行うことであって、前記画素点追跡が完了していない交差点は、画素点追跡されていない分岐を有する、ことと、
画素点追跡が完了していない交差点が存在しないことに応答して、各交差点の各分岐の画素点追跡が完了したと判定することと、を更に含む
請求項２又は３に記載の画像処理方法。

【請求項5】

前記画素点追跡されていない分岐を再選択することは、
前記画素点追跡が完了していない交差点及び前記交差点の画素点追跡されていない各分岐の画素点に基づいて、所定の追跡されるべき対象の真値により、画素点追跡されていない前記各分岐の評価値を得ることと、
画素点追跡されていない前記各分岐の評価値に基づいて、画素点追跡されていない前記各分岐から、評価値が最も高い分岐を選択することと、を含む
請求項４に記載の画像処理方法。

【請求項6】

前記所定の分岐追跡中止要件は、
追跡した次の画素点が予め決定された追跡されるべき対象の末端に位置することと、
追跡した次の画素点の空間エントロピー値が所定の空間エントロピー値より大きいことと、
Ｎ回連続して得られた追跡ルートの挟角が所定の角度閾値より大きいことであって、各回で得られた追跡ルートの挟角が、隣接した２回で得られた追跡ルートの挟角を表し、各回で得られた追跡ルートが、隣接した２回で追跡した画素点間の結線を表し、Ｎは、２以上の整数である、こととのうちの少なくとも１つを含む
請求項４又は５に記載の画像処理方法。

【請求項7】

前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることは、
前記少なくとも１つの選択されるべき画素点から、評価値が最も高い画素点を選択することと、選択した前記評価値が最も高い画素点を前記現在の画素点の次の画素点として決定することと、を含み、
前記追跡されるべき対象は、血管ツリーである
請求項１から６のうちいずれか一項に記載の画像処理方法。

【請求項8】

サンプル画像を取得することと、
前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行することであって、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、ことと、
追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たすまで継続することと、を含む、ニューラルネットワーク訓練方法。

【請求項9】

処理されるべき画像を取得するように構成される第１取得モジュールと、
前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定し、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得て、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得るように構成される第１処理モジュールと、を備える、画像処理装置。

【請求項10】

サンプル画像を取得するように構成される第２取得モジュールと、
前記サンプル画像を初期ニューラルネットワークに入力し、前記初期ニューラルネットワークを利用して下記のステップを実行するように構成される第２処理モジュールであって、該ステップは、前記処理されるべき画像の追跡されるべき対象における現在の画素点に基づいて、前記追跡されるべき対象における少なくとも１つの選択されるべき画素点を決定することと、前記現在の画素点及び前記少なくとも１つの選択されるべき画素点に基づいて、所定の追跡されるべき対象の真値により、前記少なくとも１つの選択されるべき画素点の評価値を得ることと、前記少なくとも１つの選択されるべき画素点の評価値に基づいて、前記現在の画素点に対して追跡を行い、前記現在の画素点の次の画素点を得ることと、を含む、第２処理モジュールと、
追跡した各画素点及び所定の追跡されるべき対象の真値に基づいて、前記初期ニューラルネットワークのネットワークパラメータ値を調整するように構成される調整モジュールと、
前記サンプル画像を取得するステップ、前記初期ニューラルネットワークを利用して前記サンプル画像を処理するステップ、及び前記初期ニューラルネットワークのネットワークパラメータ値を調整するステップを繰り返して実行し、ネットワークパラメータ値の調整された初期ニューラルネットワークに基づいて得られた各画素点が所定の精度要件を満たして訓練が完了したニューラルネットワークを得るまで継続するように構成される第３処理モジュールと、を備える、ニューラルネットワーク訓練装置。

【請求項11】

プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記コンピュータプログラムを実行して、請求項１から７のうちいずれか一項に記載の画像処理方法又は請求項８に記載のニューラルネットワーク訓練方法を実行するように構成される、電子機器。

【請求項12】

プロセッサにより実行されるときに、前記プロセッサに請求項１から７のうちいずれか一項に記載の画像処理方法又は請求項８に記載のニューラルネットワーク訓練方法を実現させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

【請求項13】

電子機器で実行されるときに、前記電子機器におけるプロセッサに、請求項１から７のうちいずれか一項に記載の画像処理方法又は請求項８に記載のニューラルネットワーク訓練方法を実行させるためのコンピュータ可読コードを含む、コンピュータプログラム。

【国際調査報告】