特表2022-517571 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ベイジン　センスタイム　テクノロジー　ディベロップメント　カンパニー　リミテッドの特許一覧

特表2022-517571画像処理方法及び装置、電子機器並びに記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-03-09

(54)【発明の名称】画像処理方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

G06T 7/00 20170101AFI20220302BHJP

G06N 3/04 20060101ALI20220302BHJP

【ＦＩ】

G06T7/00 350C

G06N3/04 154

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021539065

(86)(22)【出願日】2019-09-25

(85)【翻訳文提出日】2021-07-02

(86)【国際出願番号】 CN2019107844

(87)【国際公開番号】W WO2020199528

(87)【国際公開日】2020-10-08

(31)【優先権主張番号】201910258038.1

(32)【優先日】2019-04-01

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】516158057

【氏名又は名称】ベイジンセンスタイムテクノロジーディベロップメントカンパニーリミテッド

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人信栄特許事務所

(72)【発明者】

【氏名】シア，チン

(72)【発明者】

【氏名】ホアン，ニン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA06

5L096BA13

5L096DA01

5L096EA03

5L096FA06

5L096FA69

5L096HA11

5L096JA11

5L096JA13

5L096KA04

(57)【要約】

本開示は、被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ること（Ｓ１１）と、前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ること（Ｓ１２）と、前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ること（Ｓ１３）と、前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割すること（Ｓ１４）と、を含む画像処理方法及び装置、電子機器並びに記憶媒体に関する。当該方法は、１回の画像処理過程では目標対象物の位置決めと分割を同時に実現することによって、画像処理精度を向上させると共に画像処理の速度を確保することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることと、
前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることと、
前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることと、
前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割することと、を含むことを特徴とする画像処理方法。

【請求項2】

前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることは、
被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得ることを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得ることは、
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることと、を含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることは、
前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることと、
前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含むことを特徴とする請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることは、
前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得ることを含むことを特徴とする請求項４に記載の方法。

【請求項6】

前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、
前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、
前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含むことを特徴とする請求項４又は５に記載の方法。

【請求項7】

前記分割結果に基づいて、畳み込み結果において前記目標対象物に対応する位置情報を決定することは、
前記分割結果の座標位置を読み取ることと、
前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果において前記目標対象物に対応する位置情報とすることと、を含むことを特徴とする請求項６に記載の方法。

【請求項8】

前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、
前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得ることを含むことを特徴とする請求項６又は７に記載の方法。

【請求項9】

前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることは、
前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、
解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、
前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることと、を含むことを特徴とする請求項１～７のいずれか一項に記載の方法。

【請求項10】

前記分割処理は、
被分割対象をｓｏｆｔｍａｘ回帰させて、回帰結果を得ることと、
前記回帰結果に対する最大値の比較を行うことによって、前記被分割対象に対する分割処理を完了させることと、を含むことを特徴とする請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記方法は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークとを含むニューラルネットワークによって実現されることを特徴とする請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記ニューラルネットワークのトレーニング過程は、
予め設定されたトレーニングセットによって前記第１分割サブネットワークをトレーニングすることと、
前記予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって前記第２分割サブネットワークをトレーニングすることと、を含むことを特徴とする請求項１１に記載の方法。

【請求項13】

前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得る前に、
前記被処理画像を予め設定された解像度となるように調整することを更に含むことを特徴とする請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記被処理画像は３次元医用画像であることを特徴とする請求項１～１３のいずれか一項に記載の方法。

【請求項15】

被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るための畳み込みモジュールと、
前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得るための位置決めモジュールと、
前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るための逆畳み込みモジュールと、
前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割するための目標対象物取得モジュールと、を含むことを特徴とする画像処理装置。

【請求項16】

前記畳み込みモジュールは、
被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得るために用いられることを特徴とする請求項１５に記載の装置。

【請求項17】

前記畳み込みモジュールは、更に、
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、
前記畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることとに用いられることを特徴とする請求項１６に記載の装置。

【請求項18】

前記位置決めモジュールは、
前記畳み込み結果に基づいて分割処理を行って、分割結果を得るための分割サブモジュールと、
前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得るための位置決めサブモジュールと、を含むことを特徴とする請求項１５～１７のいずれか一項に記載の装置。

【請求項19】

前記分割サブモジュールは、
前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得るために用いられることを特徴とする請求項１８に記載の装置。

【請求項20】

前記位置決めサブモジュールは、
前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、
前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることとに用いられることを特徴とする請求項１８又は１９に記載の装置。

【請求項21】

前記位置決めサブモジュールは、更に、
前記分割結果の座標位置を読み取ることと、
前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果において前記目標対象物に対応する位置情報とすることとに用いられることを特徴とする請求項２０に記載の装置。

【請求項22】

前記位置決めサブモジュールは、更に、
前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得るために用いられることを特徴とする請求項２０又は２１に記載の装置。

【請求項23】

前記逆畳み込みモジュールは、
前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、
解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、
前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、
前記逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることとに用いられることを特徴とする請求項１５～２２のいずれか一項に記載の装置。

【請求項24】

前記分割処理は、
分割対象をｓｏｆｔｍａｘ回帰させて、回帰結果を得ることと、
前記回帰結果に対する最大値の比較を行うことによって、前記分割対象に対する分割処理を完了させることと、を含むことを特徴とする請求項１５～２３のいずれか一項に記載の装置。

【請求項25】

前記装置は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークと、を含むニューラルネットワークによって実現されることを特徴とする請求項１５～２４のいずれか一項に記載の装置。

【請求項26】

予め設定されたトレーニングセットによって前記第１分割サブネットワークをトレーニングすることと、
前記予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって前記第２分割サブネットワークをトレーニングすることとに用いられるトレーニングモジュールを更に含むことを特徴とする請求項２５に記載の装置。

【請求項27】

前記畳み込みモジュールの前に、
前記被処理画像を予め設定された解像度となるように調整するための解像度調整モジュールを更に含むことを特徴とする請求項１５～２６のいずれか一項に記載の装置。

【請求項28】

前記被処理画像は３次元医用画像であることを特徴とする請求項１５～２７のいずれか一項に記載の装置。

【請求項29】

プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、請求項１～１４のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。

【請求項30】

コンピュータプログラムコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項１～１４のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項31】

コンピュータにより読み取り可能なコードを含み、前記コンピュータにより読み取り可能なコードが電子機器で作動すると、前記電子機器のプロセッサに請求項１～１４のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願の相互参照＞
本願は、２０１９年４月１日に中国特許庁に提出された、出願番号２０１９１０２５８０３８．１、発明の名称「画像処理方法及び装置、電子機器並びに記憶媒体」である中国特許出願に基づく優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
＜技術分野＞
本開示は、画像処理技術に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0002】

画像技術分野において、関心領域又は目標領域を分割することは、画像分析および目標識別の基礎となっている。例えば、医用画像において、分割することによって１つ又は複数の器官又は病巣の間の境界を鮮明に識別する。３次元医用画像を的確に分割することは、様々な臨床応用において非常に重要である。

【発明の概要】

【0003】

本開示は、画像処理の技術的解決手段を提供する。

【0004】

本開示の一側面によれば、被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることと、前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることと、前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることと、前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割することと、を含む画像処理方法を提供する。

【0005】

可能となる一実施形態では、前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得ることは、被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得ることを含む。

【0006】

可能となる一実施形態では、前記被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得ることは、被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、前記畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、前記畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることと、を含む。

【0007】

可能となる一実施形態では、前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得ることは、前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることと、前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含む。

【0008】

可能となる一実施形態では、前記畳み込み結果に基づいて分割処理を行って、分割結果を得ることは、前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得ることを含む。

【0009】

可能となる一実施形態では、前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることと、を含む。

【0010】

可能となる一実施形態では、前記分割結果に基づいて、畳み込み結果において前記目標対象物に対応する位置情報を決定することは、前記分割結果の座標位置を読み取ることと、前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果において前記目標対象物に対応する位置情報とすることと、を含む。

【0011】

可能となる一実施形態では、前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることは、前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得ることを含む。

【0012】

可能となる一実施形態では、前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得ることは、前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、前記逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、前記逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることと、を含む。

【0013】

可能となる一実施形態では、前記分割処理は、被分割対象をｓｏｆｔｍａｘ回帰させて、回帰結果を得ることと、前記回帰結果に対する最大値の比較を行うことによって、前記被分割対象に対する分割処理を完了させることと、を含む。

【0014】

可能となる一実施形態では、前記方法は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークと、を含むニューラルネットワークによって実現される。

【0015】

可能となる一実施形態では、前記ニューラルネットワークのトレーニング過程は、予め設定されたトレーニングセットによって前記第１分割サブネットワークをトレーニングすることと、前記予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって前記第２分割サブネットワークをトレーニングすることと、を含む。

【0016】

可能となる一実施形態では、前記被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得る前に、前記被処理画像を予め設定された解像度となるように調整することを更に含む。

【0017】

可能となる一実施形態では、前記被処理画像は３次元医用画像である。

【0018】

本開示の一側面によれば、被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るための畳み込みモジュールと、前記畳み込み結果に基づいて、位置決め処理で位置決め結果を得るための位置決めモジュールと、前記位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るための逆畳み込みモジュールと、前記逆畳み込み結果に対して分割処理を行って、前記被処理画像から目標対象物を分割するための目標対象物取得モジュールと、を含む画像処理装置を提供する。

【0019】

可能となる一実施形態では、前記畳み込みモジュールは、被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを前記畳み込み結果として得るために用いられる。

【0020】

可能となる一実施形態では、前記畳み込みモジュールは、更に、被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、前記畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、前記畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、前記畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを前記畳み込み結果とすることとに用いられる。

【0021】

可能となる一実施形態では、前記位置決めモジュールは、前記畳み込み結果に基づいて分割処理を行って、分割結果を得るための分割サブモジュールと、前記分割結果に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得るための位置決めサブモジュールと、を含む。

【0022】

可能となる一実施形態では、前記分割サブモジュールは、前記畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得るために用いられる。

【0023】

可能となる一実施形態では、前記位置決めサブモジュールは、前記分割結果に基づいて、前記畳み込み結果において前記目標対象物に対応する位置情報を決定することと、前記位置情報に基づいて、前記畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることとに用いられる。

【0024】

可能となる一実施形態では、前記位置決めサブモジュールは、更に、前記分割結果の座標位置を読み取ることと、前記座標位置を領域中心として、前記畳み込み結果内の各解像度での特徴マップにおいて前記目標対象物全体をカバーできる領域位置をそれぞれ決定して、畳み込み結果において前記目標対象物に対応する位置情報とすることとに用いられる。

【0025】

可能となる一実施形態では、前記位置決めサブモジュールは、更に、前記位置情報に基づいて、前記畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得るために用いられる。

【0026】

可能となる一実施形態では、前記逆畳み込みモジュールは、前記位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、前記逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、前記逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、解像度が漸増する順に、前記位置決め結果のうち前記逆畳み込み対象特徴マップとなる次の特徴マップを決定することと、前記逆畳み込み処理結果と前記次の特徴マップを融合して、前記融合した結果を新たに逆畳み込み対象特徴マップとすることと、前記逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、前記逆畳み込み対象特徴マップを逆畳み込み結果とすることとに用いられる。

【0027】

【0028】

可能となる一実施形態では、前記装置は、前記被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、前記位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークと、を含むニューラルネットワークによって実現される。

【0029】

可能となる一実施形態では、前記装置は、予め設定されたトレーニングセットによって前記第１分割サブネットワークをトレーニングすることと、前記予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって前記第２分割サブネットワークをトレーニングすることとに用いられるトレーニングモジュールを更に含む。

【0030】

可能となる一実施形態では、前記畳み込みモジュールの前に、前記被処理画像を予め設定された解像度となるように調整するための解像度調整モジュールを更に含む。

【0031】

可能となる一実施形態では、前記被処理画像は３次元医用画像である。

【0032】

本開示の一側面によれば、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、上記の画像処理方法を実行するように構成される電子機器を提供する。

【0033】

本開示の一側面によれば、コンピュータプログラムコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記の画像処理方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。

【0034】

本開示の実施例では、被処理画像に対して段階的な畳み込み処理と分割処理を行って分割結果が得られ、分割結果に基づいて位置決め結果が得られ、位置決め結果に対して段階的な逆畳み込み処理を行った後、さらに分割処理を行うことによって、被処理画像から目標対象物を分割することができる。上記の過程によって、１回の画像処理の過程では目標対象物の位置決めと分割を同時に実現することができ、画像処理精度を向上させると共に画像処理の速度を確保することができる。

【0035】

以上の一般的説明と以下の詳細な説明は、例示的に解釈するためのものに過ぎず、本開示を限定するものではないと理解すべきである。本開示の他の特徴および側面は、以下の図面を参照して行う例示的な実施例に対する詳細な説明によって明らかになるであろう。

【図面の簡単な説明】

【0036】

ここにおいて組み込まれてこの明細書の一部をなすこれらの図面は、本開示に適する実施例を示すものであり、明細書と共に、本開示の技術的手段を説明するために用いられる。

【0037】

【図1】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図2】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図3】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図4】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図5】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図6】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図7】本開示の一実施例に係る画像処理方法のフローチャートを示す。

【図8】本開示の一応用例に係る模式図を示す。

【図9】本開示の一実施例に係る画像処理装置のブロック図を示す。

【図10】本開示の実施例に係る電子機器のブロック図を示す。

【図11】本開示の実施例に係る電子機器のブロック図を示す。

【発明を実施するための形態】

【0038】

以下に本開示の様々な例示的実施例、特徴および側面について図面を参照しながら詳細に説明する。図面においては、同一の符号が同一または類似の機能の要素を表す。特に断らない限り、図面において実施例の様々な側面を示すにもかかわらず、比例で図面を描く必要はない。

【0039】

ここにおいて専門的な用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」として説明されるいかなる実施例も他の実施例より優れるまたは良くなるものであると理解すべきではない。

【0040】

本明細書における用語「及び／又は」は、単に関連対象との関連関係を記述するだけであり、３つの関係が存在可能であることを示すものであり、例えば、Ａ及び／又はＢについて、Ａのみが存在し、ＡとＢがともに存在し、Ｂのみが存在するという３つの場合を表している。また、本明細書における用語「少なくとも１つ」は、複数あるうちのいずれか１つ、又は複数あるうちの少なくとも２つの任意の組み合わせを示すものであり、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことについて、Ａ、Ｂ及びＣからなる集合から選択されるいずれか１つ又は複数の要素を含むことを表している。

【0041】

また、本開示をより適切に説明するために、以下の具体的な実施形態において具体的詳細が多く与えられる。当業者であれば、本開示は何らかの具体的詳細がなくても同様に実施できると理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者が熟知している方法、手段、要素および回路については、詳細な説明を行わない。

【0042】

図１は本開示の一実施例に係る画像処理方法のフローチャートを示すものであり、この方法は画像処理装置に適用され、画像処理装置は端末装置、サーバ又は他の処理装置等であってもよい。ここで、端末装置は、ユーザ側装置（ＵｓｅｒＥｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、計算装置、車載装置、ウェアラブル装置等であってもよい。

【0043】

いくつかの可能となる実施形態では、この画像処理方法は、プロセッサによるメモリに記憶されたコンピュータにより読み取り可能なコマンドの呼び出しによって実現されてもよい。

【0044】

図１に示すように、前記画像処理方法は、
被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るステップＳ１１と、
畳み込み結果に基づいて、位置決め処理で位置決め結果を得るステップＳ１２と、
位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るステップＳ１３と、
逆畳み込み結果に対して分割処理を行って、被処理画像から目標対象物を分割するステップＳ１４と、を含む。

【0045】

本開示の実施例の画像処理方法は、段階的な畳み込み処理と分割処理によって、被処理画像における目標対象物に対して粗分割を行って、被処理画像における目標対象物の基本分布位置を反映する位置決め結果が得られ、この位置決め結果に基づいて、更に段階的な逆畳み込み処理と分割処理によって被処理画像における目標対象物の高精度分割を実現することができるものであり、この過程によって、位置決め結果を基にして目標対象物の分割が実現されることは、直接被処理画像に対して目標分割を行う場合よりも画像処理の精度を効果的に向上させることができるとともに、上記の方法は１回の画像処理過程では画像の目標の位置決めと分割をこのような前後順序に従って実現可能であり、画像の目標の位置決めと分割過程を関連付けて分析できるので、画像処理にかかる時間は減少していると共に、画像処理過程では発生可能なメモリ消費は低下している。

【0046】

ここで、本開示の実施例の画像処理方法は、３次元医用画像の処理に適用されてもよいが、例えば、医用画像における器官、病巣、組織等である目標領域を識別するように用いられる。可能となる一実施形態では、被処理画像は心臓器官の３次元医用画像であり、つまり、本開示の実施例の画像処理方法は心臓病の治療過程で利用されるものであり、一例では、この画像処理方法は、心房細動治療過程で利用され、心房画像を精確に分割することによって、心房線維化の病因を理解・分析し、更に目的となる心房細動の手術焼灼治療計画を作成して、心房細動の治療効果を向上させることができる。

【0047】

本開示の実施例の画像処理方法は３次元医用画像処理への適用に限定されず、任意の画像処理に適用されることができるが、本開示においてこれについては特に制限はないことを説明すべきである。

【0048】

可能となる一実施形態では、被処理画像には複数枚の画像が含まれ、この複数枚の画像から１つ又は複数の３次元の器官を識別することができる。

【0049】

ステップＳ１１の実現形態は、限定されるものではなく、分割処理のための特徴マップが得られるものであればよい。可能となる一実施形態では、ステップＳ１１は、被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを畳み込み結果として得ることを含んでもよい。

【0050】

少なくとも１つの解像度が漸減した特徴マップを、どのように段階的な畳み込み処理によって得るかについての具体的な処理過程も限定されるものではないが、図２は本開示の一実施例に係る画像処理方法のフローチャートを示すものであり、図示するように、可能となる一実施形態では、被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを畳み込み結果として得ることは、
被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとするステップＳ１１１と、
畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとするステップＳ１１２と、
畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを畳み込み結果とするステップＳ１１３と、を含んでもよい。

【0051】

上記のステップから分かるように、本開示の実施例では、被処理画像に対して１回の畳み込み処理を行って初期解像度での特徴マップが得られ、初期解像度での特徴マップに対して更に１回の畳み込み処理を行って次の解像度での特徴マップが得られることによって類推することができるように、被処理画像に対して複数回の畳み込み処理を行うことによって、一連の解像度が漸減した特徴マップを得ることができ、これらの特徴マップが畳み込み結果として後続ステップの実行に用いられる。この過程は、反復回数が制限されなく、得られた最小解像度の特徴マップが第１閾値に到達すると停止するようにしてもよいが、第１閾値は必要や実際の状況に応じて設定され、ここで具体的な値は限定されない。第１閾値が限定されるものではないので、得られた畳み込み結果に含まれる特徴マップの数と各特徴マップの解像度はいずれも限定されるものではなく、実際の状況に応じて具体的に選択することができる。

【0052】

可能となる一実施形態では、畳み込み処理の過程と実現の形態は限定されるものではないが、一例において、畳み込み処理の過程は、被処理対象の畳み込み、プーリング、バッチ正規化（ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ）又はパラメトリック正規化線形ユニット（ＰＲｅＬＵ、ＰａｒａｍｅｔｒｉｃＲｅｃｔｉｆｉｅｄＬｉｎｅａｒＵｎｉｔ）の１つ又は複数を含んでもよい。一例において、３ＤＵ－Ｎｅｔ完全畳み込みニューラルネットワークにおけるエンコーダ構造を用いて実現してもよく、一例において、Ｖ－Ｎｅｔ完全畳み込みニューラルネットワークにおけるエンコーダ構造によって実現してもよい。本開示は、畳み込み処理の具体的な形態を制限しない。

【0053】

畳み込み結果に基づいて、位置決め処理で位置決め結果を得る過程には様々な実現の形態が存在するが、図３は本開示の一実施例に係る画像処理方法のフローチャートを示すものであり、図示するように、可能となる一実施形態では、ステップＳ１２は、
畳み込み結果に基づいて分割処理を行って、分割結果を得るステップＳ１２１と、
分割結果に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得るステップＳ１２２と、を含んでもよい。

【0054】

ステップＳ１２１の過程も限定されるものではないが、上記開示の実施例から分かるように、畳み込み結果には複数枚の特徴マップが含まれるので、分割結果が畳み込み結果におけるどの特徴マップに対して分割処理を行って得られたものであるかは、実際の状況に応じて決定することができる。可能となる一実施形態では、ステップＳ１２１は、畳み込み結果のうち解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得ることを含んでもよい。

【0055】

分割処理の処理形態は限定されるものではなく、特徴マップから目標を分割できるあらゆる形態が本開示の例における分割処理の方法としてもよい。

【0056】

可能となる一実施形態では、分割処理は、ｓｏｆｔｍａｘ層によって画像分割を実現してもよいが、具体的な過程は、被分割対象をｓｏｆｔｍａｘ回帰させて、回帰結果を得ることと、回帰結果に対する最大値の比較を行うことによって、被分割対象に対する分割処理を完了させることと、を含んでもよい。一例において、上記の回帰結果によって最大値の比較を行うことで被分割対象に対する分割処理を実現する具体的な過程は、回帰結果の形態が被分割対象と同様な解像度を持つ出力データとし、出力データが、被分割対象の画素位置と一対一で対応し、対応の画素位置ごとに、被分割対象が当該画素位置で分割目標となる確率を表すための１つの確率値を含み、出力データに含まれる確率に基づいて最大値の比較を行うことで、画素位置のそれぞれが分割目標位置であるか否かを決定し、そして、被分割対象から分割目標を抽出する操作を実現するようになってもよいが、最大値の比較の具体的な形態は限定されるものではなく、確率の大きい値が示す画素位置が分割目標に対応するように設定されてもよく、確率の小さい値が示す画素位置が分割目標に対応するように設定されてもよく、実際の状況に応じて設定すればよいが、ここでは限定されない。上記開示の各実施例から分かるように、一例において、分割結果を得る過程は、畳み込み結果の解像度の最も低い特徴マップにｓｏｆｔｍａｘ層を通過させることで、得られた結果に対して最大値の比較を行って、分割結果を得るようにしてもよい。

【0057】

ステップＳ１２２で、分割結果に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることができるが、ステップＳ１２２の実現の過程は限定されるものではなく、図４は本開示の一実施例に係る画像処理方法のフローチャートを示すものであり、図示するように、可能となる一実施形態では、ステップＳ１２２は、
分割結果に基づいて、畳み込み結果における目標対象物に対応する位置情報を決定するステップＳ１２２１と、
位置情報に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得るステップＳ１２２２と、を含んでもよい。

【0058】

ここで、位置情報は、畳み込み結果の各特徴マップにおいて目標対象物がある位置を示す情報であってもよいが、その具体的な表現形態は限定されるものではなく、一例において、位置座標集合の形で存在してもよく、一例において、座標＋面積の形で存在してもよく、位置情報の表現形態が実際の状況に応じて柔軟的に選択可能である。位置情報の表現形態が限定されるものではないので、ステップＳ１２２１の具体的な過程も位置情報の表現形態に応じて柔軟的に決定可能である。図５は本開示の一実施例に係る画像処理方法のフローチャートを示すものであり、図示するように、可能となる一実施形態では、ステップＳ１２２１は、
分割結果の座標位置を読み取るステップＳ１２２１１と、
座標位置を領域中心として、畳み込み結果内の各解像度での特徴マップにおいて目標対象物全体をカバーできる領域位置をそれぞれ決定して、畳み込み結果における目標対象物に対応する位置情報とするステップＳ１２２１２と、を含んでもよい。

【0059】

ここで、ステップＳ１２２１１で読み取られる分割結果の座標位置は、分割結果位置を示す任意の座標であってもよいが、一例において、この座標は、分割結果におけるある一定の位置の座標値であってもよく、一例において、分割結果におけるあるいくつかの一定の位置の座標値であってもよく、一例において、分割結果重心位置の座標値であってもよい。ステップＳ１２２１２で、読み取られた座標位置に基づいて、畳み込み結果の各特徴マップにおける対応の位置には目標対象物が位置決めされ、更に目標対象物全体をカバーした領域位置が得られるようにしてもよいが、この領域位置の表現形態も限定されるものではなく、一例において、この領域位置の表現形態は、領域の全ての頂点の座標集合であってもよく、一例において、領域位置の中心座標と領域位置のカバー面積の集合であってもよい。ステップＳ１２２１２の具体的な過程は領域位置の表現形態によっては柔軟的に変更可能であるが、一例において、ステップＳ１２２１２の過程は、分割結果の所在する特徴マップの重心座標に基づいて、分割結果の所在する特徴マップと畳み込み結果の他の特徴マップとの解像度の比例関係によって、畳み込み結果の各特徴マップにおける目標対象物の重心座標をそれぞれ決定し、この重心座標を中心として、各特徴マップにおいて目標対象物全体をカバーできる領域を決定し、この領域の頂点座標を畳み込み結果における目標対象物に対応する位置情報とするようにしてもよい。畳み込み結果における各特徴マップ同士の解像度が相違するので、畳み込み結果の各特徴マップにおいて目標対象物をカバーする領域同士の解像度も相違する可能性がある。一例において、異なる特徴マップにおいて決定された目標対象物をカバーする領域の間に比例関係があり、この比例関係は特徴マップ同士の解像度の比例関係と一致してもよいが、例を挙げて説明すると、一例において、畳み込み結果にはＡとＢの２つの特徴マップが存在可能であり、特徴マップＡにおいて目標対象物をカバーする領域が領域Ａと記され、特徴マップＢにおいて目標対象物をカバーする領域が領域Ｂと記され、ここで、特徴マップＡの解像度が特徴マップＢの２倍であると、領域Ａの面積が領域Ｂの２倍となる。

【0060】

ステップＳ１２２１で得られた位置情報に基づいて、ステップＳ１２２２で位置決め結果を得ることができるが、上記開示の実施例で説明したように、位置情報は様々な異なる表現形態を有し、位置情報の表現形態によっては、ステップＳ１２２２の具体的な実施過程も異なるようになってもよい。可能となる一実施形態では、ステップＳ１２２２は、位置情報に基づいて、畳み込み結果の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得ることを含んでもよい。一例において、位置情報は、畳み込み結果の各特徴マップにおける目標対象物をカバーできる領域頂点の座標集合であり、この座標集合に基づいて、畳み込み結果の各特徴マップを切り出して、各特徴マップにおける目標対象物をカバーする領域を新しい特徴マップとして残ることで、これら新しい特徴マップの集合が位置決め結果となるようにしてもよい。

【0061】

上記開示の各実施例を任意に組み合わせた形態によって位置決め結果を得ることができるが、この過程は、畳み込み結果の各解像度での特徴マップにおける目標対象物を効果的に粗位置決めし、この粗位置決めに基づいて既存の畳み込み結果を位置決め結果となるように処理することができ、位置決め結果の各解像度での特徴マップは、目標対象物を含まない画像情報の大部が除去されたものであるので、画像処理過程中のメモリ消費を大幅に低減し、計算速度を速めて、画像処理の効率と速度を向上させることができるとともに、位置決め結果における目標対象物の占める情報割合が大きいので、位置決め結果に基づいて目標対象物分割を行う効果は、被処理画像をそのまま用いて目標対象物分割を行う効果よりも優れ、画像処理の精度を向上させることができる。

【0062】

位置決め結果が得られた後、この位置決め結果に基づいて目標対象物の分割を実現してもよいが、分割の具体的な実現形態は限定されるものではなく、実際の状況に応じて柔軟的に選択することができる。可能となる一実施形態では、位置決め結果からある一つの特徴マップを選択し、更なる分割処理を行って、目標対象物を得るようにしてもよい。他の可能となる実施形態では、位置決め結果を用いてより多くの目標対象物情報を含む特徴マップが回復され、更にこの特徴マップを用いて更なる分割処理を行って目標対象物を得るようにしてもよい。

【0063】

上記のステップから分かるように、可能となる一実施形態では、位置決め結果を用いて目標対象物分割を実現する過程は、ステップＳ１３とＳ１４によって実現されてもよく、つまり、先に位置決め結果に対して段階的な逆畳み込み処理を行ってより多くの目標対象物情報を含む逆畳み込み結果が得られ、更にこの逆畳み込み結果に基づいて分割処理を行って目標対象物が得られるようにしてもよい。段階的な逆畳み込みの過程は段階的な畳み込み過程の逆方向の操作過程と見られてもよいので、その実現の過程もステップＳ１１と同様に様々な可能となる実現の形態を有している。図６は本開示の一実施例による画像処理方法のフローチャートを示すものであり、図示するように、可能となる一実施形態では、ステップＳ１３は、
位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとするステップＳ１３１と、
逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得るステップＳ１３２と、
解像度が漸増する順に、位置決め結果における逆畳み込み対象特徴マップの次の特徴マップを決定するステップＳ１３３と、
逆畳み込み処理結果と次の特徴マップを融合して、融合した結果を新たに逆畳み込み対象特徴マップとするステップＳ１３４と、
逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、逆畳み込み対象特徴マップを逆畳み込み結果とするステップＳ１３５と、を含んでもよい。

【0064】

上記のステップで、逆畳み込み処理結果は逆畳み込み対象特徴マップに対して逆畳み込み処理を行って得られた処理結果であり、次の特徴マップは位置決め結果から得られた特徴マップであり、即ち位置決め結果における、解像度が現在の逆畳み込み対象特徴マップより１レベル大きくなるという条件を満たす特徴マップを次の特徴マップとして、逆畳み込み処理結果と融合してもよい。従って、段階的な逆畳み込み処理の過程は、位置決め結果における解像度が最も低い特徴マップから、逆畳み込み処理によって解像度が１レベル高くなった特徴マップが得られ、この時にこの解像度が１レベル高くなった特徴マップを逆畳み込み処理結果とし、位置決め結果には逆畳み込み処理結果の解像度と同様な特徴マップがそもそも存在し、こられ２枚の特徴マップのいずれにも目標対象物の有効情報が含まれるので、これら２枚の特徴マップを融合することができ、融合後の特徴マップにはこれら２枚の特徴マップに含まれる全ての目標対象物の有効情報を含んでいるため、融合後の特徴マップを新たな逆畳み込み対象特徴マップとして、この新たな逆畳み込み対象特徴マップに対して逆畳み込み処理を行い、処理結果を新たに位置決め結果内の対応の解像度の特徴マップと融合し、融合後の特徴マップの解像度が第２閾値に到達すると、逆畳み込み処理を停止することができ、この時に得られた最終的な融合結果には位置決め結果の各特徴マップに含まれる目標対象物の有効情報を含んでいるので、それを逆畳み込み結果として後続の目標対象物分割に用いることができる。本開示の実施例では、第２閾値は被処理画像の元の解像度に応じて柔軟的に決定され、ここでは具体的な値は限定されない。

【0065】

上記の過程では、逆畳み込み結果は、位置決め結果に対して段階的な逆畳み込み処理を行って得られたものであり、且つ最終的な目標対象物分割に用いられ、これによって得られた最終結果は、目標対象物の位置決めの基礎が存在したので、目標対象物のグローバル情報を効果的に含んで、より高い正確率を有しており、そして、被処理画像を分割することもなく、全体として画像処理を行うので、処理過程もより高効率になっており、また、上記の過程から分かるように、一回の画像処理過程では、目標対象物の分割が目標対象物の位置決め結果に基づいて実現されるものであり、２つの個別の過程によって目標対象物の位置決めと目標対象物分割をそれぞれ実現する必要がないので、データの記憶、消費及び計算量を大幅に低減し、更に画像処理の速度と効率を高め、時間と空間上の消費を減少させることができる。そして、段階的な逆畳み込み過程は、各解像度での特徴マップに含まれる有効情報が全て最終的に得られる逆畳み込み結果内に保留されることに寄与し、逆畳み込み結果が最終的な画像分割に用いられるので、最終的に得られる結果の精度を大幅に高めることができる。

【0066】

逆畳み込み結果が得られた後、逆畳み込み結果に対して分割処理を行って、得られた結果を被処理画像から分割された目標対象物としてもよいが、逆畳み込み結果に対して分割処理を行う過程は、分割処理の対象が相違する以外に、上記の畳み込み結果に対して分割処理を行う過程と同様であるので、上記開示の実施例の過程を参照してもよく、ここでは詳細な説明を省略する。

【0067】

可能となる一実施形態では、ニューラルネットワークによって本開示の実施例の画像処理方法を実現してもよい。上記の過程から分かるように、本開示の実施例の画像処理方法は、主として被処理画像に対する粗分割と、粗分割で得られた位置決め結果に基づいて行われるより高い精度の分割との２回の分割過程を含むので、２回目の分割と１回目の分割は１つのニューラルネットワークによって実現され、１セットのパラメータを共用することができるため、２回の分割を１つのニューラルネットワークにおける２つのサブニューラルネットワークと見なしてもよく、よって、可能となる一実施形態では、ニューラルネットワークは、被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークと、を含んでもよい。ニューラルネットワークで使用される具体的なネットワーク構造は限定されるものではなく、一例において、上記開示の実施例で言及されたＶ－Ｎｅｔと３Ｄ－Ｕ－Ｎｅｔはいずれもニューラルネットワークの具体的な実施形態としてもよい。第１分割サブネットワークと第２分割サブネットワークの機能を実現できるいかなるニューラルネットワークも、ニューラルネットワークの実施形態として利用することができる。

【0068】

図７は本開示の実施例に係る画像処理方法のフローチャートを示す。可能となる一実施形態では、図示するように、本開示の実施例の方法は、ニューラルネットワークのトレーニング過程、即ちステップＳ１５を更に含んでもよく、ここで、ステップＳ１５は、
予め設定されたトレーニングセットによって第１分割サブネットワークをトレーニングするステップＳ１５１と、
予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって第２分割サブネットワークをトレーニングするステップＳ１５２と、を含んでもよい。

【0069】

ここで、予め設定されたトレーニングセットは、サンプル画像に対して手動クロップ等の前処理を行って分解された複数の画像集合であってもよい。分解された複数の画像集合のうち、隣接する２つの画像集合には一部の同じ画像を含んでもよいが、例えば、医用画像を例として挙げると、病院から複数のサンプルを採集し、１つのサンプルに含まれる複数のサンプル画像が、連続的に採集した人体のある器官の画像であり、この複数のサンプル画像によって器官の３次元立体構造が得られ、一方向に沿って分解して、１番目の画像集合には第１～３０番目のフレームの画像が含まれ、２番目の画像集合には第１６～４５番目のフレームの画像が含まれ・・・、このようにして隣接する２つの画像集合には１５フレームの画像が同じであるようにしてもよい。このような重畳分解の形態によって、分割の精度を高めることができる。

【0070】

図７に示すように、ニューラルネットワークのトレーニング過程で、まず予め設定されたトレーニングセットを入力として第１分割サブネットワークをトレーニングし、第１分割サブネットワークの出力結果に基づいてトレーニングセットの画像に対して位置決め処理を行って、位置決め処理を介したトレーニングセットを第２分割サブネットワークのトレーニングデータとして、第２分割サブネットワークに入力してトレーニングするようにしてもよいが、上記の過程によって、最終的にはトレーニング済みの第１分割サブネットワークと第２分割サブネットワークが得られる。

【0071】

トレーニングの過程で、ニューラルネットワークのネットワーク損失を特定するための関数は具体的に限定されないが、一例において、ｄｉｃｅｌｏｓｓ関数によってニューラルネットワークのネットワーク損失を特定してもよく、一例において、交差エントロピー関数によってニューラルネットワークのネットワーク損失を特定してもよく、一例において、他の利用可能な損失関数によってニューラルネットワークのネットワーク損失を特定してもよい。第１分割サブネットワークと第２分割サブネットワークに用いられる損失関数は同じでもよいし、異なってもよく、ここで限定されない。

【0072】

上記開示の実施例によれば、一例において、ニューラルネットワークの完全なトレーニング過程は、複数枚の被分割画像と被分割画像に対応するマスクＭａｓｋを含む予め設定されたトレーニングセットを第１分割サブネットワークのネットワークモデルに入力し、いずれかの損失関数によって、画像で第１分割サブネットワークのネットワークモデルを介して出力されたデータと、対応のＭａｓｋとの間の損失を算出し、そして逆伝播アルゴリズムによって第１分割サブネットワークのネットワークモデルパラメータを更新して、第１分割サブネットワークモデルが収束すると、第１分割サブネットワークモデルのトレーニングが完了することを示す。第１分割サブネットワークモデルのトレーニングが完了した後、予め設定されたトレーニングセットを再度トレーニング済みの第１分割サブネットワークモデルに入力し、複数枚の分割結果が得られ、これら複数枚の分割結果に基づいて、第１分割サブネットワークにおける各解像度の特徴マップに対して位置決め処理を行い、これら位置決めし切り出された特徴マップと、対応の位置のＭａｓｋを第２分割サブネットワークのネットワークモデルに入力してトレーニングし、いずれかの損失関数によって、位置決め処理後の画像で第２分割サブネットワークのネットワークモデルを介して出力されたデータと、対応のＭａｓｋとの間の損失を算出し、そして逆伝播アルゴリズムによって第２分割サブネットワークのネットワークモデルパラメータを更新すると共に、第１分割サブネットワークと第２分割サブネットワークのモデルパラメータを交互に更新して、ネットワークモデル全体が収束すると、ニューラルネットワークのトレーニングが完了するようにしてもよい。

【0073】

上記開示の各実施例から分かるように、本開示におけるニューラルネットワークには２つのサブニューラルネットワークが含まれるが、トレーニング過程では、１セットのトレーニングセットデータだけでトレーニングを完了させることができ、２つのサブニューラルネットワークが１セットのパラメータを共用することは、より多くの記憶空間が節約される。トレーニングされる２つのサブニューラルネットワークが１セットのパラメータを共用するので、このニューラルネットワークが画像処理方法に適用されると、入力された被処理画像が、２つのサブニューラルネットワークにそれぞれ入力されて出力結果がそれぞれ得られた後計算することではなく、直接２つのサブニューラルネットワークを順次に通過して出力結果が得られるので、本開示で提供された画像処理方法は、より速い処理速度を有する共に、空間消費と時間消費がより低くなる。

【0074】

可能となる一実施形態では、本開示の実施例の方法は、ステップＳ１１の前に、被処理画像を予め設定された解像度となるように調整することを更に含んでもよい。被処理画像を予め設定された解像度となるように調整する実現方法は具体的に限定されないが、一例において、中心切り出しと拡張の方法によって被処理画像を予め設定された解像度となるように調整してもよい。予め設定された解像度の具体的な解像度数値も限定されるものではなく、実際の状況に応じて柔軟的に設定可能である。

【0075】

このステップによって、本開示の実施例の画像処理方法がニューラルネットワークによって実現される時に、予め設定されたトレーニングセットに含まれる各トレーニング画像を予め設定された解像度となるように統一した後、ニューラルネットワークのトレーニングに用いてもよい。

【0076】

それに応じて、可能となる一実施形態では、本開示の実施例の方法は、分割された目標対象物を被処理画像と同じ大きさの空間に回復して最終的な分割結果を得ることを更に含んでもよい。ステップＳ１１の前に被処理画像に対する解像度の調整が行われ、得られた分割結果が実際に解像度調整後の画像に基づく分割内容であるようにすることができるので、分割結果を被処理画像と同じ大きさの空間に回復して、最初の被処理画像に基づく分割結果を得ることができる。被処理画像と同じ大きさの空間は限定されるものではなく、被処理画像そのものの画像性質によって決定され、ここでは限定されないが、一例において、被処理画像は３次元画像であってもよいので、被処理画像と同じ大きさの空間は３次元空間であってもよい。

【0077】

可能となる一実施形態では、ステップＳ１１の前に、被処理画像に対して前処理を行うことを更に含んでもよい。この前処理過程は限定されるものではないが、分割精度を高めることができるあらゆる処理形態が前処理に含まれる過程としてもよく、一例において、被処理画像に対して前処理を行うことは、被処理画像に対して輝度値の均一化を行うことを含んでもよい。

【0078】

同一解像度の被処理画像を入力として画像処理を行うことで、後で被処理画像に対して順次に実行される畳み込み処理、分割処理及び段階的な逆畳み込み処理の処理効率を高め、画像処理過程全体の時間を短縮することができる。被処理画像に対して前処理を行うことで、画像分割の正確度を高めて、画像処理結果の精度を高めることができる。

【0079】

（応用例）
心臓類疾病は、現在致死率が最も高い疾患の一つであり、例えば、心房細動は、現在最も一般的な不整脈の一つであり、一般の人々で発生する確率が２％に達しているが、高齢者の発病率がより高くなり且つ一定の致死率があるものであり、人間の健康に対する深刻な脅威になっている。心房に対する精確な分割は心房細動を理解・分析するための鍵であり、通常で目的となる心房細動の手術焼灼治療計画の作成を支援するために用いられる。また、心臓の他の腔の分割は他種類の心臓病の治療と手術計画にも同様に重要な意義を有している。しかしながら、医用画像における心臓の腔の分割方法には正確率が高くなく、計算効率が低い等の欠点がやはり存在し、一部の方法が高い正確率を図ったが、３次元情報が不足して分割結果の平滑さに欠けており、グローバル情報が不足し、計算効率が低下しており、或いは２つのネットワークに分けて分割トレーニングを行う必要があって時間や空間上の冗長性が一定の程度で存在する等のような実際の問題がやはり存在している。

【0080】

従って、精度が高く、効率が高くかつ時間・空間消費が低い分割方法は、医者の作業量を大幅に減少させ、心臓分割の品質を高めて、心臓関連疾病の治療効果を高めることができる。

【0081】

図８は本開示の一応用例に係る模式図を示すものであり、図示するように、本開示の実施例は、トレーニング済みの１セットのニューラルネットワークによって実現される画像処理方法を提供する。図から分かるように、当該ニューラルネットワークの具体的なトレーニング過程は、以下の通りであってもよい。

【0082】

まず、複数枚の入力画像と対応のＭａｓｋを含む予め設定されたトレーニングデータを処理し、中心切り出しと拡張の方法によって複数枚の入力画像の解像度を同様な大きさに統一させ、この例では統一された解像度が５７６×５７６×９６となる。

【0083】

複数枚の入力画像の解像度を統一させた後、これら入力画像を用いて第１分割サブネットワークをトレーニングしてもよいが、具体的なトレーニング過程は、以下の通りであってもよい。
Ｖ－Ｎｅｔ又は３Ｄ－Ｕ－Ｎｅｔに基づく３次元完全畳み込みニューラルネットワークにおけるエンコーダ構造のようなものを採用して入力画像に対して複数回の畳み込み処理を行うが、この例において、畳み込み処理の過程は畳み込み、プーリング、ｂａｔｃｈｎｏｒｍ及びＰＲｅｌｕを含んでもよく、複数回の畳み込み処理で、毎回の畳み込み処理の入力については前回の畳み込み処理で得られた結果を採用し、この例において合計４回の畳み込み処理が実行されたことで、解像度が５７６×５７６×９６、２８８×２８８×４８、１４４×１４４×２４、及び７２×７２×１２の特徴マップをそれぞれ生成することができるとともに、入力画像の特徴チャンネルが８から１２８個に増加している。
上記の４つの特徴マップが得られた後、そのうちの最小解像度の特徴マップ、この例において７２×７２×１２の特徴マップに一つのｓｏｆｔｍａｘ層を通過させることで、それぞれ画素関連位置が目標腔であるか否かの確率を表す２つの解像度が７２×７２×１２である確率出力が得られ、これら２つの確率出力を第１分割サブネットワークの出力結果として、ｄｉｃｅｌｏｓｓ、交差エントロピー又は他の損失関数を用いて、この出力結果と直接７２×７２×１２にダウンサンプリングしたｍａｓｋとの間の損失を算出し、算出された損失に基づいて、逆伝播アルゴリズムを用いて第１分割サブネットワークのネットワークパラメータを更新し、第１分割サブネットワークのネットワークモデルが収束すると、第１分割サブネットワークのトレーニングが完了することを示すようにしてもよい。

【0084】

第１分割サブネットワークのトレーニングが完了した後、解像度を統一させた複数枚の入力画像をトレーニング済みの第１分割サブネットワークに入力すると、解像度が５７６×５７６×９６、２８８×２８８×４８、１４４×１４４×２４、及び７２×７２×１２の４つの特徴マップ並びに解像度が７２×７２×１２の２つの確率出力が得られ、低解像度の確率出力に基づいて、最大値比較によって心臓の腔の粗分割結果が得られ、その解像度が７２×７２×１２であり、この粗分割結果に基づいて、心臓の腔の重心座標を計算し、それを中心として５７６×５７６×９６、２８８×２８８×４８、１４４×１４４×２４及び７２×７２×１２の４つの特徴マップにおける目標腔全体をカバーするのに十分な一定の大きさの領域が切り出されるようにしてもよいが、一例において、７２×７２×１２の特徴マップにおいて３０×２０×１２の大きさの領域が切り出され、１４４×１４４×２４の特徴マップにおいて６０×４０×２４の大きさの領域が切り出され、２８８×２８８×４８の特徴マップにおいて１２０×８０×４８の大きさの領域が切り出され、５７６×５７６×９６の特徴マップにおいて２４０×１６０×９６の大きさの領域が切り出されるようにしてもよい。

【0085】

上記の４つの切り出された領域画像が得られた後、これらの領域画像を用いて第２分割サブネットワークをトレーニングしてもよいが、具体的な過程は、以下の通りであってもよい。
段階的な逆畳み込み処理によって、領域画像を段階的に２４０×１６０×９６の解像度に回復してもよいが、具体的な過程は、以下の通りであってもよい。７２×７２×１２の特徴マップにおいて切り出された３０×２０×１２の大きさの領域に対して逆畳み込み処理を行うことで解像度が６０×４０×２４の特徴マップが得られ、この特徴マップを、その前の１４４×１４４×２４の特徴マップにおいて切り出された６０×４０×２４の大きさの領域と融合して、融合後の解像度が６０×４０×２４の特徴マップが得られ、更にこの特徴マップに対して逆畳み込み処理を行って解像度が１２０×８０×４８の特徴マップが得られ、残りのその前の２８８×２８８×４８の特徴マップにおいて切り出された１２０×８０×４８の領域と融合されて、融合後の解像度が１２０×８０×４８の特徴マップが得られ、融合後の特徴マップに対して再度逆畳み込み処理を行って解像度が２４０×１６０×９６の特徴マップが得られ、更にそれを５７６×５７６×９６の特徴マップにおいて切り出された２４０×１６０×９６の領域と融合して、段階的な逆畳み込み処理後の最終画像が得られ、このようにしてこの最終画像に心臓の腔の局所情報とグローバル情報が含まれ、この最終画像にｓｏｆｔｍａｘ層を通過させることで、それぞれ画素関連位置が目標の腔であるか否かの確率を表す２つの解像度が５７６×５７６×９６の確率出力が得られ、これらの２つの確率出力を第２分割サブネットワークの出力結果として、ｄｉｃｅｌｏｓｓ、交差エントロピー又は他の損失関数によって、この出力結果とｍａｓｋとの間の損失を算出し、算出された損失に基づいて、逆伝播アルゴリズムを用いて第２分割サブネットワークのネットワークパラメータを更新して、第２分割サブネットワークのネットワークモデルが収束すると、第２分割サブネットワークのトレーニングが完了することを示すようにしてもよい。

【0086】

以上のステップによって、トレーニング済みの心臓の腔分割用のニューラルネットワークが得られ、心臓の腔の位置決めと分割がこの同一のニューラルネットワークで同時に完了することができ、画像入力からネットワークを介した後直接に得られたものである。従って、このトレーニング済みのニューラルネットワークに基づく心臓の腔の分割の過程は、具体的には以下の通りであってもよい。
まず、中心切り出しと拡張の方法を用いて、心臓の腔の分割をすべき被分割画像の解像度をニューラルネットワークの予め設定された大きさに調整し、この例では５７６×５７６×９６とし、そして、この被分割画像データを上記のトレーニング済みのニューラルネットワークに入力し、被分割画像がトレーニング済みのニューラルネットワークでトレーニング過程と類似する過程を経って、つまり、先に畳み込み処理によって４つの解像度の大きさの特徴マップを生成し、そして粗分割結果が得られ、この粗分割結果に基づいて上記の４つの解像度の大きさの特徴マップを切り出して、更に切り出し結果に対して逆畳み込み処理を行って逆畳み込み結果が得られ、この逆畳み込み結果に対して更に分割処理を行って目標の腔の分割結果が得られ、この分割結果がニューラルネットワークの出力結果として出力され、更にこの出力された分割結果を入力された被分割画像と同じ次元にマッピングして、最終的な心臓の腔分割結果が得られる。

【0087】

本開示の画像処理方法によれば、１つの３次元ネットワークを用いて心臓の腔の位置決めと分割を同時に行い、位置決めと分割で１セットのパラメータを共用し、心臓の腔の位置決めと分割を同一のネットワークに統一させることができるので、一歩で入力から直接分割結果を得ることができ、速度がより速く、より多くの記憶空間が節約されるとともに、より平滑な３次元モデル分割表面が得られる。

【0088】

本開示の実施例の画像処理方法は上記の心臓の腔画像処理への適用に限定されず、任意の画像処理に適用されることができるが、本開示においてこれについては特に制限はないことを説明すべきである。

【0089】

本開示で言及された上記の各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例をなすことができると理解すべきであり、紙数に限りがあるので、本開示ではその説明を省略する。

【0090】

具体的な実施形態の上記方法において、各ステップの記述順序は、厳しい実行順序を意味することなく、実施過程を何ら限定しないものであり、その機能と可能となる内在的論理に依存することが当業者に理解される。

【0091】

図９は本開示の実施例に係る画像処理装置のブロック図を示す。この画像処理装置は端末装置、サーバ又は他の処理装置等であってもよい。ここで、端末装置は、ユーザ側装置（ＵｓｅｒＥｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルドデバイス、計算装置、車載装置、ウェアラブル装置等であってもよい。

【0092】

いくつかの可能となる実施形態では、この画像処理装置は、プロセッサによるメモリに記憶されたコンピュータにより読み取り可能なコマンドの呼び出しによって実現されてもよい。

【0093】

図９に示すように、前記画像処理装置は、被処理画像に対して段階的な畳み込み処理を行って、畳み込み結果を得るための畳み込みモジュール２１と、畳み込み結果に基づいて、位置決め処理で位置決め結果を得るための位置決めモジュール２２と、位置決め結果に対して段階的な逆畳み込み処理を行って、逆畳み込み結果を得るための逆畳み込みモジュール２３と、逆畳み込み結果に対して分割処理を行って、被処理画像から目標対象物を分割するための目標対象物取得モジュール２４と、を含んでもよい。

【0094】

可能となる一実施形態では、畳み込みモジュールは、被処理画像に対して段階的な畳み込み処理を行って、少なくとも１つの解像度が漸減した特徴マップを畳み込み結果として得るために用いられる。

【0095】

可能となる一実施形態では、畳み込みモジュールは、更に、被処理画像に対して畳み込み処理を行って、得られた特徴マップを畳み込み対象特徴マップとすることと、畳み込み対象特徴マップの解像度が第１閾値に到達していない場合に、畳み込み対象特徴マップに対して畳み込み処理を行って、得られた結果を新たに畳み込み対象特徴マップとすることと、畳み込み対象特徴マップの解像度が第１閾値に到達した場合に、得られた解像度が漸減した全ての特徴マップを畳み込み結果とすることとに用いられる。

【0096】

可能となる一実施形態では、位置決めモジュールは、畳み込み結果に基づいて分割処理を行って、分割結果を得るための分割サブモジュールと、分割結果に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得るための位置決めサブモジュールと、を含む。

【0097】

可能となる一実施形態では、分割サブモジュールは、畳み込み結果の解像度が最も低い特徴マップに対して分割処理を行って、分割結果を得るために用いられる。

【0098】

可能となる一実施形態では、位置決めサブモジュールは、分割結果に基づいて、畳み込み結果における目標対象物に対応する位置情報を決定することと、位置情報に基づいて、畳み込み結果に対して位置決め処理を行って、位置決め結果を得ることとに用いられる。

【0099】

可能となる一実施形態では、位置決めサブモジュールは、更に、分割結果の座標位置を読み取ることと、座標位置を領域中心として、畳み込み結果内の各解像度での特徴マップにおいて目標対象物全体をカバーできる領域位置をそれぞれ決定し、畳み込み結果における目標対象物に対応する位置情報とすることとに用いられる。

【0100】

可能となる一実施形態では、位置決めサブモジュールは、更に、位置情報に基づいて、畳み込み結果内の各解像度での特徴マップに対してそれぞれクロップ処理を行って、位置決め結果を得るために用いられる。

【0101】

可能となる一実施形態では、逆畳み込みモジュールは、位置決め結果に含まれる全ての特徴マップのうち、解像度が最も低い特徴マップを逆畳み込み対象特徴マップとすることと、逆畳み込み対象特徴マップの解像度が第２閾値に到達していない場合に、逆畳み込み対象特徴マップに対して逆畳み込み処理を行って、逆畳み込み処理結果を得ることと、解像度が漸増する順に、位置決め結果における逆畳み込み対象特徴マップの次の特徴マップを決定することと、逆畳み込み処理結果と次の特徴マップを融合して、融合した結果を新たに逆畳み込み対象特徴マップとすることと、逆畳み込み対象特徴マップの解像度が第２閾値に到達した場合に、逆畳み込み対象特徴マップを逆畳み込み結果とすることとに用いられる。

【0102】

可能となる一実施形態では、分割処理は、被分割対象をｓｏｆｔｍａｘ回帰させて、回帰結果を得ることと、回帰結果に対する最大値の比較を行うことによって、被分割対象に対する分割処理を完了させることと、を含む。

【0103】

可能となる一実施形態では、装置は、被処理画像に対して段階的な畳み込み処理及び分割処理を行うための第１分割サブネットワークと、位置決め結果に対して段階的な逆畳み込み処理及び分割処理を行うための第２分割サブネットワークと、を含むニューラルネットワークによって実現される。

【0104】

可能となる一実施形態では、装置は、予め設定されたトレーニングセットによって第１分割サブネットワークをトレーニングすることと、予め設定されたトレーニングセット及びトレーニング済みの第１分割サブネットワークによって第２分割サブネットワークをトレーニングすることとに用いられるトレーニングモジュールを更に含む。

【0105】

可能となる一実施形態では、畳み込みモジュールの前に、被処理画像を予め設定された解像度となるように調整するための解像度調整モジュールを更に含む。

【0106】

本開示の実施例は、コンピュータプログラムコマンドが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、上記の方法を実現するコンピュータ読み取り可能な記憶媒体を更に提供する。コンピュータ読み取り可能な記憶媒体は、非揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。

【0107】

本開示の実施例は、プロセッサと、プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、前記プロセッサは、上記の方法を実現するように構成される電子機器を更に提供する。

【0108】

電子機器は、端末、サーバ又は他の形態のデバイスとして提供されてもよい。

【0109】

図１０は本開示の実施例に係る電子機器８００のブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット装置、医療機器、フィットネス器具、パーソナル・デジタル・アシスタントなどの端末であってもよい。

【0110】

図１０を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。

【0111】

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、命令を実行して上記方法の全てまたは一部のステップを実行するための一つ以上のプロセッサ８２０を含んでもよい。なお、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。

【0112】

メモリ８０４は電子機器８００での動作に対応するための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００で作動するためのあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの任意のタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

【0113】

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力の生成、管理および配分に関連する他のコンポーネントを含んでもよい。

【0114】

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現されてもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを感知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動作の境界を感知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力も検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は一つの前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードである場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび背面カメラは一つの固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。

【0115】

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声識別モードである場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するための一つのスピーカーを含む。

【0116】

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記の周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。

【0117】

センサコンポーネント８１４は電子機器８００の各方面での状態評価を提供するために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００のディスプレイおよびキーパッドのよようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、何ら物理的接触はない場合に近傍の物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用されるための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。

【0118】

通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術および他の技術によって実現できる。

【0119】

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。

【0120】

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行することができる。

【0121】

図１１は本開示の実施例に係る電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供されてもよい。図１１を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２と、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源とを含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが一つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。

【0122】

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成された有線または無線ネットワークインタフェース１９５０と、入出力（Ｉ／Ｏ）インタフェース１９５８とを含んでもよい。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ（「Ｗｉｎｄｏｗｓ」は登録商標）、ＭａｃＯＳＸＴＭ、ＵｎｉｘＴＭ（「Ｕｎｉｘ」は登録商標）、ＬｉｎｕｘＴＭ（「Ｌｉｎｕｘ」は登録商標）、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

【0123】

例示的な実施例では、さらに、非揮発性コンピュータ読み取り可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は電子機器１９００の処理コンポーネント１９２２によって実行されると上記方法を実行することができる。

【0124】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令が記録されているコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0125】

コンピュータ読み取り可能な記憶媒体は命令実行装置により使用される命令を保持および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

【0126】

ここで記述したコンピュータ読み取り可能なプログラム命令はコンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。

【0127】

本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより本開示の各方面を実現するようにしてもよい。

【0128】

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各方面を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できると理解すべきである。

【0129】

これらのコンピュータ読み取り可能プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現するように機械を製造してもよい。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶し、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。命令を記憶しているコンピュータ読み取り可能な記憶媒体には、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現するための命令を有する製品を含む。

【0130】

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードし、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施されるプロセスを生成し、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令によりフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0131】

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は、指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は図面に付した順序と異なって実現してもよい。例えば、二つの連続的なブロックは実質的に同時に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことに注意すべきである。

【0132】

論理に違反しない限り、本願のそれぞれの実施例は相互に組み合わせることができ、異なる実施例において重点として説明されるものが異なって、重点として説明されていない部分については他の実施例の記載を参照すればよい。

【0133】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への改善を好適に解釈するか、または他の普通の当業者に本文に披露された各実施例を理解させるためのものである。

【図1】