特許 7540087 画像処理方法、電子機器および可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-16

(45)【発行日】2024-08-26

(54)【発明の名称】画像処理方法、電子機器および可読記憶媒体

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240819BHJP

   A61B 1/00 20060101ALI20240819BHJP

【ＦＩ】

A61B1/045 631

A61B1/00 C

A61B1/045 618

【請求項の数】 12

(21)【出願番号】P 2023527384

(86)(22)【出願日】2021-11-02

(65)【公表番号】

(43)【公表日】2023-11-15

(86)【国際出願番号】 CN2021128057

(87)【国際公開番号】W WO2022095839

(87)【国際公開日】2022-05-12

【審査請求日】2023-06-19

(31)【優先権主張番号】202011227075.5

(32)【優先日】2020-11-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】523162753

【氏名又は名称】アンコン テクノロジーズ カンパニー リミテッド

【氏名又は名称原語表記】ＡＮＫＯＮ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ

【住所又は居所原語表記】Ｎｏ．６６６， ＧａｏＸｉｎ Ａｖｅｎｕｅ， Ｅａｓｔ Ｌａｋｅ Ｈｉ－Ｔｅｃｈ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ Ｗｕｈａｎ， Ｈｕｂｅｉ ４３００００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001841

【氏名又は名称】弁理士法人ＡＴＥＮ

(72)【発明者】

【氏名】ヤンダイ ティェンイー

(72)【発明者】

【氏名】リー イー

(72)【発明者】

【氏名】フゥ ホイ

(72)【発明者】

【氏名】リウ ハオ

(72)【発明者】

【氏名】ミン ファンホア

【審査官】小野 健二

(56)【参考文献】

【文献】国際公開第２０１５／１８２１８５（ＷＯ，Ａ１）

【文献】特開２０１０－００８３９４（ＪＰ，Ａ）

【文献】特開２０１２－２１７６４７（ＪＰ，Ａ）

【文献】特開２００６－２２３３７７（ＪＰ，Ａ）

【文献】特開２００９－２４０５３１（ＪＰ，Ａ）

【文献】特開２００７－１９５５８６（ＪＰ，Ａ）

【文献】中国特許出願公開第１０３６２２６５８（ＣＮ，Ａ）

【文献】米国特許出願公開第２０２０／０３２９９５５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

カプセル内視鏡により実行される画像処理方法であって、
腸管に係る原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、前記元の撮影フレームレートを維持して撮影を継続するステップを含み、
前記含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させることは、具体的に、
前記現在の原画に空洞が含まれていることを確認する場合、空洞の特定に用いた連結領域の総面積を原画に対応する空洞インデックスとして使用すること、
前記空洞インデックスに応じて前記撮影フレームレートを調整し、前記空洞インデックスが大きいほど、前記撮影フレームレートが高くなること、を含む、ことを特徴とする画像処理方法。

【請求項2】

前記現在の原画に空洞が含まれているかどうかを判断することは、
前記現在の原画をグレースケール画像に変換すること、
前記グレースケール画像を第１の二値化画像に変換すること、
前記第１の二値化画像に基づいて、暗黒画素の各連結領域を取得し、前記暗黒画素の数が予め設定された第１の閾値よりも大きい前記暗黒画素の前記連結領域の総数をカウントすることであって、前記暗黒画素は前記グレースケール画像中のグレースケール値がグレースケール閾値以下の画素点であること、
カウントで得られた前記暗黒画素の前記連結領域の総数に基づいて前記現在の原画に空洞が含まれているかどうかを確認すること、を含む、ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記グレースケール画像を前記第１の二値化画像に変換することは、前記グレースケール画像の最大グレースケール値と最小グレースケール値に基づいて、前記グレースケール画像を二値化処理して前記第１の二値化画像を形成することを含む、ことを特徴とする請求項２に記載の画像処理方法。

【請求項4】

前記グレースケール画像の前記最大グレースケール値と前記最小グレースケール値に基づいて、前記グレースケール画像を二値化処理して前記第１の二値化画像を形成することは、具体的に、
前記グレースケール画像中の画素点の前記グレースケール値が前記グレースケール閾値よりも大きい場合、この画素点の値を前記第１の二値化画像において第１の値で表し、前記グレースケール画像中の画素点の前記グレースケール値が前記グレースケール閾値以下である場合、この画素点の値を前記第１の二値化画像において第２の値で表すことであって、前記第１の値と前記第２の値は異なること、
前記グレースケール閾値はｍ１＝Ｒ×ｍａｘｖ＋(１‐Ｒ)×ｍｉｎｖであり、Ｒは定数であるスケールファクターを示し、ｍａｘｖは前記グレースケール画像中の前記最大グレースケール値を示し、ｍｉｎｖは前記グレースケール画像中の前記最小グレースケール値を示すこと、を含むことを特徴とする請求項３に記載の画像処理方法。

【請求項5】

カウントによって得られた前記暗黒画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認することは、具体的に、
前記暗黒画素の前記連結領域の総数が０である場合、前記現在の原画に空洞が含まれていないことを確認すること、
前記暗黒画素の前記連結領域の総数が０から第１のインデックス閾値の間である場合、前記現在の原画に空洞が含まれていることを確認すること、
前記暗黒画素の前記連結領域の総数が前記第１のインデックス閾値以上である場合、前記現在の原画の誤認識を確認すること、を含む、ことを特徴とする請求項２に記載の画像処理方法。

【請求項6】

前記現在の原画に空洞が含まれているかどうかを判断することは、
前記現在の原画を深度画像に変換することであって、前記深度画像中の各深度値は、前記原画中の各画素点に対応する検出対象物のカプセル内視鏡に対する距離であること、
前記深度画像を第２の二値化画像に変換すること、
前記第２の二値化画像に基づいて、明るい画素の各連結領域を取得し、前記明るい画素の数が予め設定された第２の閾値よりも大きい前記明るい画素の前記連結領域の総数をカウントすることであって、前記明るい画素は前記深度画像中の深度値が予め設定された深度閾値よりも大きい画素点であること、
カウントによって得られた前記明るい画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認すること、を含む、ことを特徴とする請求項１に記載の画像処理方法。

【請求項7】

前記現在の原画に空洞が含まれているかどうかを判断することは、
前記現在の原画を深度画像に変換することであって、前記深度画像中の各深度値は、前記原画中の各画素点に対応する検出対象物のカプセル内視鏡に対する距離であること、
前記深度画像を第２の二値化画像に変換すること、
前記第２の二値化画像に基づいて、明るい画素の各連結領域を取得し、前記明るい画素の数が予め設定された第２の閾値よりも大きい前記明るい画素の前記連結領域の総数をカウントすることであって、前記明るい画素は前記深度画像中の深度値が予め設定された深度閾値よりも大きい画素点であること、
カウントによって得られた前記明るい画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認すること、を含み、
前記深度画像を前記第２の二値化画像に変換することは、
前記深度画像中の画素点の深度値が予め設定された深度閾値よりも大きい場合、この画素点の値を前記第２の二値化画像において第３の値で表し、前記グレースケール画像中の画素点の前記グレースケール値が予め設定された深度閾値以下である場合、この画素点の値を前記第２の二値化画像において第４の値で表すことであって、前記第３の値と前記第４の値は異なること、を含む、ことを特徴とする請求項２に記載の画像処理方法。

【請求項8】

カウントによって得られた前記明るい画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認することは、具体的に、
前記明るい画素の前記連結領域の総数が０である場合、前記現在の原画に空洞が含まれていないことを確認すること、
前記明るい画素の前記連結領域の総数が０から第２のインデックス閾値の間である場合、前記現在の原画に空洞が含まれていることを確認すること、
前記明るい画素の前記連結領域の総数が前記第２のインデックス閾値以上である場合、前記現在の原画の誤認識を確認すること、を含む、ことを特徴とする請求項６に記載の画像処理方法。

【請求項9】

前記現在の原画に空洞が含まれている場合、前記元の撮影フレームレートに基づいて前記撮影フレームレートを増加させた後、前記画像処理方法は、
前記元の撮影フレームレートに従って隣接する画像のサンプリング出力間隔時間ｔを算出すること、
取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングすること、
各サンプリング後に、現在サンプリングされた原画に基づいて、それに空洞が含まれているかどうかを判断すること、をさらに含む、ことを特徴とする請求項１～８のいずれか１項に記載の画像処理方法。

【請求項10】

前記現在の原画中に空洞が含まれているかどうかを判断した後、前記画像処理方法は、
前記元の撮影フレームレートに従って隣接する画像のサンプリング出力間隔時間ｔを算出すること、
取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングすること、
各サンプリング後に、現在サンプリングされた原画と予め記憶された画像との類似性を比較すること、
類似している場合、前記現在サンプリングされた原画を破棄すること、
類似していない場合、前記現在サンプリングされた原画を出力し、前記予め記憶された画像を前記現在サンプリングされた原画に置き換えること、をさらに含む、ことを特徴とする請求項１～８のいずれか１項に記載の画像処理方法。

【請求項11】

メモリとプロセッサを含み、前記メモリに前記プロセッサ上で実行可能なコンピュータープログラムが記憶される、カプセル内視鏡である電子機器であって、前記プロセッサは前記プログラムを実行すると画像処理方法におけるステップを実行し、ここで、前記画像処理方法は、
腸管に係る原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、元の撮影フレームレートを維持して撮影を継続することを含み、
前記含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させることは、具体的に、
前記現在の原画に空洞が含まれていることを確認する場合、空洞の特定に用いた連結領域の総面積を原画に対応する空洞インデックスとして使用すること、
前記空洞インデックスに応じて前記撮影フレームレートを調整し、前記空洞インデックスが大きいほど、前記撮影フレームレートが高くなること、を含む、ことを特徴とする電子機器。

【請求項12】

カプセル内視鏡によって実行されるコンピュータープログラムが記憶されたコンピューター可読記憶媒体であって、前記コンピュータープログラムがプロセッサによって実行されると画像処理方法におけるステップを実施し、ここで、前記画像処理方法は、
腸管に係る原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、元の撮影フレームレートを維持して撮影を継続することを含み、
前記含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させることは、具体的に、
前記現在の原画に空洞が含まれていることを確認する場合、空洞の特定に用いた連結領域の総面積を原画に対応する空洞インデックスとして使用すること、
前記空洞インデックスに応じて前記撮影フレームレートを調整し、前記空洞インデックスが大きいほど、前記撮影フレームレートが高くなること、を含む、ことを特徴とするコンピューター可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２０年１１月６日に出願され、出願番号２０２０１１２２７０７５．５、発明名称が「画像処理方法、電子機器および可読記憶媒体」の中国特許出願の優先権を主張し、そのすべての内容は参照によって本出願に組み込まれる。

【0002】

本発明は、医療機器の画像処理の分野に関し、特に、画像処理方法、電子機器および可読記憶媒体に関する。

【背景技術】

【0003】

カプセル内視鏡は、消化管の検査に使用されることが多くなってきている。カプセル内視鏡は口から摂取され、口、食道、胃、小腸、大腸を通り、最終的に体外に排出される。カプセル内視鏡は通常、消化管の蠕動運動に合わせて受動的に動作し、この過程中、医師が患者の消化管の各部の健康状態を調べるために、カプセル内視鏡が一定のフレームレートで画像を撮影する。

【0004】

カプセル内視鏡は、内蔵された電池で給電され、カメラモジュールで消化管の写真を撮影し、無線で体外に送信する。電池電力などの制限により、カプセル内視鏡の総検査時間は通常８～１４時間、総撮影画像数は３～１０万である。したがって、平均画像撮影フレームレートは１～２ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）であり、短時間で４～８ｆｐｓ、さらに１０～３０ｆｐｓにも対応できる。

【0005】

電力、撮影品質および伝送効率を考慮すると、既存のカプセル内視鏡は以下の問題がある。

【0006】

問題１：撮影品質を考慮すると、撮影フレームレートが高いほど、映像が滑らかになり、撮り逃がしの確率も低くなるが、カプセル内視鏡は電池によって給電され、電力には限界があり、常時高フレームレートでの８～１４時間の撮影には対応できない。

【0007】

問題２：電池電力を考慮し、常時低い撮影フレームレートで撮影すると、撮り逃がしリスクがある。

【0008】

問題３：腸管空洞の画像が少なすぎ、腸壁の画像が多すぎる。小腸や大腸の検査では、腸管空洞の構造や形態を観察することが病気の診断に非常に役立つが、腸道中のカプセル内視鏡は、レンズが腸壁に付着しやすく、視野が狭い一方で、腸道全体の状況を把握することができず、病変の発見が妨げられる。

【0009】

現在、十分な電力を確保し、撮影フレームレートを高めると同時に、より多くの腸管空洞情報を把握することが求められており、上記問題を解決するための新しい画像処理方法が必要である。

【発明の概要】

【0010】

本発明の目的は、上記技術的問題を解決するための画像処理方法、電子機器および可読記憶媒体を提供することである。

【0011】

上記発明の目的の１つを果たすために、本発明の一実施形態は、画像処理方法を提供する。かかる方法は、原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、前記元の撮影フレームレートを維持して撮影を継続するステップを含む。

【0012】

本発明の一実施形態のさらなる改良として、前記現在の原画に空洞が含まれているかどうかを判断することは、
前記現在の原画をグレースケール画像に変換すること、
前記グレースケール画像を第１の二値化画像に変換すること、
前記第１の二値化画像に基づいて、暗黒画素の各連結領域を取得し、前記暗黒画素の数が予め設定された第１の閾値よりも大きい前記暗黒画素の前記連結領域の総数をカウントすることであって、前記暗黒画素はグレースケール値が小さい画素点であること、
カウントによって得られた前記暗黒画素の前記連結領域の総数に基づいて前記現在の原画に空洞が含まれているかどうかを確認することを含む。

【0013】

本発明の一実施形態のさらなる改良として、前記グレースケール画像を前記第１の二値化画像に変換することは、前記グレースケール画像の最大グレースケール値と最小グレースケール値に基づいて、前記グレースケール画像を二値化処理して前記第１の二値化画像を形成することを含む。

【0014】

本発明の一実施形態のさらなる改良として、前記グレースケール画像の前記最大グレースケール値と前記最小グレースケール値に基づいて、前記グレースケール画像を二値化処理して前記第１の二値化画像を形成することは、具体的に、
前記グレースケール画像中の画素点の前記グレースケール値がグレースケール閾値よりも大きい場合、この画素点の値を前記第１の二値化画像において第１の値で表し、前記グレースケール画像中の画素点の前記グレースケール値が前記グレースケール閾値以下である場合、この画素点の値を前記第１の二値化画像において第２の値で表すことであって、前記第１の値と前記第２の値は異なること、
前記グレースケール閾値はｍ１＝Ｒ×ｍａｘｖ＋(１‐Ｒ)×ｍｉｎｖ、ここで、Ｒは定数であるスケールファクターを示し、ｍａｘｖは前記グレースケール画像中の前記最大グレースケール値を示し、ｍｉｎｖは前記グレースケール画像中の前記最小グレースケール値を示すことを含む。

【0015】

本発明の一実施形態のさらなる改良として、カウントによって得られた前記暗黒画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認することは、具体的に、
前記暗黒画素の前記連結領域の総数が０である場合、前記現在の原画に空洞が含まれていないことを確認すること、
前記暗黒画素の前記連結領域の総数が０から第１のインデックス閾値の間である場合、前記現在の原画に空洞が含まれていることを確認すること、
前記暗黒画素の前記連結領域の総数が前記第１のインデックス閾値以上である場合、前記現在の原画の誤認識を確認することを含む。

【0016】

本発明の一実施形態のさらなる改良として、前記現在の原画に空洞が含まれているかどうかを判断することは、
前記現在の原画を深度画像に変換することであって、前記深度画像中の各深度値は前記原画中の各画素点に対応する検出対象物のカプセル内視鏡に対する距離であること、
前記深度画像を第２の二値化画像に変換すること、
前記第２の二値化画像に基づいて、明るい画素の各連結領域を取得し、前記明るい画素の数が予め設定された第２の閾値よりも大きい前記明るい画素の前記連結領域の総数をカウントすることであって、前記明るい画素は距離が遠い画素点であること、
カウントによって得られた前記明るい画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかことを確認することを含む。

【0017】

本発明の一実施形態のさらなる改良として、グレースケール画像を第１の二値化画像に変換し、前記深度画像を前記第２の二値化画像に変換することは、
前記深度画像中の画素点の深度値が予め設定された深度閾値よりも大きい場合、この画素点の値を前記第２の二値化画像において第３の値で表し、前記グレースケール画像中の画素点の前記グレースケール値が予め設定された深度閾値以下である場合、この画素点の値を前記第２の二値化画像において第４の値で表すことであって、前記第３の値と前記第４の値は異なることを含む。

【0018】

本発明の一実施形態のさらなる改良として、カウントによって得られた前記明るい画素の前記連結領域の総数に基づいて、前記現在の原画に空洞が含まれているかどうかを確認することは、具体的に、
前記明るい画素の前記連結領域の総数が０である場合、前記現在の原画に空洞が含まれていないことを確認すること、
前記明るい画素の前記連結領域の総数が０から第２のインデックス閾値の間である場合、前記現在の原画に空洞が含まれていることを確認すること、
前記明るい画素の前記連結領域の総数が前記第２のインデックス閾値以上である場合、前記現在の原画の誤認識を確認することを含む。

【0019】

本発明の一実施形態のさらなる改良として、前記含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させることは、具体的に、
前記現在の原画に空洞が含まれていることを確認する場合、空洞の総面積を原画に対応する空洞インデックスとして使用すること、
前記空洞インデックスに応じて前記撮影フレームレートを調整し、前記空洞インデックスが大きいほど、前記撮影フレームレートが高くなることを含む。

【0020】

本発明の一実施形態のさらなる改良として、前記現在の原画に空洞が含まれている場合、前記元の撮影フレームレートに基づいて前記撮影フレームレートを増加させた後、前記画像処理方法は、
前記元の撮影フレームレートに応じて隣接する画像のサンプリング出力間隔時間ｔを算出すること、
取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングすること、
各サンプリング後に、現在サンプリングされた原画に基づいて、それに空洞が含まれているかどうかを判断することをさらに含む。

【0021】

本発明の一実施形態のさらなる改良として、前記現在の原画中に空洞が含まれているかどうかを判断した後、前記画像処理方法は、
前記元の撮影フレームレートに応じて隣接する画像のサンプリング出力間隔時間ｔを算出すること、
取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングすること、
各サンプリング後に、現在サンプリングされた原画と予め記憶された画像との類似性を比較すること、
類似している場合、前記現在サンプリングされた原画を破棄すること、
類似していない場合、前記現在サンプリングされた原画を出力し、前記予め記憶された画像を前記現在サンプリングされた原画に置き換えることをさらに含む。

【0022】

上記発明の目的の１つを果たすために、本発明の一実施形態は、メモリとプロセッサを含む電子機器を提供し、前記メモリに前記プロセッサ上で実行可能なコンピュータープログラムが記憶され、前記プロセッサは前記プログラムを実行すると画像処理方法におけるステップを実施し、ここで、前記画像処理方法は、原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、元の撮影フレームレートを維持して撮影を継続することを含む。

【0023】

上記発明の目的の１つを果たすために、本発明の一実施形態は、コンピュータープログラムが記憶されたコンピューター可読記憶媒体を提供し、前記コンピュータープログラムはプロセッサによって実行されると画像処理方法におけるステップを実施し、ここで、前記画像処理方法は、原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、含まれていない場合、元の撮影フレームレートを維持して撮影を継続することを含む。

【発明の効果】

【0024】

従来技術と比較すると、本発明は以下の有益な効果を有する。本発明の画像処理方法、電子機器および可読記憶媒体は、カプセル内視鏡が実際に撮影した画像に応じてその撮影フレームレートを自動的に調整し、腸管空洞画像の撮影を改善し、撮り逃がし確率を減少させると同時に、省電力で、カプセル内視鏡の使用効率を向上させることができる。

【図面の簡単な説明】

【0025】

【図1】本発明の一実施形態が提供する画像処理方法のフローを示す模式図である。

【図2】本発明の第１の実施形態が提供する原画に基づく空洞識別のフローを示す模式図である。

【図3】本発明の一具体例のグレースケール画像である。

【図4】本発明の一具体例の第１の二値化画像である。

【図5】本発明の別の具体例の第１の二値化画像である。

【図6】本発明の第２の実施形態が提供する原画に基づく空洞識別のフローを示す模式図である。

【図7】本発明の一具体例の深度画像である。

【図8】本発明の一具体例の第２の二値化画像である。

【図9】図１に基づいて形成された好ましい実施形態の画像処理方法のフローを示す模式図である。

【図10】本発明の一実施形態が提供する画像に基づくスレッド操作フローを示す模式図である。

【発明を実施するための形態】

【0026】

以下、添付図面に示す具体的な実施形態を参照しながら本発明を詳細に説明する。しかし、これらの実施形態は本発明を限定するものではなく、当業者が行う、これらの実施形態に基づいて得られた構造、方法、または機能の変更は、すべて本発明の保護範囲内に含まれる。

【0027】

図１に示すように、本発明の第１の実施形態は画像処理方法を提供し、その方法は、以下のステップを含む。

【0028】

Ｓ１、原画を取得し、現在の原画に空洞が含まれているかどうかを判断し、含まれている場合、元の撮影フレームレートを基に撮影フレームレートを増加させ、含まれていない場合、元の撮影フレームレートを維持して撮影を継続する。

【0029】

本発明の好ましい実施形態では、以下の２つの方法によって原画中に空洞が含まれているかどうかを識別する。

【0030】

本発明の第１の実施形態（方法１）では、図２に示すように、現在の原画に空洞が含まれているかどうかを判断することは、ステップＳ１１：現在の原画をグレースケール画像に変換すること、ステップＳ１２：グレースケール画像を第１の二値化画像に変換すること、ステップＳ１３：前記第１の二値化画像に基づいて、暗黒画素の各連結領域を取得し、暗黒画素の数が予め設定された第１の閾値よりも大きい暗黒画素の連結領域の総数をカウントすることであって、前記暗黒画素はグレースケール値が小さい画素点であること、ステップＳ１４：カウントによって得られた暗黒画素の連結領域の総数に基づいて、現在の原画に空洞が含まれているかどうかを確認すること、を含む。

【0031】

ステップＳ１１において、原画はＲＧＢフォーマットのカラー画像であり、カラー画像をグレースケール画像に変換することは従来技術であり、ここではこれ以上の説明を省略する。図３に示すように、原画をグレースケール画像に変換した後、グレースケール画像中の各画素点は固有のグレースケール値を有する。

【0032】

ステップＳ１２において、グレースケール画像を第１の二値化画像に変換する方法は様々であり、本発明の好ましい実施形態では、グレースケール画像の最大グレースケール値と最小グレースケール値に基づいて、前記グレースケール画像を二値化処理して第１の二値化画像を形成する。具体的に、前記最大グレースケール値と最小グレースケール値に基づいて、グレースケール閾値を算出し、グレースケール画像中の画素点のグレースケール値がグレースケール閾値よりも大きい場合、この画素点の値を第１の二値化画像において第１の値で表し、グレースケール画像中の画素点のグレースケール値がグレースケール閾値以下である場合、この画素点の値を第１の二値化画像において第２の値で表す。前記第１の値と前記第２の値は異なる。本発明の好ましい実施形態では、前記グレースケール閾値はｍ１＝Ｒ×ｍａｘｖ＋(１‐Ｒ)×ｍｉｎｖ、ここで、Ｒは定数であるスケールファクターを示し、ｍａｘｖはグレースケール画像中の最大グレースケール値を示し、ｍｉｎｖはグレースケール画像中の最小グレースケール値を示す。図３に示すように、本発明の一具体例では、Ｒ＝０．２と設定され、グレースケール画像を分析して取得されるｍａｘｖとｍｉｎｖの値は、ｍａｘｖ＝２５５、ｍｉｎｖ＝０である。このように、上記の式によってｍ１の値を５１と算出した。さらに、グレースケール画像中の各画素点のグレースケール値を、算出したグレースケール閾値ｍ１と順次比較した後、図４に示す第１の二値化画像を形成する。

【0033】

なお、第１の二値化画像では、画像中の各画素点は２つの値のみで置き換えられ、２つの値は必要に応じて選択でき、本発明の具体例では、２つの値はそれぞれ「０」と「２５５」であり、「０」は暗黒画素を示し、「２５５」は明るい画素を示す。本発明の他の実施形態では、「０」と「２５５」はそれぞれ明るい画素と暗黒画素を示してもよく、２つの値は必要に応じて変更でき、例えば「０」と「１」に変更するか、または他の値に変更してもよく、ここではこれ以上の説明を省略する。

【0034】

ステップＳ１２について、腸管空洞を撮影する時、暗いものと明るいものとが存在するので、そのシーンはグラデーションとなっている。そのため、通常暗いシーンが腸管空洞であると識別される。そして、二値化処理は腸管空洞領域を切り離すことができる。この具体例では、明るさがグレースケール閾値未満であるものを０、グレースケール閾値を超えるものを２５５とする。

【0035】

ステップＳ１３において、暗黒画素の各連結領域について暗黒画素の数をカウントし、第１の閾値と比較して、免れた暗黒画素の連結領域を除外する。

【0036】

前記第１の閾値は一定値であり、その大きさは必要に応じて設定すればよい。

【0037】

図５に示すように、図５は本発明の別の具体例で得られた第１の二値化画像を示し、図４および図５に示す具体例では、前記第１の閾値を４とし、図４に示す具体例では、比較した後、算出用の残りの暗黒画素の連結領域は１つである。図５に示す具体例について、３つの暗黒画素の連結領域中の画素の数はいずれも第１の閾値未満であり、このように、比較した後、図５に示す具体例では算出用の残りの暗黒画素の連結領域は０である。

【0038】

好ましくは、ステップＳ１４では、暗黒画素の連結領域の総数が０である場合、現在の原画に空洞が含まれていないことを確認し、暗黒画素の連結領域の総数が０から第１のインデックス閾値の間である場合、現在の原画に空洞が含まれていることを確認し、暗黒画素の連結領域の総数が第１のインデックス閾値以上である場合、現在の原画の誤認識を確認する。

【0039】

前記第１のインデックス閾値は一定値であり、その大きさは必要に応じて設定すればよい。本発明の具体例では、画像中の空洞について、存在している場合、その数は通常１、２または３であり、それに対応して、前記第１のインデックス閾値は例えば４に設定される。

【0040】

図６に示すように、本発明の第２の実施形態（方法２）では、現在の原画に空洞が含まれているかどうかを判断することは、ステップＳ２１：現在の原画を深度画像に変換し、前記深度画像中の各深度値は原画中の各画素点に対応する検出対象物のカプセル内視鏡に対する距離であること、ステップＳ２２：深度画像を第２の二値化画像に変換すること、ステップＳ２３：前記第２の二値化画像に基づいて、明るい画素の各連結領域を取得し、明るい画素の数が予め設定された第２の閾値よりも大きい明るい画素の連結領域の総数をカウントすることであって、前記明るい画素は距離が遠い画素点であること、ステップＳ２４：カウントによって得られた明るい画素の連結領域の総数に基づいて、現在の原画に空洞が含まれているかどうかを確認すること、を含む。

【0041】

ステップＳ２１について、原画を深度画像に変換する方法は様々であり、従来技術であり、具体的に開示番号ＣＮ１１０３３５３１８Ａの中国特許出願、発明名称「撮影システムに基づく消化管内の物体測定方法」を参照する。

【0042】

ステップＳ２２について、深度画像を第２の二値化画像に変換する方法は様々であり、本発明の一具体的な実施形態では、ステップＳ２２は具体的に、深度画像中の画素点の深度値が予め設定された深度閾値よりも大きい場合、この画素点の値を第２の二値化画像において第３の値で表し、グレースケール画像中の画素点のグレースケール値が予め設定された深度閾値以下である場合、この画素点の値を第２の二値化画像において第４の値で表し、前記第３の値と前記第４の値は異なる。

【0043】

前記予め設定された深度閾値は一定値であり、その大きさは必要に応じて設定すればよい。

【0044】

図７に示すように、本発明の一具体例では、予め設定された深度閾値を１９に設定し、その単位はｍｍである。さらに、深度画像中の各深度値を予め設定された深度閾値と順次比較した後、図８に示す第２の二値化画像を形成する。

【0045】

なお、第２の二値化画像では、画像中の各画素点の深度値は２つの値のみで置き換えられ、それに対応して、２つの値は必要に応じて選択でき、本発明の具体例では、２つの値はそれぞれ「０」と「１」であり、「０」は画素点の深度値が小さいことを示し、「１」は画素点の深度値が大きいことを示し、つまり、距離が遠い画素点を表現する。本発明の他の実施形態では、「０」と「１」を入れ替えることも可能であり、２つの値は必要に応じて変更することもでき、例えば「０」と「２５５」に変更するか、または他の値に変更してもよく、ここではこれ以上の説明を省略する。

【0046】

ステップＳ２２について、腸管空洞を撮影するとき、距離が遠いものと近いものとが存在するので、そのシーンは多数の段階構造となっている。そのため、通常距離が遠いシーンが腸管空洞であると識別され、距離が近いシーンは通常腸壁に付着して撮影したものであると識別される。二値化処理は腸管空洞領域を切り離すことができる。この具体例では、距離が予め設定された深度閾値よりも大きいものを１、距離が予め設定された深度閾値未満のものを０とする。

【0047】

ステップＳ２３について、明るい画素の各連結領域に対して、その明るい画素の数をカウントし、第２の閾値と比較して、免れた明るい画素の連結領域を除外する。図８に示す具体例では、比較した後、算出用の残りの明るい画素の連結領域は１つである。

【0048】

好ましくは、ステップＳ２４について、明るい画素の連結領域の総数が０である場合、現在の原画に空洞が含まれていないことを確認し、明るい画素の連結領域の総数が０から第２のインデックス閾値の間である場合、現在の原画に空洞が含まれていることを確認し、明るい画素の連結領域の総数が第２のインデックス閾値以上である場合、現在の原画の誤認識を確認する。

【0049】

前記第２のインデックス閾値は一定値であり、その大きさは必要に応じて設定すればよい。本発明の具体例では、画像中の空洞について、存在している場合、その数は通常１、２または３であり、それに対応して、前記第２のインデックス閾値は例えば４に設定される。

【0050】

なお、上記の現在の原画中に空洞が含まれているかどうかを判断する２つの実施形態、つまり方法１と方法２は、どちらを選択してもよく、順次実行してもよく、または同時に実行してもよい。順次に実行する場合、まず方法１を実行してから方法２を実行する場合を例にすると、方法１で空洞が含まれていると判断したとき、方法２で検証し、方法２の結果を最終的な判断結果とする。同様に、まず方法２を実行してから方法１を実行する場合を例にすると、方法２で空洞が含まれていると判断したとき、方法１で検証し、方法１の結果を最終的な判断結果とする。２つの方法を同時に実行するとき、方法１と方法２とでいずれも空洞が含まれていると判断したとき、空洞が含まれていることを確認し、そうでなければ、結果として、現在の原画の誤認識であると確認する。

【0051】

好ましくは、ステップＳ１について、空洞が含まれていることを確認すると、元の撮影フレームレートに基づいて撮影フレームレートを増加させ、具体的に、現在の原画に空洞が含まれていることを確認すると、空洞の特定に用いた連結領域の総面積を原画に対応する空洞インデックスとして使用し、前記空洞インデックスに従って撮影フレームレートを調整し、前記空洞インデックスが大きいほど、前記撮影フレームレートを高くする。

【0052】

理解を容易にするために、図４に示す具体例を参照して説明する。例えば、各画素点の面積を１とする場合、図４に示す具体例では、その暗黒画素の連結領域に含まれる画素点は６である。よって、その面積の値は６となる。つまりこの原画に対応する空洞インデックスは６である。

【0053】

さらに、画像撮影の前に、フレームレートと空洞インデックスのマッピング関係を設定する。例えば、元のベースフレームレートは２ｆｐｓであり、空洞インデックスは４である場合、フレームレートは４ｆｐｓであり、空洞インデックスは５である場合、フレームレートは５ｆｐｓであり、空洞インデックスは６である場合、フレームレートは６ｆｐｓであり、このように、空洞インデックスとフレームレートのマッピング関係は必要に応じて設定すればよく、ここではこれ以上の説明を省略する。

【0054】

上記マッピング関係に対応して、図４に示す具体例では空洞が含まれ、かつ空洞インデックスは６であるので、撮影フレームレートを高める必要があり、調整した後の撮影フレームレートは６ｆｐｓである。

【0055】

さらに、図９に示すように、本発明の好ましい実施形態では、現在の原画中に空洞が含まれているかどうかを判断した後、前記方法は、ステップＰ１：元の撮影フレームレートに従って隣接する画像のサンプリング出力間隔時間ｔを算出すること、ステップＰ２：取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングすること、ステップＰ３：各サンプリング後に、現在サンプリングされた原画と予め記憶された画像との類似性を比較し、類似している場合、現在サンプリングされた原画を破棄し、類似していない場合、現在サンプリングされた原画を出力し、予め記憶された画像を現在サンプリングされた原画に置き換えることをさらに含む。このように、撮影過程中に多数の冗長画像が生成されるが、出力過程中、画像を選択的に出力し、つまりより多くの重複画像の出力を回避し、さらに医師の読影効率を向上させ、医師の読影負担を軽減することができる。

【0056】

なお、上記ステップＰ１からステップＰ３は、説明上の便宜のために付加されたものに過ぎず、実際には、記述された順序は各ステップの実行順序を表すものではないことに留意されたい。

【0057】

ステップＰ１について、ｔ＝１/ｆ(ｓ)、ｆは元の撮影フレームレートを示し、ｓは時間単位「秒」である。

【0058】

ステップＰ２について、サンプリング間隔時間はｔであり、つまり、元の撮影フレームレートが変更されていなければ、撮影された各画像はいずれもサンプリングされる。撮影フレームレートを上げると、最初の画像から間隔時間ｔごとに撮影された画像のみがサンプリングされ、つまり撮影フレームレートを上げても、同じ時間内でのサンプリング総数は変わらない。このように、サンプリング効率を向上させることができる。

【0059】

なお、ここでのサンプリングとは処理スレッドが所定時間間隔で撮影画像をサンプリングし、さらに、サンプリングされた画像のみに対して類似性の比較を行うことを意味する。このように、類似性の比較を選択的に行い、さらに画像を選択的に出力し、ひいては読影効率を向上させることができる。

【0060】

ステップＰ３について、類似性の比較は従来技術の汎用アルゴリズムであり、通常原画の特徴を抽出し、特徴ベクトルをカウントし、最終的に類似性判断を行う。

【0061】

例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ、ローカルバイナリーパターン）の画像類似性アルゴリズムが用いられ、このアルゴリズムの主なステップは以下のとおりである。画像のＬＢＰ情報を抽出し、いくつかの領域でヒストグラムをカウントし、次に画像情報の特徴ベクトルを記述し、その後特徴ベクトルの大きさに応じて２枚の画像が類似しているかどうかを判断する。ここではこれ以上の説明を省略する。

【0062】

カプセル内視鏡の画像撮影過程中、カプセル内視鏡が回転する。複数の角度で撮影された画像が類似性判断およびユーザの主観に与える影響を避けるために、類似性の比較の前に、比較する画像と同じ撮影角度や姿勢になるように、カプセル内視鏡の姿勢に応じて画像を回転させる。このようすれば、類似性判断結果がより正確になる。

【0063】

図１０に示すように、本発明の一具体例では、独立したスレッドを用いて上記ステップを実行し、具体的に、撮影スレッド、処理スレッドおよび伝送スレッドという３つの独立したスレッドを設定し、各スレッドは互いに干渉することなく独立して実行される。このようにすれば、空洞に応じてフレームレートを調整し、冗長画像の伝送を効果的に低減することができると同時に、冗長画像の伝送を低減する際に、フレームレートの調整による作業負荷の増加がない。

【0064】

具体的に、前記撮影スレッドは設定されたフレームレートに従って画像を撮影し、空洞が検出されないとき、常に元の撮影フレームレートで画像を撮影し、つまり間隔時間ｔごとに、１枚の画像を撮影し、同時に、処理スレッドは間隔時間ｔごとに１枚の画像をサンプリングする。フレームレートを高めた後、撮影スレッドは調整後のフレームレートに従って画像を撮影し、この具体例では、撮影フレームレートは元のフレームレートから増加し、つまり間隔ｔ１ごとに１枚の画像を撮影し（ｔ１＜ｔ）、同時に、処理スレッドは同様に間隔時間ｔごとに１枚の画像をサンプリングする。撮影スレッド上のバーは画像を示し、ここで、比較的高いバーは元の撮影フレームレートに従って算出してサンプリングされた画像を示す。

【0065】

伝送スレッドは、サンプリングされた画像と予め記憶された画像との類似性の比較のみを行い、ここで、予め記憶された最初の画像はサンプリングされた最初の画像であり、その後の予め記憶された画像は類似性の結果に応じて変更される。上記から分かるように、ここで、空洞が識別されたかどうかにかかわらず、処理スレッドは常にｔの時間間隔でサンプリングし、伝送スレッドを介してサンプリングされた画像に対してＩＣＤ（Ｉｎｔｅｓｔｉｎａｌ Ｃａｖｉｔｙ Ｄｅｔｅｃｔｉｏｎ、腸管空洞識別）およびＩＳＪ（Ｉｍａｇｅ Ｓｉｍｉｌａｒｉｔｙ Ｊｕｄｇｍｅｎｔ、画像類似性比較）処理を行う。

【0066】

好ましくは、ステップＳ１について、空洞が含まれていることを確認すると、元の撮影フレームレートに基づいて撮影フレームレートを増加させた後、前記方法は、元の撮影フレームレートに従って隣接する画像のサンプリング出力間隔時間ｔを算出し、取得した最初の原画から開始し、距離間隔時間ｔごとに１枚の原画をサンプリングし、各サンプリング後にステップＳ１を繰り返して実行する。つまり、現在サンプリングされた原画に基づいて、それに空洞が含まれているかどうかを判断する。

【0067】

空洞があると識別した後、撮影スレッドの撮影フレームレートを高めるが、フレームレートの向上により得られた画像は算出処理されることなくすべて伝送され、空洞がないことを識別した後、撮影フレームレートを変更せず、同時に、伝送スレッドはサンプリング画像の類似性の比較を行い、現在の画像が類似画像であると判断すると、この画像を伝送することなく破棄する。

【0068】

それに対応して、伝送スレッド中のある枝路によりサンプリングされた原画に対して類似性の比較を行い、比較結果に応じて現在サンプリングされた原画を出力するかどうかを決定し、別の枝路により原画に対して空洞識別を行い、識別結果に応じて撮影フレームレートを調整する。

【0069】

もちろん、本発明の他の実施形態では、増加した後のフレームレートに従って隣接する画像のサンプリング出力間隔時間を算出し、サンプリングされた画像に対して類似性の比較を行って出力し、またはサンプリングされた画像に対して空洞識別を行ってフレームレートを調整してもよく、ここではこれ以上の説明を省略する。

【0070】

さらに、本発明の一実施形態が提供する電子機器は、メモリとプロセッサを含み、前記メモリに前記プロセッサ上で実行可能なコンピュータープログラムが記憶され、前記プロセッサは前記プログラムを実行すると前記画像処理方法におけるステップを実施する。

【0071】

さらに、本発明の一実施形態が提供するコンピューター可読記憶媒体は、コンピュータープログラムが記憶され、前記コンピュータープログラムはプロセッサによって実行されると前記画像処理方法におけるステップを実施する。

【0072】

以上のように、本発明の画像処理方法、電子機器および可読記憶媒体は、既存のハードウェア構造で取得した画像に基づいて、追加のハードウェア支援なしに、ハードウェアの演算能力の要求度合が低く、カプセル内視鏡が予め設定した検出位置に到達するかどうかを簡単で効率的に確認することができると同時に、画像の取得過程中、極めて低い等価フレームレートで画像データを取得し、電池電力を大きく節約し、カプセル内視鏡の使用効率を向上させる。

【0073】

なお、本明細書は実施形態に従って説明されるが、各実施形態は１つの独立した技術的解決策のみを含むわけではなく、明細書を明確にするためにのみ説明され、当業者は、明細書全体を考慮すべきであり、各実施形態における技術的解決策は適切に組み合わせて当業者が理解できる他の実施形態になろう。

【0074】

上記に示した一連の詳細な説明は、本発明の実現可能な実施形態の具体的な説明に過ぎず、本発明の保護範囲を限定するものではなく、本発明の技術精神から逸脱することなくなされた等価の実施形態または変形は、すべて本発明の保護範囲に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】