(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150410
(43)【公開日】2024-10-23
(54)【発明の名称】動画処理の方法、装置、電子デバイス及び媒体
(51)【国際特許分類】
A61B 1/045 20060101AFI20241016BHJP
【ＦＩ】
A61B1/045 610
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024048885
(22)【出願日】2024-03-26
(31)【優先権主張番号】202310318499.X
(32)【優先日】2023-03-28
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】リー ヤンリー
(72)【発明者】
【氏名】ジャン ニー
(57)【要約】 （修正有）
【課題】内視鏡動画における血管または病変部位に対して検出および強調し、病巣に対して局所ヒントを出して、医師の検査を支援する方法を提供する。
【解決手段】動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得することを含む。方法は、第１のフレームと少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定することをさらに含む。方法は、少なくとも第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの前記画素の第１のエッジ属性を更新することをさらに含む。動画の時空間手がかりを利用してエッジ検出および強調の正確性および信頼性を向上させ、動画における低品質画像による悪影響を低減して、動画処理のロバスト性を向上させる。
【選択図】図２
【解決手段】動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得することを含む。方法は、第１のフレームと少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定することをさらに含む。方法は、少なくとも第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの前記画素の第１のエッジ属性を更新することをさらに含む。動画の時空間手がかりを利用してエッジ検出および強調の正確性および信頼性を向上させ、動画における低品質画像による悪影響を低減して、動画処理のロバスト性を向上させる。
【選択図】図２
【特許請求の範囲】
【請求項1】
動画処理の方法であって、
前記動画の第１のフレームの第１のエッジと、前記第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得することと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、前記第１のエッジの画素から前記第２のエッジの対応する画素への空間オフセットを決定することと、
少なくとも前記第２のエッジの前記対応する画素の第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の第１のエッジ属性を更新することと、を含む、
方法。
前記動画の第１のフレームの第１のエッジと、前記第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得することと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、前記第１のエッジの画素から前記第２のエッジの対応する画素への空間オフセットを決定することと、
少なくとも前記第２のエッジの前記対応する画素の第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の第１のエッジ属性を更新することと、を含む、
方法。
【請求項2】
前記動画の前記第１のフレームの第１のエッジと、前記少なくとも１つの隣接領域フレームの第２のエッジとを取得することは、
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの各画素のエッジ属性を決定することであって、前記エッジ属性は、画素がエッジに属する確率を示すことと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームにおいて、エッジ属性が閾値より大きい画素を決定することによって、前記第１のエッジと前記第２のエッジを決定することと、を含む、
請求項１に記載の方法。
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの各画素のエッジ属性を決定することであって、前記エッジ属性は、画素がエッジに属する確率を示すことと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームにおいて、エッジ属性が閾値より大きい画素を決定することによって、前記第１のエッジと前記第２のエッジを決定することと、を含む、
請求項１に記載の方法。
【請求項3】
前記第１のエッジの前記画素の前記第１のエッジ属性を更新することは、
前記少なくとも１つの隣接領域フレームが予め設定された条件を満たしているか否かを決定することと、
前記少なくとも１つの隣接領域フレームが予め設定された条件を満たしていると決定したことに応答して、前記第２のエッジの前記対応する画素の前記第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の前記第１のエッジ属性を更新することと、を含む、
請求項１に記載の方法。
前記少なくとも１つの隣接領域フレームが予め設定された条件を満たしているか否かを決定することと、
前記少なくとも１つの隣接領域フレームが予め設定された条件を満たしていると決定したことに応答して、前記第２のエッジの前記対応する画素の前記第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の前記第１のエッジ属性を更新することと、を含む、
請求項１に記載の方法。
【請求項4】
前記少なくとも１つの隣接領域フレームが予め設定された条件を満たしているか否かを決定することは、
前記少なくとも１つの隣接領域フレームの画像品質レベルが品質閾値を超えているか否かを決定することと、
前記第１のエッジの画素から前記第２のエッジの対応する画素への前記空間オフセットの平均値が予め設定された範囲内にあるか否かを決定することと、のうちの少なくとも一項を含む、
請求項３に記載の方法。
前記少なくとも１つの隣接領域フレームの画像品質レベルが品質閾値を超えているか否かを決定することと、
前記第１のエッジの画素から前記第２のエッジの対応する画素への前記空間オフセットの平均値が予め設定された範囲内にあるか否かを決定することと、のうちの少なくとも一項を含む、
請求項３に記載の方法。
【請求項5】
前記第１のエッジの前記画素の更新後の第１のエッジ属性に基づいて、前記第１のフレームにおける関心がある対象の輪郭セグメントを決定することと、
前記第１のフレームと前記第１のフレームの後続フレームとの間のレジストレーションに基づいて、前記輪郭セグメントから前記後続フレームへの全体的な空間オフセットを決定することと、
前記全体的な空間オフセットに基づいて、前記後続フレームにおいて前記輪郭セグメントとマッチングする別の輪郭セグメントを検索することと、をさらに含む、
請求項１に記載の方法。
前記第１のフレームと前記第１のフレームの後続フレームとの間のレジストレーションに基づいて、前記輪郭セグメントから前記後続フレームへの全体的な空間オフセットを決定することと、
前記全体的な空間オフセットに基づいて、前記後続フレームにおいて前記輪郭セグメントとマッチングする別の輪郭セグメントを検索することと、をさらに含む、
請求項１に記載の方法。
【請求項6】
前記第１のフレームにおける関心がある対象の輪郭セグメントを決定することは、
前記更新後の第１のエッジ属性に基づいて、前記第１のフレームのスーパー画素輪郭を生成することと、
前記スーパー画素輪郭に基づいて、前記関心がある対象の前記輪郭セグメントを生成することと、を含む、
請求項５に記載の方法。
前記更新後の第１のエッジ属性に基づいて、前記第１のフレームのスーパー画素輪郭を生成することと、
前記スーパー画素輪郭に基づいて、前記関心がある対象の前記輪郭セグメントを生成することと、を含む、
請求項５に記載の方法。
【請求項7】
前記関心がある対象の前記輪郭セグメントを生成することは、
前記スーパー画素輪郭における交差点に基づいて、前記スーパー画素輪郭を１セットのセグメントに分割することと、
前記１セットのセグメントをマージすることによって、前記輪郭セグメントを生成することと、を含む、
請求項６に記載の方法。
前記スーパー画素輪郭における交差点に基づいて、前記スーパー画素輪郭を１セットのセグメントに分割することと、
前記１セットのセグメントをマージすることによって、前記輪郭セグメントを生成することと、を含む、
請求項６に記載の方法。
【請求項8】
前記１セットのセグメントをマージすることによって前記輪郭セグメントを生成することは、
前記１セットのセグメントのうちの２つの隣接するセグメント間の類似度を決定することと、
前記類似度が閾値を超えていることに応答して、前記２つの隣接するセグメントをマージして前記輪郭セグメントを生成することと、を含む、
請求項７に記載の方法。
前記１セットのセグメントのうちの２つの隣接するセグメント間の類似度を決定することと、
前記類似度が閾値を超えていることに応答して、前記２つの隣接するセグメントをマージして前記輪郭セグメントを生成することと、を含む、
請求項７に記載の方法。
【請求項9】
前記１セットのセグメントのうちの２つの隣接するセグメント間の類似度を決定することは、
前記２つの隣接するセグメントの画素の平均勾配の間の差と、
前記２つの隣接するセグメントの画素の平均エッジ確率の間の差と、
前記２つの隣接するセグメントの画素から隣接領域フレームへの平均空間オフセットの間の差と、のうちのいずれか一項を決定することを含む、
請求項８に記載の方法。
前記２つの隣接するセグメントの画素の平均勾配の間の差と、
前記２つの隣接するセグメントの画素の平均エッジ確率の間の差と、
前記２つの隣接するセグメントの画素から隣接領域フレームへの平均空間オフセットの間の差と、のうちのいずれか一項を決定することを含む、
請求項８に記載の方法。
【請求項10】
前記全体的な空間オフセットに基づいて、前記後続フレームにおいて前記輪郭セグメントとマッチングする別の輪郭セグメントを検索することは、
前記全体的な空間オフセットに基づいて、前記後続フレームへの前記輪郭セグメントの投影を取得することと、
前記後続フレームにおける複数の候補輪郭セグメントを決定することと、
前記複数の候補輪郭セグメントにおいて前記投影に距離が最も近い前記別の輪郭セグメントを検索することと、を含む、
請求項７に記載の方法。
前記全体的な空間オフセットに基づいて、前記後続フレームへの前記輪郭セグメントの投影を取得することと、
前記後続フレームにおける複数の候補輪郭セグメントを決定することと、
前記複数の候補輪郭セグメントにおいて前記投影に距離が最も近い前記別の輪郭セグメントを検索することと、を含む、
請求項７に記載の方法。
【請求項11】
前記後続フレームにおける複数の候補輪郭セグメントを決定することは、
前記後続フレームにおける前記投影の位置に基づいて、前記後続フレームの領域を決定することと、
前記後続フレームの、少なくとも部分的に前記領域内にある前記複数の候補輪郭セグメントを決定することと、を含む、
請求項１０に記載の方法。
前記後続フレームにおける前記投影の位置に基づいて、前記後続フレームの領域を決定することと、
前記後続フレームの、少なくとも部分的に前記領域内にある前記複数の候補輪郭セグメントを決定することと、を含む、
請求項１０に記載の方法。
【請求項12】
前記投影に距離が最も近い前記別の輪郭セグメントを検索することは、
前記複数の候補輪郭セグメントのそれぞれについて、前記投影の各画素と前記候補輪郭セグメントの画素との最小距離を決定することによって、前記投影と前記候補輪郭セグメントとの距離を決定することと、
決定された距離が最も小さい候補輪郭セグメントを、前記別の輪郭セグメントとして決定することと、を含む、
請求項１０に記載の方法。
前記複数の候補輪郭セグメントのそれぞれについて、前記投影の各画素と前記候補輪郭セグメントの画素との最小距離を決定することによって、前記投影と前記候補輪郭セグメントとの距離を決定することと、
決定された距離が最も小さい候補輪郭セグメントを、前記別の輪郭セグメントとして決定することと、を含む、
請求項１０に記載の方法。
【請求項13】
追跡のために、前記動画の再生中に、前記輪郭セグメントと前記別の輪郭セグメントをハイライト表示することをさらに含む、
請求項５に記載の方法。
請求項５に記載の方法。
【請求項14】
前記第１のエッジと前記第２のエッジはそれぞれ、
微小構造のエッジと、
病巣のエッジと、のうちの少なくとも一項を含む、
請求項１に記載の方法。
微小構造のエッジと、
病巣のエッジと、のうちの少なくとも一項を含む、
請求項１に記載の方法。
【請求項15】
前記動画は狭帯域結像（ＮＢＩ）と拡大内視鏡（ＭＥ）動画とを含む、
請求項１に記載の方法。
請求項１に記載の方法。
【請求項16】
動画処理装置であって、
前記動画の第１のフレームの第１のエッジと、前記第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得するように構成されるエッジ取得ユニットと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、前記第１のエッジの画素から前記第２のエッジの対応する画素への空間オフセットを決定するように構成される空間オフセット決定ユニットと、
少なくとも前記対応する画素の第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の第１のエッジ属性を更新するように構成される更新ユニットと、を備える、
動画処理装置。
前記動画の第１のフレームの第１のエッジと、前記第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得するように構成されるエッジ取得ユニットと、
前記第１のフレームと前記少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、前記第１のエッジの画素から前記第２のエッジの対応する画素への空間オフセットを決定するように構成される空間オフセット決定ユニットと、
少なくとも前記対応する画素の第２のエッジ属性と前記空間オフセットとに基づいて、前記第１のエッジの前記画素の第１のエッジ属性を更新するように構成される更新ユニットと、を備える、
動画処理装置。
【請求項17】
少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリと、を備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１から１５のいずれか一項に記載の方法を実行する、
電子デバイス。
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリと、を備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１から１５のいずれか一項に記載の方法を実行する、
電子デバイス。
【請求項18】
デバイスによって実行されるときに、請求項１から１５のいずれか一項に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、
コンピュータ読み取り可能な記憶媒体。
コンピュータ読み取り可能な記憶媒体。
【請求項19】
デバイスによって実行されるときに、請求項１から１５のいずれか一項に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、
コンピュータプログラム。
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、画像処理技術の分野に関するものであり、より具体的には、動画処理の方法、装置、電子デバイス、コンピュータ読み取り可能な記憶媒体、およびコンピュータプログラム製品に関するものである。
【背景技術】
【0002】
内視鏡検査は、体外から人体の自然管腔を経て体内に送り込まれ、体内の疾患を検査する光学設備検査の１種である。医師は、使用時に内視鏡を検査対象臓器に導入し、内視鏡を操作して動かし、関わる部位を直接に覗き、画像や動画を記録することができる。
【0003】
一部の内視鏡システムは血管と周囲とのコントラストを高めることができるとともに、数十倍から百倍に拡大して、医師が血管構造や病変をよりはっきり観察できるように支援することもできる。しかしながら、血管構造や病変を内視鏡システムで直接観察するには、医師の強大で豊富な経験が必要となる。したがって、内視鏡動画における血管または病変部位に対して検出および強調し、病巣に対して局所ヒントを出して、医師が検査を完了するのを支援する改善案を提供することが必要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
このようなことに鑑みて、本開示の実施例は、動画処理の技術案を提出する。
【課題を解決するための手段】
【0005】
本開示の第１の形態によれば、動画処理方法を提供する。方法は、動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得することを含む。方法は、第１のフレームと少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定することをさらに含む。方法は、少なくとも第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの画素の第１のエッジ属性を更新することをさらに含む。
【0006】
本開示の第２の形態によれば、動画処理装置を提供する。装置は、エッジ取得ユニットと、空間オフセット決定ユニットと、更新ユニットとを備える。エッジ取得ユニットは、動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得するように構成される。空間オフセット決定ユニットは、第１のフレームと少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定するように構成される。更新ユニットは、少なくとも対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの画素の第１のエッジ属性を更新するように構成される。
【0007】
本開示の第３の形態によれば、電子デバイスを提供する。電子デバイスは、少なくとも１つの処理ユニットと、前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリとを備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、本開示の第１の形態を実行する。
【0008】
本開示の第４の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータ読み取り可能な記憶媒体を提供する。
【0009】
本開示の第５の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータプログラム製品を提供する。
【0010】
発明内容の部分は、以下の具体的な実施形態でさらに説明される概念に対する選択を簡略化した形で紹介するために提供される。発明内容の部分は、本開示のクリティカルな特徴又は必要な特徴を指示することを意図せず、また、本開示の範囲を限定することも意図しない。
【図面の簡単な説明】
【0011】
添付の図面を参照して、本開示の例示的な実施例をより詳細に説明することによって、本開示の上述および他の目的、特徴、および利点がより明らかになり、このうち、本開示の例示的な実施例においては、通常、同じ参照符号が同じ部品を表す。
【図1A】本開示の複数の実施例が実装され得る例示的な環境の模式図を示している。
【図1B】本開示の実施例が適用され得る例示的な動画のスクリーンショットを示している。
【図2】本開示の実施例に係る動画処理方法の模式的なフローチャートを示している。
【図3】本開示の実施例に係る動画処理システムの模式図を示している。
【図4A】本開示の実施例に係る動画に対してエッジ検出を適用する模式図を示している。
【図4B】本開示の実施例に係る動画に対して画像レジストレーションを適用する模式図を示している。
【図5】本開示の実施例に係るエッジ強調のためのプロセスの模式的なフローチャートを示している。
【図6】本開示の実施例に係る輪郭追跡のためのプロセスの模式的なフローチャートを示している。
【図7】本開示の実施例に係る輪郭セグメントを生成するためのプロセスの模式的なフローチャートを示している。
【図8】本開示の実施例に係る輪郭マッチングのためのプロセスの模式的なフローチャートを示している。
【図9】本開示の実施例に係る動画処理装置の模式的なブロック図を示している。
【図10】本開示の内容の実施例を実施するために使用され得る例示的なデバイスの模式的なブロック図を示している。
【発明を実施するための形態】
【0012】
以下、添付の図面を参照して、本開示の好ましい実施例についてより詳細に説明する。添付の図面に本開示の好ましい実施例が示されているが、本開示は、ここに記述された実施例によって限定されるべきではなく、様々な形で実装され得ることが理解されるべきである。むしろ、これらの実施例は、本開示をより明瞭かつ完全なものとし、本開示の範囲を当業者に完全に伝えることを可能にするために提供される。
【0013】
本文で使用される「含む」という用語およびその変形は、開放的な包含、すなわち「包含するが、これに限定されるものではない」を表す。特に明記されない限り、「または」という用語は、「および／または」を表す。「に基づく」という用語は、「少なくとも部分的に基づく」を表す。「１つの例示的な実施例」および「１つの実施例」という用語は、「少なくとも１つの例示的な実施例」を表す。「別の実施例」という用語は、「少なくとも１つの別の実施例」を表す。「第１」、「第２」などの用語は、異なるオブジェクトまたは同じオブジェクトを指すことができる。以下に、他の明示的な定義と暗黙的な定義を含めることもある。
【0014】
上記に言及したように、一部の内視鏡システムは血管と周囲とのコントラストを高めることができ、血管の観察に役立つとともに、数十倍から百倍に拡大して、血管構造や病変をよりはっきり観察できるようにすることもできる。例えば、狭帯域撮像（ＮＢＩ：ｎａｒｒｏｗ ｂａｎｄ ｉｍａｇｉｎｇ）＋拡大内視鏡（ＭＥ：ｍａｇｎｉｆｙｉｎｇ ｅｎｄｏｓｃｏｐｙ）の胃内視鏡或いは腸内視鏡があり、そのうち、ＮＢＩは毛細血管を強調表示することができ、ＭＥは毛細血管を拡大することができる。普通の白色光内視鏡に比べ、ＮＢＩ＋ＭＥは近年続々と使用されてきている病変検査手段であり、微小構造から粘膜表層の病変情況を観察することができる。しかしながら、ＮＢＩ＋ＭＥで毛細血管のエッジの病変を直接観察するには、医師の強大で豊富な経験が必要となり、毛細血管に対してエッジ強調を行い、病巣に対して局所ヒントを出せば、有益なことである。
【0015】
いくつかの方法において、ディープラーニング技術を用いて、ＮＢＩ＋ＭＥ画像から微小血管や微小構造の特徴を抽出し、特徴化された画像を内視鏡医に提示する。しかしながら、これらの方法は単一フレーム画像に焦点を合わせて血管の特徴を抽出するものであり、内視鏡検査で得られる動画形式の画像データには適さない。例えば、ぼけやライティングなどの画像品質の影響により、単一フレーム画像のエッジ強調は実際のシーンと一致しなくなる。そして、これらの方法はフレームごとに画像強調を行うだけであり、時空間手がかりに乏しく、同一のエッジが動画フレーム間で保持されておらず、時空間整合性分析を順に行うことが困難である。
【0016】
このことに鑑み、動画のエッジの特徴を効果的に強調して医師が検査によって得た動画データを閲覧するのを支援するために、内視鏡検査の実際のシーンにより良くマッチングした画像強調方法が必要とされている。本開示の実施例によれば、動画処理方法を提供する。この方法は、エッジ検出によって、動画の所与のフレームのエッジと、当該所与のフレームの隣接領域フレームのエッジとを取得する。エッジ検出によって、エッジにおける各画素はいずれも、それぞれのエッジ属性を有する。いくつかの実施例において、エッジ属性は、例えば、確率の形式で示された画像の色の変化の幅であってもよく、あるいは、概念の形式で示された病巣の変化度であってもよい。その後、所与のフレームと隣接領域フレームとの間のレジストレーションを行い、所与のフレームのエッジにおける各画素の、隣接領域フレームのエッジにおける対応する画素を決定し、すなわち、２つのフレーム間の画素間のマッピングを確立し、よって、所与のフレームの画素からその隣接領域フレームの対応する画素への空間オフセットが得られる。空間オフセットは、例えば、画素の座標の間の差によって示されてもよい。次に、隣接領域フレームのエッジ属性と決定された空間オフセットとに応じて、所与のフレームのエッジにおける画素のエッジ属性を調整する。このような方式によって、動画の時空間手がかりを利用してエッジ検出および強調の正確性および信頼性を向上させ、動画における低品質画像による悪影響を低減して、動画処理のロバスト性を向上させることができる。以下、図１～図８を参照して、本開示の実施例の実装の詳細について詳細に説明する。
【0017】
図１Ａは本開示の複数の実施例が実装され得る例示的な環境１００の模式図を示している。図示のように、環境１００は、操作者が操作可能なオプションの制御デバイス１０１を含む内視鏡システムに関するものであり、操作者は、制御デバイス１０１を操作して、内視鏡のレンズ１０２の人体内の移動を制御し、画像及び動画を採集することができる。採集された画像および動画は、送信されてコンピューティングデバイス１０５において記憶されることができる。ディスプレイ１０３は、コンピューティングデバイス１０５に結合され、レンズ１０２を介して採集された画像および動画をリアルタイムで表示することができる。いくつかの実施例において、内視鏡システムは狭帯域撮像および拡大内視鏡（ＮＢＩ＋ＭＥ）であってもよく、得られる動画はＮＢＩ＋ＭＥ動画であってもよい。図１は胃内視鏡システムを例示的に示しているが、本開示の実施例は、耳鼻咽喉科内視鏡、口腔内視鏡、歯科内視鏡、神経鏡、尿道膀胱鏡、電気切開鏡、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡、腸鏡などを含むがこれらに限定されない他の内視鏡システムにも適用可能であることが理解されるべきである。
【0018】
コンピューティングデバイス１０５は、汎用的なコンピューティングデバイスであってもよく、内視鏡検査専用のデバイスであってもよく、画像処理及び動画処理、特に医用画像処理に適するように構成される。コンピューティングデバイス１０５は、端末またはサーバデバイスであってもよい。コンピューティングデバイス１０５がサーバである場合には、独立したサーバであってもよく、コンピュータ、ネットワークホスト、単一のネットワークサーバ、複数のネットワークサーバセット、または複数のサーバで構築されるクラウドサーバを含むがこれらに限定されない、サーバからなるサーバネットワークまたはサーバクラスタであってもよい。コンピューティングデバイス１０５は、デスクトップ端末またはモバイル端末、例えば、デスクトップ、携帯電話、タブレット、ノートパソコン、医療支援計器などを備えてもよいが、これらに限定されない。
【0019】
上記に言及したように、従来の案では、動画における微小構造のエッジ（例えば毛細血管や病巣のエッジ）に対して安定的かつ正確な検査および提示を行うことができず、医師の専門的な技術的知識と経験が高く要求される。本開示の実施例によれば、コンピューティングデバイス１０５は、内視鏡動画に対してエッジ強調し、病巣に対して局所ヒントを出し、医師がより効果的な医療検査を行うのを支援することができる。
【0020】
以上、図１Ａを参照して、本開示の実施例を実施することができる例示的な環境について説明した。図１Ａは模式的なものにすぎず、環境はさらに多くのモジュールまたはシステムを備えてもよく、または一部のモジュールまたはシステムを省略してもよく、または示されたモジュールまたはシステムを改めて組み合わせてもよいことが理解されるべきである。本開示の実施例は、図１Ａに示されている環境とは異なる環境で実施してもよく、本開示はこれに限定しない。
【0021】
図１Ｂは本開示の実施例が適用され得る例示的な動画のスクリーンショットを示している。図１Ｂのスクリーンショットは、ＮＢＩ＋ＭＥシステムによって取得した胃腸内視鏡画像である。図示のように、画像には豊富な毛細血管構造と、病巣の可能性のある領域とが含まれており、そして、低品質の動画フレームが存在する可能性があり、医師が関心のある領域をそこから正確かつ迅速に位置付けることが困難になる。本開示の実施例は、そのような動画に対するエッジ検出および強調に適しており、対応する局所ヒント（例えば、関心のあるエッジを追跡する）を出して、動画を閲覧することの難しさを低減する。
【0022】
なお、ＮＢＩ＋ＭＥ動画を参照して本開示の実施例に係る動画処理方法およびシステムを説明しているが、本開示の実施例は、他の任意のタイプの動画または画像に対して同様の処理を行う場合にも同様に適用され、本開示ではこれに限定されるものではない。
【0023】
図２は、本開示の実施例に係る動画処理方法２００の模式的なフローチャートを示している。方法２００は、例えば、図１に示されるコンピューティングデバイス１０５によって実装されてもよい。方法２００はまた、図示されていない追加の動作を含んでもよく、および／または図示されている動作を省略してもよく、本開示の範囲はこれについて限定されないことが理解されるべきである。以下、図１Ａを参照して方法２００を詳細に説明する。
【0024】
方法２００は、コンピューティングデバイス１０５によって実装される動画処理に関する。動画は、例えば狭帯域撮像（ＮＢＩ）および拡大内視鏡（ＭＥ）動画のような、内視鏡採集操作によって得られた内視鏡動画であり、または他のタイプの動画であってもよい。いくつかの実施例において、コンピューティングデバイス１０５は、内視鏡検査中にリアルタイムまたはほぼリアルタイムで動画を受信し、動画を処理してもよい。あるいは、コンピューティングデバイス１０５は、動画を受信して格納し、一時的に処理せずに、完全な動画を受信した後に処理してもよい。
【0025】
ブロック２１０において、動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得する。ここで、隣接領域フレームは、第１のフレームの前または後に設置されるいくつかのフレームとして定義されてもよい。例えば、第１のフレーム（すなわち、現在フレーム）の前後の１、２、５、１０、２０、または任意の他の数のフレームを隣接領域フレームとして定義してもよく、そして、前後のフレームの数は、同一であっても異なっていてもよく、本開示では限定されるものではない。いくつかの実装において、隣接領域フレームは、第１のフレームの前、後、または前後の２つの方向のフレームを含んでもよい。
【0026】
コンピューティングデバイス１０５は、動画に対してエッジ検出を行い、動画の各フレームのエッジを生成する。エッジ検出は、複数の異なる目的に対してもよく、そして、異なるアルゴリズムを使用してもよい。例えば、エッジ検出アルゴリズムは、微小構造のエッジ（例えば毛細血管）または病巣のエッジに対するアルゴリズムを含んでもよい。したがって、得られた第１のエッジおよび第２のエッジは、微小構造のエッジまたは病巣のエッジであってもよい。いくつかの実装において、エッジ検出は、ディープネットワークの予測に基づいてもよい。例えば、注釈サンプルを収集してディープネットワークを訓練し、その後、訓練されたディープネットワークを使用して各フレームのエッジ属性の予測を生成してもよい。あるいは、特徴抽出分類器（例えば、サポートベクトルマシン）を採用して訓練および予測を行ってもよく、または、画像特徴を抽出し、重み付け方式を採用してカテゴリ確率を取得するとともに、閾値と比較するなどの方式によってもよい。
【0027】
エッジ検出によって、動画の第１のフレームおよび第１のフレームの隣接領域フレームにおける各画素についてエッジ属性を生成することができ、エッジ属性は、対応する画素がエッジに属する確率を示すことができる。例えば、微小構造のエッジ検出について、エッジ属性は０～２５５の範囲を有してもよく、小さいものから大きいものまでは、弱い微小構造のエッジから強い微小構造のエッジまでを表す。病巣検出について、エッジ属性も同様に０～２５５の範囲を有してもよい。本開示は、エッジ属性の範囲を限定しない。その後、コンピューティングデバイス１０５は、第１のフレームおよび隣接領域フレームにおける、エッジ属性が閾値（例えば、０または他の値）よりも大きい画素を、それぞれ第１のエッジおよび第２のエッジにおける画素として決定することで、第１のエッジおよび第２のエッジを決定しても良い。なお、ここで得られるエッジ属性またはエッジ確率は、単一フレームに基づいてコンピューティングデバイス１０５によって算出されるものであり、動画の時空間情報を利用して調整または最適化してもよい。
【0028】
ブロック２２０において、第１のフレームと少なくとも１つの隣接領域フレームとのレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定する。ここで、コンピューティングデバイス１０５は、画像レジストレーションを採用してフレーム間のエッジ点のマッピング関係を取得し、エッジ点の空間オフセットを得る。空間オフセットは、各画素が２つのフレーム間の座標の差、例えば２次元ベクトルを表すことができる。
【0029】
いくつかの実施例において、コンピューティングデバイス１０５は、算出効率を向上させてリアルタイム性を保証するために、隣接するフレーム（例えば、第１のフレームにすぐ隣接する後続フレーム）のみに対してレジストレーションしてもよい。隣接していないフレーム間については、隣接するフレームの空間オフセットを累積してもよい。いくつかの実施例において、算出効率をさらに向上させるために、エッジのみに対してマッチングしてもよい。エッジテクスチャの特徴がはっきりしているため、マッチング度が高い。これにより、第１のエッジにおける各画素を、隣接領域フレームの第２のエッジにおけるある画素にマッピングすることができる。
【0030】
フレーム間レジストレーションに用いられる方法は、例えばＫＬＴ法のような、疎なオプティカルフロー場を含んでもよく、エッジ点に焦点を合わせた後、局所的な勾配変化を使用して画素のマッピング点を算出する。あるいは、レジストレーション方法は、例えばＦｌｏｗＮｅｔなどのような、ディープラーニング法を含んでもよく、ディープラーニングネットワークを用いて画素の空間オフセットを自動的に取得する。
【0031】
ブロック２３０において、少なくとも第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの画素の第１のエッジ属性を更新する。コンピューティングデバイス１０５は、単一フレームのエッジ検出が画像品質の影響を受けやすく、露光、弱光、汚れ、ぼやけの場合に取得されるエッジ属性と真の属性とのずれを考慮して、第１フレームの隣接領域フレームを用いて、第１フレームの第１エッジのエッジ属性を強調する。
【0032】
いくつかの実施例において、コンピューティングデバイス１０５は、第１のフレームの先行および後続の隣接領域フレームから、例えば高品質で、オフセットの程度を満たしているフレームなど、予め設定された条件に適合するいくつかのフレームを検索し、これらのフレームを利用して第１のフレームのエッジを強調しても良い。具体的には、コンピューティングデバイス１０５は、第１のフレームの第１のエッジにおける第１のエッジ属性を有する所与の画素について、その画素の隣接領域フレームにおける対応する画素の第２のエッジ属性を第１のエッジ属性に累積して、所与の画素のエッジ属性を調整してもよい。例えば、重み付け加算の方式を使用して第１のエッジのエッジ属性を調整してもよい。隣接領域フレームのエッジ属性についての重みは、画素間の空間オフセットに依存してもよい。重みは、隣接領域フレームと所与のフレームとの間の時間にも依存してもよい。
【0033】
このような方式によって、動画のエッジに関する時空間整合性情報が導入され、第１フレームのエッジ画素のエッジ属性にはその隣接領域フレームのエッジ属性が含まれ、隣接領域フレームのエッジ情報は高品質フレームから取得されたので、動画における低品質画像による悪影響を低減し、エッジ検出および強調の正確性及び信頼性を向上させることができる。
【0034】
図３は本開示の実施例に係る動画処理システム３００の模式図を示している。動画処理システム３００は、ソフトウェアまたはハードウェアの形式でコンピューティングデバイス１０５に実装されてもよく、図２を参照して説明した方法２００を実装するのに適している。図３に示された動画処理システム３００は例示的なものにすぎず、より多くまたはより少ないモジュールまたはユニットを備えてもよく、そして、図３に示されたいくつかのモジュールは複数のモジュールに分割されてもよく、そして、２つ以上のモジュールが同一のモジュールに実装されることが理解されるべきである。
【0035】
動画処理システム３００は、内視鏡動画フレーム３０１、３０２、３０３等を入力としてリアルタイムに受信することができ、時間の順に従って、フレーム３０１はフレーム３０２の前のフレームであり、フレーム３０２はフレーム３０３の前のフレームであり、以下同様である。あるいは、動画処理システム３００は、コンピューティングデバイス１０５の記憶デバイスに記憶された動画を読み取ることもできる。
【0036】
動画処理システム３００は、エッジ検出モジュール３１０と、フレーム間レジストレーションモジュール３２０と、時空間エッジ更新およびベクトル化モジュール３３０とを備える。エッジ検出モジュール３１０は、単一フレームにおけるエッジを抽出するために使用される。エッジ検出アルゴリズムを適用することによって、エッジ検出モジュール３１０は、フレームの各画素について、例えば、その画素がエッジに属する可能性の確率を示すエッジ属性を生成してもよい。このような確率は相対的であって絶対的ではないことが理解されるべきである。動画処理のリアルタイム性能を向上させるために、エッジ検出モジュール３１０は、より少ない算出リソースを必要とするエッジ検出アルゴリズムを使用してもよい。いくつかの実施例において、エッジ検出モジュール３１０は、複数のエッジ検出アルゴリズムを適用して、例えば、微小構造のエッジ、病巣のエッジなど、複数のタイプのエッジを生成してもよい。これによって、エッジ検出モジュール３１０は、フレーム３０１、フレーム３０２、フレーム３０３等についてのエッジ属性を生成する。
【0037】
図４Ａは本開示の実施例に係る動画に対してエッジ検出を適用する模式図を示している。エッジ検出モジュール３１０は、図４Ａの左側に示すような動画の所与のフレームに対してエッジ検出を行い、各画素についてのエッジ属性を得て、その後、エッジ属性に基づいて、図４Ａの右側に示すようなエッジ検出結果を生成する。
【0038】
フレーム間レジストレーションモジュール３２０は、動画のフレームシーケンスにおいて、画像レジストレーションを用いて、画素に対するフレーム間オフセットを取得するために使用され、フレーム間のエッジ間のマッピング関係を確立する。エッジテクスチャの特徴がはっきりしており、マッチング度が高いことを考慮し、フレームのエッジのみに対してマッチングを行ってもよい。すなわち、所与のフレームのエッジにおける画素は、隣接領域フレームのエッジにおける対応する画素にマッピングされる。いくつかの実施例において、リアルタイム性を保証するために、フレーム間レジストレーションモジュール３２０は、隣接する２つのフレームのみに対してレジストレーションを行ってもよい。例えば、フレーム間レジストレーションモジュール３２０は、フレーム３０１とフレーム３０２との間のレジストレーションを実行し、フレーム３０１のエッジの画素をフレーム３０２のエッジのある画素にマッピングしてもよく、フレーム３０２とフレーム３０２との間のレジストレーションを実行し、フレーム３０２のエッジの画素をフレーム３０３のエッジのある画素にマッピングしてもよく、以下同様である。
【0039】
フレーム間レジストレーションを用いて、エッジマッピング関係を取得することができる。エッジマッピング関係は、例えば座標の間の差のような、２つの画素間の空間オフセットとして示してもよい。隣接するフレームの画素間の空間オフセットの重畳（例えば、ベクトル加算）に基づいて、任意の隣接領域フレームにおける所与のフレームのエッジの画素の空間オフセットを取得することができる。
【0040】
図４Ｂは本開示の実施例に係る動画に対して画像レジストレーションを適用するスクリーンショットを示している。フレーム間レジストレーションモジュール３２０は、図４Ｂの左側の一連の隣接するフレームに対して順次にレジストレーションを実行し、次のフレームにおける所与の画素の対応する画素を得て、この２つの画素の空間オフセットを決定する。図４Ｂに示すように、所与の画素は、得られた空間オフセットを用いて、フレーム間の動き（矢印で示すように）として提示されてもよい。
【0041】
時空間エッジ更新およびベクトル化モジュール３３０は、動画の時空間整合性情報に応じて、隣接領域フレームの情報（例えば、画素の時間に伴う空間オフセット、エッジ属性など）を利用し、フレームのエッジ属性を調整して、動画におけるエッジを強調するために使用される。追加的に、時空間エッジ更新およびベクトル化モジュール３３０は、エッジから関心のあるオブジェクトの輪郭セグメントを確立し、追跡するためにも使用される。
【0042】
図５は本開示の実施例に係るエッジ強調のためのプロセス５００の模式的なフローチャートを示している。プロセス５００は、図２に示すブロック２３０の例示的な実施形態であってもよく、そして、図３に示す時空間エッジ更新およびベクトル化モジュール３３０によって実装されてもよい。
【0043】
プロセス５００は、隣接領域フレームに基づいて所与のフレーム（すなわち「第１のフレーム」）のエッジを強調するために使用される。隣接領域フレームは、エッジ属性が更新される所与のフレームの近傍の少なくとも１つのフレームであってもよい。隣接領域フレームの範囲は、第１のフレームに先行するいくつかのフレーム、後続するいくつかのフレームで構成または示してもよい。いくつかの実装において、隣接領域フレームは、第１のフレームの前のフレームを含んでもよく、または、第１のフレームの後のフレームを含んでもよく、または、その両方を含んでもよい。本開示は、隣接領域フレームの範囲を限定しない。全体的に、プロセス５００は、第１のフレームの近傍範囲から、高品質でオフセット度を有するフレームをマッチングフレームとして検索し、これらのマッチングフレームを利用して第１のフレームのエッジ属性を更新し、エッジ強調を実現する。
【0044】
ブロック５０１において、第１のフレームの１つの隣接領域フレームを取得する。いくつかの実施例において、ある順序で第１のフレームの隣接領域を検索してもよい。例えば、フレームの時間に応じて、最も早い隣接領域フレームから最も遅い隣接領域フレームまで検索する。あるいは、隣接領域フレームと第１のフレームとの時間的距離に基づいて検索を行い、第１のフレームから最も近い隣接領域フレームから検索し始め、より遠くの隣接領域フレームを逐次に検索し、隣接領域フレームを１つ取得してもよい。
【0045】
ブロック５０２において、取得された隣接領域フレームの品質が閾値を超えているか否かを判断する。品質はディープラーニングの方式で得てもよく、あるいは特徴抽出分類器の方式で得てもよい。品質が閾値を超えている場合、プロセス５００はブロック５０３に進み、そうでない場合、この隣接領域フレームは低品質フレームであると考えられ、第１のフレームを強調するためにこのフレームを使用することをあきらめ、プロセス５００はブロック５０５に進んでもよい。
【0046】
ブロック５０３において、隣接領域フレームのエッジと第１のフレームのエッジとの平均空間オフセットが、予め設定された範囲内にあるか否かを判断する。平均空間オフセットは、第１のフレームのエッジにおける画素と、この隣接領域フレームにおける対応する画素との空間オフセットの平均値を指す。例えば、各画素の空間オフセットの大きさを算出し、空間オフセットの大きさの平均値を算出してもよい。予め設定された範囲は、下限閾値および上限閾値を含んでもよく、平均空間オフセットが下限閾値よりも大きく、上限閾値よりも小さい場合、プロセス５００はブロック５０４に進む。そうでない場合、このフレームはエッジ強調のために使用されるのに適していないと考えられてもよく、このフレームを使用することをあきらめ、プロセス５００はブロック５０５に進んでもよい。
【0047】
ブロック５０４において、隣接領域フレームを選択する。選択された隣接領域フレームは、第１のフレームのエッジ強調に使用される。選択された隣接領域フレームのフレームを記録し、すべての隣接領域フレームが処理済みであることを待ってから、選択されたすべての隣接領域フレームに応じて、第１のフレームのエッジのエッジ属性を更新してもよい。
【0048】
ブロック５０５において、すべての隣接領域フレームがトラバースされたか否かを判断する。いくつかの実施例において、隣接領域範囲内のフレームの総数に対応する閾値を設定してもよく、処理済みの隣接領域フレームの数がこの閾値に達した場合、第１のフレームの隣接領域範囲内のすべてのフレームが処理済みとみなされる。ブロック５０５において未処理の隣接領域フレームが存在しないと決定した場合、プロセス５００はブロック５０６に進み、選択されたマッチングフレームを使用して第１のフレームの第１のエッジのエッジ属性を更新する。未処理の隣接領域フレームが存在すると決定した場合、プロセス５００はブロック５０１に戻る。
【0049】
すべての隣接領域フレームが処理され、選択されたすべての隣接領域フレームが決定されたことに応答して、ブロック５０６において、第１のフレームのエッジ画素のエッジ属性を更新する。第１のフレームの第１のエッジにおける各画素について、その対応する画素および対応する空間オフセットを、選択された隣接領域フレームから決定し、以下の等式に基づいて更新後の画素のエッジ属性を決定する。
そのうち、Ｅｄｇｅ（）’は画素の更新後のエッジ属性、Ｅｄｇｅ（）はエッジ検出によって得られたエッジ属性、Ｐｉは第１のフレームのエッジにおける画素、Ｐｊは隣接領域フレームのエッジにおける対応する画素、Ｄｊは空間オフセットの距離を表し、δおよびσは経験パラメータである。
【0050】
図６は本開示の実施例に係る輪郭追跡のためのプロセス６００の模式的なフローチャートを示している。プロセス６００は、図２に示す方法２００の追加動作であってもよく、そして、図３に示す時空間エッジ更新およびベクトル化モジュール３３０によって実装されてもよい。
【0051】
エッジのマッチングで取得された画素間のマッピング関係および更新後のエッジ属性は、離散的で不規則な特徴である。しかしながら、通常、医者は病変の輪郭セグメントに関心があり、このような輪郭セグメントは同じ属性の画素点を直列に接続して追跡し、統一的な分析に役立つ。
【0052】
ブロック６１０において、更新後のエッジ属性に基づいて、第１のフレームにおける関心がある対象の輪郭セグメントを決定する。輪郭セグメントは、例えば、検出されたエッジセグメントの組み合わせであり、臨床的な意義を有する構造または病巣を反映してもよい。その後の追跡を容易にするために、エッジ属性に応じて、エッジの画素点を、輪郭セグメントにベクトル化してもよい。動画におけるすべてのフレームについて、フレーム内の輪郭セグメントを決定し、動画全体にわたって追跡してもよい。あるいは、第１のフレームの隣接領域範囲の一部のフレームに対して、輪郭セグメントを決定し、動画の一部において追跡してもよい。各フレームについて、１つ以上の輪郭セグメントを決定してもよい。いくつかの実装において、単一フレーム内に複数の輪郭セグメントが存在してもよく、そして、ユーザ入力に応じて、追跡対象の輪郭セグメントを選択して追跡する。
【0053】
ブロック６２０において、第１のフレームと第１のフレームの後続フレームとの間のレジストレーションに基づいて、輪郭セグメントから後続フレームへの全体的な空間オフセットを決定する。実装によって、後続フレームは、第１のフレームにすぐ隣接する隣接領域フレームであってもよい。このような場合、隣接するフレームのレジストレーションをして輪郭セグメントにおける画素から対応する画素への空間オフセットを得て、輪郭セグメントのすべての画素の空間オフセットの平均値を全体的な空間オフセットとして決定してもよい。あるいは、後続フレームは、第１のフレームからある距離だけ離れた後の隣接領域フレームであってもよい。隣接するフレームのレジストレーションにより得られた空間オフセットの累積によって、第１のフレームの輪郭セグメントの画素から後続フレームの対応する画素への空間オフセットを取得し、ひいては全体的な空間オフセットを決定してもよい。
【0054】
ブロック６３０において、全体的な空間オフセットに基づいて、後続フレームにおいて第１のフレームにおける輪郭セグメントとマッチングする別の輪郭セグメントを検索する。いくつかの実施例において、マッチングされる別の輪郭セグメントは、後続フレームにおいて第１のフレームの輪郭セグメントからの距離が最も小さい輪郭セグメントである。
【0055】
動画におけるフレームについて、時間の順に従ってプロセス６００を実行して、関心のある対象を追跡してもよい。いくつかの実施例において、動画の再生中に、第１のフレームの輪郭セグメント、後続フレームにおける別の輪郭セグメントをハイライト表示してもよく、以下同様である。これにより、視覚支援を実現し、医師が動画における関心のある対象を追跡するのを支援する。
【0056】
【0057】
ブロック７１０において、第１のフレームに対してスーパー画素抽出を実行する。第１のフレームにおいて、更新後のエッジ属性をガイドとしてスーパー画素抽出を行い、スーパー画素輪郭を得る。スーパー画素抽出の方式には、単純線形反復クラスタリング（ＳＬＩＣ）などが含まれるが、これらに限定されるものではない。ここで、スーパー画素抽出の元の勾配計算を更新後のエッジ属性に置き換えることにより、スーパー画素の輪郭が高い確率のエッジに近接することを保証する。その後、スーパー画素輪郭に基づいて関心がある対象の輪郭セグメントを生成してもよい。
【0058】
具体的には、ブロック７２０において、エッジベクトル化によってセグメントを得る。いくつかの実施例において、抽出済みのスーパー画素輪郭における交差点に基づいて、スーパー画素輪郭を１セットのセグメントに分割してもよい。各セグメントは、画素のシーケンスを含んでもよい。
【0059】
ブロック７３０において、セグメントをマージすることによって、関心がある対象の輪郭セグメントを得る。得られた１セットのセグメントに対して、どの隣接するセグメントが類似しているかを分析し、類似している隣接セグメントを組み合わせ、関心がある対象の輪郭セグメントを形成する。具体的には、２つの隣接するセグメントに対して、この２つのセグメント間の類似度を算出し、類似度が閾値を超えている場合には、マージして輪郭セグメントを生成してもよい。
【0060】
いくつかの実施例において、隣接するセグメントの類似度を決定するための手がかりは、フレーム内手がかりおよびフレーム間手がかりを含んでもよい。フレーム内手がかりは、２つの隣接するセグメントの勾配の間の差の絶対値を含んでもよい。セグメント勾配は、セグメントｆ内のすべての画素の平均勾配｛ｇｘ（ｆ），ｇｙ（ｆ）｝として定義してもよく、そのうち、画素の勾配方向は、この画素の上下隣接領域画素のオフセット量である。いくつかの実施例において、セグメント勾配のユークリッド距離の間の差を、対応するフレーム間手がかりとしてもよく、そのうち、ユークリッド距離は、セグメント勾配｛ｇｘ（ｆ），ｇｙ（ｆ）｝のユークリッドノルムである。フレーム間手がかりは、２つの隣接するセグメントのエッジ確率Ｅｄｇｅ（ｆ）の間の差の絶対値をさらに含んでもよく、そのうち、Ｅｄｇｅ（ｆ）は、セグメント上のすべての画素のエッジ確率の平均値である。ここで、エッジ確率は、微小構造のエッジのエッジ確率と、病巣のエッジのエッジ確率とを含んでもよい。
【0061】
フレーム間手がかりは、２つの隣接するセグメントの空間オフセット｛ｄｘ（ｆ），ｄｙ（ｆ）｝の間の差を含んでもよい。セグメントの空間オフセットは、セグメントｆ内のすべての画素から隣接領域フレームの対応する画素への空間オフセットの平均値として定義してもよい。
【0062】
いくつかの実施例において、隣接するセグメントの類似度は、以下の等式によって決定してもよい。
そのうち、Ｅｒｒｇｒａｄはセグメント勾配の差、Ｅｒｒｅｄｇｅはセグメントのエッジ確率の差、Ｅｒｒｄｉｓｅａｓｅはセグメントの病巣確率の差、Ｅｒｒｏｆｆｓｅｔはセグメントの空間オフセットの差、ｒ１、ｒ２、ｒ３、ｒ４は各手がかりの重み、δ１、δ２、δ３、δ４は正規化パラメータである。Ｅｒｒがある閾値より大きい場合は、２つの隣接するセグメントをマージする。
【0063】
図８は本開示の実施例に係る輪郭マッチングのためのプロセス８００の模式図を示している。プロセス８００は、図６のブロック６３０で示す動作の例示的な実装であってもよい。輪郭セグメントにおける画素は、隣接領域において対応する空間オフセットを有するので、すべての画素の空間オフセットの平均値を全体的なオフセット量とし、その後、全体的なオフセット量に基づいて隣接領域における距離が最も近い輪郭を検索してもよい。
【0064】
ブロック８１０において、全体的なオフセット量に基づいて、後続フレームへの輪郭セグメントの投影を決定する。仮に現在の輪郭セグメントをＦｒａｇ＿ｔ１とし、それが隣接領域フレームにおける全体的なオフセットを｛ｄｘ，ｄｙ｝とする。これにより、全体的なオフセット量に応じて、この後続フレームへの現在の輪郭セグメントの投影を取得してもよく、すなわちＦｒａｇ＿ｔ１’＝Ｆｒａｇ＿ｔ１＋｛ｄｘ，ｄｙ｝。
【0065】
ブロック８２０において、後続フレームにおける複数の候補輪郭セグメントを決定する。輪郭セグメントの局所性を考慮すると、後続フレームにおける投影近傍の輪郭セグメントのみを考慮してもよい。いくつかの実施例において、後続フレームにおける投影の位置に基づいて、後続フレームにおける１つの領域を決定してもよい。この領域は、投影の最大の外接矩形であってもよい。算出を容易にし、動作効率を向上させるために、矩形の辺をフレームの水平方向と垂直方向に沿わせてもよい。この矩形に覆われた輪郭セグメントを、候補輪郭セグメントセットＳｅｔ＿ｔ２として定義する。
【0066】
ブロック８３０において、関心のある輪郭セグメントからの距離が最も小さい輪郭セグメントを決定する。候補輪郭セグメントセットＳｅｔ＿ｔ２における各候補輪郭セグメントＦｒａｇ＿ｔ２に対して、投影の各画素と候補輪郭セグメントの画素との最小距離を決定することによって、投影Ｆｒａｇ＿ｔ１’とこの候補輪郭セグメントＦｒａｇ＿ｔ２との距離を決定する。その後、決定された距離が最も小さい候補輪郭セグメントを、第１のフレームの輪郭セグメントとマッチングする別の輪郭セグメントとして決定してもよい。投影Ｆｒａｇ＿ｔ１’と候補輪郭セグメントＦｒａｇ＿ｔ２との距離は、以下の等式によって算出してもよい。
そのうち、Ｆｒａｇ＿ｔ１’の各画素ｐｉについて、それがＦｒａｇ＿ｔ２で距離の最も近いマッチング画素ｐｊを算出し、距離が閾値Ｔを超えている場合、２つの画素の距離をＴとして定義し、そうでない場合、真の距離｜ｐｉ－ｐｊ｜として定義する。閾値Ｔは、フレーム間の輪郭マッチングの算出の安定性を保証するために使用される。
【0067】
以上、図１～図８を参照して、本開示の実施例に係る動画処理方法について説明した。従来の案に比べ、本開示の実施例は、動画の時空間手がかりを利用してエッジ検出と強調の正確性および信頼性を向上させ、動画における低品質画像による悪影響を低減して、動画処理のロバスト性を向上させることができる。本開示のいくつかの実施例は、時空間的整合性に基づくエッジベクトル化および輪郭追跡をさらに実現しており、有益な視覚支援の実現を可能にし、医師が動画における関心のある対象を追跡するのを支援する。
【0068】
図９は本開示の実施例に係る動画処理装置９００の模式的なブロック図を示している。装置９００は、コンピューティングデバイス１０５によって実装されてもよく、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせとして実装されてもよい。
【0069】
図示するように、装置９００は、エッジ取得ユニット９１０と、空間オフセット決定ユニット９２０と、更新ユニット９３０とを備える。エッジ取得ユニット９１０は、動画の第１のフレームの第１のエッジと、第１のフレームの少なくとも１つの隣接領域フレームの第２のエッジとを取得するように構成される。空間オフセット決定ユニット９２０は、第１のフレームと少なくとも１つの隣接領域フレームとの間のレジストレーションに基づいて、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットを決定するように構成される。更新ユニット９３０は、少なくとも第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの画素の第１のエッジ属性を更新するように構成される。
【0070】
いくつかの実施例において、エッジ取得ユニット９１０はさらに、第１のフレームと少なくとも１つの隣接領域フレームとの各画素のエッジ属性を決定することであって、エッジ属性は、画素がエッジに属する確率を示すことと、第１のフレームと少なくとも１つの隣接領域フレームにおいて、エッジ属性が閾値より大きい画素を決定することによって、第１のエッジと第２のエッジを決定することと、をするように構成されてもよい。
【0071】
いくつかの実施例において、更新ユニット９３０はさらに、少なくとも１つの隣接領域フレームが予め設定された条件を満たしているか否かを決定することと、少なくとも１つの隣接領域フレームが予め設定された条件を満たしていると決定したことに応答して、第２のエッジの対応する画素の第２のエッジ属性と空間オフセットとに基づいて、第１のエッジの画素の第１のエッジ属性を更新することと、をするように構成されてもよい。
【0072】
いくつかの実施例において、更新ユニット９３０はさらに、少なくとも１つの隣接領域フレームの画像品質レベルが品質閾値を超えているか否かを決定することと、第１のエッジの画素から第２のエッジの対応する画素への空間オフセットの平均値が予め設定された範囲内にあるか否かを決定することと、によって、少なくとも１つの隣接領域フレームが予め設定された条件を満たしているか否かを決定するように構成されてもよい。
【0073】
いくつかの実施例において、装置９００は、追跡ユニットをさらに備えてもよい。追跡ユニットは、第１のエッジの画素の更新後の第１のエッジ属性に基づいて、第１のフレームにおける関心がある対象の輪郭セグメントを決定することと、第１のフレームと第１のフレームの後続フレームとの間のレジストレーションに基づいて、輪郭セグメントから後続フレームへの全体的な空間オフセットを決定することと、全体的な空間オフセットに基づいて、後続フレームにおいて輪郭セグメントとマッチングする別の輪郭セグメントを検索することと、をするように構成される。
【0074】
いくつかの実施例において、追跡ユニットは、更新後の第１のエッジ属性に基づいて、第１のフレームのスーパー画素輪郭を生成することと、スーパー画素輪郭に基づいて、関心がある対象の輪郭セグメントを生成することと、によって、第１のフレームにおける関心がある対象の輪郭セグメントを決定するように構成されてもよい。
【0075】
いくつかの実施例において、追跡ユニットはさらに、スーパー画素輪郭における交差点に基づいて、スーパー画素輪郭を１セットのセグメントに分割することと、１セットのセグメントをマージすることによって輪郭セグメントを生成することと、によって、関心がある対象の輪郭セグメントを生成するように構成されてもよい。
【0076】
いくつかの実施例において、追跡ユニットはさらに、１セットのセグメントのうちの２つの隣接するセグメント間の類似度を決定することと、類似度が閾値を超えていることに応答して、２つの隣接するセグメントをマージして輪郭セグメントを生成することと、によって、輪郭セグメントを生成するように構成されてもよい。
【0077】
いくつかの実施例において、追跡ユニットはさらに、２つの隣接するセグメントの画素の平均勾配の間の差と、２つの隣接するセグメントの画素の平均エッジ確率の間の差と、２つの隣接するセグメントの画素から隣接領域フレームへの平均空間オフセットの間の差と、のうちのいずれか一項によって、１セットのセグメントのうちの２つの隣接するセグメント間の類似度を決定するように構成されてもよい。
【0078】
いくつかの実施例において、追跡ユニットはさらに、全体的な空間オフセットに基づいて、後続フレームへの輪郭セグメントの投影を取得することと、後続フレームにおける複数の候補輪郭セグメントを決定することと、複数の候補輪郭セグメントにおいて投影に距離が最も近い別の輪郭セグメントを検索することと、によって、後続フレームにおいて輪郭セグメントとマッチングする別の輪郭セグメントを検索するように構成されてもよい。
【0079】
いくつかの実施例において、追跡ユニットはさらに、後続フレームにおける投影の位置に基づいて、後続フレームの領域を決定することと、後続フレームの、少なくとも部分的に領域内にある複数の候補輪郭セグメントを決定することと、によって、後続フレームにおける複数の候補輪郭セグメントを決定するように構成されてもよい。
【0080】
いくつかの実施例において、追跡ユニットはさらに、複数の候補輪郭セグメントのそれぞれに対して、投影の各画素と候補輪郭セグメントの画素との最小距離を決定することによって、投影と候補輪郭セグメントとの距離を決定することと、決定された距離が最も小さい候補輪郭セグメントを、別の輪郭セグメントとして決定することと、によって、投影に距離が最も近い別の輪郭セグメントを検索するように構成されてもよい。
【0081】
いくつかの実施例において、追跡ユニットはさらに、追跡のために、動画の再生中に、輪郭セグメントと別の輪郭セグメントをハイライト表示するように構成されてもよい。
【0082】
いくつかの実施例において、第１のエッジおよび第２のエッジはそれぞれ、微小構造のエッジと、病巣のエッジと、のうちの少なくとも一項を含んでもよい。
【0083】
いくつかの実施例において、動画は狭帯域結像（ＮＢＩ）および拡大内視鏡（ＭＥ）動画を含んでもよい。
【0084】
図１０は本開示の内容を実施するために使用され得る実施例の例示的なデバイス１０００の模式的なブロック図を示している。例えば、本開示の実施例に係るコンピューティングデバイス１０５は、デバイス１０００によって実施されてもよい。図示するように、デバイス１０００は、読み取り専用メモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム命令、または記憶ユニット１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラム命令に従って、様々な適切な動作および処理を実行することができる中央処理装置（ＣＰＵ）１００１を備える。ＲＡＭ１００３には、記憶デバイス１０００の操作に必要な様々なプログラムおよびデータも記憶されていてもよい。ＣＰＵ１００１、ＲＯＭ１００２およびＲＡＭ１００３は、バス１００４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース１００５もバス１００４に接続されている。
【0085】
デバイス１０００における、例えばキーボードやマウスなどの入力ユニット１００６と、例えば各種のディスプレイやスピーカなどの出力ユニット１００７と、例えば磁気ディスクや光ディスク等の記憶ユニット１００８と、例えばネットワークインターフェースカード、モデム、無線通信トランシーバなどの通信ユニット１００９と、を含む複数の部品は、Ｉ／Ｏインタフェース１００５に接続されている。通信ユニット１００９は、インターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して、デバイス１０００が他のデバイスと情報・データを交換することを許可する。
【0086】
例えば方法２００、５００、６００、７００および／または８００のような、上記に説明された各プロセスおよび処理は、処理ユニット１００１によって実行されてもよい。例えば、いくつかの実施例において、方法２００、５００、６００、７００および／または８００は、例えば記憶ユニット１００８のような機械読み取り可能な媒体に実体的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例において、コンピュータプログラムの一部または全部は、ＲＯＭ１００２および／または通信ユニット１００９を介してデバイス１０００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ１００３にロードされてＣＰＵ１００１によって実行されるとき、上記に説明された方法２００、５００、６００、７００および／または８００の１つまたは複数の動作が実行されてもよい。
【0087】
本開示は、方法、装置、システム、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本開示の各形態を実行するためのコンピュータ読み取り可能なプログラム命令を搭載したコンピュータ読み取り可能な記憶媒体を含んでもよい。
【0088】
コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによって使用される命令を保持し、記憶することができる有形デバイスであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組み合わせであってもよいが、これらに限定されるものではない。コンピュータ読み取り可能な記憶媒体のより具体的な例（網羅的なリストでない）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械符号化デバイス、例えば命令が格納されているパンチカードまたはスロット内突起構造、および上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、無線電波または他の自由に伝搬される電磁波、導波路または他の伝送媒体を介して伝搬される電磁波（例えば、光ファイバケーブルを介した光パルス）、または電気配線を介して伝送される電気信号などの瞬間的な信号そのものとしては解釈されない。
【0089】
ここで説明されたコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理デバイスに、または例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワークというネットワークを介して外部コンピュータまたは外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含んでもよい。各計算／処理デバイスにおけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、そのコンピュータ読み取り可能なプログラム命令を移転して、各計算・処理デバイスにおけるコンピュータ読み取り可能な記憶媒体に格納する。
【0090】
本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語または類似したプログラミング言語などの従来のプロセス型プログラミング言語とを含む１種または多種のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続されてもよく、または外部コンピュータ（例えばインターネットを介してインターネットサービスプロバイダを利用して接続される）に接続されてもよい。いくつかの実施例において、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行することができる、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）という電子回路をカスタマイズすることにより、本開示の各形態を実装する。
【0091】
本開示の各形態は、本開示の実施例に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して、ここで説明される。フローチャートおよび／またはブロック図の各ブロック、ならびにフローチャートおよび／またはブロック図における各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実装されてもよいことを理解されたい。
【0092】
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置の処理ユニットに提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットを介して実行されるときに、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能／動作を実現する装置を生成するように、機械を製造することができる。これらのコンピュータ読み取り可能なプログラム命令を、コンピュータ読み取り可能な記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスを特定の方法で動作させ、よって、命令が記憶されたコンピュータ読み取り可能な媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能・動作の各形態を実装する命令を含む製造品を含む。
【0093】
コンピュータ読み取り可能なプログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードしてもよく、コンピュータの実装するプロセスを生成するために、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上で一連の操作ステップを実行させ、よって、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上で実行される命令を、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能・動作を実装する。
【0094】
図面のフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法、およびコンピュータプログラム製品が実装可能なのアーキテクチャ、機能、および操作を示している。この点で、フローチャートまたはブロック図における各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能命令を含むモジュール、プログラムセグメントまたは命令の一部を表すことができる。代替としてのいくつかの実装において、ブロックにおいて標記された機能は、図面において標記されたものとは異なる順序で発生してもよい。例えば、２つの連続したブロックは、実際には実質的に並行に実行されてもよく、係る機能に応じて逆の順序で実行されてもよい場合もある。ブロック図および／またはフローチャートにおける各ブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または動作を実行するハードウェアベースの専用システムで実装されてもよく、または専用ハードウェアとコンピュータ命令との組み合わせで実装されてもよいことにも留意されたい。
【0095】
以上、本開示の各実施形態について説明したが、上記の説明は例示的なものであり、網羅的なものではなく、開示された各実施形態に限定されるものでもない。説明された各実施形態の範囲および精神から逸脱することない限り、多くの修正および変更は当業者にとって自明である。本文で使用される用語の選択は、各実施形態の原理、実際の応用、または市場における技術に対する改良を最もよく解釈すること、または本文で開示された各実施形態を当業者が理解できるようにすることを意図している。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【外国語明細書】