特表2022-554119内視鏡画像処理方法、装置、電子機器及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-28
(54)【発明の名称】内視鏡画像処理方法、装置、電子機器及びコンピュータプログラム
(51)【国際特許分類】
A61B 1/045 20060101AFI20221221BHJP
G06T 7/70 20170101ALI20221221BHJP
G06T 7/00 20170101ALI20221221BHJP
【ＦＩ】
A61B1/045 613
A61B1/045 618
G06T7/70 A
G06T7/00 612
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022523504
(86)(22)【出願日】2020-11-23
(85)【翻訳文提出日】2022-04-20
(86)【国際出願番号】 CN2020130769
(87)【国際公開番号】W WO2021147500
(87)【国際公開日】2021-07-29
(31)【優先権主張番号】202010076394.4
(32)【優先日】2020-01-23
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】章 子健
(72)【発明者】
【氏名】尚 ▲鴻▼
(72)【発明者】
【氏名】▲孫▼ ▲鐘▼前
【テーマコード（参考）】
4C161
5L096
【Ｆターム（参考）】
4C161CC06
4C161HH51
4C161SS21
4C161WW02
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA04
5L096CA21
5L096DA01
5L096FA69
5L096GA51
5L096GA55
5L096HA11
(57)【要約】
内視鏡画像処理方法、装置、電子機器及び記憶媒体であって、方法は、元の内視鏡画像を運ぶ内視鏡ビデオストリームを取得し、第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することを含む。
【特許請求の範囲】
【請求項1】
電子機器が実行する内視鏡画像処理方法であって、元の内視鏡画像を含む内視鏡ビデオストリームを取得するステップと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するステップとを含み、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、方法。
【請求項2】
前記内視鏡ビデオストリームを取得するステップは、ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出するステップと、
前記内視鏡ビデオフレームに対して、解像度向上処理を行うステップと、
前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得するステップと、
前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成するステップとを含む、請求項１に記載の方法。
【請求項3】
前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換するステップは、ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮するステップと、
前記ビデオフレームに対応するシリアル番号を書き込み、画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成するステップと、
前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成するステップとを含む、請求項２に記載の方法。
【請求項4】
前記元の内視鏡画像をターゲットサイズに調整して、標準内視鏡画像フレームを生成するステップと、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するステップとをさらに含む、請求項１に記載の方法。
【請求項5】
前記第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップは、前記第１のスレッドにおける検出器により、存在する異物を検出して、前記ターゲット内視鏡画像フレームに分布する異物ボックスを取得し、前記異物ボックスは、前記ターゲット内視鏡画像フレームにおける異物が存在する領域を指示するためのものであるステップと、
前記異物ボックスに基づいて前記ターゲット内視鏡画像フレームをフィルタリングすることで、前記ターゲット内視鏡画像フレームにおける病巣領域、及び属する病巣カテゴリを位置決めするステップと、
前記異物ボックスによって位置決めされた前記ターゲット内視鏡画像フレームにおける病巣領域を、統合モジュールに伝送するステップとを含む、請求項４に記載の方法。
【請求項6】
前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止し、検出のために、後続のターゲット内視鏡画像フレームを取得するステップをさらに含む、請求項５に記載の方法。
【請求項7】
前記第２のスレッドは前記制御指令に応答して、前記第２のスレッドにおける出力結果を調整するステップは、前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが検出器に対応する異物ボックスに合わせ、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力するステップ、又は、
前記第２のスレッドのトラッカーがリセット状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせていなく、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力するステップを含む、請求項４に記載の方法。
【請求項8】
前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定するステップと、前記ボックス回帰パラメータによって、前記第２のスレッドにおけるトラッカーをアクティブ化するステップとをさらに含む、請求項７に記載の方法。
【請求項9】
前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当てるステップと、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するステップとをさらに含む、請求項８に記載の方法。
【請求項10】
第２のスレッドにおける出力結果に応答して、ターゲットオブジェクトと接触する医療装置の検出状態を調整することで、新たな病理情報を取得するための調整指令を送信するステップをさらに含む、請求項１に記載の方法。
【請求項11】
内視鏡画像処理システムが実行する内視鏡画像処理方法であって、内視鏡画像処理装置が内視鏡によって送信された内視鏡ビデオストリームを取得し、前記内視鏡ビデオストリームは元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられるステップと、
前記内視鏡画像処理装置が第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
前記内視鏡画像処理装置が統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記内視鏡画像処理装置が前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであるステップと、
前記内視鏡画像処理装置が、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信し、前記医療装置が相応するターゲット内視鏡画像フレームを出力するステップとを含む、方法。
【請求項12】
前記内視鏡画像処理方法は内視鏡画像処理システムによって実行され、前記システムは、内視鏡ビデオストリームを内視鏡画像処理装置に送信するように構成される内視鏡と、
前記内視鏡によって送信された内視鏡ビデオストリームを取得するように構成される内視鏡画像処理装置とを含み、
前記内視鏡ビデオストリームは、元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられ、
前記内視鏡画像処理装置は、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成され、
前記内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、
前記内視鏡画像処理装置は、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信するように構成され、
前記医療装置は、相応するターゲット内視鏡画像フレームを出力するように構成される、請求項１～１１のいずれか１項に記載の内視鏡画像処理方法。
【請求項13】
内視鏡画像処理装置であって、 元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュールと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュールとを含み、
前記情報処理モジュールは、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記情報処理モジュールは、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、装置。
【請求項14】
実行可能な指令を記憶するように構成されるメモリと、前記メモリに記憶された実行可能な指令を実行する場合、請求項１～１０のいずれか１項に記載の内視鏡画像処理方法、又は請求項１１～１２のいずれか１項に記載の内視鏡画像処理方法を実現させるように構成されるプロセッサとを含む、電子機器。
【請求項15】
請求項１～１０のいずれか１項に記載の内視鏡画像処理方法、又は請求項１１～１２のいずれか１項に記載の内視鏡画像処理方法を実現させるコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、出願番号が２０２０１００７６３９４.４であり、出願日が２０２０年０１月２３日である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は本出願に参照のために援用される。
【0002】
本出願は、医療画像処理技術、特に、人工知能技術による内視鏡画像処理方法、装置、電子機器及び記憶媒体に関する。
【背景技術】
【0003】
今まで、深層学習による各カテゴリの認識は、各アプリケーションシナリオで、大量データの分類を解決するための重要な手段である。例えば、画像、自然言語処理などのアプリケーションシナリオにおいて、大量データに対して大規模な分類及び認識を実現することで、関する分類予測結果を迅速且つ正確に取得し、所在するアプリケーションシナリオの機能の実現を速める。
【0004】
医療映像の様々な画像は連続的に生成され、例えば、内視鏡により消化管で連続的に撮影することで、連続的に生成され、大量のデータを形成し、分類予測を実行することで、大規模な分類及び認識を実現する必要がある。
【0005】
関連技術では、一般的に、リアルタイムビデオストリーム（例えば、結腸内視鏡ビデオストリーム）のターゲット検出のスキームには比較的高精度のターゲット検出モデル（例えば、Ｒｅｔｉｎａ Ｎｅｔ、ＦａｓｔｅｒＲＣＮＮ、ＹＯＬＯなどの様々なターゲット検出アルゴリズム）が統合され、いずれもビデオストリームにおける画像フレームをモデルに順次入力し、ターゲットを検出する。ただし、モデルの処理速度には制限があり、リアルタイムビデオストリームの速度に合わせないため、関連技術における検出モデルは、リアルタイムビデオのフレームレートに合わせることができず、モデルの出力効果に影響を与える。
【発明の概要】
【課題を解決するための手段】
【0006】
それに鑑みて、本出願の実施例は、並列する第１のスレッド及び第２のスレッドにより元の内視鏡画像を処理することで、出力結果が内視鏡ビデオストリームの使用環境に合わせることを実現することができる内視鏡画像処理方法、装置、電子機器及び記憶媒体を提供する。
【0007】
本出願の実施例の技術案は以下のように実現される。
本出願の実施例は内視鏡画像処理方法を提供し、
元の内視鏡画像を含む内視鏡ビデオストリームを取得するステップと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するステップとを含み、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
本出願の実施例は内視鏡画像処理方法を提供し、
元の内視鏡画像を含む内視鏡ビデオストリームを取得するステップと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するステップとを含み、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0008】
本出願の実施例は内視鏡画像処理方法をさらに提供し、
内視鏡画像処理装置が内視鏡によって送信された内視鏡ビデオストリームを取得し、前記内視鏡ビデオストリームは元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられるステップと、
前記内視鏡画像処理装置が第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
前記内視鏡画像処理装置が統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記内視鏡画像処理装置が前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであるステップと、
前記内視鏡画像処理装置が、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信し、前記医療装置が相応するターゲット内視鏡画像フレームを出力するステップとを含む、方法。
内視鏡画像処理装置が内視鏡によって送信された内視鏡ビデオストリームを取得し、前記内視鏡ビデオストリームは元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられるステップと、
前記内視鏡画像処理装置が第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
前記内視鏡画像処理装置が統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記内視鏡画像処理装置が前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであるステップと、
前記内視鏡画像処理装置が、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信し、前記医療装置が相応するターゲット内視鏡画像フレームを出力するステップとを含む、方法。
【0009】
本出願の実施例は内視鏡画像処理装置をさらに提供し、
元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュールと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュールとを含み、
前記情報処理モジュールは、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記情報処理モジュールは、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、装置。
元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュールと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュールとを含み、
前記情報処理モジュールは、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記情報処理モジュールは、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、装置。
【0010】
上記のスキームでは、
前記情報処理モジュールは、ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出するように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームに対して、解像度向上処理を行うように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームのフォーマットを現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得するように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成するように構成される。
前記情報処理モジュールは、ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出するように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームに対して、解像度向上処理を行うように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームのフォーマットを現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得するように構成され、
前記情報処理モジュールは、前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成するように構成される。
【0011】
上記のスキームでは、
前記情報処理モジュールは、ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮するように構成され、
前記情報処理モジュールは、前記ビデオフレームに対応するシリアル番号を書き込み、前記画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成するように構成され、
前記情報処理モジュールは、前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成するように構成される。
前記情報処理モジュールは、ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮するように構成され、
前記情報処理モジュールは、前記ビデオフレームに対応するシリアル番号を書き込み、前記画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成するように構成され、
前記情報処理モジュールは、前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成するように構成される。
【0012】
上記のスキームでは、
前記情報処理モジュールは、前記元の内視鏡画像をターゲットサイズに調整して、標準内視鏡画像フレームを生成するように構成され、
前記情報処理モジュールは、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するように構成される。
前記情報処理モジュールは、前記元の内視鏡画像をターゲットサイズに調整して、標準内視鏡画像フレームを生成するように構成され、
前記情報処理モジュールは、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するように構成される。
【0013】
上記のスキームでは、
前記情報処理モジュールは、前記第１のスレッドにおける検出器により、存在する異物を検出して、前記ターゲット内視鏡画像フレームに分布する異物ボックスを取得するように構成され、前記異物ボックスは、前記ターゲット内視鏡画像フレームにおける異物が存在する領域を指示するためのものであり、
前記情報処理モジュールは、前記異物ボックスに基づいて前記ターゲット内視鏡画像フレームをフィルタリングすることで、前記ターゲット内視鏡画像フレームにおける病巣領域、及び属する病巣カテゴリを位置決めするように構成され、
前記情報処理モジュールは、前記異物ボックスによって位置決めされた前記ターゲット内視鏡画像フレームにおける病巣領域を、統合モジュールに伝送するように構成される。
前記情報処理モジュールは、前記第１のスレッドにおける検出器により、存在する異物を検出して、前記ターゲット内視鏡画像フレームに分布する異物ボックスを取得するように構成され、前記異物ボックスは、前記ターゲット内視鏡画像フレームにおける異物が存在する領域を指示するためのものであり、
前記情報処理モジュールは、前記異物ボックスに基づいて前記ターゲット内視鏡画像フレームをフィルタリングすることで、前記ターゲット内視鏡画像フレームにおける病巣領域、及び属する病巣カテゴリを位置決めするように構成され、
前記情報処理モジュールは、前記異物ボックスによって位置決めされた前記ターゲット内視鏡画像フレームにおける病巣領域を、統合モジュールに伝送するように構成される。
【0014】
上記のスキームでは、
前記情報処理モジュールは、前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止するように構成され、
前記情報処理モジュールは、検出のために後続のターゲット内視鏡画像フレームを取得するように構成される。
前記情報処理モジュールは、前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止するように構成され、
前記情報処理モジュールは、検出のために後続のターゲット内視鏡画像フレームを取得するように構成される。
【0015】
上記のスキームでは、
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせ、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力するように構成され、
前記情報処理モジュールは、前記第２のスレッドのトラッカーがリセット状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせていなく、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力するように構成される。
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせ、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力するように構成され、
前記情報処理モジュールは、前記第２のスレッドのトラッカーがリセット状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせていなく、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力するように構成される。
【0016】
上記のスキームでは、
前記情報処理モジュールは、前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定するように構成され、
前記情報処理モジュールは、前記ボックス回帰パラメータによって、前記第２のスレッドにおけるトラッカーをアクティブ化するように構成される。
前記情報処理モジュールは、前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定するように構成され、
前記情報処理モジュールは、前記ボックス回帰パラメータによって、前記第２のスレッドにおけるトラッカーをアクティブ化するように構成される。
【0017】
上記のスキームでは、
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当てるように構成され、
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するように構成される。
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当てるように構成され、
前記情報処理モジュールは、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するように構成される。
【0018】
上記のスキームでは、
前記情報処理モジュールは、第２のスレッドにおける出力結果に応答して、前記ターゲットオブジェクトと接触する医療装置の検出状態を調整することで新たな病理情報を取得するための調整指令を送信するように構成される。
前記情報処理モジュールは、第２のスレッドにおける出力結果に応答して、前記ターゲットオブジェクトと接触する医療装置の検出状態を調整することで新たな病理情報を取得するための調整指令を送信するように構成される。
【0019】
本出願の実施例は内視鏡画像処理システムをさらに提供し、
内視鏡ビデオストリームを内視鏡画像処理装置に送信するように構成される内視鏡と、
前記内視鏡によって送信された内視鏡ビデオストリームを取得するように構成される内視鏡画像処理装置とを含み、
前記内視鏡ビデオストリームは、元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられ、
前記内視鏡画像処理装置は、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成され、
前記内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、
前記内視鏡画像処理装置は、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信するように構成され、
前記医療装置は、相応するターゲット内視鏡画像フレームを出力するように構成される。
内視鏡ビデオストリームを内視鏡画像処理装置に送信するように構成される内視鏡と、
前記内視鏡によって送信された内視鏡ビデオストリームを取得するように構成される内視鏡画像処理装置とを含み、
前記内視鏡ビデオストリームは、元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられ、
前記内視鏡画像処理装置は、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成され、
前記内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、
前記内視鏡画像処理装置は、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信するように構成され、
前記医療装置は、相応するターゲット内視鏡画像フレームを出力するように構成される。
【0020】
本出願の実施例は電子機器をさらに提供し、
実行可能な指令を記憶するように構成されるメモリと、
前記メモリに記憶された実行可能な指令を実行する場合、上記した内視鏡画像処理方法を実現させるように構成されるプロセッサとを含む。
実行可能な指令を記憶するように構成されるメモリと、
前記メモリに記憶された実行可能な指令を実行する場合、上記した内視鏡画像処理方法を実現させるように構成されるプロセッサとを含む。
【0021】
本出願の実施例はコンピュータ可読記憶媒体をさらに提供し、実行可能な指令が記憶されているコンピュータ可読記憶媒体であって、前記実行可能な指令は、プロセッサに実行される場合、上記した内視鏡画像処理方法を実現させるコンピュータ可読記憶媒体。
【発明の効果】
【0022】
本出願の実施例は以下の有益な効果を有する。
元の内視鏡画像を含む内視鏡ビデオストリームを取得し、第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することにより、本出願は、並列する第１のスレッドと第２のスレッドにより、出力結果が内視鏡ビデオストリームの使用環境に合わせるように制御され、内視鏡画像処理のリアルタイム精度を向上させ、リアルタイム再現率を高めることができる。
元の内視鏡画像を含む内視鏡ビデオストリームを取得し、第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することにより、本出願は、並列する第１のスレッドと第２のスレッドにより、出力結果が内視鏡ビデオストリームの使用環境に合わせるように制御され、内視鏡画像処理のリアルタイム精度を向上させ、リアルタイム再現率を高めることができる。
【0023】
本出願の実施例又は関連技術における技術案をより明らかに説明するために、以下は、実施例又は関連技術の記述に必要な図面を簡単に紹介し、明らかに、以下、記述される図面は本出願のいくつかの実施例に過ぎず、当業者にとって、進歩性に値する労働をしない前提で、これらの図面に基づいて、他の図面を取得することができる。
【図面の簡単な説明】
【0024】
【図1】本出願の実施例で提供される内視鏡画像処理方法の使用環境の概略図である。
【図2】本出願の実施例で提供される電子機器の構成概略図である。
【図3】本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図である。
【図4A】本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図である。
【図4B】本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図である。
【図5】本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図である。
【図6】本出願の実施例の内視鏡画像処理方法における異なるスレッドの概略図である。
【図7】本出願の実施例の内視鏡画像処理方法におけるトラッカーの初期化状態の概略図である。
【図8】本出願の実施例の内視鏡画像処理方法におけるトラッキング継続状態の概略図である。
【図9】本出願の実施例の内視鏡画像処理方法におけるトラッキングリセット・トラッキング継続状態の概略図である。
【図10】本出願の実施例の内視鏡画像処理方法におけるトラッキングリセット・トラッキング継続状態の概略図である。
【図11】本出願の実施例の内視鏡画像処理方法における同一のターゲットを判定するプロセスの概略図である。
【図12】本出願の実施例の内視鏡画像処理方法の表示効果の概略図である。
【発明を実施するための形態】
【0025】
本出願の目的、技術案及び利点をより明らかにするために、以下、図面を参照しながら本出願をより詳しく記述し、記述される実施例は本出願に対する限定ではなく、当業者が進歩性に値する労働をしない前提で取得した他の全ての実施例は、いずれも本出願の保護範囲に該当する。
【0026】
以下の記述において、「いくつかの実施例」に関して、全ての可能な実施例のサブセットを記述するが、「いくつかの実施例」は全ての可能な実施例の同じなサブセット、又は異なるサブセットであってもよく、且つ、矛盾しない場合で、互いに結合され得ると理解されたい。
【0027】
本出願の実施例をさらに詳しく説明する前に、本出願の実施例に係る名詞及び用語を説明し、本出願の実施例に係る名詞及び用語は、以下の解釈を適用する。
【0028】
１）「応答」は、実行される操作が依存する条件又は状態を表すために用いられ、依存する条件又は状態を満たしていると、実行される１つ又は複数の操作はリアルタイムであってもよいし、所定の遅延を有してもよく、特に説明しない限り、実行される複数の操作は、実行順序の限定を有していない。
【0029】
２）「中国語名称であるコンピュータ支援診断（ＡＤ Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ）」は、映像学、医学画像処理技術及び他の可能な生理、生化学手段により、コンピュータによる分析計算と組み合わせて、病巣の発見を支援し、診断の精度を向上させるために用いられる。
【0030】
３）「内視鏡ビデオストリーム」は、画像収集装置（例えば内視鏡）により生体の部位（人体の異なるターゲット器官又は人体の病巣）に対して画像収集を行うことで形成されるビデオ状態の病理情報に使用される。
【0031】
４）「病巣」は、一般的に、生体における病変が生じた部分を指す。言い換えると、限られた、病原性微生物がある病変組織は、病巣と呼ばれる。
【0032】
５）「グレースケール値符号化方法（ＹＵＶ）」は、カラー符号化方法であり、「Ｙ」は輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）、つまり、グレースケール値を示し、「Ｕ」及び「Ｖ」は、色度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を示し、その機能は映像の色及び飽和率を記述することであり、画素の色を指定するために用いられる。
【0033】
６）「ＲＧＢ」は、三原色符号化方法であって、ＲＧＢカラーモードとも呼ばれ、業界の色標準であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのチャンネルの変化、及び相互の間の重ね合わせによって、様々な色を取得することであり、ＲＧＢは赤、緑、青の３つのチャンネルの色を代表し、この標準は、人間の目が認識できる全ての色をほぼ含んでおり、最も広く使用されているカラーシステムの１つである。
【0034】
図１は本出願の実施例で提供される内視鏡画像処理方法の使用シナリオの概略図であり、図１を参照し、端末（端末１０－１及び端末１０－２を含む）には、異なる機能を実行できる相応するクライアントが設けられ、前記クライアントは、ネットワーク３００を介して相応するサーバー２００から異なる病理情報を取得して閲覧し、端末はネットワーク３００を介してサーバー２００に接続され、ネットワーク３００はワイドエリアネットワーク又はローカルエリアネットワークであってもよいし、それらの組み合わせであってもよく、無線リンクを使用して、データの伝送を実現し、端末（端末１０－１及び端末１０－２を含む）がネットワーク３００を介して相応するサーバー２００から取得した病理情報のタイプは同じであってもよいし、異なってもよく、例えば、端末（端末１０－１及び端末１０－２を含む）はネットワーク３００を介して相応するサーバー２００から、ターゲットオブジェクトに合わせる病理学画像又は病理学ビデオを取得してもよいし、ネットワーク３００を介して相応するサーバー２００から、現在のターゲットのみに合わせる病理学ビデオ（例えば、内視鏡ビデオストリーム）を取得し、閲覧してもよい。サーバー２００に異なるターゲットオブジェクトのそれぞれに対応する病理情報を保存してもよいし、前記ターゲットオブジェクトの病理情報に合わせる支援分析情報を保存してもよい。本出願のいくつかの実施例において、サーバー２００に保存された異なるタイプの病理情報は、内視鏡によって取り込まれた内視鏡ビデオストリームであってもよい。本実施例の内視鏡ビデオストリームにおける少なくとも２つの元の内視鏡画像は、医師が内視鏡を使用する際に、カメラを動かしたり、拡大倍率を切り替えたりするなどの操作で紛らわしい病巣領域を繰り返し観察することで得られた多視野の病理学ピクチャのセットであり、内視鏡での特定の視野の情報が融和される。内視鏡ビデオストリームは、医師が患者の病巣を観察する際に、内視鏡視野での全ての情報を記録したため、内視鏡の視野内で医師が観察した1人の患者の病巣の情報を、連続ビデオストリームとして利用することにより、医師が内視鏡を速く動かす際に、微小な病変領域を無視することを避け、これによって、医師が微小な病変領域を診断して見つけるには、単一フレームピクチャよりも多くの情報を提供する。
【0035】
ここで、内視鏡（前記ターゲットオブジェクトと接触する医療装置）による患者病巣の観察は、複数の異なる応用シナリオ、例えば、糖尿病網膜症病変スクリーニング、子宮頸がん早期スクリーニングなどの異なるビデオストリームスクリーニングなどを含んでもよい。本実施例による内視鏡画像処理方法は、複数の応用シナリオに適用され得、医師のリモートチェック及び使用を便利にする。
【0036】
サーバー２００はネットワーク３００を介して端末（端末１０－１及び／又は端末１０－２）に同一のターゲットオブジェクトの病理情報を送信することで、端末（端末１０－１及び／又は端末１０－２）のユーザーによるターゲットオブジェクトに対する病理情報分析を実現するようになる。１つの例として、サーバー２００は、内視鏡装置４００のビデオストリームを取得するように構成されるニューラルネットワークモデルを設置し、前記内視鏡のビデオストリームは元の内視鏡画像を含み、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより前記元の内視鏡画像の検出結果に応じて、制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0037】
以下、本出願の実施例の電子機器の構成を詳しく説明し、電子機器は様々な形態で実施されることができ、例えば、内視鏡画像処理機能を有する専用端末であり、内視鏡画像処理機能を有する電子機器又はクラウドサーバー、例えば、前記図１のサーバー２００であってもよい。図２は本出願の実施例で提供される電子機器の構成概略図であり、ここで、図２は、全ての構成ではなく、電子機器の例示的な構成のみを示し、必要に応じて、図２の一部又は全ての構成を実施できる。
【0038】
本出願の実施例で提供される電子機器は、少なくとも１つのプロセッサ２０１、メモリ２０２、ユーザーインターフェース２０３及び少なくとも１つのネットワークインターフェース２０４を含む。電子機器における各コンポーネントはバスシステム２０５によって結合される。バスシステム２０５は、これらのコンポーネントの間の接続通信を実現するように構成されることが理解され得る。バスシステム２０５は、データバスのほかに、電源バス、制御バス及び状態信号バスを含む。ただし、説明を明らかにするために、図２において、様々なバスはいずれもバスシステム２０５として記載される。
【0039】
ユーザーインターフェース２０３は、ディスプレイ、キーボード、マウス、トラックボール、クリックホイール、キー、ボタン、タッチパッド又はタッチスクリーンなどを含んでもよい。
【0040】
ここで、メモリ２０２は揮発性メモリ又は非揮発性メモリであってもよいし、揮発性メモリ及び非揮発性メモリの両方を含んでもよい。本出願の実施例のメモリ２０２は、端末（例えば、１０－１）の操作を支持するためのデータを記憶することができる。これらのデータの例は、端末（例えば、１０－１）で操作するための任意のコンピュータプログラム、例えば、オペレーティングシステム及びアプリケーションプログラムを含む。オペレーティングシステムは、フレームワークレイヤー、カーネルライブラリレイヤー、ドライバーレイヤーなど、様々なシステムプログラムを含んでおり、様々な基本サービスを実現し、ハードウェアによるタスクを処理するように構成される。アプリケーションプログラムは、様々なアプリケーションプログラムを含んでもよい。
【0041】
いくつかの実施例において、本出願の実施例で提供される内視鏡画像処理装置は、ソフトウェアおよびハードウェアの組み合わせによって実現され得、例として、本出願の実施例で提供される内視鏡画像処理装置は、ハードウェア復号プロセッサの形のプロセッサであってもよく、当該プロセッサは、本出願の実施例で提供される内視鏡画像処理方法を実行するようにプログラムされる。例えば、ハードウェア復号プロセッサの形のプロセッサは、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複合プログラマブルロジックデバイス（ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他の電子素子を採用することができる。
【0042】
本出願の実施例で提供される内視鏡画像処理装置がソフトウェアとハードウェアの組み合わせによって実施される例として、本出願の実施例で提供される内視鏡画像処理装置は、プロセッサ2０１によって実行されるソフトウェアモジュール組み合わせとして直接具現できる。ソフトウェアモジュールは、記憶媒体に位置してもよく、記憶媒体は、メモリ2０２に配置される。プロセッサ2０１は、メモリ2０２におけるソフトウェアモジュールに含まれる実行可能な命令を読み取り、必要なハードウェア（例えば、プロセッサ2０１及びバス2０５に接続された他の構成要素を含む）を組み合わせて、本出願の実施例で提供される内視鏡画像処理方法を完成させる。
【0043】
例として、プロセッサ２０１は、例えば、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなど、信号処理機能を備えた集積回路チップであってもよく、ここで、汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサ等であってもよい。
【0044】
本出願の実施例で提供される内視鏡画像処理装置がハードウェアの形で実施される例として、本出願の実施例で提供される内視鏡画像処理装置は、ハードウェア復号プロセッサの形のプロセッサ2０１を直接採用することで実行されることができ、例えば、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルロジックデバイス（ＰＬＤ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、複合プログラマブルロジックデバイス（ＣＰＬＤ：Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は他の電子素子により、本本出願の実施例で提供される内視鏡画像処理方法を実行して実現させることができる。
【0045】
本出願の実施例におけるメモリ２０２は、電子機器の動作をサポートするために、様々なタイプのデータを記憶するように構成される。これらのデータの例には、電子機器で操作する任意の実行可能な命令、本出願の実施例の内視鏡画像処理方法を実現するプログラムが含まれてもよい。
【0046】
他のいくつかの実施例にいて、本出願の実施例で提供される内視鏡画像処理装置は、ソフトウェアの形で実現されることができ、図２は、メモリ２０２に記憶された内視鏡画像処理装置２０２０を示しており、プログラムやプラグインの形のソフトウェアであってもよく、一連のモジュールを含み、メモリ２０２に記憶されたプログラムの例として、内視鏡画像処理装置２０２０を含み得、内視鏡画像処理装置２０２０は、
元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュール２０８１と、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュール２０８２とを含む。
元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュール２０８１と、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュール２０８２とを含む。
【0047】
前記情報処理モジュール２０８２は、統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成される。
【0048】
前記情報処理モジュール２０８２は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせるように構成され、前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0049】
図２に示された電子機器を参照しながら、本出願の実施例で提供される内視鏡画像処理方法を説明し、図３を参照し、図３は本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図であり、図３のステップは、内視鏡画像処理装置を動作させる様々なサーバー、例えば、内視鏡画像処理機能を有する専用端末、サーバー、クラウドサーバー又はサーバークラスタによって実行され得ることが理解され得る。以下、図３に示されたステップについて説明する。
【0050】
ステップ３０１において、内視鏡画像処理装置は内視鏡ビデオストリームを取得する。
【0051】
前記内視鏡ビデオストリームは元の内視鏡画像を含み、内視鏡ビデオストリームは、病院の実際の使用環境などの医療環境で、内視鏡により撮影されたビデオストリームである。内視鏡の移動及び撮影の下で、内視鏡ビデオストリームは、内視鏡のレンズによってキャプチャされた内視ビデオを表示する。従って、内視鏡ビデオストリームから連続する若干のフレームの元の内視鏡画像を取得し、取得した各フレームの元の内視鏡画像はいずれも、内視鏡によってある時間点で撮影された内視ビデオを描画するため、各フレームの元の内視鏡画像に基づいて、内視鏡画像の認識を実現する。
【0052】
実現された内視鏡画像の認識において、内視鏡は、人体などの生物体の内部で内視鏡ビデオストリームを撮影する。例示的に、内視鏡は、外部に連通する管腔又は密閉された体腔で、内視鏡ビデオストリームを撮影する。例えば、外部に連通する管腔は、消化管、気道、尿路などであってもよく、密閉体腔は胸腔、腹腔、関節腔などの切欠きによって内視鏡を挿入する必要がある腔である。内視鏡による内視鏡ビデオストリームの撮影及び認識により、相応する管腔内の器官状況を知る。内視鏡で管腔を検査する過程で、得られた内視鏡ビデオストリームは、行われている内視鏡画像の認識にアクセスされる。その他に、履歴の内視鏡ビデオストリームのような以前に得られた内視鏡ビデオストリームに対して、実現された内視鏡画像の認識を実行してもよく、実現された内視鏡画像の認識はリアルタイム認識に限定されず、記憶された大量の内視鏡ビデオストリームに対して実行してもよい。
【0053】
本出願のいくつかの実施例において、内視鏡ビデオストリームの取得は、以下のように実現されてもよい。
ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出し、前記内視鏡ビデオフレームに対して、解像度向上処理を行い、前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得し、前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成する。内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得し、取得された全ての内視鏡ビデオフレームを符号化して圧縮することで、ビデオ状態の病理情報を形成し、これにより、データの伝送量を減少させ、フリーズを低減させることができ、一方、モーションブラーを改善し、画質が向上し、ユーザー体験をさらに向上させるとともに、リモート端末のユーザー（医師）は、ターゲットオブジェクトの病理情報をより正確に判断することができる。
ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出し、前記内視鏡ビデオフレームに対して、解像度向上処理を行い、前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得し、前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成する。内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得し、取得された全ての内視鏡ビデオフレームを符号化して圧縮することで、ビデオ状態の病理情報を形成し、これにより、データの伝送量を減少させ、フリーズを低減させることができ、一方、モーションブラーを改善し、画質が向上し、ユーザー体験をさらに向上させるとともに、リモート端末のユーザー（医師）は、ターゲットオブジェクトの病理情報をより正確に判断することができる。
【0054】
本出願のいくつかの実施例において、前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することは、以下のように実現されてもよい。
ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮し、前記ビデオフレームに対応するシリアル番号を書き込み、前記画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成し、前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成する。各画像フレームを符号化して圧縮することでビデオストリームを形成する場合、ｆｆｍｐｅｇ符号化ソフトウェアのような予め設置されたビデオ符号化ソフトウェアを採用してもよく、ｆｆｍｐｅｇ符号化ソフトウェアは無料のソフトウェアであり、オーディオとビデオの複数のフォーマットの録画、変換、ストリーム機能を実行でき、オーディオとビデオの復号／符号化ライブラリを含む。具体的に、ビデオ符号化ソフトウェアにおけるビデオ圧縮アルゴリズム、例えば、Ｈ２６４、Ｘ２６４などのビデオ圧縮アルゴリズムで、画像フレームを符号化して圧縮することで、ビデオストリームを形成してもよく、なお、Ｈ２６４、Ｘ２６４はデジタルビデオ圧縮フォーマットであり、ビデオコーデック規格でもある。当該過程において、ＹＵＶフォーマットとは、輝度パラメータと色度パラメータとをそれぞれ示す画素フォーマットを指し、輝度パラメータと色度パラメータとを別々にする利点は、相互の干渉を避ける上に、色度のサンプリングレートを低減させ、画像の品質に大きく影響していないことである。ＹＵＶは、ＲＧＢのように３つの独立したビデオ信号を同時に伝送するように要求されないため、画像フレームをＹＵＶフォーマットに変換し伝送することにより、非常に少ない帯域幅を占有し、大量のリソースを節約することができる。ＹＵＶフォーマットはｐｌａｎａｒ及びｐａｃｋｅｄに分けられて、ｐｌａｎａｒのＹＵＶフォーマットの場合、全ての画素点の輝度を連続的に記憶してから、全ての画素点のカラーを記憶し、次に、全ての画素点の彩度を記憶し、ｐａｃｋｅｄのＹＵＶフォーマットの場合、各画素点の輝度、彩度は連続して交互に記憶される。ＹＵＶフォーマットの画像フレームについて、ＹＵＶ４２２Ｐ、ＹＵＶ４２０、ＹＵＶ４２０ｓｐなどの記憶フォーマットで記憶し、端末装置の記憶リソースを節約するとともに、病理情報の伝送効率を高めることができる。
ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮し、前記ビデオフレームに対応するシリアル番号を書き込み、前記画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成し、前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成する。各画像フレームを符号化して圧縮することでビデオストリームを形成する場合、ｆｆｍｐｅｇ符号化ソフトウェアのような予め設置されたビデオ符号化ソフトウェアを採用してもよく、ｆｆｍｐｅｇ符号化ソフトウェアは無料のソフトウェアであり、オーディオとビデオの複数のフォーマットの録画、変換、ストリーム機能を実行でき、オーディオとビデオの復号／符号化ライブラリを含む。具体的に、ビデオ符号化ソフトウェアにおけるビデオ圧縮アルゴリズム、例えば、Ｈ２６４、Ｘ２６４などのビデオ圧縮アルゴリズムで、画像フレームを符号化して圧縮することで、ビデオストリームを形成してもよく、なお、Ｈ２６４、Ｘ２６４はデジタルビデオ圧縮フォーマットであり、ビデオコーデック規格でもある。当該過程において、ＹＵＶフォーマットとは、輝度パラメータと色度パラメータとをそれぞれ示す画素フォーマットを指し、輝度パラメータと色度パラメータとを別々にする利点は、相互の干渉を避ける上に、色度のサンプリングレートを低減させ、画像の品質に大きく影響していないことである。ＹＵＶは、ＲＧＢのように３つの独立したビデオ信号を同時に伝送するように要求されないため、画像フレームをＹＵＶフォーマットに変換し伝送することにより、非常に少ない帯域幅を占有し、大量のリソースを節約することができる。ＹＵＶフォーマットはｐｌａｎａｒ及びｐａｃｋｅｄに分けられて、ｐｌａｎａｒのＹＵＶフォーマットの場合、全ての画素点の輝度を連続的に記憶してから、全ての画素点のカラーを記憶し、次に、全ての画素点の彩度を記憶し、ｐａｃｋｅｄのＹＵＶフォーマットの場合、各画素点の輝度、彩度は連続して交互に記憶される。ＹＵＶフォーマットの画像フレームについて、ＹＵＶ４２２Ｐ、ＹＵＶ４２０、ＹＵＶ４２０ｓｐなどの記憶フォーマットで記憶し、端末装置の記憶リソースを節約するとともに、病理情報の伝送効率を高めることができる。
【0055】
さらに、プリセットの伝送プロトコルに従って、内視鏡ビデオストリームを端末装置に伝送する過程で、当該伝送プロトコルはＵＤＰプロトコルなどのリアルタイムデータ伝送プロトコルであってもよく、ＵＤＰプロトコル（ユーザーデータパケットプロトコル）は、データパケットを処理するためのコネクションレス型プロトコルであり、本出願において、データ伝送プロトコルのタイプは具体的に限定されない。本出願のいくつかの好適な実施例として、ＵＤＰプロトコルによりビデオストリームを端末装置に伝送し得る。
【0056】
本出願のいくつかの実施例において、方法は、
前記元の内視鏡画像をターゲットサイズに調整することで標準内視鏡画像フレームを生成し、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するステップをさらに含む。
前記元の内視鏡画像をターゲットサイズに調整することで標準内視鏡画像フレームを生成し、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するステップをさらに含む。
【0057】
ステップ３０２において、内視鏡画像処理装置は第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送する。
【0058】
ステップ３０３において、内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成する。
【0059】
ステップ３０４において、内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整する。
【0060】
前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0061】
これによって、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現することができる。
【0062】
図２に示された電子機器を引き続いて参照し、本出願の実施例で提供される内視鏡画像処理方法を説明し、図４Ａを参照し、図４Ａは本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図であり、ここで、図４Ａに示すステップは、内視鏡画像処理装置を動作させる様々なサーバーによって実行されることができ、例えば、内視鏡画像処理機能を有する専用端末、サーバー、クラウドサーバー又はサーバークラスタであり得ることが理解され得る。以下、図４Ａに示すステップを説明する。
【0063】
ステップ４０１において、内視鏡画像処理装置は、前記第１のスレッドにおける検出器により、存在する異物を検出して、前記ターゲット内視鏡画像フレームに分布する異物ボックスを取得する。
【0064】
前記異物ボックスは、前記ターゲット内視鏡画像フレームにおける異物が存在する領域を指示するために用いられる。
【0065】
ステップ４０２において、内視鏡画像処理装置は、前記異物ボックスに基づいて、前記ターゲット内視鏡画像フレームをフィルタリングすることで、前記ターゲット内視鏡画像フレームにおける病巣領域、及び属する病巣カテゴリを位置決めする。
【0066】
ステップ４０３において、内視鏡画像処理装置は、前記異物ボックスにより位置決めされた前記ターゲット内視鏡画像フレームにおける病巣領域を、統合モジュールに伝送する。
【0067】
本出願のいくつかの実施例において、内視鏡画像処理方法は、
前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止し、検出のために後続のターゲット内視鏡画像フレームを取得するステップをさらに含む。
前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止し、検出のために後続のターゲット内視鏡画像フレームを取得するステップをさらに含む。
【0068】
本出願のいくつかの実施例において、第２のスレッドが前記制御指令に応答して、前記第２のスレッドにおける出力結果を調整することは、以下のように実現されてもよい。
前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが、前記検出器に対応する異物ボックスに合わせて、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力する。
前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが、前記検出器に対応する異物ボックスに合わせて、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力する。
【0069】
本出願のいくつかの実施例において、第２のスレッドが前記制御指令に応答して、前記第２のスレッドにおける出力結果を調整することは、以下のように実現されてもよい。
前記第２のスレッドのトラッカーがリセット状態にあり、前記トラッカーに対応するトラッキングボックスが、前記検出器に対応する異物ボックスに合わせない場合に、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力する。
前記第２のスレッドのトラッカーがリセット状態にあり、前記トラッカーに対応するトラッキングボックスが、前記検出器に対応する異物ボックスに合わせない場合に、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力する。
【0070】
本出願のいくつかの実施例において、内視鏡画像処理方法は、
前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定し、前記ボックス回帰パラメータで前記第２のスレッドにおけるトラッカーをアクティブ化するステップをさらに含む。
前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定し、前記ボックス回帰パラメータで前記第２のスレッドにおけるトラッカーをアクティブ化するステップをさらに含む。
【0071】
本出願のいくつかの実施例において、内視鏡画像処理方法は、
前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当て、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するステップをさらに含む。
前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当て、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するステップをさらに含む。
【0072】
本出願のいくつかの実施例において、内視鏡画像処理方法は、
第２のスレッドにおける出力結果に応答して、前記ターゲットオブジェクトと接触する医療装置の検出状態を調整することで、新たな病理情報を取得するための調整指令を送信するステップをさらに含む。
第２のスレッドにおける出力結果に応答して、前記ターゲットオブジェクトと接触する医療装置の検出状態を調整することで、新たな病理情報を取得するための調整指令を送信するステップをさらに含む。
【0073】
図２に示された電子機器を引き続いて参照しながら、本出願の実施例で提供される内視鏡画像処理方法を説明し、内視鏡画像処理システムにおいて、図４Ｂを参照し、図４Ｂは本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図であり、ここで、図４Ｂのステップは、内視鏡画像処理装置を動作させる様々なサーバーよって実行されることができ、例えば、内視鏡画像処理機能を有する専用端末、サーバー、クラウドサーバー又はサーバークラスタであり得ることが理解され得る。以下、図４Ｂに示されたステップについて説明する。
【0074】
ステップ４００１において、内視鏡は内視鏡ビデオストリームを内視鏡画像処理装置に送信する。
ステップ４００２において、内視鏡画像処理装置は、内視鏡によって送信された内視鏡ビデオストリームを取得する。
ステップ４００２において、内視鏡画像処理装置は、内視鏡によって送信された内視鏡ビデオストリームを取得する。
【0075】
内視鏡ビデオストリームは、ターゲットオブジェクトの相応する病巣を検査するために用いられる元の内視鏡画像を含む。
【0076】
ステップ４００３において、内視鏡画像処理装置は、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送する。
【0077】
ステップ４００４において、内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成する。
【0078】
ステップ４００５において、内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整する。
【0079】
これによって、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせたことを実現することができ、前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0080】
ステップ４００６において、前記内視鏡画像処理装置は、前記第２のスレッドでの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信する。
【0081】
ステップ４００７において、医療装置は、相応するターゲット内視鏡画像フレームを出力する。
【0082】
本実施例の技術案によって、並列する第１のスレッドと第２のスレッドにより、出力結果が内視鏡ビデオストリームの使用環境に合わせるように制御されることを実現し、内視鏡画像を処理するリアルタイム精度を向上させ、リアルタイム再現率を高めて、医療装置を介して相応するターゲット内視鏡画像フレームを出力し、ターゲットオブジェクトの検査状況を即時知ることができる。
【0083】
以下、内視鏡ビデオストリームにより結腸画像におけるポリープ（異物）を決定することを例として、本出願で提供される内視鏡画像処理方法を説明し、内視鏡装置によって形成された医療映像の様々な画像は連続的に生成され、例えば、内視鏡が消化管内で連続して撮影することで、連続して生成され、ひいては、大量のデータとなるため、分類予測の実行により大規模な分類及び認識を実現する必要がある。
【0084】
そのため、人工知能技術（ＡＩ、Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）は、適切な支援分析情報形成ネットワークをトレーニングすることで、上記アプリケーションを支持するスキームを提供する。人工知能は、デジタルコンピュータ、又はデジタルコンピュータによるマシンを利用して、人間の知能をシミュレーション、延伸、拡張し、環境を認識し、知識を取得し知識を使用して、最適な結果を取得する理論、方法、技術、及びアプリケーションシステムであり、人工知能は、様々なインテリジェントマシンの設計原理及び実現方法を研究し、マシンに感知、推理及び決定の機能を持たせ、ＡＩ医療分野において、デジタルコンピュータ、又はデジタルコンピュータによるマシンにより、低遅延のビデオ及びメッセージの認識を実現し、病理分析結果に応じて支援分析情報を便利に取得することを実現する。
【0085】
ただし、関連技術において、内視鏡ビデオストリーム（例えば、結腸内視鏡ビデオストリーム）ターゲット検出解のスキームには、一般的に、精度が高い１つのターゲット検出モデル、例えば、網膜検出アルゴリズム（Ｒｅｔｉｎａ Ｎｅｔ）、領域畳み込みニューラルネットワークアルゴリズム（ＦａｓｔｅｒＲＣＮＮ）、一目見ただけアルゴリズム（ＹＯＬＯ Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などの様々なターゲット検出アルゴリズムが統合され、いずれもビデオストリームにおける画像フレームをモデルに順次入力し、ターゲットを検出する。ただし、モデルの処理速度には制限があり、リアルタイムビデオストリームの速度に合わせない（ほとんどの検出モデルは、リアルタイムビデオのフレームレートに追いつくことができない）ため、モデルの出力効果に影響を与える。
【0086】
伝統技術において、ニューラルネットワークモデルにより、内視鏡ビデオストリームに含まれる元の内視鏡画像を処理して、ポリープ（異物）を決定するプロセスは以下含む。
１）ニューラルネットワークモデルにより、リアルタイムビデオストリームにおける画像フレームを直接的に処理するが、一般的に、リアルタイムビデオストリームのフレームレートは２５ｆｐｓ以上であり、フレーム間隔は４０ｍｓよりも小さく、モデルの処理速度はリアルタイムビデオストリーム速度に合わせることができない。
２）ビデオストリームのみから、一部のフレームを抽出して検出し（例えば、Ｎフレームごとに抽出する）、即時処理されなかったビデオフレームを処理しない（フレームスキップ処理）。
３）従来の検出に加えて、トラッキングアルゴリズム（例えば、ＫＣＦ、ＣＳＲＤＣＦ、ＳｉａｍＦＣ、ＳｉａｍＲＰＮなどの様々なターゲットトラッキングアルゴリズム）を追加し、例えば、階段処理法は、検出モデルによって初期フレームが見つけられ、後続の階段において、トラッキングで検出に代えて、ターゲットを位置決めし、当該スキームはある程度リアルタイム性を保証するが、ポリープ検出の精度が低下してしまう。又は、モデルアンサンブル法は、トラッキングアルゴリズムを別の検出モデルと見なされ、全てのフレームについて、検出モデル及びトラッキングアルゴリズムを実行し、当該スキームは、ポリープ検出の精度を保証するが、リアルタイム性が低下するため、医師は連続して使用することができない。
１）ニューラルネットワークモデルにより、リアルタイムビデオストリームにおける画像フレームを直接的に処理するが、一般的に、リアルタイムビデオストリームのフレームレートは２５ｆｐｓ以上であり、フレーム間隔は４０ｍｓよりも小さく、モデルの処理速度はリアルタイムビデオストリーム速度に合わせることができない。
２）ビデオストリームのみから、一部のフレームを抽出して検出し（例えば、Ｎフレームごとに抽出する）、即時処理されなかったビデオフレームを処理しない（フレームスキップ処理）。
３）従来の検出に加えて、トラッキングアルゴリズム（例えば、ＫＣＦ、ＣＳＲＤＣＦ、ＳｉａｍＦＣ、ＳｉａｍＲＰＮなどの様々なターゲットトラッキングアルゴリズム）を追加し、例えば、階段処理法は、検出モデルによって初期フレームが見つけられ、後続の階段において、トラッキングで検出に代えて、ターゲットを位置決めし、当該スキームはある程度リアルタイム性を保証するが、ポリープ検出の精度が低下してしまう。又は、モデルアンサンブル法は、トラッキングアルゴリズムを別の検出モデルと見なされ、全てのフレームについて、検出モデル及びトラッキングアルゴリズムを実行し、当該スキームは、ポリープ検出の精度を保証するが、リアルタイム性が低下するため、医師は連続して使用することができない。
【0087】
関連技術に対する以上の総括を参照すると、従来のニューラルネットワークモデルにより結腸内視鏡ビデオストリームを処理するプロセスにおいて、欠陥は主に以下を含む。
１）検出モデルの処理に時間がかかり、ビデオフレームレートに追いつかず、検出が停滞し、且つ効果が歪む
検出モデルの速度はリアルタイムビデオストリームフレームレートに追いつかない場合、通常の現象は、画面検出ボックスが停滞し、その場で留まったが、ビデオにおけるターゲットがとっくにその場ではなくなった。具体的な評価値指標の下で、当該現象は、リアルタイム精度、リアルタイム再現率、リアルタイムＦ値が大幅に低下し、ユーザーの視覚エクスペリエンスから、当該現象は、ユーザーエクスペリエンスの低下を引き起こし、医師にとって、診断のエクスペリエンスに深刻な影響を与えるだけでなく、検出を見逃す恐れがある。
２）検出モデルの安定性が悪く、ロバスト性が低い
ビデオストリームのような変わりやすく、予測不可能なシナリオで、検出モデルの表示は、ジッタ、不安定になりやすく、通常のトリガーシナリオは、レンズがぼやけて、レンズが急速に変化し、ターゲットが変形し、ターゲットの一部が遮蔽され、ターゲットが視野の境界で出入りするなどを含む。
３）同一のターゲットのＩＤ認識の欠如
検出モデルは、同一のターゲットのＩＤ認識機能を具備していなく、ターゲット検出のシナリオで、新たなターゲットを見つけた際に、警告又はプロンプトをトリガーすることが望ましいが、検出モデルのロバスト性が低く、同一のターゲットのＩＤ認識機能がないため、警告／プロンプトを頻繁に繰り返してトリガーし、使用者／ユーザーに迷惑をかける。
１）検出モデルの処理に時間がかかり、ビデオフレームレートに追いつかず、検出が停滞し、且つ効果が歪む
検出モデルの速度はリアルタイムビデオストリームフレームレートに追いつかない場合、通常の現象は、画面検出ボックスが停滞し、その場で留まったが、ビデオにおけるターゲットがとっくにその場ではなくなった。具体的な評価値指標の下で、当該現象は、リアルタイム精度、リアルタイム再現率、リアルタイムＦ値が大幅に低下し、ユーザーの視覚エクスペリエンスから、当該現象は、ユーザーエクスペリエンスの低下を引き起こし、医師にとって、診断のエクスペリエンスに深刻な影響を与えるだけでなく、検出を見逃す恐れがある。
２）検出モデルの安定性が悪く、ロバスト性が低い
ビデオストリームのような変わりやすく、予測不可能なシナリオで、検出モデルの表示は、ジッタ、不安定になりやすく、通常のトリガーシナリオは、レンズがぼやけて、レンズが急速に変化し、ターゲットが変形し、ターゲットの一部が遮蔽され、ターゲットが視野の境界で出入りするなどを含む。
３）同一のターゲットのＩＤ認識の欠如
検出モデルは、同一のターゲットのＩＤ認識機能を具備していなく、ターゲット検出のシナリオで、新たなターゲットを見つけた際に、警告又はプロンプトをトリガーすることが望ましいが、検出モデルのロバスト性が低く、同一のターゲットのＩＤ認識機能がないため、警告／プロンプトを頻繁に繰り返してトリガーし、使用者／ユーザーに迷惑をかける。
【0088】
上記の欠陥を解决するために、図５を参照し、図５は本出願の実施例で提供される内視鏡画像処理方法の１つの好適な流れ概略図であり、ユーザーは、結腸内視鏡を操作するユーザーであり、具体的に、以下のステップを含む。
ステップ５０１において、元の内視鏡画像を含む内視鏡ビデオストリームを取得する。
ステップ５０２において、第１のスレッドにおける検出器により、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送する。
ステップ５０３において、統合モジュールは前記元の内視鏡画像の検出結果に応じて制御指令を形成する。
ステップ５０４において、前記第２のスレッドにおけるトラッカーは、前記制御指令に応答して、前記第２のスレッドにおけるトラッカーの出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの遅延パラメータに合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
ステップ５０１において、元の内視鏡画像を含む内視鏡ビデオストリームを取得する。
ステップ５０２において、第１のスレッドにおける検出器により、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送する。
ステップ５０３において、統合モジュールは前記元の内視鏡画像の検出結果に応じて制御指令を形成する。
ステップ５０４において、前記第２のスレッドにおけるトラッカーは、前記制御指令に応答して、前記第２のスレッドにおけるトラッカーの出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの遅延パラメータに合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドである。
【0089】
図６を引き続いて参照し、図６は本出願の実施例の内視鏡画像処理方法における異なるスレッドの概略図である。
１） 内視鏡ビデオストリーム（Ｖｉｄｅｏ Ｓｔｒｅａｍ）のタイムラインは、各ポイントが１つのフレームを代表し、リアルタイムビデオの入力フレームレートが２５ｆｐｓであると、ポイント／フレーム間隔は４０ｍｓを表し、このように類推する。
２）トラッカー（Ｔｒａｃｋｅｒ）は、出力された全ての検出ボックスがトラッカーからリアルタイムで提供され、ビデオの出力を直接的に制御する。
３）検出器（Ｄｅｔｅｃｔｏｒ）は、統合モジュールにより、Ｔｒａｃｋｅｒの次の挙動を維持及び指示し、ビデオの出力を間接的に制御する。
４）交差点線は、コンポーネントの間の情報伝送を代表し、情報伝送の開始・終了の時間点に注意することができる。
１） 内視鏡ビデオストリーム（Ｖｉｄｅｏ Ｓｔｒｅａｍ）のタイムラインは、各ポイントが１つのフレームを代表し、リアルタイムビデオの入力フレームレートが２５ｆｐｓであると、ポイント／フレーム間隔は４０ｍｓを表し、このように類推する。
２）トラッカー（Ｔｒａｃｋｅｒ）は、出力された全ての検出ボックスがトラッカーからリアルタイムで提供され、ビデオの出力を直接的に制御する。
３）検出器（Ｄｅｔｅｃｔｏｒ）は、統合モジュールにより、Ｔｒａｃｋｅｒの次の挙動を維持及び指示し、ビデオの出力を間接的に制御する。
４）交差点線は、コンポーネントの間の情報伝送を代表し、情報伝送の開始・終了の時間点に注意することができる。
【0090】
トラッカー（Ｔｒａｃｋｅｒ）は、リアルタイム性を保証し、ロバスト性を向上するために用いられ、トラッカーは、統合モジュールの制御命令を受信して、検出ボックスをリアルタイムでビデオストリームに直接返すことができ、さらに、第２のスレッドで使用されるトラッカー（Ｔｒａｃｋｅｒ）は低遅延の要求を満たしなければならなくて、手動特徴によるトラッキングアルゴリズム（ＣＳＲ－ＤＣＦ）、ＳｉａｍＲＰＮなどの任意の低遅延のリアルタイムトラッカーを採用することで、ビデオストリームとの直接的な情報インタラクションを実現することができる。
【0091】
検出器（Ｄｅｔｅｃｔｏｒ）は、精度を保証するために用いられ、具体的に、統合モジュールにより、相応する制御指令を送信することで、トラッカーの初期化、継続、再初期化及び終了を実現することができる。
ここで、検出器（Ｄｅｔｅｃｔｏｒ）は、リアルタイムの要求を満たす必要がなく、前のフレームが完成していない場合、当該フレームの検出を諦めて、ＹＯＬＯｖ３、ＲｅｔｉｎａＮｅｔ、ＦａｓｔｅｒＲＣＮＮなどの任意の検出器アルゴリズムを採用してもよく、検出器は直接的にビデオストリームと情報インタラクションを行わない。
ここで、検出器（Ｄｅｔｅｃｔｏｒ）は、リアルタイムの要求を満たす必要がなく、前のフレームが完成していない場合、当該フレームの検出を諦めて、ＹＯＬＯｖ３、ＲｅｔｉｎａＮｅｔ、ＦａｓｔｅｒＲＣＮＮなどの任意の検出器アルゴリズムを採用してもよく、検出器は直接的にビデオストリームと情報インタラクションを行わない。
【0092】
統合モジュール（Ｉｎｔｅｇｒａｔｉｏｎ Ｍｏｄｕｌｅ）は２つの並列線の情報を収集するために用いられ、検出器及び統合モジュールを共同で呼び出す。
【0093】
図７～図１０を引き続いて参照し、第２のスレッドにおけるトラッキングが動作するプロセスにおいて、トラッカーの状態は、ウェイト状態（ｗａｉｔ）、初期化状態（ｉｎｉｔ）、トラッキング継続状態（ｃｏｎｔ）、トラッキングリセット状態（ｒｅｉｎｉｔ）及び終了状態（ｓｔｏｐ）を含む。
【0094】
ウェイト状態（ｗａｉｔ）は、検出器がターゲットを見つけず、トラッカーがウェイト状態にあることを示す。
【0095】
図７を参照し、図７は本出願の実施例の内視鏡画像処理方法におけるトラッカーの初期化状態の概略図であり、初期化状態（ｉｎｉｔ）は、検出器が第１のフレームターゲット、及びそのボックス回帰パラメータ（ｂｂｏｘ Ｂｏｕｎｄｉｎｇ－Ｂｏｘｒｅｇｒｅｓｓｉｏｎ）を発見したことを示し、当該ボックス回帰パラメータを使用して、トラッカーをアクティブ化し初期化する。
【0096】
図８を参照し、図８は本出願の実施例の内視鏡画像処理方法におけるトラッキング継続状態の概略図であり、トラッキング継続状態（ｃｏｎｔ）は、トラッキング中に、トラッカーによって提供されたボックスと検出器によって提供された指示ボックスとの一致度が高い（ＩｏＵ >=μ）場合、トラッカーが相変わらずターゲットをよくトラッキング（ターゲットが外れていない）しているため、トラッキングを継続する。
【0097】
図９を参照し、図９は本出願の実施例の内視鏡画像処理方法におけるトラッキングリセット・継続状態の概略図であり、トラッキングリセット状態（ｒｅｉｎｉｔ）は、トラッキング中に、トラッカーによって提供されたボックスと検出器によって提供された指示ボックスとの一致度が低い（ＩｏＵ ＜μ、μは内視鏡ビデオストリームの使用環境に応じて動的に調整される）場合、トラッカーがターゲットを失ったか、又はトラッキングが正確ではないことを示すため、検出器のｂｂｏｘを使用してトラッカーを再アクティブ化し初期化する。
【0098】
図１０を参照し、図１０は本出願の実施例の内視鏡画像処理方法におけるトラッキングリセット・継続状態の概略図であり、終了状態（ｓｔｏｐ）は、トラッキング中に、検出器が有効なターゲットをＮフレーム連続で見つけない場合、ターゲットが視野内に存在していない可能性が高いことを示すため、トラッカーを終了する。
【0099】
図１１を引き続いて参照し、図１１は本出願の実施例の内視鏡画像処理方法における同一のターゲットの判断プロセスの概略図であり、本出願で提供される内視鏡画像処理方法で患者の内視鏡ビデオストリームを検出している場合に、
１）新たなターゲットの出現：ｉｎｉｔ状態のターゲットは、初めて見つけられた新たなターゲットと見なされ、新たなＩＤが割り当てられ、
２）古いターゲットの保持：ｉｎｉｔ、ｃｏｎｔ、ｒｅｉｎｉｔ状態のターゲットは同一ターゲットであると、初期化されたＩＤが割り当てられ、 以上の認識ポリシーによって、重複するターゲットの警告及びプロンプトを低減することができ、ユーザーへの不必要な妨害を低減することができる。
１）新たなターゲットの出現：ｉｎｉｔ状態のターゲットは、初めて見つけられた新たなターゲットと見なされ、新たなＩＤが割り当てられ、
２）古いターゲットの保持：ｉｎｉｔ、ｃｏｎｔ、ｒｅｉｎｉｔ状態のターゲットは同一ターゲットであると、初期化されたＩＤが割り当てられ、 以上の認識ポリシーによって、重複するターゲットの警告及びプロンプトを低減することができ、ユーザーへの不必要な妨害を低減することができる。
【0100】
本出願で提供される内視鏡画像処理方法（非同期並列フレームスキームＡＩＰＤＴ、Ａｓｙｎｃｈｒｏｎｏｕｓ ｉｎ Ｐａｒａｌｌｅｌ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ）により、結腸画像におけるポリープを決定する過程で、内視鏡画像処理方法の使用効果を監視することができる。
【0101】
内視鏡ビデオストリームのビデオ評価は、ビデオフレームレートを考慮する必要があり、一般的に、リアルタイムのフレームレートは２５ｆｐｓであり、つまり、各フレームは４０ｍｓであり、モデルがかかる時間は４０ｍｓ以上であると、直接的に前のフレームの結果を現在の結果（画面の出力が停滞するように表される）とし、事前評価に基づいて、表１に示す指標を計算する。
【表1】
【0102】
検出アルゴリズムがＹＯＬＯｖ３を選択し、トラッキングアルゴリズムがＣＳＲ－ＤＣＦを選択した場合、
（１）速度指標向上について表２を参照する
（１）速度指標向上について表２を参照する
【表2】
【0103】
ＤｅｔｅｃｔｏｒはＲｅｔｉｎａＮｅｔ及びより複雑なネットワークを採用すると、Ｄｅｔｅｃｔｏｒスキームの遅延は、一般的に１００～２００ｍｓの間にある。
（２）リアルタイム精度向上について表３を参照する
（２）リアルタイム精度向上について表３を参照する
【表3】
【0104】
図１２を参照し、図１２は本出願の実施例の内視鏡画像処理方法の表示効果の概略図であり、従来の技術（Ｄｅｔｅｃｔｏｒスキーム）において、遅延が高いため、トラッカーに対応するトラッキングボックスと、前記検出器に対応する異物ボックスとは互いに合わせなく、多くのトラッキングボックスは前のフレームの結果を使用し続け、精度及び再現率の低下につながり、内視鏡画像の視覚効果は大幅に低減し、これに対して、本出願の実施例の内視鏡画像処理方法（ＡＩＰＤＴリアルタイム非同期並列フレーム）で提供されるラッキングボックスは、その位置がより正確になり、異物ボックスと互いに合わせることができる上に、そのロバスト性もより良くなり、内視鏡の継続動作に寄与する。
【0105】
有益な技術効果は以下の通りである。
元の内視鏡画像を含む内視鏡ビデオストリームを取得し、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、これによって、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、内視鏡画像処理のリアルタイム精度を向上させ、リアルタイム再現率を高めることができる。
元の内視鏡画像を含む内視鏡ビデオストリームを取得し、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、これによって、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、内視鏡画像処理のリアルタイム精度を向上させ、リアルタイム再現率を高めることができる。
【0106】
以上、本出願の実施例であり、本出願の保護範囲を限定するものではなく、本出願の精神及び原則内でなされた任意の修正、均等な置換及び改善などは、いずれも本出願の保護範囲内に該当すべきである。
【産業上の利用可能性】
【0107】
本出願の実施例において、元の内視鏡画像を含む内視鏡ビデオストリームを取得し、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送し、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成し、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、並列する第１のスレッドと第２のスレッドにより、出力結果が内視鏡ビデオストリームの使用環境に合わせるように制御され、内視鏡画像処理のリアルタイム精度を向上させ、リアルタイム再現率を高めることができる。
【符号の説明】
【0108】
１０－１ 端末
１０－２ 端末
２００ サーバー
２０１ プロセッサ
２０２ メモリ
２０３ ユーザーインターフェース
２０４ ネットワークインターフェース
２０５ バスシステム
３００ ネットワーク
４００ 内視鏡装置
２０２０ 内視鏡画像処理装置
２０８１ 情報伝送モジュール
２０８２ 情報処理モジュール
１０－２ 端末
２００ サーバー
２０１ プロセッサ
２０２ メモリ
２０３ ユーザーインターフェース
２０４ ネットワークインターフェース
２０５ バスシステム
３００ ネットワーク
４００ 内視鏡装置
２０２０ 内視鏡画像処理装置
２０８１ 情報伝送モジュール
２０８２ 情報処理モジュール
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2022-04-20
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子機器が実行する内視鏡画像処理方法であって、元の内視鏡画像を含む内視鏡ビデオストリームを取得するステップと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するステップとを含み、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、方法。
【請求項2】
前記内視鏡ビデオストリームを取得するステップは、ターゲットオブジェクトの病理情報における内視鏡ビデオフレームを抽出するステップと、
前記内視鏡ビデオフレームに対して、解像度向上処理を行うステップと、
前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換することで、複数の内視鏡ビデオフレームを取得するステップと、
前記内視鏡ビデオフレームを符号化して圧縮することで、ビデオストリーム状態の内視鏡ビデオストリームを形成するステップとを含む、請求項１に記載の方法。
【請求項3】
前記内視鏡ビデオフレームのフォーマットを、現在の符号化フォーマットからグレースケール値符号化フォーマットに変換するステップは、ターゲットフォーマットに合わせる符号化方法で、前記内視鏡ビデオフレームをそれぞれ符号化して圧縮するステップと、
前記ビデオフレームに対応するシリアル番号を書き込み、画像データパケットに対応するタイムスタンプを生成することで、前記内視鏡ビデオフレームのフォーマットに合わせるデータパケットを生成するステップと、
前記画像データパケットに対してスプライシング処理を行うことで、複数の内視鏡ビデオフレームを形成するステップとを含む、請求項２に記載の方法。
【請求項4】
前記元の内視鏡画像をターゲットサイズに調整して、標準内視鏡画像フレームを生成するステップと、前記標準内視鏡画像フレームをフィルタリングして、干渉がある標準内視鏡画像フレームを削除することで、異なるターゲット内視鏡画像フレームを含むターゲット内視鏡画像フレームを形成するステップとをさらに含む、請求項１に記載の方法。
【請求項5】
前記第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップは、前記第１のスレッドにおける検出器により、存在する異物を検出して、前記ターゲット内視鏡画像フレームに分布する異物ボックスを取得し、前記異物ボックスは、前記ターゲット内視鏡画像フレームにおける異物が存在する領域を指示するためのものであるステップと、
前記異物ボックスに基づいて前記ターゲット内視鏡画像フレームをフィルタリングすることで、前記ターゲット内視鏡画像フレームにおける病巣領域、及び属する病巣カテゴリを位置決めするステップと、
前記異物ボックスによって位置決めされた前記ターゲット内視鏡画像フレームにおける病巣領域を、統合モジュールに伝送するステップとを含む、請求項４に記載の方法。
【請求項6】
前記第１のスレッドにおける検出器の検出時間が検出時間の閾値を超えた場合、現在のターゲット内視鏡画像フレームの検出を停止し、検出のために、後続のターゲット内視鏡画像フレームを取得するステップをさらに含む、請求項５に記載の方法。
【請求項7】
前記第２のスレッドは前記制御指令に応答して、前記第２のスレッドにおける出力結果を調整するステップは、前記第２のスレッドにおけるトラッカーがトラッキング継続状態にある場合、前記トラッカーに対応するトラッキングボックスが検出器に対応する異物ボックスに合わせ、前記第２のスレッドにおけるトラッカーが現在のターゲット内視鏡画像フレームを出力するステップ、又は、
前記第２のスレッドのトラッカーがリセット状態にある場合、前記トラッカーに対応するトラッキングボックスが前記検出器に対応する異物ボックスに合わせていなく、前記第２のスレッドにおけるトラッカーが新たなターゲット内視鏡画像フレームを出力するステップを含む、請求項４に記載の方法。
【請求項8】
前記第１のスレッドにおける検出器により、前記ターゲット内視鏡画像フレームに異物ボックスが存在すると決定された場合、相応するボックス回帰パラメータを決定するステップと、前記ボックス回帰パラメータによって、前記第２のスレッドにおけるトラッカーをアクティブ化するステップとをさらに含む、請求項７に記載の方法。
【請求項9】
前記第２のスレッドにおけるトラッカーがアクティブ化されると、前記現在のターゲット内視鏡画像フレームにおける異物にターゲット識別子を割り当てるステップと、前記第２のスレッドにおけるトラッカーがアクティブ状態、トラッキング継続状態及びリセット状態にある際のターゲット内視鏡画像フレームにおける異物が同じであると、前記ターゲット識別子を初期化することで、現在のターゲット内視鏡画像フレームにおける異物の連続トラッキングを実現するステップとをさらに含む、請求項８に記載の方法。
【請求項10】
第２のスレッドにおける出力結果に応答して、ターゲットオブジェクトと接触する医療装置の検出状態を調整することで、新たな病理情報を取得するための調整指令を送信するステップをさらに含む、請求項１に記載の方法。
【請求項11】
内視鏡画像処理システムが実行する内視鏡画像処理方法であって、内視鏡画像処理装置が内視鏡によって送信された内視鏡ビデオストリームを取得し、前記内視鏡ビデオストリームは元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられるステップと、
前記内視鏡画像処理装置が第１のスレッドにより相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するステップと、
前記内視鏡画像処理装置が統合モジュールにより前記元の内視鏡画像の検出結果に応じて制御指令を形成するステップと、
前記内視鏡画像処理装置が前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現し、前記第１のスレッドと前記第２のスレッドとは並列スレッドであるステップと、
前記内視鏡画像処理装置が、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信し、前記医療装置が相応するターゲット内視鏡画像フレームを出力するステップとを含む、方法。
【請求項12】
前記内視鏡画像処理方法は内視鏡画像処理システムによって実行され、前記システムは、内視鏡ビデオストリームを内視鏡画像処理装置に送信するように構成される内視鏡と、
前記内視鏡によって送信された内視鏡ビデオストリームを取得するように構成される内視鏡画像処理装置とを含み、
前記内視鏡ビデオストリームは、元の内視鏡画像を含み、ターゲットオブジェクトの相応する病巣を検査するために用いられ、
前記内視鏡画像処理装置は、第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成され、
前記内視鏡画像処理装置は、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記内視鏡画像処理装置は、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、前記第１のスレッドと前記第２のスレッドとは並列スレッドであり、
前記内視鏡画像処理装置は、前記第２のスレッドの調整された出力結果に応じて、相応するターゲット内視鏡画像フレームを前記ターゲットオブジェクトと接触する医療装置に送信するように構成され、
前記医療装置は、相応するターゲット内視鏡画像フレームを出力するように構成される、請求項１～１１のいずれか１項に記載の内視鏡画像処理方法。
【請求項13】
内視鏡画像処理装置であって、 元の内視鏡画像を含む内視鏡ビデオストリームを取得するように構成される情報伝送モジュールと、
第１のスレッドにより、相応するビデオフレームにおける元の内視鏡画像を検出し、前記元の内視鏡画像の検出結果を統合モジュールに伝送するように構成される情報処理モジュールとを含み、
前記情報処理モジュールは、統合モジュールにより、前記元の内視鏡画像の検出結果に応じて制御指令を形成するように構成され、
前記情報処理モジュールは、前記制御指令に応答して、第２のスレッドにより前記第２のスレッドにおける出力結果を調整することで、前記出力結果が前記内視鏡ビデオストリームの使用環境に合わせることを実現するように構成され、
前記第１のスレッドと前記第２のスレッドとは並列スレッドである、装置。
【請求項14】
実行可能な指令を記憶するように構成されるメモリと、前記メモリに記憶された実行可能な指令を実行する場合、請求項１～１０のいずれか１項に記載の内視鏡画像処理方法、又は請求項１１～１２のいずれか１項に記載の内視鏡画像処理方法を実現させるように構成されるプロセッサとを含む、電子機器。
【請求項15】
請求項１～１０のいずれか１項に記載の内視鏡画像処理方法、又は請求項１１～１２のいずれか１項に記載の内視鏡画像処理方法を実現させるコンピュータプログラム。
【国際調査報告】