特開 2024-137888 動画処理方法、装置、電子デバイス、媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024137888

(43)【公開日】2024-10-07

(54)【発明の名称】動画処理方法、装置、電子デバイス、媒体及びコンピュータプログラム

(51)【国際特許分類】

   A61B 1/00 20060101AFI20240927BHJP

【ＦＩ】

A61B1/00 552

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024045901

(22)【出願日】2024-03-22

(31)【優先権主張番号】202310288574.2

(32)【優先日】2023-03-22

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】リー ヤンリー

(72)【発明者】

【氏名】ジャン ニー

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA01

4C161CC06

4C161DD03

4C161HH55

4C161JJ11

4C161NN05

(57)【要約】      （修正有）

【課題】内視鏡動画を分析することにより、採集操作の安定度を評価する技術案を提出する。
【解決手段】方法は、内視鏡採集操作によって得られた内視鏡動画を取得することと、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定することと、を含む。方法は、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定することをさらに含む。本開示の実施例によれば、動画フレームレベルの安定度情報をリアルタイムで取得することができ、操作者の速すぎるまたは遅すぎる採集操作を適時に調整するのを支援し、そして、このような安定度情報は、内視鏡検査中の部位取得順序を考慮して得られるので、より正確で全面的である。
【選択図】図２

【特許請求の範囲】

【請求項1】

内視鏡採集操作によって得られた内視鏡動画を取得することと、
前記内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、部位移転情報とに基づいて、前記内視鏡採集操作に関連する局所速度情報を決定することと、
少なくとも前記局所速度情報に基づいて、前記内視鏡採集操作の安定度を決定することと、を含む、
動画処理方法。

【請求項2】

前記局所速度情報は、第１の速度情報を含み、
前記局所速度情報を決定することは、
前記現在フレームの部位推定と前記少なくとも１つの先行フレームの部位推定とに基づいて、前記現在フレームに対応する第１の部位と、前記少なくとも１つの先行フレームのうちの別のフレームに対応する、前記第１の部位とは異なる第２の部位とを決定することと、
前記第１の部位と、前記第２の部位と、および前記部位移転情報とに基づいて、前記第１の速度情報を決定することと、を含む、
請求項１に記載の動画処理方法。

【請求項3】

前記局所速度情報は、第２の速度情報を含み、前記局所速度情報を決定することは、
前記現在フレームと、前記少なくとも１つの先行フレームのうちの１つまたは複数の先行フレームとの類似度を決定することと、
前記類似度に基づいて、前記第２の速度情報を決定することと、をさらに含む、
請求項２に記載の動画処理方法。

【請求項4】

前記現在フレームの部位推定および前記少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果は、複数の部位のそれぞれについての可能性値を含み、前記第１の速度情報を決定することは、
前記現在フレームの部位推定の結果のうち、最大な可能性値が閾値を超えたことに応答して、前記第１の部位と、前記第２の部位と、及び前記部位移転情報とに基づいて前記第１の速度情報を決定することを含む、
請求項２に記載の動画処理方法。

【請求項5】

前記現在フレームに対応する第１の部位を決定することは、前記現在フレームの部位推定に基づいて、前記第１の部位を決定することを含み、
前記少なくとも１つの先行フレームのうちの別のフレームに対応する第２の部位を決定することは、
前記少なくとも１つの先行フレームのうちの前記別のフレームを決定することであって、前記少なくとも１つの先行フレームの部位推定において、前記別のフレームの部位推定は、前記第１の部位とは異なる他の部位についての最大な可能性値を有することと、
前記別のフレームの部位推定に基づいて、前記第２の部位を決定することと、を含む、
請求項４に記載の動画処理方法。

【請求項6】

ディープネットワークの予測に基づいて、前記現在フレームの部位推定および前記少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果を取得することをさらに含む、
請求項１に記載の動画処理方法。

【請求項7】

前記内視鏡動画における動画フレームに対して品質評価を行い、品質要件を満たす前記現在フレームおよび前記少なくとも１つの動画フレームを決定することをさらに含む、
請求項１に記載の動画処理方法。

【請求項8】

前記安定度は、前記現在フレームの局所安定度を含み、
前記内視鏡採集操作の安定度を決定することは、
参照内視鏡動画に基づいて参照速度情報を決定することと、
前記局所速度情報および前記参照速度情報に基づいて、前記局所安定度を決定することと、を含む、
請求項１に記載の動画処理方法。

【請求項9】

参照内視鏡動画に基づいて参照速度情報を決定することは、
前記現在フレームに対応する第１の部位および前記第１の部位の隣接領域部位に基づいて、前記参照内視鏡動画における対応するセグメントを決定することと、
前記対応するセグメントに基づいて、前記参照速度情報を決定することと、を含む、
請求項８に記載の動画処理方法。

【請求項10】

前記局所速度情報と前記参照速度情報との差が所定の範囲内にあることに応答して、前記局所安定度が内視鏡操作要件を満たしていると決定することをさらに含む、
請求項８に記載の動画処理方法。

【請求項11】

前記局所速度情報と前記参照速度情報との差が所定の範囲外にあることに応答して、前記内視鏡採集操作が速すぎるか遅すぎるかを示す注意を生成することをさらに含む、
請求項８に記載の動画処理方法。

【請求項12】

前記安定度は、全体安定度をさらに含み、
前記内視鏡採集操作の安定度を決定することは、
前記内視鏡動画における複数の動画フレームの複数の局所安定度の平均値に基づいて、前記全体安定度を決定することを含む、
請求項８に記載の動画処理方法。

【請求項13】

内視鏡採集操作によって得られた内視鏡動画を取得するように構成される動画取得ユニットと、
前記内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、部位移転情報とに基づいて、前記内視鏡採集操作に関連する局所速度情報を決定するように構成される局所速度決定ユニットと、
少なくとも前記局所速度情報に基づいて、前記内視鏡採集操作の安定度を決定するように構成される安定度決定ユニットと、を備える、
動画処理装置。

【請求項14】

少なくとも１つの処理ユニットと、
前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリと、を備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、請求項１から１２のいずれか一項に記載の方法を実行する、
電子デバイス。

【請求項15】

デバイスによって実行されると、請求項１から１２のいずれか一項に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、
コンピュータ読み取り可能な記憶媒体。

【請求項16】

デバイスによって実行されると、請求項１から１２のいずれか一項に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の実施例は、画像処理技術の分野に関するものであり、より具体的には、動画処理方法、装置、電子デバイス、コンピュータ読み取り可能な記憶媒体、およびコンピュータプログラム製品に関するものである。

【背景技術】

【0002】

内視鏡検査は、体外から人体の自然管腔を経て体内に送り込まれ、体内の疾患を検査する光学設備検査の１種である。内視鏡は、湾曲可能部分と、光源と、１セットのレンズとから構成されていてもよい。操作者は、使用時に内視鏡を検査対象臓器に導入し、内視鏡を操作して動かし、関わる部位を直接に覗き、画像や動画を記録することができる。

【0003】

内視鏡検査中に、異なる操作者の操作レベルに差があり、指標の一つは操作の安定度である。安定度の悪い操作は、内視鏡の前進または後退操作が速すぎたり、遅すぎたり、あるいは異なる部位間で勝手に切り替えたりすることを表す。安定度の良い操作は、限られた操作時間内に安定した操作を行い、臓器の各部位及び／又は病巣をよりはっきりと全面的に観察し、同時に人体に対する傷害を回避或いは軽減することができる。したがって、内視鏡システムに正確な安定度検出メカニズムを導入し、内視鏡検査の操作レベルを向上させ、被検者の体験を向上させる必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

このようなことに鑑みて、本開示の実施例は、内視鏡動画を分析することにより、採集操作の安定度を評価する技術案を提出する。

【課題を解決するための手段】

【0005】

本開示の第１の形態によれば、動画処理方法を提供する。方法は、内視鏡採集操作によって得られた内視鏡動画を取得することと、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定することと、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定することと、を含む。

【0006】

本開示の第２の形態によれば、動画処理装置を提供する。装置は、内視鏡採集操作によって得られた内視鏡動画を取得するように構成される動画取得ユニットと、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定するように構成される局所速度決定ユニットと、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定するように構成される安定度決定ユニットと、を備える。

【0007】

本開示の第３の形態によれば、電子デバイスを提供する。前記電子デバイスは、少なくとも１つの処理ユニットと、前記少なくとも１つの処理ユニットに結合され、前記少なくとも１つの処理ユニットによって実行される命令が格納されたメモリとを備え、前記命令が前記少なくとも１つの処理ユニットによって実行されると、本開示の第１の形態を実行する。

【0008】

本開示の第４の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータ読み取り可能な記憶媒体を提供する。

【0009】

本開示の第５の形態によれば、デバイスによって実行されると、本開示の第１の形態に記載の方法を前記デバイスに実行させる機械実行可能命令を含む、コンピュータプログラム製品を提供する。

【0010】

発明内容の部分は、以下の具体的な実施形態でさらに説明される概念に対する選択を簡略化した形で紹介するために提供される。発明内容の部分は、本開示のクリティカルな特徴又は必要な特徴を指示することを意図せず、また、本開示の範囲を限定することも意図しない。

【図面の簡単な説明】

【0011】

添付の図面を参照して、本開示の例示的な実施例をより詳細に説明することによって、本開示の上述および他の目的、特徴、および利点がより明らかになり、このうち、本開示の例示的な実施例においては、通常、同じ参照符号が同じ部品を表す。

【図1】本開示の複数の実施例が実装され得る例示的な環境の模式図を示している。

【図2】本開示の実施例に係る動画処理方法の模式的なフローチャートを示している。

【図3】本開示の実施例に係る安定度推定システムの模式図を示している。

【図4】本開示の実施例に係る部位推定プロセスの模式的なフローチャートを示している。

【図5】本開示の実施例に係る部位移転情報に基づいて局所速度情報を決定するプロセスの模式的なフローチャートを示している。

【図6】本開示の実施例に係る局所安定度を決定するプロセスの模式的なフローチャートを示している。

【図7】本開示の実施例に係る動画処理装置の模式的なブロック図を示している。

【図8】本開示の内容を実施するために使用され得る実施例の例示的なデバイスの模式的なブロック図を示している。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して、本開示の好ましい実施例についてより詳細に説明する。添付の図面において本開示の好ましい実施例が示されているが、本開示は、ここに記述された実施例によって限定されるべきではなく、様々な形で実装され得ることが理解されるべきである。むしろ、これらの実施例は、本開示をより明瞭かつ完全なものとし、本開示の範囲を当業者に完全に伝えることを可能にするために提供される。

【0013】

本文で使用される「含む」という用語およびその変形は、開放的な包含、すなわち「包含するが、これに限定されるものではない」を表す。特に明記されない限り、「または」という用語は、「および／または」を表す。「に基づく」という用語は、「少なくとも部分的に基づく」を表す。「１つの例示的な実施例」および「１つの実施例」という用語は、「少なくとも１つの例示的な実施例」を表す。「別の実施例」という用語は、「少なくとも１つの別の実施例」を表す。「第１」、「第２」などの用語は、異なるオブジェクトまたは同じオブジェクトを指すことができる。以下に、他の明示的な定義と暗黙的な定義を含めることもある。

【0014】

内視鏡検査において、デバイスの操作者は、内視鏡のレンズを移動させて体内の部位を観察し、例えば胃内視鏡や腸内視鏡によって人体の対応する部位を検査し、対応する動画や画像を生成する。内視鏡のレンズやカテーテルが人体に入り込み、被検者に不快感を与えるので、内視鏡検査において、操作者の良好な操作安定度が要求され、よって、臓器の各部位・病巣を明瞭かつ全面的に観察しつつ、検査に伴う人体へのダメージを回避または軽減することができる。

【0015】

従来のいくつかの方法は、内視鏡の動画を通じてリアルタイムで内視鏡の操作の安定度を評価し、操作レベルの改善に支援する。例えば、１つの方法は、動画の画像フレームの安定性を解析することによって、レンズの前進と後退速度を評価する。体内の部位ごとに屈曲度が異なるため、操作が非常に安定であっても、異なる部位のフレーム間の違いが大きくなる可能性があるので、すべての部位での安定度を同一の閾値で評価しにくい。他のいくつかの方法は、各部位間の腸内視鏡の移動時間を算出することによって、実際の移動速度が制約条件を満たすか否かを評価し、内視鏡操作の安定度を決定する。しかしながら、このような異なる部位間の安定度を推定する方式は粒度が大きすぎて、例えば胃内視鏡は３０ポイントのロケーションがあればこそ３０個の安定度を推定することができ、直ちに操作の安定度を検出することができない。

【0016】

このようなことに鑑み、正確度がより高く、且つ良好なリアルタイム性を有する安定度推定方法が必要となる。本開示の実施例に係る方法において、まず、内視鏡採集操作によって得られた内視鏡動画を取得し、動画は、一連の動画フレームを含んでもよい。次に、対応する安定度を動画フレームレベルで解析する。具体的には、動画の各フレームの部位推定を取得し、現在フレームの部位推定とその先行フレームの部位推定と予め定義された部位移転情報とに基づいて、現在フレームに対応する局所速度情報を決定し、ひいては、局所速度情報を用いて内視鏡採集操作の安定度を決定する。なお、本文で言及した速度情報は操作の安定度を反映しており、従来の物理的な意味での速度に限定されるものではない。以下、図１～図８を参照して、本開示の実施例の実施の詳細について詳細に説明する。

【0017】

図１は本開示の複数の実施例が実装され得る例示的な環境１００の模式図を示している。図示のように、環境１００は、操作者が操作可能な制御デバイス１０１を含む内視鏡システムに関するものであり、操作者は、制御デバイス１０１を操作して、内視鏡のレンズ１０２の人体内の移動を制御し、画像及び動画を採集することができる。採集された画像および動画は、送信されてコンピューティングデバイス１０５において記憶されることができる。ディスプレイ１０３は、コンピューティングデバイス１０５に結合され、レンズ１０２を介して採集された画像および動画をリアルタイムで表示することができる。図１は胃内視鏡システムを例示的に示しているが、本開示の実施例は、耳鼻咽喉科内視鏡、口腔内視鏡、歯科内視鏡、神経鏡、尿道膀胱鏡、電気切開鏡、腹腔鏡、関節鏡、副鼻腔鏡、喉頭鏡、腸鏡などを含むがこれらに限定されない他の内視鏡システムにも適用可能であることが理解されるべきである。

【0018】

コンピューティングデバイス１０５は、汎用的なコンピューティングデバイスであってもよく、内視鏡検査専用のデバイスであってもよく、画像処理及び動画処理、特に医用画像処理に適するように構成される。コンピューティングデバイス１０５は、端末またはサーバデバイスであってもよい。コンピューティングデバイス１０５がサーバである場合には、独立したサーバであってもよく、コンピュータ、ネットワークホスト、単一のネットワークサーバ、複数のネットワークサーバセット、または複数のサーバで構築されるクラウドサーバを含むがこれらに限定されない、サーバからなるサーバネットワークまたはサーバクラスタであってもよい。コンピューティングデバイス１０５は、デスクトップ端末またはモバイル端末、例えば、デスクトップ、携帯電話、タブレット、ノートパソコン、医療支援設備などであってもよいが、これらに限定されない。

【0019】

以上のように、レンズ１０２は使用時に体内に入り込む必要があり、被検者に不快感を与えるため、レンズ１０２の移動操作をできるだけ速くする必要があるが、内視鏡の観察効果を確保するためには、特定部位で移動速度をできるだけ遅くして、より長時間観察し、良好な安定度を保つ必要がある。言い換えれば、内視鏡の操作者は、検査効率及び正確度を向上させるために、レンズ１０２の安定度をより精確に制御する必要がある。本開示の実施例によれば、コンピューティングデバイス１０５は、内視鏡動画を解析して採集操作の安定度を評価し、操作者の操作レベルの向上を支援することができる。

【0020】

以上、図１を参照して、本開示の実施例が実装され得る例示的な環境について説明した。図１は模式的なものにすぎず、環境はさらに多くのモジュールまたはシステムを備えてもよく、または一部のモジュールまたはシステムを省略してもよく、または示されたモジュールまたはシステムを再組み合わせてもよいことが理解されるべきである。本開示の実施例は、図１に示されている環境とは異なる環境で実施されてもよく、本開示はこれに対して限定しない。

【0021】

図２は、本開示の実施例に係る動画処理方法２００の模式的なフローチャートを示している。方法２００は、例えば、図１に示されるコンピューティングデバイス１０５によって実装されてもよい。方法２００はまた、図示されていない追加の動作を含んでもよく、および／または図示されている動作を省略してもよく、本開示の範囲はこれについて限定されないことが理解されるべきである。以下、図１を参照して方法２００を詳細に説明する。

【0022】

ブロック２１０において、内視鏡採集操作によって得られた内視鏡動画を取得する。内視鏡検査中に、操作者は制御デバイス１０１を操縦して、レンズ１０２の人体内の移動やレンズ１０２の向きを制御し、動画を撮影して生成する。動画は、コンピューティングデバイス１０５に送信されてもよい。いくつかの実施例において、コンピューティングデバイス１０５は、内視鏡採集操作によって得られた動画をリアルタイムまたはほぼリアルタイムで取得し、動画を解析してもよい。あるいは、動画はコンピューティングデバイス１０５に記憶され、内視鏡検査が完了した後に、事後的に解析されてもよい。

【0023】

ブロック２２０において、内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、内視鏡採集操作に関連する局所速度情報を決定する。内視鏡動画の各フレームについて、そのフレームに対応する局所速度情報を決定してもよい。

【0024】

コンピューティングデバイス１０５は、内視鏡動画における各動画フレームについての部位推定の結果を生成してもよい。部位推定の結果は、検査対象臓器の複数の部位についての可能性値を含んでもよい。例えば、部位推定の結果は、ベクトルの形式を有してもよく、ベクトルの各成分がそのフレームが対応する部位に属する可能性または確率を示す。部位推定の結果のうち、最大の可能性または確率に対応する部位を、そのフレームが位置する部位と見なしてもよい。

【0025】

部位移転情報は、部位移転確率情報（部位移転確率図とも称される）を含んでもよい。いくつかの実施例において、部位移転確率は、行列の形式を有してもよく、行列の行および列は各部位に対応し、行列の要素は、内視鏡検査中に１つの部位から別の部位へ移転する確率を示す（例えば、噴門から胃へ移転する確率は０．８である）。部位移転情報は、内視鏡の検査順序を表し、各部位間の遷移が規範的であるか否かを制約するために用いられ、全体制約に属する。部位移転情報を用いて、先行フレーム（例えば、複数の先行フレームを全体とする）が示す１つの部位から現在フレームが示す部位への移転がこの制約に合致するか否かを評価し、さらに現在の安定度を評価することができる。部位移転情報は、コンピューティングデバイス１０５に予め記憶されておいてもよい。以下の表１に、例示的な部位移転情報を示している。

【表1】

表１における行は先行フレームの部位推定の結果から得られた部位、列は現在フレームの部位推定の結果から得られた部位、表１における数値は２つの部位間の移転確率を表す。例えば、先行フレームの部位推定の結果が「食道」を示し、且つ現在フレームの部位推定の結果が「噴門」を示す場合には、表１に示す確率「０．８」に基づいて局所速度情報を決定してもよい。

【0026】

いくつかの実施例において、部位移転情報から得られた確率は、現在フレームに対応する局所速度情報の一部として用いられてもよい。この部分を第１の速度情報と称してもよい。いくつかの実施例において、局所速度情報は、部位移転情報に基づく速度情報に加えて、第２の速度情報とも称されるフレーム間類似度情報に基づく情報を含んでもよい。コンピューティングデバイス１０５は、第１の速度情報と第２の速度情報とを組み合わせて、現在フレームに対応する局所速度情報を形成してもよい。例えば、コンピューティングデバイス１０５は、第１の速度情報と第２の速度情報との線形組み合わせを、現在フレームに対応する局所速度情報として決定してもよい。以下、図３～図６を参照して詳細に説明する。

【0027】

ブロック２３０において、少なくとも局所速度情報に基づいて、内視鏡採集操作の安定度を決定する。上述したように、コンピューティングデバイス１０５は、フレームごとについて局所速度情報を決定する。それに応じて、コンピューティングデバイス１０５は、各フレームに対応する局所速度情報に基づいて、内視鏡採集操作の安定度を決定してもよい。各フレームについての安定度は、局所安定度と称されてもよい。局所安定度はパーセンテージ形式を採用してもよく、「速すぎ」、「安定」、「遅すぎ」に分類されてもよい。

【0028】

いくつかの実施例において、コンピューティングデバイス１０５は、フレームレベルの局所速度情報および適切な参照局所速度に基づいて、局所安定度を決定してもよい。例えば、安定度をリアルタイムで評価する場合に、コンピューティングデバイス１０５は、局所速度情報が参照局所速度に比べて所定の範囲内にあれば、局所安定度を「安定」として決定し、そうでなければ、「遅すぎ」または「速すぎ」という注意を発し、操作者が採集操作を調整するのを支援してもよい。いくつかの実施例において、コンピューティングデバイス１０５は、動画採集の終了後に採集操作の全体安定度を与えてもよく、例えば、複数のフレームまたはすべてのフレームの局所安定度の平均値を全体安定度として決定してもよい。また、コンピューティングデバイス１０５は、特定部位近傍の安定度を算出してもよい。

【0029】

図２に示す方法２００によれば、動画フレームレベルの現在の安定度情報をリアルタイムで取得して、操作者が現在の操作の安定度を適時に理解し、採集操作を適時に調整するのを支援することができる。そして、このような安定度情報は、内視鏡検査中の部位採集順序情報を考慮したものであるため、より正確かつ全面的である。

【0030】

図３は、本開示の実施例に係る安定度推定システム３００の模式図を示している。安定度推定システム３００は、ソフトウェアまたはハードウェアの形式でコンピューティングデバイス１０５に実装されてもよく、図２を参照して説明した方法２００を実装するのに適している。図３に示される安定度推定システム３００は例示的なものにすぎず、モジュールまたはユニットをより多くまたはより少なく備えてもよいことが理解されるべきである。

【0031】

システム３００において、内視鏡動画３１０は、安定度モジュール３２０に提供される。動画３１０は、一連のフレームＦ１～Ｆｔを含み、ｔは１より大きい任意の整数である。フレームＦｔは現在フレームと称されてもよく、フレームＦ１～Ｆｔ－１は先行フレームと称されてもよい。安定度モジュール３２０は、各フレームに対応する安定度および内視鏡動画３１０の全体安定度を算出するように構成されてもよい。

【0032】

図示するように、安定度モジュール３２０は、部位推定ユニット３２２と、類似度推定ユニット３２４と、予め記憶された部位移転情報３０２とを含む。部位推定ユニット３２２は、フレームＦ１～Ｆｔについての部位推定の結果を生成するために用いられる。類似度推定ユニット３２４は、フレームＦｔとその先行フレームとの間の類似度を生成するために用いられる。部位移転情報３０２は、内視鏡検査順序に応じた部位間の移転可能性情報を含む。

【0033】

図４は、本開示の実施例に係る部位推定プロセス４００の模式的なフローチャートを示している。部位推定ユニット３２２は、図４に示す部位推定プロセス４００を実装するように構成されてもよい。ブロック４０１において、部位推定ユニット３２２は、入力されたフレームを受信する。ブロック４０２において、部位推定ユニット３２２は、入力フレームについて品質評価を実行する。例えば、最初に、画像品質評価によって動画３１０における、ぼやけた画像、露光画像、汚染画像、および非標準部位などを含むが、これらに限定されない無効画像を除去し、よって、品質スクリーニングによってより高い品質を有する動画フレームＦ１～Ｆｔを得る。

【0034】

ブロック４０３において、部位推定ユニット３２２は、品質評価を通過したフレームについて部位識別を実行する。いくつかの実施例において、部位推定ユニット３２２は、ディープネットワークの予測に基づいて、現在フレームＦｔの部位推定の結果と、先行フレームＦ１～Ｆｔ－１の部位推定の結果とを取得してもよい。例えば、標記されたサンプルを収集してディープネットワークを訓練し、訓練されたディープネットワークを使用して各フレームが属する部位を予測してもよい。あるいは、特徴抽出分類器（例えば、サポートベクトルマシン）を採用して訓練および予測を行ってもよく、または、画像特徴を抽出し、重み付け方式を採用してカテゴリ確率を取得するとともに、閾値と比較するなどの方式によってもよい。

【0035】

ブロック４０４において、部位推定ユニット３２２は、部位推定の結果を出力する。部位推定の結果は、複数の部位のそれぞれについての可能性値または確率を含むベクトルの形式を有してもよい。なお、このような可能性値または確率は、フレームが各部位に属する絶対的な可能性ではなく、相対的な可能性を示すためにのみ用いられる。したがって、部位推定の結果のうち、可能性値の和は「１」とは限らない。いくつかの実装において、フレームの部位推定の結果のうち、最大な可能性に対応する部位（すなわち、当該フレームがこの部位に属する可能性が最も高い）を、当該フレームが位置する部位として決定してもよい。

【0036】

続けて図３を参照すると、類似度推定ユニット３２４は、現在フレームＦｔと１つまたは複数の先行フレームとの間の類似度を算出するために用いられてもよい。いくつかの実施例において、類似度推定ユニット３２４は、現在フレームといずれかの先行フレームとの間の個体類似度を算出し、これらの個体類似度を組み合わせることによって、現在フレームと先行フレームとの間の類似度とする。個体類似度を算出する方法は、疎なオプティカルフロー場、密なオプティカルフロー場、画像特徴抽出およびマッチング、知覚ハッシュ、デュアルチャネルディープネットワークなどを含んでもよく、これらに限定されない。現在フレームと先行フレームとの間の類似度は、以下の等式によって算出されてもよい。

【数1】

ここで、Ｓｉｍ（ｘ）は、現在フレームと先行フレームとの間の類似度、ｗｉは重み付け、Ｄｉｓ（Ｉ_ｉ，Ｉ_ｊ）は現在フレームＩ_ｊといずれかの先行フレームＩ_ｉとの間の距離を表す。

【0037】

部位推定ユニット３２２が出力する各動画フレームについての部位推定の結果、類似度推定ユニット３２４が出力する類似度、および部位移転情報３０２は、現在フレームＦｔについての局所速度情報を算出するように、局所速度情報推定ユニット３２６に提供されてもよい。いくつかの実施例において、局所速度情報推定ユニット３２６は、部位推定ユニット３２２からの、各フレームＦ１～Ｆｔについての部位推定の結果と、部位移転情報とに基づいて第１の速度情報Ｖ１を決定するとともに、類似度推定ユニット３２４からの類似度に基づいて第２の速度情報Ｖ２を決定してもよい。そして、局所速度情報推定ユニット３２６は、第１の速度情報と第２の速度情報とを組み合わせて、現在フレームＦｔに対応する局所速度情報Ｖ（ｘ）を決定してもよい。

【0038】

図５は本開示の実施例に係る部位移転情報に基づいて局所速度情報を決定するプロセス５００の模式的なフローチャートを示している。局所速度情報推定ユニット３２６は、プロセス５００を実行するように構成されてもよい。

【0039】

ブロック５０１において、現在フレームの部位推定の結果のうち、最大な可能性値が閾値Ｔ１を超えるか否かを決定する。ブロック５０１において、現在フレームＦｔがより高い品質の動画フレームであり、例えば、品質が閾値Ｔ２を超えると決定してもよい。この条件が満たされない場合、方法５００はブロック５０４に進み、前のフレームの第１の速度情報を現在フレームの第１の速度情報Ｖ１として使用する。可能性閾値および／または品質閾値に関する条件が満たされる場合、現在フレームは、特定の部位に入ったことを表すことができる動画フレームであると考えられてもよく、さらに、現在フレームに対応する部位および先行フレームに対応する別の部位と、部位移転情報とに基づいて、第１の速度情報Ｖ１を決定する。このような場合に、方法５００はブロック５０２に進む。

【0040】

ブロック５０２において、現在フレームの部位推定と少なくとも１つの先行フレームの部位推定とに基づいて、現在フレームに対応する第１の部位と、別のフレームに対応する、第１の部位とは異なる第２の部位とを決定する。上述したように、現在フレームの部位推定および少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果は、複数の部位のそれぞれについての可能性値を含んでもよい。いくつかの実施例において、現在フレームに対応する第１の部位を決定することは、現在フレームの部位推定に基づいて第１の部位を決定することを含んでもよい。例えば、現在フレームの部位推定の結果のうち、最大な可能性に対応する部位を、現在フレームが位置する第１の部位として決定してもよい。

【0041】

第１の部位とは異なる第２の部位を決定するために、先行フレームＦ１～Ｆｔ－１の部位推定の結果を解析する。具体的には、これらの先行フレームの部位推定に基づいて、別のフレームを決定し、この別のフレームの部位推定は、第１の部位とは異なる別の部位についての最大な可能性値を有する。言い換えれば、先行フレームにおいて、最も高い確率を有する非現在フレーム部位のフレーム番号を取得する。その後、決定された別のフレームの部位推定の結果に応じて、第２の部位を決定し、具体的な方式は第１の部位と同様であってもよい。

【0042】

ブロック５０３において、第１の部位と、第２の部位と、および部位移転情報とに基づいて、第１の速度情報を決定する。いくつかの実施例において、部位移転情報は、例えば、内視鏡検査部位の順序に基づく部位移転確率であってもよく（例えば、表１）、テーブルをルックアップすることによって第１の速度情報Ｖ１を決定してもよい。

【0043】

局所速度情報推定ユニット３２６は、類似度推定ユニット３２４からの類似度Ｓｉｍ（ｘ）に基づいて、現在フレームに対応する第２の速度情報Ｖ２を決定してもよい。第２の速度情報Ｖ２は、以下の等式によって決定してもよい。
Ｖ２＝ｅｘｐ（－Ｓｉｍ（ｘ））／ｓｉｇｍａ^２） （２）
ここで、ｓｉｇｍａは固定パラメータであり、経験によって決定されてもよい。

【0044】

そして、以下の等式に示すように、局所速度情報推定ユニット３２６は、第１の速度情報Ｖ１と第２の速度情報Ｖ２とに応じて、現在フレームに対応する局所速度情報Ｖ（ｘ）を決定してもよい。
Ｖ（ｘ）＝ｗ_１＊Ｖ１＋ｗ_２＊Ｖ２ （３）
ここで、ｗ_１とｗ_２は固定パラメータであり、経験によって決定されてもよい。

【0045】

図３に戻ると、局所速度情報推定ユニット３２６は、先行フレームおよび現在フレームＦｔの部位および局所速度情報を安定度推定ユニット３２８に出力してもよい。安定度推定ユニット３２８は、局所速度情報および参照内視鏡動画３０４に応じて局所安定度を評価するように構成されてもよい。参照内視鏡動画３０４は、予め記憶された標準且つ安定な隣接部位動画セグメントを含んでもよい。安定度推定ユニット３２８は、局所速度情報推定ユニット３２６からの局所速度情報と、参照内視鏡動画３０４が示す参照速度情報とを比較することにより、局所安定度を決定する。

【0046】

図６は本開示の実施例に係る局所安定度を決定するプロセス６００の模式的なフローチャートを示している。安定度推定ユニット３２８は、プロセス６００を実施して現在フレームの局所安定度を決定するように構成されてもよい。

【0047】

ブロック６１０において、現在フレームに対応する第１の部位およびその隣接領域部位に基づいて、参照内視鏡動画における対応するセグメントを決定する。安定度推定ユニット３２８は、現在フレームの第１の部位および先行部位に応じて、隣接領域部位の標準且つ安定な動画セグメントを取得するとともに、その動画セグメントにおけるフレーム当たりの平均速度ＳＶを得てもよい。いくつかの実施例において、フレーム当たりの平均速度ＳＶは、局所速度情報推定ユニット３２６によって、予め算出されて記憶されてもよく、算出方式は動画３１０についての方式と同じであってもよい。

【0048】

ブロック６２０において、対応するセグメントに基づいて、参照速度情報を決定する。参照速度情報は、与えられた動画セグメントに依存するので、異なる部位に対して、その参照速度情報も異なる。いくつかの実装において、安定度推定ユニット３２８は、動画セグメントの標識に応じて、対応する参照速度情報を得てもよい。

【0049】

ブロック６３０において、局所速度情報および参照速度情報に基づいて、現在フレームに対応する局所安定度を決定する。いくつかの実施例において、安定度推定ユニット３２８は、局所速度情報と参照速度情報とを比較して、それらの差を決定してもよい。差が所定の範囲ｒ１内であれば、局所が内視鏡操作要求に合致することを決定してもよく、差が所定の範囲ｒ１外であれば、内視鏡採集操作が速すぎたり遅すぎたりすることを示す注意を生成してもよい。いくつかの例示において、｜Ｖ（ｘ）－ＳＶ｜＜ｒ１の場合、現在フレームに対応する局所安定度は、以下の等式によって決定されてもよい。

【数2】

ここで、Ｓ（ｘ）は現在フレームの局所安定度、ｒ１は予め定められた閾値、ＳＶは参照速度情報、Ｖ（ｘ）は現在フレームに対応する局所速度情報を表す。また、Ｖ（ｘ）－ＳＶ＞ｒ１の場合、現在フレームが速すぎると決定し、局所安定度Ｓ（ｘ）は２０％として設定してもよい。Ｖ（ｘ）－ＳＶ＜ｒ１の場合、現在フレームが遅すぎると決定し、局所安定度Ｓ（ｘ）は２０％として設定してもよい。

【0050】

図３を参照すると、いくつかの実施例において、複数のフレームの局所安定度に応じて動画の全体安定度を決定してもよい。いくつかの実施例において、内視鏡動画における複数の動画フレームの複数の局所安定度の平均値に基づいて、全体安定度を決定してもよい。全体安定度は、動画採集操作の終了後に算出されてもよい。

【0051】

以上、図１～図６を参照して、本開示の実施例に係る動画採集に関連する安定度を評価するために内視鏡動画を処理する方法またはプロセスについて説明した。従来の方案に比べて、本開示の実施例は、各動画フレームについて現在の安定度情報をリアルタイムで取得することができ、操作者が採集操作を適時に調整するのを支援し、そして、このような安定度情報は内視鏡検査中の部位採集順序を考慮して得られるので、より正確且つ全面的である。

【0052】

従来の単一の手がかり安定度推定に比べ、本開示のいくつかの実施例は、複数の手がかりを組み合わせた内視鏡の安定度推定結果を１つ取得することも可能である。これらの手がかりは、予め記憶された隣接する部位間の動画セグメントを含み、これらはすべて、規範的で安定な採集動画であり、その手がかりは、採集プロセスにおいて隣接する部位の採集が規範的であるか否かを制約するために用いられ、全体制約に属する。手がかりは、予め記憶された部位移転情報をさらに含み、その手がかりは部位間の遷移が規範的であるか否かを制約するために用いられ、全体制約に属する。手がかりは、実際の採集プロセスにおいて無効な動画フレームを除去し、品質の高い動画のフレームの部位確率を取得することをさらに含み、全体制約に属する。手がかりは、実際の採集プロセスにおいて隣接する動画フレームの類似度を取得することをさらに含み、局所制約に属する。したがって、本開示の実施例は、全体要素も局所要素も考慮していると同時に、部位採集順序を考慮しており、より正確で全面的な評価結果を取得することができる。

【0053】

図７は本開示の実施例に係る動画処理装置７００の模式的なブロック図を示している。装置７００は、コンピューティングデバイス１０５によって実装されてもよく、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせとして実装されてもよい。

【0054】

図示するように、装置７００は、動画取得ユニット７１０と、局所速度決定ユニット７２０と、安定度決定ユニット７３０とを含む。動画取得ユニット７１０は、内視鏡採集操作によって得られた内視鏡動画を取得するように構成される。局所速度決定ユニット７２０は、前記内視鏡動画の現在フレームの部位推定と、少なくとも１つの先行フレームの部位推定と、および部位移転情報とに基づいて、前記内視鏡採集操作に関連する局所速度情報を決定するように構成される。安定度決定ユニット７３０は、少なくとも前記局所速度情報に基づいて、前記内視鏡採集操作の安定度を決定するように構成される。いくつかの実装において、局所速度決定ユニット７２０は、例えば図３を参照して説明した局所速度情報推定ユニット３２６によって実装されてもよく、安定度決定ユニット７３０は、例えば安定度推定ユニット３２８によって実装されてもよい。

【0055】

いくつかの実施例において、局所速度情報は第１の速度情報を含んでもよく、局所速度決定ユニット７２０は、現在フレームの部位推定と少なくとも１つの先行フレームの部位推定とに基づいて、現在フレームに対応する第１の部位と、少なくとも１つの先行フレームのうちの別のフレームに対応する、且つ、第１の部位とは異なる第２の部位とを決定し、そして、第１の部位と、第２の部位と、および部位移転情報ととに基づいて、第１の速度情報を決定するように構成されてもよい。

【0056】

いくつかの実施例において、局所速度情報は、第２の速度情報をさらに含んでもよく、局所速度決定ユニット７２０はさらに、現在フレームと少なくとも１つの先行フレームのうちの１つまたは複数の先行フレームとの類似度を決定し、そして、類似度に基づいて第２の速度情報を決定するように構成されてもよい。

【0057】

いくつかの実施例において、現在フレームの部位推定および少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果は、複数の部位のそれぞれについての可能性値を含んでもよく、局所速度決定ユニット７２０はさらに、現在フレームの部位推定の結果のうちの最大な可能性値が閾値を超えることに応答して、第１の部位と、第２の部位と、および部位移転情報とに基づいて第１の速度情報を決定するように構成されてもよい。

【0058】

いくつかの実施例において、局所速度決定ユニット７２０はさらに、現在フレームの部位推定に基づいて第１の部位を決定するように構成されてもよく、また、少なくとも１つの先行フレームのうちの別のフレームを決定し、ここで、少なくとも１つの先行フレームの部位推定において、別のフレームの部位推定は、第１の部位とは異なる他の部位についての最大な可能性値を有し、そして、別のフレームの部位推定に基づいて、第２の部位を決定するように構成されてもよい。

【0059】

いくつかの実施例において、装置７００は、部位推定ユニットをさらに備えてもよい。部位評価ユニットは、ディープネットワークの予測に基づいて、現在フレームの部位推定および少なくとも１つの先行フレームの部位推定のうちのいずれかの部位推定の結果を取得するように構成されてもよい。

【0060】

いくつかの実施例において、装置７００は、品質評価ユニットをさらに含んでもよい。品質評価ユニットは、内視鏡動画における動画フレームに対して品質評価を行い、品質要件を満たす現在フレームおよび少なくとも１つの動画フレームを決定するように構成されてもよい。

【0061】

いくつかの実施例において、安定度は、現在フレームの局所安定度を含んでもよく、安定度決定ユニット７３０はさらに、参照内視鏡動画に基づいて参照速度情報を決定し、そして、局所速度情報と参照速度情報とに基づいて、局所安定度を決定するように構成されてもよい。

【0062】

いくつかの実施例において、安定度決定ユニット７３０はさらに、現在フレームに対応する第１の部位および第１の部位の隣接領域部位に基づいて、参照内視鏡動画における対応するセグメントを決定し、そして、対応するセグメントに基づいて、参照速度情報を決定するように構成されてもよい。

【0063】

いくつかの実施例において、安定度決定ユニット７３０はさらに、局所速度情報と参照速度情報との差が所定の範囲内にあることに応答して、局所安定度が内視鏡の操作要件を満たしていると決定するように構成されてもよい。

【0064】

いくつかの実施例において、装置は、リマインドユニットをさらに備えてもよい。リマインドユニットは、局所速度情報と参照速度情報との差が所定の範囲外にあることに応答して、内視鏡採集操作が速すぎるか遅すぎるかを示す注意を生成するように構成されている。

【0065】

いくつかの実施例において、安定度は全体安定度をさらに含んでもよく、安定度決定ユニット７３０はさらに、内視鏡動画における複数の動画フレームの複数の局所安定度の平均値に基づいて全体安定度を決定するように構成されてもよい。

【0066】

図８は本開示の内容を実施するために使用され得る実施例の例示的なデバイス８００の模式的なブロック図を示している。例えば、本開示の実施例に係るコンピューティングデバイス１０５は、デバイス８００によって実装されてもよい。図示するように、デバイス８００は、読み取り専用メモリ（ＲＯＭ）８０２に記憶されたコンピュータプログラム命令、または記憶ユニット８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラム命令に従って、様々な適切な動作および処理を実行することができる中央処理装置（ＣＰＵ）８０１を含む。ＲＡＭ８０３には、デバイス８００の操作に必要な様々なプログラムおよびデータも記憶されていてもよい。ＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４を介して互いに接続されている。入出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続されている。

【0067】

デバイス８００における、例えばキーボードやマウスなどの入力ユニット８０６と、例えば各種のディスプレイやスピーカなどの出力ユニット８０７と、例えば磁気ディスクや光ディスク等の記憶ユニット８０８と、例えばネットワークインターフェースカード、モデム、無線通信トランシーバなどの通信ユニット８０９と、を含む複数の部品は、Ｉ／Ｏインタフェース８０５に接続されている。通信ユニット８０９は、インターネットなどのコンピュータネットワークおよび／または様々な電気通信ネットワークを介して、デバイス８００が他のデバイスと情報・データを交換することを許可する。

【0068】

例えば方法２００、４００、５００、および／または６００という、上記に説明された各プロセスおよび処理は、処理装置によって実行されてもよい。例えば、いくつかの実施例において、方法２００、４００、５００、および／または６００は、例えば記憶ユニット８０８という機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施例において、コンピュータプログラムの一部または全部は、ＲＯＭ８０２および／または通信ユニット８０９を介してデバイス８００にロードおよび／またはインストールされてもよい。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１によって実行されるとき、上記に説明された方法２００、４００、５００、および／または６００の一つまたは複数の動作が実行されてもよい。

【0069】

本開示は、方法、装置、システム、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、本開示の各形態を実行するためのコンピュータ読み取り可能なプログラム命令を搭載したコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0070】

コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによって使用される命令を保持し、記憶することができる有形デバイスであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁気記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組み合わせであってもよいが、これらに限定されるものではない。コンピュータ読み取り可能な記憶媒体のより具体的な例（網羅的なリストでない）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械符号化デバイス、例えば命令が格納されているパンチカードまたはスロット内突起構造、および上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、無線電波または他の自由に伝搬される電磁波、導波路または他の伝送媒体を介して伝搬される電磁波（例えば、光ファイバケーブルを介した光パルス）、または電気配線を介して伝送される電気信号などの瞬間的な信号そのものとしては解釈されない。

【0071】

ここで説明されたコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理デバイスに、または例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／または無線ネットワークというネットワークを介して外部コンピュータまたは外部記憶デバイスにダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを含んでもよい。各計算／処理デバイスにおけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読み取り可能なプログラム命令を受信し、そのコンピュータ読み取り可能なプログラム命令を転送して、各計算・処理デバイスにおけるコンピュータ読み取り可能な記憶媒体に格納する。

【0072】

本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語または類似したプログラミング言語などの従来のプロセス型プログラミング言語とを含む１種または多種のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続されてもよく、または外部コンピュータに接続されてもよい（例えばインターネットを介してインターネットサービスプロバイダを利用して接続される）。いくつかの実施例において、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、コンピュータ読み取り可能なプログラム命令を実行することができる、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）という電子回路をカスタマイズすることにより、本開示の各形態を実装する。

【0073】

本開示の各形態は、本開示の実施例に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して、ここで説明される。フローチャートおよび／またはブロック図の各ブロック、ならびにフローチャートおよび／またはブロック図における各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実装されてもよいことを理解されたい。

【0074】

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置の処理ユニットに提供されて、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置の処理ユニットを介して実行されるときに、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能／動作を実現する装置を生成するように、機械を製造することができる。これらのコンピュータ読み取り可能なプログラム命令を、コンピュータ読み取り可能な記憶媒体に記憶してもよく、これらの命令は、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスを特定の方法で動作させ、よって、命令が記憶されたコンピュータ読み取り可能な媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能／動作の各形態を実装する命令を含む製造品を備える。

【0075】

コンピュータ読み取り可能なプログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードしてもよく、コンピュータの実装するプロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上で一連の操作ステップを実行させ、よって、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上で実行される命令が、フローチャートおよび／またはブロック図における１つまたは複数のブロックに規定された機能・動作を実装させる。

【0076】

図面のフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法、およびコンピュータプログラム製品が実装可能なのアーキテクチャ、機能、および操作を示している。この点で、フローチャートまたはブロック図における各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能命令を含むモジュール、プログラムセグメントまたは命令の一部を表すことができる。代替としてのいくつかの実装において、ブロックにおいて記された機能は、図面において記されたものとは異なる順序で発生してもよい。例えば、２つの連続したブロックは、係る機能に応じて、実際には実質的に並列に実行されてもよく、逆の順序で実行されてもよい場合もある。ブロック図および／またはフローチャートにおける各ブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組み合わせは、所定の機能または動作を実行するハードウェアベースの専用システムで実装されてもよく、または専用ハードウェアとコンピュータ命令との組み合わせで実装されてもよいことにも留意されたい。

【0077】

以上、本開示の各実施形態について説明したが、上記の説明は例示的なものであり、網羅的なものではなく、開示された各実施形態に限定されるものでもない。説明された各実施形態の範囲および精神から逸脱することなく、多くの修正および変更は当業者にとって自明である。本文で使用される用語の選択は、各実施形態の原理、実際の適用、または市場における技術に対する改良を最もよく解釈すること、または本文で開示された各実施形態を当業者が理解できるようにすることを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2024-07-18

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００３９

【補正方法】変更

【補正の内容】

【0039】

ブロック５０１において、現在フレームの部位推定の結果のうち、最大な可能性値が閾値Ｔ１を超えるか否かを決定する。ブロック５０１において、現在フレームＦｔがより高い品質の動画フレームであり、例えば、品質が閾値Ｔ２を超えると決定してもよい。この条件が満たされない場合、プロセス５００はブロック５０４に進み、前のフレームの第１の速度情報を現在フレームの第１の速度情報Ｖ１として使用する。可能性閾値および／または品質閾値に関する条件が満たされる場合、現在フレームは、特定の部位に入ったことを表すことができる動画フレームであると考えられてもよく、さらに、現在フレームに対応する部位および先行フレームに対応する別の部位と、部位移転情報とに基づいて、第１の速度情報Ｖ１を決定する。このような場合に、プロセス５００はブロック５０２に進む。

【外国語明細書】