特許 7517430 医療支援操作デバイス及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】医療支援操作デバイス及びコンピュータプログラム製品

(51)【国際特許分類】

   A61B 1/00 20060101AFI20240709BHJP

   A61B 1/045 20060101ALI20240709BHJP

【ＦＩ】

A61B1/00 552

A61B1/045 623

A61B1/045 614

【請求項の数】 13

(21)【出願番号】P 2022541812

(86)(22)【出願日】2021-01-06

(65)【公表番号】

(43)【公表日】2023-03-06

(86)【国際出願番号】 CN2021070434

(87)【国際公開番号】W WO2021139672

(87)【国際公開日】2021-07-15

【審査請求日】2022-09-05

(31)【優先権主張番号】202010015105.X

(32)【優先日】2020-01-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】ジャン ニー

(72)【発明者】

【氏名】リー ヤン

(72)【発明者】

【氏名】リウ ビンロン

(72)【発明者】

【氏名】ジョウ リン

【審査官】佐々木 創太郎

(56)【参考文献】

【文献】特開２０１９－０９７６６１（ＪＰ，Ａ）

【文献】特開２０１７－１４４２４７（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９８４６４４４（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１１／００３２３４７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０２０６２２８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－ １／３２

Ｇ０２Ｂ ２３／２４－２３／２６

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサユニットと、
前記少なくとも１つのプロセッサユニットに結合され、前記少なくとも１つのプロセッサユニットによって実行される命令を記憶する少なくとも１つのメモリと
を含み、
前記命令が、前記少なくとも１つのプロセッサユニットによって実行された場合、医療支援操作方法を実行する、医療支援操作デバイスであって、
内視鏡から入力データを取得することと、
前記入力データに基づいて、前記内視鏡の操作行為に関連する情報を決定することと、
を含み、
前記入力データは、前記内視鏡の運動中に複数の位置で収集された画像データを含み、
前記入力データに基づいて、前記内視鏡の操作行為に関連する前記情報を決定することは、
前記入力データに基づいて、前記内視鏡の運動軌跡を決定することを含み、
前記運動軌跡は、所定の１セットのキーポイント位置によって表され、
前記運動軌跡に沿って移動する前記内視鏡の速度分布を求め、
前記速度分布に基づいて、前記内視鏡の運動の評価を行う、医療支援操作デバイス。

【請求項2】

前記入力データに基づいて、前記内視鏡の前記操作行為に関連する前記情報を決定することは、
前記運動軌跡に基づいて、前記内視鏡の次の目的地の位置を決定することをさらに含む、請求項１に記載の医療支援操作デバイス。

【請求項3】

前記運動軌跡に基づいて、前記内視鏡の次の目的地の位置を決定することは、
前記内視鏡の次の時点での１セットの候補位置を決定することと、
前記１セットの候補位置のうち各候補位置の評価を決定することと、
決定した前記評価に基づいて、前記１セットの候補位置から前記次の目的地の位置を選択することと
を含む、請求項２に記載の医療支援操作デバイス。

【請求項4】

前記１セットの候補位置のうち各候補位置の評価を決定することは、前記１セットの候補位置のうちの所与の候補位置について、
前記運動軌跡と前記所与の候補位置に基づいて、前記内視鏡の運動軌跡候補を生成することと、
前記運動軌跡候補と内視鏡検査の所定の運動軌跡とに基づいて、前記候補位置の前記評価を決定することと、
を含む、請求項３に記載の医療支援操作デバイス。

【請求項5】

前記入力データに基づいて、内視鏡検査における検査部位の準備状態を識別することをさらに含み、
前記準備状態は、前記内視鏡検査の実行についての前記検査部位の適格度を示す、請求項１又は２に記載の医療支援操作デバイス。

【請求項6】

前記入力データに基づいて、前記内視鏡の前記運動軌跡を決定することは、
前記入力データに基づいて前記１セットのキーポイント位置を取得することと、
前記キーポイント位置と関連する入力データの時系列に基づいて、前記運動軌跡を決定することと
を含む、請求項１に記載の医療支援操作デバイス。

【請求項7】

たタを決定することと、
前記１セットの画像データの画質に基づいて、前記１セットの画像データの画質評価をそれぞれ決定することと、
決定された前記画質評価に基づいて、前記１セットの画像データのうちの記憶する画像データを選択することと
をさらに含む、請求項６に記載の医療支援操作デバイス。

【請求項8】

前記入力データに基づいて、前記内視鏡の前記運動軌跡を決定することは、
内視鏡検査を記述する第１モデルを取得することと、
前記第１モデルと前記入力データに基づいて、前記運動軌跡を決定することと
を含み、
前記第１モデルは、内視鏡検査の実行中に複数のサンプル位置で収集されたサンプル入力データと、前記サンプル入力データを収集するための内視鏡のサンプル運動軌跡との関連関係を含む、請求項１に記載の医療支援操作デバイス。

【請求項9】

前記内視鏡検査を記述する第１モデルを取得することは、
内視鏡操作仕様に従って実行された内視鏡検査中に収集された前記サンプル入力データを取得することと、
前記サンプル入力データに関連する前記サンプル運動軌跡を取得することと、
前記サンプル入力データと前記サンプル運動軌跡に基づいて、前記第１モデルをトレーニングすることと
を含む、請求項８に記載の医療支援操作デバイス。

【請求項10】

前記入力データに基づいて、前記内視鏡の前記運動軌跡を決定することは、
内視鏡検査を記述する第２モデルを取得することと、
前記第２モデル、前記入力データ、及び前記内視鏡の運動中に複数の位置で収集された画像データの収集時刻に基づいて、前記内視鏡の運動軌跡を決定することと
を含み、
前記第２モデルは、内視鏡検査の実行中に、複数のサンプル位置で収集されたサンプル入力データと、前記サンプル入力データが収集された前記複数の位置の対応するキーポイント位置との関連関係を含む、請求項１に記載の医療支援操作デバイス。

【請求項11】

前記速度分布を測定するための速度センサーが前記内視鏡に配置されている請求項１に記載の医療支援操作デバイス。

【請求項12】

所定の期間における前記キーポイント位置の通過数に基づいて、速度分布が求められる請求項１に記載の医療支援操作デバイス。

【請求項13】

コンピュータに対して、医療支援操作方法を実行させるためのコンピュータプログラム製品であって、
前記医療支援操作方法は、
内視鏡から入力データを取得することと、
前記入力データに基づいて、前記内視鏡の操作行為に関連する情報を決定することと、
を含み、
前記入力データは、前記内視鏡の運動中に複数の位置で収集された画像データを含み、
前記入力データに基づいて、前記内視鏡の操作行為に関連する前記情報を決定することは、
前記入力データに基づいて、前記内視鏡の運動軌跡を決定することを含み、
前記運動軌跡は、所定の１セットのキーポイント位置によって表され、
前記運動軌跡に沿って移動する前記内視鏡の速度分布を求め、
前記速度分布に基づいて、前記内視鏡の運動の評価を行う、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示にかかる例示的実施形態は医療支援の技術分野に関し、さらに医療支援の情報処理方法、装置、デバイス及びコンピュータ記憶媒体に関し、より具体的には、医療支援操作方法、装置、デバイス及びコンピュータ記憶媒体に関する。

【背景技術】

【0002】

患者に対して行われる医療検査プロセスは、通常、複雑な手動の操作を伴う。現在、コンピュータ技術の発展により、医療支援操作に対するサポートがますます増えている。例えば、内視鏡検査では、医師は患者の体内の複数の位置での画像データを取得するために、患者の体内で内視鏡を動かす必要がある。異なる医師の操作には違いがあり得る。例えば、経験豊富な医師は全ての内視鏡検査プロセスを独立して完了することができるが、経験の浅い医師は、ある所定のキーポイント位置を見逃す可能性及び/又は内視鏡の不適切な動きで患者に不快感を与える可能性がある。したがって、内視鏡検査の操作を指導するための医療支援を提供する効果的な技術的解決手段を提供することが期待される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示にかかる例示的実施形態では、医療支援操作の技術的解決手段が提供される。

【課題を解決するための手段】

【0004】

本開示の第１態様によれば、医療支援操作方法が提供される。該方法では、内視鏡から入力データを取得し、及び入力データに基づいて内視鏡の操作行為に関連する情報を決定する。

【0005】

本開示の第２態様によれば、医療支援操作装置が提供される。該装置は、内視鏡から入力データを取得するように構成される入力モジュールと、入力データに基づいて決定した、内視鏡の操作行為に関連する情報を出力するように構成される出力モジュールとを含む。

【0006】

本開示の第３態様によれば、医療支援操作デバイスが提供される。当該デバイスは少なくとも１つのプロセッサユニットと、少なくとも１つのプロセッサユニットに結合され、少なくとも１つのプロセッサユニットによって実行される命令を記憶する少なくとも１つのメモリとを含み、命令は、少なくとも１つのプロセッサユニットによって実行された場合、デバイスに第１態様に記載された方法を実行させる。

【0007】

本開示の第４態様では、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体には、コンピュータが読み取り可能なプログラム命令が記憶され、前記コンピュータが読み取り可能なプログラム命令は、第１態様に記載の方法を実行するためのものである。

【0008】

発明の概要部分は、概念に対する選択を簡略化して提示するためのものである。これらについては、以下の実施形態においてさらに説明を行う。発明の概要部分の記述は、本開示の重要又は必要な特徴を特定することを意図したものではなく、本開示の範囲を限定することを意図したものでもない。

【図面の簡単な説明】

【0009】

図面を参照して本開示にかかる例示的実施形態をより詳細に説明することにより、本開示の上記及び他の目的、特徴及び利点はより明らかになるであろう。本開示にかかる例示的実施形態において、同じ参照符号は一般的に同じ部品を表す。

【0010】

【図1】本開示にかかる例示的実施形態による、内視鏡検査が実行可能な人体環境のブロック図を模式的に示す。

【0011】

【図2】本開示にかかる例示的実施形態による医療支援操作のブロック図を模式的に示す。

【0012】

【図3】本開示にかかる例示的実施形態による医療支援操作方法のフローチャートを模式的に示す。

【0013】

【図4A】本開示にかかる例示的実施形態による運動モデルのブロック図を模式的に示す。

【0014】

【図4B】本開示にかかる例示的実施形態による、運動モデルを取得するプロセスのブロック図を模式的に示す。

【0015】

【図5】本開示にかかる例示的実施形態による、画像シーケンスのうち１セットの画像シーケンスを１セットのキーポイント位置にマッピングするプロセスのブロック図を模式的に示す。

【0016】

【図6】本開示にかかる例示的実施形態による、記憶するためにキーポイント位置に関連する画像を選択するプロセスのブロック図を模式的に示す。

【0017】

【図7A】本開示にかかる例示的実施形態による運動軌跡のデータ構造のブロック図を模式的に示す。

【0018】

【図7B】本開示にかかる例示的実施形態による、次の目的地の位置を提供するプロセスのブロック図を模式的に示す。

【0019】

【図8】本開示にかかる例示的実施形態による、医療支援操作を提供するユーザインターフェースのブロック図を模式的に示す。

【0020】

【図9】本開示にかかる例示的実施形態による、医療支援操作を提供する別のユーザインターフェースのブロック図を模式的に示す。

【0021】

【図10】本開示にかかる例示的実施形態による、医療支援操作装置のブロック図を模式的に示す。

【0022】

【図11】本開示にかかる例示的実施形態による医療支援操作デバイスのブロック図を模式的に示す。

【発明を実施するための形態】

【0023】

以下、図面を参照しつつ、本開示の好ましい例示的実施形態についてより詳細に説明する。図には本開示の好ましい例示的実施形態が示されているが、理解すべき点として、本開示は様々な形式で実現することが可能であり、ここに記載された例示的実施形態に限定されるべきではない。むしろ、これらの例示的実施形態を提供するのは、本開示をより徹底した完全なものにし、本開示の範囲を当業者に全体的に伝えられるようにするためである。

【0024】

本明細書で使用される用語「含む（備える）」及びその変形は、「・・・を含むが、これらに限定されない」という開放的な「含む」を表す。特に明記されていない限り、用語「又は」は、「及び／又は」を表す。用語「・・・に基づいて」は、「少なくとも部分的に基づく」ことを表す。用語「１つの例示の例示的実施形態」及び「１つの例示的実施形態」は、「少なくとも１つの例示の例示的実施形態」を表す。用語「他の例示的実施形態」は、「少なくとも１つの他の例示的実施形態」を表す。用語「第１」、「第２」などは、異なるか又は同一の対象を示すことができる。以下の文中ではさらに、その他の明確な定義及び暗黙の定義が含まれる可能性がある。

【0025】

機械学習技術は、医学分野を含むさまざまな分野で応用されている。医学検査デバイスは通常、複雑な操作プロセスを伴い、特に内視鏡検査の場合、人体の各位置の画像を収集するために、内視鏡を患者の体内に挿入する必要がある。検査プロセスにおいて、１セットのキーポイント位置での画像を確実に取得する必要がある。内視鏡は医師の操作に応じて異なる運動軌跡に沿って移動することができるが、不適切な操作の場合、本来検査する必要のあるキーポイント位置を見逃すことがある。したがって、如何により効果的な方法で医療支援操作を提供するかは、研究の重点になる。

【0026】

内視鏡は複数の人体の部位の検査に応用され得る。例えば、人体の部位に応じて、食道鏡、胃鏡、十二指腸鏡、大腸内視鏡など多種類に分類することができる。以下、本開示にかかる例示的実施形態の詳細は、例として胃鏡のみを取り上げることによって説明される。まず、図１を参照して本開示にかかる例示的実施形態の適用環境を説明する。図１は、本開示にかかる例示的実施形態による、内視鏡検査が実行可能な人体環境のブロック図１００を模式的に示す。内視鏡の操作仕様によれば、内視鏡は検査中に１セットの所定キーポイント位置に到達し、当該位置にて異常があるか否かを決定するために、これらのキーポイント位置で画像を収集する必要がある。図１に示すように、内視鏡を人体の胃部に挿入するプロセスにおいて、複数のキーポイント位置１１０、１１２、１１４、１１６、１１８及び１２０などを通過することができる。

【0027】

内視鏡は、まず咽頭を通過し、キーポイント位置１１０に到達することができ、矢印１３０で示されるように、内視鏡は食道に沿って下り、胃に入り、且つキーポイント位置１１２に到達することができる。さらに、矢印１３２で示されるように、内視鏡はキーポイント位置１１４に到達することができる。理解されるように、内視鏡は、人体の内部に広いスペースがあることや医師の操作方法の違いにより、胃の中に異なる方向に沿って移動することがある。例えば、内視鏡はキーポイント位置１１４に到達すると、矢印１３４で示される方向に沿ってキーポイント位置１１８に到達することができ、又は、矢印１３６で示される方向に沿ってキーポイント位置１１６に到達することもできる。操作仕様に１セットのキーポイント位置が既に定義されているが、医師は自分の経験に基づいて内視鏡の運動軌跡を調整することしかできず、運動軌跡がキーポイント位置の一部しかカバーできないことがあり得る。

【0028】

内視鏡検査における上記欠点を少なくとも部分的に解決するために、本開示の例示的な実施形態では、医療支援操作のための技術的解決手段を提供する。まず、図２を参照して当該技術的解決手段の概要を説明する。図２は本開示にかかる例示的実施形態による医療支援操作のブロック図２００を模式的に示す。図２に示すように、内視鏡２１０は、人体に挿入され且つ人体の内部で移動することに伴い、ビデオ２２０を収集することができ、且つ医師がリアルタイムでビデオ２２０を観察することができる。

【0029】

理解されるように、ビデオ２２０に基づいて入力データ２３０を取得することができる（例えば、画像データのシーケンスを含む）。例えば、入力データ２３０は１つ又は複数のビデオセグメントを含んでもよく、１つのビデオセグメントは内視鏡２１０が人体の咽頭の近くを通過することに関する画像を含んでもよく、別のビデオセグメントは内視鏡２１０が人体の食道の近くを通過することに関する画像を含んでもよい。理解されるように、入力データ２３０のフォーマットは、本開示の文脈において限定されない。例えば、入力データ２３０はビデオデータ、ビデオにおける時系列で配列する１セットの画像シーケンスであってもよく、又は時間情報を有する複数の画像データであってもよい。本開示の例示的な実施形態によれば、入力データは元のビデオフォーマットで保存されてもよく、又はカスタマイズされた中間フォーマットで保存されてもよい。

【0030】

理解されるように、一意の識別子を使用して入力データを識別することができる。例えば、医師IDと検査が実行された時刻とを識別子として使用することができ、内視鏡デバイスIDと検査が実行された時刻とを識別子として使用することができ、患者IDと検査が実行された時刻とを識別子として使用することができ、又は上記を組み合わせて一意の識別子を取得することもできる。そして、入力データ２３０に基づいて内視鏡２１０の操作行為２４０と関連する情報を決定することができる。

【0031】

このようにして、ある/いくつかのキーポイント位置を見逃すことが回避できるように、医師に効果的な医療支援を提供し、且つ医師（特に経験の浅い医師）の操作を指導することができる。さらに、本開示の例示的実施形態により、全部のキーポイント位置をより速く横断するように医師を指導することができ、これにより、内視鏡検査の効率を高め、内視鏡２１０が患者の体内にある時間を短縮することによって、患者の不快感を低減することができる。

【0032】

具体的に、医師が内視鏡検査を実行する間、リアルタイムで医療支援操作を提供することができる。内視鏡の現在位置に基づいてリアルタイムで内視鏡の操作行為に関連する情報を提供することができる。例えば、リアルタイムで、内視鏡の現在のキーポイント位置、キーポイント位置に関する画像、内視鏡が通過した運動軌跡、内視鏡の次の目的地の位置、及び内視鏡操作に関する統計情報などのうち、少なくとも１つを提供することができる。例えば、専用のディスプレイ装置にて上記情報を表示してもよく、選択的及び/又は付加的に、内視鏡デバイスのディスプレイ装置にて上記情報を表示してもよい。

【0033】

以下、図３を参照して医療支援操作のより多くの詳細を説明する。図３は本開示にかかる例示的実施形態による医療支援操作方法３００のフローチャートを模式的に示す。ブロック３１０において、内視鏡２１０から入力データ２３０を取得することができる。理解されるように、内視鏡２１０が人体の内部で移動することに伴い、異なる位置での入力データを取得することができる。

【0034】

入力データ２３０は内視鏡検出に所要な情報又はデータを決定するために用いることができ、さらに、入力データ２３０は内視鏡の操作行為に関連する情報又はデータを決定するために用いることもできる。例示的に、入力データ２３０は内視鏡２１０の運動中に複数の位置で収集された画像データを含むことができる。理解されるように、ここで、画像データは元の収集されたデータであってもよく、処理された（例えば、ノイズ低減処理、輝度処理など）データであってもよい。画像データは、内視鏡２１０の画像収集装置の収集頻度に基づいて、例えば毎秒３０フレーム（又は他のフレームレート）の画像を含んでもよい。理解されるように、本開示の文脈において、入力データ２３０のフォーマットは限定されない。

【0035】

ここで、入力データ２３０は、ビデオデータ、時系列で配列する１セットの画像シーケンス、及び時間情報を有する複数の画像データのうち、少なくとも１つを含むことができる。例えば、ビデオデータはビデオストリームフォーマットを含むことができ、且つ複数のビデオフォーマットの規格をサポートすることができる。別の例として、画像シーケンスは一連の個々の画像を含むことができる。この場合、内視鏡検査の実施に伴い、取得される入力データ２３０の数は徐々に増加し得る。例えば、内視鏡が咽頭に到達すると、咽頭の画像シーケンスを取得することができ、内視鏡が食道に到達すると、食道の画像シーケンスを取得することができる。

【0036】

なお、前記入力データ２３０に対応する識別子をさらに取得又は決定し、前記入力データ２３０を識別することができる。異なる識別子は、異なる患者、異なる検出時間、異なる検出部位、及び異なる検出オペレーターのうちの1つ又は複数の組み合わせを区別することができる。

【0037】

本開示の例示的な実施形態によれば、ブロック３２０において、入力データに基づいて内視鏡の操作行為に関連する情報を決定する。ここで、情報は、例えば、内視鏡の現在位置、現在位置で収集された画像データ、内視鏡の運動軌跡、内視鏡の次の目的地の位置、入力データに関する統計情報、及び操作行為に関する統計情報など、多方面の内容を含んでもよい。以下、図４Ａと図４Ｂを参照してより多くの関連する詳細内容を説明する。

【0038】

例示的に、入力データ２３０の時間的関係によって、内視鏡の操作行為に関連する情報を決定することができる。なお、本開示の例示的な実施形態によれば、操作行為２４０に関連する多方面の情報は、機械学習技術に基づき入力データ２３０を利用して決定することができる。例えば、内視鏡２１０の現在位置、運動軌跡、及び運動軌跡が検査が期待されるキーポイント位置に到達したか否かなどを決定することができる。さらに、次の到達すべき目的地の位置を決定することができる。具体的に、運動モデル４１０Ａは、過去の操作中に収集されたサンプルデータを使用し、且つ機械学習技術に基づいて取得することができる。図４Ａは本開示にかかる例示的実施形態による運動モデル４１０Ａのブロック図４００Ａを例示的に示す。当該運動モデル４１０Ａは、サンプル入力データ４１２Ａとサンプル運動軌跡４１４Ａとの関連関係を含むことができる。ここで、サンプル入力データ４１２Ａは、内視鏡検査が実行される間に複数のサンプル位置で収集されてもよく、また、サンプル運動軌跡４１４Ａは、サンプル入力データ４１２Ａを収集するための内視鏡の運動軌跡を含んでもよい。

【0039】

ここで、サンプル入力データ４１２Ａとサンプル運動軌跡４１４Ａは運動モデル４１０をトレーニングするためのサンプルトレーニングデータであってもよいことを理解されたい。本開示の例示的な実施形態によれば、サンプル入力データ４１２Ａ及び対応するサンプル運動軌跡４１４Ａを利用して、１回のトレーニングを実行することができる。本開示の文脈において、１つ又は複数の内視鏡検査からのサンプルトレーニングデータをそれぞれ利用して、１回又は複数回のトレーニングを実行することができる。

【0040】

上記は、運動モデル４１０Ａの例を模式的に示しているに過ぎず、本開示の例示的な実施形態によれば、他のモデルも、提供され得ることが理解されよう。例えば、別のモデルには、内視鏡検査の実行中に複数のサンプル位置で収集されたサンプル入力データと、当該サンプル入力データが取得された複数の位置の対応するキーポイント位置との間の関連関係が含まれることがある。当該モデルを使用して、入力データ２３０内の各画像データを、それぞれ対応するキーポイント位置にマッピングすることができる。したがって、当該モデルと入力データに基づいて、内視鏡が通過するキーポイント位置を決定することができる。さらに、画像データの収集時刻及び上記キーポイント位置に基づいて、内視鏡の運動軌跡を決定することができる。

【0041】

例示的に、運動モデル４１０Ａを取得するために、トレーニングはリカレントニューラルネットワーク（Recurrent Neural Network、RNN）、長短期記憶（Long Short Term Memory、LSTM）などの技術に基づいて実行してもよい。本開示の例示的な実施形態によれば、運動モデル４１０Ａは、上記トレーニング方法を使用して、過去の検査中に収集されたサンプル入力データ及び対応するサンプル運動軌跡に基づいて取得することができる。本開示の例示的な実施形態によれば、医師によって内視鏡検査操作を実行し、収集されたデータをサンプルとして上記モデルをトレーニングすることができる。

【0042】

例えば、内視鏡の運動は、経験豊富な医師によって、内視鏡操作仕様に従って操作することができる。この時、内視鏡のサンプル運動軌跡は、医療検査に必要な全部のキーポイント位置をカバーする。１回の内視鏡検査中に取得された入力データについて、入力データのうち各サンプル画像と運動軌跡における当該サンプル画像の位置との関連関係を、ラベリングの方法に基づいて特定することができる。

【0043】

例えば、経験豊富な医師は、複数のサンプル運動軌跡に関する関連サンプル画像シーケンスを取得するために、複数回、内視鏡検査を実行してもよい。別の例として、経験豊富な複数の医師が、より豊富なトレーニングデータを取得するために、それぞれ１回又は複数回の内視鏡検査を実行してもよい。十分なトレーニングデータを取得した場合、サンプル画像シーケンスとサンプル運動軌跡に基づいて、運動モデル４１０Ａをトレーニングすることができる。ここで、内視鏡の操作仕様には、全部の検査されるキーポイント位置が定義され、しかも経験豊富な医師は、実行した検査が仕様の要求を最大限に満たせるよう確保することができる。このようにして取得したトレーニングデータでトレーニングを実行することで、取得した運動モデル４１０Ａが画像と運動軌跡との関連関係を正確に反映できるように確保することができる。なお、前記運動モデル４１０Ａは、コンピュータシミュレーションによって取得することもできる。

【0044】

説明の便宜のために、以下、入力データ２３０の例として、画像シーケンスのみを用いて本開示による例示的実施形態を説明する。入力データ２３０が他のフォーマットで記憶される場合の処理も同様である。例えば、入力データ２３０がビデオフォーマットである場合、ビデオ内の画像シーケンスを取得し、且つ画像シーケンスに対して処理を行うことができる。

【0045】

以下、図４Ｂを参照して、運動モデル４１０Ａを取得するプロセスを説明する。図４Ｂは、本開示にかかる例示的実施形態による、運動モデル４１０Ａを取得するプロセスのブロック図４００Ｂを模式的に示す。トレーニングは、過去の検査プロセスで収集されたサンプル画像シーケンスとサンプル運動軌跡に基づいて実行することができる。複数のサンプル画像シーケンスを複数のグループに分割することができ、各グループにＮ＞３の画像が含まれる。そして、複数フレームのサンプル画像４１０Ｂ（例えば、フレームＴ－Ｎからの連続したＮフレームの画像）のグループをニューラルネットワークレイヤ４１２Ｂに入力し、複数フレームのサンプル画像４２０Ｂ（例えば、フレームＴからの連続したＮフレームの画像）のグループをニューラルネットワークレイヤ４２２Ｂに入力し、複数フレームのサンプル画像４３０Ｂ（例えば、Ｔ＋Ｎフレームからの連続したＮフレームの画像）のグループをニューラルネットワークレイヤ４３２Ｂに入力することができる。このようにして、画像シーケンスと運動軌跡との関連関係を取得することができる。

【0046】

理解されるように、上述の内容は、運動モデル４１０Ａを取得するために適用可能な１つの実施形態を、図４Ｂを参照して例示的に示したに過ぎない。本開示の例示的な実施形態によれば、運動モデル４１０Ａは、現在周知の機械学習技術、及び／又は将来開発される他の機械学習技術に基づいて、取得することができる。

【0047】

運動モデル４１０Ａと入力データに基づいて、内視鏡２１０の運動軌跡を決定することができる。本開示の例示的な実施形態によれば、内視鏡２１０の運動軌跡には、内視鏡２１０の運動中の１セットのキーポイント位置が含まれている。ここで、１セットのキーポイント位置は内視鏡検査中の内視鏡２１０の１セットの所定の人体部位のうち少なくとも一部分を含む。また、内視鏡の運動中に通過する複数の位置は、キーポイント位置の周りの所定範囲内にあってもよい。

【0048】

理解されるように、ここで、１セットのキーポイント位置は、内視鏡の検査仕様に従って定義された位置であってもよい。例えば、咽頭、食道、噴門、幽門などの位置が含まれてもよい。内視鏡が咽頭を通過し、且つ運動中に咽頭の近くの複数の位置（例えば、咽頭の前方の０.５cm、咽頭、咽頭を離れた後の０.５cm）にて３つの画像を収集したと仮定すると、この場合、運動軌跡にキーポイント位置「咽頭」が含まれていると決定することができる。内視鏡２１０のさらなる運動に伴い、運動軌跡には、より多くのキーポイント位置、例えば、咽頭、食道などが含まれてもよい。上記位置は、より多くの位置にさらに細分化することができ、例えば、食道の場合、さらに食道上部、中部、下部などより多くの位置を含んでもよい。換言すれば、ここでの運動軌跡には、内視鏡２１０の運動で通過する１つ又は複数のキーポイント位置を含んでもよい。

【0049】

本開示の例示的な実施形態によれば、運動モデル４１０Ａの取得と類似する方法に従って、収集された入力データ２３０を運動モデル４１０Ａに入力することができる。例えば、入力データ２３０を複数のグループ（各グループは、Ｎフレームの画像を含む）に分割し、且つ複数のグループを運動モデル４１０Ａに順次入力することができる。この時、運動モデル４１０Ａ内のあるレイヤにおいて、現在のＮフレームの画像が対応する特徴を（隠れ変数として）連続的に出力し、当該特徴を次のレイヤの位置に繰り返し入力することができる。運動モデル４１０Ａは、入力した入力データに基づいて、内視鏡の運動軌跡を出力することができる。

【0050】

本開示の例示的な実施形態によれば、運動モデル４１０Ａを使用して、入力データをそれぞれ１セットのキーポイント位置にマッピングすることができる。引き続き図４Ｂを参照すると、図４Ｂの右側に示すように、ＣＬＳＣ（Ｔ）は、フレームＴからの連続したＮフレームの画像が属するキーポイント位置の予測を表し、ＣＬＳＮ（Ｔ）は後のＮフレームの画像が属するキーポイント位置の予測を表し、ＣＬＳＰ（Ｔ）は、前のＮフレームの画像が属するキーポイント位置の予測を表し、Ｙ（Ｔ）は、現在の画像シーケンスが属する運動軌跡の予測を表す。ここで、運動軌跡の予測は複数のキーポイント位置を含むことができる。例えば、１つの運動軌跡の予測は、キーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１４を含むことができ、運動軌跡の予測は、キーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１６を含むことができる。現在入力したＮフレームの画像により、運動軌跡の予測は異なるキーポイントを含むことができる。運動軌跡の予測に基づいて次の目的地の位置を決定することができる。さらに、類似の方法で他のフレームとの関連情報を決定することができる。

【0051】

図５は、本開示にかかる例示的実施形態による、入力データを１セットのキーポイント位置にマッピングするプロセスのブロック図５００を例示的に示す。図５に示すように、内視鏡２１０が人体内で運動する時間の増加に伴い、入力データ２３０には、ますます多くの画像が含まれるようになる。図５は、内視鏡２１０がキーポイント位置１１０、１１２、１１４の近くで多数の画像を収集したときの内視鏡検査の初期段階を例示的に示しているに過ぎない。

【0052】

上記のように説明した方法を使用して、これらの画像を、対応するキーポイント位置にマッピングすることができる。例えば、１つの画像シーケンスのうち１セットの画像データ５１０は、１セットの画像データ５１０がキーポイント位置１１０の近くで収集された画像であることを表すために、当該キーポイント位置１１０にマッピングすることができる。同様に、１つの画像シーケンスのうち１セットの画像データ５１２をキーポイント位置１１２にマッピングし、１つの画像シーケンスのうち１セットの画像データ５１４をキーポイント位置１１４にマッピングすることなどができる。

【0053】

本開示にかかる例示的実施形態を使用し、内視鏡２１０の運動中に収集された入力データ２３０に基づいて、各画像データが収集された位置を決定することができる。医師の個人的な経験と判断に完全に依存する技術的解決手段と比較して、上記の技術的解決手段はより正確な方法で画像データに関連するキーポイント位置を決定することができ、そして記憶する画像を後で選択する際に役立つ。

【0054】

本開示の例示的な実施形態によれば、運動軌跡は、キーポイント位置に関連する画像シーケンスが収集された時系列に基づいて、決定することができる。引き続き図５を参照すると、１セットの画像データ５１０がキーポイント位置１１０に関連付けられ、１セットの画像データ５１２がキーポイント位置１１２に関連付けられ、さらに１セットの画像データ５１４がキーポイント位置１１４に関連付けられることが決定されている。各画像が収集された時系列を、１セットの画像データ５１０、１セットの画像データ５１２、１セットの画像データ５１４と仮定する。この時、運動軌跡１は、キーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１４を含むと決定することができる。

【0055】

理解されるように、運動軌跡は、時系列で配列するキーポイント位置を含む。したがって、１セットのキーポイント位置の順番が異なる場合、異なる運動軌跡を表す。例えば、運動軌跡２は、キーポイント位置１１０－>キーポイント位置１１４－>キーポイント位置１１２を含むことがある。つまり、当該運動軌跡２と運動軌跡１は異なる運動軌跡である。

【0056】

なお、運動軌跡は、入力データに基づいて決定した、人体の部位における内視鏡の実際の運動軌跡であってもよい。当該実際の運動軌跡は、キーポイント位置を含むとともに、非キーポイント位置も含むことによって、リアルタイムで前記内視鏡の操作行為を反映しており、さらにより適切に内視鏡の検査操作を分析し、指導をサポートすることができる。

【0057】

本開示の例示的実施形態により、各画像データが収集された時系列に基づいて、より正確な方法で内視鏡２１０の運動軌跡を記録することができる。さらに、決定した運動軌跡は後処理にも使用することができ、例えば、内視鏡２１０が到達したキーポイント位置に基づいて、到達すべきキーポイント位置を決定することができる。

【0058】

一般的に言えば、内視鏡検査が実行されるプロセスで、医師は期待されるキーポイント位置に到達するように内視鏡を操作する一方、後の診断のための画像を記憶させる必要もある。検査プロセス中に収集された画像シーケンスは、大量の記憶領域を占めるため、通常、医師はキーポイント位置の近くに到達した後に、自身の経験に基づいて適切な角度を選択して、画像を収集・記憶させる。例えば、内視鏡検査デバイスにフットペダルを設置し、医師は、フットペダルを踏むことによって画像を記憶させることができる。これは、医師がキーポイント位置を見逃すこと及び／又は記憶された画像の画質が劣り診断に使用できないことにつながる恐れがある。

【0059】

本開示の例示的な実施形態によれば、決定した１セットの画像に対して画像分析を実行することにより、その中から、あるキーポイント位置での人体の状態を最もよく反映する画像を選択することもできる。以下、図６を参照して、画像の選択及び記憶に関するより多くの詳細を説明する。図６は本開示にかかる例示的実施形態による、記憶するためにキーポイント位置に関連する画像を選択するプロセスのブロック図６００を模式的に示す。具体的に、１セットのキーポイント位置における所与のキーポイント位置について、所与のキーポイント位置にマッピングされた、入力データにおける１セットの所与の画像を決定することができる。

【0060】

図６に示すように、１セットの所与の画像データの画質に基づいて、１セットの所与の画像の画質評価をそれぞれ決定することができる。そして、決定された画質評価に基づいて、記憶する画像を選択することができる。図６において、キーポイント位置１１０に関わる１セットの画像データ５１０が決定されており、この時、１セットの画像データ５１０について画質評価を決定することができる。そして、画質評価に基づいて、１セットの画像データ５１０から、選択された画像データ６１０を取得し、記憶デバイス６２０に記憶させることができる。同様に、１セットの画像データ５１２から、選択された画像データ６１２を取得し、記憶デバイス６２０に記憶させることができ、さらに、１セットの画像データ５１４から、選択された画像データ６１４を取得し、記憶デバイス６２０に記憶させることができる。そして、記憶された画像の関連情報、例えば、記憶された画像の数、関連するキーポイント位置などを医師に表示することができる。

【0061】

理解されるように、ここで、画質には多種類の意味がある。例えば、検査するキーポイント位置をより適切に反映した画像である。例えば、画質は、内視鏡が収集した画像内の人体の粘膜の鮮明さ、粘膜が汚れているか否か、粘膜が分泌物で覆われているか否か、内視鏡の撮影角度などのうち、１つ又は複数を含むことができる。人体の粘膜が鮮明で、汚れておらず、分泌物で覆われていない場合、当該画像は高画質であると決定することができる。逆に、当該画像は低画質であると決定することもできる。

【0062】

理解されるように、ここで、画質は、多種類の方法で決定することができる。例えば、画像処理の方法に基づいて、画像の鮮明度などを決定し、その後、画質評価を取得することができる。別の例として、機械学習の方法に基づいて、事前にラベル付けられたサンプルデータを使用して、画質予測モデルを作成してもよい。本開示の例示的な実施形態によれば、画質評価は、現在開発済みの画像処理技術及び／又は将来開発される他の画像処理技術でも取得することができる。

【0063】

本開示の例示的実施形態により、所与のキーポイント位置で取得した多数の画像から、最高の画質を有する画像を１つ又は複数選択することができる。医師の個人的な経験に基づいて、手動で画像を選択し且つ記憶させる技術的解決手段と比較して、画像を選択する効率を大幅に高め、医師が画像を選択し且つ記憶させるのにかかる時間を短縮し、ひいては内視鏡検査の効率を高めることができる。一方、画像のマッピング、選択及び記憶は自動で行われるため、医師のミスによる見逃しを極力回避することもできる。また、さらに、取得した入力データの時間的関係（例えば、画像シーケンス又はキーポイント位置の画像間の関連関係）により、画質の良い画像を選択することをサポートすることができる。

【0064】

本開示の例示的な実施形態によれば、内視鏡２１０の運動軌跡と内視鏡検査の所定の運動軌跡に基づいて、運動軌跡の評価を決定することができる。ここで、所定運動軌跡は、内視鏡操作仕様に従って定義された一連のキーポイント位置の順番であってもよい。例えば、所定の運動軌跡は咽頭－>食道－>噴門－>幽門などを含んでもよい。医師が所定の運動軌跡に応じて内視鏡の運動を操作することが期待されるので、内視鏡２１０の実際の運動軌跡と所定の運動軌跡との一致性に基づいて、当該評価を決定することができる。

【0065】

本開示の例示的な実施形態によれば、評価は多種類のタイプを含むことができる。例えば、評価は、ある範囲内のスコア（例えば、０～１の間の実数）で表すことができ、クラス（例えば、高、中、低）の方法で表すことができ、文字で説明する方法で表すことができ、あるいは画像又は他の方法で表すこともできる。

【0066】

以下、図７Ａを参照して、運動軌跡の評価の決定に関するより多くの詳細を説明する。図７Ａは、本開示にかかる例示的実施形態による運動軌跡のデータ構造のブロック図７００Ａを模式的に示す。図７Ａにおいて、内視鏡２１０の運動軌跡７１０は、キーポイント位置１１０、１１２、１１４の３つのキーポイント位置を含む。この時、内視鏡２１０は、キーポイント位置１１４にあり、運動軌跡７１０と内視鏡検査の所定の運動軌跡との比較に基づいて、運動軌跡７１０の評価を決定することができる。さらに、関連する評価を医師に表示することができる。

【0067】

理解されるように、ここで、多種類の方法で評価を決定することができる。評価の数値範囲を指定することができる。例えば、０～１の範囲内で評価を表すことができる。所定の運動軌跡が、キーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１４－>キーポイント位置１１8…を含み、且つこの時の運動軌跡７１０がキーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１４を含むと仮定する。運動軌跡７１０は所定の運動軌跡の開始部分と完全に一致すると決定することができ、したがって、より高い評価７１２を運動軌跡７１０に与えることができ、例えば、評価７１２を最大スコア１として設定することができる。別の例として、実際の運動軌跡が所定の運動軌跡から逸脱していると仮定すると、この時評価の値を下げることができ、例えば、評価を０．８に設定することができる。

【0068】

理解されるように、上記では、評価を決定するための原理を、模式的に説明したに過ぎない。本開示の例示的な実施形態によれば、機械学習の方法に基づいて、事前にラベル付けられたサンプルデータを使用して評価予測モデルを作成することができる。本開示の例示的な実施形態によれば、現在開発済みの予測技術及び／又は将来開発される他の予測技術を利用して、運動軌跡の評価を取得することもできる。

【0069】

以下、図７Ｂを参照して、次の目的地の位置の決定に関するより多くの詳細を説明する。本開示の例示的な実施形態によれば、運動軌跡における最後のキーポイント位置の近くの１つ又は複数のキーポイント位置に基づいて、１セットの候補位置を決定することができる。図７Ｂは、本開示にかかる例示的実施形態による、次の目的地の位置を提供するプロセスのブロック図７００Ｂを模式的に示す。図７Ｂに示すように、まず、内視鏡２１０の次の時点での１セットの候補位置を決定することができる。上記の例を続けると、内視鏡２１０は現在、キーポイント位置１１４にあり、且つキーポイント位置１１４の近くにキーポイント位置１１６と１１８が存在する。この時、１セットの候補位置はキーポイント位置１１６と１１８を含むことができる。そして、１セットの候補位置のうちの各候補位置の評価を決定することができ、且つ決定された評価に基づいて１セットの候補位置から次の目的地の位置を選択することができる。

【0070】

具体的に、１セットの候補位置のうちの所与の候補位置について、内視鏡２１０の運動軌跡候補は、運動軌跡と候補位置に基づいて生成することができる。図７Ｂに示すように、運動軌跡７１０とキーポイント位置１１６に基づいて、運動軌跡候補７２０を生成することができ、運動軌跡７１０とキーポイント位置１１８に基づいて、運動軌跡候補７３０を生成することができる。そして、上記で説明した方法を使用して、運動軌跡候補７２０、７３０及び内視鏡検査の所定の運動軌跡に基づいて、２つの運動軌跡候補７２０、７３０の評価７２２、７３２をそれぞれ決定することができる。図７Ｂに示すように、評価７３２は評価７２２より高いため、キーポイント位置１１８により高い評価を付与することができ、且つキーポイント位置１１８を次の目的地の位置にすることができる。

【0071】

本開示の例示的実施形態により、内視鏡２１０の所定の運動軌跡に最も一致するキーポイント位置を、内視鏡２１０を移動させる次の目的地の位置として医師に優先的に推薦することができる。このようにして、医師の移動操作について指導し、内視鏡検査の効率を高めるとともに、キーポイント位置を見逃す潜在的なリスクを低減することもできる。さらに、内視鏡の人体内での運動が患者に不快感を与える可能性があるので、検査効率を高めることによって内視鏡検査の時間を短縮し、これにより、患者の痛みを低減することができる。

【0072】

理解されるように、上記では図面を参照して、次の目的地の位置を提供する具体的な例示を説明したが、本開示の例示的な実施形態によれば、後続の推奨経路も提供することができ、当該推奨経路は１つ又は複数のキーポイント位置を含むことができる。医師は、内視鏡検査に必要な全部のキーポイントをカバーするように、推奨経路に沿って内視鏡を移動させることができる。

【0073】

本開示の例示的な実施形態によれば、内視鏡の運動軌跡候補は、運動モデル４１０Ａと入力データに基づいて直接生成することもできる。理解されるように、運動モデル４１０Ａは、トレーニング段階においてエンドツーエンドの方法に基づいて作成することができる。この時、運動モデル４１０Ａの入力を画像シーケンスとして指定し、且つ運動モデル４１０Ａの出力を運動軌跡候補として指定することができる。ここで、運動軌跡候補は、入力した画像シーケンスに対応する１セットのキーポイント位置及び次のキーポイント位置候補を含むことができる。運動モデル４１０Ａを使用する場合、運動軌跡候補を取得するために、内視鏡が現在収集済みの１セットの画像シーケンスを運動モデル４１０Ａに入力することができる。この場合、医師は、全部のキーポイント位置を横断するために、運動軌跡候補に沿って移動するように内視鏡を操作することができる。

【0074】

本開示の例示的な実施形態によれば、ラベル付けされた過去のサンプル画像シーケンスと過去のサンプル運動軌跡候補を使用することにより、画像シーケンスと運動軌跡候補との関連関係を含む運動モデル４１０Ａを直接取得することができる。本開示の例示的実施形態により、過去のサンプルデータに基づいて直接トレーニングプロセスを実行し、対応するモデルを取得することができる。このようにして、操作プロセスを簡易化することができ、ひいては運動軌跡候補を取得する効率を高めることができる。

【0075】

本開示の例示的な実施形態によれば、さらに、前記内視鏡の操作行為に関する情報を送信及び／又は記憶することができる。

【0076】

本開示の例示的な実施形態によれば、現在の医師の操作に関連する情報をリアルタイムに出力し、且つそれに応じて統計及び分析の機能を提供することができる。例えば、上記で説明した方法３００はさらに、内視鏡検査の持続時間の決定、スキャンされたキーポイント位置の情報の決定、スキャンされていないキーポイント位置の情報の決定、次の目的地の位置の情報の決定、医師の内視鏡検査の操作に対する評価の決定、収集された各キーポイント位置に関する画像が適格か否かの決定などの機能を提供することができる。

【0077】

以下、図８と図９を参照して操作行為に関連する情報を出力する機能について説明する。本開示の例示的な実施形態によれば、上記の情報を出力する機能は、既存の内視鏡ディスプレイインターフェースと組み合わせることができる。図８は、本開示にかかる例示的実施形態による、医療支援操作を提供するユーザインターフェース８００のブロック図を模式的に示す。図８に示すように、ユーザインターフェース８００は、内視鏡２１０によって収集されたビデオ２２０をリアルタイムで表示するための画像表示部分８１０、内視鏡２１０が通過した運動軌跡及び次の目的地の位置を表示するための運動軌跡管理部分８２０、及び内視鏡検査中に収集された画像に関連する情報を表示するための統計情報部分８３０、を含むことができる。

【0078】

運動軌跡管理部分８２０に示すように、実線は、内視鏡２１０が通過した運動軌跡が、キーポイント位置１１０－>キーポイント位置１１２－>キーポイント位置１１４であることを示している。破線部分は、内視鏡２１０の現在の位置（すなわち、キーポイント位置１１４）から次の目的地の位置（すなわち、キーポイント位置１１６及び１１８）までの軌跡を表す。次の目的地は、図７Ｂを参照して説明した方法に基づいてキーポイント位置１１８として設定することができる。さらに、スターマーク８２２を使用して、推奨される次の目的地の位置がキーポイント位置１１８であることを示すことができる。この時、医師は、次の時点で内視鏡２１０をキーポイント位置１１８に移動させることができる。

【0079】

統計情報部分８３０に示されているように、収集された画像に関連する情報を表示することが出来る。例えば、キーポイント位置１１０について、１０枚の画像が選択され、且つ１０枚の画像の総合評価は０．８である。理解されるように、キーポイントごとに収集が期待される画像の数の上限を事前に定義することができ、例えば、上限を１０と定義することができる。ここで示された１０枚の画像は、図６を参照して説明した方法に従って選択されたより高い画質の画像であってもよく、且つここでの評価０．８は、個々の画質評価に基づいて取得された総合評価であってもよい。

【0080】

本開示の例示的な実施形態によれば、画質評価の下限も設定することができる。例えば、評価が０．６を超える画像のみを選択するように設定することができる。本開示の例示的な実施形態によれば、どちらの画像を記憶することが期待されるかは、画像数の上限と画質評価の下限の両方に基づいて選択することもできる。統計情報部分８３０は、他のキーポイント位置に関する統計情報、すなわち、キーポイント位置１１２について、５枚の画像が選択され、５枚の画像の総合評価は０．６であることと、キーポイント位置１１４について、７枚の画像が選択され、７枚の画像の総合評価は０．９であることとをさらに表示する。

【0081】

本開示の例示的な実施形態によれば、内視鏡２１０の運動を管理するためのユーザインターフェースは、既存の内視鏡ディスプレイインターフェースから分離することができる。図９は、本開示にかかる例示的実施形態による、医療支援操作を提供する別のユーザインターフェース９００のブロック図を模式的に示す。図９に示されるように、医療支援操作に関する関連情報は、個々のユーザインターフェース９００に表示することができる。ユーザインターフェース９００では、操作行為に関連する情報を出力することができる。

【0082】

本開示の例示的な実施形態によれば、エリア９１０には、キーポイント位置で選択した画像に関連する情報を表示することができる。例えば、エリア９１０は、画像のサムネイルを含むことができる。内視鏡検査プロセスでは、６つのキーポイント位置に関する画像を収集する必要があり、４つのキーポイント位置の画像が既に収集されており、残りの２つのキーポイント位置の画像はまだ収集されていないと仮定する。符号９１２、９１４、９１６を使用して、異なるタイプのキーポイント位置の画像をそれぞれ表すことができる。例えば、符号９１２は、あるキーポイント位置にて収集した適格な画像を表し、符号９１４は、あるキーポイント位置にて収集した不適格な画像を表し、符号９１６はあるキーポイント位置がまだスキャンされていないことを表す。本開示の例示的実施形態により、スキャンされたキーポイント位置、スキャンされていないキーポイント位置、画像が不適格であるキーポイント位置を可視化された方法で医師に表示することができ、それによって医師の後の操作が容易になる。

【0083】

本開示の例示的な実施形態によれば、記憶のための画像が選択された後、選択された画像に基づいて、所与のキーポイント位置に関連する画像の異常を識別することができる。さらに、識別された画像の異常を表示することができる。具体的には、キーポイント位置で起こる可能性がある画像の異常を決定するために、現在周知の及び／又は将来開発される画像認識技術に基づいて画像の内容を分析することができる。例えば、画像の異常とは、潰瘍、腫瘍などを指してもよい。本開示の例示的実施形態により、異常の可能性がある画像を識別することができ、それにより、医師の診断を支援することができる。

【0084】

本開示の例示的な実施形態によれば、入力データに基づいて、内視鏡２１０の作動状態を識別する。理解されるように、内視鏡２１０が作動中、多種類の作動状態がある。例えば、内視鏡２１０の起動及び内視鏡２１０の患者の体内への挿入の間、内視鏡２１０によって収集された画像内容は異なる。内視鏡２１０によって収集された画像の分析に基づいて、検査されている患者を決定することができ、内視鏡が現在患者の体内にあるか体外にあるかを決定することができ、現在の検査部位（例えば、胃部又は腸部など）を決定することができる。例えば、画像シーケンスのうち一部の画像が体外画像に関連し、且つ後続の一部の画像が体内画像に変換される場合、体外／体内の切り替えが発生したと決定することができる。さらに、作動状態の切り替えを識別することができる。

【0085】

別の例として、２人の患者の検査について、内視鏡２１０によって収集された入力データの分析に基づいて、患者の交代が発生したと決定することができる。具体的には、画像シーケンスに、体内画像、体外画像、及び前の検査と異なる体内画像が含まれる場合、患者の交代が発生したと決定することができる。別の例として、内視鏡検査は異なる人体の部位に関わる場合がある。このとき、内視鏡２１０によって収集された画像の分析に基づいて、検査位置の切り替えを決定することができる。具体的には、食道鏡、胃鏡、十二指直腸鏡及び大腸内視鏡などの検査位置の切り替えを決定することができる。本開示の例示的実施形態により、検出された切り替えに基づいて、医療支援操作に関連する配置を選択することができる。例えば、胃鏡と腸鏡に対して、対応する運動モデルを選択することができる。

【0086】

理解されるように、内視鏡検査において、内視鏡２１０を患者の体内に挿入する必要があり、検査の前に準備作業を実行する必要がある。本開示の例示的な実施形態によれば、入力データに基づいて、内視鏡検査を受ける人の準備状態を識別することができる。ここで、準備状態は、内視鏡検査の実行に対する当該人の身体状況の適格度を説明するものである。患者の場合は、飲食を控える、消化管を空にする、消化管を空にして洗浄するために処方された薬を服用するなどの準備をする。医師の場合は、胃部の洗浄、検査すべきひだ部分のための胃部への空気注入などの準備をする。

【0087】

具体的には、収集された胃の内視鏡画像に食物残留物などが含まれている場合、患者の準備状態が悪く、消化管を空にするための要件が満たされていないことを決定することができる。収集された胃の内視鏡画像に分泌物などが多く含まれている場合は、医師の洗浄が不十分であると判断し、さらに洗浄を行うように医師に提示することができる。さらに、識別された準備の程度を出力することができる。出力は、ディスプレイ又はその他の提示の形式にすることができる。本開示の例示的実施形態により、準備状態に基づいて、患者及び医師に対応する注意事項をそれぞれ提示することができる。

【0088】

理解されるように、入力データ２３０のうちの画像に基づいて準備状態を決定する特定の例について、上述したが、本開示の例示的な実施形態によれば、内視鏡に配置された専用センサー（例えば、体内の環境パラメータを監視するセンサー）に基づいて、準備状態を決定することもできる。

【0089】

内視鏡２１０は、人体内で移動中に、移動が速すぎると、キーポイント位置を見逃し、患者に吐き気や痛みなどの不快感を与える可能性もある。したがって、内視鏡の運動軌跡がすべてのキーポイント位置をカバーし、また、患者の不快感を低減できるように、内視鏡２１０の運動状態を、運動の安定度に基づいて監視できることが、さらに期待されている。本開示の例示的な実施形態によれば、内視鏡２１０の運動の安定度は、内視鏡２１０が１セットのキーポイント位置に到達したときの１セットの時点に基づいて識別することができる。ここでの安定度は、患者の体内における内視鏡２１０の運動の安定度を指すことができる。さらに、識別された安定度を表示することができる。

【0090】

本開示の例示的な実施形態によれば、内視鏡２１０の運動速度の速度評価を、安定度に基づいて決定することができる。例えば、内視鏡２１０がより短い時間でより長い距離を移動した場合、それは、内視鏡２１０の移動がより激しく、回避されるべきであることを示している。このとき、より低い速度評価を与えることができ、また、キーポイント位置の見逃しを防ぐために、あまりにも激しく運動していることと、速度を落とす必要があることを医師に提示することができる。

【0091】

別の例として、内視鏡２１０の運動が適度である場合、より高い速度評価を与えることができる。別の例として、内視鏡２１０が長い時間で短い距離しか移動しなかった場合、移動はより平滑になるが、内視鏡検査の全体の時間が長くなる。したがって、速度評価を低下させ、内視鏡２１０を次の目的地にできるだけ速やかに移動させるよう医師に提示することができる。さらに別の例として、内視鏡の検査中の速度分布を監視することも可能であり、内視鏡２１０が検査の前半で５つのキーポイント位置の近くに留まり、後半で残りの３３個のキーポイント位置を迅速に通過したと仮定すると、検査の後半は不十分である可能性が高く、この場合は低い速度評価を与えることができる。

【0092】

全体の検査時間が所望の時間（例えば、１０分）に達したか否かに基づいて医師の操作が十分であるか否かを決定する技術的解決手段と比較すると、本開示の例示的実施形態により、医師の操作が所定基準を満たしているか否かは内視鏡２１０の速度分布に基づいて決定することができる。理解されるように、上記では入力データ２３０のうち画像に基づいて安定度を決定する特定の例が記載されているが、本開示の例示的な実施形態によれば、安定度は、内視鏡に配置された速度センサーに基づいて決定されてもよいことを理解されたい。

【0093】

医療支援の操作方法の詳細は、上記の図２～図９を参照して説明した。以下、医療支援操作装置における各モジュールについて、図１０を参照して説明する。図１０は、本開示にかかる例示的実施形態による医療支援操作装置１０１０（又は医療支援情報処理装置１０１０）のブロック図１０００を模式的に示す。図１０に示すように、内視鏡から入力データを取得するように構成された入力モジュール１０１２と、入力データに基づいて決定された、内視鏡の操作行為と関連する情報を出力するように構成された出力モジュール１０１８とを含む医療支援操作装置１０１０が提供される。

【0094】

本開示の例示的な実施形態によれば、入力データは、内視鏡の運動中に複数の位置で収集された画像データを含む。

【0095】

本開示の例示的な実施形態によれば、装置１０１０は、入力データに基づいて、内視鏡の操作行為に関連する前記情報を決定するように構成された処理モジュール１０１４をさらに含む。

【0096】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、入力データに基づいて内視鏡の次の目的地の位置を決定するようにさらに構成される。

【0097】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、入力データに基づいて内視鏡の運動軌跡を決定するようにさらに構成される。

【0098】

本開示の例示的な実施形態によれば、運動軌跡は、所定の１セットのキーポイント位置によって表される。

【0099】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、運動軌跡に基づいて内視鏡の次の目的地の位置を決定するようにさらに構成される。

【0100】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、内視鏡の次の時点での１セットの候補位置を決定し、１セットの候補位置のうち各候補位置の評価を決定し、及び、決定した評価に基づいて、１セットの候補位置から次の目的地の位置を選択するようにさらに構成される。

【0101】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、１セットの候補位置のうちの所与の候補位置について、運動軌跡と所与の候補位置に基づいて、内視鏡の運動軌跡候補を生成し、運動軌跡候補及び内視鏡検査の所定の運動軌跡に基づいて候補位置の評価を決定するようにさらに構成される。

【0102】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、運動軌跡の評価を決定するようにさらに構成される。

【0103】

本開示の例示的な実施形態によれば、装置１０１０は、内視鏡の作動状態を識別するように構成された識別モジュール１０１６をさらに含み、作動状態は、患者の識別子、体内・体外、及び検査部位のうち少なくともいずれかを含む。

【0104】

本開示の例示的な実施形態によれば、識別モジュール１０１６は、作動状態の切り替えを識別するようにさらに構成される。

【0105】

本開示の例示的な実施形態によれば、装置１０１０は、入力データに基づいて、内視鏡検査部位の準備状態を識別するように構成される識別モジュール１０１６をさらに含み、準備状態は、内視鏡検査の実行についての検査部位の適格度を示す。

【0106】

本開示の例示的な実施形態によれば、装置１０１０は、内視鏡が１セットのキーポイント位置に到達したときの１セットの時点に基づいて内視鏡の運動の安定度を決定するように構成された識別モジュール１０１６をさらに含む。

【0107】

本開示の例示的な実施形態によれば、処理モジュール１０１４はさらに、入力データに基づいて１セットのキーポイント位置を取得し、キーポイント位置に関連する入力データの時系列に基づいて運動軌跡を決定するように構成される。

【0108】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、入力データのうちのキーポイント位置にマッピングされた１セットの画像データを決定し、１セットの画像データの画質に基づいて、１セットの画像データの画質評価を決定し、決定された画質評価に基づいて、１セットの画像データのうち記憶のための画像データを選択するようにさらに構成される。

【0109】

本開示の例示的な実施形態によれば、装置１０１０は、選択された画像データに基づいて、キーポイント位置での画像の異常を識別するように構成された識別モジュール１０１６をさらに含む。

【0110】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、内視鏡検査を記述する第１モデルを取得し、第１モデルと入力データに基づいて移動軌跡を決定するようにさらに構成される。第１モデルは、内視鏡検査の実行中に複数のサンプル位置で収集されたサンプル入力データと、サンプル入力データを収集するための内視鏡のサンプル移動軌跡との関連関係を含む。

【0111】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、内視鏡動作仕様に従って実行された内視鏡検査で収集されたサンプル入力データを取得し、サンプル入力データに関連するサンプル運動軌跡を取得し、サンプル入力データとサンプル運動軌跡に基づいて第１モデルをトレーニングするようにさらに構成される。

【0112】

本開示の例示的な実施形態によれば、処理モジュール１０１４は、内視鏡検査を記述する第２モデルを取得し、第２モデル、入力データ、画像データの収集時刻に基づいて、内視鏡の運動軌跡を決定するようにさらに構成される。第２モデルは、内視鏡検査の実行中に複数のサンプル位置で収集されたサンプル入力データと、サンプル入力データが収集された複数の位置の対応するキーポイント位置との関連関係を含む。

【0113】

本開示の例示的な実施形態によれば、入力データに基づいて内視鏡の操作行為に関連する情報を決定することは、内視鏡の現在位置、現在位置で収集された画像データ、内視鏡の運動軌跡、内視鏡の次の目的地の位置、入力データに関する統計情報、及び操作行為に関する統計情報のうち少なくともいずれかを決定することを含む。

【0114】

本開示の例示的な実施形態によれば、入力データは、ビデオデータ、時系列で配列する１セットの画像シーケンス、及び時間情報を有する複数の画像データのうちの少なくともいずれかを含む。

【0115】

本開示の例示的な実施形態によれば、出力モジュール１０１８は、内視鏡の操作行為に関連する情報を送信するようにさらに構成される。

【0116】

本開示の例示的な実施形態によれば、医療支援操作装置１０１０の各モジュールは、１つ又は複数の処理回路によって実施することができる。

【0117】

図１１は本開示の内容にかかる例示的実施形態を実施するために用いられる例示的デバイス１１００の模式的なブロック図を示す。例えば、図１に示されるようなコンピューティングデバイス１３０は、デバイス１１００によって実装され得る。図面に示すように、デバイス１１００は、中央プロセッサユニット（ＣＰＵ）１１０１を含む。ＣＰＵ１１０１は、リードオンリーメモリ（ＲＯＭ）１１０２に記憶されたコンピュータプログラムの命令、又は記憶ユニット１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたコンピュータプログラムの命令に基づき、各種の適切な動作及び処理を実行することができる。ＲＡＭ１１０３にはさらに、デバイス１１００の操作に必要な各種プログラム及びデータを記憶することができる。ＣＰＵ１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３は、バス１１０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）ポート１１０５も、バス１１０４に接続されている。

【0118】

デバイス１１００における複数の部材は、Ｉ／Ｏポート１１０５に接続されている。複数の部材には、キーボード、マウスなどの入力ユニット１１０６、様々な種類のディスプレイ、スピーカなどの出力ユニット１１０７、磁気ディスク、光ディスクなどの記憶ユニット１１０８、及びネットワークインタフェースカード、モデム、無線通信送受信機などの通信ユニット１１０９が含まれる。通信ユニット１１０９によって、デバイス１１００は、インターネットのようなコンピュータネットワーク及び／又は各種電信ネットワークを介して、他のデバイスと情報／データを交換することができる。

【0119】

上述した各プロセス及び処理、例えば方法３００は、プロセッサユニット１１０１により実行することができる。例えば、いくつかの例示的実施形態において、方法３００は、コンピュータソフトウェアプログラムとして実現可能であり、記憶ユニット１１０８のようなマシン可読媒体に、有形記憶されている。いくつかの実施形態において、コンピュータプログラムの一部又は全部は、ＲＯＭ１１０２及び／又は通信ユニット１１０９を経由してデバイス１１００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ１１０３にロードされＣＰＵ１１０１により実行された場合、上述した方法３００の１つ又は複数の動作を実行することができる。

【0120】

本開示にかかる例示的実施形態では、医療支援操作デバイスが提供される。医療支援操作デバイスは、少なくとも１つのプロセッサユニットと、少なくとも１つのプロセッサユニットに結合され、少なくとも１つのプロセッサユニットによって実行される命令を記憶する少なくとも１つのメモリとを含み、命令は、少なくとも１つのプロセッサユニットによって実行された場合、該デバイスに上述した方法３００を実行させる。

【0121】

本開示は、方法、装置、システム及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本開示の各態様を実行するためのコンピュータが読み取り可能なプログラム命令が格納されたコンピュータ可読記憶媒体を備えることができる。

【0122】

コンピュータ可読記憶媒体は、命令実行デバイスにより使用される命令を保持し記憶することができる有形デバイスであり得る。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁気記憶装置、半導体記憶装置又は上述の任意の適切な組合せであり得るが、これらに限られない。コンピュータ可読記憶媒体のより具体的な例として（全てではない）、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去・書き込み可能なリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックＲＡＭ（ＳＲＡＭ：Static Random Access Memory）、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリースティック、フロッピーディスク、機械的エンコーダディスク、例えば命令が記憶されているパンチカード又は溝内の突起構造、及び上述の任意の適切な組合せが含まれる。ここで使用されるコンピュータ可読記憶媒体は、例えば無線電波若しくは他の自由伝播する電磁波、導波若しくは他の送信媒体を介して伝播する電磁波（例えば、光ケーブルを介する光パルス）、又は電線で送信される電気信号のような、瞬時の信号そのものであるとは解釈されない。

【0123】

ここで説明されるコンピュータが読み取り可能なプログラム命令は、コンピュータ可読記憶媒体から各計算／処理デバイスにダウンロードすることができ、又は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／若しくは無線ネットワークを介して外部のコンピュータ若しくは外部記憶装置にダウンロードすることができる。ネットワークは、銅線送信ケーブル、光ケーブル送信、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各計算／処理デバイスにおけるネットワークインタフェースカード又はネットワークインタフェースは、コンピュータが読み取り可能なプログラム命令をネットワークから受信し、該コンピュータが読み取り可能なプログラム命令を転送し、各計算／処理デバイスのコンピュータ可読記憶媒体に記憶されるようにする。

【0124】

本開示の操作を実行するためのコンピュータプログラム命令は、アセンブラ指示文、命令セットアーキテクチャ（ＩＳＡ：Instruction Set Architecture）の命令、機械語命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、一種類若しくは複数種類のプログラミング言語の任意の組合せで記述されたソースコード若しくはオブジェクトコードであり得る。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語、及び、「Ｃ」言語又は類似のプログラミング語言のような一般的なプロセス式プログラミング言語を含む。コンピュータが読み取り可能なプログラム命令は、全てユーザコンピュータ上で実行することができ、部分的にユーザコンピュータ上で実行することができ、１つの独立したソフトウェアパッケージとして実行することができ、ユーザコンピュータ上で部分的に実行するとともにリモートコンピュータ上で部分的に実行することができ、又は全てリモートコンピュータ若しくはサーバ上で実行することができる。リモートコンピュータにかかる状況において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続することができるか、又は、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを利用しインターネットを介して接続する）。いくつかの例示的実施形態では、コンピュータが読み取り可能なプログラム命令のステータス情報を利用して、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ＰＬＡ）のような電子回路をパーソナライズすることができる。該電子回路は、コンピュータが読み取り可能なプログラム命令を実行することで、本開示の各態様を実現することができる。

【0125】

ここでは、本開示にかかる例示的実施形態にかかる方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本開示の各態様を説明した。理解すべき点として、フローチャート及び／又はブロック図の各ブロック並びにフローチャート及び／又はブロック図の各ブロックの組合せは、いずれも、コンピュータが読み取り可能なプログラム命令により実現可能である。

【0126】

これらのコンピュータが読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットに提供されて、マシンを生成することができ、これらの命令がコンピュータ又は他のプログラミング可能なデータ処理装置のプロセッサユニットにより実行された場合、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する装置が生成される。これらのコンピュータが読み取り可能なプログラム命令は、コンピュータ可読記憶媒体に記憶されてもよい。これらの命令によって、コンピュータ、プログラミング可能なデータ処理装置及び／又はその他のデバイスは特定の方法で動作を行う。したがって、命令が記憶されているコンピュータ可読媒体は、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現する各態様の命令が含まれている製品を含む。

【0127】

コンピュータが読み取り可能なプログラム命令を、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスにロードして、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイス上で一連の操作ステップを実行させ、コンピュータが実現するプロセスを生成してもよい。こうすることで、コンピュータ、他のプログラミング可能なデータ処理装置又は他のデバイスで実行される命令に、フローチャート及び／又はブロック図の１つ又は複数のブロックで規定された機能／動作を実現させる。

【0128】

図中のフローチャート及びブロック図は、本開示の複数の例示的実施形態にかかるシステム、方法、コンピュータプログラム製品の実現可能なアーキテクチャ、機能及び操作を表している。この点において、フローチャート又はブロック図の各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を示すことができ、前記モジュール、プログラムセグメント又は命令の一部は、規定されたロジック機能を実現するための１つ又は複数の実行可能な命令を含む。代替としてのいくつかの実現形態において、ブロック内に表記された機能は、図中の表記と異なる順序で発生してもよい。例えば、２つの連続するブロックは実際には基本的に並行して実行することができるが、場合によっては反対の順序で実行されてもよい。これは、関係する機能によって定められる。また、注意すべき点として、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートのブロックの組合せは、規定された機能又は動作を実行する、ハードウェアに基づく専用システムで実現することができ、又は、専用のハードウェアとコンピュータ命令との組合せにより実現することができる。

【0129】

以上、本開示の各実施形態を説明したが、上述した説明は、例示的なもので、全て網羅したものではなく、開示された各実施形態に限定されない。説明した各実施形態の範囲及び趣旨から逸脱しない状況において、当業者が多数の修正及び変更を行うことができることは明らかである。ここで使用された用語は、各実施形態の原理、実際の応用又は市場での技術改良について最適な説明を行うこと、又は当業者に本明細書で開示された各実施形態を理解してもらうことを意図して、選択したものである。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】