特開 2023-170967 内視鏡装置、フレーム画像抽出方法、プログラム、及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023170967

(43)【公開日】2023-12-01

(54)【発明の名称】内視鏡装置、フレーム画像抽出方法、プログラム、及び内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20231124BHJP

   G02B 23/24 20060101ALI20231124BHJP

   G02B 23/26 20060101ALN20231124BHJP

【ＦＩ】

A61B1/045 619

A61B1/045 615

A61B1/045 614

A61B1/045 622

G02B23/24 B

G02B23/26 D

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022083101

(22)【出願日】2022-05-20

(71)【出願人】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】臼井 省吾

【テーマコード（参考）】

2H040

4C161

【Ｆターム（参考）】

2H040DA11

2H040DA21

2H040FA14

2H040GA02

2H040GA11

4C161AA29

4C161BB01

4C161CC06

4C161NN05

4C161NN07

4C161WW02

4C161WW13

4C161WW14

4C161WW18

(57)【要約】

【課題】検査で取得された動画に含まれる重要なフレーム画像を絞り込んで抽出することができる技術を提供する。
【解決手段】内視鏡装置は、被検体の内部に挿入される、撮像素子を含む挿入部と、操作受付部と、制御部とを備える。制御部は、撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加するタグ付け部と、複数種類のタグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、動画に含まれる複数のフレーム画像の中からフレーム画像を抽出する抽出部とを含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

被検体の内部に挿入される、撮像素子を含む挿入部と、
操作を受け付ける操作受付部と、
制御部と、
を備え、
前記制御部は、
前記撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、前記操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加するタグ付け部と、
複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する抽出部と、
を含む、
ことを特徴とする内視鏡装置。

【請求項2】

前記特定の特徴画像は、前記動画の記録処理前において前記操作受付部が受け付けた特徴画像選択操作に応じて決定される、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項3】

前記特定の特徴画像は、同種の被検体に対して過去に行われた記録処理により記録された動画に含まれるフレーム画像に前記タグ付け部により付加された前記特定の特徴画像に関するタグの内容に基づいて決定される、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項4】

前記特定の特徴画像は、同種の被検体に対して過去に行われた記録処理により記録された動画に含まれる、特定の種類のタグが付加されたフレーム画像の特徴を機械学習させることにより得られる、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項5】

前記２種類以上のタグは、前記操作受付部が受け付けたタグ選択操作に応じて選択される、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項6】

前記動画に含まれるフレーム画像に付加されたタグを表示する表示部、
を更に備え、
前記タグ選択操作は、前記表示部により表示されたタグの中から、前記２種類以上のタグを選択する操作である、
ことを特徴とする請求項５記載の内視鏡装置。

【請求項7】

前記表示部は、更に、前記動画のタイムバーを表示すると共に、当該動画に含まれるフレーム画像に付加されたたタグを前記タイムバー上に識別可能に表示する、
ことを特徴とする請求項６記載の内視鏡装置。

【請求項8】

前記動画のタイムバーを表示すると共に、当該動画に含まれるフレーム画像に付加されたたタグを前記タイムバー上に識別可能に表示する表示部、
を更に備え、
前記タグ選択操作は、前記表示部により表示された前記タイムバー上に識別可能に表示されたタグの中から、前記２種類以上のタグを領域指定により選択する操作である、
ことを特徴とする請求項５記載の内視鏡装置。

【請求項9】

前記２種類以上のタグのうち、一部の種類のタグは予め選択されており、他の種類のタグは前記操作受付部が受け付けたタグ選択操作に応じて選択される、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項10】

前記抽出部は、前記２種類以上のタグの各々について、前記動画における対応する区間を抽出し、当該区間に基づいて前記抽出を行う、
ことを特徴とする請求項１記載の内視鏡装置。

【請求項11】

前記抽出部により抽出されたフレーム画像を表示する表示部、
を更に備えることを特徴とする請求項１記載の内視鏡装置。

【請求項12】

被検体の内部に挿入される挿入部に含まれる撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加し、
複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する、
ことを特徴とするフレーム画像抽出方法。

【請求項13】

被検体の内部に挿入される挿入部に含まれる撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加し、
複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する、
処理をプロセッサに実行させることを特徴とするプログラム。

【請求項14】

内視鏡装置と、
制御装置と、
を備え、
前記内視鏡装置は、
被検体の内部に挿入される、撮像素子を含む挿入部と、
操作を受け付ける操作受付部と、
を含み、
前記制御装置は、
前記撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、前記操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加するタグ付け部と、
複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する抽出部と、
を含む、
ことを特徴とする内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、内視鏡装置、フレーム画像抽出方法、プログラム、及び内視鏡システムに関する。

【背景技術】

【0002】

内視鏡検査では被検体の内部を動画撮影し、検査後に確認する作業がある。この作業は、撮影された動画が長時間になるほど容易ではない。そこで、撮影された動画内の重要な部分（動画に含まれる重要なフレーム画像）のみを効率良く確認できる技術が求められている。

【0003】

特許文献１には、カプセル型内視鏡を用いた検査で取得された画像を処理する画像処理装置が記載されている。この画像処理装置は、検査で取得された画像群（今回画像群）から抽出した複数種類の特徴画像（例えば、幽門画像、クリップ画像、ファーター氏乳頭画像、及びバウヒン弁画像）の撮像時刻と、同一被検体に対する過去の検査で取得された画像群（過去画像群）から抽出した対応する複数種類の特徴画像の撮像時刻とを比較し、今回画像群の特徴画像間の時間間隔が、過去画像群の対応する特徴画像間の時間間隔よりも基準値以上長い場合に、今回画像群のその特徴画像間の時間間隔内に撮像された画像に対して、観察注意画像である旨を示すフラグを付加する。そして、今回画像群の表示の際に、フラグを付加した画像を、医療従事者の注意を喚起して集中的に観察させるため、他の画像とは異なる形式で表示させる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５５６８１９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

工業分野の内視鏡検査では、被検体の内部（例えば、タービン内部のブレード等）の特徴が類似している。そのため、特許文献１に記載の画像処理装置のように画像の特徴のみに基づいて画像を抽出するようにした場合には、重要な画像の絞り込みが不十分になる。また、特許文献１に記載の画像処理装置のように装置が自動で画像を抽出するようにした場合には、その画像が何を基準に抽出されたものであるのかをユーザ（検査者）は知ることができない。

【0006】

本発明の一側面に係る目的は、検査で取得された動画に含まれる重要なフレーム画像を絞り込んで抽出することができる技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る内視鏡装置は、被検体の内部に挿入される、撮像素子を含む挿入部と、操作を受け付ける操作受付部と、制御部と、を備え、前記制御部は、前記撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、前記操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加するタグ付け部と、複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する抽出部と、を含む。

【0008】

本発明の一態様に係るフレーム画像抽出方法は、被検体の内部に挿入される挿入部に含まれる撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加し、複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する。

【0009】

本発明の一態様に係るプログラムは、被検体の内部に挿入される挿入部に含まれる撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加し、複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する、処理をプロセッサに実行させる。

【0010】

本発明の一態様に係る内視鏡システムは、内視鏡装置と、制御装置と、を備え、前記内視鏡装置は、被検体の内部に挿入される、撮像素子を含む挿入部と、操作を受け付ける操作受付部と、を含み、前記制御装置は、前記撮像素子から出力される撮像信号に基づいて生成される複数のフレーム画像を含む動画の記録処理中において、前記複数のフレーム画像のうち、前記操作受付部が操作を受け付けたタイミングに対応するフレーム画像に当該操作に関する情報をタグとして付加し、特定の特徴画像として認識されたフレーム画像に当該特定の特徴画像に関する情報をタグとして付加するタグ付け部と、複数種類の前記タグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、前記動画に含まれる前記複数のフレーム画像の中からフレーム画像を抽出する抽出部と、を含む。

【発明の効果】

【0011】

上記の態様によれば、検査で取得された動画に含まれる重要なフレーム画像を絞り込んで抽出することができる技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】一実施の形態に係る内視鏡装置１の外観構成を例示する図である。

【図2】一実施の形態に係る内視鏡装置１の内部構成を例示する図である。

【図3】動画記録開始操作に応じて制御部３４が行う処理の流れを例示するフローチャートである。

【図4】動画選択操作に応じて制御部３４が行う処理の流れを例示するフローチャートである。

【図5】Ｓ２２０で表示され、Ｓ２３０でタグが選択された条件選択画面を例示する図である。

【図6】Ｓ２４０での抽出の具体例を説明する図である。

【図7】Ｓ２２０で表示される条件選択画面の変形例を示す図である。

【図8】Ｓ２２０で表示される条件選択画面の変形例を示す図である。

【図9】領域指定によるタグの選択例を示す図である。

【図10】コンピュータ１００のハードウェア構成を例示する図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら本発明の実施の形態について説明する。

【0014】

図１は、一実施の形態に係る内視鏡装置１の外観構成を例示する図である。図１に例示した内視鏡装置１は、工業分野の内視鏡検査で使用されるものであって、挿入部１０と、操作部２０と、本体部３０とを備える。

【0015】

挿入部１０は、タービンやエンジン等の被検体の内部に挿入可能な細長形状を有し、先端部１１と、湾曲自在に形成された湾曲部１２と、可撓性を有する長尺な可撓管部１３とを有する。

【0016】

操作部２０は、湾曲部１２を所望の方向に湾曲させるための操作（湾曲操作）を受け付けるジョイスティック（湾曲操作子）２１や、各種の入力を行うための操作を受け付ける複数のボタン（不図示）等を有する。

【0017】

本体部３０は、表示部３１や外部インタフェース３２等を有する。表示部３１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置であり、被写体となる被検体内部の画像や条件選択画面等の各種画面の表示、記録された動画の再生表示等を行う。また、表示部３１は、各種の入力を行うためのタッチ操作を受け付けるタッチパネル３１ａを有する。タッチパネル３１ａ及び上述の操作部２０は、ユーザ（検査者）の操作を受け付ける操作受付部の一例である。外部インタフェース３２は、外部記憶装置（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ）等の外部装置が接続される。

【0018】

図２は、一実施の形態に係る内視鏡装置１の内部構成を例示する図である。図２に例示したように、内視鏡装置１において、挿入部１０が有する先端部１１は、撮像光学系１１ａ、撮像素子１１ｂ、発光素子１１ｃ、及び照明光学系１１ｄを含む。

【0019】

撮像光学系１１ａは、被写体像を撮像素子１１ｂに結像する。撮像素子１１ｂは、撮像光学系１１ａにより結像された被写体像を撮像（光電変換）して撮像信号を生成し、本体部３０（画像生成部３３）へ出力する。撮像素子１１ｂは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等である。

【0020】

発光素子１１ｃは、被写体を照明するための照明光を発する。発光素子１１ｃは、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等である。照明光学系１１ｄは、発光素子１１ｃが発した照明光を被写体に照射する。なお、本実施形態では、発光素子１１ｃが発した照明光で被写体を照明するようにしたが、例えば、本体部３０が備える光源部が発した照明光を挿入部１０等に挿通されたライトガイドで導光して被写体を照明するように構成してもよい。

【0021】

操作部２０は、ジョイスティック２１や図示しない複数のボタン等に対する操作を受け付け、当該操作に応じた信号を本体部３０（制御部３４）へ出力する。

【0022】

本体部３０は、上述の表示部３１及び外部インタフェース３２の他、画像生成部３３、制御部３４、及び記録部３５を含む。なお、表示部３１が有するタッチパネル３１ａは、タッチ操作を受け付け、当該タッチ操作に応じた信号を制御部３４へ出力する。

【0023】

画像生成部３３は、撮像素子１１ｂから出力される撮像信号に対して所定の信号処理を施すことによりフレーム画像を生成すると共に、生成したフレーム画像を制御部３４へ順次出力する。画像生成部３３は、例えば、画像生成回路により構成される。

【0024】

制御部３４は、内視鏡装置１の各部を制御する。例えば、制御部３４は、撮像素子１１ｂの駆動、照明（発光素子１１ｃ）の点灯／消灯、湾曲部１２の湾曲、表示部３１の表示等を制御する。照明の点灯／消灯の制御は、操作部２０又はタッチパネル３１ａに対する操作（照明操作）に応じて行われ、湾曲部１２の湾曲の制御は、操作部２０（ジョイスティック２１）に対する操作（湾曲操作）に応じて行われる。

【0025】

また、制御部３４は、各種の処理を行う。例えば、制御部３４は、画像生成部３３から順次出力されるフレーム画像を表示部３１に表示させる処理や、画像生成部３３から順次出力される複数のフレーム画像を含む動画を記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録する処理（動画記録処理）や、記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録された動画を表示部３１に表示（再生表示）させる処理等を行う。

【0026】

また、制御部３４は、動画記録処理中において、例えば、特定の特徴画像を認識する特徴画像認識処理を行ったり、操作部２０又はタッチパネル３１ａに対する操作（計測操作、コメント付与操作、評価結果付与操作、マーキング付与操作等）に応じて、フレーム画像に表されているキズの長さ等を計測する計測処理、フレーム画像にコメントを付与する処理、フレーム画像に評価結果を付与する処理、フレーム画像にマーキングを付与する処理等を行ったりする。なお、コメントや評価結果を付与する処理では、操作部２０又はタッチパネル３１ａに対する操作により、任意のコメントや任意の評価結果が入力されて付与されるようにしてもよいし、予め用意されている複数のコメントや複数の評価結果の中から選択されたコメントや評価結果が付与されるようにしてもよい。

【0027】

また、制御部３４は、タグ付け部３４ａ、及び抽出部３４ｂを含む。

【0028】

タグ付け部３４ａは、動画記録処理中において、動画に含まれる複数のフレーム画像のうち、操作部２０又はタッチパネル３１ａが操作を受け付けたタイミングに対応するフレーム画像に、その操作に関する情報をタグとして付加する。例えば、タグ付け部３４ａは、照明点灯操作が受け付けられたタイミングに対応するフレーム画像に、照明点灯の照明操作に関する情報をタグとして付加し、照明消灯操作が受け付けられたタイミングに対応するフレーム画像に、照明消灯の照明操作に関する情報をタグとして付加する。また、タグ付け部３４ａは、湾曲操作が受け付けられたタイミングに対応するフレーム画像に、湾曲操作に関する情報（湾曲角度の情報を含む）をタグとして付加する。なお、湾曲操作が継続して行われた場合は、その湾曲操作が継続して行われた期間に含まれるタイミングに対応するフレーム画像に、湾曲操作に関する情報がタグとして付加される。また、タグ付け部３４ａは、計測処理を開始させる操作が受け付けられたタイミングに対応するフレーム画像に、計測処理開始の計測操作に関する情報（計測対象（例えばキズ）の情報を含む）をタグとして付加し、計測処理を終了させる操作が受け付けられたタイミングに対応するフレーム画像に、計測処理終了の計測操作に関する情報（計測対象、計測結果（例えばキズの計測値）の情報を含む）をタグとして付加する。また、タグ付け部３４ａは、コメント付与操作が受け付けられたタイミングに対応するフレーム画像に、コメント付与操作に関する情報をタグとして付加する。また、タグ付け部３４ａは、評価結果付与操作が受け付けられたタイミングに対応するフレーム画像に、評価結果付与操作に関する情報をタグとして付加する。また、タグ付け部３４ａは、マーキング付与操作が受け付けられたタイミングに対応するフレーム画像に、マーキング付与操作に関する情報をタグとして付加する。

【0029】

また、タグ付け部３４ａは、動画記録処理中において、動画に含まれる複数のフレーム画像のうち、特徴画像認識処理により特定の特徴画像として認識されたフレーム画像に、その特定の特徴画像に関する情報をタグとして付加する。特定の特徴画像は、例えば、ユーザが注目する部位が表された画像である。具体的には、歯車が表された画像、ブレードが表された画像、エルボが表された画像等である。このような特定の特徴画像は、例えば、動画記録処理前において、操作部２０又はタッチパネル３１ａに対する特徴画像選択操作に応じて決定される。

【0030】

抽出部３４ｂは、複数種類のタグの中から選択された２種類以上のタグのうちの少なくとも１種類のタグに基づいて、動画記録処理により記録された動画に含まれる複数のフレーム画像の中からフレーム画像を抽出する。例えば、抽出部３４ｂは、複数種類のタグの中から選択された２種類以上のタグのＡＮＤ条件又はＯＲ条件に基づいて、フレーム画像を抽出する。２種類以上のタグは、例えば、操作部２０又はタッチパネル３１ａに対するタグ選択操作に応じて選択される。タグ選択操作は、動画に含まれるフレーム画像に付加されたタグの中から、２種類以上のタグを選択する操作である。

【0031】

このような制御部３４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含んで構成される。そして、プロセッサがＲＡＭをワークエリア等として使用しながらＲＯＭに記憶されているプログラムを実行することにより、制御部３４の機能が実現される。制御部３４、又は、制御部３４及び画像生成部３３は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等により構成されてもよい。

【0032】

記録部３５は、動画等を記録する。記録部３５は、制御部３４のプロセッサが実行するプログラムを記録してもよい。記録部３５は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性メモリである。

【0033】

以上のように構成された内視鏡装置１では、内視鏡検査時においてユーザが、表示部３１に表示された画像を確認しながら挿入部１０を被検体の内部に挿入していき、先端部１１が所望の観察位置に到達したところで操作部２０又はタッチパネル３１ａに対する動画記録開始操作を行うと、制御部３４が図３に例示する処理を開始する。

【0034】

図３は、動画記録開始操作に応じて制御部３４が行う処理の流れを例示するフローチャートである。図３に例示した処理では、まず、制御部３４は、動画記録処理を開始する（Ｓ１１０）。動画記録処理は、画像生成部３３から順次出力される複数のフレーム画像を含む動画を記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録する処理である。

【0035】

次に、制御部３４は、Ｓ１２０乃至Ｓ１２３の処理とＳ１３０乃至Ｓ１３２の処理とを並列に行う。

【0036】

Ｓ１２０乃至Ｓ１２３の処理では、まず、制御部３４は、操作受付処理を開始する（Ｓ１２０）。操作受付処理は、操作部２０又はタッチパネル３１ａに対する操作を受け付ける処理である。Ｓ１２０に続くＳ１２１乃至Ｓ１２３の処理は、操作部２０又はタッチパネル３１ａに対する動画記録終了操作が受け付けられるまで、繰り返し行われる処理である。Ｓ１２１乃至Ｓ１２３の処理では、まず、制御部３４は、操作部２０又はタッチパネル３１ａに対する操作を受け付けたか否かを判定し（Ｓ１２１）、その判定結果がＮＯの場合は本判定を繰り返す。一方、Ｓ１２１の判定結果がＹＥＳの場合、制御部３４は、受け付けた操作に応じて、対応する制御又は処理を実行し（Ｓ１２２）、タグ付け部３４ａが、その操作を受け付けたタイミングに対応するフレーム画像に、その操作に関する情報をタグとして付加する（Ｓ１２３）。

【0037】

Ｓ１３０乃至Ｓ１３２の処理では、まず、制御部３４は、特徴画像認識処理を開始する（Ｓ１３０）。特徴画像認識処理は、画像生成部３３から順次出力されるフレーム画像（動画に含まれるフレーム画像でもある）において、特定の特徴画像（より詳しくは特定の特徴が表された画像）を認識する処理である。なお、特徴画像認識処理は、画像生成部３３から順次出力されるフレーム画像において、特定の特徴を認識する処理でもある。特定の特徴が表された画像は、例えば、ユーザが注目する部位が表された画像（歯車、ブレード、又はエルボ等が表された画像）であり、動画記録処理前（動画記録処理開始前）において、操作部２０又はタッチパネル３１ａに対する特徴画像選択操作に応じて決定される。特徴画像選択操作は、例えば、表示部３１に表示された複数の特徴画像（例示的な特徴画像）の中から特定の特徴が表された画像を選択する操作であってもよいし、表示部３１に表示された複数の部位の項目（「歯車」、「ブレード」、「エルボ」等）の中から特定の部位の項目を選択する操作であってもよい。Ｓ１３０に続くＳ１３１及びＳ１３２の処理は、操作部２０又はタッチパネル３１ａに対する動画記録終了操作が受け付けられるまで、繰り返し行われる処理である。Ｓ１３１及びＳ１３２の処理では、まず、制御部３４は、特徴画像認識処理により特定の特徴（特定の特徴が表された画像）が認識されたか否かを判定し（Ｓ１３１）、その判定結果がＮＯの場合は本判定を繰り返す。一方、Ｓ１３１の判定結果がＹＥＳの場合、タグ付け部３４ａは、特定の特徴が認識されたフレーム画像（特定の特徴が表された画像として認識されたフレーム画像）に、その特定の特徴（特徴画像）に関する情報をタグとして付加する（Ｓ１３２）。

【0038】

そして、操作部２０又はタッチパネル３１ａが動画記録終了操作を受け付けると、制御部３４は、Ｓ１１０で開始した動画記録処理を終了し（Ｓ１４０）、Ｓ１２０で開始した操作受付処理を終了し（Ｓ１５０）、Ｓ１３０で開始した特徴画像認識処理を終了し（Ｓ１６０）、図３に例示した処理を終了する。これにより、例えば、タグが付加されたフレーム画像を含む動画が記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録される。

【0039】

このようにして動画が記録された後、内視鏡装置１では、ユーザが記録された動画を確認するために、記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録された動画（タグが付加されたフレーム画像を含む動画）を、操作部２０又はタッチパネル３１ａに対する動画選択操作により選択すると、制御部３４が図４に例示する処理を開始する。

【0040】

図４は、動画選択操作に応じて制御部３４が行う処理の流れを例示するフローチャートである。図４に例示した処理では、まず、制御部３４は、動画選択操作により選択された動画に含まれるフレーム画像に付加されたタグを種類別に分類する（Ｓ２１０）。次に、制御部３４は、Ｓ２１０で分類されたタグを含む条件選択画面を表示部３１に表示させる（Ｓ２２０）。

【0041】

次に、制御部３４は、Ｓ２２０で表示された条件選択画面において、操作部２０又はタッチパネル３１ａに対するタグ選択操作に応じて、抽出条件とするタグを選択する（Ｓ２３０）。ここでは、複数のタグを選択した場合に、その複数のタグのＡＮＤ条件又はＯＲ条件を抽出条件とすることができる。具体的には、ＡＮＤ条件が設定された場合は、複数のタグの全てが付加されたフレーム画像が抽出され、ＯＲ条件が設定された場合は、設定された複数のタグうちの少なくとも１つが付加されたフレーム画像が抽出される。ＡＮＤ条件を設定してフレーム画像を抽出した場合、ＯＲ条件に比べてより重要なフレーム画像を絞り込むことができる。一方、ＯＲ条件を設定してフレーム画像を抽出した場合、重要なフレーム画像に加えてそれらのフレーム画像が取得された前後のフレーム画像を取得することが出来る。

【0042】

次に、抽出部３４ｂは、動画に含まれる複数のフレーム画像の中から、Ｓ２３０で選択された抽出条件とするタグに基づいてフレーム画像を抽出する（Ｓ２４０）。次に、制御部３４は、Ｓ２４０で抽出されたフレーム画像を表示部３１に表示（再生表示）させる（Ｓ２５０）。なお、Ｓ２４０及びＳ２５０の処理は、Ｓ２３０で選択された抽出条件とするタグに基づいて動画における該当区間（該当期間）を抽出し、当該該当区間の部分動画を再生表示させることでもある。

【0043】

次に、制御部３４は、操作部２０又はタッチパネル３１ａに対する抽出条件変更操作が行われたか否かを判定し（Ｓ２６０）、その判定結果がＹＥＳの場合は、処理がＳ２２０に戻る。一方、Ｓ２６０の判定結果がＮＯの場合、制御部３４は、図４に例示した処理を終了する。

【0044】

図５は、Ｓ２２０で表示され、Ｓ２３０でタグが選択された条件選択画面を例示する図である。図５に例示した条件選択画面には、Ｓ２１０で分類された種類別のタグとして、「照明」（照明操作）、「湾曲」（湾曲操作）、「計測（キズ）」（キズの計測操作）、「特徴画像（歯車）」（特定の特徴画像（歯車））、「コメント」（コメント付与操作）、「評価結果」（評価結果付与操作）、及び「マーキング」（マーキング付与操作）に関するタグが含まれている。また、各タグに対応するチェックボックス４１（４１ａ～４１ｇ）も含まれている。ユーザは、この中から、所望のタグに対応するチェックボックス４１にチェックを入れることで、所望のタグを選択することができる。図５に例示した条件選択画面では、チェックボックス４１ｃ、４１ｄ、４１ｅにチェックが入れられて「計測（キズ）」、「特徴画像（歯車）」、「コメント」に関するタグが選択されている。また、図５に例示した条件選択画面では、「湾曲」における湾曲角度の範囲（例えば「＊＊度以上」）や「計測（キズ）」における計測値の範囲（例えば「＊＊ｍｍ以上」）も指定することができ、抽出する範囲を限定することもできる。

【0045】

図６は、Ｓ２４０での抽出の具体例を説明する図である。この具体例では、図５に例示した条件選択画面において、抽出条件のタグとして「計測（キズ）」、「特徴画像（歯車）」、「コメント」に関するタグが選択され、それらのタグのＡＮＤ条件が抽出条件とされたものとする。この場合、Ｓ２４０の抽出では、まず、選択されたタグ毎に動画における該当区間を特定する。詳しくは、「計測（キズ）」に関するタグが付加されたフレーム画像に基づいて計測処理区間を特定し、「特徴画像（歯車）」に関するタグが付加されたフレーム画像に基づいて特徴画像認識区間を特定し、「コメント」に関するタグが付加されたフレーム画像に基づいてコメント付与区間を特定する。計測処理区間は、計測処理開始の計測操作に関するタグが付加されたフレーム画像から、計測処理終了の計測操作に関するタグが付加されたフレーム画像までの区間である。特徴画像認識区間は、特定の特徴画像（歯車）に関するタグが付加されたフレーム画像の区間である。コメント付与区間は、コメント付与操作に関するタグが付加されたフレーム画像の時点を含む所定時間（例えば１分間）の区間である。この具体例では、図６に示したように、動画記録時間が「０１：３２：００」の動画において、計測処理区間が「００：０２：００」～「００：０３：００」の区間と「０１：３０：３０」～「０１：３１：３０」の区間と特定され、特徴画像認識区間が「００：０１：００」～「００：０３：３０」の区間と「０１：３０：００」～「０１：３１：３０」の区間と特定され、コメント付与区間が「００：０２：００」～「００：０３：００」の区間と「０１：３０：３０」～「０１：３１：３０」の区間と特定される。このようにして、選択されたタグ毎の区間が特定されると、次に、そのタグ毎の区間のＡＮＤ条件を満たす区間を抽出する。この具体例では、「００：０２：００」～「００：０３：００」の区間と「０１：３０：３０」～「０１：３１：３０」の区間とが抽出される。これは、則ち、その区間に含まれるフレーム画像が抽出されることでもある。この具体例では、その区間に含まれるフレーム画像は、キズの計測処理が行われたフレーム画像であって、且つ、歯車が表されたフレーム画像であって、且つ、コメントが付与された時点を含む所定時間（例えば１分間）内のフレーム画像となる。

【0046】

なお、図６には、参考のため、その他（未選択）のタグが付加されたフレーム画像に基づいて特定された区間についても示している。詳しくは、「照明」に関するタグが付加されたフレーム画像に基づいて特定された照明点灯区間と、「湾曲」に関するタグが付加されたフレーム画像に基づいて特定された湾曲操作区間と、「評価結果」に関するタグが付加されたフレーム画像に基づいて特定された評価結果付与区間と、「マーキング」に関するタグが付加されたフレーム画像に基づいて特定されたマーキング付与区間も示している。照明点灯区間は、照明点灯の照明操作に関するタグが付加されたフレーム画像から、照明消灯の照明操作に関するタグが付加されたフレーム画像までの区間である。湾曲操作区間は、湾曲操作に関するタグが付加されたフレーム画像の区間である。評価結果付与区間は、評価結果付与操作に関するタグが付加されたフレーム画像の時点を含む所定時間（例えば１分間）の区間である。マーキング付与区間は、マーキング付与操作に関するタグが付加されたフレーム画像の時点を含む所定時間（例えば１分間）の区間である。図６では、照明点灯区間が「００：００：３０」～「０１：３２：００」の区間となり、湾曲操作区間が「００：００：３０」～「００：０１：３０」の区間となり、評価結果付与区間が「００：０２：３０」～「００：０３：３０」の区間と「０１：３１：００」～「０１：３２：００」の区間となり、マーキング付与区間が「００：０１：３０」～「００：０２：３０」の区間と「０１：３０：００」～「０１：３１：００」の区間となる。

【0047】

以上のように、本実施形態に係る内視鏡装置１によれば、内視鏡検査で取得された動画に含まれる複数のフレーム画像の中から、１種類の条件要素（１種類のタグ）による抽出条件に限らず、複数種類の条件要素（複数種類のタグ）による抽出条件に基づいて、フレーム画像を抽出することができるので、重要なフレーム画像をより絞り込んで抽出することができる。また、ユーザは、抽出条件とする条件要素を選択できるので、何を基準に抽出されたものであるかを把握することができる。

【0048】

なお、本実施形態では、Ｓ２２０で表示される条件選択画面に含まれるタグにおいて、図７に例示するように、一部のタグが選択済みとして固定されるようにしてもよい。図７は、Ｓ２２０で表示される条件選択画面の変形例を示す図である。図７に例示した条件選択画面では、「特徴画像（歯車）」に関するタグが選択済みとして固定されている。また、選択済みとして固定されていることが識別可能なように他のタグと異なる形式で表示されている。この例では、所定のパターンが重畳されることで他のタグと異なる形式で表示されているが、グレーアウトされることで他のタグと異なる形式で表示されるようにしてもよい。図７に例示した条件選択画面によれば、ユーザは、「特徴画像（歯車）」に関するタグ以外のタグを選択することで、動画における特徴画像認識区間（例えば、図６に示した特徴画像認識区間である「００：０１：００」～「００：０３：３０」の区間と「０１：３０：００」～「０１：３１：３０」の区間）において、更に、選択したタグによって区間を絞り込むことができる。なお、動画が、「特徴画像（歯車）」に関するタグが付加されたフレーム画像や「特徴画像（ブレード）」に関するタグが付加されたフレーム画像等といったように、複数種類の特定の特徴画像に関するタグが付加されたフレーム画像を含む場合には、図７に例示した条件選択画面において、選択済みとして固定される特定の特徴画像に関するタグをユーザが指定できるようにしてもよい（例えば、「特徴画像（ブレード）」に関するタグを指定）。このような図７に例示した条件選択画面により、複数のタグのうちより重要なタグを予め設定することができるため、目的のフレーム画像をより正確に抽出することが出来る。

【0049】

また、本実施形態において、Ｓ２２０で表示される条件選択画面は、図８に例示するように、動画のタイムバー５３を更に含むと共に、当該タイムバー５３上にＳ２１０で分類されたタグを識別可能に表示するようにしてもよい。図８は、Ｓ２２０で表示される条件選択画面の変形例を示す図である。図８に例示した条件選択画面には、Ｓ２１０で分類されたタグとして、「照明」、「計測（キズ）」、「特徴画像（歯車）」、「コメント」に関するタグが含まれ、その各タグに対応するチェックボックス５１（５１ａ～５１ｄ）とアイコン５２（５２ａ～５２ｄ）が含まれている。また、図８に例示した条件選択画面には、更に動画のタイムバー５３が含まれ、そのタイムバー５３上には、Ｓ２１０で分類されたタグに対応するアイコン５２が、対応する位置に表示されている。このような図８に例示した条件選択画面によれば、ユーザは、タイムバー５３上に表示されているアイコン５２を確認しながら所望のタグのチェックボックス５１にチェックを入れることで、所望のタグを選択することができる。なお、タイムバー５３上において、「特徴画像（歯車）」に関するタグに対応するアイコン５２ｃが表示される位置は、例えば、その特徴画像が認識され始めたタイミングの位置とされる。このような図８に例示した条件選択画面により、タグが付与されたタイミングとタグの種類を視覚的に把握することができ、フレーム画像の抽出をより直感的に行うことが出来る。

【0050】

また、図８に例示した条件選択画面において、タグの選択は、図９に例示するように、タイムバー５３上に表示されているアイコン５２を領域指定（例えばドラッグ操作）により選択することで行われてもよい。図９は、領域指定によるタグの選択例を示す図である。図９に示した選択例では、タイムバー５３上に表示されている「計測（キズ）」に関するタグに対応するアイコン５２ｂと「特徴画像（歯車）」に関するタグのアイコン５２ｃとが領域指定により選択されることで、「計測（キズ）」に関するタグと「特徴画像（歯車）」に関するタグが選択されている。この場合、領域指定により選択されたタグのチェックボックス５１ｂ、５１ｃには、自動でチャックが入れられる。このように、領域指定によりタグが選択されてもよい。

【0051】

また、本実施形態では、Ｓ２４０で抽出されたフレーム画像（Ｓ２４０で抽出された動画の該当区間）を用いて、動画の一部である部分動画を生成し、記録部３５又は外部インタフェース３２に接続された外部記憶装置に記録するようにしてもよい。これにより、その部分動画を後でも確認することができる。

【0052】

また、本実施形態において、動画記録処理中に特徴画像認識処理により認識される特定の特徴画像は、例えば、同種の被検体に対して過去に熟練検査者の操作の下で行われた動画記録処理により記録された動画に含まれるフレーム画像にタグ付け部３４ａにより付加された特定の特徴画像に関するタグの内容に基づいて決定されてもよい。これにより、例えば、経験の浅い検査者の下で行われる動画記録処理においても、熟練検査者の操作の下で行われた動画記録処理のときと同様の特定の特徴画像に関するタグを付加することができる。

【0053】

また、本実施形態において、動画記録処理中に特徴画像認識処理により認識される特定の特徴画像は、例えば、同種の被検体に対して過去に行われた動画記録処理により記録された動画に含まれる、特定の種類のタグが付加されたフレーム画像の特徴を機械学習させることにより得られるものであってもよい。これにより、例えば、特定の特徴画像が、キズの計測操作に関するタグが付加されたフレーム画像の特徴を機械学習させることにより得られたものであった場合には、キズの計測操作が行われるべきフレーム画像に対してタグを付加することができる。このときのタグには、キズの計測操作が行われるべきフレーム画像である旨の情報が含まれてもよい。また、このときの特定の特徴画像は、計測結果（計測値）の範囲が限定されたキズの計測操作（例えば、「＊＊ｍｍ以上」のキズの計測操作）に関するタグが付加されたフレーム画像の特徴を機械学習させることにより得られるものであってもよい。これにより、範囲が限定されたキズの計測操作が行われるべきフレーム画像に対してタグを付加することができる。

【0054】

また、本実施形態において、本体部３０は、有線又は無線によりネットワークに接続されて当該ネットワークに接続された外部装置（サーバ等）との間で通信を行うための通信インタフェースを備えてもよい。これにより、例えば、内視鏡装置１で取得されたデータ（動画等）をクラウド上で共有することができる。

【0055】

また、本実施形態において、本体部３０の一部（例えば制御部３４等）の機能を外部の制御装置により実現するようにして、内視鏡装置１を、内視鏡装置と制御装置とを備える内視鏡システムとして実現するようにしもよい。この場合、その制御装置は、図１０に例示するコンピュータ１００により実現されてもよい。

【0056】

図１０は、コンピュータ１００のハードウェア構成を例示する図である。図１０に例示したコンピュータ１００は、プロセッサ１０１、メモリ１０２、入力装置１０３、出力装置１０４、記憶装置１０５、可搬型記憶媒体駆動装置１０６、通信インタフェース１０７、及び入出力インタフェース１０８を備え、その各々は、バス１０９に接続されて互いにデータの送受信が可能である。

【0057】

プロセッサ１０１は、ＣＰＵ等であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーション等のプログラムを実行することにより、各種の処理を行う。メモリ１０２は、ＲＡＭ及びＲＯＭを含む。ＲＡＭには、プロセッサ１０１が実行するプログラムの一部等が一時的に格納される。また、ＲＡＭは、プロセッサ１０１のワークエリアとしても使用される。ＲＯＭには、プロセッサ１０１が実行するプログラムやプログラムの実行に必要な各種データ等が記憶される。

【0058】

入力装置１０３は、キーボード、マウス、タッチパネル、ジョイスティック等である。出力装置１０４は、ＬＣＤ等の表示装置である。

【0059】

記憶装置１０５は、データを記憶する装置であり、ＨＤＤ、ＳＳＤ等である。可搬型記憶媒体駆動装置１０６は、可搬型記憶媒体１０６ａを駆動し、その記憶内容にアクセスしてデータの読み出しや書き込み等を行う。可搬型記憶媒体１０６ａは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記憶媒体１０６ａには、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ブルーレイディスク、ＵＳＢメモリ、ＳＤカードメモリ等も含まれる。

【0060】

通信インタフェース１０７は、有線又は無線によりネットワークに接続され、当該ネットワークに接続された外部装置との間で通信を行うためのインタフェースである。入出力インタフェース１０８は、内視鏡装置等の外部装置と接続され、当該外部装置との間でデータの入出力を行うためのインタフェースである。

【0061】

このようなコンピュータ１００において、プロセッサ１０１が実行するプログラムやプログラムの実行に必要な各種データは、メモリ１０２に限らず、記憶装置１０５や可搬型記憶媒体１０６ａに記憶されてもよい。また、プロセッサ１０１が実行するプログラムやプログラムの実行に必要な各種データは、外部装置からネットワーク、通信インタフェース１０７を介して、メモリ１０２、記憶装置１０５、及び可搬型記憶媒体１０６ａのうちの１つ以上に記憶されてもよい。

【0062】

また、コンピュータ１００は、図１０に例示したものに限らず、図１０に例示した一部の構成要素を複数備えて構成されてもよいし、一部の構成要素を省いて構成されてもよい。例えば、コンピュータ１００は、複数のプロセッサを備えてもよい。

【0063】

また、コンピュータ１００は、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを含んで構成されてもよい。例えば、プロセッサ１０１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0064】

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

【符号の説明】

【0065】

１ 内視鏡システム
１０ 挿入部
１１ 先端部
１１ａ 撮像光学系
１１ｂ 撮像素子
１１ｃ 発光素子
１１ｄ 照明光学系
１２ 湾曲部
１３ 可撓管部
２０ 操作部
２１ ジョイスティック
３０ 本体部
３１ 表示部
３１ａ タッチパネル
３２ 外部インタフェース
３３ 画像生成部
３４ 表示部
３４ａ タグ付け部
３４ｂ 抽出部
３５ 記録部
４１、４１ａ、４１ｂ、４１ｃ、４１ｄ、４１ｅ、４１ｆ、４１ｇ チェックボックス
５１、５１ａ、５１ｂ、５１ｃ、５１ｄ チェックボックス
５２、５２ａ、５２ｂ、５２ｃ、５２ｄ アイコン
５３ タイムバー
１００ コンピュータ
１０１ プロセッサ
１０２ メモリ
１０３ 入力装置
１０４ 出力装置
１０５ 記憶装置
１０６ 可搬型記憶媒体駆動装置
１０６ａ 可搬型記憶媒体
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】