特許 7253152 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-29

(45)【発行日】2023-04-06

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20230330BHJP

   G06T 7/00 20170101ALI20230330BHJP

【ＦＩ】

A61B1/045 614

A61B1/045 618

G06T7/00 616

【請求項の数】 11

(21)【出願番号】P 2020550252

(86)(22)【出願日】2019-09-12

(86)【国際出願番号】 JP2019035926

(87)【国際公開番号】W WO2020071086

(87)【国際公開日】2020-04-09

【審査請求日】2021-03-17

(31)【優先権主張番号】P 2018189241

(32)【優先日】2018-10-04

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２８年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人工知能を用いた統合的ながん医療システムの開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】▲高▼橋 郁磨

(72)【発明者】

【氏名】佐野 真貴

(72)【発明者】

【氏名】田光 公康

(72)【発明者】

【氏名】奥津 元靖

(72)【発明者】

【氏名】田中 千恵美

(72)【発明者】

【氏名】西光 雅弘

(72)【発明者】

【氏名】今岡 仁

(72)【発明者】

【氏名】上條 憲一

(72)【発明者】

【氏名】浜本 隆二

(72)【発明者】

【氏名】齋藤 豊

(72)【発明者】

【氏名】山田 真善

【審査官】永田 浩司

(56)【参考文献】

【文献】特開２０１２－２４９９３６（ＪＰ，Ａ）

【文献】米国特許第１１１０３１９７（ＵＳ，Ｂ２）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

体内が撮影された動画を構成する複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出部と、
前記検出された異常領域に関する出力情報を出力する出力部と、を有し、
前記出力部は、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記出力情報の出力が行われている状態において、前記スコアが第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さく、
同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定部をさらに有し、
前記出力部は、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定部は、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、情報処理装置。

【請求項2】

体内が撮影された動画を構成する複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出部と、
前記検出された異常領域に関する出力情報を出力する出力部と、を有し、
前記出力部は、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記スコアが前記第１閾値以上となって前記出力情報の出力が開始された後、前記スコアが前記第１閾値以下となっても、前記スコアが第２閾値より大きい間は、前記出力情報の出力を継続し、
前記出力情報の出力が行われている状態において、前記スコアが前記第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さい、情報処理装置。

【請求項3】

同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定部を有し、
前記出力部は、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定部は、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、請求項２に記載の情報処理装置。

【請求項4】

前記出力部は、同一の異常部位を表す前記異常領域のグループごとに前記スコアを算出する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記出力部は、同一の異常部位を表す前記異常領域のグループについて、そのグループに含まれる各前記異常領域が前記体内の異常な部位を表す確度の統計値を算出し、その統計値に基づく値を、そのグループについての前記スコアとする、請求項４に記載の情報処理装置。

【請求項6】

コンピュータによって実行される情報処理方法であって、
前記コンピュータが、複数の動画フレームを取得する取得ステップと、
前記コンピュータが、体内が撮影された動画を構成する前記複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出ステップと、
前記コンピュータが、前記検出された異常領域に関する出力情報を出力する出力ステップと、を有し、
前記出力ステップにおいて、前記コンピュータは、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記出力情報の出力が行われている状態において、前記スコアが第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さく、
前記コンピュータが、同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定ステップをさらに有し、
前記出力ステップにおいて、前記コンピュータは、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定ステップにおいて、前記コンピュータは、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、情報処理方法。

【請求項7】

コンピュータによって実行される情報処理方法であって、
前記コンピュータが、複数の動画フレームを取得する取得ステップと、
前記コンピュータが、体内が撮影された動画を構成する前記複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出ステップと、
前記コンピュータが、前記検出された異常領域に関する出力情報を出力する出力ステップと、を有し、
前記出力ステップにおいて、前記コンピュータは、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記スコアが前記第１閾値以上となって前記出力情報の出力が開始された後、前記スコアが前記第１閾値以下となっても、前記スコアが第２閾値より大きい間は、前記出力情報の出力を継続し、
前記出力情報の出力が行われている状態において、前記スコアが前記第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さい、情報処理方法。

【請求項8】

前記コンピュータが、同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定ステップを有し、
前記出力ステップにおいて、前記コンピュータは、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定ステップにおいて、前記コンピュータは、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、請求項７に記載の情報処理方法。

【請求項9】

前記出力ステップにおいて、前記コンピュータは、同一の異常部位を表す前記異常領域のグループごとに前記スコアを算出する、請求項６～８のいずれか一項に記載の情報処理方法。

【請求項10】

前記出力ステップにおいて、前記コンピュータは、同一の異常部位を表す前記異常領域のグループについて、そのグループに含まれる各前記異常領域が前記体内の異常な部位を表す確度の統計値を算出し、その統計値に基づく値を、そのグループについての前記スコアとする、請求項９に記載の情報処理方法。

【請求項11】

請求項６～１０のいずれか一項に記載の情報処理方法の各ステップをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像を用いた人その他の動物の体内の検査に関する。

【0002】

人や動物の体内が撮像された画像を利用することで、体内に異常がないかどうかを調べる検査が行われている。その一例として、内視鏡検査がある。内視鏡検査では、医師が、先端にカメラが設けられたスコープを被検者の鼻や口、肛門などから挿入して、そのスコープを体内で動かす。こうすることにより、体内の様子がカメラによって撮像される。医師は、カメラによって撮像されている体内の様子をディスプレイ装置に描出される動画を見ながら、被検者の体内に異常な部位がないかどうかをチェックしていく。

【0003】

このような画像を利用した検査をサポートする技術が開発されている。例えば特許文献１は、画像から病変を検出し、検出した病変を他の部分とは異なる色調に変更することで、病変を他の部分と容易に識別できるようにする技術を開示している。特許文献２は、画像に含まれる病変の検出及びその重症度を算出し、病変の位置やその重症度を示す印を画像にマーキングする技術を開示している。特許文献３は、画像から病変を検出した際、その病変の大きさに応じた表示態様で、その病変に関するアイコンを出力する技術を開示している。特許文献４は、内視鏡装置によって生成される観察画像を表示するシステムにおいて、観察画像から病変候補領域が継続して検出された場合に、その病変候補領域に対応する位置を強調して表示する技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－０６０８０６号公報

【文献】特開２０１６－１５８６８１号公報

【文献】特開２０１５－１１２４２９号公報

【文献】国際公開第２０１７／０８１９７６号

【発明の概要】

【発明が解決しようとする課題】

【0005】

被検者の体内でカメラを動かして検査する方法では、体内でカメラを移動させていくため、医師が観察できる部位が時間と共に変わっていく。そのため、医師が異常な部位を見逃してしまう可能性があり、実際に、検査を担当する医師によって病変発見率に差が生じている。そこで、被検者の体内が撮像された画像を用いた検査の質を向上させるために、検査をサポートする多様な技術が求められている。

【0006】

本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の情報処理装置は、１）体内が撮影された動画を構成する複数の動画フレームそれぞれから、体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出部と、２）検出された異常領域に関する出力情報を出力する出力部と、を有する。
出力部は、出力情報の出力が行われていない状態において、異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、出力情報の出力を開始し、出力情報の出力が行われている状態において、スコアが第２閾値以下になったら、出力情報の出力を終了する。第２閾値は第１閾値よりも小さい。

【0008】

本発明の制御方法は、コンピュータによって実行される。当該制御方法は、１）体内が撮影された動画を構成する複数の動画フレームそれぞれから、体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出ステップと、２）検出された異常領域に関する出力情報を出力する出力ステップと、を有する。
出力ステップにおいて、出力情報の出力が行われていない状態において、異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、出力情報の出力を開始し、出力情報の出力が行われている状態において、スコアが第２閾値以下になったら、出力情報の出力を終了する。第２閾値は第１閾値よりも小さい。

【0009】

本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、被検者の体内が撮像された画像を用いた検査の質を向上させる新たな技術が提供される。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】実施形態１の情報処理装置を概念的に例示する図である。

【図2】情報処理装置の機能構成を例示するブロック図である。

【図3】情報処理装置を実現するための計算機を例示する図である。

【図4】情報処理装置の利用環境の具体例を示す図である。

【図5】実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。

【図6】異常領域の位置を表すマークのバリエーションを例示する図である。

【図7】動画フレームに異常領域が含まれることを表すメッセージを例示する図である。

【図8】実施形態２の情報処理装置の機能構成を例示するブロック図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また各ブロック図において、特に説明がない限り、各ブロックは、ハードウエア単位の構成ではなく機能単位の構成を表している。

【0014】

［実施形態１］
図１は、実施形態１の情報処理装置２０００を概念的に例示する図である。図１は、情報処理装置２０００の理解を容易にするためにその動作の一例を示しているにすぎず、情報処理装置２０００の機能を何ら限定するものではない。

【0015】

カメラ１０は、人その他の動物の検査に利用される。以下、検査対象の人などを被検者と呼ぶ。カメラ１０は、被検者の体内を撮像可能な任意のカメラであり、その撮像結果を表す動画フレーム１４を生成する。例えばカメラ１０は、内視鏡カメラである。動画データ１２は、互いに異なる時間に生成された複数の動画フレーム１４で構成される。

【0016】

情報処理装置２０００のユーザ（例えば医師）は、動画データ１２を見ることで、被検者の体内の様子を把握する。より具体的には、ユーザは、被検者の体内に異常な部分があるか否かや、その異常の程度などを把握する。ここで、「体内の異常な部分」は、例えば病変がある部分、傷ついている部分、又は異物がある部分などである。病変とは、病気が原因で起こる生体の変化であり、例えば腫瘍などである。

【0017】

ここで、動画データ１２を解析して得られる有用な情報を提示することで、内視鏡検査などの精度向上が期待できる。例えば内視鏡検査では、医師などが、被検者の体内をカメラで観察しながら体内の異常部位を探す。この際、異常部位がカメラによって撮像されたにもかかわらず、医師がそれを見逃してしまう可能性がある。そのため、医師が異常部位を把握しやすいようにサポートを行い、異常部位の見逃しを防ぐことが好適である。

【0018】

そこで本実施形態の情報処理装置２０００は、以下のような動作を行う。まず情報処理装置２０００は、動画データ１２を取得して、動画データ１２を構成する動画フレーム１４を画像解析する。具体的には、情報処理装置２０００は、動画フレーム１４から異常領域３０を検出する。異常領域３０は、被検者の体内の異常な部分を表すと推測される領域である。例えば図１の異常領域３０は、腫瘍を含む領域（病変を表す領域）である。言い換えれば、情報処理装置２０００は、動画フレーム１４の中から、体内の異常な部位を表す確率が高い（例えば、所定の閾値以上である）画像領域を１つ以上検出し、検出した各画像領域を、異常領域３０として扱う。

【0019】

情報処理装置２０００は、異常領域３０の検出に基づいて、出力情報を出力する。例えば出力情報は、動画フレーム１４における異常領域３０の位置を表すマーク（枠など）である。例えば情報処理装置２０００は、ユーザが閲覧できるように動画データ１２をディスプレイ装置に出力する際、異常領域３０が検出された動画フレーム１４については、その異常領域３０の位置を表すマークを重畳して出力するようにする。こうすることで、動画データ１２を見たユーザが、体内の異常な部分を容易に把握できるようになる。

【0020】

その他にも例えば、出力情報は、ビープ音などの所定の音声を表すデータであってもよい。このような所定の音声を出力させることにより、この音声を聞いたユーザが、体内から異常な部分が検出されたことを容易に把握できるようになる。

【0021】

ここで、このように異常領域３０の検出に基づく出力を行う際、ナイーブな手法として、「異常領域３０が検出されたら出力情報を出力し、異常領域３０が検出されなかったら出力情報を出力しない」という方法が考えられる。例えば前述の、動画フレーム１４に異常領域３０の位置を表すマークを重畳させる例で考えれば、異常領域３０が検出された動画フレーム１４には異常領域３０の位置を表すマークを重畳させ、異常領域３０が検出されなかった動画フレーム１４にはそのようなマークを重畳させないという方法になる。

【0022】

しかしながらこの方法では、ユーザにとって出力情報が扱いにくい（見にくい又は聞きにくい）ものとなる蓋然性が高い。これは、体内の異常な部分を撮像することで複数の動画フレーム１４を得た場合に、必ずしも全ての動画フレーム１４から異常領域３０が検出されるとは限らず、異常領域３０が検出されない動画フレーム１４も存在しうるためである（理由は後述する）。このような状況下で前述したナイーブな手法を適用すると、体内のほぼ同じ範囲を撮像して動画データ１２を得たとしても、出力情報が出力されたり、出力されなかったりすることとなる。例えば前述したマークであれば、体内のほぼ同じ範囲を撮像することで得られた動画データ１２をユーザに見せる場合でも、マークが表示されたり表示されなかったりすることになり、ユーザの目からは、マークが不規則な短い時間間隔で点滅しているように見えてしまう。

【0023】

そこで情報処理装置２０００は、次のような動作をする。まず情報処理装置２０００は、出力情報の出力が行われていない状態において、異常領域３０が検出される動画フレーム１４の数の割合に関するスコア（以下、検出スコア）を算出し、検出スコアが第１閾値以上になったら、出力情報の出力を開始する。言い換えれば、検出スコアが第１閾値未満である間は、出力情報の出力が行われない。例えば検出スコアは、異常領域３０の検出を試みた所定数の動画フレーム１４のうち、異常領域３０が検出された動画フレーム１４の数の割合（すなわち、異常領域３０が検出された動画フレーム１４の数／上記所定数）として算出される。

【0024】

このように、異常領域３０が検出される動画フレーム１４の数の割合が一定程度大きくなるまで出力情報の出力を行わないことで、例えばノイズが誤って異常領域３０として誤検出された場合など、短い間だけ（例えば１フレームだけ）異常領域３０が検出されるような場合には、出力情報の出力が行われない。そのため、ユーザにとって出力情報が扱いにくいものとなってしまうことを防ぐことができる。

【0025】

また、情報処理装置２０００は、出力情報の出力が行われている状態においても検出スコアを算出し、検出スコアが閾値以下になったら、出力情報の出力を終了する。ここで、仮にこの閾値を第１閾値と同じ値にすると（すなわち、検出スコアが第１閾値以下になったら出力情報の出力を終了するようにすると）、例えば検出スコアが第１閾値に近い値で増減した場合に、不規則な短い時間間隔で、出力情報が出力されたり、出力されなかったりを繰り返す可能性がある。そのため、前述したように、出力情報がユーザにとって扱いにくいものとなってしまう。

【0026】

この点、一度異常領域３０について出力情報の出力が開始されたら、その異常領域３０がノイズなどによって誤検出されたものである蓋然性は低いと考えられる。そこで情報処理装置２０００では、第２閾値を第１閾値よりも小さい値にする。こうすることで、検出スコアが第１閾値以上となって出力情報の出力が開始されたら、その後検出スコアが第１閾値以下となっても、検出スコアが第２閾値以上である間は、出力情報の出力が継続される。すなわち、異常領域３０が検出される動画フレーム１４の数の割合が一定程度大きくなって出力情報の出力が開始された後は、その割合が多少小さくなったとしても、出力情報の出力が継続されるようになる。そのため、出力情報がユーザにとって扱いやすいものとなる。

【0027】

以下、本実施形態についてさらに詳細を述べる。

【0028】

＜機能構成＞
図２は、情報処理装置２０００の機能構成を例示するブロック図である。情報処理装置２０００は検出部２０２０及び出力部２０４０を有する。検出部２０２０は、動画データ１２を構成する複数の動画フレーム１４それぞれから異常領域３０を検出する。出力部２０４０は、検出された異常領域３０に関する出力情報を出力する。ここで、出力情報の出力が行われていない状態において、出力部２０４０は、異常領域３０が検出される動画フレーム１４の数の割合に基づく検出スコアが第１閾値以上になったら、出力情報の出力を開始する。一方、出力情報の出力が行われている状態において、出力部２０４０は、上記検出スコアが第２閾値以下になったら、出力情報の出力を終了する。

【0029】

＜情報処理装置２０００のハードウエア構成の例＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0030】

図３は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどの据え置き型の計算機である。その他にも例えば、計算機１０００は、スマートフォンやタブレット端末などの可搬型の計算機である。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

【0031】

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。

【0032】

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

【0033】

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、カメラ１０やディスプレイ装置２０が接続される。

【0034】

ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0035】

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

【0036】

＜情報処理装置２０００の利用環境の具体例＞
図４は、情報処理装置２０００の利用環境の具体例を示す図である。例えば情報処理装置２０００は、スコープ４０及び内視鏡システム５０と共に利用される。スコープ４０は内視鏡システム５０と接続されている。また、スコープ４０にはカメラ１０が設けられている。このケースでは、動画データ１２は、スコープ４０に設けられたカメラ１０によって生成される複数の動画フレーム１４で構成される。内視鏡システム５０は、動画データ１２を情報処理装置２０００へ出力する。例えば動画データ１２は、内視鏡システム５０に設けられている映像出力用のインタフェース（例えば HDMI（High-Definition Multimedia Interface）（登録商標）インタフェース）から、情報処理装置２０００が有する映像入力用のインタフェースへ出力される。そして情報処理装置２０００は、内視鏡システム５０から取得した動画データ１２を処理して、出力情報の出力を行う。

【0037】

ここで、後述するように、出力情報はディスプレイ装置２０を用いて行われる表示であってもよいし、それ以外であってもよい。前者の場合、情報処理装置２０００は、ディスプレイ装置２０を制御して、出力情報と共に動画データ１２をディスプレイ装置２０に表示させる。一方、後者の場合、動画データ１２をディスプレイ装置２０に表示させる処理は、情報処理装置２０００によって行われてもよいし、他の装置（例えば内視鏡システム５０）によって行われてもよい。動画データ１２をディスプレイ装置２０に表示させる処理が内視鏡システム５０によって行われる場合、ディスプレイ装置２０が情報処理装置２０００に接続されている必要は無い。

【0038】

なお、図４に示した構成はあくまで例示であり、情報処理装置２０００の利用環境は図４に示した構成に限定されない。例えば情報処理装置２０００は、カメラ１０、内視鏡システム５０、又はディスプレイ装置２０の内部に設けられてもよい。その他にも例えば、動画データ１２は、カメラ１０から情報処理装置２０００へ出力されてもよい。この場合、情報処理装置２０００は、内視鏡システム５０と接続されなくてもよい。

【0039】

＜処理の流れ＞
図５は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ１０２からＳ１２２は、所定の終了条件が満たされるまで繰り返し実行されるループ処理Ａである。所定の終了条件には、任意の終了条件を予め設定しておく。例えば所定の終了条件は、ユーザから所定の入力操作（終了ボタンの押下など）を受け付けることである。

【0040】

情報処理装置２０００は、所定の終了条件が満たされているか否かを判定する（Ｓ１０２）。所定の終了条件が満たされている場合、図５の処理は終了する。一方、所定の終了条件が満たされていない場合、図５の処理はＳ１０４に進む。

【0041】

出力部２０４０は、処理対象の動画フレームを取得する（Ｓ１０４）。検出部２０２０が処理対象とする動画フレーム１４は、例えば、まだ処理していない動画フレーム１４のうちで最も生成時刻が早い動画フレームである。検出部２０２０は、処理対象の動画フレームについて、異常領域３０の検出を行う（Ｓ１０６）。出力部２０４０は検出スコアを算出する（Ｓ１０８）。出力部２０４０は、出力情報の出力が行われているか否かを判定する（Ｓ１１０）。

【0042】

出力情報の出力が行われていない場合（Ｓ１１０：ＮＯ）、出力部２０４０は、検出スコアが第１閾値以上であるか否かを判定する（Ｓ１１２）。検出スコアが第１閾値以上である場合（Ｓ１１２：ＹＥＳ）、出力部２０４０は、出力情報の出力を開始する（Ｓ１１４）。

【0043】

出力情報の出力が行われている場合（Ｓ１１０：ＹＥＳ）、出力部２０４０は、検出スコアが第２閾値以下であるか否かを判定する（Ｓ１１６）。検出スコアが第２閾値以下である場合（Ｓ１１６：ＹＥＳ）、出力部２０４０は、出力情報の出力を終了する（Ｓ１１８）。検出スコアが第２閾値より大きい場合（Ｓ１１６：ＮＯ）、出力部２０４０は、出力情報を出力する（Ｓ１２０）。

【0044】

Ｓ１２２はループ処理Ａの終端であるため、図５の処理はＳ１０２に戻る。

【0045】

＜動画フレーム１４の取得：Ｓ１０４＞
検出部２０２０は、処理対象の動画フレーム１４を取得する（Ｓ１０４）。検出部２０２０が動画フレーム１４を取得する方法は任意である。例えば検出部２０２０は、動画フレーム１４が記憶されている記憶装置にアクセスすることで、動画フレーム１４を取得する。動画フレーム１４が記憶されている記憶装置は、カメラ１０の内部に設けられていてもよいし、カメラ１０の外部に設けられていてもよい。また例えば、検出部２０２０は、カメラ１０から送信される動画フレーム１４を受信することで、動画フレーム１４を取得してもよい。さらに検出部２０２０は、カメラ１０に接続されている他の装置（例えば前述した内視鏡システム５０）から動画フレーム１４を取得してもよい。

【0046】

なお、検出部２０２０は、動画フレーム１４を取得する際、動画フレーム１４を１つずつ取得してもよいし、動画フレーム１４を複数まとめて（例えば、動画データ１２を構成する全ての動画フレーム１４を一括で）取得してもよい。前者の場合、例えば検出部２０２０は、カメラ１０によって新たな動画フレーム１４が生成される度に、その動画フレーム１４を取得する。後者の場合、例えば検出部２０２０は、所定の時間間隔で、まだ取得していない複数の動画フレーム１４を取得する。

【0047】

＜異常領域３０の検出：Ｓ１０６＞
検出部２０２０は、動画データ１２を構成する各動画フレーム１４から異常領域３０を検出する（Ｓ１０６）。具体的には、検出部２０２０は、動画フレーム１４の中から、体内の異常部位を表す確度が閾値以上である画像領域を検出し、その画像領域を異常領域３０とする。ここで、体内が撮像されている画像を解析することで、体内の異常部位を表す画像領域を検出する技術には、既存の技術を利用することができる。

【0048】

例えば異常領域３０の検出には、特徴量マッチングやテンプレートマッチングなどの手法が利用できる。例えば特徴量マッチングで腫瘍を検出する場合、腫瘍の外観（色、模様、又は形状など）の特徴を表す値（特徴量）を予め１つ以上定義しておく。検出部２０２０は、動画フレーム１４の画像領域の中から、予め定めておいた腫瘍の特徴量との類似度が閾値以上である画像領域を、動画フレーム１４から検出する。そして、検出部２０２０は、検出された画像領域を、異常領域３０を表す画像領域として扱う。傷や異物を検出するケースについても同様の方法を採用できる。

【0049】

その他にも例えば、動画フレーム１４から異常領域３０を検出する検出器を機械学習により生成しておき、その検出器を利用して異常領域３０の検出を行ってもよい。検出器のモデルには、ニューラルネットワークやサポートベクトルマシンなどの様々なモデルを採用することができる。なお、画像から特定の特徴を持つ領域を検出する検出器を機械学習により生成する技術には、既存の技術を利用することができる。

【0050】

なお、異物を検出したいケースにおいて、体内に入ってしまった異物が特定されているとする。この場合、その異物の特徴量を情報処理装置２０００に対して指定できるようにしておくことが好適である。例えば、体内に入ってしまった異物の写真を情報処理装置２０００に対して入力する。情報処理装置２０００は、この写真を画像解析することで、検出対象の異物の特徴量を算出する。そして、検出部２０２０は、算出した特徴量を持つ異物を動画フレーム１４から検出する。

【0051】

＜検出スコアの算出：Ｓ１０８＞
出力部２０４０は、検出スコアを算出する（Ｓ１０８）。前述した様に、検出スコアは、異常領域３０が検出される動画フレーム１４の数の割合に基づいて算出される。例えば出力部２０４０は、異常領域３０が検出される動画フレーム１４の数の割合を算出し、その割合そのものを、検出スコアとして用いる。

【0052】

ここで、異常領域３０が検出される動画フレーム１４の数の割合を算出する方法には、様々な方法を採用することができる。例えば出力部２０４０は、或る動画フレーム１４について異常領域３０を検出する処理を行ったら、その動画フレーム１４を含む過去所定数の動画フレーム１４のうち、異常領域３０が検出された動画フレーム１４の数の割合（異常領域３０が検出された動画フレーム１４の数／所定数）値を、異常領域３０が検出される動画フレーム１４の数の割合とする。

【0053】

例えば、出力部２０４０が動画フレームＸから異常領域３０を検出したとする。また、動画フレームＸを含む過去１０枚の動画フレーム１４のうち、５枚の動画フレーム１４から異常領域３０が検出されたとする。この場合、出力部２０４０は、検出スコアとして 1/2 を算出する。

【0054】

その他にも例えば、出力部２０４０は、異常領域３０が検出された動画フレーム１４の数そのものを、検出スコアとしてもよい。例えば、出力部２０４０が動画フレームＸから異常領域３０を検出したとする。また、動画フレームＸを含む過去１０枚の動画フレーム１４のうち、５枚の動画フレーム１４から異常領域３０が検出されたとする。この場合、出力部２０４０は、検出スコアを５とする。

【0055】

＜＜異常領域３０の同定＞＞
ここで、検出スコアは、同一の異常部位を表す異常領域３０ごとに算出される。例えば或る動画フレームＸから、異常部位Ａを表す異常領域３０と、異常部位Ｂを表す異常領域３０が検出されたとする。この場合、出力部２０４０は、異常部位Ａを表す異常領域３０が検出される動画フレーム１４の数の割合に基づく検出スコアと、異常部位Ｂを表す異常領域３０が検出される動画フレーム１４の数に基づく検出スコアのそれぞれを算出する。例えば、動画フレームＸを含む過去１０枚の動画フレーム１４のうち、異常部位Ａを表す異常領域３０が検出された動画フレーム１４は５枚であり、異常部位Ｂを表す異常領域３０が検出された動画フレーム１４は３枚であるとする。この場合、出力部２０４０は、異常部位Ａを表す異常領域３０についての検出スコアとして 1/2 を算出し、異常部位Ｂを表す異常領域３０についての検出スコアとして 3/10 を算出する。

【0056】

このように同一の異常部位を表す異常領域３０ごとに検出スコアを算出するために、検出部２０２０は、それぞれ異なる動画フレーム１４から検出された複数の異常領域３０を、互いに同一の異常部位を表す異常領域３０ごとにグループ分けする。すなわち、異常領域３０の同定を行う。そして、出力部２０４０は、同一の異常部位を表す異常領域３０のグループごとに、前述した検出スコアを算出する。

【0057】

ここで、異常領域３０の同定には、動画データの各動画フレームから検出されるオブジェクトについて同定を行う既存の技術を利用することができる。例えば、異常領域３０の同定は、異常領域３０の特徴量の類似度に基づいて行うことができる。

【0058】

＜確度に基づく重み付け＞
出力部２０４０が算出する検出スコアは、異常領域３０が検出される動画フレーム１４の数や割合そのものでなくてもよい。前述した様に、検出部２０２０は、各異常領域３０について、その異常領域３０が異常部位を表す確度を算出する。そこで例えば、出力部２０４０は、過去所定数の動画フレーム１４について、同じグループに属する異常領域３０（同じ異常部位を表す異常領域３０）それぞれが異常部位を表す確度の統計値（積算値や平均値など）を算出し、この統計値を、その異常領域３０についての検出スコアとして算出する。

【0059】

例えば上記所定数を１０とし、検出部２０２０が、過去１０枚の動画フレーム１４のうち、３つの動画フレームＸ、Ｙ、及びＺから、それぞれ同じ異常部位Ａを表す異常領域３０を検出したとする。そして、動画フレームＸ、Ｙ、及びＺから検出された異常領域３０それぞれにおいて、異常部位を表す確度が 0.9、0.7、及び 0.4 であったとする。この場合、出力部２０４０は、これらの確度の積算値である 2.0 を、異常部位Ａを表す異常領域３０の検出スコアとして算出する。

【0060】

なお、出力部２０４０は、前述した確度の統計値に代えて、確度の統計値を上記所定数で割った値を検出スコアとしてもよい。

【0061】

＜出力が行われているか否かの判定：Ｓ１１０＞
出力部２０４０は、出力情報の出力が行われているか否かの判定を行う（Ｓ１１０）。この判定は、例えば、出力の状態を表す出力フラグを記憶装置に記憶させておき、その出力フラグを参照することで実現する。例えば出力フラグは、値が０であれば非出力状態を表し、値が１であれば出力状態を表す。出力フラグの初期値は０に設定しておく。

【0062】

出力部２０４０は、出力フラグの値が１であれば、出力情報の出力が行われていると判定する。一方、出力部２０４０は、出力フラグの値が０であれば、出力情報の出力が行われていないと判定する。また、出力部２０４０は、出力情報の出力を開始する時に（Ｓ１１４）、出力フラグの値を１に変更する。一方、出力部２０４０は、出力情報の出力を終了する時に（Ｓ１１８）、出力フラグの値を０に変更する。

【0063】

＜出力情報の出力：Ｓ１１４、Ｓ１２０＞
出力部２０４０は、出力情報の出力が行われていない状態において（Ｓ１１０：ＮＯ）、検出スコアが第１閾値以上になったら（Ｓ１１２：ＹＥＳ）、出力情報の出力を開始する（Ｓ１１４）。また、出力情報の出力が行われている状態において（Ｓ１１０：ＹＥＳ）、検出スコアが第２閾値より大きければ（Ｓ１１６：ＮＯ）、出力情報を出力する（Ｓ１２０）。例えば出力情報は、表示や音声である。以下、表示と音声それぞれのケースについて例示する。

【0064】

＜＜表示の出力＞＞
異常領域３０の検出に基づく表示には、様々なものを採用できる。例えば異常領域３０の検出に基づく表示は、動画フレーム１４から検出された異常領域３０の位置を表すマークである。すなわち、出力部２０４０は、処理対象の動画フレーム１４に対し、その動画フレーム１４から検出された異常領域３０の位置を表すマークを重畳させる。図６は、異常領域３０の位置を表すマーク６０のバリエーションを例示する図である。

【0065】

例えば出力部２０４０は、ディスプレイ装置２０に動画データ１２（複数の動画フレーム１４）を出力する。この際、出力情報の出力を行わない場合には、出力部２０４０は、動画フレーム１４をそのまま出力する。一方、出力情報の出力を行う場合には、出力部２０４０は、マーク６０を重畳した動画フレーム１４を出力する。

【0066】

その他にも例えば、異常領域３０の検出に基づく表示は、動画フレーム１４に異常領域３０が含まれることを表すメッセージである。図７は、動画フレーム１４に異常領域３０が含まれることを表すメッセージを例示する図である。図７において、出力部２０４０は、動画データ１２を含むウインドウ７０をディスプレイ装置２０に表示させている。出力情報を出力する状態においては、出力部２０４０は、動画データ１２の上にメッセージ７２を表示させている。

【0067】

ここで前述した様に、仮に検出スコアを考慮せず、動画フレーム１４から異常領域３０が検出されたらメッセージ７２を出力し、動画フレーム１４から異常領域３０が検出されなかったらメッセージ７２を出力しない（消去する）という態様でメッセージ７２が出力されると、不規則な短い時間間隔でメッセージ７２の表示・非表示が繰り返されるということが起こりうる。その結果、ユーザにはメッセージ７２が不規則に点滅しているように見えてしまい、メッセージ７２が見にくくなってしまう。

【0068】

この点、情報処理装置２０００によれば、検出スコアを考慮した制御を行うことにより、不規則な短い時間間隔でメッセージ７２の表示・非表示が繰り返されるということが起こらないため、メッセージ７２がユーザにとって見やすいものになる。

【0069】

その他にも例えば、異常領域３０の検出に基づく表示は、異常領域３０が含まれる動画フレーム１４を強調する表示である。例えば強調表示の例としては、動画フレーム１４の枠を太くしたり、動画フレーム１４の枠の色を変えたりするといったものがある。このような強調表示も、検出スコアを考慮せずに行うと、ユーザにとって見にくいものとなってしまう。例えば、動画フレーム１４の枠が不規則な短い時間間隔で変化するようになってしまう。この点、情報処理装置２０００によれば、このように動画フレーム１４の枠が不規則な短い時間間隔で変化するということは起こらず、ユーザにとって見やすい態様で強調表示を実現できる。

【0070】

ここで、出力部２０４０は、前述した種々の表示を複数種類表示させてもよい。例えば図７において、メッセージ７２に加え、異常領域３０の位置を表すマーク６０を表示させてもよい。

【0071】

出力情報の出力先は、ディスプレイ装置に限定されない。例えば出力部２０４０は、出力情報を重畳させた動画データ１２を、記憶装置に記憶させてもよい。

【0072】

＜＜音声の出力＞＞
出力部２０４０は、異常領域３０の検出に基づく表示に代えて、又はその表示と共に、音声を出力してもよい。例えば出力部２０４０は、出力が行われていない状態において（Ｓ１１０：ＮＯ）、検出スコアが第１閾値以上になったら（Ｓ１１２：ＹＥＳ）、所定の音声（例えばビープ音）を表す音声データの出力を開始する（Ｓ１１４）。そして、出力が行われている状態において（Ｓ１１０：ＹＥＳ）、検出スコアが第２閾値以下になったら（Ｓ１１６：ＹＥＳ）、所定の音声の出力を終了する（Ｓ１１８）。

【0073】

音声データは、例えば、情報処理装置２０００に接続されているスピーカに対して出力される。これにより、スピーカから、音声データによって表される所定の音声が出力される。また、音声データは、予め出力部２０４０からアクセス可能な記憶装置に記憶させておく。

【0074】

仮に検出スコアを考慮せずに、異常領域３０の検出に応じて音声を出力するとする。この場合、不規則な短い時間間隔で表示の出力・非出力が繰り返されるおそれがあることと同様の理由により、不規則な短い時間間隔で音声の出力・非出力が繰り返されるおそれがあり、ユーザにとって音声が聞きづらいものになってしまう。

【0075】

［実施形態２］
図８は、実施形態２の情報処理装置２０００の機能構成を例示するブロック図である。以下で説明する事項を除き、実施形態２の情報処理装置２０００は、実施形態１の情報処理装置２０００と同様の機能を有する。

【0076】

実施形態２の情報処理装置２０００は閾値設定部２０６０を有する。閾値設定部２０６０は、同一の異常部位を表す異常領域３０のグループごとに第１閾値を設定する。そのため、出力部２０４０は、同一の異常部位を表す異常領域３０のグループごとに算出した検出スコアを、そのグループについて設定された第１閾値と比較する。

【0077】

例えば各グループについて設定する第１閾値の初期値は、いずれも同じ値とする。そして、閾値設定部２０６０は、出力情報の出力が終了したグループ（すなわち、既に出力情報の出力が行われたグループ）の第１閾値を、初期値よりも小さい値に変更する。ここで、既に出力情報が出力されたことがあるグループに属する異常領域３０は、ノイズなどが原因で誤検出された領域である蓋然性は低いといえる。そのため、そのような異常領域３０についての第１閾値を小さい値に変更することで、或る異常部位を表す異常領域３０が一旦動画データ１２から検出されなくなった後（例えばフレームアウトした後）、再度その異常部位を表す異常領域３０が検出されるようになった場合（例えば再度フレームインした場合）に、その異常領域３０についての出力情報が出力される蓋然性を高くすることができる。

【0078】

＜ハードウエア構成＞
実施形態２の情報処理装置２０００を実現する計算機のハードウエア構成は、実施形態１と同様に、例えば図３によって表される。ただし、本実施形態の情報処理装置２０００を実現する計算機１０００のストレージデバイス１０８０には、本実施形態の情報処理装置２０００の機能を実現するプログラムモジュールがさらに記憶される。

【0079】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記各実施形態の組み合わせ、又は上記以外の様々な構成を採用することもできる。

【0080】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 体内が撮影された動画を構成する複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出部と、
前記検出された異常領域に関する出力情報を出力する出力部と、を有し、
前記出力部は、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記出力情報の出力が行われている状態において、前記スコアが第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さい、情報処理装置。
２． 前記出力部は、同一の異常部位を表す前記異常領域のグループごとに前記スコアを算出する、１．に記載の情報処理装置。
３． 前記出力部は、同一の異常部位を表す前記異常領域のグループについて、そのグループに含まれる各前記異常領域が前記体内の異常な部位を表す確度の統計値を算出し、その統計値に基づく値を、そのグループについての前記スコアとする、２．に記載の情報処理装置。
４． 同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定部を有し、
前記出力部は、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定部は、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、１．乃至３．いずれか一つに記載の情報処理装置。

【0081】

５． コンピュータによって実行される制御方法であって、
体内が撮影された動画を構成する複数の動画フレームそれぞれから、前記体内の異常な部分を表すと推測される画像領域である異常領域を検出する検出ステップと、
前記検出された異常領域に関する出力情報を出力する出力ステップと、を有し、
前記出力ステップにおいて、
前記出力情報の出力が行われていない状態において、前記異常領域が検出される動画フレームの数の割合に基づくスコアが第１閾値以上になったら、前記出力情報の出力を開始し、
前記出力情報の出力が行われている状態において、前記スコアが第２閾値以下になったら、前記出力情報の出力を終了し、
前記第２閾値は前記第１閾値よりも小さい、制御方法。
６． 前記出力ステップにおいて、同一の異常部位を表す前記異常領域のグループごとに前記スコアを算出する、５．に記載の制御方法。
７． 前記出力ステップにおいて、同一の異常部位を表す前記異常領域のグループについて、そのグループに含まれる各前記異常領域が前記体内の異常な部位を表す確度の統計値を算出し、その統計値に基づく値を、そのグループについての前記スコアとする、６．に記載の制御方法。
８． 同一の異常部位を表す前記異常領域のグループごとに前記第１閾値を設定する閾値設定ステップを有し、
前記出力ステップにおいて、同一の異常部位を表す前記異常領域のグループごとに算出したスコアを、そのグループについて設定された前記第１閾値と比較し、
前記閾値設定ステップにおいて、前記出力情報の出力が終了したグループの前記第１閾値を、より小さい値に変更する、５．乃至７．いずれか一つに記載の制御方法。

【0082】

９． ５．乃至８．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。

【0083】

この出願は、２０１８年１０月４日に出願された日本出願特願２０１８－１８９２４１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】