特開 2024-165520 情報処理装置、不整脈検出装置、領域特定方法、領域特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165520

(43)【公開日】2024-11-28

(54)【発明の名称】情報処理装置、不整脈検出装置、領域特定方法、領域特定プログラム

(51)【国際特許分類】

   G06T 7/11 20170101AFI20241121BHJP

   G06T 7/00 20170101ALI20241121BHJP

   A61B 8/14 20060101ALI20241121BHJP

   G16H 30/00 20180101ALI20241121BHJP

   G16H 50/20 20180101ALI20241121BHJP

【ＦＩ】

G06T7/11

G06T7/00 350B

G06T7/00 616

A61B8/14

G16H30/00

G16H50/20

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023081782

(22)【出願日】2023-05-17

(71)【出願人】

【識別番号】000005119

【氏名又は名称】カナデビア株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】三木 裕介

(72)【発明者】

【氏名】藤丸 雅弘

【テーマコード（参考）】

4C601

5L096

5L099

【Ｆターム（参考）】

4C601DD15

4C601EE09

4C601EE11

4C601JC08

4C601KK28

5L096BA06

5L096BA13

5L096EA02

5L096EA37

5L096FA02

5L096FA77

5L096JA16

5L096KA04

5L096KA15

5L099AA04

5L099AA26

(57)【要約】

【課題】対象物を撮影した入力画像から検出対象領域を検出する精度を向上させる。
【解決手段】情報処理装置（１）は、対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、対象物を撮影した入力画像から対象領域および集合領域の各々を検出する検出部（１０２）と、検出された集合領域内において、検出されなかった対象領域である検出漏れ領域を特定する特定部（１０３）と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域の各々を検出する検出部と、
検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定部と、を備える情報処理装置。

【請求項2】

前記対象領域の各々は、少なくともいずれかの前記集合領域を構成する、請求項１に記載の情報処理装置。

【請求項3】

前記特定部は、検出された前記集合領域同士が重複する重複領域のうち、前記対象領域として検出されていない領域を、前記検出漏れ領域として特定する、請求項１に記載の情報処理装置。

【請求項4】

前記特定部は、検出された前記集合領域から、検出された前記対象領域を除いた領域を、前記検出漏れ領域として特定する、請求項１に記載の情報処理装置。

【請求項5】

前記特定部は、検出された前記集合領域から、除かれる前記対象領域の周辺に隣接する領域をさらに除いた領域を、前記検出漏れ領域として特定する、請求項４に記載の情報処理装置。

【請求項6】

前記特定部は、検出された前記集合領域を収縮させた領域から、検出された前記対象領域を除いた領域を、前記検出漏れ領域として特定する、請求項４に記載の情報処理装置。

【請求項7】

前記対象物に含まれる前記対象領域の個数は所定数であり、
検出された前記対象領域の個数が前記所定数を超える場合、検出された前記対象領域のうちの２つの組合せのうち、前記対象領域同士の重なり度合が最大かつ所定閾値を超える前記組合せの前記対象領域を、１つの前記対象領域に統合する統合部をさらに備える、請求項１に記載の情報処理装置。

【請求項8】

前記重なり度合は、前記組合せの２つの前記対象領域同士が重複する領域の面積を、当該２つの対象領域の面積の合計値で除した値である、請求項７に記載の情報処理装置。

【請求項9】

検出された前記対象領域の個数が前記所定数を超え、かつ、前記重なり度合の最大値が前記所定閾値を越えない場合、同じ分類として検出された前記対象領域のうち面積が最小の前記対象領域を、非検出に置き換える置換部をさらに備える、請求項７に記載の情報処理装置。

【請求項10】

前記対象領域同士の位置関係が定められており、
同じ分類として検出された複数の前記対象領域の少なくともいずれかについて、検出された他の前記対象領域との位置関係に基づいて分類を補正する補正部をさらに備える、請求項１に記載の情報処理装置。

【請求項11】

前記対象物に含まれる全ての前記対象領域が検出された状態において、前記対象領域同士の位置関係を決定する決定部をさらに備える、請求項１０に記載の情報処理装置。

【請求項12】

前記対象物は心臓であり、
前記対象領域は、左心房、右心房、左心室、および右心室であり、
前記入力画像は、超音波動画像であり、
請求項１から１１のいずれか１項に記載の情報処理装置にて前記入力画像のフレーム毎に検出された前記対象領域および特定された前記検出漏れ領域の各々の面積の時系列変化に基づいて、不整脈を検出する不整脈検出装置。

【請求項13】

１または複数の情報処理装置により実行される領域特定方法であって、
対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域を検出する検出ステップと、
検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定ステップと、を含む領域特定方法。

【請求項14】

請求項１に記載の情報処理装置としてコンピュータを機能させるための領域特定プログラムであって、前記検出部および前記特定部としてコンピュータを機能させるための領域特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を撮影した入力画像から前記対象物に含まれる対象領域を検出する情報処理装置等に関する。

【背景技術】

【0002】

対象物を撮影した入力画像から検出対象領域を検出する技術が広く利用されている。例えば、特許文献１には、胎児の心臓の診断または計測に適する超音波診断装置が開示されている。この超音波診断装置では、超音波の送受波によって取得された断層画像形成用エコーデータに基づいて、胎児の心臓における注目部分に相当する領域を抽出している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４２０６１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、対象物および入力画像によっては検出対象領域を必ずしも適切に検出することができず、場合によっては検出が漏れてしまうことがある。

【0005】

本発明の一態様は、対象物を撮影した入力画像から検出対象領域を検出する精度の向上を目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域の各々を検出する検出部と、検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定部と、を備える。

【0007】

また、本発明の一態様に係る領域特定方法は、１または複数の情報処理装置により実行される領域特定方法であって、対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域を検出する検出ステップと、検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定ステップと、を含む。

【0008】

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる前記情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0009】

本発明の一態様によれば、対象物を撮影した入力画像から検出対象領域を検出する精度を向上させることが可能になる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る情報処理システムの構成例を示す図である。

【図2】本発明の実施形態に係る学習装置の要部構成の一例を示すブロック図である。

【図3】本発明の実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。

【図4】心臓を撮影した画像における対象領域の例を示す図である。

【図5】心臓を撮影した画像における集合領域の例を示す図である。

【図6】心臓を撮影した画像における検出漏れ領域の一例を示す図である。

【図7】検出漏れ領域を、検出された対象領域および集合領域に基づいて特定した場合に生じる不具合の一例を示す図である。

【図8】検出された対象領域および集合領域に基づいて、検出漏れ領域を特定する方法の一例を示す図である。

【図9】検出された対象領域および集合領域に基づいて、検出漏れ領域を特定する方法の別の一例を示す図である。

【図10】特定部が行う拡張処理の一例を説明するための図である。

【図11】情報処理装置が実行する処理の流れの一例を示すフローチャートである。

【図12】本発明の別の実施形態に係る情報処理装置の要部構成の一例を示すブロック図である。

【図13】情報処理装置が実行する処理の流れの一例を示すフローチャートである。

【図14】心臓を撮影した画像における対象領域の位置関係を説明するための図である。

【図15】本発明の実施形態に係る不整脈検出装置を備える情報処理システムの構成例を示す図である。

【図16】不整脈検出装置を備える情報処理システムが行う処理の一例を説明するための図である。

【図17】不整脈検出装置が不整脈を検出する処理の一例を説明するための図である。

【図18】情報処理システムが実行する処理の一例を示すフローチャートである。

【図19】トンボの頭部を正面前方から撮影した画像における対象領域の例を示す図である。

【図20】トンボの頭部を正面前方から撮影した画像における集合領域の例を示す図である。

【発明を実施するための形態】

【0011】

〔実施形態１〕
以下、本発明の一実施形態について、図１～図１１を参照しながら詳細に説明する。

【0012】

（情報処理装置１の概要）
本発明の一実施形態に係る情報処理装置１は、対象物を撮影した入力画像から、対象物に含まれる対象領域の各々、および、複数の対象領域で構成される集合領域を検出する。対象領域および集合領域の検出には、対象領域および集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルが用いられる。そして、情報処理装置１は、検出された集合領域内において、検出されなかった対象領域である検出漏れ領域を、集合領域および対象領域の検出結果を用いて特定する。

【0013】

対象物の対象領域の各々のみに、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いた場合、対象領域のいずれかを検出し損なう場合がある。本発明の発明者らは、対象領域の各々に加え、集合領域にも、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いる検出手法を見出した。この検出手法を用いれば、仮に対象領域の検出漏れが生じても、検出された集合領域内において検出が漏れた対象領域を特定することができるため、対象領域の検出精度を向上させることができる。

【0014】

本発明が適用可能な対象物は、対象領域となり得る領域を複数有するものであればよく、特に限定されない。例えば、対象物は、例えば動物の臓器であってもよい。人を含む哺乳動物の心臓は、左右の心房および左右の心室を有しており、心臓の機能を評価する場合、各心房および各心室が検出対象（すなわち、対象領域）となり得る。この場合、入力画像は、医用画像であってもよく、例えば、超音波画像（例えば、断層画像形成用エコー画像）であってもよい。超音波画像は、複数のフレームの画像を含む動画像であってもよい。

【0015】

対象物は、心臓に限定されず、肺および肝臓等であってもよい。肺および肝臓は複数の葉を有しており、各葉が対象領域となり得る。この場合、入力画像は、Ｘ線ＣＴ画像などであってもよい。

【0016】

対象物は、動物の臓器に限定されず、昆虫および植物などを含む生物全般であってもよい。例えば、昆虫の頭部は検出対象となり得る複数の感覚器官を有している。また、生物の特徴的な器官および組織（例えば、植物の気孔および維管束など）を構成する細胞群なども対象領域となり得る。

【0017】

対象物は、生物に限定されず、非生物であってもよい。例えば、対象物は、自動車であってもよい。この場合、自動車を構成する各パーツに対応する各領域が対象領域となり得る。各パーツは、フロントガラス、ドアのガラス、サイドミラー、ドア、車輪のホイール部、およびタイヤなどであってもよい。この場合、フロントガラスとドアのガラスとの組み合わせ、サイドミラーとドアとの組み合わせ、複数のドア（例えば前後のドア）の組合せ、および、ホイールとタイヤとの組み合わせなどを、複数の対象領域で構成される集合領域としてもよい。

【0018】

以下では、対象物が心臓であり、入力画像が心臓を撮影した超音波画像である場合を例に挙げて説明する。心臓を撮影した超音波画像では、心臓が有する２つの心室のそれぞれ、および２つの心房のそれぞれが閉空間として撮影され得る。

【0019】

（情報処理システム１００の構成）
まず、本発明の一実施形態に係る情報処理システム１００の構成を図１に基づいて説明する。図１は、情報処理システム１００の構成例を示す図である。情報処理システム１００には、撮影装置２、情報処理装置１、表示装置３、および学習装置５が含まれていてもよい。

【0020】

撮影装置２は、対象者の臓器を無侵襲で撮影可能な超音波撮影装置であってもよい。撮影装置２は、図示のように、情報処理装置１と通信可能に接続されていてもよく、この場合、情報処理装置１は、撮影装置２が撮影した入力画像を撮影装置２から直接取得してもよい。なお、撮影装置２が撮影した入力画像は、例えば携帯型の記録媒体に記憶させてもよく、この場合、情報処理装置１は記録媒体から入力画像を読み出せばよい。あるいは、撮影装置２が撮影した入力画像は、例えば記憶装置（不図示）に対象者毎の対象者情報と対応付けて記憶される構成であってもよく、この場合、情報処理装置１は記憶装置から入力画像を取得すればよい。

【0021】

表示装置３は、情報処理装置１から出力される各種情報を表示可能な装置である。表示装置３は、情報処理装置１から出力される各種情報に加えて、入力画像および対象者情報などを表示してもよい。

【0022】

情報処理装置１は、撮影装置２が設置された施設（例えば、医療施設）に設置してもよいし、あるいは遠隔地に設置してもよい。遠隔地に設置する場合、情報処理装置１は、入力画像をインターネットなどの通信ネットワークを介した通信により取得すればよい。

【0023】

また、情報処理装置１が行う処理の一部を他のコンピュータ・システムで行う構成としてもよい。例えば、検出対象である対象領域および集合領域の検出には後述する学習モデルを用いた演算を行うが、この演算を他のコンピュータ・システムで行う構成としてもよい。この場合、情報処理装置１は、演算に必要な情報を、通信ネットワークを介した通信により他のコンピュータ・システムに送信し、上記他のコンピュータ・システムから送信される演算結果を受信すればよい。

【0024】

学習装置５は、撮影装置２が撮影した心臓の画像から対象領域および集合領域を検出するために用いられる学習モデルを生成する。学習モデルは、公知の機械学習により生成されるものであってもよい。例えば、学習装置５は、畳み込みニューラルネットワーク等の学習モデルを生成してもよい。対象領域の各々は、少なくともいずれかの集合領域を構成していてもよい。この構成を採用すれば、全ての対象領域を、検出漏れ領域として特定する対象とすることができる。検出対象となる対象領域および集合領域については、後に具体例を挙げて説明する（図４および図５参照）。

【0025】

学習装置５が生成した学習モデルは情報処理装置１による検出対象の各領域の検出に用いられる。学習装置５の設置場所は情報処理装置１と同じであってもよいし、異なっていてもよい。また、学習装置５は、コンピュータを学習装置として機能させるプログラムを実行する。学習装置５の機能は情報処理装置１が有してもよく、この場合、情報処理システム１００の構成要素から学習装置５が省略される。

【0026】

（情報処理装置１の構成）
次に、情報処理装置１の構成について、図２を用いて説明する。図２は、情報処理装置１の要部構成の一例を示すブロック図である。図示のように、情報処理装置１は、プロセッサ１０、メモリ１１、および記憶装置１２を備えている。情報処理装置１は、一例として、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ１０は、記憶装置１２に記憶されている情報処理プログラムをメモリ１１にロードして実行することにより、後述する画像取得部１０１から出力制御部１０５までの各部として機能する。

【0027】

プロセッサ１０は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできるし、ソフトウェアによって実現することもできる。ソフトウェアによって実現する場合、プロセッサ１０は、例えばＣＰＵ（Central Processing Unit）で構成してもよいし、ＧＰＵ（Graphics Processing Unit）で構成してもよく、これらの組み合わせで構成してもよい。また、この場合、上記ソフトウェアは、記憶装置１２に保存しておく。そして、プロセッサ１０は、上記ソフトウェアをメモリ１１に読み込んで実行する。

【0028】

メモリ１１と記憶装置１２は、何れも情報処理装置１が使用する各種データを記憶する記憶装置である。メモリ１１は記憶装置１２と比べて高速でデータの書き込みおよび読出しが可能な記憶装置である。記憶装置１２はメモリ１１と比べてデータの記憶容量が大きい。メモリ１１としては、例えばＳＤＲＡＭ（Synchronous Dynamic Random-Access Memory）等の高速アクセスメモリを適用することもできる。また、記憶装置１２としては、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid-State Drive）、ＳＤ（Secure Digital）カード、あるいはｅＭＭＣ（embedded Multi-Media Controller）等を適用することもできる。

【0029】

また、情報処理装置１は、外部の機器とのインタフェース（ＩＦ）として、撮影装置ＩＦ部１３および表示装置ＩＦ部１４を備えている。これらのインタフェースは任意のものを適用可能であり、例えば、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等を適用してもよい。

【0030】

撮影装置ＩＦ部１３は、撮影装置２と情報処理装置１とを通信接続するためのインタフェースである。撮影装置ＩＦ部１３は、有線通信用のものであってもよいし、無線通信用のものであってもよい。例えば、これらのＩＦ部として、ＵＳＢ、ＬＡＮ（Local-Area Network）や無線ＬＡＮ等を適用することもできる。撮影装置２から上述の入力画像を取得するためのインタフェースである。また、表示装置ＩＦ部１４は、情報処理装置１が出力する情報を表示装置３に送信するためのインタフェースである。

【0031】

表示装置ＩＦ部１４は、情報処理装置１が図示しない表示装置３に画像を表示させる際に使用するインタフェースである。例えば、情報処理装置１は、表示装置ＩＦ部１４を介して、撮影装置２が撮影した撮影画像、および情報処理装置１から出力される検出結果を表示装置３に表示させることもできる。なお、情報処理装置１が表示装置３として機能可能な表示部を備えていてもよい。

【0032】

情報処理装置１は、情報処理装置１が例えばインターネット等の通信ネットワーク上の各種機器（例えば、記憶装置など）と通信するためのインタフェースをさらに備えていてもよい。また、情報処理装置１は、上述したインタフェース以外にも例えば外付けの記憶装置（例えばハードディスク）にアクセスするためのインタフェース等を備えていてもよい。

【0033】

プロセッサ１０は、上述のように画像取得部１０１、検出部１０２、特定部１０３、および出力制御部１０５の各部として機能する。以下、各部について説明する。

【0034】

画像取得部１０１は、撮影装置２で心臓Ｔを撮影した入力画像を取得する。入力画像の取得方法は特に限定されず、例えば、画像取得部１０１は、撮影装置ＩＦ部１３を介して撮影装置２から撮影画像を取得してもよい。

【0035】

検出部１０２は、機械学習によって生成された学習モデルを用いて、心臓Ｔを撮影した入力画像から対象領域および集合領域の各々を検出する。学習モデルを生成するための機械学習については、後に説明する。

【0036】

特定部１０３は、検出された集合領域内において、検出されなかった対象領域である検出漏れ領域を特定する。例えば、特定部１０３は、検出された集合領域同士が重複する重複領域のうち、対象領域として検出されていない領域を、検出漏れ領域として特定してもよい。特定部１０３は、重複領域が２つ以上の対象領域を含み、かつ、その一部の対象領域が検出されている場合においても、検出漏れ領域を特定し得る。あるいは、特定部１０３は、検出された集合領域から、検出された対象領域を除いた領域を、検出漏れ領域として特定してもよい。

【0037】

出力制御部１０５は、情報処理装置１による検出結果および特定結果を表示装置３に出力を制御する。

【0038】

この構成によれば、情報処理装置１は、検出された集合領域から、検出された対象領域を除く、あるいは、検出された集合領域同士が重複する重複領域から、対象領域として検出された領域を除くという簡便な画像処理により、検出漏れ領域を特定することができる。特定部１０３が検出漏れ領域を特定する処理の詳細は、具体例を挙げて後に説明する。

【0039】

（学習装置５の構成）
次に、学習モデルを生成する学習装置５の構成について、図３を用いて説明する。図３は、学習装置５の要部構成の一例を示すブロック図である。図示のように、学習装置５は、プロセッサ５０、メモリ５１、および記憶装置５２を備えている。学習装置５は、情報処理装置１と同様に、パーソナルコンピュータ、サーバー、またはワークステーションであってもよい。プロセッサ５０は、記憶装置５２に記憶されている学習プログラムをメモリ５１にロードして実行することにより、後述する画像取得部５０１から学習部５０４までの各部として機能する。

【0040】

プロセッサ５０は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできるし、ソフトウェアによって実現することもできる。ソフトウェアによって実現する場合、プロセッサ５０は、例えばＣＰＵで構成してもよいし、ＧＰＵで構成してもよく、これらの組み合わせで構成してもよい。また、この場合、上記ソフトウェアは、記憶装置５２に保存しておく。そして、プロセッサ５０は、上記ソフトウェアをメモリ５１に読み込んで実行する。

【0041】

メモリ５１と記憶装置５２は、何れも学習装置５が使用する各種データを記憶する記憶装置である。メモリ５１は記憶装置５２と比べて高速でデータの書き込みおよび読出しが可能な記憶装置である。記憶装置５２はメモリ５１と比べてデータの記憶容量が大きい。メモリ５１としては、例えばＳＤＲＡＭ等の高速アクセスメモリを適用することもできる。また、記憶装置５２としては、例えばＨＤＤ、ＳＳＤ、ＳＤカード、あるいはｅＭＭＣ等を適用することもできる。

【0042】

また、学習装置５は、外部の機器とのインターフェース（ＩＦ）として、撮影装置ＩＦ部５３、入力装置ＩＦ部５５、および表示装置ＩＦ部５４を備えている。入力装置ＩＦ部５５は、キーボードやマウスなどの入力装置からの入力信号を受け付けるためのインタフェースである。入力装置ＩＦ部５５は、例えばＵＳＢ等のインタフェースであってもよい。学習装置５が備えるインタフェースのうち、図２の情報処理装置１が備えるものと同名のインタフェースは機能も同様であるから説明を繰り返さない。

【0043】

プロセッサ５０は、上述のように画像取得部５０１、アノテーション取得部５０２、教師データ生成部５０３、および学習部５０４の各部として機能する。以下、各部について説明する。

【0044】

画像取得部５０１は、撮影装置２で撮影した学習用画像を取得する。学習用画像の取得方法は特に限定されず、例えば、画像取得部５０１は、撮影装置ＩＦ部５３を介して撮影装置２から上述の学習用画像を取得してもよい。また、例えば、画像取得部５０１は、情報処理装置１の記憶装置１２に保存されている学習用画像を情報処理装置１と通信することにより取得してもよい。さらに、例えば、学習用画像が情報処理装置１の外部の記憶装置に記憶されている場合には、画像取得部３０１はその記憶装置にアクセスして撮影画像を取得してもよい。

【0045】

アノテーション取得部５０２は、学習用画像に写る心臓Ｔにおける対象領域および集合領域のそれぞれについて、互いに異なる分類を取得する。分類は、学習用画像を確認した医療関係者などによって入力装置を介して入力され得る。

【0046】

＜対象領域Ｒ１～Ｒ４および集合領域Ｒ５～Ｒ８＞
ここでは、心臓Ｔを撮影した画像における対象領域および集合領域について、図４および図５を用いて説明する。図４は、心臓Ｔを撮影した画像における対象領域Ｒ１～Ｒ４の例を示す図であり、図５は、心臓Ｔを撮影した画像における集合領域Ｒ５～Ｒ８の例を示す図である。

【0047】

心臓Ｔは、解剖学的に４つの領域（すなわち、２つの心室と２つの心房）が含まれている。それゆえ、図４に示すように、心臓Ｔにおいて、右心室に対応する対象領域Ｒ１、左心室に対応する対象領域Ｒ２、左心房に対応する対象領域Ｒ３、および右心房に対応する対象領域Ｒ４が設定され得る。さらに、心臓Ｔにおいて、図５に示すように、右側に対応する集合領域Ｒ５、左側に対応する集合領域Ｒ６、左右心室に対応する集合領域Ｒ７、および左右心房に対応する集合領域Ｒ８が設定され得る。集合領域Ｒ５は、対象領域Ｒ１および対象領域Ｒ４を含む。集合領域Ｒ６は、対象領域Ｒ２および対象領域Ｒ３を含む。集合領域Ｒ７は、対象領域Ｒ１および対象領域Ｒ２を含む。集合領域Ｒ８は、対象領域Ｒ３および対象領域Ｒ４を含む。このように、対象領域Ｒ１～Ｒ４の各々は、少なくともいずれかの集合領域Ｒ５～Ｒ８を構成している。

【0048】

心臓Ｔを撮影した超音波画像において、対象領域Ｒ１～Ｒ４、および集合領域Ｒ５～Ｒ８の各々に対して互いに異なる分類を対応付けることが可能である。例えば、対象領域Ｒ１～Ｒ４のそれぞれに対して、「右心室」、「左心室」、「左心房」、および「右心房」という分類をアノテーションとして付すことが可能であり、集合領域Ｒ５～Ｒ８のそれぞれに対して、「右」、「左」、「心室」、および「心房」という分類をアノテーションとして付すことが可能である。

【0049】

図５では、いずれも隣接する２つの対象領域で構成される集合領域Ｒ５～Ｒ８を示したが、これに限定されない。例えば、集合領域は、右心室と左心房で構成される集合領域、左心室と右心房で構成される集合領域であってもよいし、あるいは、３つの対象領域で構成される集合領域であってもよい。

【0050】

教師データ生成部５０３は、対象領域Ｒ１～Ｒ４の各々、および、集合領域Ｒ５～Ｒ８の各々に、互いに異なる分類がアノテーションとして付された教師画像を生成する。教師画像は、学習部５０４が学習モデルの機械学習時に用いられる教師データである。なお、学習モデルは、情報処理装置１の検出部１０２が対象領域および集合領域の検出に用いるモデルである。

【0051】

学習部５０４は、機械学習により学習モデルを生成する。学習モデルの生成には、上述のとおり、教師データ生成部５０３が生成する教師画像が用いられる。

【0052】

（特定部１０３が行う処理）
次に、特定部１０３が行う処理について、図６～図９を用いて説明する。以下では、検出部１０２によって、集合領域Ｒ６およびＲ７を構成する領域（すなわち、左心室に対応する対象領域Ｒ２）が検出漏れ領域である場合を例に挙げて説明する。特定部１０３は、検出部１０２は、検出された集合領域（例えば、集合領域Ｒ６および集合領域Ｒ７）内において、検出漏れ領域を特定する。図６には、検出漏れ領域Ｒ（例えば、対象領域Ｒ２に対応する領域）を、検出された集合領域内において特定した様子が示されている。

【0053】

特定部１０３は、下記の（１）～（３）のいずれかの処理によって特定する。
（１）検出された集合領域Ｒ７から、検出された対象領域Ｒ１を除いた領域を検出漏れ領域として特定する。
（２）検出された集合領域Ｒ６から、検出された対象領域Ｒ３を除いた領域を検出漏れ領域として特定する。
（３）検出された集合領域Ｒ６と、検出された集合領域Ｒ７とが重複する領域を検出漏れ領域として特定する。

【0054】

検出部１０２による対象領域および集合領域の検出結果は、実際の対象領域および集合領域と比べて、輪郭やサイズなどにおいて誤差が生じることがある。例えば、検出された対象領域のサイズが実際の対象領域より小さい場合、または、検出された集合領域のサイズが実際の集合領域より大きい場合が生じ得る。これらの場合において、検出された集合領域から、検出された対象領域を単純に除いたとき、除かれた対象領域の周辺に集合領域の一部が残存し得る。図７は、検出漏れ領域を、検出された対象領域および集合領域に基づいて特定した場合に生じる不具合の一例を示す図である。検出された集合領域Ｒ７から、検出された対象領域Ｒ１をそのまま除いた場合、図７に示すように、集合領域Ｒ７の輪郭と対象領域Ｒ１の輪郭との間に細長い領域が特定されてしまう。

【0055】

そこで、特定部１０３は、検出された集合領域から、除かれる対象領域の周辺に隣接する領域をさらに除いた領域を、検出漏れ領域として特定してもよい。除かれる対象領域の周辺に隣接する領域は、除かれる対象領域に対して、周知の画像加工技術を用いた膨張処理を施すことによって増加した領域であってもよい。なお、除かれる対象領域の周辺に隣接する領域は、除かれる対象領域を所定の倍率で拡大することによって増加した領域であってもよい。

【0056】

この構成によれば、情報処理装置１は、検出された集合領域から、検出された対象領域のみならず、その周辺に隣接する領域を除いた領域を、検出漏れ領域として特定する。これにより、情報処理装置１は、除かれた対象領域の周辺に集合領域の一部が残存する可能性を低減し、検出漏れ領域の特定精度を向上することができる。図８は、検出された対象領域および集合領域に基づいて、検出漏れ領域を特定する方法の一例を示す図である。図８には、除かれる対象領域Ｒ１に対して膨張処理が施された結果得られた領域Ｒ１ａを、集合領域Ｒ７から除く処理の様子が示されている。

【0057】

検出部１０２による対象領域および集合領域の検出結果は、実際の対象領域および集合領域と比べて、輪郭やサイズなどにおいて誤差が生じることがある。例えば、検出された対象領域のサイズが実際の対象領域より小さい場合、または、検出された集合領域のサイズが実際の集合領域より大きい場合が生じ得る。これらの場合においても、検出された集合領域から、検出された対象領域を単純に除いたとき、除かれた対象領域の周辺に集合領域の一部が残存し得る。

【0058】

そこで、特定部１０３は、検出された集合領域を収縮させた領域から、検出された対象領域を除いた領域を、検出漏れ領域として特定してもよい。

【0059】

この構成によれば、情報処理装置１は、検出された集合領域を収縮させた領域から、検出された対象領域を除いた領域を、検出漏れ領域として特定する。これにより、情報処理装置１は、除かれた対象領域の周辺に集合領域の一部が残存する可能性を低減し、検出漏れ領域の特定精度を向上することができる。図９は、検出された対象領域および集合領域に基づいて、検出漏れ領域を特定する方法の一例を示す図である。図９には、集合領域Ｒ７に対して縮小処理を施した結果得られた領域Ｒ７ａから、対象領域Ｒ１を除く処理の様子が示されている。

【0060】

＜膨張処理および縮小処理の例＞
ここでは、特定部１０３によって実行され得る、モルフォロジー演算による膨張処理および縮小処理の例について、図１０を用いて説明する。図１０は、特定部１０３が行う拡張処理の一例を説明するための図である。なお、図１０に示す例は、簡単化のために画素値が２値化された画像において、白い領域（画素値が１である領域）を膨張させる処理を例に挙げて説明する。

【0061】

まず、画像の各画素を１つずつ走査するためのカーネルが設定される。例えば、３画素×３画素のサイズのカーネルの場合、中央の画素はアンカーと呼称され得る。図１０左に示す例において、カーネルが２行目×３列目の画素（膨張前の画素値は「０」）の位置にアンカーが在る場合、当該アンカー画素と共通の辺を有する（すなわち隣接する）画素のうちの最大値は「１」である。そこで、アンカーの位置に対応する画素の画素値は「０」から「１」に変更する演算を行う。このような処理を、カーネルが全画素の位置を走査するまで行われる。図１０右には、このような膨張処理が１回実行された場合の結果を示している。

【0062】

画素値が「１」である画素から成る領域（すなわち、白い領域）を縮小させる処理の場合は、上述とは逆の演算を行う。すなわち、アンカーが在る画素値が「１」である場合、当該アンカー画素と共通の辺を有する（すなわち隣接する）画素のうちの最小値が「０」であれば、アンカーの位置に対応する画素の画素値を「０」に変更する演算を行う。

【0063】

特定部１０３は、除かれた対象領域の周辺に集合領域の一部が残存しなくなるまで、繰り返し上述の演算を実行してもよい。これにより、情報処理装置１は、検出漏れ領域を適切に特定することができる。

【0064】

（情報処理装置１が実行する処理）
次に、情報処理装置１が実行する処理について、図１１を用いて説明する。図１１は、情報処理装置１が実行する処理の流れの一例を示すフローチャートである。なお、以下の各ステップの処理は、１または複数の情報処理装置１により実行されてもよい。

【0065】

まず、画像取得部１０１は、心臓Ｔを撮影した入力画像を取得する（ステップＳ１）。

【0066】

次に、検出部１０２は、学習モデルを用いて、入力画像から対象領域および集合領域を検出する（ステップＳ２：検出ステップ）。

【0067】

検出部１０２による検出結果に検出漏れ領域がある場合、特定部１０３は、検出された集合領域において、検出漏れ領域を特定する（ステップＳ３：特定ステップ）。これにより、情報処理装置１は、仮に、検出できなかった対象領域が存在する場合であっても、検出された対象領域と、検出された集合領域とに基づいて、検出漏れ領域を特定することができる。これにより、情報処理装置１は、対象物を撮影した入力画像から検出対象領域を高精度で検出することができる。

【0068】

〔実施形態２〕
本発明の他の実施形態に係る情報処理装置１ａについて、図１２～図１４を用いて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0069】

（情報処理装置１ａ）
情報処理装置１ａは対象領域の検出結果を修正する機能を備えている。図１２は、本実施形態に係る情報処理装置１ａの要部構成の一例を示すブロック図である。情報処理装置１ａが備えるプロセッサ１０ａは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現することもできるし、ソフトウェアによって実現することもできる。ソフトウェアによって実現する場合、プロセッサ１０ａは、例えばＣＰＵで構成してもよいし、ＧＰＵで構成してもよく、これらの組み合わせで構成してもよい。また、この場合、上記ソフトウェアは、記憶装置１２に保存しておく。そして、プロセッサ１０ａは、上記ソフトウェアをメモリ１１に読み込んで実行する。

【0070】

プロセッサ１０ａは、画像取得部１０１、検出部１０２、特定部１０３ａ、修正部１０４、および出力制御部１０５として機能する。以下、特定部１０３ａ、および修正部１０４について説明する。

【0071】

特定部１０３ａは、検出された集合領域内において、検出されなかった対象領域である検出漏れ領域を特定する。また、特定部１０３ａは、後述する修正部１０４による修正の結果が示す検出漏れ領域を特定する。例えば、特定部１０３ａは、検出された集合領域同士が重複する重複領域のうち、対象領域として検出されていない領域を、検出漏れ領域として特定してもよい。特定部１０３ａは、重複領域が２つ以上の対象領域を含み、かつ、その一部の対象領域が検出されている場合においても、検出漏れ領域を特定し得る。あるいは、特定部１０３ａは、検出された集合領域から、検出された対象領域を除いた領域を、検出漏れ領域として特定してもよい。

【0072】

修正部１０４は、検出部１０２による誤検出を修正する。検出部１０２による誤検出の典型例は、以下の（Ａ）および（Ｂ）が挙げられる。
（Ａ）対象物に含まれる対象領域の個数が所定数である場合に、所定数を超える数の対象領域が検出される。例えば、心臓Ｔは、左右の心室および左右の心房という４つの対象領域を有している。それゆえ、４つを超える数の対象領域が検出された場合、誤検出を含んでいる。
（Ｂ）対象物に含まれる対象領域同士の位置関係が定められている場合に、同じ分類として複数の対象領域が検出される。例えば、心臓Ｔの左右の心室および左右の心房という４つの対象領域は、相対的な位置関係が定まっている。それゆえ、例えば、「右心室」として複数の対象領域が検出された場合、そのどちらかが誤検出である。

【0073】

修正部１０４は、上記（Ａ）の誤検出を修正可能な統合部１０４１および置換部１０４２および／または、上記（Ｂ）の誤検出を修正可能な補正部１０４３、および決定部１０４４を備えていてもよい。

【0074】

統合部１０４１は、対象物に含まれる対象領域の個数は所定数であり、検出された対象領域の個数が所定数を超える場合、検出された対象領域のうちの２つの組合せのうち、対象領域同士の重なり度合が最大かつ所定閾値を超える組合せの対象領域を、１つの対象領域に統合する。ここで、重なり度合は、組合せの２つの対象領域同士が重複する領域の面積を、当該２つの対象領域の面積の合計値で除した値であってもよい。なお、所定閾値は、誤検出の修正効果が高くなるように予め設定された閾値である。

【0075】

この構成によれば、情報処理装置１ａは、対象物に含まれる実際の対象領域の個数を超える対象領域が検出された場合、重なり度合が大きい対象領域の組合せを、１つの対象領域に統合する。これにより、情報処理装置１ａは、対象領域が実際より多く誤検出された場合に、検出結果を適切に正すことができる。例えば、心臓Ｔを撮影した入力画像から５つの対象領域が検出された場合、統合部１０４１は、検出された対象領域のうち、の２つの組合せのうち、対象領域同士の重なり度合が最大かつ所定閾値を超える組合せの対象領域を、１つの対象領域に統合することによって、誤検出を修正することができる。

【0076】

置換部１０４２は、検出された対象領域の個数が所定数を超え、かつ、重なり度合の最大値が所定閾値を越えない場合、同じ分類として検出された対象領域のうち面積が最小の対象領域を、非検出に置き換える。

【0077】

この構成によれば、情報処理装置１ａは、同じ分類として誤検出された対象領域のうちの一つを、検出されていないものとして置き換えるため、検出結果を修正することができる。

【0078】

例えば、心臓Ｔを撮影した入力画像から５つの対象領域が検出された場合、統合部１０４１は、同じ分類として検出された対象領域のうち面積が最小の対象領域を、非検出に置き換える。その結果、当該対象領域は検出漏れ領域となり、特定部１０３ａによって特定されることになるため、誤検出を修正することができる。

【0079】

図１３は、統合部１０４１および置換部１０４２を備える情報処理装置１ａが実行する処理の流れの一例を示すフローチャートである。なお、以下の各ステップの処理は、１または複数の情報処理装置１ａにより実行されてもよい。

【0080】

ステップＳ２ａにおいて、修正部１０４ａは、検出された対象領域の個数が、対象物（例えば心臓）に含まれる対象領域の個数を超えるか否かを判定する。ステップＳ２ａにてＹＥＳの場合、修正部１０４ａは、対象領域同士の重なり度合いの最大値が所定閾値を超えるか否かを判定する（ステップＳ２ｂ）。

【0081】

ステップＳ２ｂにてＹＥＳの場合、統合部１０４１は、対象領域同士の重なり度合いが最大である組合せの対象領域を、１つの対象領域に統合する（ステップＳ２ｃ）。一方、ステップＳ２ｂにてＮＯの場合、置換部１０４２は、同じ分類として検出された対象領域のうち面積が最小の対象領域を、非検出に置換する（ステップＳ２ｄ）。

【0082】

ステップＳ２ａにてＮＯの場合、および、ステップＳ２ｃおよびステップＳ２ｄの後は、特定部１０３ａによる検出漏れ領域の特定を行う（ステップＳ３：特定ステップ）。

【0083】

この構成によれば、情報処理装置１ａは、検出対象の誤検出を修正することができるため、対象物からの検出精度を向上させることができる。

【0084】

図１２に戻り、補正部１０４３は、対象領域同士の位置関係が定められており、同じ分類として検出された複数の対象領域の少なくともいずれかについて、検出された他の対象領域との位置関係に基づいて分類を補正する。

【0085】

例えば、心臓Ｔにおいて右心室、右心房、左心室、および左心房の位置関係は定まっている。例えば、心臓Ｔを腹側から撮像した場合と、背側から撮像した場合とでは、各対象領域の位置が異なる入力画像が得られる。例えば、図１４に示す一方では、対象領域Ｒ１から時計回りに対象領域Ｒ２、対象領域Ｒ３、対象領域Ｒ４の順に配列しているが、他方では、対象領域Ｒ１から時計回りに対象領域Ｒ４、対象領域Ｒ３、対象領域Ｒ２の順に配列している。しかし、対象物における各対象領域の配置が同じであるため、これらの入力画像における対象領域同士の位置関係は同じである。すなわち、同じ分類として検出された複数の対象領域の少なくともいずれかは、誤検出であり、検出された他の対象領域との位置関係に基づいて、同じ分類として検出された複数の対象領域の少なくともいずれかの分類を補正することが可能である。

【0086】

検出された対象領域同士の位置関係が定まっている場合、検出されたある対象領域の対象物における位置は、検出された他の対象領域との位置関係から一意に定まる。この構成によれば、情報処理装置１ａは、同じ分類として検出された複数の対象領域の少なくともいずれかについて、検出された他の対象領域との位置関係に基づいて分類を補正する。これにより、情報処理装置１ａは、検出された対象領域に対応する分類の誤りを、検出された他の対象領域との位置関係に基づいて補正するため、検出結果を訂正することができる。

【0087】

決定部１０４４は、対象物に含まれる全ての対象領域が検出された状態において、対象領域同士の位置関係を決定する。決定部１０４４を備えることにより、情報処理装置１ａは、対象物に含まれる対象領域同士の位置関係を、正しく決定することができる。

【0088】

〔実施形態３〕
本発明の他の実施形態に係る情報処理システム１００ａについて、図１５～図１８を用いて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0089】

（情報処理システム１００ａ）
入力画像として、心臓Ｔを撮影した複数のフレームの画像を含む動画像（超音波動画像）を用いた場合、情報処理装置１は、複数のフレームの各々について、検出した対象領域および特定した検出漏れ領域を含む検出結果を出力することができる。情報処理システム１００ａは、図１５に示すように、情報処理装置１によって検出された対象領域および特定された検出漏れ領域の各々の面積の時系列変化に基づいて、不整脈を検出する不整脈検出装置４を備えている。不整脈検出装置４は、情報処理装置１にて心臓Ｔを撮影した超音波動画像のフレーム毎に検出された、または、検出漏れ領域として特定された、左心房、右心房、左心室、および右心室の各々の面積の時系列変化に基づいて、不整脈を検出する。この構成によれば、不整脈検出装置４は、不整脈を精度良く検出することができる。

【0090】

（不整脈検出装置が行う処理）
不整脈検出装置４を備える情報処理システム１００ａが行う処理について、図１６を用いて説明する。図１６は、情報処理システム１００ａが行う処理の一例を説明するための図である。

【0091】

図１６の最上段は、胎児の心臓を撮影した入力画像のフレーム０、１、２、３、・・・に対応する各画像が示されている。図１６の中段は、各フレームの画像において、情報処理装置１によって検出された、または、検出漏れ領域として特定された、左心房、右心房、左心室、および右心室の各々を示す対象領域を、各画像に重畳して示している。図１６の最下段は、情報処理装置１によって検出された、または、検出漏れ領域として特定された、左心房、右心房、左心室、および右心室の各々の面積を、フレーム毎に決定した様子を示している。情報処理装置１は、図１６における最上段～中段の処理を実行し、不整脈検出装置４は、図１６における中段～最下段の処理を実行する。

【0092】

次に、不整脈検出装置４が不整脈を検出する処理について、図１７を用いて説明する。図１７は、不整脈検出装置４が不整脈を検出する処理の一例を説明するための図である。図１７は、情報処理装置１によって検出された、または、検出漏れ領域として特定された、左心房、右心房、左心室、および右心室の各々の面積（ｓｉｚｅ）を、時系列に沿ってグラフ化したものである。面積の単位は、ｍｍ^２等であってもよい。あるいは、面積は、画像において、左心房、右心房、左心室、および右心室に対応する領域に含まれる画素数（ｐｉｘｅｌ数）で示されてもよい。不整脈が生じていない場合、左心房、右心房、左心室、および右心室の各々の面積（ｓｉｚｅ）はいずれも周期的な増減パターンを繰り返す。これに対し、不整脈が生じた場合、図１７の四角枠で示した箇所のフレームに見られるように、周期的な増減パターンが乱れる。不整脈検出装置４は、左心房、右心房、左心室、および右心室の各々の面積（ｓｉｚｅ）の周期的な増減パターンの乱れを検出することによって、不整脈を検出することができる。

【0093】

（情報処理装置および不整脈検出装置が実行する処理）
続いて、情報処理装置１および不整脈検出装置４が実行する処理について、図１８を用いて説明する。図１８は、情報処理システム１００ａが実行する処理の一例を示すフローチャートである。なお、以下の各ステップの処理は、１または複数の情報処理装置１、および１または複数の不整脈検出装置４により実行されてもよい。

【0094】

情報処理装置１の画像取得部１０１は、心臓を撮影した超音波動画像を取得する（ステップＳ１１）。次に、情報処理装置１の検出部１０２は、学習モデルを用いて、超音波動画像のフレーム毎に左心房、右心房、左心室、右心室、および下記の集合領域（ｉ）～（ｉｖ）を検出する（ステップＳ１２）。
（ｉ）左心房と左心室。
（ｉｉ）右心房と右心室。
（ｉｉｉ）左心房と右心房。
（ｉｖ）左心室と右心室。

【0095】

次に、特定部１０３は、検出された集合領域において、検出漏れ領域を特定する（ステップＳ１３）。

【0096】

続いて、不整脈検出装置４は、情報処理装置１によって検出された対象領域、および特定された検出漏れ領域の各々の面積の時系列変化を解析し（ステップＳ１４）、不整脈を検出する（ステップＳ１５）。

【0097】

〔実施形態４〕
（トンボの頭部における対象領域）
対象物がトンボの頭部である場合について、図１９および図２０を用いて説明する。図１９は、トンボの頭部を正面前方から撮影した画像における対象領域の例を示す図である。図２０は、トンボの頭部を正面前方から撮影した画像における集合領域の例を示す図である。図１９左は、トンボの頭部を撮影した画像である。本発明に係る情報処理装置１、１ａは、トンボの頭部を撮影した入力画像における対象領域を検出すること、および、検出漏れ領域を特定することが可能である。

【0098】

図１９右に示す、右複眼、左複眼、および大顎対応する領域を対象領域とする場合、図２０に示す３つの領域を集合領域とすればよい。

【0099】

情報処理装置１、１ａは、トンボの解剖学的な器官にそれぞれ対応する対象領域を、高精度で検出することが可能である。このように、情報処理装置１、１ａは幅広い対象物の対象領域の検出に適用可能である。それゆえ、情報処理装置１、１ａは、例えば、生物を撮影した入力画像を素材とした生物の解剖学的構造に関する学習教材の作成などに適用され得る。

【0100】

〔ソフトウェアによる実現例〕
情報処理装置１、１ａ（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特にプロセッサ１０、１０ａに含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0101】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0102】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0103】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0104】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0105】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0106】

〔まとめ〕
本発明の態様１に係る情報処理装置は、対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域の各々を検出する検出部と、検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定部と、を備える。

【0107】

本発明の態様２に係る情報処理装置は、上記態様１において、前記対象領域の各々は、少なくともいずれかの前記集合領域を構成してもよい。

【0108】

本発明の態様３に係る情報処理装置は、上記態様１または２において、前記特定部は、検出された前記集合領域同士が重複する重複領域のうち、前記対象領域として検出されていない領域を、前記検出漏れ領域として特定してもよい。

【0109】

本発明の態様４に係る情報処理装置は、上記態様１から３のいずれかにおいて、前記特定部は、検出された前記集合領域から、検出された前記対象領域を除いた領域を、前記検出漏れ領域として特定してもよい。

【0110】

本発明の態様５に係る情報処理装置は、上記態様４において、前記特定部は、検出された前記集合領域から、除かれる前記対象領域の周辺に隣接する領域をさらに除いた領域を、前記検出漏れ領域として特定してもよい。

【0111】

本発明の態様６に係る情報処理装置は、上記態様４または５において、前記特定部は、検出された前記集合領域を収縮させた領域から、検出された前記対象領域を除いた領域を、前記検出漏れ領域として特定してもよい。

【0112】

本発明の態様７に係る情報処理装置は、上記態様１から６のいずれかにおいて、前記対象物に含まれる前記対象領域の個数は所定数であり、検出された前記対象領域の個数が前記所定数を超える場合、検出された前記対象領域のうちの２つの組合せのうち、前記対象領域同士の重なり度合が最大かつ所定閾値を超える前記組合せの前記対象領域を、１つの前記対象領域に統合する統合部をさらに備えていてもよい。

【0113】

本発明の態様８に係る情報処理装置は、上記態様７において、前記重なり度合は、前記組合せの２つの前記対象領域同士が重複する領域の面積を、当該２つの対象領域の面積の合計値で除した値であってもよい。

【0114】

本発明の態様９に係る情報処理装置は、上記態様７または８において、検出された前記対象領域の個数が前記所定数を超え、かつ、前記重なり度合の最大値が前記所定閾値を越えない場合、同じ分類として検出された前記対象領域のうち面積が最小の前記対象領域を、非検出に置き換える置換部をさらに備えていてもよい。

【0115】

本発明の態様１０に係る情報処理装置は、上記態様１から９のいずれかにおいて、前記対象領域同士の位置関係が定められており、同じ分類として検出された複数の前記対象領域の少なくともいずれかについて、検出された他の前記対象領域との位置関係に基づいて分類を補正する補正部をさらに備えていてもよい。

【0116】

本発明の態様１１に係る情報処理装置は、上記態様１０において、前記対象物に含まれる全ての前記対象領域が検出された状態において、前記対象領域同士の位置関係を決定する決定部をさらに備えていてもよい。

【0117】

前記対象物は心臓であり、前記対象領域は、左心房、右心房、左心室、および右心室であり、前記入力画像は、超音波動画像であり、本発明の態様１２に係る不整脈検出装置は、上記態様１から１１のいずれかに記載の情報処理装置にて前記入力画像のフレーム毎に検出された前記対象領域および特定された前記検出漏れ領域の各々の面積の時系列変化に基づいて、不整脈を検出する。

【0118】

本発明の態様１３に係る領域特定方法は、１または複数の情報処理装置により実行される領域特定方法であって、対象物に含まれる対象領域の各々、および、複数の前記対象領域で構成される集合領域の各々に、互いに異なる分類がアノテーションとして付された教師画像を用いて学習された学習モデルを用いて、前記対象物を撮影した入力画像から前記対象領域および前記集合領域を検出する検出ステップと、検出された前記集合領域内において、検出されなかった前記対象領域である検出漏れ領域を特定する特定ステップと、を含む。

【0119】

上記態様１に記載の情報処理装置としてコンピュータを機能させるための領域特定プログラムであって、前記検出部および前記特定部としてコンピュータを機能させるための領域特定プログラムである。

【符号の説明】

【0120】

１、１ａ 情報処理装置
２ 撮影装置
３ 表示装置
４ 不整脈検出装置
１００、１００ａ 情報処理システム
１０２ 検出部
１０３、１０３ａ 特定部
１０４１ 統合部
１０４２ 置換部
１０４３ 補正部
１０４４ 決定部
Ｓ２ 検出ステップ
Ｓ３ 特定ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】