特許 7316611 推定処理プログラム、推定処理方法、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-20

(45)【発行日】2023-07-28

(54)【発明の名称】推定処理プログラム、推定処理方法、及び情報処理装置

(51)【国際特許分類】

   G06T 7/155 20170101AFI20230721BHJP

   G06T 7/11 20170101ALI20230721BHJP

   G06T 7/00 20170101ALI20230721BHJP

【ＦＩ】

G06T7/155

G06T7/11

G06T7/00 612

【請求項の数】 8

(21)【出願番号】P 2020014106

(22)【出願日】2020-01-30

(65)【公開番号】P2021120815

(43)【公開日】2021-08-19

【審査請求日】2022-08-01

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(73)【特許権者】

【識別番号】510097747

【氏名又は名称】国立研究開発法人国立がん研究センター

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(74)【代理人】

【識別番号】100092978

【弁理士】

【氏名又は名称】真田 有

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】酒井 彬

(72)【発明者】

【氏名】小松 正明

(72)【発明者】

【氏名】生水 貫人

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特表２０２０－５０３９２３（ＪＰ，Ａ）

【文献】特表２０２１－５１１５７７（ＪＰ，Ａ）

【文献】特開２０１３－０６１６９７（ＪＰ，Ａ）

【文献】国際公開第２００９／１４７８１４（ＷＯ，Ａ１）

【文献】特開２０１６－７２７０（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１８３７３（ＷＯ，Ａ１）

【文献】池本 健介 Kensuke IKEMOTO，胸壁および血管の正常構造を考慮したＸ線ＣＴからの肺結節の認識 Recognition of lung nodules in CT images considering normal structures of organs，電子情報通信学会技術研究報告 Ｖｏｌ．１０４ Ｎｏ．５８０ IEICE Technical Report，日本，社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，第104巻

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／１５５

Ｇ０６Ｔ ７／１１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータに実行させる、推定処理プログラム。

【請求項2】

前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
請求項１に記載の推定処理プログラム。

【請求項3】

前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
請求項１に記載の推定処理プログラム。

【請求項4】

訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
処理を前記コンピュータに実行させる、請求項１～請求項３のいずれか１項に記載の推定処理プログラム。

【請求項5】

前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
処理を前記コンピュータに実行させる、請求項１～請求項４のいずれか１項に記載の推定処理プログラム。

【請求項6】

前記入力画像は、超音波画像である、
請求項１～請求項５のいずれか１項に記載の推定処理プログラム。

【請求項7】

対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータが実行する、推定処理方法。

【請求項8】

対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力する画像入力部と、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する領域出力部と、
を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、推定処理プログラム、推定処理方法、及び情報処理装置に関する。

【背景技術】

【0002】

筒や管の切断面の確認、又は、断面のスキャン画像の確認等を行なうために、筒形状の対象物の断面画像をセグメンテーションするニーズがある。

【0003】

例えば、セグメンテーションを行なう第１の手法として、円又は楕円の外周部上及び内周部上の点を複数抽出し、抽出した点を結ぶ円又は楕円を最小二乗法によりフィッティングする技術が知られている。

【0004】

また、セグメンテーションを行なう第２の手法として、機械学習手法を用いて断面画像における断面の縁取りを学習する技術が知られている。

【先行技術文献】

【非特許文献】

【0005】

【文献】Olaf Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany, 公開日: 2015年5月18日

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した第１の手法では、筒の断面の形状が円又は楕円に限定されてしまう。また、内縁の円と外縁の円とが交差し易い。

【0007】

また、上述した第２の手法では、機械学習手法の傾向として、縁取りの領域が途切れ易く、筒形状であるという事前知識が生かせない。

【0008】

このように、上述した第１及び第２の手法では、いずれも、筒形状の対象物の断面、例えば環状面のセグメンテーションを行なう際に、筒の厚み及び円筒面の穴の有無について誤判定が生じる可能性がある。

【0009】

１つの側面では、本発明は、対象物の環状面の推定における精度向上を図ることを目的とする。

【課題を解決するための手段】

【0010】

１つの側面では、推定処理プログラムは、コンピュータに以下の処理を実行させてよい。前記処理は、対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力してよい。また、前記処理は、前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力してよい。

【発明の効果】

【0011】

１つの側面では、対象物の環状面の推定における精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態に係る情報処理装置による対象物の環状面の推定処理の一例を説明するための図である。

【図2】比較例に係る情報処理装置を説明するための図である。

【図3】比較例に係る情報処理装置を説明するための図である。

【図4】超音波により撮像した胎児胸部の断面図の一例を示す図である。

【図5】胸郭領域のセグメンテーション結果の一例を示す図である。

【図6】一実施形態に係るサーバの機能構成例を示すブロック図である。

【図7】訓練データセットの一例を示す図である。

【図8】入力データの一例を示す図である。

【図9】学習部により生成されるマスク画像の一例を示す図である。

【図10】学習部による推定部の機械学習処理の一例を説明するための図である。

【図11】実行部による推定処理の一例を説明するための図である。

【図12】ノイズ除去部によるノイズ除去処理の一例を説明するための図である。

【図13】出力データの一例を示す図である。

【図14】推定部の学習フェーズの動作例を説明するためのフローチャートである。

【図15】推定部の推定フェーズの動作例を説明するためのフローチャートである。

【図16】一実施形態に係るコンピュータのハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

【0014】

〔１〕一実施形態
〔１－１〕情報処理装置による推定処理の説明
図１は、一実施形態に係る情報処理装置１による対象物の環状面の推定処理の一例を説明するための図である。なお、図１の説明では、「対象物」は、例えば、筒形状の物体であるものとする。また、入力画像２は、筒形状の対象物の断面を環状面が写るように撮像した画像である。

【0015】

図１に例示するように、情報処理装置１は、入力画像２を用いて、以下の（ａ）及び（ｂ）の処理を実行することで、対象物の環状面の推定精度を向上させることができる。

【0016】

（ａ）情報処理装置１は、対象物を撮影した入力画像２を、対象物の環状面の領域を推定する第１推定モデル３ａ、環状面の外周内の領域を推定する第２推定モデル３ｂ、環状面の内周内の領域を推定する第３推定モデル３ｃ、のそれぞれに入力する。

【0017】

なお、第１推定モデル３ａ、第２推定モデル３ｂ及び第３推定モデル３ｃは、それぞれ、機械学習手法を用いて画像のセグメンテーションを学習済みのニューラルネットワークであってよい。

【0018】

例えば、図１に示すように、第１推定モデル３ａは、対象物の環状面の第１領域４ａをマスクするセグメンテーションを行なうように学習されてよい。また、第２推定モデル３ｂは、対象物の外周内の第２領域４ｂをマスクするセグメンテーションを行なうように学習されてよく、第３推定モデル３ｃは、対象物の内周内の第３領域４ｃをマスクするセグメンテーションを行なうように学習されてよい。

【0019】

（ｂ）第１推定モデル３ａの推定結果として出力された第１領域４ａを和集合の算出に用いる第１要素とし、第２推定モデル３ｂの推定結果として出力された第２領域４ｂを和集合の算出に用いる第２要素とし、第３推定モデル３ｃの推定結果として出力された第３領域４ｃを差集合の算出に用いる第３要素とする。情報処理装置１は、第１要素、第２要素及び第３要素を合成した領域を、入力画像２における対象物の環状面であると推定した領域５として出力する。

【0020】

図１の例では、対象物の環状面の第１領域４ａ及び環状面の外周内の第２領域４ｂのそれぞれにおけるマスクされた領域を網掛けで示し、環状面の内周内の第３領域４ｃにおけるマスクされた領域を斜線で示す。図１の例において、丸枠内の「＋」（プラス）は、和集合の演算を示し、丸枠内の「－」（マイナス）は、差集合の演算を示す。

【0021】

なお、領域５は、環状面であると推定した部分のセグメンテーションを少なくとも含む画像データであってよい。また、情報処理装置１は、図１に例示するように、領域５に対してノイズ除去処理６を実行してノイズを除去し、筒形状のセグメンテーション画像７を出力してもよい。

【0022】

このように、一実施形態に係る情報処理装置１によれば、対象物である筒の断面形状が円又は楕円等の定まった形でなくとも、入力画像２における対象物の環状面の推定を行なうことが可能となる。

【0023】

また、対象物の環状面の第１領域４ａ、環状面の外周内の第２領域４ｂ、及び、環状面の内周内の第３領域４ｃを、それぞれ第１要素、第２要素及び第３要素として合成した領域５を出力することで、環状面の推定結果に途切れや欠けを生じ難くすることができる。

【0024】

従って、対象物の環状面の推定における精度を向上させることができる。これにより、例えば、対象物の環状面の厚みの判定、及び、環状面の穴の有無の判定等を正確に行なうことが可能となる。

【0025】

図２及び図３は、それぞれ、比較例に係る情報処理装置１００Ａ及び１００Ｂを説明するための図である。

【0026】

図２に示す比較例では、情報処理装置１００Ａにより、入力画像２の入力に応じて取得される、対象物の環状面の領域を推定する推定モデル３００ａの推定結果として出力された領域４００ａが、領域５００ａとして出力される場合を示す。図２の例のように、領域４００ａにおけるセグメンテーションされた筒形状には、符号Ａ～Ｄに示すような欠損が生じる場合がある。これらの欠損は、入力画像２における対象物の環状面であると推定した領域５００ａに残存するため、対象物が筒形状として認識されなくなる可能性がある。

【0027】

図３に示す比較例では、情報処理装置１００Ｂにより、入力画像２の入力に応じて取得される、環状面の外周内の領域を推定する推定モデル３００ｂの推定結果として出力された領域４００ｂから、環状面の内周内の領域を推定する推定モデル３００ｃの推定結果として出力された領域４００ｃを除外した領域が、領域５００ｂとして出力される場合を示す。図３の例のように、領域４００ｂから領域４００ｃを除外する際に、領域４００ｂ及び４００ｃの一方又は双方の位置にズレが生じる場合がある。この場合、領域５００ｂの環状面の推定結果においては、符号Ｅ及びＦに示すように、環状面の厚みが誤判定されたり、符号Ｇに示すように、途切れや欠けが生じて筒形状として認識されなくなったりする場合がある。

【0028】

このように、推定モデルの推定結果として出力された１つ又は２つの領域を用いる場合、対象物の環状面の推定における精度が低下する可能性がある。

【0029】

これに対し、一実施形態に係る情報処理装置１によれば、環状面と推定された第１領域４ａに生じる可能性のある欠損部分を、環状面の外周内と推定された第２領域４ｂにより補う（補完する）ことができる。

【0030】

また、環状面の内周内と推定された第３領域４ｃにより、第２領域４ｂから環状面の中心部を差し引くことで、例えばノイズ除去処理６によって環状面の内周が埋まってしまうことを回避できる。

【0031】

従って、一実施形態に係る情報処理装置１によれば、図２及び図３に示す比較例において生じ得る、対象物の環状面の推定における精度低下を抑制できる、換言すれば、対象物の環状面の推定における精度を向上させることが可能となる。

【0032】

なお、第１領域４ａ、第２領域４ｂ及び第３領域４ｃの組み合わせ順序には、いくつかのパターンが考えられる。これらのパターンについては後述する。

【0033】

〔１－２〕一実施形態の構成例
以下の説明では、情報処理装置１による推定処理が、超音波画像診断における胸郭の検出に利用される場合を例に挙げる。図４に例示するように、エコー画像における胎児胸部の皮膚から肋骨までの領域は、「胸郭」と呼ばれる部位である。胎児に何らかの先天性疾患がある場合、胸郭部分に、腹水に起因する膨らみや臓器の萎縮による陥没が生じる。

【0034】

このような先天性疾患の判定の際に、胸郭の厚みの判定、及び、胸郭に穴が空いているか否かの判定等が行なわれる。このため、図５に例示するように、胸郭の領域を、内周及び外周を含めてピクセル単位でセグメンテーションすることが、胎児超音波診断において重要となる。

【0035】

そこで、一実施形態の説明において、対象物は、胎児であり、セグメンテーションが行なわれる画像は、胎児の胸郭を撮像した、エコー画像等の超音波画像であり、セグメンテーション対象である環状面は、胎児の胸郭であるものとする。

【0036】

図６は、一実施形態に係るサーバ１０の機能構成例を示すブロック図である。サーバ１０は、対象物の環状面を推定する装置であり、図１に示す情報処理装置１の一例である。

【0037】

図６に示すように、サーバ１０は、例示的に、メモリ部１１、筒推定部１２、外周推定部１３、内周推定部１４、取得部１５、学習部１６、実行部１７、ノイズ除去部１８及び出力部１９を備えてよい。以下、筒推定部１２、外周推定部１３及び内周推定部１４を総称して、「推定部１２～１４」と表記する場合がある。

【0038】

メモリ部１１は、記憶領域の一例であり、筒推定部１２、外周推定部１３及び内周推定部１４の学習、実行（推定）及び出力等に用いられる種々の情報を記憶する。図６に示すように、メモリ部１１は、例示的に、複数のモデル情報１１ａ、訓練データセット１１ｂ、入力データ１１ｃ及び出力データ１１ｄを記憶可能であってよい。

【0039】

筒推定部１２は、図１に示す第１推定モデル３ａの一例であり、例えば、対象物を撮影した画像（画像データ）の入力に応じて、対象物の環状面の領域を推定する。

【0040】

外周推定部１３は、図１に示す第２推定モデル３ｂの一例であり、例えば、上記の画像（画像データ）の入力に応じて、対象物の環状面の外周内の領域を推定する。

【0041】

内周推定部１４は、図１に示す第３推定モデル３ｃの一例であり、例えば、上記の画像（画像データ）の入力に応じて、対象物の環状面の内周内の領域を推定する。

【0042】

推定部１２～１４は、それぞれ、機械学習手法を用いて画像のセグメンテーションを行なうニューラルネットワークであってよく、一例として、U-Netが挙げられる。なお、推定部１２～１４は、U-Netに限定されるものではなく、Semantic Segmentationを実行する他のニューラルネットワークであってもよく、Semantic Segmentation以外のセグメンテーション手法を用いるニューラルネットワークであってもよい。

【0043】

推定部１２～１４を実現するためのネットワーク構造や各種パラメータ等の情報は、例えば、推定部１２～１４別にモデル情報１１ａとしてメモリ部１１に記憶されてよい。

【0044】

取得部１５は、推定部１２～１４の学習及び実行に用いる情報を、例えば図示しないコンピュータから取得する。

【0045】

例えば、取得部１５は、推定部１２～１４の学習に用いる訓練データセット１１ｂを取得し、メモリ部１１に格納してよい。

【0046】

訓練データセット１１ｂは、訓練用対象物を撮影した訓練画像と、当該訓練画像中の訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットの一例である。

【0047】

例えば、訓練データセット１１ｂは、図７に示すように、ｎ個（ｎは２以上の整数）の訓練データ１１０を含んでよい。各訓練データ１１０は、訓練用対象物の環状面を撮影した画像１１１と、当該画像１１１のセグメンテーションの正解データとしてのアノテーションマスク画像（以下、「マスク画像」と表記する場合がある）１１２とを含んでよい。

【0048】

画像１１１は、訓練画像の一例であり、例えば、図７に示すように、訓練用対象物の一例である胎児の胸郭を撮像したエコー画像であってよい。複数の訓練データ１１０における各エコー画像は、一連のエコー映像から時系列（例えばｔ＝０～（ｎ－１））に切り出されたフレームであってもよい。なお、各画像１１１は、互いに異なる動画像から切り出されたフレームであってもよいし、静止画像として撮影された画像であってもよい。

【0049】

アノテーションマスク画像１１２は、アノテーションデータの一例であり、例えば、図７に示すように、訓練データ１１０の画像１１１におけるセグメンテーション対象の環状面（図７の例では「胸郭」）をマスクした画像である。なお、「マスク」とは、例えば、マスク対象の領域を、マスク対象ではない領域と区別可能な態様で表示することを意味し、一例として、マスク対象の領域を所定の色で塗り潰す（マスク対象の領域のピクセルに所定の色を設定する）ことであってよい。図７の例では、マスクされた領域、換言すれば胸郭に対応する領域を白塗りで示し、その他の領域、換言すれば胸郭以外の領域を黒塗りで示す。

【0050】

一実施形態では、マスク画像１１２は、第１アノテーションデータの一例であり、筒推定部１２の機械学習に用いられる正解データである。

【0051】

また、取得部１５は、推定部１２～１４による推定処理に用いる入力データ１１ｃを取得し、メモリ部１１に格納してよい。

【0052】

入力データ１１ｃは、１以上の入力画像を含む画像セットであり、例えば、複数のフレームを含む映像等の動画像であってよい。一実施形態では、入力データ１１ｃは、図８に示すように、エコー画像等である画像１１５を複数含むエコー映像であってよい。画像１１５は、推定処理において推定部１２～１４に入力される入力画像の一例である。

【0053】

学習部１６は、学習実行部の一例であり、取得部１５が取得した訓練データセット１１ｂを用いて、推定部１２～１４のそれぞれの学習を行なう。

【0054】

なお、学習部１６は、訓練データセット１１ｂに含まれるマスク画像１１２に基づき、図９に示すように、複数のアノテーションマスク画像１１３及び１１４を生成してよい。

【0055】

マスク画像１１３は、マスク画像１１２を訓練画像中の訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータの一例であり、外周推定部１３の機械学習に用いられる正解データである。

【0056】

例えば、学習部１６は、環状面がマスクされたマスク画像１１２に対して、内周内をさらにマスクすることにより、図９に示すように、外周内全域をマスクしたマスク画像１１３を生成してよい。

【0057】

マスク画像１１４は、マスク画像１１２を訓練画像中の訓練用対象物の環状面の内周内の領域を示すように加工して得られる第３アノテーションデータの一例であり、外周推定部１３の機械学習に用いられる正解データである。

【0058】

例えば、学習部１６は、環状面がマスクされたマスク画像１１２に対して、環状面のマスクを解除するとともに、内周内をマスクすることにより、内周内全域をマスクしたマスク画像１１４を生成してよい。なお、学習部１６は、マスク画像１１３からマスク画像１１２を除外する、例えばマスク画像１１３のマスク部分のピクセルの集合からマスク画像１１２のマスク部分のピクセルの集合を除外する、差集合を求めることで、マスク画像１１４を生成してもよい。

【0059】

以上のように、学習部１６は、訓練データセット１１ｂに含まれる訓練データ１１０ごとに、マスク画像１１３及び１１４を生成し、生成したマスク画像１１３及び１１４を対応する訓練データ１１０に含めてよい。

【0060】

なお、各訓練データ１１０に、画像１１１と、マスク画像１１２～１１４とが含まれる場合には、学習部１６によるマスク画像１１３及び１１４の生成は省略されてもよい。

【0061】

図１０は、学習部１６による推定部１２～１４の機械学習処理の一例を説明するための図である。図１０に示すように、学習部１６は、画像１１１を推定部１２～１４のそれぞれに入力する。そして、学習部１６は、画像１１１の入力に応じて取得される、筒推定部１２が出力した推定結果と、マスク画像１１２とに基づいて、筒推定部１２の機械学習を実行する。また、学習部１６は、当該画像１１１の入力に応じて取得される、外周推定部１３が出力した推定結果と、マスク画像１１３とに基づいて、外周推定部１３の機械学習を実行する。さらに、学習部１６は、当該画像１１１の入力に応じて取得される、内周推定部１４が出力した推定結果と、マスク画像１１４とに基づいて、内周推定部１４の機械学習を実行する。

【0062】

学習部１６による推定部１２～１４の機械学習処理により、筒推定部１２は、入力される画像に対して、マスク画像１１２と同様に、対象物の環状面の領域をマスクするセグメンテーションを行なうように学習される。また、外周推定部１３は、マスク画像１１３と同様に、対象物の外周内の領域をマスクするセグメンテーションを行なうように学習される。さらに、内周推定部１４は、マスク画像１１４と同様に、対象物の内周内の領域をマスクするセグメンテーションを行なうように学習される。

【0063】

正解データ（マスク画像１１２～１１４）を用いた推定部１２～１４の機械学習手法としては、既知の種々の手法が採用されてよい。一例として、機械学習処理では、画像１１１の入力に応じて推定部１２～１４の順伝播処理により得られる推定結果と、マスク画像１１２～１１４とに基づき得られる誤差関数の値を小さくするために、順伝播方向の処理で使用するパラメータを決定する逆伝播処理が実行されてよい。そして、機械学習処理では、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理が実行されてよい。

【0064】

これらのパラメータや変数等は、モデル情報１１ａに含まれてよく、学習部１６は、機械学習処理の実行に応じて、モデル情報１１ａを更新してよい。

【0065】

学習部１６は、例えば、訓練データセット１１ｂに含まれる複数の訓練データ１１０を用いて、繰り返し回数又は精度等が閾値に達するまで、推定部１２～１４の各々の機械学習処理を繰り返し実行してよい。なお、学習が終了した推定部１２～１４は、訓練済みモデルの一例である。

【0066】

学習部１６によれば、閉じた筒等の環状面のアノテーションマスク画像１１２を用いて、外周推定部１３の学習データであるアノテーションマスク画像１１３、及び、内周推定部１４の学習データであるアノテーションマスク画像１１４を生成することができる。

【0067】

従って、訓練データセット１１ｂの提供元における、訓練データセット１１ｂの生成の処理負荷を低減できるとともに、及び、訓練データセット１１ｂの記憶領域の消費量を削減できる。

【0068】

実行部１７は、学習部１６による訓練済みの推定部１２～１４を用いて、入力データ１１ｃに対する対象物のセグメンテーションの推定処理を実行する。

【0069】

図１１は、実行部１７による推定処理の一例を説明するための図である。推定処理は、各推定部１２～１４から出力される推定結果画像（マスク画像）の取得処理と、取得したそれぞれの推定結果画像の合成処理とを含んでよい。

【0070】

図１１に示すように、実行部１７は、取得処理において、入力データ１１ｃに含まれる画像１１５を抽出し、同一の画像１１５を、筒推定部１２、外周推定部１３及び内周推定部１４にそれぞれ入力する。

【0071】

換言すれば、実行部１７は、画像１１５を、筒推定部１２、外周推定部１３、及び、内周推定部１４、のそれぞれに入力する画像入力部の一例である。

【0072】

そして、実行部１７は、筒推定部１２から出力される推定結果画像であるマスク画像１２ａ、外周推定部１３から出力される推定結果画像であるマスク画像１３ａ、及び、内周推定部１４から出力される推定結果画像であるマスク画像１４ａ、をそれぞれ取得する。

【0073】

環状面のマスク画像１２ａは、筒推定部１２の推定結果として出力された第１領域の一例である。外周内のマスク画像１３ａは、外周推定部１３の推定結果として出力された第２領域の一例である。内周内のマスク画像１４ａは、内周推定部１４の推定結果として出力された第３領域の一例である。

【0074】

実行部１７は、合成処理において、取得した環状面のマスク画像１２ａ、外周内のマスク画像１３ａ、並びに、内周内のマスク画像１４ａを合成して、合成画像１１６を生成する。合成画像１１６は、画像１１５における対象物の環状面であると推定した領域の一例であり、環状面であると推定した部分のセグメンテーションを少なくとも含む画像データであってよい。

【0075】

ここで、実行部１７は、例えば、環状面のマスク画像１２ａを和集合の算出に用いる第１要素とし、外周内のマスク画像１３ａを和集合の算出に用いる第２要素とし、内周内のマスク画像１４ａを差集合の算出に用いる第３要素として利用してよい。

【0076】

合成処理は、環状面のマスク画像１２ａのマスク部分のピクセルの集合をＣとし、外周内のマスク画像１３ａのマスク部分のピクセルの集合をＯとし、内周内のマスク画像１４ａのマスク部分のピクセルの集合をＩとすると、下記式（１）により表されてよい。

【0077】

合成画像１１６ ＝ （Ｃ Ｕ Ｏ） ／ Ｉ （１）

【0078】

ここで、上記式（１）において、“Ｕ”は和（和集合）を意味し、“／”は差（差集合）を意味する。

【0079】

実行部１７は、上記式（１）を演算することで、環状面のマスク画像１２ａと外周内のマスク画像１３ａとの和集合の領域から内周内のマスク画像１４ａを除外した領域を、合成画像１１６として出力してよい。

【0080】

或いは、合成処理は、下記式（２）により表されてもよい。

【0081】

合成画像１１６ ＝ （Ｏ ／ Ｉ） Ｕ Ｃ （２）

【0082】

実行部１７は、上記式（２）を演算することで、外周内のマスク画像１３ａから内周内のマスク画像１４ａを除外した領域と、環状面のマスク画像１２ａとの和集合の領域を、合成画像１１６として出力してよい。

【0083】

実行部１７は、上記式（１）及び式（２）のうちの少なくともいずれか一方を用いた合成処理を実行してよい。なお、実行部１７は、上記式（１）を用いた合成処理、及び、上記式（２）を用いた合成処理、の双方を実行する場合、それぞれの合成画像１１６を区別して出力もよいし、２つの合成画像１１６をさらに合成（例えば和集合を演算）して出力してもよい。双方の合成処理を実行することにより、入力データ１１ｃに適した合成処理を実行できる可能性を高めることができ、推定処理の精度を向上できる。

【0084】

実行部１７は、上述した入力データ１１ｃに含まれる複数の画像１１５を、例えば映像内の先頭フレームから最終フレームに向かって順に抽出し、抽出した画像１１５ごとに推定処理を実行してよい。或いは、実行部１７は、複数の画像１１５のうちの２以上の画像１１５のセットを、推定部１２～１４にそれぞれ入力して推定処理を実行してもよい。

【0085】

ここで、図１１に例示するように、環状面のマスク画像１２ａにおいて、「筒」に欠損が生じている（図２参照）。特に、画像１１５のようなエコー画像は、対象物の移動が少ないが、エコー画像内のノイズが多いという特性がある。このようなノイズ等の影響により、マスク画像１２ａの環状部分に欠損が生じる可能性が高い。

【0086】

これに対し、上記式（１）又は式（２）を用いた合成処理によれば、当該欠損は、外周内のマスク画像１３ａとの合成により埋められる。従って、実行部１７は、一繋がりの「筒」の形状となった合成画像１１６を出力することができる。

【0087】

また、図３を用いて説明したように、外周内の領域４００ｂのマスク部分のピクセルの集合から、内周内の領域４００ｃのマスク部分のピクセルの集合を除外する（差集合を実行する）場合、位置ズレにより領域５００ｂの「筒」に欠損等が生じる場合がある。

【0088】

これに対し、上記式（２）を用いた合成処理によれば、（Ｏ ／ Ｉ）により「筒」に欠損等が生じたとしても、当該欠損は、環状面のマスク画像１２ａとの合成により埋められる。従って、実行部１７は、一繋がりの「筒」の形状となった合成画像１１６を出力することができる。また、上記（１）を用いた合成処理によれば、差集合の実行の際の位置ズレにより生じる欠損については、後述するノイズ除去部１８によるノイズ処理工程に依存して補間される。従って、上記（１）を用いた合成処理において位置ズレの影響が大きい場合には、上記（２）を用いた合成処理が採用されてよい。

【0089】

また、実行部１７は、推定部１２～１４のそれぞれの推定結果画像を合成して、合成画像１１６を生成するため、対象物の環状面の形状が円又は楕円等の定まった形状でない場合においても、対象物の環状面を正確に推定することができる。

【0090】

ノイズ除去部１８は、画像１１５における対象物の環状面であると推定した合成画像１１６に対して、合成画像１１６に含まれるノイズを除去するノイズ除去処理を行なった結果であるセグメンテーション画像１１７を、出力部１９に出力する。ノイズ除去部１８としては、例えば、モルフォロジフィルタ等の種々の画像処理フィルタが用いられてよい。

【0091】

ノイズ除去部１８によるノイズ除去処理により、図１２に例示するように、合成画像１１６におけるノイズを除去できるとともに、環状面と非環状面との間の境界を明確化したセグメンテーション画像１１７を出力することができる。

【0092】

なお、サーバ１０がノイズ除去部１８を備えない構成も許容されてよい。この場合、実行部１７は、合成画像１１６を出力部１９に出力してよい。

【0093】

出力部１９は、実行部１７又はノイズ除去部１８から入力される合成画像１１６又はセグメンテーション画像１１７をメモリ部１１に出力（蓄積）し、蓄積した複数の画像１１７に基づき、出力データ１１ｄを作成してよい。

【0094】

出力データ１１ｄは、１以上の合成画像１１６又はセグメンテーション画像１１７、換言すれば１以上の出力画像を含む画像セットであり、例えば、複数のフレームを含む映像等の動画像であってよい。一実施形態では、出力部１９は、図１３に例示するように、各合成画像１１６又は各セグメンテーション画像１１７（図１３の例ではセグメンテーション画像１１７）をフレームとして時系列に結合した映像であってよい。

【0095】

なお、出力部１９は、出力データ１１ｄを、例えば図示しないコンピュータに送信してもよい。

【0096】

以上のように、実行部１７及び出力部１９は、マスク画像１２ａを和集合の算出に用いる第１要素とし、マスク画像１３ａを和集合の算出に用いる第２要素とし、マスク画像１４ａを差集合の算出に用いる第３要素として、第１要素～第３要素を合成した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。

【0097】

他の側面では、実行部１７及び出力部１９は、マスク画像１２ａとマスク画像１３ａとの和集合の領域からマスク画像１４ａを除外した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。

【0098】

さらに他の側面では、実行部１７及び出力部１９は、マスク画像１２ａとマスク画像１３ａとの和集合の領域からマスク画像１４ａを除外した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。

【0099】

〔１－３〕動作例
次に、図１４及び図１５を参照して、上述の如く構成されたサーバ１０の動作例を説明する。

【0100】

〔１－３－１〕学習フェーズの動作例
図１４は、推定部１２～１４の学習フェーズの動作例を説明するためのフローチャートである。

【0101】

図１４に例示するように、取得部１５は、訓練データセット１１ｂを取得し（ステップＳ１）、メモリ部１１に格納する。

【0102】

学習部１６は、各訓練データ１１０に含まれる、対象物の環状面をマスクした第１マスク画像１１２に基づき、環状面の外周内をマスクした第２マスク画像１１３、及び、環状面の内周内をマスクした第３マスク画像１１４をそれぞれ生成する（ステップＳ２）。

【0103】

学習部１６は、訓練データ１１０に含まれる画像１１１を、各推定部１２～１４に入力し、機械学習を実行する（ステップＳ３）。機械学習では、学習部１６は、筒推定部１２に対して第１マスク画像１１２を正解データとして与え、外周推定部１３に対して第２マスク画像１１３を正解データとして与え、内周推定部１４に対して第３マスク画像１１４を正解データとして与える。

【0104】

なお、学習部１６は、訓練データセット１１ｂ内の複数の訓練データ１１０を用いて各推定部１２～１４の機械学習を行ない、処理が終了する

【0105】

〔１－３－２〕推定フェーズの動作例
図１５は、推定部１２～１４の推定フェーズの動作例を説明するためのフローチャートである。

【0106】

図１５に例示するように、取得部１５は、入力データ１１ｃを取得し（ステップＳ１１）、メモリ部１１に格納する。

【0107】

実行部１７は、入力データ１１ｃ内の画像１１５を推定部１２～１４の各々に入力する（ステップＳ１２）。

【0108】

実行部１７は、筒推定部１２及び外周推定部１３から出力されたマスク画像１２ａ及び１３ａをそれぞれ和集合の要素とし、内周推定部１４から出力されたマスク画像１４ａを差集合の要素とする。そして、実行部１７は、マスク画像１２ａ～１４ａを合成して合成画像１１６を生成する（ステップＳ１３）。なお、和集合の要素及び差集合の要素の組み合わせ順序は、上記式（１）又は式（２）に基づいてよい。

【0109】

ノイズ除去部１８は、合成画像１１６に対してノイズ除去処理を実行してセグメンテーション画像１１７を出力する（ステップＳ１４）。なお、ステップＳ１４の処理は省略されてもよい。

【0110】

出力部１９は、セグメンテーション画像１１７を蓄積し、蓄積したセグメンテーション画像１１７を結合した出力データ１１ｄを出力し（ステップＳ１５）、処理が終了する。なお、出力データ１１ｄの出力先としては、例えば、メモリ部１１の他に、図示しないコンピュータ等が挙げられる。

【0111】

〔１－４〕ハードウェア構成例
図１６は、情報処理装置１及びサーバ１０の機能を実現するコンピュータ２０のハードウェア（ＨＷ）構成例を示すブロック図である。情報処理装置１及びサーバ１０の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１６に例示するＨＷ構成を備えてよい。

【0112】

図１６に示すように、コンピュータ２０は、ＨＷ構成として、例示的に、プロセッサ２０ａ、メモリ２０ｂ、記憶部２０ｃ、ＩＦ（Interface）部２０ｄ、Ｉ／Ｏ（Input / Output）部２０ｅ、及び読取部２０ｆを備えてよい。

【0113】

プロセッサ２０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ２０ａは、コンピュータ２０内の各ブロックとバス２０ｉで相互に通信可能に接続されてよい。なお、プロセッサ２０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

【0114】

プロセッサ２０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ：Integrated Circuit）が挙げられる。なお、プロセッサ２０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。

【0115】

例えば、情報処理装置１の少なくとも一部、サーバ１０の取得部１５、実行部１７の少なくとも一部、ノイズ除去部１８、及び、出力部１９の処理機能は、プロセッサ２０ａとしてのＣＰＵ又はＭＰＵ等により実現されてもよい。また、情報処理装置１の少なくとも一部、サーバ１０の推定部１２～１４、学習部１６、及び、実行部１７の少なくとも一部の処理機能は、プロセッサ２０ａのうちのＧＰＵ又はＡＳＩＣ（例えばＴＰＵ）等のアクセラレータにより実現されてもよい。

【0116】

ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。ＴＰＵはTensor Processing Unitの略称である。

【0117】

メモリ２０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ２０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

【0118】

記憶部２０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部２０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

【0119】

また、記憶部２０ｃは、コンピュータ２０の各種機能の全部若しくは一部を実現するプログラム２０ｇ（推定処理プログラム）を格納してよい。例えば、情報処理装置１のプロセッサ２０ａは、記憶部２０ｃに格納されたプログラム２０ｇをメモリ２０ｂに展開して実行することにより、図１に例示する情報処理装置１としての機能を実現できる。また、サーバ１０のプロセッサ２０ａは、記憶部２０ｃに格納されたプログラム２０ｇをメモリ２０ｂに展開して実行することにより、図６に例示するサーバ１０としての機能を実現できる。

【0120】

なお、メモリ２０ｂ及び記憶部２０ｃの少なくとも１つが有する記憶領域は、図６に示す各情報１１ａ～１１ｄを記憶可能であってよい。換言すれば、図６に示すメモリ部１１は、メモリ２０ｂ及び記憶部２０ｃの少なくとも１つが有する記憶領域により実現されてよい。

【0121】

ＩＦ部２０ｄは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部２０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、サーバ１０は、ＩＦ部２０ｄを介して、他の装置と相互に通信可能に接続されてよい。また、例えば、プログラム２０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ２０にダウンロードされ、記憶部２０ｃに格納されてもよい。

【0122】

Ｉ／Ｏ部２０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。

【0123】

読取部２０ｆは、記録媒体２０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部２０ｆは、記録媒体２０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部２０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体２０ｈにはプログラム２０ｇが格納されてもよく、読取部２０ｆが記録媒体２０ｈからプログラム２０ｇを読み出して記憶部２０ｃに格納してもよい。

【0124】

記録媒体２０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

【0125】

上述したコンピュータ２０のＨＷ構成は例示である。従って、コンピュータ２０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、情報処理装置１及びサーバ１０において、Ｉ／Ｏ部２０ｅ及び読取部２０ｆの少なくとも一方は、省略されてもよい。

【0126】

〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。

【0127】

例えば、図６に示すサーバ１０が備える各処理機能１２～１９は、それぞれ任意の組み合わせで併合してもよく、分割してもよい。

【0128】

なお、一実施形態では、対象物、画像及び環状面が、それぞれ、胎児、胎児のエコー画像、及び、胸郭であるものとしたが、これらに限定されるものではない。一実施形態に係る手法は、下記のように、種々の対象物、画像及び環状面についても適用可能である。

【0129】

対象物としては、例えば、人体の部位、土管、鋼管又はホース等の構造物等、筒又は略筒形状を有する種々の物体が挙げられる。画像としては、対象物の環状面の延在方向に交差する面で撮像された種々の画像が挙げられる。例えば、画像としては、エコー画像以外の超音波画像、磁気共鳴画像、Ｘ線画像、温度又は電磁波等を捉えるセンサによる検出画像、並びに、可視光又は非可視光を捉えるイメージセンサによる撮像画像、等の種々の画像が挙げられる。環状面としては、画像における、対象物の外壁又は内壁等の固体部分の他、液体部分又は気体（空間）部分が挙げられる。

【0130】

また、図６に示すサーバ１０は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、取得部１５及び出力部１９はＷｅｂサーバ、推定部１２～１４、学習部１６、実行部１７及びノイズ除去部１８はアプリケーションサーバ、メモリ部１１はＤＢ（Database）サーバ、であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１０としての各処理機能を実現してもよい。

【0131】

さらに、推定部１２～１４の学習処理（推定部１２～１４、取得部１５及び学習部１６）、並びに、推定処理（実行部１７、ノイズ除去部１８及び出力部１９）に係る各処理機能が、互いに異なる装置により提供されてもよい。この場合においても、これらの装置がネットワークを介して互いに連携することにより、サーバ１０としての各処理機能を実現してもよい。

【0132】

〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

【0133】

（付記１）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータに実行させる、推定処理プログラム。

【0134】

（付記２）
前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１に記載の推定処理プログラム。

【0135】

（付記３）
前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１に記載の推定処理プログラム。

【0136】

（付記４）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
処理を前記コンピュータに実行させる、付記１～付記３のいずれか１項に記載の推定処理プログラム。

【0137】

（付記５）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
処理を前記コンピュータに実行させる、付記１～付記４のいずれか１項に記載の推定処理プログラム。

【0138】

（付記６）
前記入力画像は、超音波画像である、
付記１～付記５のいずれか１項に記載の推定処理プログラム。

【0139】

（付記７）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータが実行する、推定処理方法。

【0140】

（付記８）
前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記７に記載の推定処理方法。

【0141】

（付記９）
前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記７に記載の推定処理方法。

【0142】

（付記１０）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
処理を前記コンピュータが実行する、付記７～付記９のいずれか１項に記載の推定処理方法。

【0143】

（付記１１）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
処理を前記コンピュータが実行する、付記７～付記１０のいずれか１項に記載の推定処理方法。

【0144】

（付記１２）
前記入力画像は、超音波画像である、
付記７～付記１１のいずれか１項に記載の推定処理方法。

【0145】

（付記１３）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力する画像入力部と、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する領域出力部と、
を備える、情報処理装置。

【0146】

（付記１４）
前記領域出力部は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１３に記載の情報処理装置。

【0147】

（付記１５）
前記領域出力部は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１３に記載の情報処理装置。

【0148】

（付記１６）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得する取得部と、
前記第１推定モデル、前記第２推定モデル及び前記第３推定モデルの機械学習を実行する学習実行部と、を備え、
前記学習実行部は、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
付記１３～付記１５のいずれか１項に記載の情報処理装置。

【0149】

（付記１７）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力するノイズ除去部、
を備える、付記１３～付記１６のいずれか１項に記載の情報処理装置。

【0150】

（付記１８）
前記入力画像は、超音波画像である、
付記１３～付記１７のいずれか１項に記載の情報処理装置。

【符号の説明】

【0151】

１ 情報処理装置
２ 入力画像
３ａ 第１推定モデル
３ｂ 第２推定モデル
３ｃ 第３推定モデル
４ａ 第１領域
４ｂ 第２領域
４ｃ 第３領域
５ 領域
６ ノイズ除去処理
７、１１７ セグメンテーション画像
１０ サーバ
１１ メモリ部
１１ａ モデル情報
１１ｂ 訓練データセット
１１ｃ 入力データ
１１ｄ 出力データ
１１０ 訓練データ
１１１、１１５ 画像
１１２、１１３、１１４ アノテーションマスク画像、マスク画像
１１６ 合成画像
１２ 筒推定部、推定部
１３ 外周推定部、推定部
１４ 内周推定部、推定部
１５ 取得部
１６ 学習部
１７ 実行部
１８ ノイズ除去部
１９ 出力部
２０ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】