(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-06
(45)【発行日】2024-08-15
(54)【発明の名称】超音波画像解析装置及び超音波画像解析方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20240807BHJP
【FI】
A61B8/14
(21)【出願番号】P 2020144035
(22)【出願日】2020-08-28
【審査請求日】2023-07-13
(73)【特許権者】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(73)【特許権者】
【識別番号】520330010
【氏名又は名称】株式会社INOWA
(74)【代理人】
【識別番号】100114524
【氏名又は名称】榎本 英俊
(72)【発明者】
【氏名】岩田 浩康
(72)【発明者】
【氏名】志田 優樹
【審査官】永田 浩司
(56)【参考文献】
【文献】特表2010-527277(JP,A)
【文献】特開2004-350744(JP,A)
【文献】米国特許出願公開第2011/0087102(US,A1)
【文献】特開2010-227499(JP,A)
【文献】米国特許出願公開第2019/0015069(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00
(57)【特許請求の範囲】
【請求項1】
被検体の体表面にプローブを接触させることでその体内を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析する超音波画像解析装置において、
前記超音波画像内の骨部分の領域を検出する骨部分検出部を備え、
前記骨部分検出部
は、前記超音波画像の輝度情報に基づいて当該超音波画像内の前記骨部分を特定する骨特定部と、当該骨特定部で特定された前記骨部分の種類を推定する骨種類推定部とを備え、
前記骨特定部は、前記骨部分の候補となる候補領域を前記超音波画像内から抽出する候補領域抽出部と、前記候補領域の中から他の組織に相当する領域を除外して前記骨部分を特定する除外部とを備え、
前記候補領域抽出部では、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域が前記候補領域として抽出され、
前記除外部では、前記陰影部分の長さ及びその超音波放射方向の奥側部分の輝度情報に基づいて、前記候補領域の中から前記骨部分に該当しない領域を除外することを特徴とする超音波画像解析装置。
【請求項2】
妊婦の腹部表面にプローブを接触させることで前記妊婦の子宮内の胎児を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析する超音波画像解析装置において、
前記超音波画像内の骨部分の領域を検出する骨部分検出部を備え、
前記骨部分検出部は、前記超音波画像の輝度情報に基づいて当該超音波画像内の前記骨部分を特定する骨特定部と、当該骨特定部で特定された前記骨部分の種類を推定する骨種類推定部とを備え、
前記骨特定部は、前記骨部分の候補となる候補領域を前記超音波画像内から抽出する候補領域抽出部と、前記候補領域の中から他の組織に相当する領域を除外して前記骨部分を特定する除外部とを備え、
前記候補領域抽出部では、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域が前記候補領域として抽出され、
前記除外部では、前記陰影部分の長さ及びその超音波放射方向の奥側部分の輝度情報に基づいて、前記候補領域の中から前記骨部分に該当しない領域を除外することを特徴とする超音波画像解析装置。
【請求項3】
前記骨種類推定部では、前記陰影部分の超音波放射方向への広がり状態によって、当該陰影部分に近接する前記骨部分が、大きい骨とそれ以外の骨の何れかに分類されることを特徴とする請求項2記載の超音波画像解析装置。
【請求項4】
前記骨種類推定部では、前記大きい骨と分類された前記骨部分について、対応する前記陰影部分の超音波放射方向の奥側に所定の大きさ以上の前記骨部分が存在する場合に、これら骨部分が頭蓋骨と推定されることを特徴とする請求項3記載の超音波画像解析装置。
【請求項5】
前記超音波画像を取得した際の前記プローブの3次元の位置姿勢情報を当該超音波画像に対応させた画像データを記録する記録部と、前記骨部分の分布状況から前記胎児の子宮内位置を推定する胎児位置推定部とを更に備え、
前記胎児位置推定部は、前記画像データに基づいて、3次元空間における前記骨部分の分布状況を表す3D骨分布を作成する3D骨分布作成部と、前記3D骨分布及び前記骨部分の種類を利用して、前記胎児の頭部部分の位置推定を行う頭部推定部と、前記3D骨分布及び前記頭部部分の位置に基づいて前記胎児の骨盤部分の位置推定を行う骨盤推定部とを備えたことを特徴とする請求項2記載の超音波画像解析装置。
【請求項6】
前記3D骨分布作成部では、複数のタイミングで取得された前記各超音波画像内での前記骨部分の画像内位置と、当該超音波画像を得た際の前記プローブの前記位置姿勢情報とから、前記骨部分の位置を3次元座標上にプロットすることで、前記3D骨分布が作成されることを特徴とする請求項5記載の超音波画像解析装置。
【請求項7】
前記骨種類推定部では、前記陰影部分の超音波放射方向への広がり状態によって、当該陰影部分に近接する前記骨部分が、大きい骨とそれ以外の骨の何れかに分類され、前記大きい骨と分類された前記骨部分について、対応する前記陰影部分の超音波放射方向の奥側に所定の大きさ以上の前記骨部分が存在する場合に、これら骨部分が頭蓋骨と推定され、
前記頭部推定部では、前記3D骨分布の中で、前記頭蓋骨と推定された前記骨部分と、前記頭蓋骨を除く骨部分との間で異なる点数を付すスコアリングが行われるとともに、前記胎児の頭部を想定して前記妊婦の週数に応じた大きさの半径に設定された仮想頭部球を前記3D骨分布内で移動し、前記仮想頭部球の各位置における前記点数の合計値に基づき、前記3D骨分布内での前記頭部部分の位置が推定されることを特徴とする請求項5記載の超音波画像解析装置。
【請求項8】
前記骨盤推定部では、前記3D骨分布から前記頭部部分の範囲内に位置する前記骨部分を除外した上で、前記骨部分の各プロットを直線変換し、当該直線の交点が最も多い前記3D骨分布の部分が前記骨盤部分の位置であると推定されることを特徴とする請求項5記載の超音波画像解析装置。
【請求項9】
前記胎児位置推定部で推定された前記胎児の子宮内位置から当該胎児の向きを推定する胎児向き推定部を更に備え、
前記胎児向き推定部は、前記頭部部分と前記骨盤部分の位置から、前記3D骨分布内における前記胎児の腹部中央領域の位置を算出する腹部領域算出部と、前記腹部中央領域に存在する前記骨部分の分布状況から前記胎児の背骨部分の位置を推定する背骨位置推定部と、前記背骨部分の位置を基づいて前記胎児の腹部の存在範囲と前記胎児の矢状軸を推定する腹部矢状軸推定部とを備えたことを特徴とする請求項5記載の超音波画像解析装置。
【請求項10】
前記腹部領域算出部では、前記頭部部分と前記骨盤部分の各位置を所定比で内分した地点を特定し、当該地点より前記妊婦の上下方向に所定距離範囲内に存在する前記骨部分が前記3D骨分布から抽出され、その領域が前記腹部中央領域とされることを特徴とする請求項9記載の超音波画像解析装置。
【請求項11】
前記背骨位置推定部では、前記腹部中央領域で前記骨部分の密度の高い領域が、前記背骨部分と推定されることを特徴とする請求項9記載の超音波画像解析装置。
【請求項12】
前記腹部矢状軸推定部では、前記妊婦の週数に応じた前記胎児の腹囲のサイズに対応する楕円状の仮想腹部円が形成され、前記腹部中央領域を前記妊婦の上下方向に所定間隔でスライスした2次元の骨分布内での前記背骨位置を基準にして前記仮想腹部円を回転したときに、当該仮想腹部円内に存在する前記骨部分の数が最も多くなる回転位置の前記仮想腹部円が、前記腹部の存在範囲と推定され、その際の前記仮想腹部円の短軸方向に前記矢状軸が存在すると推定されることを特徴とする請求項9記載の超音波画像解析装置。
【請求項13】
被検体の体表面にプローブを接触させることでその体内を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析することで、当該超音波画像内の骨部分の領域を検出する超音波画像解析方法において、
前記超音波画像内において、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、その超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域を
、前記骨部分の候補となる候補領域として抽出し、
前記陰影部分の長さ及びその超音波放射方向の奥側部分の輝度情報に基づいて、前記候補領域の中から、前記骨部分に該当しない他の組織に相当する領域を除外することで、前記超音波画像内の前記骨部分の存在領域とその種別を特定することを特徴とする超音波画像解析方法。
【請求項14】
妊婦の腹部表面にプローブを接触させることで前記妊婦の子宮内の胎児を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析することで、前記子宮内における前記胎児の存在状態を推定する超音波画像解析方法において、
前記超音波画像内の輝度情報に基づいて、当該超音波画像内の前記胎児の骨部分の存在領域を特定するとともに、当該骨部分の種類を推定する骨部分検出ステップと、前記超音波画像を取得した際の前記プローブの3次元の位置姿勢情報を前記超音波画像に対応させた画像データに基づいて、前記骨部分の分布状況から前記胎児の頭部部分及び骨盤部分の位置を推定する胎児位置推定ステップと、前記頭部部分と前記骨盤部分の位置から、前記胎児の腹部中央領域を特定し、当該腹部中央領域に存在する前記骨部分の分布状況から前記胎児の背骨部分の位置を推定し、前記背骨部分の位置を基づいて前記胎児の腹部の存在範囲と前記胎児の矢状軸を推定する胎児向き推定ステップとを順に行うことを特徴とする超音波画像解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超音波画像解析装置及び超音波画像解析方法に係り、更に詳しくは、妊婦の腹部の超音波画像を処理することで、子宮内での胎児の存在状態に関連する情報を取得するための超音波画像解析装置及び超音波画像解析方法に関する。
【背景技術】
【0002】
わが国の産科医療現場では、産科医不足が大きな問題となっており、産科医のみならず妊婦にも通院等の負担が生じている。そこで、本発明者らは、産科医療における産科医と妊婦の双方の負担軽減を目指し、医師の遠隔操作による経腹超音波検査での遠隔診断を支援するためのロボットの研究を行ってきた。そして、当該研究の成果として、特許文献1等で既に提案している通り、医師の遠隔操作により、被検者の体表面に沿って、超音波診断装置のプローブを自動的に走査させる医療用ロボット装置を開発した。
【0003】
ところが、前述の遠隔診断は、医師によるロボットの遠隔操作を伴うため、医師がロボット操作を習熟する必要があるばかりか、ロボット動作を介してプローブを走査させることから、検査対象の認知負荷が高く、実際の診断よりも時間がかかってしまう等の多くの問題がある。当該問題を解決するには、医師の遠隔操作を最小限に簡略化し、診断に適切となる超音波画像を自動的に取得できるように、プローブが妊婦の腹部表面に沿って走査するロボットシステムの開発が望まれる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、プローブを自動的に移動させるロボットを動作制御する際において、検査や診断時に必要となる胎児の組織が撮像された超音波診断画像を得るには、胎児の存在状態(胎位、胎向、胎勢)の正確な把握が前提となる。
【0006】
子宮内での胎児の存在状態は、一様でなく個人差があるばかりか、経時的に変化することもあり、過去の健診を参考にすることが難しい。特に、妊娠中期は子宮の大きさに対して胎児の大きさが小さいことから、胎児が子宮内部で容易に移動可能な状態となっており、、子宮内での胎児の存在状態を都度把握する必要がある。また、現状においては、胎児の存在状態は、腹部形状等、妊婦の外観上での判断が難しく、実際に超音波検査を行い、その超音波画像を医師が見ながら感覚的に把握される。この超音波検査は、CTやMRIのように身体の断面を全体的に作成する検査方法とは異なり、プローブが接している体表部分の断面を描出する検査方法であり、胎児の存在位置を直接把握することが難しい。
【0007】
また、超音波検査においては、検査に必要な検査断面の導出が必要であるが、正確な診断結果を得るためには、検査断面を正確に取得する必要がある。ここで、正確な検査断面を得る際には、満たすべき条件が存在し、当該条件を満たす箇所を把握することは、医師によるプローブの手動操作でも難しいとされている。例えば、胎児の推定体重の算出に用いる頭部断面超音波画像において、頭部の最大直径を得る必要があるが.頭部の下部の画像や頭部の斜め方向の断面で診断を行った場合数値に誤差が発生してしまい、結果として胎児の推定体重に誤差を生じる虞がある。また、超音波診断装置を使って胎児の心臓を検査する胎児心エコー検査においては、心臓が小さく、しかも、その周囲に超音波を反射する骨格部分が存在することから、医師によるプローブの手動操作でも、適切な心臓位置の超音波画像の取得が難しいとされている。以上のことから、超音波検査において、要求する条件を満たす組織断面を撮像した超音波画像が得られるように、妊婦の子宮内における正確な胎児の存在状態を自動的に検出し、当該存在状態に基づいて、胎児における所望の組織部分を自動的に探索可能なロボットシステムが必要となる。
【0008】
本発明は、このような課題に着目して案出されたものであり、その目的は、被検者の体内断面を撮像した超音波画像から、当該画像内の骨部分を推定し、当該骨部分の存在に基づいて、被検者の体内における所定部位の位置や姿勢に関する情報を自動的に取得するのに寄与する超音波画像解析装置及び超音波画像解析方法を提供することにある。
【課題を解決するための手段】
【0009】
前記目的を達成するため、本発明は、主として、被検体の体表面にプローブを接触させることでその体内を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析する超音波画像解析装置において、前記超音波画像内の骨部分の領域を検出する骨部分検出部を備え、前記骨部分検出部では、前記超音波画像内において、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、その超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域が抽出され、当該陰影部分の状態に基づいて、前記超音波画像内の前記骨部分の存在領域とその種別を特定する、という構成を採っている。
【0010】
また、本発明は、主として、妊婦の腹部表面にプローブを接触させることで前記妊婦の子宮内の胎児を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析する超音波画像解析装置において、前記超音波画像内の骨部分の領域を検出する骨部分検出部を備え、前記骨部分検出部は、前記超音波画像の輝度情報に基づいて当該超音波画像内の前記骨部分を特定する骨特定部と、当該骨特定部で特定された前記骨部分の種類を推定する骨種類推定部とを備え、前記骨特定部は、前記骨部分の候補となる候補領域を前記超音波画像内から抽出する候補領域抽出部と、前記候補領域の中から他の組織に相当する領域を除外して前記骨部分を特定する除外部とを備え、前記候補領域抽出部では、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域が前記候補領域として抽出され、前記除外部では、前記陰影部分の長さ及びその超音波放射方向の奥側部分の輝度情報に基づいて、前記候補領域の中から前記骨部分に該当しない領域を除外する、という構成を採っている。
【0011】
更に、本発明は、主として、被検体の体表面にプローブを接触させることでその体内を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析することで、当該超音波画像内の骨部分の領域を検出する超音波画像解析方法において、前記超音波画像内において、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、その超音波放射方向の奥側部分に、予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する前記高輝度領域を抽出し、当該陰影部分の状態に基づいて、前記超音波画像内の前記骨部分の存在領域とその種別を特定する、という手法を採っている。
【0012】
また、本発明は、主として、妊婦の腹部表面にプローブを接触させることで前記妊婦の子宮内の胎児を撮像する超音波画像撮像装置で得られた2次元の超音波画像を解析することで、前記子宮内における前記胎児の存在状態を推定する超音波画像解析方法において、前記超音波画像内の輝度情報に基づいて、当該超音波画像内の前記胎児の骨部分の存在領域を特定するとともに、当該骨部分の種類を推定する骨部分検出ステップと、前記超音波画像を取得した際の前記プローブの3次元の位置姿勢情報を前記超音波画像に対応させた画像データに基づいて、前記骨部分の分布状況から前記胎児の頭部部分及び骨盤部分の位置を推定する胎児位置推定ステップと、前記頭部部分と前記骨盤部分の位置から、前記胎児の腹部中央領域を特定し、当該腹部中央領域に存在する前記骨部分の分布状況から前記胎児の背骨部分の位置を推定し、前記背骨部分の位置を基づいて前記胎児の腹部の存在範囲と前記胎児の矢状軸を推定する胎児向き推定ステップとを順に行う、という手法を採っている。
【発明の効果】
【0013】
本発明によれば、取得した体内の超音波画像の輝度情報に基づいて骨部分が特定されるとともに、骨部分毎に骨の種類の推定がなされる。そして、相互に異なる組織断面を表す複数の超音波画像に、取得時の3次元の位置姿勢情報がそれぞれ紐づけられることで、体内の骨部分について、その種類毎に3次元空間内の分布状況の推定が可能となる。これにより、骨の種類が推定された骨部分の存在位置から、被検者の体内における所定部位の位置や姿勢に関する情報が自動的に取得可能となる。
【図面の簡単な説明】
【0014】
【
図1】本発明に係る超音波画像解析装置を含む遠隔検査システムの概略構成を説明するための図である。
【
図2】(A)は、超音波画像内の骨部分の特徴を説明するための図であり、(B)は、超音波画像内の骨部分以外の特徴を説明するための図である。
【
図3】(A)は、超音波画像内の骨部分のうち大きい骨の特徴を説明するための図であり、(B)は、超音波画像内の頭蓋骨の特徴を説明するための図である。。
【
図4】骨特定部での処理手順を説明するためのフローチャートである。
【
図5】骨種類推定部での処理手順を説明するためのフローチャートである。
【
図7】XZ骨分布を利用した骨盤推定部での処理を説明するために例示的に表したグラフである。
【
図8】3D骨分布を利用した背骨位置推定部での処理を説明するために例示的に表したグラフである。。
【
図9】YZ骨分布を利用した腹部矢状軸推定部での処理を説明するために例示的に表したグラフである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照しながら説明する。
【0016】
図1には、本発明に係る超音波画像解析装置を含む遠隔検査システムの概略構成を表した図が示されている。この図において、前記遠隔検査システム10は、医師と別の場所にいる被検者の妊婦の経腹超音波検査を可能にするシステムである。具体的に、この遠隔検査システム10は、検査断面となる妊婦の腹部超音波画像を撮像する超音波画像撮像装置11と、超音波画像撮像装置11に繋がり、遠隔地の医師による妊婦検診時の妊婦の超音波画像の取得を支援する遠隔検査支援装置12と、取得した超音波画像を処理、解析することにより所定の情報を取得する超音波画像解析装置13とを備えている。
【0017】
前記超音波画像撮像装置11としては、Bモードによる2次元の超音波画像を取得できる公知の超音波診断装置が適用される。つまり、この超音波画像撮像装置11では、プローブPによるビーム走査によって、ビーム走査面と同一断面における断層画像である2次元の超音波画像が取得される。
【0018】
前記遠隔検査支援装置12は、本発明者らが既に提案(特願2019-155759号)した構造が採用されており、当該構造は、本発明の本質的な要素でないため、ここでの詳細な説明を省略する。この遠隔検査支援装置12は、妊婦と離れた位置にいる医師等の動作指示によりアクチュエータ12Aを動作させ、妊婦の腹部表面F(体表面)にプローブPが接触した状態を維持しながら、所定のパスに沿ってプローブPを自動的に移動させるようになっている。この結果、プローブPは、妊婦の腹部表面Fにおける所定パスに沿って自動的に走査され、体内の撮像位置を変化させながら、2次元の超音波画像が取得されることになる。
【0019】
また、前記プローブPには、その位置及び姿勢を検出可能な公知のセンサ(図示省略)が設けられている。このセンサでは、所定地点を原点とする直交3軸の各座標における位置情報と、当該3軸回りの回転角度である姿勢情報とからなる3次元の位置姿勢情報を取得可能になっている。なお、ここでのセンサとしては、加速度センサ、磁気センサ、光学センサ等、前記位置姿勢情報を取得可能な限りにおいて、種々の機器を採用することができる。また、前記位置姿勢情報における3次元の座標系は、基準座標系として、静止状態の妊婦の初期位置及び初期姿勢に基づいて事前に設定される。
【0020】
前記超音波画像解析装置13は、CPU等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成されている。
【0021】
この超音波画像解析装置13は、超音波画像撮像装置11で取得した超音波画像を含む画像データ等を記録する記録部15と、超音波画像内の骨部分の領域を検出する骨部分検出部16と、骨部分の分布状況から胎児の子宮内位置を推定する胎児位置推定部17と、当該子宮内位置から胎児の向きを推定する胎児向き推定部18とを備えている。
【0022】
前記記録部15では、プローブPに取り付けられた前記センサの検出結果から、超音波画像を取得した際のプローブPの前記位置姿勢情報を当該超音波画像に対応させた画像データが、プローブPの移動時における所定のタイミング毎に逐次記録される。
【0023】
前記骨部分検出部16では、本発明者らの研究結果による次の知見から創出されたアルゴリズムからなる骨部分検出ステップにより、超音波画像の輝度情報から、超音波画像内の骨部分の存在領域及びその種類を特定するようになっている。
【0024】
Bモードによる超音波画像は、反射パルスの強度を輝度で表現した画像であって、超音波の反射率が高い部分に関しては輝度が高く、明るく(白く)表現され、反射率が低い部分に関しては輝度が低く、暗く(黒く)表現される。骨は超音波の反射率が非常に高いため、高い輝度で表現されるが、超音波の放射方向における骨の奥行側となる奥側部分の領域に超音波が届き難くなるという特徴があり、当該奥側部分では輝度値が低くなる。このため、胎児の骨部分の超音波画像の特徴としては、
図2(A)に示されるように、高輝度の白色部分の奥側部分に黒色の長い陰影部分(骨陰影)が存在するという特徴がある。従って、当該特徴を持つ箇所を画像処理によって導出することで、骨部分の検出が可能となる。ここで、
図2(B)に示されるように、胎児の臓器表面、子宮表面、画像の上部でも、超音波画像内で輝度値が高くなる。一方で、臓器内部や羊水の他に、プローブPが妊婦腹部にしっかりと接触していないような非接触部分(同図(A)参照)等でも、超音波画像内で輝度値が低くなる。
【0025】
更に、骨の種類によって大きさや形が異なることから、それらの特徴を超音波画像における陰影部分から推定可能になる。つまり、背骨、骨盤、大腿骨は、骨の中でも大きい骨である。そのため、これら大きい骨部分は、
図3(A)に示されるように、超音波画像内に広範囲に存在し、その陰影部分(同図中ビーム状の直線を付加した領域)も広範囲に、且つ連続して存在する。また、頭蓋骨も大きな骨であり、前述した背骨、骨盤、大腿骨と同様の性質を有する他に、骨が反対側にも存在することから、
図3(B)に示されるように、陰影部分の延出方向の両端側に骨部分が存在するという特徴を有する。
【0026】
以上の超音波画像内における輝度の特徴を利用して、前記骨部分検出部16では、取得した超音波画像それぞれについて、所定の高輝度領域の中から、その背後となる奥側部分に所定の低輝度からなる陰影部分が近接して存在するものが抽出され、当該陰影部分の状態に基づいて、超音波画像内の骨部分の領域とその種別が特定される。
【0027】
すなわち、この骨部分検出部16は、超音波画像の輝度情報に基づいて当該超音波画像内の骨部分の領域を特定する骨特定部20と、骨特定部20で特定された骨部分の種類を推定する骨種類推定部21とを備えている。
【0028】
前記骨特定部20は、骨部分の候補となる候補領域を超音波画像内から抽出する候補領域抽出部23と、候補領域の中から他の組織に相当する領域を除外して骨部分を特定する除外部24とを備えている。なお、以降の超音波画像の説明において、プローブPに近い体表側となる超音波画像の扇形中央部分を「画像上部」と称し、同反対側となる体内奥側の弧の部分を「画像下部」と称する。
【0029】
前記候補領域抽出部23では、予め設定された第1の閾値以上の輝度からなる高輝度領域の中から、その背後となる超音波放射方向の奥側部分に予め設定された第2の閾値以下の輝度からなる陰影部分が近接して存在する高輝度領域が候補領域として抽出される。
【0030】
前記除外部24では、候補領域として抽出された高輝度領域に隣接する陰影部分の長さと、当該陰影部分よりも超音波放射方向の奥側(画像下部側)となる超音波画像の部分の輝度情報に基づいて、前記候補領域の中から骨部分に該当しない領域が除外され、残った候補領域が骨部分と特定される。
【0031】
以上の構成の骨特定部20では、
図4のフローチャートに示される手順により、各超音波画像の中から骨部分が特定される。
【0032】
先ず、候補領域抽出部23において第1の処理が行われる。ここでは、高輝度値となる画像内の白色部分と、当該白色部分に近い箇所から黒色の陰影が始まっている部分が特定され、骨部分の候補領域が抽出される。
【0033】
すなわち、最初に、超音波画像内の輝度値が、予め設定された第1の閾値以上であり、且つ、その状態が予め設定されたピクセル数以上連続する高輝度領域が存在するかについて判定される(ステップS101)。この際、高輝度領域でないと判定された画像部分は、骨部分に該当しないとされる(ステップS102)。
【0034】
次に、特定された高輝度領域について、その近傍に陰影部分が存在するか否かが判定される(ステップS103)。つまり、ここでは、高輝度領域に近接した部分から画像下部に向かって、輝度値が、予め設定された第2の閾値以下であり、且つ、所定の範囲に亘ってほぼ連続する領域が、陰影部分とされる。そして、この陰影部分に近接する高輝度領域は、骨部分の候補領域とされる。一方、陰影部分が近接して存在しない高輝度領域は、骨部分に該当しないとされる(ステップS102)。
【0035】
その後、除外部24において第2の処理が行われる。ここでは、陰影部分の特徴から、候補領域抽出部23で抽出された候補領域について、骨部分かその他の組織の部分かの区別が行われ、骨部分が特定される。
【0036】
すなわち、先ず、陰影部分の長さが、予め設定された所定範囲内か否かが判定される(ステップS104)。そして、陰影部分の長さが所定範囲未満の場合には、当該候補領域が胃等の臓器部分の一部であり、骨部分でないと推定される(ステップS102)。また、陰影部分の長さが所定範囲を超える場合には、プローブPと妊婦腹部が非接触になっている部分であると推定され、当該部分に近接する高輝度領域は、骨部分でないと推定される(ステップS102)。
【0037】
次に、陰影部分について、超音波放射方向の奥側部分に多くの高輝度領域が存在するか否かについて判定される(ステップS105)。すなわち、ここでは、陰影部分よりも画像下部側の所定範囲内で、高輝度領域が、予め設定された範囲以上で存在するか否かが判定される。この結果、陰影部分の奥側に多くの高輝度領域が存在する場合には、陰影部分が羊水部分であると推定され、当該部分に近接する高輝度領域は、骨部分でないと推定される(ステップS102)。つまり、羊水部分は、大小様々あり、陰影部分の長さではその判定が難しいが、羊水が超音波の伝達を遮ることがなく、羊水領域の奥側部分が子宮外部であることから輝度値が高くなり、骨部分との区別が可能となる。ここで陰影部分の奥側部分に多くの高輝度領域が存在しないと判定されると、当該陰影部分に近接する高輝度領域は、骨部分であると特定される(ステップS106)。
【0038】
前記骨種類推定部21では、
図5のフローチャートに示される手順により、骨特定部20で特定された骨部分について、大腿骨、骨盤、背骨の何れかに該当する大きい骨と、頭蓋骨と、それらを除くその他の骨との3種類に分類される。
【0039】
先ず、対象の骨部分について、超音波放射方向の奥側に近接する陰影部分が、超音波画像内で広範囲に存在するか否かが判定される(ステップS201)。すなわち、ここでは、所定の設定値に基づき、陰影部分が超音波放射方向に広がっているか否かが判定される。その結果、陰影部分が所定範囲以上の広がりが見られない場合には、その他の骨と判定される(ステップS202)。一方、そうでない場合には、陰影部分よりも奥側部分となる画像下部側に、所定の範囲に跨った骨部分が存在するか否かが判定される(ステップS203)。その結果、当該骨部分が存在する場合には、前述した特徴により、判定対象となる陰影部分の延出方向両端側に近接して存在する骨部分は、頭蓋骨の一部であると推定される(ステップS204)。一方、そうでない場合は、陰影部分に近接する骨部分は、大腿骨、骨盤、背骨の何れかに該当する大きい骨であると推定される(ステップS205)。
【0040】
以上の骨部分検出部16での処理は、取得した各超音波画像それぞれについて行われ、各超音波画像内における骨部分の画像内位置とそれらの種別からなる骨部分の情報が特定される。これら骨部分は、記録部15において記憶された画像データから、前述した基準座標系における3次元位置がそれぞれ特定されることになり、当該3次元位置を骨部分の情報に対応させて、以下の各種処理が行われる。
【0041】
前記胎児位置推定部17では、後述する胎児位置推定ステップにより、前記画像データに基づいて、骨部分の分布状況から胎児の頭部部分及び骨盤部分の位置が推定される。
【0042】
この胎児位置推定部17は、骨部分検出部16で検出された骨部分の情報から、前記画像データに基づいて3次元空間における骨部分の分布状況を表す3D骨分布を作成する3D骨分布作成部26と、3D骨分布及びその中の各骨部分における骨の種類を利用して、胎児の頭部部分の位置推定を行う頭部推定部27と、3D骨分布及び胎児の頭部部分の位置に基づいて骨盤部分の位置推定を行う骨盤推定部28とを備えている。
【0043】
前記3D骨分布作成部26では、複数のタイミングで取得された各超音波画像内での骨部分の画像内位置と、当該超音波画像を得た際のプローブPの3次元の位置姿勢情報とから、骨部分検出部16で特定された超音波画像内の骨部分の位置を3次元座標にプロットすることで、
図6に例示されるように、子宮内における胎児の3D骨分布が作成される。この際、3次元座標上にプロットされた各骨部分については、骨種類推定部21で推定された骨の種類が対応した状態で記録される。
【0044】
なお、骨分布における3次元座標系は、x軸が妊婦の上下方向に沿う垂直軸に対応し、y軸が妊婦の前後方向に沿う矢状軸に対応し、z軸が妊婦の左右方向に沿う前額軸にそれぞれ対応するように設定される。
【0045】
前記頭部推定部27では、3D骨分布作成部26で作成された3D骨分布の中から頭蓋骨となる骨部分に着目し、次のようにして胎児の頭部部分の位置が推定される。
【0046】
先ず、3D骨分布作成部26で作成された3D骨分布について、各軸を所定長さ(例えば、5mm)単位で区切った3次元の区画を作成し、各区画について、それぞれに存在する骨部分の個数と、骨種類推定部21で頭骸骨に分類された骨部分の個数とが記録される。次に、各区画において、頭蓋骨と頭蓋骨を除く骨部分との間で異なる点数を付すスコアリングが行われる。ここでは、頭骸骨は重み付けを大きくし、それ以外の骨は頭蓋骨よりも重み付けが小さくされ、例えば、頭骸骨には10点が付与され、それ以外の骨には1点が付与される。そして、胎児の頭部を想定し、予め入力された妊婦の週数に対応した大きさの半径の仮想頭部球が設定される。当該仮想頭部球は、3D骨分布内で移動しながら、各仮想頭部球の位置毎に、その内部に存在する骨部分に付与された点数がそれぞれ合計される。そして、当該合計値の最も高い仮想頭部球の中心が存在する区画を胎児の頭部中心とし、このときの仮想頭部球の位置が、頭部部分の位置として推定される。
【0047】
なお、前記重み付けとしては、その他の骨部分についても、頭蓋骨でない大きい骨とその他の骨との間で、更に点数に差を付けることもできる。これにより、骨種類推定部21において、大きい骨であるものの検出精度等の問題により頭蓋骨と推定されなかったが、実際には頭蓋骨であるような場合でも、胎児の頭部位置をより正確に推定可能となる。
【0048】
前記骨盤推定部28では、3D骨分布から頭部部分の範囲内に位置する骨部分を除外した上で、骨部分の各プロットを直線変換し、当該直線の交点が最も多い部分が胎児の骨盤部分の位置であると推定される。
【0049】
すなわち、先ず、前提として、骨盤は、腹部と脚部を繋ぐ部分であり,骨盤を支点としてそれら部位が動くため、脚部と腹部が交わる点が骨盤に相当すると仮定できる。従って、この骨盤推定部28での骨盤推定手法として、腹部の背骨部分及び大腿骨部分を直線と仮定して検出を行い、その交点部分を骨盤として推定するようになっている。
【0050】
具体的に、3D骨分布作成部26で作成された3D骨分布について、頭部推定部27で推定された頭部位置の範囲内に存在する骨部分を削除することにより、当該頭部部分の骨部分を取り除いた頭部以外の3D骨分布が特定される。そして、頭部以外の3D骨分布から、妊婦の上下方向のX座標、同左右方向のZ座標からなる2次元座標系のXZ骨分布が作成される。つまり、このXZ骨分布は、妊婦の前額面に沿う平面座標に骨部分をプロットしてなり、妊婦の前後方向のY座標の所定の複数位置若しくは所定間隔でそれぞれ作成される。当該XZ骨分布は、
図7に例示するように、頭部部分と推定された骨部分(同図中破線丸囲み領域)を除く骨部分のプロットからなる。そして、各XZ骨分布について、プロット部分をハフ変換して直線(例えば、
図7中直線部分)を求め、最も多くの直線が交わっている部分Cが骨盤位置と推定される。
【0051】
前記胎児向き推定部18では、後述する胎児向き推定ステップにより、3D骨分布作成部26で作成された3D骨分布と、胎児の頭部部分や骨盤部分の位置とから、胎児の腹部中央領域を特定し、当該腹部中央領域に存在する骨部分の分布状況から胎児の背骨部分の位置を推定し、当該背骨部分の位置を基づいて、胎児の腹部の存在範囲と矢状軸が推定される。
【0052】
この胎児向き推定部18は、頭部部分と骨盤部分の位置から、3D骨分布内における胎児の腹部中央領域の位置を算出する腹部領域算出部30と、腹部中央領域に存在する骨部分の分布状況から胎児の背骨部分の位置を推定する背骨位置推定部31と、背骨部分の位置を基づいて胎児の腹部の存在範囲及び矢状軸を推定する腹部矢状軸推定部32とを備えている。
【0053】
前記腹部領域算出部30では、胎児位置推定部17で推定された頭部部分と骨盤部分の各位置を所定比(例えば、2:3)で内分した地点を特定し、当該地点よりX軸方向(妊婦上下方向)に上下所定値(例えば、上下25mm)以内の範囲内の骨部分の分布が3D骨分布から抽出され、その領域が腹部中央領域とされる。
【0054】
前記背骨位置推定部31では、
図8に例示されるように、腹部中央領域におけるX軸方向に向かって骨部分が多く存在する高密度の領域が背骨部分として特定される。すなわち、ここでは、腹部中央領域において、妊婦の前後方向に沿うY軸と同左右方向に沿うZ軸とにより囲まれる2次元座標系の各軸をそれぞれ所定間隔(例えば、5mm)で区切った区画を有するYZ骨分布が設定される。このYZ骨分布は、腹部中央領域を妊婦の上下方向に所定間隔でスライスした2次元の骨分布であり、腹部中央領域内の所定のX座標において、水平面に沿うYZ平面上に骨部分がプロットされた状態となっている。そして、各YZ骨分布の区画毎に、骨部分の存在数がカウントされ、各YZ骨分布それぞれにおいて、骨部分の数が最も多い区画に背骨部分が存在すると推定され、当該区画が背骨部分の位置とされる。
【0055】
前記腹部矢状軸推定部32では、次のようにして、背骨部分の位置から胎児の腹部の存在範囲と矢状軸が推定され、これにより、妊婦の子宮内における胎児の向きが推定される。
【0056】
ここでは、先ず、妊婦について予め入力された週数に応じた胎児の腹囲のサイズに対応する楕円状の仮想腹部円が形成される。この仮想腹部円は、胎児の腹部を概略的に表したものであり、
図9に例示されるように、この仮想腹部円Eは、前記YZ骨分布の上に配置される。この際、背骨位置推定部31で推定された各YZ骨分布内の背骨位置Sが、仮想腹部円Eの短軸の片側に存在する状態を維持しながら、
図9中点線で一部例示するように、仮想腹部円Eを回転させる。当該回転は、所定角度(例えば、1度)刻みで360度に亘って行われる。その結果、各回転角度において、仮想腹部円Eの内部に存在する骨部分(プロット部分)の存在数がカウントされる。そして、同図中実線で表示された楕円が、骨部分の合計値が最も多い回転角度における仮想腹部円Eとされ、その短軸方向に矢状軸Aが存在すると推定され、その際の仮想腹部円Eが胎児腹部の輪郭及び存在範囲と推定される。
【0057】
前記実施形態においては、遠隔検査支援装置12の動作により、妊婦の腹部に沿ってプローブPが自動的に走査する際に、都度取得された超音波画像及びその際のプローブPの位置姿勢情報から、胎児の頭部位置、骨盤位置、背骨位置、矢状軸、及び腹部位置が推定される。これにより、胎児の子宮内における大まかな位置関係を把握するラフコントロールが可能になる。つまり、このラフコントロールにより、子宮内での胎児の頭部、腹部、脚部の位置関係等の他、超音波画像を遮る骨部分の位置の把握が可能となる。その後、例えば、超音波画像撮像装置11を使って胎児心エコー検査を行う際に、遠隔検査支援装置12により、胎児の心臓部分を超音波画像内に出現させる適切な位置及び角度にプローブPを自律移動させるファインコントロールが可能となる。
【0058】
なお、本発明に係る超音波画像解析装置13は、前記実施形態での遠隔検査支援装置12の動作制御目的の利用に限定されるものではない。例えば、超音波画像解析装置13において、超音波画像内の骨部分の位置及びその種類を特定する骨部分検出部16の機能は、妊婦の経腹超音波検査の用途に限定されず、人間や動物の被検体の体表面にプローブPを接触させることで、その体内の状態を撮像した超音波画像全般に対し適用可能となる。また、胎児位置推定部17及び胎児向き推定部18の機能は、医師と妊婦との対面診察時において、医師が把持するプローブPの走査により得られた超音波画像に基づき、胎児の各部分の位置や胎児の向きを自動的に推定した情報を医師に提示する際等にも利用可能である。
【0059】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【0060】
10 遠隔検査システム
11 超音波画像撮像装置
13 超音波画像解析装置
15 記録部
16 骨部分検出部
17 胎児位置推定部
18 胎児向き推定部
20 骨特定部
21 骨種類推定部
23 候補領域抽出部
24 除外部
26 3D骨分布作成部
27 頭部推定部
28 骨盤推定部
30 腹部領域算出部
31 背骨位置推定部
32 腹部矢状軸推定部
A 矢状軸
E 仮想腹部円
P プローブ