特開 2024-50295 画像処理装置、システム、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050295

(43)【公開日】2024-04-10

(54)【発明の名称】画像処理装置、システム、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240403BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022157094

(22)【出願日】2022-09-29

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】江畑 徹郎

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601DD14

4C601EE09

4C601GA18

4C601GA21

4C601GA26

4C601GC03

4C601GD04

4C601JB34

4C601JC06

4C601JC37

4C601KK31

(57)【要約】

【課題】光学カメラ画像と、超音波画像との位置合わせの精度を高めることができる画像処理装置、システム、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、第１の特徴及び第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で撮影された光学カメラ画像及び超音波画像を取得し、超音波画像から、関心領域を検出し、光学カメラ画像から、マーカを表す第１マーカ画像を検出し、超音波画像から、マーカを表す第２マーカ画像を検出し、第１マーカ画像の第１の特徴、及び第２マーカ画像の第２の特徴に基づいて、被検体の光学カメラ画像と被検体の超音波画像との位置合わせを行って、被検体の光学カメラ画像に関心領域を表す画像を重畳させた状態で表示させる画像処理装置。
【選択図】図９

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
画像処理装置。

【請求項2】

前記第１の特徴は、色、形状、及び大きさの少なくとも一方に応じた特徴である
請求項１に記載の画像処理装置。

【請求項3】

前記第２の特徴は、輝度、配置されている深さ、形状、及び大きさの少なくとも一方に応じた特徴である
請求項１に距離の画像処理装置。

【請求項4】

前記関心領域は血管である
請求項１に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記被検体の表面に沿って走査され、前記超音波画像を生成するためのプローブの位置を、前記第１マーカ画像及び前記第２マーカ画像の少なくとも一方に基づいて導出し、
前記プローブの位置が、予め定められた撮影位置以外である場合、警告を表す情報を出力する
請求項１に記載の画像処理装置。

【請求項6】

複数の前記マーカは、複数の列をなして配置されており、前記被検体の超音波画像の撮影が、１回の走査で複数の列の撮影を行い、かつ前記列をずらしながら複数回行われる場合、
前記予め定められた撮影位置は、前回撮影した複数の列の一部と、今回撮影する複数の列の一部とが、重複する位置である
請求項５に記載の画像処理装置。

【請求項7】

前記プロセッサは、
複数の前記超音波画像に含まれる前記第２マーカ画像が１つの場合、警告を表す情報を出力する
請求項１に記載の画像処理装置。

【請求項8】

複数の前記マーカは、複数の列をなして配置されており、前記複数の超音波画像の撮影が、１回の走査で複数の列の撮影を行う場合であって 前記被検体の超音波画像に含まれる前記第２マーカ画像が１つの場合、
前記プロセッサは、
複数の前記マーカの配置間隔に基づいて、前記マーカの配置に対するプローブの角度を推定し、
推定した前記プローブの角度、前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行う
請求項１に記載の画像処理装置。

【請求項9】

前記超音波画像撮影装置と、
前記光学カメラと、
前記複数のマーカと、
請求項１から請求項８のいずれか１項に記載の画像処理装置と、
を備えたシステム。

【請求項10】

光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
処理をプロセッサが実行する画像処理方法。

【請求項11】

光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
処理をプロセッサに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、システム、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

被検体に向けて送信した超音波による超音波エコーを受信し、受信した超音波エコーに基づく受信信号を出力する超音波プローブを用いて被検体の超音波画像を撮影する超音波画像撮影装置が知られている。また、超音波画像の撮影において、被検体の表面を光学カメラにより撮影して光学カメラ画像を取得する技術が知られている。

【0003】

同一の被検体に対して超音波画像及び光学カメラ画像の撮影を行う技術として、例えば特許文献１に記載の技術が知られている。特許文献１に記載の技術では、被検体の体の特定の位置にプローブを当て、被検体とプローブとの位置関係を初期化した後、プローブを用いて撮影された光音響波画像（超音波画像）と、光学撮像画像（光学カメラ画像）とに写るマーカから、光音響波画像と光学撮影画像との位置合わせ行う技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－０９７８６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術では、光学カメラ画像と、超音波画像との位置合わせを十分に行えない場合があった。例えば、特許文献１に記載の技術では、同種の複数のマーカを設けるため、光学撮像画像に写るマーカと、超音波画像に写るマーカとの対応付けを誤る可能性があった。光学撮像画像に写るマーカと、超音波画像に写るマーカとの対応付けを誤った場合、光音響波画像と光学撮像画像との位置合わせの精度が低くなってしまう。

【0006】

本開示は上記事情を考慮して成されたものであり、光学カメラ画像と、超音波画像との位置合わせの精度を高めることができる画像処理装置、システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために本開示の第１の態様の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、第１の特徴及び第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された被検体の超音波画像を取得し、被検体の超音波画像から、関心領域を検出し、被検体の光学カメラ画像から、マーカを表す第１マーカ画像を検出し、被検体の超音波画像から、マーカを表す第２マーカ画像を検出し、第１マーカ画像の第１の特徴、及び第２マーカ画像の第２の特徴に基づいて、被検体の光学カメラ画像と被検体の超音波画像との位置合わせを行って、被検体の光学カメラ画像に関心領域を表す画像を重畳させた状態で表示させる。

【0008】

本開示の第２の態様の画像処理装置は、第１の態様の画像処理装置において、第１の特徴は、色、形状、及び大きさの少なくとも一方に応じた特徴である。

【0009】

本開示の第３の態様の画像処理装置は、第１の態様の画像処理装置において、第２の特徴は、輝度、配置されている深さ、形状、及び大きさの少なくとも一方に応じた特徴である。

【0010】

本開示の第４の態様の画像処理装置は、第１の態様の画像処理装置において、関心領域は血管である。

【0011】

本開示の第５の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、被検体の表面に沿って走査され、超音波画像を生成するためのプローブの位置を、第１マーカ画像及び第２マーカ画像の少なくとも一方に基づいて導出し、プローブの位置が、予め定められた撮影位置以外である場合、警告を表す情報を出力する。

【0012】

本開示の第６の態様の画像処理装置は、第５の態様の画像処理装置において、複数のマーカは、複数の列をなして配置されており、被検体の超音波画像の撮影が、１回の走査で複数の列の撮影を行い、かつ列をずらしながら複数回行われる場合、予め定められた撮影位置は、前回撮影した複数の列の一部と、今回撮影する複数の列の一部とが、重複する位置である。

【0013】

本開示の第７の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、複数の超音波画像に含まれる第２マーカ画像が１つの場合、警告を表す情報を出力する。

【0014】

本開示の第８の態様の画像処理装置は、第１の態様の画像処理装置において、複数のマーカは、複数の列をなして配置されており、複数の超音波画像の撮影が、１回の走査で複数の列の撮影を行う場合であって 被検体の超音波画像に含まれる第２マーカ画像が１つの場合、プロセッサは、複数のマーカの配置間隔に基づいて、マーカの配置に対するプローブの角度を推定し、推定したプローブの角度、第１マーカ画像の第１の特徴、及び第２マーカ画像の第２の特徴に基づいて、被検体の光学カメラ画像と被検体の超音波画像との位置合わせを行う。

【0015】

また、上記目的を達成するために本開示の第９の態様のシステムは、超音波画像撮影装置と、光学カメラと、複数のマーカと、本開示の画像処理装置と、を備える。

【0016】

また、上記目的を達成するために本開示の第１０の態様の画像処理方法は、光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、第１の特徴及び第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された被検体の超音波画像を取得し、被検体の超音波画像から、関心領域を検出し、被検体の光学カメラ画像から、マーカを表す第１マーカ画像を検出し、被検体の超音波画像から、マーカを表す第２マーカ画像を検出し、第１マーカ画像の第１の特徴、及び第２マーカ画像の第２の特徴に基づいて、被検体の光学カメラ画像と被検体の超音波画像との位置合わせを行って、被検体の光学カメラ画像に関心領域を表す画像を重畳させた状態で表示させる処理をプロセッサが実行するための方法である。

【0017】

また、上記目的を達成するために本開示の第１１の態様の画像処理プログラムは、光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、第１の特徴及び第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された被検体の超音波画像を取得し、被検体の超音波画像から、関心領域を検出し、被検体の光学カメラ画像から、マーカを表す第１マーカ画像を検出し、被検体の超音波画像から、マーカを表す第２マーカ画像を検出し、第１マーカ画像の第１の特徴、及び第２マーカ画像の第２の特徴に基づいて、被検体の光学カメラ画像と被検体の超音波画像との位置合わせを行って、被検体の光学カメラ画像に関心領域を表す画像を重畳させた状態で表示させる、処理をプロセッサに実行させるためのものである。

【発明の効果】

【0018】

本開示によれば、光学カメラ画像と、超音波画像との位置合わせの精度を高めることができる。

【図面の簡単な説明】

【0019】

【図1】実施形態の医療画像撮影システムにおける全体の構成の一例を示すブロック図である。

【図2】受信回路の構成の一例を示すブロック図である。

【図3】画像生成部の構成の一例を示すブロック図である。

【図4】超音波画像の一例を示す図である。

【図5】被検体上にマーカ群を配置した状態の一例を示す図である。

【図6A】実施形態のマーカ群の一例を示す斜視図である。

【図6B】図６Ａに示した対マーカ群を矢印Ａ方向から見た平面図である。

【図6C】図６Ａに示した対マーカ群を矢印Ｂ方向から見た平面図である。

【図7】被検体上にマーカ群が設けられた状態で撮影された光学カメラ画像の一例である。

【図8】被検体上にマーカ群が設けられた状態で撮影された超音波画像の一例である。

【図9】実施形態のマーカ特徴情報の一例を説明するための図である。

【図10】実施形態の超音波画像撮影装置の本体部の機能に係る構成の一例を表す機能ブロック図である。

【図11】実施形態の医療画像撮影システムによる処理の流れの一例を示すフローチャートである。

【図12】超音波画像の撮影における超音波プローブの位置について説明するための図である。

【図13】実施形態の超音波画像撮影装置の本体部で実行される画像処理の流れの一例を示すフローチャートである。

【図14】光学カメラ画像と超音波画像との位置合わせ方法について説明するための図である。

【図15】血管を表す画像が重畳された光学カメラ画像について説明するための図である。

【図16】超音波画像における超音波プローブの位置について説明するための図である。

【図17】実施形態の超音波画像撮影装置の撮影制御部で実行される撮影所魚処理の一例を示すフローチャートである。

【図18A】光学カメラ画像と超音波画像との位置合わせの方法の他の例について説明するための図である。

【図18B】光学カメラ画像と超音波画像との位置合わせの方法の他の例について説明するための図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。

【0021】

まず、本実施形態の医療画像撮影システム１について、全体の構成の一例について説明する。図１には、本実施形態の医療画像撮影システム１について全体の構成の一例を表したブロック図が示されている。図１に示すように本実施形態の医療画像撮影システム１は、超音波画像撮影装置１３、光学カメラ１４、及びマーカ群１６を備える。本実施形態の医療画像撮影システム１が、本開示のシステムの一例である。

【0022】

図１に示すように、本実施形態の超音波画像撮影装置１３は、超音波プローブ１０及び本体部１２を備える。

【0023】

超音波プローブ１０は、振動子アレイ２０と、送信回路２４及び受信回路２６を含む送受信回路２２とを備える。振動子アレイ２０は、１次元状、又は２次元状に配列された複数の振動子（図示省略）を備える。一例として本実施形態では、超音波プローブ１０が、複数の振動子が直線状に配列されたリニア型の超音波プローブである形態について説明する。なお、超音波プローブ１０は、本形態に限定されず、振動子が湾曲して配列されたコンベックス型又はセクタ型の超音波プローブであってもよい。複数の振動子の各々は、送信回路２４から印加される駆動信号に基づいて超音波を送信するとともに、被検体内で生じた超音波エコーを受信して、受信した超音波エコーに応じた電気信号を出力する。

【0024】

複数の振動子の各々は、例えば、ＰＺＴ（Lead Zirconate Titanate）に代表される圧電セラミック、ＰＶＤＦ（Poly Vinylidene Di Fluoride）に代表される高分子圧電素子、及び、ＰＭＮ－ＰＴ（Lead Magnesium Niobate-Lead Titanate）に代表される圧電単結晶等の圧電性を有する材料である圧電体の両端に電極を形成することにより構成される。

【0025】

送信回路２４は、振動子アレイ２０から被検体に向けて超音波ビームの送信を行わせる。具体的には、送信回路２４は、例えば、複数のパルス発生器（図示省略）を含んでおり、本体部１２の撮影制御部９０からの制御信号に応じて選択された送信遅延パターンに基づき、振動子アレイ２０が有する複数の振動子の各々に対して、それぞれの遅延量を調整して駆動信号を供給して電圧を印加する。それぞれの駆動信号は、パルス状又は連続波状の電圧信号であり、振動子アレイ２０の振動子の電極に電圧が印加されると、圧電体が伸縮する。以上の結果、それぞれの振動子からパルス状又は連続波状の超音波が発生し、それらの超音波の合成波から超音波ビームが形成される。

【0026】

送信された超音波ビームは、被検体内の各部位（例えば、血管及び他の組織等）及び被検体内に配置された器具等にて反射されることで超音波エコーが発生する。発生した超音波エコーは、被検体内を伝搬して振動子アレイ２０が有する複数の振動子によって受信される。各振動子は、受信した超音波エコーに応じた電気信号を発生させる。各振動子において発生した電気信号は受信回路２６に出力される。

【0027】

受信回路２６は、本体部１２の撮影制御部９０からの制御信号に従い、振動子アレイ２０から出力される信号（厳密には、アナログの電気信号）に対する処理を行って、音線信号を生成する。図２には、本実施形態の受信回路２６の構成の一例を表すブロック図が示されている。図２に示すように受信回路２６は、例えば、増幅部５０、ＡＤ（Analog Digital）変換部５２、及びビームフォーマ５４を有する。

【0028】

増幅部５０は、振動子アレイ２０が有する複数の振動子の各々から出力された電気信号を増幅し、増幅後の電気信号をＡＤ変換部５２に出力する。ＡＤ変換部５２は、増幅後の電気信号をデジタルの受信データに変換し、変換された各受信データをビームフォーマ５４に出力する。ビームフォーマ５４は、本体部１２の撮影制御部９０からの制御信号に応じて選択された受信遅延パターンに基づいて設定される音速又は音速の分布に従い、ＡＤ変換部５２によって変換された各受信データに対してそれぞれの遅延を与えて加算して、受信フォーカス処理を行う。この受信フォーカス処理により、ＡＤ変換部５２で変換された各受信データが整相加算され、且つ、超音波エコーの焦点が絞り込まれた音線信号が生成される。生成された音線信号は、本体部１２の通信Ｉ／Ｆ（Interface)部４０を介して画像生成部４６に出力される。

【0029】

一方、本体部１２は、プロセッサ３０、メモリ３２、記憶部３４、通信Ｉ／Ｆ部４０、入力Ｉ／Ｆ部４２、表示部４４、及び画像生成部４６を備える。プロセッサ３０、メモリ３２、記憶部３４、通信Ｉ／Ｆ部４０、入力Ｉ／Ｆ部４２、表示部４４、及び画像生成部４６はシステムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。

【0030】

プロセッサ３０は、記憶部３４に記憶された画像処理プログラム３６を含む各種のプログラムをメモリ３２へ読み出し、読み出したプログラムに従った処理を実行する。これにより、プロセッサ３０は、超音波画像の撮影や、超音波画像及び光学カメラ画像に対する画像処理に関する制御を行う。メモリ３２は、プロセッサ３０が処理を実行するためのワークメモリである。

【0031】

記憶部３４には、画像生成部４６により生成された超音波画像の画像データ、光学カメラ１４から取得した光学カメラ画像の画像データ、画像処理プログラム３６、詳細を後述するマーカ特徴情報３８、及びその他の各種情報等が記憶される。記憶部３４の具体例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びＳＤ（Secure Digital）カード等が挙げられる。

【0032】

通信Ｉ／Ｆ部４０は、ＷｉＦｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、若しくは有線通信により、超音波プローブ１０、光学カメラ１４、及び本体部１２の外部の装置との間で各種情報の通信を行う。本体部１２からは通信Ｉ／Ｆ部４０を介して超音波プローブ１０に超音波画像を撮影するための制御信号が出力される。また、超音波プローブ１０から通信Ｉ／Ｆ部４０を介して本体部１２に音線信号が入力される。また、光学カメラ１４から通信Ｉ／Ｆ部４０を介して本体部１２に光学カメラ画像を表す画像データが入力される。以下、光学カメラ画像を表す画像データを単に、「光学カメラ画像」という。例えば、本体部１２には、光学カメラ１４から光学カメラ画像が入力される、という。

【0033】

入力Ｉ／Ｆ部４２及び表示部４４はユーザインタフェースとして機能する。表示部４４は、ユーザに対して、超音波画像の撮影に関する各種の情報を提供する。表示部４４は特に限定されるものではなく、液晶モニタ及びＬＥＤ（Light Emitting Diode）モニタ等が挙げられる。また、入力Ｉ／Ｆ部４２は、超音波画像の撮影等に関する各種の指示を入力するためにユーザによって操作される。入力Ｉ／Ｆ部４２は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。なお、入力Ｉ／Ｆ部４２及び表示部４４を一体化したタッチパネルディスプレイを採用してもよい。

【0034】

画像生成部４６は、超音波プローブ１０の受信回路２６から入力された音線信号に基づいて超音波画像を生成する機能を有する。図３には、本実施形態の画像生成部４６の構成の一例を表すブロック図が示されている。図３に示すように画像生成部４６は、例えば、信号処理部６０、ＤＳＣ（Digital Scan Converter）６２、及び画像処理部６４を有する。信号処理部６０は、受信回路２６によって生成された音線信号に対し、超音波の反射位置の深度に応じて距離による減衰の補正を施した後、包絡線検波処理を施すことにより、超音波画像Ｕを示すＢモード画像信号を生成する。ＤＳＣ６２は、信号処理部６０で生成されたＢモード画像信号を通常のテレビジョン信号の走査方式に従う画像信号にラスター変換等により変換する。画像処理部６４は、ＤＳＣ６２から入力されるＢモード画像信号に階調処理等の各種の必要な画像処理を施した後、Ｂモード画像信号を出力する。画像生成部４６から出力されたＢモード画像信号が、超音波画像Ｕに相当する。

【0035】

画像生成部４６により生成された超音波画像Ｕの一例を図４に示す。図４に示した超音波画像Ｕには、血管Ｂの横断面が示されている。ここで、血管Ｂの横断面とは、血管Ｂの延出方向と直交する切断面を意味する。なお、本実施形態では、図４に示すように、超音波画像Ｕにおいて、体表面Ｓと被検体の内部とを結ぶ方向を深度方向Ｄという超音波画像Ｕ中の血管Ｂの各部分は、深度方向Ｄにおいて、超音波プローブ１０が接触した被検体の体表面Ｓからの距離、すなわち深度に応じた位置に表示される。

【0036】

一方、光学カメラ１４は、可視光を受光し、受光した可視光に基づいて光学カメラ画像を生成する。光学カメラ１４により得られた光学カメラ画像は、超音波画像撮影装置１３に出力される。

【0037】

マーカ群１６は、複数のマーカ７０を含んでおり、被検体の上に設けられる。超音波画像撮影装置１３及び光学カメラ１４は、マーカ群１６が被検体の上に設けられた状態で被検体及びマーカ群１６の撮影を行う。図５には、被検体Ｗの上にマーカ群１６を設けた状態の一例が示されている。また、図６Ａには、本実施形態のマーカ群１６の一例を表す斜視図が示されている。また、図６Ｂには、図６Ａに示したマーカ群１６を矢印Ａ方向から見た平面図が示されており、図６Ｃには、図６Ａに示したマーカ群１６を矢印Ｂ方向から見た平面図が示されている。

【0038】

図５及び図６Ａ～図６Ｃに示すように、本実施形態のマーカ群１６は、ゲルパッド７２中に１０種類のマーカ７０Ａ～７０Ｄが埋め込まれている。なお、本実施形態では、１０種類のマーカ７０Ａ～７０Ｄの各々について種類を区別せずに総称する場合、種類を示す符号を省略してマーカ７０という。

【0039】

ゲルパッド７２は、音響インピーダンスが水、または人体の軟組織に近似した材料により形成される。ゲルパッド７２の材料としては、例えば、ウレタンゴムやシリコーンゴムなどの非含水ゲル物質、及びポリビニルアルコールやポリエチレンオキサイド等の高分子含水ゲル等が挙げられる。

【0040】

マーカ７０は、光学カメラ画像により識別可能な第１の特徴と、超音波画像により識別可能な第２の特徴とを有している。マーカ７０Ａ～７０Ｄの各々は、第１の特徴により光学カメラ画像において他の種のマーカ７０との区別が可能とされている。本実施形態では、第１の特徴として、マーカ７０の表面の色を採用している。表面の色は、マーカの種類に応じて４種類（４色）ある。具体的には、マーカ７０Ａは表面が赤色であり、マーカ７０Ｂは表面が緑色であり、マーカ７０Ｃは表面が青色であり、マーカ７０Ｄは表面が紫色である。従って、マーカ７０を撮影した光学カメラ画像におけるマーカ７０を表す画像の色に基づいて、マーカ７０が４種類のうちのいずれであるかを識別することができる。以下、本実施形態では、光学カメラ画像におけるマーカ画像を「第１マーカ画像」という。図７には、光学カメラ１４により撮影された光学カメラ画像Ｐの一例が示されている。具体的には、第１マーカ画像７５（７５Ａ）の色が赤色であれば、マーカ７０Ａであると識別できる。また、第１マーカ画像７５（７５Ｂ）の色が緑色であれば、マーカ７０Ｂであると識別でき、第１マーカ画像７５（７５Ｃ）の色が青色であれば、マーカ７０Ｃであると識別でき、第１マーカ画像７５（７５Ｄ）の色が紫色であれば、マーカ７０Ｄであると識別できる。

【0041】

また、マーカ７０Ａ～７０Ｄの各々は、第２の特徴により超音波画像Ｕにおいて他の種のマーカ７０との区別が可能とされている。本実施形態では、第２の特徴として、マーカ７０がゲルパッド７２に埋め込まれている深さを採用している。ゲルパッド７２に埋め込まれている深さは、超音波画像Ｕの深度方向Ｄに対応している。埋め込まれている深さはマーカの種類に応じて４種類ある。具体的には、マーカ７０Ａは、ゲルパッド７２の表面から５ｍｍの位置に埋め込まれている。また、マーカ７０Ｂは、ゲルパッド７２の表面から１０ｍｍの位置に埋め込まれている。また、マーカ７０Ｃは、ゲルパッド７２の表面から１５ｍｍの位置に埋め込まれている。また、マーカ７０Ｄは、ゲルパッド７２の表面から２０ｍｍの位置に埋め込まれている。なお、深さ５ｍｍの位置に埋め込まれているとは、マーカ７０の中心（重心）が、ゲルパッド７２の表面から５ｍｍの位置に存在することをいう。また、同様に、深さ１０ｍｍの位置に埋め込まれているとは、マーカ７０の中心（重心）が、ゲルパッド７２の表面から１０ｍｍの位置に存在することをいう。同様に、深さ１５ｍｍの位置に埋め込まれているとは、マーカ７０の中心（重心）が、ゲルパッド７２の表面から１５ｍｍの位置に存在することをいう。同様に、深さ２０ｍｍの位置に埋め込まれているとは、マーカ７０の中心（重心）が、ゲルパッド７２の表面から２０ｍｍの位置に存在することをいう。従って、マーカ７０を撮影した超音波画像Ｕにおける、マーカ７０を表すマーカ画像の深度方向Ｄの位置に基づいて、マーカ７０が４種類のうちのいずれであるかを識別することができる。以下、本実施形態では、超音波画像Ｕにおけるマーカ画像を「第２マーカ画像」という。図８には、超音波画像撮影装置１３により撮影された超音波画像Ｕの一例が示されている。図８に示した超音波画像Ｕには、マーカ７０Ａに対応する第２マーカ画像７６Ａ、及びマーカ７０Ｂに対応する第２マーカ画像７６Ｂが含まれている。具体的には、第２マーカ画像７６（７６Ａ）の深さが５ｍｍであれば、マーカ７０Ａであると識別できる。また、第２マーカ画像７６（７６Ｂ）の深さが１０ｍｍであれば、マーカ７０Ｂであると識別でき、第２マーカ画像７６の深さが１５ｍｍであれば、マーカ７０Ｃであると識別でき、第２マーカ画像７６の深さが２０ｍｍであれば、マーカ７０Ｄであると識別できる。

【0042】

図９には、第１の特徴と、第２の特徴と、マーカ７０の種類との対応関係を表す情報であるマーカ特徴情報３８の一例が示されている。図１に示したように、マーカ特徴情報３８は、超音波画像撮影装置１３の本体部１２の記憶部３４に記憶される。

【0043】

このように、本実施形態の医療画像撮影システム１では、第１の特徴及び第２の特徴により、マーカ７０の種類が、４種類のうちのいずれであるか識別することができる。換言すると、第１の特徴、第２の特徴、及びマーカ特徴情報３８により、光学カメラ画像Ｐにおける第１マーカ画像７５に対応する超音波画像Ｕにおける第２マーカ画像７６を特定することができる。

【0044】

次に、超音波画像撮影装置１３の本体部１２の機能的構成について説明する。図１０には、本実施形態の超音波画像撮影装置１３の本体部１２の機能に係る構成の一例を表す機能ブロック図が示されている。図１０に示すように、本体部１２は、第１取得部８０、第１検出部８１、第２取得部８２、第２検出部８３、位置合わせ部８６、表示制御部８８、及び撮影制御部９０を備えている。一例として本実施形態の本体部１２は、プロセッサ３０が記憶部３４に記憶されている画像処理プログラム３６を実行することにより、メモリ３２が第１取得部８０、第１検出部８１、第２取得部８２、第２検出部８３、位置合わせ部８６、表示制御部８８、及び撮影制御部９０として機能する。

【0045】

撮影制御部９０は、超音波画像Ｕの撮影を行う場合、上述したように超音波プローブ１０の送受信回路２２に制御信号を出力する機能を有する。撮影制御部９０から出力された制御信号が超音波プローブ１０の送信回路２４及び受信回路２６に入力されることにより、上述したように超音波プローブ１０の受信回路２６から音線信号が本体部１２の画像生成部４６に出力される。超音波プローブ１０の送受信回路２２及び本体部１２の画像生成部４６は、撮影制御部９０の制御によって、超音波画像の撮影期間中、超音波画像を一定のフレームレートにて連続して複数回取得する。

【0046】

第１取得部８０は、光学カメラ画像Ｐを取得する機能を有する。一例として本実施形態の第１取得部８０は、記憶部３４から光学カメラ画像Ｐを取得する。第１取得部８０により取得された光学カメラ画像Ｐは、第１検出部８１に出力される。

【0047】

第１検出部８１は、光学カメラ画像Ｐから、第１のマーカ画像（図１５、第１マーカ画像７５Ａ～７５Ｄ参照）を検出する機能を有する。なお、第１検出部８１が光学カメラ画像Ｐから第１マーカ画像７５を検出する方法は特に限定されず、例えば、第１マーカ画像７５の典型的なパターンデータをテンプレートとして予め記憶しておき、光学カメラ画像Ｐ内をテンプレートでサーチしながらパターンデータに対する類似度を導出し、類似度が基準値以上かつ最大となった場所に第１マーカ画像７５が存在するとみなすことができる。また、類似度の導出には、単純なテンプレートマッチングの他に、第１マーカ画像７５の特徴量に基づいて学習済みの学習モデルを用いた手法が挙げられる。例えば、ＳＶＭ（Support Vector Machine）やＡｄａＢｏｏｓｔ（Adaptive Boostling）等の機械学習手法、あるいは、ディープラーニングを用いた一般画像認識手法等を用いることができる。

【0048】

また例えば、第１検出部８１は、第１マーカ画像７５に対してラベルを施した複数の光学カメラ画像Ｐによって機械学習された学習済みモデルである第１マーカ画像検出モデルを用いて光学カメラ画像Ｐ内の第１マーカ画像７５を検出してもよい。第１マーカ画像モデルは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。第１マーカ画像検出モデルとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＲ－ＣＮＮ（Regional CNN）により構成される物体検出モデルを用いることができる。第１マーカ画像検出モデルは、入力された光学カメラ画像Ｐ内から物体としての第１マーカ画像７５を検出し、光学カメラ画像Ｐ内における第１マーカ画像７５を表す情報を出力する。

【0049】

第１検出部８１は、検出結果として光学カメラ画像Ｐにおける第１マーカ画像７５の位置及び色を表す情報を、光学カメラ画像Ｐに対応付けて位置合わせ部８６に出力する。

【0050】

第２取得部８２は、超音波画像Ｕを取得する機能を有する。一例として本実施形態の第２取得部８２は、記憶部３４から超音波画像Ｕを取得する。第２取得部８２により取得された超音波画像Ｕは、第２検出部８３に出力される。

【0051】

第２検出部８３は、マーカ検出部８４及び関心領域検出部８５を含む。マーカ検出部８４は、超音波画像Ｕから、第２のマーカ画像を検出する機能を有する。なお、マーカ検出部８４が超音波画像Ｕから第２のマーカ画像を検出する方法は特に限定されず、例えば、第２マーカ画像７６の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を導出し、類似度が基準値以上かつ最大となった場所に第２マーカ画像７６が存在するとみなすことができる。また、類似度の導出には、単純なテンプレートマッチングの他に、第２マーカ画像７６の特徴量に基づいて学習済みの学習モデルを用いた手法が挙げられる。例えば、ＳＶＭ（Support Vector Machine）やＡｄａＢｏｏｓｔ（Adaptive Boostling）等の機械学習手法、あるいは、ディープラーニングを用いた一般画像認識手法等を用いることができる。

【0052】

また例えば、マーカ検出部８４は、第２マーカ画像７６に対してラベルを施した複数の超音波画像Ｕによって機械学習された学習済みモデルである第２マーカ画像検出モデルを用いて超音波画像Ｕ内の第２マーカ画像７６を検出してもよい。第２マーカ画像モデルは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。第２マーカ画像検出モデルとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＲ－ＣＮＮ（Regional CNN）により構成される物体検出モデルを用いることができる。第２マーカ画像検出モデルは、入力された超音波画像Ｕ内から物体としての第２マーカ画像７６を検出し、超音波画像Ｕ内における第２マーカ画像７６を表す情報を出力する。

【0053】

関心領域検出部８５は、超音波画像Ｕから関心領域を検出する機能を有する。なお、本実施形態では、血管Ｂを関心領域の一例としているため、関心領域検出部８５は、超音波画像Ｕから血管Ｂを検出する。なお、関心領域検出部８５が超音波画像Ｕから血管Ｂを検出する方法は特に限定されない。一例として本実施形態の関心領域検出部８５は、超音波画像Ｕを、公知のアルゴリズムに従って解析することで、超音波画像Ｕ内の血管Ｂを検出する。例えば、関心領域検出部８５は、血管Ｂが存在する血管領域の典型的なパターンデータをテンプレートとして予め記憶しておき、超音波画像Ｕ内をテンプレートでサーチしながらパターンデータに対する類似度を導出し、類似度が基準値以上かつ最大となった場所に血管Ｂが存在するとみなすことができる。また、類似度の導出には、単純なテンプレートマッチングの他に、血管Ｖを表す画像の特徴量に基づいて学習済みの学習モデルを用いた手法が挙げられる。例えば、ＳＶＭ（Support Vector Machine）やＡｄａＢｏｏｓｔ（Adaptive Boostling）等の機械学習手法、あるいは、ディープラーニングを用いた一般画像認識手法等を用いることができる。

【0054】

また例えば、関心領域検出部８５は、血管Ｂに対してラベルを施した複数の超音波画像Ｕによって機械学習された学習済みモデルである血管検出モデルを用いて超音波画像Ｕ内の血管Ｂを検出してもよい。血管検出モデルは、例えば、ディープラーニングを用いた物体検出のアルゴリズムである。血管検出モデルとして、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＲ－ＣＮＮ（Regional CNN）により構成される物体検出モデルを用いることができる。血管検出モデルは、入力された超音波画像Ｕ内から物体としての血管Ｂを検出し、超音波画像Ｕ内における血管Ｂを表す情報を出力する。

【0055】

第２検出部８３は、検出結果として超音波画像Ｕにおける第２マーカ画像７６の位置及び深さを表す情報と、血管Ｂの位置を表す情報とを、超音波画像Ｕに対応付けて位置合わせ部８６に出力する。

【0056】

位置合わせ部８６は、第１検出部８１の検出結果、及びマーカ検出部８４の検出結果に基づいて、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行う機能を有する。具体的には、位置合わせ部８６は、第１検出部８１の検出結果である第１マーカ画像７５の第１の特徴（色）と、マーカ検出部８４の検出結果である第２マーカ画像７６の第２の特徴（深さ）とに基づいて、記憶部３４に記憶されているマーカ特徴情報３８を参照して、マーカ７０の種類の特定を行う。さらに、位置合わせ部８６は、特定したマーカ７０の種類に応じて、第１マーカ画像７５と第１画像生成部７８との位置を合わせることにより、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行う。

【0057】

また、位置合わせ部８６は、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行った結果に基づいて、光学カメラ画像Ｐに、関心領域検出部８５の検出結果である血管Ｂを表す画像を重畳させる。位置合わせ部８６は、光学カメラ画像Ｐに血管Ｂを表す画像を重畳させた状態で、表示制御部８８に出力する。

【0058】

表示制御部８８は、本体部１２の表示部４４に、血管Ｂを表す画像が重畳された光学カメラ画像Ｐの画像を表示させる機能を有する。

【0059】

次に、本実施形態の本体部１２の作用について図面を参照して説明する。
まず、本実施形態の医療画像撮影システム１により、血管Ｂを表す画像が重畳された光学カメラ画像Ｐを表示部４４に表示させるまでの処理全体の流れについて説明する。図１１には、医療画像撮影システム１による処理の流れの一例を表したフローチャートが示されている。

【0060】

ステップＳ１０で技師は、マーカ群１６を被検体Ｗの撮影部位の上に配置する。撮影部位が被検体Ｗの腕の場合、上記で示した図５に示した状態となる。

【0061】

次のステップＳ１２で技師は、光学カメラ１４により、マーカ群１６が設けられた状態の被検体Ｗを撮影する。上述したように、光学カメラ１４により撮影された光学カメラ画像Ｐは、本体部１２に出力され、本体部１２の記憶部３４に記憶される。

【0062】

次のステップＳ１４で技師は、超音波画像撮影装置１３により、超音波プローブ１０でマーカ群１６の表面を走査し、超音波画像Ｕの撮影を行う。図１２には、超音波画像Ｕの撮影における、超音波プローブ１０と、マーカ群１６との位置関係の一例が示されている。図１２に示すように、超音波画像Ｕに複数のマーカ７０が含まれるように、超音波プローブ１０を走査方向に移動させながら撮影が行われる。上述したように、超音波プローブ１０は音線信号を本体部１２に出力する。本体部１２の画像生成部４６は、音線信号から超音波画像Ｕを生成する。生成された超音波画像Ｕは、記憶部３４に記憶される。

【0063】

次のステップＳ１６で本体部１２は、光学カメラ画像Ｐ及び超音波画像Ｕに画像処理を行い、上述したように血管Ｂを表す画像が重畳された光学カメラ画像Ｐを表示部４４に表示させる。ステップＳ１６の処理が終了すると、医療画像撮影システム１による一連の処理が終了する。

【0064】

次に上記ステップＳ１６の画像処理の詳細について説明する。図１３には、本実施形態の本体部１２において実行される画像処理の流れの一例を表したフローチャートが示されている。一例として、本実施形態の本体部１２は、プロセッサ３０が、記憶部３４に記憶されている画像処理プログラム３６を実行することにより、図１３に一例を示した画像処理を実行する。

【0065】

図１３のステップＳ１００で第１取得部８０は、上述したように、光学カメラ画像Ｐを取得する。

【0066】

次のステップＳ１０２で第２取得部８２は、上述したように、超音波画像Ｕを取得する。

【0067】

次のステップＳ１０４で第１検出部８１は、上述したように、光学カメラ画像Ｐから第１マーカ画像を検出する。

【0068】

次のステップＳ１０６で第２検出部８３の関心領域検出部８５は、上述したように、超音波画像Ｕから関心領域である血管Ｂを検出する。

【0069】

次のステップＳ１０８で第２検出部８３のマーカ検出部８４は、上述したように、超音波画像Ｕから第２マーカ画像を検出する。

【0070】

なお、光学カメラ画像を取得する処理と、超音波画像を取得する処理との順序は限定されない。換言すると、上記ステップＳ１００とステップＳ１０２との順序は限定されない。また、光学カメラ画像Ｐから第１マーカ画像７５を検出する処理と、超音波画像Ｕから第２マーカ画像７６を検出する処理との順序は限定されない。換言すると、上記ステップＳ１０４とステップＳ１０８との順序は限定されない。また、超音波画像Ｕから関心領域を検出する処理と、超音波画像Ｕから第２マーカ画像７６を検出する処理との順序は限定されない。換言すると上記ステップＳ１０６とステップＳ１０８との順序は限定されない。

【0071】

次のステップＳ１１０で位置合わせ部８６は、上述したように、第１マーカ画像７５及び第２マーカ画像７６に基づいて、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行う。図１４を参照して、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせについて詳細に説明する。

【0072】

位置合わせ部８６は、フレームＬで撮影された超音波画像Ｕを、光学カメラ画像Ｐにおける、フレームＬの超音波画像Ｕを撮影した際の超音波プローブ１０の位置に対応付ける。また、位置合わせ部８６は、フレームＭで撮影された超音波画像Ｕを、光学カメラ画像Ｐにおける、フレームＭの超音波画像Ｕを撮影した際の超音波プローブ１０の位置に対応付ける。位置合わせ部８６は、フレームＮで撮影された超音波画像Ｕを、光学カメラ画像Ｐにおける、フレームＮの超音波画像Ｕを撮影した際の超音波プローブ１０の位置に対応付ける。同様に、マーカ７０が含まれる超音波画像Ｕを撮影した各フレームについて、超音波画像Ｕと、光学カメラ画像Ｐ上の位置とを対応付ける。

【0073】

次のステップＳ１１２で位置合わせ部８６は、上述したように、光学カメラ画像Ｐに、関心領域である血管Ｂの画像を重畳させる。図１４を参照して、光学カメラ画像Ｐに血管Ｂの画像を重畳させる方法について説明する。

【0074】

マーカ７０間の配列の間に超音波プローブ１０が位置する状態で撮影された超音波画像Ｕには、第２マーカ画像７６は含まれない。例えば、図１２に示した例では、フレームＬとフレームＭとの間に撮影された超音波画像Ｕ、及びフレームＭとフレームＮとの間に撮影された超音波画像Ｕには、第２マーカ画像７６が含まれない。そこで、超音波プローブ１０が等速で移動したとみなし、フレームＬとフレームＭとの間に撮影された超音波画像Ｕは、光学カメラ画像ＰにおけるフレームＬを撮影した際の超音波プローブ１０の位置と、フレームＭを撮影した際の超音波プローブ１０の位置と、の間に、均等に配置する。また、フレームＭとフレームＮとの間に撮影された超音波画像Ｕは、光学カメラ画像ＰにおけるフレームＭを撮影した際の超音波プローブ１０の位置と、フレームＮを撮影した際の超音波プローブ１０の位置と、の間に、均等に配置する。

【0075】

そして、位置合わせ部８６は、上記のように光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行った状態で、各超音波画像Ｕから検出された血管Ｂを表す画像を連結させた画像を生成し、光学カメラ画像Ｐに重畳させる。図１５には、光学カメラ画像Ｐに血管Ｂを表す画像ＢＰを重畳させた状態の一例が示されている。

【0076】

次のステップＳ１１４で表示制御部８８は、上述したように、血管Ｂの画像を重畳させた光学カメラ画像Ｐ（図１５参照）を表示部４４に表示させる。ステップＳ１１４の処理が終了すると、図１３に示した画像処理を終了する。

【0077】

［撮影制御処理］
上述のように、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせ行う場合、上述したように、１枚の超音波画像Ｕに、複数の第２マーカ画像７６が含まれることが好ましい。また、図１６に示すように、超音波プローブ１０を走査方向に移動させて超音波画像Ｕを撮影する場合、各ラインのスキャンにおいて、同じ列のマーカ７０が含まれるように超音波プローブ１０を配置することが好ましい。図１６に示した例では、１ライン目の撮影と、２ライン目の撮影とでは、列Ｂのマーカ７０を重複して撮影している。また、２ライン目の撮影と、３ライン目の撮影とでは、列Ｃのマーカ７０を重複して撮影している。

【0078】

本実施形では、上記のように超音波画像Ｕを撮影するための撮影制御処理を撮影制御部９０が実行する。図１７には、本実施形態の撮影制御部９０において実行される撮影制御処理の一例を表すフローチャートが示されている。なお、図１７に示した制御処理は、図９のステップＳ１４の超音波画像Ｕの撮影において、超音波画像Ｕの撮影指示を受け付けた場合に超音波画像Ｕの撮影中にリアルタイムで実行される。 図１７のステップＳ２００で撮影制御部９０は、超音波画像Ｕを取得する。

【0079】

次のステップＳ２０２で撮影制御部９０は、超音波画像Ｕに含まれる第２マーカ画像７６が１つであるか否かを判定する。撮影制御部９０は、上述の第２検出部８３のマーカ検出部８４と同様にして、超音波画像Ｕから第２マーカ画像７６を検出する。超音波画像Ｕに含まれる第２マーカ画像７６が１つである場合、ステップＳ２０２の判定が否定判定となり、ステップＳ２１０へ移行する。一方、超音波画像Ｕに含まれる第２マーカ画像７６が１つではない場合、換言すると超音波画像Ｕに第２マーカ画像７６が含まれない場合、及び超音波画像Ｕに第２マーカ画像７６が２つ以上含まれる場合、ステップＳ２０２の判定が肯定判定となり、ステップＳ２０４へ移行する。

【0080】

ステップＳ２０４で撮影制御部９０は、取得した超音波画像Ｕが、スキャンラインの先頭の画像であるか判定する。スキャンラインの先頭の画像ではない場合、ステップＳ２０４の判定が否定判定となり、ステップＳ２１２へ移行する。一方、スキャンラインの先頭の画像である場合、ステップＳ２０２の判定が肯定判定となり、ステップＳ２０６へ移行する。

【0081】

ステップＳ２０６で撮影制御部９０は、前のスキャンラインの先頭の超音波画像Ｕと、取得した超音波画像Ｕとを比較する。図１６に示した例では、２列目の先頭の超音波画像Ｕを取得した場合、１列目の先頭の超音波画像Ｕと比較し、３列目の先頭の超音波画像Ｕを取得した場合、２列目の先頭の超音波画像Ｕと比較する。

【0082】

撮影制御部９０は、上述したように両者の超音波画像Ｕに、同じ列のマーカ７０が含まれているか否かを判定する。図１６に示した例では、撮影制御部９０は、１ライン目の超音波画像Ｕと、２ライン目の超音波画像Ｕとでは、列Ｂのマーカ７０が含まれているか否かを判定する。また、撮影制御部９０は、２ライン目の超音波画像Ｕと、３ライン目の超音波撮影とでは、列Ｃのマーカ７０が含まれているか否かを判定する。なお、本実施形態の撮影制御部９０は、マーカ群１６におけるマーカ７０の配列に関する情報を取得することができ、取得した情報に基づいて判定する。

【0083】

次のステップＳ２０８で撮影制御部９０は、上記のようにマーカ７０の列が重複しているか否かを判定する。重複していない場合、ステップＳ２０８の判定が否定判定となり、ステップＳ２１０へ移行する。

【0084】

ステップＳ２１０で撮影制御部９０は、超音波画像Ｕの撮影が適切ではないとして、警告を出力した後、ステップＳ２１２へ移行する。例えば、撮影制御部９０は、表示部４４に、超音波プローブ１０の位置が適切ではないことを表す情報を表示させる。

【0085】

一方、マーカ７０の列が重複している場合、ステップＳ２０８の判定が肯定判定となり、ステップＳ２１２へ移行する。ステップＳ２１２で撮影制御部９０は、撮影制御処理を終了するか否か判定する。例えば、入力Ｉ／Ｆ部４２を用いて技師により行われた撮影終了の指示を受け付けた場合、撮影制御部９０は、撮影制御処理を終了すると判定する。撮影制御処理を終了するまで、ステップＳ２１２の判定が否定判定となり、ステップＳ２００に戻り、ステップＳ２００～Ｓ２１０の処理を繰り返す。一方、撮影制御処理を終了する場合、ステップＳ２１２の判定が肯定判定となり、図１７に示した撮影制御処理を終了する。

【0086】

このように撮影制御処理を行うことで、光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行うのに適した超音波画像Ｕを撮影することができる。

【0087】

以上説明したように、上記形態の本体部１２の関心領域検出部８５は、被検体Ｗの超音波画像Ｕから、関心領域である血管Ｂを検出する。第１検出部８１は、被検体Ｗの光学カメラ画像Ｐから、マーカ７０を表す第１マーカ画像７５を検出する。関心領域検出部８５は、被検体Ｗの超音波画像Ｕから、マーカ７０を表す第２マーカ画像７６を検出する。位置合わせ部８６は、第１マーカ画像７５の第１の特徴、及び第２マーカ画像７６の第２の特徴に基づいて、被検体Ｗの光学カメラ画像Ｐと被検体Ｗの超音波画像Ｕとの位置合わせを行う。表示制御部８８は、被検体Ｗの光学カメラ画像Ｐに関心領域である血管Ｂ表す画像ＢＰを重畳させた状態で表示部４４に表示させる。

【0088】

このように、上記形態の超音波画像撮影装置１３によれば、光学カメラ画像Ｐにより識別可能な第１の特徴、及び超音波画像Ｕにより識別可能な第２の特徴を有し、第１の特徴及び第２の徳用により他のマーカ７０との区別が可能なマーカ群１６を用いて撮影され光学カメラ画像Ｐと、超音波画像Ｕとの位置合わせを、第１の特徴及び第２の特徴に基づいて行う。

【0089】

従って、上記形態の超音波画像撮影装置１３によれば、光学カメラ画像Ｐと、超音波画像Ｕとの位置合わせの精度を高めることができる。

【0090】

なお、本開示の技術は、上記各形態に限定されず、さらに種々の変形が可能である。

【0091】

上記形態では、光学カメラ画像Ｐにより識別可能な第１の特徴として、マーカ７０の色を適用した形態について説明したが、第１の特徴は、色に限定されない。例えば、マーカ７０の形状であってもよい。マーカ７０の形状としては、上面から見た形態が、円形となる形状（球形）、楕円形となる形状（楕円体）、及びＮ角形となる形状（断面がＮ形の柱状体）等が挙げられる。

【0092】

また、例えば、第１の特徴としては、マーカ７０の大きさであってもよい。

【0093】

また、上記形態では、超音波画像Ｕにより識別可能な第２の特徴として、マーカ７０が配置された深さを適用した形態について説明したが、第２の特徴は、配置された深さに限定されない。例えば、マーカ７０の形状であってもよい。この場合、同一の形態であっても、超音波画像Ｕにおける第２マーカ画像７６の形状がとなるように、マーカ７０が配置されていてもよい。例えば、マーカ７０が楕円体の場合、楕円体の長軸方向と、深度方向Ｄとの成す角度を異ならせることで、超音波画像Ｕにおける第２マーカ画像７６の形状を異ならせることができる。なお、楕円体のマーカ７０と、球形のマーカ７０とを用いる場合、楕円体のマーカ７０では、長軸方向と超音波プローブ１０の移動方向とが平行であると、楕円体の断面が円形になるため、円形のマーカとの区別が付きにくい。この場合、第２マーカ画像７６を含む超音波画像Ｕのフレーム数が、楕円体のマーカ７０の方が、球形のマーカ７０よりも多くなるため、第２マーカ画像７６を検出した超音波画像Ｕのフレーム数により、検出が可能である。

【0094】

また、例えば、第２の特徴としては、マーカ７０の大きさであってもよい。

【0095】

また、例えば、第２の特徴としては、第２マーカ画像７６の輝度が異なるようなマーカ７０であってもよい。このようなマーカ７０は、マーカ７０の種類に応じて音響インピーダンスを異ならせることで得ることができる。

【0096】

なお、複数種類の第１の特徴、及び複数種類の第２の特徴を組み合わせてもよい。

【0097】

また、上述した例では、超音波画像Ｕに複数の第２マーカ画像７６が含まれることが好ましいとしたが、超音波画像Ｕは１つの第２マーカ画像７６のみを含んでいてもよい。この場合、例えば、位置合わせ部８６は、以下のようにして光学カメラ画像Ｐと超音波画像Ｕとの位置合わせを行えばよい。図１８Ａに示すように、位置させた超音波プローブ１０を走査方向に移動させて超音波画像Ｕの撮影を行った場合について説明する。図１８Ｂに示すように、マーカ７０の配列間隔αは既知であり、また、各列におけるマーカ７０の間隔βも既知である。そのため、配列間隔αに対する超音波プローブ１０のなす角度θ１、及びマーカ７０の間隔βに対する超音波プローブ１０のなす角度θ２を、配列間隔α及びマーカ７０の間隔βから導出することができる。

【0098】

また、マーカ７０の配列間隔αは、間隔βが異なる複数のマーカ群１６を用意しておき、超音波プローブ１０の幅に応じたマーカ群１６を用いるようにしてもよい。

【0099】

また、マーカ群１６におけるゲルパッド７２の形状を、被検体Ｗの撮影部位に応じた形状としてもよい。

【0100】

また、図５に示したＳ１６の画像処理、すなわち、光学カメラ画像Ｐに、血管Ｂを表す画像ＢＰを重畳させて表示させる処理を行うタイミング、及び装置は、上記形態に限定されない。例えば、画像処理は、超音波画像Ｕの撮影（図５のＳ１４）中に行ってもよい。また、超音波画像Ｕの撮影の後、例えば、後日、医師等の診断が行われる際に行ってもよい。また、画像処理は、超音波プローブ１０で行ってもよいし、医療画像撮影システム１の外部の装置で行ってもよい。

【0101】

また、上記各形態では、音線信号に基づいて超音波画像Ｕを生成する画像生成部４６が本体部１２に設けられているが、これに代えて、画像生成部４６は、超音波プローブ１０内に設けられていてもよい。この場合、超音波プローブ１０は、超音波画像Ｕを生成して本体部１２に出力する。

【0102】

また、上記形態において、例えば、第１取得部８０、第１検出部８１、第２取得部８２、第２検出部８３、位置合わせ部８６、表示制御部８８、及び撮影制御部９０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）に加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0103】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0104】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0105】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0106】

また、上記各実施形態では、穿刺補助処理プログラム５１がＲＯＭ５０Ｂに予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム３６は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また画像処理プログラム３６は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0107】

以上の記載から、以下の付記に記載の発明を把握することができる。

【0108】

［付記１］
少なくとも１つのプロセッサを備え、
前記プロセッサは、
光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
画像処理装置。

【0109】

「付記２」
前記第１の特徴は、色、形状、及び大きさの少なくとも一方に応じた特徴である
付記１に記載の画像処理装置。

【0110】

「付記３」
前記第２の特徴は、輝度、配置されている深さ、形状、及び大きさの少なくとも一方に応じた特徴である
付記１または付記２に距離の画像処理装置。

【0111】

「付記４」
前記関心領域は血管である
付記１から付記３のいずれか１つに記載の画像処理装置。

【0112】

「付記５」
前記プロセッサは、
前記被検体の表面に沿って走査され、前記超音波画像を生成するためのプローブの位置を、前記第１マーカ画像及び前記第２マーカ画像の少なくとも一方に基づいて導出し、
前記プローブの位置が、予め定められた撮影位置以外である場合、警告を表す情報を出力する
付記１から付記４のいずれか１つに記載の画像処理装置。

【0113】

「付記６」
複数の前記マーカは、複数の列をなして配置されており、前記被検体の超音波画像の撮影が、１回の走査で複数の列の撮影を行い、かつ前記列をずらしながら複数回行われる場合、
前記予め定められた撮影位置は、前回撮影した複数の列の一部と、今回撮影する複数の列の一部とが、重複する位置である
付記５に記載の画像処理装置。

【0114】

「付記７」
前記プロセッサは、
複数の前記超音波画像に含まれる前記第２マーカ画像が１つの場合、警告を表す情報を出力する
付記１から付記６のいずれか１つに記載の画像処理装置。

【0115】

「付記８」
複数の前記マーカは、複数の列をなして配置されており、前記複数の超音波画像の撮影が、１回の走査で複数の列の撮影を行う場合であって 前記被検体の超音波画像に含まれる前記第２マーカ画像が１つの場合、
前記プロセッサは、
複数の前記マーカの配置間隔に基づいて、前記マーカの配置に対するプローブの角度を推定し、
推定した前記プローブの角度、前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行う
付記１から付記６のいずれか１つに記載の画像処理装置。

【0116】

「付記９」
前記超音波画像撮影装置と、
前記光学カメラと
前記複数のマーカと、
付記１から付記８のいずれか１つに記載の画像処理装置と、
を備えたシステム。

【0117】

「付記１０」
光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
処理をプロセッサが実行する画像処理方法。

【0118】

「付記１１」
光学カメラ画像により識別可能な第１の特徴、及び超音波画像により識別可能な第２の特徴を有しているマーカであり、前記第１の特徴及び前記第２の特徴により他のマーカとの区別が可能な複数のマーカが被検体の上に設けられた状態で光学カメラにより撮影された前記被検体の光学カメラ画像、及び超音波画像撮影装置により撮影された前記被検体の超音波画像を取得し、
前記被検体の超音波画像から、関心領域を検出し、
前記被検体の光学カメラ画像から、前記マーカを表す第１マーカ画像を検出し、
前記被検体の超音波画像から、前記マーカを表す第２マーカ画像を検出し、
前記第１マーカ画像の前記第１の特徴、及び前記第２マーカ画像の前記第２の特徴に基づいて、前記被検体の光学カメラ画像と前記被検体の超音波画像との位置合わせを行って、前記被検体の光学カメラ画像に前記関心領域を表す画像を重畳させた状態で表示させる、
処理をプロセッサに実行させるための画像処理プログラム。

【符号の説明】

【0119】

１ 超音波診断装置
１０ 超音波プローブ
１２ 本体部
１３ 超音波画像撮影装置
１４ 光学カメラ
１６ マーカ群
２０ 振動子アレイ
２２ 送受信回路
２４ 送信回路
２６ 受信回路
３０ プロセッサ
３２ メモリ
３４ 記憶部
３６ 画像処理プログラム
３８ マーカ特徴情報
４０ 通信Ｉ／Ｆ部
４２ 入力Ｉ／Ｆ部
４４ 表示部
４６ 画像生成部
４９ バス
５０ 増幅部
５２ Ａ／Ｄ変換部
５４ ビームフォーマ
６０ 信号処理部
６２ ＤＳＣ
６４ 画像処理部
７０Ａ～７０Ｄ マーカ
７２ ゲルパッド
７５Ａ～７５Ｄ 第１マーカ画像
７６Ａ、７６Ｂ 第２マーカ画像
８０ 第１取得部
８１ 第１検出部
８２ 第２取得部
８３ 第２検出部
８４ マーカ検出部
８５ 関心領域検出部
８６ 位置合わせ部
８８ 表示制御部
９０ 撮影制御部
Ａ、Ｂ 矢印
Ｂ 血管、ＢＰ 血管を表す画像
Ｄ 深度方向
Ｌ、Ｍ、Ｎ フレーム
Ｐ 光学カメラ画像
Ｓ 体表面
Ｕ 超音波画像
Ｗ 被検体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】