特許 7394645 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-30

(45)【発行日】2023-12-08

(54)【発明の名称】教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム

(51)【国際特許分類】

   A61B 6/12 20060101AFI20231201BHJP

   A61B 6/00 20060101ALI20231201BHJP

【ＦＩ】

A61B6/12

A61B6/00 350D

A61B6/00 360Z

【請求項の数】 14

(21)【出願番号】P 2020017709

(22)【出願日】2020-02-05

(65)【公開番号】P2021122487

(43)【公開日】2021-08-30

【審査請求日】2022-01-24

【前置審査】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】浜渦 紳

【審査官】亀澤 智博

(56)【参考文献】

【文献】特開２０１７－１８５００７（ＪＰ，Ａ）

【文献】国際公開第２０１９／１３８４３８（ＷＯ，Ａ１）

【文献】特表２０１８－５０２６４６（ＪＰ，Ａ）

【文献】特表２００６－５０６１１７（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５９７７５（ＷＯ，Ａ１）

【文献】I. KOMPATSIARIS et al.，“Deformable boundary detection of stents in angiographic images”，IEEE Transactions on Medical Imaging，2000年06月，Vol. 19, No. 6，p.652-662，DOI: 10.1109/42.870673

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００ － ６／１４

Ｇ０６Ｔ １／００ ， ７／００

Ｇ１６Ｈ ３０／００ －３０／４０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
人体を含む放射線画像、および放射線撮影以外の手法により取得された、手術用具を表す手術用具画像を取得し、
前記手術用具の放射線吸収率、前記放射線画像における放射線散乱の程度、および前記放射線画像におけるビームハードニングの少なくとも１つに応じて設定された合成パラメータによって、前記放射線画像に前記手術用具画像を合成することにより、対象画像が入力されると該対象画像における前記手術用具の領域を判別する判別器を学習するための教師画像を生成するように構成される教師画像生成装置。

【請求項2】

前記プロセッサは、さらに前記放射線画像の撮影条件に応じたノイズの少なくとも１つに応じて前記合成パラメータを設定するように構成される請求項１に記載の教師画像生成装置。

【請求項3】

前記手術用具は、ガーゼ、メス、鋏、ドレイン、縫合針、糸、鉗子およびステントグラフトの少なくとも１つを含む請求項１または２に記載の教師画像生成装置。

【請求項4】

前記手術用具がガーゼである場合、前記ガーゼは、放射線吸収糸を少なくとも一部に含む請求項３に記載の教師画像生成装置。

【請求項5】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
請求項１から４のいずれか１項に記載の教師画像生成装置により生成された教師画像と、前記教師画像における前記手術用具の領域を表す正解データとからなる多数の教師データにより、入力された放射線画像における手術用具の領域を判別する判別器を学習するように構成される学習装置。

【請求項6】

請求項５に記載の学習装置により学習がなされた判別器。

【請求項7】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
請求項６に記載の判別器により、前記入力された放射線画像における前記手術用具の領域を判別することにより、前記手術用具の領域を検出するように構成される放射線画像処理装置。

【請求項8】

前記プロセッサは、前記手術用具の領域の検出結果を表示画面に表示するように構成される請求項７に記載の放射線画像処理装置。

【請求項9】

人体を含む放射線画像、および放射線撮影以外の手法により取得された、手術用具を表す手術用具画像を取得し、
前記手術用具の放射線吸収率、前記放射線画像における放射線散乱の程度、および前記放射線画像におけるビームハードニングの少なくとも１つに応じて設定された合成パラメータによって、前記放射線画像に前記手術用具画像を合成することにより、対象画像が入力されると該対象画像における前記手術用具の領域を判別する判別器を学習するための教師画像を生成する教師画像生成方法。

【請求項10】

請求項１から４のいずれか１項に記載の教師画像生成装置により生成された教師画像と、前記教師画像における前記手術用具の領域を表す正解データとからなる多数の教師データにより、入力された放射線画像における手術用具の領域を判別する判別器を学習する学習方法。

【請求項11】

請求項６に記載の判別器により、前記入力された放射線画像における前記手術用具の領域を判別することにより、該手術用具の領域を検出する放射線画像処理方法。

【請求項12】

人体を含む放射線画像、および放射線撮影以外の手法により取得された、手術用具を表す手術用具画像を取得する手順と、
前記手術用具の放射線吸収率、前記放射線画像における放射線散乱の程度、および前記放射線画像におけるビームハードニングの少なくとも１つに応じて設定された合成パラメータによって、前記放射線画像に前記手術用具画像を合成することにより、対象画像が入力されると該対象画像における前記手術用具の領域を判別する判別器を学習するための教師画像を生成する手順とをコンピュータに実行させる教師画像生成プログラム。

【請求項13】

請求項１から４のいずれか１項に記載の教師画像生成装置により生成された教師画像と、前記教師画像における前記手術用具の領域を表す正解データとからなる多数の教師データにより、入力された放射線画像における手術用具の領域を判別する判別器を学習する手順をコンピュータに実行させる学習プログラム。

【請求項14】

請求項６に記載の判別器により、前記入力された放射線画像における前記手術用具の領域を判別することにより、該手術用具の領域を検出する手順をコンピュータに実行させる放射線画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラムに関するものである。

【背景技術】

【0002】

患者の外科的手術を行う際には、出血を抑えるためのガーゼ、傷口または切開部分を縫うための糸と縫合針、切開のためのメスおよび鋏、血液を排出するためのドレイン、並びに切開部分を開くための鉗子等の様々な手術用具が使用される。このような手術用具は、手術後に患者の体内に残存していると、重篤な合併症を発生する恐れがある。このため、手術後は患者の体内に手術用具が残存していないことを確認する必要がある。

【0003】

このため、ガーゼ画像の特徴を学習した判別器を用意し、手術野をカメラにより撮影することにより取得した画像を判別器に入力して、ガーゼの有無を判別する手法が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０６８８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ガーゼは血に染まるため、カメラにより取得した画像ではガーゼを発見することは判別器を用いたとしても困難である。また、縫合針のように小さな手術用具は、内臓の間に入り込んでしまう可能性があるため、カメラにより取得した画像では、判別器を用いたとしても発見することは困難である。一方、術後に患者の放射線画像を取得し、放射線画像を観察することにより、患者の体内に手術用具が残存しているか否かを確認することが考えられる。しかしながら、長時間の手術の後では、術者も看護師も疲労しているため、手術用具の残存を見逃してしまう可能性がある。また、判別器の学習に必要なガーゼ等の手術器具が残存した放射線画像は極めて稀であるため、判別器の学習のために大量に収集することは困難である。

【0006】

本開示は上記事情に鑑みなされたものであり、手術後における手術用具の患者体内の残存を確実に防止できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本開示による教師画像生成装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
人体を含む放射線画像、および放射線撮影以外の手法により取得された、手術用具を表す手術用具画像を取得し、
放射線画像に手術用具画像を合成することにより、対象画像が入力されると対象画像における手術用具の領域を判別する判別器を学習するための教師画像を生成するように構成される。

【0008】

「放射線撮影以外の手法」とは、手術用具に放射線を照射し、手術用具を透過した放射線を検出することにより画像を取得する以外の手法を意味する。具体的には、コンピュータグラフィックスによる生成、および写真撮影の手法等が挙げられる。

【0009】

なお、本開示による教師画像生成装置においては、プロセッサは、手術用具の特性に応じた合成パラメータによって放射線画像および手術用具画像を合成することにより、教師画像を生成するように構成されるものであってもよい。

【0010】

また、本開示による教師画像生成装置においては、プロセッサは、手術用具の放射線吸収率、放射線画像における放射線散乱の程度、放射線画像におけるビームハードニング、および放射線画像の撮影条件に応じたノイズの少なくとも１つに応じて合成パラメータを設定するように構成されるものであってもよい。

【0011】

また、本開示による教師画像生成装置においては、手術用具は、ガーゼ、メス、鋏、ドレイン、縫合針、糸、鉗子およびステントグラフトの少なくとも１つを含むものであってもよい。

【0012】

この場合、ガーゼは、放射線吸収糸を少なくとも一部に含むものであってもよい。

【0013】

本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
本開示による教師画像生成装置により生成された教師画像と、教師画像における手術用具の領域を表す正解データとからなる多数の教師データにより、入力された放射線画像における手術用具の領域を判別する判別器を学習するように構成される。

【0014】

本開示による判別器は、本開示による学習装置により学習がなされてなる。

【0015】

本開示による放射線画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
本開示による判別器により、入力された放射線画像における手術用具の領域を判別することにより、手術用具の領域を検出するように構成される。

【0016】

なお、本開示による放射線画像処理装置においては、プロセッサは、手術用具の領域の検出結果を表示画面に表示するように構成されるものであってもよい。

【0017】

本開示による教師データは、本開示による教師画像生成装置により生成された教師画像と、教師画像における手術用具の領域を表す正解データとからなり、入力された放射線画像における手術用具の領域を判別する判別器を学習するためのものである。

【0018】

本開示による教師画像生成方法は、人体を含む放射線画像、および放射線撮影以外の手法により取得された、手術用具を表す手術用具画像を取得し、
放射線画像に手術用具画像を合成することにより、対象画像が入力されると対象画像における手術用具の領域を判別する判別器を学習するための教師画像を生成する。

【0019】

本開示による学習方法は、本開示による教師画像生成装置により生成された教師画像と、教師画像における手術用具の領域を表す正解データとからなる多数の教師データにより、入力された放射線画像における手術用具の領域を判別する判別器を学習する。

【0020】

本開示による放射線画像処理方法は、本開示による判別器により、入力された放射線画像における手術用具の領域を判別することにより、手術用具の領域を検出する。

【0021】

なお、本開示による教師画像生成方法、学習方法および放射線画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【発明の効果】

【0022】

本開示によれば、手術後における手術用具の患者体内の残存を確実に防止できる。

【図面の簡単な説明】

【0023】

【図1】本開示の実施形態による放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図

【図2】本実施形態による放射線画像処理装置の概略構成を示す図

【図3】本実施形態による放射線画像処理装置の機能的な構成を示す図

【図4】教師画像を生成するための放射線画像を示す図

【図5】手術用具としての縫合針の画像を示す図

【図6】教師画像を示す図

【図7】教師データを模式的に示す図

【図8】放射線画像の表示画面を示す図

【図9】本実施形態における教師画像生成処理のフローチャート

【図10】本実施形態における学習処理のフローチャート

【図11】本実施形態における検出処理のフローチャート

【図12】ガーゼを示す図

【図13】手術用具としてのガーゼの画像を示す図

【発明を実施するための形態】

【0024】

以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による放射線画像撮影システム１００は、外科的手術を行った後の、患者である被写体の放射線画像を取得して、放射線画像に含まれる手術用具を検出するためのものである。本実施形態による放射線画像撮影システム１００は、撮影装置１、コンソール２、画像保存システム６および放射線画像処理装置７を備える。

【0025】

撮影装置１は、Ｘ線源等の放射線源４から発せられ、被写体Ｈを透過した放射線を放射線検出器５に照射することにより、手術台３に仰臥した被写体Ｈの放射線画像Ｇ０を取得するための撮影装置である。放射線画像Ｇ０はコンソール２に入力される。

【0026】

また、放射線検出器５は、可搬型の放射線検出器であり、手術台３に設けられた取付部３Ａにより手術台３に取り付けられている。なお、放射線検出器５は、手術台３に固定されたものであってもよい。

【0027】

コンソール２は、無線通信ＬＡＮ（Local Area Network）等のネットワークを介して、不図示のＲＩＳ（Radiology Information System）等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、撮影装置１の制御を行う機能を有している。一例として、本実施形態では、サーバコンピュータをコンソール２として用いている。

【0028】

画像保存システム６は、撮影装置１により撮影された放射線画像の画像データを保存するシステムである。画像保存システム６は、保存している放射線画像から、コンソール２および放射線画像処理装置７等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム６の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。

【0029】

次に、本実施形態に係る放射線画像処理装置について説明する。なお、本実施形態に係る放射線画像処理装置７は、本開示による教師データ生成装置、学習装置を内包するものであるが、以降の説明においては、放射線画像処理装置にて代表させるものとする。

【0030】

まず、図２を参照して、本実施形態に係る放射線画像処理装置のハードウェア構成を説明する。図２に示すように、放射線画像処理装置７は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を備える。また、放射線画像処理装置７は、液晶ディスプレイ等のディスプレイ１４、キーボードおよびマウス等の入力デバイス１５、並びにネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を備える。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0031】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、放射線画像処理装置７にインストールされた教師画像生成プログラム２１、学習プログラム２２および放射線画像処理プログラム２３が記憶される。ＣＰＵ１１は、ストレージ１３から教師画像生成プログラム２１、学習プログラム２２および放射線画像処理プログラム２３を読み出してからメモリ１６に展開し、展開した教師画像生成プログラム２１、学習プログラム２２および放射線画像処理プログラム２３を実行する。

【0032】

なお、教師画像生成プログラム２１、学習プログラム２２および放射線画像処理プログラム２３は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて放射線画像処理装置７を構成するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体から放射線画像処理装置７を構成するコンピュータにインストールされる。

【0033】

次いで、本実施形態による放射線画像処理装置の機能的な構成を説明する。図３は、本実施形態による放射線画像処理装置の機能的な構成を示す図である。図３に示すように，放射線画像処理装置（教師画像生成装置および学習装置）７は、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５を備える。そして、ＣＰＵ１１が、教師画像生成プログラム２１、学習プログラム２２および放射線画像処理プログラム２３を実行することにより、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５として機能する。

【0034】

なお、画像取得部３１および合成部３２が，本実施形態による教師画像生成装置を構成する。画像取得部３１および学習部３３が、本実施形態による学習装置を構成する。画像取得部３１、検出部３４および表示制御部３５が、本実施形態による放射線画像処理装置７を構成する。

【0035】

画像取得部３１は、後述する教師画像Ｔ０を生成するために、画像保存システム６からネットワークＩ／Ｆ１７を介して任意の被写体Ｈを含む放射線画像Ｇ０を取得する。図４は放射線画像Ｇ０を示す図である。なお、図４は人体の胸部の放射線画像を示すが、放射線画像Ｇ０に含まれる被写体はこれに限定されるものではない。

【0036】

また、画像取得部３１は、教師画像Ｔ０を生成するために、手術用具を表す手術用具画像Ｍ０も画像保存システム６から取得する。手術用具画像Ｍ０は、放射線撮影以外の手法により取得された画像である。例えば手術用具画像Ｍ０は、コンピュータグラフィックス等により作成された手術用具を表す３次元的な画像である。なお、本実施形態においては、手術用具として、傷口または切開部分を縫うための縫合針を用いるものとする。図５は手術用具としての縫合針の画像を示す図である。なお、図５においては、縫合針の手術用具画像Ｍ０を２次元で示しているが、３次元的に回転させたり、移動させたりすることが可能であるものとする。なお、手術用具画像Ｍ０は手術用具の写真画像であってもよい。

【0037】

また、画像取得部３１は、放射線源４を駆動して手術後の被写体Ｈに放射線を照射し、被写体Ｈを透過した放射線を放射線検出器５により検出して、手術用具の検出対象となる放射線画像Ｇ１を取得する。この際、画像取得部３１は、放射線源４において使用するターゲットおよびフィルタの種類、撮影線量、管電圧およびＳＩＤ等の撮影条件を設定する。

【0038】

合成部３２は、放射線画像Ｇ０に手術用具画像Ｍ０を合成することにより、対象となる放射線画像Ｇ１が入力されると放射線画像Ｇ１における手術用具の領域を判別する判別器を学習するための教師画像Ｔ０を生成する。合成部３２は、手術用具（本実施形態においては縫合針）の特性に応じた合成パラメータによって放射線画像Ｇ０および手術用具画像Ｍ０を合成して教師画像Ｔ０を生成する。合成部３２は、手術用具（本実施形態においては縫合針）の放射線吸収率、手術用具による放射線散乱の程度、放射線画像Ｇ０におけるビームハードニング、および放射線画像Ｇ０の撮影条件に応じたノイズの少なくとも１つにより、合成パラメータを設定する。

【0039】

なお、放射線画像Ｇ０における手術用具画像Ｍ０の位置および手術用具画像Ｍ０の向きは、放射線画像Ｇ０をディスプレイ１４に表示し、操作者による入力デバイス１５からの指示により指定すればよい。

【0040】

本実施形態においては、例えば、下記の式（１）により教師画像Ｔ０を生成するものとする。すなわち、放射線画像Ｇ０における手術用具画像Ｍ０を合成する領域の画素（ｘ，ｙ）において、放射線画像Ｇ０の画素値Ｇ０（ｘ，ｙ）から、重み係数ｗ１により重み付けた手術用具画像Ｍ０の画素値Ｍ０（ｘ，ｙ）を減算することにより、教師画像Ｔ０の画素値Ｔ０（ｘ，ｙ）を導出する。なお、重み係数ｗ１は０以上１以下の値をとる。重み係数ｗ１は本実施形態の合成パラメータに含まれる。図６は教師画像を示す図である。図６に示すように、教師画像Ｔ０においては、被写体の右肺に縫合針４０が含まれたものとなる。

【0041】

Ｔ０（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）－ｗ１・Ｍ０（ｘ，ｙ） （１）

【0042】

ここで、手術用具の放射線吸収率が高ければ、手術用具を放射線撮影することにより取得される放射線画像においては、手術用具のコントラストが高くなる。例えば、手術用具が縫合針、鋏およびメスのような金属の場合、手術用具の放射線画像はコントラストが高くなる。このため、教師画像Ｔ０においては手術用具のコントラストが高くなりすぎないように、放射線画像Ｇ０と手術用具画像Ｍ０との重み付け減算を行う際に、手術用具画像Ｍ０の重み係数ｗ１を大きくする。

【0043】

また、放射線の散乱により、放射線画像におけるコントラストが低下する。放射線の散乱は、被写体Ｈの体厚が大きいほどその影響が大きくなる。また、被写体Ｈの体厚が大きいほど放射線画像Ｇ０に含まれる被写体領域の濃度は小さくなる。このため、合成部３２は、放射線画像Ｇ０に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Ｈの体厚が大きいほど、放射線画像Ｇ０と手術用具画像Ｍ０との濃度差が小さくなるように、重み係数ｗ１を小さくして教師画像Ｔ０を生成する。

【0044】

ここで、放射線源４に印加される管電圧が高く、放射線が高エネルギーであるほど、放射線が被写体Ｈを透過する過程において、放射線の低エネルギー成分が被写体Ｈに吸収され、放射線が高エネルギー化するビームハードニングが生じる。ビームハードニングが生じると、放射線画像におけるコントラストが低下する。また、ビームハードニングによる放射線の高エネルギー化は、被写体Ｈの体厚が大きいほど大きくなる。また、被写体Ｈの体厚が大きいほど放射線画像Ｇ０に含まれる被写体領域の濃度は小さくなる。このため、合成部３２は、放射線画像Ｇ０に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Ｈの体厚が大きいほど、放射線画像Ｇ０と手術用具画像Ｍ０との濃度差が小さくなるように、重み係数ｗ１を小さくして教師画像Ｔ０を生成する。

【0045】

また、撮影条件における放射線量が小さいと、放射線画像Ｇ０に含まれるノイズが多くなる。このため、合成部３２は、放射線量が小さい場合、下記の式（２）に示すように、式（１）に対して放射線量に応じたノイズＮ（ｘ，ｙ）を加算することにより教師画像Ｔ０を生成する。この場合、重み係数ｗ１は予め定められた値としてもよく、上記の手術用号の放射線吸収率、放射線散乱の程度およびビームハードニングの少なくとも１つに応じて設定してもよい。また、ノイズＮ（ｘ，ｙ）は予め定められたシミュレーションにより導出して、ストレージ１３に記憶しておけばよい。なお、ノイズＮ（ｘ，ｙ）も合成パラメータに含まれる。

【0046】

Ｔ０（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）－ｗ１・Ｍ０（ｘ，ｙ）＋Ｎ（ｘ，ｙ） （２）

【0047】

本実施形態においては、合成部３２は、後述する判別器の学習のために、放射線画像Ｇ０における手術用具画像Ｍ０の合成位置を変更したり、合成パラメータを変更したりして、複数の教師画像Ｔ０を生成する。これにより、手術用具画像Ｍ０が放射線撮影されたような態様にて放射線画像Ｇ０に合成された教師画像Ｔ０が生成されることとなる。なお、被写体Ｈが異なる複数の放射線画像Ｇ０を用いて教師画像Ｔ０を生成してもよい。

【0048】

学習部３３は、教師画像Ｔ０および教師画像Ｔ０における手術用具の領域が特定された正解データを含む教師データ、並びに手術用具を含まない放射線画像からなる教師データを用いて、入力された放射線画像における手術用具の領域を判別するように検出部３４が有する判別器３４Ａを学習する。教師データは複数用意される。なお、正解データは、教師画像Ｔ０を生成した際の手術用具画像Ｍ０の領域をマスクしたマスク画像を用いればよい。

【0049】

判別器３４Ａとしては、機械学習モデルを用いることができる。機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、判別器３４Ａとして畳み込みニューラルネットワークを用いるものとする。

【0050】

図７は、教師画像Ｔ０および教師画像Ｔ０における手術用具の領域が特定された正解データを含む教師データを模式的に示す図である。図７に示すように、教師データ４５は、手術用具を含む教師画像Ｔ０および手術用具の領域が特定された正解データＣ０を含む。

【0051】

判別器３４Ａは、教師データに含まれる教師画像Ｔ０が入力されると、教師画像Ｔ０の各画素が手術用具の領域であることの確率を出力するように学習がなされる。判別器３４Ａが出力した、確率が予め定められたしきい値以上となる画素からなる領域が手術用具の領域となる。学習部３３は、教師画像Ｔ０を判別器３４Ａに入力し、手術用具の領域となる確率を出力させる。そして、判別器３４Ａが出力した予め定められたしきい値以上となる確率となる画素からなる領域と、教師データに含まれる正解データにより表される領域との相違を損失として導出する。そして、損失に基づいて判別器３４Ａを学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部３３は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、入力された放射線画像に含まれる手術用具の領域について、予め定められたしきい値以上の高い確率を出力することにより、入力された放射線画像に含まれる手術用具の領域を抽出するように、判別器３４Ａの学習がなされる。

【0052】

検出部３４は、学習済みの判別器３４Ａが適用されてなる。検出部３４に対象の放射線画像Ｇ１が入力されると、検出部３４は、検出対象となる放射線画像Ｇ１に含まれる手術用具の領域を判別器３４Ａに抽出させることにより、手術用具の領域を検出する。

【0053】

表示制御部３５は、検出部３４が検出対象となる放射線画像Ｇ１から検出した手術用具の領域を強調して、放射線画像Ｇ１をディスプレイ１４に表示する。図８は放射線画像の表示画面を示す図である。図８に示すように、表示画面５０には放射線画像Ｇ１が表示されており、放射線画像Ｇ１に含まれる手術用具の領域５１を矩形領域５２で囲むことにより、手術用具の領域５１が強調されている。なお、図８においては矩形領域５２は白抜きにて示しているが、色を付与してもよい。なお、矩形領域５２の付与に代えて、手術用具の領域付近に矢印および星印等のマークを付与することにより、手術用具の領域を強調してもよい。

【0054】

次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる教師画像生成処理のフローチャートである。まず、画像取得部３１が、教師画像Ｔ０を生成するための放射線画像Ｇ０および手術用具画像Ｍ０を取得する（ステップＳＴ１）。次いで、合成部３２が放射線画像Ｇ０と手術用具画像Ｍ０との合成パラメータを設定し（ステップＳＴ２）、合成パラメータに応じて放射線画像Ｇ０と手術用具画像Ｍ０とを合成して教師画像Ｔ０を生成し（ステップＳＴ３）、処理を終了する。

【0055】

次いで、本実施形態における学習処理について説明する。図１０は本実施形態において行われる学習処理のフローチャートである。学習部３３が、教師画像Ｔ０および正解データからなる教師データおよび手術用具を含まない放射線画像からなる教師データを取得し（ステップＳＴ１１）、判別器３４Ａに教師データを入力して手術用具の領域の抽出結果を取得し、正解データとの相違に基づく損失を用いて判別器３４Ａを学習し（ステップＳＴ１２）、ステップＳＴ１１にリターンする。そして、学習部３３は、損失が予め定められたしきい値となるまで、ステップＳＴ１１，ＳＴ１２の処理を繰り返し、学習を終了する。なお、学習部３３は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。

【0056】

次いで、本実施形態における手術用具の領域の検出処理について説明する。図１１は本実施形態において行われる検出処理のフローチャートである。画像取得部３１が、検出対象となる放射線画像Ｇ１を取得し（ステップＳＴ２１）、検出部３４が、放射線画像Ｇ１から手術用具の領域を検出する（ステップＳＴ２２）。そして、表示制御部３５が、手術用具の領域を強調した放射線画像Ｇ１をディスプレイ１４に表示し（ステップＳＴ２３）、処理を終了する。

【0057】

このように、本実施形態においては、放射線画像Ｇ０および手術用具を表す手術用具画像Ｍ０を合成することにより生成した教師画像Ｔ０、およびこの教師画像Ｔ０における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像から手術用具の領域を判別するように学習がなされた判別器３４Ａを検出部３４が備えるものとした。そして、判別器３４Ａによって、入力された放射線画像Ｇ０における手術用具の領域を判別することにより、手術用具の領域を検出するようにした。このため、本実施形態によれば、検出結果を参照することにより、患者の体内に手術用具が残存していないかを確実に確認することができる。したがって、本実施形態によれば、手術後における手術用具の患者体内の残存を確実に防止できる。

【0058】

一方、判別器３４Ａの学習に必要な、手術器具が残存した放射線画像は極めて稀であるため、判別器３４Ａの学習のために大量に収集することは困難であった。本実施形態においては、放射線画像Ｇ０および放射線撮影以外の手法により取得された手術用具を表す手術用具画像Ｍ０を合成することにより生成した教師画像Ｔ０を用いて、判別器３４Ａを学習している。このため、十分な数の教師画像Ｔ０を用意することができ、その結果、手術器具の検出精度が高い判別器３４Ａを構築することができる。

【0059】

また、合成パラメータによって放射線画像Ｇ０および手術用具画像Ｍ０を合成することにより教師画像Ｔ０を生成しているため、放射線撮影以外の手法により取得された手術用具画像Ｍ０を、放射線撮影したかのような態様で放射線画像Ｇ０と合成された教師画像Ｔ０を生成することができる。このため、手術用具画像Ｍ０を用意するために、手術用具を放射線撮影する必要がなくなる。

【0060】

なお、上記実施形態においては、手術用具として縫合針を検出の対象としているが、これに限定されるものではない。ガーゼ、メス、鋏、ドレイン、糸、鉗子およびステントグラフト等の手術の際に使用する任意の手術用具を検出の対象とすることができる。この場合、教師画像Ｔ０を生成するための、手術用具を含む手術用具画像Ｍ０は、対象となる手術用具を撮影することにより取得すればよい。また、判別器３４Ａは対象となる手術用具を判別するように学習すればよい。なお、判別器３４Ａを複数チャンネルの検出を行うように学習することにより、１種類の手術用具のみならず、複数種類の手術用具を判別するように、判別器３４Ａを構築することも可能である。

【0061】

ここで、手術用具として使用するガーゼについて説明する。図１２はガーゼを示す図である。図１２に示すように、ガーゼ６０は綿糸が平織りされてなる生地であり、その一部に放射線吸収糸６１が織り込まれている。綿糸は放射線を透過するが、放射線吸収糸６１は放射線を吸収する。このため、ガーゼ６０の放射線画像には、線状の放射線吸収糸６１のみが含まれる。ここで、手術の際には、出血を吸収するために、ガーゼ６０は丸められて人体内に挿入される。このため、教師画像Ｔ０を生成するために放射線画像Ｇ０と合成する手術用具画像Ｍ０としては、図１３に示すように、放射線吸収糸６１が丸まった状態を表すものを使用する。

【0062】

また、上記実施形態においては、放射線は、とくに限定されるものではなく、Ｘ線の他、α線またはγ線等を適用することができる。

【0063】

また、上記実施形態において、例えば、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0064】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0065】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0066】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0067】

１ 撮影装置
２ コンソール
３ 手術台
３Ａ 取付部
４ 放射線源
５ 放射線検出器
６ 画像保存システム
７ 放射線画像処理装置
１１ ＣＰＵ
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２１ 教師画像生成プログラム
２２ 学習プログラム
２３ 放射線画像処理プログラム
３１ 画像取得部
３２ 合成部
３３ 学習部
３４ 検出部
３４Ａ 判別器
３５ 表示制御部
４０ 縫合針
４５ 教師データ
５０ 表示画面
５１ 手術用具の領域
５２ 矩形領域
６０ ガーゼ
６１ 放射線吸収糸
１００ 放射線画像撮影システム
Ｃ０ 正解データ
Ｇ０、Ｇ１ 放射線画像
Ｈ 被写体
Ｍ０ 手術用具画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】