特許 7418171 画像処理装置、放射線撮影システム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】画像処理装置、放射線撮影システム、画像処理方法及びプログラム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240112BHJP

   G06T 7/00 20170101ALI20240112BHJP

【ＦＩ】

A61B6/00 350D

A61B6/00 350Z

G06T7/00 350C

G06T7/00 612

【請求項の数】 19

(21)【出願番号】P 2019158928

(22)【出願日】2019-08-30

(65)【公開番号】P2021036970

(43)【公開日】2021-03-11

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小林 剛

【審査官】蔵田 真彦

(56)【参考文献】

【文献】特開２０２０－０３６７７３（ＪＰ，Ａ）

【文献】特開平０４－２６１６４９（ＪＰ，Ａ）

【文献】特開２０１８－１１４１４０（ＪＰ，Ａ）

【文献】特開２００９－２１９１４０（ＪＰ，Ａ）

【文献】特開平４－５８９４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３７４２０９（ＵＳ，Ａ１）

【文献】ZHAO, Liang et al.，Automatic Collimation Detection in Digital Radiographs with the Directed Hough Transform and Learning-Based Edge Detection，International Workshop on Patch-based Techniques in Medical Imaging，2016年01月08日，pp.71-78

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／１４

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置であって、前記領域抽出手段は、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小手段と、
前記縮小画像を入力として、前記縮小画像における前記領域を推論した推論画像を出力する推論処理を行う推論手段と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大手段と、
前記拡大画像における前記領域の輪郭を整形し、整形された前記輪郭を用いて前記領域を前記拡大画像から抽出する後処理を行う後処理手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記推論手段は、
前記縮小画像を入力とし、抽出対象の前記領域を任意の値でラベリングしたラベリング画像を、前記推論画像として出力するニューラルネットワークにより構成されることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置であって、前記領域抽出手段は、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小手段と、
前記縮小画像を入力として、前記縮小画像における前記領域を任意の値でラベリングしたラベリング画像である推論画像を出力する推論処理を行うニューラルネットワークにより構成される推論手段と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大手段と、
前記領域の有する形状の特徴に基づいて、前記拡大画像から前記領域を抽出する後処理を行う後処理手段と、
を備えることを特徴とする画像処理装置。

【請求項4】

前記推論手段は、前記縮小画像を入力とし、前記ラベリング画像を出力としたデータの組を用いた学習に基づいて前記推論処理を行うことを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記推論手段は、ユーザーの使用環境で取得された画像と、前記ラベリング画像のデータとの組を教師データとして、新たに追加された学習の結果と、事前に行われた学習の結果とに基づいて前記推論処理を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

ユーザーの使用環境において取得した画像と、前記領域を示すデータとの組を教師データとして前記推論手段の学習を行う学習手段を更に備え、
前記学習手段は、前記教師データを用いた追加の学習に基づいて、前記推論手段の前記ニューラルネットワークのパラメータを更新することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記拡大手段は、前記縮小画像の解像度に比べて高解像度になるように前記拡大画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記拡大手段は、前記入力画像の画像サイズと同じ画像サイズ、または、前記入力画像の画像サイズに比べて大きい画像サイズの拡大画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

第一解像度の画像を前記入力画像とした前記領域抽出手段の領域抽出結果を用いて、前記第一解像度の画像に対して第一の画像処理を行う第一の画像処理手段と、
前記領域抽出手段の領域抽出結果を用いて、前記第一解像度よりも高解像度の第二解像度の画像に対して第二の画像処理を行う第二の画像処理手段と、を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記第一の画像処理が適用された第一の画像および前記第二の画像処理が適用された第二の画像を表示可能な表示手段の表示を制御する表示制御手段を更に備え、
前記表示制御手段は、
前記第一の画像処理手段により前記第一の画像が生成されると前記第一の画像を表示するように前記表示手段を制御し、
前記第二の画像処理手段により前記第二の画像が生成されると、前記第一の画像の表示を切り替えて前記第二の画像を表示するように前記表示手段を制御する
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記入力画像は、放射線撮影装置を用いて撮影された画像から取得された画像であり、
前記領域抽出手段は、前記放射線撮影装置により放射線が照射された照射野領域を、前記領域として抽出することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記後処理手段は、前記入力画像の照射野領域の境界に相当する直線を前記拡大画像から抽出することにより、前記領域の輪郭を整形することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記後処理手段は、輪郭候補として抽出した直線のうち一定長さを超える直線に基づいて、前記領域の輪郭を整形することを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

放射線撮影画像に基づいて取得された入力画像から照射野領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置であって、前記領域抽出手段は、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小手段と、
前記縮小画像を入力として、前記縮小画像における前記照射野領域を推論した推論画像を出力する推論処理を行う推論手段と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大手段と、
前記照射野領域の有する形状の特徴に基づいて、前記照射野領域の境界に相当する直線を前記拡大画像から抽出することにより、前記照射野領域の輪郭を整形し、整形された前記輪郭を用いて前記拡大画像から前記照射野領域を抽出する後処理を行う後処理手段と、
を備えることを特徴とする画像処理装置。

【請求項15】

請求項１乃至１４のいずれか１項に記載の画像処理装置と、
前記放射線撮影画像を取得する放射線撮影装置と、
を備えることを特徴とする放射線撮影システム。

【請求項16】

放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置における画像処理方法であって、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小工程と、
前記縮小画像を入力として、前記縮小画像における前記領域を推論した推論画像を出力する推論処理を行う推論工程と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大工程と、
前記拡大画像における前記領域の輪郭を整形し、整形された前記輪郭を用いて前記領域を前記拡大画像から抽出する後処理を行う後処理工程と、
を有することを特徴とする画像処理方法。

【請求項17】

放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置における画像処理方法であって、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小工程と、
前記縮小画像を入力として、前記縮小画像における前記領域を任意の値でラベリングしたラベリング画像である推論画像を出力する推論処理を行うニューラルネットワークにより構成される推論工程と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大工程と、
前記領域の有する形状の特徴に基づいて、前記拡大画像から前記領域を抽出する後処理を行う後処理工程と、
を有することを特徴とする画像処理方法。

【請求項18】

放射線撮影画像に基づいて取得された入力画像から照射野領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置における画像処理方法であって、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小工程と、
前記縮小画像を入力として、前記縮小画像における前記照射野領域を推論した推論画像を出力する推論処理を行う推論工程と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大工程と、
前記照射野領域の有する形状の特徴に基づいて、前記照射野領域の境界に相当する直線を前記拡大画像から抽出することにより、前記照射野領域の輪郭を整形し、整形された前記輪郭を用いて前記拡大画像から前記照射野領域を抽出する後処理を行う後処理工程と、
を有することを特徴とする画像処理方法。

【請求項19】

コンピュータに、請求項１６乃至１８のいずれか１項に記載の画像処理方法の各工程を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、放射線撮影システム、画像処理方法及びプログラムに関し、特に、放射線撮影画像において、所望の領域を抽出する領域抽出処理を高速かつ精度よく行うための画像処理技術に関するものである。

【背景技術】

【0002】

近年、医療現場において放射線撮影装置が広く普及しており、放射線画像をデジタル信号として取得し、診断用に適した画像とする診断用画像処理を行ったあと、表示装置に表示して診断に利用することが行われている。

【0003】

ここで、放射線撮影装置における診断用画像処理では、放射線画像内の所望の領域を抽出し、領域抽出の結果を処理に利用することが行われる。その一例として、放射線画像において、放射線が照射されている領域（以後、「照射野領域」と呼称する）の抽出が挙げられる。放射線撮影装置では、関心領域以外への放射線被ばくの低減や、散乱線によるコントラスト低下の防止等のために、絞りを用いて、照射野領域を制限することが一般的である。放射線が遮蔽された領域に影響を受けず、診断関心領域に好適な診断用画像処理を施すためには、画像中の照射野領域を正しく抽出した結果を利用することが必要となる。

【0004】

照射野領域の抽出に例示されるような、所望の領域を抽出する技術については、これまで各種の提案が行われている。例えば、特許文献１では、画像データをニューラルネットワークに入力して、照射野領域を抽出し、結果として出力する技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開平０４－２６１６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

放射線撮影装置では、診断のスループットを向上するために、迅速に好適な診断用画像処理を施した画像を表示することが重要となる。そのため、領域抽出処理は、その結果を後段の診断用画像処理で用いられることから、短時間で精度の高い処理を行う必要がある。

【0007】

しかしながら、特許文献１のようなニューラルネットワークを用いて領域抽出する技術では、計算量の多さが問題となる。特に近年、その精度の高さから様々な分野に応用されている畳み込みニューラルネットワーク（以降、「ＣＮＮ」と呼称する）は、多くの畳み込み演算を必要とするため計算量が多く、処理に要する時間が長いことが課題の一つとなり得る。ＣＮＮに入力する画像の解像度を小さくすれば処理時間は改善するものの、精度に問題が出る場合があり、処理速度と、高い精度の両立が難しいという課題がある。

【0008】

本発明は、上記の課題を鑑みてなされたものであり、領域抽出処理を高速かつ高精度に実施できる画像処理技術の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る画像処理装置は、放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置であって、前記領域抽出手段は、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小手段と、
前記縮小画像を入力として、前記縮小画像における前記領域を推論した推論画像を出力する推論処理を行う推論手段と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大手段と、
前記拡大画像における前記領域の輪郭を整形し、整形された前記輪郭を用いて前記領域を前記拡大画像から抽出する後処理を行う後処理手段と、を備える。

【0010】

本発明の他の態様に係る画像処理方法は、放射線撮影画像に基づいて取得された入力画像から領域を抽出する領域抽出処理を行う領域抽出手段を有する画像処理装置における画像処理方法であって、
前記入力画像に対して縮小処理を行い、縮小画像を生成する縮小工程と、
前記縮小画像を入力として、前記縮小画像における前記領域を推論した推論画像を出力する推論処理を行う推論工程と、
前記推論画像に拡大処理を行い、拡大画像を生成する拡大工程と、
前記拡大画像における前記領域の輪郭を整形し、整形された前記輪郭を用いて前記領域を前記拡大画像から抽出する後処理を行う後処理工程と、を有する。

【発明の効果】

【0011】

本発明によれば、領域抽出処理を高速かつ高精度に実施できる画像処理技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】（ａ）は、実施形態１に係る放射線撮影装置の基本的な構成の例を示すブロック図、（ｂ）は、画像処理装置の基本的な構成の例を示すブロック図、（ｃ）は、領域抽出部の基本的な構成の例を示すブロック図。

【図2】放射線撮影装置の処理の流れを示したフローチャート。

【図3】（ａ）は、領域抽出部の処理の流れを示したフローチャート、（ｂ）は、領域抽出処理の概念を模式的に示した図。

【図4】（ａ）は、後処理の流れを示したフローチャート、（ｂ）は、後処理の中間画像の例を示した模式図、（ｃ）は、画像を極座標空間に変換した例を示した図。

【図5】実施形態２の放射線撮影装置の基本的な構成の例を示すブロック図。

【発明を実施するための形態】

【0013】

（実施形態１）
以下、添付図面を参照して、本発明の実施形態１について説明する。まず、図１を用いて、本発明の放射線撮影システムの構成例について説明する。放射線撮影システムは、放射線撮影装置と画像処理装置とを有する。図１（ａ）は、実施形態１に係る放射線撮影装置の基本的な構成の例を示すブロック図である。図１（ｂ）は、画像処理装置の基本的な構成の例を示すブロック図である。また、図１（ｃ）は、領域抽出部の基本的な構成の例を示すブロック図である。

【0014】

放射線撮影装置１００は、放射線を発生させる放射線発生装置１０１と、被写体１０２を配置する寝台１０３と、放射線を検出し、被写体１０２を通過した放射線に応じた画像データを出力する放射線検出装置１０４と、放射線発生装置１０１の放射線発生タイミングと放射線発生条件を制御する制御装置１０５と、各種デジタルデータを収集するデータ収集装置１０６と、ユーザーの指示に従って画像処理や機器全体の制御を行う情報処理装置１０７とを備える。

【0015】

情報処理装置１０７は、画像処理装置１０８と、ＣＰＵ１１０と、メモリ１１１と、操作パネル１１２と、記憶装置１１３と、表示装置１１４を備えており、これらはＣＰＵバス１０９を介して電気的に接続されている。

【0016】

メモリ１１１には、ＣＰＵ１１０での処理に必要な各種のデータなどが記憶されるとともに、メモリ１１１はＣＰＵ１１０の作業用ワークメモリを含む。また、ＣＰＵ１１０は、メモリ１１１を用いて、操作パネル１１２に入力されるユーザーの指示に従い、装置全体の動作制御などを行うように構成されている。

【0017】

本発明の実施形態１において放射線とは、一般的に用いられるＸ線に限らず、放射性崩壊によって放出される粒子（光子を含む）の作るビームであるα線、β線、及びγ線などの他、同程度以上のエネルギーを有するビーム（例えば、粒子線や宇宙線など）も含まれる。

【0018】

放射線撮影装置１００は、操作パネル１１２を介したユーザーの指示に従って、被写体１０２の撮影シーケンスを開始する。放射線発生装置１０１から所定の条件の放射線が発生し、被写体１０２を通過した放射線が放射線検出装置１０４に照射される。ここで、制御装置１０５は、電圧、電流、及び照射時間などの放射線発生条件に基づいて放射線発生装置１０１を制御し、所定の条件で放射線発生装置１０１から放射線を発生させる。

【0019】

放射線検出装置１０４は、被写体１０２を通過した放射線を検出し、検出した放射線を電気信号に変換し、放射線に応じた画像データとして出力する。放射線検出装置１０４から出力された画像データは、データ収集装置１０６によりデジタルの画像データとして収集される。データ収集装置１０６は放射線検出装置１０４から収集した画像データを情報処理装置１０７に転送する。情報処理装置１０７において、画像データはＣＰＵ１１０の制御によりＣＰＵバス１０９を介してメモリ１１１に転送される。

【0020】

画像処理装置１０８は、メモリ１１１に格納された画像データに対して各種画像処理を適用することにより、診断に適した画像を作成し、結果を記憶装置１１３へ保存し、または表示装置１１４へ表示する。

【0021】

図１（ｂ）に示すように、画像処理装置１０８は、機能構成として、第一の前処理部１２０、領域抽出部１２１、第一の診断用画像処理部１２２、第二の前処理部１２３、第二の診断用画像処理部１２４を有する。また、図１（ｃ）に示すように、領域抽出部１２１は、機能構成として、縮小部１２５、ＣＮＮ推論部１２６、拡大部１２７、後処理部１２８を有する。

【0022】

次に、図２を用いて、放射線撮影装置１００の処理について説明する。図２は、放射線撮影装置１００の処理の流れを示したフローチャートである。

【0023】

放射線撮影装置１００において、放射線検出装置１０４は、例えば最大で２６８８画素×２６８８画素からなる高精細な画像を生成可能である。しかしながら、最大解像度での処理は、画像のサイズが大きいことから、データ収集装置１０６への転送時間と、画像処理装置１０８での処理時間が長くなり、表示装置１１４への表示に時間がかかる場合がある。

【0024】

上記の現象を避け、表示装置１１４への表示を高速化し、ユーザーによる診断のスループットを向上するために、ステップＳ２０１～Ｓ２０６の工程に従って、まず最大解像度より低い第一解像度で処理を行い、第一の画像の表示を行う。そして、ステップＳ２０７～Ｓ２１１の工程に従って、第一解像度よりも高解像度の第二解像度で処理を行い、第二の画像の表示を行う。

【0025】

ＣＰＵ１１０は表示装置１１４の表示制御を行い、表示装置１１４は、第一の診断用画像処理（第一の画像処理）が適用された第一の画像および第二の診断用画像処理（第二の画像処理）が適用された第二の画像を表示可能である。表示装置１１４は、第一の診断用画像処理部１２２により第一の画像が生成されると第一の画像を表示し、第二の診断用画像処理部１２４により第二の画像が生成されると、第一の画像の表示を切り替えて第二の画像を表示する。以下、具体的な処理の流れを説明する。

【0026】

ステップＳ２０１において、放射線検出装置１０４は第一解像度の画像を生成し、データ収集装置１０６に送信する。ここで、第一解像度とは、放射線検出装置１０４の最大解像度（第二解像度）より低いものとし、放射線検出装置１０４は、例えば画像幅と画像高さを１／４または、１／８程度に間引いた画像を生成する。間引きの方法としては、例えば４画素×４画素、または８画素×８画素の単位で斜め方向に並んだ画素のみを使用する方法や、複数画素を平均化して間引きするなどの方法を取ることが可能である。

【0027】

ステップＳ２０２において、データ収集装置１０６は、放射線検出装置１０４から送信された第一解像度の画像のデジタルデータを受信し、情報処理装置１０７のメモリ１１１へと転送する。なお、データ収集装置１０６による第一解像度の画像の受信が完了した後、放射線検出装置１０４の処理は、ステップＳ２０７に移行し、放射線検出装置１０４はデータ収集装置１０６に対して第二解像度の画像の送信を開始する。ステップＳ２０７の処理はステップＳ２０３～Ｓ２０６の処理と並列に行われ、第二の画像表示までの時間を短縮することができる。

【0028】

ステップＳ２０３において、画像処理装置１０８の第一の前処理部１２０は情報処理装置１０７のメモリ１１１から転送された第一解像度の画像に対し、第一の前処理を行い、第一の前処理画像を生成する。

【0029】

第一の前処理部１２０は、第一の前処理として、例えば、放射線検出装置１０４の暗電流や固定パターンノイズを補正するダーク補正や、放射線検出装置１０４の画素間の感度を補正するためのゲイン補正、放射線検出装置１０４において、異常値を出力する欠損画素を周囲の画素で補完する欠損補正、撮影時に使用したグリッドの縞を除去するグリッド縞低減や、画像信号の対数変換処理などを行うことが可能である。

【0030】

ステップＳ２０４において、領域抽出部１２１は、第一の前処理画像に対して、領域抽出処理を行う。領域抽出部１２１に入力される入力画像は、放射線撮影装置１００を用いて撮影された画像から取得された画像（第一解像度の画像）であり、領域抽出部１２１は、放射線撮影装置１００により放射線が照射された照射野領域を、所望の領域として抽出する。領域抽出部１２１は、領域抽出処理として、照射野領域の抽出の他に、被写体１０２における特定の臓器の抽出や、放射線検出装置１０４に放射線が直接照射されている直接線領域の抽出など、任意の所望領域を対象とすることが可能である。領域抽出処理の詳細については後述する。

【0031】

ステップＳ２０５において、第一の診断用画像処理部１２２は、領域抽出処理された画像に対して、第一の診断用画像処理を行い、第一の診断用画像を生成する。第一の診断用画像処理部１２２は、第一解像度の画像を入力画像とした領域抽出部１２１の領域抽出結果（Ｓ２０４）を用いて、第一解像度の画像に対して第一の診断用画像処理（第一の画像処理）を行う。第一の診断用画像処理部１２２は、第一の診断用画像処理として、例えば階調処理や強調処理、ノイズ低減処理、散乱線低減処理などを行い、診断に適した画像を生成する。第一の診断用画像処理においては、ステップＳ２０４で求めた領域抽出の結果を利用可能になっている。

【0032】

領域抽出結果の利用方法としては、照射野領域の抽出結果を階調処理に利用する例が挙げられる。この場合、適切な階調を行うための画像の解析において、解析範囲を照射野領域に限定して行うことで最適な階調処理を実現できる。

【0033】

または、被写体１０２における特定の臓器の抽出結果を利用し、所望の臓器を特異的に強調するか、所望の臓器を適切な階調で表示できるようにしてもよいし、直接線領域の抽出結果を、散乱線低減処理における散乱線推定に用いることも可能である。

【0034】

ステップＳ２０６において、表示装置１１４に第一の画像が表示される。第一の画像は、ステップＳ２０５で求めた第一の診断用画像である。第一の画像を低解像度で迅速に表示することにより、ユーザーは画像を迅速に把握することが可能となる。第一の画像表示は、ステップＳ２１１における第二の画像表示まで行うことが可能である。

【0035】

ステップＳ２０７において、放射線検出装置１０４は第二解像度の画像を生成し、データ収集装置１０６に送信する。ここで、第二解像度とは、例えば、放射線検出装置１０４の最大解像度とし、放射線検出装置１０４は、ステップＳ２０１において送信した第一解像度の画像よりも高い解像度の画像をデータ収集装置１０６に送信する。

【0036】

ステップＳ２０８において、データ収集装置１０６は、放射線検出装置１０４から送信された第二解像度の画像を受信し、情報処理装置１０７のメモリ１１１へと転送する。

【0037】

ステップＳ２０９において、画像処理装置１０８の第二の前処理部１２３は情報処理装置１０７のメモリ１１１から転送された第二解像度の画像に対し、第二の前処理を行い、第二の前処理画像を生成する。

【0038】

ステップＳ２１０において、第二の診断用画像処理部１２４は、第二の前処理画像に対して、第二の診断用画像処理を行い、第二の診断用画像を生成する。第二の診断用画像処理部１２４は、領域抽出部１２１の領域抽出結果（Ｓ２０４）を用いて、第一解像度よりも高解像度の第二解像度の画像に対して第二の診断用画像処理（第二の画像処理）を行う。第二の診断用画像処理部１２４は、第二の診断用画像処理として、第一の診断用画像処理とは異なる処理を行うことが可能であるが、第一の診断画像と第二の診断画像が大きく異なると、ユーザーの違和感につながることがあるため、第二の診断用画像処理は、第一の診断用画像処理と略同等の階調処理や強調処理を適用し、第一の診断用画像と第二の診断用画像で、解像度が異なる以外は略同等の画質を持つようにすると好適である。ステップＳ２０４の領域抽出処理の結果は、第二の診断用画像処理において、解像度を変換したうえで使用することが可能である。

【0039】

ステップＳ２１１において、表示装置１１４に第二の画像が表示される。第二の画像は、ステップＳ２１０で求めた第二の診断用画像である。本ステップで、表示装置１１４に表示されていた第一の診断用画像は、第二の診断用画像に切り替わる。第二の診断用画像は第一の診断用画像に比べて高精細な画像であるため、ユーザーは画像の詳細を把握することが可能となる。

【0040】

以上は、第二解像度を放射線検出装置１０４の最大解像度とした例を示したが、本発明はこの構成に限定されるものではなく、例えば、第二解像度を表示装置１１４が表示できる画素数に対応した解像度としてもよい。これにより、第二の画像表示において必要十分な表示解像度を確保しつつ、ステップＳ２０１～Ｓ２１１までの処理時間をさらに短縮することが可能となる。その場合は、放射線検出装置１０４の最大解像度の画像を処理するための第三の前処理部と第三の診断画像処理部をさらに備え、ステップＳ２０７～Ｓ２１１と同じ要領で処理を行うようにすればよい。

【0041】

次に、図３を用いて、領域抽出部１２１における領域抽出処理の詳細な処理について説明する。図３（ａ）は、領域抽出部１２１の処理の流れを示したフローチャートである。図３（ｂ）は、領域抽出処理の概念を模式的に示した図である。以下、領域抽出処理として、放射線撮影された画像中の照射野領域を抽出する処理の例を説明する。

【0042】

ステップＳ３０１において、領域抽出部１２１に第一の前処理画像３０１（入力画像）が入力された後、領域抽出部１２１の縮小部１２５は第一の前処理画像３０１に対して縮小処理を行い、縮小画像３０２を生成する。縮小画像３０２の画像サイズは、ＣＮＮ推論部１２６が有する畳み込みニューラルネットワーク（ＣＮＮ）３０３に適したものとする。画像の縮小に伴う補間処理方法について制限はないが、例えば、バイリニア補間法やバイキュービック補間法、Ｌａｎｃｚｏｓ補間法などを使用することが可能であり、ＣＮＮ３０３の学習に用いた画像を作成するときに使用したものと同じ補間処理方法を使用してもよい。

【0043】

ステップＳ３０２において、ＣＮＮ推論部１２６は縮小画像を入力として、縮小画像における領域を推論した推論画像を出力する推論処理（ＣＮＮ推論処理）を行う。ＣＮＮ推論部１２６は、縮小画像３０２を入力とし、抽出対象の照射野領域を任意の値でラベリングしたラベリング画像を、推論画像３０４として出力するＣＮＮ３０３により構成される。ＣＮＮ推論部１２６は、縮小画像３０２を入力とし、ラベリング画像を出力としたデータの組を用いた学習に基づいて推論処理を行う。

【0044】

ここで、ＣＮＮ推論部１２６の入出力について、縮小画像３０２のサイズが小さいほど処理速度を高めることができるため、第一の前処理画像３０１のサイズ以下の入力サイズに設定するのが望ましい。ただし、縮小画像３０２のサイズが小さすぎる場合は、領域抽出処理の精度が下がってしまう傾向がある。推論画像３０４についても同様の傾向があり、出力の形式を単純にするほど処理速度が向上するが、精度が低下する傾向にある。

【0045】

以上のことから、縮小画像３０２のサイズは、放射線撮影装置１００が必要とする処理速度と、目的の領域抽出において必要な精度、および後述するＳ３０３～Ｓ３０４による領域抽出の精度改善効果を考慮したうえで決定するのが望ましい。照射野領域の抽出においては、例えば、放射線検出装置１０４の最大解像度が２６８８画素×２６８８画素、第一解像度を最大解像度の１／８（３３６画素×３３６画素）とした場合に、縮小部１２５は、縮小画像３０２の画像サイズを最大解像度の１／１６（１６８画素×１６８画素）あるいは、１／２４（１１２画素×１１２画素）程度に設定することができる。また、縮小部１２５は、縮小画像３０２に対して、例えば平均を０、分散を１にするなど、任意の正規化処理を加えることも可能である。

【0046】

推論画像３０４の画像サイズは、ＣＮＮ３０３の入力画像（縮小画像３０２）の画像サイズと同等にするのが望ましいが、放射線撮影装置１００が必要とする処理速度と、目的の領域抽出において必要な精度、および後述するＳ３０３～Ｓ３０４による領域抽出の精度改善効果を考慮したうえで、ＣＮＮ推論部１２６は、推論画像３０４の画像サイズを、縮小画像３０２の画像サイズの１／２～１／４に設定することも可能である。ここで、ＣＮＮ３０３から出力される推論画像３０４は、例えば抽出対象の照射野領域３０５を「１」、それ以外の領域３０６を「０」にラベリングしたラベリング画像である。ＣＮＮ３０３は、推論画像３０４の画素毎に照射野領域である確率を０～１で算出し、０．５程度の任意の閾値で閾値処理を行うことでラベリング画像を生成することが可能である。

【0047】

ここで、ＣＮＮ３０３を用いた領域抽出処理は、処理速度の問題からＣＮＮ３０３における処理時の画像の解像度を高くすることが難しいことや、縮小画像３０２がＣＮＮ３０３の学習データと異なる特徴を持つ場合に、一部誤った認識結果を出力する可能性があることなどが原因で、推論画像３０４の精度が十分なものとはならず、そのまま領域抽出部１２１の結果として使用することが適切でない場合が生じ得る。

【0048】

例えば、照射野領域においては、放射線絞りは一般的には直線的な構造をしていることから、照射野領域は矩形であるという特徴を有する。しかしながら、ＣＮＮ３０３による推論画像３０４は、必ずしも矩形の照射野領域が抽出されるわけではなく、境界が直線とならないケースや、照射野領域３０５中に僅かに誤検出領域が含まれるケースが起こり得る。そこで、以下のステップＳ３０３～Ｓ３０４において、抽出対象の特徴をもとにして推論画像３０４を整形する処理を行う。

【0049】

ステップＳ３０３において、拡大部１２７は推論画像３０４に拡大処理を行い、拡大画像３０７を生成する。これにより、ステップＳ３０４の後処理を高解像度で行うことができ、最終的な結果の精度を向上することができる。拡大部１２７は、縮小画像３０２の解像度に比べて高解像度になるように拡大画像３０７を生成する。拡大部１２７は、例えば、第一の前処理画像３０１（領域抽出部１２１の入力画像）の画像サイズと、少なくとも同じ画像サイズに拡大画像３０７を生成することが可能であり、ステップＳ３０４の後処理の種類によっては、第一の前処理画像３０１以上の画像サイズに拡大画像３０７を拡大することも可能である。すなわち、拡大部１２７は、第一の前処理画像３０１（領域抽出部１２１の入力画像）の画像サイズと同じ画像サイズ、または、入力画像の画像サイズに比べて大きい画像サイズに拡大画像３０７を生成することが可能である。

【0050】

拡大部１２７は、拡大処理として、例えばバイリニア補間法やバイキュービック補間法、Ｌａｎｃｚｏｓ補間法など画素値の補間処理を行うことが可能である。また、拡大部１２７は、拡大処理を行った後にフィルタ（例えば、２次元フィルタ）による処理を行うことも可能である。あるいは、拡大部１２７は、拡大処理時に第一の前処理画像３０１における領域の情報を利用して拡大処理を行うことも可能である。拡大部１２７は、拡大処理時に用いる第一の前処理画像３０１の情報として、例えば照射野領域３０５に相当する部分の画素値、またはエッジ強度を用いることが可能である。

【0051】

ステップＳ３０４において、後処理部１２８は、抽出対象となる領域の有する形状の特徴に基づいて、拡大画像３０７から領域を抽出する後処理を行い、後処理画像３０８を出力する。

【0052】

照射野領域の抽出の例では、後処理部１２８は、照射野領域が矩形の形状を持つという特徴を利用した処理を行う。後処理部１２８は、入力画像の照射野領域の境界に相当する直線を拡大画像３０７から抽出することにより、領域の輪郭を整形する。後処理部１２８は、拡大画像３０７から、照射野領域３０５と、それ以外の領域３０６とが作る境界のエッジを検出し、矩形の照射野領域を構成する直線３０９を求める。直線３０９を取得する処理の詳細については後述する。これにより、矩形に整形された照射野領域３１０を取得することが可能となる。

【0053】

ステップＳ３０４の出力は、例えば、後処理画像３０８のような照射野領域を１、それ以外の領域を０でラベリングしたラベリング画像の形式を示したが、それに制限されるものではなく、例えば矩形に整形された照射野領域３１０の頂点座標や、直線３０９を示す式の形式で出力するようにしてもよい。

【0054】

以上のステップＳ３０１～Ｓ３０４の処理によって、領域抽出処理を高速かつ高精度に行うことが可能となる。

【0055】

次に、図４を用いて、後処理部１２８の詳細な処理内容の例として、照射野領域を抽出する際に照射野領域を矩形に整形する処理内容について説明する。なお、放射線絞りの形状特性（コリメータの形状）は、矩形に限定されず、例えば、円形や楕円であってもよい。

【0056】

図４（ａ）は、後処理の流れを示したフローチャート、図４（ｂ）は、後処理の中間画像の例を示した模式図、図４（ｃ）は、画像を極座標空間に変換した例を示した図である。

【0057】

ステップＳ４０１において、後処理部１２８は拡大画像３０７からエッジ情報を抽出する。エッジ情報の抽出方法は制限しないが、一例として、ｓｏｂｅｌフィルタなどの微分フィルタを適用することでエッジを抽出することが可能である。以上の処理により、照射野領域の輪郭を含むエッジ４１２を含んだ画像４１１を得ることができる。

【0058】

ステップＳ４０２において、後処理部１２８は画像４１１に対してＨｏｕｇｈ変換を適用する。ここでは、直交座標系で（ｘ、ｙ）と表される画像４１１上の点を、［数１］式を用いて角度θと距離ρの極座標空間に変換する。

【0059】

【数1】

【0060】

ここで、θは（ｘ、ｙ）を通る直線に対し、原点から垂線を下ろしたときに垂線とｘ軸とがなす角度であり、ρは（ｘ、ｙ）を通る直線に対し、原点から垂線を下ろしたときの垂線の長さである。例えば、-９０°＜θ≦９０°の範囲で変換を行うと、図４（ｃ）のように極座標空間上の分布が得られる。ここで、極座標空間上で局所最大値をとるθ、ρの組は、直交座標系の画像で直線が存在する可能性が高い。この特徴を利用することで、Ｈｏｕｇｈ変換の適用によって直線的な構造を持つ照射野領域の輪郭を抽出しやすくなる効果が得られる。

【0061】

なお、拡大画像３０７の画像サイズが小さい場合は、直交座標系で（ｘ、ｙ）と表される画像４１１上の点の数を十分に確保できず、直線の抽出が適切に行われなくなる場合があるため、拡大部１２７によって、直線の抽出を行うに十分な画像サイズを確保する必要がある。

【0062】

ステップＳ４０３において、後処理部１２８は、画像４１１から、最も長い直線４１３を抽出する。本ステップにおいて、後処理部１２８は極座標空間全体を検索し、極座標空間の最大値を取るθ、ρの組４１７が作る直線を抽出する。

【0063】

ステップＳ４０４において、後処理部１２８は、直線４１３に対して平行な直線４１４を抽出する。放射線絞りの形状特性（コリメータの形状）を考慮すると、照射野領域の矩形における１辺に平行な方向にもう１辺が存在することが考えられる。その前提に基づき、極座標空間上で、直線４１３に相当するθ、ρの組４１７を基準として、θが一定範囲内にある領域４２１から局所最大値を探索する。θは例えば、θ＝－９０°に対して５°乃至１５°程度の値、またはθ＝９０°に対して－（５°乃至１５°）程度の任意の値を設定することが可能である。これにより、局所最大値におけるθ、ρの組４１８と、それに対応する直線４１４を抽出することが可能となる。

【0064】

ステップＳ４０５において、後処理部１２８は、直線４１３に対して交差する線として、垂直な直線４１５を抽出する。放射線絞りの形状特性（コリメータの形状）を考慮すると、照射野領域の矩形における１辺に垂直な方向にもう１辺が存在することが考えられる。その前提に基づき、極座標空間上で、後処理部１２８は、直線４１３に相当するθ、ρの組４１７を基準として、θが極座標空間上の一定範囲内にある領域４２２から局所最大値となるθ、ρの組を探索する。探索範囲として、基準となる組４１７のθ（＝－９０°）に対して＋９０°の位相差を有するθ＝０°から前後１５°程度の任意の値を設定することが可能である。これにより、後処理部１２８は、θ、ρの組４１７を通る波形４３１とθ、ρの組４１８を通る波形４３２とが交差する点としてθ、ρの組４１９と、それに対応する直線４１５を抽出することが可能となる。

【0065】

ステップＳ４０６において、後処理部１２８は、直線４１５に対して平行な直線４１６を抽出する。ステップＳ４０４と同様に、後処理部１２８は、直線４１５に平行な方向の辺を探索し、極座標空間上の領域４２３から局所最大値となるθ、ρの組４２０と、それに対応する直線４１６を抽出する。

【0066】

探索範囲として、θ、ρの組４１９が抽出された領域４２２に比べて領域４２３を狭い範囲に設定することができる。後処理部１２８は、θ、ρの組４１７を通る波形４３３とθ、ρの組４１８を通る波形４３４とが交差するθ、ρの組４２０と、それに対応する直線４１６を領域４２３から抽出する。なお、ステップＳ４０３～Ｓ４０６において直線が見つからない場合は、直線がないものとして各ステップの処理をスキップすることが可能である。

【0067】

ステップＳ４０７において、後処理部１２８は、ステップＳ４０３～Ｓ４０６で抽出した直線４１３～４１６が、照射野領域の輪郭として妥当であるかについての妥当性の確認を行う。例えば、後処理部１２８は、抽出した直線の長さが一定値より長いかを判定することが可能である。後処理部１２８は、輪郭候補として抽出した直線のうち一定長さを超える直線に基づいて、照射野領域の輪郭を整形する。また、妥当性の確認に関して、後処理部１２８は、放射線撮影における被写体の撮影部位など、撮影画像の特徴に合わせた判別処理を行うことが可能である。

【0068】

後処理部１２８は、本ステップで妥当性が確認されなかった直線については除外し、必要に応じて再探索を行い、残った直線群を最終的な輪郭として出力する。以上のステップＳ４０１～Ｓ４０７の処理によって、後処理部１２８は、照射野領域を適切に整形することができ、候補領域抽出の精度を高めることが可能となる。

【0069】

以上説明したように実施形態１によれば、領域抽出処理を高速かつ高精度に実施できる画像処理技術を提供することができる。

【0070】

（実施形態２）
次に、図５を用いて、実施形態２の放射線撮影装置について説明する。図５は、実施形態２の放射線撮影装置１００の基本的な構成の例を示すブロック図である。実施形態２では、実施形態１と同等の構成に加え、情報処理装置１０７に学習装置５０１が含まれるところで相違する。

【0071】

実施形態１では、放射線撮影装置１００は、ＣＮＮ推論部１２６においてＣＮＮの推論処理を行い、畳み込みニューラルネットワーク（ＣＮＮ）３０３の学習は、事前に行っておく構成を取っていた。実施形態２では、放射線撮影装置１００は、ユーザーの使用環境で取得した画像と、例えば照射野領域のラベリング画像など、所望の抽出領域を示すデータの組との組が記憶装置１１３に蓄積されるように構成されている。情報処理装置１０７内のＣＰＵバス１０９に学習装置５０１を電気的に接続することで、学習装置５０１は追加の学習を放射線撮影装置１００の情報処理装置１０７内で実施することができる。学習装置５０１は、ユーザーの使用環境において取得した画像と、所望の抽出領域を示すデータとの組を教師データとしてＣＮＮ推論部１２６の学習を行う。

【0072】

畳み込みニューラルネットワーク（ＣＮＮ）３０３の学習は、例えばユーザーの使用環境に導入する以前に学習を行い、事前に学習済みＣＮＮ３０３のパラメータ群を得ておくことが望ましいが、ユーザーの使用環境に導入した後に、使用状況に合わせてＣＮＮ３０３のパラメータ群を更新できる構成とすることも可能である。その場合は、ユーザーの使用環境において取得した画像（放射線撮影画像）と、所望の抽出領域（照射野領域）を示すデータ（ラベリング画像のデータ）との組を教師データとして記憶装置１１３に保存すればよい。

【0073】

学習装置５０１は、記憶装置１１３に保存されたデータの組を新たな教師データとし、教師データを用いた追加の学習に基づいて、ＣＮＮ推論部１２６の学習済みＣＮＮ３０３のパラメータ群を更新することが可能である。

【0074】

ＣＮＮ推論部１２６は、ユーザーの使用環境で取得された画像（放射線撮影画像）と、所望の抽出領域（照射野領域）を示すデータ（ラベリング画像のデータ）との組を教師データとして、新たに追加された学習の結果と、事前に行われた学習の結果とに基づいて推論処理を行う。なお、ＣＮＮ３０３の学習は計算コストが高いため、学習装置５０１の構成として、ＧＰＵなどの並列演算性能の高い演算ユニットを用いることも可能である。

【0075】

追加の学習を行うタイミングは、例えば、記憶装置１１３に新たな教師データであるデータの組が一定数以上蓄積された場合や、領域抽出の結果（照射野認識結果）をユーザーによって修正されたデータの組が一定数以上蓄積された場合など、学習装置５０１は、追加の学習を実行するタイミングを選択することが可能である。また、追加の学習を行う際のＣＮＮ推論部１２６のパラメータ群の初期値としては、追加で学習を行う前に使用していた学習済みＣＮＮ３０３のパラメータ群を設定し、転移学習を行うことも可能である。

【0076】

ここで、記憶装置１１３と学習装置５０１は、情報処理装置１０７上に搭載する構成に限らず、ネットワークを介して接続されたクラウドサーバー上に記憶装置１１３と学習装置５０１を設けてもよい。その場合は、複数の放射線撮影装置１００によって得られたデータの組をクラウドサーバー上に収集・保存し、学習装置５０１はクラウドサーバー上に収集・保存されたデータの組を用いて追加の学習を行うことも可能である。

【0077】

以上説明したように、実施形態２によれば、実施形態１の効果に加えて、ユーザーの使用環境に合わせて適した領域抽出処理を行うことができ、所望の領域の抽出精度をさらに高めることができる画像処理技術を提供することができる。

【0078】

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

【0079】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0080】

１００：放射線撮影装置、１０１：放射線発生装置、１０２：被写体、
１０３：寝台、１０４：検出装置、１０５：制御装置、
１０６：データ収集装置、１０７：情報処理装置、１０８：画像処理装置、
１０９：ＣＰＵバス、１１０：ＣＰＵ、１１１：メモリ、
１１２：操作パネル、１１３：記憶装置、１１４：表示装置

【図1】

【図2】

【図3】

【図4】

【図5】