特許 7483018 画像処理装置、画像処理方法及びプログラム、画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム、画像処理システム

(51)【国際特許分類】

   G16H 30/20 20180101AFI20240507BHJP

【ＦＩ】

G16H30/20

【請求項の数】 11

(21)【出願番号】P 2022546159

(86)(22)【出願日】2021-07-28

(86)【国際出願番号】 JP2021027869

(87)【国際公開番号】W WO2022049932

(87)【国際公開日】2022-03-10

【審査請求日】2023-03-13

(31)【優先権主張番号】P 2020148709

(32)【優先日】2020-09-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】高橋 東

【審査官】今井 悠太

(56)【参考文献】

【文献】特開２００７－２７９９４２（ＪＰ，Ａ）

【文献】特開平０５－１０１１２２（ＪＰ，Ａ）

【文献】特開２０１１－０９２２８６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２４２７６２（ＵＳ，Ａ１）

【文献】韓国公開特許第１０－２０１０－００６５１９４（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
メモリに記憶された命令を実行する少なくとも１つのプロセッサと、
を備え、
前記プロセッサは、
検査対象の医用画像の画像特徴を取得し、
前記画像特徴に基づいて参考症例及び診断ログを取得し、
取得した参考症例及び診断ログに基づいて前記検査対象の医用画像に対する推奨処理を決定し、
前記推奨処理を提示させる、
画像処理装置。

【請求項2】

前記推奨処理は、前記検査対象の医用画像についての自動病変抽出、及び自動病名判定処理のうちの少なくとも一方を含む請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）タグ情報、位置情報、及び類似画像検索のうちの少なくとも１つを用いて前記参考症例を取得する請求項１又は２に記載の画像処理装置。

【請求項4】

前記診断ログは、ユーザ毎に管理された過去の診断結果、及び画像処理が診断結果に与えた影響結果を含む請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記プロセッサは、前記推奨処理が前記参考症例において有効活用された実績を提示させる請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記プロセッサは、前記推奨処理を行わせた処理結果に基づいて新たな推奨処理を追加で提示させる請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記プロセッサは、前記画像特徴に基づいて前記検査対象の医用画像に類似する過去画像を取得する請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

請求項１から７のいずれか１項に記載の画像処理装置と、
検査対象の医用画像を撮影する撮像装置と、
前記参考症例及び前記診断ログを記憶するデータベースと、
前記推奨処理が提示されるディスプレイと、
を備える画像処理システム。

【請求項9】

前記画像処理装置は、インターネットに接続されたサーバ装置に設けられる請求項８に記載の画像処理システム。

【請求項10】

少なくとも１つのプロセッサが実行する画像処理方法であって、
検査対象の医用画像の画像特徴を取得する画像特徴取得工程と、
前記画像特徴に基づいて前記検査対象の医用画像に類似する過去画像及び診断ログを取得する類似画像取得工程と、
取得した過去画像及び診断ログに基づいて前記検査対象の医用画像に対する推奨処理を決定する推奨処理決定工程と、
前記推奨処理を提示する提示工程と、
を備える画像処理方法。

【請求項11】

請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置、画像処理方法及びプログラム、画像処理システムに係り、特に検査対象の医用画像を画像処理する技術に関する。

【背景技術】

【0002】

医用画像から疾患を自動検出するＣＡＤ（Computer-Aided Detection/Diagnosis）が知られている。ＣＡＤは、例えば深層学習等により学習された学習済みモデルが使用される。ＣＡＤを活用することで、読影医の業務効率化及び疾患の見逃し防止が期待される。

【0003】

また、ＣＡＤをクラウドサービスとし、従量制の課金システムを適用することがある。この場合、ユーザが実行した処理に応じて課金される。

【0004】

特許文献１には、クラウドコンピューティングを用いた診断支援サービスが記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－８５７１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従量課金制の計算処理システムでは、処理数が売り上げに直結することから処理数を増加させることが重要である。しかしながら、ユーザが実行する処理を選択するシステムにおいては、多数の処理の中から選択する操作負荷が高く、処理実行を見送られることも想定される。また、ユーザが必要な処理を失念する場合もある。さらに、従量課金制に限らず、固定料金制であってもユーザが必要な処理を見落とす可能性がある。このような課題は、クラウドサービスに限られず、オンプレミスであっても同様である。

【0007】

本発明はこのような事情に鑑みてなされたもので、より容易かつ漏れなく処理要求を促すことで診断精度を向上させる画像処理装置、画像処理方法及びプログラム、画像処理システムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するための画像処理装置の一の態様は、プロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、メモリに記憶された命令を実行する少なくとも１つのプロセッサと、を備え、プロセッサは、検査対象の医用画像の画像特徴を取得し、画像特徴に基づいて参考症例及び診断ログを取得し、取得した参考症例及び診断ログに基づいて検査対象の医用画像に対する推奨処理を決定し、推奨処理を提示させる画像処理装置である。

【0009】

本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。

【0010】

推奨処理は、検査対象の医用画像についての自動病変抽出、及び自動病名判定処理のうちの少なくとも一方を含むことが好ましい。これにより、適切な処理を提示させることができる。

【0011】

プロセッサは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）タグ情報、位置情報、及び類似画像検索のうちの少なくとも1つを用いて参考症例を取得することが好ましい。これにより、参考症例を適切に取得することができる。

【0012】

診断ログは、ユーザ毎に管理された過去の診断結果、及び画像処理が診断結果に与えた影響結果を含むことが好ましい。これにより、推奨処理を適切に決定することができる。

【0013】

プロセッサは、推奨処理が参考症例において有効活用された実績を提示させることが好ましい。これにより、処理要求を適切に促すことができる。

【0014】

プロセッサは、推奨処理を行わせた処理結果に基づいて新たな推奨処理を追加で提示させることが好ましい。これにより、より漏れなく推奨処理を提示させることができる。

【0015】

プロセッサは、画像特徴に基づいて検査対象の医用画像に類似する過去画像を取得することが好ましい。これにより、過去画像を適切に取得することができる。

【0016】

上記目的を達成するための画像処理システムの一の態様は、上記の画像処理装置と、検査対象の医用画像を撮影する撮像装置と、参考症例及び診断ログを記憶するデータベースと、推奨処理が提示されるディスプレイと、を備える画像処理システムである。

【0017】

本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。

【0018】

画像処理装置は、インターネットに接続されたサーバ装置に設けられることが好ましい。これにより、複数のユーザが画像処理装置にアクセスすることができる。

【0019】

上記目的を達成するための画像処理方法の一の態様は、検査対象の医用画像の画像特徴を取得する画像特徴取得工程と、画像特徴に基づいて検査対象の医用画像に類似する過去画像及び診断ログを取得する類似画像取得工程と、取得した過去画像及び診断ログに基づいて検査対象の推奨処理を決定する推奨処理決定工程と、推奨処理を提示する提示工程と、を備える画像処理方法である。

【0020】

本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。

【0021】

上記目的を達成するためのプログラムの一の態様は、上記の画像処理方法をコンピュータに実行させるためのプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。

【0022】

本態様によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。

【発明の効果】

【0023】

本発明によれば、より容易かつ漏れなく処理要求を促すことで診断精度を向上させることができる。

【図面の簡単な説明】

【0024】

【図1】図１は、医用画像処理システム１０の全体構成図である。

【図2】図２は、医用画像処理方法の各工程を示すフローチャートである。

【図3】図３は、医用画像処理システムの各プロセスを示すプロセス図である。

【発明を実施するための形態】

【0025】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

【0026】

〔医用画像処理システムの全体構成〕
図１は、医用画像処理システム１０の全体構成図である。医用画像処理システム１０は、検査対象（患者）の画像を撮影し、撮影した画像に基づいて推奨される処理を提示するシステムである。図１に示すように、医用画像処理システム１０は、医用画像検査機器１２と、画像管理部１４と、推奨画像処理決定処理部１６と、診断ログ管理部１８と、ユーザ端末２０と、画像処理部２６と、を備えて構成される。

【0027】

医用画像検査機器１２と、画像管理部１４と、推奨画像処理決定処理部１６と、診断ログ管理部１８と、ユーザ端末２０とは、医療機関内に設けられ、それぞれ病院内ネットワーク２２を介してデータ送受信可能に接続される。

【0028】

病院内ネットワーク２２は、ＬＡＮ（Local Area Network）を適用可能である。病院内ネットワーク２２は、有線でもよいし、無線でもよい。

【0029】

病院内ネットワーク２２は不図示のルータを介してインターネット２４と接続される。病院内ネットワーク２２と画像処理部２６とは、インターネット２４を介してデータ送受信可能に接続される。

【0030】

医用画像検査機器１２は、検査対象の検査対象部位を撮像し、医用画像を生成する撮像装置である。医用画像検査機器１２の例として、Ｘ線撮像装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ（Computed Radiography）装置が挙げられる。

【0031】

画像管理部１４は、医用画像検査機器１２によって撮影された医用画像を管理するデータベースである。画像管理部１４は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。

【0032】

医用画像のフォーマットは、Ｄｉｃｏｍ（Digital imaging and communications in medicine）規格を適用可能である。医用画像は、Ｄｉｃｏｍ規格において規定された付帯情報（Ｄｉｃｏｍタグ情報）が付加されてもよい。なお、本明細書における画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれ得る。

【0033】

推奨画像処理決定処理部１６は、検査対象の画像の推奨処理を決定する。推奨画像処理決定処理部１６は、パーソナルコンピュータ、又はワークステーション（コンピュータの一例）を適用可能である。推奨画像処理決定処理部１６は、プロセッサ１６Ａと、メモリ１６Ｂと、を備える。プロセッサ１６Ａは、メモリ１６Ｂに記憶された命令を実行する。

【0034】

プロセッサ１６Ａのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0035】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0036】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0037】

メモリ１６Ｂは、プロセッサ１６Ａに実行させるための命令を記憶する。メモリ１６Ｂは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ１６Ａは、ＲＡＭを作業領域とし、ＲＯＭに記憶された画像処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、推奨画像処理決定処理部１６の各種の処理を実行する。

【0038】

診断ログ管理部１８は、診断ログを管理するデータベースである。診断ログ管理部１８は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。画像管理部１４と診断ログ管理部１８とは、１つのコンピュータで構成されてもよい。

【0039】

ユーザ端末２０は、医師等のユーザが使用する端末機器である。ユーザ端末２０は、例えばパーソナルコンピュータであり、入力装置２０Ａ及びディスプレイ２０Ｂを備える。ユーザ端末２０は、ワークステーションであってもよいし、タブレット端末であってもよい。ユーザは、入力装置２０Ａを使用して医用画像処理システム１０への指示を入力する。また、推奨画像処理決定処理部１６は、ディスプレイ２０Ｂに推奨画像処理を提示させる。

【0040】

画像処理部２６（画像処理装置の一例）は、例えばサーバ装置によって構成される。画像処理部２６は、検査対象の医用画像について、自動病変抽出及び自動病名判定処理のうちの少なくとも一方を含む画像処理を行う。画像処理部２６は、インターネット２４を介して複数の医療機関の病院内ネットワーク２２からアクセス可能である。画像処理部２６で行う処理は、課金制、又は固定料金制のクラウドサービスであってもよい。

【0041】

〔医用画像処理方法〕
図２は、医用画像処理システム１０を用いた医用画像処理方法の各ステップを示すフローチャートである。また、図３は、医用画像処理システム１０の各プロセスを示すプロセス図である。ここでは、検査対象である患者Ｂの医用画像についての推奨処理をユーザＡに提示する例を説明する。

【0042】

ステップＳ１では、医用画像検査機器１２は、患者Ｂの検査を行い、撮影した医用画像を画像管理部１４に保存する（プロセスＰ１）。例えば、結節の疑いのある症例（血管近傍に肺結節のある症例）の患者Ｂに対してＣＴ検査を実施し、ＣＴ画像を撮影する。不図示のＣＴ装置は、撮影したＣＴ画像を画像管理部１４に保存する。

【0043】

ステップＳ２では、画像管理部１４は、患者Ｂの医用画像が医用画像検査機器１２から入力されたことを推奨画像処理決定処理部１６に通知する（プロセスＰ２）。ここでは、画像管理部１４は、患者ＢのＣＴ画像が入力されたことを通知する。

【0044】

ステップＳ３では、推奨画像処理決定処理部１６は、ステップＳ１（プロセスＰ１）で保存された医用画像の画像特徴を取得し（画像特徴取得工程の一例）、取得した画像特徴から類似する過去画像及び参考症例の検索を行う（類似画像取得工程の一例）。例えば、推奨画像処理決定処理部１６は、Ｄｉｃｏｍタグ情報、位置情報、及び類似画像検索のうちの少なくとも１つを用いて過去に検査した参考症例を検索し、抽出する。

【0045】

Ｄｉｃｏｍタグ情報を用いた例として、推奨画像処理決定処理部１６は、検査対象の肺結節の多発症例から類似した過去に検査した肺結節の多発症例を検索することができる。

【0046】

位置情報は、スライス枚数、スライス間隔等のタグ情報、及び部位情報のうち少なくとも１つを含む。

【0047】

また、類似画像検索は、画像特徴量をパラメータ化し、パラメータのマッチングにより類似している画像を検索する技術である。すなわち、推奨画像処理決定処理部１６は、医用画像の画像特徴に基づいて、画像管理部１４から患者Ｂの医用画像に類似する過去画像を取得する。

【0048】

ここでは、推奨画像処理決定処理部１６は、患者ＢのＣＴ画像の画像特徴から、患者Ｂと同様に血管近傍に肺結節のある症例（過去検査対象）を抽出する（プロセスＰ３）。

【0049】

ステップＳ４（類似画像取得工程の一例）では、推奨画像処理決定処理部１６は、ステップＳ３で抽出した参考症例の診断ログを診断ログ管理部１８から取得する（プロセスＰ４）。診断ログは、ユーザ毎に管理された過去の診断結果（読影結果）、及び画像処理が診断結果に与えた影響結果を含む。診断結果は、ＣＡＤの結果をユーザが確認する前の診断結果と、ＣＡＤの結果をユーザが確認した後の診断結果とを含んでもよい。また、ユーザ毎でなく、病院毎、医療業界全体であってもよい。

【0050】

ここでは、ユーザＡは血管近傍の肺結節の疾患の見逃しが多かったものとする。推奨画像処理決定処理部１６は、ステップＳ３で抽出した症例の過去画像について、ユーザＡが肺ＣＡＤを活用して５箇所の見逃しを発見した旨の診断ログを取得する。

【0051】

ステップＳ５では、推奨画像処理決定処理部１６は、ステップＳ４で取得した診断ログのうち、処理結果が有効に使用された処理を推奨処理として決定し（推奨処理決定工程の一例）、ユーザ端末２０のディスプレイ２０Ｂに表示してユーザに提案（提示の一例）する（提示工程の一例）。また、推奨画像処理決定処理部１６は、読影時間及び見逃し低減等、有効活用された内容も合わせて表示する（プロセスＰ５）。

【0052】

ここでは、推奨画像処理決定処理部１６は、肺ＣＡＤを推奨処理としてユーザＡに提案する。また、推奨画像処理決定処理部１６は、見逃し低減の実績として５箇所の追加検出についても併せて表示する。

【0053】

ステップＳ６では、ユーザＡは、実行する推奨処理を選択する。ここでは、ステップＳ５で提示された肺ＣＡＤを選択する。選択された推奨処理は、ユーザ端末２０から画像処理部２６にインターネット２４を介して処理実行が要求される（プロセスＰ６）。

【0054】

ステップＳ７では、画像処理部２６は、要求された推奨処理を実行する。ここでは、画像処理部２６は、ステップＳ１で撮影されたＣＴ画像について肺ＣＡＤを実行する（プロセスＰ７）。画像処理部２６で実行された推奨処理の結果は、ユーザ端末２０に送信される。

【0055】

ステップＳ８では、ユーザＡは、ステップＳ７での推奨処理の結果を活用した読影をユーザ端末２０のディスプレイ２０Ｂにおいて行う。ここでは、ユーザＡは、単独で肺結節の読影を行った後、推奨処理である肺ＣＡＤの結果を参照して見逃しがないかを確認し、読影を完了する（プロセスＰ８）。ユーザＡは、読影した結果を診断結果としてユーザ端末２０の入力装置２０Ａを用いて入力する。

【0056】

ステップＳ９では、ユーザ端末２０は、ステップＳ８でユーザＡが入力した診断結果を診断ログ管理部１８に保存する。ここでは、ユーザ端末２０は、重篤な結節（の見逃しを今回何個かすくえた）を確認した診断ログを更新する。

【0057】

ステップＳ１０では、推奨画像処理決定処理部１６は、推奨処理の再提案を行うか否かを判定する。推奨処理の再提案を行う場合は、推奨画像処理決定処理部１６は、ステップＳ３に戻り、ステップＳ３～ステップＳ９の処理を繰り返す（プロセスＰ１０）。ここでは、推奨画像処理決定処理部１６は、更新した診断ログを用いて再度、参考症例の検索を実施する。例えば、重篤な結節がある場合、推奨画像処理決定処理部１６は、骨転移の見逃しがあるため骨転移ＣＡＤを推奨処理として提案する。推奨処理の再提案を行わない場合は、医用画像処理システム１０は、本フローチャートの処理を終了する。

【0058】

以上のように、本態様によれば、より容易かつ漏れなく処理要求を促すことで、診断精度を向上させることができる。また、画像処理部２６が課金システムである場合には、利用促進を図ることが可能となる。

【0059】

推奨画像処理決定処理部１６が処理を行う少なくともステップＳ３、ステップＳ４、及びステップＳ５は、本実施形態に係る画像処理方法を構成する。画像処理方法をコンピュータに実行させるための画像処理プログラムは、推奨画像処理決定処理部１６のメモリ１６Ｂの不図示のＲＯＭに記憶される。

【0060】

〔その他〕
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0061】

１０…医用画像処理システム
１２…医用画像検査機器
１４…画像管理部
１６…推奨画像処理決定処理部
１８…診断ログ管理部
２０…ユーザ端末
２２…病院内ネットワーク
２４…インターネット
２６…画像処理部
Ｓ１～Ｓ１０…医用画像処理方法の各工程

【図1】

【図2】

【図3】