(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188611
(43)【公開日】2022-12-21
(54)【発明の名称】診断支援システム
(51)【国際特許分類】
G06Q 50/22 20180101AFI20221214BHJP
G16H 50/00 20180101ALI20221214BHJP
G16H 10/00 20180101ALI20221214BHJP
G16Y 10/60 20200101ALI20221214BHJP
G16Y 20/40 20200101ALI20221214BHJP
G16Y 40/20 20200101ALI20221214BHJP
【FI】
G06Q50/22
G16H50/00
G16H10/00
G16Y10/60
G16Y20/40
G16Y40/20
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021096782
(22)【出願日】2021-06-09
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】石黒 怜望
(72)【発明者】
【氏名】羽鳥 和重
(72)【発明者】
【氏名】山岸 宏匡
(72)【発明者】
【氏名】内田 貴之
(72)【発明者】
【氏名】渋谷 真人
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA04
5L099AA15
(57)【要約】
【課題】患者の疾患の兆候を早期に把握すること。
【解決手段】 実施形態に係る診断支援システムは、取得部と、表情認識部と、指標生成部と、表示制御部とを備える。取得部は、継続的に記録された患者の顔に関する顔情報を取得する。表情認識部は、顔情報に基づいて患者の表情を認識する。指標生成部は、顔情報と患者の診療データとを用いて、表情の時系列変化を示す指標を生成する。表示制御部は、指標と表情を、患者の診療データの時系列変化とともに表示部に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
継続的に記録された患者の顔に関する顔情報を取得する取得部と、
前記顔情報に基づいて患者の表情を認識する表情認識部と、
前記顔情報と患者の診療データとを用いて、前記表情の時系列変化を示す指標を生成する指標生成部と、
前記指標と前記表情とを、患者の診療データの時系列変化とともに表示部に表示させる表示制御部と、
を備える、診断支援システム。
【請求項2】
前記診療データは、バイタル情報、薬剤情報、及び検査情報を含む、
請求項1に記載の診断支援システム。
【請求項3】
前記顔情報は、患者の顔が撮影された顔画像を含む、
請求項1または2に記載の診断支援システム。
【請求項4】
前記表情認識部は、前記顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて前記表情が不機嫌を示すか否かを判定し、
前記指標は、不機嫌の判定結果の時系列変化を示す、
請求項3に記載の診断支援システム。
【請求項5】
前記表情認識部は、前記表情が不機嫌を示す場合、前記顔画像に基づいて前記表情の不機嫌の度合いをさらに判定し、
前記指標は、不機嫌の度合いの時系列変化を示す、
請求項4に記載の診断支援システム。
【請求項6】
前記表示制御部は、前記不機嫌を示す場合の表情のみを前記表示部に表示させる、
請求項4または5に記載の診断支援システム。
【請求項7】
前記指標生成部は、前記顔情報と前記診療データとを用いて患者の症状を予測し、予測した症状に関する情報を前記指標として生成する、
請求項1から6までのいずれか1項に記載の診断支援システム。
【請求項8】
前記指標は、前記症状の兆候が検出されたことを示す警告である、
請求項7に記載の診断支援システム。
【請求項9】
前記顔情報は、患者の顔が撮影された顔画像を含み、
前記表情認識部は、前記顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて前記表情が不機嫌を示すか否かを判定し、
前記指標生成部は、前記表情が不機嫌を示すと判定された場合に、前記指標を生成する、
請求項8に記載の診断支援システム。
【請求項10】
前記指標は、前記症状が発生する確率である、
請求項7に記載の診断支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、診断支援システムに関する。
【背景技術】
【0002】
患者の診療では、重大な疾患の兆候を早期に把握することが求められている。例えば、心不全は、早期の段階で処置を行うことができるかどうかで予後が大きく左右されることが知られている。このため、早期の段階で心不全の処置を行うことが、心不全による死亡率の低下には重要である。従来、集中治療室(Intensive Care Unit:ICU)や新生児集中治療室(Neonatal Intensive Care Unit:NICU)、病棟などでは、呼吸数上昇、心拍上昇、血圧上昇などのバイタルサインの変化が心不全の兆候として利用されている。しかし、バイタルサインの変化だけでは、心不全などの疾患の兆候を確実に検出することは困難である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、患者の疾患の兆候を早期に把握することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0005】
実施形態に係る診断支援システムは、取得部と、表情認識部と、指標生成部と、表示制御部とを備える。取得部は、継続的に記録された患者の顔に関する顔情報を取得する。表情認識部は、顔情報に基づいて患者の表情を認識する。指標生成部は、顔情報と患者の診療データとを用いて、表情の時系列変化を示す指標を生成する。表示制御部は、指標と表情を、患者の診療データの時系列変化とともに表示部に表示させる。
【図面の簡単な説明】
【0006】
【
図1】
図1は、第1の実施形態に係る診断支援システムの構成の一例を示す図である。
【
図2】
図2は、第1の実施形態に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。
【
図3】
図3は、第1の実施形態に係る診断支援システムにより表示される診断支援画面の一例を示す図である。
【
図4】
図4は、第1の実施形態の第1の変形例に係る診断支援システムにより表示される表示画面の一例を示す図である。
【
図5】
図5は、第2の実施形態に係る診断支援システムの構成の一例を示す図である。
【
図6】
図6は、第2の実施形態に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。
【
図7】
図7は、第2の実施形態に係る診断支援システムにより表示される表示画面の一例を示す図である。
【
図8】
図8は、第2の実施形態の第1の変形例に係る診断支援システムの構成の一例を示す図である。
【
図9】
図9は、第2の実施形態の第1の変形例に係る学習済みモデルの入力と出力との組合せの一例を示す図である。
【
図10】
図10は、第2の実施形態の第1の変形例に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。
【
図11】
図11は、第2の実施形態の第1の変形例に係る診断支援システムにより表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら、医用情報処理装置の実施形態について詳細に説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【0008】
(第1の実施形態)
図1は、診断支援システム100の構成を示す図である。診断支援システム100は、ネットワーク200を介して、病院情報システム(Hospital Information System:以下、HISと呼ぶ)300、検査装置400、及び放射線科情報システム(Radiology Information System:以下、RISと呼ぶ)500と接続されている。診断支援システム100は、ネットワーク200を介して、ワークステーション、画像保存通信システム(Picture Archiving and Communication System:PACS)等に接続されてもよい。
【0009】
ネットワーク200は、例えば、LAN(Local Area Network)である。なお、ネットワーク200への接続は、有線接続、及び無線接続を問わない。また、VPN(Virtual Private Network)等によりセキュリティが確保されるのであれば、接続される回線はLANに限定されない。インターネット等、公衆の通信回線に接続するようにしても構わない。
【0010】
HIS300は、例えば、病院等の医用施設に係る情報を管理する。HIS300では、電子医療記録(Electronic Medical Record:EMR)、個人の健康情報(Personal Health Record:PHR)等が記憶装置に記録されている。また、HIS300には、患者に関する情報(以下、患者情報と呼ぶ)や、患者の医用画像等が記録されている。患者情報は、患者の名前、性別、年齢、国籍、既往歴、検査に関する情報、診察結果等を含む。医用画像は、一般的なカメラを用いて撮影された画像や、検査で得られた検査画像等を含む。
【0011】
検査装置400は、例えば、X線コンピュータ断層撮影装置(Computed Tomography:CT装置)、磁気共鳴イメージング装置(Magnetic Resonance Imaging:MRI装置)、超音波診断装置、X線診断装置などの医用画像診断装置や、血液検査装置等である。
【0012】
RIS500は、放射線検査業務に係る情報を管理する。放射線検査業務に係る情報には、患者情報、オーダ情報及び画像データ等が含まれる。画像データは、検査装置400を用いた検査により過去に取得された画像(以下、検査画像と呼ぶ)についての情報を含む。検査画像には、撮像条件等が関連付けられる。
【0013】
診断支援システム100は、ネットワーク200を介して、各種情報をHIS300、検査装置400及びRIS500等との間で送受信することができる。診断支援システム100は、患者の表情を認識する手段を用いて患者の表情に関する情報(以下、顔情報と呼ぶ)を継続的に記録し、患者の表情の推移に関する情報を他の診療データとともに時系列で表示する。医師は、表示された表情の推移を確認することで、心不全などの重大な疾患の兆候を早期に把握することができる。以下、診断支援システム100を心不全の兆候の把握に用いる場合を例に説明する。
【0014】
診断支援システム100は、診断支援装置10を備える。診断支援装置10は、例えば、集中治療室(Intensive Care Unit:ICU)、新生児集中治療室(Neonatal Intensive Care Unit:NICU)、病棟などで医師が診断に用いる端末装置である。診断支援装置10は、メモリ11、通信インタフェース12、ディスプレイ13、入力インタフェース14及び処理回路15を備えている。なお、以下、診断支援装置10は、単一の装置にて複数の機能を実行するものとして説明するが、複数の機能を別々の装置が実行することにしても構わない。例えば、診断支援装置10が実行する各機能は、異なるコンソール装置又はワークステーション装置に分散して搭載されても構わない。
【0015】
メモリ11は、種々の情報を記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路等の記憶装置である。また、メモリ11は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体であってもよい。なお、メモリ11は、フラッシュメモリ、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ11の保存領域は、診断支援装置10内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。
【0016】
メモリ11は、処理回路15によって実行されるプログラム、処理回路15の処理に用いられる各種データ等を記憶する。プログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、処理回路15の各機能を当該コンピュータに実現させるプログラムが用いられる。なお、本明細書において扱う各種データは、典型的にはデジタルデータである。メモリ11は、記憶部の一例である。
【0017】
通信インタフェース12は、ネットワーク200を介してHIS300、検査装置400及びRIS500や、その他の外部機器との通信を伝送制御するネットワークインタフェースである。
【0018】
ディスプレイ13は、各種の情報を表示する。例えば、ディスプレイ13は、処理回路15によって生成された医用情報や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ13は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。
【0019】
また、ディスプレイ13は、患者の表情の推移に関する情報を他の診療データとともに時系列で表示する。この際、ディスプレイ13は、診療データが表示された画面上に、患者の表情の推移に関する情報を時系列で表示する。ディスプレイ13は、表示部の一例である。
【0020】
入力インタフェース14は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路15に出力する。例えば、入力インタフェース14は、医用情報の入力、各種コマンド信号の入力等を操作者から受け付ける。入力インタフェース14は、処理回路15の各種処理等を行うためのマウスやキーボード、トラックボール、スイッチボタン、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース14は、処理回路15に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路へと出力する。なお、本明細書において、入力インタフェースは、マウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路15へ出力する電気信号の処理回路も入力インタフェースの例に含まれる。入力インタフェース14は、入力部の一例である。
【0021】
処理回路15は、診断支援装置10全体の動作を制御する。処理回路15は、メモリ11内のプログラムを呼び出し実行することにより、取得機能151、表情認識機能152及び表示制御機能153を実行するプロセッサである。取得機能151、表情認識機能152及び表示制御機能153の各機能を実現する処理回路15は、それぞれ取得部、表情認識部、表示制御部の一例である。
【0022】
なお、
図1においては、単一の処理回路15にて取得機能151、表情認識機能152及び表示制御機能153が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、取得機能151、表情認識機能152及び表示制御機能153は、それぞれ個別のハードウェア回路として実装してもよい。処理回路15が実行する各機能についての上記説明は、以下の各実施形態及び変形例でも同様である。
【0023】
また、診断支援装置10は単一のコンソールにて複数の機能を実行するものとして説明するが、複数の機能を別々の装置が実行することにしても構わない。例えば、処理回路15の機能は、異なる装置に分散して搭載されても構わない。
【0024】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、ASIC、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサはメモリ11に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ11にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。上記「プロセッサ」の説明は、以下の各実施形態及び変形例でも同様である。
【0025】
処理回路15は、取得機能151により、患者の診療データを取得する。診療データは、例えば、ネットワーク200を介して、HIS300、RIS500等から取得される。診療データは、患者の生命活動に関する情報(以下、バイタル情報と呼ぶ)、過去に投与した薬剤に関する情報(以下、薬剤情報と呼ぶ)、及び、検査に関する情報(以下、検査情報と呼ぶ)を含む。バイタル情報は、例えば、心拍数、呼吸数、血圧、体温、経皮的動脈血酸素飽和度(SpO2)などのバイタルサインに関する情報である。薬剤情報は、例えば、過去に投与した薬の名前、投与期間、投与量などを含む。検査情報は、例えば、過去に行った検査の名前、検査条件、検査日時、検査結果などを含む。取得機能151を実現する処理回路15は、バイタル記録取得手段、投薬記録取得手段、検査記録取得手段などと呼ばれてもよい。
【0026】
また、処理回路15は、取得機能151により、継続的に記録された患者の顔に関する情報(以下、顔情報と呼ぶ)を取得する。顔情報は、例えば、ネットワーク200を介して、HIS300等から取得される。顔情報は、例えば、患者の顔を撮影した画像(以下、顔画像と呼ぶ)と、顔画像の撮影日時を含む。顔画像は、公知の表情識別ソフトを使用して顔色等の表情が識別できるものであればよい。顔画像は、例えば、一般的な汎用カメラを使用して得られた写真等の静止画であってもよく、動画であってもよい。また、顔画像は、サーモグラフィ画像であってもよい。顔画像は、例えば、入院患者に対して一定期間ごとに撮影されてもよく、通院患者に対して来院の度に撮影されてもよい。
【0027】
処理回路15は、表情認識機能152により、顔情報に基づいて患者の表情を認識する。具体的には、処理回路15は、継続的に記録された顔画像のそれぞれに対して、顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて表情が不機嫌を示すか否かを判定する。顔つきとは、例えば、笑い顔やしかめ面などを示す。例えば、処理回路15は、患者の顔つきと顔色に基づいて不機嫌度を判定することにより、表情が不機嫌を示すか否かを判定する。不機嫌であるとは、機嫌が悪いことや、体長が悪いことや、不快に感じていることを意味する。不機嫌度は、不機嫌の程度を示す指標である。不機嫌度の判定結果は、例えば、不機嫌であるか否かの2種類でもよい。また、不機嫌度の判定結果は、不機嫌の度合いに応じて3種類以上に分類されてもよい。例えば、顔色が悪く、しかめ面の表情が検出された場合、処理回路15は、患者の表情が不機嫌な表情であると判断し、顔画像の撮影時において患者が不機嫌であったと判断する。顔画像から不機嫌度を判定する方法としては、例えば、顔画像から表情を判定する公知の表情検出アルゴリズムが用いられる。不機嫌度に関する判定結果は、顔画像に関連付けて、メモリ11に記憶される。
【0028】
処理回路15は、表示制御機能153により、種々の情報をディスプレイ13に表示させる。また、処理回路15は、医師の診断を支援する画面(以下、診断支援画面と呼ぶ)を生成し、生成した診断支援画面をディスプレイ13に表示させる。診断支援画面には、患者の診断に必要な情報が表示される。例えば、ICU、NICU、または病棟において使用される診断支援画面には、診療データとして、バイタル情報と、薬剤情報と、検査情報等が表示される。また、診断支援画面には、主訴、経過情報、看護記録、現在患っている病気の名前、病歴、家族構成、及び社会歴などが表示されてもよい。
【0029】
また、処理回路15は、表示制御機能153により、ディスプレイ13の診断支援画面に、患者の診療データとともに患者の表情を時系列で表示させる。例えば、処理回路15は、表情が不機嫌を示すか否かについての判定結果を時間軸上に時系列で表示させる。あるいは、処理回路15は、患者の不機嫌の度合いの判定結果を時間軸上に時系列で表示させる。
【0030】
次に、診断支援システム100により実行される診断支援処理の動作について説明する。診断支援処理とは、顔情報に基づいて患者の表情の推移を認識し、表情の推移を患者の診療データとともに時系列で表示する処理である。
図2は、診断支援処理の手順の一例を示すフローチャートである。
図2では、一例として、顔情報として患者の顔画像を用い、医師による心不全の兆候の診断を支援する場合を例に説明する。なお、以下で説明する各処理における処理手順は一例に過ぎず、各処理は可能な限り適宜変更可能である。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0031】
(診断支援処理)
(ステップS101)
処理回路15は、取得機能151により、過去に取得された患者の顔画像と顔画像の撮影日を、HIS300から取得する。
【0032】
(ステップS102)
処理回路15は、取得機能151により、患者の診療データとして、バイタル情報、薬剤情報、及び検査情報をHIS300から取得する。
【0033】
(ステップS103)
処理回路15は、表情認識機能152により、取得した複数の顔画像のそれぞれについて、患者の顔色と表情を検出し、検出結果に基づいて、患者の不機嫌度を判定する。判定結果は、対応する顔画像の撮影日と対応付けてメモリ11に記憶される。
【0034】
(ステップS104)
処理回路15は、表示制御機能153により、診断支援画面を生成し、ディスプレイ13に表示させる。
図3は、診断支援画面の一例を示す図である。
図3に示すように、診断支援画面は、患者情報表示部610と、診療の流れを管理するための管理画面表示部620と、バイタル情報表示部630と、薬剤情報表示部640と、検査結果表示部650とを備える。患者情報表示部610には、患者情報が表示される。表示される患者情報は、患者ID、患者氏名、年齢、性別、疾患名等である。管理画面表示部620には、例えば、イベントに関する情報、検査に関する情報、書類データに関する情報、看護に関する情報等が、時間軸上に表示される。バイタル情報表示部630には、例えば、患者のバイタルサインの推移が表示される。薬剤情報表示部640には、例えば、投与した薬剤の名前や投与期間が表示される。検査結果表示部650には、例えば、検体検査等の検査結果が表示される。
【0035】
また、診断支援画面は、表情表示部660を備える。表情表示部660には、患者の表情の推移が表示される。患者の表情の推移として、例えば、患者の不機嫌度の判定結果の推移が表示される。不機嫌度の判定結果として、
図3では、患者の不機嫌度を示すアイコンが時間軸上に表示されている。ここでは、患者が不機嫌でないことを示すアイコン661と、患者が不機嫌であることを示すアイコン662のうちのいずれかが、顔画像の撮影日に対応する位置に表示されている。医師は、診断支援画面に表示された不機嫌度を示すアイコン661、662を確認することで、患者の表情の推移を把握することができる。
【0036】
なお、不機嫌度の判定結果の表示方法としては、アイコン661、662のような視認性が高い方法が好ましいが、これに限るものではない。例えば、アイコン661、662の代わりに、不機嫌度の判定結果が文字で表示されてもよく、判定結果を示す記号が表示されてもよい。
【0037】
以下、本実施形態に係る診断支援システム100の効果について説明する。
【0038】
患者の診療では、重大な疾患の兆候を早期に把握することが求められている。例えば、心不全は、早期の段階で処置を行うことができるかどうかで予後が大きく左右されることが知られている。このため、早期の段階で心不全の処置を行うことが、心不全による死亡率の低下には重要である。従来、集中治療室(Intensive Care Unit:ICU)や新生児集中治療室(Neonatal Intensive Care Unit:NICU)、病棟などでは、呼吸数の上昇、心拍数の上昇、血圧の上昇などのバイタルサインの変化が心不全の兆候として利用されている。しかし、バイタルサインの変化だけでは、心不全などの疾患の兆候を確実に検出することは困難である。
【0039】
このため、診察において、患者の表情の変化が主訴として重要である。特に、言語コミュニケーションがとれない患者の診察では、主訴を顔情報から得るしかないため、患者の表情の変化が特に重要となる。例えば、患者が発語のできない乳幼児や知的障害者であったり、神経疾患を有する患者であったり、患者が人工呼吸器を装着している場合、医師は患者との言語コミュニケーションを取ることができない。また、外国籍の患者である場合も、医師は患者との言語コミュニケーションを取ることができない。このため、患者の表情や顔色から推測される重篤度も、重要な所見として診療情報に活用されることが好ましい。
【0040】
しかし、患者の担当医ではない医師が診察を行う場合、患者の表情の変化に気づくことができない可能性がある。このため、非担当医が診察を行った場合、心不全の兆候を見逃す可能性がある。例えば、患者の表情に問題がないと非担当医が判断した場合でも、実際の患者の表情は普段の表情よりも不機嫌な表情である可能性がある。
【0041】
本実施形態に係る診断支援システム100は、継続的に記録された患者の顔に関する顔情報を取得し、顔情報に基づいて患者の表情を認識し、認識した表情を患者の診療データとともに時系列で表示することができる。診療データは、例えば、バイタル情報、薬剤情報、及び検査情報を含むことができる。
【0042】
上記構成により、本実施形態に係る診断支援システム100によれば、主訴が得にくい患者に対しても、画面上に表示された患者の表情の推移を確認することで、主訴の定性的変化を確認し、重要な所見を得ることができる。また、表情の推移を他の診療データとともに時系列で表示することで表示画面の一覧性や視認性が向上するため、医師は患者の病態の経過を容易に把握することができる。そして、医師は、主訴を念頭に一覧表示された診療データを確認し、総合的な判断を実施することにより、適切な診療を行うことができる。すなわち、医師は、患者の表情変化を確認することにより、表情の変化の後に生じるバイタル変化への対応を早く行うことができるため、より迅速な医療を実現することができる。
【0043】
また、本実施形態に係る診断支援システム100によれば、患者の表情の推移をデータとして確認できるため、患者の担当医以外の医師であっても、患者の表情の変化に気付くことができる。そして、患者の表情が普段から変化していることを契機として心不全などの重大な疾患に関する検査を実行することにより、早期に疾患を発見できる可能性が大きくなる。このように、担当医が不在時であっても、患者のバイタル情報に加えて、顔情報の推移も時系列で確認可能となることにより、非担当医が担当医と同じ質で判断を行うことが可能になる。これにより、適切な診療が可能となり、疾患の回避率が高くなる。
【0044】
このように、本実施形態に係る診断支援システム100によれば、患者の表情の推移を確認要素として表示することで、患者の疾患の兆候を早期に把握することが可能になる。
【0045】
また、近年、患者の不機嫌な表情が患者の不調の兆候を示す指標の一つとして活用可能であることが分かってきている。本実施形態に係る診断支援システム100では、顔情報として、患者の顔が撮影された顔画像を用いることができる。また、顔画像から患者の顔つきと患者の顔色を検出し、顔つきと顔色の検出結果に基づいて表情が不機嫌を示すか否かを判定し、判定結果を時系列で表示することができる。
【0046】
このため、本実施形態に係る診断支援システム100によれば、患者の顔画像から患者の表情を認識し、患者が不機嫌であるか否かの判断を行うことができる。そして、不機嫌であるか否かに関する判定結果の推移を確認することにより、患者の担当医以外の医師であっても、患者がいつもより不機嫌であることに気付くことができる。そして、患者がいつもより不機嫌であることを契機として検査を実行することにより、早期に心不全などの重大な疾患を早期に発見することができる。
【0047】
また、本実施形態に係る診断支援システム100によれば、表情が不機嫌を示す場合、顔画像に基づいて表情の不機嫌の度合いをさらに判定し、不機嫌の度合いの判定結果を時系列で表示することができる。
【0048】
このため、本実施形態に係る診断支援システム100によれば、患者の不機嫌の度合いの推移が表示されることにより、患者の表情の変化をより正確に把握することができる。例えば、普段から不機嫌と判定されるような表情の患者に対しても、不機嫌の度合いの推移を観察することで、非担当医であっても、患者がいつもより不機嫌であることに気付くことができる。
【0049】
(第1の実施形態の第1の変形例)
第1の実施形態の第1の変形例について説明する。本変形例は、第1の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本変形例に係る診断支援システム100では、処理回路15は、表示制御機能153により、判定結果のうち、表情が不機嫌を示す場合の判定結果のみを表示する。
【0050】
図4は、本変形例の診断支援システム100により実行される診断支援処理において、ディスプレイ13に表示される診断支援画面の一例を示す図である。
図4に示すように、診断支援画面の表情表示部660には、患者が不機嫌であることを示すアイコン662のみが、顔画像の撮影日に対応する位置に表示されている。
【0051】
本変形例においても、医師は、診断支援画面に表示された不機嫌度を示すアイコン662を確認することにより、患者の表情の推移を把握することができる。また、本変形例では、不機嫌である場合にのみ不機嫌であるか否かに関する判定結果が表示されるため、医師は、患者の表情が不機嫌に変化したことに気付きやすくなり、診断に有用な情報を効率的に確認することができる。
【0052】
(第2の実施形態)
第2の実施形態について説明する。本実施形態は、第1の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本実施形態に係る診断支援システム100は、患者の表情の推移と診療データに基づいて心不全などの重大な疾患の兆候を検出し、兆候が検出された場合に警告する。
【0053】
図5は、本実施形態の診断支援システム100の構成を示す図である。処理回路15は、第1の実施形態で説明した各機能に加えて、指標生成機能154を実行する。指標生成機能154を実現する処理回路15は、指標生成部の一例である。
【0054】
処理回路15は、指標生成機能154により、顔情報と患者の診療データとを用いて患者の表情の時系列変化を示す指標を生成する。具体的には、処理回路15は、想定病名や入院時の病名等の診療データに基づいて発症する可能性がある症状を予測し、予測した症状に関する情報を患者の表情の時系列変化を示す指標として生成する。例えば、処理回路15は、想定病名や入院時の病名と発症する可能性がある症状との組み合わせを示すテーブルをメモリ11から読み出すことにより、発症する可能性がある症状を予測する。患者の表情の時系列変化を示す指標は、例えば、症状の兆候が検出されたことを示す警告である。
【0055】
予測される症状は、発生が懸念される症状である。発生が懸念される症状は、例えば、心不全等の疾患である。あるいは、発生が懸念される症状は、嘔吐、吐血、失神、痙攣等の、特定の疾患の兆候である。以下、一例として、発生が懸念される症状として心不全が予測され、心不全の兆候が検出されたことを示す警告を、患者の表情の時系列変化を示す指標として生成する場合について説明する。この場合、処理回路15は、まず、顔情報と診療データとを用いて心不全の兆候を検出する。この際、処理回路15は、まず、例えば、表情の変化、バイタル値の低下、特定薬剤の投与、検査値の変化、及び検査画像の変化を検出要素として、心不全の兆候を検出する。具体的には、処理回路15は、顔画像における患者の表情が不機嫌を示すと判定された場合に、診療データを用いて心不全の兆候を検出する。心不全の兆候を検出する方法としては、バイタル情報、薬剤情報、及び検査情報を入力することにより、心不全の兆候が見られるか否かを判定する公知の心不全兆候検出アルゴリズムが用いられる。例えば、心不全の兆候として、体内体液量の増加が挙げられる。この場合、投薬変更等の代謝に影響を及ぼす原因がない場合であっても、比較的短期に継続して体重が増加する兆候が発現する。また、心不全の兆候として、心機能拍出量低下に伴う酸素飽和度不足への補償症状安静時呼吸量増加が挙げられる。この場合、安静時の呼吸量の増加が兆候として発現する。
【0056】
その後、処理回路15は、心不全の兆候が検出された場合に警告する。例えば、処理回路15は、ディスプレイ13に表示された診断支援画面上に、心不全の兆候が検出されたことを示す警告を表示させる。警告する方法としては、警告文をディスプレイ13に表示させてもよく、心不全の兆候が検出されたことを示すアイコンをディスプレイ13に表示させてもよく、心不全の兆候が検出されたことを音声により通知してもよい。また、警告する方法としては、心不全の兆候が検出されたことを示す警告バーを、ディスプレイ13に表示される時間軸上において検出日時に対応する位置に重畳表示させてもよい。
処理回路15は、表示制御機能153により、ディスプレイ13の診断支援画面に、生成した指標と患者の表情とを、患者の診療データの時系列変化とともに表示させる。例えば、処理回路15は、時間軸上に、診療データの時系列変化とともに、表情が不機嫌を示すか否かについての判定結果と、心不全の兆候が検出されたことを示す警告を表示させる。
【0057】
(診断支援処理)
次に、本実施形態の診断支援システム100により実行される診断支援処理の動作について説明する。
図6は、本実施形態に係る診断支援処理の手順の一例を示すフローチャートである。
【0058】
ステップS201-S204の処理は、それぞれ
図2のステップS101-S104の処理と同様のため、説明を省略する。
【0059】
(ステップS205)
処理回路15は、指標生成機能154により、ステップS203の処理において患者が不機嫌であると判定された顔画像があるか否かを判断する。不機嫌であると判定された顔画像がない場合(ステップS205-No)、処理回路15は、診断支援処理の一連の処理を終了する。
【0060】
(ステップS206)
不機嫌であると判定された顔画像がある場合(ステップS205-Yes)、処理回路15は、指標生成機能154により、バイタル情報、薬剤情報、及び検査情報を取得し、心不全兆候の検出処理を実行する。
【0061】
(ステップS207)
処理回路15は、指標生成機能154により、心不全兆候が検出されたか否かを判断する。心不全兆候が検出されていない場合(ステップS207-No)、処理回路15は、診断支援処理の一連の処理を終了する。
【0062】
(ステップS208)
心不全兆候が検出された場合(ステップS207-Yes)、処理回路15は、指標生成機能154により、心不全兆候が検出されたことを診断支援画面上に表示する。
図7は、本実施形態において表示される診断支援画面の一例を示す図である。
図7では、診断支援画面の各表示部において、心不全兆候が検出されたことを示す警告バー670が、心不全兆候が検出された日時に対応する位置に表示されている。医師は、警告バー670の表示を確認することにより、心不全兆候が検出されたことを容易に把握することができる。
【0063】
以下、本実施形態に係る診断支援システム100の効果について説明する。本実施形態に係る診断支援システム100によれば、第1の実施形態で説明した効果に加えて以下の効果を有する。
【0064】
本実施形態に係る診断支援システム100は、顔情報と前記診療データとを用いて継続的に取得された顔情報と診療データとを用いて患者の症状を予測し、予測した症状に関する情報を患者の表情の時系列変化を示す指標として生成することができる。具体的には、症状の兆候を検出し、兆候が検出されたことを示す警告を診断画面上に表示することができる。例えば、表情が不機嫌であると判定された場合に、診療データを用いて心不全の兆候を検出することができる。
【0065】
上記構成により、本実施形態に係る診断支援システム100によれば、関連する診療データに表情変化に関する情報を加えた情報を、1つの重要な時系列指標として診断に利活用することができる。例えば、患者が不機嫌であると判定された場合に心不全兆候の検出が実行されることにより、表情の変化の後に生じるバイタル変化を確実に捉えることができ、より迅速な医療を実現することができる。
【0066】
また、本実施形態に係る診断支援システム100は、心不全の兆候が検出された場合に警告することができる。
【0067】
(第2の実施形態の第1の変形例)
第2の実施形態の第1の変形例について説明する。本変形例は、第2の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本変形例に係る診断支援システム100は、患者の表情の推移と診療データに基づいて、発生が懸念される症状が発生する確率を指標として算出し、算出結果を診療データとともに表示する。
【0068】
図8は、本実施形態の診断支援システム100の構成を示す図である。本変形例では、メモリ11は、複数の学習済みモデル111を記憶する。学習済みモデル111のそれぞれは、学習済みの機械学習モデルである。学習済みモデル111のそれぞれは、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。学習済みモデル111のそれぞれは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデルであるとする。
【0069】
学習済みモデル111は、発生が懸念される症状ごとに用意されている。学習済みモデル111は、診療データから想定される病名や入院時の病名から推測される症状について、症状が発生する確率(以下、発生確率と呼ぶ)を算出する。具体的には、学習済みモデル111は、顔画像、患者情報及び診療データの入力を受け付け、対応する症状の発生確率を出力する。学習済みモデル111に入力される診療データは、例えば、入院時の病名、バイタル情報、看護記録等を含む。
図9は、心不全に対応する学習済みモデル111の入力と出力との組合せを示す図である。例えば、心不全に対応する学習済みモデル111は、顔画像、患者情報及び診療データの入力を受け付け、心不全の発生確率を出力する。また、嘔吐に対応する学習済みモデル111は、顔画像、患者情報、及び診療データの入力を受け付け、嘔吐の発生確率を出力する。
【0070】
学習済みモデル111を学習させる際には、例えば、過去の患者に関する顔画像、患者情報及び診療データと、その患者が発症した症状の継続期間を入力データとして、強化学習を実施する。
【0071】
処理回路15は、指標生成機能154により、想定病名や入院時の病名等の診療データに基づいて、発症する可能性がある症状を予測し、メモリ11に保存された複数の学習済みモデル111の中から、予測した症状に対応する学習済みモデルを読み出す。次に、処理回路15は、読み出した学習済みモデル111に顔画像、患者情報及び診療データを入力することにより、学習済みモデル111に症状の発生確率を出力させる。そして、処理回路15は、学習済みモデル111から出力された発生確率を指標として生成する。
【0072】
処理回路15は、表示制御機能153により、ディスプレイ13の診断支援画面に、算出した発生確率を患者の診療データとともに表示させる。
【0073】
(診断支援処理)
次に、本変形例の診断支援システム100により実行される診断支援処理の動作について説明する。
図10は、本変形例に係る診断支援処理の手順の一例を示すフローチャートである。ステップS301-S303の処理は、それぞれ
図2のステップS101-S103の処理と同様のため、説明を省略する。
【0074】
(ステップS304)
処理回路15は、指標生成機能154により、患者の診療データに基づいて、発症する可能性がある症状を選択し、メモリ11に保存された複数の学習済みモデル111の中から、予測した症状に対応する学習済みモデルを読み出す。ここでは、心不全に対応する学習済みモデル111が選択され、メモリ11から読み出された場合について説明する。処理回路15は、心不全に対応する学習済みモデル111に顔画像、患者情報及び診療データを入力することにより、心不全に対応する学習済みモデル111に心不全の発生確率を出力させる。
【0075】
(ステップS305)
処理回路15は、表示制御機能153により、心不全の発生確率と患者の表情とを、患者の診療データの時系列変化が表示された診断支援画面上に表示する。
図11は、本変形例において表示される診断支援画面の一例を示す図である。
図11に示すように、本変形例では、診断支援画面は、確率表示部680をさらに備える。確率表示部680には、算出された心不全の発生確率が、時間軸上に表示される。
【0076】
なお、ステップS304の処理において複数の症状が予測された場合、複数の症状のそれぞれに対応する複数の学習済みモデル111が読み出され、複数の学習済みモデル111のそれぞれにおいて対応する症状の発生確率が算出される。この場合、確率表示部680には、複数の症状
の発生確率が時間軸上に表示される。
【0077】
以下、本変形例に係る診断支援システム100の効果について説明する。本変形例に係る診断支援システム100によれば、第2の実施形態で説明した効果に加えて以下の効果を有する。
【0078】
本変形例に係る診断支援システム100は、顔情報と患者の診療データとを用いて患者の表情の時系列変化を示す指標を生成することができる。具体的には、顔情報と患者の診療データとを用いて患者の症状を予測し、予測した症状の発生確率を算出し、算出結果を患者の表情の時系列変化を示す指標として生成することができる。そして、予測した症状の発生確率と顔情報を、患者の診療データとともに表示することができる。
【0079】
上記構成により、本変形例に係る診断支援システム100によれば、顔情報、患者情報及び診療データを解析し、想定病名または入院時病名から予測される症状が発生する可能性を算出し、算出結果を顔情報及び診療データとともに表示することができる。医師は、予測される症状の発生確率を患者の顔情報とともに確認することにより、患者の容体が急変する前に発生が懸念される症状に関する情報を取得することができる。これにより、発生が懸念される症状への対応を早く行うことができ、より迅速な医療を実現することができる。
【0080】
上記構成により、本実施形態に係る診断支援システム100によれば、医師は、警告を確認することにより、心不全の兆候が検出されたことを容易に確認することができる。このため、心不全の兆候が見逃されることを防止することができる。
【0081】
以上説明した少なくとも1つの実施形態によれば、患者の疾患の兆候を早期に把握することができる。
【0082】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0083】
100…診断支援システム
200…ネットワーク
300…病院情報システム(HIS)
400…検査装置
500…放射線科情報システム(RIS)
10…診断支援装置
11…メモリ
111…学習済みモデル
12…通信インタフェース
13…ディスプレイ
14…入力インタフェース
15…処理回路
151…取得機能
152…表情認識機能
153…表示制御機能
154…指標生成機能
610…患者情報表示部
620…管理画面表示部
630…バイタル情報表示部
640…薬剤情報表示部
650…検査結果表示部
660…表情表示部
661、662…アイコン
670…警告バー
680…確率表示部