IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ネクストイノベーション株式会社の特許一覧

特開2023-96772情報処理装置、情報処理方法、およびプログラム
<>
  • 特開-情報処理装置、情報処理方法、およびプログラム 図1
  • 特開-情報処理装置、情報処理方法、およびプログラム 図2
  • 特開-情報処理装置、情報処理方法、およびプログラム 図3
  • 特開-情報処理装置、情報処理方法、およびプログラム 図4
  • 特開-情報処理装置、情報処理方法、およびプログラム 図5
  • 特開-情報処理装置、情報処理方法、およびプログラム 図6
  • 特開-情報処理装置、情報処理方法、およびプログラム 図7
  • 特開-情報処理装置、情報処理方法、およびプログラム 図8
  • 特開-情報処理装置、情報処理方法、およびプログラム 図9
  • 特開-情報処理装置、情報処理方法、およびプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023096772
(43)【公開日】2023-07-07
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G16H 10/40 20180101AFI20230630BHJP
   A61B 5/00 20060101ALI20230630BHJP
   G01N 33/48 20060101ALI20230630BHJP
   G06T 1/00 20060101ALI20230630BHJP
   G06T 7/00 20170101ALI20230630BHJP
   G06T 3/00 20060101ALI20230630BHJP
   G06V 10/70 20220101ALI20230630BHJP
【FI】
G16H10/40
A61B5/00 N
G01N33/48 Z
G06T1/00 290Z
G06T7/00 614
G06T3/00 700
G06V10/70
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021212752
(22)【出願日】2021-12-27
(11)【特許番号】
(45)【特許公報発行日】2022-05-06
(71)【出願人】
【識別番号】516231165
【氏名又は名称】株式会社ネクイノ
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】石井 健一
(72)【発明者】
【氏名】柏井 宏太郎
【テーマコード(参考)】
2G045
4C117
5B057
5L096
5L099
【Fターム(参考)】
2G045AA25
2G045FA19
2G045HA09
2G045HA11
2G045JA01
2G045JA07
4C117XB11
4C117XE02
4C117XE43
4C117XH16
4C117XK05
4C117XK07
4C117XK08
4C117XK09
4C117XK45
4C117XL01
4C117XL22
4C117XP03
5B057AA07
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD02
5B057CD03
5B057CD05
5B057CE08
5B057DA12
5B057DB02
5B057DB09
5B057DC40
5L096AA02
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA01
5L096EA03
5L096EA15
5L096EA16
5L096FA67
5L096FA69
5L096KA04
5L099AA03
5L099AA22
5L099AA26
(57)【要約】
【課題】患者に課す操作または認知・判断上の負荷を抑制しながら当該患者の検査結果に関する情報を収集する。
【解決手段】本開示の一態様のプログラムは、1以上のコンピュータを、患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、検査画像に写った識別子に基づいて、検査キットに対応する検査種別を判定する手段、検査種別の判定結果と、検査画像に写った識別子の位置および向きとに基づいて、検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を検査画像に付加し、対象画像を生成する手段、対象画像と、検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、として機能させる。
【選択図】図8

【特許請求の範囲】
【請求項1】
1以上のコンピュータを、
患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定する手段、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成する手段、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、
として機能させる、プログラム。
【請求項2】
前記補助情報は、前記検査画像に写った前記判定部のうち前記検体に反応して外観の変化が現れる可能性がある1以上の領域の場所と、当該領域の種別とを示す情報である、
請求項1に記載のプログラム。
【請求項3】
前記コンピュータを、前記検査画像を、前記検査種別に対して予め定義されている複数の検査結果類型のいずれかに分類する手段としてさらに機能させ、
前記送信する手段は、前記検査画像の分類結果に関する情報を前記外部装置へさらに送信する、
請求項1または請求項2に記載のプログラム。
【請求項4】
前記コンピュータを、前記患者に関する情報を医師に提示する手段としてさらに機能させ、
前記患者に関する情報を医師に提示する手段は、前記検査種別の判定結果、または前記検査画像の分類結果の少なくとも1つに基づいて当該情報の提示態様を決定する、
請求項3に記載のプログラム。
【請求項5】
前記分類する手段は、学習済みモデルを用いて、前記検査画像を前記複数の検査結果類型のいずれかに分類し、
前記コンピュータを、前記検査画像と、前記検査キットによる検査結果に対する医師による判断の結果を示す情報とを訓練データとして前記学習済みモデルの再学習を行う手段、としてさらに機能させる、
請求項3または請求項4に記載のプログラム。
【請求項6】
前記コンピュータを、前記検査画像に写った前記識別子の大きさ、位置、向き、または形状の少なくとも1つに基づいて、前記検査画像に対して、拡大、縮小、回転、または歪み補正の少なくとも1つの画像処理による補正を行う手段、としてさらに機能させ、
前記対象画像を生成する手段は、前記画像処理による補正が行われた検査画像に前記補助情報を付加する、
請求項1乃至請求項5のいずれかに記載のプログラム。
【請求項7】
前記コンピュータを、前記検査キットによる検査結果に対する医師による判断の結果を示す情報を前記患者に提示する手段、としてさらに機能させる、
請求項1乃至請求項6のいずれかに記載のプログラム。
【請求項8】
前記コンピュータを、前記患者を識別する情報に、前記検査画像または前記対象画像を関連付けて保存する手段、としてさらに機能させる、
請求項1乃至請求項7のいずれかに記載のプログラム。
【請求項9】
前記保存する手段は、前記患者を識別する情報に、さらに、前記検査キットによる検査結果に対する医師による判断の結果を示す情報を関連付けて保存する、
請求項8に記載のプログラム。
【請求項10】
前記コンピュータは、カメラおよびディスプレイを備えた患者端末を含み、
前記検査画像は、前記患者端末によって撮影され、
前記患者端末を、前記検査キットの撮影を補助する情報を前記ディスプレイに表示させる手段、としてさらに機能させる、
請求項1乃至請求項9のいずれかに記載のプログラム。
【請求項11】
前記検査キットの撮影を補助する情報は、前記検査画像に占める前記検査キットの位置および大きさの目標を示すガイドであって、
前記コンピュータを、前記検査種別の判定結果に応じて、前記ガイドの形状を制御する手段、としてさらに機能させる、
請求項10に記載のプログラム。
【請求項12】
前記コンピュータを、前記検査画像に占める前記検査キットの位置および大きさの少なくとも1つの目標からの乖離が許容範囲を超える場合に、前記患者にフィードバック情報を提示する手段としてさらに機能させる、
請求項10に記載のプログラム。
【請求項13】
前記コンピュータを、前記検査種別の判定結果に基づいて、前記検査画像の色調を補正する手段としてさらに機能させ、
前記対象画像を生成する手段は、前記色調の補正が行われた検査画像に前記補助情報を付加する、
請求項1乃至請求項12のいずれかに記載のプログラム。
【請求項14】
患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段と、
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定する手段と、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成する手段と、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段と
を具備する、情報処理装置。
【請求項15】
コンピュータが、
患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得するステップと、
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定するステップと、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成するステップと、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信するステップと
を具備する、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
尿または血液を検体として用いる検査キットが知られている。
【0003】
特許文献1には、検査キットから検査データを収集する方法が開示されている。具体的には、特許文献1には、検査キットに設けられた検査識別子を走査して当該検査キットによって行われる検査のタイプを識別すること、表示スクリーン上に当該検査に関連付けられた全ての取り得る弁別的結果を表示すること、表示された弁別的結果のうち1つをユーザに選択させることで検査データを収集すること、について記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2018-525613号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術では、表示スクリーン上に表示された弁別的結果のうちどれが適切であるかをユーザが検査結果を判断して選択する必要がある。しかしながら、全てのユーザが常に正しい弁別的結果を容易に選択できるとは限らない。ユーザは、検査キットを上下逆に見て誤った弁別的結果を選択したり、検査キットに現れたラインが想定よりも薄く選択に迷ったり、スクリーンの表示内容と検査キットを見比べて弁別的結果を選択することを億劫に感じたりするおそれがある。
【0006】
本開示の目的は、患者に課す操作または認知・判断上の負荷を抑制しながら当該患者の検査結果に関する情報を収集することである。
【課題を解決するための手段】
【0007】
本開示の一態様のプログラムは、1以上のコンピュータを、患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、検査画像に写った識別子に基づいて、検査キットに対応する検査種別を判定する手段、検査種別の判定結果と、検査画像に写った識別子の位置および向きとに基づいて、検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を検査画像に付加し、対象画像を生成する手段、対象画像と、検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、として機能させる。
【図面の簡単な説明】
【0008】
図1】本実施形態の情報処理システムの構成を示すブロック図である。
図2】本実施形態の患者端末の構成を示すブロック図である。
図3】本実施形態のサーバの構成を示すブロック図である。
図4】本実施形態の医師端末の構成を示すブロック図である。
図5】本実施形態の検査キットの構成を示すブロック図である。
図6】本実施形態の一態様の説明図である。
図7】本実施形態のデータ構造を示す図である。
図8】本実施形態の情報処理の全体フローを示す図である。
図9】本実施形態の情報処理において表示される画面例を示す図である。
図10】本実施形態の情報処理において検査画像に対して行われる処理の説明図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
以下の説明において、「患者」とは、医療サービスの提供を受ける者を意味する。患者は、必ずしも何らかの病気に罹患しているとは限らない。「医療サービス」とは、例えば、検査、処方、診察、指導、相談、診療、診断、治療、または手術の少なくとも1つを含むことができる。医療サービスは、医師と患者とが対面した状態で提供されてもよいし、通信技術を用いて遠隔で提供されてもよい。また、医療サービスを提供する者は、医師に限られず、種々の医療関係者、または医療機器を含み得る。
【0011】
(1)情報処理システムの構成
情報処理システムの構成について説明する。図1は、本実施形態の情報処理システムの構成を示すブロック図である。
【0012】
図1に示すように、情報処理システム1は、患者端末10と、サーバ30と、医師端末50とを備える。
患者端末10及びサーバ30は、ネットワーク(例えば、インターネット又はイントラネット)NWを介して接続される。サーバ30及び医師端末50は、ネットワークNWを介して接続される。
【0013】
患者端末10は、情報処理装置の一例である。患者端末10は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。患者端末10のユーザは、患者である。
【0014】
サーバ30は、情報処理装置の一例である。サーバ30は、例えば、サーバコンピュータである。
【0015】
医師端末50は、情報処理装置の一例である。医師端末50は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。医師端末50のユーザは、医師である。
【0016】
(1-1)患者端末の構成
患者端末の構成について説明する。図2は、本実施形態の患者端末の構成を示すブロック図である。
【0017】
図2に示すように、患者端末10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。患者端末10は、ディスプレイ21およびカメラ22に接続される。
【0018】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0019】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
【0020】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0021】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、患者端末10の機能を実現するコンピュータである。プロセッサ12は、例えば、以下の少なくとも1つである。
・CPU(Central Processing Unit)
・GPU(Graphic Processing Unit)
・ASIC(Application Specific Integrated Circuit)
・FPGA(Field Programmable Array)
【0022】
入出力インタフェース13は、患者端末10に接続される入力デバイスから情報(例えば、ユーザの指示、画像)を取得し、かつ、患者端末10に接続される出力デバイスに情報(例えば、画像)を出力するように構成される。
入力デバイスは、例えば、カメラ22、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ21、スピーカ、又は、それらの組合せである。
【0023】
通信インタフェース14は、患者端末10と外部装置(例えばサーバ30)との間の通信を制御するように構成される。
【0024】
ディスプレイ21は、画像(静止画、または動画)を表示するように構成される。ディスプレイ21は、例えば、液晶ディスプレイ、または有機ELディスプレイである。
【0025】
カメラ22は、画像(静止画、または動画)を撮影するように構成される。カメラ22は、例えば後述する検査キットを撮影するために用いられる。
【0026】
(1-2)サーバの構成
サーバの構成について説明する。図3は、本実施形態のサーバの構成を示すブロック図である。
【0027】
図3に示すように、サーバ30は、記憶装置31と、プロセッサ32と、入出力インタフェース33と、通信インタフェース34とを備える。
【0028】
記憶装置31は、プログラム及びデータを記憶するように構成される。記憶装置31は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0029】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0030】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0031】
プロセッサ32は、記憶装置31に記憶されたプログラムを起動することによって、サーバ30の機能を実現するコンピュータである。プロセッサ32は、例えば、以下の少なくとも1つである。
・CPU
・GPU
・ASIC
・FPGA
【0032】
入出力インタフェース33は、サーバ30に接続される入力デバイスから情報(例えば、ユーザの指示)を取得し、かつ、サーバ30に接続される出力デバイスに情報(例えば、画像)を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
【0033】
通信インタフェース34は、サーバ30と外部装置(例えば、患者端末10、および医師端末50)との間の通信を制御するように構成される。
【0034】
(1-3)医師端末の構成
医師端末の構成について説明する。図4は、本実施形態の医師端末の構成を示すブロック図である。
【0035】
図4に示すように、医師端末50は、記憶装置51と、プロセッサ52と、入出力インタフェース53と、通信インタフェース54とを備える。医師端末50は、ディスプレイ61に接続される。
【0036】
記憶装置51は、プログラム及びデータを記憶するように構成される。記憶装置51は、例えば、ROM、RAM、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0037】
プログラムは、例えば、以下のプログラムを含む。
・OSのプログラム
・情報処理を実行するアプリケーションのプログラム
【0038】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
【0039】
プロセッサ52は、記憶装置51に記憶されたプログラムを起動することによって、医師端末50の機能を実現するコンピュータである。プロセッサ52は、例えば、以下の少なくとも1つである。
・CPU
・GPU
・ASIC
・FPGA
【0040】
入出力インタフェース53は、医師端末50に接続される入力デバイスから情報(例えば、ユーザの指示)を取得し、かつ、医師端末50に接続される出力デバイスに情報(例えば、画像)を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ61、スピーカ、又は、それらの組合せである。
【0041】
通信インタフェース54は、医師端末50と外部装置(例えば、サーバ30)との間の通信を制御するように構成される。
【0042】
ディスプレイ61は、画像(静止画、または動画)を表示するように構成される。ディスプレイ61は、例えば、液晶ディスプレイ、または有機ELディスプレイである。
【0043】
(1-4)検査キットの構成
検査キットの構成について説明する。図5は、本実施形態の検査キットの構成を示すブロック図である。
【0044】
図5に示すように、検査キット70は、検体滴下部71と、識別子72と、判定部73とを含む。検査キット70は、患者から採取された検体を検体滴下部71に滴下すると、判定部73の外観が当該検体に反応して変化するように構成される。検査キット70は、例えばイムノクロマト法、またはその他の検査法を利用して構成される。
【0045】
検体とは、例えば、患者の体液、または組織である。患者の体液とは、例えば、血液、尿、または分泌液(例えば、唾液、汗、または生殖器からの分泌液)である。患者の組織とは、例えば、粘膜である。
【0046】
検体滴下部71は、検査キット70内部のろ紙(例えばセルロース膜)の第1端部に対応する。検体滴下部71には、検体に含まれる検出対象(例えば、特定の抗原、ホルモン、ウイルス、細菌)と結合する標識抗体が配置される。標識抗体は、所定の色に発色する物質(例えばコロイド)によって予め標識されている。検出対象と結合した標識抗体(つまり標識された検出対象)、および検出対象と結合していない標識抗体は、毛細管現象により時間の経過ともにろ紙の第2端部へ移動する。
【0047】
識別子72は、検査キット70の既定の位置に、既定の向きで配置される。識別子72は、検査キット70の種別(以下、単に「検査種別」という)を特定可能な情報を保持する。検査種別は、検査キット70によって行われる検査の内容を含み得る。具体的には、識別子72は、検査種別を符号化した図形を表す。一例として、識別子72は、一次元または二次元のバーコード(例えばQRコード(登録商標))である。識別子72は、検査キット70の筐体表面に例えば印刷により配置された塗料であってもよいし、検査キット70の筐体表面に貼り付けられたステッカーであってもよいし、検査キット70の筐体表面の凹凸として当該筐体に一体化されてもよい。
【0048】
判定部73は、検査キット70内部のろ紙の第2端部(つまり、検体滴下部71の反対側)に対応する。判定部73は、検体滴下部71から流れてきた検体に含まれる検出対象に反応して外観が変化するように構成される。一例として、判定部73の第1領域73aはTラインが出現可能に構成され、判定部73の第2領域73bはCラインが出現可能に構成される。
【0049】
第1領域73aには、検出対象と結合する第1抗体が配置される。標識された検出対象は、第1抗体によってトラップされ、Tラインを呈示する。他方、検出対象と結合していない標識抗体は、第1抗体によってトラップされず、ろ紙をさらに移動する。第2領域73bには、標識抗体と結合する第2抗体が配置される。検出対象と結合していない標識抗体は、第2抗体によってトラップされ、Cラインを呈示する。
呈示されるTラインおよびCラインは、人間が色として知覚可能な光(つまり、可視光線)を呈示(例えば、反射、または発光)してもよいし、人間が色として知覚可能でない光(つまり、例えば赤外光などの可視領域外の波長を持つ光線)を呈示(例えば、反射、または発光)してもよい。
【0050】
Cラインの出現は、検体が最後まで流れたこと、つまり検査が正常に完了したことを意味する。したがって、CラインおよびTラインの両方が出現した場合に、検査結果は陽性である。Cラインが出現したがTラインが出現しなかった場合に、検査結果は陰性である。他方、Cラインが出現しなかった場合には、検査が正常に完了していないため、Tラインの出現の有無に関わらず検査結果は無効である。
【0051】
(2)実施形態の一態様
本実施形態の一態様について説明する。図6は、本実施形態の一態様の説明図である。
【0052】
図6に示すように、患者PT1は、検査キット70の使用後に、患者端末10のカメラ22を用いて、当該検査キット70を少なくとも識別子72および判定部73が撮影範囲に含まれるように撮影する。これにより、患者端末10は、検査キット70の写った画像(以下、「検査画像」という)を取得する。
【0053】
患者端末10は、検査画像に写った識別子72に基づいて、検査キット70に対応する検査種別を判定する。患者端末10は、患者を識別する情報(後述する「患者ID」)と、検査画像に関する情報と、検査種別の判定結果に関する情報(後述する「検査種別情報」)とをサーバ30へ送信する。
【0054】
サーバ30は、各種の情報を患者端末10から受信する。サーバ30は、検査種別情報と、検査画像に写った識別子72の位置および向きとに基づいて、補助情報を生成する。補助情報は、検査キット70による検査結果に対する人間(例えば、医師、または患者)の判断を補助する情報である。サーバ30は、補助情報を検査画像に付加することで、対象画像を生成する。サーバ30は、検査画像を、検査キット70に対応する検査種別に対して予め定義されている複数の検査結果類型のいずれかに分類することで、人の判断によらずに検査結果の判定(一次判定)を行う。サーバ30は、患者PT1を識別する情報(後述する「患者ID」)に関連付けて、検査種別情報と、対象画像に関する情報(後述する「対象画像情報」)と、検査画像の分類結果に関する情報(後述する「分類結果情報」)とを記憶装置31に保存する。サーバ30は、検査種別情報、対象画像情報、および分類結果情報を医師端末50へ送信する。さらに、サーバ30は、患者PT1に関する情報(後述する「患者情報」)のうち、医師DC1に提供可能であって、かつ診断に有用な情報を医師端末50へ送信する。
【0055】
医師端末50は、各種の情報をサーバ30から受信する。医師端末50は、対象画像情報、分類結果情報、および患者情報(の一部)を医師DC1に提示する。医師DC1は、医師端末50によって提示された情報に基づいて、検査キット70による検査結果に関する判断を行う。医師端末50は、医師による判断結果に関する情報(後述する「判断結果情報」)をサーバ30へ送信する。
【0056】
サーバ30は、判断結果情報を医師端末50から受信する。サーバ30は、患者PT1を識別する患者IDに関連付けて、判断結果情報を記憶装置31に保存する。サーバ30は、判断結果情報を患者端末10へ送信する。
【0057】
患者端末10は、サーバ30から判断結果情報を受信する。患者端末10は、判断結果情報を患者PT1に提示する。
【0058】
このように、情報処理システム1によれば、患者は、検査キット70を撮影する以外に、当該検査キット70による検査結果に関して何らの認知・判断もすることなく、当該検査結果を外部装置へ送信することができる。つまり、情報処理システム1によれば、患者に課される操作または認知・判断上の負荷が小さいので、患者が検査結果に関する情報を提供することに対する敷居を下げ、かかる情報の収集・蓄積を促進することができる。
【0059】
(3)データ構造
本実施形態のデータ構造について説明する。図7は、本実施形態のデータ構造を示す図である。
以下に説明する各種の情報は、例えばデータベースの形式で記憶装置31に保存される。
【0060】
図7に示すように、記憶装置31には、患者IDリストが保存される。患者IDリストは、複数の患者IDを含む。患者IDは、患者を識別する情報である。患者IDは、患者情報に関連付けられる。
【0061】
患者情報は、患者IDによって特定される患者に関する情報である。患者情報は、例えば、基本情報、検査履歴情報、服薬履歴情報、および診察履歴情報を含むことができる。
【0062】
基本情報は、該当患者の基本的属性に関する情報である。基本情報は、例えば、以下の少なくとも1つに関する情報を含むことができる。
・患者名
・性別
・年齢
・住所
・健康状態
・既往歴
・身分証明証(例えば、被保険者番号、マインナンバー)
・決済情報
健康状態は、例えば、以下の少なくとも1つを含むことができる。
・身長
・体重
・月経期間
・血圧
・心拍数
・睡眠状態
・血糖値
・体脂肪率
・持病
・活動量
【0063】
検査履歴情報は、該当患者に対して行われた検査の履歴に関する情報である。検査履歴情報は、例えば、1以上のレコードを含むことができる。各レコードは、患者に対して行われた検査の1つに対応する。各レコードは、検査日時情報、検査種別情報、対象画像情報、分類結果情報、および判断結果情報を含む。このほか、各レコードは、医師による判断の日時に関する情報、または判断を行った医師を関する情報を含んでもよい。
【0064】
検査日時情報は、該当レコードに対応する検査が行われた日時に関する情報である。検査日時は、例えば、検査画像の撮影日時に基づいて決定される。
【0065】
検査種別情報は、該当レコードに対応する検査の種別に関する情報である。検査種別情報は、例えば検査画像に写った識別子72に基づいて判定される。
【0066】
対象画像情報は、該当レコードに対応する検査において生成された対象画像に関する情報である。対象画像情報は、対象画像を表すデータであってもよいし、当該データの所在を示す情報(例えば、URL)であってもよい。
【0067】
分類結果情報は、該当レコードに対応する検査において生成された対象画像を複数の検査結果類型のいずれかに自動分類した結果に関する情報である。
【0068】
判断結果情報は、該当レコードに対応する検査において生成された対象画像に対して医師が判断した検査結果(つまり、確定診断結果)に関する情報である。
【0069】
服薬履歴情報は、該当患者による服薬の履歴に関する情報である。服薬履歴情報は、例えば、服薬毎に、服薬日時に関する情報と、服用した薬に関する情報とを含むことができる。
【0070】
診察履歴情報は、該当患者に対して行われた診察の履歴に関する情報である。診察履歴情報は、例えば診察毎に、診察日時に関する情報と、診察を行った医師に関する情報と、診察の結果に関する情報とを含むことができる。
【0071】
(4)情報処理
本実施形態の情報処理について説明する。図8は、本実施形態の情報処理の全体フローを示す図である。図9は、本実施形態の情報処理において表示される画面例を示す図である。図10は、本実施形態の情報処理において検査画像に対して行われる処理の説明図である。
【0072】
図8の情報処理は、例えば患者端末10によって実行されるヘルスケアアプリのUI(User Interface)、または患者端末10によって実行されるWebブラウザ上で表示されるヘルスケアSaaS(Software as a Service)のUI上で、患者が所定の操作(例えば、検査結果をアップロードするためのオブジェクトの選択)を行ったことに応じて開始する。
【0073】
図8に示すように、患者端末10は、検査キットの撮影(S110)を実行する。
具体的には、患者端末10は、カメラ22を起動し、使用済みの検査キット70を撮影することで、検査画像を取得する。
患者端末10は、検査キット70の撮影を補助するための情報をディスプレイ21に提示してもよい。一例として、患者端末10は、図9の画面をディスプレイ21に表示してもよい。図9の画面では、カメラ22のプレビューに相当する画像IM10に、オブジェクトOBJ10a,OBJ10bが重畳されている。
オブジェクトOBJ10aは、検査画像に占める検査キット70の位置および大きさの目標を示すガイドを表示する。ガイドは、検査種別に関わらず共通であってもよいし、検査種別毎に定義されてもよい。ガイドが検査種別ごとに定義される場合に、患者端末10は、検査画像の確定前に、識別子72に基づいて検査種別を判定し、判定結果に応じてガイドの形状を制御してもよい。
オブジェクトOBJ10bは、患者に対するフィードバック情報を表示する。例えば、検査画像に占める検査キット70の位置または大きさの少なくとも1つの目標からの乖離が許容範囲を超える場合に、オブジェクトOBJ10bにはメッセージが表示される。メッセージは、例えば、カメラ22の撮影範囲をどのように変更すべきかを患者に伝えるテキスト、音声、画像、またはアニメーションであってよい。
【0074】
ステップS110の後に、患者端末10は、検査種別の判定(S111)を実行する。
具体的には、患者端末10は、ステップS110において取得した検査画像に写った識別子72に基づいて、検査キットに対応する検査種別を判定する。例えば、患者端末10は、識別子72の表す図形をデコードすることで、検査種別情報を取得する。
【0075】
ステップS111の後に、患者端末10は、情報の送信(S112)を実行する。
具体的には、患者端末10は、患者IDと、ステップS110において取得した検査画像と、ステップS111において取得した検査種別情報とをサーバ30へ送信する。
【0076】
ステップS112の後に、サーバ30は、画像の補正(S130)を実行する。
具体的には、サーバ30は、検査画像に写った識別子72の大きさ、位置、向き、または形状の少なくとも1つに基づいて、検査画像に対して以下の少なくとも1つの画像処理による画像補正を行う。
・拡大
・縮小
・平行移動
・回転
・歪み補正(例えば台形補正)
第1例として、サーバ30は、検査画像に写った識別子72の大きさが、既定の大きさに近づくように、検査画像の拡大、または縮小を行う。第2例として、サーバ30は、検査画像に写った識別子72の位置が、既定の位置に近づくように、検査画像の平行移動を行う。第3例として、サーバ30は、検査画像に写った識別子72の向きが、既定の向きに近づくように、検査画像の平行移動を行う。第4例として、サーバ30は、検査画像に写った識別子72の形状が、既定の形状に近づくように、検査画像の歪み補正を行う。既定の大きさ、位置、向き、または形状はそれぞれ、検査種別に関わらず共通であってもよいし、検査種別毎に定義されていてもよい。
【0077】
ステップS130の後に、サーバ30は、対象画像の生成(S131)を実行する。
具体的には、サーバ30は、ステップS130において補正された検査画像に、補助情報を付加することで対象画像を生成する。サーバ30は、検査種別情報と、補正された検査画像に写った識別子72の位置および向きとに基づいて、補助情報を生成する。補助情報は、例えば、以下の少なくとも1つを含むことができる。
・補正された検査画像に写った判定部73のうち、検体に反応して外観の変化(例えば、CラインおよびTライン)が現れる可能性がある領域(例えば、第1領域73aおよび第2領域73b)の場所を示す情報
・補正された検査画像に写った判定部73のうち、検体に反応して外観の変化が現れる可能性がある領域の種別(例えば、CおよびT)を示す情報
・補正された検査画像に写った判定部73のうち、検体に反応して現れた外観の変化を強調する情報(例えば、付加的な輪郭線、もしくは着色、または拡大画像)
・複数の検査結果類型の見本を示す情報
【0078】
一例として図10に示すように、ステップS130およびステップS131において、サーバ30は、検査画像IM1に対して、画像処理および補助情報の付加を行うことで、対象画像IM2を生成する。対象画像IM2には、補助情報として、オブジェクトOBJ20aおよびオブジェクトOBJ20bが付加されている。
オブジェクトOBJ20aは、ラインが現れる可能性がある領域の場所を示す図形と、当該領域がTラインに対応することを示すテキスト画像とを含む。
オブジェクトOBJ20aは、ラインが現れる可能性がある領域の場所を示す図形と、当該領域がCラインに対応することを示すテキスト画像とを含む。
【0079】
ステップS131の後に、サーバ30は、検査結果の判定(S132)を実行する。
具体的には、サーバ30は、ステップS130において補正された検査画像を、検査キット70に対応する検査種別に対して予め定義されている複数の検査結果類型に分類することで、検査結果の一次判定を行う。一例として、サーバ30は、学習済みモデルを用いて検査結果を自動分類してもよい。学習済みモデルは、検査キット70の写った画像と、当該画像に対応する検査結果(教師ラベル)とを含む訓練データを用いた機械学習により構築可能である。学習済みモデルは、検査種別毎に構築されてよい。
なお、分類のベースとなる画像は、補正前の検査画像、またはステップS131において生成された対象画像であってもよい。
【0080】
ステップS132の後に、サーバ30は、情報の保存(S133)を実行する。
具体的には、サーバ30は、患者IDに関連付けられる検査履歴情報に新規レコードを追加する。サーバ30は、新規レコードに適切な値を設定することで、検査日時情報、検査種別情報、対象画像情報、および分類結果情報を記憶装置31に保存する。
【0081】
ステップS133の後に、サーバ30は、情報の提示(S134)を実行する。
具体的には、サーバ30は、検査種別情報と、ステップS131において生成した対象画像(対象画像情報)と、ステップS132における判定結果(分類結果情報)とを、医師端末50へ送信しディスプレイ61に表示させることで、医師に提示する。ここで、情報の提示先となる医師は、患者によって指定されてもよいし、アルゴリズムによって自動的に決定されてもよい。
【0082】
さらに、サーバ30は、患者IDに関連付けられる患者情報の一部(例えば性別、年齢、健康状態、または既往歴の少なくとも1つに関する情報、検査履歴情報、服薬履歴情報、診察履歴情報、またはこれらの組み合わせ)を医師に提示してもよい。サーバ30は、医師に提示する患者情報を、例えば、検査種別情報、または分類結果情報の少なくとも1つに基づいて決定してもよい。また、サーバ30は、例えば、検査種別情報、または分類結果情報の少なくとも1つに基づいて、患者情報の提示態様(例えば、ディスプレイ61に表示される画面における各情報要素の配置、大きさ、または装飾の少なくとも1つ)を決定してもよい。
【0083】
医師は、医師端末50を介して提示された情報を元に、検査結果に対する判断を行う。医師端末50は、医師の指示に応じて、判断結果情報を生成する。医師端末50は、判断結果情報をサーバ30へ送信する。
【0084】
判断結果情報は、検査結果に対する医師による判断(つまり、確定診断)の内容に関する情報を含む。判断結果情報は、さらに付加情報を含むことができる。付加情報は、例えば、患者に対する指導、処方、または助言に関する情報である。患者に対する指導には、生活指導、または服薬指導が含まれ得る。患者に対する助言には、遠隔診療もしくは医療機関の受診の勧奨、または特定の医療用製品(例えば、医薬品)の購入勧奨が含まれ得る。
【0085】
ステップS134の後に、サーバ30は、判断結果の取得(S135)を実行する。
具体的には、サーバ30は、医師端末50から判断結果情報を受信することで、検査結果に対する医師による判断結果を取得する。サーバ30は、判断結果情報を、該当患者を識別する患者IDに関連付けて記憶装置31に保存する。
【0086】
ステップS135の後に、サーバ30および患者端末10は、判断結果の提示(S136,S113)を実行する。
具体的には、サーバ30は、ステップS136において取得した判断結果情報を、患者端末10へ送信する。患者端末10は、取得した判断結果情報をディスプレイ21に表示することで、当該情報を患者に提示する。
サーバ30および患者端末10は、判断結果情報に加えて、他の情報(例えば、検査日時情報、検査種別情報、対象画像情報、または分類結果情報の少なくとも1つ)をユーザに提示してもよい。
ステップS113の終了を以て、図8の情報処理は完了する。
【0087】
(5)小括
以上説明したように、サーバ30は、検査キット70を、識別子72および判定部73が撮影範囲に含まれるように撮影した検査画像を取得し、当該検査画像に写った識別子72に基づいて当該検査キット70に対応する検査種別を判定する。サーバ30は、検査種別情報と、検査画像に写った識別子72の位置および向きとに基づいて、補助情報を検査画像に付加することで、対象画像を生成し、検査種別情報および対象画像情報を医師端末50へ送信する。これにより、患者は、検査キット70を撮影する以外に、当該検査キット70による検査結果に関して何らの認知・判断もすることなく、当該検査結果を外部装置へ送信することができる。つまり、情報処理システム1によれば、患者に課される操作または認知・判断上の負荷が小さいので、患者が検査結果に関する情報を提供することに対する敷居を下げ、かかる情報の収集・蓄積を促進することができる。
【0088】
補助情報は、例えば、検査画像に写った判定部73のうち検体に反応して外観の変化が現れる可能性がある1以上の領域の場所と、当該領域の種別とを示す情報であってよい。これにより、対象画像を目視した者(例えば、医師、または患者本人)は、検査キット70の撮影条件に関わらず、外観上の変化が現れるべき場所と、その意味とを正しく認識して検査結果に関する判断を行うことができる。
【0089】
サーバ30は、検査画像を、検査種別に対して予め定義されている複数の検査結果類型のいずれかに分類し、分類結果情報を医師端末へ送信してもよい。これにより、医師による検査結果の判断を補助することができる。
【0090】
サーバ30は、患者情報を医師に提示してもよく、さらにサーバ30は、検査種別情報、または分類結果情報の少なくとも1つに基づいて患者情報の提示態様を決定してもよい。これにより、医師が利用できる判断材料を充実させ、判断の質を向上させることができる。
【0091】
サーバ30は、検査画像に写った識別子72の大きさ、位置、向き、または形状の少なくとも1つに基づいて、検査画像に対して、拡大、縮小、回転、または歪み補正の少なくとも1つの画像処理による補正を行ってもよい。この場合、サーバ30は、補正が行われた検査画像に基づいて対象画像を生成する。これにより、検査キット70の撮影条件に関わらず、対象画像における検査キット70(特に、判定部73)の見え方が安定化するので、医師による検査結果の判断を補助することができる。
【0092】
サーバ30は、判断結果情報を患者に提示してもよい。これにより、患者の検査結果に対する納得感を高めることができる。
【0093】
サーバ30は、患者IDに関連付けて、検査画像または対象画像を記憶装置31に保存してもよい。さらに、サーバ30は、患者IDに関連付けて、判断結果情報を記憶装置31に保存してもよい。これにより、検査画像または対象画像を、例えば、検査履歴の閲覧、または機械学習などのために利活用することができる。
【0094】
患者端末10は、検査キット70の撮影を補助する情報をディスプレイ21に表示してもよい。これにより、患者は、検査キット70を適切な条件で撮影するように促されるので、不適当な検査画像(例えば、識別子72または判定部73の一部が写っていない検査画像)が収集され、検査結果の自動分類および医師による判断が適切に行えなくなる事態を防ぐことができる。検査キット70の撮影を補助する情報は、検査画像に占める検査キット70の位置および大きさの目標を示すガイドであってもよい。これにより、患者に、検査画像における検査キット70の理想的な位置および大きさを認識させることができる。また、患者端末10は、検査画像に占める検査キット70の位置および大きさの少なくとも1つの目標からの乖離が許容範囲を超える場合に、患者にフィードバック情報を提示してもよい。これにより、適切な検査画像を撮影できるように患者を案内することができる。
【0095】
(6)変形例
記憶装置11は、ネットワークNWを介して、患者端末10と接続されてもよい。ディスプレイ21およびカメラ22は、患者端末10の一部であってもよいし、外付けの周辺機器であってもよい。記憶装置31は、ネットワークNWを介して、サーバ30と接続されてもよい。記憶装置51は、ネットワークNWを介して、医師端末50と接続されてもよい。ディスプレイ61は、医師端末50の一部であってもよいし、外付けの周辺機器であってもよい。
【0096】
上記の情報処理の各ステップは、患者端末10、サーバ30、および医師端末50の何れでも実行可能である。例えば、検査種別の判定(S111)は、サーバ30、または医師端末50によって実行されてもよい。画像の補正(S130)~検査結果の判定(S132)は、患者端末10または医師端末50によって実行されてもよい。
一例として、患者端末10は、検査キット70を、識別子72および判定部73が撮影範囲に含まれるように撮影した検査画像を取得し、当該検査画像に写った識別子72に基づいて当該検査キット70に対応する検査種別を判定するように構成されてよい。さらに、患者端末10は、検査種別情報と、検査画像に写った識別子72の位置および向きとに基づいて、補助情報を検査画像に付加することで、対象画像を生成し、検査種別情報および対象画像情報をサーバ30または医師端末50へ送信するように構成されてよい。
また、上記説明では、情報処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。
【0097】
実施形態の情報処理システムを、クライアント/サーバ型のシステムによって実装する例を示した。しかしながら、実施形態の情報処理システムは、スタンドアロン型のコンピュータによって実装することもできる。
【0098】
上記説明では、検査画像に写った識別子72の位置および向きに基づいて、当該検査画像における検査キット70の位置および向きを特する例を示した。しかしながら、識別子72とは異なる目印を検査キット70の既定の位置に既定の向きで配置し、検査画像における当該目印の位置および向きに基づいて、当該検査画像における検査キット70の位置および向きを特定してもよい。この場合に、目印の外観、位置および向きは、検査種別毎に任意に定めることができる。
【0099】
上記説明では、学習済みモデルを用いて検査結果を自動分類する例を示した。患者から収集された検査画像と、当該検査画像に対して医師から収集された判断結果情報(教師ラベル)とを含む訓練データを用いて、学習済みモデルを運用後に再学習することも可能である。これにより、自動分類の精度を持続的に向上させることが可能となる。
【0100】
患者端末10、サーバ30、または医師端末50のいずれかは、検査種別情報に基づいて、前記検査画像の色調を補正してもよい。この場合に、対象画像は、色調の補正が行われた検査画像に基づいて生成される。一例として、色調の補正は、判定部73における外観の変化によって呈示される可能性のある色の視認性を向上させる処理であってよい。また、補正量は、例えば、基準となる撮影条件下における識別子72の色と、検査画像に写った識別子72の色との差に基づいて決定されてもよい。或いは、補正量は、基準となる撮影条件下において判定部73に呈示されるべき色と、検査画像に写った判定部73に実際に呈示された色との差に基づいて決定されてもよい。これにより、検査画像に写った判定部73における外観の変化が判別し難い場合であっても、対象画像における当該変化の有無を目視による判別するのを補助することができる。
【0101】
上記説明では、患者IDに関連付けて対象画像情報を保存する例を示した。しかしながら、対象画像情報の代わりに、検査画像に関する情報が保存されてもよい。この場合に、検査画像に対して行われるべき補正に関する情報、または検査画像に付加されるべき補助情報の少なくとも1つがさらに保存されてもよい。
【0102】
判定部73の外観の変化とは、人間が色として知覚可能でない光(つまり、例えば赤外光などの可視領域外の波長を持つ光線)の呈示を含み得る。判定部73が検体に反応して例えば赤外光を呈示するように構成される場合に、患者端末10は、検査種別の判定(S111)の結果に基づいて必要に応じて、カメラ22を赤外撮影モードに自動的に遷移させてもよい。
【0103】
上記説明では、判断結果の取得(S135)の後に、無条件に判断結果の提示(S136,S113)が行われる例を示した。しかしながら、判断結果の提示(S136,S113)は、患者から提示要求があったことを条件に行われてもよい。
また、判断結果の取得(S135)よりも前に、患者に分類結果情報の提示が行われてもよい。
【0104】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0105】
1 :情報処理システム
10 :患者端末
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
21 :ディスプレイ
22 :カメラ
30 :サーバ
31 :記憶装置
32 :プロセッサ
33 :入出力インタフェース
34 :通信インタフェースd
50 :医師端末
51 :記憶装置
52 :プロセッサ
53 :入出力インタフェース
54 :通信インタフェース
61 :ディスプレイ
70 :検査キット
71 :検体滴下部
72 :識別子
73 :判定部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10