(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-16
(45)【発行日】2024-08-26
(54)【発明の名称】プログラム、検査装置、情報処理装置及び情報処理方法
(51)【国際特許分類】
G16H 10/40 20180101AFI20240819BHJP
G16H 30/40 20180101ALI20240819BHJP
【FI】
G16H10/40
G16H30/40
(21)【出願番号】P 2021526859
(86)(22)【出願日】2020-06-18
(86)【国際出願番号】 JP2020023882
(87)【国際公開番号】W WO2020256041
(87)【国際公開日】2020-12-24
【審査請求日】2023-03-15
(31)【優先権主張番号】P 2019113737
(32)【優先日】2019-06-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】517448489
【氏名又は名称】合同会社H.U.グループ中央研究所
(74)【代理人】
【識別番号】100114557
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】二田 晴彦
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】特開2017-125840(JP,A)
【文献】国際公開第2018/150860(WO,A1)
【文献】特開2004-303067(JP,A)
【文献】特開2011-174865(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
判定した検査結果を出力する
処理をコンピュータに実行させ
、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットの種別に係る情報を出力するように深層学習された種別判別用の学習済みモデルに、取得した前記画像を入力し、
前記種別判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットの種別を判定する
処理を前記コンピュータに実行させる、
プログラム。
【請求項2】
前記結果判別用の学習済みモデルは、前記検査キットの種別毎に用意されており、
判定した前記検査キットの種別に応じた前記結果判別用の学習済みモデルを用いて、前記取得した画像中の検査キットによる検査結果を判定する
処理を前記コンピュータに実行させる請求項
1に記載のプログラム。
【請求項3】
判定した前記検査キットの種別に応じて前記検査キットによる検査時間を特定し、
特定した検査時間と、検査開始からの経過時間とに基づいて、残り時間を計時し、
計時した残り時間を表示する表示情報を表示部へ出力する
処理を前記コンピュータに実行させる請求項
1又は
2に記載のプログラム。
【請求項4】
取得した前記画像に基づいて、前記画像中の検査キットに付加されたコード情報を取得し、
取得した前記コード情報と、判定した前記検査結果とを対応付ける
処理を前記コンピュータに実行させる請求項1から
3までのいずれかひとつに記載のプログラム。
【請求項5】
判定した前記検査結果に対する修正指示を受け付け、
受け付けた修正内容と、取得した前記画像とを含む再学習用データを出力する
処理を前記コンピュータに実行させる請求項1から
4までのいずれかひとつに記載のプログラム。
【請求項6】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
判定した検査結果を出力する
処理をコンピュータに実行させ、
複数の前記検査キットを撮影した画像を取得し、
取得した前記画像から、それぞれの検査キットを含む領域を抽出し、
抽出した前記領域毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
前記画像における各領域の位置に対応させて各領域について判定された検査結果を表示する表示情報を表示部へ出力する
処理を前記コンピュータに実行させる、
プログラム。
【請求項7】
前記複数の検査キットを撮影した画像を所定時間毎に取得し、
取得した前記画像から抽出した各領域を所定時間毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
判定した検査結果の判定確率が所定閾値以上であるか否かを判断し、
前記判定確率が所定閾値以上であると判断した時点で、判定された検査結果を表示する表示情報を表示部へ出力する
処理を前記コンピュータに実行させる請求項
6に記載のプログラム。
【請求項8】
イムノクロマト法を用いて被検査物を検査する検査キットを複数並べて載置可能な載置台と、
前記載置台に載置された検査キットを撮影する撮影部と、
前記撮影部が撮影した画像から、それぞれの検査キットを含む領域を抽出する抽出部と、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、抽出した前記領域を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、抽出した前記領域中の検査キットによる検査結果を判定する判定部と、
前記載置台に載置された各検査キットの載置位置に対応させて、各領域について判定された検査結果を表示する表示部と
を備える検査装置。
【請求項9】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像をユーザ端末から取得する画像取得部と、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定する
検査結果判定部と、
判定した前記検査結果を前記ユーザ端末へ出力する出力部と
、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットの種別に係る情報を出力するように深層学習された種別判別用の学習済みモデルに、取得した前記画像を入力し、前記種別判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットの種別を判定する種別判定部と
を備える情報処理装置。
【請求項10】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像をユーザ端末から取得する画像取得部と、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定する判定部と、
判定した前記検査結果を前記ユーザ端末へ出力する出力部と
を備えており、
前記画像取得部は、複数の前記検査キットを撮影した画像を取得し、
取得した前記画像から、それぞれの検査キットを含む領域を抽出する抽出部を備え、
前記判定部は、抽出した前記領域毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
前記出力部は、前記画像における各領域の位置に対応させて各領域について判定された検査結果を表示する表示情報を表示部へ出力する、
情報処理装置。
【請求項11】
前記ユーザ端末から前記ユーザ端末の位置情報を取得する位置取得部と、
判定した前記検査結果が前記被検査物の検出を示す場合、前記検査結果が得られた画像に係るユーザ端末の位置情報に基づいて、地域毎に、前記被検査物が検出された画像数を計数する計数部と
を備える請求項
9又は10に記載の情報処理装置。
【請求項12】
取得した前記画像に基づいて、前記画像中の検査キットに付加された使用期限情報を取得する期限取得部と、
取得した前記使用期限情報に基づいて、使用期限が経過したか否かを判断する判断部とを備え、
前記出力部は、使用期限が経過したと判断した場合、使用期限の経過の通知情報を前記ユーザ端末へ出力する
請求項
9から11までのいずれかひとつに記載の情報処理装置。
【請求項13】
前記出力部は、判定した前記検査結果に応じて医療機関の紹介情報を前記ユーザ端末へ出力する
請求項
9から12までのいずれかひとつに記載の情報処理装置。
【請求項14】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
判定した検査結果を出力する
処理をコンピュータが実行
し、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットの種別に係る情報を出力するように深層学習された種別判別用の学習済みモデルに、取得した前記画像を入力し、
前記種別判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットの種別を判定する
処理を前記コンピュータが実行する、
情報処理方法。
【請求項15】
イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、
検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、
前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、
判定した検査結果を出力する
処理をコンピュータが実行し、
複数の前記検査キットを撮影した画像を取得し、
取得した前記画像から、それぞれの検査キットを含む領域を抽出し、
抽出した前記領域毎に前記結果判別用の学習済みモデルに入力して検査結果を判定し、
前記画像における各領域の位置に対応させて各領域について判定された検査結果を表示する表示情報を表示部へ出力する
処理を前記コンピュータが実行する、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、検査装置、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
近年、医療現場では、医療従事者が被検者の傍らで行うPOCT(Point of care testing:臨床現場即時検査)と呼ばれる臨床検査が普及している。POCTでは、例えば毛細管現象を利用した免疫測定法であるイムノクロマト法を用いて検査対象物の有無を検査する検査キットが使用されている(例えば特許文献1参照)。イムノクロマト法を用いた検査キットは、インフルエンザウイルス、ノロウイルス、肺炎球菌、アデノウイルス等、検査対象物毎に用意されており、検査したい項目(検査対象物)に応じた検査キットを用いることにより、種々の検査を行うことができる。イムノクロマト法を用いた検査キットでは、被検者から採取した被検査物(検体)を所定の滴下領域に滴下し、所定の検査時間が経過した後に、判定ラインの有無を目視で確認することにより、検査対象物の有無(陽性又は陰性)の判定を行う。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような検査キットは、複数のメーカから販売されており、検査キット毎に使用方法又は検査に要する時間等が異なり、誤った使用方法で検査を行った場合、正確な検査結果が得られない虞がある。特に、インフルエンザの流行時期のように検査対象(被検者から採取した検体)が多数有る場合、多数の検査対象に対する正確な検査結果を迅速に得る必要があり、検査を行う医療従事者の作業負担が大きいという問題がある。
【0005】
本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、検査を行う医療従事者等の作業負担を軽減することが可能なプログラム等を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一態様に係るプログラムは、イムノクロマト法を用いて被検査物を検査する検査キットを撮影した画像を取得し、検査キットの撮影画像が入力された場合に前記撮影画像中の検査キットによる検査結果に係る情報を出力するように深層学習された結果判別用の学習済みモデルに、取得した前記画像を入力し、前記結果判別用の学習済みモデルから出力された情報に基づいて、取得した前記画像中の検査キットによる検査結果を判定し、判定した検査結果を出力する処理をコンピュータに実行させる。
【発明の効果】
【0007】
本開示にあっては、イムノクロマト法を用いて被検査物を検出する検査キットを使用した検査において、医療従事者等の検査者の作業負担を軽減することができる。
【図面の簡単な説明】
【0008】
【
図3A】検査装置に記憶されるDBの構成例を示す模式図である。
【
図3B】検査装置に記憶されるDBの構成例を示す模式図である。
【
図4】種別判別モデルの構成例を示す模式図である。
【
図5】検査装置による判定処理手順の一例を示すフローチャートである。
【
図6】検査装置による判定処理手順の一例を示すフローチャートである。
【
図8】実施形態2の検査システムの構成例を示す模式図である。
【
図9】実施形態2の検査システムの構成例を示すブロック図である。
【
図10】実施形態2のサーバによる判定処理手順の一例を示すフローチャートである。
【
図12】実施形態3のサーバによる判定処理手順の一例を示すフローチャートである。
【
図14】実施形態4のサーバによる判定処理手順の一例を示すフローチャートである。
【
図15】実施形態5の検査装置による判定処理手順の一例を示すフローチャートである。
【
図16】実施形態6のサーバによる判定処理手順の一例を示すフローチャートである。
【
図17】実施形態7のサーバによる判定処理手順の一例を示すフローチャートである。
【
図18】実施形態8の検査装置による判定処理手順の一例を示すフローチャートである。
【
図19】実施形態8の検査装置による判定処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下に、本開示のプログラム、検査装置、情報処理装置及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。
【0010】
(実施形態1)
イムノクロマト法を用いた検査キットによる検査結果を、ニューラルネットワーク(学習済みモデル)を用いて判定する検査装置について説明する。
図1Aは、検査装置の外観例を示す模式図、
図1Bは検査キットの外観例を示す模式図である。具体的には、
図1Aは検査装置の斜視図であり、
図1Bは検査キットの上面図である。検査装置10は、例えば医療機関に設置されて利用される装置であり、矩形筐体である収納部10aと、収納部10aの上面に設けられた表示部15及び通知用ライト16とを有する。収納部10aは一側面が開口されており、開口部から検査キット20が収納部10aの内部に挿入され、収納部10aの外部に取り出される。
【0011】
収納部10a内部の底面は、複数の検査キット20が並べて載置可能な載置面10b(載置台)となっており、それぞれの検査キット20が載置されるエリアA~Dが分割線10cで分割されている。
図1Aに示す例では、載置面10bに4つの検査キット20が載置でき、それぞれの検査キット20が載置されるエリアA~Dが、開口部から収納部10a内部の奥方向に伸びるように設けられている。なお、載置面10bに載置される検査キット20の数は4つに限定されず、検査キット20が載置される各エリアの延伸方向は
図1Aの方向に限定されない。また、収納部10aの開口している側面に、開口部を開閉可能とする蓋部が設けられていてもよい。分割線10cは、載置面10bに描かれた線分であってもよく、凸部又は凹部が設けられていてもよく、検査を行う検査者が検査キット20を載置する際に各エリアA~Dを区分できるものであればどのようなものでもよい。
【0012】
また収納部10a内部の上面には、それぞれのエリアA~Dに載置された検査キット20を撮影するためのカメラ17及び撮影用ライト18(
図2参照)が設けられている。本実施形態では、1つのカメラ17及び1つの撮影用ライト18を用いてエリアA~Dに載置された検査キット20を撮影するが、エリアA~D毎にカメラ17及び撮影用ライト18が設けられていてもよい。
【0013】
図1A及び
図1Bに示すように検査キット20は概ね、矩形板状に構成されており、一面に滴下領域21及び判定領域22を有する。滴下領域21は、被検者から採取した被検査物(検体)を滴下する領域であり、判定領域22は、滴下領域21に滴下した被検査物に対する検査結果(検査対象物が含まれるか否か)を示す領域である。被検査物は、例えば被検者の鼻腔ぬぐい液、咽頭ぬぐい液、鼻水、尿、唾液、血液等とすることができる。判定領域22には、検査対象物と反応(結合)する抗体(検査用抗体)がライン状に塗布してあり、検査対象物が検査用抗体と反応した場合に青色又は赤紫色等に発色するように構成されている。よって、被検査物に検査対象物が含まれる場合、被検査物に含まれる検査対象物が検査用抗体と反応して発色し、判定領域22に判定ラインが出現する。
図1Bはインフルエンザウイルス用の検査キット20の例を示しており、
図1Bに示す検査キット20ではインフルエンザA型用の検査用抗体と、インフルエンザB型用の検査用抗体とが塗布されている。このような検査キット20ではインフルエンザA型及びインフルエンザB型の検査が同時に可能である。また、判定領域22には、滴下領域21から遠い位置に、標識抗体と反応(結合)する抗体(終了判定用抗体)がライン状に塗布してあり、標識抗体が終了判定用抗体と反応した場合に青色又は赤紫色等に発色するように構成されている。よって、例えば滴下領域21に塗布してあった標識抗体が被検査物と共に判定領域22内を移動して終了判定用抗体の塗布位置に到達した場合に、標識抗体が終了判定用抗体と反応して発色し、判定領域22に検査終了ライン(コントロールライン)が出現する。
図1Bに示す判定領域22では、滴下領域21に近い順に、インフルエンザA型の判定ライン、インフルエンザB型の判定ライン及び検査終了ラインが出現するように構成されているが、このような構成に限定されない。検査終了ラインが滴下領域21から最も遠い位置に設けられていれば、2つの判定ラインの位置は逆でもよい。また、検査キット20はインフルエンザA型の判定ラインのみが出現するように構成されていてもよく、インフルエンザB型の判定ラインのみが出現するように構成されていてもよい。
【0014】
検査キット20には、滴下領域21及び判定領域22が設けられた面に、被検者に対応付けられたコード23(コード情報)が付加されている。
図1Bでは、QRコード(登録商標)を用いたコード23が付されているが、これに限定されない。例えば医療機関における診察券番号(コード23)又は診察券番号(コード23)に対応付けられたバーコード等が記載されたシールが貼付されていてもよく、診察券番号(コード23)が手書きで記入されていてもよい。
【0015】
上述した構成の検査キット20は、滴下領域21及び判定領域22が設けられた面を上面にして載置された状態で検査に用いられる。よって、滴下領域21及び判定領域22が設けられた面を上面とする。検査キット20による検査結果を検査装置10にて判定する場合、検査キット20の上面を上側にして検査装置10の載置面10bのいずれかのエリアA~Dに載置する。各エリアA~D内であれば検査キット20の載置位置はどこでもよく、載置方向(載置する際の向き)はどの方向でもよい。
【0016】
図2は、検査装置10の構成例を示すブロック図である。検査装置10は、パーソナルコンピュータ又はサーバコンピュータ等を用いて構成されており、制御部11、記憶部12、通信部13、入力部14、表示部15、通知用ライト16、カメラ17、撮影用ライト18、読み取り部19等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)又はGPU(Graphics Processing Unit)等の1又は複数のプロセッサを含む。制御部11は、記憶部12に記憶してある制御プログラム12Pを適宜実行することにより、本開示の検査装置が行うべき種々の情報処理、制御処理等を検査装置10に行わせる。
【0017】
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行する制御プログラム12P及び制御プログラム12Pの実行に必要な各種のデータ等を予め記憶している。また記憶部12は、制御部11が制御プログラム12Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部12は、例えばディープラーニング(深層学習)処理によって構築された学習済みモデルである種別判別モデル12a(種別判別用の学習済みモデル)及び結果判別モデル12b(結果判別用の学習済みモデル)を記憶している。種別判別モデル12aは、
図1Bに示すような検査キット20の上面を撮影して得られた画像データ(撮影画像)が入力された場合に、撮影画像中の検査キット20の種別が、予め登録してある種別のいずれであるかを示す情報(種別に係る情報)を出力するように学習された学習済みモデルである。結果判別モデル12bは、検査キット20の上面を撮影して得られた画像データ(撮影画像)が入力された場合に、撮影画像中の検査キット20による検査結果が、陽性又は陰性であることを示す情報(検査結果に係る情報)を出力するように学習された学習済みモデルである。結果判別モデル12bは、種別判別モデル12aによる判別対象の検査キット20の種別(種類)毎に設けられている。学習済みモデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、この演算を規定する関数の係数や閾値等のデータが種別判別モデル12a及び結果判別モデル12bとしてそれぞれ記憶される。また記憶部12は、後述するキット情報DB12c(データベース)及び検査情報DB12dを記憶する。なお、キット情報DB12c及び検査情報DB12dは、検査装置10に接続された外部記憶装置に記憶されてもよく、ネットワークを介して検査装置10が通信可能な外部記憶装置に記憶されてもよい。
【0018】
通信部13は、有線通信又は無線通信によって、インターネット又はLAN(Local Area Network)等のネットワークに接続するためのインタフェースであり、ネットワークを介して外部装置との間で情報の送受信を行う。本実施形態では、通信部13は、ネットワークを介して医療機関における電子カルテシステムと通信できるように構成されている。入力部14は、ユーザ(検査者)による操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。なお、入力部14及び表示部15は一体として構成されたタッチパネルであってもよい。
【0019】
通知用ライト16は、LED(Light Emitting Diode)ライト、回転灯等であり、制御部11からの指示に従って点灯又は点滅することにより、検査装置10による検査状況を検査者に通知する。本実施形態では、1つの通知用ライト16を備える構成とするが、載置面10bのエリアA~D毎に通知用ライト16が設けられていてもよい。また、通知用ライト16の代わりに、ブザー又はスピーカ等の音声出力装置を設け、音声によって検査装置10による検査状況を検査者に通知する構成としてもよい。
【0020】
カメラ17(撮影部)は、レンズ及び撮像素子等を有し、レンズを介して被写体像の画像データを取得する。カメラ17は、制御部11からの指示に従って撮影を行い、取得した画像データ(撮影画像)を逐次制御部11へ送出する。撮影用ライト18は、例えばLEDライトであり、制御部11からの指示に従って点灯する。なお、制御部11は、撮影を行うタイミングで、撮影用ライト18に対して点灯指示を送出すると共にカメラ17に対して撮影の実行指示を送出する。これにより、撮影用ライト18を点灯させた状態でカメラ17による撮影を行うことができ、載置面10bに載置された検査キット20を精度良く撮影した良好な撮影画像が得られる。なお、カメラ17及び撮影用ライト18は、検査装置10に内蔵された構成のほかに、検査装置10に外付けされる構成でもよい。この場合、検査装置10は、外部のカメラ及び撮影用ライトの接続が可能な接続部を備え、接続部を介して外部のカメラ及び撮影用ライトの動作を制御し、接続部を介して外部のカメラが撮影した画像データを取得する。
【0021】
読み取り部19は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM及びUSB(Universal Serial Bus)メモリを含む可搬型記憶媒体1aに記憶された情報を読み取る。記憶部12に記憶されるプログラム及びデータは、例えば制御部11が読み取り部19を介して可搬型記憶媒体1aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶されるプログラム及びデータは、制御部11が通信部13を介してネットワーク経由で外部装置からダウンロードして記憶部12に記憶してもよい。更に、プログラム及びデータを半導体メモリ1bに記憶しておき、制御部11が、半導体メモリ1bからプログラム及びデータを読み出してもよい。
【0022】
図3A及び
図3Bは、検査装置10に記憶されるDB12c,12dの構成例を示す模式図である。
図3Aはキット情報DB12cを、
図3Bは検査情報DB12dをそれぞれ示す。キット情報DB12cは、検査装置10による検査結果の判定処理が可能な検査キット20に関する情報を記憶する。
図3Aに示すキット情報DB12cは、キット種別ID列、メーカ情報列、キット名称列、検査対象物列、検査時間列等を含む。キット種別ID列は、検査キット20の種類(種別)毎に割り当てられた識別情報を記憶する。メーカ情報列は、キット種別IDに対応付けて、各検査キット20を製造又は販売するメーカに関する情報を記憶し、キット名称列は、キット種別IDに対応付けて、各検査キット20に付された名称又は呼び名等を記憶する。検査対象物列は、キット種別IDに対応付けて、各検査キット20にて検査可能な対象物に関する情報を記憶し、検査時間列は、キット種別IDに対応付けて、各検査キット20が検査に要する時間を記憶する。キット情報DB12cに記憶されるキット種別IDは、制御部11が新たな種類の検査キット20の情報を入力部14又は通信部13を介して取得した場合に、制御部11によって発行されて記憶される。キット情報DB12cに記憶されるキット種別ID以外の情報は、制御部11が入力部14又は通信部13を介して追加の指示を取得する都度、制御部11によって追加される。キット情報DB12cの記憶内容は
図3Aに示す例に限定されず、検査キット20に関する各種の情報を記憶してもよい。例えばそれぞれの検査キット20の使用数又は在庫数等がキット情報DB12cに記憶されてもよい。
【0023】
検査情報DB12dは、検査装置10による検査結果の判定状況に関する情報を記憶する。
図3Bに示す検査情報DB12dは、エリア情報列、患者ID列、キット種別ID列、検査時間列、経過時間列、陽性確率列、撮影画像列等を含む。エリア情報列は、検査装置10の載置面10bに設けられた載置エリアA~Dの識別情報を記憶する。患者ID列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20に対応する患者(被検者)の識別情報(例えば医療機関における診察券番号)を記憶する。キット種別ID列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20の種類の識別情報を記憶し、検査時間列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20が検査に要する時間を記憶する。経過時間列は、エリア情報に対応付けて、各エリアA~Dに検査キット20が載置されてからの経過時間を記憶する。陽性確率列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20による検査結果が陽性である確率を記憶し、撮影画像列は、エリア情報に対応付けて、各エリアA~Dに載置された検査キット20の撮影画像を記憶する。なお、撮影画像のデータは、検査情報DB12dに記憶されるほかに、記憶部12の所定領域又は検査装置10に接続された外部記憶装置に記憶されてもよい。この場合、撮影画像列は、撮影画像のデータを読み出すための情報(例えばデータの記憶場所を示すファイル名)を記憶する。検査情報DB12dに記憶されるエリア情報は予め記憶されている。検査情報DB12dに記憶される患者IDは、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20に対応する患者の識別情報(患者ID)を特定する都度、制御部11によって記憶される。検査情報DB12dに記憶されるキット種別ID及び検査情報は、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20の種別を判別する都度、制御部11によってキット情報DB12cから読み出されて記憶される。検査情報DB12dに記憶される経過時間は、制御部11がカメラ17による撮影画像に基づいて各エリアA~Dに検査キット20が載置されたことを検出した場合に、検出してからの経過時間が制御部11によって記憶される。検査情報DB12dに記憶される陽性確率は、制御部11がカメラ17による撮影画像に基づいて撮影画像中の検査キット20による検査結果が陽性であることを示す確率を取得する都度、制御部11によって記憶される。検査情報DB12dに記憶される撮影画像は、カメラ17にて撮影画像を取得する都度、制御部11によって記憶又は更新される。なお、撮影画像は、撮影日時又は撮影タイミング(例えば検査開始からの経過時間)と共に順次記憶されてもよいし、最新の撮影画像のみが記憶されてもよい。検査情報DB12dの記憶内容は
図3Bに示す例に限定されず、載置面10bの各エリアA~Dに関する各種の情報又は各エリアA~Dに載置された検査キット20に関する情報等を記憶してもよい。また、経過時間の代わりに検査時間が満了するまでの残りの判定時間を記憶してもよい。
【0024】
図4は、種別判別モデル12aの構成例を示す模式図である。本実施形態の種別判別モデル12aは、例えば
図4に示すようにCNN(Convolution Neural Network)モデルで構成されている。種別判別モデル12aは、CNNモデルのほかに、R-CNN(Region-based CNN)、YOLO(You Only Look Once)等の種々の学習モデルで構成されてもよい。
図4に示す種別判別モデル12aは、入力層、中間層及び出力層から構成されている。中間層は畳み込み層、プーリング層及び全結合層を含む。本実施形態の種別判別モデル12aでは、入力層を介して、検査キット20の上面の撮影画像(画像データ)が入力される。入力層の各ノードには検査キット20の撮影画像中の各画素が入力され、入力層の各ノードを介して入力された検査キット20の撮影画像は中間層に入力される。中間層に入力された検査キット20の撮影画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、プーリング層で圧縮されて情報量が削減される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは、全結合層に入力される。全結合層は複数層(
図4では2層)設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に出力層の各ノードにそれぞれの出力値を与える。畳み込み層、プーリング層及び全結合層のそれぞれの層数は
図4に示す例に限定されない。
【0025】
本実施形態の種別判別モデル12aは、5種類の検査キット20の種別を判別するように構成されている。よって、種別判別モデル12aにおいて、出力層は5つのノード0~4を有しており、ノード0は、入力された撮影画像中の検査キット20が第1種別であると判別すべき確率を出力し、ノード1は、第2種別であると判別すべき確率を出力し、ノード2は、第3種別であると判別すべき確率を出力し、ノード3は、第4種別であると判別すべき確率を出力し、ノード4は、第5種別であると判別すべき確率を出力する。なお、判別対象の種別以外の種別である又は判別不可能であると判断すべき確率を出力する出力ノードを備える構成としてもよい。出力層の各ノードの出力値は例えば0~1.0の値であり、5つのノードからそれぞれ出力された確率の合計が1.0(100%)となる。
【0026】
種別判別モデル12aは、検査キット20の上面の撮影画像と、撮影画像中の検査キット20の種別を示す情報又は撮影画像中に検査キット20が含まれないことを示す情報(正解ラベル)とを含む教師データを用いて学習する。種別判別モデル12aは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0に近づくように学習する。学習処理において種別判別モデル12aは、入力値に対して行う所定の演算を規定する各種の関数の係数や閾値等のデータを最適化する。これにより、撮影画像が入力された場合に、撮影画像中の検査キット20の種別を示す情報を出力するように学習された学習済みの種別判別モデル12aが得られる。なお、種別判別モデル12aの学習は例えば他の学習装置で行われる。他の学習装置で学習が行われて生成された学習済みの種別判別モデル12aは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から検査装置10にダウンロードされて記憶部12に記憶される。
【0027】
本実施形態の結果判別モデル12bも、種別判別モデル12aと同様に、例えば
図4に示すようなCNNモデルで構成されている。結果判別モデル12bも、R-CNN、YOLO等の種々の学習モデルで構成されていてもよい。本実施形態の結果判別モデル12bは、種別判別モデル12aと同様に、検査キット20の上面の撮影画像が入力層を介して入力される。なお、結果判別モデル12bは、検査キット20の種別毎に設けられており、例えばインフルエンザA型及びB型の検査用の検査キット20に対応する結果判別モデル12bは、撮影画像中の検査キット20による検査結果がA型B型共に陽性、A型B型共に陰性、A型のみ陽性、B型のみ陽性の4パターンのいずれであるかを判別するように構成されている。よって、結果判別モデル12bの出力層は4つのノード0~3を有しており、例えばノード0は、入力された撮影画像中の検査キット20による検査結果がA型B型共に陽性であると判別すべき確率を出力し、ノード1は、A型B型共に陰性であると判別すべき確率を出力し、ノード2は、A型のみ陽性であると判別すべき確率を出力し、ノード3は、B型のみ陰性であると判別すべき確率を出力する。出力層の各ノードの出力値は例えば0~1.0の値であり、4つのノードからそれぞれ出力された確率の合計が1.0(100%)となる。なお、判別不可能であると判断すべき確率を出力する出力ノードを備える構成としてもよい。
【0028】
結果判別モデル12bは、検査キット20の上面の撮影画像と、撮影画像中の検査キット20による検査結果(例えば4パターンのうちのいずれか)を示す情報(正解ラベル)とを含む教師データを用いて学習する。結果判別モデル12bは、教師データに含まれる撮影画像が入力された場合に、教師データに含まれる正解ラベルに対応する出力ノードからの出力値が1.0に近づき、他の出力ノードからの出力値が0に近づくように学習する。これにより、撮影画像が入力された場合に、撮影画像中の検査キット20による検査結果が4パターンのうちのいずれであるかを示す情報を出力するように学習された学習済みの結果判別モデル12bが得られる。なお、結果判別モデル12bの学習も例えば他の学習装置で行われ、他の学習装置で生成された学習済みの結果判別モデル12bは、例えばネットワーク経由又は可搬型記憶媒体1a経由で学習装置から検査装置10にダウンロードされて記憶部12に記憶される。
【0029】
以下に、本実施形態の検査装置10が、検査キット20による検査結果を判定する処理について説明する。
図5及び
図6は、検査装置10による判定処理手順の一例を示すフローチャート、
図7A及び
図7Bは画面例を示す模式図である。以下の処理は、検査装置10の記憶部12に記憶してある制御プログラム12Pに従って制御部11によって実行される。なお、本実施形態では、以下の処理を制御部11が制御プログラム12Pを実行することにより実現するが、一部の処理を専用のハードウェア回路で実現してもよい。
【0030】
検査装置10が動作を開始した場合、制御部11は、カメラ17による動画の撮影を開始する(S11)。制御部11は、例えば1秒間に30フレーム(30枚)の画像データ(撮影画像)をカメラ17にて取得し、順次取得する撮影画像に基づいて、載置面10bのエリアA~Dのいずれかに検査キット20が載置されたか否かを判定する(S12)。例えば制御部11は、順次取得する撮影画像間における差異を算出し、撮影画像間の差異に基づいて、検査キット20が載置されたか否かを判定する。具体的には、撮影画像間の差異が所定量以上となった場合に、検査キット20が載置されたと判定してもよい。また、制御部11は、例えば撮影画像が入力された場合に、撮影画像中に検査キット20が撮影されているか否かを示す情報を出力するように学習された学習済みモデルを用いて、検査キット20が載置されたか否かを判定してもよい。この場合、制御部11は、カメラ17による撮影画像を順次学習済みモデルに入力し、学習済みモデルからの出力情報に基づいて、撮影画像中に検査キット20が含まれるか否か、即ち、検査キット20が載置されたか否かを判定できる。
【0031】
載置面10bに検査キット20が載置されていないと判定した場合(S12:NO)、制御部11は、カメラ17によって順次取得される撮影画像に基づいて、載置面10bに検査キット20が載置されたか否かを判定する処理を継続する。載置面10bのいずれかのエリアA~Dに検査キット20が載置されたと判定した場合(S12:YES)、制御部11は、検査キット20が載置されたエリアA~Dを特定する(S13)。例えばカメラ17で撮影した撮影画像において、エリアA~Dのそれぞれに対応する領域(撮影範囲)が予め登録されており、制御部11は、撮影画像間の差異が所定量以上となった領域(撮影範囲)がエリアA~Dのいずれに対応するかを判断し、対応するエリアA~Dを特定する。また制御部11は、学習済みモデルを用いて検査キット20が載置されたと判定した領域(撮影範囲)がエリアA~Dのいずれに対応するかを判断し、対応するエリアA~Dを特定してもよい。また、載置面10bの各エリアA~Dには文字A~Dが記載してあり、制御部11は、撮影画像間の差異が所定量以上となった領域、又は学習済みモデルを用いて検査キット20が載置されたと判定した領域に含まれる文字A~Dを例えばOCR(Optical Character Reader)を用いて読み取り、検査キット20が載置されたエリアを特定してもよい。更に、入力部14に、各エリアA~Dに対する判定処理の開始を指示するための操作ボタンを設けておき、検査者による入力によって検査キット20が載置されたこと及び載置されたエリアA~Dを特定するようにしてもよい。このような構成を備えることにより、撮影画像に基づいて検査キット20が載置されたエリアA~Dを特定できなかった場合、又は早期に判定処理を開始したい場合に、確実に判定処理を開始できる。検査キット20が載置されたエリアA~Dを特定した場合、制御部11は、検査情報DB12dにおいて、特定したエリアA~Dのエリア情報に対応する各情報をリセットしておく。
【0032】
次に制御部11は、カメラ17及び撮影用ライト18を用いて、載置面10b上の撮影画像を取得する(S14)。そして制御部11(抽出部)は、取得した撮影画像から、ステップS13で特定したエリアA~Dの撮影領域、即ち、ステップS12で載置されたと判定した検査キット20の撮影領域を抽出する(S15)。例えば制御部11は、
図4に示した撮影画像のように、各エリアA~Dの撮影領域を、載置面10b上の分割線10cに基づいて抽出する。検査キット20の撮影領域を抽出した場合、制御部11は、取得した撮影領域を、ステップS13で特定したエリアA~Dのエリア情報に対応する撮影画像として検査情報DB12dに記憶する。そして制御部11は、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)に基づいて、撮影された検査キット20に記載されたコード23を読み取り、患者の識別情報(患者ID)を取得する(S16)。例えばコード23がQRコードである場合、制御部11は、撮影画像中のQRコードを解析し、患者ID(例えば医療機関における診察券番号)を取得する。またコード23が手書きの患者IDである場合、制御部11は、撮影画像中の手書きの患者IDをOCRで読み取って取得する。更に制御部11は、入力部14を介した検査者による入力によって患者IDを取得する構成でもよい。患者IDを取得した場合、制御部11は、取得した患者IDを、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。
【0033】
次に制御部11は、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)に基づいて、撮影画像中の検査キット20の種別を判定する(S17)。本実施形態では、制御部11は、種別判別モデル12aを用いて検査キット20の種別を判定する。具体的には、制御部11は、撮影画像を種別判別モデル12aに入力し、種別判別モデル12aから出力された情報(各出力ノードからの出力情報)に基づいて、撮影画像中の検査キット20の種別を判定する。例えば制御部11は、種別判別モデル12aの出力ノードのうちで出力値が最大である出力ノードを特定し、特定した出力ノードに対応付けられている種別を、撮影画像中の検査キット20の種別に特定する。なお、各検査キット20のコード23が検査キット20の種別の情報を含む場合、制御部11は、撮影画像から読み取ったコード23の情報から種別の情報を取得してもよい。また制御部11は、入力部14を介した検査者による入力によって検査キット20の種別の情報を取得する構成でもよい。検査キット20の種別を特定した場合、制御部11は、特定した種別のキット種別ID及び検査時間をキット情報DB12cから読み出し、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。
【0034】
次に制御部11は、この検査キット20における検査開始からの経過時間の計時を開始する(S18)。なお、制御部11は、計時する経過時間を、例えば1秒毎、10秒毎等のように所定時間毎に、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。次に制御部11(判定部)は、ステップS17で判定した種別に応じた結果判別モデル12bを特定し、特定した結果判別モデル12bを用いて、検査情報DB12dに記憶した撮影画像(検査キット20の撮影領域)中の検査キット20による検査結果を判定する(S19)。ここでは制御部11は、撮影画像を結果判別モデル12bに入力し、結果判別モデル12bから出力された情報(各出力ノードからの出力情報)に基づいて、撮影画像中の検査キット20による検査結果を判定する。具体的には、制御部11は、結果判別モデル12bの出力ノードのうちで出力値が最大である出力ノードを特定し、特定した出力ノードに対応付けられている検査結果が陽性(インフルエンザ用の検査キット20の場合、A型B型共に陽性、A型のみ陽性、又はB型のみ陽性)である場合、特定した出力ノードからの出力値(最大の出力値)を取得する。即ち、制御部11は、検査結果が陽性であると判別すべき確率(陽性確率)を取得する。陽性確率を取得した場合、制御部11は、取得した陽性確率を、ステップS13で特定したエリアA~Dのエリア情報に対応付けて検査情報DB12dに記憶する。なお、制御部11は、陽性確率と共に、この陽性確率に対応する検査結果(陽性結果)も検査情報DB12dに記憶させてもよい。上述した処理により、いずれかのエリアA~Dに検査キット20が載置された場合に、検査キット20の撮影画像から、検査キット20に関する情報(キット種別ID及び検査時間)、検査キット20に対応する患者の情報(患者ID)、検査キット20による検査結果の判定状況(陽性確率)が特定されて検査情報DB12dに記憶される。
【0035】
制御部11は、ステップS19で判定した検査結果が示す陽性確率(判定確率)が所定閾値以上であるか否かを判断する(S20)。ここでの閾値は、撮影画像中の検査キット20による検査結果が陽性であると確定できる値であり、例えば80%(0.8)とすることができる。この閾値は予め設定されて、例えば記憶部12に記憶されている。陽性確率が閾値未満であると判断した場合(S20:NO)、制御部11は、この時点での経過時間(検査開始からの経過時間)が、この検査キット20の検査時間(検査に要する時間)を超えたか否かを判断する(S21)。具体的には、制御部11は、検査情報DB12dに記憶してある経過時間が、検査時間に到達したか否かを判断し、到達した場合、検査時間を超えた(即ち、検査時間が経過した)と判断する。検査時間を超えていないと判断した場合(S21:NO)、制御部11は、直近で検査キット20を撮影してから所定時間が経過するまで待機する。ここでの所定時間は、検査キット20を撮影して撮影画像中の検査キット20による検査結果を判定する処理を実行する時間間隔であり、例えば30秒又は1分としてもよい。
【0036】
制御部11は、直近で検査キット20を撮影してから所定時間が経過したか否かを判断し(S22)、経過していないと判断した場合(S22:NO)、待機する。所定時間が経過したと判断した場合(S22:YES)、制御部11は、カメラ17及び撮影用ライト18を用いて、載置面10b上の検査キット20の撮影画像を取得する(S23)。そして制御部11は、取得した撮影画像から、ステップS13で特定したエリアA~Dの撮影領域、即ち、判定対象としている検査キット20の撮影領域を抽出し(S24)、ステップS19の処理に戻る。なお、制御部11は、抽出した検査キット20の撮影領域を、ステップS13で特定したエリアA~Dのエリア情報に対応する最新の撮影画像として検査情報DB12dに記憶する。そして制御部11は、結果判別モデル12bを用いて、検査情報DB12dに記憶した最新の撮影画像中の検査キット20による検査結果を判定し(S19)、得られた陽性確率を、ステップS13で特定したエリアA~Dのエリア情報に対応する最新の陽性確率として検査情報DB12dに記憶する。なお、制御部11は、ステップS19の処理に戻る際に、ステップS24で取得した検査キット20の撮影領域に基づいて、検査キット20に対応する患者ID又はキット種別を再度取得してもよい。そして、取得した患者ID又はキット種別が、検査情報DB12dに記憶してある患者ID又はキット種別(キット種別ID及び検査時間)と同じであることを確認した上で、ステップS19の処理を行ってもよい。この場合、各被検者の検査結果の取り違えを防止できる。
【0037】
制御部11は、陽性確率が所定閾値以上となるまで、ステップS19~S24の処理を繰り返し、これにより、所定時間の経過毎(例えば1分毎)に、検査キット20を撮影し、撮影画像に基づいて検査キット20による検査結果を判定(陽性確率を取得)する処理を繰り返す。陽性確率が所定閾値以上であると判断した場合(S20:YES)、制御部11は、判定した検査結果(ここでは陽性である検査結果)を表示部15に表示して通知する(S25)。一方、ステップS21で検査時間が経過したと判断した場合(S21:YES)、即ち、陽性確率が所定閾値以上となる前に検査時間が経過した場合、制御部11は、判定した検査結果(ここでは陰性である検査結果)を表示部15に表示して通知する(S25)。なお、ステップS25で制御部11は、検査結果を表示するだけでなく、通知用ライト16を点灯又は点滅させることにより、判定処理の終了を通知してもよい。この場合、検査者が検査装置10から離れた位置にいる場合であっても、判定処理の終了を把握できる。また検査装置10が音声出力装置を有する場合、音声出力装置による音声出力によって判定処理の終了を通知してもよい。
【0038】
図7Aは表示部15に表示される検査結果画面例を示しており、検査結果画面は、各エリアA~Dに載置された検査キット20による検査結果の判定状況を表示する。具体的には、エリアA~D毎に、各エリアA~Dに載置された検査キット20について、検査キット20の撮影画像から特定された患者ID、キット種別ID及び撮影画像が表示される。また、エリアA~D毎に、検査キット20の種別に応じた検査時間の満了までの残りの判定時間(残り時間)と、判定処理の実行状況(ステータス)とが表示され、判定処理が終了した場合、判定結果(AI判定結果)が表示される。なお、検査装置10の前面側(開口部が設けられた面側)から見て載置面10bの各エリアA~Dの配置位置と、検査結果画面に表示される各エリアA~Dに関する情報(各エリアA~Dに載置された検査キット20に関する情報)の表示位置とが一致していることが望ましい。一致している場合、各エリアA~Dに載置された検査キット20と、検査結果画面に表示された各エリアA~Dの情報との対応付けが容易となり、検査結果の取り違えを抑制できる。
【0039】
制御部11は、検査情報DB12dに患者ID、キット種別ID及び撮影画像を記憶した場合に、記憶した各情報を、検査結果画面の各エリアA~Dの対応する位置に表示する。また制御部11は、検査情報DB12dに経過時間を記憶(更新)した場合、更新後の経過時間と、この検査キット20の検査時間とに基づいて残りの判定時間を算出し、算出した残り時間を検査結果画面の各エリアA~Dの対応する位置に表示する。更に制御部11は、各エリアA~Dのステータス情報として、空き状態であるエリアに対しては「キット待ち」を表示し、判定処理を開始した場合に「判定中」に更新し、判定処理を終了した場合に「結果確認」に更新する。なお、判定処理を終了した場合、制御部11は、ステップS25において判定した検査結果(AI判定結果)を、検査結果画面の各エリアA~Dの対応する位置に表示する。ステータス情報は、上述した例に限定されず、患者IDの取得中、キット種別の判別中等、判定処理の進行状況を示す各種の情報を用いてもよい。
【0040】
図7Aに示す検査結果画面は、エリアA~D毎に、表示された判定結果(判定した検査結果)の確定を指示するための確定ボタンと、判定結果の訂正(修正)を指示するための訂正ボタンとを表示する。確定ボタン及び訂正ボタンは、判定結果が出た場合に操作できるように表示されており、空き状態であるエリア又は判定処理中であるエリアに対応する確定ボタン及び訂正ボタンは操作できないように表示されている。検査者は、判定処理が終了して「結果確認」のステータスが表示されているエリアA~Dについて、エリアA~Dに載置されている検査キット20の判定領域22を確認し、検査キット20による検査結果を目視で判断する。そして検査者は、自身の判断とAI判定結果とが一致する場合、確定ボタンを操作し、一致しない場合、訂正ボタンを操作する。よって、制御部11は、検査結果画面において入力部14を介して確定ボタンが操作された場合、表示した判定結果に対する確定指示を受け付け、訂正ボタンが操作された場合、表示した判定結果に対する訂正指示を受け付ける。
【0041】
制御部11は、判定結果に対する確定指示を受け付けたか否かを判断しており(S26)、確定指示を受け付けたと判断した場合(S26:YES)、判定結果を確定して所定の装置へ送信し(S27)、このエリアに対する処理を終了する。例えば制御部11は、判定結果と、この患者の患者IDとを対応付けて、通信部13からネットワーク経由で電子カルテシステムへ送信する。電子カルテシステムは、検査装置10から受信した各患者の検査結果を電子カルテに追加し、これにより、検査装置10と電子カルテシステムとを連携させることができる。確定指示を受け付けていないと判断した場合(S26:NO)、即ち、訂正指示(修正指示)を受け付けた場合、制御部11は、結果表示画面の上に重ねて、
図7Bに示すような訂正受付画面を表示する(S28)。訂正受付画面は、例えば
図7Bに示すように、判定された検査結果に対して訂正可能な検査結果(訂正内容)を指定するための各ボタン(A型B型陽性ボタン、陰性ボタン、A型のみ陽性ボタン、B型のみ陽性ボタン)と、訂正処理を終了するためのキャンセルボタンとを表示する。なお、訂正内容を指定するためのボタンにおいて、判定された検査結果のボタンは選択できないように表示されていてもよい。即ち、
図7Aに示す画面においてエリアAに対する訂正ボタンが操作された場合、
図7Bに示す画面において陰性ボタンが選択できないように表示される。よって、検査者は、判定結果を訂正する場合、訂正したい内容に対応するボタンを操作し、判定結果を訂正しない場合、キャンセルボタンを操作する。
【0042】
訂正受付画面において入力部14を介してキャンセルボタンが操作された場合、制御部11は、訂正受付画面の表示を終了して検査結果画面の表示に戻す。訂正受付画面において入力部14を介して訂正内容に対応するボタンが操作された場合、制御部11は、操作されたボタンに対応する訂正内容(修正内容)を受け付ける(S29)。即ち、制御部11は、A型B型陽性ボタンが操作された場合、A型B型陽性への訂正指示を受け付け、A型のみ陽性ボタンが操作された場合、A型のみ陽性への訂正指示を受け付ける。制御部11は、受け付けた訂正内容を、検査情報DB12dに記憶した最新の撮影画像と、検査キット20の種別(例えばキット種別ID)とに対応付けて記憶部12に記憶する(S30)。なお、ここで記憶した訂正内容及び撮影画像は、キット種別IDの種別に対応する結果判別モデル12bを再学習させるための教師データ(再学習用データ)に用いることができる。制御部11は、受け付けた訂正内容に判定結果を訂正し(S31)、訂正後の判定結果を確定して所定の装置(例えば電子カルテシステム)へ送信し(S27)、このエリアに対する処理を終了する。
【0043】
本実施形態の検査装置10は、上述した処理により、載置面10b上に検査キット20が載置された場合に、検査キット20が載置されたこと及び載置されたエリアA~Dを自動的に判定する。また、検査装置10は、載置面10bに載置された検査キット20に対応する患者ID、検査キット20の種別、検査キット20による検査結果を自動的に判定する。よって、検査キット20を用いた検査において、医療従事者等の検査者が目視で検査結果を判定する際の作業負担を軽減できる。検査キット20は、複数のメーカから販売されており、検査キット20毎に使用方法又は検査に要する時間等が異なり、誤った使用方法で検査を行った場合、正確な検査結果が得られない虞がある。これに対して、本実施形態の検査装置10を用いることにより、検査者は検査キット20を載置面10bのいずれかのエリアA~Dに載置すればよく、検査キット20毎の検査時間又は検査結果の判定方法を正確に把握しておく必要がなく、検査者による負担を軽減できる。また、人手で判定を行う場合、検査キット20毎の検査時間又は検査結果の判定方法等を誤る可能性があるが、本実施形態の検査装置10では、このようなミスを回避でき、検査キット20による検査結果を高精度で判定することができる。本実施形態では、1台の検査装置10で複数メーカの検査キット20及び複数種類の検査キット20に対する検査結果の判定を行うことができる。よって、複数メーカの検査キット20及び複数種類の検査キット20を使用する医療機関等では特に効果が期待できる。
【0044】
本実施形態の検査装置10では、所定時間毎に検査キット20を撮影し、得られた撮影画像に基づいて検査結果の判定が行われ、例えば陽性確率が所定閾値(例えば80%)以上となった時点で、検査結果が陽性であることが通知される。従って、検査キット20に応じた検査時間が経過する前に陽性確率が所定閾値以上となった場合、検査時間の経過を待つことなく、早期に検査結果を通知することができる。よって、例えばインフルエンザの流行時期のように検査対象が多数有る場合であっても、多数の検査対象に対する検査結果を正確に且つ迅速に判定することができる。特に検査結果が陽性である被検者に対しては、検査結果を早期に通知することができ、医療機関での待ち時間の緩和が期待できる。
【0045】
本実施形態では、検査装置10が判定した検査結果(判定結果)が誤っている場合、検査結果画面を介して、判定結果を訂正できる。よって、検査装置10によって自動的に判定された検査結果が誤っていた場合に、例えば検査者によって入力された正解の検査結果に訂正できる。また、訂正した検査結果と撮影画像とを用いて結果判別モデル12bを再学習させることができ、この場合、より精度の高い結果判別モデル12bを実現できる。なお、結果判別モデル12bを再学習させる場合、例えばメーカが管理する学習装置が、各検査装置10で訂正された検査結果及び撮影画像(再学習用の教師データ)を収集し、収集した再学習用の教師データを用いて結果判別モデル12bを再学習させる。そして、再学習した結果判別モデル12bが検査装置10に提供されることにより、各検査装置10における結果判別モデル12bの更新が可能であり、各検査装置10はより高精度の結果判別モデル12bを使用することができる。また、種別判別モデル12aを用いて判別された検査キット20の種別についても、誤っていた場合に訂正できるように構成してもよく、この場合、種別判別モデル12aの再学習も可能となる。
【0046】
本実施形態では、検査装置10の載置面10bに各エリアA~Dの境界を明示するための分割線10cが設けられているが、分割線10cは必ずしも必要ではない。例えば、載置面10bの任意の位置に検査キット20が載置された場合に、検査装置10が、各検査キット20の載置位置を特定し、特定した位置に対応付けて各処理を行うことにより、任意の位置に載置された検査キット20に対する判定処理を行うことができる。例えば種別判別モデル12aをR-CNNで構成する場合、入力された撮影画像において、検査キット20の領域を抽出すると共に検査キット20の種別を判別する種別判別モデル12aを実現できる。このような種別判別モデル12aを用いる場合、載置面10bに分割線10cが設けられていなくてもよい。また本実施形態は、1つの種別判別モデル12a及び種別毎の結果判別モデル12b(複数の結果判別モデル12b)を用いて検査キット20による検査結果を判別する構成であるが、この構成に限定されない。例えば撮影画像が入力された場合に、撮影画像中の検査キット20の種別を判別することなく、検査キット20による検査結果を判別するように結果判別モデルを学習させてもよい。この場合、1つの結果判別モデルを用いて、入力された撮影画像中の検査キット20による検査結果を判定することができる。
【0047】
本実施形態では、載置面10bに載置された検査キット20のコード23を読み取ることによって、検査キット20に対応する被検者を特定できるので、判定した検査結果を電子カルテシステムと連携させることができる。しかし、検査装置10は、被検者を特定する構成を備えていなくてもよい。即ち、検査装置10は、載置面10bに検査キット20が載置された場合に、検査キット20の種別及び検査結果を判定して通知する構成であってもよい。この場合、各検査キット20と各被検者との対応付けは、例えば検査者が行えばよい。
【0048】
本実施形態では、結果判別モデル12bを用いて判別した陽性確率が所定閾値以上(80%以上)となった場合に、判定した結果(陽性である検査結果)が確定されてAI判定結果として検査結果画面に表示される。このほかに例えば、陽性確率が90%以上となった場合に、判定した結果(陽性である検査結果)が確定されて検査結果画面に表示される一方、陽性確率が80%以上90%未満の場合には、判定した結果(陽性である検査結果)と共に、検査者に判定結果の確認を促すメッセージ(例えば「要確認」)を表示するようにしてもよい。このようなメッセージを表示することにより、結果判別モデル12bを用いて判定した結果に対する確信度(陽性確率)が所定値未満である場合には検査者による確認を促すことができ、より正確な検査結果を被検者に提供できる。
【0049】
(実施形態2)
ユーザ端末を用いて検査キット20の撮影画像を取得し、ユーザ端末から撮影画像を取得したサーバ(情報処理装置)が、検査キット20による検査結果を判定する検査システムについて説明する。
図8は、実施形態2の検査システムの構成例を示す模式図である。本実施形態の検査システムは、複数のユーザ端末40と、ユーザ端末40から検査キット20の撮影画像を取得し、撮影画像に基づいて検査キット20による検査結果を判定してユーザ端末40に通知するサーバ30とを含む。サーバ30及びユーザ端末40のそれぞれは、インターネット等のネットワークNに接続可能に構成されており、ネットワークN経由で情報の送受信を行う。
【0050】
サーバ30は、本実施形態の検査システムを運営する業者等が管理する情報処理装置であり、サーバコンピュータ又はパーソナルコンピュータ等で構成される。サーバ30は、複数台設けられてもよいし、1台のサーバ内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。ユーザ端末40は、タブレット端末、スマートフォン、パーソナルコンピュータ等である。本実施形態では、ユーザ端末40は、ユーザによる操作に従って検査キット20を撮影する処理、得られた撮影画像をサーバ30へ送信する処理等、種々の情報処理を行う。またサーバ30は、ユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20による検査結果を判定する処理、判定結果をユーザ端末40へ送信する処理等、種々の情報処理を行う。
【0051】
図9は、実施形態2の検査システムの構成例を示すブロック図である。ユーザ端末40は、制御部41、記憶部42、通信部43、入力部44、表示部45、カメラ46等を含み、これらの各部はバスを介して相互に接続されている。制御部41は、CPU、MPU又はGPU等の1又は複数のプロセッサを含む。制御部41は、記憶部42に記憶してある制御プログラム42Pを適宜実行することにより、ユーザ端末40が行うべき種々の情報処理、制御処理等を行う。
【0052】
記憶部42は、RAM、フラッシュメモリ、ハードディスク、SSD等を含む。記憶部42は、制御部41が実行する制御プログラム42P及び制御プログラム42Pの実行に必要な各種のデータ等を予め記憶している。また記憶部42は、制御部41が制御プログラム42Pを実行する際に発生するデータ等を一時的に記憶する。更に記憶部42は、検査キット20の撮影画像に基づいて撮影画像中の検査キット20による検査結果をサーバ30に問い合わせるための検査結果判定アプリケーションプログラム(検査結果判定アプリ)42aを記憶する。
【0053】
通信部43は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースである。入力部44は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部41へ送出する。表示部45は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部41からの指示に従って各種の情報を表示する。なお、入力部44及び表示部45は一体として構成されたタッチパネルであってもよい。カメラ46は、制御部41からの指示に従って撮影を行い、取得した画像データ(撮影画像)を逐次制御部41へ送出する。
【0054】
ユーザ端末40において、記憶部42に記憶される制御プログラム及びデータは、制御部41が通信部43を介してネットワークN経由で外部装置からダウンロードして記憶部42に記憶してもよい。また、ユーザ端末40が可搬型記憶媒体に記憶された情報を読み取る読み取り部(図示せず)を有する場合、制御部41が読み取り部を介して可搬型記憶媒体から制御プログラム及びデータを読み取って記憶部42に記憶してもよい。
【0055】
サーバ30は、制御部31、記憶部32、通信部33、入力部34、表示部35、読み取り部36等を含み、これらの各部はバスを介して相互に接続されている。制御部31は、CPU、MPU又はGPU等の1又は複数のプロセッサを含む。制御部31は、記憶部32に記憶してある制御プログラム32Pを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等をサーバ30に行わせる。記憶部32は、RAM、フラッシュメモリ、ハードディスク、SSD等を含む。記憶部32は、制御部31が実行する制御プログラム32P及び制御プログラム32Pの実行に必要な各種のデータ等を予め記憶している。また記憶部32は、制御部31が制御プログラム32Pを実行する際に発生するデータ等を一時的に記憶する。また記憶部32は、実施形態1の種別判別モデル12a及び結果判別モデル12bと同様の種別判別モデル32a及び結果判別モデル32bを記憶しており、実施形態1のキット情報DB12cと同様のキット情報DB32cを記憶している。本実施形態のサーバ30においても、結果判別モデル32bは、種別判別モデル32aによる判別対象の検査キット20の種別(種類)毎に設けられている。またキット情報DB32cは、サーバ30に接続された外部記憶装置に記憶されてもよく、ネットワークNを介してサーバ30が通信可能な外部記憶装置に記憶されてもよい。なお、本実施形態では、キット情報DB32cはサーバ30の記憶部32に記憶されていなくてもよい。
【0056】
通信部33は、有線通信又は無線通信によってネットワークNに接続するためのインタフェースである。入力部34は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部31へ送出する。表示部35は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部31からの指示に従って各種の情報を表示する。なお、入力部34及び表示部35は一体として構成されたタッチパネルであってもよい。読み取り部36は、可搬型記憶媒体3aに記憶された情報を読み取る。記憶部32に記憶される制御プログラム及びデータは、制御部31が読み取り部36を介して可搬型記憶媒体3aから読み取って記憶部32に記憶されてもよい。また、制御部31が通信部33を介してネットワークN経由で外部装置から制御プログラム及びデータをダウンロードして記憶部32に記憶してもよい。更に、制御部31が半導体メモリ3bから制御プログラム及びデータを読み出してもよい。
【0057】
図10は、実施形態2のサーバ30による判定処理手順の一例を示すフローチャート、
図11A~
図11Dは画面例を示す模式図である。
図10では左側にユーザ端末40が行う処理を、右側にサーバ30が行う処理をそれぞれ示す。本実施形態では、検査キット20を用いた検査を行いたいユーザ(被検者)は、例えば自宅等で被検査物を採取し、被検査物を検査キット20の滴下領域21に滴下する。例えば被検者自身又は被検者の家族等(以下ではユーザという)が被検者の鼻腔ぬぐい液、咽頭ぬぐい液、鼻水、尿、唾液等の被検査物を採取し、検査キット20の滴下領域21に滴下する。そしてユーザは、例えば検査キット20の使用説明書に記載してある検査時間(検査に要する時間)待機した後、又は検査キット20の判定領域22に検査終了ラインが出現した後、ユーザ端末40を用いて検査結果判定アプリ42aを起動させる。なお、ユーザは、検査時間が分からない場合又は検査終了ラインの出現が分からない場合には、被検査物を滴下領域21に滴下した後の任意のタイミングで検査結果判定アプリ42aを起動させてもよい。ユーザ端末40の制御部41は、検査結果判定アプリ42aを実行した場合、カメラ46を起動し(S41)、カメラ46による動画の撮影を開始する。
【0058】
制御部41は、例えば
図11Aに示すような案内画面を表示部45に表示する(S42)。案内画面は、検査キット20の判定領域22(判定ライン及び検査終了ライン)の撮影(静止画の撮影)を案内するメッセージを表示する。また案内画面は、カメラ46による撮影画像(動画及び静止画)を表示する画像欄と、静止画の撮影を指示するための撮影ボタンとを有する。制御部41は、カメラ46にて取得する動画を案内画面中の画像欄に逐次表示し、ユーザは、画像欄に表示された動画を確認し、検査キット20の上面が撮影できる状態で入力部44を介して撮影ボタンを操作する。案内画面において撮影ボタンが操作された場合、制御部41は、カメラ46による静止画の撮影指示を受け付け、検査キット20の上面の撮影画像(静止画)を取得する。よって、制御部41は、案内画面を介して静止画の撮影指示を受け付けたか否かを判断しており(S43)、撮影指示を受け付けていないと判断した場合(S43:NO)、案内画面の表示を継続する。
【0059】
静止画の撮影指示を受け付けたと判断した場合(S43:YES)、制御部41は、カメラ46による静止画の撮影を行い、検査キット20の上面の撮影画像を取得する(S44)。制御部41は、
図11Bに示すように、取得した撮影画像(静止画)を案内画面中の画像欄に表示する(S45)。
図11Bに示す案内画面は、検査キット20の撮影画像(静止画)を表示し、表示した撮影画像をサーバ30へ送信するか否かを問うメッセージを表示する。また案内画面は、撮影画像の送信を指示するための送信ボタンと、検査キット20の撮影画像の撮り直しを指示するための撮り直しボタンとを有する。ユーザは、画像欄に表示された撮影画像をサーバ30へ送信する場合、入力部44を介して送信ボタンを操作することにより、撮影画像のサーバ30への送信を指示し、撮影画像を撮り直す場合、入力部44を介して撮り直しボタンを操作することにより、撮影画像の撮り直しを指示する。よって、制御部41は、案内画面を介して撮影画像の送信指示を受け付けたか否かを判断しており(S46)、送信指示を受け付けていないと判断した場合(S46:NO)、即ち、撮り直しが指示された場合、ステップS42の処理に戻り、
図11Aに示す案内画面の表示に戻る。撮影画像の送信指示を受け付けたと判断した場合(S46:YES)、制御部41は、画像欄に表示中の撮影画像をサーバ30へ送信する(S47)。なお、制御部41は、撮影画像と共に、自身のユーザ端末40の情報(例えば宛先情報)をサーバ30へ送信する。
【0060】
サーバ30の制御部31(画像取得部)は、ユーザ端末40から検査キット20の撮影画像を受信し、種別判別モデル32aを用いて、受信した撮影画像中の検査キット20の種別を判定する(S48)。ここでは、
図5中のステップS17と同様に、制御部31は、撮影画像を種別判別モデル32aに入力し、種別判別モデル32aからの出力情報に基づいて、撮影画像中の検査キット20の種別を特定する。検査キット20の種別を特定した場合、制御部31(判定部)は、特定した種別に応じた結果判別モデル32bを特定し、特定した結果判別モデル32bを用いて、受信した撮影画像中の検査キット20による検査結果を判定する(S49)。ここでは、
図6中のステップS19と同様に、制御部31は、撮影画像を結果判別モデル32bに入力し、結果判別モデル32bからの出力情報に基づいて、撮影画像中の検査キット20による検査結果が陽性であるか陰性であるかを判定する。具体的には、制御部31は、検査結果が陽性であると判別すべき確率(陽性確率)を取得する。
【0061】
制御部31は、取得した陽性確率が所定閾値以上(例えば80%以上)であるか否かを判断する(S50)。閾値以上であると判断した場合(S50:YES)、制御部31(出力部)は、判定した結果(ここでは陽性である検査結果)をユーザ端末40へ送信する(S51)。なお、制御部31は、ユーザ端末40から撮影画像と共に受信したユーザ端末40の情報(宛先情報)を用いて判定結果(検査結果)をユーザ端末40へ送信する。一方、取得した陽性確率が所定閾値未満であると判断した場合(S50:NO)、制御部31(出力部)は、陰性である検査結果をユーザ端末40へ送信する(S52)。
【0062】
ユーザ端末40の制御部41は、サーバ30から判定結果(検査結果)を受信した場合、受信した検査結果を表示部45に表示し(S53)、処理を終了する。
図11Cはサーバ30によって陽性であると判定された検査結果の表示例を示し、
図11Dはサーバ30によって陰性であると判定された検査結果の表示例を示す。このような通知画面によって、ユーザ端末40のユーザは、自身が撮影した検査キット20による検査結果をサーバ30から取得できる。よって、本実施形態では、自宅で検査キット20を用いて検査を行う場合に、検査キット20による検査結果の判定をサーバ30で行うことができる。従って、ユーザは検査キット20の使用方法について把握している必要がなく、より手軽に検査キット20を使用することができる。また、例えばユーザ端末40に、ユーザの身長、体重、血圧、体温、心拍数等の生体データを管理する健康管理アプリがインストールされている場合、制御部41は、サーバ30から受信した検査キット20による検査結果を健康管理アプリに連携させてもよい。この場合、ユーザは使い慣れている健康管理アプリを介して、検査キット20による検査結果を把握できるので利便性が向上する。
【0063】
本実施形態において、結果判別モデル32bを、検査結果が陽性であると判別すべき確率(陰性確率)及び検査結果が陰性であると判別すべき確率(陰性確率)に加えて、判定不可とすべき確率(判定不可確率)を出力するように構成することもできる。例えば、検査終了ラインが出現していない状態の検査キット20の撮影画像に対して判定不可とすべき確率として高い値が出力されるように結果判別モデル32bを学習させてもよい。この場合、サーバ30は、陽性確率及び陰性確率に基づいて検査結果が陽性又は陰性であると確定するだけでなく、判定不可確率が所定閾値以上(例えば50%以上)である場合に、検査キット20の撮影画像の再送をユーザ端末40に要求するように構成してもよい。撮影画像の再送を要求されたユーザ端末40は、例えば
図11Aに示す案内画面の表示に戻り、再度検査キット20の撮影画像を取得してサーバ30へ送信し、サーバ30は、受信した撮影画像に基づいて再度検査結果の判定を行うことができる。これにより、例えば、最初に検査キット20を撮影したタイミングが検査時間の経過前であった場合、又は撮影画像が検査結果を判定できない画像であった場合等であっても、再度撮影された画像を用いて検査結果の判定を行い、検査キット20の正確な検査結果をユーザに通知できる。
【0064】
本実施形態のユーザ端末40において、ユーザによる操作に基づいて検査キット20の静止画を取得する構成の代わりに、自動的に検査キット20の静止画を撮影するように構成してもよい。即ち、カメラ46によって検査キット20の動画を撮影している場合に、高精度の静止画を撮影できるタイミングで自動的に検査キット20の静止画を取得するようにユーザ端末40を構成してもよい。この場合、ユーザは、検査キット20の上面にユーザ端末40をかざす(カメラ46によって検査キット20の動画を撮影する)だけで、検査キット20の静止画を高精度に取得できる。よって、ユーザは、例えば
図11Aに示す案内画面中の撮影ボタンを操作する必要がなく、ユーザの操作性がより向上する。
【0065】
本実施形態において、ユーザ端末40は、被検者又は被検者の家族等の端末のほかに、医療機関等において検査者が使用する端末であってもよい。例えば1つの医療機関に1つのサーバ30を設置しておき、この医療機関内の検査者が、ユーザ端末40を用いて検査キット20を撮影して撮影画像をサーバ30へ送信し、サーバ30から判定結果を取得する構成とすることができる。この場合、大規模な医療機関において、検査キット20を使用して検査を行う場所が複数箇所有る場合であっても、それぞれの検査場所(例えば各診療科の診察室又は処置室等)で検査キット20の撮影画像を取得してサーバ30へ送信することにより、検査キット20による正確な検査結果を得ることができる。また、ネットワークN上にサーバ30を用意しておき、複数の医療機関の検査者が、ユーザ端末40を用いて検査キット20を撮影して撮影画像をサーバ30へ送信し、サーバ30から判定結果を取得する構成としてもよい。この場合、1つのサーバ30を複数の医療機関における検査者で共有できる。また、新しい種類の検査キット20が販売された場合であっても、サーバ30を管理する管理者側で種別判別モデル32a及び結果判別モデル32bの更新を行うことができる。よって、医療機関側では判別モデル32a,32bの更新処理を行うことなく、最新の種別判別モデル32a及び結果判別モデル32bを使用した判定結果を得ることができる。
【0066】
(実施形態3)
実施形態2の検査システムにおいて、サーバ30で判定した結果(検査キット20による検査結果)が誤りである場合に訂正内容がユーザ端末40からサーバ30へ送信される構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。
図12は、実施形態3のサーバ30による判定処理手順の一例を示すフローチャート、
図13A及び
図13Bは画面例を示す模式図である。
図12に示す処理は、
図10に示す処理においてステップS53の後にステップS61~S65を追加したものである。
図10と同じステップについては説明を省略する。また
図12では、
図10中のステップS41~S52の図示を省略している。
【0067】
本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48~S52の処理を行う。これにより、ユーザ端末40で撮影された検査キット20の撮影画像に基づいて、サーバ30が検査キット20による検査結果を判定し、判定した結果をユーザ端末40に送信する。そして、ユーザ端末40の制御部41は、サーバ30から受信した判定結果(検査結果)を表示部45に表示する(S53)。本実施形態のサーバ30では、制御部31は、検査キット20による検査結果が陽性であると判断した場合、具体的には陽性確率が所定閾値以上であると判断した場合、
図13Aに示すような検査結果画面を生成してユーザ端末40へ送信する。これにより、ユーザ端末40は、
図13Aに示すような検査結果画面を表示部45に表示する。
図13Aに示す検査結果画面は、検査キット20による検査結果が陽性と判定されたことを通知するメッセージと、検査結果の判定に用いた検査キット20の撮影画像とを表示する。なお、サーバ30の制御部31は、検査キット20による検査結果が陰性であると判断した場合、検査結果が陰性と判定されたことを通知する検査結果画面を生成してユーザ端末40へ送信する。
【0068】
また検査結果画面は、通知した判定結果の訂正(修正)を指示するための訂正ボタンと、検査結果判定アプリ42aの終了を指示するための終了ボタンとを有する。よって、ユーザは、検査に用いた検査キット20の判定領域22(判定ライン)による検査結果を目視で判断し、自身の判断と、検査結果画面にて通知された判定結果とが一致するか否かを判断する。そしてユーザは、自身の判断と通知された判定結果とが一致する場合、終了ボタンを操作し、一致しない場合、訂正ボタンを操作する。制御部41は、検査結果画面において入力部44を介して訂正ボタンが操作された場合、通知された判定結果に対する訂正指示を受け付け、終了ボタンが操作された場合、検査結果判定アプリ42aの終了指示を受け付ける。
【0069】
制御部41は、判定結果に対する訂正指示を受け付けたか否かを判断しており(S61)、訂正指示を受け付けたと判断した場合(S61:YES)、例えば
図13Bに示すような訂正受付画面を表示部45に表示する(S62)。訂正受付画面は、例えば判定結果がA型陽性である場合、
図13Bに示すように、判定結果に対して訂正可能な検査結果(訂正内容)を指定するための各ボタン(A型B型陽性ボタン、陰性ボタン、B型のみ陽性ボタン)と、訂正処理を終了するためのキャンセルボタンとを表示する。よって、ユーザは、判定結果を訂正する場合、訂正したい内容に対応するボタンを操作し、判定結果を訂正しない場合、キャンセルボタンを操作する。
【0070】
訂正受付画面において入力部44を介してキャンセルボタンが操作された場合、制御部41は、訂正受付画面の表示を終了して検査結果画面の表示に戻す。訂正受付画面において訂正内容に対応するボタンが操作された場合、制御部41は、操作されたボタンに対応する訂正内容を受け付ける(S63)。即ち、制御部41は、例えばA型B型陽性ボタンが操作された場合、A型B型陽性への訂正指示を受け付ける。制御部41は、受け付けた訂正内容と、検査結果画面に表示された検査キット20の撮影画像とを対応付けてサーバ30へ送信する(S64)。
【0071】
サーバ30の制御部31は、ユーザ端末40から訂正内容及び撮影画像を受信した場合、受信した訂正内容及び撮影画像を対応付けて、例えば記憶部32に記憶し(S65)、処理を終了する。なお、制御部41は、検査結果画面を介して判定結果に対する訂正指示を受け付けていないと判断した場合(S61:NO)、即ち、検査結果判定アプリ42aの終了指示を受け付けた場合、ステップS62~S64の処理をスキップして処理を終了する。サーバ30に記憶された訂正内容及び撮影画像は、撮影画像中の検査キット20の種別に対応する結果判別モデル32bを再学習させるための教師データ(再学習用データ)に用いることができる。例えば、サーバ30の制御部31は、種別判別モデル32aを用いて、再学習用データの撮影画像中の検査キット20の種別を判定し、判定した種別に対応する結果判別モデル32bに対して、再学習用データの撮影画像及び訂正内容が示す検査結果を教師データとして再学習させることができる。これにより、より高精度に検査キット20による検査結果を判別できる結果判別モデル32bを得ることができる。
【0072】
本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30が判定した検査結果(判定結果)が誤っている場合に、サーバ30がユーザ端末40から正解の検査結果を取得することができる。よって、サーバ30は、ユーザ端末40から正解の検査結果及び検査キット20の撮影画像を取得することができ、結果判別モデル32bを再学習させるための教師データを収集することができる。また、収集した教師データを用いて結果判別モデル32bを再学習させた場合には、より高精度な結果判別モデル12bを実現できる。
【0073】
(実施形態4)
実施形態2の検査システムにおいて、ユーザ端末40が検査キット20の撮影画像をサーバ30へ送信する際に、ユーザ端末40の現在位置を示す位置情報も送信する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。
図14は、実施形態4のサーバ30による判定処理手順の一例を示すフローチャートである。
図14に示す処理は、
図10に示す処理においてステップS47の代わりにステップS71~S72を追加し、ステップS51の後にステップS73を追加したものである。
図10と同じステップについては説明を省略する。また
図14では、
図10中のステップS41~S45の図示を省略している。
【0074】
本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S46の処理を行う。そして、ユーザ端末40の制御部41は、案内画面を介して撮影画像の送信指示を受け付けたと判断した場合(S46:YES)、自身のユーザ端末40の現在位置を示す位置情報を取得する(S71)。例えばユーザ端末40がGPS(Global Positioning System )衛星から送信される電波を受信するGPSアンテナを有する場合、制御部41は、GPSアンテナを介して受信した電波に基づいて現在位置を取得する。また例えば、制御部41は、入力部44を介したユーザからの入力によって位置情報を取得してもよい。この場合、制御部41は、例えば日本における都道府県のいずれか、又は東北地方、関東地方、近畿地方等の地方のいずれかを選択するための選択画面を表示部45に表示し、選択画面を介して位置情報の選択を受け付けるように構成してもよい。なお、現在位置の取得方法は、これらの方法に限定されない。制御部41は、取得した位置情報と、案内画面に表示中の撮影画像とを対応付けてサーバ30へ送信する(S72)。
【0075】
サーバ30の制御部31(位置取得部)は、ユーザ端末40から位置情報及び撮影画像を受信し、受信した撮影画像に基づいてステップS48~S52の処理を行う。これにより、ユーザ端末40で撮影された検査キット20の撮影画像に基づいてサーバ30が判定した検査結果をユーザ端末40に送信できる。そして、ユーザ端末40の制御部41は、サーバ30から受信した判定結果(検査結果)を表示する(S53)。
【0076】
本実施形態のサーバ30では、制御部31(計数部)は、ステップS51の処理後、ユーザ端末40から受信していた位置情報に基づいて、この位置情報が示す位置を含む地域を特定し、特定した地域に対応する陽性数に1を加算する(S73)。即ち、サーバ30は、陽性の検査結果が生じた場合に、ユーザ端末40の地域(位置情報)毎の陽性数(発症数)を計数する。なお、地域とは、例えば日本における都道府県であってもよく、東北地方、関東地方、近畿地方等の地方であってもよい。このようにサーバ30が地域毎の発症数(陽性数)を計数することにより、インフルエンザ等の病気の流行傾向等を予測できる。制御部31は、予め設定された複数の地域のそれぞれに対応する陽性数を例えば記憶部32に記憶しており、記憶部32に記憶してある各地域の陽性数に1を加算することにより、地域毎の陽性数を計数する。なお、制御部31は、日付毎に各地域の陽性数を計数してもよいし、1日のうちの所定時間帯毎に各地域の陽性数を計数してもよい。
【0077】
本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査結果が陽性であると判断した数(陽性数)を地域毎に計数できる。また、本実施形態の構成は、実施形態3の検査システムにも適用でき、実施形態3の検査システムに適用した場合であっても同様の効果が得られる。
【0078】
(実施形態5)
実施形態1の検査装置10において、検査キット20の種別毎に検査キット20の使用数を計数する構成を有する検査装置10について説明する。本実施形態の検査装置は、実施形態1の検査装置10と同様の構成を有するので、構成については説明を省略する。
図15は、実施形態5の検査装置10による判定処理手順の一例を示すフローチャートである。
図15に示す処理は、
図5及び
図6に示す処理においてステップS17及びステップS18の間にステップS81を追加したものである。
図5及び
図6と同じステップについては説明を省略する。また
図15では、
図6中の各ステップの図示を省略している。
【0079】
本実施形態において、検査装置10の制御部11は、実施形態1と同様にステップS11~S17の処理を行う。そして、本実施形態の検査装置10では、制御部11は、ステップS17で判定した検査キット20の種別に対応する検査キット20の使用数に1を加算する(S81)。これにより、検査装置10によって検査結果が判定される検査キット20の使用数を種別毎に計数できる。なお、制御部11は、検査キット20の種別毎に対応する使用数を例えば記憶部12に記憶しており、記憶部12に記憶してある各種別の使用数に1を加算することにより、種別毎の使用数を計数する。また制御部11は、日付毎に各種別の使用数を計数してもよいし、1週間又は1ヶ月等の所定期間毎に各種別の使用数を計数してもよい。ステップS81の処理後、制御部11は、実施形態1と同様にステップS18以降の処理を行う。
【0080】
本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、検査装置10が検査結果を判定した検査キット20について、種別毎の使用数を計数できる。よって、それぞれの種別の検査キット20について実際の使用数を把握できるので、検査キット20の在庫管理が容易となり、次に購入すべき仕入数の決定が容易となる。また、各検査キット20の在庫数を把握できるので、例えば在庫数が所定数未満となった場合に、販売元のメーカに自動的に発注する機能を検査装置10に設けることもできる。
【0081】
本実施形態の構成は、実施形態2~4の検査システムにも適用できる。なお、実施形態2~4の検査システムに適用した場合、例えば被検者が自宅等で使用した検査キット20について、種別毎の使用数を計数できる。よって、例えばメーカ毎のシェアを把握することができる。また、各メーカは、種別毎の使用数に基づいて、次に製造すべき検査キット20の製造数を適正に決定でき、過剰な在庫の発生を抑制できる。
【0082】
(実施形態6)
実施形態2の検査システムにおいて、サーバ30がユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20の使用期限に関する情報を取得し、使用期限が経過していた場合にその旨をユーザ端末40のユーザに通知する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。
図16は、実施形態6のサーバ30による判定処理手順の一例を示すフローチャートである。
図16に示す処理は、
図10に示す処理においてステップS48及びステップS49の間にステップS91を追加し、ステップS49及びステップS50の間にステップS92~S93を追加したものである。
図10と同じステップについては説明を省略する。また
図16では、
図10中のステップS41~S46の図示を省略している。
【0083】
本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48の処理を行う。そして、本実施形態のサーバ30では、制御部31(期限取得部)は、ユーザ端末40から受信した撮影画像から、撮影画像中の検査キット20の使用期限に関する情報(使用期限情報)を取得する(S91)。例えば使用期限情報(使用期限の年月日)を各検査キット20の上面に印字しておき、制御部31は、撮影画像から使用期限情報を読み取ってもよい。また、各検査キット20のコード23が使用期限情報を含む場合、制御部31は、撮影画像から読み取ったコード23の情報から使用期限情報を取得してもよい。また、検査キット20の製品番号又はロット番号等のキット情報を各検査キット20の上面に印字しておき、制御部31は、撮影画像からキット情報を読み取り、読み取ったキット情報に対応する使用期限を特定してもよい。この場合、検査キット20のキット情報に対応する使用期限の情報を予め記憶部32に記憶しておく。また、各検査キット20のコード23にキット情報を含め、撮影画像から読み取ったコード23の情報からキット情報を取得し、取得したキット情報に対応する使用期限の情報を取得してもよい。
【0084】
サーバ30の制御部31は、使用期限情報を取得した後、ステップS49の処理を行い、受信した撮影画像中の検査キット20による検査結果を判定する。そして、制御部31(判断部)は、ステップS91で取得した使用期限情報に基づいて、使用期限が経過しているか否かを判断する(S92)。例えば制御部31は、この時点の現在日時と使用期限とを比較し、使用期限が経過しているか否かを判断する。また制御部31は、ユーザ端末40から撮影画像を受信した受信日時と使用期限とを比較し、使用期限が経過しているか否かを判断してもよく、ユーザ端末40から受信した撮影画像に撮影日時の情報が含まれる場合、撮影日時と使用期限とを比較し、使用期限が経過しているか否かを判断してもよい。
【0085】
制御部31は、使用期限が経過していると判断した場合(S92:YES)、使用期限が経過していることを通知するためのメッセージ(期限通知情報)を生成する(S93)。使用期限が経過していないと判断した場合(S92:NO)、制御部31はステップS93の処理をスキップする。そして、制御部31は、ステップS49で取得した陽性確率が所定閾値以上であるか否かを判断し(S50)、閾値以上であると判断した場合(S50:YES)、陽性である検査結果を、ステップS93で生成したメッセージ(期限通知情報)と共にユーザ端末40へ送信する(S51)。また制御部31は、陽性確率が所定閾値未満であると判断した場合(S50:NO)、陰性である検査結果を、ステップS93で生成したメッセージ(期限通知情報)と共にユーザ端末40へ送信する(S52)。これにより、ユーザ端末40の制御部41は、サーバ30による判定結果(検査結果)と共に、使用期限が経過していた場合にはその旨を通知するメッセージを表示する(S53)。よって、使用期限が経過している検査キット20をユーザが誤って使用した場合に、サーバ30はその旨をユーザ(被検者)に通知できる。よって、ユーザは、再度使用期限が経過していない検査キット20を用いて検査を行うことができ、正確な検査結果を得ることができる。
【0086】
本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査キット20の使用期限が経過していないことを確認できる。また、使用期限が経過していた場合に、サーバ30からユーザ端末40へ使用期限が経過していることが通知されるので、ユーザは、使用期限が経過した検査キット20を使用していたことを把握できる。また、本実施形態の構成は、実施形態3~4の検査システムにも適用でき、実施形態3~4の検査システムに適用した場合であっても同様の効果が得られる。
【0087】
(実施形態7)
実施形態2の検査システムにおいて、サーバ30がユーザ端末40から受信した撮影画像に基づいて、撮影画像中の検査キット20による検査結果が陽性であると判定した場合に、治療可能な医療機関の情報又は市販薬の情報等をユーザ端末40のユーザに提供する構成を有する検査システムについて説明する。本実施形態の検査システムは、実施形態2の検査システムの各装置30,40と同様の装置によって実現されるので、構成については説明を省略する。
図17は、実施形態7のサーバ30による判定処理手順の一例を示すフローチャートである。
図17に示す処理は、
図10に示す処理においてステップS51の前にステップS101を追加したものである。
図10と同じステップについては説明を省略する。また
図17では、
図10中のステップS41~S46の図示を省略している。
【0088】
本実施形態において、実施形態2と同様に、ユーザ端末40の制御部41はステップS41~S47の処理を行い、サーバ30の制御部31はステップS48~S50の処理を行う。そして、本実施形態のサーバ30では、制御部31は、取得した陽性確率が所定閾値以上であると判断した場合(S50:YES)、陽性であると判定された病気に対応して治療が可能な医療機関又は診療科の情報(医療機関情報、紹介情報)を生成する(S101)。例えばサーバ30の記憶部32に、検査キット20の種別又は検査キット20による検査対象物に対応して、それぞれの病気の治療が可能な医療機関又は診療科の情報を記憶させておく。そして制御部31は、ステップS48で判定した検査キット20の種別に対応する医療機関又は診療科の情報を記憶部32から読み出す。そして制御部31は、読み出した医療機関又は診療科の情報と、判定した検査結果(ここでは陽性である検査結果)とをまとめてユーザ端末40へ送信する(S51)。これにより、ユーザ端末40の制御部41は、サーバ30による判定結果(検査結果)と共に、治療可能な医療機関又は診療科の情報を表示する(S53)。なお、ユーザ端末40のユーザに提供する情報は、医療機関又は診療科の情報のほかに、市販薬又は薬局の情報を含んでもよい。
【0089】
本実施形態においても実施形態2と同様の効果が得られる。また本実施形態では、サーバ30がユーザ端末40から受信した撮影画像に基づいて検査結果が陽性であると判断した場合に、ユーザ(被検者)に医療機関又は診療科の情報、或いは市販薬又は薬局の情報等を提供でき、医療機関の受診又は市販薬の服用を提案できる。また、本実施形態の構成は、実施形態3~4,6の検査システムにも適用でき、実施形態3~4,6の検査システムに適用した場合であっても同様の効果が得られる。
【0090】
(実施形態8)
実施形態1の検査装置10において、種別判別モデル12aの出力層に、判別対象の種別のいずれかに判別できない(判別不可能である)と判断すべき確率を出力する出力ノードを設けた構成について説明する。本実施形態の検査装置10は、種別判別モデル12a以外は、実施形態1の検査装置10と同様の構成を有するので、構成については説明を省略する。なお、本実施形態の種別判別モデル12aは、判別対象として学習させた検査キット20の種別のいずれであるか、又は判別対象の種別に判別できない(判別不可能である)ことを判別するように構成されている。よって、種別判別モデル12aにおいて、出力層は判別対象の種別の数に1を加算した数のノードを有し、1つのノードは、入力された撮影画像中の検査キット20の種別が判別対象の種別ではないと判断すべき確率を出力する。
【0091】
図18及び
図19は、実施形態8の検査装置10による判定処理手順の一例を示すフローチャートである。
図18及び
図19に示す処理は、
図5及び
図6に示す処理においてステップS17及びステップS18の間にステップS111~S113を追加したものである。
図5及び
図6と同じステップについては説明を省略する。本実施形態において、検査装置10の制御部11は、実施形態1と同様にステップS11~S17の処理を行う。なお、本実施形態の種別判別モデル12aは、撮影画像中の検査キット20の種別が、判別対象の種別のいずれであるか、又は判別不可能であるかを判別する。制御部11は、種別判別モデル12aからの出力情報に基づいて、撮影画像中の検査キット20の種別が、判別対象の種別のいずれであるかを判定できた(判定可能)か否かを判断する(S111)。判定できたと判断した場合(S111:YES)、制御部11は、ステップS18以降の処理を行う。
【0092】
判定できないと判断した場合(S111:NO)、制御部11は、判定できないことを示すエラーメッセージを表示部15に表示してエラー通知を行う(S112)。例えば制御部11は、表示部15に表示される検査結果画面において、判定対象の検査キット20に対応する表示領域のステータス情報として、「種別判定不能」等のエラーメッセージを表示する。また、制御部11は、エラーメッセージを表示するだけでなく、通知用ライト16を点灯又は点滅させることにより、エラーの発生を通知してもよく、検査装置10が音声出力装置を有する場合、音声出力装置による音声出力によってエラーの発生を通知してもよい。
【0093】
種別を判別できない検査キット20については、例えば検査者が目視で検査結果を確認し、入力部14を介して検査結果を入力する。よって、制御部11は、エラー通知を行った検査キット20に対して検査結果の入力を受け付けたか否かを判断しており(S113)、受け付けていないと判断した場合(S113:NO)、エラー通知を継続する(S112)。なお、例えば入力部14を介してエラー通知の終了が指示された場合、制御部11はエラー通知を終了してもよい。検査結果の入力を受け付けたと判断した場合(S113:YES)、制御部11は、ステップS27の処理に移行し、入力された検査結果を所定の装置(例えば電子カルテシステム)へ送信し(S27)、このエリアに対する処理を終了する。
【0094】
本実施形態においても実施形態1と同様の効果が得られる。また本実施形態では、種別判別モデル12aによって種別を判別できない検査キット20については、検査者による手入力によって検査結果を入力でき、電子カルテシステムに検査結果を登録できる。検査キット20は日々新しい種別のキットが販売されている。このような状況において、既に種別判別モデル12aで学習済みの検査キット20については自動的に検査結果の判定を行うことができ、学習済みでない検査キット20については検査者が目視によって検査結果の判定を行う。よって、検査者は、種別判別モデル12aで学習済みでない種別の検査キット20についてのみ目視で検査結果の判定を行えばよく、検査者が検査を行う際の負担が軽減できる。
【0095】
本実施形態の構成は、実施形態5の検査装置10、実施形態2~4,6~7の検査システムにも適用できる。なお、実施形態2~4,6~7の検査システムに適用した場合、例えばサーバ30が、ユーザ端末40から受信した撮影画像に基づいて、種別判別モデル32aを用いて撮影画像中の検査キット20の種別を判定した場合に、判別対象の種別のいずれであるかを判定できた場合は、判定した種別の結果判別モデル32bを用いて、撮影画像中の検査キット20による検査結果を判定する。一方、判別対象の種別のいずれであるかを判定できなかった場合は、サーバ30では判別できないことを示すエラーメッセージをユーザ端末40へ送信してエラー通知を行う。これにより、サーバ30は、ユーザ端末40のユーザに対して、ユーザから送信された撮影画像中の検査キット20による検査結果として、陽性又は陰性だけでなく、判別不可能であることを通知できる。
【0096】
(実施形態9)
上述した実施形態1~8では、検査キット20を使用して検査を行った際に、検査キット20による検査結果を検査装置10又はサーバ30で正確に判定する構成であった。このほかに、例えば製造メーカにおいて、検査キット20の出荷前に行う品質検査に検査装置10又はサーバ30を用いることもできる。例えば出荷前の検査キット20を撮影し、種別判別モデル12a,32aを用いて撮影画像中の検査キット20の種別を判定し、適切に判定できるか否かに応じて合格品又は不合格品に判別することができる。よって、従来目視で行っていた品質検査を検査装置10又はサーバ30を用いて自動で行うことにより、品質検査を効率良く行うことができると共に、品質にばらつきが少ない検査キット20を提供できる。
【0097】
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本開示の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0098】
10 検査装置
11 制御部
15 表示部
17 カメラ
20 検査キット
30 サーバ
31 制御部
33 通信部
40 ユーザ端末
41 制御部
10b 載置面
12a,32a 種別判別モデル
12b,32b 結果判別モデル