IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士レビオ株式会社の特許一覧

特許7273542分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-02
(45)【発行日】2023-05-15
(54)【発明の名称】分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法
(51)【国際特許分類】
   G01N 35/00 20060101AFI20230508BHJP
   G01N 35/02 20060101ALI20230508BHJP
   G06N 20/00 20190101ALI20230508BHJP
【FI】
G01N35/00 F
G01N35/02 C
G01N35/00 E
G06N20/00 130
【請求項の数】 14
(21)【出願番号】P 2019037764
(22)【出願日】2019-03-01
(65)【公開番号】P2020139915
(43)【公開日】2020-09-03
【審査請求日】2022-02-28
(73)【特許権者】
【識別番号】306008724
【氏名又は名称】富士レビオ株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】豊泉 大介
【審査官】野田 華代
(56)【参考文献】
【文献】特開2019-027927(JP,A)
【文献】国際公開第2018/022280(WO,A1)
【文献】特開2013-072806(JP,A)
【文献】国際公開第2018/217802(WO,A1)
【文献】特開2018-105690(JP,A)
【文献】国際公開第2012/030305(WO,A2)
【文献】特開2010-133925(JP,A)
【文献】特開2016-176846(JP,A)
【文献】特表2019-531463(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 35/00-37/00
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得する画像取得部と、
検体が収容された検体容器の撮影画像を受け付けて、前記検体および前記検体容器の状態に関する予測を出力する学習モデルに、前記画像取得部が取得した撮影画像を入力する入力部と、
入力された撮影画像に基づいて前記学習モデルから出力された予測を出力する出力部とを備え、
前記検体容器の状態は、前記バーコードラベルの貼付位置異常が存在するか否かを含み、
前記学習モデルから、前記貼付位置異常が存在する旨の予測が出力された場合、前記検体容器に関する分析を行なわない
分析装置。
【請求項2】
前記学習モデルは、前記貼付位置異常に加えて、前記検体に、溶血、黄疸、乳び、フィブリン、泡、異物、液量不足、液量過剰からなる群から選択された少なくとも1つ以上の分析阻害因子が存在するか否かに関する予測を出力する
請求項1に記載の分析装置。
【請求項3】
前記学習モデルは、前記貼付位置異常に加えて、前記検体容器が、規定外サイズ、キャップの有無、および、前記バーコードラベルの接着状態不十分からなる群から選択された少なくとも1つ以上の処理阻害形態であるか否か、に関する予測を出力す
請求項1または請求項2に記載の分析装置。
【請求項4】
前記画像取得部は、前記検体容器を前記バーコードラベルの反対側から撮影した撮影画像を取得する
請求項1から請求項3のいずれか一つに記載の分析装置。
【請求項5】
前記出力部が出力した予測に基づいて、前記画像取得部が取得した前記撮影画像に撮影された前記検体が収容された検体容器の分析装置による分析可否を判定する判定部と、
前記判定部による判定結果に基づいて前記検体容器を振り分ける振分部と
を備える請求項1から請求項4のいずれか一つに記載の分析装置。
【請求項6】
前記画像取得部が取得した撮影画像と、前記判定部が判定した判定結果とを表示する表示部と、
前記撮影画像に撮影された検体容器の分析装置による分析可否の入力を受け付ける受付部と
を備える請求項5に記載の分析装置。
【請求項7】
前記画像取得部が取得した撮影画像に撮影された前記検体容器が投入された分析装置から、分析時に発生したエラーを取得するエラー取得部と、
前記画像取得部が取得した撮影画像と、前記エラー取得部が取得したエラーとを関連づけて記録する記録部と
を備える請求項1から請求項6のいずれか一つに記載の分析装置。
【請求項8】
前記記録部に記録された情報に基づいて、前記学習モデルを更新する
請求項7に記載の分析装置。
【請求項9】
検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得する画像取得部と、
検体が収容された検体容器の撮影画像を受け付けて、前記検体および前記検体容器の状態に関する予測を出力する学習モデルに、前記画像取得部が取得した撮影画像を入力する
入力部と、
前記学習モデルから出力された予測に基づいて前記検体容器を振り分ける振分部と、
前記振分部により一方に振り分けられた前記検体容器内の検体を分析する分析部とを備え、
前記検体容器の状態は、前記バーコードラベルの貼付位置異常が存在するか否かを含み、
前記学習モデルから、前記貼付位置異常が存在する旨の予測が出力された場合、前記振分部は、前記検体容器を他方に振り分ける
検体前処理装置。
【請求項10】
ユーザによる判定結果を受け付ける受付部と、
検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得する画像取得部と、
検体が収容された検体容器の撮影画像を受け付けて、前記検体および前記検体容器の状態に関する予測を出力する学習モデルに、前記画像取得部が取得した撮影画像を入力する入力部と、
入力された撮影画像に基づいて前記学習モデルから出力された予測を出力する出力部と、
前記受付部が受け付けた判定結果と、前記出力部が出力した予測とを表示する表示部とを備え、
前記検体容器の状態は、前記バーコードラベルの貼付位置異常が存在するか否かを含む
訓練装置。
【請求項11】
検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得し、
検体が収容された検体容器の撮影画像を受け付けて、前記検体の状態に関する予測、および、前記バーコードラベルの貼付位置異常が存在するか否かを含む前記検体容器の状態に関する予測を出力する学習モデルに、取得した撮影画像を入力し、
入力された撮影画像に基づいて前記学習モデルから出力された予測を取得し、
前記学習モデルから、前記貼付位置異常が存在する旨の予測が出力された場合、前記検体容器に関する分析を行なわない
処理をコンピュータに実行させるプログラム。
【請求項12】
検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得し、
検体が収容された検体容器の撮影画像を受け付けて、前記検体の状態に関する予測、および、前記バーコードラベルの貼付位置異常が存在するか否かを含む前記検体容器の状態に関する予測を出力する学習モデルに、取得した撮影画像を入力し、
入力された撮影画像に基づいて前記学習モデルから出力された予測を取得し、
前記学習モデルから、前記貼付位置異常が存在する旨の予測が出力された場合、前記検体容器に関する分析を行なわない
処理をコンピュータ実行する情報処理方法。
【請求項13】
検体が収容されており、バーコードラベルが貼付された検体容器が撮影された撮影画像を受け付ける入力層と、
前記バーコードラベルの貼付位置異常が存在するか否かを出力する出力層と、
前記撮影画像と前記バーコードラベルの貼付位置異常が存在するか否かとを含む教師データに基づいてパラメータが学習された中間層とを備え、
検体が収容されており、バーコードラベルが貼付された検体容器が撮影された撮影画像が前記入力層に入力された場合に、前記中間層で演算を行ない、前記出力層からバーコードラベルの貼付位置異常が存在するか否かを出力する
処理に用いられる学習モデル。
【請求項14】
検体が収容されており、バーコードラベルが貼付された検体容器が撮影された撮影画像、および、前記バーコードラベルの貼付位置異常が存在するか否かを関連づけて記録した教師データを複数取得し、
取得した複数の前記教師データに基づいて、前記撮影画像を入力、前記バーコードラベルの貼付位置異常が存在するか否かを出力として、検体が収容された検体容器を撮影した撮影画像が入力された場合に、前記バーコードラベルの貼付位置異常が存在するか否かに関する予測を出力する学習モデルを生成する
学習モデルの生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分析装置、検体前処理装置、訓練装置、プログラム、情報処理方法、学習モデルおよび学習モデルの生成方法に関する。
【背景技術】
【0002】
血液や尿などの検体に対して、たとえば生化学検査、血液凝固検査等の種々の臨床検査手法を用いた分析が行なわれる。医師は、これらの分析結果を参照して、疾病の有無、および、疾病の程度等を判断して、治療方針を判断する。多数の検体に対して、複数の項目の分析を自動的に行なう分析装置が提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-146593号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の医療機関から検体を受け付けて、受託分析を行ない、分析結果を医療機関に報告する、いわゆる検査機関が運営されている。医療機関から検査機関に届けられる検体は様々な検体容器に採取されている。また検体容器内の検体の状態も様々である。
【0005】
これらの検体容器のなかには、そのまま分析装置に投入された場合、分析装置が処理できない可能性がある検体容器が混ざっている場合がある。処理できない可能性のある検体容器は、規定外寸法やキャップの外し忘れ、バーコードラベルの貼付位置がずれたもの剥がれたものなどの処理阻害形態を含む。処理できない可能性のある検体容器に対しては、臨床検査技師等の専門家がその検体容器を取り除き、適切な処理を行なってから再度分析装置に投入することが望ましい。
【0006】
これらの検体のなかには、そのまま分析装置に投入された場合、分析装置がエラーを起こす可能性がある検体が混ざっている場合がある。エラーを起こす可能性のある検体は、溶血、乳び、黄疸、フィブリンなどの分析阻害因子を含む。エラーを起こす可能性のある検体に対しては、臨床検査技師等の専門家が適切な処理を行ない、分析阻害因子を取り除いてから、分析装置に投入することが望ましい。
【0007】
一つの側面では、分析時にエラーを起こす可能性のある検体を検出する分析装置等を提供することを目的とする。
【課題を解決するための手段】
【0008】
分析装置は、検体が収容されており、バーコードラベルが貼付された検体容器の撮影画像を取得する画像取得部と、検体が収容された検体容器の撮影画像を受け付けて、前記検体および前記検体容器の状態に関する予測を出力する学習モデルに、前記画像取得部が取得した撮影画像を入力する入力部と、入力された撮影画像に基づいて前記学習モデルから出力された予測を出力する出力部とを備え、前記検体容器の状態は、前記バーコードラベルの貼付位置異常が存在するか否かを含み、前記学習モデルから、前記貼付位置異常が存在する旨の予測が出力された場合、前記検体容器に関する分析を行なわない。
【発明の効果】
【0009】
一つの側面では、分析時にエラーを起こす可能性のある検体を検出する分析装置等を提供できる。
【図面の簡単な説明】
【0010】
図1】分析システムの構成を説明する説明図である。
図2】分析システムの構成を説明する説明図である。
図3】検体容器の例を説明する説明図である。
図4】エラーを起こす可能性のある様々な検体または検体容器50の例を説明する説明図である。
図5】エラーを起こす可能性のある様々な検体または検体容器の例を説明する説明図である。
図6】エラーを起こす可能性のある様々な検体または検体容器の例を説明する説明図である。
図7】教師データDBのレコードレイアウトを説明する説明図である。
図8】検体情報DBのレコードレイアウトを説明する説明図である。
図9】学習モデルを用いた推定方法の概要を説明する説明図である。
図10】学習モデルを説明する説明図である。
図11】学習段階の画面例を説明する説明図である。
図12】使用初期段階におけるプログラムの処理の流れを示すフローチャートである。
図13】学習が中程度まで進んだ段階におけるプログラムの処理の流れを示すフローチャートである。
図14】学習が完了した段階におけるプログラムの処理の流れを示すフローチャートである。
図15】学習モデルを更新するプログラムの処理の流れを示すフローチャートである。
図16】実施の形態2の分析システムの構成を説明する説明図である。
図17】実施の形態2の学習モデルの構成を説明する説明図である。
図18】実施の形態2の教師データDBのレコードレイアウトを説明する説明図である。
図19】実施の形態2の学習モデルに含まれるそれぞれのモデルを説明する説明図である。
図20】実施の形態2の学習段階の画面例を説明する説明図である。
図21】実施の形態2の学習段階の画面例を説明する説明図である。
図22】実施の形態2の使用初期段階におけるプログラムの処理の流れを示すフローチャートである。
図23】実施の形態2の学習が中程度まで進んだ段階におけるプログラムの処理の流れを示すフローチャートである。
図24】実施の形態2の学習が完了した段階におけるプログラムの処理の流れを示すフローチャートである。
図25】実施の形態3の分析システムの構成を説明する説明図である。
図26】ログDBのレコードレイアウトを説明する説明図である。
図27】実施の形態3の学習データ修正画面の例を説明する説明図である。
図28】実施の形態3の学習モデルを更新するプログラムの処理の流れを示すフローチャートである。
図29】実施の形態4の学習モデルの構成を説明する説明図である。
図30】フィードバックモデルを説明する説明図である。
図31】フィードバックDBのレコードレイアウトを説明する説明図である。
図32】実施の形態4のプログラムの処理の流れを示すフローチャートである。
図33】実施の形態4のエラー予測のサブルーチンの処理の流れを示すフローチャートである。
図34】フィードバックモデルを更新するプログラムの処理の流れを示すフローチャートである。
図35】実施の形態5の分析装置の構成を説明する説明図である。
図36】実施の形態5の学習モデルの構成を説明する説明図である。
図37】キャップ判定教師DBのレコードレイアウトを説明する説明図である。
図38】キャップ判定モデルを説明する説明図である。
図39】実施の形態5の画面例を説明する説明図である。
図40】実施の形態5のプログラムの処理の流れを示すフローチャートである。
図41】実施の形態6の画面例を説明する説明図である。
図42】実施の形態6の画面例を説明する説明図である。
図43】実施の形態6の画面例を説明する説明図である。
図44】実施の形態7の分析装置の機能ブロック図である。
図45】実施の形態8の分析システムの構成を示す説明図である。
【発明を実施するための形態】
【0011】
[実施の形態1]
まず、検体分析の処理の流れを説明する。医療機関においては、医師が患者の診察を行ない、必要な臨床検査項目を選択する。医師自身、または、医師の指示を受けた看護師等が、選択された臨床検査項目に応じて採血等の検体採取を行なう。採取された検体は、検体容器50(図1参照)に収容される。
【0012】
臨床検査項目によっては、抗凝固剤等の薬剤が入った検体容器50が検体採取に用いられる。採取後の検体に対して、遠心分離、または、冷凍等の処理が行なわれる場合もある。検体が収容された検体容器50は検査機関に輸送される。
【0013】
検査機関では、届けられた検体容器50の受け付けが行なわれて、医師が選択した検体ごとの検査項目が検体情報システム15内の検体情報DB68(図2参照)に登録される。なお、検体情報は、検体容器50との対応付けが可能なID(Identifier)を付して、ネットワーク経由で検体情報DB68に登録されてもよい。
【0014】
検体容器50は、検体前処理装置40(図1参照)に投入され、分析装置30(図1参照)による処理可否の仕分けが行なわれる。処理可能であると判定された検体容器50は、分析装置30に投入され、検体容器50に収容された検体に対して所定の項目の分析が行なわれる。なお、以下の説明では「検体容器50に収容された検体を分析する」ことを、「検体容器50を分析する」と省略して記載する場合がある。
【0015】
分析結果は、検査依頼元の医療機関に報告される。検体前処理装置40において、分析装置30による分析が不可能と判定された検体容器50に対しては、臨床検査技師等の専門家により適宜必要な処理が行なわれる。
【0016】
同一の分析装置30を使用する検査機関であっても、運営方針等により分析装置30による分析が可能であるか否かを判定する基準が異なる場合がある。たとえば、ある検査機関においてはある程度のエラー発生率を許容して、エラーが発生した後に専門家による対応を行なう。別の検査機関においては、分析装置30への投入前に、検体容器50の状態を調整し、分析装置30でのエラー発生率を低減させる。
【0017】
図1は、分析システム10の構成を説明する説明図である。分析システム10は、検体前処理装置40、分析装置30、検体回収部13および異常検体収容部12を含む。検体前処理装置40は、情報処理装置20、カメラ47、振分部48および検体投入部41を含む。情報処理装置20の構成については後述する。
【0018】
検体投入部41は、第1搬送部411を介して分析装置30に接続されている。異常検体収容部12は、第2搬送部121を介して検体前処理装置40に接続されている。分析装置30は、第3搬送部131を介して検体回収部13に接続されている。第1搬送部411、第2搬送部121および第3搬送部131は、たとえばベルトコンベアである。
【0019】
医療機関から届けられた検体容器50は、検体投入部41に投入され、第1搬送部411により順次搬送される。搬送の途中で検体容器50はカメラ47により撮影される。撮影された写真に基づいて、分析装置30による分析可否が情報処理装置20で判定される。
【0020】
分析装置30による分析ができないと判定された検体容器50は、振分部48に設けられた振分アーム481により第1搬送部411から第2搬送部121に移される。振分アーム481は、たとえばロボットアームである。第2搬送部121に移された検体容器50は、異常検体収容部12に収容される。臨床検査技師が、異常検体収容部12に収容された検体容器50を回収して、必要な処理を行なう。
【0021】
分析装置30による分析が可能であると判定された検体容器50は、そのまま分析装置30に投入される。分析装置30は、たとえば生化学分析装置、免疫測定装置、または、これらの装置を組み合わせた複合装置である。本実施の形態においては、血液等の液状の検体を分析する分析装置30を例にして説明する。
【0022】
分析装置30の内部でバーコードラベル51が読み込まれ、検体情報DB68に記録された項目の分析が自動的に行なわれる。分析装置30の構成は公知であるため、説明を省略する。分析が終了した検体容器50は、第3搬送部131を介して検体回収部13に回収される。
【0023】
図2は、分析システム10の構成を説明する説明図である。図2は、主に情報処理装置20の構成を中心に示す。情報処理装置20は、制御部21、主記憶装置22、補助記憶装置23、通信部24、表示部25、入力部26、カメラI/F(Interface)27、振分部I/F28およびバスを備える。制御部21は、本実施の形態のプログラムを実行する演算制御装置である。制御部21には、一または複数のCPU(Central Processing Unit)またはマルチコアCPU等が使用される。制御部21は、バスを介して情報処理装置20を構成するハードウェア各部と接続されている。
【0024】
主記憶装置22は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部21が行なう処理の途中で必要な情報および制御部21で実行中のプログラムが一時的に保存される。
【0025】
補助記憶装置23は、SRAM、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置23には、制御部21に実行させるプログラム、教師データDB(Database)61、学習モデル63およびプログラムの実行に必要な各種データが保存される。
【0026】
学習モデル63は、たとえば血液検体用学習モデル64、尿検体用学習モデル65等、検体の種類に応じた学習モデルを含む。以下の説明においては、検体の種類を限定しない場合には、血液検体用学習モデル64、尿検体用学習モデル65等を単に学習モデル63と記載する場合がある。教師データDB61および学習モデル63は、情報処理装置20に接続された外部の大容量記憶装置等に保存されていても良い。
【0027】
通信部24は、情報処理装置20とネットワークとの間の通信を行なうインターフェイスである。表示部25は、たとえば液晶表示パネル等である。入力部26は、キーボードおよびマウス等である。表示部25と入力部26とは、一体となっていわゆるタッチパネルを構成しても良い。
【0028】
カメラI/F27は、カメラ47と情報処理装置20とを接続するインターフェイスである。振分部I/F28は、振分部48と情報処理装置20とを接続するインターフェイスである。カメラI/F27および振分部I/F28は、たとえばUSB(Universal Serial Bus)コネクタである。カメラ47および振分部48は、無線LAN(Local Area Network)のような無線通信方式により情報処理装置20に接続されていてもよい。
【0029】
本実施の形態の情報処理装置20は、検体前処理装置40に内蔵された制御用コンピュータである。情報処理装置20は、汎用のパーソナルコンピュータ、タブレット、スマートフォン等の情報処理装置であってもよい。
【0030】
検体情報システム15は、汎用のサーバコンピュータ、パーソナルコンピュータ、または、大型計算機上で動作する仮想マシンでも良い。検体情報システム15は、クラウドコンピューティングシステムであってもよい。検体情報システム15の構成の詳細は、説明を省略する。
【0031】
検体容器50は、たとえば1本ずつ図示を省略するラックに保持されて、第1搬送部411により搬送されてもよい。または、検体容器50は、5本ずつラックに保持されて搬送されてもよい。そのようにする場合には、1個のラックに収容された検体容器50がカメラ47により1回でまとめて撮影され、画像処理により1本ずつの写真に分離されてもよい。ロボットアーム等により、ラックから1本の検体容器50が取り出されてカメラ47により撮影されてもよい。
【0032】
図3は、検体容器50の例を説明する説明図である。図3Aは、全血、血清、血漿、尿、または脳脊髄液等の、比較的多量に採取可能な液状の検体に適した試験管型の検体容器50を示す。検体容器50には、バーコードラベル51が貼付されている。図3においては、バーコードラベル51が紙面の奥側に貼付された状態を示す。
【0033】
図3Bは、チューブ53の上に、サンプルカップ52を取り付けた、いわゆるカップオンチューブ型の検体容器50を示す。チューブ53に、バーコードラベル51が貼付されている。カップオンチューブ型の検体容器50は、たとえば乳幼児の血液等、わずかな量しか採取できない検体に使用される。
【0034】
医療機関から検査機関に試験管型の検体容器50が輸送される際には、適切なキャップ55(図4参照)が取り付けられて、封止されている。
【0035】
図4から図6は、エラーを起こす可能性のある様々な検体または検体容器50の例を説明する説明図である。図4には、No.1からNo.9までの例を、図5には、No.10からNo.15までの例を、図6にはNo.16からNo.18までの例を、それぞれ表形式で示す。
【0036】
No.1からNo.15までの外観列には、検体容器50を斜め上方から見た図を模式的に示す。No.16からNo.18までの外観列には、検体容器50を斜め上方から見た図および真上から見た図を、それぞれ模式的に示す。No.7およびNo.8以外については、バーコードラベル51の記載を省略する。
【0037】
判定列の「可」は、分析装置30による分析が可能であることを示す。判定列の「不可」は分析装置30による分析ができないこと、すなわち分析装置に投入された場合にエラーを引き起こす可能性があることを示す。備考列には、備考を示す。
【0038】
No.1は、血清、血漿、尿または脳脊髄液等の検体を入れた試験管型の検体容器50の正常な状態を示す。No.1の検体容器50は、分析装置30による分析が可能である。No.2は、全血の検体を入れた試験管型の検体容器50の正常な状態を示す。採取した検体が、血餅と血清、または、血球成分と血漿の二層に分離している。No.2の検体容器50は、分析装置30による分析が可能である。
【0039】
No.3は、分析装置30で分析できない寸法の検体容器50を示す。No.4は、検体の液面近くに、検体から析出したフィブリンが浮いている検体容器50を示す。このように、液面近くにフィブリンが浮いている検体容器50が分析装置30に投入された場合、分注ノズルを用いて検体容器50内の検体を所定の分注容器に分注する分注工程において、分注ノズル詰まりが生じる可能性がある。
【0040】
No.5は、血清または血漿に乳びが生じた検体容器50を示す。このような乳びを含む検体が分析装置30に投入された場合、試薬との反応結果が正しく判定されない可能性がある。また、乳びの発生自体も、生化学検査の結果として重要である。なお図示を省略するが、検体が尿である場合にも乳びが生じる場合がある。
【0041】
No.6は、検体量が少なすぎる検体容器50を示す。必要な数の分注容器への分注ができない可能性がある。No.7は、バーコードラベル51が斜めに貼付されたなどの貼付位置異常の検体容器50を示す。分析装置30内で、バーコードラベル51を適切に読み取れないおそれがある。バーコードラベル貼付位置異常にはバーコードラベルの剥がれも含む。
【0042】
No.8は、バーコードラベル51が所定の向きに配置されていない検体容器50を示す。分析装置30内で、バーコードラベル51を適切に読み取れないおそれがある。なお、検体前処理装置40の内部で、たとえば振分アーム481等のロボットアームにより、検体容器50の向きを正常な向きに修正することにより、分析装置30による分析が可能な状態にできる。
【0043】
図示を省略するが、第1画像をバーコードラベル51の反対側から撮影することにより、バーコードラベル51の接着状態を判定できる。たとえ正常な向きおよび位置に貼付されているバーコードラベル51であっても、接着状態が不十分で分析装置30内で剥がれる可能性がある場合には、検体容器50は異常であり、分析装置30による分析を行なえない。
【0044】
No.9は、キャップ55を外し忘れた検体容器50を示す。キャップ55がついた状態では分注ノズルを差し込めないため、このままでは分析装置30による分析を行なえない。
【0045】
No.10は、血液検体に溶血が生じた検体容器50を示す。本来であれば黄色味を帯びた透明な液体である血清または血漿が、赤くなっている。溶血が生じている場合、検査項目によっては正しい分析を行なえない。図5においては判定列に「不可」と記載された例を示すが、検査機関の方針によっては溶血が生じている場合であっても分析装置30による分析を行なう場合がある。その場合には、分析結果とともに溶血が生じている旨を報告する。
【0046】
No.11は、血液検体に黄疸が生じた検体容器50を示す。本来であれば黄色味を帯びた透明な液体である血清または血漿が、濃い黄色になっている。黄疸の発生自体が、生化学検査の結果として重要である。なお、黄疸が生じている検体であっても分析は行なえる。検査を依頼した医師に対して、分析結果とともに黄疸が生じている旨を報告する。
【0047】
No.12は、検体量が過剰な検体容器50を示す。検体容器50内の検体量が多すぎる場合、分析装置30内で行なう攪拌操作を正常に行なえないため、正しい分析を行なえない。No.13は、検体中に血液成分由来の固形物やキャップの破片などの異物が混入した検体容器50を示す。このままでは分析装置30による分析を行なえない。
【0048】
No.14は、凍結保存されていた検体が解凍されていない検体容器50を示す。検体容器50中の検体の一部、または、全部が凍っている。一部が凍っている場合、検体の成分が不均一になっているため、正しい分析を行なえない。全部が凍っている場合には、分注ノズルを差し込むことができない。検体が完全に解凍するまで、分析装置30による分析を行なえない。
【0049】
No.15は、血液検体に分離剤を加えて遠心分離した際に遠心分離不良が発生した検体容器50を示す。血餅と血清との間、または、血球成分と血漿との間を分離するために、血液検体に分離剤を加えた後に遠心分離が行なわれる。遠心分離が適切に行なえていない場合、本来は白色であるはずの分離剤層に赤血球が混入して、赤く着色する。遠心分離が正常に行なわれず、血清または血漿を正しく分離できていないため、正しい分析を行なえない。
【0050】
No.16は、カップオンチューブ型の検体容器50の正常な状態を示す。No.16の検体容器50は、分析装置30による分析が可能である。
【0051】
No.17は、液面の縁に沿って気泡がある検体容器50を示す。No.17の検体容器50は、分析装置30による分析が可能である。No.18は、液面の中央部に気泡がある検体容器50を示す。このように、液面の中央部に気泡がある検体容器50が分析装置30に投入された場合、前述の分注工程で正しい量の検体を分取できない可能性がある。なお、図4から図6は検体容器50の状態の例示を示しており、検体容器50の状態はこれらに限定されない。
【0052】
図7は、教師データDB61のレコードレイアウトを説明する説明図である。教師データDB61は、検体種類と、検体容器50に仮に付与される仮検体IDと、撮影画像と、判定結果とを関連づけた教師データを記録するDBである。教師データDB61は、1組の教師データについて、1つのレコードを有する。
【0053】
教師データDB61は、検体種類フィールド、仮検体IDフィールド、撮影画像フィールド、および、判定結果フィールドを有する。撮影画像フィールドは、第1画像フィールドおよび第2画像フィールドを有する。判定結果フィールドは、総合判定フィールド、異物フィールド、フィブリンフィールド、泡フィールド、乳びフィールド、容器タイプフィールド、容器サイズフィールド、検体量フィールドおよびバーコードラベルフィールド等の各サブフィールドを有する。
【0054】
検体種類フィールドには、たとえば「全血」、「尿」、「血清」、「血漿」または「脳脊髄液」等の検体の種類が記録されている。仮検体IDフィールドには、検体容器50に仮に付与された仮検体IDが記録されている。
【0055】
第1画像フィールドには、検体容器50を横から撮影した画像が記録されている。第2画像フィールドには、検体容器50を真上から撮影した画像、すなわち検体の液面を撮影した画像が記録されている。第1画像フィールドに記録される画像と、第2画像フィールドに記録される画像とは、一台のカメラ47の位置を動かして撮影されても、2台のカメラ47でそれぞれ撮影されてもよい。
【0056】
総合判定フィールドには、検体容器50を分析装置30より分析可能であるか否かの総合判定が記録されている。「可」は、分析装置30により分析可能であることを示し、「不可」は、分析装置30による分析ができないことを示す。
【0057】
異物フィールドには、検体容器50内に分析の妨げになる異物が含まれているか否かが記録されている。「無」は、分析の妨げになる異物が含まれていないことを示し、「有」は、分析の妨げになる異物が含まれていることを示す。
【0058】
フィブリンフィールドには、検体容器50内に分析の妨げになるフィブリンが含まれているか否かが記録されている。「無」は、分析の妨げになるフィブリンが含まれていないことを示し、「有」は、分析の妨げになるフィブリンが含まれていることを示す。
【0059】
泡フィールドには、検体容器50内に分析の妨げになる泡が含まれているか否かが記録されている。「無」は、分析の妨げになる泡が含まれていないことを示し、「有」は、分析の妨げになる泡が含まれていることを示す。
【0060】
乳びフィールドには、検体容器50内の検体に分析の妨げになるレベルの乳びが生じているか否かが記録されている。「無」は、分析の妨げになるレベルの乳びが生じていないことを示し、「有」は、分析の妨げになるレベルの乳びが生じていることを示す。
【0061】
容器タイプフィールドには、検体容器50のタイプが記録されている。「試験管」は、試験管型の検体容器50であることを示し、「カップオンチューブ」は、カップオンチューブ型の検体容器50であることを示す。
【0062】
容器サイズフィールドには、検体容器50が分析装置30による処理が可能な寸法であるか否かが記録されている。「正常」は、分析装置30よる処理が可能なサイズであることを示し「異常」は、分析装置30による処理ができないサイズであることを示す。
【0063】
検体量フィールドには、検体容器50内に十分な量の検体が入っているか否かが記録されている。「正常」は、十分な量の検体が入っていることを示し、「異常」は、十分な量の検体が入っていないことを示す。
【0064】
バーコードラベルフィールドには、検体容器50に正しくバーコードラベル51が貼付されているか否かが記録されている。「正常」は、正しくバーコードラベル51が貼付されていることを示し、「異常」は、分析装置30内でバーコードラベル51が正常に読み取れない可能性、または、分析装置内でバーコードラベル51が剥落する可能性があることを示す。
【0065】
図8は、検体情報DB68のレコードレイアウトを説明する説明図である。検体情報DB68は、臨床検査を行なう検体に関する情報を記録するDBである。検体情報DB68は、医療機関IDフィールド、検体IDフィールド、検体種類フィールドおよび項目フィールドを有する。
【0066】
医療機関IDフィールドには、医療機関に固有に付与された医療機関IDが記録されている。検体IDフィールドには、検体に固有に付与された検体IDが記録されている。なお、検体IDは、バーコードラベル51に印刷されて、検体容器50に貼付されている。
【0067】
検体種類フィールドには、「全血」、「尿」、「血清」、「血漿」または「脳脊髄液」等の検体の種類が記録されている。項目フィールドには、医療機関から依頼された臨床検査項目が記録されている。検体情報DB68は、1つの検体について、1つのレコードを有する。
【0068】
図9は、学習モデル63を用いた推定方法の概要を説明する説明図である。本実施の形態の学習モデル63は、RCNN(Regions with Convolutional Neural Network)を用いて学習および推定を行なう。
【0069】
RCNNにおいては、カメラ47により撮影された画像から、複数の領域候補が抽出される。それぞれの領域候補の特徴量が、CNN(Convolutional Neural Network)により計算される。特徴量に基づいて、領域候補に何が映っているかが推定される。
【0070】
たとえば図9に示す例においては、検体容器50全体を含む領域候補から、検体容器50が試験管型であるか、または、カップオンチューブ型であるかが推定される。検体の液面よりも下の部分を含む領域候補から、分析の妨げになるフィブリンが析出しているか否かが推定される。
【0071】
なお、RCNNの代わりに、Fast RCNN、Faster RCNNまたはSSD(Single Shot Multibook Detector)、YOLO(You Only Look Once)等の、任意の物体検出アルゴリズムを使用してもよい。
【0072】
図10は、学習モデル63の概要を説明する説明図である。学習モデル63は、領域候補抽出部71と、分類部72と、図示を省略するニューラルネットワークとを含む。ニューラルネットワークは、畳込み層、プーリング層および全結合層を含む。学習モデル63に、検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像が入力される。
【0073】
領域候補抽出部71は、第1画像および第2画像から、様々なサイズの領域候補を抽出する。分類部72は、抽出された領域候補の特徴量を算出し、算出した特徴量に基づいて領域候補に映っている被写体を分類する。学習モデル63は、領域候補の抽出と分類とを繰り返し、入力を受け付けた画像の各部分に写っている被写体を判定する。
【0074】
学習モデル63は、所定の閾値よりも高い確率で分類が行なわれた領域候補について、領域の範囲、分類結果および分類の確度を出力する。図10に示す例では、第1画像にフィブリンが80パーセントの確率で写っている領域と、泡が90パーセントの確率で写っている領域とが検出されている。
【0075】
たとえば、学習モデル63により、泡が検出された場合であっても、図6を使用して説明した通り、端に存在する場合には分析の妨げにならないが、中央に存在する場合には分析の妨げになる。制御部21は、学習モデル63の出力に基づいて、検体容器50を分析装置30により分析できるか否かの総合判定を行なう。
【0076】
図11は、学習段階の画面例を説明する説明図である。図11は、個々の検査機関において、検査機関独自の条件を追加学習する際に用いられる画面例を示す。図11に示す画面には、仮検体ID欄811、第1結果欄8121、第2結果欄8122、撮影画像欄813、検出画像欄814、項目入力欄815、総合判定入力欄816、設定ボタン817およびキャンセルボタン818が表示されている。
【0077】
仮検体ID欄811には、検体容器50に仮に付与される仮検体IDが表示されている。撮影画像欄813には、カメラ47により撮影された画像のうち、制御部21が被写体を推定した領域候補を含む部分が表示されている。検出画像欄814には、撮影画像欄813に表示された部分に画像強調等の処理を行なわれた画像が表示されている。
【0078】
第1結果欄8121には、カメラ47により撮影された画像を学習モデル63に入力した場合に、学習モデル63から出力された結果が表示されている。第2結果欄8122には、カメラ47により撮影された画像を学習モデル63に入力した場合に、学習モデル63から出力された総合判定が表示されている。総合判定は、検体容器50を分析装置30に投入してエラーが生じない確率、すなわち、分析装置30による分析が成功する確率で表示される。項目入力欄815および総合判定入力欄816は、プルダウンメニューによりユーザからの入力を受け付ける。
【0079】
設定ボタン817が選択された場合、制御部21は、項目入力欄815および総合判定入力欄816を介してユーザにより入力された結果を受け付ける。キャンセルボタン818が選択された場合、制御部21は項目入力欄815および総合判定入力欄816を介してユーザにより入力された結果を破棄する。
【0080】
図11を使用して、教師データDB61の作成方法の概要を説明する。制御部21は、カメラ47を介して第1画像および第2画像を撮影し、補助記憶装置23に一時的に記憶する。制御部21は、第1画像および第2画像を学習モデル63に入力し、出力データを得る。
【0081】
なお、分析システム10が検査機関に納入される段階で、標準的な条件の教師データDB61および学習モデル63が補助記憶装置23に記録されている。図11に示す画面を使用するユーザは、検査機関における十分な経験を有する専門家である。
【0082】
制御部21は、出力データのうちの一つを第1結果欄8121に表示する。検体容器50を分析装置30により分析できない旨を示すデータが出力データに含まれる場合には、制御部21はそのデータを優先的に第1結果欄8121に表示する。制御部21は、学習モデル63から出力された総合判定、すなわち検体容器50を分析装置30に投入した場合にエラーが生じずに、分析に成功する確率を第2結果欄8122に表示する。
【0083】
制御部21は、第1結果欄8121に表示した出力データを得た領域候補を含む部分を撮影画像欄813に表示する。制御部21は、撮影画像欄813に表示した部分に、所定の画像処理を行なった強調画像を強調画像欄814に表示する。
【0084】
ユーザは、撮影画像欄813および検出画像欄814を参照して、検体容器50の状態を判定し、項目入力欄815のプルダウンメニューから適切な選択肢を選択する。制御部21は、項目入力欄815を介して、ユーザによる入力を受け付けて、主記憶装置22または補助記憶装置23に一時的に記憶する。
【0085】
ユーザは、撮影画像欄813および検出画像欄814を参照して、検体容器50を分析装置30により分析可能であるか否かの総合判定を行ない、総合判定入力欄816のプルダウンメニューから適切な選択肢を選択する。制御部21は、総合判定入力欄816を介して、ユーザによる入力を受け付けて、主記憶装置22または補助記憶装置23に一時的に記憶する。
【0086】
制御部21は、ユーザによる第1結果欄8121のタップ操作またはスワイプ操作等を介して、第1結果欄8121に表示する項目の変更を受け付ける。制御部21は、第1結果欄8121に表示する項目に合わせて、撮影画像欄813および検出画像欄814に表示する部分を変更する。制御部21は、撮影画像欄813または検出画像欄814のスワイプ操作等を介して、領域候補の切り替えを受け付けてもよい。
【0087】
入力が終了した場合、ユーザは設定ボタン817を選択する。制御部21は、設定ボタン817の選択を受け付けた場合、教師データDB61に新規レコードを作成する。制御部21は、検体容器50に仮検体IDを付与して、仮検体IDフィールドに記録する。制御部21は、第1画像を第1画像フィールドに、第2画像を第2画像フィールドにそれぞれ記録する。制御部21は、学習モデル63から出力された出力データ、または、項目入力欄815および総合判定入力欄816を介してユーザから受け付けた入力を、それぞれのフィールドに記録する。以上により、教師データDB61に1組の教師データが追加される。
【0088】
なお、総合判定入力欄816から「判断不能」を受け付けた場合、制御部21は教師データDB61にレコードを作成せず、第1画像および第2画像を補助記憶装置23から削除する。専門家が見て適切な判断を行なえない画像は、教師データに適さないためである。
【0089】
入力をやりなおす場合、ユーザはキャンセルボタン818を選択する。制御部21は、キャンセルボタン818の選択を受け付けた場合、項目入力欄815および総合判定入力欄816を介して受け付けた入力を主記憶装置22または補助記憶装置23から削除する。
【0090】
以上により、検査機関独自の判断基準が教師データDB61に追加される。制御部21は、たとえば深夜時間帯等の、負荷の少ない時間帯に、教師データDB61に基づいて学習モデル63を更新する。これにより、検査機関ごとの判定基準に基づいて、学習モデル63のカスタマイズが行なわれる。
【0091】
図12は、使用初期段階におけるプログラムの処理の流れを示すフローチャートである。使用初期段階においては、制御部21は、すべての検体に対して図11を使用して説明した画面を表示して、ユーザによる入力を受け付ける。なお、本実施の形態においては、血液および尿等の、分析システム10で分析する検体の種類は、ユーザにより事前に設定されている。
【0092】
制御部21は、カメラ47を用いて検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像を撮影する(ステップS501)。制御部21は、検体容器50にキャップ55がついているか否かを判定する(ステップS502)。キャップ55の有無は、たとえば第1画像または第2画像のパターンマッチングにより判定する。第2画像を撮影する際のカメラ47のオートフォーカス機能を用いて、キャップ55の有無を判定してもよい。液面であるべき位置に合焦した際の焦点が近い場合には、キャップ55がついていると判定できる。
【0093】
キャップ55がついていないと判定した場合(ステップS502でNO)、制御部21はステップS501で撮影した第1画像および第2画像を、指定された検体に対応する学習モデル63に入力し、画像に何が映っているかを推定した出力データを得る(ステップS503)。
【0094】
制御部21は、出力データに検体容器50を分析装置30により分析できない異常があることを示すデータが含まれるか否かを判定する(ステップS504)。異常があることを示すデータが含まれると判定した場合(ステップS504でYES)、制御部21は当該異常を検出した領域候補に所定の画像処理を行ない、異常部を強調した画像を作成する(ステップS505)。
【0095】
ステップS505の終了後、または、異常があることを示すデータが含まれないと判定した場合(ステップS504でNO)、制御部21は、図11を使用して説明した画面を表示する(ステップS506)。
【0096】
制御部21は、項目入力欄815および総合判定入力欄816を介して、ユーザによる入力を受け付ける(ステップS507)。制御部21は、教師データDB61に新規レコードを作成して、新たな教師データを記録する(ステップS508)。
【0097】
制御部21は、検体容器50を分析装置30により分析可能である旨が、総合判定フィールドに記録されたか否かを判定する(ステップS509)。分析可能である旨が記録されていないと判定した場合(ステップS509でNO)、または、検体容器50にキャップ55がついていると判定した場合(ステップS502でYES)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS511)。除去された検体容器50は、第2搬送部121を介して異常検体収容部12に収容される。
【0098】
分析可能である旨が記録されていると判定した場合(ステップS509でYES)、または、ステップS511の終了後、制御部21は処理を終了するか否かを判定する(ステップS512)。たとえば、処理する検体容器50がなくなった場合、または、ユーザによる終了の指示を受け付けた場合、制御部21は処理を終了すると判定する。
【0099】
処理を終了しないと判定した場合(ステップS512でNO)、制御部21はステップS501に戻る。処理を終了すると判定した場合(ステップS512でYES)、制御部21は処理を終了する。
【0100】
なお、分析可能である旨が記録されていると判定した場合(ステップS509でYES)、検体容器50は第1搬送部411の下流に設置された分析装置30に投入される。分析装置30内でバーコードラベル51に記載されたバーコードラベル51が読み取られ、検体情報DB68に記録された項目に沿って分析が行なわれる。
【0101】
第1搬送部411と分析装置30との間に、図12を使用して説明したプログラムの処理が完了した検体容器50を一時的に収容する一時収容部を設けても良い。この場合、ステップS504における判定結果およびステップS505で作成した画像を補助記憶装置23に一時的に記憶しておく。ステップS506からステップS509の処理は実行しない。
【0102】
ユーザは、補助記憶装置23に一時的に記憶された情報を参照して、一時収容部に収容された検体容器50の分析装置30への投入可否の判断と、教師データDB61への記録を適宜行なう。このようにすることにより、使用初期段階であってもユーザが他の業務の合間に追加学習を行なえる分析システム10を提供できる。
【0103】
図13は、学習が中程度まで進んだ段階におけるプログラムの処理の流れを示すフローチャートである。学習が中程度まで進んだ段階においては、制御部21は、すべての検体に対して図11を使用して説明した画面を表示する。所定の時間内にユーザによる入力を受け付けない場合には、制御部21は、学習モデル63による推定結果を教師データに採用する。ユーザは、図11を使用して説明した画面を見て、学習モデル63による推定結果が間違っている場合にのみ、修正指示を入力する。
【0104】
ステップS501からステップS506までの処理は、図12を使用して説明したフローチャートの処理と同一であるため、説明を省略する。制御部21は、図11を使用して説明した画面に対して、ユーザによる入力を受け付けたか否かを判定する(ステップS521)。受け付けたと判定した場合(ステップS521でYES)、制御部21は、教師データDB61に新規レコードを作成して、ユーザにより入力された内容を反映した教師データを記録する(ステップS522)。
【0105】
所定の時間内にユーザによる入力を受け付けていないと判定した場合(ステップS521でNO)、制御部21は、教師データDB61に新規レコードを作成して、学習モデル63から出力された内容を反映した教師データを記録する(ステップS525)。
【0106】
ステップS522またはステップS525の終了後、制御部21は、検体容器50を分析装置30より分析可能である旨が、総合判定フィールドに記録されたか否かを判定する(ステップS509)。分析可能である旨が記録されていないと判定した場合(ステップS509でNO)、または、検体容器50にキャップ55がついていると判定した場合(ステップS502でYES)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS511)。
【0107】
分析可能である旨が記録されていると判定した場合(ステップS509でYES)、または、ステップS511の終了後、制御部21は処理を終了するか否かを判定する(ステップS512)。たとえば、処理する検体容器50がなくなった場合、または、ユーザによる終了の指示を受け付けた場合、制御部21は処理を終了すると判定する。
【0108】
処理を終了しないと判定した場合(ステップS512でNO)、制御部21はステップS501に戻る。処理を終了すると判定した場合(ステップS512でYES)、制御部21は処理を終了する。
【0109】
図14は、学習が完了した段階におけるプログラムの処理の流れを示すフローチャートである。学習が完了した段階においては、制御部21は図11を使用して説明した画面を表示せず、分析装置30により分析できない検体容器50を自動的に第1搬送部411から除去する。教師データDB61への教師データの追加は行なわれない。
【0110】
ステップS501からステップS503までは、図12を使用して説明したフローチャートの処理の流れと同一であるため、説明を省略する。制御部21は、学習モデル63から出力された推定に基づいて、検体容器50を分析装置30により分析可能か否かを判定する(ステップS531)。
【0111】
具体的には、学習モデル63から出力された総合判定、すなわち検体容器50が分析装置30に投入された場合に、エラーが生じずに分析できる確率が所定の値以上である場合に、制御部21は検体容器50に収容された検体は分析装置30により分析可能であると判定する。
【0112】
分析できないと判定した場合(ステップS531でNO)、または、検体容器50にキャップ55がついていると判定した場合(ステップS502でYES)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS511)。
【0113】
分析可能であると判定した場合(ステップS531でYES)、または、ステップS511の終了後、制御部21は処理を終了するか否かを判定する(ステップS512)。たとえば、処理する検体容器50がなくなった場合、または、ユーザによる終了の指示を受け付けた場合、制御部21は処理を終了すると判定する。
【0114】
処理を終了しないと判定した場合(ステップS512でNO)、制御部21はステップS501に戻る。処理を終了すると判定した場合(ステップS512でYES)、制御部21は処理を終了する。
【0115】
なお、図14を使用して説明したフローチャートにおいて、たとえばステップS503の後に、教師データDB61に新規レコードを追加して、教師データを記録してもよい。後日専門家が図11を使用して説明した画面を確認して、学習モデル63による判断を修正して教師データDB61に記録することにより、学習モデル63の精度をさらに向上させられる。
【0116】
教師データDB61の仮検体IDフィールドに記録された仮検体IDと、分析装置30内でバーコードラベル51から読み取られた検体IDとの関連づけが記録されることが望ましい。分析装置30内でエラーが発生した場合に、教師データDB61に記録された撮影画像を参照して検討することにより、学習モデル63の改良を図ることができる。
【0117】
図11を使用して説明した使用初期段階におけるプログラム、図12を使用して説明した学習が中程度まで進んだ段階におけるプログラム、および図13を使用して説明した学習が完了した段階におけるプログラムは、ユーザが任意に切り替えることができる。学習モデル63による推定結果をユーザが修正する頻度に基づいて、制御部21が自動的に切り替えを行なってもよい。
【0118】
図15は、学習モデル63を更新するプログラムの処理の流れを示すフローチャートである。図15に示すプログラムは、使用初期段階および学習が中程度まで進んだ段階において、たとえば深夜時間帯等の、負荷の少ない時間帯に実行されるプログラムである。
【0119】
制御部21は、教師データDB61を取得する(ステップS541)。制御部21は、教師データを訓練データとテストデータとに分ける。制御部21は、訓練データを用いて教師あり学習を行ない、新たな学習モデル63を生成する(ステップS542)。
【0120】
制御部21は、テストデータを用いて学習モデル63の精度を評価する(ステップS543)。具体的には、制御部21は、テストデータの撮影画像フィールドに記録された第1画像および第2画像とを、学習モデル63に入力する。制御部21は、学習モデル63から出力された出力データと、テストデータの判定データフィールドに記録されたデータとが一致するか否かを判定する。制御部21は、以上の処理を、テストデータに含まれる全レコードに対して繰り返す。
【0121】
制御部21は、学習モデル63から出力された出力データと判定フィールドに記録されたデータとが一致する組の数と、学習モデル63から出力された全出力データの数との比率を算出する。以上により学習モデル63が算出した比率が、学習モデル63の精度である。
【0122】
制御部21は、ステップS543で生成した学習モデル63の精度と、従来使用していた学習モデル63の精度とを比較して、ステップS543で生成した学習モデル63の精度が向上したか否かを判定する(ステップS544)。
【0123】
向上したと判定した場合(ステップS544でYES)、制御部21は補助記憶装置23に記録された学習モデル63を、新たに生成した学習モデル63に更新する(ステップS545)。向上していないと判定した場合(ステップS544でNO)、またはステップS545の終了後、制御部21は処理を終了する。
【0124】
図15を使用して説明したプログラムは、たとえばネットワークを介して接続された大型計算機等、情報処理装置20以外のハードウェアで実行されても良い。図12から図14を使用して説明したプログラムの実行と平行して、学習モデル63の更新を行なうことができる。
【0125】
本実施の形態によると、分析装置30がエラーを起こす可能性のある検体を検出する分析システム10を提供できる。分析装置30内でのエラーを防止することにより、分析装置30の破損防止および分析精度の向上を行なえる。
【0126】
本実施の形態によると、バーコードラベル51を読み取る作業をする前に、エラーを起こす可能性のある検体容器50を除去する分析システム10を提供できる。余分なバーコードラベル51読み取り作業の発生を防止することにより、作業効率の向上を図ることができる。
【0127】
本実施の形態によると、検査機関ごとの方針に基づいて、検体容器50に収容された検体の分析装置30による分析可否を判定できるように学習モデル63を更新する分析システム10を提供できる。検査機関の事情に応じて、効率の良い処理を行なうように、学習モデル63を更新できる。
【0128】
本実施の形態によると、検体容器50内の検体の状態、検体容器50自体の状態、およびバーコードラベル51の状態等の、それぞれの状態についての判定だけでなく、分析装置30により分析可能であるか否かの総合判定を行なう分析システム10を提供できる。
【0129】
本実施の形態によると、追加学習の有無をユーザが切替可能な分析システム10を提供できる。ユーザは、分析装置30でエラー発生頻度が上昇した場合、および、ユーザの手が空いている場合等に、図12または図13を使用して説明したプログラムを使用することにより、学習モデル63の精度を向上させることができる。
【0130】
なお、教師データDB61に記録した第1画像、第2画像および学習モデル63による判定結果を後日読み出して、図11を使用して説明した画面を用いて教師データの修正を行なっても良い。リアルタイムでの検体容器50の振り分けはできないが、教師データDB61に蓄積する教師データを増やすことにより、学習モデル63の精度を高めることができる。
【0131】
本実施の形態によると、バーコードラベル51の裏面の接着状態を判定し、分析装置30内でバーコードラベル51の剥がれが生じるおそれのある検体容器50を除去する分析システム10を提供できる。
【0132】
図15を使用して説明したプログラムのステップS544において精度が向上しない場合、学習モデル63を更新しないことにより、学習モデル63の精度を却って悪化させるような更新を防止できる。
【0133】
学習モデル63に入力される画像は、第1画像と第2画像との2枚に限定しない。たとえば、第1画像と第2画像との2枚の画像を使用する代わりに、検体容器50の側面と、検体の液面との両方が含まれるように検体容器50の斜め上方から撮影した1枚の画像を使用しても良い。学習モデル63に入力される画像は、第1画像と第2画像とを1枚の画像に合成した合成画像であっても良い。
【0134】
学習モデル63に入力される画像は、3枚以上の任意の数であっても良い。学習モデル63に、動画が入力されても良い。学習モデル63に静止画と動画の両方が入力されても良い。
【0135】
[実施の形態2]
本実施の形態は、検体前処理装置40にバーコードリーダ14を備える分析システム10に関する。実施の形態1と共通する部分については、説明を省略する。
【0136】
図16は、実施の形態2の分析システム10の構成を説明する説明図である。カメラ47と振分部48との間に、バーコードリーダ14が配置されている。制御部21は、バーコードリーダ14を介して、バーコードラベル51に記載された検体IDを読み取る。なお、バーコードリーダ14は振分部48の下流側に配置されていても良い。
【0137】
検体容器50は、バーコードリーダ14がバーコードラベル51を読み取れるように第1搬送部411に載せられる。第1搬送部411により搬送されている検体容器50を持ち上げて、バーコードリーダ14にかざす、ロボットアーム等が設けられても良い。
【0138】
図17は、実施の形態2の学習モデル63の構成を説明する説明図である。学習モデル63は、たとえば血液検体用学習モデル64、尿検体用学習モデル65等、検体の種類に応じた学習モデル63を含む。
【0139】
血液検体用学習モデル64は、容器サイズ判定モデル641、容器種類判定モデル642、検体量判定モデル643、異物判定モデル644、フィブリン判定モデル645、泡判定モデル646、乳び判定モデル647、および、バーコード判定学習モデル649等、血液の検体および血液が入った検体容器に関する、分析装置30による検体の分析に支障をきたすレベルの各種の異常の有無を推定する学習モデル63を含む。
【0140】
同様に、尿検体用学習モデル65は、容器サイズ判定モデル651、容器種類判定モデル652、検体量判定モデル653、異物判定モデル654、泡判定モデル656、乳び判定モデル657、および、バーコード判定学習モデル659等、尿の検体および尿が入った検体容器に関する、分析装置30による検体の分析に支障をきたすレベルの各種の異常の有無を推定する学習モデル63を含む。
【0141】
たとえば容器サイズ判定モデル641と容器サイズ判定モデル651等、検体の色等の性状の影響を受けない学習モデル63については、血液検体用学習モデル64と尿検体用学習モデル65とで共通の学習モデル63を使用しても良い。
【0142】
図17に示すモデルは例示である。たとえば血液検体用学習モデル64は、図示したモデルに加えて溶血判定モデル、黄疸判定モデル、未解凍判定モデルおよび遠心分離不良判定モデルを含む。血液検体用学習モデル64は例示した以外のモデルを含んでも良く、例示したうちの1つまたは複数のモデルを含まなくても良い。
【0143】
図18は、実施の形態2の教師データDB61のレコードレイアウトを説明する説明図である。教師データDB61は、検体種類と、検体容器50に付与された検体IDと、撮影画像と、判定結果とを関連づけた教師データを記録するDBである。教師データDB61は、1組の教師データについて、1つのレコードを有する。
【0144】
教師データDB61は、検体種類フィールド、検体IDフィールド、撮影画像フィールド、および、判定結果フィールドを有する。撮影画像フィールドは、第1画像フィールドおよび第2画像フィールドを有する。判定結果フィールドは、総合判定フィールド、異物フィールド、フィブリンフィールド、泡フィールド、乳びフィールド、容器タイプフィールド、容器サイズフィールド、検体量フィールドおよびバーコードラベルフィールド等の各サブフィールドを有する。
【0145】
検体IDフィールドには、バーコードリーダ14によりバーコードラベル51から読み取られた検体IDが記録されている。なお、バーコード不良等により検体IDを読み取れなかった場合には、検体容器50に仮に付与される仮検体IDが検体IDフィールドに記録される。その他の各フィールドについては、図7を使用して説明した実施の形態1の教師データDB61と同様であるため、説明を省略する。
【0146】
図19は、実施の形態2の学習モデル63に含まれるそれぞれのモデルを説明する説明図である。本実施の形態の学習モデル63は、CNNを用いて学習を行なう。各モデルは、入力層701、中間層702、出力層703、および、図示を省略する畳込み層とプーリング層とを有するニューラルネットワークモデル70により構成される。
【0147】
学習モデル63に、検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像が入力される。入力された画像は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、入力層701に入力される。
【0148】
出力層703に、それぞれの事象の発生確率が出力される。たとえば、容器サイズ判定モデル641では、検体容器50が分析装置30に投入可能な寸法である確率が出力層703に出力される。容器種類判定モデル642では検体容器50が試験管型である確率、および、カップオンチューブ型である確率が出力層703に出力される。すなわち、容器種類判定モデル642は、出力層703に2個のノードを有する。
【0149】
中間層702の各ニューロンのパラメータは、教師データDB61に基づいて機械学習により調整されている。
【0150】
図20および図21は、実施の形態2の学習段階の画面例を説明する説明図である。図20は、個々の検査機関において、検査機関独自の条件を追加学習する際に用いられる画面例を示す。図20に示す画面は、第1画像欄8131、第2画像欄8132、総合判定欄821、NG項目欄822、修正ボタン823および次ボタン824を含む。
【0151】
第1画像欄8131には、検体容器50を横から撮影した第1画像が表示されている。第2画像欄8132には、検体の液面を撮影した第2画像が表示されている。総合判定欄821には、検体容器50が分析装置30に投入された場合に分析を行なえるかどうかを示す総合判定結果が表示されている。
【0152】
NG項目欄822には、検体容器50が分析装置30に投入された場合にエラーを生じる可能性があると学習モデル63により判定された項目が表示されている。NG項目欄822に表示される項目がない場合、制御部21は、総合判定欄821に「分析可」を表示する。
【0153】
ユーザは、図20に表示された画面を見て、学習モデル63による判定が正しいか否かを判断する。正しいと判断した場合、ユーザは次ボタン824を選択する。次ボタン824の選択を受け付けた場合、制御部21は教師データDB61にレコードを作成して教師データを記録した後に、次の検体容器50の処理に移る。
【0154】
学習モデル63による判定が正しくないと判断した場合、ユーザは修正ボタン823を選択する。修正ボタン823の選択を受け付けた場合、制御部21は図21に示す画面を表示する。図21に示す画面は、第1画像欄8131、第2画像欄8132、NG項目入力欄825、総合判定変更ボタン826、および次ボタン824を含む。
【0155】
NG項目入力欄825には、検体容器50が分析装置30への投入に適さない理由、すなわち分析装置30により検体容器50内の検体を分析ができない理由を示す項目の一覧が表示されている。ユーザは、第1画像欄8131および第2画像欄8132を参照して、適切な項目を選択する。
【0156】
検体容器50に収容された検体の分析装置30による分析可否を変更する場合、ユーザは総合判定変更ボタン826を選択する。総合判定変更ボタン826は、選択される都度「分析可に変更」と「分析不可に変更」とが切り替わる、トグルスイッチ型のボタンである。ユーザが、総合判定変更ボタン826を操作して「分析可」である旨を設定した場合、制御部21はNG項目入力欄825のチェックを外す。分析装置30による分析を妨げる原因は存在しないとユーザにより判定されたためである。
【0157】
ユーザは、必要な入力を行なった後に、次ボタン824を選択する。DB61にレコードを作成して教師データを記録した後に、次の検体容器50の処理に移る。
【0158】
なお、図20および図21を使用して説明した画面に、バーコードリーダ14を介して読み取った検体IDが表示されても良い。ユーザは検体IDに基づいて医師からの依頼内容等を確認して、分析可否を判断できる。
【0159】
図22は、実施の形態2の使用初期段階におけるプログラムの処理の流れを示すフローチャートである。制御部21は、カメラ47を用いて検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像を撮影する(ステップS551)。制御部21は、バーコードリーダ14を介してバーコードラベル51に記載された検体IDを読み取る(ステップS552)。
【0160】
制御部21は、検体IDをキーにして検体情報システム15に記録された検体情報DB68からレコードを抽出する(ステップS553)。なお、バーコードラベル51の異常等により検体IDを読み取れなかった場合、および、検体情報DB68からレコードが抽出できなかった場合には、その旨が補助記憶装置23に一時的に記憶される。
【0161】
制御部21は、検体容器50にキャップ55がついているか否かを判定する(ステップS555)。キャップ55がついていないと判定した場合(ステップS555でNO)、制御部21はステップS551で撮影した第1画像および第2画像を、図17を使用して説明した学習モデル63に含まれる一つのモデルに入力する。入力された画像は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、入力層701に入力される。制御部21は、出力層703から推定結果を取得する(ステップS556)。
【0162】
制御部21は、一つの種類の検体に対応する全モデルの処理を終了したか否かを判定する(ステップS557)。全モデルの処理を終了していないと判定した場合(ステップS557でNO)、制御部21はステップS556に戻る。
【0163】
全モデルの処理を終了したと判定した場合(ステップS557でYES)、制御部21は、図20を使用して説明した画面を表示する(ステップS558)。制御部21は、学習モデル63による推定結果に対するユーザの入力を受け付ける(ステップS559)。制御部21は、教師データDB61に新規レコードを追加して、教師データを記録する(ステップS560)。
【0164】
制御部21は、検体容器50に収容された検体が分析装置30より分析可能であるか否かを判定する(ステップS561)。分析可能ではないと判断した場合(ステップS561でNO)、または、キャップ55がついていると判定した場合(ステップS555でYES)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS562)。除去された検体容器50は、第2搬送部121を介して異常検体収容部12に収容される。
【0165】
分析可能であると判定した場合(ステップS561でYES)、または、ステップS562の終了後、制御部21は処理を終了するか否かを判定する(ステップS563)。処理を終了しないと判定した場合(ステップS563でNO)、制御部21はステップS551に戻る。処理を終了すると判定した場合(ステップS563でYES)、制御部21は処理を終了する。
【0166】
なお、ステップS553のレコードの抽出は、検体情報システム15で行なわれても良い。このようにする場合には制御部21は検体情報システム15に検体IDを送信し、検体情報システム15からレコードを正常に読み取れたか否かの判定結果を受信する。
【0167】
図23は、実施の形態2の学習が中程度まで進んだ段階におけるプログラムの処理の流れを示すフローチャートである。ステップS551からステップS558までの処理は、図22を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。
【0168】
制御部21は、図20を使用して説明した画面に対して、ユーザによる入力を受け付けたか否かを判定する(ステップS571)。受け付けたと判定した場合(ステップS571でYES)、制御部21は、教師データDB61に新規レコードを作成して、ユーザにより入力された内容を反映した教師データを記録する(ステップS572)。
【0169】
所定の時間内にユーザによる入力を受け付けていないと判定した場合(ステップS571でNO)、制御部21は、教師データDB61に新規レコードを作成して、学習モデル63から出力された内容を反映した教師データを記録する(ステップS575)。
【0170】
ステップS572またはステップS575の終了後、制御部21は、検体容器50に収容された検体が分析装置30により分析可能であるか否かを判定する(ステップS561)。以後の処理は、図22を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。
【0171】
図24は、実施の形態2の学習が完了した段階におけるプログラムの処理の流れを示すフローチャートである。学習が完了した段階においては、制御部21は図20および図21を使用して説明した画面を表示せず、分析装置30による分析ができない検体容器50を自動的に第1搬送部411から除去する。教師データDB61への教師データの追加は行なわれない。
【0172】
ステップS551からステップS557までの処理は、図22を使用して説明したフローチャートの処理の流れと同一であるため、説明を省略する。全モデルの処理を終了したと判定した場合(ステップS557でYES)、制御部21は、検体容器50に収容された検体が分析装置30により分析可能であるか否かを判定する(ステップS561)。以後の処理は図22を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。
【0173】
本実施の形態によると、バーコードラベル51を読み取れない検体容器50が分析装置30に投入されない分析システム10を提供できる。バーコードラベル51の取り違え等のトラブルが発生している場合に、検体容器50が速やかに異常検体収容部12に収容されるため、ユーザが適切な対処を行なえる。
【0174】
本実施の形態によると、学習モデル63を複数のモデルに分割するとともに、たとえば血液と尿等の異なる種類の検体間で一部のモデルを共用できる。個々のモデルを作成する際の計算量が少ないため、教師データDB61に記録された教師データの数が多い場合であっても、学習モデル63の更新に要する負荷を分散させる分析システム10を提供できる。
【0175】
本実施の形態によると、バーコードラベル51から読み取られ検体IDが教師データDB61に記録される。したがって、分析装置30内でエラーが生じた場合の原因解析等に、教師データDB61を利用可能な分析システム10を提供できる。
【0176】
[実施の形態3]
本実施の形態は、分析装置30内で発生したエラーに基づいてユーザが教師データを修正できる分析システム10に関する。実施の形態2と共通する部分については、説明を省略する。図25は、実施の形態3の分析システム10の構成を説明する説明図である。
【0177】
本実施の形態の分析システム10は、検体前処理装置40、分析装置30、異常検体収容部12、検体回収部13、第1搬送部411、第2搬送部121および第3搬送部131に加えて、情報処理装置210を有する。分析装置30は、分析途中で発生したエラーを分析エラーログファイルに逐次記録する。
【0178】
情報処理装置210は、制御部211、主記憶装置212、補助記憶装置213、通信部214、表示部215、入力部216およびバスを備える。制御部211は、本実施の形態のプログラムを実行する演算制御装置である。制御部211には、一または複数のCPU(Central Processing Unit)またはマルチコアCPU等が使用される。制御部211は、バスを介して情報処理装置210を構成するハードウェア各部と接続されている。
【0179】
主記憶装置212は、SRAM、DRAM、フラッシュメモリ等の記憶装置である。主記憶装置212には、制御部211が行なう処理の途中で必要な情報および制御部211で実行中のプログラムが一時的に保存される。
【0180】
補助記憶装置213は、SRAM、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置213には、制御部21に実行させるプログラム、ログDB66、教師データDB611およびプログラムの実行に必要な各種データが保存される。ログDB66、教師データDB611は、情報処理装置210に接続された外部の大容量記憶装置等に保存されていても良い。
【0181】
通信部214は、情報処理装置210とネットワークとの間の通信を行なうインターフェイスである。表示部215は、たとえば液晶表示パネル等である。入力部216は、キーボードおよびマウス等である。表示部215と入力部216とは、一体となっていわゆるタッチパネルを構成しても良い。
【0182】
本実施の形態の情報処理装置210は、汎用のパーソナルコンピュータ、大型計算機、または大型計算機上で動作する仮想マシンである。情報処理装置210は、クラウドコンピューティングシステムと、タブレット等の携帯型情報処理装置等との組合せで実現されても良い。
【0183】
教師データDB611は、検体前処理装置40の補助記憶装置23に記憶された教師データDB61のレプリカであり、公知の手法により同期している。教師データDB611のレコードレイアウトは、図18を使用して説明した実施の形態2の教師データDB61のレコードレイアウトと同一である。本実施の形態においては、学習が完了した段階においても、教師データDB61に教師データが蓄積される。
【0184】
図26は、ログDB66のレコードレイアウトを説明する説明図である。ログDB66は、ネットワークを介して分析装置30から取得したエラーログを記録したDBである。ログDB66は、医療機関IDフィールド、検体IDフィールド、検体種類フィールドおよび分析エラーフィールドを有する。
【0185】
医療機関IDフィールドには、医療機関に固有に付与された医療機関IDが記録されている。検体IDフィールドには、検体に固有に付与された検体IDが記録されている。検体種類フィールドには、検体の種類が記録されている。分析エラーフィールドには、分析装置30で発生したエラーが記録されている。分析エラーフィールドには、分析装置30で発生するエラーに付与されたエラーコードが記録されても良い。ログDB66は、1つのエラーについて、1つのレコードを有する。
【0186】
図27は、実施の形態3の学習データ修正画面の例を説明する説明図である。図27に示す画面は、分析装置エラー欄827、第1画像欄8131、第2画像欄8132、NG項目入力欄825、検体ID欄828および次ボタン824を含む。
【0187】
分析装置エラー欄827には、分析装置30で発生したエラーが表示されている。第1画像欄8131には、検体容器50を横から撮影した第1画像が表示されている。第2画像欄8132には、検体の液面を撮影した第2画像が表示されている。
【0188】
NG項目入力欄825には、検体容器50に収容された検体を分析装置30により分析できない理由を示す項目の一覧が表示されている。ユーザは、分析装置エラー欄827、第1画像欄8131および第2画像欄8132を参照して、適切な項目を選択する。
【0189】
たとえば、分析装置30のエラーログファイルに「分注ノズル詰まり」と記録されている場合であっても、泡、フィブリンおよび異物等の様々な原因が有り得る。ユーザは、第1画像および第2画像に基づいて詰まりの原因を判断して、NG項目入力欄825の適切な項目を選択する。ユーザは、検体ID欄828に表示された検体IDに基づいて、検体を採取した医療機関名、および、検査項目等を参照し、判断の参考にしてもよい。
【0190】
NG項目入力欄825への入力終了後、ユーザは次ボタン824を選択する。次ボタン824の選択を受け付けた場合、制御部211はNG項目入力欄825から受け付けた入力を、教師データDB611のレコードに反映させる。教師データDB611と、教師データDB61とは、適宜同期する。
【0191】
以上により、分析装置30で発生したエラーを教師データDB61に反映させ、学習モデル63を継続的に更新可能な分析システム10を提供できる。
【0192】
図28は、実施の形態3の学習モデル63を更新するプログラムの処理の流れを説明するフローチャートである。図28は、制御部211により実行されるプログラムである。制御部211は、検体前処理装置40内の教師データDB61と、情報処理装置210内の教師データDB611とを同期させる(ステップS601)。制御部211は、分析装置30に記録された分析エラーログファイルから、分析エラーを取得して、ログDB66に記録する(ステップS602)。
【0193】
制御部211は、ログDB66のレコードの検体IDフィールドに記録された検体IDをキーとして教師データDB611を検索し、レコードを抽出する(ステップS603)。制御部211は、抽出したレコードに記録されたデータおよびログDB66に基づいて、図27を使用して説明した画面を表示する(ステップS604)。
【0194】
制御部211は、NG項目入力欄825を介してエラーの発生原因を取得する(ステップS605)。制御部211は、ステップS603で取得したレコードの、ユーザにより入力された項目に対応するフィールドを変更することにより、教師データDB611を更新する(ステップS606)。以上により、学習モデル63による処理では検出できなかったエラー原因が、教師データDB611との同期を通じて教師データDB61に記録される。
【0195】
制御部211は、ログDB66に記録されたエラーの処理を終了したか否かを判定する(ステップS607)。終了していないと判定した場合(ステップS607でNO)、制御部211はステップS603に戻る。終了したと判定した場合(ステップS607でYES)、制御部211は処理を終了する。
【0196】
本実施の形態によると、分析装置30で発生したエラーのログに基づいて学習モデル63を更新する分析システム10を提供できる。ユーザは、分析装置30で発生するエラーの頻度および他の業務との兼ね合いを見て、都合の良い時間に図28を使用して説明したプログラムを実行して、教師データDB61を更新できる。
【0197】
本実施の形態によると、ユーザは初期段階では緩めの判断を教師データDB61に記録し、分析装置30でエラーが出た後に判断を修正できる。これにより、分析装置30が処理可能であると判定する範囲が広い学習モデル63を作成できる。
【0198】
[実施の形態4]
本実施の形態は、分析装置30で発生したエラーに基づいて生成したフィードバックモデルを有する分析システム10に関する。実施の形態3と共通する部分については、説明を省略する。
【0199】
図29は、実施の形態4の学習モデル63の構成を説明する説明図である。本実施の形態の学習モデル63は、図17を使用して説明した実施の形態2の学習モデル63にフィードバックモデル648およびフィードバックモデル658が追加されている。
【0200】
フィードバックモデル648は、血液の検体が入った検体容器50について、分析装置30が出すエラーをフィードバックして作成されるモデルである。フィードバックモデル648は、第1エラー予測モデル6481、第2エラー予測モデル6482、第3エラー予測モデル6483等を含む。それぞれのエラー予測モデルは、分析装置30が出力するエラーの種類に対応している。
【0201】
同様にフィードバックモデル658は、尿の検体が入った検体容器50について、分析装置30が出すエラーをフィードバックして作成されるモデルである。フィードバックモデル658は、第1エラー予測モデル6581、第2エラー予測モデル6582、第3エラー予測モデル6583等を含む。以下の説明ではフィードバックモデル648を例にして説明する。検体が尿である場合には、フィードバックモデル648の代わりにフィードバックモデル658を使用する。
【0202】
図30は、フィードバックモデル648を説明する説明図である。図19を使用して説明した各モデルと同様に、フィードバックモデル648はCNNを用いて学習を行なう。フィードバックモデル648は、入力層701、中間層702、出力層703、および、図示を省略する畳込み層とプーリング層とを有するニューラルネットワークモデル70により構成される。
【0203】
フィードバックモデル648に、検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像が入力される。入力された画像は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、入力層701に入力される。
【0204】
出力層703に、それぞれのエラーの発生確率が出力される。たとえば、第1エラー予測モデル6481では、1番目のエラーが発生する確率が出力層703に出力される。中間層702の各ニューロンのパラメータは、教師データDB61に基づいて機械学習により調整されている。
【0205】
図31は、フィードバックDBのレコードレイアウトを説明する説明図である。フィードバックDBは、制御部211により作成されて、補助記憶装置213または情報処理装置210に接続された外部の大容量記憶装置等に記憶されるDBである。フィードバックDBは、フィードバックモデル648を作成する際の教師データに使用されるDBである。
【0206】
フィードバックDBは、検体IDフィールド、撮影画像フィールド、検体種類フィールド、および分析エラーフィールドを有する。撮影画像フィールドは、第1画像フィールドおよび第2画像フィールドを有する。
【0207】
検体IDフィールドには、検体に固有に付与された検体IDが記録されている。第1画像フィールドには、検体容器50を横から撮影した第1画像が記録されている。第2画像フィールドには、検体の液面を撮影した第2画像が記録されている。
【0208】
検体種類フィールドには、「血液」、「尿」等の検体の種類が記録されている。分析エラーフィールドには、分析装置30が出力したエラーが記録されている。エラーが発生しなかった検体については、分析エラーフィールドに「正常」が記録されている。フィードバックDBは、1つの検体IDについて、1つのレコードを有する。
【0209】
制御部211は、フィードバックDBを教師データに使用して教師あり機械学習を行ない、フィードバックモデル648を生成する。制御部211はネットワークを介して情報処理装置20にフィードバックモデル648を送信する。制御部21は、フィードバックモデル648を受信して、補助記憶装置23に記憶する。
【0210】
図32は、実施の形態4のプログラムの処理の流れを示すフローチャートである。ステップS551からステップS561までの処理は、図23を使用して説明したプログラムの処理の流れと同様であるため、説明を省略する。
【0211】
分析可能であると判定した場合(ステップS561でYES)、制御部21はエラー予測のサブルーチンを起動する(ステップS611)。エラー予測のサブルーチンは、フィードバックモデル648を用いて分析装置30が出力するエラーを予想するサブルーチンである。エラー予測のサブルーチンの処理の流れは後述する。
【0212】
ステップS611、または、ステップS562の終了後、制御部21は処理を終了するか否かを判定する(ステップS563)。処理を終了しないと判定した場合(ステップS563でNO)、制御部21はステップS551に戻る。処理を終了すると判定した場合(ステップS563でYES)、制御部21は処理を終了する。
【0213】
図33は、エラー予測のサブルーチンの処理の流れを説明するフローチャートである。エラー予測のサブルーチンは、フィードバックモデル648を用いて分析装置30が出力するエラーを予想するサブルーチンである。
【0214】
制御部21は、第1画像および第2画像を、フィードバックモデル648を構成する一つのモデルに入力し、出力層703から分析装置30がエラーを発生する確率を取得する(ステップS621)。
【0215】
制御部21は、エラーの発生する確率が所定の閾値より大きいか否かを判定する(ステップS622)。エラーの発生する確率が大きいと判定した場合(ステップS622でYES)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS623)。
【0216】
エラーの発生する確率は大きくないと判定した場合(ステップS622でNO)、制御部21は、フィードバックモデル648に含まれる全モデルの処理を終了したか否かを判定する(ステップS624)。終了していないと判定した場合(ステップS624でNO)、制御部21はステップS621に戻る。
【0217】
終了したと判定した場合(ステップS624でYES)、または、ステップS623の終了後、制御部21は処理を終了する。
【0218】
図34は、フィードバックモデル648を更新するプログラムの処理の流れを説明するフローチャートである。図34は、制御部211により実行されるプログラムである。制御部211は、検体前処理装置40内の教師データDB61と、情報処理装置210内の教師データDB611とを同期させる(ステップS631)。制御部211は、分析装置30に記録された分析エラーログファイルから、分析エラーを取得して、ログDB66に記録する(ステップS632)。
【0219】
制御部211は、教師データDB611およびログDB66に基づいてフィードバックDBを作成する(ステップS633)。具体的には、制御部211は教師データDB611の検体IDフィールドおよび撮影画像フィールドをフィードバックDBにコピーする。制御部211は、フィードバックDBの検体IDフィールドに記録された検体IDをキーとして、ログDB66を検索し、レコードを抽出する。
【0220】
レコードが抽出された場合、制御部211は抽出されたレコードの分析エラーフィールドに記録された分析エラーを、フィードバックDBの分析エラーフィールドに記録する。レコードが抽出されない場合、制御部211はフィードバックDBの分析エラーフィールドに「正常」を記録する。以上により、フィードバックDBが作成される。
【0221】
制御部211は、フィードバックDBに記録された教師データを訓練データとテストデータとに分ける。制御部21は、訓練データを用いて教師あり学習を行ない、一つのエラーに対するフィードバックモデルを生成する(ステップS634)。
【0222】
制御部211は、テストデータを用いてフィードバックモデルの精度を評価する(ステップS635)。制御部21は、フィードバックモデルの精度が所定の閾値を超えるか否かを判定する(ステップS636)。所定の閾値以上の精度であると判定した場合(ステップS636でYES)、制御部211はステップS634で作成したモデルを情報処理装置20に送信する(ステップS637)。
【0223】
所定の閾値未満の精度であると判定した場合(ステップS636でNO)、または、ステップS637の終了後、制御部211は、すべてのエラーに対する処理が終了したか否かを判定する(ステップS638)。終了していないと判定した場合(ステップS638でNO)、制御部211はステップS634に戻る。終了したと判定した場合(ステップS638でYES)、制御部211は処理を終了する。
【0224】
本実施の形態によると、分析装置30から出力されるエラーに基づいて機械学習を行なう分析システム10を提供できる。専門家ユーザが第1画像および第2画像を目視して判断する時間が確保できない場合であっても、学習モデル63の精度を向上させることができる。
【0225】
[実施の形態5]
本実施の形態は、検体前処理装置40を内蔵する分析装置30に関する。実施の形態2と共通する部分については、説明を省略する。
【0226】
図35は、実施の形態5の分析装置30の構成を説明する説明図である。分析装置30に、分析部301、検体前処理装置40、異常検体収容部12および検体回収部13が内蔵されている。第1搬送部411の途中に、検体容器50からキャップ55を取り外す開栓部16が設けられている。
【0227】
開栓部16の上流側に、第1画像を撮影する第1カメラ471が配置されている。開栓部16の下流側に、第2画像を撮影する第2カメラ472が配置されている。第2カメラ472と振分部48との間に、バーコードリーダ14が配置されている。
【0228】
検体投入部41には、キャップ55がついたままの検体容器50が投入される。検体容器50は、第1搬送部411により搬送される。第1カメラ471は、搬送中の検体容器50の第1画像を撮影する。第1画像には、キャップ55も撮影される。
【0229】
開栓部16において、検体容器50からキャップ55が取り外される。第2カメラ472は、キャップ55が取り外された検体容器50内の検体の液面を撮影する。バーコードリーダ14は、搬送中の検体容器50のバーコードラベル51から検体IDを読み取る。異常が検知されない検体容器50は、分析部301まで搬送されて、所定の分析が行なわれる。分析部301は、情報処理装置20の制御部21により制御される。
【0230】
図36は、実施の形態5の学習モデル63の構成を説明する説明図である。本実施の形態の学習モデル63は、図17を使用して説明した血液検体用学習モデル64および尿検体用学習モデル65に加えて、キャップ判定学習モデル69を有する。
【0231】
図37は、キャップ判定教師DBのレコードレイアウトを説明する説明図である。キャップ判定教師DBは、キャップ判定学習モデル69の生成に使用される教師データを記録したDBである。キャップ判定教師DBは、補助記憶装置23または情報処理装置20に接続された大容量記憶装置等に記憶されている。
【0232】
キャップ判定教師DBは、医療機関IDフィールド、検体IDフィールド、検査項目フィールド、および、キャップ色フィールドを有する。
【0233】
医療機関IDフィールドには、医療機関に固有に付与された医療機関IDが記録されている。検体IDフィールドには、検体に固有に付与された検体IDが記録されている。検査項目フィールドには、医療機関から依頼された検査項目が記録されている。キャップ色フィールドには、キャップ55の色が記録されている。キャップ判定教師DBは、1つの検体IDについて、1つのレコードを有する。
【0234】
図38は、キャップ判定学習モデル69を説明する説明図である。キャップ判定学習モデル69は、CNNを用いた教師あり学習により生成される。キャップ判定学習モデル69は、入力層701、中間層702および出力層703を有するニューラルネットワークモデル70により構成される。
【0235】
キャップ判定学習モデル69の入力層701には、検体容器50の処理を依頼した医療機関の医療機関IDおよび検査項目A等の各検査項目の依頼有無が入力される。出力層703には、検体容器50のキャップ55が赤色である確率、青色である確率、緑色である確率等が出力される。
【0236】
中間層702の各ニューロンのパラメータは、キャップ判定教師DBに記録された教師データに基づいて機械学習により調整されている。キャップ判定学習モデル69は、ランダムフォレスト等の任意の手法により生成されても良い。
【0237】
図39は、実施の形態5の画面例を説明する説明図である。制御部21は、キャップ55の色が通常その医療機関でその検体に対して使用されている色とは異なる色であると判定した場合に、図39に示す画面を表示する。図39に示す画面は、第1画像欄8131、受注情報欄833、通常キャップ色欄834、今回キャップ色欄835、中止ボタン831および継続ボタン832を含む。
【0238】
第1画像欄8131には、第1カメラ471により撮影された第1画像が表示されている。受注情報欄833には、医療機関名、検体IDおよび検査項目が表示されている。医療機関名および検査項目は、検体IDに基づいて検体情報DB68から取得される。
【0239】
通常キャップ色欄834には、医療機関および検査項目の組合せに基づいてキャップ判定学習モデル69により最も可能性が高いと判定されたキャップ55の色が表示される。なお、通常キャップ色欄834には、たとえば上位数色と、それぞれの色の確率が表示されても良い。
【0240】
今回キャップ色欄835には、第1画像から取得されたキャップ55の色が表示されている。なお、通常キャップ色欄834に表示された色と、今回キャップ色欄835に表示された色とが異なる場合には、制御部21は画面の点滅または音等により、ユーザの注意を引いても良い。
【0241】
検体容器50の確認が必要であると判断した場合、ユーザは中止ボタン831を選択する。中止ボタン831の選択を受け付けた場合、制御部21は検体容器50からキャップ55を取り外さないように開栓部16を制御する。さらに制御部21は振分部48を制御して、検体容器50を第1搬送部411から第2搬送部121に移す。以上により、検体容器50は分析部301に送られる前に回収される。
【0242】
分析を継続すると判断した場合、ユーザは継続ボタン832を選択する。検体容器50は、開栓部16で開栓された後、分析部301に投入される。
【0243】
図40は、実施の形態5のプログラムの処理の流れを示すフローチャートである。図40に示すプログラムは、学習が完了した段階で使用するプログラムである。制御部21は、第1カメラ471および第2カメラ472を用いて検体容器50を横から撮影した第1画像および検体の液面を撮影した第2画像を撮影する(ステップS551)。制御部21は、バーコードリーダ14を介してバーコードラベル51に記載された検体IDを読み取る(ステップS552)。
【0244】
制御部21は、ステップS552で読み取った検体IDをキーとして、検体情報DB68からレコードを抽出する(ステップS553)。制御部21は、ステップS553で抽出したレコードに記録された医療機関IDおよび検査項目をキャップ判定学習モデル69の入力層701に入力する。制御部21は、キャップ判定学習モデル69の出力層703より、キャップ55の色の推定結果を取得する(ステップS652)。
【0245】
制御部21は、ステップS652で取得した推定結果と、第1画像に撮影されたキャップ55の色とが同じであるか否かを判定する(ステップS653)。同じ色ではないと判定した場合(ステップS653でNO)、制御部21は図39を使用して説明した画面を表示する(ステップS661)。
【0246】
制御部21は、継続ボタン832の選択を受け付けたか否かを判定する(ステップS662)。継続ボタン832の選択を受け付けたと判定した場合(ステップS662でYES)、または、キャップ55が同じ色であると判定した場合(ステップS653でYES)、制御部21はステップS551で撮影した第1画像および第2画像を、図36を使用して説明した学習モデル63に含まれる一つのモデルに入力する。
【0247】
入力された画像は、畳込み層およびプーリング層により繰り返し処理が行なわれた後に、入力層701に入力される。制御部21は、出力層703から推定結果を取得する(ステップS556)。制御部21は、一つの種類の検体に対応する全モデルの処理を終了したか否かを判定する(ステップS557)。全モデルの処理を終了していないと判定した場合(ステップS557でNO)、制御部21はステップS556に戻る。
【0248】
全モデルの処理を終了したと判定した場合(ステップS557でYES)、制御部21は、検体容器50に収容された検体が分析装置30により分析可能であるか否かを判定する(ステップS561)。分析可能ではないと判断した場合(ステップS561でNO)、または、継続ボタン832の選択を受け付けないと判定した場合(ステップS662でNO)、制御部21は、振分部48を制御して検体容器50を第1搬送部411から除去する(ステップS562)。除去された検体容器50は、第2搬送部121を介して異常検体収容部12に収容される。
【0249】
分析可能であると判定した場合(ステップS561でYES)、または、ステップS562の終了後、制御部21は処理を終了するか否かを判定する(ステップS563)。処理を終了しないと判定した場合(ステップS563でNO)、制御部21はステップS551に戻る。処理を終了すると判定した場合(ステップS563でYES)、制御部21は処理を終了する。
【0250】
本実施の形態によると、医療機関が通常とは異なる色のキャップ55が使用した場合に検知する分析システム10を提供できる。通常とは異なる色のキャップ55が使用された場合、医療機関側で発注ミスその他のトラブルが生じている可能性がある。そのような場合に速やかに検知して、対応可能な分析システム10を提供できる。
【0251】
なお、キャップ55の色が推定結果と異なる色であると判定した場合(ステップS653でNO)、制御部21は、図39を使用して説明した画面を表示せずに、ステップS562に進み、検体容器50を第1搬送部411から除去しても良い。
【0252】
バーコードリーダ14は、第2カメラ472よりも上流側に配置されても良い。ステップS551においては第1カメラ471を用いて第1画像を撮影する。継続ボタン832の選択を受け付けたと判定した場合(ステップS662でYES)、または、キャップ55が同じ色であると判定した場合(ステップS653でYES)、制御部21は、開栓部16を制御して、キャップ55を取り外す。制御部21は第2カメラ472を用いて第2画像を撮影する。
【0253】
以上により、キャップの色に異常がある場合には検体容器50の蓋を開けずに、専門家による適切な処置を待つ分析システム10を提供できる。
【0254】
[実施の形態6]
本実施の形態は、臨床検査技師等の検体を取り扱う専門家を育成するトレーニングに利用する訓練装置に流用可能な分析システム10に関する。実施の形態2と共通する部分については、説明を省略する。
【0255】
図41から図43は、実施の形態6の画面例を説明する説明図である。図41は、トレーニング用の問題を表示する画面である。図41に示す画面は、第1画像欄8131、第2画像欄8132、検体種類欄841、分析可ボタン842、分析不可ボタン843および次ボタン824を含む。
【0256】
第1画像欄8131には、検体容器50を横から撮影した第1画像が表示されている。第2画像欄8132には、検体の液面を撮影した第2画像が表示されている。第1画像欄8131および第2画像欄8132に表示される画像は、あらかじめ選択されたトレーニング用の画像でも、トレーニングを受けるユーザ自身が用意した検体容器50を撮影した画像でも良い。
【0257】
検体種類欄841には、検体の種類が表示されている。第1画像欄8131および第2画像欄8132にトレーニング用の画像を使用する場合には、トレーニング用画像の検体の種類が表示される。ユーザ自身が用意した検体容器50を撮影した画像を使用する場合には、ユーザが検体種類欄841に表示する検体の種類を指定する。
【0258】
ユーザは、第1画像欄8131および第2画像欄8132に表示された画像に基づいて、検体容器50を分析装置30により分析可能であるか否かを判断し、分析可ボタン842または分析不可ボタン843を選択する。その後、ユーザは次ボタン824を選択する。
【0259】
制御部21は、第1画像および第2画像を学習モデル63に入力し、出力層703から取得した出力データに基づいて分析装置30より分析可能であるか否かを判定する。
【0260】
図42は、ユーザが分析可ボタン842を選択し、制御部21も分析装置30による分析が可能であると判定した場合の画像である。図42に示す画像には、「正解」を示す評価欄844が表示されている。ユーザは、自分の判断が正しいことを確認できる。
【0261】
図43は、ユーザが分析可ボタン842を選択し、制御部21は分析装置30による分析ができないと判定した場合の画像である。図43に示す画像には、「不正解」を示す評価欄844が表示されている。画面の下部に、分析不可と判定した理由を解説する解説欄845が表示されている。ユーザは、自分の判断が誤っていたこと、および、その理由を確認できる。
【0262】
本実施の形態によると、たとえば教師データDB61に記録された過去の画像を使用して、専門家のトレーニングを行なう装置を提供できる。ユーザが自分で用意した検体容器50を使用してトレーニングを行なうことにより、検体の採取および処理作業のトレーニングを行なうことも可能である。
【0263】
記録済の撮影画像を使用してトレーニングを行なう場合、汎用のパソコン、タブレットまたはスマートフォン等の情報機器を使用して本実施の形態の訓練装置を実現しても良い。学習モデル63が個々の情報機器に配布されており、情報機器上でプログラムが実行されても良い。情報機器とネットワークを介して接続されたサーバマシンまたはクラウドコンピューティングシステム上で、プログラムが実行されても良い。
【0264】
[実施の形態7]
図44は、実施の形態7の分析装置30の機能ブロック図である。分析装置30は、画像取得部76、入力部77および出力部78を有する。画像取得部76は、検体が収容された検体容器50の撮影画像を受け付ける。入力部77は、検体が収容された検体容器50の撮影画像を受け付けて、検体または検体容器50の状態に関する予測を出力する学習モデル63に、画像取得部76が取得した撮影画像を入力する。出力部78は、入力された撮影画像に基づいて学習モデル63から出力された予測を出力する。
【0265】
[実施の形態8]
本実施の形態は、汎用のコンピュータ90とプログラム97とを組み合わせて動作させることにより、本実施の形態の情報処理装置20を実現する形態に関する。図45は、実施の形態8の分析システム10の構成を示す説明図である。実施の形態1と共通する部分については、説明を省略する。
【0266】
本実施の形態の分析システム10は、コンピュータ90を含む。コンピュータ90は、制御部21、主記憶装置22、補助記憶装置23、通信部24、表示部25、入力部26、カメラI/F27、振分部I/F28、読取部29およびバスを備える。コンピュータ90は、汎用のパーソナルコンピュータ、タブレットまたはサーバコンピュータ等の情報機器である。
【0267】
プログラム97は、可搬型記録媒体96に記録されている。制御部21は、読取部29を介してプログラム97を読み込み、補助記憶装置23に保存する。また制御部21は、コンピュータ90内に実装されたフラッシュメモリ等の半導体メモリ98に記憶されたプログラム97を読出しても良い。さらに、制御部21は、通信部24および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム97をダウンロードして補助記憶装置23に保存しても良い。
【0268】
プログラム97は、コンピュータ90の制御プログラムとしてインストールされ、主記憶装置22にロードして実行される。これにより、コンピュータ90は上述した情報処理装置20として機能する。
【0269】
各実施例で記載されている技術的特徴(構成要件)はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0270】
10 分析システム
12 異常検体収容部
121 第2搬送部
13 検体回収部
131 第3搬送部
14 バーコードリーダ
15 検体情報システム
16 開栓部
20 情報処理装置
21 制御部
22 主記憶装置
23 補助記憶装置
24 通信部
25 表示部
26 入力部
27 カメラI/F
28 振分部I/F
29 読取部
210 情報処理装置
211 制御部
212 主記憶装置
213 補助記憶装置
214 通信部
30 分析装置
301 分析部
40 検体前処理装置
41 検体投入部
411 第1搬送部
47 カメラ
471 第1カメラ
472 第2カメラ
48 振分部
481 振分アーム
50 検体容器
51 バーコードラベル
52 サンプルカップ
53 チューブ
55 キャップ
61 教師データDB
611 教師データDB
63 学習モデル
64 血液検体用学習モデル
641 容器サイズ判定モデル
642 容器種類判定モデル
643 検体量判定モデル
644 異物判定モデル
645 フィブリン判定モデル
646 泡判定モデル
647 乳び判定モデル
648 フィードバックモデル
6481 第1エラー予測モデル
6482 第2エラー予測モデル
6483 第3エラー予測モデル
649 バーコード判定学習モデル
65 尿検体用学習モデル
651 容器サイズ判定モデル
652 容器種類判定モデル
653 検体量判定モデル
654 異物判定モデル
656 泡判定モデル
657 乳び判定モデル
658 フィードバックモデル
6581 第1エラー予測モデル
6582 第2エラー予測モデル
6583 第3エラー予測モデル
659 バーコード判定学習モデル
66 ログDB
68 検体情報DB
69 キャップ判定学習モデル
70 ニューラルネットワークモデル
701 入力層
702 中間層
703 出力層
71 領域候補抽出部
72 分類部
76 画像取得部
77 入力部
78 出力部
811 仮検体ID欄
8121 第1結果欄
8122 第2結果欄
813 撮影画像欄
8131 第1画像欄
8132 第2画像欄
814 検出画像欄
815 項目入力欄
816 総合判定入力欄
817 設定ボタン
818 キャンセルボタン
821 総合判定欄
822 NG項目欄
823 修正ボタン
824 次ボタン
825 NG項目入力欄
826 総合判定変更ボタン
827 分析装置エラー欄
828 検体ID欄
831 中止ボタン
832 継続ボタン
833 受注情報欄
834 通常キャップ色欄
835 今回キャップ色欄
841 検体種類欄
842 分析可ボタン
843 分析不可ボタン
844 評価欄
845 解説欄
90 コンピュータ
96 可搬型記録媒体
97 プログラム
98 半導体メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45