(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】情報処理装置及びプログラム
(51)【国際特許分類】
G01N 33/543 20060101AFI20241220BHJP
G06T 7/00 20170101ALI20241220BHJP
G06T 7/90 20170101ALI20241220BHJP
【FI】
G01N33/543 521
G06T7/00 612
G06T7/90 D
(21)【出願番号】P 2022000963
(22)【出願日】2022-01-06
【審査請求日】2024-05-09
(73)【特許権者】
【識別番号】515268881
【氏名又は名称】Cotofure株式会社
(73)【特許権者】
【識別番号】306008724
【氏名又は名称】富士レビオ株式会社
(74)【代理人】
【識別番号】110002103
【氏名又は名称】弁理士法人にじいろ特許事務所
(72)【発明者】
【氏名】荒川 宏樹
(72)【発明者】
【氏名】田口 英貴
(72)【発明者】
【氏名】前田 竜太
(72)【発明者】
【氏名】岩堀 友志
(72)【発明者】
【氏名】豊泉 大介
【審査官】大瀧 真理
(56)【参考文献】
【文献】特開2021-067541(JP,A)
【文献】特表2020-530553(JP,A)
【文献】特開2011-191229(JP,A)
【文献】特開2011-075366(JP,A)
【文献】特開2007-285988(JP,A)
【文献】特開2000-338106(JP,A)
【文献】米国特許出願公開第2018/0024049(US,A1)
【文献】米国特許出願公開第2016/0084768(US,A1)
【文献】中国特許出願公開第111033563(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/543
G06T 7/00
G06T 7/90
(57)【特許請求の範囲】
【請求項1】
試薬と検体とを反応させ、前記反応による前記試薬の呈色状態により検査対象物質の有無を検出するための反応カセットに関する原画像のデータと、前記原画像を処理して前記検査対象物質の有無の判定を行うプログラムとを記憶する記憶部と、
前記プログラムを実行するプロセッサとを具備する情報処理装置であって、
前記プロセッサが前記プログラムを実行することにより、
前記原画像内の検査窓画像から、レファレンス領域内に出現するレファレンスライン内の画素に関する色空間値と、前記レファレンス領域と判定ラインが出現する判定領域との間の領域内の画素に関する色空間値とを特定する手段と、
前記判定ライン内の画素に関する色空間値を、前記レファレンスライン内の画素に関する色空間値と、前記レファレンス領域と前記判定領域との間の領域内の画素に関する色空間値との間で正規化する手段と、
前記正規化された前記判定ライン内の画素に関する色空間値に基づいて、前記検査対象物質の有無を判定する手段とが実現される、情報処理装置。
【請求項2】
試薬と検体とを反応させ、前記反応による前記試薬の呈色状態により検査対象物質の有無を検出するための反応カセットに関する原画像のデータと、前記原画像を処理して前記検査対象物質の有無の判定を行うプログラムとを記憶する記憶部と、
前記プログラムを実行するプロセッサとを具備する情報処理装置であって、
前記プロセッサが前記プログラムを実行することにより、
前記原画像から、前記反応カセット上の検査窓に関する検査窓画像を抽出する手段と、
前記検査窓画像から、レファレンス領域内に出現するレファレンスライン上の第1ブロック内の画素に関する色空間値の平均を特定する手段と、
前記レファレンス領域と判定ラインが出現する判定領域との間の領域内において、前記第1ブロック内の画素に関する色空間値の平均に対して色空間上での距離が最大を示す第2ブロック内の画素に関する色空間値の平均を特定する手段と、
前記判定ライン上の第3ブロック内の画素に関する色空間値の平均の最大値を特定する手段と、
前記第2ブロック内の画素に関する色空間値の平均と前記第1ブロック内の画素に関する色空間値の平均との間の色空間上の距離に対する、前記第2ブロック内の画素に関する色空間値の平均と前記第3ブロック内の画素に関する色空間値の平均の最大値との間の色空間上の距離の割合に基づいて、前記検査対象物質の有無を判定する手段とが実現される、情報処理装置。
【請求項3】
前記検査窓画像を抽出する手段は、前記原画像に対する輪郭抽出処理により前記検査窓画像を抽出する、請求項2記載の情報処理装置。
【請求項4】
前記検査窓画像を所定のマトリクスサイズにリサイズする手段がさらに実現される、請求項2記載の情報処理装置。
【請求項5】
前記検査窓画像の中心線に沿って色空間値を探索し、色空間値が最大の変動を示す位置を特定する手段と、
前記位置から所定距離だけ上方の位置に前記第1ブロックを設定する手段とがさらに実現される、請求項2記載の情報処理装置。
【請求項6】
前記位置から所定距離だけ下方の位置に、前記第3ブロックを移動しながら前記最大値を探索するための第2探索枠を設定する手段がさらに実現される、請求項5記載の情報処理装置。
【請求項7】
前記2ブロック内の画素に関する色空間値の平均に対する、前記検査窓画像の各画素の色空間値の色空間上での距離を計算し、距離画像を発生する手段がさらに実現される、請求項2記載の情報処理装置。
【請求項8】
前記距離画像の各画素の距離を、前記2ブロック内の画素に関する色空間値の平均と前記第1ブロック内の画素に関する色空間値の平均との間の色空間上の距離に対する割合に換算し、換算距離画像に変換する手段がさらに実現される、請求項7記載の情報処理装置。
【請求項9】
試薬と検体とを反応させ、前記反応による前記試薬の呈色状態により検査対象物質の有無を検出するための反応カセットに関する原画像内の検査窓画像から、レファレンス領域内に出現するレファレンスライン内の画素に関する色空間値と、前記レファレンス領域と判定ラインが出現する判定領域との間の領域内の画素に関する色空間値とを特定する手段と、
前記判定ライン内の画素に関する色空間値を、前記レファレンスライン内の画素に関する色空間値と、前記レファレンス領域と前記判定領域との間の領域内の画素に関する色空間値との間で正規化する手段と、
前記正規化された前記判定ライン内の画素に関する色空間値に基づいて、前記検査対象物質の有無を判定する手段とをコンピュータに実現させるためのプログラム。
【請求項10】
試薬と検体とを反応させ、前記反応による前記試薬の呈色状態により検査対象物質の有無を検出するための反応カセットに関する原画像から、前記反応カセット上の検査窓に関する検査窓画像を抽出する手段と、
前記検査窓画像から、レファレンス領域内に出現するレファレンスライン上の第1ブロック内の画素に関する色空間値の平均を特定する手段と、
前記レファレンス領域と判定ラインが出現する判定領域との間の領域内において、前記第1ブロック内の画素に関する色空間値の平均に対して色空間上での距離が最大を示す第2ブロック内の画素に関する色空間値の平均を特定する手段と、
前記判定ライン上の第3ブロック内の画素に関する色空間値の平均の最大値を特定する手段と、
前記第2ブロック内の画素に関する色空間値の平均と前記第1ブロック内の画素に関する色空間値の平均との間の色空間上の距離に対する、前記第2ブロック内の画素に関する色空間値の平均と前記第3ブロック内の画素に関する色空間値の平均の最大値との間の色空間上の距離の割合に基づいて、前記検査対象物質の有無を判定する手段とをコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置及びプログラムに関する。
【背景技術】
【0002】
近年、免疫測定法を原理としたイムノクロマトグラフィー法による抗原抗体検査法の利便性を向上した反応カセットに綿棒、スクイズチューブ、滴下チップ等を組み合わせた検査キットが、コロナウイルスの蔓延を背景としいて普及している。
図11に例示するように、被検者から採取した検体を反応カセット31の所定の滴下部32に滴下し、所定の検査時間が経過した後に、検査窓33上のレファレンス領域に出現したレファレンスライン、判定領域に出現した判定ラインを目視確認することにより、検査対象物の有無、つまり陽性又は陰性を判定することができる。
【0003】
具体的にはレファレンス領域内にレファレンスラインが例えば青系統などの色で出現し、レファレンス領域から所定距離下方の判定領域に判定ラインが出現しなかった場合は、陰性と判定することができ、レファレンスラインと判定ラインとが共に青系統などの色で出現した場合には、陽性であると判定することができる。
【0004】
このような検査キットは、個人での使用が難しい。その主な理由としては、特に判定ラインの発色の程度によりその出現の有無を判断するには十分な経験が必要とされること、さらに様々な照明環境がその判断の画一性を阻害していることによる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
目的は、イムノクロマトグラフィー法による抗原抗体検査法に基づいた検査キットによる検査対象物の有無の判定精度を向上できる情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本実施形態に係る情報処理装置は、試薬と検体とを反応させ、反応による試薬の呈色状態により検査対象物質の有無を検出するための反応カセットに関する原画像のデータと、原画像を処理して検査対象物質の有無の判定を行うプログラムとを記憶する記憶部と、プログラムを実行するプロセッサと、判定の結果を表示する表示部とを具備する。プロセッサがプログラムを実行することにより、原画像内の検査窓画像から、レファレンス領域内に出現するレファレンスライン内の画素に関する色空間値と、レファレンス領域と判定ラインが出現する判定領域との間の領域内の画素に関する色空間値とを特定する手段と、判定ライン内の画素に関する色空間値を、レファレンスライン内の画素に関する色空間値と、レファレンス領域と前記判定領域との間の領域内の画素に関する色空間値との間で正規化する手段と、正規化された判定ライン内の画素に関する色空間値に基づいて、検査対象物質の有無を判定する手段とが実現される。
【図面の簡単な説明】
【0007】
【
図1】
図1は、本実施形態に係る情報処理装置の一例としての携帯型情報処理端末を示す図である。
【
図2】
図2は、
図1の携帯型情報処理端末の構成図を示す図である。
【
図3】
図3は、本実施形態に係る情報処理装置の他の例としてのサーバ装置を示す図である。
【
図4】
図4は、
図1の情報処理装置による判定処理の手順を示すフローチャートである。
【
図5】
図5は、
図4の判定処理に続くの手順を示すフローチャートである。
【
図6】
図6は、
図4の工程S12により抽出される検査窓画像の一例を示す図である。
【
図8】
図8は、
図6の工程S20により発生される換算距離画像を示す図である。
【
図9】
図9は、
図6の工程Sによる判定処理S24,S28の補足図である。
【
図10】
図10は、
図6の工程S29による判定結果の表示画面の一例を示す図である。
【
図11】
図11は、反応カセットの一例に関する平面図である。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態について説明する。
本発明の実施形態は、試薬と検体とを反応させ、反応による試薬の呈色状態により検査対象物質の有無を検出するための反応カセットを撮影し、それにより発生した原画像内の検査窓画像から、レファレンス領域内に出現するレファレンスライン内の画素に関する色空間値と、レファレンス領域と判定ラインが出現する判定領域との間の発色していない領域内の画素に関する色空間値との間で、判定ライン内の画素に関する色空間値を正規化(スケーリング)し、検査対象物質の有無を判定することを特徴としている。それによりカメラの特性や照明環境の変化等の外乱要因による判定精度の低下を抑え、判定処理の安定化を実現するものである。以下詳細に説明する。
【0009】
図1に示すように、本実施形態に係る情報処理装置は、典型的にはスマートフォン等の携帯型情報処理端末である。
図2に示すように、携帯型情報処理端末は、プロセッサ11に対してデータ/制御バス10を介して、RAM12、ROM13、記憶部14、カメラ15、タッチパネル17、タッチパネル17の入力コントローラ16、LCD(Liquid Crystal Display)等のディスプレイ19、ディスプレイ19のビデオコントローラ18、通信モジュール20が接続されてなる。プロセッサ11は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)により構成され、記憶部14に記憶され、RAMにロードされたプログラムを実行することにより、カメラ15で撮影された反応カセットに関する画像(原画像)に対してコロナウイルス、インルルエンザウイルス等の検査対象物質の有無を判定するための各種手段が実現される。
【0010】
なお、本実施形態に係る情報処理装置としては、
図3に示すように、携帯型情報処理端末1に対してインターネット回線5を介して接続されるサーバ装置3であってもよい。サーバ装置3は、携帯型情報処理端末1のカメラ15で撮影された反応カセットに関する画像(原画像)のデータを携帯型情報処理端末1から受信し、原画像のデータを処理して検査対象物質の有無を判定し、当該判定結果を携帯型情報処理端末1に返信する。ここでは、本実施形態に係る情報処理装置は、携帯型情報処理端末1であるとして説明する。
【0011】
図4、
図5に検査対象物質の有無の判定処理の手順が示されている。なお、前提として、被検者から採取した検体が
図11に示した反応カセット31の所定の滴下部32に滴下され、所定の検査時間が経過した後に、検査窓33上にレファレンス領域内にレファレンスラインが青系統の色により適正に出現し、且つレファレンス領域から所定距離だけ下方の判定領域内に判定ラインが青系統の色で出現した場合には、検体に検査対象物質が含まれると判定できる(陽性判定)。一方、レファレンス領域内にレファレンスラインが適正に出現したが、判定領域内には判定ラインが出現しなかった場合は、陰性と判定することができる。なお、レファレンスラインとは、検査キットが正しく機能していることを確認するためのラインであって、判定ラインの出現の有無(陽性または陰性)に関わらず発色する。なお、発色する色は、検査キットが採用する発色原理によって異なる、レファレンスラインおよび判定ラインの色には赤、青、緑、紫、黒などがある。ここでは、レファレンスライン、判定ラインともに青色に発色するものとして説明する。
【0012】
なお、原画像I0その他の画像に関して上下方向を、
図11に示す反応カセット31において、検査窓33から見て滴下部32及び反応開始ボタン34の側を下方、反応開始ボタン34から見て滴下部32、検査窓33の側を上方として説明の便宜上規定する。
【0013】
まず工程S11において、カメラ15により反応カセット31の全体が撮影される。それにより
図6に例示するように、原画像I0のデータが発生され、記憶部14に記憶される。好ましくは反応カセット31の上下全体が垂直画角の全域に整合して収まるように撮影される。なお、ここでは原画像I0を構成する画素の値がRGB形式により表現されているものとして説明する。換言すると、画素値は、R軸、G軸、B軸の直交3軸からなる座標空間(色空間)上の座標としての色空間値(R値、G値、B値)により与えられる。周知の通り、R値、G値、B値それぞれが256階調で表現されるとき、青はRGB(0,0,255)、白はRGB(255,255,255)で表される。
【0014】
次に工程S12において、
図6に例示するように、原画像I0から例えば輪郭抽出処理により、反応カセット31上の検査窓33に関する検査窓画像I1が抽出される。この抽出方法としては輪郭抽出処理に限定されることはなく、任意の手法が採用される。次に工程S13において、検査窓画像I1は、補間処理又は間引き処理により所定のマトリクスサイズ(縦横の画素数)にリサイズされる。それによりリサイズされた検査窓画像I2が発生され、記憶部14に記憶される。携帯型情報処理端末1に装備されるカメラ15の解像度は様々であり、また撮影条件の設定に応じて変動するので、当該リサイズ処理はマトリクスサイズを一定にして、後述の処理の安定的な実行を実現する。
【0015】
工程S14において、
図7に示すレファレンスラインの下縁を示す基準線RLを探索するための探索枠F1が設定される。レファレンスラインは検査窓33内のレファレンス領域内のいずれかの位置に出現する。検査窓33内におけるレファレンス領域の位置及び範囲は予め決まっている。なお、インフルエンザウイルスの判定ラインが出現する判定領域、コロナウイルスの判定ラインが出現する判定領域それぞれの位置及び範囲も予め決まっている。レファレンス領域を包囲するように探索枠F1が設定される。探索枠F1の中心は、検査窓画像I2の上端から所定の距離、つまり所定の画素数P1だけ下方の位置に設定され、幅は検査窓画像I2の幅と同じに設定され、また高さはレファレン領域と同じ又は少し大きく設定される。
【0016】
工程S15において、探索枠F1内に限定して、上方から下方に向かって検査窓画像I2の中心線Cに沿って、着目画素を1画素ずつ移動しながら、着目画素の色空間値と着目画素より一又は所定数だけ上方に位置する対象画素の色空間値とに基づいて、青色から、発色していない白色に変化するレファレンスラインの下縁が特定される。具体的には、着目画素の色空間値が対象画素の色空間値より低く、且つそれら2画素の色空間値の差、つまり色空間値の変動が最大を示す位置を特定する。当該位置を通り、幅方向に平行に基準線RLが設定される。
【0017】
次に、工程S16において、基準線RLから所定の画素数P2だけ上方の位置に、所定サイズの青ブロックB(B)が設定される。青ブロックB(B)のサイズとしては、例えば検査窓画像I2の全幅を示す画素数の20%の幅で、検査窓画像I2の全幅を示す画素数の10%の高さに既定される。画素数P2は、青ブロックB(B)の全域がレファレンスライン内に含まれるように既定されている。工程S17において、青ブロックB(B)に含まれる検査窓画像I2上の複数の画素を対象として色空間値の平均値ave.(B(B))が計算される。典型的には画素値がRGB形式で表現されるとき、R値、G値、B値それぞれの平均値が求められる。なお、青ブロックB(B)内の複数の画素に関する色空間値の平均ave.(B(B))は、レファレンスライン内の標準的な色空間値を示している。
【0018】
工程S18において、レファレンス領域と判定領域との間の領域を探索枠F2として、この探索枠F2内に限定して、検査窓画像I2の中心線Cに沿って下方に、青ブロックB(B)と同じサイズの白ブロックB(W)が1画素ピッチで移動され、その各位置で白ブロックB(W)内に含まれる画素に関する色空間値の平均値ave.B(W)が計算される。そして青ブロックB(B)内の画素に関する色空間値の平均値ave.(B(B))から色空間上で最も離れた、つまり青ブロックB(B)内の画素に関する色空間値の平均ave.B(B)からの色空間上での距離が最大を示す色空間値の平均ave.B(W)が特定される。
【0019】
工程S19において、
図8(a)、
図8(b)に示すように、探索された白ブロックB(W)の色空間値の平均値ave.B(W)と、検査窓画像I2上の各画素に関する色空間値p(x,y(I2))との間の色空間上の距離d(x,y(I2))が画素毎に計算される。それにより検査窓画像I2が、距離画像I3に変換される。さらに工程S20において、距離画像I3の各画素の画素値が、青ブロックB(B)内の画素に関する色空間値の平均値ave.B(B)と白ブロック内の画素に関する色空間値の平均値ave.B(W)との間の色空間上の距離Dに対する割合(d(x,y(I2))/D)に換算される。それにより換算距離画像I4が生成される。つまり、当該換算距離画像I4の生成処理は、カメラ15の特性や照明等の撮影環境等による依存性を排除して、判定精度を高めて且つ安定化するために、検査窓画像I2上の各画素に関する色空間値を、白ブロックB(W)内の画素に関する色空間値の平均値ave.B(W)と青ブロックB(B)内の画素に関する色空間値の平均値ave.B(B)との間で正規化(スケーリング)することを意味する。
【0020】
次に、工程S21において、基準線RLから所定の画素数P3だけ下方の位置に、探索枠F3が設定される。探索枠F3の中心は、基準線RLから所定の距離、つまり所定の画素数P3だけ下方の位置に設定され、幅は検査窓画像I2の全域に設定され、また高さは検査窓33内でインフルエンザウイルスの判定ラインが出現する可能性のある判定領域を包囲する大きさに既定されている。
【0021】
工程S22において、探索枠F3内で青ブロックB(B)と同じサイズのインフルエンザブロックB(FLU)が縦横に1画素ずつ移動され、その各位置でインフルエンザブロックB(FLU)に含まれる換算距離画像I4上の複数の画素に関する画素値の平均ave.B(FLU)が計算される。そして工程S23において、複数の画素値の平均値ave.B(FLU)から最大値MAXave.B(FLU)が特定される。
【0022】
工程S24において、
図9に示すように、最大値MAXave.B(FLU)が、所定の閾値TH、例えば0.3と比較される。当該比較結果に従ってインフルエンザウイルスに関する陽性/陰性が判定される。インフルエンザブロックB(FLU)の最大値MAXave.B(FLU)が閾値THより低いとき、陰性として判定され、高いとき、陽性として判定される。閾値THの値は任意に変更可能である。
【0023】
次に、工程S25において、基準線RLから所定の画素数P4だけ下方の位置に、探索枠F4が設定される。探索枠F4の中心は、基準線RLから所定の距離、つまり所定の画素数P4だけ下方の位置に設定され、幅は検査窓画像I2の全域に設定され、また高さは検査窓33内でコロナウイルスの判定ラインが出現する可能性のある判定領域を包囲する大きさに既定されている。
【0024】
工程S26において、探索枠F4内で青ブロックB(B)と同じサイズのコロナブロックB(COV)が縦横に1画素ずつ移動され、その各位置でコロナブロックB(COV)に含まれる換算距離画像I4上の複数の画素に関する画素値の平均ave.B(COV)が計算される。そして工程S27において、平均値ave.B(COV)から最大値MAXave.B(COV)が特定される。
【0025】
工程S28において、最大値MAXave.B(COV)が所定の閾値THと比較される。当該比較結果に従ってコロナウイルスに関する陽性/陰性が判定される。コロナブロックB(COV)の最大値MAXave.B(COV)が閾値THより低いとき、陰性として判定され、高いとき、陽性として判定される。典型的には閾値THの値は、インフルエンザウイルス判定とコロナウイルス判定とで同一であるが、それぞれ個別に設定するものであっても良い。
【0026】
図10に例示するように、工程S29において、判定結果は、ディスプレイ19に表示される。または、判定結果に関するデータは、サーバ装置3から携帯型情報処理端末1に送信され、携帯型情報処理端末1のディスプレイ19に表示される。なお、表示される換算距離画像I4の右側には、画素値p(x,y(I4))を水平方向に積分したヒストグラムが表示され、下側には、画素値p(x,y(I4))を垂直方向に積分したヒストグラムが表示されていてもよい。これらヒストグラムによりレファレンスラインの積分値と反応ラインの積分値とを対比することができ、陽性/陰性の判定結果及びその確度を目視によりおおよそ確認することができる。
【0027】
本実施形態によれば、イムノクロマトグラフィー法による抗原抗体検査法に基づいた検査キットによる検査対象物の有無の判定精度を向上することができる。より具体的には、
レファレンスライン内の標準的な色空間値と、レファレンス領域と判定領域との間の発色していない領域の色空間値との間で、判定ライン内の色空間値を正規化(スケーリング)することにより、カメラ15の特性や照明等の撮影環境等による依存性を排除して、検査対象物の有無に関する判定精度を高めて且つ安定化することができる。
【0028】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0029】
1…携帯型情報処理端末、11…プロセッサ、10…データ/制御バス、12…RAM、13…ROM、14…記憶部、15…カメラ、17…タッチパネル、19…ディスプレイ、20…通信モジュール。