(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-25
(45)【発行日】2022-05-09
(54)【発明の名称】呈色反応検出システム、呈色反応検出方法及びプログラム
(51)【国際特許分類】
G01N 21/78 20060101AFI20220426BHJP
G01N 33/84 20060101ALI20220426BHJP
G01N 33/50 20060101ALI20220426BHJP
G01N 33/52 20060101ALI20220426BHJP
【ＦＩ】
G01N21/78 A
G01N33/84 A
G01N33/50 R
G01N33/52 B
【請求項の数】
10
(21)【出願番号】P 2017225666
(22)【出願日】2017-11-24
(65)【公開番号】P2019095328
(43)【公開日】2019-06-20
【審査請求日】2020-10-21
(73)【特許権者】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】高橋 諄丞
(72)【発明者】
【氏名】増田 智仁
(72)【発明者】
【氏名】酒井 修二
【審査官】赤木 貴則
(56)【参考文献】
【文献】特表２０１５－５２０３８９（ＪＰ，Ａ）
【文献】特開２０１７－１２５８４０（ＪＰ，Ａ）
【文献】特開２０１４－１６６２９８（ＪＰ，Ａ）
【文献】国際公開第２０１７／１５００７１（ＷＯ，Ａ１）
【文献】特開２０１５－１１２３３３（ＪＰ，Ａ）
【文献】特表２０１３－５２７８４８（ＪＰ，Ａ）
【文献】国際公開第２００９／０９３４５３（ＷＯ，Ａ１）
【文献】特開２０１０－０６６１４６（ＪＰ，Ａ）
【文献】特開２０１３－２１５９６２（ＪＰ，Ａ）
【文献】米国特許第０６４２６２２７（ＵＳ，Ｂ１）
【文献】加藤光保、永田毅，病理標本の3次元再構築によるがんの特性の研究，日本機械学会2014年度年次大会，2014年09月07日，doi:10.1299/jsmemecj.2014._W021006-1
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／６２－Ｇ０１Ｎ ２１／８３
Ｇ０１Ｎ ３３／４８－Ｇ０１Ｎ ３３／９８
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムであり、被検溶液が前記呈色反応領域に対する滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測部と、
前記設定検出時間における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出部と、
前記類似度が最大である前記参照画像を抽出する呈色反応検出部と、を備えるとともに、
前記呈色反応検出システムは、
撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、撮像角度を変えて撮像画像を撮像することを促す通知を行い、前記撮像角度が前記撮像角度範囲内に含まれている場合、前記呈色反応領域を撮像した撮像画像を取得する撮像制御部と、
前記撮像角度が前記撮像角度範囲内に含まれている場合に得られる、前記呈色反応領域を撮像した撮像画像であり、最初に撮像された撮像画像と、以降に撮像された撮像画像との比較結果に基づいて、前記被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出部をさらに備え、
前記経過時間計測部が、
前記滴下検出部が前記呈色反応領域に対する前記被検溶液の滴下を検出してから、前記経過時間の測定を開始する
を備えることを特徴とする呈色反応検出システム。
【請求項2】
前記滴下検出部が、時系列に撮像される撮像画像において、最初に撮像された撮像画像の呈色反応色である初期呈色反応色と以降に撮像された撮像画像の比較呈色反応色とを順次比較し、前記呈色反応色と前記比較呈色反応色との差分値を検出し、当該差分値が予め設定した滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする請求項１に記載の呈色反応検出システム。
【請求項3】
前記滴下検出部が、時系列に撮像される撮像画像において、撮像された撮像画像の比較呈色領域画像と、予め設定された滴下後の呈色反応領域の状態を示す参照呈色領域画像とを順次比較し、類似度が滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする請求項１に記載の呈色反応検出システム。
【請求項4】
前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像から、前記呈色反応領域が予め設定された画像座標に位置するように前記撮像画像を検出用撮像画像に変換する画像変換部をさらに備え、前記類似度算出部が前記撮像画像として前記検出用撮像画像を用いる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の呈色反応検出システム。
【請求項5】
前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した前記撮像画像により、当該撮像画像が撮像された撮像方向と、観察対象面の基準線との成す観察角度を求め、前記撮像画像の前記観察角度を変換し、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成すること
を特徴とする請求項４に記載の呈色反応検出システム。
【請求項6】
前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像おいて複数の座標を求め、これら複数の座標を用いた射影変換を行うことにより、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成すること
を特徴とする請求項４に記載の呈色反応検出システム。
【請求項7】
前記撮像制御部が、前記参照画像における所定の参照領域における輝度値である参照輝度値と、前記撮像画像における前記参照画像の前記参照領域の位置と同一の位置の輝度値とを比較し、当該輝度値と前記参照輝度値とが同様となるように前記撮像画像の輝度値を補正することを特徴とする請求項１から請求項６のうちいずれか１項に記載の呈色反応検出システム。
【請求項8】
前記分析キットの前記呈色反応領域が、被検出対象物質の呈色反応により検体の検出を行う媒体として、少なくともｐＨ（ピーエッチ）試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていることを特徴とする請求項１から請求項７のいずれか一項に記載の呈色反応検出システム。
【請求項9】
分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出方法であり、撮像制御部が、前記呈色反応領域を撮像した撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、撮像角度を変えて撮像画像を撮像することを促す通知を行い、前記撮像角度が前記撮像角度範囲内に含まれている場合、前記呈色反応領域を撮像した撮像画像を取得する撮像制御過程と、
滴下検出部が、前記撮像角度が前記撮像角度範囲内に含まれている場合に得られる、前記呈色反応領域を撮像した撮像画像であり、最初に撮像された撮像画像と、以降に撮像された撮像画像との比較結果に基づいて、被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出過程と、
経過時間計測部が、被検溶液が前記呈色反応領域に対する滴下が前記滴下検出部によって検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測過程と、
類似度算出部が、前記設定検出時間における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出過程と、
呈色反応検出部が、前記類似度が最大である前記参照画像を抽出する呈色反応検出過程と
を含むことを特徴とする呈色反応検出方法。
【請求項10】
分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムの機能をコンピュータに実行させるプログラムであり、前記コンピュータを、
前記呈色反応領域を撮像した撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、撮像角度を変えて撮像画像を撮像することを促す通知を行い、前記撮像角度が前記撮像角度範囲内に含まれている場合、前記呈色反応領域を撮像した撮像画像を取得する撮像制御手段、
前記撮像角度が前記撮像角度範囲内に含まれている場合に得られる、前記呈色反応領域を撮像した撮像画像であり、最初に撮像された撮像画像と、以降に撮像された撮像画像との比較結果に基づいて、被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出手段、
被検溶液が前記呈色反応領域に対する滴下が前記滴下検出手段において検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測手段、
前記設定検出時間における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出手段、
前記類似度が最大である前記参照画像を抽出する呈色反応検出手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、尿検査や妊娠検査等で使用される簡易検査紙や簡易検査薬を用いた簡易分析キットの呈色反応の検出を行う呈色反応検出システム、呈色反応検出方法及びプログラムに関する。
【背景技術】
【0002】
近年、簡易検査紙や簡易検査薬などを用いた簡易分析キットが、病気、妊娠、化学物質などの判定に多用されるようになってきている。例えば、簡易分析キットの一例として、尿検査紙において、一般的な例を以下に説明する。この簡易分析キットにおいては、検査紙の表面に単一または複数の種類の検体の検査を行う反応領域が配置されている。この反応領域の各々に対し、検体を含む被検溶液が滴下された際、反応領域の各々においては、被検溶液に含まれる検体が被検出対象の物質（被検出対象物質）を含む場合に呈色反応が生じる。
そして、被検溶液を滴下した後、反応領域毎（検査対象の検査項目毎）に定められている処理の時間経過時の呈色反応により生じた色と、検査項目の検査結果に対応した色凡例とを、ユーザが目視で比較して確認することで、検査項目の検査結果の分析が行われる。 この分析手法は、尿検査及び妊娠検査などにおいて、家庭で使用できる簡易検査キットとして広く用いられている。
そして、被検溶液を滴下した後、反応領域毎（検査対象の検査項目毎）に定められている処理の時間経過時の呈色反応により生じた色と、検査項目の検査結果に対応した色凡例とを、ユーザが目視で比較して確認することで、検査項目の検査結果の分析が行われる。 この分析手法は、尿検査及び妊娠検査などにおいて、家庭で使用できる簡易検査キットとして広く用いられている。
【0003】
また、他の検査結果の分析方法としては、人間が目視で検査結果を判定するのではなく、呈色反応が発生した反応領域のスペクトル吸光度を測定し、被検溶液に含まれる被検出対象物質の濃度を検出する方法もある。
上述したように、呈色反応が発生した反応領域のスペクトル吸光度を用いた分析を行う専用装置やこの専用装置を用いた検出手法は既に用いられている。
上述したように、呈色反応が発生した反応領域のスペクトル吸光度を用いた分析を行う専用装置やこの専用装置を用いた検出手法は既に用いられている。
【0004】
しかし、この分析に用いられる専用装置は、専門家(医療従事者)向けの装置であり、一般的に高価で極めて限られた場所でしか使用することができない。
また、上述した専用装置を用いた検出手法は、この専用装置に組み込まれた特殊な光学装置を用いて照明したり、所定の環境下で撮影されることを前提としている(例えば、特許文献１参照)。
また、上述した専用装置を用いた検出手法は、この専用装置に組み込まれた特殊な光学装置を用いて照明したり、所定の環境下で撮影されることを前提としている(例えば、特許文献１参照)。
【0005】
また、近年、”Point of Care Testing (POCT)”が提唱されており、病院の専用装置でしか処理できなかった生化学的検査項目を、専門知識がなくてもいつでもどこでも簡便な装置を用い、安価で容易に検査する仕組み作りが急務であり、患者にとって検査をより身近なものにしていこうとする傾向がみられる。また、医療現場においても即座に検査結果を得られ、医師が迅速な処置を施すことが出来るメリットが生まれる。この簡易検査キットを用いることで、医療現場外でも救急車内や家庭内で予備診断を簡易に行うことができ、病院に搬送された後の医療現場における対処を効率的に進めることができる。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１１－２１４８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述した分析方法は、一般的に、光源環境や検査キットの設置位置などを揃えるため、専用装置による分析を行うことを必要とする。
しかしながら、一般家庭においては、高価な上記専用装置を利用することが困難である。このため、より一般的な手法としては、簡易に利用することが可能な汎用のデジタルカメラやスマートフォンの撮像機能などを用いて検査キットの画像を撮像し、この画像を用いて分析を行うことが有効である。
しかしながら、一般家庭においては、高価な上記専用装置を利用することが困難である。このため、より一般的な手法としては、簡易に利用することが可能な汎用のデジタルカメラやスマートフォンの撮像機能などを用いて検査キットの画像を撮像し、この画像を用いて分析を行うことが有効である。
【0008】
一方、検査キットの反応領域を汎用のデジタルカメラなどで撮像して、撮像画像により一般家庭で検査を行う場合、専用装置を用いる場合に比較して、各ユーザにおいて安定した結果を得ることが困難である。
例えば、一般的な簡易検査紙である簡易尿検査紙は、尿中の白血球、鮮血、ブドウ糖など、複数の検査項目が検査できるようになっている。これらの検査項目に対応する反応領域の各々においては、それぞれの検査項目毎に設定された、被検溶液を滴下してからの経過時間における呈色を観察する。
例えば、一般的な簡易検査紙である簡易尿検査紙は、尿中の白血球、鮮血、ブドウ糖など、複数の検査項目が検査できるようになっている。これらの検査項目に対応する反応領域の各々においては、それぞれの検査項目毎に設定された、被検溶液を滴下してからの経過時間における呈色を観察する。
【0009】
しかし、反応領域においては、上記設定された経過時間（設定検出時間）以降においても呈色反応が進むため、色の判定に慣れないユーザにとって、時系列に変化する呈色反応の色と汎用例の色との比較を行う判定は容易には行えない。
すなわち、ユーザが呈色と汎用例の色とが同様であると判定するために時間を要してしまうと、設定検出時間を超えた色と、汎用例とを比較することになり、不正確な判定結果を得ることになる。
また、ユーザ毎に色の認知が異なるため、呈色と汎用例の色との比較にユーザ間の個体差が生じ、ユーザによっては他のユーザとは大きく判定結果が異なる場合がある。
すなわち、ユーザが呈色と汎用例の色とが同様であると判定するために時間を要してしまうと、設定検出時間を超えた色と、汎用例とを比較することになり、不正確な判定結果を得ることになる。
また、ユーザ毎に色の認知が異なるため、呈色と汎用例の色との比較にユーザ間の個体差が生じ、ユーザによっては他のユーザとは大きく判定結果が異なる場合がある。
【0010】
本発明は、このような状況に鑑みてなされたもので、特殊で高価な検査装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された設定検出時間が経過した時点における呈色反応の判定結果を容易に得ることが可能な呈色反応検出システム、呈色反応検出方法及びプログラムを提供する。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明の呈色反応検出システムは、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムであり、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測部と、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出部と、前記類似度が最大である前記参照画像を抽出する呈色反応検出部とを備えることを特徴とする。
【0012】
本発明の呈色反応検出システムは、前記被検溶液が前記呈色反応領域に滴下されたか否かの検出を行う滴下検出部をさらに備え、前記経過時間計測部が、前記滴下検出部が前記呈色反応領域に対する前記被検溶液の滴下を検出してから、前記経過時間の測定を開始することを特徴とする。
【0013】
本発明の呈色反応検出システムは、前記滴下検出部が、時系列に撮像される撮像画像において、最初に撮像された撮像画像の呈色反応色である初期呈色反応色と以降に撮像された撮像画像の比較呈色反応色とを順次比較し、前記呈色反応色と前記比較呈色反応色との差分値を検出し、当該差分値が予め設定した滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする。
【0014】
本発明の呈色反応検出システムは、前記滴下検出部が、時系列に撮像される撮像画像において、撮像された撮像画像の比較呈色領域画像と、予め設定された滴下後の呈色反応領域の状態を示す参照呈色領域画像とを順次比較し、類似度が滴下開始判定閾値以上の場合、前記被検溶液が前記呈色反応領域に滴下された前記検出時点を検出することを特徴とする。
【0015】
本発明の呈色反応検出システムは、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像から、前記呈色反応領域が予め設定された画像座標に位置するように前記撮像画像を検出用撮像画像に変換する画像変換部をさらに備え、前記類似度算出部が前記撮像画像として前記検出用撮像画像を用いることを特徴とする。
【0016】
本発明の呈色反応検出システムは、前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した前記撮像画像により、当該撮像画像が撮像された撮像方向と、観察対象面の基準線との成す観察角度を求め、前記撮像画像の前記観察角度を変換し、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成することを特徴とする。
【0017】
本発明の呈色反応検出システムは、前記画像変換部が、前記分析キットの前記呈色反応領域を含む観察対象面を撮像した撮像画像おいて複数の座標を求め、これら複数の座標を用いた射影変換を行うことにより、検査結果を判定する標準撮像角度で撮像した参照撮像画像と同様の観察角度における検出用撮像画像を生成することを特徴とする。
【0018】
本発明の呈色反応検出システムは、前記撮像画像の撮像角度が予め設定の撮像角度範囲内に含まれるか否かの判定を行い、前記撮像角度が前記撮像角度範囲内に含まれていない場合、再度、撮像角度を変えて撮像画像を撮像することを促す通知を行う撮像制御部をさらに備えることを特徴とする。
【0019】
本発明の呈色反応検出システムは、前記撮像制御部が、前記参照撮像画像における所定の参照領域における輝度値である参照輝度値と、前記撮像画像における前記参照撮像画像の前記参照領域の位置と同一の位置の輝度値とを比較し、当該輝度値と前記参照輝度値とが同様となるように前記撮像画像データの輝度値を補正することを特徴とする。
【0020】
本発明の呈色反応検出システムは、前記分析キットの前記呈色反応領域が、被検出対象物質の呈色反応により検体の検出を行う媒体として、少なくともｐＨ（ピーエッチ）試験紙、尿検査紙、酸化度測定紙の簡易検査紙が用いられていることを特徴とする。
【0021】
本発明の呈色反応検出方法は、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出方法であり、経過時間計測部が、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測過程と、類似度算出部が、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出過程と、呈色反応検出部が、前記類似度が最大である前記参照画像を抽出する呈色反応検出過程とを含むことを特徴とする。
【0022】
本発明のプログラムは、分析キットにおける検査項目に対応した呈色反応領域における呈色反応により検体の被検出対象物質を検出する呈色反応検出システムの機能をコンピュータに実行させるプログラムであり、前記コンピュータを、被検溶液が前記呈色反応領域に滴下が検出された検出時点からの経過時間を測定し、当該経過時間が前記呈色反応を観察する予め設定した設定検出時間と一致したか否か検出する経過時間計測手段、前記設定検出時における前記呈色反応領域を撮像した撮像画像の呈色反応色と、検査の判定レベルを示す参照画像の各々との類似度を算出する類似度算出手段、前記類似度が最大である前記参照画像を抽出する呈色反応検出手段として機能させるためのプログラムである。
【発明の効果】
【0023】
以上説明したように、本発明によれば、このような状況に鑑みてなされたもので、特殊で高価な検査装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された設定検出時間が経過した時点における呈色反応の判定結果を容易に得ることが可能な呈色反応検出システム、呈色反応検出方法及びプログラムを提供する。
【図面の簡単な説明】
【0024】
【図1】本発明の一実施形態による呈色反応検出システムの構成例を示すブロック図である。
【図2】本実施形態における呈色反応検出システムの解析対象の分析キットの外観の一例を示す図である。
【図3】呈色反応領域を撮像する際の撮像部１０１の観察角度を説明する図である。
【図4】参照画像記憶部１１１に記憶されている検査キットテーブルの構成例を示す図である。
【図5】検査結果記憶部１１２に記憶されている検査結果テーブルの構成例を示す図である。
【図6】本発明の一実施形態の呈色反応検出システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応検出処理の動作例を示すフローチャートである。
【発明を実施するための形態】
【0025】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態による呈色反応検出システムの構成例を示すブロック図である。図１において、呈色反応検出システム１は、撮像部１０１、露光制御部１０２、撮像制御部１０３、画像変換部１０４、滴下検出部１０５、経過時間計測部１０６、類似度算出部１０７、呈色反応検出部１０８、表示部１０９、撮像画像記憶部１１０、参照画像記憶部１１１及び検査結果記憶部１１２の各々を備えている。
図１は、本発明の一実施形態による呈色反応検出システムの構成例を示すブロック図である。図１において、呈色反応検出システム１は、撮像部１０１、露光制御部１０２、撮像制御部１０３、画像変換部１０４、滴下検出部１０５、経過時間計測部１０６、類似度算出部１０７、呈色反応検出部１０８、表示部１０９、撮像画像記憶部１１０、参照画像記憶部１１１及び検査結果記憶部１１２の各々を備えている。
【0026】
撮像部１０１は、例えば、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いたデジタルカメラ、あるいは携帯端末に備えられた撮像装置などであり、対象物を撮像して撮像画像データを出力する。また、撮像画像データを動画として撮像してもよい。本実施形態において、撮像画像データとしては、例えば各色成分ＲＧＢの濃淡を含むカラー画像を対象としている。撮像部１０１は、撮像画像データを撮像画像記憶部１１０に対して書き込み記憶させる。
【0027】
露光制御部１０２は、露光の撮像の条件として、シャッタースピード、絞り値、照明光の有無、照明光の強度などの撮像部１０１の撮像条件を制御する。また、露光制御部１０２は、呈色反応検出システム１の撮像する呈色反応領域（分析キット）の周囲の明るさに対応し、撮像時において必要に応じてフラッシュ光源のような照明光の点灯指示を、図示しない照明部に対して出力する。
【0028】
図２は、本実施形態における呈色反応検出システムの解析対象の分析キットの外観の一例を示す図である。本実施形態が検出対象とする分析キットは、例えば、図２に示す外観を有する分析キット容器９００である。分析キット容器９００は、観察対象面９０１に呈色反応領域９０２を備えている。呈色反応領域９０２には、複数の比色反応領域として、比色反応領域９０３、９０４、９０５、９０６、９０７及び９０８の各々が形成されている。また、これらの比色反応領域は、呈色反応領域に滴下された被検溶液に含まれる検出対象物質により呈色する領域であり、検出対象物質毎に設けられており、各々が対応する検出対象物質に対してそれぞれ反応する。
また、観察対象面９０１には、呈色反応領域９０２の撮像画像の色味を補正するための色補正用パッチ１００１、１００２及び１００３が形成されている（後述）。
また、観察対象面９０１には、呈色反応領域９０２の撮像画像の色味を補正するための色補正用パッチ１００１、１００２及び１００３が形成されている（後述）。
【0029】
撮像制御部１０３は、撮像部１０１が分析キットの撮像画像である撮像画像データを撮像する際、焦点深度、撮像素子の感度（ＩＳＯ（International Organization for Standardization）感度）などの撮像部１０１の撮像条件を、予め設定された数値に制御する。
また、撮像制御部１０３は、現在の撮像画像データを解析し、分析キットの呈色反応領域９０２の撮像画像に対して、露光制御部１０２の指示により光源環境の影響を排除する処理を行う。また、汎用のデジタルカメラにホワイトバランス機能が備わっている場合、ホワイトバランス機能を用いて、光源環境の影響を排除する処理を行っても良い。
また、撮像制御部１０３は、現在の撮像画像データを解析し、分析キットの呈色反応領域９０２の撮像画像に対して、露光制御部１０２の指示により光源環境の影響を排除する処理を行う。また、汎用のデジタルカメラにホワイトバランス機能が備わっている場合、ホワイトバランス機能を用いて、光源環境の影響を排除する処理を行っても良い。
【0030】
一般的に、撮像画像には、照明の照度ムラや、撮像機器や光源色に依存する色味の違いなどが存在する。
この撮像画像データに含まれる輝度ムラの補正方法としては、例えば、光源の明滅の周期と撮像部１０１の輝度値を記録する周期の差に起因する輝度ムラに対して、以下の手順が有効である。分析キット容器の観察対象面以外の領域を一様な色の配色（例えば白色）とする。撮像画像データをＩ（ｕ，ｖ）とし、観察対象領域以外の領域を抽出するため、マスク処理を施す。抽出した領域において、撮像画像データの各行Ｉ（ｖ）について、Ｒ，Ｇ，Ｂ値の中央値をそれぞれ算出し、Ｒ’（ｖ）、Ｇ’（ｖ）、Ｂ’（ｖ）とする。算出したＲ’（ｖ）、 Ｇ’（ｖ）、Ｂ’（ｖ）において、Ｒ、Ｇ、Ｂ値毎に最大値を算出し、Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘとする。各行Ｉ（ｖ）の中央値がＲｍａｘ、Ｇｍａｘ、Ｂｍａｘと等しくなるように、以下の（１）式で撮像画像データＩ（ｕ，ｖ）を補正し、Ｉ’（ｕ，ｖ）とする。
この撮像画像データに含まれる輝度ムラの補正方法としては、例えば、光源の明滅の周期と撮像部１０１の輝度値を記録する周期の差に起因する輝度ムラに対して、以下の手順が有効である。分析キット容器の観察対象面以外の領域を一様な色の配色（例えば白色）とする。撮像画像データをＩ（ｕ，ｖ）とし、観察対象領域以外の領域を抽出するため、マスク処理を施す。抽出した領域において、撮像画像データの各行Ｉ（ｖ）について、Ｒ，Ｇ，Ｂ値の中央値をそれぞれ算出し、Ｒ’（ｖ）、Ｇ’（ｖ）、Ｂ’（ｖ）とする。算出したＲ’（ｖ）、 Ｇ’（ｖ）、Ｂ’（ｖ）において、Ｒ、Ｇ、Ｂ値毎に最大値を算出し、Ｒｍａｘ、Ｇｍａｘ、Ｂｍａｘとする。各行Ｉ（ｖ）の中央値がＲｍａｘ、Ｇｍａｘ、Ｂｍａｘと等しくなるように、以下の（１）式で撮像画像データＩ（ｕ，ｖ）を補正し、Ｉ’（ｕ，ｖ）とする。
【0031】
【数1】
【0032】
上述した説明においては、行毎のＲ，Ｇ，Ｂ値の中央値をそれぞれ算出したが、列でも良いし、撮像画像データを複数の領域に分割し、分割した領域毎に行っても良い。
また、同一の撮像画像データではなく、時系列に入力される撮像画像データ間において、上述した処理を行っても良い。
また、同一の撮像画像データではなく、時系列に入力される撮像画像データ間において、上述した処理を行っても良い。
【0033】
また、色味（各画素の色成分ＲＧＢの階調度）の補正方法としては、以下の構成により行うことができる。分析キット容器９００の観察対象面９０１における呈色反応領域９０２の表面の検査に影響を与えない位置に色味の異なる３個の色補正用パッチ（図２における色補正用パッチ１００１、１００２及び１００３）を配置しておく。 ここで、検査に影響を与えない位置 とは、例えば観察対象面９０１において、呈色反応領域９０２が形成されない位置であり、呈色反応領域から所定の距離離れた領域を示している。
【0034】
標準的な光源（例えばＤ６５の光源）環境下で参照パターンを撮像し、同時に撮像される色補正用パッチ各々の画像データから分光反射率を予め測定し、参照画像記憶部１１１に書き込んで記憶させておく。
この３個の色補正用パッチ各々の分光反射率を用いて、撮像画像データにおける呈色反応パターンの色味の補正を行うことで、上記標準的な光源環境下で撮像した色味の撮像画像データを得ることができ、同一の光源環境下で撮像した参照パターン及び呈色反応パターンとして比較することが可能となる。
この３個の色補正用パッチ各々の分光反射率を用いて、撮像画像データにおける呈色反応パターンの色味の補正を行うことで、上記標準的な光源環境下で撮像した色味の撮像画像データを得ることができ、同一の光源環境下で撮像した参照パターン及び呈色反応パターンとして比較することが可能となる。
【0035】
標準的な光源で撮像された色補正用パッチの色味がＣｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）と算出され、撮像画像データにおける色補正用パッチの色味がＣｉｎ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と算出された場合、色味Ｃｇｔと色味Ｃｉｎとの間には、最も簡単な色補正の変換式を一例として適用した場合、以下の（２）式が成り立つ。
【0036】
【数2】
【0037】
この（２）式において、上述したように、Ｃｇｔは標準的な光源で撮像された色補正用パッチの色味であり、色成分ＲＧＢで記載すると（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）であり、Ｃｉｎは撮像画像データにおける色補正用パッチの色味であり、色成分ＲＧＢで記載すると（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）である。
これにより、（２）式は、以下の（３）式で表される。
これにより、（２）式は、以下の（３）式で表される。
【0038】
【数3】
【0039】
各々の色味が異なる３個の色補正用パッチを用いることにより、標準的な光源で撮像された色補正用パッチの色味と、撮像画像データにおける色補正用パッチの色味との組み合わせが３対以上得ることにより、（３）式における行列Ａが得られる。
ここで、撮像制御部１０３は、参照画像記憶部１１１から３種類の色補正用パッチの色味Ｃｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）と、（３）式とを読み出す。そして、撮像制御部１０３は、撮像画像データから、３種類の色補正用パッチの色味Ｃｉｎ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を抽出し、色補正用パッチの色味Ｃｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）を用いて、３種類の色補正用パッチの各々に対応させた（３）式を用いて行列Ａを算出する。撮像制御部１０３は、算出した行列Ａを用いて（３）式により、任意の光源下で撮像した撮像画像データの各画素の色味を、標準的な光源下で撮像される色味に変換する。
ここで、撮像制御部１０３は、参照画像記憶部１１１から３種類の色補正用パッチの色味Ｃｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）と、（３）式とを読み出す。そして、撮像制御部１０３は、撮像画像データから、３種類の色補正用パッチの色味Ｃｉｎ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を抽出し、色補正用パッチの色味Ｃｇｔ（Ｒｇｔ，Ｇｇｔ，Ｂｇｔ）を用いて、３種類の色補正用パッチの各々に対応させた（３）式を用いて行列Ａを算出する。撮像制御部１０３は、算出した行列Ａを用いて（３）式により、任意の光源下で撮像した撮像画像データの各画素の色味を、標準的な光源下で撮像される色味に変換する。
【0040】
上述したように、行列Ａを求めて、（３）式を用いることにより、任意の光源下で撮像された撮像画像データの色味を、標準的な光源下で撮像された色味に変換することが可能となる。これにより、参照撮像画像データにおける呈色反応領域と撮像画像データの呈色反応領域とを標準的な光源下に統一された状態で比較することができる。標準的な光源下において、参照撮像画像データにおける呈色反応領域と撮像画像データの呈色反応領域とを比較するため、撮像画像データから照明（光源環境下）の影響を排除し、参照撮像画像データに基づいて高精度な呈色反応の検出処理を行うことができる。
【0041】
画像変換部１０４は、呈色反応領域９０２の撮像画像データが予め設定された画像座標に位置するように撮像画像を変換する。例えば、画像変換部１０４は、呈色反応領域９０２の撮像画像データが撮像された３次元空間において、撮像を行った位置である観察位置(座標値)及び撮像部１０１の撮像方向の各々を座標変換式(後述)から求める。ここで、観察位置は、３次元空間を示す３次元座標系における座標値を示している。すなわち、求めた観察位置及び撮像方向から、各撮像画像データにおける呈色反応領域９０２の観察角度、あるいは撮像角度を求める。
【0042】
また、画像変換部１０４は、呈色反応領域９０２の撮像画像データにおける呈色反応色と、予め登録された呈色反応領域９０２に現れる全ての呈色反応の参照撮像画像データ群（判定レベル毎の参照撮像画像データの集合）を比較するため、撮像画像データの正規化を行う。撮像画像データ中の呈色反応領域９０２上では全ての３次元座標が既知のため、参照撮像画像データ群が撮像された際の外部パラメタ、内部パラメタを用いて呈色反応領域９０２上の全ての３次元座標を、参照撮像画像データ群の座標系に再投影すれば、参照撮像画像データ群と同じ座標系で呈色反応領域９０２における呈色反応色を比較することができる。
【0043】
また、画像変換部１０４は、座標変換式を用いて求められた撮像角度αに基づき、撮像画像データの呈色反応領域を、検査結果を判定する参照呈色反応画像データ群が示された参照撮像画像データにおける参照呈色反応領域の面と平行かつ重なり合う検出用撮像画像データに変換する。参照呈色反応画像データは、参照撮像画像データにおける比色反応領域の画像データを示している。この検出用撮像画像データは、３次元座標系において、参照撮像画像データと同様の撮像位置及び撮像角度から撮像した画像に変換したものである。
【0044】
本実施形態においては、予め設定された所定の焦点距離にて、撮像画像データを撮像部１０１により比色反応領域の各々を含む呈色反応領域９０２を撮像し、撮像画像データとする。
画像変換部１０４は、撮像した撮像画像データから、上述したように、予め設定された座標変換式を用いることにより、３次元空間における呈色反応領域９０２を撮像した撮像画像データの観察角度を推定している。
画像変換部１０４は、撮像した撮像画像データから、上述したように、予め設定された座標変換式を用いることにより、３次元空間における呈色反応領域９０２を撮像した撮像画像データの観察角度を推定している。
【0045】
上述した観察角度を求める座標変換式は、分析キット容器９００に設けられた呈色反応領域９０２に対する呈色反応検出を行う前処理に用いられる。この前処理は、予め複数枚の撮像画像データ(後述するキャリブレーションボードを撮像した撮像画像データ)から３次元空間を再生した際、複数の撮像画像データの２次元座標における画素の位置と３次元空間における座標位置とを対応付ける際に生成される式である。予め生成された座標変換式は、参照画像記憶部１１１に対して、予め呈色反応検出対象毎に書き込んで記憶されている。ここで、呈色反応検出対象とは、分析キットの種類を示している。分析キット容器の形状が異なる場合、それぞれの容器形状に対応した座標変換式を準備する必要がある。
【0046】
図３は、呈色反応領域を撮像する際の撮像部１０１の観察角度を説明する図である。図３において、被検体が呈色反応領域に滴下され、この検体中に被検出対象物質がある場合、その被検出対象物質の濃度または強度に応じて各々の比色反応領域の色を変化させ、呈色反応を観察することができる。
【0047】
法線４００は、撮像画像データの撮像方向の観察角度αを示すための基準線であり、呈色反応領域９０２の表面の面方向を示す法線である。観察角度αは、撮像部１０１の撮像方向１０１Ａと法線４００との成す角度である。
例えば、画像変換部１０４は、法線４００に平行な方向をｚ軸とし、呈色反応領域の辺の各々がｘ軸及びｙ軸の各々と平行となるように分析キットを３次元座標系において配置する。例えば、分析キット容器９００の各辺により形成される頂点のいずれかが、３次元座標系の原点Ｏと一致するように、３次元座標系において、分析キットをｘ軸及びｙ軸からなる２次元平面に配置する。このため、分析キット容器９００の厚さ方向がｚ軸に対して平行となる。この分析キット容器９００の３次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、参照画像記憶部１１１に対して記憶されている。
例えば、画像変換部１０４は、法線４００に平行な方向をｚ軸とし、呈色反応領域の辺の各々がｘ軸及びｙ軸の各々と平行となるように分析キットを３次元座標系において配置する。例えば、分析キット容器９００の各辺により形成される頂点のいずれかが、３次元座標系の原点Ｏと一致するように、３次元座標系において、分析キットをｘ軸及びｙ軸からなる２次元平面に配置する。このため、分析キット容器９００の厚さ方向がｚ軸に対して平行となる。この分析キット容器９００の３次元形状は、予め既知の情報として、すでに述べた座標変換の式とともに、参照画像記憶部１１１に対して記憶されている。
【0048】
図１に戻り、画像変換部１０４は、撮像画像データの観察角度を求める際、３次元座標系における分析キット容器９００の３次元形状の各座標と、撮像画像データ（２次元座標系）の各画素（座標）とを、上記座標変換式により対応付ける。そして、画像変換部１０４は、上記対応付けにより、３次元空間の３次元座標系における撮像画像データの撮像位置と、この撮像位置からの撮像画像データの撮像方向を求める。このとき、画像変換部１０４は、すでに述べたように、３次元座標系において呈色反応領域の３次元形状のいずれかの頂点を原点Ｏとし、法線がｚ軸と平行となり、各辺がｘ軸またはｙ軸と平行となるように、分析キット容器９００上に３次元空間を規定する。
【0049】
そして、画像変換部１０４は、この分析キット容器９００の３次元形状を基準として、３次元座標系における撮像部１０１の撮像画像データの撮像位置、及び撮像方向を求める。これにより画像変換部１０４は、法線４００と撮像部１０１の撮像方向との成す観察角度αを求める。
【0050】
本実施形態においては、事前に撮像部１０１に対してカメラキャリブレーション(カメラ校正)が行われていることが前提として必要である。このカメラキャリブレーションとは、予め３次元形状が既知なキャリブレーションボードを撮像領域内で一回あるいは複数回撮像し、撮像された一枚あるいは複数の撮像画像データを用いて３次元空間の３次元座標系における座標点と、撮像画像データの２次元座標系における座標点（二次元ピクセル）の複数の座標点の対応を取る。これにより、撮像部１０１とキャリブレーションボードとの相対位置関係(以下、外部パラメタ)を示す上記座標変換式と、撮像部１０１の光学中心や各画素（２次元ピクセル）における光線入射方向ベクトル、レンズ歪みなど(以下、撮像部１０１の内部パラメタ)を推定する。
【0051】
ここで、本実施形態においては、画像変換部１０４が撮像画像データの観察角度を推定するため、予め撮像部１０１で撮像した複数の異なる視点方向からキャリブレーションボードを撮像した２次元画像から、すなわち多視点の撮像画像データからグローバル座標系（３次元座標系）を再構成する。そして、同一ピクセルにおける再構成した３次元座標系における座標点と、撮像部１０１が撮像した撮像画像データの２次元座標系における座標点との対応関係を示す座標変換式（撮像部１０１の内部パラメタにより求めた変換式）を、カメラキャリブレーション時に求めておく。
【0052】
上述したように、本実施形態において、観察角度の推定は、事前に撮像部１０１に対してカメラキャリブレーション（カメラ校正）が行われることにより、検出システムにおける呈色反応検出処理の実行時に撮像部１０１の内部パラメタが既知であり、かつ分析キット容器９００及び呈色反応領域の３次元形状が既知であることが前提である。これにより、呈色反応領域の撮像画像データを撮像し、上記座標変換式によって３次元座標系における座標点と撮像画像データの２次元座標系のピクセルとの複数の対応点情報を得て、この対応点座標から撮像部１０１と呈色反応領域との相対位置関係を推定できる。すなわち、呈色反応領域を撮像した際における、３次元座標系における撮像部１０１の観察位置及び観察角度（撮像方向）が推定できる。したがって、画像変換部１０４は、撮像部１０１の位置や分析キット容器９００の位置が変化したとしても、撮像画像データを参照撮像画像データと同様の撮像位置及び撮像角度へと正規化されるため、常に参照撮像画像データと比較可能な精度で検出用撮像画像データを求める処理が行われる。
【0053】
本実施形態において、例えば、カメラキャリブレーションとしては、良く知られている手法の一つである、Z.Zhangによる解析手法(Z.Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000)を適用して、撮像画像データを撮像した際の観察角度を推定することができる。ただし、上記Z.Zhangによる解析手法を適用して観察角度の推定を行う場合、検出システムに入力する撮像画像データは、カメラキャリブレーション時に固定された焦点と同様の焦点（望ましくは同一の焦点）で撮像された画像データである必要がある。
【0054】
また、撮像画像データから検出用撮像画像データを生成する他の方法としては、以下に示す射影変換を撮像画像データに行うことが考えられる。
すなわち、画像変換部１０４は、参照撮像画像の３次元空間において、参照撮像画像データにおける呈色反応領域の矩形の頂点の各々の座標に対し、撮像画像データにおける呈色反応領域の矩形の頂点が重なるように、参照撮像画像データの呈色反応領域の平面に対し、撮像画像データにおける呈色反応領域を射影変換する処理を行う。
これにより、画像変換部１０４は、検査結果を判定する標準撮像角度で撮像した参照撮像画像データと同様の観察角度における検出用撮像画像データを撮像画像データから生成する。
すなわち、画像変換部１０４は、参照撮像画像の３次元空間において、参照撮像画像データにおける呈色反応領域の矩形の頂点の各々の座標に対し、撮像画像データにおける呈色反応領域の矩形の頂点が重なるように、参照撮像画像データの呈色反応領域の平面に対し、撮像画像データにおける呈色反応領域を射影変換する処理を行う。
これにより、画像変換部１０４は、検査結果を判定する標準撮像角度で撮像した参照撮像画像データと同様の観察角度における検出用撮像画像データを撮像画像データから生成する。
【0055】
滴下検出部１０５は、検出用撮像画像データにおける呈色反応領域の比色反応領域の各々の状態の変化（色、テクスチャなどの変化）により、比色反応領域それぞれに対して、被検溶液が滴下されたか否かの検出を行う。
この比色反応領域に対する被検溶液の滴下の検出の一例を以下に説明する。
滴下検出部１０５は、最初に撮像された検出用撮像画像データにおける比色反応領域の呈色反応色である初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色である比較呈色反応色との差分値を求める。
そして、滴下検出部１０５は、求めた差分値が予め設定された所定の滴下開始判定閾値以上となったことを検出した場合、比色反応領域に対して被検溶液が滴下されと判定する。この滴下開始判定値は、被検溶液を滴下する前後の検出用撮像画像データにおける比色反応領域の呈色反応色の差分値を複数求め、この差分値の統計処理を行うことで求められる。
この比色反応領域に対する被検溶液の滴下の検出の一例を以下に説明する。
滴下検出部１０５は、最初に撮像された検出用撮像画像データにおける比色反応領域の呈色反応色である初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色である比較呈色反応色との差分値を求める。
そして、滴下検出部１０５は、求めた差分値が予め設定された所定の滴下開始判定閾値以上となったことを検出した場合、比色反応領域に対して被検溶液が滴下されと判定する。この滴下開始判定値は、被検溶液を滴下する前後の検出用撮像画像データにおける比色反応領域の呈色反応色の差分値を複数求め、この差分値の統計処理を行うことで求められる。
【0056】
また、滴下検出部１０５は、時系列に撮像される撮像画像データにおける比色反応領域の呈色反応色と、予め求められた滴下後の呈色反応領域の状態を示す参照比色反応領域の呈色反応色との類似度を求める構成としてもよい。
この場合、滴下検出部１０５は、求めた類似度が予め設定された滴下開始判定閾値以上の場合、被検溶液が比色反応領域に滴下されたことを検出する。
この場合、滴下検出部１０５は、求めた類似度が予め設定された滴下開始判定閾値以上の場合、被検溶液が比色反応領域に滴下されたことを検出する。
【0057】
上記類似度は、予め被検体を滴下する前後の撮像画像データにおける比色反応領域の画像（例えば、各画素の画素値）を学習し、比色反応領域の類似度を出力する類似度モデルを生成し、検出用撮像画像データにおける比色反応領域の画像（例えば、各画素の画素値）を、この生成した類似度モデルに入力してパターンマッチングを行うことで出力される数値である。
滴下検出部１０５は、上述のように比色反応領域に対する被検溶液の滴下を検出すると、この比色反応領域の比色反応領域識別情報を付加し、滴下を検出したことを示す検出信号を、経過時間計測部１０６に対して出力する。
滴下検出部１０５は、上述のように比色反応領域に対する被検溶液の滴下を検出すると、この比色反応領域の比色反応領域識別情報を付加し、滴下を検出したことを示す検出信号を、経過時間計測部１０６に対して出力する。
【0058】
図４は、参照画像記憶部１１１に記憶されている検査キットテーブルの構成例を示す図である。検査キットテーブルは、検査キット毎に設けられ、それぞれ検査キット識別情報が付加されて、参照画像記憶部１１１に記憶されている。
検査キットテーブルは、レコード毎に、比色反応領域識別情報、検査項目名、検出時間、類似度閾値及び反応インデックスを備えている。
検査キットテーブルは、レコード毎に、比色反応領域識別情報、検査項目名、検出時間、類似度閾値及び反応インデックスを備えている。
【0059】
比色反応領域識別情報は、比色反応領域の各々（例えば、図２の呈色反応領域９０２における比色反応領域９０３から９０８の各々）を識別する識別情報である。検査項目名は、比色反応領域の比色反応色の判定により検出する検出対象物質の名称を示している。検出時間は、被検溶液が滴下されてから比色反応色の判定を行うまでの、比色反応領域における呈色反応に要する時間を示している。呈色反応色の判定は、この検出時間が経過した時点（タイミング）で行う必要がある。
【0060】
類似度閾値は、比色反応領域の画像データと参照呈色反応画像データとの間の類似度が、画像データと参照呈色反応画像データとを同様とするか否かを判定する閾値である（後述）。反応インデックスは、被検溶液に含まれる検出対象物質の量に対応した参照呈色反応色と、この参照呈色反応色に設定された判定レベルとを示す判定テーブルが記述された領域の参照画像記憶部１１１におけるアドレスを示している。
【0061】
図１に戻り、経過時間計測部１０６は、滴下検出部１０５が被検溶液の滴下を検出した検出信号が供給されると、この検出信号に付加された比色反応領域識別情報を抽出する。そして、経過時間計測部１０６は、この比色反応領域識別情報に対応する比色反応領域における滴下した時点からの経過時間の計数（カウント）を開始する。
また、経過時間計測部１０６は、参照画像記憶部１１１における現在の検査キットに対応する検査キット識別情報の検査キットテーブルを参照し、比色反応領域識別情報に対応する検出時間を読み出す。そして、経過時間計測部１０６は、計数している経過時間が検出時間となると、比色反応領域の呈色反応色を判定する時間となったことを示す判定信号を、判定する比色反応領域の比色反応領域識別情報を付加して、類似度算出部１０７へ出力する。
また、経過時間計測部１０６は、参照画像記憶部１１１における現在の検査キットに対応する検査キット識別情報の検査キットテーブルを参照し、比色反応領域識別情報に対応する検出時間を読み出す。そして、経過時間計測部１０６は、計数している経過時間が検出時間となると、比色反応領域の呈色反応色を判定する時間となったことを示す判定信号を、判定する比色反応領域の比色反応領域識別情報を付加して、類似度算出部１０７へ出力する。
【0062】
類似度算出部１０７は、経過時間計測部１０６から判定信号が供給された場合、この時点における検出用撮像画像データにおける呈色反応色を求める。
例えば、類似度算出部１０７は、判定信号に付加された比色反応領域識別情報に対応する比色反応領域の画像データを、検出用撮像画像データにおける呈色反応領域から抽出する。そして、類似度算出部１０７は、比色反応領域の画像データにおける画素の各々の画素値（例えば、ＲＧＢの階調度）の平均値、最大値あるいは最小値を呈色反応色として抽出する。類似度算出部１０７は抽出した呈色反応色と、比色反応領域識別情報に対応する判定テーブルにおける参照呈色反応色の各々と比較し、それぞれの参照呈色反応画像データとの間で反応色差分値の逆数（類似度）あるいは反応色差分値（相違度）を算出する。
例えば、類似度算出部１０７は、判定信号に付加された比色反応領域識別情報に対応する比色反応領域の画像データを、検出用撮像画像データにおける呈色反応領域から抽出する。そして、類似度算出部１０７は、比色反応領域の画像データにおける画素の各々の画素値（例えば、ＲＧＢの階調度）の平均値、最大値あるいは最小値を呈色反応色として抽出する。類似度算出部１０７は抽出した呈色反応色と、比色反応領域識別情報に対応する判定テーブルにおける参照呈色反応色の各々と比較し、それぞれの参照呈色反応画像データとの間で反応色差分値の逆数（類似度）あるいは反応色差分値（相違度）を算出する。
【0063】
また、図４における反応インデックスが示すアドレスの領域に記憶されている判定テーブルにおいて、検出対象物質の量に対応した参照呈色反応色に換え、参照撮像画像データにおける比色反応領域の画像データである参照呈色反応画像データが設定される構成としても良い。
この構成の場合、類似度算出部１０７は、検出用撮像画像データにおける比色反応領域の画像データと、予め参照画像記憶部１１１に記憶された参照呈色反応画像データの各々を順次参照し、類似度（あるいは相違度）を算出する。類似度算出部１０７は、これらの比色反応領域の画像データが画像変換部１０４によって正規化されているため、比色反応領域上の全ての画素についてテンプレートマッチングを行い、それにより得られたスコアを類似度とする。
この構成の場合、類似度算出部１０７は、検出用撮像画像データにおける比色反応領域の画像データと、予め参照画像記憶部１１１に記憶された参照呈色反応画像データの各々を順次参照し、類似度（あるいは相違度）を算出する。類似度算出部１０７は、これらの比色反応領域の画像データが画像変換部１０４によって正規化されているため、比色反応領域上の全ての画素についてテンプレートマッチングを行い、それにより得られたスコアを類似度とする。
【0064】
すなわち、テンプレートマッチングを行う際、類似度算出部１０７は、判定信号に付加された比色反応領域識別情報に対応する比色反応領域の画像データを、検出用撮像画像データにおける呈色反応領域か抽出する。類似度算出部１０７は、比色反応領域の画像データと参照呈色反応画像データの各々とにおいて、対応する画素間の各々における色成分ＲＧＢのそれぞれの輝度値の平均二乗誤差を、それぞれの参照呈色反応画像データとの間で求める。そして、類似度算出部１０７は、比色反応領域の画像データ全ての画素の平均二乗誤差を加算して、加算結果の逆数を類似度（あるいは加算結果を相違度）として算出する。
【0065】
また、類似度算出部１０７は、比色反応領域の画像データと参照呈色反応画像データとにおける画素の全て、あるいは一部の対応する画素の色成分ＲＧＢの数値を適切な色空間に変換し、変換後の色空間におけるユークリッド距離の二乗値を加算し、この加算結果の逆数を類似度（あるいは加算結果を相違度）として出力する構成としても良い。この場合においても、画素値の平均二乗誤差を用いた場合と同様に、類似度の数値が高い（相違度の数値が低い）ほど、比色反応領域の画像データと参照呈色反応画像データとは類似している。
【0066】
呈色反応検出部１０８は、比色反応領域の比色反応領域識別情報に対応して、参照画像記憶部１１１における検査キットテーブルから類似度閾値を読み出す。
そして、呈色反応検出部１０８は、類似度算出部１０７が算出した参照呈色反応画像データとの類似度の各々と、読み出した類似度閾値を比較して、類似度閾値以上の類似度を有する参照呈色反応画像データを抽出する。
また、呈色反応検出部１０８は、抽出した類似度閾値以上の参照呈色反応画像データから、類似度が最大である参照呈色反応画像データを選択する。呈色反応検出部１０８は、参照画像記憶部１１１の比色反応領域識別情報に対応する判定テーブルを参照し、選択した参照呈色反応画像データに対応する判定レベルを検査結果として抽出する。呈色反応検出部１０８は、抽出した判定レベルを検査結果記憶部１１２に対して、判定結果として書き込んで記憶させる。
そして、呈色反応検出部１０８は、類似度算出部１０７が算出した参照呈色反応画像データとの類似度の各々と、読み出した類似度閾値を比較して、類似度閾値以上の類似度を有する参照呈色反応画像データを抽出する。
また、呈色反応検出部１０８は、抽出した類似度閾値以上の参照呈色反応画像データから、類似度が最大である参照呈色反応画像データを選択する。呈色反応検出部１０８は、参照画像記憶部１１１の比色反応領域識別情報に対応する判定テーブルを参照し、選択した参照呈色反応画像データに対応する判定レベルを検査結果として抽出する。呈色反応検出部１０８は、抽出した判定レベルを検査結果記憶部１１２に対して、判定結果として書き込んで記憶させる。
【0067】
上記類似度閾値は、検出用撮像画像データにおける比色反応領域の画像データが、判定テーブルにおける参照呈色反応画像データ群の画像データのうちいずれかと一致することを保証する値である。また、参照呈色反応画像データ群の各画像データと、それに対応する検出用撮像画像データにおける比色反応領域の画像データとの間で計算される類似度を目安に設定される。検出用撮像画像データの比色反応領域の画像データに対し、参照呈色反応画像データ群の画像データの内で最も一致するものは、それ以外の参照呈色反応画像データに比べて類似度の差が顕著となると考えられる。
したがって、類似度が類似度閾値を上回る参照呈色反応画像データは、参照呈色反応画像データ群において通常ただ一つである。しかしながら、呈色反応検出部１０８は、類似度閾値を上回る参照呈色反応画像データが複数あった場合、上述したように、その参照呈色反応画像データ中で最も類似度の高い参照呈色反応画像データを選択する。
したがって、類似度が類似度閾値を上回る参照呈色反応画像データは、参照呈色反応画像データ群において通常ただ一つである。しかしながら、呈色反応検出部１０８は、類似度閾値を上回る参照呈色反応画像データが複数あった場合、上述したように、その参照呈色反応画像データ中で最も類似度の高い参照呈色反応画像データを選択する。
【0068】
図５は、検査結果記憶部１１２に記憶されている検査結果テーブルの構成例を示す図である。検査キットテーブルは、ユーザ及び検査キットの組合わせ毎に設けられ、それぞれユーザ識別情報と検査キット識別情報との各々が付加されて、参照画像記憶部１１１に記憶されている。ユーザ識別情報は、被検溶液を取得したユーザを識別する識別情報である。
検査結果テーブルは、レコード毎に、比色反応領域識別情報、検査項目名及び検査結果を備えている。比色反応領域識別情報は、比色反応領域の各々を識別する識別情報である。検査項目名は、比色反応領域の比色反応色の判定により検出する検出対象物質の名称を示している。検査結果は、呈色反応検出部１０８が検出した判定レベルを示している。
検査結果テーブルは、レコード毎に、比色反応領域識別情報、検査項目名及び検査結果を備えている。比色反応領域識別情報は、比色反応領域の各々を識別する識別情報である。検査項目名は、比色反応領域の比色反応色の判定により検出する検出対象物質の名称を示している。検査結果は、呈色反応検出部１０８が検出した判定レベルを示している。
【0069】
表示部１０９は、表示する液晶ディスプレイなどの表示装置であり、呈色反応検出部１０８が抽出した検査結果を表示画面に表示する。あるいは、図示しないプリンタなどの印刷装置から、呈色反応検出部１０８が抽出した検査結果を出力するように構成しても良い。
【0070】
また、撮像制御部１０３は、撮像時において、呈色反応領域９０２を撮像する際の観察角度が予め設定された角度範囲に入っているか否かの判定を行う。ここで、角度範囲とは、画像変換部１０４が画像変換した際、呈色反応パターンにおいて呈色反応検出が可能な情報量を保持しうる撮像画像データが撮像できる観察角度の範囲を示している。例えば、呈色反応領域９０２の法線４００に対して、観察方向がほぼ直交するような観察角度α（すなわち、α＝９０°あるいは２７０°）で撮影をすると、撮像画像データにおける呈色反応領域９０２の画像の画素が非常に少なくなり、呈色反応ラインが不鮮明となり呈色反応検出を精度よく行うことができなくなる。
【0071】
このため、撮像制御部１０３は、撮像部１０１の撮像画像データの撮像方向である観察角度を、画像変換部１０４に対して推定させる。
そして、撮像制御部１０３は、画像変換部１０４が推定した観察角度が角度範囲に入っている場合、撮像処理における角度条件を満たし、一方、推定された観察角度が角度範囲に入っていない場合、撮像処理における角度条件を満たさないとする表示を表示部１０９の表示画面に表示し、ユーザに対して角度範囲の観察角度に調整することを促す。このとき、撮像制御部１０３は、表示部１０９の表示画面に上下左右に少し動かすことを通知する表示を行う。あるいは、撮像制御部１０３は、撮像部１０１を撮像する際、表示部１０９に対して、表示画面に角度範囲に入る観察角度となるように、分析キット容器９００の画像の形状に合わせた枠を表示する。
そして、撮像制御部１０３は、画像変換部１０４が推定した観察角度が角度範囲に入っている場合、撮像処理における角度条件を満たし、一方、推定された観察角度が角度範囲に入っていない場合、撮像処理における角度条件を満たさないとする表示を表示部１０９の表示画面に表示し、ユーザに対して角度範囲の観察角度に調整することを促す。このとき、撮像制御部１０３は、表示部１０９の表示画面に上下左右に少し動かすことを通知する表示を行う。あるいは、撮像制御部１０３は、撮像部１０１を撮像する際、表示部１０９に対して、表示画面に角度範囲に入る観察角度となるように、分析キット容器９００の画像の形状に合わせた枠を表示する。
【0072】
また、撮像制御部１０３は、撮像する際に、参照画像記憶部１１１に記憶されている参照呈色反応画像データ群の画像データに対し、撮像部１０１が比較可能品質を有する撮像画像データを撮像する撮像条件を満足しているか否かの判定を行う。また、撮像条件における露光条件に対して、照明(たとえばフラッシュ光源)の有無あるいは照明の強度を必要に応じて加える構成としても良い。
【0073】
また、撮像制御部１０３は、撮像条件として、撮像部１０１における露光条件を設定する際、輝度ヒストグラムを生成する。撮像制御部１０３は、各画素の階調度の分布を示すものであり、撮像画像データにおける階調度の分布が高階調度側あるいは低階調度側に偏っていないか否かの判定において、生成した輝度ヒストグラムを用いている。例えば、輝度ヒストグラムにおける階調度の分布が低階調度側に偏っている場合、すなわち、階調度が「０」から「２５５」の２５６段階で表現されており、撮像画像データにおける階調度「０」近傍の画素が多い場合、撮像画像データに黒つぶれが発生して正解画像データとの比較が行えなくなる。一方、輝度ヒストグラムにおける階調度の分布が高階調度側に偏っている場合、すなわち撮像画像データにおける階調度「２５５」近傍の画素が多い場合、撮像画像データに白飛びが発生して正解画像データとの比較が行えなくなる。
【0074】
このため、輝度ヒストグラムにおける階調度の分布が「０」から「２５５」の範囲の中央近傍に存在するように、露光条件を設定する必要がある。
撮像制御部１０３は、輝度ヒストグラムの階調度の分布に基づき、照明の調整やシャッタースピードの変更が必要か否かの判定を行う。撮像制御部１０３は、黒つぶれが発生することが推定され、輝度ヒストグラムの分布を高階調度側にシフトさせる照明の調整もしくはシャッタースピードの変更が必要な場合、露光制御部１０２に対して撮像時における呈色反応領域９０２の照明を所定の強度で行わせるか（例えばフラッシュ光を撮像方向に照射させる）、またはシャッタースピードを長くして輝度値を調整する。また、撮像制御部１０３は、呈色反応検出システム１が露光制御部１０２及び照明を有していない場合、ユーザに対して必要な光強度の照明を呈色反応領域９０２に対して照射することを促す表示を表示部１０９の表示画面に表示する。
撮像制御部１０３は、輝度ヒストグラムの階調度の分布に基づき、照明の調整やシャッタースピードの変更が必要か否かの判定を行う。撮像制御部１０３は、黒つぶれが発生することが推定され、輝度ヒストグラムの分布を高階調度側にシフトさせる照明の調整もしくはシャッタースピードの変更が必要な場合、露光制御部１０２に対して撮像時における呈色反応領域９０２の照明を所定の強度で行わせるか（例えばフラッシュ光を撮像方向に照射させる）、またはシャッタースピードを長くして輝度値を調整する。また、撮像制御部１０３は、呈色反応検出システム１が露光制御部１０２及び照明を有していない場合、ユーザに対して必要な光強度の照明を呈色反応領域９０２に対して照射することを促す表示を表示部１０９の表示画面に表示する。
【0075】
図６は、本発明の一実施形態の呈色反応検出システムにおける簡易検査紙や簡易検査薬を用いた呈色反応検出対象に対する呈色反応検出処理の動作例を示すフローチャートである。
ステップＳ１０１：
撮像制御部１０３は、撮像部１０１における呈色反応検出対象である呈色反応領域の現在の撮像条件を検出、例えば観察角度、露光条件などを検出する。
ステップＳ１０１：
撮像制御部１０３は、撮像部１０１における呈色反応検出対象である呈色反応領域の現在の撮像条件を検出、例えば観察角度、露光条件などを検出する。
【0076】
ステップＳ１０２：
撮像制御部１０３は、露光条件などの撮像条件の全てが、反応テーブルにおける画像参照呈色反応画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件であるか否かの判定を行う。
このとき、撮像制御部１０３は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件である場合、処理をステップＳ１０３へ進める。一方、撮像制御部１０３は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件でない場合、処理をステップＳ１０４へ進める。
撮像制御部１０３は、露光条件などの撮像条件の全てが、反応テーブルにおける画像参照呈色反応画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件であるか否かの判定を行う。
このとき、撮像制御部１０３は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件である場合、処理をステップＳ１０３へ進める。一方、撮像制御部１０３は、参照撮像画像データ群における画像参照呈色反応画像データと比較することが可能な画質の撮像画像データを撮像できる撮像条件でない場合、処理をステップＳ１０４へ進める。
【0077】
ステップＳ１０３：
撮像制御部１０３は、撮像画像データにおける呈色反応領域９０２の撮像位置を抽出する。すなわち、撮像制御部１０３は、撮像部１０１の撮像範囲内における分析キット容器９００（呈色反応検出対象）の３次元形状を得る。そして、撮像制御部１０３は、得られた分析キット容器９００の３次元形状と、予め参照画像記憶部１１１に書き込まれて記憶されている参照用の分析キット容器９００の３次元形状とを比較し、撮像部１０１の撮像範囲内における呈色反応領域９０２を抽出する。
撮像制御部１０３は、撮像画像データにおける呈色反応領域９０２の撮像位置を抽出する。すなわち、撮像制御部１０３は、撮像部１０１の撮像範囲内における分析キット容器９００（呈色反応検出対象）の３次元形状を得る。そして、撮像制御部１０３は、得られた分析キット容器９００の３次元形状と、予め参照画像記憶部１１１に書き込まれて記憶されている参照用の分析キット容器９００の３次元形状とを比較し、撮像部１０１の撮像範囲内における呈色反応領域９０２を抽出する。
【0078】
ステップＳ１０４：
撮像制御部１０３は、撮像条件において満たされていない条件を表示部１０９の表示画面に表示し、ユーザに対して撮像条件における満たされていない条件の調整を示唆する。
撮像制御部１０３は、撮像条件において満たされていない条件を表示部１０９の表示画面に表示し、ユーザに対して撮像条件における満たされていない条件の調整を示唆する。
【0079】
ステップＳ１０５：
撮像制御部１０３は、撮像部１０１の撮像範囲における呈色反応領域９０２と、予め記憶されている分析キット容器９００の３次元形状における呈色反応領域９０２とを比較する。そして、撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データに含まれているか否か、すなわち観察領域内に呈色反応領域９０２全体が含まれているか否かの判定を行う。
このとき、撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データに含まれている場合、処理をステップＳ１０６へ進め、一方、呈色反応領域９０２全体が撮像画像データに含まれていない場合、処理をステップＳ１０７へ進める。
撮像制御部１０３は、撮像部１０１の撮像範囲における呈色反応領域９０２と、予め記憶されている分析キット容器９００の３次元形状における呈色反応領域９０２とを比較する。そして、撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データに含まれているか否か、すなわち観察領域内に呈色反応領域９０２全体が含まれているか否かの判定を行う。
このとき、撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データに含まれている場合、処理をステップＳ１０６へ進め、一方、呈色反応領域９０２全体が撮像画像データに含まれていない場合、処理をステップＳ１０７へ進める。
【0080】
ステップＳ１０６：
撮像制御部１０３は、呈色反応領域９０２の撮像方向、すなわち観察角度の推定処理を画像変換部１０４に行わせる。
これにより、画像変換部１０４は、撮像部１０１の撮像範囲における撮像画像データから得られる分析キット容器９００の３次元形状と、予め記憶されている３次元座標系における分析キット容器９００の３次元形状とを比較することにより、呈色反応領域９０２の撮像方向に対する観察角度を推定する。ここで、画像変換部１０４は、上記比較により、撮像部１０１が分析キット容器９００を撮像する撮像方向を求める。そして、画像変換部１０４は、３次元座標系における分析キット容器９００の呈色反応領域９０２が添付されている面（分析キット容器９００の上面あるいは下面の呈色反応領域９０２が添付されているいずれかの面）の法線と、撮像部１０１の撮像方向とのなす角度を観察角度として求め、撮像制御部１０３に対して出力する。
撮像制御部１０３は、呈色反応領域９０２の撮像方向、すなわち観察角度の推定処理を画像変換部１０４に行わせる。
これにより、画像変換部１０４は、撮像部１０１の撮像範囲における撮像画像データから得られる分析キット容器９００の３次元形状と、予め記憶されている３次元座標系における分析キット容器９００の３次元形状とを比較することにより、呈色反応領域９０２の撮像方向に対する観察角度を推定する。ここで、画像変換部１０４は、上記比較により、撮像部１０１が分析キット容器９００を撮像する撮像方向を求める。そして、画像変換部１０４は、３次元座標系における分析キット容器９００の呈色反応領域９０２が添付されている面（分析キット容器９００の上面あるいは下面の呈色反応領域９０２が添付されているいずれかの面）の法線と、撮像部１０１の撮像方向とのなす角度を観察角度として求め、撮像制御部１０３に対して出力する。
【0081】
ステップＳ１０７：
撮像制御部１０３は、撮像部１０１の撮像範囲内に呈色反応領域９０２の領域が全て含まれるように、撮像部１０１の撮像する撮像位置を調整することを表示部１０９の表示画面に表示し、ユーザに対して撮像位置の変更を示唆する。
撮像制御部１０３は、撮像部１０１の撮像範囲内に呈色反応領域９０２の領域が全て含まれるように、撮像部１０１の撮像する撮像位置を調整することを表示部１０９の表示画面に表示し、ユーザに対して撮像位置の変更を示唆する。
【0082】
ステップＳ１０８：
撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データを撮像する撮像方向、すなわち観察角度が予め設定された角度範囲に入っているか否かの判定を行う。
このとき、撮像制御部１０３は、撮像部１０１の観察角度が角度範囲内にある場合、処理をステップＳ１０９へ進め、一方、撮像部１０１の観察角度が角度範囲内にない場合、処理をステップＳ１１０へ進める。
撮像制御部１０３は、呈色反応領域９０２全体が撮像画像データを撮像する撮像方向、すなわち観察角度が予め設定された角度範囲に入っているか否かの判定を行う。
このとき、撮像制御部１０３は、撮像部１０１の観察角度が角度範囲内にある場合、処理をステップＳ１０９へ進め、一方、撮像部１０１の観察角度が角度範囲内にない場合、処理をステップＳ１１０へ進める。
【0083】
ステップＳ１０９：
撮像制御部１０３は、呈色反応領域９０２の撮像が可能であることを示す画像を、表示部１０９の表示画面に表示し、呈色反応領域９０２の撮像をユーザに対して促す。
そして、ユーザは、表示画面を確認して、呈色反応検出システム１の入力手段から、撮像指示を入力する。
これにより、撮像制御部１０３は、撮像部１０１に対して撮像処理を行わせて、撮像画像データを得る。
撮像制御部１０３は、呈色反応領域９０２の撮像が可能であることを示す画像を、表示部１０９の表示画面に表示し、呈色反応領域９０２の撮像をユーザに対して促す。
そして、ユーザは、表示画面を確認して、呈色反応検出システム１の入力手段から、撮像指示を入力する。
これにより、撮像制御部１０３は、撮像部１０１に対して撮像処理を行わせて、撮像画像データを得る。
【0084】
ステップＳ１１０：
撮像制御部１０３は、撮像部１０１の観察角度が予め設定されている角度範囲以内に含まれるように、撮像部１０１の撮像する撮像方向を調整することを表示部１０９の表示画面に表示し、ユーザに対して撮像方向の変更を示唆する。
撮像制御部１０３は、撮像部１０１の観察角度が予め設定されている角度範囲以内に含まれるように、撮像部１０１の撮像する撮像方向を調整することを表示部１０９の表示画面に表示し、ユーザに対して撮像方向の変更を示唆する。
【0085】
ステップＳ１１１：
画像変換部１０４は、算出した撮像角度に基づき、撮像画像データの呈色反応領域９０２を、検査結果を判定する参照撮像画像データにおける呈色反応領域の面と平行かつ重なり合う検出用撮像画像データに変換する。すなわち、画像変換部１０４は、撮像画像データの撮像位置及び観察角度を変換して、検査結果を判定するラインの参照パターンが示された参照撮像画像データと同様の撮像位置及び観察角度とした検出用撮像画像データを生成する。
画像変換部１０４は、算出した撮像角度に基づき、撮像画像データの呈色反応領域９０２を、検査結果を判定する参照撮像画像データにおける呈色反応領域の面と平行かつ重なり合う検出用撮像画像データに変換する。すなわち、画像変換部１０４は、撮像画像データの撮像位置及び観察角度を変換して、検査結果を判定するラインの参照パターンが示された参照撮像画像データと同様の撮像位置及び観察角度とした検出用撮像画像データを生成する。
【0086】
これにより、画像変換部１０４は、撮像画像データの呈色反応領域９０２の画像データと、参照撮像画像データにおける呈色反応領域の画像データ（画像参照呈色反応画像データ）とを、同様の撮像位置及び観察角度として比較することが可能となる。また、画像変換部１０４は、参照画像記憶部１１１の参照撮像画像データ群における画像参照呈色反応画像データの各々とテンプレートマッチングできるように、撮像画像データの正規化を行い、検出用撮像画像データを生成する。
【0087】
また、画像変換部１０４は、すでに説明したように、（１）式から（３）式を用いた処理により、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとを補正する処理を行う。しかしながら、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとが発生しない環境であれば、この処理を省略しても良い。
【0088】
ステップＳ１１２：
滴下検出部１０５は、最初に記載された検出用撮像画像データにおける比色反応領域の初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色との差分値を求める。
そして、滴下検出部１０５は、求めた差分値が滴下開始判定閾値以上であるか否かの判定を行う。このとき、滴下検出部１０５は、求めた差分値が滴下開始判定閾値以上である場合、被検溶液の滴下の検出が行われたとして、検出信号を経過時間計測部１０６に対して出力した後、処理をステップＳ１１３へ進める。一方、滴下検出部１０５は、求めた差分値が滴下開始判定閾値未満である場合、被検溶液の滴下の検出が行われていないとして、処理をステップＳ１０９へ進める。
滴下検出部１０５は、最初に記載された検出用撮像画像データにおける比色反応領域の初期呈色反応色と、その後に時系列に撮像される検出用撮像画像データにおける比色反応領域の呈色反応色との差分値を求める。
そして、滴下検出部１０５は、求めた差分値が滴下開始判定閾値以上であるか否かの判定を行う。このとき、滴下検出部１０５は、求めた差分値が滴下開始判定閾値以上である場合、被検溶液の滴下の検出が行われたとして、検出信号を経過時間計測部１０６に対して出力した後、処理をステップＳ１１３へ進める。一方、滴下検出部１０５は、求めた差分値が滴下開始判定閾値未満である場合、被検溶液の滴下の検出が行われていないとして、処理をステップＳ１０９へ進める。
【0089】
ステップＳ１１３：
経過時間計測部１０６は、滴下検出部１０５から検出信号が供給された場合、経過時間を計数するカウンタを「０」にリセットし、経過時間の計数の処理を開始する。
また、経過時間計測部１０６は、検出信号に付加されている比色反応領域識別情報を抽出し、抽出した比色反応領域識別情報に対応する検出時間を、参照画像記憶部１１１の検査キットテーブルから読み出す。
経過時間計測部１０６は、滴下検出部１０５から検出信号が供給された場合、経過時間を計数するカウンタを「０」にリセットし、経過時間の計数の処理を開始する。
また、経過時間計測部１０６は、検出信号に付加されている比色反応領域識別情報を抽出し、抽出した比色反応領域識別情報に対応する検出時間を、参照画像記憶部１１１の検査キットテーブルから読み出す。
【0090】
ステップＳ１１４：
経過時間計測部１０６は、計数している経過時間が検出時間以上となったか否かの判定を行う。
このとき、経過時間計測部１０６は、経過時間が検出時間以上となった場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行うため、類似度算出部１０７に対して判定信号を出力し、処理をステップＳ１１５へ進める。一方、経過時間計測部１０６は、経過時間が検出時間未満である場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行う時間となっていないため、ステップＳ１１４の処理を繰り返す。
経過時間計測部１０６は、計数している経過時間が検出時間以上となったか否かの判定を行う。
このとき、経過時間計測部１０６は、経過時間が検出時間以上となった場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行うため、類似度算出部１０７に対して判定信号を出力し、処理をステップＳ１１５へ進める。一方、経過時間計測部１０６は、経過時間が検出時間未満である場合、呈色反応領域における被検溶液に基づく呈色反応色の解析を行う時間となっていないため、ステップＳ１１４の処理を繰り返す。
【0091】
ステップＳ１１５：
類似度算出部１０７は、判定信号から比色反応領域識別情報を抽出し、この比色反応領域識別情報に基づき、参照画像記憶部１１１における反応テーブルを参照する。
そして、類似度算出部１０７は、検出用撮像画像データにおける比色反応領域の画像データと、この比色反応領域における参照撮像画像データにおける比色反応領域の各々の画像参照呈色反応画像データとの類似度を算出する。
類似度算出部１０７は、判定信号から比色反応領域識別情報を抽出し、この比色反応領域識別情報に基づき、参照画像記憶部１１１における反応テーブルを参照する。
そして、類似度算出部１０７は、検出用撮像画像データにおける比色反応領域の画像データと、この比色反応領域における参照撮像画像データにおける比色反応領域の各々の画像参照呈色反応画像データとの類似度を算出する。
【0092】
ステップＳ１１６：
呈色反応検出部１０８は、参照画像記憶部１１１の検査キットテーブルから、比色反応領域の比色反応領域識別情報に対応する類似度閾値を読み出す。
そして、呈色反応検出部１０８は、参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データの各々に対応する類似度と、読み出した類似度閾値とを比較する。このとき、呈色反応検出部１０８は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが有る場合、類似度閾値以上の類似度を有する画像参照呈色反応画像データを抽出し、処理をステップＳ１１７へ進める。一方、呈色反応検出部１０８は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが無い場合、処理をステップＳ１１８へ進める。
呈色反応検出部１０８は、参照画像記憶部１１１の検査キットテーブルから、比色反応領域の比色反応領域識別情報に対応する類似度閾値を読み出す。
そして、呈色反応検出部１０８は、参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データの各々に対応する類似度と、読み出した類似度閾値とを比較する。このとき、呈色反応検出部１０８は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが有る場合、類似度閾値以上の類似度を有する画像参照呈色反応画像データを抽出し、処理をステップＳ１１７へ進める。一方、呈色反応検出部１０８は、類似度閾値以上の類似度を有する画像参照呈色反応画像データが無い場合、処理をステップＳ１１８へ進める。
【0093】
ステップＳ１１７：
呈色反応検出部１０８は、抽出した類似度閾値以上の類似度を有する画像参照呈色反応画像データから、最大の類似度を有する画像参照呈色反応画像データを選択する。
そして、呈色反応検出部１０８は、選択した最大の類似度を有する参照画像データに対応する判定レベルを、反応テーブルから読み出す。呈色反応検出部１０８は、反応テーブルから読み出した判定レベルを、検査結果記憶部１１２の検査結果テーブルに書き込んで記憶させる。
呈色反応検出部１０８は、抽出した類似度閾値以上の類似度を有する画像参照呈色反応画像データから、最大の類似度を有する画像参照呈色反応画像データを選択する。
そして、呈色反応検出部１０８は、選択した最大の類似度を有する参照画像データに対応する判定レベルを、反応テーブルから読み出す。呈色反応検出部１０８は、反応テーブルから読み出した判定レベルを、検査結果記憶部１１２の検査結果テーブルに書き込んで記憶させる。
【0094】
ステップＳ１１８：
呈色反応検出部１０８は、呈色反応領域９０２の撮像画像データにおける比色反応領域に対応する参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データが、参照撮像画像データ群のなかの画像参照呈色反応画像データに無いと判定し、表示部１０９に呈色反応が検出できなかったことを表示して終了する。
呈色反応検出部１０８は、呈色反応領域９０２の撮像画像データにおける比色反応領域に対応する参照撮像画像データにおける比色反応領域の画像参照呈色反応画像データが、参照撮像画像データ群のなかの画像参照呈色反応画像データに無いと判定し、表示部１０９に呈色反応が検出できなかったことを表示して終了する。
【0095】
ステップＳ１１９：
呈色反応検出部１０８は、検査結果記憶部１１２の検査結果テーブルから、比色反応領域に対応した検査結果を読み出し、表示部１０９の表示画面にこの検査結果を表示して処理を終了する。
また、本実施形態においては、呈色反応領域に比色反応領域が一つである場合を説明したが、呈色反応領域に複数の比色反応領域が設けられている場合、ステップＳ１０９からステップＳ１１９までの処理を、呈色反応領域における比色反応領域毎に行う。
呈色反応検出部１０８は、検査結果記憶部１１２の検査結果テーブルから、比色反応領域に対応した検査結果を読み出し、表示部１０９の表示画面にこの検査結果を表示して処理を終了する。
また、本実施形態においては、呈色反応領域に比色反応領域が一つである場合を説明したが、呈色反応領域に複数の比色反応領域が設けられている場合、ステップＳ１０９からステップＳ１１９までの処理を、呈色反応領域における比色反応領域毎に行う。
【0096】
上述した構成により、本実施形態によれば、比色反応領域に被検溶液が滴下されたタイミングから経過時間計測部が反応時間（検出時間）が経過したことを検出するため、測定者による検出タイミングのばらつきを排除することができ、検査項目（比色反応領域）毎に設定された検出時間が経過した時点における呈色反応の判定結果を容易に、かつ高い精度で安定して行うことが可能となる。
【0097】
本実施形態によれば、滴下検出部１０５が時系列に撮像する撮像画像データ画像処理により、比色反応領域に被検溶液が滴下されたタイミングを検出するため、滴下されたタイミングの判定における測定者による検出のばらつきを排除することができ、滴下されてからの経過時間を正確に計数することができ、検査項目（比色反応領域）毎に設定された検出時間が経過した時点における呈色反応の判定結果を容易に、かつ高い精度で安定して行うことが可能となる。
【0098】
また、本実施形態によれば、呈色反応領域９０２を撮像した検出用撮像画像データと、参照撮像画像データ群における呈色反応領域９０２に現れる全ての呈色反応領域の画像データとを比較し、検体検査の呈色反応検出を行う。このため、本実施形態によれば、従来のように高価で特殊な検出装置を用いず、汎用的なデジタルカメラなどの簡易な撮像装置により撮像した画像により、分析キットの検査項目毎に設定された呈色反応の判定結果を容易に、測定者による検出タイミングのばらつきを排除して、高い精度で行うことが可能となる。
【0099】
また、本実施形態によれば、（１）式から（３）式を用いた処理により、照明の照度ムラと、撮像機器や光源色に依存する色味の違いとを補正する処理を行うことにより、参照撮像画像データを撮像した際の光源環境と同一環境においてした状態に、異なる光源環境で撮像した撮像画像データの各画素の階調度を補正することができる。これにより、本実施形態によれば、参照撮像画像データと検出用撮像画像データとにおける比色反応領域の画像データ間の類似比較をテンプレートマッチングで行う際、参照撮像画像データとの光源環境と異なる光源環境下で撮像した撮像画像データの呈色反応領域の画像データとの比較処理を高い精度で行うことができる。
【0100】
ここで、呈色反応検出システムの解析対象の分析キット容器９００について詳述する。
分析キット容器９００は、図２に例示した通り、呈色反応領域９０２が平面上のものでもよいし、内部に検査薬などが充填された円柱状などのチューブ形状、あるいは呈色反応領域９０２の媒体として、ｐＨ（ピーエッチ）試験紙（リトマス試験紙を含む）、尿検査紙、酸化度測定紙（食用油検査用）などの簡易検査紙のような平面形状の紙のものでもよい。
また、平面上の呈色反応領域をもつ分析キットにおいて、呈色反応領域９０２における観察対象面９０１における呈色反応を示す呈色反応領域が図２に示す矩形状であっても良いし、ドット形状あるいはスポット形状でも良い。
分析キット容器９００は、図２に例示した通り、呈色反応領域９０２が平面上のものでもよいし、内部に検査薬などが充填された円柱状などのチューブ形状、あるいは呈色反応領域９０２の媒体として、ｐＨ（ピーエッチ）試験紙（リトマス試験紙を含む）、尿検査紙、酸化度測定紙（食用油検査用）などの簡易検査紙のような平面形状の紙のものでもよい。
また、平面上の呈色反応領域をもつ分析キットにおいて、呈色反応領域９０２における観察対象面９０１における呈色反応を示す呈色反応領域が図２に示す矩形状であっても良いし、ドット形状あるいはスポット形状でも良い。
【0101】
平面上の呈色反応領域の中には、図２に例示した通り、複数の検査項目の各々に対応した比色反応領域を有する分析キットや、試験紙や試薬が観察対象面９０１に設けられている（例えば、貼り付けられている）プレートを被検出対象物質に浸漬して呈色反応を見る分析キットでもよい。
また、分析キットの中にはスポイトのようなチューブ形状の呈色反応領域を有しているものもあり、被検出対象物質を分析キットの吸水部から吸入して、チューブにおける被検出対象物のチューブ内の充填物（検査薬など）中における浸漬に応じた呈色反応を見るものもある。本発明における分析キットは、そのいずれでも良いし、これらの組み合わせで構成されてもよい。
また、分析キットの中にはスポイトのようなチューブ形状の呈色反応領域を有しているものもあり、被検出対象物質を分析キットの吸水部から吸入して、チューブにおける被検出対象物のチューブ内の充填物（検査薬など）中における浸漬に応じた呈色反応を見るものもある。本発明における分析キットは、そのいずれでも良いし、これらの組み合わせで構成されてもよい。
【0102】
一方、チューブ型の分析キットは、呈色反応領域の形状が呈色反応領域９０２のように平面ではなく、筒（円柱）状となる場合がある。しかしながら、チューブ型の筒状の形状をした分析キットであっても、チューブ内における筒状の充填物の表面において、三次元座標が既知であるパタン（領域）が存在することを仮定すれば、平面の場合と同様に観察角度を推定することが可能である。つまり、そのパタン（領域）の三次元座標と撮像画像上の二次元ピクセル座標との対応を取ることにより、画像変換部１０４を用いて、すでに説明した平面上の観察対象面９０１における呈色反応を示す呈色反応領域を検出する場合と同様に観察角度を推定できる。
【0103】
上述した分析キット容器９００は、被検出対象物質が特定のタンパク質でもよいし、またはウイルス、菌類、細菌等の微生物でもよい。
また、上述した分析キット容器９００は、被検出対象物質が特定のＤＮＡ構造を抽出するために検出される核酸であってもよい。
さらに、上述した分析キット容器９００は、被検出対象物質が、水質検査に混入された混入物質、油の劣化状態を検出する油酸化度を示す物質、あるいは食物に含まれる糖などの化学物質（例えば、果物におけるショ糖の含量による糖度の測定）であってもよい。
また、上述した分析キット容器９００は、被検出対象物質が特定のＤＮＡ構造を抽出するために検出される核酸であってもよい。
さらに、上述した分析キット容器９００は、被検出対象物質が、水質検査に混入された混入物質、油の劣化状態を検出する油酸化度を示す物質、あるいは食物に含まれる糖などの化学物質（例えば、果物におけるショ糖の含量による糖度の測定）であってもよい。
【0104】
呈色反応検出システムは、分析キット容器９００において、観察対象面９０１における呈色反応領域９０２の色変化（異なる種類の色に変化）を検知するものでもよいし、色の濃度変化（同一の色の濃度の変化）を検知するものでもよい。
また、呈色反応検出システムは、分析キット容器９００において、呈色反応領域９０２における蛍光や燐光を撮像し、この撮像画像における色変化（異なる種類の色に変化）を検知するものでもよいし、色の濃度変化（同一の色の濃度の変化）を検知するものでもよい。
また、呈色反応検出システムは、分析キット容器９００において、呈色反応領域９０２における蛍光や燐光を撮像し、この撮像画像における色変化（異なる種類の色に変化）を検知するものでもよいし、色の濃度変化（同一の色の濃度の変化）を検知するものでもよい。
【0105】
なお、本発明における図１の呈色反応検出システム１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、呈色反応検出の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0106】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0107】
１…呈色反応検出システム
１０１…撮像部
１０１Ａ…撮像方向
１０２…露光制御部
１０３…撮像制御部
１０４…画像変換部
１０５…滴下検出部
１０６…経過時間計測部
１０７…類似度算出部
１０８…呈色反応検出部
１０９…表示部
１１０…撮像画像記憶部
１１１…参照画像記憶部
１１２…検査結果記憶部
４００…法線
９００…分析キット容器
９０１…観察対象面
９０２…呈色反応領域
９０３，９０４，９０５，９０６，９０７，９０８…比色反応領域
１００１，１００２，１００３…色補正用パッチ
１０１…撮像部
１０１Ａ…撮像方向
１０２…露光制御部
１０３…撮像制御部
１０４…画像変換部
１０５…滴下検出部
１０６…経過時間計測部
１０７…類似度算出部
１０８…呈色反応検出部
１０９…表示部
１１０…撮像画像記憶部
１１１…参照画像記憶部
１１２…検査結果記憶部
４００…法線
９００…分析キット容器
９０１…観察対象面
９０２…呈色反応領域
９０３，９０４，９０５，９０６，９０７，９０８…比色反応領域
１００１，１００２，１００３…色補正用パッチ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】