特許 7118423 画像解析システム、画像解析方法及び画像解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-05

(45)【発行日】2022-08-16

(54)【発明の名称】画像解析システム、画像解析方法及び画像解析プログラム

(51)【国際特許分類】

   G01N 21/78 20060101AFI20220808BHJP

【ＦＩ】

G01N21/78 A

【請求項の数】 6

(21)【出願番号】P 2018229181

(22)【出願日】2018-12-06

(65)【公開番号】P2020091226

(43)【公開日】2020-06-11

【審査請求日】2021-09-27

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１）平成２９年度岩手県立大学ソフトウェア情報学部卒業研究論文要旨（ウェブサイト），ｈｔｔｐ：／／ｓｏｔｓｕｒｏｎ．ｓｄ．ｓｏｆｔ．ｉｗａｔｅ－ｐｕ．ａｃ．ｊｐ／ｏｕｔｓｉｄｅ／ｓｕｍｍａｒｙ２．ｊｓｐ，平成３０年１月１１日掲載 （２）平成２９年度岩手県立大学ソフトウェア情報学部卒業研究論文要旨集，公立大学法人岩手県立大学ソフトウェア情報学部，平成３０年２月７日発行 （３）平成２９年度岩手県立大学ソフトウェア情報学部卒業研究成果発表会，公立大学法人岩手県立大学 滝沢キャンパス，平成３０年２月９日発表 （４）平成２９年度岩手県立大学ソフトウェア情報学部卒業研究論文，公立大学法人岩手県立大学，平成３０年２月２２日発行 （５）情報処理学会第８０回全国大会講演論文集，一般社団法人情報処理学会，平成３０年３月１３日発行 （６）情報処理学会第８０回全国大会，早稲田大学 西早稲田キャンパス，平成３０年３月１４日発表 （７）日本経済新聞（東北版），平成３０年６月２８日第４１面，平成３０年６月２８日発行

(73)【特許権者】

【識別番号】507234427

【氏名又は名称】公立大学法人岩手県立大学

(74)【代理人】

【識別番号】100155882

【弁理士】

【氏名又は名称】齋藤 昭彦

(74)【代理人】

【識別番号】100154678

【弁理士】

【氏名又は名称】齋藤 博子

(72)【発明者】

【氏名】プリマ オキ ディッキ アルディアンシャー

(72)【発明者】

【氏名】伊藤 久祥

(72)【発明者】

【氏名】白田 光

【審査官】吉田 将志

(56)【参考文献】

【文献】特開２０１０－０３８７３５（ＪＰ，Ａ）

【文献】特開平０９－２３６４９５（ＪＰ，Ａ）

【文献】特開昭５９－１８３４７１（ＪＰ，Ａ）

【文献】特表２０１７－５０３１６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１８８９３７（ＵＳ，Ａ１）

【文献】特開２００８－０９７３１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８

(57)【特許請求の範囲】

【請求項1】

長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する画像解析システムであって、
前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成手段と、
前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成手段と、
前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成手段と、
前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化手段と、
を備えることを特徴とする画像解析システム。

【請求項2】

前記埋谷線生成手段は、前記波形グラフ上の探索基準点から前記ｘ軸と平行な方向の所定の探索範囲内に前記統計量が前記探索基準点以上の超過点が存在する場合、前記探索基準点から前記超過点までの線分、又は前記探索基準点から前記ｘ軸と平行な方向に延びる前記波形グラフとの交点までの線分を前記埋谷線とする
ことを特徴とする請求項１に記載の画像解析システム。

【請求項3】

前記波形グラフ生成手段は、前記試験紙画像から解析対象の画素群を抽出し、前記解析対象の画素群について、前記長辺方向と直交する方向の画素列ごとに画素値の平均値及び中央値を算出し、前記平均値及び前記中央値の残差平方和が閾値以上の場合、エラー処理を行う
ことを特徴とする請求項１又は請求項２に記載の画像解析システム。

【請求項4】

前記試験紙の色と反対色の第１領域及び前記試験紙の色と同系色の第２領域を有する背景部材、
を更に備え、
前記撮影画像は、前記試験紙が前記第１領域に戴置された状態で、前記第１領域及び前記第２領域が含まれるように撮影されたものである
ことを特徴とする請求項１乃至請求項３のいずれかに記載の画像解析システム。

【請求項5】

長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する画像解析方法であって、
コンピュータが、
前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成ステップと、
前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成ステップと、
前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成ステップと、
前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化ステップと、
を実行することを特徴とする画像解析方法。

【請求項6】

長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する方法をコンピュータに実行させるための画像解析プログラムであって、
前記コンピュータに、
前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成ステップと、
前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成ステップと、
前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成ステップと、
前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化ステップと、
を実行させるための画像解析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、試験紙の撮影画像を解析する画像解析システム等に関するものである。

【背景技術】

【0002】

近年、医療や食品の分野における各種遺伝子検査を簡易、迅速、安価に行うためのＳＴＨ（「Single-strand Tag Hybridization」の略）法が開発されている（特許文献１、非特許文献１参照）。本検査手法では、試験紙として試薬を印字した６０ｍｍ×２ｍｍのＰＡＳ（「Printed Array-Strip」の略）（株式会社ＴＢＡ製）を用い、ＰＡＳに検査対象物の成分を付着させ、成分ごとに反応した色の濃淡とその位置から遺伝子を特定する。非特許文献１によれば、色の濃淡とその位置は目視によって判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開ＷＯ２０１３／０３９２２８号公報

【非特許文献】

【0004】

【文献】株式会社ＴＢＡ、“技術紹介 ＳＴＨ法とは”、［online］、［2018年10月31日検索］、インターネット（https://www.t-bioarray.com/contents/technology.html）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、正確に判定するためには検査者に一定の経験が必要であり、検査者によって検査結果にばらつきが出てしまうという課題がある。この課題を解決するために、目視判定の代わりに、検査後のＰＡＳをスキャナで読み取り、市販の画像解析ソフトで解析する方法がある。例えば、ＡＴＴＯ社の「Image Analysis Software CS Analyzer」を用いると、ＰＡＳの画像の断面図からＰＡＳの濃淡の変動を可視化できる。

【0006】

しかしながら、成分ごとに反応した色の濃淡を定量化するためには、手動による作業を要している。具体的には、まずＰＡＳの画像の断面図上で極大値の地点を結び、地点間の断面図が占める面積を求める。次に、一定以上の面積を抽出した後、成分ごとに反応した色の濃淡を定量化する。これらの手動で行われる作業は最終的な検査結果に大きく影響するため、検査者ごとの検査結果のばらつきを十分に抑制できていない。更に、手動の作業に時間を要し、実用的な時間内に検査を終えることができない。

【0007】

本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、検査者による検査結果のばらつきを抑制し、検査結果の信頼性を向上させるとともに、検査に要する時間を短縮可能な画像解析システム等を提供することである。

【課題を解決するための手段】

【0008】

前述した目的を達成するための第１の発明は、長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する画像解析システムであって、前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成手段と、前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成手段と、前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成手段と、前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化手段と、を備えることを特徴とする画像解析システムである。第１の発明によって、検査者による検査結果のばらつきを抑制し、検査結果の信頼性を向上させるとともに、検査に要する時間を短縮できる。

【0009】

第１の発明における前記埋谷線生成手段は、前記波形グラフ上の探索基準点から前記ｘ軸と平行な方向の所定の探索範囲内に前記統計量が前記探索基準点以上の超過点が存在する場合、前記探索基準点から前記超過点までの線分、又は前記探索基準点から前記ｘ軸と平行な方向に延びる前記波形グラフとの交点までの線分を前記埋谷線とするようにしても良い。これによって、検査者による手動の作業を行わなくても、試験紙の発色の度合を定量化できる。

【0010】

また、第１の発明における前記波形グラフ生成手段は、前記試験紙画像から解析対象の画素群を抽出し、前記解析対象の画素群について、前記長辺方向と直交する方向の画素列ごとに画素値の平均値及び中央値を算出し、前記平均値及び前記中央値の残差平方和が閾値以上の場合、エラー処理を行うようにしても良い。これによって、画像解析装置が自動的にエラー判定を行うので、検査者による精度のばらつきは生じず、最終的に出力される画像解析の結果の精度を確保できる。

【0011】

また、第１の発明は、前記試験紙の色と反対色の第１領域及び前記試験紙の色と同系色の第２領域を有する背景部材、を更に備え、前記撮影画像は、前記試験紙が前記第１領域に戴置された状態で、前記第１領域及び前記第２領域が含まれるように撮影されたものとしても良い。これによって、試験紙と背景部材との境界となる線分を精度良く検出できるとともに、カメラの自動露光調整を適切に動作させ、試験紙の白飛びを抑制できる。

【0012】

第２の発明は、長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する画像解析方法であって、コンピュータが、前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成ステップと、前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成ステップと、前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成ステップと、前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化ステップと、を実行することを特徴とする画像解析方法である。第２の発明によって、検査者による検査結果のばらつきを抑制し、検査結果の信頼性を向上させるとともに、検査に要する時間を短縮できる。

【0013】

第３の発明は、長手方向を有し、前記長手方向と直交する方向に延びる試験ラインが形成された試験紙の撮影画像を解析する方法をコンピュータに実行させるための画像解析プログラムであって、前記コンピュータに、前記撮影画像から前記試験紙の領域を特定し、矩形の試験紙画像を生成する試験紙画像生成ステップと、前記試験紙画像の長辺方向と直交する方向の画素列ごとに前記試験紙画像の画素値の統計量を算出し、前記長辺方向の位置をｘ軸、前記統計量をｙ軸とする直交座標系において前記統計量の波形グラフを生成する波形グラフ生成ステップと、前記波形グラフの谷を埋める埋谷線を生成する埋谷線生成ステップと、前記埋谷線と前記波形グラフによって囲まれる閉領域ごとに、前記閉領域の面積を算出することによって、前記試験ラインの発色の度合を定量化する発色度合定量化ステップと、を実行させるための画像解析プログラムである。第３の発明をコンピュータにインストールすることによって、第１の発明の画像解析システムを構築し、第２の発明の画像解析方法を実行することができる。

【発明の効果】

【0014】

本発明により、検査者による検査結果のばらつきを抑制し、検査結果の信頼性を向上させるとともに、検査に要する時間を短縮可能な画像解析システム等を提供することができる。

【図面の簡単な説明】

【0015】

【図1】画像解析システムの概要を示す図

【図2】試験紙の一例を示す図

【図3】画像解析処理の流れを示すフローチャート

【図4】撮影作業を説明する図

【図5】試験紙画像の生成処理の流れを示すフローチャート

【図6】試験紙画像の生成処理を説明する図

【図7】波形グラフの生成処理の流れを示すフローチャート

【図8】波形グラフの生成処理を説明する図

【図9】波形グラフの一例を示す図

【図10】埋谷線の生成処理の流れを示すフローチャート

【図11】埋谷線の生成処理を説明する図

【図12】発色度合の定量化処理を説明する図

【発明を実施するための形態】

【0016】

以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態では、ＳＴＨ（「Single-strand Tag Hybridization」の略）法による遺伝子検査を例に説明する。ＳＴＨ法とは、（１）ビオチンプライマーとシングルタグＤＮＡ付プライマーにより標的ＤＮＡをＰＣＲ増幅し、（２）その増幅液をアビジンコートラテックス（青）と混合して試験紙（「テストストリップ」とも言う。）に展開し、（３）ライン状に固相化された相補タグＤＮＡとタグＤＮＡの強いハイブリダイゼーション反応によりＰＣＲ増幅産物をトラップし、（４）トラップされたラテックス標識ＰＣＲ増幅産物でラインが青色になることにより、（５）検体中の標的ＤＮＡの有無を判別するものである。但し、本発明の実施形態における画像解析方法の適用可能範囲は、検査内容が遺伝子検査に限定されるものではないし、検査方法がＳＴＨ法に限定されるものでもなく、試験ラインの発色の度合によって検査結果を判定するものであれば、どのようなものであっても適用可能である。

【0017】

また、本発明の実施形態では、試験紙として株式会社ＴＢＡ製のＰＡＳ（「Printed Array-Strip」の略）を例に説明する。ＰＡＳとは、数種類の相補タグＤＮＡがライン状に固相化されているものである。但し、本発明の実施形態における画像解析方法を適用可能な試験紙は、ＰＡＳに限定されるものではなく、長手方向を有し、長手方向と直交する方向に延びる試験ラインが形成されたものであれば、どのようなものであっても良い。

【0018】

図１は、画像解析システムの概要を示す図である。図１に示すように、画像解析システム１は、画像解析を行う画像解析装置２と、遺伝子検査に用いられる試験紙３と、試験紙３を撮影する際、試験紙３が戴置される背景部材４と、によって構成される。

【0019】

画像解析装置２は、制御部としてのＣＰＵ（「Central Processing Unit」の略）、主記憶部としてのメモリ、補助記憶部としてのＨＤＤ（「Hard Disk Drive」の略）やフラッシュメモリ、表示部としての液晶ディスプレイ、入力部としてのキーボードやマウス、タッチパネルディスプレイ、有線通信部としてのＬＡＮ（Local Area Network）又は無線通信部としての無線モジュール等を有する。

【0020】

補助記憶部としてのＨＤＤやフラッシュメモリには、ＯＳ（「Operating System」の略）、アプリケーションプログラム、処理に必要なデータ等が記憶されている。画像解析装置２のＣＰＵは、補助記憶部からＯＳやアプリケーションプログラムを読み出して主記憶部に格納し、主記憶部にアクセスしながら、その他の機器を制御し、後述する処理を実行する。

【0021】

画像解析装置２は、例えば、試験紙３の画像を撮影可能なカメラを有するスマートフォンやタブレット端末等である。また、デジタルカメラ等で試験紙３の画像を撮影する場合、画像解析装置２は、カメラ機能がないデスクトップＰＣ（「Personal Computer」の略）やノートＰＣでも良い。更に、画像解析装置２は、サーバと端末によって構成されるウエブシステムとして構築されても良い。この場合、端末が試験紙３の画像をサーバに送信し、サーバが画像解析を行う。以下では、画像解析装置２がスマートフォンの場合を例にして説明する。

【0022】

図２は、試験紙の一例を示す図である。図２（ａ）に示すように、試験紙３は長手方向Ｌ１を有し、その両端に第１端部３ａ及び第２端部３ｂを有する矩形の紙材である。図２（ｂ）は、図２（ａ）における領域Ａの拡大図である。図２（ｂ）に示すように、試験紙３には、長手方向Ｌ１と直交する方向に延びる８本の試験ライン６、１本のコントロールライン７及び４本の位置マーカー８が形成されている。８本の試験ライン６によって、同時に８種類の遺伝子検査が可能となる。８本の試験ライン６は、コントロールライン７よりも第１端部３ａ側に形成されている。本発明の実施形態における試験紙３の大きさは、長手方向Ｌ１の長さが６０ｍｍ、長手方向Ｌ１と直交する方向の長さが２ｍｍである。また、試験ライン６やコントロールライン７の幅、すなわち長手方向Ｌ１の長さは０．５ｍｍである。

【0023】

検査者は、検査対象物の成分を試験紙３に付着させる際、第２端部３ｂ側を把持し、第１端部３ａ側を検査対象物が含まれる液体の試薬に挿入する。毛細管現象によって試薬が吸い上げられ、試薬が第１端部３ａ側から第２端部３ｂ側に移動していくと、検査対象物が捕捉された試験ライン６やコントロールライン７が発色する。本発明の実施形態では、試験ライン６やコントロールライン７は青色に発色する。尚、図２（ｂ）に示す例では、試験ライン６やコントロールライン７と位置マーカー８を判別し易いように、位置マーカー８のみを黒く塗りつぶしているが、色彩の有無を示すものではない。

【0024】

図１の説明に戻る。背景部材４は、試験紙３の色と反対色の第１領域４ａ及び試験紙３の色と同系色の第２領域４ｂを有する。本発明の実施形態では、試験紙３が白色、第１領域４ａが黒色、第２領域４ｂが白色であるが、特に限定されるものではない。第１領域４ａ及び第２領域４ｂは、ともに矩形であって、同程度の面積を有し、境界が線分である。本発明の実施形態では、背景部材４の材質は紙であるが、プラスチック、木材、金属等でも良く、特に限定されるものではない。

【0025】

本発明の実施形態では、検査者は、試薬をクロマト展開させた後の試験紙３を背景部材４に戴置し、画像解析装置２によって試験紙３の画像を撮影し、画像解析装置２に画像解析処理を実行させる。画像解析装置２は、画像解析処理の結果として、検査の判定に資する情報を検査者に提供する。検査者は、画像解析装置２によって提供される情報に基づいて検査の判定を行う。

【0026】

図３は、画像解析処理の流れを示すフローチャートである。図３に示すように、画像解析処理の前段階として、検査者が試験紙３の撮影作業を行う（ステップＳ１）。

【0027】

図４は、撮影作業を説明する図である。図４に示すように、検査者は、試験紙３が第１領域４ａに戴置された状態で、第１領域４ａ及び第２領域４ｂが含まれるように撮影範囲９を調整し、画像解析装置２のカメラによって撮影を行う。このように調整された撮影範囲９の撮影画像を得ることによって、後述する画像解析装置２による画像解析処理において精度良く解析できる。

【0028】

具体的には、白色の試験紙３が反対色である黒色の第１領域４ａに戴置されているので、試験紙３と背景部材４との境界となる線分を精度良く検出できる。また、スマートフォン等に標準搭載されているカメラの自動露光調整をＯＮにしている場合、暗所を撮影した際は、画像全体の露光値を適切に保とうとするので、光源や輝度が高い被写体、すなわち、白色の試験紙３が白飛びして映ってしまう。黒色の第１領域４ａと白色の第２領域４ｂの両方が撮影範囲９に含まれることによって、カメラの自動露光調整を適切に動作させ、試験紙３の白飛びを抑制できる。

【0029】

図３の説明に戻る。次に、画像解析装置２の制御部は、撮影画像から試験紙３の領域を特定し、矩形の試験紙画像を生成する（ステップＳ２）。

【0030】

図５は、試験紙画像の生成処理の流れを示すフローチャートである。画像解析装置２は、撮影画像を入力すると（ステップＳ２１）、撮影画像の画像サイズを縮小するとともに（ステップＳ２２）、ノイズ抑制のためにガウシアンフィルタによって撮影画像の平滑化を行い（ステップＳ２３）、後述の処理に適した画像に補正する。

【0031】

次に、画像解析装置２は、ステップＳ２２及びＳ２３の補正処理後の撮影画像において、線分を検出する（ステップＳ２４）。線分検出のアルゴリズムは、特に限定されるものではないが、例えば、公知のＬＳＤ（「a Line Segment Detector」の略）を用いることができる。ＬＳＤの詳細は、「Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean- Michel Morel, Gregory Randall LSD: a Line Segment Detector, Image Processing On Line, http://www.ipol.im/pub/art/2012/gjmr-lsd/article.pdf」に開示されている。

【0032】

図６は、試験紙画像の生成処理を説明する図である。図６（ａ）は、撮影画像１０において検出された線分を示している。撮影画像１０は、図４に示す撮影範囲９で撮影されている。検出線分１１ａは、第１領域４ａと第２領域４ｂとの境界である。検出線分１１ｂ～１１ｅは、試験紙３と背景部材４との境界である。

【0033】

次に、画像解析装置２は、試験紙３が含まれる第１領域４ａを抽出する（ステップＳ２５）。図６（ｂ）は、図６（ａ）の撮影画像１０から第１領域４ａが抽出された第１領域抽出画像２０を示している。画像解析装置２は、ステップＳ２４において検出された線分の中から最も長い線分を第１領域４ａ及び第２領域４ｂの境界と判定し、その線分の右側の領域を第１領域４ａとして抽出する。図６（ａ）に示す例であれば、検出線分１１ａが最も長い線分であることから、画像解析装置２は、検出線分１１ａ右側の領域を第１領域４ａとして抽出する。

【0034】

次に、画像解析装置２は、試験紙３の領域を特定し、透視変換を行うことによって試験紙画像を生成する（ステップＳ２６）。画像解析装置２は、ステップＳ２５において抽出された第１領域４ａに含まれる検出線分の中から、最も長い検出線分と２番目に長い検出線分を特定する。次に、画像解析装置２は、特定される２つの検出線分の両端点である４つの座標を頂点とする四角形を試験紙３の領域として特定する。そして、試験紙３の領域の歪みを補正するために、画像解析装置２は、特定された４つの座標を、予め定められる矩形の４つの頂点に対応させ、試験紙３の領域に対して透視変換（「ホモグラフィ変換」とも言う。）を行い、矩形の試験紙画像を生成する。

【0035】

図６（ｂ）に示す例であれば、最も長い検出線分と２番目に長い検出線分は、検出線分１１ｂと検出線分１１ｃである。また、試験紙３の領域の４つの頂点は、検出線分１１ｂと検出線分１１ｃの両端点である第１頂点２１ａ、第２頂点２１ｂ、第３頂点２１ｃ、第４頂点２１である。画像解析装置２は、第１頂点２１ａ、第２頂点２１ｂ、第３頂点２１ｃ、第４頂点２１を、それぞれ、予め定められる矩形の４つの頂点（０，０）、（Ｘｄ，０）、（０，Ｙｄ）、（Ｘｄ、Ｙｄ）に対応させ、試験紙３の領域に対して透視変換を行う。

【0036】

図６（ｃ）は、透視変換の結果を示している。図６（ｃ）に示すように、試験紙画像３０は、長辺方向Ｌ２を有する矩形である。本発明の実施形態では、試験紙３の大きさは、長手方向Ｌ１の長さが６０ｍｍ、長手方向Ｌ１と直交する方向の長さが２ｍｍであるから、縦横比は３０：１である。そこで、予め定められる矩形も３０：１となるように、例えば、Ｘｄ＝６０、Ｙｄ＝１８００とし、試験紙画像３０を縦１８００ピクセル×横６０ピクセルの画像とする。

【0037】

図３の説明に戻る。次に、画像解析装置２は、試験紙画像３０の長辺方向Ｌ２と直交する方向の画素列ごとに試験紙画像３０の画素値の統計量を算出し、長辺方向Ｌ２の位置をｘ軸、統計量をｙ軸とする直交座標系において統計量の波形グラフを生成する（ステップＳ３）。

【0038】

波形グラフの生成に用いられる統計量としては、平均値、中央値、最頻値等の代表値が考えられる。また、最大値、最小値、又は特定の画素値等でも良い。本発明の実施形態では、中央値を用いて波形グラフを生成する。

【0039】

図７は、波形グラフの生成処理の流れを示すフローチャートである。図７に示すように、画像解析装置２は、試験紙画像３０から解析対象の画素群を抽出する（ステップＳ３１）。

【0040】

図８は、波形グラフの生成処理を説明する図である。試験紙画像３０の輪郭周辺は、背景部材４や影等のノイズが含まれる可能性があるため、長辺方向Ｌ２に延び、試験紙画像３０を二等分する中心線３１の周辺の画素群を解析対象とする。すなわち、図８に示すように、長辺方向Ｌ２と直交する方向をｘ軸、長辺方向Ｌ２をｙ軸とすると、ｘ座標がＸ１～Ｘｎ（０＜Ｘ１＜Ｘｎ＜Ｘｄ）、ｙ座標が０～Ｙｄの画素群を解析対象とする。例えば、本発明の実施形態では、ｎ＝１５とし、中心線３１を中心とした１５列分の画素群を解析対象としている。

【0041】

次に、画像解析装置２は、ステップＳ３１において抽出される解析対象の画素群について、特定の色成分の輝度値を算出し、後続の処理に用いる画素値とする（ステップＳ３２）。本発明の実施形態では、検査対象物が捕捉された試験ライン６は、青色に発色する。そこで、画像解析装置２は、試験紙画像３０に含まれる画素をＣＭＹＫに色分解し、Ｃ（＝シアン）成分の輝度値を算出し、後続の処理に用いる画素値とする。また、画像解析装置２は、試験紙画像３０に含まれる画素をＲＧＢに色分解し、Ｂ（青色）成分の輝度値を算出し、後続の処理に用いる画素値としても良い。本発明の実施形態では、後者のＢ（青色）成分の輝度値よりも、前者のＣ（＝シアン）成分の輝度値を画素値とする方が、より良好な結果が得られている。

【0042】

次に、画像解析装置２は、ステップＳ３１において抽出される解析対象の画素群について、長辺方向Ｌ２と直交する方向の画素列ごとに画素値の平均値を算出する（ステップＳ３３）。同様に、画像解析装置２は、ステップＳ３２において抽出される解析対象の画素群について、長辺方向Ｌ２と直交する方向の画素列ごとに画素値の中央値を算出する（ステップＳ３３）。そして、画像解析装置２は、ステップＳ３２において算出される平均値と、ステップＳ３３において算出される中央値の残差平方和（ＲＳＳ：Residual Sum of Squares）を算出する（ステップＳ３４）。

【0043】

ここで、ｉ列目の平均値をμ（ｉ）（ｉ＝１～ｎ）、ｉ列目の中央値をｍ（ｉ）とすると、平均値と中央値の残差平方和ＲＳＳは、ＲＳＳ＝（μ（１）－ｍ（１））＾２＋・・・＋（μ（ｎ）－ｍ（ｎ））＾２（但し、ａ＾ｂはａのｂ乗を表す。）の式によって計算される。

【0044】

ステップＳ３１において抽出される解析対象の画素群にノイズが多く含まれている場合、平均値と中央値の値が大きくかけ離れる。従って、平均値と中央値の残差平方和ＲＳＳによって、解析対象の画素群に含まれるノイズ量を判別できる。

【0045】

次に、画像解析装置２は、残差平方和ＲＳＳが閾値未満か否か判定する（ステップＳ３５）。残差平方和ＲＳＳが閾値未満の場合（ステップＳ３５のＹｅｓ）、画像解析装置２は、ステップＳ３３において算出される中央値を用いて波形グラフを生成する（ステップＳ３６）。残差平方和ＲＳＳが閾値以上の場合（ステップＳ３５のＮｏ）、画像解析装置２は、エラー処理を実行する（ステップＳ３７）。画像解析装置２は、エラー処理として、例えば、検査者に対して再撮影を促すメッセージを表示部に表示する。このように、画像解析装置２が自動的にエラー判定を行うので、検査者による精度のばらつきは生じず、最終的に出力される画像解析の結果の精度を確保できる。

【0046】

図９は、波形グラフの一例を示す図である。図９では、図６（ｃ）に示す試験紙画像３０に基づいて生成される波形グラフ４０の一部を示している。ステップＳ３２において説明した通り、本発明の実施形態では、波形グラフ４０の生成に用いられる画素値は、ＣＭＹＫに色分解されたＣ（＝シアン）成分の輝度値なので、ｙ軸はＣ（＝シアン）成分の濃淡値を示している。ｙ座標の値が小さい程、Ｃ（＝シアン）成分が濃いことを示している。図９では、８本の試験ライン６と１本のコントロールライン７が全て青色に発色した場合の例を示している。図９に示すように、波形グラフ４０は、８本の試験ライン６と１本のコントロールライン７の各々に対応する位置で極小値を取り、下向きに凸となっている。ここで、下向きに凸になっている部分を波形グラフ４０の谷４１と呼ぶ。尚、図９において符号を付した深い谷４１以外にも、浅い谷４１が存在する。

【0047】

図３の説明に戻る。次に、画像解析装置２は、波形グラフ４０の谷を埋める埋谷線を生成する（ステップＳ４）。ここで、埋谷線とは、両端が波形グラフ４０上の点であって、波形グラフ４０の谷４１を閉領域とする線分を意味する。

【0048】

図１０は、埋谷線の生成処理の流れを示すフローチャートである。以下、ｘ座標が最も小さい波形グラフ４０上の点を最初の点とし、ｘ座標が最も大きい波形グラフ４０上の点を最後の点とする。また、波形グラフ４０上のある点の次の点とは、ｘ座標がある点よりも１つ大きい波形グラフ４０上の点を意味する。

【0049】

図１０に示すように、画像解析装置２は、最初の点を探索基準点に設定し（ステップＳ４１）、探索基準点の次の点の統計量が探索基準点の統計量以上か否かを判定する（ステップＳ４２）。探索基準点の次の点の統計量が探索基準点の統計量以上ということは、この間の微分係数が０以上であるから、谷４１ではないことを意味する。一方、探索基準点の次の点の統計量が探索基準点の統計量未満ということは、この間の微分係数がマイナスであるから、谷４１であることを意味する。谷４１のみが埋谷線の生成対象となる。

【0050】

ステップＳ４２の判定がＹｅｓの場合、画像解析装置２は、現在の探索基準点の次の点を新たな探索基準点に設定し（ステップＳ４３）、ステップＳ４７に進む。ステップＳ４２の判定がＮｏの場合、画像解析装置２は、予め定められる探索範囲内に統計量が探索基準点以上の点（以下、「超過点」と呼ぶ。）が存在するか否か判定する（ステップＳ４４）。

【0051】

予め定められる探索範囲のピクセル数Ｒは、例えば、試験ライン６の幅に相当するピクセル数とする。本発明の実施形態では、試験紙３の長手方向Ｌ１の長さが６０ｍｍ、試験ライン６の幅が０．５ｍｍ、試験紙画像３０の長辺方向Ｌ２のピクセル数が１８００ピクセルであるから、Ｒ＝（０．５ｍｍ×１８００ピクセル）／６０ｍｍ＝１５ピクセルとなる。

【0052】

ステップＳ４４の判定がＹｅｓの場合、画像解析装置２は、埋谷線を生成する（ステップＳ４５）。例えば、画像解析装置２は、探索基準点から超過点までの線分を埋谷線とする。探索範囲内に超過点が複数存在する場合、最も探索基準点に近い超過点を採用する。また、例えば、画像解析装置２は、探索基準点からｘ軸と平行な方向に延びる波形グラフ４０との交点までの線分を埋谷線としても良い。次に、画像解析装置２は、超過点（複数存在する場合、最も探索基準点に近い超過点）を新たな探索基準点に設定し（ステップＳ４６）、ステップＳ４７に進む。

【0053】

ステップＳ４４の判定がＮｏの場合、画像解析装置２は、現在の探索基準点の次の点を新たな探索基準点に設定し（ステップＳ４３）、ステップＳ４７に進む。

【0054】

ステップＳ４７において、画像解析装置２は、探索基準点が最後の点か否か判定する。探索基準点が最後の点ではない場合（ステップＳ４７のＮｏ）、画像解析装置２は、ステップＳ４２から処理を繰り返す。探索基準点が最後の点の場合（ステップＳ４７のＹｅｓ）、画像解析装置２は、処理を終了する。

【0055】

図１１は、埋谷線の生成処理を説明する図である。以下、図１１に示す例について埋谷線の生成処理を説明する。図１１（ａ）に示すように、最初の点はＰ１なので、画像解析装置２は、ステップＳ４１においてＰ１を探索基準点に設定する。Ｐ１が探索基準点の場合、探索基準点Ｐ１の次の点はＰ２である。Ｐ２の統計量はＰ１の統計量以上であるから、画像解析装置２は、ステップＳ４２の判定をＹｅｓとし、ステップＳ４３においてＰ２を新たな探索基準点に設定する。

【0056】

Ｐ２が探索基準点の場合、探索基準点Ｐ２の次の点はＰ３である。Ｐ３の統計量はＰ２の統計量より小さいから、画像解析装置２は、ステップＳ４２の判定をＮｏとし、ステップＳ４４に進む。探索基準点Ｐ２から探索範囲４２内には、統計量が探索基準点Ｐ２以上の超過点は存在しないので、画像解析装置２は、ステップＳ４４の判定をＮｏとし、ステップＳ４３においてＰ３を新たな探索基準点に設定する。

【0057】

Ｐ３が探索基準点の場合、探索基準点Ｐ３の次の点はＰ４である。Ｐ４の統計量はＰ３の統計量より小さいから、画像解析装置２は、ステップＳ４２の判定をＮｏとし、ステップＳ４４に進む。探索基準点Ｐ３から探索範囲４２内には、統計量が探索基準点Ｐ３以上の超過点は存在しないので、画像解析装置２は、ステップＳ４４の判定をＮｏとし、ステップＳ４３においてＰ４を新たな探索基準点に設定する。

【0058】

Ｐ４が探索基準点の場合、探索基準点Ｐ４の次の点はＰ５である。Ｐ５の統計量はＰ４の統計量より小さいから、画像解析装置２は、ステップＳ４２の判定をＮｏとし、ステップＳ４４に進む。探索基準点Ｐ４から探索範囲４２内のＰ１８は、統計量が探索基準点Ｐ４以上なので超過点である。従って、画像解析装置２は、ステップＳ４４の判定をＹｅｓとし、図１１（ｂ）に示すように、ステップＳ４５において埋谷線４３ａ又は４３ｂを生成し、ステップＳ４６においてＰ１８を新たな探索基準点に設定し、同様の処理を継続する。

【0059】

図１１（ｂ）に示す埋谷線４３ａは探索基準点Ｐ４から超過点Ｐ１８までの線分、埋谷線４３ｂは探索基準点Ｐ４からｘ軸と平行な方向に延びる波形グラフ４０との交点までの線分である。また、閉領域４４ａは埋谷線４３ａと波形グラフ４０によって囲まれる領域、閉領域４４ｂは埋谷線４３ｂと波形グラフ４０によって囲まれる領域である。

【0060】

このようにして、画像解析装置２は、波形グラフ４０の全ての谷４１に対して埋谷線４３を生成することができる。

【0061】

ステップＳ４４において用いられる探索範囲４２のピクセル数Ｒは、波形グラフ４０の谷４１の深さに応じて変更しても良い。例えば、画像解析装置２は、波形グラフ４０の極小値に基づいて探索範囲４２のピクセル数Ｒを動的に変更する。これは、探索範囲４２のピクセル数Ｒを試験ライン６の幅に相当するピクセル数とすると、埋谷線４３が理想的な高さよりも低くなる場合があるためである。波形グラフ４０の谷４１が深い程、予め定められる探索範囲４２のピクセル数Ｒを大きくすることで、埋谷線４３を理想的な高さに近づけることができる。

【0062】

図３の説明に戻る。次に、画像解析装置２は、埋谷線４３と波形グラフ４０によって囲まれる閉領域４４ごとに、閉領域４４の面積を算出することによって、試験ライン６の発色の度合を定量化する（ステップＳ５）。

【0063】

ステップＳ５において、算出される閉領域４４の面積がどの試験ライン６の発色の度合に相当するのかを決定するために、波形グラフ４０上の試験ライン６の位置を特定する必要がある。前述のステップＳ２４の線分検出処理における計算の丸め込み誤差に起因し、試験紙画像３０の端部からの絶対距離によって試験ライン６の位置を特定することができない。そこで、画像解析装置２は、試験紙３に形成されている位置マーカー８に基づいて、波形グラフ４０上の試験ライン６の位置を特定する。具体的には、画像解析装置２は、試験紙画像３０に含まれる画素の色空間をＨＳＶに変換し、色相成分（＝Hue）を画素値とし、ステップＳ３７と同様に、画素値の統計量（例えば中央値）の波形グラフを生成する。そして、画像解析装置２は、波形グラフに基づいて位置マーカー８の色相に対応する位置を特定し、特定される位置マーカー８の位置からの絶対距離によって試験ライン６の位置を特定する。

【0064】

図１２は、発色度合の定量化処理を説明する図である。横軸は試験紙画像３０の長辺方向Ｌ２の位置、縦軸は色相成分の値である。本発明の実施形態では、位置マーカー８の色相が２５０～２７０の範囲である。図１２に示すように、色相の波形グラフによって４本の位置マーカー８の位置を特定できる。画像解析装置２は、例えば、試験紙３の第２端部３ｂに最も近い位置マーカー８、すなわち図１２に示す最も左にある位置マーカー８の位置からの絶対距離によって試験ライン６の位置を特定する。

【0065】

図３の説明に戻る。次に、画像解析装置２は、解析結果を表示部に表示する（ステップＳ６）。解析結果として、例えば、画像解析装置２は、各試験ライン６の名称と対応付けて、ステップＳ５において算出される閉領域４４の面積に基づく値を表示部に表示する。また、例えば、画像解析装置２は、閉領域４４の面積に基づく値とともに、ステップＳ３において生成される試験紙画像３０の画素値の統計量の波形グラフ４０を表示部に表示しても良い。

【0066】

以上の通り、本発明の実施形態における画像解析システム１によれば、試験紙３の撮影画像１０を画像解析装置２に入力すると、検査者による手動の作業を行うことなく、画像解析装置２が自動的に撮影画像１０を解析し、検査の判定に資する情報を検査者に提供する。従って、検査者による検査結果のばらつきを抑制し、検査結果の信頼性を向上させるとともに、検査に要する時間を短縮することができる。

【0067】

特に、コンピュータを画像解析装置２として機能させるためのプログラムをスマートフォンやタブレット端末等の携帯端末にインストール可能なアプリケーションプログラムとし、携帯端末にアプリケーションプログラムをインストールすることによって、誰でも、場所を問わず、簡易、迅速、安価に画像解析システム１を利用することができる。

【0068】

ここで、本実施の形態における変形例を説明する。図１０を参照して説明した埋谷線４３の生成処理では、試験ライン６の位置が予め特定できない場合を想定していた。一方、試験ライン６の位置が予め特定できる場合、他の方法によっても閉領域４４の面積を算出することが可能である。例えば、画像解析装置２は、試験ライン６の区間の両端の周辺部分（但し、試験ライン６及び位置マーカー８の区間を除く。）の統計量の平均値を基準値とし、基準値と試験ライン６の区間における統計値との差の絶対値の和を閉領域４４の面積としても良い。また、例えば、画像解析装置２は、予め特定される試験ライン６の区間の両端の位置を埋谷線４３の開始点及び終了点として埋谷線４３を生成し、閉領域４４の面積を算出しても良い。尚、試験ライン６の位置の特定方法は、前述のステップＳ５における方法を用いることができる。

【0069】

また、図１０を参照して説明した前述の埋谷線４３の生成処理を実行する場合であっても、試験ライン６の位置が予め特定できれば、より処理の高速化を図ることができる。前述の説明では、波形グラフ４０全体を埋谷線４３の生成処理の対象としたが、試験ライン６の位置が予め特定できれば、処理の対象を限定することができる。すなわち、画像解析装置２は、予め特定される試験ライン６の区間の両端の位置に基づいて、埋谷線の生成処理における最初の点及び最後の点を設定する。例えば、試験ライン６の位置の特定における誤差を考慮し、画像解析装置２は、予め特定される試験ライン６の区間の両端よりも所定の画素数だけ外側の点を、埋谷線の生成処理における最初の点及び最後の点として設定しても良い。これによって、埋谷線４３の生成処理の対象を試験ライン６の付近に限定することができ、処理の高速化を図ることができる。

【0070】

以上、添付図面を参照しながら、本発明に係る画像解析システム等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0071】

１………画像解析システム
２………画像解析装置
３………試験紙
３ａ………第１端部
３ｂ………第２端部
４………背景部材
４ａ………第１領域
４ｂ………第２領域
６………試験ライン
７………コントロールライン
８………位置マーカー
９………撮影範囲
１０………撮影画像
１１ａ～１１ｅ………検出線分
２０………第１領域抽出画像
２１ａ～２１ｄ………第１頂点～第４頂点
３０………試験紙画像
３１………中心線
３２………解析対象範囲
４０………波形グラフ
４１………谷
４２………探索範囲
４３、４３ａ、４３ｂ………埋谷線
４４、４４ａ、４４ｂ………閉領域
Ｌ１………長手方向
Ｌ２………長辺方向
Ｒ………探索範囲のピクセル数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】