特許第6860019号(P6860019)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
特許6860019縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム
<>
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000002
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000003
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000004
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000005
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000006
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000007
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000008
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000009
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000010
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000011
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000012
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000013
  • 特許6860019-縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6860019
(24)【登録日】2021年3月30日
(45)【発行日】2021年4月14日
(54)【発明の名称】縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20210405BHJP
   A61B 5/1172 20160101ALI20210405BHJP
【FI】
   G06T7/00 530
   A61B5/1172
【請求項の数】8
【全頁数】18
(21)【出願番号】特願2018-547740(P2018-547740)
(86)(22)【出願日】2017年10月25日
(86)【国際出願番号】JP2017038594
(87)【国際公開番号】WO2018079630
(87)【国際公開日】20180503
【審査請求日】2019年4月25日
(31)【優先権主張番号】特願2016-209502(P2016-209502)
(32)【優先日】2016年10月26日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】原 雅範
【審査官】 板垣 有紀
(56)【参考文献】
【文献】 特開2004−078434(JP,A)
【文献】 特開2004−078433(JP,A)
【文献】 国際公開第2013/145383(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
A61B 5/1172
(57)【特許請求の範囲】
【請求項1】
第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出する、特徴抽出部と、
前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出する、芯線照合部と、
前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示する、表示部と、
前記第1及び/又は第2の縞模様画像の特徴を修正する、特徴修正部と、
を備え
前記特徴修正部は、前記第1及び第2の縞模様画像それぞれに含まれる対特徴点の種別が互いに異なる場合に、一方の縞模様画像の特徴点種別を他方の縞模様画像の特徴点種別に上書きし、
前記特徴抽出部は、前記特徴修正部により修正された縞模様画像の特徴を保持しつつ芯線を再抽出し、
前記芯線照合部は、前記再抽出された芯線を用いて前記第1及び第2の縞模様画像から対応芯線を再算出し、
前記表示部は、前記再算出された対応芯線に基づき芯線の表示態様を決定する、縞模様画像鑑定支援装置。
【請求項2】
前記表示部が表示する、芯線が重ねて表示された前記第1及び第2の縞模様画像において、ユーザが前記対応芯線の表示態様を変更するための操作を受け付ける、修正部をさらに備え、
前記表示部は、前記ユーザにより変更された表示態様にて前記第1及び第2の縞模様画像に芯線を重ねて表示する、請求項に記載の縞模様画像鑑定支援装置。
【請求項3】
前記特徴抽出部は、前記第1及び第2の縞模様画像それぞれから、隆線が含まれる隆線領域と隆線を含まない非隆線領域を抽出し、
前記芯線照合部は、前記第1及び第2の縞模様画像それぞれの前記隆線領域のうち重複する領域を芯線照合の対象とする、請求項1または2に記載の縞模様画像鑑定支援装置。
【請求項4】
前記表示部は、前記対応芯線と前記対応芯線以外の非対応芯線の表示態様を変えて、前記対応芯線と前記非対応芯線を前記第1及び第2の縞模様画像に重ねて表示する、請求項1乃至のいずれか一項に記載の縞模様画像鑑定支援装置。
【請求項5】
前記特徴修正部は、予め定められた操作が入力された場合に、前記特徴点種別の上書きを行う、請求項の縞模様画像鑑定支援装置。
【請求項6】
前記特徴修正部は、押捺指紋画像の特徴点種別を遺留指紋画像の特徴点種別に上書きする、請求項の縞模様画像鑑定支援装置。
【請求項7】
第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出する特徴抽出ステップと、
前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出する芯線照合ステップと、
前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示する表示ステップと、
前記第1及び/又は第2の縞模様画像の特徴を修正する、特徴修正ステップと、
を含
前記特徴修正ステップは、前記第1及び第2の縞模様画像それぞれに含まれる対特徴点の種別が互いに異なる場合に、一方の縞模様画像の特徴点種別を他方の縞模様画像の特徴点種別に上書きし、
前記特徴抽出ステップは、前記特徴修正ステップにより修正された縞模様画像の特徴を保持しつつ芯線を再抽出し、
前記芯線照合ステップは、前記再抽出された芯線を用いて前記第1及び第2の縞模様画像から対応芯線を再算出し、
前記表示ステップは、前記再算出された対応芯線に基づき芯線の表示態様を決定する、縞模様画像鑑定支援方法。
【請求項8】
第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出する特徴抽出処理と、
前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出する芯線照合処理と、
前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示する表示処理と、
前記第1及び/又は第2の縞模様画像の特徴を修正する、特徴修正処理と、
をコンピュータに実行させるプログラムであって、
前記特徴修正処理は、前記第1及び第2の縞模様画像それぞれに含まれる対特徴点の種別が互いに異なる場合に、一方の縞模様画像の特徴点種別を他方の縞模様画像の特徴点種別に上書きし、
前記特徴抽出処理は、前記特徴修正処理により修正された縞模様画像の特徴を保持しつつ芯線を再抽出し、
前記芯線照合処理は、前記再抽出された芯線を用いて前記第1及び第2の縞模様画像から対応芯線を再算出し、
前記表示処理は、前記再算出された対応芯線に基づき芯線の表示態様を決定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願についての記載)
本発明は、日本国特許出願:特願2016−209502号(2016年10月26日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラムに関する。特に、指紋または掌紋等の2つの画像の鑑定(縞模様画像同士の異同判断)を支援する縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラムに関する。
【背景技術】
【0002】
縞模様状の多数の隆線によって構成される指紋は、終生不変及び万人不同という二つの大きな特徴を持っていると言われ、古くから人物確認の手段として利用されている。
【0003】
指紋鑑定、すなわち二つの指紋が同一指のものであるか否かを判断する指紋の異同判断では、鑑定官(examiner)が二つの指紋画像を見比べ、双方の指紋の隆線上における対応する位置に特徴点が存在するか否かを目視で判断する。二つの指紋で対になる特徴点、すなわち、双方の指紋の隆線上で対応する位置に存在する特徴点の数が一定数以上存在すれば、当該二つの指紋は同一指によるものと判断される。なお、隆線とは、指や掌の皮膚上に存在する線状の隆起、あるいは、該線状の隆起により印加された指紋又は掌紋における縞状の紋様である。
【0004】
指紋画像又は掌紋画像においては、特徴点が、縞となる隆線の端点又は分岐点を指すことが多い。また、2つの画像(この場合、指紋画像)において、対になる特徴点は対特徴点と称される。
【0005】
ここで、裁判等では、並べて配置した二つの指紋写真や指紋濃淡画像と共に、確認された対特徴点同士の関連を示す資料が提出される。例えば、非特許文献1には、裁判で提出される資料の例が記載されている。
【0006】
近年では、計算機(情報処理装置、コンピュータ)を用いた指紋照合システムが普及しつつある。そのため、裁判用の証拠資料も計算機を用いて作成することが多くなっている。通常、2つの指紋画像を並べて表示し、当該2つの指紋画像の対特徴点を線で結び、対特徴点に付与された番号を記入する作業は、チャーティングと称される。また、計算機による裁判用の資料作成のためのシステムにおいて、2つの指紋を表示し、対特徴点のマニュアル入力や修正を支援する機能は、チャーティング機能(Charting Function)と称される。
【0007】
チャーティング機能を備えた計算機は、異同判断の対象となる2つの指紋を左右に並べて表示することが多い。このような表示方法は、サイドバイサイド(side by side)表示と称される。サイドバイサイド表示された図や画面は、チャーティング図や特徴点チャート図とも称される。チャーティング画面では、2つの対応特徴点を結ぶ線も表示されることが多い。
【0008】
対応特徴点を確認する場合、通常、鑑定官は、鑑定対象の2つの指紋画像上の、注目特徴点の近傍に存在する隆線の異同を目視によって確認する。近傍の隆線を含めて、鑑定対象の2つの指紋で一致している場合は、確認した対応特徴点が正しいものであると判断する。しかしながら、注目特徴点の近傍に存在する隆線の異同判断は容易なものではない。
【0009】
また、陪審員制度を有する米国等の裁判においては、陪審員(指紋の非専門家)に指紋の同一性を説明することが求められるが、このような非専門家に対する隆線の異同判定の説明は容易ではない。そこで、非特許文献2には、特徴点近傍の隆線の異同判定を容易化するため、対応する隆線を色付けする手法が提案されている。
【先行技術文献】
【非特許文献】
【0010】
【非特許文献1】Page 193-196 of “The Science of Fingerprints Classification and Uses” (by John Edgar Hoover、 US DOJ、 FBI; Rev. 12-84、 1990)
【非特許文献2】VanDam Page - Updated 3-28-06、“a place for Friction Ridge Examiners to access information about the discipline of Friction Ridge and Latent Print Examination”、[online]、[平成28年10月12日検索]、インターネット〈URL:http://www.clpex.com/VanDam.htm〉
【発明の概要】
【発明が解決しようとする課題】
【0011】
なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。
【0012】
指や掌の表面は柔らかく変形しやすいので、同じ指や掌であっても、画像として採取される指紋や掌紋の形状は、画像ごとに異なるのが通常である。そのため、鑑定対象の2つの指紋画像あるいは掌紋画像が、同一の指紋あるいは掌紋によるものであっても、平行移動や回転により隆線を重ねようとしても重ならないことが多い。
【0013】
また、例えば、鑑定対象となる指紋画像の一方が遺留指紋であるなど、指紋画像の品質が悪いために隆線がはっきりしない領域を含む場合には、特徴点近傍の個々の隆線の異同判定が難しく、指紋全体の異同判断を誤る可能性がある。
【0014】
非特許文献2に記載された対応隆線を色分けする手法は、特徴点近傍の個々の隆線の異同判定を確実にできるもので、指紋全体の異同判断を容易化できる。しかし、当該手法は、市販のグラフィックツールを用いて個々の隆線の色付けをマニュアルで実施するものであり、多くの工数を要する。
【0015】
本発明の目的は、2つの縞模様画像が同一の対象により生じた物であるか否かを判断する縞模様画像鑑定を補助するための、縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0016】
本発明乃至開示の第1の視点によれば、第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出する、特徴抽出部と、前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出する、芯線照合部と、前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示する、表示部と、を備える、縞模様画像鑑定支援装置が提供される。
【0017】
本発明乃至開示の第2の視点によれば、第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出するステップと、前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出するステップと、前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示するステップと、を含む、縞模様画像鑑定支援方法が提供される。
【0018】
本発明乃至開示の第3の視点によれば、第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を前記第1及び第2の縞模様画像それぞれの特徴として抽出する処理と、前記第1及び第2の縞模様画像それぞれの芯線の照合を行い、前記第1及び第2の縞模様画像の間の対応芯線を算出する処理と、前記算出された対応芯線に基づき芯線の表示態様を決定し、前記決定された表示態様により前記第1及び第2の縞模様画像に芯線を重ねて表示する処理と、をコンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント(non-transient)なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【0019】
本発明の各視点によれば、2つの縞模様画像が同一の対象により生じた物であるか否かを判断する縞模様画像鑑定を補助するための、縞模様画像鑑定支援装置、縞模様画像鑑定支援方法及びプログラムが、提供される。
【図面の簡単な説明】
【0020】
図1】一実施形態の概要を説明するための図である。
図2】第1の実施形態に係る縞模様画像鑑定支援装置の構成の一例を示す図である。
図3】第1の実施形態に係る縞模様画像鑑定支援装置のハードウェア構成の一例を示すブロック図である。
図4】第1の実施形態に係る縞模様画像鑑定支援装置の動作の一例を示すフローチャートである。
図5】遺留指紋の一例を示す図である。
図6】押捺指紋の一例を示す図である。
図7図5に示す遺留指紋に抽出された芯線と抽出された特徴点等を重畳させた図の一例である。
図8図6に示す指紋画像に抽出された芯線と抽出された特徴点等を重畳させた図の一例である。
図9】特徴点チャート図の一例を示す図である。
図10図7(a)及び図8(a)にリッジチャートを重畳したリッジチャート図の一例を示す図である。
図11図9に示す特徴点種別が相違する5つの特徴点について、遺留指紋の特徴点種別がユーザによってマニュアルで修正された例と、マニュアル特徴点に合致する芯線の生成を説明するための図である。
図12】特徴点修正後の芯線の対応関係を示す図である。
図13】リッジチャート修正部の動作を説明するための図である。
【発明を実施するための形態】
【0021】
初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。
【0022】
一実施形態に係る縞模様画像鑑定支援装置100は、特徴抽出部101と、芯線照合部102と、表示部103と、を備える。特徴抽出部101は、第1及び第2の縞模様画像それぞれから、少なくとも芯線及び特徴点を第1及び第2の縞模様画像それぞれの特徴として抽出する。芯線照合部102は、第1及び第2の縞模様画像それぞれの芯線の照合を行い、第1及び第2の縞模様画像の間の対応芯線を算出する。表示部103は、算出された対応芯線に基づき芯線の表示態様を決定し、決定された表示態様により第1及び第2の縞模様画像に芯線を重ねて表示する。
【0023】
縞模様画像鑑定支援装置100は、2枚の縞模様画像の間で対となる芯線(対応芯線;リッジチャート)を算出する。その後、縞模様画像鑑定支援装置100は、算出された対応芯線に基づき、2枚の縞模様画像に重ねて表示する芯線の表示態様を選択する。例えば、縞模様画像鑑定支援装置100は、対応芯線と非対応芯線(2つの画像間で対となる芯線が他方に存在しない芯線)を色分けすることで、ユーザ(例えば、鑑定官)が対応芯線と非対応芯線を区別可能とする。あるいは、縞模様画像鑑定支援装置100は、2枚の縞模様画像それぞれに含まれる芯線のうち、非対応芯線を強調して表示することで、ユーザが非対応芯線の存在を認識可能としたりする。
【0024】
縞模様画像鑑定支援装置100が提供する表示を確認することで、ユーザは、2つの指紋画像が同一指の指紋であるか否かを容易に判断することができる。つまり、非対応芯線が存在しなければ、2枚の画像は同一指による画像であると容易に判断可能である。このように、縞模様画像鑑定支援装置100は、2つの指紋画像が同一指の指紋であるか否かを判断する鑑定の支援を行う装置であり、鑑定者が隆線の異同を確認する作業の負担を軽減することができる。
【0025】
以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。
【0026】
[第1の実施形態]
第1の実施形態に係る縞模様画像鑑定支援装置について、図面を参照して詳細に説明する。
【0027】
図2は、第1の実施形態に係る縞模様画像鑑定支援装置10の構成の一例を示す図である。縞模様画像鑑定支援装置10には、ディスプレイ等の表示装置20と、キーボードやマウス、タブレットなどの入力装置30が接続されている。
【0028】
なお、縞模様画像とは、隆線により形成された曲線縞模様を含む画像である。例えば、指紋又は掌紋の領域を含む指紋画像又は掌紋画像が縞模様画像である。ただし、縞模様画像は端点や分岐点を含む縞の画像であればよく、指紋画像又は掌紋画像に限られるものではない。
【0029】
対応隆線(リッジチャート)とは、2つの縞模様画像に含まれる隆線のうち、双方の縞模様画像間で同じ縞模様の部位から抽出された隆線である(すなわち、対応する)と判断された隆線のことである。以下、単に「リッジチャート」と表記した場合は、2つの縞模様画像間で対応する隆線のうち、いずれかの縞模様画像上の隆線を表す。また、「リッジチャートの組」と表記した場合は、一方の画像中の隆線と当該隆線に対応する他方の画像中の隆線の組を表す。また、「複数のリッジチャート」と表記した場合は、どちらか一方の画像に含まれ、他方の画像中において対応する隆線が存在する、複数の隆線を表す。また、通常、芯線は隆線から抽出される骨格線のことであるが、本願開示では、特に断らない限り、隆線と芯線は同じものとして扱う。つまり、リッジチャートは、対応する芯線(対応芯線)を指す場合もある。
【0030】
芯線や特徴点は、既存の任意の方法で縞模様画像から計算機等が自動的に抽出したものでもよく、ユーザ等が選択したものでもよい。2つの縞模様画像に含まれる芯線が対応するという判断は、既存の任意の方法で計算機等により自動的に行ってもよく、ユーザ等がマニュアルで行ってもよい。
【0031】
[ハードウェア構成]
次に、第1の実施形態に係る縞模様画像鑑定支援装置10のハードウェア構成を説明する。
【0032】
図3は、第1の実施形態に係る縞模様画像鑑定支援装置10のハードウェア構成の一例を示すブロック図である。
【0033】
縞模様画像鑑定支援装置10は、所謂、情報処理装置(コンピュータ)により実現され、例えば、図3に例示する構成を備える。例えば、縞模様画像鑑定支援装置10は、内部バスにより相互に接続される、CPU(Central Processing Unit)91、メモリ92、入出力インターフェイス93及び通信手段であるNIC(Network Interface Card)94等を備える。
【0034】
但し、図3に示す構成は、縞模様画像鑑定支援装置10のハードウェア構成を限定する趣旨ではない。縞模様画像鑑定支援装置10は、図示しないハードウェアを含んでもよいし、必要に応じてNIC94等を備えていなくともよい。また、縞模様画像鑑定支援装置10に含まれるCPU等の数も図3の例示に限定する趣旨ではなく、例えば、複数のCPUが縞模様画像鑑定支援装置10に含まれていてもよい。
【0035】
メモリ92は、RAM(Random Access Memory)、ROM(Read Only Memory)、補助記憶装置(ハードディスク等)である。
【0036】
入出力インターフェイス93は、表示装置20や入力装置30のインターフェイスとなる手段である。表示装置20は、例えば、液晶ディスプレイ等である。入力装置30は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。また、入力装置30には、USB(Universal Serial Bus)メモリ等の外部記憶装置も含まれ得る。
【0037】
縞模様画像鑑定支援装置10の機能は、後述する各種処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ92に格納されたプログラムをCPU91が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び/又は、ソフトウェアで実行する手段があればよい。
【0038】
続いて、第1の実施形態に係る縞模様画像鑑定支援装置10の処理構成(処理モジュール)について説明する。図2を参照すると、縞模様画像鑑定支援装置10は、特徴抽出部11と、芯線照合部12と、リッジチャート図表示部13と、特徴修正部14と、リッジチャート修正部15と、を含んで構成される。
【0039】
特徴抽出部11は、2枚の縞模様画像それぞれから、少なくとも芯線及び特徴点を縞模様画像それぞれの特徴として抽出する手段である。つまり、特徴抽出部11は、縞模様画像鑑定支援装置10に入力される画像から当該画像を特徴付ける特徴量(例えば、芯線、特徴点)を抽出する手段である。例えば、図2に示すように、特徴抽出部11は、縞模様画像A及び縞模様画像Bから芯線、特徴点を抽出する。なお、特徴抽出部11は、特徴点の抽出過程にて、隆線領域(ゾーン)も併せて抽出する。
【0040】
また、後述するように、ユーザが手動で特徴点を修正入力した場合(例えば、特徴点を削除、又は、追加した場合)には、特徴抽出部11は、当該マニュアル修正された特徴点を保持した芯線の抽出を実行する。同様に、ユーザが手動で芯線やゾーンを修正入力した場合には、特徴抽出部11は、当該芯線やゾーン保持した特徴点の抽出を実行する。つまり、特徴抽出部11は、ユーザにより修正された縞模様画像の特徴を保持しつつ芯線を再抽出する手段でもある。
【0041】
芯線照合部12は、2枚の縞模様画像それぞれの芯線の照合を行い、縞模様画像の間の対応芯線を算出する手段である。つまり、芯線照合部12は、2つの縞模様画像から抽出された芯線を照合し、対応する芯線(対応芯線;リッジチャート)を出力する。また、芯線照合部12は、特徴抽出部11により再抽出された芯線を用いて2枚の縞模様画像から対応芯線を再算出する手段でもある。
【0042】
リッジチャート図表示部13は、縞模様画像に芯線を重畳させて表示する手段である。リッジチャート図表示部13は、リッジチャートを表示する際、例えば、リッジチャートの組(2枚の縞模様画像それぞれの対応芯線)を同一色や同一線種で表示することで、リッジチャート図における対応関係を明示する。リッジチャート図表示部13は、2つの縞模様画像と、リッジチャートが対応していることを明示するために同一色や同一線種で区別されたリッジチャートが重畳された縞模様画像を、例えば、左右に並べて表示(サイドバイサイド表示)する。このような図はリッジチャート図と称される。
【0043】
なお、リッジチャート図表示部13がリッジチャート図を表示する際、上述のように、縞模様画像それぞれの対応芯線を同一色等で表示することに加え、種々の対応をとることができる。例えば、リッジチャート図表示部13は、縞模様画像から算出された複数の芯線のうち、ある芯線が対応芯線であれば当該芯線の表示を予め定めた態様により縞模様画像に重畳させ(対応芯線用の表示を行い)、別の芯線が非対応芯線であれば当該芯線を予め定めた非対応芯線用の表示にて縞模様画像に重畳させることができる。例えば、リッジチャート図表示部13は、縞模様画像から抽出された対応芯線と非対応芯線を色分けして縞模様画像に重畳してもよい。さらに、その際、各縞模様画像に重畳する対応芯線と非対応芯線の色や線種を2枚の縞模様画像において共通としてもよい。あるいは、リッジチャート図表示部13は、縞模様画像から抽出された芯線のうち非対応芯線を強調して表示してもよい。なお、リッジチャート図表示部13が、どのような態様(例えば、芯線の色を変更、芯線の線種を変更)にて芯線を縞模様画像に重畳させて表示するかは、予め定めおいても良いし、メニュー等によりユーザが決定してもよい。なお、芯線の表示態様には、当該芯線を縞模様画像に表示しない(重畳しない)といった形態も含まれる。つまり、ユーザが、非対応芯線の存在を即座に把握可能なように、非対応芯線だけを強調して縞模様画像に表示してもよい。
【0044】
このように、リッジチャート図表示部13は、リッジチャート図を表示する際、芯線照合部12により算出された対応芯線を用いる。具体的には、リッジチャート図表示部13は、上記算出された対応芯線に関する情報を参照し、各縞模様画像に含まれる複数の芯線それぞれが「対応芯線」であるのか「非対応芯線」であるのか判定する。その後、リッジチャート図表示部13は、各芯線についての判定結果に基づき、芯線を縞模様画像に重畳する際の表示態様(芯線の色、線種)を決定し、リッジチャート図を表示する。即ち、リッジチャート図表示部13は、芯線が対応芯線か否かに基づき芯線の表示態様を決定し、決定された表示態様により芯線を縞模様画像に重ねて表示する。
【0045】
また、リッジチャート図表示部13は、芯線照合部12により対応芯線が再算出された場合には、当該対応芯線に基づき2枚の縞模様画像に重畳する芯線の表示態様を決定する。
【0046】
リッジチャート図表示部13は、ディスプレイ等の表示装置20に対して、リッジチャート図の表示を行う。なお、リッジチャート図表示部13は、必要に応じて、特徴点チャート図(図9参照)を表示してもよい。
【0047】
特徴修正部14は、2枚の縞模様画像のうち少なくとも一方の特徴を修正する手段である。具体的には、特徴修正部14は、入力装置30を使用したユーザの操作により、特徴点種別の変更、特徴点の追加や削除、芯線の追加や削除、ゾーンの追加や削除等の特徴の修正を2つの縞模様画像それぞれにおいて独立に行う。
【0048】
また、特徴修正部14は、2枚の縞模様画像それぞれに含まれる対特徴点の種別が互いに異なる場合に、一方の縞模様画像の特徴点種別を他方の縞模様画像の特徴点種別に自動的に上書きする機能を備える。つまり、特徴修正部14は、2つの縞模様画像間の対応する特徴点同士で、端点や分岐点のように特徴点種別が異なる場合は、片方の特徴点種別をもう一方の特徴点種別により上書きすることもできる。
【0049】
リッジチャート修正部15は、マウスやタブレットなどのポインティングデバイスやキーボードなどの入力装置30を使用したユーザの操作により、リッジチャートの色種、線種の変更や、リッジチャートの追加や削除の修正を行う手段である。リッジチャートは2つの画像間で対応付けられているので、リッジチャート修正部15は、リッジチャートの追加及び削除を双方の画像にて行う。つまり、リッジチャート修正部15は、リッジチャート図表示部13が表示するリッジチャート図(芯線が重ねて表示された2枚の縞模様画像)において、ユーザが対応芯線の表示態様を変更するための操作を受け付ける手段でもある。
【0050】
次に、第1の実施形態について、図4に示すフローチャートと指紋画像例の図面を参照しつつ、説明する。その際、第1の実施形態に係る縞模様画像鑑定支援装置10により、図5に示す遺留指紋と図6に示す押捺指紋(図5の遺留指紋の対となる押捺指紋)のリッジチャート図の表示を行う場合を説明する。
【0051】
図4を参照すると、まず、縞模様画像鑑定支援装置10の特徴抽出部11は、2つの縞模様画像を入力する(ステップS10)。なお、縞模様画像鑑定支援装置10が入力する縞模様画像は、センサやスキャナなど画像入力装置から取得してもよく、あらかじめディジタル化され保存されている画像データを、USBメモリ等により取得してもよい。
【0052】
なお、遺留指紋は、例えば、犯罪現場等に遺留された指紋のことであり、品質が低いことが多い。対して、押捺指紋は登録目的で採取された指紋のことであり、品質が良いことが多い。異同判断対象の指紋は遺留指紋同士でも良いし、押捺指紋同士でも良いが、遺留指紋と押捺指紋の間で異同判別が実施されることが多い。
【0053】
図5図6等に示す指紋画像例は、センサやスキャナで読み取った指紋画像をディジタル化したものである。このような指紋画像例は、米国のNIST(National Institute of Standards and Technology)で標準化された「ANSI/NIST-ITL-1-2000 Data Format for the Interchange of Fingerprint、 Facial & Scar Mark & Tattoo(SMT) Information」に従って、500dpiの解像度でディジタル化されたものである。なお、上記標準化ドキュメントは、ANSI/NIST-ITL 1-2000 Revision of ANSI/NIST-CSL1-1993 & ANSI/NIST-ITL 1a-1997のNIST Special Publication 500-245に開示されている(当該ドキュメントのURLは、<https://www.nist.gov/sites/default/files/documents/itl/ansi/sp500-245-a16.pdf>である)。
【0054】
次に、特徴抽出部11は、図5図6の指紋画像から、指紋の特徴(特徴量)を抽出する(ステップS11)。なお、指紋の特徴には、特徴点の他に、芯線やゾーン(隆線領域)が含まれる。特徴点の抽出は、通常、二値化した縞模様画像に含まれる縞を細線化(芯線化)し、縞を細線化した芯線から端点と分岐点を抽出することで行われる。芯線化を含む特徴点抽出は、例えば参考文献1「Handbook of Fingerprint Recognishon p83-113、 D.Maltoni、et.al.、Spinger」に記載されている方法により実現できる。
【0055】
図5に示す遺留指紋に対して、ステップS11の特徴抽出処理が実行されると、図7に示す画像が得られる。図7(a)は、抽出された芯線を図5に示す指紋画像に重畳させた一例である。図7(b)は、抽出された特徴点とゾーンを図5の指紋画像に重畳させた一例である。なお、ゾーンに関しては、隆線と認識できなかった領域は他の領域と区別可能となるように塗りつぶされて表示している。また、特徴点は、隆線と認識できた領域から抽出される。さらに、芯線照合部12による芯線照合の有効領域は、2つの指紋画像間で隆線領域が重なり合った領域となる。なお、以降の説明において、当該領域を共通有効領域と表記する。さらに、図7を含む図面において、特徴点に関し、端点の場合には円形の印で表示され、分岐点の場合には四角形の印で表記されている。
【0056】
押捺指紋についても同様に処理され、図6に示す指紋画像に対して、ステップS11の特徴抽出処理が実行されると、図8に示す画像が得られる。図8(a)は、抽出された芯線を図6の指紋画像に重畳させた一例である。図8(b)は、抽出された特徴点とゾーンを図6の指紋画像に重畳させた一例である。なお、図8には、図6に指紋画像の一部を切り取った画像を表記している。
【0057】
次に、芯線照合部12は、芯線照合を実施する(ステップS12)。具体的には、芯線照合部12は、特徴抽出部11により抽出された2つの縞模様画像の芯線、特徴点及びゾーンを用いて芯線の対応関係を求める。芯線照合部12は、芯線の対応関係を求めることで、リッジチャートを算出する。例えば、芯線照合(リッジチャートの算出)は、参考文献2(特許第4030829号公報)に開示されている方法により実現できる。
【0058】
参考文献2に開示されている方法では、初めに特徴点照合が実施され、特徴点の合致、非合致が判定される。図9は、上記方法で特徴点照合を用いた特徴点チャート図であり、特徴点の合致関係(対応関係)を表している。通常、特徴点照合においては、特徴点種別(端点、分岐点)は区別しないので、2つの指紋で異なる特徴点種別であっても対応していると判定される。図9を確認すると、遺留指紋にて抽出された8個の特徴点は、全て押捺指紋側の特徴点と対応関係を持つことが分かる。なお、参考文献2に開示されている方法では、特徴点種別が異なる場合、その特徴点近傍の芯線の対応関係は決定できない。
【0059】
次に、リッジチャート図表示部13は、2つの縞模様画像にリッジチャートを重畳してリッジチャート図を表示する(ステップS13)。図10は、前ステップにて芯線照合された芯線との対応関係を示すリッジチャート図である。図10(a)は、図7(a)にリッジチャートを重畳した図であり、図10(b)は、図8(a)にリッジチャートを重畳した図である。図10では、対応していると判断された芯線(対応芯線)は薄いグレーで表示され、共通有効領域内で対応していないと判定された芯線(非対応芯線)は濃いグレーで表示されている。また、共通有効領域外の芯線は、異同確認対象外の芯線なので、より薄いグレー色で目立たないように表示されている。例えば、図10(a)の芯線201や図10(b)の芯線211は、対応していると判断された芯線である(薄いグレー)。図10(a)の芯線202や図10(b)の芯線212は、対応していないと判断された芯線である(濃いグレー)。
【0060】
2つの指紋画像が正しい対ならば、対応していない芯線(非対応芯線)は、共通有効領域に非存在となるのが望ましい。つまり、非対応芯線がある場合は、遺留指紋あるいは押捺指紋の特徴を修正することで、非対応芯線を無くすことが必要である。換言すれば、特徴を修正しても非対応芯線が存在する場合は、2つの指紋は同一指紋と判定すべきものではないと言える。
【0061】
図10を確認すると、濃いグレーで表示された非対応芯線近傍の特徴点種別が、遺留指紋と押捺指紋で異なることがわかる。例えば、図10(a)では、芯線202の近傍の領域301に位置する特徴点は端点である。対して、図10(b)では、芯線212の近傍の領域302に位置する特徴点は分岐点である。
【0062】
さらに、図7(b)と図8(b)を比較すると、図9に示す遺留指紋(図9の左側)の8個の対特徴点のうち、(2)、(3)、(5)、(7)、(8)に係る5個の対特徴点の種別が、押捺指紋の特徴点種別と異なっている。
【0063】
図9に示すチャーティング画面や図10に示すリッジチャート図に接したユーザは、装置により自動抽出された特徴点、芯線及びゾーンの特徴が適切でないと判断した場合に、特徴の修正を試みる。その場合、特徴修正部14は、ユーザによる特徴修正操作を受け付ける。具体的には、ユーザによる特徴修正操作を受け付けた場合(ステップS14、Yes分岐)には、特徴修正部14は、当該操作に従って指紋画像の特徴点等を変更する(ステップS15)。なお、特徴の修正には、特徴点の修正、芯線の修正、ゾーンの修正が含まれる。
【0064】
図11(a)は、図9に示す特徴点種別が相違する5つの特徴点について、遺留指紋の特徴点種別がユーザによってマニュアルで修正された例を示す図である。例えば、図11(a)の特徴点311における修正前の特徴点種別は端点であるが(図7(b)参照)、ユーザによる修正により当該特徴点の種別が分岐点に変更されている。このような修正操作により、遺留指紋の特徴点種別は、押捺指紋と合致するようになる。
【0065】
なお、ステップS14、S15の説明においては、遺留指紋側の5個の特徴点種別を個々にマニュアルで修正する例を説明した。ここで、通常、押捺指紋の方が遺留指紋より品質が良いので、特徴点種別も正しいことが多い。従って、遺留指紋側の特徴点種別を、ユーザが個々に修正しなくとも、押捺指紋の特徴点種別を遺留指紋に上書きすることで、2つの指紋の特徴点種別を合致させることもできる。
【0066】
具体的には、特徴修正部14は、ユーザによる特別な操作(例えば、メニュー画面等による特徴点種別上書き指示操作)を受け付けたことを契機として、特徴点種別の異なる対応特徴点について、押捺指紋の特徴点種別を遺留指紋の特徴点種別に上書きしてもよい(遺留指紋の特徴点種別を押捺指紋の特徴点種別に一致させてもよい)。より具体的には、特徴修正部14は、ユーザから「特徴点種別上書き指示」が入力されたか否かを判定し、当該指示が入力されている場合(ステップS16、Yes分岐)に、押捺指紋の特徴点種別により遺留指紋の特徴点種別を書き換える(ステップS17)。
【0067】
上書きされた遺留指紋の特徴点位置は、押捺指紋の座標変換後の特徴点位置との変位を考慮して、最大5画素程度(平均隆線間隔である10画素の半分)変更することも合理的な対応である。なお、押捺指紋の座標変換後の特徴点位置は、特徴点照合で抽出された対応特徴点の座標を用いてヘルマート(Helmert)変換等の三角変換の既存技術で算出できる。
【0068】
ステップS15にて特徴が修正されると、修正された特徴データ(マニュアル特徴)を保持する特徴抽出が実施される(ステップS11)。マニュアルで特徴点が修正された場合において、当該マニュアル特徴点を保持した特徴抽出は、例えば、参考文献3(特開2016−045501号公報)に開示されている方法で実現できる。参考文献3に開示されている方法では、マニュアル特徴点に合致する芯線が生成される。図11(b)は、このようにして生成された芯線を示す図である。仮に、芯線がマニュアル修正された場合には、その芯線から単純に特徴点を抽出すれば良い。
【0069】
次に、芯線照合部12は、マニュアル修正された特徴を用いて抽出された2つの縞模様画像の芯線、特徴点、ゾーンを用いて芯線の対応関係を求める(ステップS12)。芯線照合の説明は既に説明を行ったので省略する。
【0070】
次に、リッジチャート図表示部13は、2つの縞模様画像とリッジチャートを重畳して表示する(ステップS13)。
【0071】
図12は、特徴修正後の芯線の対応関係を示す図である。図12(a)は、図11(b)に示す図と同じ図であり、図12(b)は図8(a)に示す図と同じ図である。図12を確認すると、濃いグレーにより表示された非対応芯線は、いずれの図面にも存在しないので、2つの指紋の間で、共通有効領域内の全ての隆線の対応関係が矛盾なく確立されたことがわかる。
【0072】
なお、ユーザは、個々のリッジチャートを区別するために、色種や線種を変更してもよい。具体的には、リッジチャート修正部15は、ユーザによるリッジチャート変更操作を受け付ける(ステップS18)。例えば、ユーザは、図13に示すように、図12のリッジチャート図に対して、個別のリッジチャートを色分けする。図13を確認すると、2つの指紋の隆線の対応関係が指紋の非専門家であっても容易に理解できることがわかる。なお、図13では、リッジチャートの濃淡により隆線の対応関係を明示している。
【0073】
以上のように、第1の実施形態に係る縞模様画像鑑定支援装置10は、2枚の縞模様画像それぞれから芯線、特徴点を抽出し、当該画像間における対応芯線(リッジチャート)を算出する。その後、当該対応芯線に係る情報を2枚の縞模様画像に反映する際に、縞模様画像鑑定支援装置10は、対応芯線と非対応芯線を色分けする等の対応を行い、ユーザが2枚の縞模様画像が同一の対象によるものか否かの判断を即座に下せるようにする。つまり、芯線照合の対象となった領域に非対応芯線が存在すれば、2枚の画像は同一の対象によるものではなないと判断される。あるいは、縞模様画像鑑定支援装置10は、非対応芯線が存在したとしても、当該非対応芯線の存在が特徴点種別等の相違に起因するものであるか否かといった判断材料をユーザに提供することができる。この場合、特徴点の種別を変更するといった合理的な範囲での修正により非対応芯線が対応芯線に変化し、非対応芯線が非存在となれば、2枚の縞模様画像は同一の対象によるものと判断される。
【0074】
上記実施形態にて説明した縞模様画像鑑定支援装置10の構成(図2)は例示であって、装置の構成を限定する趣旨ではない。例えば、リッジチャート図表示部13が特徴点チャート図を表示するのではなく、別の表示部を用意して、当該表示部が特徴点チャート図を表示してもよい。
【0075】
あるいは、共通有効領域内に非対応芯線が存在するか否かを判断する手段(判断部)を設け、当該手段により非対応芯線が存在しないと判断された場合には、その旨をユーザに通知してもよい。即ち、縞模様画像鑑定支援装置10が、2枚の縞模様画像には非対応芯線が存在しない旨を明示的に表示してもよい。この場合、ユーザ自身がリッジチャート図を確認し、2つの縞模様画像が同一の対象によるものか判断する必要がなくなる。
【0076】
上記実施形態では、ユーザのマニュアルによる特徴修正(図4のステップS14、S15)と装置による自動的な特徴修正(ステップS16、S17)が共に存在する場合を説明したが、縞模様画像鑑定支援装置10は、いずれか1つの特徴修正に対応するものであってもよい。あるいは、2つの特徴修正が連携するように制御されてもよい。例えば、縞模様画像鑑定支援装置10は、マニュアルによる特徴修正後の芯線照合処理において非対応芯線が存在する場合に、装置による自動的な特徴修正を行ってもよい。この場合、ユーザの目視による特徴修正(マニュアルによる特徴修正)から対応しきれない非対応芯線を非存在とすることができる。
【0077】
コンピュータの記憶部に、上述したコンピュータプログラムをインストールすることにより、コンピュータを縞模様画像鑑定支援装置として機能させることができる。さらにまた、上述したコンピュータプログラムをコンピュータに実行させることにより、コンピュータにより縞模様画像鑑定支援方法を実行することができる。
【0078】
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0079】
上記の実施形態の一部又は全部は、以下のようにも記載され得るが、以下には限られない。
[形態1]
上述の第1の視点に係る縞模様画像鑑定支援装置のとおりである。
[形態2]
前記第1及び/又は第2の縞模様画像の特徴を修正する、特徴修正部をさらに備え、
前記特徴抽出部は、前記特徴修正部により修正された縞模様画像の特徴を保持しつつ芯線を再抽出し、
前記芯線照合部は、前記再抽出された芯線を用いて前記第1及び第2の縞模様画像から対応芯線を再算出し、
前記表示部は、前記再算出された対応芯線に基づき芯線の表示態様を決定する、好ましくは形態1の縞模様画像鑑定支援装置。
[形態3]
前記特徴修正部は、前記第1及び第2の縞模様画像それぞれに含まれる対特徴点の種別が互いに異なる場合に、一方の縞模様画像の特徴点種別を他方の縞模様画像の特徴点種別に上書きする、好ましくは形態2の縞模様画像鑑定支援装置。
[形態4]
前記表示部が表示する、芯線が重ねて表示された前記第1及び第2の縞模様画像において、ユーザが前記対応芯線の表示態様を変更するための操作を受け付ける、修正部をさらに備え、
前記表示部は、前記ユーザにより変更された表示態様にて前記第1及び第2の縞模様画像に芯線を重ねて表示する、好ましくは形態1乃至3のいずれか一に記載の縞模様画像鑑定支援装置。
[形態5]
前記特徴抽出部は、前記第1及び第2の縞模様画像それぞれから、隆線が含まれる隆線領域と隆線を含まない非隆線領域を抽出し、
前記芯線照合部は、前記第1及び第2の縞模様画像それぞれの前記隆線領域のうち重複する領域を芯線照合の対象とする、好ましくは形態1乃至4のいずれか一に記載の縞模様画像鑑定支援装置。
[形態6]
前記表示部は、前記対応芯線と前記対応芯線以外の非対応芯線の表示態様を変えて、前記対応芯線と前記非対応芯線を前記第1及び第2の縞模様画像に重ねて表示する、好ましくは形態1乃至5のいずれか一に記載の縞模様画像鑑定支援装置。
[形態7]
前記特徴修正部は、予め定められた操作が入力された場合に、前記特徴点種別の上書きを行う、好ましくは形態3の縞模様画像鑑定支援装置。
[形態8]
前記特徴修正部は、押捺指紋画像の特徴点種別を遺留指紋画像の特徴点種別に上書きする、好ましくは形態7の縞模様画像鑑定支援装置。
[形態9]
上述の第2の視点に係る縞模様画像鑑定支援方法のとおりである。
[形態10]
上述の第3の視点に係るプログラムのとおりである。
なお、形態9及び10は、形態1と同様に、形態2〜形態8に展開することが可能である。
【0080】
なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【0081】
10、100 縞模様画像鑑定支援装置
11、101 特徴抽出部
12、102 芯線照合部
13 リッジチャート図表示部
14 特徴修正部
15 リッジチャート修正部
20 表示装置
30 入力装置
91 CPU(Central Processing Unit)
92 メモリ
93 入出力インターフェイス
94 NIC(Network Interface Card)
103 表示部
201、202、211、212 芯線
301、302 領域
311 特徴点
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13