ホーム > 特許ランキング > 三菱重工機械システム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117165
(43)【公開日】2024-08-29
(54)【発明の名称】検索システムおよび検索方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20240822BHJP
G08G 1/04 20060101ALI20240822BHJP
G06F 16/53 20190101ALI20240822BHJP
【ＦＩ】
G08G1/00 D
G08G1/04 C
G06F16/53
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023023099
(22)【出願日】2023-02-17
(71)【出願人】
【識別番号】309036221
【氏名又は名称】三菱重工機械システム株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】松本 洋幸
【テーマコード（参考）】
5B175
5H181
【Ｆターム（参考）】
5B175DA02
5B175HB03
5H181AA01
5H181CC04
5H181DD04
5H181DD10
5H181FF04
5H181FF05
5H181FF10
5H181LL01
5H181LL02
(57)【要約】
【課題】捜索対象車両の画像に基づいて、この捜索対象車両と同一の車両が撮影されたと推定される参照用画像を高速に検索することができる検索システムを提供する。
【解決手段】検索システムは、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、を備える。
【選択図】図１
【解決手段】検索システムは、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、
路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、
捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、
を備え、
前記処理装置は、
画像から車両のナンバープレートに関する特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が前記参照用画像から抽出した参照用特徴量を含む参照データを生成して、特徴量データベースに記録する参照データ生成部と、
前記特徴量データベースに対し、前記特徴量抽出部が前記検索用画像から抽出した検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求する検索要求部と、
を有し、
前記端末装置は、
前記検索用画像の入力を受け付けて、前記処理装置に送信する検索用画像取得部と、
前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得する参照用画像取得部と、
を有する、
検索システム。
路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、
捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、
を備え、
前記処理装置は、
画像から車両のナンバープレートに関する特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部が前記参照用画像から抽出した参照用特徴量を含む参照データを生成して、特徴量データベースに記録する参照データ生成部と、
前記特徴量データベースに対し、前記特徴量抽出部が前記検索用画像から抽出した検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求する検索要求部と、
を有し、
前記端末装置は、
前記検索用画像の入力を受け付けて、前記処理装置に送信する検索用画像取得部と、
前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得する参照用画像取得部と、
を有する、
検索システム。
【請求項2】
前記処理装置の前記特徴量抽出部は、前記参照用画像および前記検索用画像から、ナンバープレート上に表記された文字列であるナンバープレート情報を前記参照用特徴量および前記検索用特徴量として抽出する、
請求項１に記載の検索システム。
請求項１に記載の検索システム。
【請求項3】
前記画像蓄積データベースは、前記参照用画像にインデックスを付して記録し、
前記処理装置の前記参照データ生成部は、前記参照用画像から抽出した前記参照用特徴量に、前記参照用画像のインデックスを付した参照データを生成し、
前記端末装置の前記参照用画像取得部は、前記検索結果に含まれる前記参照データのインデックスに対応する参照用画像を前記画像蓄積データベースから取得する、
請求項１に記載の検索システム。
前記処理装置の前記参照データ生成部は、前記参照用画像から抽出した前記参照用特徴量に、前記参照用画像のインデックスを付した参照データを生成し、
前記端末装置の前記参照用画像取得部は、前記検索結果に含まれる前記参照データのインデックスに対応する参照用画像を前記画像蓄積データベースから取得する、
請求項１に記載の検索システム。
【請求項4】
前記処理装置の前記参照データ生成部は、前記参照用画像に複数の車両のナンバープレートが含まれる場合に、複数の前記ナンバープレートそれぞれの参照用特徴量を含む参照データを生成する、
請求項１から３のいずれか一項に記載の検索システム。
請求項１から３のいずれか一項に記載の検索システム。
【請求項5】
車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、
路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、
捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、
を備える検索システムを用いた検索方法であって、
前記処理装置が、前記参照用画像に含まれる車両のナンバープレートに関する参照用特徴量を抽出するステップと、
前記処理装置が、前記参照用特徴量を含む参照データを生成して、特徴量データベースに記録するステップと、
前記端末装置が、前記検索用画像の入力を受け付けて、前記処理装置に送信するステップと、
前記処理装置が、前記検索用画像に含まれる車両のナンバープレートに関する検索用特徴量を抽出するステップと、
前記処理装置が、前記特徴量データベースに対し、前記検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求するステップと、
前記端末装置が、前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得するステップと、
を有する検索方法。
路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、
捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、
を備える検索システムを用いた検索方法であって、
前記処理装置が、前記参照用画像に含まれる車両のナンバープレートに関する参照用特徴量を抽出するステップと、
前記処理装置が、前記参照用特徴量を含む参照データを生成して、特徴量データベースに記録するステップと、
前記端末装置が、前記検索用画像の入力を受け付けて、前記処理装置に送信するステップと、
前記処理装置が、前記検索用画像に含まれる車両のナンバープレートに関する検索用特徴量を抽出するステップと、
前記処理装置が、前記特徴量データベースに対し、前記検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求するステップと、
前記端末装置が、前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得するステップと、
を有する検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両の検索システムおよび検索方法に関する。
【背景技術】
【0002】
近年では、有料道路、一般道路、駐車場などの様々な場所において、車両のナンバープレートを撮影した画像からナンバープレート情報を取得するナンバープレート読取装置（画像処理装置）が設置されている。ナンバープレート読取装置が撮影した画像および読み取ったナンバープレート情報は、たとえば１つの中央装置（データベース）に集約され、車両の監視や追跡などに利用される。たとえば、特許文献１には、中央装置に蓄積された多数の車両のデータの中から、被追跡車両のナンバープレート情報と一致する車両の画像や情報を検索して、ユーザの端末装置（追跡車両の車載装置）に表示する車両追跡システムが記載されている。
【0003】
多数の参照用画像の中から、任意の画像に類似する参照用画像を検索する画像検索技術として、たとえばＣＢＩＲ（Content-Based Image Retrieval）方式が知られている。ＣＢＩＲ方式は、画像から抽出した形状や色などの特徴量に基づいて、一致度（類似度）の高い画像を検索する技術である（たとえば、非特許文献１を参照）。また、他の画像検索技術として、ＴＢＩＲ（Text-Based Image Retrieval）方式がある。ＴＢＩＲ方式は、予め参照用画像に対してテキスト情報を紐づけて記録しておき、このテキスト情報に基づいてキーワード検索を行う手法である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００７－２０６７８５号公報
【非特許文献】
【0005】
【非特許文献1】“大量画像から目的の画像を瞬時に検索する技術を開発”、［online］、株式会社富士通研究所、［２０２３年１月１６日検索］、インターネット〈URL: https://pr.fujitsu.com/jp/news/2016/02/2-1.html〉
【発明の概要】
【発明が解決しようとする課題】
【0006】
検索コストはＣＢＩＲ方式よりもＴＢＩＲ方式の方が低い。しかしながら、ＴＢＩＲ方式では、検索に用いるテキスト情報の種類、精度が一致しない場合があり、大量の画像を扱う検索システムには不向きである。また、ＣＢＩＲ方式の検索時間はハードウェアの性能に依存する。つまり、ＣＢＩＲ方式で高速な検索システムを実現するためには、高性能なハードウェアを使用する必要がある。そうすると、検索システムが高コスト化して実用化が困難となる可能性がある。
【0007】
さらに、従来のＣＢＩＲ方式およびＲＢＩＲ方式は、いずれも類似の画像を検索する手法である。つまり、従来の画像検索技術では、捜索対象である被追跡車両と似た形状や色を有する車両が撮影された画像を検索することは可能であるが、被追跡車両と同一の車両が撮影された画像であるか否かを推定して検索することは困難である。
【0008】
本開示の目的は、捜索対象車両の画像に基づいて、この捜索対象車両と同一の車両が撮影されたと推定される参照用画像を高速に検索することができる検索システムおよび検索方法を提供することにある。
【課題を解決するための手段】
【0009】
本開示の一態様によれば、検索システムは、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、を備え、前記処理装置は、画像から車両のナンバープレートに関する特徴量を抽出する特徴量抽出部と、前記特徴量抽出部が前記参照用画像から抽出した参照用特徴量を含む参照データを生成して、特徴量データベースに記録する参照データ生成部と、前記特徴量データベースに対し、前記特徴量抽出部が前記検索用画像から抽出した検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求する検索要求部と、を有し、前記端末装置は、前記検索用画像の入力を受け付けて、前記処理装置に送信する検索用画像取得部と、前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得する参照用画像取得部と、を有する。
【0010】
本開示の一態様によれば、検索方法は、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置と、路側に設置されたカメラから、走行する車両を撮影した参照用画像を収集して記録する画像蓄積データベースと、捜索対象車両を撮影した検索用画像の入力を受け付けて、前記捜索対象車両と同一の車両が撮影されたと推定される参照用画像を前記画像蓄積データベースから取得する端末装置と、を備える検索システムを用いた検索方法であって、前記処理装置が、前記参照用画像に含まれる車両のナンバープレートに関する参照用特徴量を抽出するステップと、前記処理装置が、前記参照用特徴量を含む参照データを生成して、特徴量データベースに記録するステップと、前記端末装置が、前記検索用画像の入力を受け付けて、前記処理装置に送信するステップと、前記処理装置が、前記検索用画像に含まれる車両のナンバープレートに関する検索用特徴量を抽出するステップと、前記処理装置が、前記特徴量データベースに対し、前記検索用特徴量に類似する参照用特徴量を有する参照データを検索するように要求するステップと、前記端末装置が、前記特徴量データベースから取得した参照データの検索結果に対応する参照用画像を、前記画像蓄積データベースから取得するステップと、を有する。
【発明の効果】
【0011】
上記態様によれば、捜索対象車両の画像に基づいて、この捜索対象車両と同一の車両が撮影された参照用画像を高速に検索することができる。
【図面の簡単な説明】
【0012】
【図1】一実施形態に係る検索システムの全体構成を示す図である。
【図2】一実施形態に係る処理装置の機能構成を示すブロック図である。
【図3】一実施形態に係る端末装置の機能構成を示すブロック図である。
【図4】一実施形態に係るデータ蓄積処理の一例を示すシーケンス図である。
【図5】一実施形態に係るデータ蓄積処理を説明するための第１の図である。
【図6】一実施形態に係るデータ蓄積処理を説明するための第２の図である。
【図7】一実施形態に係る画像検索処理の一例を示すシーケンス図である。
【図8】一実施形態に係る画像検索処理を説明するための図である。
【発明を実施するための形態】
【0013】
（検索システムの全体構成）
図１は、一実施形態に係る検索システムの全体構成を示す図である。
本実施形態に係る検索システム１は、有料道路の料金所や、一般道路の路側などに設置された路側装置５が撮影した車両の画像を検索するためのシステムである。検索システム１のユーザは、たとえば、違反車両、盗難車両などの捜索、追跡を行う取締機関（警察など）である。
図１は、一実施形態に係る検索システムの全体構成を示す図である。
本実施形態に係る検索システム１は、有料道路の料金所や、一般道路の路側などに設置された路側装置５が撮影した車両の画像を検索するためのシステムである。検索システム１のユーザは、たとえば、違反車両、盗難車両などの捜索、追跡を行う取締機関（警察など）である。
【0014】
路側装置５は、カメラ５１と、センサ５２とを備える。
【0015】
カメラ５１は、道路を走行する車両を撮影する。カメラ５１は、少なくとも車両のナンバープレートを鮮明に撮影可能な位置、向きとなるように設置される。道路が複数の車線を有して場合には、１つの車線に対して１台のカメラ５１を設置し、各カメラ５１が自身の撮影対象となる車線を走行する車両のみを撮影するようにしてもよい。また、複数の車線に対して１台のカメラ５１を設置し、１台のカメラ５１が複数の車線を走行する車両を撮影するようにしてもよい。
【0016】
センサ５２は、たとえば道路を走行する車両を検出する車両検知器である。カメラ５１は、車両検知器が車両を検出したタイミングで撮影を行うようにしてもよい。
【0017】
また、図１に示すように、検索システム１は、画像蓄積データベース（ＤＢ）２と、処理装置３と、特徴量データベース（ＤＢ）４と、端末装置６とを備える。
【0018】
画像蓄積ＤＢ２は、路側装置５のカメラ５１から、走行する車両を撮影した画像Ｄ１を収集して記録するデータベースである。画像蓄積ＤＢ２に蓄積される画像Ｄ１を、「参照用画像Ｄ１」とも記載する。また、参照用画像Ｄ１には、カメラ５１が参照用画像Ｄ１を撮影した撮影日時や撮影場所などの付加情報Ｄ１１が付されていてもよ。
【0019】
処理装置３は、参照用画像Ｄ１に含まれる車両のナンバープレートに関する参照用特徴量を抽出する。
【0020】
特徴量ＤＢ４は、処理装置３が抽出した参照用特徴量を蓄積および検索するためのデータベースである。
【0021】
端末装置６は、インターネットなどのネットワークを介して、検索システム１の画像蓄積ＤＢ２、処理装置３、および特徴量ＤＢ４と通信可能に接続される。端末装置６は、ユーザから捜索対象車両を撮影した検索用画像Ｄ２の入力を受け付けて、捜索対象車両と同一の車両が撮影されたと推定される参照用画像Ｄ１を画像蓄積ＤＢ２から取得する。端末装置６が参照用画像Ｄ１を取得する処理の詳細については後述する。
【0022】
（処理装置の機能構成）
図２は、一実施形態に係る処理装置の機能構成を示すブロック図である。
図２に示すように、処理装置３は、プロセッサ３１と、メモリ３２と、ストレージ３３と、通信インタフェース３４とを備える。
図２は、一実施形態に係る処理装置の機能構成を示すブロック図である。
図２に示すように、処理装置３は、プロセッサ３１と、メモリ３２と、ストレージ３３と、通信インタフェース３４とを備える。
【0023】
プロセッサ３１は、所定のプログラムに従って動作することにより、特徴量抽出部３１１、参照データ生成部３１２、検索要求部３１３としての機能を発揮する。
【0024】
特徴量抽出部３１１は、画像から車両のナンバープレートに関する特徴量を抽出する。ナンバープレートに関する特徴量とは、たとえば、ナンバープレート上に表記された文字列であるナンバープレート情報（地名、分類番号、記号、一連番号）である。また、特徴量として、ナンバープレートのプレートサイズやプレート色を含んでもよい。
【0025】
参照データ生成部３１２は、特徴量抽出部３１１が参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３を含む参照データＤ３を生成して、特徴量ＤＢ４に記録する。
【0026】
検索要求部３１３は、特徴量ＤＢ４に対し、特徴量抽出部３１１が検索用画像Ｄ２から抽出した検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３を有する参照データＤ３を検索するように要求する。
【0027】
なお、プロセッサ３１が実行する所定のプログラムは、コンピュータ読み取り可能な記録媒体に記憶される。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。さらに、このプログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0028】
メモリ３２は、プロセッサ３１の動作に必要なメモリ領域を有する。
【0029】
ストレージ３３は、いわゆる補助記憶装置であって、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。ストレージ３３には、プロセッサ３１の各部が処理中に取得、生成、参照するデータが格納される。
【0030】
通信インタフェース３４は、画像蓄積ＤＢ２、特徴量ＤＢ４、および端末装置６との間で各種データや制御信号などの送受信を行うためのインタフェースである。
【0031】
（端末装置の機能構成）
図３は、一実施形態に係る端末装置の機能構成を示すブロック図である。
図３に示すように、端末装置６は、プロセッサ６１と、メモリ６２と、ストレージ６３と、入出力インタフェース６４と、通信インタフェース６５とを備える。
図３は、一実施形態に係る端末装置の機能構成を示すブロック図である。
図３に示すように、端末装置６は、プロセッサ６１と、メモリ６２と、ストレージ６３と、入出力インタフェース６４と、通信インタフェース６５とを備える。
【0032】
プロセッサ６１は、所定のプログラムに従って動作することにより、検索用画像取得部６１１、参照用画像取得部６１２としての機能を発揮する。
【0033】
検索用画像取得部６１１は、ユーザから検索用画像Ｄ２の入力を受け付けて、処理装置３に送信する。
【0034】
参照用画像取得部６１２は、特徴量ＤＢ４から取得した参照データＤ３の検索結果に対応する参照用画像Ｄ１を、画像蓄積ＤＢ２から取得する。
【0035】
なお、プロセッサ６１が実行する所定のプログラムは、コンピュータ読み取り可能な記録媒体に記憶される。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。さらに、このプログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0036】
メモリ６２は、プロセッサ６１の動作に必要なメモリ領域を有する。
【0037】
ストレージ６３は、いわゆる補助記憶装置であって、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。ストレージ６３には、プロセッサ６１の各部が処理中に取得、生成、参照するデータが格納される。
【0038】
入出力インタフェース６４は、表示装置６６、入力装置６７などの機器と接続するための接続インタフェースである。表示装置６６は、液晶ディスプレイ等のモニタである。入力装置６７は、キーボード、マウス等の入力機器である。なお、表示装置６６および入力装置６７は、タッチパネルのように一体に形成された機器であってもよい。
【0039】
通信インタフェース６５は、画像蓄積ＤＢ２、処理装置３、および特徴量ＤＢ４との間で各種データや制御信号などの送受信を行うためのインタフェースである。
【0040】
（参照用画像および参照データの蓄積処理について）
図４は、一実施形態に係るデータ蓄積処理の一例を示すシーケンス図である。
図５は、一実施形態に係るデータ蓄積処理を説明するための第１の図である。
図６は、一実施形態に係るデータ蓄積処理を説明するための第２の図である。
以下、図４～図６を参照しながら、検索システム１における参照用画像Ｄ１および参照データＤ３の蓄積処理の流れについて説明する。
図４は、一実施形態に係るデータ蓄積処理の一例を示すシーケンス図である。
図５は、一実施形態に係るデータ蓄積処理を説明するための第１の図である。
図６は、一実施形態に係るデータ蓄積処理を説明するための第２の図である。
以下、図４～図６を参照しながら、検索システム１における参照用画像Ｄ１および参照データＤ３の蓄積処理の流れについて説明する。
【0041】
まず、路側装置５のカメラ５１は、走行する車両を撮影し（ステップＳ１０１）、撮影した画像Ｄ１を画像蓄積ＤＢ２に送信する（ステップＳ１０２）。このとき、カメラ５１は、図５に示すように、画像Ｄ１の撮影日時および撮影場所（カメラ５１の設置場所）を含む付加情報Ｄ１１を、画像Ｄ１とともに画像蓄積ＤＢ２に送信する。
【0042】
次に、図４および図５に示すように、画像蓄積ＤＢ２は、路側装置５（カメラ５１）から受信した画像（参照用画像）Ｄ１および付加情報Ｄ１１に、インデックスＤ１２を付して記録する（ステップＳ１０３）。インデックスＤ１２は、参照用画像Ｄ１と、付加情報Ｄ１１および参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３とを紐づけるための情報であり、これらデータＤ１，Ｄ１１，Ｄ１３で共通する要素をもつ符号や文字列等である。共通する要素をもつとは、たとえば、一部または全部が同一の符号や文字列で構成されることを表す。
【0043】
また、画像蓄積ＤＢ２は、処理装置３に参照用画像Ｄ１およびインデックスＤ１２を送信する（ステップＳ１０４）。
【0044】
そうすると、処理装置３の特徴量抽出部３１１は、参照用画像Ｄ１に所定の画像処理を施して、参照用特徴量Ｄ１３を抽出する（ステップＳ１０５）。本実施形態では、参照用特徴量Ｄ１３は、図６に例示するように、ナンバープレート情報（地名、分類番号、記号、一連番号）、プレートサイズ、プレート色などを示すテキスト情報である。プレートサイズは、たとえば「大板」、「中板」、または「小板」のテキスト情報で表される。プレート色は、たとえば白地（自家用普通自動車）、緑地（事業用普通自動車）、黄地（自家用軽自動車）などのテキスト情報で表される。なお、画像からナンバープレート情報などを読み取る技術は、既知のナンバープレート読取装置の技術を利用してよい。
【0045】
次に、処理装置３の参照データ生成部３１２は、参照用画像Ｄ１のインデックスＤ１２と、特徴量抽出部３１１が参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３とを含む参照データＤ３を生成して、特徴量ＤＢ４に送信して記録させる（ステップＳ１０６）。特徴量ＤＢ４は、受信した参照データＤ３を記録する（ステップＳ１０７）。
【0046】
なお、特徴量抽出部３１１は、参照用画像Ｄ１に複数の車両のナンバープレートが含まれる場合、これら複数のナンバープレートそれぞれの参照用特徴量Ｄ１３を抽出する。このとき、参照データ生成部３１２は、複数の参照用特徴量Ｄ１３を含む参照データＤ３を生成する。
【0047】
検索システム１は、路側装置５のカメラ５１が画像Ｄ１を撮影する度に、図４～図６に示す一連の処理を実行する。なお、図４には、処理装置３が参照用画像Ｄ１を受信する度に参照データＤ３を生成して特徴量ＤＢ４に記録する例が示されているが、これに限られることはない。他の実施形態では、処理装置３は、所定のタイミングで画像蓄積ＤＢ２に新たに蓄積された複数の参照用画像Ｄ１をまとめて取得し、各参照用画像Ｄ１に対応する参照データＤ３の作成、および特徴量ＤＢ４への記録を一括して行うようにしてもよい。所定のタイミングは、たとえば、一定時間経過時や、一定の参照用画像Ｄ１が蓄積したタイミングである。また、所定のタイミングは、処理装置３が他の負荷の高い処理を実施しておらず、処理リソースに余裕がある（たとえば、他の処理の使用リソースがＸ％未満である）タイミングであってもよい。
【0048】
（画像検索処理について）
図７は、一実施形態に係る画像検索処理の一例を示すシーケンス図である。
図８は、一実施形態に係る画像検索処理を説明するための図である。
以下、検索システム１における画像検索処理の流れについて、図７～図８を参照しながら説明する。
図７は、一実施形態に係る画像検索処理の一例を示すシーケンス図である。
図８は、一実施形態に係る画像検索処理を説明するための図である。
以下、検索システム１における画像検索処理の流れについて、図７～図８を参照しながら説明する。
【0049】
たとえば、ユーザは、違反車両や盗難車両などの捜索対象車両が、いつ、どの場所（どの経路）を走行したかを特定したいとする。この場合、ユーザは、図８に例示するような捜索対象車両の画像（検索用画像Ｄ２）を予め準備する。端末装置６の検索用画像取得部６１１は、ユーザが入力した検索用画像Ｄ２を取得すると（ステップＳ２０１）、処理装置３に対し、検索要求を行う（ステップＳ２０２）。なお、他の実施形態では、検索用画像Ｄ２はユーザが手動で入力するのではなく、連動する他のシステムが自動的に入力してもよい。たとえば、他のシステムは違反監視システムであり、違反監視システムの監視カメラが撮影した違反車両の画像を検索用画像Ｄ２として自動的に端末装置６に入力してもよい。
【0050】
処理装置３の特徴量抽出部３１１は、端末装置６から検索用画像Ｄ２を受信すると、この画像から特徴量（検索用特徴量Ｄ２１）を抽出する処理を行う（ステップＳ２０３）。この処理は、図４のステップＳ１０５と同じ処理である。
【0051】
また、処理装置３の検索要求部３１３は、特徴量抽出部３１１が抽出した検索用特徴量Ｄ２１を特徴量ＤＢ４に送信して、類似する参照データＤ３の検索を要求する（ステップＳ２０４）。このとき、検索要求部３１３は、特徴量ＤＢ４に対し、検索結果の送信先（検索要求元である端末装置６）を合わせて指定する。
【0052】
次に、特徴量ＤＢ４は、処理装置３から受信した検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３（参照データＤ３）を検索する（ステップＳ２０５）。
【0053】
カメラ５１やナンバープレートに汚れが付着していた場合など、参照用画像Ｄ１や検索用画像Ｄ２からナンバープレートの一部の文字が読み取れない、または、誤って読み取られる可能性がある。このため、特徴量ＤＢ４は、特徴量（一部文字）の欠損や誤認識の可能性を考慮して、検索用特徴量Ｄ２１と完全一致する参照用特徴量Ｄ１３のみを検索するのではなく、検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３も検索対象とする。
【0054】
たとえば、ナンバープレート情報の一連文字を例として説明する。特徴量ＤＢ４は、検索用特徴量Ｄ２１の一連文字「１２－３Ｘ」であり、最後の１文字（「Ｘ」部分）が読み取れなかった場合に、欠損部分「Ｘ」以外の文字が一致する参照用特徴量Ｄ１３、すなわち、一連番号が「１２－３０」～「１２－３９」である参照用特徴量Ｄ１３を類似するものとして検索してもよい。また、特徴量ＤＢ４は、検索用特徴量Ｄ２１に含まれるテキスト情報との一致率が所定の閾値以上となる参照用特徴量Ｄ１３を、検索用特徴量Ｄ２１に類似するものとして検索してもよい。特徴量ＤＢ４は、他の既知の検索アルゴリズムを利用して、検索用特徴量Ｄ２１と類似する参照用特徴量Ｄ１３を検索してもよい。
【0055】
なお、たとえば１台のカメラ５１で複数の車線を撮影する場合には、このカメラ５１が撮影した参照用画像Ｄ１に複数の車両のナンバープレートが含まれることがある。つまり、参照データＤ３に複数のナンバープレートそれぞれの参照用特徴量Ｄ１３が含まれている場合がある。この場合、特徴量ＤＢ４は、参照データＤ３の複数の参照用特徴量Ｄ１３のうち、いずれか１つが検索用特徴量Ｄ２１と類似している場合、この参照データＤ３も類似するデータとして検索結果に含める。これにより、複数の車両のナンバープレートを同時に撮影した参照用画像Ｄ１についても、適切に検索対象として扱うことができる。
【0056】
また、特徴量ＤＢ４は、参照用特徴量Ｄ１３の検索結果を端末装置６に送信する（ステップＳ２０６）。特徴量ＤＢ４は、検索結果として、類似する参照用特徴量Ｄ１３およびそのインデックスＤ１２を含む参照データＤ３を端末装置６に送信する。また、特徴用ＤＢ４は、一致率に基づき類似する参照用特徴量Ｄ１３を検索する場合、図８に示すように、検索結果に一致率を含めて送信してもよい。
【0057】
端末装置６の参照用画像取得部６１２は、特徴量ＤＢ４から受信した検索結果（参照データＤ３のリスト）を表示装置６６に表示する。ユーザは、表示装置６６に表示された検索結果のうち、捜索対象車両と同一の車両と推定される項目を選択して指定する。端末装置６の参照用画像取得部６１２は、ユーザが選択した参照データＤ３（参照用特徴量Ｄ１３）に対応する参照用画像Ｄ１の提供を画像蓄積ＤＢ２に要求する（ステップＳ２０７）。
【0058】
たとえば、検索結果である参照データＤ３のリストには、チェックボックスが付される。ユーザは、各参照データＤ３の参照用特徴量Ｄ１３や一致率を確認して、捜索対象車両と同一と推定される車両の参照データＤ３のチェックボックスをチェック（選択）し、画像取得ボタンを押下する。選択するデータは１つでも複数でもよい。そうすると、参照用画像取得部６１２は、ユーザが選択した参照データＤ３のインデックスＤ１２を指定して、このインデックスと一致する参照用画像Ｄ１を送信するように画像蓄積ＤＢ２に要求する。
【0059】
画像蓄積ＤＢ２は、端末装置６から指定されたインデックスＤ１２と同じインデックスが付された参照用画像Ｄ１を読み出して、端末装置６に送信する（ステップＳ２０８）。このとき、画像蓄積ＤＢ２は、図８の例のように、参照用画像Ｄ１とともに付加情報Ｄ１１を送信してもよい。
【0060】
端末装置６の参照用画像取得部６１２は、画像蓄積ＤＢ２から受信した参照用画像Ｄ１（および付加情報Ｄ１１）を表示装置６６に表示する（ステップＳ２０９）。ユーザは、参照用画像Ｄ１を確認して、この画像に写る車両が捜索対象車両と同一であるか確認する。また、ユーザは、付加情報Ｄ１１（撮影日時、撮影場所の情報）がある場合は、捜索対象車両がいつ、どの場所を通ったかを知ることができる。
【0061】
（作用、効果）
以上のように、本実施形態に係る検索システム１は、画像から車両のナンバープレートに関する特徴量を抽出する処理装置３と、カメラ５１から参照用画像Ｄ１を収集して記録する画像蓄積ＤＢ２と、ユーザから検索用画像Ｄ２の入力を受け付けて、捜索対象車両と同一の車両が撮影されたと推定される参照用画像Ｄ１を画像蓄積ＤＢ２から取得する端末装置６と、を備える。処理装置３は、画像から特徴量を抽出する特徴量抽出部３１１と、特徴量抽出部３１１が参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３を含む参照データＤ３を生成して、特徴量ＤＢ４に記録する参照データ生成部３１２と、特徴量ＤＢ４に対し、特徴量抽出部３１１が検索用画像Ｄ２から抽出した検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３を有する参照データＤ３を検索するように要求する検索要求部３１３と、を有する。端末装置６は、ユーザから検索用画像Ｄ２の入力を受け付けて、処理装置３に送信する検索用画像取得部６１１と、特徴量ＤＢ４から取得した参照データＤ３の検索結果に対応する参照用画像Ｄ１を、画像蓄積ＤＢ２から取得する参照用画像取得部６１２と、を有する。
以上のように、本実施形態に係る検索システム１は、画像から車両のナンバープレートに関する特徴量を抽出する処理装置３と、カメラ５１から参照用画像Ｄ１を収集して記録する画像蓄積ＤＢ２と、ユーザから検索用画像Ｄ２の入力を受け付けて、捜索対象車両と同一の車両が撮影されたと推定される参照用画像Ｄ１を画像蓄積ＤＢ２から取得する端末装置６と、を備える。処理装置３は、画像から特徴量を抽出する特徴量抽出部３１１と、特徴量抽出部３１１が参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３を含む参照データＤ３を生成して、特徴量ＤＢ４に記録する参照データ生成部３１２と、特徴量ＤＢ４に対し、特徴量抽出部３１１が検索用画像Ｄ２から抽出した検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３を有する参照データＤ３を検索するように要求する検索要求部３１３と、を有する。端末装置６は、ユーザから検索用画像Ｄ２の入力を受け付けて、処理装置３に送信する検索用画像取得部６１１と、特徴量ＤＢ４から取得した参照データＤ３の検索結果に対応する参照用画像Ｄ１を、画像蓄積ＤＢ２から取得する参照用画像取得部６１２と、を有する。
【0062】
上記したように、従来の検索用画像を入力し、類似する参照用画像を検索する画像検索手法（ＣＢＩＲ方式）は、多量の参照用画像を扱うような検索システムでは検索時間が長くなるという問題があった。しかしながら、本実施形態に係る検索システム１は、上記したように、参照用画像Ｄ１および検索用画像Ｄ２からナンバープレート情報に限定した特徴量を抽出して検索を行うので、従来の画像全体から抽出した特徴量をマッチングさせる画像検索手法よりも、処理時間を大幅に短縮することができる。したがって、検索システム１は、従来の画像検索手法よりも高速に画像検索を行うことができる。
【0063】
さらに、従来の画像検索手法（ＣＢＩＲ方式、ＴＢＩＲ方式）では、画像全体から特徴量を抽出することから、捜索対象車両と形状や色が似ているだけの異なる車両（の参照用画像）も、大量に検索結果に含まれてしまう場合があった。したがって、ユーザは、これら大量の検索結果の中から、捜索対象車両と同一の車両を目視確認して探し出す必要があった。これに対し、本実施形態に係る検索システム１は、ナンバープレート情報に限定した特徴量を比較して検索を行うので、たとえ捜索対象車両と形状や色が似ている車両であっても、ナンバープレートが異なる車両は検索結果に含まれにくくなる。したがって、検索システム１は、捜索対象車両と同一であると推定される車両のみを適切に検索することが可能である。
【0064】
また、処理装置３の特徴量抽出部３１１は、参照用画像Ｄ１および検索用画像Ｄ２から、ナンバープレート上に表記された文字列を含むテキスト情報を参照用特徴量Ｄ１３および検索用特徴量Ｄ２１として抽出する。
【0065】
このようにすることで、検索システム１は、テキスト情報の検索を行うのみでよいので、従来の画像検索処理よりも検索処理を大幅に高速化することが可能である。また、検索システム１は、検索処理を行う際に、処理装置３と特徴量ＤＢ４との間の通信、および特徴量ＤＢ４と端末装置６との間の通信では、テキスト情報である参照用特徴量Ｄ１３および検索用特徴量Ｄ２１の送受信のみ行えばよい。これにより、検索処理時にこれら装置間の通信を高速化することができるとともに、ネットワークにかかる負荷を低減することができる。
【0066】
また、画像蓄積ＤＢ２は、参照用画像Ｄ１にインデックスＤ１２を付して記録し、処理装置３の参照データ生成部３１２は、参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３に、参照用画像Ｄ１のインデックスＤ１２を付した参照データＤ３を生成し、端末装置６の参照用画像取得部６１２は、検索結果に含まれる参照データＤ３のインデックスＤ１２に対応する参照用画像Ｄ１を画像蓄積ＤＢ２から取得する。
【0067】
このようにすることで、検索システム１は、画像蓄積ＤＢ２および特徴量ＤＢ４に別々に記録される参照用画像Ｄ１およびその参照用特徴量Ｄ１３を、インデックスＤ１２で紐づけて管理することができる。また、画像蓄積ＤＢ２は、端末装置６から指定されたインデックスＤ１２に対応する参照用画像Ｄ１を読み出して提供するだけでよいので、画像検索機能などを不要とすることができる。これにより、画像蓄積ＤＢ２の処理負荷を大きく低減することができるとともに、画像蓄積ＤＢ２を安価に構成することが可能となる。
【0068】
また、処理装置３の参照データ生成部３１２は、参照用画像Ｄ１に複数の車両のナンバープレートが含まれる場合に、複数のナンバープレートそれぞれの参照用特徴量Ｄ１３を含む参照データＤ３を生成する。
【0069】
このようにすることで、検索システム１は、１つのカメラ５１で複数の車線を撮影する場合に、複数の車両のナンバープレートを同時に撮影した参照用画像Ｄ１についても、適切に検索対象として扱うことができる。
【0070】
以上のとおり、本開示に係る実施形態を説明したが、上記した実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0071】
＜付記＞
上述の実施形態に記載の検索システムおよび検索方法は、たとえば以下のように把握される。
上述の実施形態に記載の検索システムおよび検索方法は、たとえば以下のように把握される。
【0072】
（１）第１の態様によれば、検索システム１は、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置３と、路側に設置されたカメラ５１から、走行する車両を撮影した参照用画像Ｄ１を収集して記録する画像蓄積データベース２と、捜索対象車両を撮影した検索用画像Ｄ２の入力を受け付けて、捜索対象車両と同一の車両が撮影されたと推定される参照用画像Ｄ１を画像蓄積データベース２から取得する端末装置６と、を備える。処理装置３は、画像から車両のナンバープレートに関する特徴量を抽出する特徴量抽出部３１１と、特徴量抽出部３１１が参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３を含む参照データＤ３を生成して、特徴量データベース４に記録する参照データ生成部３１２と、特徴量データベース４に対し、特徴量抽出部３１１が検索用画像Ｄ２から抽出した検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３を有する参照データＤ３を検索するように要求する検索要求部３１３と、を有する。端末装置６は、検索用画像Ｄ２の入力を受け付けて、処理装置３に送信する検索用画像取得部６１１と、特徴量データベース４から取得した参照データＤ３の検索結果に対応する参照用画像Ｄ１を、画像蓄積データベース２から取得する参照用画像取得部６１２と、を有する。
【0073】
従来の検索用画像を入力し、類似する参照用画像を検索する画像検索手法（ＣＢＩＲ方式）は、多量の参照用画像を扱うような検索システムでは検索時間が長くなるという問題があった。しかしながら、本実施形態に係る検索システム１は、上記したように、参照用画像Ｄ１および検索用画像Ｄ２からナンバープレート情報に限定した特徴量を抽出して検索を行うので、従来の画像全体から抽出した特徴量をマッチングさせる画像検索手法よりも、処理時間を大幅に短縮することができる。したがって、検索システム１は、従来の画像検索手法よりも高速に画像検索を行うことができる。
【0074】
さらに、従来の画像検索手法（ＣＢＩＲ方式、ＴＢＩＲ方式）では、画像全体から特徴量を抽出することから、捜索対象車両と形状や色が似ているだけの異なる車両（の参照用画像）も、大量に検索結果に含まれてしまう場合があった。したがって、ユーザは、これら大量の検索結果の中から、捜索対象車両と同一の車両を目視確認して探し出す必要があった。これに対し、本実施形態に係る検索システム１は、ナンバープレート情報に限定した特徴量を比較して検索を行うので、たとえ捜索対象車両と形状や色が似ている車両であっても、ナンバープレートが異なる車両は検索結果に含まれにくくなる。したがって、検索システム１は、捜索対象車両と同一であると推定される車両のみを適切に検索することが可能である。
【0075】
（２）第２の態様によれば、第１の態様に係る検索システム１において、処理装置３の特徴量抽出部３１１は、参照用画像Ｄ１および検索用画像Ｄ２から、ナンバープレート上に表記された文字列であるナンバープレート情報を参照用特徴量Ｄ１３および検索用特徴量Ｄ２１として抽出する。
【0076】
このようにすることで、検索システム１は、テキスト情報の検索を行うのみでよいので、従来の画像検索処理よりも検索処理を大幅に高速化することが可能である。また、検索システム１は、検索処理を行う際に、処理装置３と特徴量ＤＢ４との間の通信、および特徴量ＤＢ４と端末装置６との間の通信では、テキスト情報である参照用特徴量Ｄ１３および検索用特徴量Ｄ２１の送受信のみ行えばよい。これにより、検索処理時にこれら装置間の通信を高速化することができるとともに、ネットワークにかかる負荷を低減することができる。
【0077】
（３）第３の態様によれば、第１または第２の態様に係る検索システム１において、画像蓄積データベース２は、参照用画像Ｄ１にインデックスＤ１２を付して記録し、処理装置３の参照データ生成部３１２は、参照用画像Ｄ１から抽出した参照用特徴量Ｄ１３に、参照用画像Ｄ１のインデックスＤ１２を付した参照データＤ３を生成し、端末装置６の参照用画像取得部６１２は、検索結果に含まれる参照データＤ３のインデックスＤ１２に対応する参照用画像Ｄ１を画像蓄積データベース２から取得する。
【0078】
このようにすることで、検索システム１は、画像蓄積ＤＢ２および特徴量ＤＢ４に別々に記録される参照用画像Ｄ１およびその参照用特徴量Ｄ１３を、インデックスＤ１２で紐づけて管理することができる。また、画像蓄積ＤＢ２は、端末装置６から指定されたインデックスＤ１２に対応する参照用画像Ｄ１を読み出して提供するだけでよいので、画像検索機能などを不要とすることができる。これにより、画像蓄積ＤＢ２の処理負荷を大きく低減することができるとともに、画像蓄積ＤＢ２を安価に構成することが可能となる。
【0079】
（４）第４の態様によれば、第１から第３のいずれか一の態様に係る検索システム１において、処理装置３の参照データ生成部３１２は、参照用画像Ｄ１に複数の車両のナンバープレートが含まれる場合に、複数のナンバープレートそれぞれの参照用特徴量Ｄ１３を含む参照データＤ３を生成する。
【0080】
このようにすることで、検索システム１は、１つのカメラ５１で複数の車線を撮影する場合に、複数の車両のナンバープレートを同時に撮影した参照用画像Ｄ１についても、適切に検索対象として扱うことができる。
【0081】
（５）第５の態様によれば、検索方法は、車両を撮影した画像に含まれる車両のナンバープレートに関する特徴量を抽出する処理装置３と、路側に設置されたカメラ５１から、走行する車両を撮影した参照用画像Ｄ１を収集して記録する画像蓄積データベース２と、ユーザから捜索対象車両を撮影した検索用画像Ｄ２の入力を受け付けて、捜索対象車両と同一の車両が撮影されたと推定される参照用画像Ｄ１を画像蓄積データベース２から取得する端末装置６と、を備える検索システム１を用いた検索方法であって、処理装置３が、参照用画像Ｄ１に含まれる車両のナンバープレートに関する参照用特徴量Ｄ１３を抽出するステップと、処理装置３が、参照用特徴量Ｄ１３を含む参照データＤ３を生成して、特徴量データベース４に記録するステップと、端末装置６が、ユーザから検索用画像Ｄ２の入力を受け付けて、処理装置３に送信するステップと、処理装置３が、検索用画像Ｄ２に含まれる車両のナンバープレートに関する検索用特徴量Ｄ２１を抽出するステップと、処理装置３が、特徴量データベース４に対し、検索用特徴量Ｄ２１に類似する参照用特徴量Ｄ１３を有する参照データＤ３を検索するように要求するステップと、端末装置６が、特徴量データベース４から取得した参照データＤ３の検索結果に対応する参照用画像Ｄ１を、画像蓄積データベース２から取得するステップと、を有する。
【符号の説明】
【0082】
１ 検索システム
２ 画像蓄積データベース（ＤＢ）
３ 処理装置
３１ プロセッサ
３１１ 特徴量抽出部
３１２ 参照データ生成部
３１３ 検索要求部
３２ メモリ
３３ ストレージ
３４ 通信インタフェース
４ 特徴量データベース（ＤＢ）
５ 路側装置
５１ カメラ
５２ センサ
６ 端末装置
６１ プロセッサ
６１１ 検索用画像取得部
６１２ 参照用画像取得部
６２ メモリ
６３ ストレージ
６４ 入出力インタフェース
６５ 通信インタフェース
６６ 表示装置
６７ 入力装置
Ｄ１ 参照用画像
Ｄ２ 検索用画像
Ｄ３ 参照データ
２ 画像蓄積データベース（ＤＢ）
３ 処理装置
３１ プロセッサ
３１１ 特徴量抽出部
３１２ 参照データ生成部
３１３ 検索要求部
３２ メモリ
３３ ストレージ
３４ 通信インタフェース
４ 特徴量データベース（ＤＢ）
５ 路側装置
５１ カメラ
５２ センサ
６ 端末装置
６１ プロセッサ
６１１ 検索用画像取得部
６１２ 参照用画像取得部
６２ メモリ
６３ ストレージ
６４ 入出力インタフェース
６５ 通信インタフェース
６６ 表示装置
６７ 入力装置
Ｄ１ 参照用画像
Ｄ２ 検索用画像
Ｄ３ 参照データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】