知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-04-04
(45)【発行日】2025-04-14
(54)【発明の名称】画像検索装置
(51)【国際特許分類】
G06F 16/51 20190101AFI20250407BHJP
G06T 7/00 20170101ALI20250407BHJP
【ＦＩ】
G06F16/51
G06T7/00 300F
【請求項の数】
5
(21)【出願番号】P 2024546257
(86)(22)【出願日】2022-10-14
(65)【公表番号】
(43)【公表日】2025-01-30
(86)【国際出願番号】 JP2022038291
(87)【国際公開番号】W WO2024079864
(87)【国際公開日】2024-04-18
【審査請求日】2024-08-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(72)【発明者】
【氏名】李 庭育
【審査官】甲斐 哲雄
(56)【参考文献】
【文献】特開２０１３－０６９１４９（ＪＰ，Ａ）
【文献】特開２０１５－０６４７５１（ＪＰ，Ａ）
【文献】国際公開第２０１４／１６７８８０（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｔ １／００－ ７／９０
(57)【特許請求の範囲】
【請求項1】
行列演算器及び射影変換部を含む特徴量低減処理回路と、第二射影変換部及び探索実行部を含む検索処理回路と、を備え、
前記行列演算器は、格納されたデータ（Ｘｄ－１）に基づいて、特徴量を低減する行列（Ｃｄ）を演算し、
前記射影変換部は、逐次的に取得する画像特徴量であるｆｉ（ｉ＝１，２，…，ｍ）に対し、前記行列演算器により算出される行列（Ｃｄ）を乗算し、
前記第二射影変換部は、入力された検索対象の画像特徴量（ｆｔａｒｇｅｔ）について、低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）を算出し、
前記探索実行部は、特徴量空間において、前記射影変換部により算出され時間窓ごとに分けられたベクトルと前記低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）との距離を計算し、もっともらしい画像特徴量の検索を実施する
画像検索装置。
【請求項2】
前記行列演算器により算出される行列（Ｃｄ）は、格納された前記データ（Ｘｄ－１）を特異値分解して得られる特異ベクトルからなる行列である、
請求項１に記載の画像検索装置。
【請求項3】
前記行列演算器により算出される行列（Ｃｄ）は、格納された前記データ（Ｘｄ－１）を特異値分解し、低次元化して得られる近似の特異ベクトルからなる行列である、
請求項１に記載の画像検索装置。
【請求項4】
格納された前記データは、隣接する直近の過去の時間窓において撮影された画像に関するものである、請求項１から３のいずれか１項に記載の画像検索装置。
【請求項5】
格納された前記データは、経験上、画像データの特徴が類似すると予測できる過去の時間窓において撮影された画像に関するものである、請求項１から３のいずれか１項に記載の画像検索装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示技術は、画像検索装置に関する。
【背景技術】
【0002】
画像検索の技術分野において、主成分分析、判別分析等の既知の統計解析の結果から得られる行列を用いて、画像特徴量を、高速検索に適するよう、次元削減する技術が知られている。ここで、画像特徴量とは、機械学習の技術分野において用いられる概念であり、画像に対して生成される、特徴量空間におけるベクトル量である。画像特徴量は、その名前が示すとおり、画像の特徴を表している。
【0003】
例えば、特許文献１には、第一の線形変換パラメータを統計解析の結果から得られる行列とし、第一の線形変換パラメータにより画像特徴量を変換することによって、分類問題を容易化する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第 ２０１４／１６７８８０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に例示される画像検索装置は、空港等の施設において、防犯カメラで撮影された動画像から、迷子又は不審者を見つけ出すシステムとして応用することが考えられる。本明細書において、空港等の施設において、防犯カメラで撮影された動画像から、迷子又は不審者を見つけ出すシステムは、「クエリシステム」と称されるものとする。
【0006】
本開示技術の発明者は、特許文献１に例示される画像検索装置をクエリシステムに適用すると、同一の防犯カメラから得られる画像であるにもかかわらず、例えば１日単位の時間窓で見た場合に、次元削減に用いるのに適した行列がゆるやかにではあるが変化してしまう、という課題を見出した。
本開示技術は、次元削減に用いるのに適した行列がゆるやかにではあるが変化してしまう、という課題を克服する画像検索装置を提供することを目的とする。
本開示技術は、次元削減に用いるのに適した行列がゆるやかにではあるが変化してしまう、という課題を克服する画像検索装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示技術に係る画像検索装置は、行列演算器及び射影変換部を含む特徴量低減処理回路と、第二射影変換部及び探索実行部を含む検索処理回路と、を備え、行列演算器は、格納されたデータ（Ｘｄ－１）に基づいて、特徴量を低減する行列（Ｃｄ）を演算し、射影変換部は、逐次的に取得する画像特徴量であるｆｉ（ｉ＝１，２，…，ｍ）に対し、行列演算器により算出される行列（Ｃｄ）を乗算し、第二射影変換部は、入力された検索対象の画像特徴量（ｆｔａｒｇｅｔ）について、低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）を算出し、探索実行部は、特徴量空間において、射影変換部により算出され時間窓ごとに分けられたベクトルと低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）との距離を計算し、もっともらしい画像特徴量の検索を実施する、というものである。
【発明の効果】
【0008】
本開示技術に係る画像検索装置は上記構成を備えるため、次元削減に用いるのに適した行列がゆるやかにではあるが変化してしまう、という課題を克服できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本開示技術が前提としてる画像特徴量は、前述のとおり、機械学習の技術分野において用いられる概念であり、画像に対して生成される、特徴量空間におけるベクトル量である。本開示技術は、画像特徴量がどのような学習モデルにより生成されたベクトル量であるかという事項で限定されない。ただし、画像特徴量は、例えば、学習モデルをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）としたときの中間生成物だ、と考えると理解が容易である。ＣＮＮは、特に画像解析の技術分野において有効な手段と認識されている人工ニューラルネットワークの一種である。
【0011】
実施の形態１．
本開示技術に係る画像検索装置は、特徴量低減処理回路１００と、検索処理回路２００と、を含む。
特徴量低減処理回路１００は、画像特徴量を取得し、次元低減といった特徴量低減の処理を実施する処理回路である。
検索処理回路２００は、検索対象の画像特徴量が入力されたときに、タイムスパン（以降、「時間窓」と称する）ごとに分けられたデータベースから、もっともらしい画像特徴量の検索を実施する処理回路である。
本開示技術に係る画像検索装置は、特徴量低減処理回路１００と、検索処理回路２００と、を含む。
特徴量低減処理回路１００は、画像特徴量を取得し、次元低減といった特徴量低減の処理を実施する処理回路である。
検索処理回路２００は、検索対象の画像特徴量が入力されたときに、タイムスパン（以降、「時間窓」と称する）ごとに分けられたデータベースから、もっともらしい画像特徴量の検索を実施する処理回路である。
【0012】
図１は、本開示技術に係る特徴量低減処理回路１００の機能構成を示すブロック図である。図１に示されるとおり、特徴量低減処理回路１００は、データ格納部１１０と、行列演算器１２０と、射影変換部１３０と、を含む。
【0013】
図２は、本開示技術に係る特徴量低減処理回路１００の処理を時系列で表したタイムチャートである。図２において、ＳＴ１１０と示された部分は、データ格納部１１０による処理が実施されるタイミングを表している。同様に、ＳＴ１２０と示された部分は、行列演算器１２０による処理が実施されるタイミングを表している。同様に、ＳＴ１３０と示された部分は、射影変換部１３０による処理が実施されるタイミングを表している。
【0014】
《特徴量低減処理回路１００を構成するデータ格納部１１０》
特徴量低減処理回路１００を構成するデータ格納部１１０は、逐次的に取得する画像特徴量を、データとして格納する構成要素である。逐次的に取得する画像特徴量をｆｉ（ｉ＝１，２，…，ｍ）としたときに、格納するデータ（Ｘ）は、以下の数式で与えられる。
数式（１）に示されるように、逐次的に取得する画像特徴量（ｆｉ）は、サイズが１×ｎの実ベクトルである。本明細書において画像特徴量（ｆｉ）は、横ベクトルとして定義される。数式（１）に示されるように、画像特徴量は、実数を成分とする実ベクトルであることが一般的であるが、複素数を成分とする複素ベクトルに定義を拡張することもできる。
或る時間窓、例えば、ｄ－１番目の時間窓、で逐次的に取得される画像特徴量（ｆｉ）の総数をｍとしたときに、データ格納部１１０に格納されるデータ（Ｘ）は、サイズがｍ×ｎの行列となる。数式（１）において、データ（Ｘ）は実行列として示されているが、画像特徴量の定義を複素ベクトルまで拡張した場合、データ（Ｘ）は複素行列となる。
本明細書において、データ格納部１１０に格納されるデータは、例えばｄ－１番目の時間窓に係るデータであることを強調する場合、右下添え字の態様でｄ－１を付加し、「Ｘｄ－１」と表されるものとする。
特徴量低減処理回路１００を構成するデータ格納部１１０は、逐次的に取得する画像特徴量を、データとして格納する構成要素である。逐次的に取得する画像特徴量をｆｉ（ｉ＝１，２，…，ｍ）としたときに、格納するデータ（Ｘ）は、以下の数式で与えられる。
数式（１）に示されるように、逐次的に取得する画像特徴量（ｆｉ）は、サイズが１×ｎの実ベクトルである。本明細書において画像特徴量（ｆｉ）は、横ベクトルとして定義される。数式（１）に示されるように、画像特徴量は、実数を成分とする実ベクトルであることが一般的であるが、複素数を成分とする複素ベクトルに定義を拡張することもできる。
或る時間窓、例えば、ｄ－１番目の時間窓、で逐次的に取得される画像特徴量（ｆｉ）の総数をｍとしたときに、データ格納部１１０に格納されるデータ（Ｘ）は、サイズがｍ×ｎの行列となる。数式（１）において、データ（Ｘ）は実行列として示されているが、画像特徴量の定義を複素ベクトルまで拡張した場合、データ（Ｘ）は複素行列となる。
本明細書において、データ格納部１１０に格納されるデータは、例えばｄ－１番目の時間窓に係るデータであることを強調する場合、右下添え字の態様でｄ－１を付加し、「Ｘｄ－１」と表されるものとする。
【0015】
《特徴量低減処理回路１００を構成する行列演算器１２０》
特徴量低減処理回路１００を構成する行列演算器１２０は、データ格納部１１０に格納されたデータ（Ｘｄ－１）に基づいて、特徴量を低減する行列（Ｃｄ）を演算する構成要素である。図２に示されるとおり、行列演算器１２０で算出される行列（Ｃｄ）は、ｄ番目の時間窓に係る時刻において、取得される画像特徴量（ｆｉ）の特徴量を、逐次的に低減する演算処理に用いられる。本開示技術に係る画像検索装置の技術的特徴は、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）を用いて算出した行列（Ｃｄ）を、ｄ番目の時間窓に係る演算処理に用いる点にある。
ここで、特徴量を低減する行列として用いられる文字の「Ｃｄ」におけるＣは、Ｃｏｍｐｒｅｓｓｉｏｎの頭文字のＣに由来する。
特徴量低減処理回路１００を構成する行列演算器１２０は、データ格納部１１０に格納されたデータ（Ｘｄ－１）に基づいて、特徴量を低減する行列（Ｃｄ）を演算する構成要素である。図２に示されるとおり、行列演算器１２０で算出される行列（Ｃｄ）は、ｄ番目の時間窓に係る時刻において、取得される画像特徴量（ｆｉ）の特徴量を、逐次的に低減する演算処理に用いられる。本開示技術に係る画像検索装置の技術的特徴は、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）を用いて算出した行列（Ｃｄ）を、ｄ番目の時間窓に係る演算処理に用いる点にある。
ここで、特徴量を低減する行列として用いられる文字の「Ｃｄ」におけるＣは、Ｃｏｍｐｒｅｓｓｉｏｎの頭文字のＣに由来する。
【0016】
行列演算器１２０で算出される行列（Ｃｄ）は、例えば、特許文献１に示されているように、主成分分析、判別分析等の既知の統計解析の結果から得られる行列であってよい。行列演算器１２０で算出される行列（Ｃｄ）は、具体例を挙げれば、特異値分解に基づいて得られる行列であってもよい。ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）の特異値分解が、以下の数式に示されるように与えられたとする。
数式（２）登場するＵは、左特異ベクトル｛ｕｉ｝，ｉ＝１，２，…，ｒを列とする行列である。また、数式（２）に登場するＶは、右特異ベクトル｛ｖｉ｝，ｉ＝１，２，…，ｒを列とする行列である。右上添え字のＴは、転置を表す。数式（２）右辺に登場するＳは、大きい順に特異値が並べられた対角行列である。
ここで、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）の行の総数であるｍ、すなわち取得された画像特徴量（ｆｉ）の数（ｍ）は、列の総数であるｎ、すなわち画像特徴量（ｆｉ）の要素数（ｎ）よりも大きいと仮定する。数式（２）に登場する右下添え字のrは、ｒａｎｋの頭文字であり、Ｘｄ－１のｒａｎｋを表している。Ｘｄ－１が列フルランクである場合、rはｎと等しい。Ｘｄ－１のｒａｎｋがｒであるということは、ｄ－１番目の時間窓において取得された画像特徴量であるベクトル（ｆ１，ｆ２，…ｆｍ）が張る特徴量空間の次元がｒであることと等しい。
数式（２）登場するＵは、左特異ベクトル｛ｕｉ｝，ｉ＝１，２，…，ｒを列とする行列である。また、数式（２）に登場するＶは、右特異ベクトル｛ｖｉ｝，ｉ＝１，２，…，ｒを列とする行列である。右上添え字のＴは、転置を表す。数式（２）右辺に登場するＳは、大きい順に特異値が並べられた対角行列である。
ここで、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）の行の総数であるｍ、すなわち取得された画像特徴量（ｆｉ）の数（ｍ）は、列の総数であるｎ、すなわち画像特徴量（ｆｉ）の要素数（ｎ）よりも大きいと仮定する。数式（２）に登場する右下添え字のrは、ｒａｎｋの頭文字であり、Ｘｄ－１のｒａｎｋを表している。Ｘｄ－１が列フルランクである場合、rはｎと等しい。Ｘｄ－１のｒａｎｋがｒであるということは、ｄ－１番目の時間窓において取得された画像特徴量であるベクトル（ｆ１，ｆ２，…ｆｍ）が張る特徴量空間の次元がｒであることと等しい。
【0017】
特異ベクトルから構成される行列のＵ及びＶは、以下の性質を有する。
ただし、数式（３）の右辺に登場するＩ（ｒ）は、サイズがｒ×ｒの単位行列である。
ただし、数式（３）の右辺に登場するＩ（ｒ）は、サイズがｒ×ｒの単位行列である。
【0018】
Ｘｄ－１がゼロ行列でない場合、数式（２）に示された特異値分解の結果及び数式（３）の性質を用いて、Ｘｄ－１の一般逆行列を定義できる。Ｍｏｏｒｅ―Ｐｅｎｒｏｓｅ ｔｙｐｅの一般逆行列の定義に従えば、Ｘｄ－１の一般逆行列は、以下の数式により与えられる。
Ｘｄ－１が正則行列であれば、数式（４）で与えられる一般逆行列は、Ｘｄ－１の逆行列に一致する。
Ｘｄ－１が正則行列であれば、数式（４）で与えられる一般逆行列は、Ｘｄ－１の逆行列に一致する。
【0019】
行列であるＸｄ－１のｍ本の行ベクトル（ｆ１，ｆ２，…ｆｍ）が張るＲｎの部分空間は、Ｘｄ－１の行空間（Ｒｏｗ Ｄｏｍａｉｎ）と称される。右特異ベクトル｛ｖｉ｝，ｉ＝１，２，…，ｒを転置したものは、行空間の正規直交基底を作る。
本開示技術に係る画像検索装置の一態様は、この行空間への射影行列を算出し、クエリシステムへ応用するものである。行空間への射影行列（Ｐｖ）は、以下の数式により与えられる。
数式（５）に示されるＰｖは、サイズがｎ×ｎであり、ランクがｒの射影行列である。ここで、数式（５）の右辺に示されるＶＶＴは、数式（３）に示されるＶＴＶとは異なることに留意されたい。
クエリシステムにおいて、クエリ対象の画像に関する画像特徴量（ｆｔａｒｇｅｔ）が与えられたときに右から射影行列（Ｐｖ）を乗算すれば、画像特徴量（ｆｔａｒｇｅｔ）を部分空間である行空間へ射影でき、探索の範囲を行空間に限定できる。なお、射影行列を表す文字のＰは、Ｐｒｏｊｅｃｔｉｏｎの頭文字に由来する。
本開示技術に係る画像検索装置の一態様は、この行空間への射影行列を算出し、クエリシステムへ応用するものである。行空間への射影行列（Ｐｖ）は、以下の数式により与えられる。
数式（５）に示されるＰｖは、サイズがｎ×ｎであり、ランクがｒの射影行列である。ここで、数式（５）の右辺に示されるＶＶＴは、数式（３）に示されるＶＴＶとは異なることに留意されたい。
クエリシステムにおいて、クエリ対象の画像に関する画像特徴量（ｆｔａｒｇｅｔ）が与えられたときに右から射影行列（Ｐｖ）を乗算すれば、画像特徴量（ｆｔａｒｇｅｔ）を部分空間である行空間へ射影でき、探索の範囲を行空間に限定できる。なお、射影行列を表す文字のＰは、Ｐｒｏｊｅｃｔｉｏｎの頭文字に由来する。
【0020】
数式（２）の両辺に右からＶを乗算すると、数式（３）の性質から、数式（２）は以下のように変形できる。
ここで、ｇ１，ｇ２，…ｇｍは、低次元化された画像特徴量（以降、「低次元化画像特徴量」と称する）である。
数式（６）は、或る行ベクトル（ｆｘ）が行空間に属せば、すなわちｆ１，ｆ２，…ｆｍの線形結合で表すことができれば、その行ベクトル（ｆｘ）の右からＶを乗算して得られた行ベクトルが、ｇ１，ｇ２，…ｇｍの線形結合で表せることを示している。
ここで、ｇ１，ｇ２，…ｇｍはいずれもサイズが１×ｒの行ベクトルである。すなわち、ｇ１，ｇ２，…ｇｍの線形結合で表せるｆｘＶも、サイズが１×ｒの行ベクトルである。数式（７）に登場するａ１，ａ２，…ａｍは、それぞれ係数である。
ここで、ｇ１，ｇ２，…ｇｍは、低次元化された画像特徴量（以降、「低次元化画像特徴量」と称する）である。
数式（６）は、或る行ベクトル（ｆｘ）が行空間に属せば、すなわちｆ１，ｆ２，…ｆｍの線形結合で表すことができれば、その行ベクトル（ｆｘ）の右からＶを乗算して得られた行ベクトルが、ｇ１，ｇ２，…ｇｍの線形結合で表せることを示している。
ここで、ｇ１，ｇ２，…ｇｍはいずれもサイズが１×ｒの行ベクトルである。すなわち、ｇ１，ｇ２，…ｇｍの線形結合で表せるｆｘＶも、サイズが１×ｒの行ベクトルである。数式（７）に登場するａ１，ａ２，…ａｍは、それぞれ係数である。
【0021】
別の或る行ベクトル（ｆｙ）が与えられ、ｆｘとは異なり、ｆｙは行空間に属さないとする。行空間に属していないｆｙに対しては、まず、数式（５）で与えられる射影行列（Ｐｖ）を右から乗算し、行空間に射影した後に、右からＶを乗算する試みが考えられる。ｆｙＰｖは、行空間に属する行ベクトルであるから、ｆｘとおける。この試みの結果は、以下の数式により与えられる。
結局のところ、行空間に属さないｆｙに対しても、右から単にＶを乗算すれば、乗算により得られた行ベクトル（ｆｙＶ）は、必ずｇ１，ｇ２，…ｇｍの線形結合で表せる（数式（８）参照）。
結局のところ、行空間に属さないｆｙに対しても、右から単にＶを乗算すれば、乗算により得られた行ベクトル（ｆｙＶ）は、必ずｇ１，ｇ２，…ｇｍの線形結合で表せる（数式（８）参照）。
【0022】
以上のように行列演算器１２０により算出される行列（Ｃｄ）は、特異ベクトルからなる行列であるＶとしてもよい。なお、Ｘｄ－１が列フルランクであり、rがｎと等しい場合、画像特徴量（ｆｉ）に対してＶを右から乗算しても、ベクトルのサイズは１×ｎのまま変わらない。このような場合には、特異値分解の結果、０と近似できる特異値を０とおき、近似により次元低減をする手法が考えられる。０と近似できる特異値を０とおく手法の詳細は、実施の形態２により明らかとなる。
【0023】
《特徴量低減処理回路１００を構成する射影変換部１３０》
特徴量低減処理回路１００を構成する射影変換部１３０は、逐次的に取得する画像特徴量であるｆｉ（ｉ＝１，２，…，ｍ）に対し、行列演算器１２０により算出される行列（Ｃｄ）を乗算する構成要素である。本明細書において画像特徴量（ｆｉ）は、横ベクトルとして定義されているため、射影変換部１３０における行列（Ｃｄ）の乗算は、画像特徴量（ｆｉ）に対して右からの乗算（ｆｉＣｄ）である。ＣｄをＶとして考えれば、Ｃｄのサイズはｎ×ｒ（ｒ＜ｎ）である。このように射影変換部１３０は、画像特徴量（ｆｉ）を低次元化画像特徴量（ｇｉ）に変換する役割を担う構成要素である。
低次元化画像特徴量（ｇｉ）は、数式（６）において、特異ベクトルからなる行列であるＶを用いて算出されることが示されているが、本開示技術はこれに限定されない。本開示技術において、射影変換部１３０がＶとは異なる行列（Ｃｄ、≠Ｖ）を用いる場合にも、低次元化された画像特徴量を低次元化画像特徴量とし、ｇｉで表されるものとする。
特徴量低減処理回路１００を構成する射影変換部１３０は、逐次的に取得する画像特徴量であるｆｉ（ｉ＝１，２，…，ｍ）に対し、行列演算器１２０により算出される行列（Ｃｄ）を乗算する構成要素である。本明細書において画像特徴量（ｆｉ）は、横ベクトルとして定義されているため、射影変換部１３０における行列（Ｃｄ）の乗算は、画像特徴量（ｆｉ）に対して右からの乗算（ｆｉＣｄ）である。ＣｄをＶとして考えれば、Ｃｄのサイズはｎ×ｒ（ｒ＜ｎ）である。このように射影変換部１３０は、画像特徴量（ｆｉ）を低次元化画像特徴量（ｇｉ）に変換する役割を担う構成要素である。
低次元化画像特徴量（ｇｉ）は、数式（６）において、特異ベクトルからなる行列であるＶを用いて算出されることが示されているが、本開示技術はこれに限定されない。本開示技術において、射影変換部１３０がＶとは異なる行列（Ｃｄ、≠Ｖ）を用いる場合にも、低次元化された画像特徴量を低次元化画像特徴量とし、ｇｉで表されるものとする。
【0024】
図１に示されるように、射影変換部１３０により生成された低次元化画像特徴量（ｇｉ）は、時間窓ごとのデータベースとして、画像検索装置がアクセス可能な記憶装置に格納される。また、射影変換部１３０が乗算に用いる行列（Ｃｄ）は、画像検索装置の検索処理回路２００においても用いられるため、特徴量低減処理回路１００と検索処理回路２００とで共有される。
【0025】
図３は、本開示技術に係る検索処理回路２００の機能構成を示すブロック図である。画像検索装置の特徴量低減処理回路１００が、画像データを蓄積するフェーズにおいて用いられる構成要素であるのに対し、画像検索装置の検索処理回路２００は、画像を検索するフェーズにおいて用いられる構成要素である。本開示技術に係る画像検索装置の処理内容を説明する上で、「画像データを蓄積するフェーズ」及び「画像を検索するフェーズ」と別々に定義されているが、画像検索装置が実用される場面において、両フェーズは同時に進行し得る。すなわち、特徴量低減処理回路１００により画像データが蓄積されていることと並行して、検索処理回路２００により画像が検索される、ということがあり得る。
図３に示されているｆｔａｒｇｅｔは、検索対象の画像に関する画像特徴量を表している。画像検索装置がクエリシステムの場合、ｆｔａｒｇｅｔは、クエリ対象の画像に関する画像特徴量である。
図３に示されているｆｔａｒｇｅｔは、検索対象の画像に関する画像特徴量を表している。画像検索装置がクエリシステムの場合、ｆｔａｒｇｅｔは、クエリ対象の画像に関する画像特徴量である。
【0026】
図３に示されるとおり、検索処理回路２００は、第二射影変換部２１０（２１０－０，２１０－１，…，２１０－ｘ，…）と、探索実行部２２０（２２０－０，２２０－１，…，２２０－ｘ，…）と、を含む。図３に示されるとおり、符号に「－０」と付された機能ブロックは、ｄ番目の時間窓に係るデータベースを扱う機能ブロックである。同様にして、符号に「－１」と付された機能ブロックは、ｄ－１番目の時間窓に係るデータベースを扱う機能ブロックである。また、一般化した表現として、符号に「－ｘ」と付された機能ブロックが、ｄ－ｘ番目の時間窓に係るデータベースを扱う機能ブロックであることを表すものとする。画像検索装置の検索処理回路２００がどの時間領域に係るデータベースまでを検索の対象とするかは、画像検索装置の設計事項であり、画像検索装置の使用目的及び仕様に基づいて決められるとよい。
【0027】
《検索処理回路２００を構成する第二射影変換部２１０》
検索処理回路２００を構成する第二射影変換部２１０は、入力されたｆｔａｒｇｅｔについて、低次元化画像特徴量を算出する構成要素である。検索処理回路２００における第二射影変換部２１０は、特徴量低減処理回路１００における射影変換部１３０に対応した構成要素である、と言える。前述のとおり、射影変換部１３０が乗算に用いる行列（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）は、検索処理回路２００において共有されているが、具体的には、検索処理回路２００の第二射影変換部２１０において共有されている。
第二射影変換部２１０において算出される低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）は、以下の数式により与えられる。
射影変換部１３０が乗算に用いる行列（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）が特異ベクトルからなるＶであるときは、第二射影変換部２１０が乗算に用いる（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）も、特異ベクトルからなるＶである。
検索処理回路２００を構成する第二射影変換部２１０は、入力されたｆｔａｒｇｅｔについて、低次元化画像特徴量を算出する構成要素である。検索処理回路２００における第二射影変換部２１０は、特徴量低減処理回路１００における射影変換部１３０に対応した構成要素である、と言える。前述のとおり、射影変換部１３０が乗算に用いる行列（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）は、検索処理回路２００において共有されているが、具体的には、検索処理回路２００の第二射影変換部２１０において共有されている。
第二射影変換部２１０において算出される低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）は、以下の数式により与えられる。
射影変換部１３０が乗算に用いる行列（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）が特異ベクトルからなるＶであるときは、第二射影変換部２１０が乗算に用いる（Ｃｄ，Ｃｄ－１，Ｃｄ－２，…，Ｃｄ－ｘ，…）も、特異ベクトルからなるＶである。
【0028】
《検索処理回路２００を構成する探索実行部２２０》
検索処理回路２００を構成する探索実行部２２０は、第二射影変換部２１０において算出される低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）に基づいて、時間窓ごとに分けられたデータベースから、もっともらしい画像特徴量を探索する構成要素である。なお、ここで用いられる「探索」の用語は、コンピュータの技術分野で用いられるものと同じであり、希望するデータを取り出す処理、又は格納されている場所を決定する処理、を意味するものである。
探索実行部２２０は、具体的には、特徴量空間における距離を算出し、算出された距離の大きさに基づいて、もっともらしい画像特徴量を抽出する。探索実行部２２０が算出する距離は、ユークリッド距離、マハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離、等の、類似性を評価する指標として用いられる距離である。
検索処理回路２００を構成する探索実行部２２０は、第二射影変換部２１０において算出される低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）に基づいて、時間窓ごとに分けられたデータベースから、もっともらしい画像特徴量を探索する構成要素である。なお、ここで用いられる「探索」の用語は、コンピュータの技術分野で用いられるものと同じであり、希望するデータを取り出す処理、又は格納されている場所を決定する処理、を意味するものである。
探索実行部２２０は、具体的には、特徴量空間における距離を算出し、算出された距離の大きさに基づいて、もっともらしい画像特徴量を抽出する。探索実行部２２０が算出する距離は、ユークリッド距離、マハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離、等の、類似性を評価する指標として用いられる距離である。
【0029】
数式（２）及び数式（６）に示されるように、特異値が大きい順に並べられた特異値分解を用いると、低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）は、最も主要な要素が第一成分に、次に主要な要素が第二成分になるように（以下同様）、生成される。したがって、検索処理回路２００を構成する探索実行部２２０は、例えば、第一成分のみを使って、又は第一成分から第ｋ成分（ｋは２以上、かつｒ未満の自然数）までのみを使って、距離を計算し、もっともらしい画像特徴量の候補を抽出してもよい。あるいは、検索処理回路２００を構成する探索実行部２２０は、例えば、第一成分のみを使って、又は第一成分から第ｋ成分までのみを使って距離を計算し、探索の対象とすべきものと探索の対象から外すべきものとを分けるフィルタリングを実施してもよい。
第一成分から第ｋ成分までのみを使って距離を計算する着想は、特異値分解において０と近似できる特異値を０とおき近似する低次元化の手法と共通する。前述のとおり、特異値分解において０と近似できる特異値を０とおき近似する低次元化の手法は、実施の形態２において明らかとなる。
第一成分から第ｋ成分までのみを使って距離を計算する着想は、特異値分解において０と近似できる特異値を０とおき近似する低次元化の手法と共通する。前述のとおり、特異値分解において０と近似できる特異値を０とおき近似する低次元化の手法は、実施の形態２において明らかとなる。
【0030】
探索実行部２２０が行う探索は、検索対象の低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）とデータベース化された低次元化画像特徴量（ｇｉ）との間の距離を算出することにより行うが、すべての低次元化画像特徴量（ｇｉ）についてまで距離を計算する必要はない。
探索実行部２２０が行う探索は、例えば、検索対象の低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の各成分の値と、時間窓ごとに分けられたデータベース化された低次元化画像特徴量（ｇｉ）の各成分の値と、をそれぞれ二進法で表すとよい。二進法で表すことは、探索の候補を絞る作業（フィルタリングと称される）に役立つ。具体的に言えば、探索実行部２２０が行う探索は、二進法で表された２つのデータに対して、上位ビットから順に、一致するか否かを確認する。検索対象の低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の第一成分と、着目している或る低次元化画像特徴量（ｇｉ）の第一成分と、を比較したとき、それぞれの最上位ビットが一致していなければ、距離が最短なペアである可能性は低い。このように、最上位ビットすら一致していないデータは、探索の候補から外すことが考えられる。最上位ビットによるフィルタリングの次は、２番目に上位のビットで同様のフィルタリングを行う。この探索手法は、二分法と称される探索手法と発想が類似している。
なお、２つのデータに対して、上位桁から順に一致するか否かを確認する手法は、二進法で表されたものに限定されない。一般のＮ進法で表されている２つのデータに対して、上位桁から順に一致するか否かを確認する方法も、探索におけるフィルタリングとして考えられる。
探索実行部２２０が行う探索は、例えば、検索対象の低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の各成分の値と、時間窓ごとに分けられたデータベース化された低次元化画像特徴量（ｇｉ）の各成分の値と、をそれぞれ二進法で表すとよい。二進法で表すことは、探索の候補を絞る作業（フィルタリングと称される）に役立つ。具体的に言えば、探索実行部２２０が行う探索は、二進法で表された２つのデータに対して、上位ビットから順に、一致するか否かを確認する。検索対象の低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の第一成分と、着目している或る低次元化画像特徴量（ｇｉ）の第一成分と、を比較したとき、それぞれの最上位ビットが一致していなければ、距離が最短なペアである可能性は低い。このように、最上位ビットすら一致していないデータは、探索の候補から外すことが考えられる。最上位ビットによるフィルタリングの次は、２番目に上位のビットで同様のフィルタリングを行う。この探索手法は、二分法と称される探索手法と発想が類似している。
なお、２つのデータに対して、上位桁から順に一致するか否かを確認する手法は、二進法で表されたものに限定されない。一般のＮ進法で表されている２つのデータに対して、上位桁から順に一致するか否かを確認する方法も、探索におけるフィルタリングとして考えられる。
【0031】
探索実行部２２０が行う探索の処理は、前述のとおり、特徴量低減処理回路１００により画像データが蓄積されていることと並行して実施される。例えば、現時刻がｄ番目の時間窓に属する場合、特徴量低減処理回路１００により画像データがｄ番目のデータベースに蓄積されることと並行して、探索実行部２２０がｄ番目のデータベースの探索を実施することが考えられる。
図２が示すように、ｄ番目の時間窓に係るデータベースのデータに基づいて行列演算器１２０が行列を演算する処理（ＳＴ１２０）は、ｄ番目の時間窓において、データ格納部１１０が全ての画像特徴量を取得する（ＳＴ１１０）処理の後である。したがって、従来の考え方に従えば、画像検索装置は、データ格納部１１０が画像特徴量を取得する処理（ＳＴ１１０）を全て完了した後でなければ、射影変換部１３０による射影変換処理（ＳＴ１３０）を実施できない。すなわち、従来の考え方に従えば、特徴量低減処理回路１００により画像データがｄ番目のデータベースに蓄積されることと並行して、探索実行部２２０がｄ番目のデータベースの探索を実施することもできない。
固定されたひとつの行列（Ｃ）を用いて、低次元化画像特徴量を生成する、ということも考えられる。しかし、前述のとおり、同一の防犯カメラから得られる画像であるにもかかわらず、例えば１日単位の時間窓で見た場合に、次元削減に用いるのに適した行列は変化してしまう。すなわち、時間が経過するにつれて、固定されたひとつの行列（Ｃ）による低次元化は、クエリシステムに適さなくなる。
図２が示すように、ｄ番目の時間窓に係るデータベースのデータに基づいて行列演算器１２０が行列を演算する処理（ＳＴ１２０）は、ｄ番目の時間窓において、データ格納部１１０が全ての画像特徴量を取得する（ＳＴ１１０）処理の後である。したがって、従来の考え方に従えば、画像検索装置は、データ格納部１１０が画像特徴量を取得する処理（ＳＴ１１０）を全て完了した後でなければ、射影変換部１３０による射影変換処理（ＳＴ１３０）を実施できない。すなわち、従来の考え方に従えば、特徴量低減処理回路１００により画像データがｄ番目のデータベースに蓄積されることと並行して、探索実行部２２０がｄ番目のデータベースの探索を実施することもできない。
固定されたひとつの行列（Ｃ）を用いて、低次元化画像特徴量を生成する、ということも考えられる。しかし、前述のとおり、同一の防犯カメラから得られる画像であるにもかかわらず、例えば１日単位の時間窓で見た場合に、次元削減に用いるのに適した行列は変化してしまう。すなわち、時間が経過するにつれて、固定されたひとつの行列（Ｃ）による低次元化は、クエリシステムに適さなくなる。
【0032】
実施の形態１に係る画像検索装置の優れた効果のひとつは、データ格納部１１０が画像特徴量を取得する処理（ＳＴ１１０）の全てを完了する前であっても、射影変換部１３０が、逐次的に射影変換処理（ＳＴ１３０）を実施できる点にある。
実施の形態１に係る画像検索装置の他の優れた効果は、特徴量低減処理回路１００により画像データがｄ番目のデータベースに蓄積されることと並行して、探索実行部２２０がｄ番目のデータベースの探索を実施することができる点にある。
総括的に言えば、実施の形態１に係る画像検索装置の優れた効果は、「次元削減に適した行列が変化する」という課題を克服し、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる点にある。
これらの効果は、例えば１日単位という時間窓を設定した場合、次元削減に用いるのに適した行列の変化がゆるやかである、という性質を積極的に利用したことにより得られるものである。
変化がゆるやかであるという性質に着目し、実施の形態１に係る画像検索装置は、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）を用いて算出した行列（Ｃｄ）を、ｄ番目の時間窓に係る演算処理に用いる。この技術的特徴により、実施の形態１に係る画像検索装置は、上記の優れた効果を奏する。
実施の形態１に係る画像検索装置の他の優れた効果は、特徴量低減処理回路１００により画像データがｄ番目のデータベースに蓄積されることと並行して、探索実行部２２０がｄ番目のデータベースの探索を実施することができる点にある。
総括的に言えば、実施の形態１に係る画像検索装置の優れた効果は、「次元削減に適した行列が変化する」という課題を克服し、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる点にある。
これらの効果は、例えば１日単位という時間窓を設定した場合、次元削減に用いるのに適した行列の変化がゆるやかである、という性質を積極的に利用したことにより得られるものである。
変化がゆるやかであるという性質に着目し、実施の形態１に係る画像検索装置は、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）を用いて算出した行列（Ｃｄ）を、ｄ番目の時間窓に係る演算処理に用いる。この技術的特徴により、実施の形態１に係る画像検索装置は、上記の優れた効果を奏する。
【0033】
実施の形態２．
実施の形態２に係る画像検索装置は、本開示技術に係る画像検索装置の変形例である。実施の形態２に係る画像検索装置は、機能構成という観点から言えば、実施の形態１に係る画像検索装置と同じである。したがって、特に明記する場合を除き、実施の形態２において、実施の形態１で用いられた符号と同じものが使用される。また、実施の形態２において、実施の形態１と重複する説明は、適宜、省略される。
実施の形態２に係る画像検索装置は、本開示技術に係る画像検索装置の変形例である。実施の形態２に係る画像検索装置は、機能構成という観点から言えば、実施の形態１に係る画像検索装置と同じである。したがって、特に明記する場合を除き、実施の形態２において、実施の形態１で用いられた符号と同じものが使用される。また、実施の形態２において、実施の形態１と重複する説明は、適宜、省略される。
【0034】
実施の形態２に係る画像検索装置は、行列演算器１２０により算出される行列を具体化した態様のものである、と言える。実施の形態２に係る画像検索装置は、行列演算器１２０により算出される行列が、特異値分解において０と近似できる特異値を０とおく近似により次元低減をする手法に基づく、というものである。
【0035】
数式（２）に示される特異値分解は、以下の数式で与えられる近似式が成り立つ。
数式（１０）の右辺は、大きい順から数えて、ｋ＋１番目からｒ番目の特異値を、０（ゼロ）と置き換えたものである。数式（１０）右辺における対角行列は、Ｓにチルダのアクセント記号を付して表し、数式（１０）左辺における対角行列（Ｓ）に類似していることを表している。数式（１０）は、「０と近似できる特異値を０とおく近似」を表している。
数式（１０）に示されるとおり、ｋは、ランクを示すｒよりも小さい正の整数である。
数式（１０）の右辺は、大きい順から数えて、ｋ＋１番目からｒ番目の特異値を、０（ゼロ）と置き換えたものである。数式（１０）右辺における対角行列は、Ｓにチルダのアクセント記号を付して表し、数式（１０）左辺における対角行列（Ｓ）に類似していることを表している。数式（１０）は、「０と近似できる特異値を０とおく近似」を表している。
数式（１０）に示されるとおり、ｋは、ランクを示すｒよりも小さい正の整数である。
【0036】
数式（１０）の右辺は、以下の数式で示されるように変形できる。
ここで、数式（１１）の右辺に登場する右下添え字のｔｒｕｎｃは、ｔｒｕｎｃａｔｉｏｎを由来とする。Ｕｔｒｕｎｃは、サイズがｍ×ｋの行列である。Ｓｔｒｕｎｃは、サイズがｋ×ｋの対角行列である。Ｖｔｒｕｎｃは、サイズがｎ×ｋの行列である。
ここで、数式（１１）の右辺に登場する右下添え字のｔｒｕｎｃは、ｔｒｕｎｃａｔｉｏｎを由来とする。Ｕｔｒｕｎｃは、サイズがｍ×ｋの行列である。Ｓｔｒｕｎｃは、サイズがｋ×ｋの対角行列である。Ｖｔｒｕｎｃは、サイズがｎ×ｋの行列である。
【0037】
実施の形態２に係る画像検索装置は、数式（１１）に係るＶｔｒｕｎｃを、行列演算器１２０により算出される行列とする。したがって、実施の形態２に係る画像検索装置において、特徴量低減処理回路１００を構成する射影変換部１３０、及び検索処理回路２００を構成する第二射影変換部２１０は、それぞれ、Ｖｔｒｕｎｃを用いて射影変換を実施する。
Ｖｔｒｕｎｃを行列演算器１２０により算出される行列とする効果は、実施の形態１において開示された、低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の第一成分から第ｋ成分までのみを使う効果と、同じである。
Ｖｔｒｕｎｃを行列演算器１２０により算出される行列とする効果は、実施の形態１において開示された、低次元化画像特徴量（ｇｔａｒｇｅｔ＿ｘ）の第一成分から第ｋ成分までのみを使う効果と、同じである。
【0038】
実施の形態２に係る画像検索装置に特有の作用効果は、Ｘｄ－１が列フルランクでありrがｎと等しい場合であっても、検索対象の画像に関する画像特徴量（ｆｔａｒｇｅｔ）の次元をｎからｋへ低減する射影行列を生成できる、というものである。
この作用効果により、実施の形態２に係る画像検索装置は、実施の形態１に係る画像検索装置と同様に、「次元削減に適した行列が変化する」という課題を克服し、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる。
この作用効果により、実施の形態２に係る画像検索装置は、実施の形態１に係る画像検索装置と同様に、「次元削減に適した行列が変化する」という課題を克服し、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる。
【0039】
実施の形態３．
実施の形態３に係る画像検索装置は、本開示技術に係る画像検索装置の変形例である。特に明記する場合を除き、実施の形態３において、既出の実施の形態で用いられた符号と同じものが使用される。また、実施の形態３において、既出の実施の形態と重複する説明は、適宜、省略される。
実施の形態３に係る画像検索装置は、本開示技術に係る画像検索装置の変形例である。特に明記する場合を除き、実施の形態３において、既出の実施の形態で用いられた符号と同じものが使用される。また、実施の形態３において、既出の実施の形態と重複する説明は、適宜、省略される。
【0040】
前述のとおり、実施の形態１及び２に係る画像検索装置の技術的特徴は、ｄ－１番目の時間窓に係るデータ（Ｘｄ－１）を用いて算出した行列（Ｃｄ）を、ｄ番目の時間窓に係る演算処理に用いる点にあった。このように、実施の形態１及び２に係る画像検索装置においては、時間軸でみたときに、隣接する直近の過去であるｄ－１番目の時間窓に係るデータ（Ｘｄ－１）が用いられている。
実施の形態３に係る画像検索装置は、「隣接する直近の過去」という部分を、「経験上、画像データの特徴が類似すると予測できる過去」に、一般化する。逆の言い方をすれば、１日単位の時間窓で見た場合に、隣接する直近の過去は、「経験上、画像データの特徴が類似すると予測できる過去」の具体例である。技術的に言っても、「隣接する直近の過去」であることは本質的なことではなく、「経験上、画像データの特徴が類似すると予測できる」ことが重要である。
実施の形態３に係る画像検索装置は、「隣接する直近の過去」という部分を、「経験上、画像データの特徴が類似すると予測できる過去」に、一般化する。逆の言い方をすれば、１日単位の時間窓で見た場合に、隣接する直近の過去は、「経験上、画像データの特徴が類似すると予測できる過去」の具体例である。技術的に言っても、「隣接する直近の過去」であることは本質的なことではなく、「経験上、画像データの特徴が類似すると予測できる」ことが重要である。
【0041】
画像検索装置が用いるデータは、１日単位とは異なる、例えば、０時から６時、６時から１２時、１２時から１８時、１８時から２４時、といった６時間単位の時間窓でのデータベース化が要求される場合がある。現時刻が「１２時から１８時」の時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、昨日の「１２時から１８時」のものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、昨日の「１２時から１８時」に係るデータを用いて行列（Ｃｄ）を算出すればよい。
このように、人間に係る画像データの特徴は、人間の生活行動にあわせて周期的に変化することがある。
このように、人間に係る画像データの特徴は、人間の生活行動にあわせて周期的に変化することがある。
【0042】
画像データの特徴が変化する周期は、１日を単位としたもの、１週間を単位としたもの、１年を単位としたもの、等さまざまである。
例えば、平日と週末とでは、画像データの特徴が異なることがある。現時刻が、日曜日の時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、先週の日曜日のものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、先週の日曜日に係るデータを用いて行列（Ｃｄ）を算出すればよい。このように１週間を単位とした変化周期も、人間の生活行動に由来すると考えられる。
また、例えば、夏と冬とでは、画像データの特徴が異なることがある。現時刻が、夏の時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、昨年の夏のものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、昨年の夏に係るデータを用いて行列（Ｃｄ）を算出すればよい。このように１年を単位とした変化周期も、人間の生活行動に、特に服装などの違いに、由来すると考えられる。
例えば、平日と週末とでは、画像データの特徴が異なることがある。現時刻が、日曜日の時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、先週の日曜日のものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、先週の日曜日に係るデータを用いて行列（Ｃｄ）を算出すればよい。このように１週間を単位とした変化周期も、人間の生活行動に由来すると考えられる。
また、例えば、夏と冬とでは、画像データの特徴が異なることがある。現時刻が、夏の時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、昨年の夏のものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、昨年の夏に係るデータを用いて行列（Ｃｄ）を算出すればよい。このように１年を単位とした変化周期も、人間の生活行動に、特に服装などの違いに、由来すると考えられる。
【0043】
画像データの特徴は、特別なイベントがある日において、通常の日とは異なるということもあり得る。特別なイベントとは、各種のお祭り、人気アーティストが行うコンサート、国際的な会議、国際的なスポーツイベント、等が考えらる。
例えば、クリスマスイブにおける画像データの特徴は、通常の日における画像データとは異なることがある。現時刻が、クリスマスイブの時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、昨年のクリスマスイブのものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、昨年のクリスマスイブに係るデータを用いて行列（Ｃｄ）を算出すればよい。このように、特別なイベントがある日における変化も、人間の生活行動に由来すると考えられる。
例えば、クリスマスイブにおける画像データの特徴は、通常の日における画像データとは異なることがある。現時刻が、クリスマスイブの時間窓に含まれているとする。このときに、経験上、この時間窓に係る画像データの特徴が、昨年のクリスマスイブのものと類似するとわかっていれば、実施の形態３に係る画像検索装置は、昨年のクリスマスイブに係るデータを用いて行列（Ｃｄ）を算出すればよい。このように、特別なイベントがある日における変化も、人間の生活行動に由来すると考えられる。
【0044】
このように、人間に係る画像データの特徴は、人間の生活行動と密接な関係がある、と言える。そして、人間の生活行動は、戦争、パンデミック、自然災害、といった災いによっても、大きく影響を受ける。
例えば、現時刻が、２０２２年のクリスマスイブの時間窓に含まれていると仮定する。新型コロナウイルスの感染拡大の影響を考慮して、実施の形態３に係る画像検索装置は、昨年ではなく、新型コロナウイルスの感染拡大前の２０１９年又は２０１８年のクリスマスイブに係るデータを用いて行列（Ｃｄ）を算出してもよい。
例えば、現時刻が、２０２２年のクリスマスイブの時間窓に含まれていると仮定する。新型コロナウイルスの感染拡大の影響を考慮して、実施の形態３に係る画像検索装置は、昨年ではなく、新型コロナウイルスの感染拡大前の２０１９年又は２０１８年のクリスマスイブに係るデータを用いて行列（Ｃｄ）を算出してもよい。
【0045】
実施の形態３に係る画像検索装置は、「経験上、画像データの特徴が類似すると予測できる過去」の時間窓に係るデータに基づいて、射影行列（Ｃｄ）を算出する、というものである。
この射影行列（Ｃｄ）の算出に関する事項の一般化により、実施の形態３に係る画像検索装置は、人間の生活行動を考慮して、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる。
この射影行列（Ｃｄ）の算出に関する事項の一般化により、実施の形態３に係る画像検索装置は、人間の生活行動を考慮して、異なる時間領域に係る複数のデータベースを対象とした高速検索を実施できる。
【産業上の利用可能性】
【0046】
本開示技術は、例えば、空港等の施設において、防犯カメラで撮影された動画像から、迷子又は不審者を見つけ出すシステムとして応用でき、産業上の利用可能性を有する。
【符号の説明】
【0047】
１００ 特徴量低減処理回路、１１０ データ格納部、１２０ 行列演算器、１３０ 射影変換部、２００ 検索処理回路、２１０ 第二射影変換部、２２０ 探索実行部。
【図1】
【図2】
【図3】