ホーム > 特許ランキング > トヨタ自動車株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】キーポイント補正装置、キーポイント補正方法、及びプログラム
(51)【国際特許分類】
G06T 7/246 20170101AFI20241217BHJP
【ＦＩ】
G06T7/246
【請求項の数】
10
(21)【出願番号】P 2021185000
(22)【出願日】2021-11-12
(65)【公開番号】P2023072441
(43)【公開日】2023-05-24
【審査請求日】2023-11-08
(73)【特許権者】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】中野 雄介
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２００６－３２３４３７（ＪＰ，Ａ）
【文献】特開２０１８－０３２２５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｖ １０／００－２０／９０
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
複数の撮像画像を取得する取得部と、各前記撮像画像から移動物体の複数のキーポイントを検出する検出部と、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定部と、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定部と、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正部と、を有し、
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定部は、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、キーポイント補正装置。
【請求項2】
前記判定部は、前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、請求項１に記載のキーポイント補正装置。
【請求項3】
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成部を有し、前記決定範囲生成部は、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、請求項２に記載のキーポイント補正装置。
【請求項4】
複数の撮像画像を取得する取得部と、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出部と、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定部と、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定部と、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正部と、を有し、
前記判定部は、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、キーポイント補正装置。
【請求項5】
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、請求項４に記載のキーポイント補正装置。
【請求項6】
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど小さい値となる、請求項５に記載のキーポイント補正装置。
【請求項7】
前記補正パラメータは前記移動物体の大きさを表し、前記補正部は、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、請求項１から６いずれか一項に記載のキーポイント補正装置。
【請求項8】
コンピュータによって実行されるキーポイント補正方法であって、複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を有し、
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、キーポイント補正方法。
【請求項9】
コンピュータによって実行されるキーポイント補正方法であって、
複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を有し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、キーポイント補正方法。
【請求項10】
コンピュータに、複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を実行させ、
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像画像に含まれる移動物体のキーポイントを検出する技術に関する。
【背景技術】
【0002】
車両や人などの移動物体を撮像することで得られる撮像画像を解析することで、これらの移動物体の画像上のキーポイントを検出する技術が開発されている。例えば特許文献１は、それぞれ異なるタイミングで生成される複数の撮像画像から移動物体のキーポイントを検出し、検出したキーポイントを利用して、部分的に変形する移動物体を安定して追跡する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－０３９６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１は、キーポイントの精度については言及していない。本開示は、撮像画像から検出される移動物体のキーポイントの精度を向上させる技術を提供するものである。
【課題を解決するための手段】
【0005】
本開示のキーポイント補正装置は、複数の撮像画像を取得する取得部と、前記撮像画像から移動物体の複数のキーポイントを検出する検出部と、前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定部と、前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定部と、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正部と、を有する。
【0006】
本開示のキーポイント補正方法はコンピュータによって実行される。当該制御方法は、複数の撮像画像を取得する取得ステップと、各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を有する。
【0007】
本開示のプログラムは、本開示のキーポイント補正方法をコンピュータに実行させる。
【発明の効果】
【0008】
本発明によれば、撮像画像から検出される移動物体のキーポイントの精度を向上させる技術が提供される。
【図面の簡単な説明】
【0009】
【図1】実施形態１のキーポイント補正装置の動作の概要を例示する図である。
【図2】対象物体のキーポイントを例示する図である。
【図3】実施形態１のキーポイント補正装置の機能構成を例示するブロック図である。
【図4】キーポイント補正装置を実現するコンピュータのハードウエア構成を例示するブロック図である。
【図5】実施形態１のキーポイント補正装置によって実行される処理の流れを例示するフローチャートである。
【図6】対象物体を表す矩形領域を決定する方法を例示する図である。
【図7】補正パラメータの更新を行う機能を有するキーポイント補正装置について、その処理の流れの例示するフローチャートである。
【図8】補正矩形を用いてキーポイント対応点を補正する方法を例示する図である。
【図9】決定範囲生成部を有するキーポイント補正装置の機能構成を例示するブロック図である。
【図10】教師画像を用いて決定範囲を生成する処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0010】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶部などに予め格納されている。さらに、特に説明しない限り、記憶部は、１つ以上の任意の数の記憶装置で構成される。
【0011】
［実施形態１］
＜概要＞
図１は、実施形態１のキーポイント補正装置２０００の動作の概要を例示する図である。ここで、図１は、キーポイント補正装置２０００の概要の理解を容易にするための図であり、キーポイント補正装置２０００の動作は、図１に示したものに限定されない。
＜概要＞
図１は、実施形態１のキーポイント補正装置２０００の動作の概要を例示する図である。ここで、図１は、キーポイント補正装置２０００の概要の理解を容易にするための図であり、キーポイント補正装置２０００の動作は、図１に示したものに限定されない。
【0012】
キーポイント補正装置２０００は、時系列の複数の撮像画像１０（例えば、ビデオデータを構成する複数のビデオフレーム）から、対象物体２０のキーポイントを検出する。対象物体２０は、キーポイントの検出対象として扱われる、所定の種類の移動物体である。所定の種類は、例えば、車両、人、又は移動型ロボットなどである。車両としては、バス、トラック、若しくは乗用車などの任意の自動車、オートバイ、又は自転車などといった様々な種類の車両を扱うことができる。なお、キーポイント補正装置２０００が対象物体２０として扱う移動物体の種類は１種類には限定されず、複数種類の移動物体がそれぞれ対象物体２０として扱われてもよい。例えばキーポイント補正装置２０００は、任意の種類の車両、及び人を対象物体２０として検出する。
【0013】
撮像画像１０は、対象物体２０を撮像できるように設けられたカメラ４０によって生成される。例えば車両や人が対象物体２０として扱われる場合、カメラ４０は、道路を撮像可能な場所に設置される。カメラ４０は、ビデオデータを生成するビデオカメラであってもよいし、静止画データを生成するスチルカメラであってもよい。後者の場合、カメラ４０は、繰り返し撮像を行うことにより、時系列の複数の撮像画像１０を生成する。
【0014】
対象物体２０のキーポイントは、撮像画像１０から検出される対象物体２０の特徴点であり、対象物体２０の位置や姿勢を表すために利用することができる。例えばキーポイントは、対象物体２０を囲う３次元バウンディングボックスの底面の頂点を道路へ射影した点である。
【0015】
図２は、対象物体２０のキーポイントを例示する図である。図２には、撮像画像１０と、撮像画像１０を正射変換することで得られるオルソ画像５０とが示されている。撮像画像１０からオルソ画像５０を得るための正射変換は、所定のホモグラフィー行列を利用することで実現できる。
【0016】
バウンディングボックス６０は、撮像画像１０から検出された対象物体２０を囲う３次元バウンディングボックスである。キーポイント３０－１、キーポイント３０－２、キーポイント３０－３、及びキーポイント３０－４はそれぞれ対象物体２０のキーポイントであり、バウンディングボックス６０の底面の各頂点を道路上に射影することで得られる。
【0017】
キーポイント対応点８０は、正射変換によってオルソ画像５０上に射影されたキーポイント３０を表す。キーポイント対応点８０－１、キーポイント対応点８０－２、キーポイント対応点８０－３、及びキーポイント対応点８０－４はそれぞれ、キーポイント３０－１、キーポイント３０－２、キーポイント３０－３、及びキーポイント３０－４に対応する。
【0018】
キーポイント３０は、対象物体２０の３次元バウンディングボックスの底面の各頂点を道路へ射影した点に限定されない。例えば、対象物体２０の３次元バウンディングボックスの各頂点をキーポイント３０として扱ってもよい。
【0019】
キーポイント補正装置２０００は、各撮像画像１０に含まれる対象物体２０のキーポイント３０を検出する。ここで、１つの撮像画像１０から複数の対象物体２０が検出される場合、これら複数の対象物体２０それぞれについて、キーポイント３０の検出が行われる。
【0020】
さらにキーポイント補正装置２０００は、各撮像画像１０について、その撮像画像１０から検出された対象物体２０の中に、そのキーポイント３０が所定の適正条件を満たしているものが存在するか否かを判定する。適正条件は、撮像画像１０から対象物体２０のキーポイント３０が精度良く検出されている蓋然性が高く、そのキーポイント３０がその対象物体２０について、後述する補正パラメータの決定に適している場合に満たされる条件である。適正条件の具体的な内容については後述する。
【0021】
ここで、或る撮像画像１０から検出された或る対象物体２０についてのキーポイント３０が適正条件を満たしている場合、その撮像画像１０を、その対象物体２０に対応する適正画像と呼ぶ。言い換えれば、或る対象物体２０に対応する適正画像は、その対象物体２０から検出されたキーポイント３０が適正条件を満たしている撮像画像１０である。
【0022】
撮像画像１０から検出された対象物体２０のキーポイント３０が適正条件を満たしていると判定された場合、キーポイント補正装置２０００は、その撮像画像１０（適正画像）に対応する対象物体２０について、キーポイント３０の補正に利用する補正パラメータを決定する。補正パラメータは、対応する対象物体２０について検出される複数のキーポイント３０が満たすべき相対的な位置関係を表す。例えばキーポイント補正装置２０００は、適正画像から得られるオルソ画像５０上のキーポイント対応点８０を用いて、その適正画像に対応する対象物体２０を表すオルソ画像５０上の矩形領域を決定する。そして、キーポイント補正装置２０００は、この矩形領域の幅と高さの組み合わせを、対象物体２０に対応する補正パラメータとして決定する。この補正パラメータにより、対象物体２０についてのキーポイント対応点８０が満たすべき相対的な位置関係が定まる。ここで、キーポイント対応点８０はキーポイント３０に対応する点である。そのため、対象物体２０についてのキーポイント対応点８０が満たすべき相対的な位置関係が定まることにより、対象物体２０についてのキーポイント３０が満たすべき相対的な位置関係も定まる。
【0023】
キーポイント補正装置２０００は、撮像画像１０から検出された対象物体２０について補正パラメータが決定されている場合、その撮像画像１０から検出されたその対象物体２０のキーポイント３０を、その対象物体２０について決定された補正パラメータを利用して補正する。言い換えれば、キーポイント補正装置２０００は、或る対象物体２０についての適正画像よりも後に生成された撮像画像１０からその対象物体２０が検出された場合、その撮像画像１０から検出されたその対象物体２０のキーポイント３０を、その対象物体２０について決定された補正パラメータを利用して補正する。
【0024】
＜作用効果の例＞
キーポイント補正装置２０００は、撮像画像１０から対象物体２０のキーポイント３０を検出する。ここで、撮像画像１０からキーポイント３０を検出する処理の精度は、撮像画像１０における対象物体２０の見え方などによって異なりうる。例えば、対象物体２０の位置や姿勢が、対象物体２０の１つの側面しかカメラ４０から撮像することができない位置や姿勢である状況では、その対象物体２０をカメラ４０で平面的にしか捉えることができず、その対象物体２０のキーポイント３０を検出する処理の精度が低くなりうる。一方、対象物体２０の位置や姿勢が、対象物体２０の上面及び２つの側面をカメラ４０から撮像できる位置や姿勢である場合には、その対象物体２０をカメラ４０で立体的に捉えることができるため、その対象物体２０のキーポイント３０を検出する処理の精度が高くなりうる。
キーポイント補正装置２０００は、撮像画像１０から対象物体２０のキーポイント３０を検出する。ここで、撮像画像１０からキーポイント３０を検出する処理の精度は、撮像画像１０における対象物体２０の見え方などによって異なりうる。例えば、対象物体２０の位置や姿勢が、対象物体２０の１つの側面しかカメラ４０から撮像することができない位置や姿勢である状況では、その対象物体２０をカメラ４０で平面的にしか捉えることができず、その対象物体２０のキーポイント３０を検出する処理の精度が低くなりうる。一方、対象物体２０の位置や姿勢が、対象物体２０の上面及び２つの側面をカメラ４０から撮像できる位置や姿勢である場合には、その対象物体２０をカメラ４０で立体的に捉えることができるため、その対象物体２０のキーポイント３０を検出する処理の精度が高くなりうる。
【0025】
このような、キーポイント３０の精度に差異が生じうるという状況に鑑み、キーポイント補正装置２０００は、高い精度で検出されたと考えられるキーポイント３０を利用して、他のキーポイント３０を補正する。ここで、キーポイント３０が高い精度で検出できたと考えられる場合に満たされるように、適正条件を予め定めておく。そしてキーポイント補正装置２０００は、撮像画像１０から検出された対象物体２０のキーポイント３０が適正条件を満たす場合に、そのキーポイント３０を用いて、その対象物体２０の補正パラメータを決定する。こうすることで、高い精度で検出されたと考えられるキーポイント３０により、補正パラメータが定まる。さらにキーポイント補正装置２０００は、補正パラメータが決定されている対象物体２０が撮像画像１０から検出された場合に、その対象物体２０のキーポイント３０を、補正パラメータを利用して補正する。こうすることで、高い精度で検出されたと考えられるキーポイント３０に基づいて、他のキーポイント３０が補正される。そのため、キーポイント補正装置２０００を利用することにより、補正パラメータの精度を向上させることができる。
【0026】
以下、本実施形態のキーポイント補正装置２０００について、より詳細に説明する。
【0027】
＜機能構成の例＞
図３は、実施形態１のキーポイント補正装置２０００の機能構成を例示するブロック図である。取得部２０２０は複数の撮像画像１０を取得する。検出部２０４０は、各撮像画像１０に含まれる対象物体２０のキーポイント３０を検出する。判定部２０６０は、撮像画像１０から検出された対象物体２０のキーポイント３０が、補正パラメータの決定に用いることについての適正条件を満たしているか否かを判定する。決定部２０８０は、撮像画像１０から検出された対象物体２０のキーポイント３０が適正条件を満たしている場合、そのキーポイント３０を用いてその対象物体２０についての補正パラメータを決定する。補正部２１００は、撮像画像１０から検出された対象物体２０に対応する補正パラメータが決定されている場合、その撮像画像１０から検出されたその対象物体２０のキーポイント３０を、その対象物体２０に対応する補正パラメータを利用して補正する。
図３は、実施形態１のキーポイント補正装置２０００の機能構成を例示するブロック図である。取得部２０２０は複数の撮像画像１０を取得する。検出部２０４０は、各撮像画像１０に含まれる対象物体２０のキーポイント３０を検出する。判定部２０６０は、撮像画像１０から検出された対象物体２０のキーポイント３０が、補正パラメータの決定に用いることについての適正条件を満たしているか否かを判定する。決定部２０８０は、撮像画像１０から検出された対象物体２０のキーポイント３０が適正条件を満たしている場合、そのキーポイント３０を用いてその対象物体２０についての補正パラメータを決定する。補正部２１００は、撮像画像１０から検出された対象物体２０に対応する補正パラメータが決定されている場合、その撮像画像１０から検出されたその対象物体２０のキーポイント３０を、その対象物体２０に対応する補正パラメータを利用して補正する。
【0028】
＜ハードウエア構成の例＞
キーポイント補正装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、キーポイント補正装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
キーポイント補正装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、キーポイント補正装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0029】
図４は、キーポイント補正装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。なお、コンピュータ５００は、撮像画像１０を生成するカメラ４０の内部に設けられてもよい。コンピュータ５００は、キーポイント補正装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
【0030】
例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、キーポイント補正装置２０００の各機能が実現される。上記アプリケーションは、キーポイント補正装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
【0031】
コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
【0032】
プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
【0033】
入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0034】
ネットワークインタフェース５１２は、コンピュータ５００をネットワーク６００に接続するためのインタフェースである。ネットワーク６００は、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。例えば図４において、コンピュータ５００は、ネットワーク６００を介してカメラ４０と通信可能に接続される。ただし、コンピュータ５００とカメラ４０とを通信可能に接続する方法は、ネットワークを介した接続に限定されない。また、コンピュータ５００は、カメラ４０によって生成された撮像画像１０を取得できればよく、カメラ４０と通信可能に接続されていなくてもよい。
【0035】
ストレージデバイス５０８は、キーポイント補正装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、キーポイント補正装置２０００の各機能構成部を実現する。
【0036】
キーポイント補正装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。
【0037】
＜処理の流れ＞
図５は、実施形態１のキーポイント補正装置２０００によって実行される処理の流れを例示するフローチャートである。なお、ここで、図５に示す処理の流れはあくまで例示であり、キーポイント補正装置２０００によって実行される処理の流れは図５に示されているものに限定されない。
図５は、実施形態１のキーポイント補正装置２０００によって実行される処理の流れを例示するフローチャートである。なお、ここで、図５に示す処理の流れはあくまで例示であり、キーポイント補正装置２０００によって実行される処理の流れは図５に示されているものに限定されない。
【0038】
Ｓ１０２からＳ１２０はループ処理Ｌ１を構成する。ループ処理Ｌ１は、所定の終了条件が満たされるまで繰り返し実行される。ループ処理Ｌ１の終了条件は任意である。例えば終了条件は、「新たな撮像画像１０が存在しない」という条件や、「所定のユーザ操作が行われた」という条件などである。
【0039】
取得部２０２０は撮像画像ｉを取得する（Ｓ１０４）。ここで取得部２０２０は、生成時点が早い順に撮像画像１０を取得する。検出部２０４０は、撮像画像ｉから、１つ以上の対象物体２０それぞれのキーポイント３０を検出する（Ｓ１０６）。
【0040】
Ｓ１０８からＳ１１８はループ処理Ｌ２を構成する。ループ処理Ｌ２は、撮像画像ｉから検出された各対象物体２０について実行される。Ｓ１０８において、キーポイント補正装置２０００は、撮像画像ｉから検出された対象物体２０の中に、まだループ処理Ｌ２の対象としていないものが存在するか否かを判定する。既に全ての対象物体２０を対象としてループ処理Ｌ２が実行された場合、図５の処理はＳ１２０に進む。一方、まだループ処理Ｌ２の対象としていない対象物体２０が存在する場合、そのうちの１つが選択され、選択された対象物体２０についてループ処理Ｌ２が実行される。ここで選択される対象物体２０を、対象物体ｊと表記する。
【0041】
判定部２０６０は、対象物体ｊのキーポイント３０について、補正パラメータが既に決定されているか否かを判定する（Ｓ１１０）。対象物体ｊの補正パラメータがまだ決定されていない場合（Ｓ１１０：ＮＯ）、判定部２０６０は、対象物体ｊのキーポイント３０が適正条件を満たしているか否かを判定する（Ｓ１１２）。対象物体ｊのキーポイント３０が適正条件を満たしている場合（Ｓ１１２：ＹＥＳ）、決定部２０８０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０に基づいて、対象物体ｊのキーポイント３０についての補正パラメータを決定する（Ｓ１１４）。対象物体ｊのキーポイント３０が適正条件を満たしていない場合（Ｓ１１２：ＮＯ）、図５の処理はＳ１１８に進む。
【0042】
Ｓ１１０において、対象物体ｊについての補正パラメータが既に決定されている場合（Ｓ１１０：ＹＥＳ）、補正部２１００は、撮像画像ｉから検出された対象物体ｊのキーポイント３０を、補正パラメータに基づいて補正する（Ｓ１１６）。
【0043】
Ｓ１１８は、ループ処理Ｌ２の終端である。そのため、図５の処理はループ処理Ｌ２の先頭（Ｓ１０８）に進む。
【0044】
撮像画像ｉから検出された全ての対象物体２０についてループ処理Ｌ２が実行されると、図５の処理はＳ１２０に進む。Ｓ１２０はループ処理Ｌ１の終端であるため、図５の処理はループ処理Ｌ１の先頭（Ｓ１０２）に進む。
【0045】
なお、キーポイント補正装置２０００が扱うカメラ４０は、１つであってもよいし、複数であってもよい。後者の場合、キーポイント補正装置２０００は、複数のカメラ４０それぞれについて、そのカメラ４０によって生成される時系列の複数の撮像画像１０を対象として、図５に示されている処理を行う。
【0046】
＜撮像画像１０の取得：Ｓ１０４＞
取得部２０２０は撮像画像１０を取得する（Ｓ１０４）。撮像画像１０を取得する方法は任意である。例えば撮像画像１０は、キーポイント補正装置２０００からアクセス可能な態様で、予め記憶部に格納されている。この場合、取得部２０２０は、その記憶部にアクセスすることで撮像画像１０を取得する。その他にも例えば、取得部２０２０は、他の装置（例えばカメラ４０）によって送信される撮像画像１０を受信することで、撮像画像１０を取得してもよい。
取得部２０２０は撮像画像１０を取得する（Ｓ１０４）。撮像画像１０を取得する方法は任意である。例えば撮像画像１０は、キーポイント補正装置２０００からアクセス可能な態様で、予め記憶部に格納されている。この場合、取得部２０２０は、その記憶部にアクセスすることで撮像画像１０を取得する。その他にも例えば、取得部２０２０は、他の装置（例えばカメラ４０）によって送信される撮像画像１０を受信することで、撮像画像１０を取得してもよい。
【0047】
なお、取得部２０２０は、撮像画像１０を１つずつ取得してもよいし、複数の撮像画像１０をまとめて取得してもよい。後者の場合、例えば取得部２０２０は、撮像画像１０が格納されている記憶部に定期的にアクセスし、未取得の撮像画像１０をまとめて取得する。
【0048】
＜キーポイント３０の検出：Ｓ１０６＞
検出部２０４０は、撮像画像１０から対象物体２０のキーポイント３０を検出する（Ｓ１０６）。そのためにまず、検出部２０４０は、撮像画像１０から対象物体２０を検出する。そして検出部２０４０は、撮像画像１０から検出された各対象物体２０について、キーポイント３０を検出する。ここで、画像から所定の種類の物体を検出する技術、及び画像から検出された物体についてキーポイントを検出する技術には、既存の種々の技術を利用することができる。例えば、画像が入力されたことに応じ、その画像に含まれる各対象物体２０のキーポイントを出力するように訓練された機械学習モデル（以下、物体検出モデル）を用意しておく。検出部２０４０は、この物体検出モデルに対して撮像画像１０を入力することで、撮像画像１０に含まれる各対象物体２０のキーポイント３０を得ることができる。
検出部２０４０は、撮像画像１０から対象物体２０のキーポイント３０を検出する（Ｓ１０６）。そのためにまず、検出部２０４０は、撮像画像１０から対象物体２０を検出する。そして検出部２０４０は、撮像画像１０から検出された各対象物体２０について、キーポイント３０を検出する。ここで、画像から所定の種類の物体を検出する技術、及び画像から検出された物体についてキーポイントを検出する技術には、既存の種々の技術を利用することができる。例えば、画像が入力されたことに応じ、その画像に含まれる各対象物体２０のキーポイントを出力するように訓練された機械学習モデル（以下、物体検出モデル）を用意しておく。検出部２０４０は、この物体検出モデルに対して撮像画像１０を入力することで、撮像画像１０に含まれる各対象物体２０のキーポイント３０を得ることができる。
【0049】
ここで、適正画像を利用して決定した対象物体２０の補正パラメータを用いて、他の撮像画像１０から検出される同一の対象物体２０のキーポイント３０を補正できるようにするためには、同一の対象物体２０を複数の撮像画像１０に亘って追跡する必要がある。そこで例えば、検出部２０４０は、撮像画像１０から検出した各対象物体２０について、既に他の撮像画像１０から同一の対象物体２０が検出されているか否かを判定し、その判定結果に基づいて対象物体２０に識別子を割り当てる。既に他の撮像画像１０から検出されていると判定された対象物体２０については、割り当て済みの識別子が利用される。一方、他の撮像画像１０からは検出されていない対象物体２０については、新しい識別子が割り当てられる。このようにすることで、複数の撮像画像１０それぞれから検出される同一の対象物体２０に対し、同一の識別子が割り当てられる。よって、同一の対象物体２０を複数の撮像画像１０に亘って追跡することができる。
【0050】
ここで、互いに異なる撮像画像１０から検出された対象物体２０が同一のものであるか否かを判定する技術には、既存の種々の技術を利用することができる。例えば、互いに異なる撮像画像１０から得られる対象物体２０の特徴量同士を比較することにより、これらが同一のものであるか否かを判定することができる。この方法を利用する場合、例えば、前述したキーポイント３０の検出に利用する物体検出モデルに、検出した対象物体２０の特徴量を出力する機能を持たせておく。これにより、検出部２０４０は、撮像画像１０から検出される各対象物体２０について、その特徴量及びキーポイント３０を得ることができる。
【0051】
＜適正条件が満たされているか否かの判定：Ｓ１１２＞
判定部２０６０は、対象物体ｊについて検出されたキーポイント３０が適正条件を満たしているか否かを判定する（Ｓ１１２）。適正条件は、対象物体ｊについて検出されたキーポイント３０が補正パラメータの決定に適している場合に、満たされる条件である。以下、適正条件として採用しうる条件について、具体例をいくつか説明する。
判定部２０６０は、対象物体ｊについて検出されたキーポイント３０が適正条件を満たしているか否かを判定する（Ｓ１１２）。適正条件は、対象物体ｊについて検出されたキーポイント３０が補正パラメータの決定に適している場合に、満たされる条件である。以下、適正条件として採用しうる条件について、具体例をいくつか説明する。
【0052】
＜＜例１：対象物体２０の位置や姿勢に関する条件＞＞
例えば適正条件として、「対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが、所定範囲に含まれる」という条件が利用される。以下、この所定範囲のことを、決定範囲と呼ぶ。上記適正条件を利用する場合、対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせについて、補正パラメータの決定に適した範囲が、決定範囲として予め定められている。そして、撮像画像ｉから検出されたキーポイント３０を利用して特定される対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが、補正パラメータの決定に適した範囲（すなわち決定範囲）に含まれる場合、適正条件が満たされると判定される。一方、撮像画像ｉから検出されたキーポイント３０を利用して特定される対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが決定範囲に含まれない場合、適正条件が満たされていないと判定される。
例えば適正条件として、「対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが、所定範囲に含まれる」という条件が利用される。以下、この所定範囲のことを、決定範囲と呼ぶ。上記適正条件を利用する場合、対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせについて、補正パラメータの決定に適した範囲が、決定範囲として予め定められている。そして、撮像画像ｉから検出されたキーポイント３０を利用して特定される対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが、補正パラメータの決定に適した範囲（すなわち決定範囲）に含まれる場合、適正条件が満たされると判定される。一方、撮像画像ｉから検出されたキーポイント３０を利用して特定される対象物体ｊの位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが決定範囲に含まれない場合、適正条件が満たされていないと判定される。
【0053】
決定範囲に対象物体ｊの位置の範囲が含まれる場合、判定部２０６０は、対象物体ｊのキーポイント３０を利用して対象物体ｊの位置を特定する。対象物体ｊの位置は、例えば、対象物体ｊの特定箇所（重心など）の位置で表すことができる。例えば対象物体ｊの位置を、対象物体ｊの重心位置で表すとする。この場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊの複数のキーポイント３０の重心位置を算出し、その重心位置を、対象物体ｊの位置を表すパラメータとして利用する。
【0054】
ここで、対象物体ｊの位置が k 次元空間（k は２又は３）上の座標で表されるとする。この場合、対象物体ｊの位置についての決定範囲は、k 次元空間上の部分空間で表される。すなわち、「対象物体ｊの位置が決定範囲に含まれる」という適正条件は、撮像画像ｉから検出された対象物体ｊの位置を表す k 次元空間上の座標が、当該 k 次元空間上の部分空間である決定範囲に含まれている場合に満たされる。
【0055】
決定範囲に対象物体ｊの大きさの範囲が含まれる場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０を利用して対象物体ｊの大きさを特定する。ここで、対象物体ｊの大きさを表す方法は様々である。例えばキーポイント３０が、道路上に射影された対象物体ｊの３次元バウンディングボックスの底面の頂点を表すとする。この場合、判定部２０６０は、オルソ画像５０上のキーポイント対応点８０を用いて、オルソ画像５０上の対象物体ｊを表す矩形領域を決定し、当該矩形領域の幅 w と高さ h の組み合わせ (w,h) を、対象物体ｊの大きさを表すパラメータとして利用する。
【0056】
オルソ画像５０上の対象物体ｊを表す矩形領域を決定する方法は様々である。ここでは、その具体例を図６を用いて説明する。図６は、対象物体ｊを表す矩形領域を決定する方法を例示する図である。図６において、対象物体ｊのキーポイント対応点８０は、キーポイント対応点８０－１からキーポイント対応点８０－４である。
【0057】
まず判定部２０６０は、対象物体ｊのキーポイント対応点８０のうち、カメラ４０に最も近いキーポイント対応点８０を特定する。図６において、カメラ４０に最も近いキーポイント対応点８０は、キーポイント対応点８０－２であるとする。次に判定部２０６０は、キーポイント対応点８０－１からキーポイント対応点８０－４で構成される四角形においてキーポイント対応点８０－２と隣接する２つのキーポイント対応点８０のうち、キーポイント対応点８０－２と結んで得られる線分がより長くなる（キーポイント対応点８０－２からの距離がより遠い）キーポイント対応点８０を特定する。図６において、キーポイント対応点８０－２と隣接するキーポイント対応点８０は、キーポイント対応点８０－１とキーポイント対応点８０－３である。そして、キーポイント対応点８０－１とキーポイント対応点８０－２を結んだ線分は、キーポイント対応点８０－３とキーポイント対応点８０－２を結んだ線分よりも長い。そのため特定されるキーポイント対応点８０は、キーポイント対応点８０－１である。
【0058】
判定部２０６０は、特定されたキーポイント対応点８０－１とキーポイント対応点８０－２とを結んだ線分を長辺９０－１とし、もう一方の長辺９０－２がキーポイント対応点８０－３とキーポイント対応点８０－４の近くを通る矩形領域を、対象物体ｊを表す矩形領域１００として特定する。ここで、長辺９０－２を決定する方法は様々である。例えば長辺９０－２は、長辺９０－１と長辺９０－２との間の距離（すなわち矩形領域１００の短辺の長さ）が、長辺９０－１とキーポイント対応点８０－３の間の距離、長辺９０－１とキーポイント対応点８０－４の間の距離、又はこれら２つの平均となるように決定される。図６の例において、長辺９０－１と長辺９０－２の距離は、長辺９０－１とキーポイント対応点８０－３の間の距離と、長辺９０－１とキーポイント対応点８０－４の間の距離との平均となっている。
【0059】
このように幅と高さで対象物体ｊの大きさを表す場合、対象物体ｊの大きさについての決定範囲は、２次元空間上の部分空間で表される。すなわち、対象物体ｊの大きさを幅と高さの組み合わせ (w,h) で表すと、対象物体ｊの大きさについての決定範囲は wh 空間上の部分空間で表される。そのため、「対象物体ｊの大きさが決定範囲に含まれる」という適正条件は、撮像画像ｉから検出された対象物体ｊの大きさ (w[i,j]),h[i,j]) が、wh 空間上の部分空間である決定範囲に含まれる場合に満たされる。
【0060】
対象物体ｊの大きさは、３次元で表されてもよい。例えばキーポイント３０として、対象物体ｊの３次元バウンディングボックスの８つの頂点がそれぞれ検出されるとする。この場合、対象物体ｊの大きさは、当該３次元バウンディングボックスの幅 w、奥行き d、及び高さ h の組み合わせ (w,d,h) で表すことができる。この場合、対象物体ｊの大きさについての決定範囲は、３次元空間上の部分空間で表される。そのため、「対象物体ｊの大きさが決定範囲に含まれる」という適正条件は、撮像画像ｉから検出された対象物体ｊの大きさ (w[i,j],d[i,j],h[i,j])が hdw 空間上の部分空間である決定範囲に含まれる場合に満たされる。
【0061】
適正条件に対象物体ｊの姿勢の範囲が含まれる場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０を利用して対象物体ｊの姿勢を特定する。ここで、対象物体ｊの姿勢を表す方法は様々である。例えば対象物体ｊの姿勢は、オルソ画像５０上のおける対象物体ｊの姿勢角θで表される。オルソ画像５０上の対象物体ｊの姿勢角は、例えば、対象物体ｊの基準軸が、オルソ画像５０の基準軸（例えば水平軸）に対して成す角度で表すことができる。対象物体ｊの基準軸としては、例えば、図６で説明した対象物体ｊを表す矩形領域１００の長辺又は短辺を利用することができる。
【0062】
このように対象物体ｊの姿勢角で対象物体ｊの姿勢を表す場合、対象物体ｊの姿勢についての決定範囲は、１次元上の部分空間（すなわち、姿勢角θの数値範囲）で表される。そのため、「対象物体ｊの姿勢が決定範囲に含まれる」という適正条件は、撮像画像ｉから検出された対象物体ｊの姿勢角θ[i,j] が、所定の数値範囲である決定範囲に含まれる場合に満たされる。
【0063】
対象物体ｊの姿勢は、３次元空間上の姿勢で表されてもよい。例えばこの場合、対象物体ｊの姿勢は、対象物体ｊの３次元バウンディングボックスが３方向それぞれの基準軸に対して成す角度の組み合わせ(ピッチθ、ロールφ、ヨーψ）で表すことができる。この場合、対象物体ｊの姿勢についての決定範囲は、３次元空間上の部分空間で表される。そのため、「対象物体ｊの姿勢が決定範囲に含まれる」という適正条件は、撮像画像ｉから検出された対象物体ｊの姿勢 (θ[i,j],φ[i,j],ψ[i,j]) が、θφψ空間上の部分空間である決定範囲に含まれる場合に満たされる。
【0064】
前述したように、対象物体ｊの位置、大きさ、及び姿勢のうちのいずれか２つ以上の組み合わせについて決定範囲が定められていてもよい。例えば決定範囲が、対象物体ｊの位置 (x,y) と姿勢θの組み合わせ (x,y,θ) の範囲として定められているとする。この場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊの位置と大きさの組み合わせ (x[i,j],y[i,j],θ[i,j]) が決定範囲に含まれるか否かを判定する。
【0065】
その他にも例えば、決定範囲が、対象物体ｊの位置 (x,y)、大きさ (w,h)、及び姿勢θの組み合わせ (x,y,w,h,θ) の範囲として定められているとする。この場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊの位置、大きさ、及び姿勢の組み合わせ (x[i,j],y[i,j],w[i,j],h[i,j],θ[i,j]) が決定範囲に含まれるか否かを判定する。
【0066】
なお、決定範囲に対象物体ｊの大きさに関する範囲が含まれる場合、補正パラメータの決定に適した対象物体ｊの位置や姿勢が、バス、トラック、乗用車、又は人などのように大きさが異なる対象物体ｊごとに異なる場合に、各種類の対象物体ｊについて互いに異なる決定範囲を定めることができる。一方、対象物体ｊの大きさが異なっていても補正パラメータの決定に適した位置や姿勢の範囲に大きな違いが無い場合には、決定範囲に対象物体ｊの大きさを含めないことにより、適正条件が満たされているか否かの判定に必要な計算の量や時間を減らすことができる。
【0067】
なお、決定範囲の定め方については後述する。
【0068】
＜＜例２：キーポイント３０の時間安定性に関する条件＞＞
その他にも例えば、適正条件として、「対象物体ｊのキーポイント３０の時間安定性が高い」という条件が利用される。ここで、キーポイント３０の時間安定性が高いとは、キーポイント３０の時間変化が小さいことを意味する。この適正条件を利用する場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０について、時間安定性を表す指標値（以下、時間安定性指標値）を算出する。この場合、より具体的な適正条件として、「対象物体ｊのキーポイント３０について算出された時間安定性指標値が閾値以下である」という条件を利用することができる。そのため、時間安定性指標値が閾値以下である場合、検出条件が満たされていると判定される。一方、時間安定性指標値が閾値より大きい場合、検出条件が満たされていないと判定される。
その他にも例えば、適正条件として、「対象物体ｊのキーポイント３０の時間安定性が高い」という条件が利用される。ここで、キーポイント３０の時間安定性が高いとは、キーポイント３０の時間変化が小さいことを意味する。この適正条件を利用する場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０について、時間安定性を表す指標値（以下、時間安定性指標値）を算出する。この場合、より具体的な適正条件として、「対象物体ｊのキーポイント３０について算出された時間安定性指標値が閾値以下である」という条件を利用することができる。そのため、時間安定性指標値が閾値以下である場合、検出条件が満たされていると判定される。一方、時間安定性指標値が閾値より大きい場合、検出条件が満たされていないと判定される。
【0069】
時間安定性指標値は、例えば、撮像画像ｉにおける対象物体ｊの大きさの時間変化に基づいて算出される。例えば時間安定性評価値は、以下の式（１）を用いて算出される。
ここで、E_(i,j) は撮像画像ｉから検出される対象物体ｊについての時間安定指標値を表す。この時間安定性指標値は、対象物体ｊの大きさの時間安定性を表している。なお、表記の都合上、数式の中以外では、下付文字がアンダーバーを利用して表されている。(w(t)_j,h(t)_j) は、時刻 t の撮像画像１０から検出される対象物体ｊの大きさを表す。なお、対象物体２０の大きさを算出する方法は前述した通りである。||a|| は、ベクトル a のノルムを表す。式（１）において、時間安定性指標値は、撮像画像ｉが生成された時刻 T_i を終端とする長さ P の期間における対象物体ｊの大きさの時間変化量の総和で表される。
【数1】
【0070】
また、撮像画像１０が一定の時間間隔で生成される場合（カメラ４０が一定間隔で撮像を行う場合）、以下の式（２）で時間安定性評価値を算出することができる。
N_i は、撮像画像ｉのフレーム番号を表し、式（１）の 時刻 T_i に対応する。N_p は、時間安定性指標値の算出に用いる期間の長さ P を撮像画像１０の枚数で表したものである。(w[t,j],h[t,j]) は、フレーム番号が t である撮像画像１０から検出される対象物体ｊの大きさを表す。
【数2】
【0071】
ここで、時間安定性指標値を算出する際に、キーポイント３０の信頼度の大きさが考慮されてもよい。この場合、時間安定性指標値は、例えば以下の式（３）で表すことができる。
F_(i,j) は、キーポイント３０の信頼度を考慮した、撮像画像ｉから検出される対象物体ｊのキーポイント３０の時間安定性を表す。r(t)_j は、時刻 t の撮像画像１０から検出される対象物体ｊのキーポイント３０の信頼度の大きさを表す。ここで、信頼度が高いほど時間安定性指標値が小さくなるように、r(t)_j の逆数が利用されている。E_(i,j) は、撮像画像ｉから検出される対象物体ｊのキーポイント３０の時間安定性を、キーポイント３０の信頼度を考慮せずに算出したものである。E_(i,j) は、例えば式（１）や式（２）を利用して算出される。αとβはそれぞれ、第１項と第２項に対して付される重み係数である。
【数3】
【0072】
ここで、キーポイント３０の信頼度を算出する方法には、既存の種々の方法を利用することができる。例えば、カルマンフィルターなどのフィルタリングを利用してキーポイントの追跡を行えば、状態変数の共分散行列からキーポイントの信頼度を計算することができる。
【0073】
＜＜例３：例１と例２の組み合わせ＞＞
判定部２０６０は、上述した例１と例２を組み合わせて利用してもよい。以下、例１で説明した適正条件を適正条件１と呼び、例２で説明した適正条件を適正条件２と呼ぶ。例えば判定部２０６０は、適正条件１と適正条件２の双方が満たされている場合、適正条件が満たされていると判定する。一方、適正条件１と適正条件２の少なくとも一方が満たされていない場合、判定部２０６０は、適正条件が満たされていると判定する。
判定部２０６０は、上述した例１と例２を組み合わせて利用してもよい。以下、例１で説明した適正条件を適正条件１と呼び、例２で説明した適正条件を適正条件２と呼ぶ。例えば判定部２０６０は、適正条件１と適正条件２の双方が満たされている場合、適正条件が満たされていると判定する。一方、適正条件１と適正条件２の少なくとも一方が満たされていない場合、判定部２０６０は、適正条件が満たされていると判定する。
【0074】
例えばまず、判定部２０６０は、撮像画像ｉから検出された対象物体ｊの位置等を算出し、算出した位置等が決定範囲に含まれるか否か（すなわち、適正条件１が満たされているか否か）を判定する。適正条件１が満たされていない場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊについて、適正条件が満たされていないと判定する（Ｓ１１２：ＮＯ）。一方、適正条件１が満たされている場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊの時間安定性が高いか否か（すなわち、適正条件２が満たされているか否か）を判定する。適正条件２が満たされていない場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊについて、適正条件が満たされていないと判定する（Ｓ１１２：ＮＯ）。一方、適正条件２が満たされている場合、判定部２０６０は、撮像画像ｉから検出された対象物体ｊについて、適正条件が満たされていると判定する（Ｓ１１２：ＹＥＳ）。
【0075】
その他にも例えば、判定部２０６０は、適正条件１と適正条件２の少なくとも一方が満たされている場合に、適正条件が満たされていると判定してもよい。この場合、適正条件１と適正条件２の双方が満たされていない場合のみ、適正条件が満たされていないと判定される。
【0076】
＜補正パラメータの決定：Ｓ１１４＞
決定部２０８０は、対象物体ｊに対応する撮像画像ｉから検出された、対象物体ｊのキーポイント３０を用いて、対象物体ｊについての補正パラメータを決定する（Ｓ１１４）。例えば補正パラメータは、対象物体ｊの大きさを表すパラメータである。例えば対象物体ｊの大きさが幅 w と高さ h で表される場合、決定部２０８０は、撮像画像ｉから検出された対象物体ｊの大きさ (w[i,j],h[i,j]) を、補正パラメータとして決定する。
決定部２０８０は、対象物体ｊに対応する撮像画像ｉから検出された、対象物体ｊのキーポイント３０を用いて、対象物体ｊについての補正パラメータを決定する（Ｓ１１４）。例えば補正パラメータは、対象物体ｊの大きさを表すパラメータである。例えば対象物体ｊの大きさが幅 w と高さ h で表される場合、決定部２０８０は、撮像画像ｉから検出された対象物体ｊの大きさ (w[i,j],h[i,j]) を、補正パラメータとして決定する。
【0077】
対象物体ｊの大きさが、幅 w、奥行き d、及び高さ h で表されるとする。この場合、決定部２０８０は、撮像画像ｉから検出された対象物体ｊの大きさ (w[i,j],d[i,j],h[i,j]) を、補正パラメータとして決定する。
【0078】
決定部２０８０は、決定した補正パラメータを、対応する対象物体ｊの識別情報に対応づけて、キーポイント補正装置２０００からアクセス可能な記憶部に格納する。対象物体ｊの補正パラメータが既に決定されているか否かの判定（Ｓ１１０）は、例えば、対象物体ｊに対応する補正パラメータがこの記憶部に格納されているか否かを判定することで行うことができる。
【0079】
＜＜補正パラメータの更新＞＞
図５のフローチャートでは、既に補正パラメータが決定されている対象物体ｊについては、適正条件が満たされているか否かについての判定が行われない。しかしながら、撮像画像ｉから検出された対象物体ｊについて、既に補正パラメータが決定されている場合であっても、その撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件を満たしており、かつ、そのキーポイント３０から現在の補正パラメータよりも適した補正パラメータを得られる可能性がある。そこで例えば、キーポイント補正装置２０００は、既に補正パラメータが決定されている場合において、補正パラメータの更新を行ってもよい。
図５のフローチャートでは、既に補正パラメータが決定されている対象物体ｊについては、適正条件が満たされているか否かについての判定が行われない。しかしながら、撮像画像ｉから検出された対象物体ｊについて、既に補正パラメータが決定されている場合であっても、その撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件を満たしており、かつ、そのキーポイント３０から現在の補正パラメータよりも適した補正パラメータを得られる可能性がある。そこで例えば、キーポイント補正装置２０００は、既に補正パラメータが決定されている場合において、補正パラメータの更新を行ってもよい。
【0080】
図７は、補正パラメータの更新を行う機能を有するキーポイント補正装置２０００について、その処理の流れの例示するフローチャートである。図７では、対象物体ｊの補正パラメータが既に決定されている場合（Ｓ１１０）において、補正パラメータを更新するか否かの判定が行われる（Ｓ２０２）。そして、補正パラメータを更新すると判定された場合（Ｓ２０２：ＹＥＳ）には、新たに補正パラメータが決定される（Ｓ１１４）。
【0081】
Ｓ２０２において、補正パラメータの更新を行うか否かを判定する方法は様々である。例えば前述した適正条件１を利用するケースにおいて、優先度の異なる複数の決定範囲が定められているとする。この場合、決定部２０８０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件を満たした結果、そのキーポイント３０を利用して補正パラメータを決定した際に、当該補正パラメータの優先度として、その適正条件に対応する決定範囲の優先度を設定する。補正パラメータの優先度を表す情報は、補正パラメータと共に記憶部に格納される。
【0082】
その後に得られた別の撮像画像ｉについて、決定部２０８０は、Ｓ２０２において、その撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件を満たすか否かを判定する。適正条件が満たされない場合、決定部２０８０は、補正パラメータを更新しないと判定する。一方、適正条件が満たされる場合、決定部２０８０は、満たされた適正条件に対応する決定範囲の優先度が、対象物体ｊに対応する現在の補正パラメータの優先度よりも高いか否かをさらに判定する。満たされた適正条件に対応する決定範囲の優先度が、対象物体ｊに対応する現在の補正パラメータの優先度よりも高い場合には、補正パラメータの更新が行われる。一方、満たされた適正条件に対応する決定範囲の優先度が、対象物体ｊに対応する現在の補正パラメータの優先度よりも高くない場合には、補正パラメータの更新が行われない。
【0083】
例えば、優先度１の決定範囲 R1、優先度２の決定範囲 R2、及び優先度３の決定範囲 R3 が定められているとする。ここで、数値が大きい優先度ほど、優先度が高いとする。この場合に、撮像画像ｉから検出された対象物体ｊの位置等が決定範囲 R2 に含まれるために、適正条件が満たされたとする。また、まだ対象物体ｊについて補正パラメータは決定されていないとする。この場合、決定部２０８０は、その撮像画像から検出された対象物体ｊのキーポイント３０を利用して、補正パラメータを決定する。この場合、当該補正パラメータの優先度は２となる。
【0084】
その後、別の撮像画像ｉから検出された対象物体ｊの位置等が決定範囲 R1 に含まれるために、適正条件が満たされたとする。この場合、ここで満たされた適正条件の優先度は１であり、対象物体ｊに対応する現在の補正パラメータの優先度２よりも低い。そのため、補正パラメータの更新は行われない。
【0085】
その後、さらに別の撮像画像ｉから検出された対象物体ｊの位置等が決定範囲 R3 に含まれるために、適正条件が満たされたとする。この場合、ここで満たされた適正条件の優先度は３であり、対象物体ｊに対応する現在の補正パラメータの優先度２よりも高い。そのため、決定部２０８０は、この撮像画像ｉから検出された対象物体ｊのキーポイント３０を利用して補正パラメータを決定し、補正パラメータの更新を行う。この補正パラメータには、優先度３が対応づけられる。
【0086】
前述した適正条件２を利用するケースでは、時間安定性指標値の大きさに基づいて、補正パラメータの更新を行うか否かを判定することができる。具体的には、決定部２０８０は、撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件２を満たした結果、そのキーポイント３０を利用して補正パラメータを決定した際に、当該補正パラメータの優先度を表す値として、算出された時間安定性指標値を設定する。ここで、時間安定性指標値はその値が小さいほど好ましい値であるため、時間安定性指標値が小さいほど、優先度は高くなる。
【0087】
その後決定部２０８０は、別の撮像画像ｉから検出された対象物体ｊのキーポイント３０が適正条件２を満たした場合に、算出された時間安定性指標値が、対象物体ｊに対応する現在の補正パラメータの優先度として設定されている値よりも小さいか否かを判定する。算出された時間安定性指標値が、優先度の値よりも小さい場合には、補正パラメータの更新が行われる。一方、算出された時間安定性指標値が、優先度の値よりも小さくない場合、補正パラメータの更新が行われない。
【0088】
ただし、時間安定性指標値が優先度の値よりもわずかに小さいケースでは、より適切な補正パラメータが得られはするものの、補正パラメータの更新による効果は大きくない可能性がある。そこで例えば、算出された時間安定性指標値が優先度の値よりも小さく、かつ、その差異が十分に大きい（閾値以上である）場合のみ、補正パラメータが更新されるようにしてもよい。
【0089】
＜キーポイント３０の補正：Ｓ１１６＞
対象物体ｊに対応する撮像画像１０の後に生成された撮像画像ｉから対象物体ｊが検出された場合（Ｓ１１０：ＹＥＳ）、補正部２１００は、撮像画像iから検出された対象物体ｊのキーポイント３０を、対象物体ｊに対応する補正パラメータを用いて補正する（Ｓ１１６）。ここで、キーポイント３０を補正する対象の撮像画像１０を補正対象画像と呼ぶ。
対象物体ｊに対応する撮像画像１０の後に生成された撮像画像ｉから対象物体ｊが検出された場合（Ｓ１１０：ＹＥＳ）、補正部２１００は、撮像画像iから検出された対象物体ｊのキーポイント３０を、対象物体ｊに対応する補正パラメータを用いて補正する（Ｓ１１６）。ここで、キーポイント３０を補正する対象の撮像画像１０を補正対象画像と呼ぶ。
【0090】
対象物体ｊに対応する補正パラメータとして、対象物体ｊの大きさ (w,h) が決定されているとする。この場合、補正部２１００は、補正対象画像を正射変換することで、撮像画像ｉ上の対象物体ｊの各キーポイント３０について、オルソ画像５０上のキーポイント対応点８０を算出する。さらに補正部２１００は、オルソ画像５０上のキーポイント対応点８０の配置に基づいて大きさ (w,h) の矩形領域である補正矩形を生成し、キーポイント対応点８０が補正矩形の各頂点となるように、キーポイント対応点８０を補正する。その後、補正部２１００は、オルソ画像５０を補正対象画像に戻す逆変換を行うことで、補正後の各キーポイント対応点８０を、補正対象画像上の点に変換する。このようにして得られた補正対象画像上の点が、補正後のキーポイント３０として利用される。
【0091】
ここで、キーポイント対応点８０を補正する方法について説明する。例えば補正部２１００は、対象物体２０の各キーポイント対応点８０を、大きさ (w,h) の補正矩形の頂点のいずれかに対応付ける。さらに補正部２１００は、対応する点間の距離の総和が最小となるように、補正矩形の配置を決定する。そして補正部２１００は、各キーポイント対応点８０の位置を、対応する補正矩形の頂点の位置に変更する。また、補正矩形の頂点に対応するキーポイント対応点８０が存在しない場合、補正部２１００は、その頂点に対応する新たなキーポイント対応点８０を生成する。このように補正矩形を利用して、キーポイント対応点８０の位置の補正や、キーポイント対応点８０の生成を行うことにより、キーポイント対応点８０の補正が行われる。
【0092】
図８は、補正矩形を用いてキーポイント対応点８０を補正する方法を例示する図である。図８の上段のケースは、キーポイント対応点８０が４つ存在するケースである。このケースでは、キーポイント対応点８０－１、キーポイント対応点８０－２、キーポイント対応点８０－３、及びキーポイント対応点８０－４の位置に基づいて、補正矩形１１０の配置が決定される。そして、キーポイント対応点８０－１、キーポイント対応点８０－２、キーポイント対応点８０－３、及びキーポイント対応点８０－４の位置がそれぞれ、頂点１２０－１、頂点１２０－２、頂点１２０－３及び頂点１２０－４の位置に補正される。
【0093】
図８の中段のケースは、キーポイント対応点８０が３つ存在するケースである。このケースでは、キーポイント対応点８０－１、キーポイント対応点８０－２、及びキーポイント対応点８０－３の位置に基づいて、補正矩形１１０の配置が決定される。そして、キーポイント対応点８０－１、キーポイント対応点８０－２、及びキーポイント対応点８０－３の位置がそれぞれ、頂点１２０－１、頂点１２０－２、及び頂点１２０－３の位置に補正される。さらに、頂点１２０－４の位置に、新たなキーポイント対応点８０が生成される。
【0094】
図８の下段のケースは、キーポイント対応点８０が２つ存在するケースである。このケースでは、キーポイント対応点８０－１及びキーポイント対応点８０－２の位置に基づいて、補正矩形１１０の配置が決定される。そして、キーポイント対応点８０－１及びキーポイント対応点８０－２の位置がそれぞれ、頂点１２０－２及び頂点１２０－３の位置に補正される。また、頂点１２０－１の位置及び頂点１２０－４の位置のそれぞれに、新たなキーポイント対応点８０が生成される。
【0095】
ここで、対象物体２０のキーポイント対応点８０が２つである場合、各キーポイント対応点８０が対象物体２０のどの部分（前方右、前方左、後方右、又は後方左）を表しているかによって、補正矩形１１０の配置が異なる。例えば図８の下段のケースでは、キーポイント対応点８０－１とキーポイント対応点８０－２をそれぞれ、頂点１２０－１と頂点１２０－４に対応づけるという配置も考えられる。
【0096】
そこで例えば、キーポイント３０を検出する際に、各キーポイント３０が対象物体２０のどの部分を表しているのかを特定するように、検出部２０４０を構成するようにする。そして補正部２１００は、各キーポイント３０が対象物体２０のどの部分を表しているのかを表す情報を取得し、その情報を利用して、補正矩形１１０の頂点１２０とキーポイント対応点８０との対応付けを行う。
【0097】
キーポイント３０が対象物体２０のどの部分を表しているのかを特定できるように検出部２０４０を構成する方法は任意である。例えば前述したように、物体検出モデルを利用してキーポイント３０が検出されるとする。この場合、各キーポイント３０が対象物体２０のどの部分を表しているのかが分かる態様でキーポイント３０を出力するように、物体検出モデルが構成される。より具体的な例として、物体検出モデルがニューラルネットワークで構成されているとする。この場合、物体検出モデルの各出力ノードが何を意味するのかは、物体検出モデルの訓練の際に定まる。そのため、補正部２１００は、対象物体２０の各キーポイント対応点８０に対応するキーポイント３０が、物体検出モデルのどの出力ノードから出力されたのかによって、そのキーポイント対応点８０が対象物体２０のどの部分を表しているのかを特定することができる。
【0098】
＜結果の出力＞
キーポイント補正装置２０００は、処理結果を示す情報を出力する。以下、キーポイント補正装置２０００によって出力される情報を、出力情報と呼ぶ。出力情報は、少なくとも、各撮像画像１０から検出された各対象物体２０について、そのキーポイント３０を表す情報を含むキーポイント３０を表す情報は、例えば、対象物体２０におけるキーポイント３０の座標である。
キーポイント補正装置２０００は、処理結果を示す情報を出力する。以下、キーポイント補正装置２０００によって出力される情報を、出力情報と呼ぶ。出力情報は、少なくとも、各撮像画像１０から検出された各対象物体２０について、そのキーポイント３０を表す情報を含むキーポイント３０を表す情報は、例えば、対象物体２０におけるキーポイント３０の座標である。
【0099】
ここで、補正部２１００によってキーポイント３０が補正された場合には、少なくとも、補正後のキーポイント３０を表す情報が出力情報に含まれるようにする。この場合において、補正前のキーポイント３０を表す情報については、出力情報に含まれてもよいし、含まれなくてもよい。
【0100】
出力情報には、撮像画像１０に対し、対象物体２０のキーポイント３０や３次元バウンディングボックスを表す画像を重畳することで生成された画像が含まれてもよい。ここで、当該画像において、補正されなかったキーポイント３０と補正されたキーポイント３０は、互いに識別可能であってもよい。例えば、補正されたキーポイント３０を表すマークと、補正されたキーポイント３０を表すマークとを、互いに異なる色にすることで、これらを識別可能にすることができる。
【0101】
＜決定範囲の生成方法＞
前述した適正条件１を利用する場合、決定範囲を予め生成しておく必要がある。以下、決定範囲を生成する方法について説明する。ここで、決定範囲を生成する機能を有する装置を、決定範囲生成装置と呼ぶ。決定範囲生成装置は、キーポイント補正装置２０００と一体として（互いに同じコンピュータで）実現されてもよいし、キーポイント補正装置２０００とは別体として（互いに異なるコンピュータで）実現されてもよい。
前述した適正条件１を利用する場合、決定範囲を予め生成しておく必要がある。以下、決定範囲を生成する方法について説明する。ここで、決定範囲を生成する機能を有する装置を、決定範囲生成装置と呼ぶ。決定範囲生成装置は、キーポイント補正装置２０００と一体として（互いに同じコンピュータで）実現されてもよいし、キーポイント補正装置２０００とは別体として（互いに異なるコンピュータで）実現されてもよい。
【0102】
決定範囲生成装置がキーポイント補正装置２０００と一体として設けられている場合、キーポイント補正装置２０００は、決定範囲生成装置の機能を実現する決定範囲生成部を有する。図９は、決定範囲生成部を有するキーポイント補正装置２０００の機能構成を例示するブロック図である。以下では、説明を簡潔にするために、決定範囲の生成の主体が決定範囲生成部２１２０となっている。決定範囲生成装置がキーポイント補正装置２０００とは別体として設けられる場合、以下で説明する各処理の主体が決定範囲生成装置となる。
【0103】
例えば決定範囲は、教師画像を利用したクラスタリングによって生成することができる教師画像には、カメラ４０から得られる撮像画像が利用される。教師画像に対しては、正解キーポイントが付加される。教師画像における正解キーポイントは、その教師画像から検出されるべきキーポイントを表す。例えば正解キーポイントは、決定範囲生成装置のユーザなどによって手動で決定される。
【0104】
図１０は、教師画像を用いて決定範囲を生成する処理の流れを例示するフローチャートである。Ｓ３０２からＳ３１６はループ処理Ｌ３を構成する。ループ処理Ｌ３は各教師画像について実行される。Ｓ３０２において、決定範囲生成部２１２０は、教師画像の中にまだループ処理Ｌ３の対象としていないものが存在するか否かを判定する。既に全ての教師画像を対象としてループ処理Ｌ３が実行された場合、図１０の処理はＳ３１８に進む。一方、まだループ処理Ｌ３の対象としていない教師画像が存在する場合、そのうちの１つが選択され、選択された教師画像についてループ処理Ｌ３が実行される。ここで選択される教師画像を教師画像ｋと表記する。
【0105】
決定範囲生成部２１２０は、教師画像ｋから１つ以上の対象物体２０それぞれのキーポイント３０を検出する（Ｓ３０４）。教師画像ｋから各対象物体２０のキーポイント３０を検出する処理は、検出部２０４０が撮像画像１０から各対象物体２０のキーポイント３０を検出する処理と同様の処理で実現される。そのため例えば、教師画像ｋからキーポイントを検出する処理には、検出部２０４０が利用される。
【0106】
Ｓ３０６からＳ３１４はループ処理Ｌ４を構成する。ループ処理Ｌ４は、教師画像ｋから検出された各対象物体２０について実行される。Ｓ３０６において、決定範囲生成部２１２０は、教師画像ｋから検出された対象物体２０の中に、まだループ処理Ｌ４の対象としていないものが存在するか否かを判定する。既に全ての対象物体２０を対象としてループ処理Ｌ４が実行された場合、図１０の処理はＳ３１６に進む。一方、まだループ処理Ｌ４の対象としていない対象物体２０が存在する場合、そのうちの１つが選択され、選択された対象物体２０についてループ処理Ｌ４が実行される。ここで選択される対象物体２０を、対象物体ｍと表記する。
【0107】
決定範囲生成部２１２０は、対象物体ｍについて検出したキーポイント３０と、対象物体ｍについての正解キーポイントとの誤差を表す誤差指標値を算出する（Ｓ３０８）。例えば、誤差指標値は、互いに対応するキーポイント３０と正解キーポイントとの距離の大きさの統計値（平均値など）である。例えば、教師画像ｋの対象物体ｍについて、正解キーポイント A1、A2、A3、及び A4が設定されているとする。また、この教師画像ｋから、対象物体ｍのキーポイント３０として、B1、B2、B3、及び B4 が検出されたとする。決定範囲生成部２１２０はまず、正解キーポイントとキーポイント３０との対応付けを行う。例えば決定範囲生成部２１２０は、対象物体ｍの各正解キーポイントに対し、その正解キーポイントに最も近い対象物体ｍのキーポイント３０を対応づける。ここでは、正解キーポイントト A1、A2、A3、及び A4 に対してそれぞれ、キーポイント B1、B2、B3、及び B4 が対応づけられたとする。この場合、決定範囲生成部２１２０は、A1 と B1 の距離、A2 と B2 の距離、A3 と B3 の距離、及び A4 と B4 の距離の統計値を、誤差指標値として算出する。
【0108】
決定範囲生成部２１２０は、対象物体ｍについて算出した誤差指標値が閾値以下であるか否かを判定する（Ｓ３１０）。誤差指標値が閾値以下である場合（Ｓ３１０：ＹＥＳ）、決定範囲生成部２１２０は、教師画像ｋから検出された対象物体ｍのキーポイント３０を用いて、特徴ベクトルを算出する。
【0109】
特徴ベクトルは、対象物体ｍの位置や姿勢などといった特徴を表す。例えば対象物体ｍの特徴として、位置 (x,y)、大きさ (w,h）、及び姿勢θが利用されるとする。この場合、特徴ベクトルは５次元ベクトル (x,y,w,h,θ) となる。
【0110】
特徴ベクトルの算出後、又は、誤差指標値が閾値より大きいと判定された後（Ｓ３１０：ＮＯ）、図１０の処理はＳ３１４に進む。Ｓ３１４はループ処理Ｌ４の終端であるため、図１０の処理はループ処理Ｌ４の先頭（Ｓ３０６）に進む。
【0111】
【0112】
各教師画像についてループ処理Ｌ３が行われた後、決定範囲生成部２１２０は、これまでに算出された複数の特徴ベクトルをクラスタリングする（Ｓ３１８）。ここで、誤差指標値が閾値以下であることは、教師画像ｋから検出された対象物体ｍのキーポイント３０が、正解キーポイントに近いこと（言い換えれば、高い精度で検出されたキーポイント３０であること）を意味する。そのため、誤差指標値が閾値以下となる場合、教師画像ｋから検出された対象物体ｍの特徴ベクトルは、正確なキーポイントが検出可能な対象物体ｍの位置や姿勢などを表している。そこで決定範囲生成部２１２０は、このように誤差指標値が閾値以下となる場合に得られる特徴ベクトルを利用することで、正確なキーポイントが検出可能な対象物体の位置や姿勢の範囲を特定し、その範囲を決定範囲として扱う。
【0113】
複数のベクトルのクラスタリングによって分類する具体的な方法には、既存の種々の技術を利用することができる。例えば決定範囲生成部２１２０は、以下の式（４）で表される混合ガウス分布を用いて特徴ベクトルの分布を近似することにより、特徴ベクトルを複数のクラスタに分ける。
uはクラスタの識別子を表し、Uはクラスタの総数を表す。v はクラスタ内の特徴ベクトルの識別子を表し、V_u はクラスタ u に含まれる特徴ベクトルの総数を表す。p_v は特徴ベクトルを表す。c_u は、クラスタ u の重心を表す。
【数4】
【0114】
ここで、E を最小化する各重心 c_u は、例えば、k-means 法などの EM（Expectation-Maximization）法を用いて決定することができる。また、クラスタリングにおいてクラスタの適切な総数を決定する方法には、既存の種々の技術を利用することができる。
【0115】
決定範囲生成部２１２０は、クラスタリングの結果に基づいて、決定範囲を生成する（Ｓ３２０）。具体的にはまず、決定範囲生成部２１２０は、クラスタリングによって生成された複数のクラスタそれぞれについて、クラスタの安定度を表す安定度指標値を算出する。安定度指標値は、クラスタに含まれる特徴ベクトルの散らばり度合いが小さいほど大きくなる値として算出することができる。例えば安定度指標値は、以下の式（５）を用いて算出される。
ここで、S は安定度指標値を表す。||A|| は、行列 A のノルムを表す。また、式（５）でノルムが算出されている行列は、wh 空間に射影されたクラスタ内の特徴ベクトルの共分散行列である。
【数5】
【0116】
決定範囲生成部２１２０は、安定度指標値が閾値以上であるクラスタから、決定範囲を生成する。ここで、安定度指標値が閾値以上であるクラスタが複数ある場合、クラスタごとに決定範囲が生成される。このように複数の決定範囲が生成される場合、各決定範囲に対して、前述した優先度が割り当てられてもよい。例えば、安定度指標値が高いクラスタほど、高い優先度が割り当てられる。
【0117】
ここで、クラスタから決定範囲を生成する方法について説明する。例えば決定範囲生成部２１２０は、クラスタの重心を算出し、当該重心の近傍領域を決定範囲とする。重心の近傍領域としては、例えば、特徴ベクトルの要素ごとに、重心の値から所定の範囲を与えた領域とすることができる。例えば特徴ベクトルが対象物体２０の位置 (x,y)、大きさ (w,h)、及び姿勢 θを表す５次元ベクトル (x,y,w,h,θ) で表されるとする。また、クラスタの重心が (xc,yc,wc,hc,θc) であるとする。例えばこの場合、各要素に重心から所定の幅を持たせた領域である「xc-α<x<xc+α、かつ、yc-α<y<yc+α、かつ、wc-α<w<wc+α、かつ、hc-α<h<hc+α、かつ、θc-α<θ<θc+α」を、決定範囲とすることができる。なお、この例では重心を中心とする範囲の大きさがいずれの要素についても同一のαとなっているが、範囲の大きさは要素ごとに異なっていてもよい。例えば、クラスタにおける各要素の散らばり度合い（分散や標準偏差）を用いて、各要素の範囲を決定してもよい。
【0118】
また、決定範囲生成部２１２０は、クラスタの生成に利用した要素の一部のみを用いて、決定範囲を生成してもよい。例えば前述したように特徴ベクトルが対象物体２０の位置、大きさ、及び姿勢を表す５次元ベクトルで表されている場合において、決定範囲生成部２１２０は、対象物体２０の位置及び姿勢を表す３次元空間の範囲として決定範囲を生成してもよい。これは、５次元空間上のクラスタを３次元空間に射影して得られる部分空間から、決定範囲を生成することに相当する。例えば前述したように各要素に重心から所定の幅を持たせるケースでは、「xc-α<x<xc+α、かつ、yc-α<y<yc+α、かつ、θc-α<θ<θc+α」という決定範囲を生成することができる。
【0119】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0120】
なお、上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0121】
（付記１）
複数の撮像画像を取得する取得部と、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出部と、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定部と、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定部と、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正部と、を有するキーポイント補正装置。
（付記２）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定部は、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記１に記載のキーポイント補正装置。
（付記３）
前記判定部は、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記２に記載のキーポイント補正装置。
（付記４）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成部を有し、
前記決定範囲生成部は、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記３に記載のキーポイント補正装置。
（付記５）
前記判定部は、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記１に記載のキーポイント補正装置。
（付記６）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記５に記載のキーポイント補正装置。
（付記７）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記６に記載のキーポイント補正装置。
（付記８）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正部は、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記１から７いずれか一項に記載のキーポイント補正装置。
（付記９）
コンピュータによって実行されるキーポイント補正方法であって、
複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を有するキーポイント補正方法。
（付記１０）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記９に記載のキーポイント補正方法。
（付記１１）
前記判定ステップにおいて、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記１０に記載のキーポイント補正方法。
（付記１２）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成ステップを有し、
前記決定範囲生成ステップにおいて、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記１１に記載のキーポイント補正方法。
（付記１３）
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記９に記載のキーポイント補正方法。
（付記１４）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記１３に記載のキーポイント補正方法。
（付記１５）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記１４に記載のキーポイント補正方法。
（付記１６）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正ステップにおいて、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記９から１５いずれか一項に記載のキーポイント補正方法。
（付記１７）
コンピュータに、
複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を実行させるプログラム。
（付記１８）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記１７に記載のプログラム。
（付記１９）
前記判定ステップにおいて、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記１８に記載のプログラム。
（付記２０）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成ステップを有し、
前記決定範囲生成ステップにおいて、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記１９に記載のプログラム。
（付記２１）
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記１７に記載のプログラム。
（付記２２）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記２１に記載のプログラム。
（付記２３）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記２２に記載のプログラム。
（付記２４）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正ステップにおいて、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記１７から２３いずれか一項に記載のプログラム。
複数の撮像画像を取得する取得部と、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出部と、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定部と、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定部と、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正部と、を有するキーポイント補正装置。
（付記２）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定部は、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記１に記載のキーポイント補正装置。
（付記３）
前記判定部は、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記２に記載のキーポイント補正装置。
（付記４）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成部を有し、
前記決定範囲生成部は、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記３に記載のキーポイント補正装置。
（付記５）
前記判定部は、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記１に記載のキーポイント補正装置。
（付記６）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記５に記載のキーポイント補正装置。
（付記７）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記６に記載のキーポイント補正装置。
（付記８）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正部は、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記１から７いずれか一項に記載のキーポイント補正装置。
（付記９）
コンピュータによって実行されるキーポイント補正方法であって、
複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を有するキーポイント補正方法。
（付記１０）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記９に記載のキーポイント補正方法。
（付記１１）
前記判定ステップにおいて、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記１０に記載のキーポイント補正方法。
（付記１２）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成ステップを有し、
前記決定範囲生成ステップにおいて、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記１１に記載のキーポイント補正方法。
（付記１３）
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記９に記載のキーポイント補正方法。
（付記１４）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記１３に記載のキーポイント補正方法。
（付記１５）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記１４に記載のキーポイント補正方法。
（付記１６）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正ステップにおいて、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記９から１５いずれか一項に記載のキーポイント補正方法。
（付記１７）
コンピュータに、
複数の撮像画像を取得する取得ステップと、
各前記撮像画像から移動物体の複数のキーポイントを検出する検出ステップと、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントが、所定の適正条件を満たしているか否かを判定する判定ステップと、
前記移動物体の複数の前記キーポイントが前記適正条件を満たしていると判定された場合に、その複数の前記キーポイントを用いて、その移動物体について検出される複数の前記キーポイントの補正に利用する補正パラメータを決定する決定ステップと、
前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントを、前記補正パラメータを用いて補正する補正ステップと、を実行させるプログラム。
（付記１８）
前記適正条件は、前記移動物体の位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが満たすべき範囲である決定範囲を示し、
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントを用いて、前記移動物体の位置、大きさ、又は姿勢を特定し、前記特定した位置、大きさ、姿勢、又はこれらのうちの２つ以上の組み合わせが前記決定範囲に含まれる場合に、前記適正条件が満たされていると判定する、付記１７に記載のプログラム。
（付記１９）
前記判定ステップにおいて、
前記撮像画像から検出された前記移動物体の複数の前記キーポイントを正射変換することにより、複数の前記キーポイントそれぞれに対応するオルソ画像上のキーポイント対応点を算出し、
算出された複数の前記キーポイント対応点の位置に基づいて定まる前記オルソ画像上の前記移動物体の位置、大きさ、又は姿勢を、前記移動物体の位置、大きさ、又は姿勢として算出する、付記１８に記載のプログラム。
（付記２０）
前記移動物体について正解の前記キーポイントが定められている複数の教師画像を利用して、前記適正条件によって示される前記決定範囲を生成する決定範囲生成ステップを有し、
前記決定範囲生成ステップにおいて、
複数の前記教師画像それぞれについて、その教師画像における正解の前記キーポイントと、その教師画像から検出されるその移動物体の前記キーポイントとの誤差を算出し、その誤差が閾値以下である場合に、その移動物体の前記キーポイントの特徴ベクトルを算出し、
算出された複数の前記特徴ベクトルをクラスタリングすることで得られる複数のクラスタのうち、安定度が閾値以上であるクラスタに含まれる前記特徴ベクトルを用いて、前記決定範囲を生成する、付記１９に記載のプログラム。
（付記２１）
前記判定ステップにおいて、前記移動物体の複数の前記キーポイントについて、時間的な安定性を表す時間安定性指標値を算出し、前記時間安定性指標値が閾値以上である場合に、前記適正条件が満たされていると判定する、付記１７に記載のプログラム。
（付記２２）
前記時間安定性指標値は、所定の時間内における前記移動物体の大きさの時間変化量が小さいほど大きい値となる、付記２１に記載のプログラム。
（付記２３）
前記時間安定性指標値は、前記移動物体の複数の前記キーポイントの信頼度が高いほど大きい値となる、付記２２に記載のプログラム。
（付記２４）
前記補正パラメータは前記移動物体の大きさを表し、
前記補正ステップにおいて、前記撮像画像から複数の前記キーポイントが検出された前記移動物体について前記補正パラメータが決定されている場合、その複数の前記キーポイントによって表されるその移動物体の大きさが、前記補正パラメータによって表される大きさとなるように、１つ以上の前記キーポイントを補正する、付記１７から２３いずれか一項に記載のプログラム。
【符号の説明】
【0122】
１０ 撮像画像
２０ 対象物体
３０ キーポイント
４０ カメラ
５０ オルソ画像
６０ バウンディングボックス
８０ キーポイント対応点
９０ 長辺
１００ 矩形領域
１１０ 補正矩形
１２０ 頂点
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
６００ ネットワーク
２０００ キーポイント補正装置
２０２０ 取得部
２０４０ 検出部
２０６０ 判定部
２０８０ 決定部
２１００ 補正部
２１２０ 決定範囲生成部
２０ 対象物体
３０ キーポイント
４０ カメラ
５０ オルソ画像
６０ バウンディングボックス
８０ キーポイント対応点
９０ 長辺
１００ 矩形領域
１１０ 補正矩形
１２０ 頂点
５００ コンピュータ
５０２ バス
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
６００ ネットワーク
２０００ キーポイント補正装置
２０２０ 取得部
２０４０ 検出部
２０６０ 判定部
２０８０ 決定部
２１００ 補正部
２１２０ 決定範囲生成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】