知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024114369
(43)【公開日】2024-08-23
(54)【発明の名称】検出装置、検出方法および検出プログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240816BHJP
H04N 23/695 20230101ALI20240816BHJP
【ＦＩ】
H04N23/60 500
H04N23/695
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023020095
(22)【出願日】2023-02-13
(71)【出願人】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】田川 侑弥
【テーマコード（参考）】
5C122
【Ｆターム（参考）】
5C122EA01
5C122EA65
5C122FF11
5C122FF15
5C122FH11
5C122GD04
5C122GD06
5C122HA46
5C122HA65
5C122HA88
5C122HB01
5C122HB10
(57)【要約】
【課題】夜間等の暗い環境下でも安定して物体検出が可能な検出装置を提供する。
【解決手段】検出装置（１０）は、第１の学習済みモデルを用いて、残像あり画像情報から残像軌跡矩形情報および物体矩形情報を算出し、算出した残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定する推定部（１２）と、推定部（１２）による推定結果に基づいて、物体を検出する検出部（１３）と、を備える。
【選択図】図１
【解決手段】検出装置（１０）は、第１の学習済みモデルを用いて、残像あり画像情報から残像軌跡矩形情報および物体矩形情報を算出し、算出した残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定する推定部（１２）と、推定部（１２）による推定結果に基づいて、物体を検出する検出部（１３）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
を備える、検出装置。
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
を備える、検出装置。
【請求項2】
前記推定手段は、前記物体を含む学習用残像なし画像情報と、前記学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像なし画像情報が入力された場合に前記物体矩形情報を出力する第２の学習済みモデルをさらに用いて、前記残像なし画像情報から前記物体矩形情報を算出し、算出した前記物体矩形情報に基づいて、前記残像なし画像情報における前記物体の位置を推定する、請求項１に記載の検出装置。
【請求項3】
前記推定手段が前記第２の学習済みモデルを用いて前記物体の位置を推定可能か否かに基づいて、前記物体を撮像する撮像手段の向きを変更するか否かを決定する制御手段をさらに備える、請求項２に記載の検出装置。
【請求項4】
前記推定手段は、前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記物体の移動方向および移動速度を推定し、
前記制御手段は、前記物体の移動方向および移動速度に応じて前記撮像手段の向きを変更する、請求項３に記載の検出装置。
前記制御手段は、前記物体の移動方向および移動速度に応じて前記撮像手段の向きを変更する、請求項３に記載の検出装置。
【請求項5】
前記推定手段は、前記物体の移動方向および移動速度に応じて向きが変更された前記撮像手段によって前記物体が撮像された画像情報、および、前記第２の学習済みモデルを用いて、前記物体の位置を推定する、請求項４に記載の検出装置。
【請求項6】
前記制御手段は、前記撮像手段のゲインの値に基づいて、当該ゲインの値、および、複数の前記残像あり画像情報または前記残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定する、請求項５に記載の検出装置。
【請求項7】
前記推定手段が前記物体の位置を推定できず、かつ、前記撮像手段のゲインの値が閾値以上である場合、前記制御手段は、前記ゲインの値を閾値以下に設定し、閾値以下に設定した前記ゲインの値に応じたものとなるように、前記信号蓄積期間を変更する、請求項６に記載の検出装置。
【請求項8】
前記推定手段が前記物体の位置を推定できず、かつ、前記ゲインが閾値未満である場合、前記推定手段は、前記残像あり画像情報および前記残像なし画像情報に前記物体が撮像されていないと推定し、前記制御手段は、前記撮像手段に次の画像情報を取得させる、請求項７に記載の検出装置。
【請求項9】
少なくとも１つのプロセッサが、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、
前記推定による推定結果に基づいて、前記物体を検出することと、
を含む、検出方法。
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、
前記推定による推定結果に基づいて、前記物体を検出することと、
を含む、検出方法。
【請求項10】
コンピュータを、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
して機能させる、検出プログラム。
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
して機能させる、検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体を検出する技術に関する。
【背景技術】
【0002】
カメラを用いた夜間での物体の検出を行う場合、暗い環境下において物体を撮像しなければならないため、当該物体を鮮明に映し出すためにカメラから出力される画像信号の輝度を調整することが行われている。
【0003】
輝度を調整する方法には、具体的には、ゲインの値を上げたり、複数のフレーム等の画像情報を蓄積する期間である信号蓄積期間を長くしたりする方法がある。ゲインの値を上げると、画像信号の輝度は高くなるが、ノイズが大きくなり視認性が悪くなるという欠点がある。他方、信号蓄積期間が長い場合、ノイズを閾値未満の値に設定した状態にしながら画像信号の輝度を上げることができ、ゲインの値を上げる場合と比べて、暗い環境下において物体を鮮明に映し出すことができるため、画像処理による検出が可能となる。
【0004】
複数枚のフレームの画像を蓄積する技術として、特許文献１には、撮像装置（カメラ）における蓄積モードの蓄積倍率情報が示す蓄積倍率が所定の閾倍率以上の場合に、指定された追尾対象を追尾する追尾モードを非追尾モードに切り替える技術が開示されている。すなわち、特許文献１には、信号蓄積期間が所定の長さ以上に達した場合に、物体の検出が失敗することを予測し、あらかじめ物体の検出を停止する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００７－６８００８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１に記載の技術のような、輝度を上げるために信号蓄積期間が長くなることを前提とする従来技術には、信号蓄積期間が長すぎると、検出対象である物体が動く場合、物体の移動軌跡に沿った残像が生じて物体検出できないという課題がある。
【0007】
以下、図９を用いて、上述の課題についてより詳細に説明する。図９は、信号蓄積期間を長くした場合に、動く物体である被写体を撮像した場合に出力される残像現象のイメージ図を示す。図９の左側は信号蓄積期間が１フレーム分である通常モードの映像情報を示すイメージ図であり、右側は信号蓄積期間が４フレーム分である画像信号を蓄積した蓄積モードの映像情報を示すイメージ図である。
【0008】
図９に示すように、信号蓄積期間が１フレームの場合には１フレームごとに画像情報が更新される。他方、信号蓄積期間が４フレームの場合には４フレームごとに画像情報が更新されてしまう。この場合、４フレーム目は、１～３フレーム目の画像が重なった状態で出力されるため、残像が生じた画像となってしまう。このような残像が発生すると、画像処理による特徴量の抽出が難しくなり、物体検出が失敗してしまうという課題がある。
【0009】
本発明の一態様は、夜間等の暗い環境下でも、安定して物体検出を行うことが可能な検出装置およびその関連技術を提供することを一目的とする。
【課題を解決するための手段】
【0010】
本発明の一態様に係る検出装置は、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、を備える。
【0011】
本発明の一態様に係る検出方法は、少なくとも１つのプロセッサが、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、前記推定による推定結果に基づいて、前記物体を検出することと、を含む。
【0012】
本発明の一態様に係る検出プログラムは、コンピュータを、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、して機能させる。
【発明の効果】
【0013】
本発明の一態様によれば、夜間等の暗い環境下でも、安定して物体検出を行うことが可能な検出装置およびその関連技術を提供することができる。
【図面の簡単な説明】
【0014】
【図1】例示的実施形態１に係る検出装置の構成を示すブロック図である。
【図2】例示的実施形態１に係る検出方法の流れを示すフロー図である。
【図3】画像情報および矩形情報のイメージ図である。
【図4】例示的実施形態２に係る検出装置の構成を示すブロック図である。
【図5】例示的実施形態２に係る検出方法の流れを示すフロー図である。
【図6】水平方向における物体の移動速度の算出および推定についての説明図である。
【図7】垂直方向における物体の移動速度の算出および推定についての説明図である。
【図9】残像現象のイメージ図である。
【図10】各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0015】
〔例示的実施形態１〕
本発明の例示的実施形態１について、図面を参照して詳細に説明する。本実施形態は、後述する実施形態の基本となる形態である。
本発明の例示的実施形態１について、図面を参照して詳細に説明する。本実施形態は、後述する実施形態の基本となる形態である。
【0016】
（検出装置１０の構成）
本実施形態に係る検出装置１０の構成について、図１を参照して説明する。図１は、検出装置１０の構成を示すブロック図である。検出装置１０は、物体を検出する。物体としては、動く被写体として撮像され、画像情報に含まれうる対象であれば特に限定されず、例えば、人および車等が挙げられる。画像情報としては、例えば、１以上のフレームを含む映像情報等が挙げられる。図１に示すように、検出装置１０は、推定部（推定手段）１２と、検出部（検出手段）１３と、を備える。
本実施形態に係る検出装置１０の構成について、図１を参照して説明する。図１は、検出装置１０の構成を示すブロック図である。検出装置１０は、物体を検出する。物体としては、動く被写体として撮像され、画像情報に含まれうる対象であれば特に限定されず、例えば、人および車等が挙げられる。画像情報としては、例えば、１以上のフレームを含む映像情報等が挙げられる。図１に示すように、検出装置１０は、推定部（推定手段）１２と、検出部（検出手段）１３と、を備える。
【0017】
推定部１２は、第１の学習済みモデルを用いて、物体および当該物体の残像を含む残像あり画像情報から物体の残像の軌跡を含む残像軌跡矩形情報および物体を含む物体矩形情報を算出する。また、推定部１２は、算出した残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定する。ここで、第１の学習済みモデルは、物体および当該物体の残像を含む学習用残像あり画像情報と、物体の残像の軌跡を含む学習用残像軌跡矩形情報および物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習されたものである。また、第１の学習済みモデルは、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力するものである。検出部１３は、推定部１２による推定結果に基づいて、物体を検出する。
【0018】
（検出方法Ｓ１の流れ）
本例示的実施形態に係る検出方法Ｓ１の流れについて、図２を参照して説明する。図２は、検出方法Ｓ１の流れを示すフロー図である。検出方法は、物体を検出する方法である。図２に示すように、検出方法Ｓ１は、ステップＳ１１およびＳ１２を含む。
本例示的実施形態に係る検出方法Ｓ１の流れについて、図２を参照して説明する。図２は、検出方法Ｓ１の流れを示すフロー図である。検出方法は、物体を検出する方法である。図２に示すように、検出方法Ｓ１は、ステップＳ１１およびＳ１２を含む。
【0019】
以下、検出方法Ｓ１は、検出装置１０の各部によって実行される場合を例に説明するが、検出方法Ｓ１は、少なくとも１つのプロセッサによって実行されてもよい。少なくとも１つのプロセッサは、検出装置１０に備えられていてもよいし、他の装置に備えられていてもよいし、複数の装置に備えられていてもよい。
【0020】
（ステップＳ１１）
ステップＳ１１において、推定部１２は、第１の学習済みモデルを用いて、物体および当該物体の残像を含む残像あり画像情報から物体の残像の軌跡を含む残像軌跡矩形情報および物体を含む物体矩形情報を算出する。また、推定部１２は、算出した残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定する。例えば、推定部１２は、第１の学習済みモデルに１以上の残像あり画像情報を入力し、第１の学習済みモデルを用いて算出された残像軌跡矩形情報および物体矩形情報の位置に基づいて、残像あり画像情報における物体の位置を推定する。この場合、推定部１２は残像軌跡矩形情報と物体矩形情報とが重複する領域の位置が物体の位置であると推定してもよい。
ステップＳ１１において、推定部１２は、第１の学習済みモデルを用いて、物体および当該物体の残像を含む残像あり画像情報から物体の残像の軌跡を含む残像軌跡矩形情報および物体を含む物体矩形情報を算出する。また、推定部１２は、算出した残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定する。例えば、推定部１２は、第１の学習済みモデルに１以上の残像あり画像情報を入力し、第１の学習済みモデルを用いて算出された残像軌跡矩形情報および物体矩形情報の位置に基づいて、残像あり画像情報における物体の位置を推定する。この場合、推定部１２は残像軌跡矩形情報と物体矩形情報とが重複する領域の位置が物体の位置であると推定してもよい。
【0021】
第１の学習済みモデルは、上述の画像情報および矩形情報を機械学習させることができるモデルであれば特に限定されない。第１の学習済みモデルとしては、例えば、深層学習をさせるモデル、ロジスティック回帰、サポートベクタマシン、ランダムフォレストおよび近傍法等の分類手法を用いたモデル、ならびに、ベイジアンネットワークを用いたモデル等が挙げられる。残像軌跡矩形情報および残像軌跡矩形情報における物体の残像は、通常、物体矩形情報における物体の残像の始点または終点に位置し、複数のフレームの画像信号を蓄積する時間である信号蓄積期間が閾値以上である場合に生じるものである。このため、残像軌跡矩形情報および物体矩形情報は、通常、複数のフレームの画像信号を蓄積する時間である信号蓄積期間が閾値以上である場合に生じる物体の残像を含むものであるともいえる。
【0022】
第１の学習済みモデルを機械学習させるための教師データである学習用残像軌跡矩形情報および学習用物体矩形情報に含まれる物体としては、特に限定されないが、物体によって高さや幅が異なることから矩形情報が変化するため、物体の種類は多いほうがよい。例えば、物体が車であっても、車種によって外形が異なるため、矩形情報も大きく異なる。この場合、学習用残像軌跡情報および学習用物体矩形情報には、所定の種類以上の車ごとに当該車が物体として撮像されていてもよい。
【0023】
【0024】
まず、図３における水平方向の図に示すように、水平方向に物体Ｍが移動して残像が生じている場合について説明する。「水平方向」とは、図３に正対する方向から見て水平方向であるとともに、残像あり画像情報Ｉ１を取得するカメラのレンズの光軸に対して水平方向である方向を意味する。図３に示す例では、物体矩形情報ｉ１ｂ～ｉ３ｂは物体Ｍの残像の軌跡の終点が位置し、物体Ｍは自動車である。また、ここでは残像あり画像情報Ｉ１が第１の学習済みモデルに入力される残像あり画像情報であり、残像軌跡矩形情報ｉ１ａおよび物体Ｍを含む物体矩形情報ｉ１ｂが第１の学習済みモデルから出力される残像軌跡矩形情報および物体矩形情報である場合について説明する。この場合、推定部１２は、第１の学習済みモデルに残像あり画像情報Ｉ１を入力する。推定部１２は、第１の学習済みモデルを用いて、残像あり画像情報Ｉ１から残像軌跡矩形情報ｉ１ａおよび物体矩形情報ｉ１ｂを算出する。また、推定部１２は、算出した残像軌跡矩形情報ｉ１ａおよび物体矩形情報ｉ１ｂの座標および大きさの少なくとも一方に基づいて、これらの情報が重複する領域に相当する位置が、残像あり画像情報Ｉ１における物体Ｍの位置であると推定する。残像軌跡矩形情報ｉ１ａおよび物体矩形情報ｉ１ｂの座標とは、例えば、図３に示すこれらの情報の外枠に相当する点線の位置の座標を示す。
【0025】
次に、図３における垂直方向の図に示すように、垂直方向に物体Ｍが移動して残像が生じている場合について説明する。「垂直方向」とは、図３に正対する方向から見て垂直方向であるとともに、残像あり画像情報Ｉ２を取得するカメラのレンズの光軸に対して垂直方向である方向を意味する。また、ここでは残像あり画像情報Ｉ２が第１の学習済みモデルに入力される残像あり画像情報であり、残像軌跡矩形情報ｉ２ａおよび物体Ｍを含む物体矩形情報ｉ２ｂが第１の学習済みモデルから出力される残像軌跡矩形情報および物体矩形情報である場合について説明する。この場合、推定部１２は第１の学習済みモデルに残像あり画像情報Ｉ２を入力する。推定部１２は、第１の学習済みモデルを用いて、残像あり画像情報Ｉ２から残像軌跡矩形情報ｉ２ａおよび物体矩形情報ｉ２ｂを算出する。また、推定部１２は、算出した残像軌跡矩形情報ｉ２ａおよび物体矩形情報ｉ２ｂの座標および大きさの少なくとも一方に基づいて、これらの情報が重複する領域に相当する位置が、残像あり画像情報Ｉ２における物体Ｍの位置であると推定する。
【0026】
次に、図３における斜め方向の図に示すように、斜め方向に物体Ｍが移動して残像が生じている場合について説明する。「斜め方向」とは、図３に正対する方向から見て斜め方向であるとともに、残像あり画像情報Ｉ３を取得するカメラのレンズの光軸に対して垂直方向である方向を意味する。ここでは、残像あり画像情報Ｉ３が第１の学習済みモデルに入力される残像あり画像情報であり、残像軌跡矩形情報ｉ３ａが第１の学習済みモデルに入力される残像あり画像情報であるものとする。また、残像軌跡矩形情報ｉ３ａおよび物体Ｍを含む物体矩形情報ｉ３ｂが第１の学習済みモデルから出力される残像軌跡情報および物体矩形情報であるものとする。この場合、推定部１２は第１の学習済みモデルに残像あり画像情報Ｉ３を入力する。そして、推定部１２は第１の学習済みモデルを用いて、残像あり画像情報Ｉ３から残像軌跡矩形情報ｉ３ａおよび物体矩形情報ｉ３ｂを算出する。また、推定部１２は、算出した残像軌跡矩形情報ｉ３ａおよび物体矩形情報ｉ３ｂの座標および大きさの少なくとも一方に基づいて、これらの情報が重複する領域に相当する位置が、残像あり画像情報Ｉ３における物体Ｍの位置であると推定する。
【0027】
（ステップＳ１２）
ステップＳ１２において、検出部１３は、推定部１２による推定結果に基づいて、物体を検出する。
ステップＳ１２において、検出部１３は、推定部１２による推定結果に基づいて、物体を検出する。
【0028】
（ステップＳ１２の一例）
以下、図３を用いてステップＳ１２の一例について説明する。
以下、図３を用いてステップＳ１２の一例について説明する。
【0029】
まず、図３における水平方向の図に示すように、水平方向に物体Ｍが移動して残像が生じている場合について説明する。検出部１３は、残像軌跡矩形情報ｉ１ａと物体矩形情報ｉ１ｂとが重複する領域に相当する物体Ｍの推定位置から物体Ｍを検出する。
【0030】
次に、図３における垂直方向の図に示すように、垂直方向に物体Ｍが移動して残像が生じている場合について説明する。検出部１３は、残像軌跡矩形情報ｉ２ａと物体矩形情報ｉ２ｂとが重複する領域に相当する物体Ｍの推定位置から物体Ｍを検出する。
【0031】
次に、図３における斜め方向の図に示すように、斜め方向に物体Ｍが移動して残像が生じている場合について説明する。検出部１３は、残像軌跡矩形情報ｉ３ａと物体矩形情報ｉ３ｂとが重複する領域に相当する物体Ｍの推定位置から物体Ｍを検出する。
【0032】
（検出プログラム）
検出装置１０がコンピュータによって構成されている場合、検出装置１０の機能は、コンピュータが参照するメモリに記憶された、以下の検出プログラムによっても実現できる。検出プログラムは、コンピュータを、推定部１２と、検出部１３と、として機能させる。
検出装置１０がコンピュータによって構成されている場合、検出装置１０の機能は、コンピュータが参照するメモリに記憶された、以下の検出プログラムによっても実現できる。検出プログラムは、コンピュータを、推定部１２と、検出部１３と、として機能させる。
【0033】
（例示的実施形態１の効果）
本例示的実施形態では、推定部１２は、第１の学習済みモデルを用いて算出した残像軌跡矩形情報および物体矩形情報に基づいて、物体の位置を推定し、検出部１３は、推定部１２による推定結果に基づいて、物体を検出する構成が採用されている。
本例示的実施形態では、推定部１２は、第１の学習済みモデルを用いて算出した残像軌跡矩形情報および物体矩形情報に基づいて、物体の位置を推定し、検出部１３は、推定部１２による推定結果に基づいて、物体を検出する構成が採用されている。
【0034】
この構成によれば、推定部１２は、夜間等の暗い環境下において信号蓄積時間が長くなり、画像情報に残像が生じても、第１の学習済みモデルを用いて算出された残像軌跡矩形情報および物体矩形情報に基づいて、残像あり画像情報における物体の位置を推定できる。また、検出部１３は、推定部１２が推定した物体の位置に基づいて物体を検出できる。このため、本例示的実施形態によれば、夜間等の暗い環境下でも、安定して物体検出を行うことが可能な検出装置１０およびその関連技術を提供できるという効果が得られる。
【0035】
また、この構成は、周囲の暗さに応じて赤外カットフィルタを用いることがない。このため、本例示的実施形態には、暗い環境下において物体を検出するために、赤外カットフィルタの挿抜を繰り返し、白黒の画像情報とカラーの画像情報との切り替えが発生し、画像が見づらいという課題がない。また、本例示的実施形態には、赤外カットフィルタの切り替えだけでは物体検出が可能となるように輝度を調整することは難しく、暗くなると物体検出が困難になる可能性があるという課題がない。以上のことから、本例示的実施形態によれば、カラーの画像情報を用いることができ、暗い環境下においても物体を検出することができるという効果が得られる。
【0036】
〔例示的実施形態２〕
本発明の例示的実施形態２について、図面を参照して詳細に説明する。例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を適宜省略する。
本発明の例示的実施形態２について、図面を参照して詳細に説明する。例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明を適宜省略する。
【0037】
（検出装置１０Ｘの構成）
本例示的実施形態に係る検出装置１０Ｘの構成について、図４を参照して説明する。図４は、検出装置１０Ｘの構成を示すブロック図である。検出装置１０Ｘは、物体を検出する。図４に示すように、検出装置１０Ｘは、カメラ（撮像手段）１４と、制御部（制御手段）１５と、記憶部（記憶手段）１７と、表示部（表示手段）１８と、を備える。
本例示的実施形態に係る検出装置１０Ｘの構成について、図４を参照して説明する。図４は、検出装置１０Ｘの構成を示すブロック図である。検出装置１０Ｘは、物体を検出する。図４に示すように、検出装置１０Ｘは、カメラ（撮像手段）１４と、制御部（制御手段）１５と、記憶部（記憶手段）１７と、表示部（表示手段）１８と、を備える。
【0038】
（１）カメラ１４の構成
カメラ１４は、被写体である検出対象の物体を撮像する。カメラ１４としては、例えば、レンズ部と、撮像部（撮像手段）とを備える旋回型カメラ等が挙げられる。
カメラ１４は、被写体である検出対象の物体を撮像する。カメラ１４としては、例えば、レンズ部と、撮像部（撮像手段）とを備える旋回型カメラ等が挙げられる。
【0039】
（２）制御部１５の構成
制御部１５は、カメラ１４、記憶部１７および表示部１８等の検出装置１０Ｘの各部を制御する。図４に示すように、制御部１５は、学習部（学習手段）１１Ｘと、推定部（推定手段）１２Ｘと、検出部（検出手段）１３と、算出部（算出手段）１６と、を備える。
制御部１５は、カメラ１４、記憶部１７および表示部１８等の検出装置１０Ｘの各部を制御する。図４に示すように、制御部１５は、学習部（学習手段）１１Ｘと、推定部（推定手段）１２Ｘと、検出部（検出手段）１３と、算出部（算出手段）１６と、を備える。
【0040】
学習部１１Ｘは、物体を含む学習用残像あり画像情報と、学習用残像軌跡矩形情報および学習用物体矩形情報とが対応付けられた教師データを用いて、第１の学習済みモデルを機械学習させる。また、学習部１１Ｘは、物体を含む学習用残像なし画像情報と、学習用物体矩形情報とが対応付けられた教師データを用いて、第２の学習済みモデルをさらに機械学習させる。第２の学習済みモデルは、カメラ１４から残像なし画像情報が入力された場合に物体矩形情報を出力するものである。
【0041】
このように、第２の学習済みモデルに画像情報が入力された場合、出力される矩形情報は、第１の学習済みモデルに画像情報が入力された場合と異なり、物体矩形情報という１つの矩形情報のみであり、残像軌跡矩形情報は出力されない。学習部１１Ｘは、画像情報の入力を受け付ける画像情報入力部、および、矩形情報の入力を受け付ける矩形情報入力部としても機能し、入力を受け付けた学習用画像情報と矩形情報とを対応付けて教師データを生成してもよい。また、上述の例では、単一の学習部１１Ｘが、第１の学習済みモデルと第２の学習済みモデルとの２つの学習済みモデルを機械学習させているが、第１の学習済みモデルを機械学習させる学習部と、第２の学習済みモデルを機械学習させる学習部とは別々であってもよい。
【0042】
推定部１２Ｘは、第２の学習済みモデルをさらに用いて残像なし画像情報から物体矩形情報を算出し、算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定する。制御部１５は、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能か否かに基づいて、物体を撮像するカメラ１４の向きを変更するか否かを決定し、カメラ１４の向きを制御する。算出部１６は、残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動速度を算出する。算出部１６としては、ＣＰＵ、ＧＰＵまたはデジタル並列処理等種々のものが挙げられるが、上述の算出処理を実行できれば、算出部１６は、いずれのものを用いてもよく、特に限定されない。
【0043】
制御部１５が行う各処理は、ＣＰＵ、ＧＰＦまたはデジタル順序回路等による演算によって実行可能であるが、上述の各処理を実行できれば、各処理の手段は特に限定されない。上述の例では、制御部１５は、カメラ１４の向きの制御を行っているが、ズームにより物体の大きさを拡大縮小したり、一定に保ったりするようなカメラ１４のレンズの制御を行ってもよい。上述の例では、カメラ１４は、制御部１５の外部に存在するが、制御部１５内に組み込まれ、制御部１５の内部に含まれていてもよい。また、上述の例では、学習部１１Ｘは、制御部１５の内部に含まれているが、制御部１５の外部に存在していてもよい。
【0044】
（３）記憶部１７の構成
記憶部１７は、カメラ１４の向き、ノイズおよび信号蓄積期間等のカメラ１４の設定に関する情報、第１の学習済みモデルおよび第２の学習済モデル等の各種データを記憶する。記憶部１７が記憶する学習済みモデルは、これらの２つ以上であればよく、記憶部１７は、これらの学習済みモデルに加えて、さらなる学習済みモデルを記憶してもよい。すなわち、検出装置１０Ｘは、さらなる学習済みモデルを用いて、物体を検出してもよい。
記憶部１７は、カメラ１４の向き、ノイズおよび信号蓄積期間等のカメラ１４の設定に関する情報、第１の学習済みモデルおよび第２の学習済モデル等の各種データを記憶する。記憶部１７が記憶する学習済みモデルは、これらの２つ以上であればよく、記憶部１７は、これらの学習済みモデルに加えて、さらなる学習済みモデルを記憶してもよい。すなわち、検出装置１０Ｘは、さらなる学習済みモデルを用いて、物体を検出してもよい。
【0045】
（４）表示部１８の構成
表示部１８は、モニタリング用の画像情報として、上述の各種画像情報を表示する。
表示部１８は、モニタリング用の画像情報として、上述の各種画像情報を表示する。
【0046】
（検出方法Ｓ１Ｘの流れ）
本例示的実施形態に係る検出方法Ｓ１Ｘの流れについて図５を参照して説明する。図５は、検出方法Ｓ１Ｘの流れを示すフロー図である。図５に示すように、検出方法Ｓ１Ｘは、ステップＳ１０１～Ｓ１１５を含む。また、図５に示す例では、検出方法Ｓ１Ｘは、１フレームごとに実行される場合について説明する。ステップＳ１０７およびＳ１１０は、例示的実施形態１におけるステップＳ１３と同様である。
本例示的実施形態に係る検出方法Ｓ１Ｘの流れについて図５を参照して説明する。図５は、検出方法Ｓ１Ｘの流れを示すフロー図である。図５に示すように、検出方法Ｓ１Ｘは、ステップＳ１０１～Ｓ１１５を含む。また、図５に示す例では、検出方法Ｓ１Ｘは、１フレームごとに実行される場合について説明する。ステップＳ１０７およびＳ１１０は、例示的実施形態１におけるステップＳ１３と同様である。
【0047】
以下、検出方法Ｓ１Ｘが、検出装置１０Ｘの各部によって実行される場合を中心に説明する。ただし、検出方法Ｓ１Ｘは、少なくとも１つのプロセッサによって実行されてもよい。少なくとも１つのプロセッサは、検出装置１０Ｘに備えられていてもよいし、他の装置に備えられていてもよいし、複数の装置に備えられていてもよい。
【0048】
（ステップＳ１０１）
ステップＳ１０１において、学習部１１Ｘは、学習用残像あり画像と、学習用残像軌跡矩形情報および学習用物体矩形情報とが対応付けられた教師データを用いて、第１の学習済みモデルを機械学習させる。学習部１１Ｘは、学習フェーズが完了した後、第１の学習済みモデルを記憶部１７に記憶させてもよい。
ステップＳ１０１において、学習部１１Ｘは、学習用残像あり画像と、学習用残像軌跡矩形情報および学習用物体矩形情報とが対応付けられた教師データを用いて、第１の学習済みモデルを機械学習させる。学習部１１Ｘは、学習フェーズが完了した後、第１の学習済みモデルを記憶部１７に記憶させてもよい。
【0049】
（ステップＳ１０２）
ステップＳ１０２において、学習部１１Ｘは、学習用残像なし画像と、学習用物体矩形情報とが対応付けられた教師データを用いて、第２の学習済みモデルを機械学習させる。学習部１１Ｘは、学習フェーズが完了した後、第２の学習済みモデルを記憶部１７に記憶させてもよい。
ステップＳ１０２において、学習部１１Ｘは、学習用残像なし画像と、学習用物体矩形情報とが対応付けられた教師データを用いて、第２の学習済みモデルを機械学習させる。学習部１１Ｘは、学習フェーズが完了した後、第２の学習済みモデルを記憶部１７に記憶させてもよい。
【0050】
（ステップＳ１０３）
ステップＳ１０３において、カメラ１４は、物体を撮像し、当該物体を含む画像情報を制御部１５に入力する。この場合、制御部１５は、画像情報入力部としても機能する。
ステップＳ１０３において、カメラ１４は、物体を撮像し、当該物体を含む画像情報を制御部１５に入力する。この場合、制御部１５は、画像情報入力部としても機能する。
【0051】
（ステップＳ１０４）
ステップＳ１０４において、推定部１２Ｘは、第１の学習済みモデルに加えて、第２の学習済みモデルをさらに用いて物体の位置を推定する。
例えば、推定部１２Ｘは、まず、第２の学習済みモデルに１以上の残像なし画像情報を入力し、第２の学習済みモデルから出力されることにより算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定する。この場合、推定部１２Ｘは、物体矩形情報の座標および大きさの少なくとも一方に基づき、物体矩形情報が表す領域の位置が残像なし画像情報における物体の位置であると推定してもよい。次に、推定部１２Ｘは、第１の学習済みモデルに１以上の残像あり画像情報を入力し、第１の学習済みモデルから出力されることによって算出された残像軌跡矩形情報および物体矩形情報に基づいて、物体の位置を推定する。この場合、推定部１２Ｘは、残像軌跡矩形情報と物体矩形情報の座標および大きさの少なくとも一方に基づき、残像軌跡矩形情報と物体矩形情報とが重複する領域に相当する位置が残像なし画像情報における物体の位置であると推定してもよい。
ステップＳ１０４において、推定部１２Ｘは、第１の学習済みモデルに加えて、第２の学習済みモデルをさらに用いて物体の位置を推定する。
例えば、推定部１２Ｘは、まず、第２の学習済みモデルに１以上の残像なし画像情報を入力し、第２の学習済みモデルから出力されることにより算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定する。この場合、推定部１２Ｘは、物体矩形情報の座標および大きさの少なくとも一方に基づき、物体矩形情報が表す領域の位置が残像なし画像情報における物体の位置であると推定してもよい。次に、推定部１２Ｘは、第１の学習済みモデルに１以上の残像あり画像情報を入力し、第１の学習済みモデルから出力されることによって算出された残像軌跡矩形情報および物体矩形情報に基づいて、物体の位置を推定する。この場合、推定部１２Ｘは、残像軌跡矩形情報と物体矩形情報の座標および大きさの少なくとも一方に基づき、残像軌跡矩形情報と物体矩形情報とが重複する領域に相当する位置が残像なし画像情報における物体の位置であると推定してもよい。
【0052】
（ステップＳ１０５）
ステップＳ１０５において、推定部１２Ｘは、物体の位置を推定可能であるか否かを判定する。推定部１２Ｘが物体の位置を推定可能であると判定した場合（ステップＳ１０５のＹ）、ステップＳ１０６へ移行する。推定部１２Ｘが物体の位置を推定不可能であると判定した場合（ステップＳ１０５のＮ）、ステップＳ１１４へ移行する。
ステップＳ１０５において、推定部１２Ｘは、物体の位置を推定可能であるか否かを判定する。推定部１２Ｘが物体の位置を推定可能であると判定した場合（ステップＳ１０５のＹ）、ステップＳ１０６へ移行する。推定部１２Ｘが物体の位置を推定不可能であると判定した場合（ステップＳ１０５のＮ）、ステップＳ１１４へ移行する。
【0053】
例えば、推定部１２Ｘは、まず、第２の学習済みモデルを用いて、入力フレーム等、第２の学習済みモデルに入力した１以上の残像なし画像情報に映っている物体の照合を行い、物体矩形情報に基づいて物体の位置を推定できるか否かの判定を行う。推定部１２Ｘは、物体矩形情報を含む判定結果を記憶部１７に記憶させることによって、当該判定結果を保存する。次に、推定部１２Ｘは、第１の学習済みモデルを用いて、入力フレーム等、第１の学習済みモデルに入力した１以上の残像あり画像情報に映っている物体の照合を行い、残像軌跡矩形情報および物体矩形情報に基づいて物体の位置を推定できるか否かの判定を行う。推定部１２Ｘは、残像軌跡矩形情報および物体矩形情報を含む判定結果を記憶部１７に記憶させることによって、判定結果を保存する。
【0054】
推定部１２Ｘが第２の学習済みモデルおよび第１の学習済みモデルのいずれかを用いて、物体の位置を推定可能である場合、すなわち、検出部１３が物体を検出できる場合（ステップＳ１０５のＹ）、ステップＳ１０６へ移行する。推定部１２Ｘが第２の学習済みモデルおよび第１の学習済みモデルのいずれを用いても物体の位置を推定不可能である場合、すなわち、検出部１３が物体を検出できない場合（ステップＳ１０５のＮ）、ステップＳ１１４へ移行する。
【0055】
（ステップＳ１０６）
ステップＳ１０６において、推定部１２Ｘは、第２の学習済みモデルを用いて残像なし画像情報から物体矩形情報を算出し、算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定可能であるか否かを判定する。推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能である場合（ステップＳ１０６のＹ）、すなわち、この場合に検出部１３が物体を検出可能な場合、ステップＳ１０７へ移行する。推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定不可能である場合（ステップＳ１０６のＮ）、すなわち、この場合に検出部１３が物体を検出不可能であり、第１の学習済みモデルを用いて物体を検出可能な場合、ステップＳ１１０へ移行する。
ステップＳ１０６において、推定部１２Ｘは、第２の学習済みモデルを用いて残像なし画像情報から物体矩形情報を算出し、算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定可能であるか否かを判定する。推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能である場合（ステップＳ１０６のＹ）、すなわち、この場合に検出部１３が物体を検出可能な場合、ステップＳ１０７へ移行する。推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定不可能である場合（ステップＳ１０６のＮ）、すなわち、この場合に検出部１３が物体を検出不可能であり、第１の学習済みモデルを用いて物体を検出可能な場合、ステップＳ１１０へ移行する。
【0056】
（ステップＳ１０８）
ステップＳ１０８において、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定し、検出部１３が物体を検出できているため、制御部１５は、現時点でのカメラ１４の向きを維持したまま、カメラ１４の制御を継続する。すなわち、制御部１５は、カメラ１４を左右に振るパンを行ったり、上下に振るチルトを行ったりしない。
ステップＳ１０８において、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定し、検出部１３が物体を検出できているため、制御部１５は、現時点でのカメラ１４の向きを維持したまま、カメラ１４の制御を継続する。すなわち、制御部１５は、カメラ１４を左右に振るパンを行ったり、上下に振るチルトを行ったりしない。
【0057】
（ステップＳ１０９）
ステップＳ１０９において、カメラ１４は、次のフレームの撮影を行うことによって次の画像情報を取得し、再び物体の検出を行うための各処理を実行する。
ステップＳ１０９において、カメラ１４は、次のフレームの撮影を行うことによって次の画像情報を取得し、再び物体の検出を行うための各処理を実行する。
【0058】
（ステップＳ１１１）
ステップＳ１１１において、推定部１２Ｘは、第２の学習済みモデルを用いて物体の位置を推定不可能な場合に残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動方向を推定する。例えば、推定部１２Ｘは、第１の学習済みモデルに残像あり画像情報を入力した場合に第１の学習済みモデルから出力される残像軌跡矩形情報および物体矩形情報の座標に基づいて、物体の移動方向を推定する。
ステップＳ１１１において、推定部１２Ｘは、第２の学習済みモデルを用いて物体の位置を推定不可能な場合に残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動方向を推定する。例えば、推定部１２Ｘは、第１の学習済みモデルに残像あり画像情報を入力した場合に第１の学習済みモデルから出力される残像軌跡矩形情報および物体矩形情報の座標に基づいて、物体の移動方向を推定する。
【0059】
（ステップＳ１１１の一例）
以下、図３を用いてステップＳ１１１の一例について説明する。以下では、画像情報Ｉ１～Ｉ３が、第１の学習済みモデルに入力され、残像軌跡矩形情報ｉ１ａ、ｉ２ａおよびｉ３ａならびに物体矩形情報ｉ１ｂ、ｉ２ｂおよびｉ３ｂが第１の学習済モデルから出力される場合について説明する。また、物体Ｍが自動車である場合について説明する。
以下、図３を用いてステップＳ１１１の一例について説明する。以下では、画像情報Ｉ１～Ｉ３が、第１の学習済みモデルに入力され、残像軌跡矩形情報ｉ１ａ、ｉ２ａおよびｉ３ａならびに物体矩形情報ｉ１ｂ、ｉ２ｂおよびｉ３ｂが第１の学習済モデルから出力される場合について説明する。また、物体Ｍが自動車である場合について説明する。
【0060】
まず、図３における水平方向の図に示すように、水平方向に物体Ｍが移動して残像が生じている場合について説明する。推定部１２Ｘは、残像軌跡矩形情報ｉ１ａの座標よりも物体矩形情報ｉ１ｂの座標のほうが、水平方向を示すＸ軸方向において全体的に大きい値であることから、物体Ｍの移動方向が水平方向であると推定する。
【0061】
次に、図３における垂直方向の図に示すように、垂直方向に物体Ｍが移動して残像が生じている場合について説明する。推定部１２Ｘは、残像軌跡矩形情報ｉ２ａの座標よりも物体矩形情報ｉ２ｂの座標のほうが、垂直方向を示すＹ軸方向において全体的に小さい値であることから、物体Ｍの移動方向が垂直方向であると推定する。
【0062】
次に、図３における斜め方向の図に示すように、斜め方向に物体Ｍが移動して残像が生じている場合について説明する。推定部１２Ｘは、残像軌跡矩形情報ｉ３ａの座標よりも物体矩形情報ｉ３ｂの座標のほうが、斜め方向を示すＺ軸方向において全体的に大きい値であることから、物体Ｍの移動方向が斜め方向であると推定する。
【0063】
（ステップＳ１１２）
ステップＳ１１２において、推定部１２Ｘは、残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動速度を推定する。例えば、推定部１２Ｘは、算出部１６が残像軌跡矩形情報および物体矩形情報の座標および大きさの少なくとも一方に基づいて算出した物体の移動速度が物体の移動速度であると推定する。
ステップＳ１１２において、推定部１２Ｘは、残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動速度を推定する。例えば、推定部１２Ｘは、算出部１６が残像軌跡矩形情報および物体矩形情報の座標および大きさの少なくとも一方に基づいて算出した物体の移動速度が物体の移動速度であると推定する。
【0064】
（ステップＳ１１２の一例）
以下、ステップＳ１１２の一例について説明する。
以下、ステップＳ１１２の一例について説明する。
【0065】
（１）水平方向における物体Ｍの移動速度の算出および推定の一例
まず、図３における水平方向の図に示すように、水平方向に物体Ｍが移動している場合を例に、図６を用いて水平方向における物体Ｍの移動速度ＶＨの算出および推定の一例について説明する。図６は、水平方向における物体Ｍの移動速度ＶＨの算出および推定についての説明図である。図６に表示されている各種パラメータの内容は以下の通りである。また、以下では、カメラ１４が、レンズと、イメージセンサとを備える場合について説明する。
Ｌ：物体Ｍとカメラ１４との間の距離
ｆ：レンズの焦点距離
ａＨ：水平方向におけるイメージセンサの撮像面のサイズ
ＡＨ：水平方向におけるカメラ１４による被写体の撮像可能範囲
ｂＨ：水平方向におけるイメージセンサの撮像面での物体Ｍの移動量
ＢＨ：水平方向におけるカメラ１４によって撮像された物体Ｍの移動量
ここで、ＡＨは、カメラ１４のレンズの光軸と水平な面における被写体の撮像可能範囲でもある。ＢＨは、カメラ１４のレンズの光軸と水平な面に投影された物体Ｍの移動量でもある。図３に示すように、ｂＨは、以下の式（１）によって表すことができる。以下の式（１）におけるｍＨおよびＯＨは、推定部１２Ｘが物体Ｍの位置を推定する際に参照する、第１の学習済みモデルから出力される残像軌跡矩形情報ｉ１ａおよび物体矩形情報ｉ１ｂの座標に基づいて、算出部１６が算出することによって得られる。
まず、図３における水平方向の図に示すように、水平方向に物体Ｍが移動している場合を例に、図６を用いて水平方向における物体Ｍの移動速度ＶＨの算出および推定の一例について説明する。図６は、水平方向における物体Ｍの移動速度ＶＨの算出および推定についての説明図である。図６に表示されている各種パラメータの内容は以下の通りである。また、以下では、カメラ１４が、レンズと、イメージセンサとを備える場合について説明する。
Ｌ：物体Ｍとカメラ１４との間の距離
ｆ：レンズの焦点距離
ａＨ：水平方向におけるイメージセンサの撮像面のサイズ
ＡＨ：水平方向におけるカメラ１４による被写体の撮像可能範囲
ｂＨ：水平方向におけるイメージセンサの撮像面での物体Ｍの移動量
ＢＨ：水平方向におけるカメラ１４によって撮像された物体Ｍの移動量
ここで、ＡＨは、カメラ１４のレンズの光軸と水平な面における被写体の撮像可能範囲でもある。ＢＨは、カメラ１４のレンズの光軸と水平な面に投影された物体Ｍの移動量でもある。図３に示すように、ｂＨは、以下の式（１）によって表すことができる。以下の式（１）におけるｍＨおよびＯＨは、推定部１２Ｘが物体Ｍの位置を推定する際に参照する、第１の学習済みモデルから出力される残像軌跡矩形情報ｉ１ａおよび物体矩形情報ｉ１ｂの座標に基づいて、算出部１６が算出することによって得られる。
【0066】
【数1】
【0067】
ここで、水平方向におけるイメージセンサの撮像面のサイズに対する物体Ｍの移動量の比をｘとすると、ｘは、以下の式（２）のように表すことができる。
【0068】
【数2】
【0069】
また、水平方向におけるイメージセンサの撮像面のサイズａＨと、水平方向におけるカメラ１４による被写体の撮像可能範囲ＡＨとの関係は、以下の式（３）のように表すことができる。そして、以下の式（３）から、以下の式（４）が得られる。
【0070】
【数3】
【0071】
算出部１６は、上述の式（２）を上述の式（４）に代入し、以下の式（５）を導出する。
【0072】
【数4】
【0073】
また、水平方向における物体Ｍの水平方向の移動速度ＶＨは、カメラ１４の信号蓄積期間tを用いると、以下の式（６）のように表すことができる。
【0074】
【数5】
【0075】
このため、算出部１６は、上述の式（６）を上述の式（５）に代入することによって、以下の式（７）を導出する。
【0076】
【数6】
【0077】
ａＨ、Ｌ、ｆ、ｘおよびｔは、すべて既知であることから、算出部１６は、上述の式（７）を用いることによって、水平方向における物体Ｍの移動速度ＶＨを算出できる。ここで、物体Ｍとカメラ１４との距離Ｌに関しては、レーザー測距計等を使ってあらかじめ測定したものを用いてもよい。また、地図情報等の物体Ｍおよびカメラ１４の位置を示す位置情報、ならびに、カメラ１４の回転角および仰角の設定値が記憶部１７にあらかじめ格納されている場合、算出部１６は、これらの情報に基づいて上述の距離Ｌを算出してもよい。
【0078】
推定部１２Ｘは、算出部１６が算出した水平方向における物体Ｍの移動速度ＶＨが、水平方向における物体Ｍの移動速度ＶＨであると推定する。
【0079】
（２）垂直方向における物体Ｍの移動速度の算出および推定の一例
次に、図３における垂直方向の図に示すように、垂直方向に物体Ｍが移動している場合を例に、図７および８を用いて垂直方向における物体Ｍの移動速度ＶVの算出および推定の一例について説明する。図７は、垂直方向における物体Ｍの移動速度ＶVの算出および推定についての説明図である。図８は、図７の一部の領域Ｒの拡大図である。図７に表示されている各種パラメータの内容は以下の通りである。また、以下では、カメラ１４が、レンズと、イメージセンサとを備える場合について説明する。
Ｌ：物体Ｍとカメラ１４との間の距離
ｆ：レンズの焦点距離
ａV：垂直方向におけるイメージセンサの撮像面のサイズ
ＡV：垂直方向におけるカメラ１４による被写体の撮像可能範囲
ｂV：垂直方向におけるイメージセンサの撮像面での物体Ｍの移動量
ＢV：垂直方向におけるカメラ１４によって撮像された物体Ｍの移動量
ω：垂直方向における物体Ｍの残像軌跡の画角
θ：垂直方向におけるカメラ１４の傾き
ここで、ＡVは、カメラ１４のレンズの光軸と垂直な面における被写体の撮像可能範囲でもある。ＢVは、カメラ１４のレンズの光軸と垂直な面に投影された物体Ｍの移動量でもある。図３に示すように、ｂVは、以下の式（８）によって表すことができる。以下の式（８）におけるｍVおよびＯVは、推定部１２Ｘが物体Ｍの位置を推定する際に参照する、第１の学習済みモデルから出力される残像軌跡矩形情報ｉ２ａおよび物体矩形情報ｉ２ｂの座標に基づいて、算出部１６が算出することによって得られる。
次に、図３における垂直方向の図に示すように、垂直方向に物体Ｍが移動している場合を例に、図７および８を用いて垂直方向における物体Ｍの移動速度ＶVの算出および推定の一例について説明する。図７は、垂直方向における物体Ｍの移動速度ＶVの算出および推定についての説明図である。図８は、図７の一部の領域Ｒの拡大図である。図７に表示されている各種パラメータの内容は以下の通りである。また、以下では、カメラ１４が、レンズと、イメージセンサとを備える場合について説明する。
Ｌ：物体Ｍとカメラ１４との間の距離
ｆ：レンズの焦点距離
ａV：垂直方向におけるイメージセンサの撮像面のサイズ
ＡV：垂直方向におけるカメラ１４による被写体の撮像可能範囲
ｂV：垂直方向におけるイメージセンサの撮像面での物体Ｍの移動量
ＢV：垂直方向におけるカメラ１４によって撮像された物体Ｍの移動量
ω：垂直方向における物体Ｍの残像軌跡の画角
θ：垂直方向におけるカメラ１４の傾き
ここで、ＡVは、カメラ１４のレンズの光軸と垂直な面における被写体の撮像可能範囲でもある。ＢVは、カメラ１４のレンズの光軸と垂直な面に投影された物体Ｍの移動量でもある。図３に示すように、ｂVは、以下の式（８）によって表すことができる。以下の式（８）におけるｍVおよびＯVは、推定部１２Ｘが物体Ｍの位置を推定する際に参照する、第１の学習済みモデルから出力される残像軌跡矩形情報ｉ２ａおよび物体矩形情報ｉ２ｂの座標に基づいて、算出部１６が算出することによって得られる。
【0080】
【数7】
【0081】
物体Ｍの移動量は、実際には、図８の地面Ｇ上のｅの長さに相当するが、カメラ１４によって物体Ｍを撮像した場合には、カメラ１４のレンズの光軸と物体Ｍとが交わる垂直な面に、図７のBｖの長さとなって投影される。
【0082】
ここで、カメラ１４のイメージセンサの撮像面のサイズに対する物体Ｍの移動量の比をｘとすると、ｘは、上述の式（２）と同様、以下の式（９）のように表すことができる。
【0083】
【数8】
【0084】
よって、算出部１６は、カメラ１４によって撮像された物体Ｍの垂直方向における移動量ＢＶは、水平方向の場合と同様、以下の式（１０）のように導出できる。
【0085】
【数9】
【0086】
次に、算出部１６が、カメラ１４によって撮像された物体Ｍの移動量ＢＶに基づいて、実際の物体Ｍの移動量eを求める方法について説明する。図８に示すように、物体Ｍの実際の移動量eは、以下の式（１１）によって表すことができる。
【0087】
【数10】
【0088】
ここで、正弦定理を用いると、ｅ１およびｅ２は、それぞれ以下の式（１２）および（１３）のように表すことができる。
【0089】
【数11】
【0090】
図８に示す角度は、それぞれ以下の式（１４）～（２０）のように表すことができる。
【0091】
【数12】
【0092】
算出部１６は、上述の式（１３）に上述の式（１４）～（２０）を代入することによって、以下の式（２１）および（２２）を導出する。
【0093】
【数13】
【0094】
算出部１６は、上述の式（１１）に上述の式（２１）および（２２）を代入することによって、以下の式（２３）に表されるｅの式を導出する。
【0095】
【数14】
【0096】
また、図７から、ωは、以下の式によって表すことができる。
【0097】
【数15】
【0098】
また、垂直方向における物体Ｍの移動速度ＶＶは、カメラ１４の信号蓄積時間tを用いると、以下のように表すことができる。
【0099】
【数16】
【0100】
ＢＶ、ｂＶ、ｆ、ｔおよびθは、すべて既知であることから、算出部１６は、上述の式（１０）および（２３）～（２５）を用いることによって、垂直方向における物体Ｍの移動速度ＶＶを算出できる。
【0101】
推定部１２Ｘは、算出部１６が算出した垂直方向における物体Ｍの移動速度ＶVが、垂直方向における物体Ｍの移動速度ＶVであると推定する。
【0102】
（３）斜め方向における物体Ｍの移動速度の算出および推定の一例
次に、図３における斜め方向の図に示すように、斜め方向に物体Ｍが移動している場合を例に、図３を用いて斜め方向における物体Ｍの移動速度ＶＤの算出および推定の一例について説明する。
次に、図３における斜め方向の図に示すように、斜め方向に物体Ｍが移動している場合を例に、図３を用いて斜め方向における物体Ｍの移動速度ＶＤの算出および推定の一例について説明する。
【0103】
図３における斜め方向の図に示すように、斜め方向の速度成分は、水平方向の速度成分と垂直方向の速度成分とから成り立っているため、この関係を式によって表すと、以下の式（２６）の通りとなる。
【0104】
【数17】
【0105】
上述の式（２６）より、ＶＤは以下の式（２７）となる。
【0106】
【数18】
【0107】
算出部１６は、上述の方法と同様に、矩形情報の大きさおよび信号蓄積時間に基づいて、ＶＨおよびＶＶを算出し、それらの値を用いることにより、ＶDを算出する。
【0108】
推定部１２Ｘは、算出部１６が算出した斜め方向における物体Ｍの移動速度ＶDが、斜め方向における物体Ｍの移動速度ＶDであると推定する。
【0109】
（ステップＳ１１３）
ステップＳ１１３において、制御部１５は、推定部１２Ｘが推定した物体の移動方向および移動速度に応じてカメラ１４の向きを変更する。この場合、制御部１５は、パンおよびチルトの少なくとも一方を行い、カメラ１４の向きを変更してもよい。
ステップＳ１１３において、制御部１５は、推定部１２Ｘが推定した物体の移動方向および移動速度に応じてカメラ１４の向きを変更する。この場合、制御部１５は、パンおよびチルトの少なくとも一方を行い、カメラ１４の向きを変更してもよい。
【0110】
また、ステップＳ１０６、Ｓ１０８およびＳ１１３のように、制御部１５は、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能か否かに基づいてカメラ１４の向きを変更するか否かを決定し、カメラ１４の向きを制御してもよい。具体的には、ステップＳ１０６のＹのように推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能な場合、ステップＳ１０８のように制御部１５はカメラ１４の向きを維持してもよい。また、ステップＳ１０６のＮのように、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定不可能な場合、制御部１５は、ステップＳ１１３の上述の例と同様に、物体の移動方向および移動速度に応じてカメラ１４の向きを変更してもよい。
【0111】
上述のように、制御部１５が物体の移動方向および移動速度に応じてカメラ１４の向きを変更した場合、推定部１２Ｘは、当該向きが変更されたカメラ１４によって物体が撮像された画像情報、および、第２の学習済みモデルを用いて、物体の位置を推定してもよい。
【0112】
（ステップＳ１１４）
ステップＳ１１４において、推定部１２Ｘが第１の学習済みモデルおよび第２の学習済みモデルのいずれを用いても物体の位置を推定できず、検出部１３が物体を検出できない場合、制御部１５は、カメラ１４のゲインの値が閾値以上であるか否かの判定を行う。当該閾値としては、夜間での物体の検出を行うことが理論上可能な輝度となる値であれば特に限定されない。また、当該閾値は、あらかじめ設定されたものであってもよい。
ステップＳ１１４において、推定部１２Ｘが第１の学習済みモデルおよび第２の学習済みモデルのいずれを用いても物体の位置を推定できず、検出部１３が物体を検出できない場合、制御部１５は、カメラ１４のゲインの値が閾値以上であるか否かの判定を行う。当該閾値としては、夜間での物体の検出を行うことが理論上可能な輝度となる値であれば特に限定されない。また、当該閾値は、あらかじめ設定されたものであってもよい。
【0113】
制御部１５は、カメラ１４に設定されているゲインの値をカメラ１４から読み取ることによって、カメラ１４のゲインの値が閾値以上であるか否かの判定を行う。カメラ１４のゲインの値が閾値以上であると制御部１５が判定した場合（ステップＳ１１４のＹ）、ステップＳ１１５へ移行する。カメラ１４のゲインの値が閾値以上でないと制御部１５が判定した場合（ステップＳ１１４のＮ）、すなわち、カメラ１４のゲインの値が閾値未満であると制御部１５が判定した場合、ステップＳ１０９へ移行する。
【0114】
このように、推定部１２Ｘが物体の位置を推定できず、かつ、ゲインの値が閾値未満であると推定部１２Ｘが判定した場合、推定部１２Ｘは、残像あり画像情報および残像なし画像情報に物体が撮像されていないと推定してもよい。また、制御部１５は、カメラ１４に次のフレームを撮影させることにより、次の画像情報を取得させてもよい。
【0115】
（ステップＳ１１５）
ステップＳ１１５において、推定部１２Ｘが物体の位置を推定できず、かつ、カメラ１４のゲインの値が閾値以上である場合、制御部１５は、ゲインの値を閾値以下に設定し、閾値以下に設定したゲインの値に応じたものとなるように信号蓄積期間を変更してもよい。このように、制御部１５は、カメラ１４のゲインの値に基づいて、ゲインの値、および、複数の残像あり画像情報または残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定することによって、ゲインの値および信号蓄積期間を制御してもよい。
ステップＳ１１５において、推定部１２Ｘが物体の位置を推定できず、かつ、カメラ１４のゲインの値が閾値以上である場合、制御部１５は、ゲインの値を閾値以下に設定し、閾値以下に設定したゲインの値に応じたものとなるように信号蓄積期間を変更してもよい。このように、制御部１５は、カメラ１４のゲインの値に基づいて、ゲインの値、および、複数の残像あり画像情報または残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定することによって、ゲインの値および信号蓄積期間を制御してもよい。
【0116】
（例示的実施形態２の効果）
本例示的実施形態においては、推定部１２Ｘは、第２の学習済みモデルをさらに用いて、残像なし画像情報から物体矩形情報を算出し、算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定する構成が採用されている。
本例示的実施形態においては、推定部１２Ｘは、第２の学習済みモデルをさらに用いて、残像なし画像情報から物体矩形情報を算出し、算出した物体矩形情報に基づいて、残像なし画像情報における物体の位置を推定する構成が採用されている。
【0117】
この構成によれば、推定部１２Ｘは、第１の学習済みモデルおよび第２の学習済みモデルという２種類の学習済みモデルを用いて物体の位置を推定する。このため、本例示的実施形態によれば、例示的実施形態１に比べて、夜間等の暗い環境下でも、検出部１３が安定して物体を検出しやすいという効果が得られる。
【0118】
本例示的実施形態においては、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能か否かに基づいて、物体を撮像するカメラ１４の向きを変更するか否かを決定する制御部１５をさらに備える構成が採用されている。
【0119】
この構成によれば、画像情報に残像が含まれていないといった理由により、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能な場合に、制御部１５はカメラ１４の向きを維持する。また、画像情報に残像が含まれており、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定不可能な場合に、制御部１５はカメラ１４の向きを変更する。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加えて、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定可能でない場合でも、カメラ１４の向きを変更し、物体を追従できるという効果が得られる。
【0120】
本例示実施形態においては、推定部１２Ｘは、残像軌跡矩形情報および物体矩形情報に基づいて、物体の移動方向および移動速度を推定し、制御部１５は、物体の移動方向および移動速度に応じてカメラ１４の向きを変更する構成が採用されている。
【0121】
この構成によれば、画像情報に残像が含まれ、推定部１２Ｘが第２の学習済みモデルを用いて物体の位置を推定不可能な場合でも、制御部１５は、物体の移動方向および移動速度に合わせて、物体と同様の移動方向および移動速度にてカメラ１４の向きを変更できる。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加え、上述の場合でも、カメラ１４を物体に追従させることができるという効果が得られる。
【0122】
本例示的実施形態においては、推定部１２Ｘは、物体の移動方向および移動速度に応じて向きが変更されたカメラ１４によって物体が撮像された画像情報および第２の学習済みモデルを用いて、物体の位置を推定する構成が採用されている。
【0123】
この構成によれば、物体に追従するカメラ１４によって物体が撮像されるため、残像が発生しにくい画像情報が得られやすくなり、推定部１２Ｘは、残像が発生しにくい画像情報を第２の学習済みモデルに入力して出力される矩形情報を用いて物体の位置を推定する。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加えて、第２の学習済みモデルを用いて物体の位置を推定しやすくなるという効果が得られる。
【0124】
本例示的実施形態においては、制御部１５は、カメラ１４のゲインの値に基づいて、ゲインの値および複数の残像あり画像情報または残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定する構成が採用されている。
【0125】
この構成によれば、ゲインの値が大きく、画像情報内のノイズが大きい場合に、ゲインの値を下げてノイズを減らし、信号蓄積期間を変更して輝度を保つことができる。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加えて、ゲインの値が大きい場合でも、推定部１２Ｘは、輝度が保たれつつ、ノイズが減少した、物体の検出に適した画像情報を用いて物体の位置を推定できるという効果が得られる。
【0126】
本例示的実施形態においては、推定部１２Ｘが物体の位置を推定できず、かつ、カメラ１４のゲインの値が閾値以上である場合、制御部１５は、ゲインの値を閾値以下に設定し、閾値以下に設定したゲインの値に応じたものとなるように、信号蓄積期間を変更する構成が採用されている。
【0127】
この構成によれば、ゲインの値が閾値以上であり、画像情報内のノイズが大きい場合に、ゲインの値を下げてノイズを減らし、低下したゲインの値に応じて信号蓄積期間を変更して輝度を保てる。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加え、ゲインの値が閾値以上でも、推定部１２Ｘは、輝度が保たれつつノイズが減少した、物体の検出に適した画像情報を用いて物体の位置を推定できるという効果が得られる。
【0128】
本例示的実施形態においては、推定部１２Ｘが物体の位置を推定できず、かつ、ゲインの値が閾値未満である場合、推定部１２Ｘは、残像あり画像情報および残像なし画像情報に物体が撮像されていないと推定し、制御部１５は、カメラ１４に次の画像情報を取得させる構成が採用されている。
【0129】
この構成によれば、推定部１２Ｘが物体の位置を推定できず、ゲインの値が閾値未満という画像情報内のノイズが小さい場合、推定部１２Ｘは、検出部１３が物体を検出できない要因がノイズに起因するものでなく、画像情報に物体が撮像されていないと推定する。このため、本例示的実施形態によれば、例示的実施形態１の奏する効果に加え、ゲインの値を上げる傾向にある夜間等においてゲインの値が閾値未満であるか否かに応じて、推定部１２Ｘは画像情報に物体が撮像されているか否かを推定できるという効果が得られる。また、制御部１５は、ゲインの値が閾値未満であるか否かに応じて、カメラ１４による次の撮像に進んでよいかどうかを決定できるという効果が得られる。
【0130】
〔ソフトウェアによる実現例〕
検出装置１０および１０Ｘの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
検出装置１０および１０Ｘの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0131】
後者の場合、検出装置１０および１０Ｘは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）等をさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0132】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0133】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0134】
（付記１）
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
を備える、検出装置。
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
を備える、検出装置。
【0135】
（付記２）
前記推定手段は、前記物体を含む学習用残像なし画像情報と、前記学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像なし画像情報が入力された場合に前記物体矩形情報を出力する第２の学習済みモデルをさらに用いて、前記残像なし画像情報から前記物体矩形情報を算出し、算出した前記物体矩形情報に基づいて、前記残像なし画像情報における前記物体の位置を推定する、付記１に記載の検出装置。
前記推定手段は、前記物体を含む学習用残像なし画像情報と、前記学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像なし画像情報が入力された場合に前記物体矩形情報を出力する第２の学習済みモデルをさらに用いて、前記残像なし画像情報から前記物体矩形情報を算出し、算出した前記物体矩形情報に基づいて、前記残像なし画像情報における前記物体の位置を推定する、付記１に記載の検出装置。
【0136】
（付記３）
前記推定手段が前記第２の学習済みモデルを用いて前記物体の位置を推定可能か否かに基づいて、前記物体を撮像する撮像手段の向きを変更するか否かを決定する制御手段をさらに備える、付記２に記載の検出装置。
前記推定手段が前記第２の学習済みモデルを用いて前記物体の位置を推定可能か否かに基づいて、前記物体を撮像する撮像手段の向きを変更するか否かを決定する制御手段をさらに備える、付記２に記載の検出装置。
【0137】
（付記４）
前記推定手段は、前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記物体の移動方向および移動速度を推定し、
前記制御手段は、前記物体の移動方向および移動速度に応じて前記撮像手段の向きを変更する、付記３に記載の検出装置。
前記推定手段は、前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記物体の移動方向および移動速度を推定し、
前記制御手段は、前記物体の移動方向および移動速度に応じて前記撮像手段の向きを変更する、付記３に記載の検出装置。
【0138】
（付記５）
前記推定手段は、前記物体の移動方向および移動速度に応じて向きが変更された前記撮像手段によって前記物体が撮像された画像情報、および、前記第２の学習済みモデルを用いて、前記物体の位置を推定する、付記４に記載の検出装置。
前記推定手段は、前記物体の移動方向および移動速度に応じて向きが変更された前記撮像手段によって前記物体が撮像された画像情報、および、前記第２の学習済みモデルを用いて、前記物体の位置を推定する、付記４に記載の検出装置。
【0139】
（付記６）
前記制御手段は、前記撮像手段のゲインの値に基づいて、当該ゲインの値、および、複数の前記残像あり画像情報または前記残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定する、付記１～５のいずれか１つに記載の検出装置。
前記制御手段は、前記撮像手段のゲインの値に基づいて、当該ゲインの値、および、複数の前記残像あり画像情報または前記残像なし画像情報を蓄積する期間である信号蓄積期間を変更するか否かを決定する、付記１～５のいずれか１つに記載の検出装置。
【0140】
（付記７）
前記推定手段が前記物体の位置を推定できず、かつ、前記撮像手段のゲインの値が閾値以上である場合、前記制御手段は、前記ゲインの値を閾値以下に設定し、閾値以下に設定した前記ゲインの値に応じたものとなるように、前記信号蓄積期間を変更する、付記６に記載の検出装置。
前記推定手段が前記物体の位置を推定できず、かつ、前記撮像手段のゲインの値が閾値以上である場合、前記制御手段は、前記ゲインの値を閾値以下に設定し、閾値以下に設定した前記ゲインの値に応じたものとなるように、前記信号蓄積期間を変更する、付記６に記載の検出装置。
【0141】
（付記８）
前記推定手段が前記物体の位置を推定できず、かつ、前記ゲインが閾値未満である場合、前記推定手段は、前記残像あり画像情報および前記残像なし画像情報に前記物体が撮像されていないと推定し、前記制御手段は、前記撮像手段に次の画像情報を取得させる、付記７に記載の検出装置。
前記推定手段が前記物体の位置を推定できず、かつ、前記ゲインが閾値未満である場合、前記推定手段は、前記残像あり画像情報および前記残像なし画像情報に前記物体が撮像されていないと推定し、前記制御手段は、前記撮像手段に次の画像情報を取得させる、付記７に記載の検出装置。
【0142】
（付記９）
少なくとも１つのプロセッサが、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、
前記推定による推定結果に基づいて、前記物体を検出することと、
を含む、検出方法。
少なくとも１つのプロセッサが、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、
前記推定による推定結果に基づいて、前記物体を検出することと、
を含む、検出方法。
【0143】
（付記１０）
コンピュータを、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
して機能させる、検出プログラム。
コンピュータを、
物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定する推定手段と、
前記推定手段による推定結果に基づいて、前記物体を検出する検出手段と、
して機能させる、検出プログラム。
【0144】
〔付記事項３〕
少なくとも１つのプロセッサを備え、前記プロセッサは、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、前記推定による推定結果に基づいて、前記物体を検出することと、を実行する、検出装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、前記推定による推定結果に基づいて、前記物体を検出することと、を実行する、検出装置。
【0145】
この検出装置は、さらにメモリを備えていてもよく、このメモリには、物体および当該物体の残像を含む学習用残像あり画像情報と、前記物体の残像の軌跡を含む学習用残像軌跡矩形情報および前記物体を含む学習用物体矩形情報とが対応付けられた教師データを用いて機械学習された、残像あり画像情報が入力された場合に残像軌跡矩形情報および物体矩形情報を出力する第１の学習済みモデルを用いて、前記残像あり画像情報から前記残像軌跡矩形情報および前記物体矩形情報を算出し、算出した前記残像軌跡矩形情報および前記物体矩形情報に基づいて、前記残像あり画像情報における前記物体の位置を推定することと、前記推定による推定結果に基づいて、前記物体を検出することと、を前記プロセッサに実行させるための検出プログラムが記憶されていてもよい。この検出プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0146】
〔付記事項４〕
本発明は、夜間等の暗い環境下でも、安定して物体検出が可能な検出装置およびその関連技術を提供することができる。このため、本発明は、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献することができる。
本発明は、夜間等の暗い環境下でも、安定して物体検出が可能な検出装置およびその関連技術を提供することができる。このため、本発明は、持続可能な開発目標（ＳＤＧｓ）の目標９「産業と技術革新の基盤をつくろう」の達成に貢献することができる。
【符号の説明】
【0147】
１０、１０Ｘ 検出装置
１２、１２Ｘ 推定部（推定手段）
１３ 検出部（検出手段）
１４ カメラ（撮像手段）
１５ 制御部（制御手段）
Ｉ１、Ｉ２、Ｉ３ 画像情報
ｉ１ａ、ｉ２ａ、ｉ３ａ 残像軌跡矩形情報
ｉ１ｂ、ｉ２ｂ、ｉ３ｂ 物体矩形情報
Ｓ１、Ｓ１Ｘ 検出方法
１２、１２Ｘ 推定部（推定手段）
１３ 検出部（検出手段）
１４ カメラ（撮像手段）
１５ 制御部（制御手段）
Ｉ１、Ｉ２、Ｉ３ 画像情報
ｉ１ａ、ｉ２ａ、ｉ３ａ 残像軌跡矩形情報
ｉ１ｂ、ｉ２ｂ、ｉ３ｂ 物体矩形情報
Ｓ１、Ｓ１Ｘ 検出方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】