ホーム > 特許ランキング > 国立大学法人 東京大学
▶ 国立大学法人 東京大学の特許一覧 ▶ 株式会社光庭インフォの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-18
(45)【発行日】2023-05-26
(54)【発明の名称】計測システム、車両、計測装置、計測プログラム及び計測方法
(51)【国際特許分類】
G01C 3/06 20060101AFI20230519BHJP
【ＦＩ】
G01C3/06 130
G01C3/06 110V
G01C3/06 120S
【請求項の数】
16
(21)【出願番号】P 2022522192
(86)(22)【出願日】2021-05-13
(86)【国際出願番号】 JP2021018187
(87)【国際公開番号】W WO2021230314
(87)【国際公開日】2021-11-18
【審査請求日】2022-05-31
(31)【優先権主張番号】P 2020085088
(32)【優先日】2020-05-14
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(73)【特許権者】
【識別番号】519442357
【氏名又は名称】株式会社光庭インフォ
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】妹尾 拓
(72)【発明者】
【氏名】平野 正浩
(72)【発明者】
【氏名】岸 則政
(72)【発明者】
【氏名】石川 正俊
(72)【発明者】
【氏名】鈴木 健二
(72)【発明者】
【氏名】潘 ▲尭▼
(72)【発明者】
【氏名】仲 笑笑
(72)【発明者】
【氏名】丸山 浩史
【審査官】飯村 悠斗
(56)【参考文献】
【文献】特開２０００－１４９１９９（ＪＰ，Ａ）
【文献】特開２００８－１２８９９８（ＪＰ，Ａ）
【文献】特開２０１２－２０８８８７（ＪＰ，Ａ）
【文献】特開２００５－３２１８７２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項1】
対象物を計測する計測システムであって、撮像装置と、計測装置とを備え、
前記撮像装置は、画角に含まれる前記対象物の動画を周波数ｆで撮像可能に構成され、
前記計測装置は、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、
前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、
前記ある時刻は、複数の時刻であり、
前記距離取得部は、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記受付部は、前記動画に含まれる各フレームを受け付けるように構成され、
前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、
前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。
【請求項2】
請求項１に記載の計測システムにおいて、前記撮像装置は、異なる視点を有する２以上のカメラを含み、
前記距離取得部は、前記ある時刻において前記異なる視点で撮像された２以上の画像に基づいて、前記距離を取得するように構成される、もの。
【請求項3】
請求項１又は請求項２に記載の計測システムにおいて、前記周波数ｆは、１００Ｈｚ以上である、もの。
【請求項4】
請求項１～請求項３の何れか１つに記載の計測システムにおいて、演算部をさらに備え、
前記演算部は、前記ある時刻ごとに設定された複数のパッチに対する所望時刻のパッチの拡大率と、これに基づく複数の、前記所望時刻の距離の参考値を演算するように構成され、
前記計測部は、複数の前記参考値に重み付け演算をすることで、前記所望時刻の距離を計測可能に構成される、もの。
【請求項5】
請求項４に記載の計測システムにおいて、前記演算部は、前記フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、前記パッチ間に含まれる前記対象物の少なくとも一部のマッチングをとることで、前記パッチの拡大率を演算するように構成される、もの。
【請求項6】
請求項５に記載の計測システムにおいて、車両に載置されたもので、
前記対象物は、前記車両に対する障害物又は他車両である、もの。
【請求項7】
請求項６に記載の計測システムにおいて、ペダルワーク推定部をさらに備え、
前記ペダルワーク推定部は、計測された前記距離に基づいて、前記他車両のペダルワークを推定するように構成される、もの。
【請求項8】
請求項６又は請求項７に記載の計測システムにおいて、前記参考値のサンプル数は、前記車両又は前記他車両の速度によって可変に構成される、もの。
【請求項9】
請求項１～請求項８の何れか１つに記載の計測システムにおいて、前記計測部は、計測された前記対象物までの前記所望時刻の距離に対してフィルタを適用することで、前記対象物の速度又は加速度を推定的に計測可能に構成される、もの。
【請求項10】
請求項１～請求項９の何れか１つに記載の計測システムにおいて、記憶部をさらに備え、
前記記憶部は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶し、
前記パッチ設定部は、前記学習済みモデルに基づいて、前記パッチを設定するように構成される、もの。
【請求項11】
請求項１～請求項１０の何れか１つに記載の計測システムにおいて、前記パッチ設定部は、予め設定された複数のパッチのうちから１つを選択することで、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
【請求項12】
請求項１１に記載の計測システムにおいて、前記パッチ設定部は、前記ある時刻のフレームにおいて、前記複数のパッチに対する予め定められた処理を実行する、もの。
【請求項13】
車両であって、請求項１～請求項１２の何れか１つに記載の計測システムを備える、もの。
【請求項14】
対象物を計測する計測装置であって、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、
前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、
前記ある時刻は、複数の時刻であり、
前記距離取得部は、周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記受付部は、動画に含まれる各フレームを受け付けるように構成され、ここで前記動画は、画角に含まれる前記対象物を前記周波数ｆで撮像した動画で、
前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、
前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。
【請求項15】
計測プログラムであって、コンピュータを請求項１～請求項１２の何れか１つに記載の計測システムとして機能させる、もの。
【請求項16】
対象物を計測する計測方法であって、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備え、
前記撮像ステップでは、画角に含まれる前記対象物の動画を周波数ｆで撮像し、
前記距離取得ステップでは、ある時刻における前記対象物までの距離を取得し、
前記ある時刻は、複数の時刻であり、
前記距離取得ステップでは、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、
前記パッチ設定ステップでは、前記動画に含まれる各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定し、
前記計測ステップでは、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、計測システム、車両、計測装置、計測プログラム及び計測方法に関する。
【背景技術】
【0002】
産業界において、自動車や移動ロボット等を周囲の対象物（障害物又は移動体）と衝突しないように制御することが求められている。そのために、周囲の対象物の変位・速度・加速度といった物理量の計測が求められている。特許文献１には、対象物の速度を計測可能な物体速度算出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－５３０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、例えば自動車の隊列走行を考慮すると、衝突回避を担保しつつ車間距離を詰めて走行することができれば経済的なメリットが大きい。しかしながら、特許文献１に記載される装置は、システムの応答性が不十分で、側方からの突然の割り込みや衝突被害軽減ブレーキ等には対処できない。これは自動車に限らず、あらゆる移動体について同様のことが想定される。
【0005】
本発明では上記事情に鑑み、周囲の対象物と衝突しないような制御に寄与する技術を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、対象物を計測する計測システムが提供される。この計測システムは、撮像装置と、計測装置とを備える。撮像装置は、画角に含まれる対象物の動画を撮像可能に構成される。計測装置は、距離取得部と、受付部と、パッチ設定部と、計測部とを備える。距離取得部は、ある時刻における対象物までの距離を取得するように構成される。受付部は、動画に含まれる各フレームを受け付けるように構成される。パッチ設定部は、ある時刻以後の各フレームに対して、対象物の少なくとも一部を含むパッチを設定するように構成される。計測部は、取得された距離と、フレームごとに設定されたパッチの拡大率とに基づいて、対象物までの所望時刻の距離を計測可能に構成される。
【0007】
かかる計測システムによれば、周囲の対象物と衝突しないような制御に寄与する。
【図面の簡単な説明】
【0008】
【図1】計測システム１の全体構成を示す概要図である。
【図2】計測装置３のハードウェア構成を示すブロック図である。
【図3】計測装置３（制御部３３）の機能構成を示すブロック図である。
【図4】撮像装置２が撮像した画像ＩＭを示す概要図であり、図４Ａは、ある時刻ｔ（ｋ）（ｔ＝０と例示）における左画像ＩＭａ及び右画像ＩＭｂを示し、図４Ｂ及び図４Ｃは、ある時刻ｔ（ｋ）以後（ｔ＝１，２と例示）における左画像ＩＭａを示している。
【図5】本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示すもので、特に図５Ａは、前方車両との距離ｄが遠い場合を示し、図５Ｂは前方車両との距離ｄが近い場合を示している。
【図6】各参考値Ｒ（ｋ）に対する重み付けの態様を示す概要図である。
【図7】計測方法の流れを示すアクティビティ図である。
【図8】第２の実施形態に係る計測システム１のフィルタ適用手順を説明する模式図である。
【図9】予め記憶された複数のパッチＰから、適当なパッチＰが選択される態様を示す模式図である。
【図10】キーフレーム処理の非同期化を表す概要図である。
【図11】本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。
【図12】本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。
【図13】第２の実施形態に係る計測システム１の情報処理の流れの概要を示す概念図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．ハードウェア構成
本節では、本実施形態に係る計測システム１のハードウェア構成について説明する。
本節では、本実施形態に係る計測システム１のハードウェア構成について説明する。
【0014】
１．１ 計測システム１
図１は、計測システム１の全体構成を示す概要図である。対象物ＯＢＪを計測する計測システム１は、撮像装置２と、計測装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）等の車両、船舶、移動型ロボット、ドローンや各種飛行体、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、車両に載置されたもの（車両が計測システム１を備える）で、対象物ＯＢＪが車両に対する障害物又は他車両である。
図１は、計測システム１の全体構成を示す概要図である。対象物ＯＢＪを計測する計測システム１は、撮像装置２と、計測装置３とを備え、これらが電気的に接続されたシステムである。計測システム１は、移動体に設置して使用することが好ましい。移動体とは、例えば、自動車、列車（公共交通機関だけでなく遊戯用等も含む）等の車両、船舶、移動型ロボット、ドローンや各種飛行体、ヒト、動物等が想定される。本明細書では、例として自動車を取り上げて説明を行い、計測システム１が搭載された自動車を「本自動車」と定義する。すなわち、計測システム１は、車両に載置されたもの（車両が計測システム１を備える）で、対象物ＯＢＪが車両に対する障害物又は他車両である。
【0015】
１．２ 撮像装置２
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レート（以後周波数ｆと称する）が高いものが採用されることが好ましい。
撮像装置２は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ（カメラ）であり、特に高速ビジョンと称する撮像レート（以後周波数ｆと称する）が高いものが採用されることが好ましい。
【0016】
すなわち、撮像装置２は、画角に含まれる対象物ＯＢＪの動画を周波数ｆで撮像可能に構成される。好ましくは、撮像装置２の周波数ｆは、１００Ｈｚ以上であり、具体的には例えば、１００，１２５，１５０，１７５，２００，２２５，２５０，２７５，３００，３２５，３５０，３７５，４００，４２５，４５０，４７５，５００，５２５，５５０，５７５，６００，６２５，６５０，６７５，７００，７２５，７５０，７７５，８００，８２５，８５０，８７５，９００，９２５，９５０，９７５，１０００，１０２５，１０５０，１０７５，１１００，１１２５，１１５０，１１７５，１２００，１２２５，１２５０，１２７５，１３００，１３２５，１３５０，１３７５，１４００，１４２５，１４５０，１４７５，１５００，１５２５，１５５０，１５７５，１６００，１６２５，１６５０，１６７５，１７００，１７２５，１７５０，１７７５，１８００，１８２５，１８５０，１８７５，１９００，１９２５，１９５０，１９７５，２０００Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
【0017】
ここで、撮像装置２は、異なる視点を有する２以上のカメラを含む。好ましくは、撮像装置２は、左カメラ２ａ及び右カメラ２ｂからなる、いわゆる２眼の撮像装置である。また、左カメラ２ａの画角及び右カメラ２ｂの画角は、互いに重複する領域があることに留意されたい。また、撮像装置２において、可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域を計測可能なカメラを単独で、又は適宜、複数組み合せて採用してもよい。このようなカメラを採用することによって、暗視野であっても本実施形態に係る計測システム１を用いた計測を実施することができる。
【0018】
（左カメラ２ａ）
左カメラ２ａは、計測システム１において、右カメラ２ｂと並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、左カメラ２ａの画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、左カメラ２ａは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。
左カメラ２ａは、計測システム１において、右カメラ２ｂと並列に設けられ、本自動車の左側前方を撮像可能に構成される。具体的には、左カメラ２ａの画角に、本自動車の前方に延在する路面又は前方に位置する障害物（例えば、前方車両、歩行者、動物等）がとらえられる。また、左カメラ２ａは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。
【0019】
（右カメラ２ｂ）
右カメラ２ｂは、計測システム１において、左カメラ２ａと並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、右カメラ２ｂの画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、右カメラ２ｂは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。
右カメラ２ｂは、計測システム１において、左カメラ２ａと並列に設けられ、本自動車の右側前方を撮像可能に構成される。具体的には、右カメラ２ｂの画角に、本自動車の前方に延在する路面又は前方に位置する前方車両（すなわち障害物）がとらえられる。また、右カメラ２ｂは、後述の計測装置３における通信部３１と電気通信回線（例えばＵＳＢケーブル等）で接続され、撮像した画像を計測装置３に転送可能に構成される。
【0020】
換言すると、撮像装置２は、左カメラ２ａ及び右カメラ２ｂの画角に含まれる対象物ＯＢＪを、左画像ＩＭａ及び右画像ＩＭｂとして時系列に動画として撮像可能に構成される。
【0021】
１．３ 計測装置３
図２は、計測装置３のハードウェア構成を示すブロック図である。図２に示されるように、計測装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が計測装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
図２は、計測装置３のハードウェア構成を示すブロック図である。図２に示されるように、計測装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が計測装置３の内部において通信バス３０を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
【0022】
（通信部３１）
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における左カメラ２ａ及び右カメラ２ｂとは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、計測システム１が計測する対象物ＯＢＪの物理量（距離、速度又は加速度）や本自動車の速度等を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、３Ｇ／ＬＴＥ／５Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。特に、前述の撮像装置２における左カメラ２ａ及び右カメラ２ｂとは、所定の高速通信規格（例えば、ＵＳＢ３．０やカメラリンク等）において通信することで、画像を受信可能に構成されることが好ましい。また、計測システム１が計測する対象物ＯＢＪの物理量（距離、速度又は加速度）や本自動車の速度等を表示するためのモニター（不図示）や、計測結果に基づいて本自動車を自動制御（自動運転）するための自動制御装置（不図示）が接続されてもよい。
【0023】
（記憶部３２）
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
【0024】
特に、記憶部３２は、撮像装置２における左カメラ２ａ及び右カメラ２ｂによって撮像され、且つ通信部３１が受信した画像ＩＭ（左画像ＩＭａ及び右画像ＩＭｂ）を記憶する。ここで、画像ＩＭは、例えばＲＧＢ各８ビットのピクセル情報を具備する配列情報である。
【0025】
また、記憶部３２は、次に説明する制御部３３が読み出し可能な各種のプログラムを記憶している。
【0026】
（制御部３３）
制御部３３は、計測装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、計測装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図３に示されるように、制御部３３における各機能部として実行されうる。これらについては、第２節において詳述する。
制御部３３は、計測装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、計測装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、図３に示されるように、制御部３３における各機能部として実行されうる。これらについては、第２節において詳述する。
【0027】
なお、図２においては、単一の制御部３３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
【0028】
２．機能構成
本節では、本実施形態の機能構成について説明する。図３は、計測装置３（制御部３３）の機能構成を示すブロック図である。図４は、撮像装置２が撮像した画像ＩＭを示す概要図であり、図４Ａは、ある時刻ｔ（ｋ）（ｔ＝０と例示）における左画像ＩＭａ及び右画像ＩＭｂを示し、図４Ｂ及び図４Ｃは、ある時刻ｔ（ｋ）以後（ｔ＝１，２と例示）における左画像ＩＭａを示している。前述の制御部３３に関して、計測装置３は、受付部３３０と、距離取得部３３１と、パッチ設定部３３２と、演算部３３３と、計測部３３４と、ペダルワーク推定部３３５とを備える。以下、各構成要素についてさらに説明する。
本節では、本実施形態の機能構成について説明する。図３は、計測装置３（制御部３３）の機能構成を示すブロック図である。図４は、撮像装置２が撮像した画像ＩＭを示す概要図であり、図４Ａは、ある時刻ｔ（ｋ）（ｔ＝０と例示）における左画像ＩＭａ及び右画像ＩＭｂを示し、図４Ｂ及び図４Ｃは、ある時刻ｔ（ｋ）以後（ｔ＝１，２と例示）における左画像ＩＭａを示している。前述の制御部３３に関して、計測装置３は、受付部３３０と、距離取得部３３１と、パッチ設定部３３２と、演算部３３３と、計測部３３４と、ペダルワーク推定部３３５とを備える。以下、各構成要素についてさらに説明する。
【0029】
（受付部３３０）
受付部３３０は、撮像装置２によって撮像された動画に含まれる各フレームを受け付けるように構成される。具体的には、受付部３３０は、通信部３１を介して左画像ＩＭａ及び右画像ＩＭｂを受信し、これらを記憶部３２に記憶させる。また、計測装置３が撮像装置２以外の他の機器と接続されている場合は、それらの機器から送信された情報を受信するように実施してもよい。
受付部３３０は、撮像装置２によって撮像された動画に含まれる各フレームを受け付けるように構成される。具体的には、受付部３３０は、通信部３１を介して左画像ＩＭａ及び右画像ＩＭｂを受信し、これらを記憶部３２に記憶させる。また、計測装置３が撮像装置２以外の他の機器と接続されている場合は、それらの機器から送信された情報を受信するように実施してもよい。
【0030】
（距離取得部３３１）
距離取得部３３１は、ある時刻ｔ（ｋ｜ｋ＝０，１，２・・・）における対象物ＯＢＪまでの距離ｄ（ｋ）を取得するように構成される。すなわち、ある時刻ｔ（ｋ）とは、複数の時刻であり、例えば、ある時刻ｔ（ｋ）とは、計測を開始した初期時刻ｔ（０）である。距離取得部３３１は、周波数ｆよりも低い周波数ｇで距離ｄ（ｋ）をある時刻ｔ（ｋ）ごとに取得するように構成される。ところで前述の通り、撮像装置２が左カメラ２ａ及び右カメラ２ｂを有する。したがって、好ましくは、距離取得部３３１は、ある時刻ｔ（ｋ）において異なる視点で撮像された２以上の画像ＩＭ（左画像ＩＭａ及び右画像ＩＭｂ）を用いた多視点画像処理に基づいて、距離ｄ（ｋ）を取得するように構成される。
距離取得部３３１は、ある時刻ｔ（ｋ｜ｋ＝０，１，２・・・）における対象物ＯＢＪまでの距離ｄ（ｋ）を取得するように構成される。すなわち、ある時刻ｔ（ｋ）とは、複数の時刻であり、例えば、ある時刻ｔ（ｋ）とは、計測を開始した初期時刻ｔ（０）である。距離取得部３３１は、周波数ｆよりも低い周波数ｇで距離ｄ（ｋ）をある時刻ｔ（ｋ）ごとに取得するように構成される。ところで前述の通り、撮像装置２が左カメラ２ａ及び右カメラ２ｂを有する。したがって、好ましくは、距離取得部３３１は、ある時刻ｔ（ｋ）において異なる視点で撮像された２以上の画像ＩＭ（左画像ＩＭａ及び右画像ＩＭｂ）を用いた多視点画像処理に基づいて、距離ｄ（ｋ）を取得するように構成される。
【0031】
多視点画像処理の一例としては三角測量が挙げられる。三角測量では、左画像ＩＭａ及び右画像ＩＭｂそれぞれの画像中における対象物ＯＢＪの位置を画像処理によって求め、その位置の差と、実際の左カメラ２ａ及び右カメラ２ｂの距離（基線）とから、対象物ＯＢＪまでの距離ｄ（ｋ）が算出される。このように三角測量を用いることで、距離取得部３３１が精度高く距離ｄ（ｋ）を取得することができる。ただし、三角測量は相応の計算時間を要するため、距離取得部３３１は、計測システム１が実時間でも動作する程度の周波数ｇである時刻ｔ（ｋ）ごとに取得することとしている。ある時刻ｔ（ｋ）に相当するフレームは、キーフレーム（ＫＦ）と称される。
【0032】
周波数ｇの値は特に限定されず、撮像装置２の周波数ｆ（フレームレート）と同じでもよいし、同じでなくてもよい。好ましくは、ｇ≦ｆであり、さらに好ましくは、周波数ｇは、１００Ｈｚ以下であり、具体的には例えば、具体的には例えば、１００，９５，９０，８５，８０，７５，７０，６５，６０，５５，５０，４５，４０，３５，３０，２５，２０，１５，１０，５Ｈｚであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
【0033】
（パッチ設定部３３２）
パッチ設定部３３２は、ある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。より詳細には、パッチ設定部３３２は、各ある時刻ｔ（ｋ）以後且つその次のある時刻ｔ（ｋ＋１）以前の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。
パッチ設定部３３２は、ある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。より詳細には、パッチ設定部３３２は、各ある時刻ｔ（ｋ）以後且つその次のある時刻ｔ（ｋ＋１）以前の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。
【0034】
例えば、ある時刻ｔ（０）以後且つその次のある時刻ｔ（１）以前の各フレームに対して、対象物ＯＢＪを含むパッチＰが設定される。同様に、ある時刻ｔ（１）以後且つその次のある時刻ｔ（２）以前の各フレームに対して、再び対象物ＯＢＪを含むパッチＰが設定される。これが繰り返される。なお、パッチＰの設定は、周期的又は定期的に実施されてもよいし、対象物ＯＢＪまでの距離ｄや相対速度ｖ等に基づいて、不定期又は可変に実施されてもよい。パッチＰの設定方法は、特に限定されるものではないが、例えば、記憶部３２に種々の対象物ＯＢＪとこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶させ、パッチ設定部３３２がかかる学習済みモデルに基づいて、パッチＰを設定するとよい。特に好ましくは、学習済みモデルによって得られる矩形領域（バウンディングボックス）に対して、各座標や高さ等を調整したものがパッチＰとして使用されるとよい。また、パッチＰは正方形に設定されるとよい。特に正方形状にパッチＰを設定することによって計算コストを削減し、撮像装置２における高い周波数ｆで各フレームごとにパッチＰを設定・更新することができる。
【0035】
また、ある時刻ｔ（０）、ｔ（１）・・・での深層学習を実施するため、ある時刻ｔ（ｋ）から次のある時刻ｔ（ｋ＋１）までの間の時刻においては、ある時刻ｔ（ｋ）に設定されたパッチＰと同じ位置及び大きさのパッチＰを切り出して計測に使用することとなる。
【0036】
（演算部３３３）
演算部３３３は、ある時刻ｔ（ｋ）ごとに設定された複数のパッチＰ（ｋ）に対する所望時刻のパッチＰの拡大率と、これに基づく複数の、所望時刻（例えば現在時刻）の距離ｄの参考値Ｒ（ｋ）を演算する。つまり、距離取得部３３１によって取得された距離ｄ（ｋ）及びこれに対応するパッチＰ（ｋ）を基準として、所望時刻におけるフレームのパッチＰの拡大率に基づいて、対象物ＯＢＪまでの所望時刻の距離ｄの参考値Ｒ（ｋ）が導出される。複数の参考値Ｒ（ｋ）は、記憶部３２にそれぞれ記憶される。
演算部３３３は、ある時刻ｔ（ｋ）ごとに設定された複数のパッチＰ（ｋ）に対する所望時刻のパッチＰの拡大率と、これに基づく複数の、所望時刻（例えば現在時刻）の距離ｄの参考値Ｒ（ｋ）を演算する。つまり、距離取得部３３１によって取得された距離ｄ（ｋ）及びこれに対応するパッチＰ（ｋ）を基準として、所望時刻におけるフレームのパッチＰの拡大率に基づいて、対象物ＯＢＪまでの所望時刻の距離ｄの参考値Ｒ（ｋ）が導出される。複数の参考値Ｒ（ｋ）は、記憶部３２にそれぞれ記憶される。
【0037】
より具体的に説明する。例えば、対象物ＯＢＪが本自動車の前方車両であれば、本自動車と前方車両との距離は、刻一刻と変化する。したがって、図４Ａ～図４Ｃに示されるように、パッチ設定部３３２によって設定されたパッチＰ内のコンテンツ（対象物ＯＢＪの少なくとも一部が該当）の大きさも、フレームごとに変化することとなる。本実施形態では、キーフレーム（ある時刻ｔ（ｋ））において取得した距離ｄ（ｋ）と、そのキーフレームにおけるパッチＰ内のコンテンツの大きさ（以後パッチＰの拡大率と称する）とを紐付け、その以後の各フレームでは、パッチＰの拡大率から距離ｄの参考値Ｒ（ｋ）を演算することとしている。
【0038】
ここで、好ましくは、演算部３３３は、フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、パッチＰ間に含まれるコンテンツ（対象物ＯＢＪの少なくとも一部）のマッチングをとることでパッチの拡大率Ｐを演算する。パワースペクトルによってブレの影響を除去できる。また、対数極座標変換と位相限定相関法とによって、コンテンツの、平行移動、回転及び拡大縮小変位を得ることができる。すなわち、この拡大縮小変位がパッチＰの拡大率である。もちろん、あくまでも一例でありこの限りではない。なお、計測装置３の制御レートがボトルネックとならない場合であれば、最大で撮像装置２の周波数ｆで距離ｄを計測することができる。
【0039】
なお、さらに好ましくは、距離ｄの参考値Ｒ（ｋ）のサンプル数は、本自動車又は他車両の速度によって可変に構成される。これについては第３節でさらに詳述する。
【0040】
（計測部３３４）
計測部３３４は、取得された距離ｄ（ｋ）と、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測可能に構成される。好ましくは、計測部３３４は、複数の参考値Ｒ（ｋ）に重み付け演算をすることで、所望時刻の距離ｄを計測可能に構成される。重み付けの手法は特に限定されず、例えば、ロバスト推定であるＭ推定やＲＡＮＳＡＣ等が適宜採用されうる。本実施形態において、計測システム１は本自動車に搭載されていることから、所望時刻の一例としては現在時刻が挙げられる。
計測部３３４は、取得された距離ｄ（ｋ）と、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測可能に構成される。好ましくは、計測部３３４は、複数の参考値Ｒ（ｋ）に重み付け演算をすることで、所望時刻の距離ｄを計測可能に構成される。重み付けの手法は特に限定されず、例えば、ロバスト推定であるＭ推定やＲＡＮＳＡＣ等が適宜採用されうる。本実施形態において、計測システム１は本自動車に搭載されていることから、所望時刻の一例としては現在時刻が挙げられる。
【0041】
さらに好ましくは、計測部３３４は、計測された対象物ＯＢＪまでの所望時刻の距離ｄに対してフィルタを適用することで、本自動車に対する対象物ＯＢＪの相対速度ｖ又は相対加速度ａを推定的に計測可能に構成される。換言すると、外れ値等を除外してより正確に物理量を計測するために、計測部３３４は、フィルタを用いて、相対速度ｖや相対加速度ａ等の物理量を推定的に計測することとしている。このフィルタは、例えば、カルマンフィルタやベイズフィルタ等、制御系の状態空間を推定するものであれば特に限定されるものではない。図５は、本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示すもので、特に図５Ａは、前方車両との距離ｄが遠い場合を示し、図５Ｂは前方車両との距離ｄが近い場合を示している。なお、別途本自動車の速度及び加速度を計測する他の技術を併用すれば、対象物ＯＢＪの一例である前方車両の速度及び加速度を計測することも可能である。
【0042】
（ペダルワーク推定部３３５）
ペダルワーク推定部３３５は、計測された距離ｄに基づいて、他車両のペダルワークを推定するように構成される。計測システム１によれば、高い時間分解能且つ素早い応答速度で前方車両（対象物ＯＢＪ）との車間距離を計測することができる。ペダルワーク推定部３３５は、このように計測された距離ｄと、本自動車の運動挙動（既存の他の技術を併用）とに基づいて、前方車両の運転者又は自動運転機能が、アクセルやブレーキをどのように踏んでいるかを示すペダルワークを推定することができる。ペダルワークの推定にあたっては、車種等により個体差があることから、前方車両の車種を認識させて、予め記憶部３２に記憶させた車種ごとのペダルワークをまとめたルックアップテーブルや学習済みモデル等に基づいて、ペダルワーク推定部３３５がペダルワークを推定可能に構成されるとよい。
ペダルワーク推定部３３５は、計測された距離ｄに基づいて、他車両のペダルワークを推定するように構成される。計測システム１によれば、高い時間分解能且つ素早い応答速度で前方車両（対象物ＯＢＪ）との車間距離を計測することができる。ペダルワーク推定部３３５は、このように計測された距離ｄと、本自動車の運動挙動（既存の他の技術を併用）とに基づいて、前方車両の運転者又は自動運転機能が、アクセルやブレーキをどのように踏んでいるかを示すペダルワークを推定することができる。ペダルワークの推定にあたっては、車種等により個体差があることから、前方車両の車種を認識させて、予め記憶部３２に記憶させた車種ごとのペダルワークをまとめたルックアップテーブルや学習済みモデル等に基づいて、ペダルワーク推定部３３５がペダルワークを推定可能に構成されるとよい。
【0043】
より詳細には、加速度等の高次の微分情報が計測可能となることにより、前方車両のペダルワークを推定することができる。この情報に基づいて本自動車を自動運転に応用するにあたって、加減速の頻度を抑えることにより、エネルギー効率の高い制御挙動（電気自動車に搭載されるバッテリーの消耗度合いを減少させる等）が可能となることも期待される。さらには、電気自動車における回生システムとの連携も効率化できると考えており、ブレーキを踏んでいるときのみエネルギー回生を行うなど発展的な回生システムの開発が期待される。
【0044】
このように、前方車両のペダルワークを推定することによって、今後の自動運転技術等の発展に大きく貢献すると期待される。特に、衝突回避を担保しつつ車間距離を詰めた隊列走行をすることが可能となり、経済的な効果が大きいと考えられる。また、前方車両はあくまでも一例であり、後続車両や四方を走行中の車両のペダルワーク推定、前方車両の速度推定、又は加減速推定を行うこともできる。これにより、車両の交差点通過、右左折、合流、割り込み、混雑時等の運転行動予測を可能とする。すなわち、運転者又は自動運転機能の運転の癖を考慮した車間距離制御や停止制御が可能となり、交通の安全性担保に寄与する。
【0045】
３．車速に応じたサンプル数の設定
本節では、車速に応じたサンプル数の設定について、対象物ＯＢＪが本自動車の前方を走行する前方車両として詳述する。図６は、各参考値Ｒ（ｋ）に対する重み付けの態様を示す概要図である。図６に示されるように、過去に設定された各パッチＰ（ｋ）及び距離ｄ（ｋ）に基づいて導出された距離ｄの参考値Ｒ（ｋ）に対して、それぞれ重み付けを行うことで、計測部３３４によって計測される距離ｄの精度を高めることができる。また、前述の通り、好ましくは、参考値Ｒ（ｋ）のサンプル数は、本自動車又は前方車両の速度によって可変に構成される。より好ましくは、本自動車に対する前方車両の相対速度ｖによって可変に構成される。図６に示される例では、Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）の３つのサンプルに対して重み付けを行って、距離ｄが計測されている。
本節では、車速に応じたサンプル数の設定について、対象物ＯＢＪが本自動車の前方を走行する前方車両として詳述する。図６は、各参考値Ｒ（ｋ）に対する重み付けの態様を示す概要図である。図６に示されるように、過去に設定された各パッチＰ（ｋ）及び距離ｄ（ｋ）に基づいて導出された距離ｄの参考値Ｒ（ｋ）に対して、それぞれ重み付けを行うことで、計測部３３４によって計測される距離ｄの精度を高めることができる。また、前述の通り、好ましくは、参考値Ｒ（ｋ）のサンプル数は、本自動車又は前方車両の速度によって可変に構成される。より好ましくは、本自動車に対する前方車両の相対速度ｖによって可変に構成される。図６に示される例では、Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）の３つのサンプルに対して重み付けを行って、距離ｄが計測されている。
【0046】
本自動車及び前方車両を含む隊列走行がなされる場合、その車間距離は予め定められたＴＨＷ（Ｔｉｍｅ Ｈｅａｄｗａｙ）に応じて決定されることが多い。例えば、高速走行時であれば、車間距離は相対的に長くなり、低速走行時は車間距離が相対的に短くなる。
【0047】
すなわち、高速走行時は、前方車両が遠方にあるため、ある時刻ｔ（ｋ）に取得された距離ｄ（ｋ）及びこれを参照して計測される所望時刻の距離ｄの推定精度が低くなる。したがって、参考値Ｒのサンプル数を多くすることで精度を維持する必要がある。
【0048】
一方、低速走行時は、前方車両が近くにあるため、ある時刻ｔ（ｋ）に取得された距離ｄ（ｋ）及びこれを参照して計測される所望時刻の距離ｄの推定精度は高くなる。したがって、参考値Ｒのサンプル数を少なくすることで、計算コストを抑制することができる。
【0049】
なお、参考値Ｒのサンプル数は、車速によって大小があるものの、例えば、５以上５００以下であればよい。具体的には例えば、５，１０，１５，２０，２５，３０，３５，４０，４５，５０，５５，６０，６５，７０，７５，８０，８５，９０，９５，１００，１０５，１１０，１１５，１２０，１２５，１３０，１３５，１４０，１４５，１５０，１５５，１６０，１６５，１７０，１７５，１８０，１８５，１９０，１９５，２００，２０５，２１０，２１５，２２０，２２５，２３０，２３５，２４０，２４５，２５０，２５５，２６０，２６５，２７０，２７５，２８０，２８５，２９０，２９５，３００，３０５，３１０，３１５，３２０，３２５，３３０，３３５，３４０，３４５，３５０，３５５，３６０，３６５，３７０，３７５，３８０，３８５，３９０，３９５，４００，４０５，４１０，４１５，４２０，４２５，４３０，４３５，４４０，４４５，４５０，４５５，４６０，４６５，４７０，４７５，４８０，４８５，４９０，４９５，５００であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。
【0050】
４．計測方法
本節では、対象物ＯＢＪを計測する計測方法について詳述する。対象物ＯＢＪを計測する計測方法は、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備える。撮像ステップでは、画角に含まれる対象物ＯＢＪの動画を撮像する。距離取得ステップでは、ある時刻ｔ（ｋ）における対象物ＯＢＪまでの距離ｄを取得する。パッチ設定ステップでは、動画に含まれるある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定する。計測ステップでは、取得された距離ｄと、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測する。
本節では、対象物ＯＢＪを計測する計測方法について詳述する。対象物ＯＢＪを計測する計測方法は、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備える。撮像ステップでは、画角に含まれる対象物ＯＢＪの動画を撮像する。距離取得ステップでは、ある時刻ｔ（ｋ）における対象物ＯＢＪまでの距離ｄを取得する。パッチ設定ステップでは、動画に含まれるある時刻ｔ（ｋ）以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定する。計測ステップでは、取得された距離ｄと、フレームごとに設定されたパッチＰの拡大率とに基づいて、対象物ＯＢＪまでの所望時刻の距離ｄを計測する。
【0051】
【0052】
［ここから］
（アクティビティＡ１）
撮像装置２（左カメラ２ａ及び右カメラ２ｂ）が対象物を１００ｆｐｓ以上の撮像レートで画像（左画像ＩＭａ及び右画像ＩＭｂ）として撮像する。
（アクティビティＡ１）
撮像装置２（左カメラ２ａ及び右カメラ２ｂ）が対象物を１００ｆｐｓ以上の撮像レートで画像（左画像ＩＭａ及び右画像ＩＭｂ）として撮像する。
【0053】
（アクティビティＡ２）
受付部３３０が画像ＩＭを受け付ける。パッチ設定部３３２が画像ＩＭに対してパッチＰ（ｋ）を設定する。
受付部３３０が画像ＩＭを受け付ける。パッチ設定部３３２が画像ＩＭに対してパッチＰ（ｋ）を設定する。
【0054】
（アクティビティＡ３）
画像ＩＭがキーフレーム（すなわちある時刻ｔ（ｋ））である場合は、距離取得部３３１が三角測量によって、対象物ＯＢＪまでの距離ｄ（ｋ）を取得する。
画像ＩＭがキーフレーム（すなわちある時刻ｔ（ｋ））である場合は、距離取得部３３１が三角測量によって、対象物ＯＢＪまでの距離ｄ（ｋ）を取得する。
【0055】
（アクティビティＡ４）
演算部３３３が、パッチＰの拡大率を演算することで、距離ｄの参考値Ｒを演算する。より具体的には、演算部３３３が、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とに基づいて、所望時刻（例えば現在）の距離ｄの参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…を演算し、その結果を記憶部３２に記憶させる。なお、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とは、すでに記憶部３２に記憶されたものを制御部３３が読み出されている。
演算部３３３が、パッチＰの拡大率を演算することで、距離ｄの参考値Ｒを演算する。より具体的には、演算部３３３が、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とに基づいて、所望時刻（例えば現在）の距離ｄの参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…を演算し、その結果を記憶部３２に記憶させる。なお、各パッチＰ（ｋ），Ｐ（ｋ－１），Ｐ（ｋ－２）…と、その際に取得された距離ｄ（ｋ），ｄ（ｋ－１），ｄ（ｋ－２）…とは、すでに記憶部３２に記憶されたものを制御部３３が読み出されている。
【0056】
（アクティビティＡ５）
計測部３３４が、参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…に対して重み付け演算を実行して、所望時刻（例えば現在）の距離ｄを計測する。なお、本自動車の車速に応じて、参考値Ｒ（ｋ）のサンプル数を可変としてもよい。また、必要に応じて、カルマンフィルタ等のフィルタを用いて、相対速度ｖや相対加速度ａを計測するようにしてもよい。さらに、ペダルワーク推定部３３５によって前方車両のペダルワークが推定されてもよい。
［ここまで］
計測部３３４が、参考値Ｒ（ｋ），Ｒ（ｋ－１），Ｒ（ｋ－２）…に対して重み付け演算を実行して、所望時刻（例えば現在）の距離ｄを計測する。なお、本自動車の車速に応じて、参考値Ｒ（ｋ）のサンプル数を可変としてもよい。また、必要に応じて、カルマンフィルタ等のフィルタを用いて、相対速度ｖや相対加速度ａを計測するようにしてもよい。さらに、ペダルワーク推定部３３５によって前方車両のペダルワークが推定されてもよい。
［ここまで］
【0057】
このような計測方法によれば、周囲の対象物ＯＢＪと衝突しないような制御に寄与する。特に、本自動車及び前方車両を含めて、従来よりも車間距離を詰めることも可能となる。そして、複数の車両が車間距離を詰めて走行することにより、経済的に大きな効果が得られる。また、いわゆるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）と呼ばれる前車追従装置において、適切な車間距離を維持することで、燃費向上、渋滞防止、割込み事故防止に寄与する。
【0058】
５．第２の実施形態
続いて、第２の実施形態に係る計測システム１について説明する。第２の実施形態に係る計測システム１では、車両同士が重畳した場合や、車間距離変化によって車両画像の大きさが変化した場合に対して、各車両の大きさに合わせたＢｏｕｎｄｉｎｇ ｂｏｘ（ＢＢ）を適切に生成可能なトラッキング手法が提供される。これにより、継続して安定した時系列情報が取得可能になり、各車両の距離・速度をロバストに求めることができる。
続いて、第２の実施形態に係る計測システム１について説明する。第２の実施形態に係る計測システム１では、車両同士が重畳した場合や、車間距離変化によって車両画像の大きさが変化した場合に対して、各車両の大きさに合わせたＢｏｕｎｄｉｎｇ ｂｏｘ（ＢＢ）を適切に生成可能なトラッキング手法が提供される。これにより、継続して安定した時系列情報が取得可能になり、各車両の距離・速度をロバストに求めることができる。
【0059】
特に、前方車は前々方車の全体を完全に遮蔽することはなく、その一部を視認することができる状態であると仮定する。緊急ブレーキ等の応用を考慮すると、精度だけでなく高速性も重要な要素であると考え、物体追跡手法であるＭｉｎｉｍｕｍ Ｏｕｔｐｕｔ Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ（ＭＯＳＳＥ）を改良することが好ましい。一般的に使われるトラッキング手法に比べて、ＭＯＳＳＥは、計算時間の少ない手法となっている。本実施形態では、高フレームレートのカメラを使用する条件のもと、画像変動が少ない特徴を利用しながら、計算コストと精度のバランスを図るようにアルゴリズムを調整する。
【0060】
図８は、第２の実施形態に係る計測システム１のフィルタ適用手順を説明する模式図である。ＭＯＳＳＥでは、Ｂｏｕｎｄｉｎｇ ｂｏｘ内の対象、すなわち前方車両を学習する機能が備わっているが、本実施形態では、図左カメラ２ａから得られる左画像ＩＭａと、右カメラ２ｂから得られる右画像ＩＭｂとに対してかけるフィルタを共有することが好ましい。このような態様によれば、従来のように、各撮像装置２ごとにフィルタを用いて対象をトラッキングする場合に比べ、精度及び頑健性の高いトラッキングを実現することができる。
【0061】
また、第２の実施形態に係る計測システム１では、記憶部３２が複数のパッチＰを予め記憶していることが好ましい。キーフレームにおいては、パッチ設定部３３２は、予め記憶された複数のパッチＰのうち、Ｂｏｕｎｄｉｎｇ ｂｏｘの大きさがトラッキング対象である前方車の大きさに合うパッチＰを選択して、これを設定する。
【0062】
パッチ設定部３３２は、予め設定された複数のパッチＰのうちから１つを選択することで、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成されるとよい。好ましくは、パッチＰの大きさ（パッチサイズ）は、予め離散的に定めておいたサイズから選択し、事前計算しておいたキーフレームにおけるパッチサイズと同じ大きさになりやすいようにするとよい。このためには、現在のフレームにおけるパッチサイズと同じサイズを有するパッチＰに関して、キーフレームにおいて事前処理が済んでいるとよい。すなわち、パッチ設定部３３２は、ある時刻のフレームにおいて、複数のパッチＰに対する予め定められた処理を実行する。事前処理については後述する。
【0063】
さらに、利用可能なキーフレームの数を増やすため、事前に複数の大きさのパッチＰが記憶部３２に記憶されているとよい。図９は、予め記憶された複数のパッチＰから、適当なパッチＰが選択される態様を示す模式図である。このような態様によれば、急減速や急加速等のスケール変化が激しいシーンでも、適切なパッチＰを選択することができ、より高い精度の推定が可能となる。
【0064】
ここで、キーフレームにおけるパッチＰの事前処理についてさらに説明する。第１の実施形態においても述べたように、キーフレームと現在のフレームとから同じ大きさのパッチＰを切り取り且つ対数極座標変換を施した画像に対して、位相限定相関法を用いることで、各フレームにおけるパッチＰの拡大率が推定されている。本実施形態では、かかる処理において、対数極座標変換や離散フーリエ変換等の、キーフレームに対する処理を事前に計算しておくことが好ましい。
【0065】
さらに、このような処理を、トラッキングとは非同期に実施することが好ましい。非同期とすることで、キーフレームの、事前処理の済んだパッチＰだけを、拡大率の推定に利用することができる。図１０は、キーフレーム処理の非同期化を表す概要図である。図１０に示されるように、現在時刻において、キーフレームＫＦ１～ＫＦ３でのパッチＰの事前処理が完了しているものの、キーフレームＫＦ４でのパッチＰの事前処理が完了していない。このため、現在時刻のフレームにおけるパッチＰの拡大率の推定には、キーフレームＫＦ１～ＫＦ３でのパッチＰが用いられる。
【0066】
図１１及び図１２は、本自動車と対象物ＯＢＪの一例である前方車両との車間距離（距離ｄ）、前方車両の相対速度ｖ及び相対加速度ａを計測した結果を示している。図１１では、道路がカーブしている場合が示され、図１２では、道路に勾配がある場合が示されている。このように、第２の実施形態に係る計測システム１によれば、道路が所定の条件を有する場合であっても、第１の実施形態に比してさらに頑健性を有して、前方車両を認識することができる。その結果、周囲の対象物ＯＢＪと衝突しないような制御に寄与する。特に、本自動車及び前方車両を含めて、従来よりも車間距離を詰めることも可能となる。そして、複数の車両が車間距離を詰めて走行することにより、経済的に大きな効果が得られる。また、いわゆるＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）と呼ばれる前車追従装置において、適切な車間距離を維持することで、燃費向上、渋滞防止、割込み事故防止に寄与する。
【0067】
【0068】
６．その他
次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。
次のような態様によって、本実施形態に係る計測システム１をさらに創意工夫してもよい。
【0069】
（１）例えば計測システム１を搭載した本自動車であれば、計測された対象物ＯＢＪの物理量に基づいて、一部又は全部について自動運転がなされてもよい。例えば、衝突を回避するためのブレーキ動作や、ハンドル動作が考えられうる。また、計測された対象物ＯＢＪの認識状況を、本自動車の運転者が認知できるように、本自動車内に取り付けられたモニターに表示されるように実施してもよい。
（２）前述の実施形態では、左カメラ２ａ及び右カメラ２ｂからなる２眼の撮像装置２を用いているが、３つ以上のカメラを用いた３眼以上の撮像装置２を実施してもよい。この際、異なる種類のカメラ（例えば、可視光カメラ及び赤外線カメラ）を組み合わせて実施してもよい。カメラの個数を増やすことで、計測システム１による計測に係るロバスト性が向上する。あるいは、多視点画像処理に基づく距離ｄ（ｋ）の取得を行うための別のカメラを用いてもよく、このカメラは前述の周波数ｇ（周波数ｆよりも低い）相当の撮像レートを有するものでよい。解像度は、高いことが好ましい。
（３）撮像装置２及び計測装置３を備える計測システム１としてではなく、計測装置３を単体で実施してもよい。このような計測装置３を、事後的に距離ｄを計測可能なドライブレコーダやドライブシミュレータ等に応用することができる。かかる場合、パッチ設定部３３２は、ある時刻ｔ（ｋ）以前又は以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。
（４）コンピュータを計測装置３として機能させる計測プログラムを実施してもよい。
（５）距離取得部３３１による距離ｄ（ｋ）の取得は、２眼の撮像装置２を用いた三角測量に限らず、他の手法によって実現してもよい。例えば撮像装置２以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。
（６）本自動車に代えて、ドローン等３次元に移動可能な移動体に計測システム１を搭載してもよい。かかる場合、位相限定相関法に基づくスケールを用いて距離ｄを推定することに代えて、予め画像と距離ｄとの関係を深層学習によって学習させた学習済みモデルを用いて、対象物ＯＢＪとなる他の３次元移動体の距離ｄを推定可能に実施されてもよい。
（７）重み付けされた複数の参考値Ｒ（ｋ）に代えて、複数の参考値Ｒ（ｋ）を非線形な関数に入力した値を用いてもよい。
（２）前述の実施形態では、左カメラ２ａ及び右カメラ２ｂからなる２眼の撮像装置２を用いているが、３つ以上のカメラを用いた３眼以上の撮像装置２を実施してもよい。この際、異なる種類のカメラ（例えば、可視光カメラ及び赤外線カメラ）を組み合わせて実施してもよい。カメラの個数を増やすことで、計測システム１による計測に係るロバスト性が向上する。あるいは、多視点画像処理に基づく距離ｄ（ｋ）の取得を行うための別のカメラを用いてもよく、このカメラは前述の周波数ｇ（周波数ｆよりも低い）相当の撮像レートを有するものでよい。解像度は、高いことが好ましい。
（３）撮像装置２及び計測装置３を備える計測システム１としてではなく、計測装置３を単体で実施してもよい。このような計測装置３を、事後的に距離ｄを計測可能なドライブレコーダやドライブシミュレータ等に応用することができる。かかる場合、パッチ設定部３３２は、ある時刻ｔ（ｋ）以前又は以後の各フレームに対して、対象物ＯＢＪの少なくとも一部を含むパッチＰを設定するように構成される。
（４）コンピュータを計測装置３として機能させる計測プログラムを実施してもよい。
（５）距離取得部３３１による距離ｄ（ｋ）の取得は、２眼の撮像装置２を用いた三角測量に限らず、他の手法によって実現してもよい。例えば撮像装置２以外のセンサ、例えば、レーザ変位センサ、赤外線センサ等を用いる態様であってもよい。
（６）本自動車に代えて、ドローン等３次元に移動可能な移動体に計測システム１を搭載してもよい。かかる場合、位相限定相関法に基づくスケールを用いて距離ｄを推定することに代えて、予め画像と距離ｄとの関係を深層学習によって学習させた学習済みモデルを用いて、対象物ＯＢＪとなる他の３次元移動体の距離ｄを推定可能に実施されてもよい。
（７）重み付けされた複数の参考値Ｒ（ｋ）に代えて、複数の参考値Ｒ（ｋ）を非線形な関数に入力した値を用いてもよい。
【0070】
さらに、次に記載の各態様で提供されてもよい。
前記計測システムにおいて、前記撮像装置は、異なる視点を有する２以上のカメラを含み、前記距離取得部は、前記ある時刻において前記異なる視点で撮像された２以上の画像に基づいて、前記距離を取得するように構成される、もの。
前記計測システムにおいて、前記撮像装置は、周波数ｆで前記動画を撮像可能に構成され、前記ある時刻は、複数の時刻であり、前記距離取得部は、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記周波数ｆは、１００Ｈｚ以上である、もの。
前記計測システムにおいて、演算部をさらに備え、前記演算部は、前記ある時刻ごとに設定された複数のパッチに対する所望時刻のパッチの拡大率と、これに基づく複数の、前記所望時刻の距離の参考値を演算するように構成され、前記計測部は、複数の前記参考値に重み付け演算をすることで、前記所望時刻の距離を計測可能に構成される、もの。
前記計測システムにおいて、前記演算部は、前記フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、前記パッチ間に含まれる前記対象物の少なくとも一部のマッチングをとることで、前記パッチの拡大率を演算するように構成される、もの。
前記計測システムにおいて、車両に載置されたもので、前記対象物は、前記車両に対する障害物又は他車両である、もの。
前記計測システムにおいて、ペダルワーク推定部をさらに備え、前記ペダルワーク推定部は、計測された前記距離に基づいて、前記他車両のペダルワークを推定するように構成される、もの。
前記計測システムにおいて、前記参考値のサンプル数は、前記車両又は前記他車両の速度によって可変に構成される、もの。
前記計測システムにおいて、前記計測部は、計測された前記対象物までの前記所望時刻の距離に対してフィルタを適用することで、前記対象物の速度又は加速度を推定的に計測可能に構成される、もの。
前記計測システムにおいて、記憶部をさらに備え、前記記憶部は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶し、前記パッチ設定部は、前記学習済みモデルに基づいて、前記パッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、予め設定された複数のパッチのうちから１つを選択することで、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、前記ある時刻のフレームにおいて、前記複数のパッチに対する予め定められた処理を実行する、もの。
車両であって、前記計測システムを備える、もの。
対象物を計測する計測装置であって、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、前記受付部は、動画に含まれる各フレームを受け付けるように構成され、ここで前記動画は、画角に含まれる前記対象物を撮像した動画で、前記パッチ設定部は、前記ある時刻以前又は以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。
計測プログラムであって、コンピュータを前記計測システムとして機能させる、もの。
対象物を計測する計測方法であって、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる前記対象物の動画を撮像し、前記距離取得ステップでは、ある時刻における前記対象物までの距離を取得し、前記パッチ設定ステップでは、前記動画に含まれる前記ある時刻以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定し、前記計測ステップでは、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測する、方法。
もちろん、この限りではない。
前記計測システムにおいて、前記撮像装置は、異なる視点を有する２以上のカメラを含み、前記距離取得部は、前記ある時刻において前記異なる視点で撮像された２以上の画像に基づいて、前記距離を取得するように構成される、もの。
前記計測システムにおいて、前記撮像装置は、周波数ｆで前記動画を撮像可能に構成され、前記ある時刻は、複数の時刻であり、前記距離取得部は、前記周波数ｆよりも低い周波数ｇで前記距離を前記ある時刻ごとに取得するように構成され、前記パッチ設定部は、各ある時刻以後且つその次のある時刻以前の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記周波数ｆは、１００Ｈｚ以上である、もの。
前記計測システムにおいて、演算部をさらに備え、前記演算部は、前記ある時刻ごとに設定された複数のパッチに対する所望時刻のパッチの拡大率と、これに基づく複数の、前記所望時刻の距離の参考値を演算するように構成され、前記計測部は、複数の前記参考値に重み付け演算をすることで、前記所望時刻の距離を計測可能に構成される、もの。
前記計測システムにおいて、前記演算部は、前記フレームに対してフーリエ変換を行ったパワースペクトルに対して、対数極座標変換と位相限定相関法とを用いて、前記パッチ間に含まれる前記対象物の少なくとも一部のマッチングをとることで、前記パッチの拡大率を演算するように構成される、もの。
前記計測システムにおいて、車両に載置されたもので、前記対象物は、前記車両に対する障害物又は他車両である、もの。
前記計測システムにおいて、ペダルワーク推定部をさらに備え、前記ペダルワーク推定部は、計測された前記距離に基づいて、前記他車両のペダルワークを推定するように構成される、もの。
前記計測システムにおいて、前記参考値のサンプル数は、前記車両又は前記他車両の速度によって可変に構成される、もの。
前記計測システムにおいて、前記計測部は、計測された前記対象物までの前記所望時刻の距離に対してフィルタを適用することで、前記対象物の速度又は加速度を推定的に計測可能に構成される、もの。
前記計測システムにおいて、記憶部をさらに備え、前記記憶部は、種々の対象物とこれらに対する矩形領域との相関を予め学習させた学習済みモデルを記憶し、前記パッチ設定部は、前記学習済みモデルに基づいて、前記パッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、予め設定された複数のパッチのうちから１つを選択することで、前記対象物の少なくとも一部を含むパッチを設定するように構成される、もの。
前記計測システムにおいて、前記パッチ設定部は、前記ある時刻のフレームにおいて、前記複数のパッチに対する予め定められた処理を実行する、もの。
車両であって、前記計測システムを備える、もの。
対象物を計測する計測装置であって、距離取得部と、受付部と、パッチ設定部と、計測部とを備え、前記距離取得部は、ある時刻における前記対象物までの距離を取得するように構成され、前記受付部は、動画に含まれる各フレームを受け付けるように構成され、ここで前記動画は、画角に含まれる前記対象物を撮像した動画で、前記パッチ設定部は、前記ある時刻以前又は以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定するように構成され、前記計測部は、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測可能に構成される、もの。
計測プログラムであって、コンピュータを前記計測システムとして機能させる、もの。
対象物を計測する計測方法であって、撮像ステップと、距離取得ステップと、パッチ設定ステップと、計測ステップとを備え、前記撮像ステップでは、画角に含まれる前記対象物の動画を撮像し、前記距離取得ステップでは、ある時刻における前記対象物までの距離を取得し、前記パッチ設定ステップでは、前記動画に含まれる前記ある時刻以後の各フレームに対して、前記対象物の少なくとも一部を含むパッチを設定し、前記計測ステップでは、取得された前記距離と、前記フレームごとに設定された前記パッチの拡大率とに基づいて、前記対象物までの所望時刻の距離を計測する、方法。
もちろん、この限りではない。
【0071】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0072】
１ ：計測システム
２ ：撮像装置
２ａ ：左カメラ
２ｂ ：右カメラ
３ ：計測装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３０ ：受付部
３３１ ：距離取得部
３３２ ：パッチ設定部
３３３ ：演算部
３３４ ：計測部
３３５ ：ペダルワーク推定部
Ｄ ：重み付け距離データ
ＩＭ ：画像
ＩＭａ ：左画像
ＩＭｂ ：右画像
ＯＢＪ ：対象物
Ｐ ：パッチ
ａ ：加速度
ｄ ：距離
ｆ ：周波数
ｇ ：周波数
ｔ ：時刻
ｖ ：速度
２ ：撮像装置
２ａ ：左カメラ
２ｂ ：右カメラ
３ ：計測装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３０ ：受付部
３３１ ：距離取得部
３３２ ：パッチ設定部
３３３ ：演算部
３３４ ：計測部
３３５ ：ペダルワーク推定部
Ｄ ：重み付け距離データ
ＩＭ ：画像
ＩＭａ ：左画像
ＩＭｂ ：右画像
ＯＢＪ ：対象物
Ｐ ：パッチ
ａ ：加速度
ｄ ：距離
ｆ ：周波数
ｇ ：周波数
ｔ ：時刻
ｖ ：速度
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
