知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-04
(45)【発行日】2024-12-12
(54)【発明の名称】映像解析装置、映像解析方法、および、映像解析プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20241205BHJP
G06V 10/24 20220101ALI20241205BHJP
G01B 11/02 20060101ALI20241205BHJP
H04N 7/18 20060101ALI20241205BHJP
【ＦＩ】
G06T7/70 Z
G06V10/24
G01B11/02 H
H04N7/18 K
【請求項の数】
14
(21)【出願番号】P 2024048203
(22)【出願日】2024-03-25
【審査請求日】2024-03-25
【早期審査対象出願】
(73)【特許権者】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】谷田部 祐介
(72)【発明者】
【氏名】三沢 博章
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】平川 康則
(72)【発明者】
【氏名】永吉 洋登
(72)【発明者】
【氏名】木村 淳一
【審査官】村山 絢子
(56)【参考文献】
【文献】国際公開第２０２０／１２１３７６（ＷＯ，Ａ１）
【文献】特開２００８－０５７９９４（ＪＰ，Ａ）
【文献】特開２００７－０１８３４７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０－７／９０
Ｇ０６Ｖ １０／００－２０／９０
Ｇ０１Ｂ １１／０２
Ｈ０４Ｎ ７／１８
Ｇ０１Ｃ １３／００
(57)【特許請求の範囲】
【請求項1】
対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部と、前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部と、
前記対象物をカメラで撮影した映像データの特徴量を抽出する映像特徴量変換部と、
前記映像特徴量変換部が抽出した特徴量を保存する映像特徴量保持部と、
前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部と、
前記空間位置合わせ部が決定した二次元の射影データの特徴量と、前記映像特徴量保持部が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する計測部と、
を有することを特徴とする映像解析装置。
【請求項2】
前記三次元データ特徴量変換部は、前記対象物を計測した前記三次元データに含まれる法線から検出される面の境界情報を前記特徴量として抽出する、ことを特徴とする請求項１に記載の映像解析装置。
【請求項3】
前記映像特徴量変換部は、前記対象物を撮影した前記映像データのエッジ情報を前記特徴量として抽出する、ことを特徴とする請求項１に記載の映像解析装置。
【請求項4】
前記映像特徴量変換部は、前記対象物を撮影した前記映像データからの特徴量の抽出にあたり、前記三次元データを用いる、ことを特徴とする請求項１に記載の映像解析装置。
【請求項5】
前記映像特徴量変換部は、時系列の異なる複数の映像フレームを用いて、前記特徴量とを抽出する、ことを特徴とする請求項１に記載の映像解析装置。
【請求項6】
前記空間位置合わせ部は、前記三次元データを元に、所定の高さ以上での比較を行う、ことを特徴とする請求項１に記載の映像解析装置。
【請求項7】
前記映像特徴量変換部は、前記三次元計測装置の位置情報と前記カメラの位置情報を元に特徴量を抽出する、ことを特徴とする請求項１に記載の映像解析装置。
【請求項8】
前記映像特徴量変換部は、前記映像データの複数枚のフレーム情報から、特徴量を抽出する、ことを特徴とする請求項１に記載の映像解析装置。
【請求項9】
位置合わせ後の映像データおよび三次元データ、注意と危険の水位を前記三次元データに重畳して表示する表示制御部、を更に備えることを特徴とする請求項１に記載の映像解析装置。
【請求項10】
前記空間位置合わせ部が決定した二次元の射影データに対応する前記三次元データから生成したメッシュ情報に対して、前記映像データを紐づける三次元データ生成部、を更に有することを特徴とする請求項１に記載の映像解析装置。
【請求項11】
対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部と、
前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部と、
前記対象物をカメラで撮影した映像データの特徴量を抽出する映像特徴量変換部と、
前記映像特徴量変換部が抽出した特徴量を保存する映像特徴量保持部と、
前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部と、
前記映像データから検出したい対象物を画像認識する映像認識部と、
前記映像認識部が認識した映像部分を、前記映像認識部が紐づけたメッシュ情報に基づき、対象物のサイズを計測する計測部と、
を有することを特徴とする映像解析装置。
【請求項12】
前記映像認識部は、個体の枚数または個数を認識し、前記計測部は、各前記個体の長さを計測する、
ことを特徴とする請求項１１に記載の映像解析装置。
【請求項13】
対象物を三次元計測装置で計測した三次元データに対して、三次元データ特徴量変換部が、複数の視点での透視投影により二次元を仮定して特徴量を抽出するステップと、前記三次元データ特徴量変換部が抽出した特徴量を三次元データ特徴量保持部に保存するステップと、
映像特徴量変換部が、前記対象物をカメラで撮影した映像データの特徴量を抽出するステップと、
前記映像特徴量変換部が抽出した特徴量を映像特徴量保持部に保存するステップと、
空間位置合わせ部が、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定するステップと、
計測部が、前記空間位置合わせ部が決定した二次元の射影データの特徴量と、前記映像特徴量保持部が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測するステップと、
を有することを特徴とする映像解析方法。
【請求項14】
コンピュータに、対象物を三次元計測装置で計測した三次元データに対して、複数の視点での透視投影により二次元を仮定して特徴量を抽出する手順、
前記三次元データから抽出した特徴量を三次元データ特徴量保持部に保存する手順、
前記対象物をカメラで撮影した映像データの特徴量を抽出する手順、
前記映像データから抽出した特徴量を映像特徴量保持部に保存する手順、
前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する手順、
決定された前記二次元の射影データの特徴量と、前記映像特徴量保持部に保存された前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する手順、
を実行させるための映像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像解析装置、映像解析方法、および、映像解析プログラムに関する。
【背景技術】
【0002】
近年、監視カメラの普及により環境や物体の映像監視が可能となっている。また、三次元データを用いて、所定の空間に位置する物体に関する体積または重量等の量を測定する技術がある（例えば、特許文献１参照）。
【0003】
特許文献１には、物量算出装置の発明が記載されている。特許文献１に記載の物量算出装置は、所定の空間を示す第１三次元モデルと、当該所定の空間を示し、第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせ部と、第１三次元モデルと第２三次元モデルとの差分の量を算出し、当該差分が有する属性情報と当該差分の量を示す差分情報とを出力する算出部（差異算出部）と、を備える。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０２０／１７９４３８号
【発明の概要】
【発明が解決しようとする課題】
【0005】
リアルタイムに計測を実施したい場合、三次元情報の取得については、監視カメラに比べて取得の手間がかかる事と、比較のための位置合わせのために属性情報を取得する必要があり、多くの手間を要する。
そこで、本発明は、映像を用いてリアルタイムに物の高さ、長さ、または大きさを計測することを課題とする。
そこで、本発明は、映像を用いてリアルタイムに物の高さ、長さ、または大きさを計測することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題を解決するため、本発明の映像解析装置は、対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部と、前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部と、前記対象物をカメラで撮影した映像データの特徴量を抽出する映像特徴量変換部と、前記映像特徴量変換部が抽出した特徴量を保存する映像特徴量保持部と、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部と、前記空間位置合わせ部が決定した二次元の射影データの特徴量と、前記映像特徴量保持部が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する計測部と、を有することを特徴とする。
本発明の映像解析装置は、対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部と、前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部と、前記対象物をカメラで撮影した映像データの特徴量を抽出する映像特徴量変換部と、前記映像特徴量変換部が抽出した特徴量を保存する映像特徴量保持部と、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部と、前記映像データから検出したい対象物を画像認識する映像認識部と、前記映像認識部が認識した映像部分を、前記映像認識部が紐づけたメッシュ情報に基づき、対象物のサイズを計測する計測部と、を有することを特徴とする。
本発明の映像解析装置は、対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部と、前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部と、前記対象物をカメラで撮影した映像データの特徴量を抽出する映像特徴量変換部と、前記映像特徴量変換部が抽出した特徴量を保存する映像特徴量保持部と、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部と、前記映像データから検出したい対象物を画像認識する映像認識部と、前記映像認識部が認識した映像部分を、前記映像認識部が紐づけたメッシュ情報に基づき、対象物のサイズを計測する計測部と、を有することを特徴とする。
【0007】
本発明の映像解析方法は、対象物を三次元計測装置で計測した三次元データに対して、三次元データ特徴量変換部が、複数の視点での透視投影により二次元を仮定して特徴量を抽出するステップと、前記三次元データ特徴量変換部が抽出した特徴量を三次元データ特徴量保持部に保存するステップと、映像特徴量変換部が、前記対象物をカメラで撮影した映像データの特徴量を抽出するステップと、前記映像特徴量変換部が抽出した特徴量を映像特徴量保持部に保存するステップと、空間位置合わせ部が、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定するステップと、計測部が、前記空間位置合わせ部が決定した二次元の射影データの特徴量と、前記映像特徴量保持部が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測するステップと、を有することを特徴とする。
【0008】
本発明の映像解析プログラムは、コンピュータに、対象物を三次元計測装置で計測した三次元データに対して、複数の視点での透視投影により二次元を仮定して特徴量を抽出する手順、前記三次元データから抽出した特徴量を三次元データ特徴量保持部に保存する手順、前記対象物をカメラで撮影した映像データの特徴量を抽出する手順、前記映像データから抽出した特徴量を映像特徴量保持部に保存する手順、前記三次元データ特徴量保持部に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する手順、決定された前記二次元の射影データの特徴量と、前記映像特徴量保持部に保存された前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する手順、を実行させるためのものである。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0009】
本発明によれば、映像を用いてリアルタイムに物の高さ、長さ、または大きさを計測することが可能となる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態にかかる映像解析装置を示す概略の構成図である。
【図2】橋脚の映像データ例である。
【図3】計測可視化処理のフローチャートである。
【図4】第１の実施形態の映像解析装置のデータフロー図である。
【図5】第１の実施形態の映像解析装置のハードウェアの構成図である。
【図6】第２の実施形態にかかる映像解析装置を示す概略の構成図である。
【図7】第２の実施形態の映像解析装置のデータフロー図である。
【図8】第３の実施形態にかかる映像解析装置を示す概略の構成図である。
【図9】計測可視化処理のフローチャートである。
【発明を実施するための形態】
【0011】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
《第１の実施形態》
第１の実施形態の映像解析装置は、監視カメラの映像解析のみでリアルタイムに水位を計測するものである。これにより、水位を計測するためのメータの設置が不要であり、水位の計測計器や設備のメンテナンスが不要となり、かつオートキャリブレーションにより水位計測の経年誤差などを打ち消すことが可能である。更に、リアルタイムで水位を計測できると共に、コスト面と美観の面で優位である。
《第１の実施形態》
第１の実施形態の映像解析装置は、監視カメラの映像解析のみでリアルタイムに水位を計測するものである。これにより、水位を計測するためのメータの設置が不要であり、水位の計測計器や設備のメンテナンスが不要となり、かつオートキャリブレーションにより水位計測の経年誤差などを打ち消すことが可能である。更に、リアルタイムで水位を計測できると共に、コスト面と美観の面で優位である。
【0012】
図１は、第１の実施形態にかかる映像解析装置１を示す概略の構成図である。
映像解析装置１は、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、空間位置合わせ部１７と、計測部１８と、表示制御部１００とを含んで構成される。
映像解析装置１は、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、空間位置合わせ部１７と、計測部１８と、表示制御部１００とを含んで構成される。
【0013】
三次元データ１４は、ある対象物を、予めＬＩＤＡＲ（Laser Imaging Detection and Ranging）などの三次元計測装置で計測したものである。映像データ１１は、ＬＩＤＡＲなどで撮影した対象物と同一の対象物の映像データであり、二次元カメラで撮影したものである。映像データ１１は、例えば複数の映像フレームが時系列に配列された動画ストリームであるが、静止画であってもよい。
【0014】
三次元データ特徴量変換部１５は、入力された三次元データ１４の複数の視点での透視投影により、二次元射影データを仮定して特徴量を変換した三次元特徴量を算出する。つまり、三次元データ特徴量変換部１５は、対象物を三次元計測装置で計測した三次元データに対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する。三次元データ特徴量変換部１５は、対象物を計測した三次元データに含まれる法線から検出される面の境界情報を前記特徴量として抽出する。ここで対象物とは、例えば橋脚であり、橋脚の三次元データに含まれる法線から検出される面の境界情報を特徴量として抽出し、水位計測に活用する。なお、構造物の三次元データに含まれる法線から検出される面の境界情報は、構造物の形状のエッジ情報である。
【0015】
三次元データ特徴量変換部１５が算出した三次元データ特徴量は、三次元データ特徴量保持部１６に保持される。三次元データ１４は、最初に１度だけ計測されたものでよく、対象物を連続して計測する必要はない。また、既に三次元情報が存在すれば、そちらを利用してもよい。
【0016】
映像特徴量変換部１２は、入力された映像データ１１の特徴量を変換した映像特徴量を算出する。つまり映像特徴量変換部１２は、対象物をカメラで撮影した映像データの特徴量を抽出する。映像特徴量変換部１２は、対象物を撮影した映像データ１１のエッジ情報を特徴量として抽出する。ここで対象物とは例えば橋脚である。水位計測において、映像特徴量変換部１２は、橋脚を撮影した映像中のエッジ情報を特徴量として抽出する。また、映像特徴量変換部１２は、対象物を撮影した映像データ１１からの特徴量の抽出にあたり、三次元データ１４を用いるとよい。これにより、映像特徴量変換部１２は、橋脚の特徴量を好適に抽出可能である。映像特徴量変換部１２が算出した映像特徴量は、映像特徴量保持部１３に保持される。
また映像特徴量変換部１２は、時系列の異なる複数の映像フレームを用いて、特徴量を抽出するとよい。これにより、映像特徴量変換部１２は、個々のフレームのノイズによらず特徴量を抽出可能である。更に映像特徴量変換部１２は、三次元計測装置の位置情報とカメラの位置情報を元に特徴量を抽出するとよい。これにより、映像特徴量変換部１２は、三次元計測装置で好適に測定できる面がカメラからどのように撮影されるかを考慮しつつ、好適に特徴量を抽出できる。
また映像特徴量変換部１２は、時系列の異なる複数の映像フレームを用いて、特徴量を抽出するとよい。これにより、映像特徴量変換部１２は、個々のフレームのノイズによらず特徴量を抽出可能である。更に映像特徴量変換部１２は、三次元計測装置の位置情報とカメラの位置情報を元に特徴量を抽出するとよい。これにより、映像特徴量変換部１２は、三次元計測装置で好適に測定できる面がカメラからどのように撮影されるかを考慮しつつ、好適に特徴量を抽出できる。
【0017】
空間位置合わせ部１７は、映像特徴量保持部１３と三次元データ特徴量保持部１６のデータを比較して、映像データ１１に最も近い二次元射影データを決定する。つまり、空間位置合わせ部１７は、三次元データ特徴量保持部１６に保存された前記三次元データの特徴量と前記映像特徴量保持部に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する。
この比較に際しては、映像特徴量保持部１３のデータは構造物のエッジだけではなく、影などにより映像上に発生したエッジも検出されている可能性があるため、三次元データ特徴量保持部１６の特徴量の部分のみで比較を行うとよい。
空間位置合わせ部１７は、三次元データ１４を元に、所定の高さ以上での比較を行うとよい。所定の高さとは、例えば水面である。
また、この比較については、初めは大まかな視点や画角での二次元射影データを比較し、大体の視点や画角を絞り込んだのち、細かな視点や画角の変更で階層的に最も近い画角を算出するのが良い。
この比較に際しては、映像特徴量保持部１３のデータは構造物のエッジだけではなく、影などにより映像上に発生したエッジも検出されている可能性があるため、三次元データ特徴量保持部１６の特徴量の部分のみで比較を行うとよい。
空間位置合わせ部１７は、三次元データ１４を元に、所定の高さ以上での比較を行うとよい。所定の高さとは、例えば水面である。
また、この比較については、初めは大まかな視点や画角での二次元射影データを比較し、大体の視点や画角を絞り込んだのち、細かな視点や画角の変更で階層的に最も近い画角を算出するのが良い。
【0018】
計測部１８は、空間位置合わせ部１７で決定した二次元射影データでの特徴量と、映像特徴量保持部が保存した映像データの特徴量とを比較することで、映像中の対象物のサイズを計測する。
表示制御部１００は、位置合わせ後の映像データおよび三次元データ、注意と危険の水位を三次元データに重畳して表示する。これにより、現在の水位が注意すべきものであること、または危険であることをユーザに示すことができる。
表示制御部１００は、位置合わせ後の映像データおよび三次元データ、注意と危険の水位を三次元データに重畳して表示する。これにより、現在の水位が注意すべきものであること、または危険であることをユーザに示すことができる。
【0019】
具体的な計測方法として、計測部１８は、映像データでの喫水線の特徴量と、三次元データ特徴量保持部１６に格納された三次元データの特徴量とを比較することで、映像中の喫水線情報を三次元データの高さ情報に変換する。
【0020】
また、計測部１８は、ある時の映像データの特徴量を基準として、異なる時刻の映像データの特徴量を比較して、その差異により水位を計測する。これは、例えば増水で河川の水位が増えた場合には、架橋などの構造物は水によって映像に映らなくなるオクルージョン領域が発生し、映像の特徴量として検出されなくなるためである。これを水位の高さ毎の特徴量のヒストグラムとして表現した場合には、基準としていた特徴量と、水位が増えた場合の特徴量ではその水位の増加部分でヒストグラムに大きな違いが発生することになる。計測部１８は、この差異が発生する部分から水位の増加を計測して、基準値に対して高さを加味することで水位に変換する。この際、計測部１８は、水位の決定にあたり、ヒストグラムの基準との比較を水位の高い方から行い、ある閾値より多く値が変化した箇所などを選択したり、周辺の高さと大きく傾向が異なるところを選択してもよい。これにより、監視カメラが撮影した映像データに基づいて、河川の水位情報をリアルタイムで算出できる。
また、計測部１８は、水位を計測するため短い時間単位での計測を実施するが、その際、空間位置合わせ処理を毎回実施しなくてもよい。
また、計測部１８は、水位を計測するため短い時間単位での計測を実施するが、その際、空間位置合わせ処理を毎回実施しなくてもよい。
【0021】
図２は、橋脚の映像データ例である。
橋脚は、河川に据え付けられており、構造物の形状や喫水面が橋脚の表面に現れている。この形状や喫水面の三次元データの高さ情報を算出することや、基準の映像データの特徴量との比較により、河川の水位情報を得ることができる。この構造物の形状情報を得るために、三次元データから面の表を示すベクトルである法線の状況により異なる面同士の境界線（エッジ）情報を検出し、こちらを特徴量とすることが好ましい。
橋脚は、河川に据え付けられており、構造物の形状や喫水面が橋脚の表面に現れている。この形状や喫水面の三次元データの高さ情報を算出することや、基準の映像データの特徴量との比較により、河川の水位情報を得ることができる。この構造物の形状情報を得るために、三次元データから面の表を示すベクトルである法線の状況により異なる面同士の境界線（エッジ）情報を検出し、こちらを特徴量とすることが好ましい。
【0022】
図３は、計測可視化処理のフローチャートである。
最初、三次元データ特徴量変換部１５は、高精度の三次元データ１４を取得する（ステップＳ１０）。そして、三次元データ特徴量変換部１５は、この三次元データ１４から、三次元データに含まれる法線から検出される面の境界情報を抽出する（ステップＳ１１）。
次に空間位置合わせ部１７は、画像の特徴量を、三次元データに含まれる面の境界情報と対応付ける（ステップＳ１２）。計測部１８は、対応付けた画像の特徴量のうち、二次元射影データで現れている特徴点が映像データで隠されているオクルージョンの差異を計測して高さ別マッチ量ヒストグラムを作成し（ステップＳ１３）、基準時とのヒストグラムと比較することで水位を特定すると（ステップＳ１４）、図３の処理を終了する。
最初、三次元データ特徴量変換部１５は、高精度の三次元データ１４を取得する（ステップＳ１０）。そして、三次元データ特徴量変換部１５は、この三次元データ１４から、三次元データに含まれる法線から検出される面の境界情報を抽出する（ステップＳ１１）。
次に空間位置合わせ部１７は、画像の特徴量を、三次元データに含まれる面の境界情報と対応付ける（ステップＳ１２）。計測部１８は、対応付けた画像の特徴量のうち、二次元射影データで現れている特徴点が映像データで隠されているオクルージョンの差異を計測して高さ別マッチ量ヒストグラムを作成し（ステップＳ１３）、基準時とのヒストグラムと比較することで水位を特定すると（ステップＳ１４）、図３の処理を終了する。
【0023】
図４は、第１の実施形態の映像解析装置１のデータフロー図である。
データの収集時には、ＬＩＤＡＲ３１が対象物の三次元計測を実施して、点群３２１を生成する。そして、映像解析装置１は、メッシュ３２２を生成してＲａｙｃａｓｔ部３３に引き渡す。Ｒａｙｃａｓｔ部３３は、例えばゲームエンジンＵｎｉｔｙ（登録商標）のＲａｙｃａｓｔに該当し、ある特定のオブジェクトから透明な光線を出し、光線がぶつかった別のオブジェクトの座標を取得する処理を実行する。
データの収集時には、ＬＩＤＡＲ３１が対象物の三次元計測を実施して、点群３２１を生成する。そして、映像解析装置１は、メッシュ３２２を生成してＲａｙｃａｓｔ部３３に引き渡す。Ｒａｙｃａｓｔ部３３は、例えばゲームエンジンＵｎｉｔｙ（登録商標）のＲａｙｃａｓｔに該当し、ある特定のオブジェクトから透明な光線を出し、光線がぶつかった別のオブジェクトの座標を取得する処理を実行する。
【0024】
カメラ設置時にＲａｙｃａｓｔ部３３は、映像を撮影するカメラの位置と方向を示すカメラパラメータ３３１に基づき、メッシュ３２２で示されるオブジェクトから、カメラで対象物を撮影したときの映像データに最も近い二次元射影データを決定する。この二次元射影データは、仮想法制画像特徴データベース３４に格納される。仮想法制画像特徴データベース３４は更に、ＬＩＤＡＲ／カメラ変換行列３４１とＲａｙｃａｓｔ解像度データ３４２を格納する。
【0025】
運用時に監視カメラ３５は、対象物を撮影してＲＧＢ画像３５１を生成する。映像解析装置１は、ＲＧＢ画像３５１から特徴データ３５２を生成し、特徴マッチング部３６と特徴比較部３７に引き渡す。
特徴マッチング部３６は、仮想法制画像特徴データベース３４に格納された二次元射影データの特徴点と、特徴データ３５２とを比較する。そして、特徴マッチング部３６は、最一致の法線画像特徴３６１を出力する。特徴比較部３７は、特徴データ３５２と、最一致の法線画像特徴３６１と、基準時の特徴量とを比較して、高さ別マッチ量ヒストグラム３７１を生成する。水位推定部３８は、この高さ別マッチ量ヒストグラム３７１を判定することにより、現在の水位を推定する。
特徴マッチング部３６は、仮想法制画像特徴データベース３４に格納された二次元射影データの特徴点と、特徴データ３５２とを比較する。そして、特徴マッチング部３６は、最一致の法線画像特徴３６１を出力する。特徴比較部３７は、特徴データ３５２と、最一致の法線画像特徴３６１と、基準時の特徴量とを比較して、高さ別マッチ量ヒストグラム３７１を生成する。水位推定部３８は、この高さ別マッチ量ヒストグラム３７１を判定することにより、現在の水位を推定する。
【0026】
図５は、第１の実施形態の映像解析装置１の具体的なハードウェアの構成図である。
映像解析装置１は、例えばコンピュータであり、特徴処理プラグイン４３と水位計測プラグイン４４が組み込まれている。映像解析装置１は更に、撮影情報データベース４８１と、三次元データ４８２と、画像特徴データベース４８３と、特徴マッチング処理結果４８４と、解析結果４８５を格納している。
映像解析装置１には、監視カメラ４１およびビデオ管理装置４２と、ＬＩＤＡＲなどの三次元計測装置４５と、初期データ生成装置４６が接続されている。
映像解析装置１は、例えばコンピュータであり、特徴処理プラグイン４３と水位計測プラグイン４４が組み込まれている。映像解析装置１は更に、撮影情報データベース４８１と、三次元データ４８２と、画像特徴データベース４８３と、特徴マッチング処理結果４８４と、解析結果４８５を格納している。
映像解析装置１には、監視カメラ４１およびビデオ管理装置４２と、ＬＩＤＡＲなどの三次元計測装置４５と、初期データ生成装置４６が接続されている。
【0027】
監視カメラ４１は、映像を撮影してビデオ管理装置４２に引き渡す。ビデオ管理装置４２は、監視カメラ４１が撮影した映像を蓄積して、特徴処理プラグイン４３と水位計測プラグイン４４に画像データを出力する。
【0028】
三次元計測装置４５は、例えばＬＩＤＡＲであり、対象物を三次元計測して、撮影場所ＩＤを撮影情報データベース４８１に書き込み、メッシュデータと撮影場所ＩＤを三次元データ４８２に書き込む。
初期データ生成装置４６は、仮想法線画像生成部４６１と特徴量抽出部４６２を含んで構成される。仮想法線画像生成部４６１は、撮影場所ＩＤとメッシュデータから法線画像を生成する。特徴量抽出部４６２は、法線画像から特徴画像と深度画像を生成する。初期データ生成装置４６は、法線画像と特徴画像と深度画像を、画像特徴データベース４８３に格納する。
初期データ生成装置４６は、仮想法線画像生成部４６１と特徴量抽出部４６２を含んで構成される。仮想法線画像生成部４６１は、撮影場所ＩＤとメッシュデータから法線画像を生成する。特徴量抽出部４６２は、法線画像から特徴画像と深度画像を生成する。初期データ生成装置４６は、法線画像と特徴画像と深度画像を、画像特徴データベース４８３に格納する。
【0029】
特徴処理プラグイン４３は、特徴抽出部４３１と特徴マッチング部４３２を備えている。特徴抽出部４３１は、画像データから特徴を抽出して、特徴マッチング部４３２に出力する。特徴マッチング部４３２には、画像データの特徴が入力され、撮影情報データベース４８１から撮影場所ＩＤおよびカメラパラメータが入力される。
【0030】
特徴マッチング部４３２は、画像特徴データベース４８３に撮影場所ＩＤを引き渡して、撮影場所ＩＤに対応した特徴画像を読み取る。特徴マッチング部４３２は、画像データの特徴と特徴画像とをマッチングして、法線画像ＩＤを選択する。特徴マッチング部４３２は、法線画像ＩＤと撮影場所ＩＤを、特徴マッチング処理結果４８４に格納する。
【0031】
水位計測プラグイン４４は、特徴抽出部４４１と水位計測部４４２を備えている。特徴抽出部４４１には、ビデオ管理装置４２から画像データが入力される。特徴抽出部４４１は、法線画像ＩＤと画像データから特徴点を抽出して、水位計測部４４２に出力する。水位計測部４４２は、特徴点と、法線画像ＩＤと特徴画像と深度画像とから、水位を計測する。水位計測部４４２は、撮影場所ＩＤと撮影時間と画像データと水位とを、解析結果データベース４８５に格納する。
解析結果表示装置４７は、解析結果データベース４８５から水位などを取得して表示するものである。これにより監視カメラ４１の映像から水位を計測することが可能である。なお、本実施形態では、ＬｉＤＡＲにより事前に三次元データを取得する例であったが、既に取得されている三次元情報を活用する手法でもよい。
解析結果表示装置４７は、解析結果データベース４８５から水位などを取得して表示するものである。これにより監視カメラ４１の映像から水位を計測することが可能である。なお、本実施形態では、ＬｉＤＡＲにより事前に三次元データを取得する例であったが、既に取得されている三次元情報を活用する手法でもよい。
【0032】
《第２の実施形態》
第２の実施形態の映像解析装置は、工事現場などを変換の歪なく、自由視点で俯瞰映像化するものである。これにより、工事の進捗などを容易に把握可能である。
第２の実施形態の映像解析装置は、工事現場などを変換の歪なく、自由視点で俯瞰映像化するものである。これにより、工事の進捗などを容易に把握可能である。
【0033】
図６は、第２の実施形態にかかる映像解析装置１Ａを示す概略の構成図である。
映像解析装置１Ａは、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、空間位置合わせ部１７と、三次元データ生成部１９とを含んで構成される。
映像解析装置１Ａは、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、空間位置合わせ部１７と、三次元データ生成部１９とを含んで構成される。
【0034】
三次元データ１４は、例えば工事現場などの対象物を、その都度ＬｉＤＡＲ（Laser Imaging Detection and Ranging）などの三次元計測装置で計測したものである。映像データ１１は、ＬｉＤＡＲなどで撮影した工事現場などの対象物と同一の対象物の映像であり、二次元カメラで撮影したものである。
【0035】
三次元データ特徴量変換部１５は、入力された三次元データ１４の複数の視点での透視投影により、二次元射影データを仮定して特徴量を変換した三次元データ特徴量を算出する。三次元データ特徴量変換部１５が算出した三次元データ特徴量は、三次元データ特徴量保持部１６に保持される。三次元データ１４は、工事が進捗する都度に取得される。
【0036】
映像特徴量変換部１２は、入力された映像データ１１の特徴量を変換した映像特徴量を算出する。映像特徴量変換部１２が算出した映像特徴量は、映像特徴量保持部１３に保持される。
【0037】
空間位置合わせ部１７は、映像特徴量保持部１３と三次元データ特徴量保持部１６のデータを比較して、映像データ１１に最も近い二次元射影データを決定する。
三次元データ生成部１９は、空間位置合わせ部１７で決定した二次元射影データに基づいて、映像データのテクスチャを、三次元データにマッピングすることで、テクスチャマッピングされた三次元データを生成する。つまり、三次元データ生成部１９は、空間位置合わせ部１７が決定した二次元の射影データに対応する三次元データから生成したメッシュ情報に対して、映像データを紐づけている。この三次元データを、例えばゲームエンジンＵｎｉｔｙ（登録商標）などでレンダリングすることで、自由視点で対象物を俯瞰することができる。
三次元データ生成部１９は、空間位置合わせ部１７で決定した二次元射影データに基づいて、映像データのテクスチャを、三次元データにマッピングすることで、テクスチャマッピングされた三次元データを生成する。つまり、三次元データ生成部１９は、空間位置合わせ部１７が決定した二次元の射影データに対応する三次元データから生成したメッシュ情報に対して、映像データを紐づけている。この三次元データを、例えばゲームエンジンＵｎｉｔｙ（登録商標）などでレンダリングすることで、自由視点で対象物を俯瞰することができる。
【0038】
図７は、変形例の映像解析装置２のデータフロー図である。
映像解析装置２は、テクスチャ抽出部２２とメッシュデータ化部２５と、視点変換レンダリング部２６を備え、複数のカメラ２１ａ，２１ｂと、長距離ＬｉＤＡＲ２３とポータブルＬｉＤＡＲ２４とが接続されている。
映像解析装置２は、テクスチャ抽出部２２とメッシュデータ化部２５と、視点変換レンダリング部２６を備え、複数のカメラ２１ａ，２１ｂと、長距離ＬｉＤＡＲ２３とポータブルＬｉＤＡＲ２４とが接続されている。
【0039】
複数のカメラ２１ａ，２１ｂは、それぞれ異なる視点に設置されており、複数の視点から対象物の映像を撮影する。長距離ＬｉＤＡＲ２３は、対象物との距離が長い地点から、この対象物の三次元データを測定する。ポータブルＬｉＤＡＲ２４は、対象物と近接した地点から、この対象物の三次元データを測定する。
【0040】
メッシュデータ化部２５は、対象物の三次元データを統合してメッシュデータ化する。メッシュデータ化部２５が生成したメッシュデータは、テクスチャ抽出部２２に出力される。
【0041】
テクスチャ抽出部２２は、複数のカメラ２１ａ，２１ｂから映像の入力を受け付ける。そしてテクスチャ抽出部２２は、三次元のメッシュデータを、カメラ２１ａ，２１ｂの各視点から見たときの二次元射影データに変換し、各二次元射影データと各映像とを対応付けて、メッシュデータに貼り付けるためのテクスチャを映像から抽出する。これにより、テクスチャ抽出部２２は、テクスチャを貼り付けたメッシュデータを作成する。
【0042】
視点変換レンダリング部２６は、例えばゲームエンジンＵｎｉｔｙ（登録商標）であり、テクスチャを貼り付けたメッシュデータを任意の視点でレンダリングする。これにより、所望の視点で対象物、例えば工事現場を観察可能である。
なお、本実施形態では、ＬｉＤＡＲにより三次元情報を逐次撮影しているが、既に取得されている三次元情報を活用する手法でもよい。既に取得されている三次元情報は、例えばＢＩＭ（Building Information Modeling）や、ＣＩＭ（Construction Information Modeling）等である。
なお、本実施形態では、ＬｉＤＡＲにより三次元情報を逐次撮影しているが、既に取得されている三次元情報を活用する手法でもよい。既に取得されている三次元情報は、例えばＢＩＭ（Building Information Modeling）や、ＣＩＭ（Construction Information Modeling）等である。
【0043】
《第３の実施形態》
第３の実施形態の映像解析装置は、ＬｉＤＡＲで取得した三次元データを元に、スマートフォンなどの携帯端末で撮影するだけでその場で重仮設資材の長さや体積を計測するものである。映像解析装置は、携帯端末で撮影した映像から資材束の状況を把握し、横断面の長さ解析情報とのマッチング処理を実施する。これにより、例えば２０ｍの長さの資材を２０ｍ離れたところから測定して、１０ｃｍ刻みで資材の長さをリアルタイムで分類可能である。
第３の実施形態の映像解析装置は、ＬｉＤＡＲで取得した三次元データを元に、スマートフォンなどの携帯端末で撮影するだけでその場で重仮設資材の長さや体積を計測するものである。映像解析装置は、携帯端末で撮影した映像から資材束の状況を把握し、横断面の長さ解析情報とのマッチング処理を実施する。これにより、例えば２０ｍの長さの資材を２０ｍ離れたところから測定して、１０ｃｍ刻みで資材の長さをリアルタイムで分類可能である。
【0044】
第３の実施形態の映像解析装置は、トラックの上の積載物を、一度に長さと体積の計測を実現する。これにより、従来一本ずつ手作業で荷台の上に登って実施した作業を安全かつ効率的に実施可能である。
【0045】
図８は、第３の実施形態にかかる映像解析装置１Ｂを示す概略の構成図である。
映像解析装置１は、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、映像認識部１０１と、計測部１０２とを含んで構成される。
映像解析装置１は、映像特徴量変換部１２と、映像特徴量保持部１３と、三次元データ特徴量変換部１５と、三次元データ特徴量保持部１６と、映像認識部１０１と、計測部１０２とを含んで構成される。
【0046】
三次元データ１４は、ある対象物を、予めＬＩＤＡＲ（Laser Imaging Detection and Ranging）などの三次元計測装置で計測したものである。映像データ１１は、ＬＩＤＡＲなどで撮影した対象物と同一の対象物の映像であり、二次元カメラで撮影したものである。
【0047】
三次元データ特徴量変換部１５は、入力された三次元データ１４の複数の視点での透視投影により、二次元射影データを仮定して特徴量を変換した三次元データ特徴量を算出する。三次元データ特徴量変換部１５が算出した三次元データ特徴量は、三次元データ特徴量保持部１６に保持される。三次元データ１４は、最初に１度だけ計測されたものでよく、対象物を連続して計測する必要はない。
【0048】
映像特徴量変換部１２は、入力された映像データ１１の特徴量を変換した映像特徴量を算出する。映像特徴量変換部１２が算出した映像特徴量は、映像特徴量保持部１３に保持される。
【0049】
映像認識部１０１は、映像データ１１から対象物を画像認識し、対象資材の束か否かを認識し、対象物が重なっているときには、その個体の枚数または個数を認識する。そして、映像認識部１０１は、映像特徴量保持部１３の特徴量データと三次元データ特徴量保持部１６の特徴量データを比較して、映像データ１１に最も近い二次元射影データを決定し、認識した対象物に対応する三次元データを認識する。
【0050】
計測部１０２は、映像認識部１０１が認識した対象物の三次元データの範囲により、対象物のサイズを計測する。
【0051】
具体的にいうと、このサイズ計測とは、認識した対象物(例えば束の塊)の3次元データを元に縦・横・長さを計測し、そこから体積を算出したり、束塊に含まれる資材の個数や形状を映像より検知してそれぞれ個別の長さの計測を実施する。
【0052】
図９は、計測可視化処理のフローチャートである。
ユーザは最初、資材の側面からＬｉＤＡＲで三次元データを計測する（ステップＳ２０）。次にユーザは、資材の断面や概要をカメラで撮影する（ステップＳ２１）。計測した三次元データと撮影した映像データは、映像解析装置１Ｂに入力される。
映像解析装置１Ｂの映像認識部１０１は、映像データ１１から資材束を画像認識する（ステップＳ２２）。
ユーザは最初、資材の側面からＬｉＤＡＲで三次元データを計測する（ステップＳ２０）。次にユーザは、資材の断面や概要をカメラで撮影する（ステップＳ２１）。計測した三次元データと撮影した映像データは、映像解析装置１Ｂに入力される。
映像解析装置１Ｂの映像認識部１０１は、映像データ１１から資材束を画像認識する（ステップＳ２２）。
【0053】
映像解析装置１Ｂの映像認識部１０１は、映像データ１１と三次元データ１４のマッチング処理を実施して、資材束の状況を把握する（ステップＳ２３）。これにより、三次元データ１４のうち資材束の部分を認識可能である。
更に映像解析装置１Ｂの映像認識部１０１は、断面形状から対象の資材の本数を解析する（ステップＳ２４）。その後、映像解析装置１Ｂの計測部１０２は、資材の長手方向の長さを解析すると（ステップＳ２５）、図９の処理は終了する。
更に映像解析装置１Ｂの映像認識部１０１は、断面形状から対象の資材の本数を解析する（ステップＳ２４）。その後、映像解析装置１Ｂの計測部１０２は、資材の長手方向の長さを解析すると（ステップＳ２５）、図９の処理は終了する。
【0054】
以下に、本発明の構成と効果について説明する。
【0055】
［１］
対象物を三次元計測装置で計測した三次元データ（１４）に対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部（１５）と、
前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部（１６）と、
前記対象物をカメラで撮影した映像データ（１１）の特徴量を抽出する映像特徴量変換部（１２）と、
前記映像特徴量変換部（１２）が抽出した特徴量を保存する映像特徴量保持部（１３）と、
前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データ（１１）に最も近い画角となる二次元の射影データを決定する空間位置合わせ部（１７）と、
を有することを特徴とする映像解析装置。
対象物を三次元計測装置で計測した三次元データ（１４）に対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部（１５）と、
前記三次元データ特徴量変換部が抽出した特徴量を保存する三次元データ特徴量保持部（１６）と、
前記対象物をカメラで撮影した映像データ（１１）の特徴量を抽出する映像特徴量変換部（１２）と、
前記映像特徴量変換部（１２）が抽出した特徴量を保存する映像特徴量保持部（１３）と、
前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データ（１１）に最も近い画角となる二次元の射影データを決定する空間位置合わせ部（１７）と、
を有することを特徴とする映像解析装置。
【0056】
これにより、映像から物の高さ、長さ、または大きさを計測することができる。
【0057】
［２］
前記三次元データ特徴量変換部（１５）は、前記対象物を計測した前記三次元データに含まれる法線から検出される面の境界情報を前記特徴量として抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
前記三次元データ特徴量変換部（１５）は、前記対象物を計測した前記三次元データに含まれる法線から検出される面の境界情報を前記特徴量として抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
【0058】
これにより、三次元情報から法線から検出される面の境界情報を取得し、その境界面情報と喫水線や映像のエッジ情報との関係から水位を計測することができる。
【0059】
［３］
前記映像特徴量変換部（１２）は、前記対象物を撮影した前記映像データ（１１）のエッジ情報を前記特徴量として抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
前記映像特徴量変換部（１２）は、前記対象物を撮影した前記映像データ（１１）のエッジ情報を前記特徴量として抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
【0060】
これにより、映像データと三次元データとを容易に対応づけることができる。
【0061】
［４］
前記映像特徴量変換部（１２）は、前記対象物を撮影した前記映像データ（１１）からの特徴量の抽出にあたり、前記三次元データを用いる、
ことを特徴とする請求項１に記載の映像解析装置。
前記映像特徴量変換部（１２）は、前記対象物を撮影した前記映像データ（１１）からの特徴量の抽出にあたり、前記三次元データを用いる、
ことを特徴とする請求項１に記載の映像解析装置。
【0062】
これにより、映像データと三次元データとを誤りなく対応づけることができる。
【0063】
［５］
前記映像特徴量変換部（１２）は、時系列の異なる複数の映像フレームを用いて、前記特徴量とを抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
前記映像特徴量変換部（１２）は、時系列の異なる複数の映像フレームを用いて、前記特徴量とを抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
【0064】
これにより、映像データのノイズを除去して、好適に物の高さ、長さ、または大きさを計測することができる。
【0065】
［６］
前記空間位置合わせ部（１７）は、前記三次元データ（１４）を元に、所定の高さ以上での比較を行う、
ことを特徴とする請求項１に記載の映像解析装置。
前記空間位置合わせ部（１７）は、前記三次元データ（１４）を元に、所定の高さ以上での比較を行う、
ことを特徴とする請求項１に記載の映像解析装置。
【0066】
これにより、あり得ない水位を誤って計測することを抑止できる。
【0067】
［７］
前記映像特徴量変換部（１２）は、前記三次元計測装置の位置情報と前記カメラの位置情報を元に特徴量を抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
前記映像特徴量変換部（１２）は、前記三次元計測装置の位置情報と前記カメラの位置情報を元に特徴量を抽出する、
ことを特徴とする請求項１に記載の映像解析装置。
【0068】
これにより、三次元計測装置で計測した三次元データから、カメラから見たときの二次元の射影データを算出するコストを低減させることが可能となる。
【0069】
［８］
前記空間位置合わせ部（１７）が決定した二次元の射影データの特徴量と、前記映像特徴量保持部（１３）が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する計測部（１０２）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
前記空間位置合わせ部（１７）が決定した二次元の射影データの特徴量と、前記映像特徴量保持部（１３）が保存した前記映像データの特徴量とを比較することで、映像中の前記対象物のサイズを計測する計測部（１０２）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
【0070】
これにより、映像データ中に撮影された対象物のサイズを容易に算出可能となる。
【0071】
［９］
前記映像特徴量変換部（１２）は、前記映像データ（１１）の複数枚のフレーム情報から、特徴量を抽出する、
ことを特徴とする請求項８に記載の映像解析装置。
前記映像特徴量変換部（１２）は、前記映像データ（１１）の複数枚のフレーム情報から、特徴量を抽出する、
ことを特徴とする請求項８に記載の映像解析装置。
【0072】
これにより、映像データのノイズを除去して、好適に物の高さ、長さ、または大きさを計測することができる。
【0073】
［１０］
位置合わせ後の映像データ（１１）および三次元データ、注意と危険の水位を前記三次元データに重畳して表示する表示制御部（１００）、
を更に備えることを特徴とする請求項８に記載の映像解析装置。
位置合わせ後の映像データ（１１）および三次元データ、注意と危険の水位を前記三次元データに重畳して表示する表示制御部（１００）、
を更に備えることを特徴とする請求項８に記載の映像解析装置。
【0074】
これにより、ユーザに、水位の警告を根拠データと共に報知することができる。
【0075】
［１１］
前記空間位置合わせ部（１７）が決定した二次元の射影データに対応する前記三次元データから生成したメッシュ情報に対して、前記映像データを紐づける三次元データ生成部（１９）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
前記空間位置合わせ部（１７）が決定した二次元の射影データに対応する前記三次元データから生成したメッシュ情報に対して、前記映像データを紐づける三次元データ生成部（１９）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
【0076】
これにより、三次元計測装置で計測した対象物を多視点で見ることができる。
【0077】
［１２］
前記映像データから検出したい対象物を画像認識する映像認識部（１０１）と、
前記映像認識部（１０１）が認識した映像部分を、前記映像認識部（１０１）が紐づけたメッシュ情報に基づき、対象物のサイズを計測する計測部（１０２）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
前記映像データから検出したい対象物を画像認識する映像認識部（１０１）と、
前記映像認識部（１０１）が認識した映像部分を、前記映像認識部（１０１）が紐づけたメッシュ情報に基づき、対象物のサイズを計測する計測部（１０２）、
を更に有することを特徴とする請求項１に記載の映像解析装置。
【0078】
これにより、対象物のサイズを容易に計測できる。
【0079】
［１３］
前記映像認識部（１０１）は、個体の枚数または個数を認識し、
前記計測部（１０２）は、各前記個体の長さを計測する、
ことを特徴とする請求項１２に記載の映像解析装置。
前記映像認識部（１０１）は、個体の枚数または個数を認識し、
前記計測部（１０２）は、各前記個体の長さを計測する、
ことを特徴とする請求項１２に記載の映像解析装置。
【0080】
これにより、対象物の個数、長さを容易に計測できる。
【0081】
［１４］
対象物を三次元計測装置で計測した三次元データ（１４）に対して、三次元データ特徴量変換部（１５）が、複数の視点での透視投影により二次元を仮定して特徴量を抽出するステップと、
前記三次元データ特徴量変換部（１５）が抽出した特徴量を三次元データ特徴量保持部（１６）に保存するステップと、
映像特徴量変換部（１２）が、前記対象物をカメラで撮影した映像データの特徴量を抽出するステップと、
前記映像特徴量変換部（１２）が抽出した特徴量を映像特徴量保持部（１３）に保存するステップと、
空間位置合わせ部（１７）が、前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定するステップと、
を有することを特徴とする映像解析方法。
対象物を三次元計測装置で計測した三次元データ（１４）に対して、三次元データ特徴量変換部（１５）が、複数の視点での透視投影により二次元を仮定して特徴量を抽出するステップと、
前記三次元データ特徴量変換部（１５）が抽出した特徴量を三次元データ特徴量保持部（１６）に保存するステップと、
映像特徴量変換部（１２）が、前記対象物をカメラで撮影した映像データの特徴量を抽出するステップと、
前記映像特徴量変換部（１２）が抽出した特徴量を映像特徴量保持部（１３）に保存するステップと、
空間位置合わせ部（１７）が、前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定するステップと、
を有することを特徴とする映像解析方法。
【0082】
これにより、映像から物の高さ、長さ、または大きさを計測することができる。
【0083】
［１５］
コンピュータに、
対象物を三次元計測装置で計測した三次元データ（１４）に対して、複数の視点での透視投影により二次元を仮定して特徴量を抽出する手順、
前記三次元データから抽出した特徴量を三次元データ特徴量保持部（１６）に保存する手順、
前記対象物をカメラで撮影した映像データ（１１）の特徴量を抽出する手順、
前記映像データから抽出した特徴量を映像特徴量保持部（１３）に保存する手順、
前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する手順、
を実行させるための映像解析プログラム。
コンピュータに、
対象物を三次元計測装置で計測した三次元データ（１４）に対して、複数の視点での透視投影により二次元を仮定して特徴量を抽出する手順、
前記三次元データから抽出した特徴量を三次元データ特徴量保持部（１６）に保存する手順、
前記対象物をカメラで撮影した映像データ（１１）の特徴量を抽出する手順、
前記映像データから抽出した特徴量を映像特徴量保持部（１３）に保存する手順、
前記三次元データ特徴量保持部（１６）に保存された前記三次元データの特徴量と前記映像特徴量保持部（１３）に保存された前記映像データの特徴量とを比較して、前記映像データに最も近い画角となる二次元の射影データを決定する手順、
を実行させるための映像解析プログラム。
【0084】
これにより、映像から物の高さ、長さ、または大きさを計測することができる。
【0085】
（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
【0086】
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）などの記録媒体に置くことができる。
【0087】
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0088】
１，１Ａ，１Ｂ 映像解析装置
１１ 映像データ
１２ 映像特徴量変換部
１３ 映像特徴量保持部
１４ 三次元データ
１５ 三次元データ特徴量変換部
１６ 三次元データ特徴量保持部
１７ 空間位置合わせ部
１８ 計測部
２ 映像解析装置
２２ テクスチャ抽出部
２５ メッシュデータ化部
２６ 視点変換レンダリング部
２１ａ カメラ
２１ｂ カメラ
２３ 長距離ＬｉＤＡＲ
２４ ポータブルＬｉＤＡＲ
３１ ＬＩＤＡＲ
３２１ 点群
３２２ メッシュ
３３ Ｒａｙｃａｓｔ部
３３１ カメラパラメータ
３４ 仮想法制画像特徴データベース
３４１ ＬＩＤＡＲ／カメラ変換行列
３４２ Ｒａｙｃａｓｔ解像度データ
３５ 監視カメラ
３５１ ＲＧＢ画像
３５２ 特徴データ
３６ 特徴マッチング部
３７ 特徴比較部
３６１ 法線画像特徴
３７１ 高さ別マッチ量ヒストグラム
３８ 水位推定部
４３ 特徴処理プラグイン
４４ 水位計測プラグイン
４８１ 撮影情報データベース
４８２ 三次元データ
４８３ 画像特徴データベース
４１ 監視カメラ
４２ ビデオ管理装置
４５ 三次元計測装置
４６ 初期データ生成装置
４６１ 仮想法線画像生成部
４６２ 特徴量抽出部
４３１ 特徴抽出部
４３２ 特徴マッチング部
４４１ 特徴抽出部
４４２ 水位計測部
４８５ 解析結果データベース
４７ 解析結果表示装置
１９ 三次元データ生成部
１１ 映像データ
１２ 映像特徴量変換部
１３ 映像特徴量保持部
１４ 三次元データ
１５ 三次元データ特徴量変換部
１６ 三次元データ特徴量保持部
１７ 空間位置合わせ部
１８ 計測部
２ 映像解析装置
２２ テクスチャ抽出部
２５ メッシュデータ化部
２６ 視点変換レンダリング部
２１ａ カメラ
２１ｂ カメラ
２３ 長距離ＬｉＤＡＲ
２４ ポータブルＬｉＤＡＲ
３１ ＬＩＤＡＲ
３２１ 点群
３２２ メッシュ
３３ Ｒａｙｃａｓｔ部
３３１ カメラパラメータ
３４ 仮想法制画像特徴データベース
３４１ ＬＩＤＡＲ／カメラ変換行列
３４２ Ｒａｙｃａｓｔ解像度データ
３５ 監視カメラ
３５１ ＲＧＢ画像
３５２ 特徴データ
３６ 特徴マッチング部
３７ 特徴比較部
３６１ 法線画像特徴
３７１ 高さ別マッチ量ヒストグラム
３８ 水位推定部
４３ 特徴処理プラグイン
４４ 水位計測プラグイン
４８１ 撮影情報データベース
４８２ 三次元データ
４８３ 画像特徴データベース
４１ 監視カメラ
４２ ビデオ管理装置
４５ 三次元計測装置
４６ 初期データ生成装置
４６１ 仮想法線画像生成部
４６２ 特徴量抽出部
４３１ 特徴抽出部
４３２ 特徴マッチング部
４４１ 特徴抽出部
４４２ 水位計測部
４８５ 解析結果データベース
４７ 解析結果表示装置
１９ 三次元データ生成部
【要約】
【課題】映像から物の高さ、長さ、または大きさを計測する。
【解決手段】映像解析装置１は、対象物を三次元計測装置で計測した三次元データ１４に対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部１５と、三次元データ特徴量変換部１５が抽出した特徴量を保存する三次元データ特徴量保持部１６と、同一の対象物をカメラで撮影した映像データ１１の特徴量を抽出する映像特徴量変換部１２と、映像特徴量変換部１２が抽出した特徴量を保存する映像特徴量保持部１３と、三次元データ特徴量保持部１６に保存された三次元データの特徴量と映像特徴量保持部１３に保存された映像データの特徴量とを比較して、映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部１７とを有する。
【選択図】図１
【解決手段】映像解析装置１は、対象物を三次元計測装置で計測した三次元データ１４に対して複数の視点での透視投影により二次元を仮定して特徴量を抽出する三次元データ特徴量変換部１５と、三次元データ特徴量変換部１５が抽出した特徴量を保存する三次元データ特徴量保持部１６と、同一の対象物をカメラで撮影した映像データ１１の特徴量を抽出する映像特徴量変換部１２と、映像特徴量変換部１２が抽出した特徴量を保存する映像特徴量保持部１３と、三次元データ特徴量保持部１６に保存された三次元データの特徴量と映像特徴量保持部１３に保存された映像データの特徴量とを比較して、映像データに最も近い画角となる二次元の射影データを決定する空間位置合わせ部１７とを有する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】