特開 2023-59460 計測プログラム、計測方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023059460

(43)【公開日】2023-04-27

(54)【発明の名称】計測プログラム、計測方法、および情報処理装置

(51)【国際特許分類】

   G01P 5/20 20060101AFI20230420BHJP

【ＦＩ】

G01P5/20 F

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021169493

(22)【出願日】2021-10-15

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】506095696

【氏名又は名称】株式会社荒谷建設コンサルタント

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】野田 明

(72)【発明者】

【氏名】坂元 浩太

(72)【発明者】

【氏名】伊藤 順

(72)【発明者】

【氏名】住田 浩之

(72)【発明者】

【氏名】林 栄一

(72)【発明者】

【氏名】北野 幸宏

(72)【発明者】

【氏名】中川 暢人

(72)【発明者】

【氏名】三上 沙綾

(72)【発明者】

【氏名】渡部 宗広

(57)【要約】

【課題】動画を用いて河川を流れる浮子の移動速度を決定する。
【解決手段】一実施形態に係る情報処理装置は、河川を撮影装置で撮影した動画のフレーム画像において撮影装置から所定距離にある河川の側壁を表す線分が、河川の水面と交わる位置に基づいて、河川の水面の高さを表す計測線を設定する設定部と、計測線を、河川を流れる浮子により流速を計測するための開始計測線、または終了計測線の少なくとも一方として用いて、開始計測線から終了計測線までの所定区間を浮子が流れる移動時間を計測する計測部と、移動時間と所定区間の長さとを用いて河川の流量を決定する決定部と、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

河川を撮影装置で撮影した動画のフレーム画像において前記撮影装置から所定距離にある前記河川の側壁を表す線分が、前記河川の水面と交わる位置に基づいて、前記河川の水面の高さを表す計測線を設定し、
前記計測線を、前記河川を流れる浮子により流速を計測するための開始計測線、または終了計測線の少なくとも一方として用いて、前記開始計測線から前記終了計測線までの所定区間を前記浮子が流れる移動時間を計測し、
前記移動時間と前記所定区間の長さとを用いて前記河川の流量を決定する、
処理を、情報処理装置に実行させる計測プログラム。

【請求項2】

更に、前記動画から浮子の位置と対応する検出対象物を検出する処理を前記情報処理装置に実行させ、
前記計測する処理は、前記検出対象物が前記開始計測線から前記終了計測線まで移動するのにかかる時間を前記浮子が流れる移動時間として計測する、請求項１に記載の計測プログラム。

【請求項3】

更に、前記開始計測線および前記終了計測線を用いて、前記動画のフレーム画像のうちから前記検出対象物の検出を実行する検出領域を設定する処理を前記情報処理装置に実行させる、請求項２に記載の計測プログラム。

【請求項4】

更に、前記動画から検出された前記検出対象物のうちで、前記動画から検出された前記検出対象物の移動の軌跡が、前記河川の上流側への移動を含む前記検出対象物を排除する処理を前記情報処理装置に実行させ、
前記移動時間を計測する処理は、残りの検出対象物を用いて前記浮子が流れる移動時間の決定を実行する、請求項２または請求項３に記載の計測プログラム。

【請求項5】

更に、前記動画から検出された前記検出対象物のうちで、前記動画から検出された前記検出対象物の移動の軌跡に基づいて移動速度が第１の移動速度以上である前記検出対象物を排除する処理を前記情報処理装置に実行させ、
前記移動時間を計測する処理は、残りの検出対象物を用いて前記浮子が流れる移動時間の決定を実行する、請求項２または請求項３に記載の計測プログラム。

【請求項6】

更に、前記動画から検出された前記検出対象物のうちで、前記動画から検出された前記検出対象物の移動の軌跡に基づいて移動速度が第２の移動速度以下である前記検出対象物を排除する処理を前記情報処理装置に実行させ、
前記移動時間を計測する処理は、残りの検出対象物を用いて前記浮子が流れる移動時間の決定を実行する、請求項２または請求項３に記載の計測プログラム。

【請求項7】

更に、前記動画から検出された前記検出対象物のうちで、前記河川における前記検出対象物の動きを予測するように機械学習されている学習済みモデルによる前記検出対象物の予測位置からの検出位置のズレが、所定の条件を満たして大きい前記検出対象物を排除する処理を前記情報処理装置に実行させ、
前記移動時間を計測する処理は、残りの検出対象物を用いて前記浮子が流れる移動時間の決定を実行する、請求項２または請求項３に記載の計測プログラム。

【請求項8】

情報処理装置が実行する計測方法であって、前記情報処理装置は、
河川を撮影装置で撮影した動画のフレーム画像において前記撮影装置から所定距離にある前記河川の側壁を表す線分が、前記河川の水面と交わる位置に基づいて、前記河川の水面の高さを表す計測線を設定し、
前記計測線を、前記河川を流れる浮子により流速を計測するための開始計測線、または終了計測線の少なくとも一方として用いて、前記開始計測線から前記終了計測線までの所定区間を前記浮子が流れる移動時間を計測し、
前記移動時間と前記所定区間の長さとを用いて前記河川の流量を決定する、
ことを特徴とする、計測方法。

【請求項9】

河川を撮影装置で撮影した動画のフレーム画像において前記撮影装置から所定距離にある前記河川の側壁を表す線分が、前記河川の水面と交わる位置に基づいて、前記河川の水面の高さを表す計測線を設定する設定部と、
前記計測線を、前記河川を流れる浮子により流速を計測するための開始計測線、または終了計測線の少なくとも一方として用いて、前記開始計測線から前記終了計測線までの所定区間を前記浮子が流れる移動時間を計測する計測部と、
前記移動時間と前記所定区間の長さとを用いて前記河川の流量を決定する決定部と、
を含む、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測プログラム、計測方法、および情報処理装置に関する。

【背景技術】

【0002】

河川では、増水時などの状況を把握するため、予め決められた所定区間に浮子を流し、浮子が所定区間を通過するのにかかる時間から河川の流速を表す浮子の移動速度を取得して、移動速度と河川の断面積とから河川の流量を決定することが行われている。

【0003】

これに関し、動画を用いて河川の状態を把握するための技術が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－００２７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

こうした流量の計測では、浮子の観測が人力で行われている。しかしながら、河川の増水時などでは観測が危険な作業となることがある。そのため、例えば、河川を流れる浮子を撮影した動画を用いて浮子の移動速度を決定できることは望ましい。

【0006】

１つの側面では、本発明は、動画を用いて河川を流れる浮子の移動速度を決定することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一つの態様の情報処理装置は、河川を撮影装置で撮影した動画のフレーム画像において撮影装置から所定距離にある河川の側壁を表す線分が、河川の水面と交わる位置に基づいて、河川の水面の高さを表す計測線を設定する設定部と、計測線を、河川を流れる浮子により流速を計測するための開始計測線、または終了計測線の少なくとも一方として用いて、開始計測線から終了計測線までの所定区間を浮子が流れる移動時間を計測する計測部と、移動時間と所定区間の長さとを用いて河川の流量を決定する決定部と、を含む。

【0008】

動画を用いて河川を流れる浮子の移動速度を決定することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る計測システムを例示する図である。

【図2】流量の決定対象の河川を撮影した動画を表示した表示画面を例示する図である。

【図3】実施形態に係る検出対象物を例示する図である。

【図4】実施形態に係る水面の位置に応じた計測線の設定を例示する図である。

【図5】実施形態に係る第２の距離における計測線を例示する図である。

【図6】実施形態に係る開始計測線から終了計測線までの検出対象物の移動時間の計測について説明する図である。

【図7】実施形態に係る検出対象物の開始計測線から終了計測線までの移動時間の計測を例示する図である。

【図8】実施形態に係る検出領域を例示する図である。

【図9】実施形態に係る計測処理の動作フローを例示する図である。

【図10】実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

【0011】

図１は、実施形態に係る計測システム１００を例示する図である。計測システム１００は、例えば、情報処理装置１０１および撮影装置１０２を含んでよい。情報処理装置１０１は、例えば、サーバコンピュータ、パーソナルコンピュータ（ＰＣ）、モバイルＰＣ、タブレット端末などのコンピュータであってよい。撮影装置１０２は、例えば、カメラなどの動画を撮影する装置であってよい。撮影装置１０２は、河川が流れる方向に向けて河川を撮影するように設置されていてよい。なお、別の実施形態では、撮影装置１０２はその他の向きで設置されていてもよく、一例では河川を遡る方向に向けて設置されていてもよい。

【0012】

情報処理装置１０１および撮影装置１０２は、一例では、通信可能に接続されていてよい。例えば、情報処理装置１０１と撮影装置１０２とは、有線または無線で接続されていてよく、また別の例では、ネットワークを介して接続されていてよい。別の例では、情報処理装置１０１は、撮影装置１０２で撮影された動画を、記憶媒体を介して取得してもよい。

【0013】

また、情報処理装置１０１は、例えば、制御部１１０、記憶部１２０、および通信部１３０を含む。制御部１１０は、例えば設定部１１１、計測部１１２、および決定部１１３などを含み、またその他の機能部を含んでもよい。情報処理装置１０１の記憶部１２０は、例えば、河川を流れる浮子を撮影した動画データなどの情報を記憶している。通信部１３０は、例えば、制御部１１０の指示に従って撮影装置１０２などの他の装置と通信する。これらの各部の詳細および記憶部１２０に格納されている情報の更なる詳細については後述する。

【0014】

図２は、流量の決定対象の河川２０１を撮影した動画を表示した表示画面２００を例示する図である。図２の表示画面２００には河川２０１が含まれている。図２に示すように、撮影装置１０２は、例えば、河川２０１が流れる方向に向けて河川２０１を撮影するように設置されていてよい。

【0015】

そして、実施形態では河川２０１の流量を把握するために、河川２０１を流れる浮子を撮影し、動画から水位と、浮子が所定区間を通過するのにかかる時間とを特定する。なお、動画から浮子が所定区間を通過するのにかかる時間は、流速を表していてよい。そして、実施形態では動画から特定した浮子が所定区間を通過するのにかかる時間と、水位から特定される河川の断面積とから流量を決定する。

【0016】

そのため、実施形態によれば、流量の計測にかかる人員および労力を低減することができる。また、増水時などに浮子を観測する観測員を配置しなくてもよくなるため、観測員が危険にさらされるのを低減することができる。以下、実施形態を更に詳細に説明する。

【0017】

図３は、実施形態に係る検出対象物３００を例示する図である。図３（ａ）は、浮子３０１を例示している。浮子３０１は、例えば、河川を流れる際に水面に浮く構造をしていればよい。また、例えば、浮子３０１は、機械学習などで生成された認識モデルで検出しやすい形状をしていてもよい。そして、情報処理装置１０１の制御部１１０は、例えば、浮子３０１を検出対象物３００として動画から検出してよい。

【0018】

また、一実施形態では、浮子３０１には追加の構造物が付加されていてもよい。例えば、浮子３０１だけを河川に流した場合、浮子３０１が波間に隠れてしまうことがある。そのため、一実施形態では、浮子３０１に風船３０２を付けて浮子３０１の位置を計測し易くしてもよい。図３（ｂ）には、浮子３０１に風船３０２が付加された場合の例を示している。この場合、情報処理装置１０１の制御部１１０は、例えば、浮子３０１と風船３０２とを検出対象物３００として動画から検出してもよい。或いは、情報処理装置１０１の制御部１１０は、例えば、浮子３０１に付加された風船３０２を検出対象物３００として動画から検出してもよい。検出対象物３００は、浮子３０１の位置と対応していてよく、検出対象物３００の位置は、浮子３０１の位置の代わりに利用されてよい。以下では、風船３０２を検出対象物３００として動画から検出する場合を例示する。

【0019】

また、実施形態では水面の位置に応じて計測線が設定される。以下、実施形態に係る水面の位置に応じた計測線の設定について説明する。

【0020】

図４は、実施形態に係る水面の位置に応じた計測線の設定を例示する図である。例えば、画像に写る河川２０１の側壁となる斜面において、撮影装置１０２からの距離がおおよそ所定距離になる位置に線分４０１が引かれている。この線分４０１は、例えば、河川２０１の側壁を表していてよい。一例では、河川２０１の側壁を表す線分４０１は、図４に示すように、直線であってよい。しかしながら、実施形態はこれに限定されるものではない。例えば、別の実施形態では河川２０１の側壁を表す線分４０１は、撮影装置１０２からの所定距離にある平面における河川の側壁の形状に沿った曲線であってもよい。線分４０１は、例えば、ユーザがひいた線であってもよい。また、例えば、撮影装置１０２から所定距離にマーカなどを設置し、制御部１１０は、設置されたマーカを動画のフレーム画像において検出して、線分４０１の位置を特定してもよい。この場合、制御部１１０は、動画のフレーム画像から特定したマーカの位置に基づいて線分４０１を生成してもよい。

【0021】

そして、制御部１１０は、線分４０１と、河川の水面とが交わる位置で水面の高さを表す計測線４０２の位置を特定する。図４では、河川の川幅を表す線と線分４０１とが交わる位置に、計測線４０２が引かれている。なお、図４の例では、計測線４０２に平行な破線が、計測線４０２の上部に引かれており、この破線は水位が上昇した場合の計測線４０２の位置を示している。また、図４の例では、計測線４０２に平行な破線が、計測線４０２の下部に引かれており、この破線は水位が下降した場合の計測線４０２の位置を示している。そして、制御部１１０は、例えば、図４に示すように、計測線４０２と破線とで形成される台形に従って、撮影装置１０２から所定距離における水位の高さに応じた水面の位置を表す計測線４０２を引くことが可能である。なお、一例では、所定距離は、撮影装置１０２から１０ｍの距離であってよい。また、所定距離は、一例では、第１の距離と呼ばれることがある。

【0022】

この場合に、第１の距離よりも表示画面の奥側に第２の距離を設定し、同様に撮影装置１０２から第２の距離の位置において河川の側壁を表す線分５０１を引くことで、第２の距離における水面の位置を表す計測線５０２を引くことができる。なお、第２の距離は、例えば、第１の距離と異なる距離であってよく、第２の距離は第１の距離よりも撮影装置１０２から遠い距離であってよい。第２の距離は、一例では、６０ｍであってよい。

【0023】

図５は、実施形態に係る第２の距離における計測線５０２を例示する図である。図５では、図４で述べた台形の奥側に、２つ目の台形が示されており、第２の距離における河川２０１の側壁を表す線分５０１と河川の川幅とが交わる位置に、計測線５０２が引かれている。このように、実施形態によれば制御部１１０は、動画に写る河川２０１に対して２つの距離に応じた水面の位置を表す計測線４０２および計測線５０２を引くことができる。そのため、動画に写る河川２０１に検出対象物３００を流して２つの計測線４０２および計測線５０２の間を流れる時間を計測することで、計測線４０２から計測線５０２までの距離を検出対象物３００が移動するのにかかった時間を取得することができる。なお、計測線４０２から計測線５０２までの距離を検出対象物３００が移動するのにかかった時間は、浮子３０１が計測線４０２から計測線５０２まで移動するのにかかった時間として用いることができ、河川２０１の流速を推定することができる。

【0024】

なお、一例では、第１の距離は、第２の距離よりも河川の上流側であってよい。この場合、検出対象物３００は、第１の距離の計測線４０２から第２の距離の計測線５０２に向かって流れることになり、制御部１１０は、検出対象物３００が計測線４０２から計測線５０２まで流れる時間を計測してよい。なお、図５の例では、第２の距離が、第１の距離よりも長く、奥側にある例が示されているが、実施形態はこれに限定されるものではない。例えば、動画の表示画面２００の奥側が河川の上流であってもよい。この場合、第２の距離が、第１の距離よりも短く、手前側にあってよい。以下の実施形態では、河川２０１の上流側の計測線４０２を開始計測線と呼ぶことがある。また、河川２０１の下流側の計測線５０２を終了計測線と呼ぶことがある。

【0025】

続いて、開始計測線から終了計測線までの浮子３０１の移動時間の計測について述べる。なお、以下の例では、検出対象物３００は、例えば、浮子３０１に付加された風船３０２である場合を例示している。この場合、動画から風船３０２を検出することで検出対象物３００の位置を特定することができ、この検出対象物３００の位置は、浮子３０１の位置を表すものとして利用することができる。

【0026】

図６は、実施形態に係る開始計測線６０１から終了計測線６０２までの検出対象物３００の移動時間の計測について説明する図である。この場合、制御部１１０は、検出対象物３００が開始計測線６０１を通過してから終了計測線６０２を通過するまでにかかる時間を計測することで、検出対象物３００が開始計測線６０１から終了計測線６０２までの距離を流れるのにかかる時間を計測できる。

【0027】

また、動画のフレーム画像からの検出対象物３００の検出は、例えば、局所特徴量を用いた物体検出の技術などを利用することで実行することができる。例えば、制御部１１０は、検出対象物３００とした風船３０２を検出するように機械学習された認識モデルを用いて動画のフレーム画像から検出対象物３００を検出してよい。

【0028】

そして、実施形態では制御部１１０は、例えば、動画の時系列のフレーム画像から検出された検出対象物３００に基づいて、トラッキング技術などを用いて検出対象物３００の軌跡を特定することができる。そして、制御部１１０は、動画における検出対象物３００の軌跡に基づいて検出対象物３００の開始計測線６０１から終了計測線６０２までの移動時間を取得してよい。

【0029】

図７は、実施形態に係る検出対象物３００の開始計測線６０１から終了計測線６０２までの移動時間の計測を例示する図である。図７に示すように、一例では、制御部１１０は、動画のフレーム画像から検出された検出対象物３００に対して設定されているバウンディングボックスの高さの半分が開始計測線６０１を超えたときに時間の計測を開始してよい。また、制御部１１０は、例えば、検出対象物３００に対して設定されたバウンディングボックスの高さの半分が終了計測線６０２を超えたときに時間の計測を終了してよい。そして、制御部１１０は、計測の開始時刻と、計測の終了時刻との差分から、検出対象物３００が開始計測線６０１から終了計測線６０２までの距離を移動するのにかかった移動時間を取得してよい。

【0030】

また、開始計測線６０１の位置と、終了計測線６０２の位置とはいずれも、河川の水位を表している。そのため、例えば、河川の川底の形状などを予め調査しておくことで、制御部１１０は、例えば、開始計測線６０１の位置および終了計測線６０２の位置などの河川の所定の位置において水位と対応する河川２０１の断面積を取得することができる。

【0031】

そして、実施形態では制御部１１０は、河川２０１の断面積と、検出対象物３００が開始計測線６０１から終了計測線６０２までの距離を移動するのにかかった移動時間とから河川の流量を求めてよい。なお、検出対象物３００が開始計測線６０１から終了計測線６０２までの距離を移動するのにかかる移動時間は、河川２０１に流した浮子３０１の移動速度と対応していてよい。制御部１１０は、一例では、検出対象物３００の移動時間を、河川２０１の流速を求めるために利用してよい。

【0032】

以上で述べたように、実施形態によれば動画から河川を流れる浮子３０１の移動速度を決定することができる。そして、決定した浮子３０１の移動速度に基づいて、流量を求めることができる。

【0033】

なお、上述の実施形態では検出対象物３００として風船３０２を検出する例を述べているが実施形態はこれに限定されるものではない。例えば、夜間の場合、風船３０２が暗さで見づらくなることがある。そのため、一例では、制御部１１０は、ケミカルライトを用いて発光させた浮子３０１を、検出対象物３００として検出してもよい。例えば、制御部１１０は、発光する浮子３０１を検出対象物３００として動画から検出するように機械学習が行われた認識モデルを用いて、動画から検出対象物３００を検出してもよい。このように発光させた浮子３０１を検出対象物３００として検出することで、制御部１１０は、夜間であっても流量を計測することが可能である。

【0034】

ところで、動画から検出対象物３００を物体検出で検出する際に、例えば、検出対象物３００以外のものを検出対象物３００として検出してしまい、ノイズとなることがある。例えば、夜間撮影の場合、マンションの灯り、車のヘッドライト等が水面に映り込み、それを検出対象物３００として検出してしまうことがある。

【0035】

或いは、例えば、河川に渦などが発生している場合に、その渦に浮子３０１が巻き込まれてしまことがある。この場合、浮子３０１は、河川を逆流したり、渦にとらわれてしまったりして、渦に巻き込まれなかった場合よりも流れるのに時間がかかってしまい、河川の流速を計測するのに適さない軌跡を動くことがある。

【0036】

そこで、実施形態では、検出された検出対象物３００が、不自然な動きを示す場合、制御部１１０は、その検出対象物３００を移動時間の計測対象から排除してよい。例えば、制御部１１０は、下流から上流への逆流、単位時間当たりの移動距離が所定閾値以上である極端に速い動き、所定閾値以下である極端に遅い動き、ギザギザな軌跡などを不自然な動きを示す検出対象物３００として排除してよい。或いは、過去の検出対象物３００の挙動を学習した学習済みモデルによる軌跡の予測位置と、実際の検出位置との差異が、所定の閾値以上に大きい場合、その検出対象物３００を移動時間の計測対象から排除してよい。

【0037】

一例として、制御部１１０は、動画から検出された検出対象物３００の第１の時刻における座標と、第１の時刻よりも後の第２の時刻における座標とを比較した結果、検出対象物３００が逆流しているとする。この場合には、制御部１１０は、その検出対象物３００を移動時間の計測対象から排除して、流量の決定に用いなくてもよい。例えば、制御部１１０は、検出対象物３００の逆流を、検出対象物３００の座標の位置が上流側へと移動している場合に検出してよい。

【0038】

また、例えば、検出された検出対象物３００の移動速度があまりにも速かったり、遅かったりする場合、ノイズである可能性がある。そのため、実施形態では制御部１１０は、例えば、検出された検出対象物３００の単位時間当たりの移動距離から移動速度を求める。そして、移動速度が、第１の移動速度以上である場合、その検出対象物３００を移動時間の計測対象から排除して、流量の決定に用いなくてもよい。それにより、極端に移動の速い検出対象物３００をノイズとして排除することができる。極端に移動の速い速度を表す第１の移動速度は、例えば、河川の流速よりも速い速度であってよく、一例では、河川の平均流速などの河川を代表する流速に対して所定の割合以上で速い速度であってよい。

【0039】

また、実施形態では制御部１１０は、例えば、検出された検出対象物３００の単位時間当たりの移動距離から移動速度を求める。そして、移動速度が、第２の移動速度以下である場合、その検出対象物３００を移動時間の計測対象から排除して、流量の決定に用いなくてもよい。なお、第２の移動速度は、第１の移動速度よりも遅い速度であってよい。それにより、極端に移動の遅い検出対象物３００をノイズとして排除することができる。極端に移動の遅い速度を表す第２の移動速度は、例えば、河川の流速よりも遅い速度であってよく、一例では、河川の平均流速などの河川を代表する流速に対して所定の割合以下で遅い速度であってよい。

【0040】

また、例えば、川の流れに対してジグザグに動くといった逆方向に小刻みに動くような挙動を浮子３０１はあまり示さない傾向がある。そのため、制御部１１０は、検出した検出対象物３００がジグザグな動きの軌跡を示す場合、検出対象物３００ではないものを誤検出しているとして、その検出対象物３００を移動時間の計測対象から排除して、流量の決定に用いなくてもよい。

【0041】

また、例えば、対象の河川固有の検出対象物３００の挙動に基づいて、ノイズを排除することも考えられる。例えば、制御部１１０は、河川を流れる過去の検出対象物３００の挙動を学習させた認識モデルを用いて検出対象物３００の動きを予測してよい。そして、制御部１１０は、予測される予測位置と、検出位置とが所定の条件を大きい場合、その検出対象物３００を移動時間の計測対象から排除してよい。

【0042】

例えば、対象の河川に検出対象物３００を流して、撮影装置１０２で撮影し、動画から対象河川を流れる検出対象物３００の軌跡を生成する。そして、得られた河川を流れる検出対象物３００の軌跡を教師データとして、検出対象物３００の動きを予測する認識モデルを学習することができる。そして、制御部１１０は、例えば、このように生成された認識モデルで、検出対象物３００の動きを予測し、予測された位置からの実際の検出位置のズレが所定の閾値以上で大きい場合に、その検出対象物３００を排除してよい。それにより、対象の河川固有の検出対象物３００の挙動に基づいて、ノイズを排除することができる。

【0043】

また、実施形態によれば制御部１１０は、決定した開始計測線６０１と終了計測線６０２とを用いて検出対象物３００の検出領域を設定してもよい。一例では、制御部１１０は、図８に示すように開始計測線６０１と終了計測線６０２とで囲まれた四角形の領域を検出領域８００として設定してもよい。また、別の実施形態では制御部１１０は、セグメンテーションＡＩ（artificial intelligence）などの技術を用いることで、更に動画から河川の川幅などを検出し、川幅を用いて検出領域を設定してもよい。

【0044】

また、移動時間を計測する計測区間は、例えば、撮影装置１０２から任意の距離などに設定することができる。一例として、国管理の河川では、護岸天端高などの見通し杭が設置されていることがある。そのため、一実施形態においては、見通し杭の位置を、開始計測線６０１および終了計測線６０２などの位置の決定に利用してもよい。

【0045】

なお、上述の実施形態では、開始計測線６０１および終了計測線６０２の両方を、河川２０１の側壁を表す線分と水面との交差に基づいて決定する例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では開始計測線６０１および終了計測線６０２の一方を、河川２０１の側壁を表す線分と水面との交差に基づいて決定してもよい。また、この場合に、例えば、決定した一方の計測線の位置に応じて、もう一方の計測線の位置を決定してもよい。

【0046】

図９は、実施形態に係る計測処理の動作フローを例示する図である。情報処理装置１０１の制御部１１０は、例えば、動画データに対する計測処理の実行指示が入力されると、図９の動作フローを開始してよい。

【0047】

Ｓ９０１において制御部１１０は、例えば、動画データにおいて設定されている所定距離における河川の側壁を表す線分と、水面とに基づいて計測線を特定する。例えば、制御部１１０は、図４を参照して例示したように、第１の距離における線分４０１と河川の水面とが交わる位置に計測線４０２を特定してよい。なお、計測線４０２は、例えば、開始計測線６０１であってよい。

【0048】

また、例えば、制御部１１０は、図５を参照して例示したように、第２の距離における線分５０１と河川の水面とが交わる位置に計測線５０２を特定してよい。なお、計測線５０２は、例えば、終了計測線６０２であってよい。

【0049】

なお、別の実施形態では制御部１１０は、例えば、開始計測線６０１および終了計測線６０２の一方を、河川の側壁を表す線分と水面との交差に基づいて決定してもよい。この場合に、制御部１１０は、例えば、河川の側壁を表す線分と水面との交差に基づいて決定した一方の計測線の位置に基づいて、もう一方の計測線の位置を決定してもよい。

【0050】

Ｓ９０２において制御部１１０は、例えば、検出対象物３００の検出領域を設定する。例えば、制御部１１０は、図８で述べたように、開始計測線６０１および終了計測線６０２を用いて検出対象物３００を検出する検出領域を設定してもよい。

【0051】

Ｓ９０３において制御部１１０は、動画のフレーム画像において検出対象物３００の検出を実行してよい。例えば、制御部１１０は、フレーム画像の検出領域に対して物体検出を実行して、検出対象物３００を検出してよい。一例では制御部１１０は、検出対象物３００を検出するように機械学習された認識モデルを用いて、フレーム画像の検出領域に含まれる検出対象物３００を検出してよい。なお、一例では検出された検出対象物３００にはバウンディングボックスが設定されていてよい。

【0052】

Ｓ９０４において制御部１１０は、動画において検出対象物３００をトラッキングする。例えば、制御部１１０は、トラッキング技術を用いて検出対象物３００の移動の軌跡を特定してよい。一例では、制御部１１０は、連続するフレームにおいて一番近い位置にあるバウンディングボックスを同じ検出対象物３００とみなして、検出対象物３００の軌跡を特定してよい。

【0053】

Ｓ９０５において制御部１１０は、検出された検出対象物３００のそれぞれの軌跡に基づいて、検出された検出対象物３００のうちから、不要な検出対象物３００を排除してよい。例えば、制御部１１０は、検出対象物３００の軌跡が上流に逆流している場合には、その検出対象物３００を排除してよい。また、例えば、制御部１１０は、検出対象物３００の軌跡がジグザグに移動する場合には、その検出対象物３００を排除してよい。

【0054】

Ｓ９０６において制御部１１０は、所定時間における移動量に基づき検出対象物３００を排除する。例えば、制御部１１０は、検出対象物３００の軌跡に基づいて、検出対象物３００の移動速度があまりにも速かったり、遅かったりする場合、その検出対象物３００を排除してよい。

【0055】

Ｓ９０７において制御部１１０は、例えば、対象の河川固有の挙動に基づき検出対象物３００を排除してよい。例えば、制御部１１０は、河川を流れる検出対象物３００の動きを予測するように機械学習で生成された認識モデルを用いて、検出対象物３００の動きを予測する。そして、制御部１１０は、予測された位置からの検出位置のズレが所定の条件を満たして大きい検出対象物を、ノイズとして排除してよい。

【0056】

Ｓ９０８において制御部１１０は、例えば、排除されずに残った検出対象物３００が開始計測線６０１から終了計測線６０２までの所定区間を移動するのにかかる移動時間を計測する。例えば、制御部１１０は、Ｓ９０３の処理で検出対象物３００に設定されたバウンディングボックスの高さの半分が開始計測線６０１を超えた時刻を計測の開始時刻としてよい。また、制御部１１０は、例えば、Ｓ９０３の処理で検出対象物３００に設定されたバウンディングボックスの高さの半分が終了計測線６０２を超えた時刻を計測の終了時刻としてよい。そして、制御部１１０は、計測の開始時刻と、終了時刻との差分から、検出対象物３００が開始計測線６０１から終了計測線６０２までの距離を移動するのにかかった移動時間を取得してよい。

【0057】

Ｓ９０９において制御部１１０は、得られた残りの検出対象物３００の移動時間に基づいて河川の流量を計測し、本動作フローは終了する。例えば、河川の断面積は、予め調べておくことが可能である。なお、河川の断面積は、一例では河川の流れる方向に垂直な方向と、鉛直方向とを含む平面で河川を切断したときにできる断面積であってよい。そのため、制御部１１０は、例えば、開始計測線６０１または終了計測線６０２などの所定位置における河川の断面積と、開始計測線６０１から終了計測線６０２までの区間を流れるのにかかった移動時間とから、河川の流量を求めてよい。

【0058】

以上で述べたように、実施形態よれば、撮影装置１０２で撮影された動画において、浮子３０１が流れる移動時間を計測する所定区間として、開始計測線６０１および終了計測線６０２の位置を特定することができる。そして、実施形態によれば浮子３０１が所定区間を流れるのにかかる移動時間を、検出対象物３００が所定区間と対応する開始計測線６０１から終了計測線６０２まで移動するのにかかる移動時間として特定することができる。

【0059】

また、それにより実施形態によれば撮影装置１０２で撮影された動画から河川の流量を求めることができる。そのため、流量計測にかかる人員を削減することができる。また、増水時などに浮子を観測する観測員が危険にさらされるのを低減することができる。

【0060】

また、上述の実施形態では検出された検出対象物３００の移動の軌跡に基づき、検出対象物３００を排除する例が示されている。また、実施形態では、移動速度があまりにも速かったり、遅かったりする検出対象物３００は排除している。更には、例えば、対象の河川固有の検出対象物３００の挙動に基づいて、検出対象物３００を排除する例が示されている。例えば、このようにノイズを排除することで、河川の流速を求めるのに適していない検出対象物３００を排除することができる。一例として、水面に写り込んだ光などのノイズ、河川に発生した渦に巻き込まれた検出対象物３００など、河川の流速を求めるのに適していない検出対象物３００を排除することができる。それにより、流速の計測精度が高まるため、流量の計測精度も高めることができる。

【0061】

また更には、実施形態によれば動画をコンピュータで処理して流量を決定することができるため、例えば、観測員の習熟度の違いによる計測精度の低下などの人為的な計測のブレを低減することができる。また、浮子３０１を河川に流すだけで計測が可能であるため、連続的な観測または高頻度の観測などの長時間にわたる観測を実行する場合にも、作業の負担を低減することができる。

【0062】

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、図９のＳ９０２の検出領域の設定の処理、およびＳ９０５からS９０７の検出対象物の排除の処理は省略されてもよい。

【0063】

なお、上述の実施形態においてＳ９０１の処理では制御部１１０は、例えば、設定部１１１として動作する。また、Ｓ９０８の処理では制御部１１０は、例えば、計測部１１２として動作する。Ｓ９０９の処理では制御部１１０は、例えば、決定部１１３として動作する。

【0064】

図１０は、実施形態に係る情報処理装置１０１を実現するためのコンピュータ１０００のハードウェア構成を例示する図である。図１０の情報処理装置１０１を実現するためのハードウェア構成は、例えば、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、および入出力インタフェース１００７を備える。なお、プロセッサ１００１、メモリ１００２、記憶装置１００３、読取装置１００４、通信インタフェース１００６、入出力インタフェース１００７は、例えば、バス１００８を介して互いに接続されている。

【0065】

プロセッサ１００１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１００１は、メモリ１００２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部１１０の一部または全部の機能を提供する。例えば、情報処理装置１０１のプロセッサ１００１は、記憶装置１００３に格納されているプログラムを読み出して実行することで、設定部１１１、計測部１１２、および決定部１１３として動作する。

【0066】

メモリ１００２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１００３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

【0067】

読取装置１００４は、プロセッサ１００１の指示に従って着脱可能記憶媒体１００５にアクセスする。着脱可能記憶媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ－ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

【0068】

記憶部１２０は、例えばメモリ１００２、記憶装置１００３、および着脱可能記憶媒体１００５を含んでいる。例えば、情報処理装置１０１の記憶装置１００３には、例えば、河川を流れる浮子３０１を撮影した動画データが格納されている。

【0069】

通信インタフェース１００６は、プロセッサ１００１の指示に従って、他の装置と通信する。

【0070】

入出力インタフェース１００７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

【0071】

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置１０１に提供される。
（１）記憶装置１００３に予めインストールされている。
（２）着脱可能記憶媒体１００５により提供される。
（３）プログラムサーバなどのサーバから提供される。

【0072】

なお、図１０を参照して述べた情報処理装置１０１を実現するためのコンピュータ１０００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部１１０の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

【0073】

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

【符号の説明】

【0074】

１００ ：計測システム
１０１ ：情報処理装置
１０２ ：撮影装置
１１０ ：制御部
１１１ ：設定部
１１２ ：計測部
１１３ ：決定部
１２０ ：記憶部
１３０ ：通信部
２００ ：表示画面
２０１ ：河川
３００ ：検出対象物
３０１ ：浮子
３０２ ：風船
１０００ ：コンピュータ
１００１ ：プロセッサ
１００２ ：メモリ
１００３ ：記憶装置
１００４ ：読取装置
１００５ ：着脱可能記憶媒体
１００６ ：通信インタフェース
１００７ ：入出力インタフェース
１００８ ：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】