特開 2023-23819 点滅光点計数方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023023819

(43)【公開日】2023-02-16

(54)【発明の名称】点滅光点計数方法および装置

(51)【国際特許分類】

   G06M 11/00 20060101AFI20230209BHJP

【ＦＩ】

G06M11/00 D

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021129690

(22)【出願日】2021-08-06

(71)【出願人】

【識別番号】302060926

【氏名又は名称】株式会社フジタ

(71)【出願人】

【識別番号】593125104

【氏名又は名称】株式会社システム計画研究所

(74)【代理人】

【識別番号】100089875

【弁理士】

【氏名又は名称】野田 茂

(72)【発明者】

【氏名】大坂 真希

(72)【発明者】

【氏名】島多 義彦

(72)【発明者】

【氏名】森時 悠

(72)【発明者】

【氏名】清水 隆司

(72)【発明者】

【氏名】平河 怜

(57)【要約】

【課題】点滅する光点の個数を動画像から正確にカウントすることができる点滅光点計数方法および装置を提供する。
【解決手段】点滅光点計数装置（２００）は、所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを格納する動画像格納部（２０２）と、動画像データから点滅周期の時間間隔でフレーム画像を抽出するフレーム抽出部（２０３）と、抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成するフレーム重畳部（２０４）と、重畳フレーム画像に基づいて光点を計数する光点計数部（２０５）と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを格納する動画像格納部と、
前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出するフレーム抽出部と、
前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成するフレーム重畳部と、
前記重畳フレーム画像に基づいて光点を計数する光点計数部と、
を有することを特徴とする点滅光点計数装置。

【請求項2】

前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定する連結領域判定部を更に有し、
前記光点計数部が前記連結領域判定後の重畳フレーム画像に基づいて光点を計数することを特徴とする請求項１に記載の点滅光点計数装置。

【請求項3】

前記点滅光点が発光するホタルの明滅点であることを特徴とする請求項１または２に記載の点滅光点計数装置。

【請求項4】

所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを動画像格納部に格納し、
フレーム抽出部が前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出し、
フレーム重畳部が前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成し、
光点計数部が前記重畳フレーム画像に基づいて光点を計数する、
ことを特徴とする点滅光点計数方法。

【請求項5】

連結領域判定部が前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定し、
前記光点計数部が前記連結領域判定後の重畳フレーム画像に基づいて光点を計数する、
ことを特徴とする請求項４に記載の点滅光点計数方法。

【請求項6】

前記点滅光点が発光するホタルの明滅点であることを特徴とする請求項４または５に記載の点滅光点計数方法。

【請求項7】

コンピュータにより実現された点滅光点計数装置であって、
所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを格納する動画像メモリと、
プログラムを格納するプログラムメモリと、
前記プログラムを実行するプロセッサと、
を有し、前記プロセッサが、
前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出し、
前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成し、
前記重畳フレーム画像に基づいて光点を計数する、
ことを特徴とする点滅光点計数装置。

【請求項8】

前記プロセッサが、前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定し、前記連結領域判定後の重畳フレーム画像に基づいて光点を計数する、ことを特徴とする請求項７に記載の点滅光点計数装置。

【請求項9】

前記点滅光点が発光するホタルの明滅点であることを特徴とする請求項７または８に記載の点滅光点計数装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は所定周期で点滅する光点の個数をカウントする方法および装置に関する。

【背景技術】

【0002】

発光するホタルの個体数は里地の生態系または自然環境の状態を示す指標の代表例である。しかしながら、点滅発光するホタルをカウントすることは容易ではなく、特に飛翔していないホタルのカウントは困難である。そこで、通常、ゲンジボタルやヘイケボタルの場合、ホタルが飛翔する日没後２時間以内に人が区画内を目視でカウントする方法が採用されている（非特許文献１を参照）。

【0003】

また、画像を用いて個体数をカウントする方法も提案されている。たとえば特許文献１には、撮像画面を複数個の小領域に分割し小領域に存在する個体数の和から画面全体の個体数を求める個体数カウント装置が開示されている。また特許文献２には、輝度が低い被写体を動画撮像する際の輝点ノイズを除去するために、同一又は相違する露光時間で複数回受光した画像データを累積的に加算し、加算された画像データに基づいて被写体の個体数をカウントする方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５－１０８８２２号公報

【特許文献2】特開２００５－２１５７１１号公報

【非特許文献】

【0005】

【非特許文献1】モニタリングサイト1000里地調査マニュアル「ホタル類」ver.3.1（2015 .Feb.）環境省自然環境局 生物多様性センター発行

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１および２に開示されている個体数カウント方法は撮像画面に被写体が存在する場合を前提としている。このために、蛍のように明滅する個体を動画撮像した場合、撮像フレームによって光点が存在する場合としない場合とがあり、撮像画面から正確な個体数をカウントすることができない。

【0007】

本発明は前記事情に鑑み案出されたものであって、本発明の目的は、点滅する光点の個数を動画像から正確にカウントすることができる点滅光点計数方法および装置を提供することにある。

【課題を解決するための手段】

【0008】

前記目的を達成するため本発明の一実施の形態による点滅光点計数装置は、所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを格納する動画像格納部と、前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出するフレーム抽出部と、前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成するフレーム重畳部と、前記重畳フレーム画像に基づいて光点を計数する光点計数部と、を有することを特徴とする。
また、本発明の一実施の形態による点滅光点計数装置は、前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定する連結領域判定部を更に有し、前記光点計数部が前記連結領域判定後の重畳フレーム画像に基づいて光点を計数することができる。
また、本発明の一実施の形態によれば、前記点滅光点は発光するホタルの明滅点であり得る。
また、本発明の一実施の形態による点滅光点計数方法は、所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを動画像格納部に格納し、フレーム抽出部が前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出し、フレーム重畳部が前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成し、光点計数部が前記重畳フレーム画像に基づいて光点を計数する、ことを特徴とする。
また、本発明の一実施の形態による点滅光点計数方法は、さらに連結領域判定部が前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定し、前記光点計数部が前記連結領域判定後の重畳フレーム画像に含まれる光点を計数することができる。
また、本発明の一実施の形態による点滅光点計数方法において、前記点滅光点は発光ホタルの明滅点である得る。
また、本発明の一実施の形態による点滅光点計数装置は、コンピュータにより実現された点滅光点計数装置であって、所定の点滅周期の点滅光点が撮像された所定フレームレートの動画像データを格納する動画像メモリと、プログラムを格納するプログラムメモリと、前記プログラムを実行するプロセッサと、を有し、前記プロセッサが、前記動画像データから前記点滅周期の時間間隔でフレーム画像を抽出し、前記抽出されたフレーム画像を重ね合わせて一つの重畳フレーム画像を生成し、前記重畳フレーム画像に基づいて光点を計数する、ことを特徴とする。
また、本発明の一実施の形態による点滅光点計数装置は、前記プロセッサが、前記重畳フレーム画像に含まれる光点領域が複数光点領域であるか、単一光点からなる連結領域であるか否かを前記光点領域の光点配列形態に従って判定し、前記連結領域判定後の重畳フレーム画像に基づいて光点を計数することができる。
また、本発明の一実施の形態による点滅光点計数装置において、前記点滅光点は発光するホタルの明滅点であり得る。

【発明の効果】

【0009】

本発明の一実施の形態によれば、点滅光点の点滅周期の時間間隔でフレーム画像を抽出し、抽出フレーム画像を重ね合わせた重畳フレーム画像に基づいて光点を計数するので、点滅する光点の個数を動画像から正確にカウントする上で有利となる。たとえば、目視確認できない程の微弱な発光を検知可能な感度を有する撮像部を用いれば、飛翔していないホタルのカウント精度を目視確認に比べて大幅に向上させることができる。
また、本発明の一実施の形態によれば、重畳フレーム画像の光点領域が連結領域であるか否かを判定して光点を計数するので、単一光点が移動している場合であっても正しく光点数をカウントする上で有利となる。
また、本発明の一実施の形態によれば、発光するホタルの動画像からホタルの個体数を正確にカウントすることが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態による点滅光点計数装置の概略的構成を示すブロック図である。

【図2】複数の点滅光点の点滅タイミングの一例を示すタイムチャートである。

【図3】第１実施形態による点滅光点計数方法におけるフレーム重畳による光点カウントの一例を示す模式図である。

【図4】フレーム抽出期間をパラメータとした光点カウント数の変化の一例を示すグラフである。

【図5】本発明の第２実施形態による点滅光点計数装置の概略的構成を示すブロック図である。

【図6】第２実施形態による点滅光点計数方法におけるフレーム重畳による光点カウントの一例を示す模式図である。

【図7】本発明の第３実施形態による点滅光点計数装置の概略的構成を示すブロック図である。

【発明を実施するための形態】

【0011】

１．第１実施形態
図１に例示するように、撮像部１０１は点滅光点Ｇ１、Ｇ２、Ｇ３・・・を被写体として動画像を撮像する。本発明の第１実施形態による点滅光点計数装置２００はインタフェース２０１、動画像格納部２０２、フレーム抽出部２０３、フレーム重畳部２０４および光点計数部２０５を有し、インタフェース２０１により撮像部１０１と有線あるいは無線で接続されている。点滅光点計数装置２００のフレーム抽出部２０３、フレーム重畳部２０４および光点計数部２０５の各機能は、図示しないメモリに格納されたプログラムをプロセッサ上で実行することにより実現可能である。

【0012】

動画像格納部２０２は撮像部１０１からインタフェース２０１を通して入力した動画像データを格納する。動画像データは一定のフレームレートを有する周知のファイル形式であればよい。ここでは動画像に複数（ｍ個）の点滅光点Ｇ１、Ｇ２、Ｇ３・・・Ｇｍが撮像されているものとする。なお、撮像部１０１から入力した動画像データは輝点ノイズを除去して点滅光点が際立つように画像処理されていることが望ましい。特に点滅光点がホタルである場合、通常、日没から夜間にかけての撮像であるから被写体が低輝度となり、ノイズ除去の前処理が望ましい。したがって、撮像部１０１として、目視確認が難しい微弱な点滅光点（ホタルの発光等）を検知できる低雑音の高感度動画像カメラを用いることができる。

【0013】

フレーム抽出部２０３は、動画像格納部２０２に格納された動画像データから所定の時間間隔内の複数のフレーム画像を抽出する。所定の時間間隔は後述するように撮像部１０１の被写体である点滅光点Ｇの点滅周期Ｐに設定される。フレーム重畳部２０４は、フレーム抽出部２０３により抽出された複数のフレーム画像を一つのフレームとして重ね合わせ、重畳フレーム画像Ｆｓを生成する。光点計数部２０５は重畳フレーム画像Ｆｓをスキャンすることで高輝度領域である光点の個数をカウントする。

【0014】

図２に例示するように、動画像にはｍ個の点滅光点Ｇ１、Ｇ２、Ｇ３・・・Ｇｍが撮像されているが、各光点は所定の周期Ｐで点滅しており同期しているとは限らない。したがって、図２に示すように、動画像データから点滅周期Ｐと等しい時間間隔（フレーム抽出期間）に含まれるフレーム画像を全て、あるいは所定間隔で間引いた数だけ抽出すれば、その一連の抽出フレーム画像には各点滅光点の一つの点灯期間に対応する光点が記録されているはずである。フレーム抽出期間は点滅周期Ｐと等しければよく、任意のタイミングに設定可能である。点滅光点Ｇが発光するホタルの個体であれば、点滅周期Ｐはホタルの種類あるいは生息地域によって異なる。したがって、個体数をカウントしようとする場所に生息するホタルを事前に観測して点滅周期Ｐを決定する。

【0015】

図３に例示するように、フレーム抽出期間Ｐにｎ個の抽出フレーム画像Ｆ１～Ｆｎが含まれているものとする。フレーム数ｎはフレーム抽出期間Ｐ内の全てのフレームの数で動画像のフレームレートに依存してもよいし、フレーム抽出期間Ｐ内の全フレーム画像を一定の間隔で間引いた数であってもよい。ただし、この間引き間隔は少なくとも点灯期間の長さより短いことが必要である。図３では複雑化を避けるために３個の点滅光点Ｇ１～Ｇ３が例示されているが、各フレーム画像において「Ｘ」が付された光点は点灯していない光点、その他は点灯している光点を示す。たとえば抽出フレーム画像Ｆ３では光点Ｇ１およびＧ２が点灯しておらず、光点Ｇ３だけが点灯している。

【0016】

フレーム重畳部２０４は、このような抽出フレーム画像Ｆ１～Ｆｎを重ね合わせ、１つの重畳フレーム画像Ｆｓを生成する。この重畳フレーム画像Ｆｓは、ここでは３個の点滅光点Ｇ１～Ｇ３の各々が点灯していたフレーム画像を含むので、それらを重ね合わせることで３個の点滅光点Ｇ１～Ｇ３がすべて光点として記録されている。したがって、光点計数部２０５は光点Ｇ１～Ｇ３をカウントすることで、全ての点滅光点Ｇ１～Ｇ３の個数（ｍ＝３）を取得できる。

【0017】

図４に例示するグラフは、重ね合わせるフレーム数を変化させたときの動画内の点滅光点の個数をフレーム番号ごとにカウントした結果である。フレーム数ｎが多すぎると、移動中の点滅光点（ここでは移動中のホタル）がいる場合にカウント数が上振れし、フレーム数ｎが少なすぎるとカウント数が下振れすることが分かる。したがって、実際のホタルの点滅周期に基づいてフレーム抽出期間を調整することで、より正確な点滅光点カウント数を求めることが望ましい。

【0018】

２．第２実施形態
本発明の第２実施形態によれば、点滅光点が移動する場合を考慮して点滅光点のカウントを行う。第１実施形態とは、重畳フレーム画像Ｆｓに対して連結領域判定を行い点滅光点の移動か否かを判定する点が主な相違点である。以下、図５および図６を参照しながら説明する。

【0019】

図５に例示するように、既に述べたように撮像部１０１は点滅光点Ｇ１、Ｇ２、Ｇ３・・・を被写体として動画像を撮像する。本発明の第２実施形態による点滅光点計数装置３００はインタフェース３０１、動画像格納部３０２、フレーム抽出部３０３、フレーム重畳部３０４、連結領域判定部３０４および光点計数部２０５を有し、インタフェース３０１により撮像部１０１と有線あるいは無線で接続されている。点滅光点計数装置３００のフレーム抽出部３０３、フレーム重畳部３０４、連結領域判定部３０５および光点計数部３０６の各機能は、図示しないメモリに格納されたプログラムをプロセッサ上で実行することにより実現可能である。

【0020】

動画像格納部３０２は、第１実施形態と同様に、撮像部１０１から入力した動画像データを格納する。フレーム抽出部３０３は、動画像格納部３０２に格納された動画像データから点滅周期Ｐのフレーム抽出期間に含まれる複数のフレーム画像を（一定間隔で間引きして、あるいは間引きせずに）抽出する。フレーム重畳部３０４は、フレーム抽出部２０３により抽出された複数のフレーム画像を一つのフレームとして重ね合わせて重畳フレーム画像Ｆｓを生成する。なお、本実施形態では、フレーム抽出期間を点滅周期Ｐより長い期間に設定することもできる。

【0021】

連結領域判定部３０５は重畳フレーム画像Ｆｓにある複数の光点からなる光点領域が一つの光点の移動に起因する連結領域か複数の光点の集合かを判定し、連結判定された重畳フレーム画像Ｆｓｃを光点計数部３０６へ出力する。このような連結判定は、予め光点（ここではホタル）の移動形態とのマッチングあるいは機械学習による画像認識により行うことができる。光点計数部３０６は、連結領域判定部３０５により連結判定された重畳フレーム画像Ｆｓｃに従って光点のカウントを実行する。一例を図６に示す。

【0022】

図６に例示するように、重畳フレーム画像Ｆｓに光点領域Ｃ１～Ｃ３が存在するものとする。光点領域Ｃ１は解像度の関係で各光点を分離できないので複数の光点が重なっているのか、一つの光点なのかを判別できない。この場合、複数の光点が偶然に完全一致する確率は低いと考えて、光点領域Ｃ１は１つの光点Ｇ１であると判定する。光点領域Ｃ２では４個の光点が識別でき、これらの光点の位置がばらついており、一つの動線を構成する確率は低いので、光点領域Ｃ２は４個の別々の光点Ｇ２～Ｇ５であると判定する。光点領域Ｃ３では５個の光点が識別できるが、これらの光点の配置形態は一つの動線を構成する連結領域、すなわち１つの光点Ｇ６が移動した結果であると判定する。こうして連結領域判定部３０５は重畳フレーム画像Ｆｓを連結判定し、連結判定後の重畳フレーム画像Ｆｓｃを生成する。したがって、光点計数部３０６は連結判定後の重畳フレーム画像Ｆｓｃから点滅光点Ｇ１～Ｇ６の個数（ｍ＝６）を取得できる。

【0023】

３．第３実施形態
上述した第１および第２実施形態による点滅光点計数装置２００および３００は、コンピュータ上に実現することができる。また撮像部１０１は１個に限定されるものではなく、複数台の撮像部１０１を用いることもできる。以下、本発明の第３実施形態として、撮像部１０１としてネットワーク接続可能な複数のカメラを用いた例を説明する。

【0024】

図７に例示するように、複数のカメラ４０１はアクセスポイントである無線通信部４０２に無線接続されており、各カメラ４０１の撮像範囲の動画像が無線通信部４０２を通して点滅光点計数装置５００に入力する。ホタルの個体数カウントを行う場合、観測しようとする生息場所の全体が複数のカメラ４０１のそれぞれの撮像範囲によりカバーできればよい。

【0025】

本実施形態による点滅光点計数装置５００は、プロセッサ５０１、動画像メモリ５０２、プログラムメモリ５０３、入力部５０４および表示部５０５からなるコンピュータ上に実装され得る。プロセッサ５０１は、プログラムメモリ５０３のプログラムを実行することにより、上述した第１実施形態のフレーム抽出部２０３、フレーム重畳部２０４および光点計数部２０５の各機能を実現でき、また上述した第２実施形態のフレーム抽出部３０３、フレーム重畳部３０４、連結領域判定部３０５および光点計数部３０６の各機能を実現できる。動画像メモリ５０２は上述した第１及び第２実施形態の動画像格納部２０２および３０２に対応する。したがって、本実施形態による点滅光点計数装置５００の動作は、上述した第１及び第２実施形態による点滅光点計数装置２００および３００と同様であるから詳細な説明は省略する。

【0026】

本実施形態による点滅光点計数装置５００の入力部５０４はキーボード等の入力デバイスであり、たとえば上記第１および第２実施形態における点滅周期Ｐを入力することができる。表示部５０５はモニタであり、上記第１および第２実施形態においてカウントされた光点計数値を表示すると共に、図３に例示する重畳フレーム画像Ｆｓあるいは図６に例示する連結判定後の重畳フレーム画像Ｆｓｃを点滅光点と共に表示してもよい。

【0027】

また、本実施形態ではカメラ４０１が点滅光点計数装置５００に無線接続されているが、これに限定されるものではなく有線接続されてもよい。また上述した第１実施形態による点滅光点計数装置２００あるいは第２実施形態による点滅光点計数装置３００を複数台設けて、各点滅光点計数装置に無線あるいは有線により１台あるいは複数台のカメラ４０１を接続することもできる。また、カメラ４０１は日没から夜間にかけての撮像を行うので高感度のビデオカメラを用いることが望ましく、それによって目視では確認できない微弱な点滅発光するホタルの個体数を動画像から精度良くカウントすることが可能となる。

【符号の説明】

【0028】

１０１ 撮像部
２００、３００、５００ 点滅光点計数装置
２０１、３０１ インタフェース
２０２、３０２ 動画像格納部
２０３、３０３ フレーム抽出部
２０４、３０４ フレーム重畳部
２０５、３０６ 光点計数部
３０５ 連結領域判定部
４０１ カメラ
４０２ 無線通信部
５０１ プロセッサ
５０２ 動画像メモリ
５０３ プログラムメモリ
５０４ 入力部
５０５ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】