知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-01
(45)【発行日】2024-05-13
(54)【発明の名称】虫類特定方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240502BHJP
G06T 7/10 20170101ALI20240502BHJP
【ＦＩ】
G06T7/00 300F
G06T7/10
【請求項の数】
3
(21)【出願番号】P 2020132487
(22)【出願日】2020-08-04
(65)【公開番号】P2022029248
(43)【公開日】2022-02-17
【審査請求日】2023-06-28
(73)【特許権者】
【識別番号】000003621
【氏名又は名称】株式会社竹中工務店
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】木村 文
(72)【発明者】
【氏名】宮田 弘樹
【審査官】小池 正彦
(56)【参考文献】
【文献】特許第６３１３８８６（ＪＰ，Ｂ１）
【文献】特開２０１４－１４２８３３（ＪＰ，Ａ）
【文献】韓国登録特許第１０－１３３４８５８（ＫＲ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／１０
(57)【特許請求の範囲】
【請求項1】
虫類の翅を表す３次元データを取得し、取得された前記３次元データから複数の屈曲点を抽出し、
抽出された前記複数の屈曲点に基づいて、複数のポリゴンを生成し、
生成された前記複数のポリゴンに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成し、
虫類の種類と虫類の翅脈を表す画像とが関連付けられた複数のデータが格納されたデータベース又は前記複数のデータから予め学習された学習済みモデルであって、かつ前記翅脈画像から該翅脈画像に写る虫類の種類を特定するための学習済みモデルを用いて、生成された前記翅脈画像に対応する、虫類の種類を特定する、
処理をコンピュータが実行する虫類特定方法。
【請求項2】
虫類の翅を表す３次元データを取得し、取得された前記３次元データから、翅のアウトライン及び翅脈を含むポリラインデータを抽出し、
抽出された前記ポリラインデータから抽出される特徴量に基づいて、虫類の種類と虫類の翅脈を表す特徴量とが関連付けられた複数のデータが格納されたデータベース又は前記複数のデータから予め学習された学習済みモデルであって、かつ前記特徴量から虫類の種類を特定するための学習済みモデルを用いて、取得した前記３次元データに対応する、虫類の種類を特定する、
処理をコンピュータが実行する虫類特定方法。
【請求項3】
前記翅脈画像を生成する際に、虫類の翅脈に関する正解データの特徴量から導かれる予め定められたルールを参照することにより、前記虫類の翅の重なり又は折れ曲がりが解消されるように、前記翅脈画像を生成する、
請求項１に記載の虫類特定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、虫類特定方法に関する。
【背景技術】
【0002】
従来、捕獲虫類の同定方法が知られている（例えば、特許文献１）。この捕獲虫類の同定方法は、虫類を捕獲した捕虫装置の粘着シートの画像を読み込む。そして、捕獲虫類の同定方法は、虫領域から少なくとも体領域、脚領域及び翅領域を抽出し、抽出された体領域から体長、体幅及び体長と体幅の比を算出し、脚領域から脚長及び脚長と体長の比を算出し、また、翅領域から翅面積及び翅面積と体面積の比を算出して形態的特徴のメルクマールデータを取得する。そして、捕獲虫類の同定方法は、取得されたメルクマールデータを、予め虫ごとに設定されて記憶されている標準メルクマールデータと照合することにより当該虫類を同定する。
【0003】
また、虫の数を計数する画像処理装置が知られている（例えば、特許文献２）。この画像処理装置は、対象画像の解像度が高い場合は、特徴量を用いた処理を行い、対象画像の解像度が低い場合は、テンプレートマッチングを用いた処理を行うことにより、虫の数を計数する。
【先行技術文献】
【特許文献】
【0004】
【文献】特許5690856号公報
【文献】特許5812321号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、虫類の翅脈に関する情報は、虫類の種類を特定するのに有用な情報である。
【0006】
上記特許文献１の技術は、虫類の翅領域を画像処理によって抽出するものの、翅領域の面積等を用いており翅脈の情報を用いるものではない。また、上記特許文献２の技術も翅脈の情報を用いるものではない。
【0007】
このため、上記特許文献１，２の技術は、虫類の翅脈に関する情報を用いて虫類の種類を特定することができない、という課題がある。
【0008】
本発明は上記事実に鑑みて成されたものであり、虫類の翅脈に関する情報を用いて虫類の種類を特定することを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る第１の虫類特定方法は、虫類の翅を表す３次元データを取得し、取得された前記３次元データから複数の屈曲点を抽出し、抽出された前記複数の屈曲点に基づいて、複数のポリゴンを生成し、生成された前記複数のポリゴンに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成し、虫類の種類と虫類の翅脈を表す画像とが関連付けられた複数のデータが格納されたデータベース又は前記複数のデータから予め学習された学習済みモデルであって、かつ前記翅脈画像から該翅脈画像に写る虫類の種類を特定するための学習済みモデルを用いて、生成された前記翅脈画像に対応する、虫類の種類を特定する、処理をコンピュータが実行する虫類特定方法である。本発明に係る虫類特定方法によれば、虫類の翅脈に関する情報を用いて虫類の種類を特定することができる。
【0010】
また、本発明に係る第２の虫類特定方法は、虫類の翅を表す３次元データを取得し、取得された前記３次元データから、翅のアウトライン及び翅脈を含むポリラインデータを抽出し、抽出された前記ポリラインデータから抽出される特徴量に基づいて、虫類の種類と虫類の翅脈を表す特徴量とが関連付けられた複数のデータが格納されたデータベース又は前記複数のデータから予め学習された学習済みモデルであって、かつ前記特徴量から虫類の種類を特定するための学習済みモデルを用いて、取得した前記３次元データに対応する、虫類の種類を特定する、処理をコンピュータが実行する虫類特定方法である。本発明に係る虫類特定方法によれば、虫類の翅脈に関する情報を用いて虫類の種類を特定することができる。
【0011】
また、本発明に係る虫類特定方法は、前記翅脈画像を生成する際に、虫類の翅脈に関する正解データの特徴量から導かれる予め定められたルールを参照することにより、前記虫類の翅の重なり又は折れ曲がりが解消されるように、前記翅脈画像を生成するようにすることができる。これにより、虫類の種類を特定するための翅脈画像を適切に生成することができる。
【発明の効果】
【0012】
本発明によれば、虫類の翅脈に関する情報を用いて虫類の種類を特定することができる、という効果が得られる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態に係る画像処理システムを示すブロック図である。
【図2】カメラによる粘着紙の画像の撮像を説明するための図である。
【図3】虫類の翅の部分を表す領域の抽出を説明するための図である。
【図4】虫類の翅を表す３次元データの生成を説明するための図である。
【図5】屈曲点の抽出とポリゴンの生成とを説明するための図である。
【図6】虫類の翅脈に関する正解データの特徴量から導かれる予め定められたルールを説明するための図である。
【図7】ルールを考慮した翅脈画像の生成を説明するための図である。
【図8】データベースに格納されるデータを説明するための図である。
【図9A】虫類の種類の特定を説明するための図である。
【図9B】基本翅脈画像と各虫類の翅脈画像とを説明するための図である。
【図10】虫類の翅の特徴量の一例を示す図である。
【図11】第１実施形態に係る画像処理システムの虫類特定処理ルーチンの内容を示すフローチャートである。
【図12】第２実施形態に係る画像処理システムを示すブロック図である。
【図13】ポリラインデータの抽出を説明するための図である。
【図14】第２実施形態に係る画像処理システムの虫類特定処理ルーチンの内容を示すフローチャートである。
【図15】虫類の種類を特定する際に用いる学習済みモデルの一例を示す図である。
【図16】特徴量の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0015】
［第１実施形態］
【0016】
＜本実施形態の画像処理システムの構成＞
【0017】
図１は、第１実施形態に係る画像処理システム１０の構成の一例を示すブロック図である。画像処理システム１０は、機能的には、図１に示されるように、カメラ１２と、コンピュータ１４と、表示部１６とを含んだ構成で表すことができる。
【0018】
カメラ１２は、虫類が張り付いている粘着紙の画像を撮像する。
【0019】
図２に、カメラ１２による粘着紙の画像の撮像を説明するための図を示す。図２に示されるように、粘着紙Ａには虫類が張り付いている。本実施形態のカメラ１２は、この粘着紙Ａに張り付いている虫類を表す画像Ｉｍを撮像する。
【0020】
なお、本実施形態のカメラ１２は、ステレオカメラ又は可動式カメラ等である。カメラ１２が可動式カメラである場合には、複数の異なる方向から粘着紙Ａに張り付いている虫類の画像が撮像される。このため、カメラ１２によって撮像された画像に基づいて、当該画像に写る虫類の３次元データを生成することが可能である。
【0021】
コンピュータ１４は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、及びネットワークインタフェース等を含んで構成されている。コンピュータ１４は、機能的には、図１に示すように、画像記憶部２０と、画像処理部２２と、３次元データ取得部２４と、屈曲点抽出部２６と、ポリゴン生成部２８と、翅脈ルール記憶部３０と、翅脈画像生成部３２と、データベース３４と、虫類特定部３６とを備えている。
【0022】
画像記憶部２０には、カメラ１２によって撮像された虫類を表す画像が格納される。
【0023】
画像処理部２２は、画像記憶部２０に格納された虫類を表す画像から、その虫類の翅の部分を表す領域（以下、単に「翅領域」と称する。）を検出する。
【0024】
図３に、虫類の翅の部分が検出される処理を説明するための図を示す。図３に示されるように、画像処理部２２は、既知のセグメンテーションアルゴリズムを用いて、粘着紙の画像から虫類の翅領域を検出する。例えば、画像処理部２２は、既知の機械学習アルゴリズムによって予め生成された翅領域検出用の学習済みモデルを用いて、虫類を表す画像からその虫類の翅領域を検出する。
【0025】
３次元データ取得部２４は、画像処理部２２により検出された虫類の翅領域に対応する、画像記憶部２０に格納された虫類の画像を用いて、虫類の翅を表す３次元データを取得する。
【0026】
粘着紙に張り付いている虫類の翅は歪んでいる又は折り重なっていることが多い。このため、歪んでいる翅の部分の画像又は翅が折り重なっている画像を用いて虫類の種類を同定したとしても、その精度は低い。
【0027】
そこで、本実施形態の画像処理システム１０では、虫類の翅を表す３次元データを生成し、その３次元データを用いて翅脈の情報である２次元画像を生成し、その２次元画像を用いて虫類の種類を特定する。３次元データには、翅の高さ情報が含まれている。このため、本実施形態の画像処理システム１０は、３次元データから２次元画像を生成する際に、３次元データの翅の歪み及び折れ曲がりが解消されるように２次元画像を生成する。これにより、翅が歪んでいる部分又は翅が折り重なっている部分が解消されるため、翅脈から虫類の種類を精度良く特定することができる。
【0028】
図４に、虫類の翅を表す３次元データの生成を説明するための図を示す。図４に示されるように、３次元データ取得部２４は、既知の３次元画像処理アルゴリズムを用いて、虫類の翅を表す３次元データＴを生成する。なお、３次元データ取得部２４は、以下の参考情報に開示されている技術を用いて、虫類の翅を表す３次元データを生成するようにしてもよい。
【0029】
参考情報：「デジタル顕微鏡３Ｄ表示機能」、［令和２年３月２３日検索］、インターネット＜https://www.keyence.co.jp/ss/products/microscope/beginner/technology/3d-displayfunction.jsp＞
【0030】
なお、後述する各処理によって、図４に示されるような３次元データＴから翅脈画像Ｗが生成される。
【0031】
屈曲点抽出部２６は、３次元データ取得部２４により取得された３次元データから複数の屈曲点を抽出する。
【0032】
図５に、屈曲点の抽出とポリゴンの生成とを説明するための図を示す。図５に示されるように、例えば、屈曲点抽出部２６は、既知の３次元画像処理アルゴリズムを用いて、虫類の翅を表す３次元データＴから複数の屈曲点Ｐ１，・・・，ＰＮを抽出する。例えば、屈曲点抽出部２６は、３次元データＴの屈曲線を抽出し、それらの屈曲線の交点を屈曲点として抽出する。
【0033】
ポリゴン生成部２８は、屈曲点抽出部２６により抽出された複数の屈曲点に基づいて、複数のポリゴンを生成する。例えば、ポリゴン生成部２８は、上記図５に示されるように、既知の画像処理アルゴリズムを用いて、複数のポリゴンＤを生成する。なお、図５に示されるような、複数のポリゴンＤに基づいて翅脈画像Ｗが生成される。なお、ポリゴン生成部２８は、複数のポリゴンに対して所定の角度補正を行った後に、翅脈画像Ｗを生成するようにしてもよい。
【0034】
翅脈ルール記憶部３０には、虫類の翅脈に関する正解データの特徴量から導かれる予め定められたルールが格納されている。例えば、ルールは、図６に示されるようなテーブル形式で翅脈ルール記憶部３０に格納される。
【0035】
図６に示されるテーブルＲ１には、複数のルールＺ１，Ｚ２・・・Ｚｎが格納される。例えば、「翅室ｄがあり、前縁脈Ｃは翅端で終わる」といった虫類の翅脈に関する正解データの特徴量から導かれるルールがテーブルに格納される。または、「翅室ｂｍは先端横脈ｂｍ－ｃｕで閉じられ、中脈Ｍにより常に翅室ｂｒと分かれている」といったルールがテーブルに格納される。
【0036】
翅脈画像生成部３２は、ポリゴン生成部２８により生成された複数のポリゴンに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成する。なお、翅脈画像生成部３２は、翅脈画像を生成する際に、翅脈ルール記憶部３０に格納されたルールを参照することにより、虫類の翅の重なり又は折れ曲がりが解消されるように翅脈画像を生成する。
【0037】
具体的には、例えば、翅脈画像生成部３２は翅脈画像を生成する際に、図７に示されるように、画像ＩｍのＡｔ内のポリゴンにおいて、線ｌ１と線ｌ２とが交差する場合（線ｌ１を構成する各画素と線ｌ２を構成する各画素のうち、画像上の位置が同一である画素が存在する場合）には、それらの線ｌ１，ｌ２は翅脈ではなく翅が重なっており、ｌ１，ｌ２は翅の外形線であると判定して、線ｌ１，ｌ２が重ならないように、複数のポリゴンから翅脈画像Ｗを再構成する。
【0038】
また、例えば、翅脈画像生成部３２は、ポリゴン内に含まれる、ある翅脈を表す線ｌ１の湾曲する角度がＸ度より小さい場合（図示省略）には、線ｌ１が表す翅脈は折れ曲がった状態であるものと判定して、線ｌ１が折れ曲がらないように、複数のポリゴンから翅脈画像Ｗを再構成する。
【0039】
このようにして、翅脈画像生成部３２は、翅脈ルール記憶部３０に格納された各ルールが満たされるように、複数のポリゴンから翅脈画像を生成する。
【0040】
データベース３４には、虫類の種類とその虫類の翅脈を表す画像である基本翅脈画像とが関連付けられた複数のデータが格納される。例えば、データは、図８に示されるようなテーブル形式でデータベース３４に格納される。なお、基本翅脈画像とは、該当する虫類の種類の典型的な翅脈画像であり、この基本翅脈画像を元に虫類の種類の特定が行われる。
【0041】
虫類特定部３６は、データベース３４に格納されている複数のデータを参照して、翅脈画像生成部３２により生成された翅脈画像に対応する、虫類の種類を特定する。
【0042】
具体的には、虫類特定部３６は、翅脈画像生成部３２により生成された翅脈画像から所定の特徴量を抽出する。そして、虫類特定部３６は、翅脈画像生成部３２により生成された翅脈画像の特徴量と、データベース３４に格納されている基本翅脈画像及びデータベース３４に格納されている各虫類の正解データの翅脈画像から抽出される特徴量とを比較して、翅脈画像生成部３２により生成された翅脈画像がどの虫類の種類に該当するかを特定する。
【0043】
図９Ａに、虫類の種類の特定を説明するための図を示す。図９Ａに示されるように、虫類特定部３６は、翅脈画像生成部３２により生成された翅脈画像Ｉｍ１の翅の室ｒ１，ｄ，ｍ２の位置、形状、面積、又は縦横比等を特徴量として抽出する。また、虫類特定部３６は、基本翅脈画像ＩｍＫ１から同様の特徴量を抽出する。更に、虫類特定部３６は、各虫類の正解の翅脈画像から特徴量を抽出する。
【0044】
図９Ｂに、基本翅脈画像と各虫類の正解データの翅脈画像とを説明するための図を示す。図９Ｂに示されるように、基本翅脈画像ＩｍＫ１以外にも各虫類の翅脈画像Ｉｍ,Ｘ、Ｉｍ,Ｙ、Ｉｍ,Ｚがデータベース３４には格納されている。例えば、翅脈画像Ｉｍ,Ｘは虫類Ｘの正解の翅脈画像であり、翅脈画像Ｉｍ,Ｙは虫類Ｙの正解の翅脈画像であり、翅脈画像Ｉｍ,Ｚは虫類Ｚの正解の翅脈画像である。
【0045】
このため、虫類特定部３６は、基本翅脈画像ＩｍＫ１から特徴量を抽出すると共に、各虫類の正解の翅脈画像Ｉｍ,Ｘ、Ｉｍ,Ｙ、Ｉｍ,Ｚからも特徴量を抽出する。
【0046】
そして、虫類特定部３６は、翅脈画像Ｉｍ１の特徴量と、データベース３４に格納されている基本翅脈画像ＩｍＫ１の特徴量及び各虫類の正解の翅脈画像Ｉｍ,Ｘ、Ｉｍ,Ｙ、Ｉｍ,Ｚの特徴量とを比較し、翅脈画像Ｉｍ１に対応する虫類の種類を特定する。
【0047】
なお、図９Ａに示されるように、特徴量としては、翅脈画像Ｉｍ２を２値化した後に抽出される翅脈の位置、形状、長さ、又は脈接点等を用いることもできる。この場合には、虫類特定部３６は、翅脈画像Ｉｍ２の特徴量と、データベース３４に格納されている基本翅脈画像ＩｍＫ２の特徴量及び各虫類の正解の翅脈画像（図示省略）の特徴量とを比較し、翅脈画像Ｉｍ２に対応する虫類の種類を特定する。
【0048】
また、例えば、図１０に示されるように、翅脈画像から複数の特徴量（Ａ１，ｈ，ｂＭ，Ｓｃ，ｒ・ｍ，Ｒｓ，Ｃ，ＣｕＡ２，ＣｕＡ１，Ｍ１，Ｍ２，Ｒ５）が抽出された場合、Ｍ１とＭ２の湾曲度合いを表す特徴量Ｆのみでクロバネキノコバエと特定することもできる。
【0049】
虫類特定部３６は、例えば、翅脈画像生成部３２により生成された翅脈画像に対応する虫類の種類の候補を確率と共に出力する。例えば、虫類特定部３６は、ユスリカ科９３％、キノコバエ科５％、タマバエ科２％といった情報を出力する。または、虫類特定部３６は、該当する確率が所定値以上の虫類の種類を出力するようにしてもよい。
【0050】
表示部１６は、虫類特定部３６によって出力された情報を表示する。表示部１６は、例えば、ディスプレイ等によって実現される。ユーザは、表示部１６に表示された情報を確認し、粘着紙に張り付いている虫類の種類が何であるのかを把握する。
【0051】
＜画像処理システムの作用＞
【0052】
次に、図１１を参照して、第１実施形態の画像処理システム１０の作用を説明する。画像処理システム１０のコンピュータ１４は、カメラ１２により画像を受け付けると、画像記憶部２０に格納する。そして、画像処理システム１０のコンピュータ１４は、虫類の種類の特定処理開始の指示信号を受け付けると、図１１に示す虫類特定処理ルーチンを実行する。
【0053】
＜虫類特定処理ルーチン＞
【0054】
ステップＳ１００において、画像処理部２２は、画像記憶部２０に格納された虫類を表す画像を読み出し、その画像から虫類の翅領域を検出する。
【0055】
ステップＳ１０２において、３次元データ取得部２４は、上記ステップＳ１００で検出された虫類の翅領域の情報を用いて、虫類の翅を表す３次元データを取得する。
【0056】
ステップＳ１０４において、屈曲点抽出部２６は、上記ステップＳ１０２で取得された３次元データから複数の屈曲点を抽出する。
【0057】
ステップＳ１０６において、ポリゴン生成部２８は、上記ステップＳ１０４で抽出された複数の屈曲点に基づいて、複数のポリゴンを生成する。
【0058】
ステップＳ１０８において、翅脈画像生成部３２は、上記ステップＳ１０６で生成された複数のポリゴンに基づいて、虫類の翅の重なり又は折れ曲がりが解消されるように、虫類の翅脈を含む２次元画像である翅脈画像を生成する。
【0059】
ステップＳ１１０において、虫類特定部３６は、データベース３４に格納されている複数のデータを参照して、上記ステップＳ１０８で生成された翅脈画像に対応する、虫類の種類を特定する。
【0060】
ステップＳ１１２において、虫類特定部３６は、上記ステップＳ１１０で特定された虫類の種類を結果として出力する。
【0061】
表示部１６には、コンピュータ１４から出力された情報が表示される。ユーザは、表示部１６に表示された情報を確認し、粘着紙に張り付いている虫類の種類が何であるのかを把握する。
【0062】
以上詳細に説明したように、第１実施形態の画像処理システムにおいて実行される虫類特定方法は、虫類を表す画像から虫類の翅領域を検出する。そして、虫類特定方法は、虫類を表す画像から虫類の翅を表す３次元データを取得し、取得された３次元データから複数の屈曲点を抽出する。そして、虫類特定方法は、抽出された複数の屈曲点に基づいて、複数のポリゴンを生成する。虫類特定方法は、生成された複数のポリゴンに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成する。そして、虫類特定方法は、虫類の種類と虫類の翅脈を表す画像とが関連付けられた複数のデータが格納されたデータベースを参照して、生成された翅脈画像に対応する、虫類の種類を特定する。これにより、虫類の翅脈に関する情報を用いて虫類の種類を特定することができる。
【0063】
より具体的には、本実施形態の虫類特定方法は、２次元画像上では歪んでいる又は折り重なっている翅領域を３次元データとして取得し、その３次元データから２次元画像である翅脈画像を生成する。そして、虫類特定方法は、その翅脈画像を用いて虫類の種類を特定する。これにより、虫類の翅脈に関する情報を用いて虫類の種類を精度良く特定することができる。
【0064】
また、専門の知識がないユーザであっても虫類の詳細な分類を行うことができ、手間及び時間を削減した有害生物モニタリング調査が可能となる。更に、従来のシステムよりも高精度の分析が行えるため、虫類の特定と発生源又は誘引源の特定に貢献することができる。
【0065】
［第２実施形態］
【0066】
次に、第２実施形態について説明する。第２実施形態においては、３次元データから２次元画像である翅脈画像の生成方法が第１実施形態と異なる。第２実施形態では、３次元データから翅のアウトライン及び翅脈をポリラインデータとして抽出し、そのポリラインデータを用いて２次元画像を生成する。なお、第１実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【0067】
図１２は、第２実施形態に係る画像処理システム２１０の構成の一例を示すブロック図である。第２実施形態に係る画像処理システム２１０のコンピュータ２１４は、機能的には、図１２に示すように、画像記憶部２０と、画像処理部２２と、３次元データ取得部２４と、ポリラインデータ抽出部２２６と、翅脈ルール記憶部３０と、翅脈画像生成部２３２と、データベース３４と、虫類特定部３６とを備えている。
【0068】
ポリラインデータ抽出部２２６は、３次元データ取得部２４により取得された３次元データから、翅のアウトライン及び翅脈を含むポリラインデータを抽出する。
【0069】
図１３に、ポリラインデータの抽出を説明するための図を示す。図１３に示されるように、例えば、ポリラインデータ抽出部２２６は、３次元データに対して既知のエッジ抽出処理を行い、翅のアウトライン及び翅脈を含むポリラインデータＥを抽出する。なお、この場合には、図１３に示されるように、交点Ｐ１・・・Ｐ４が抽出されるため、翅脈の特徴量としての長さＬ１，Ｌ２等も同時に抽出することも可能である。これらの特徴量は、虫類特定部３６において用いられる。
【0070】
翅脈画像生成部２３２は、ポリラインデータ抽出部２２６により抽出されたポリラインデータに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成する。例えば、翅脈画像生成部２３２は、３次元のポリラインデータをある２次元平面に投影することにより、２次元画像である翅脈画像を生成する。
【0071】
＜画像処理システムの作用＞
【0072】
次に、図１４を参照して、第２実施形態の画像処理システム２１０の作用を説明する。画像処理システム２１０のコンピュータ２１４は、カメラ１２により画像を受け付けると、画像記憶部２０に格納する。そして、画像処理システム２１０のコンピュータ２１４は、虫類の種類の特定処理開始の指示信号を受け付けると、図１４に示す虫類特定処理ルーチンを実行する。
【0073】
＜虫類特定処理ルーチン＞
【0074】
ステップＳ１００～Ｓ１０２及びステップＳ１１０～Ｓ１１２は、第１実施形態と同様に実行される。
【0075】
ステップＳ２０４において、ポリラインデータ抽出部２２６は、ステップＳ１０２で取得された３次元データから、翅のアウトライン及び翅脈を含むポリラインデータを抽出する。
【0076】
ステップＳ２０８において、翅脈画像生成部３２は、上記ステップＳ２０４で生成されたポリラインデータに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成する。
【0077】
なお、第２実施形態に係る画像処理システム２１０の他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
【0078】
以上詳細に説明したように、第２実施形態の画像処理システムにおける虫類特定方法は、虫類を表す画像から虫類の翅の領域を検出する。そして、虫類特定方法は、虫類を表す画像から虫類の翅を表す３次元データを取得し、取得された３次元データから翅のアウトライン及び翅脈を含むポリラインデータを抽出する。そして、虫類特定方法は、抽出されたポリラインデータに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成する。そして、虫類特定方法は、虫類の種類と虫類の翅脈を表す画像とが関連付けられた複数のデータが格納されたデータベースを参照して、生成された翅脈画像に対応する、虫類の種類を特定する。これにより、虫類の翅脈に関する情報を用いて虫類の種類を特定することができる。
【0079】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0080】
例えば、上記実施形態では、虫類の種類と虫類の翅脈を表す画像とが関連付けられた複数のデータが格納されたデータベースを参照して、生成された翅脈画像に対応する、虫類の種類を特定する場合を例に説明したが、これに限定されるものではない。例えば、翅脈画像から該翅脈画像に写る虫類の種類を特定するための学習済みモデルを用いて、虫類の種類を特定するようにしてもよい。この場合には、例えば、上記実施形態のデータベース３４に格納された複数のデータを学習用データとして用いて、学習済みモデルが予め学習される。図１５に、脈画像から該翅脈画像に写る虫類の種類を特定するための学習済みモデルの一例を表す図を示す。
【0081】
例えば、図１５に示されるように、ニューラルネットワーク等の学習済みモデルに翅脈画像が入力されると、その翅脈画像が該当する虫類の種類の確率が出力される。例えば、学習済みモデルは、ユスリカ科０．８、キノコバエ科０．１といった確率情報を出力する。このため、虫類特定部３６は、それらの確率情報を用いて、翅脈画像がどの種類に該当するのかを特定するようにしてもよい。
【0082】
また、上記実施形態では、３次元データから翅脈画像を生成する際に、ポリゴンデータ又はポリラインデータを用いる場合を例に説明したが、これに限定されるものではない。例えば、以下の参考情報３，４に開示されているような技術を用いるようにしてもよい。
【0083】
参考情報３：［令和２年３月２３日検索］、インターネット＜https://tamasoft.co.jp/pepakura/productinfo/index.html＞
参考情報４：［令和２年３月２３日検索］、インターネット＜https://www.cadmac.net/products/seg5＞
参考情報４：［令和２年３月２３日検索］、インターネット＜https://www.cadmac.net/products/seg5＞
【0084】
また、上記実施形態では、翅脈画像生成部３２は、翅脈画像を生成する際に、虫類の翅脈に関する予め定められたルールが満たされるように翅脈画像を生成する場合を例に説明したが、一旦翅脈画像を生成した後にその翅脈画像を補正するようにしてもよい。この場合には、例えば、翅脈画像生成部３２は、特許第3837710号公報又は特許第4095768号公報に開示されている技術を用いて、一旦生成された翅脈画像を補正するようにしてもよい。更に、翅脈画像生成部３２は、ルールが満たされるまで翅脈画像の補正を繰り返すようにしてもよい。
【0085】
また、上記実施形態では、カメラ１２によって取得された画像を用いて３次元データを生成する場合を例に説明したが、これに限定されるものではない。例えば、虫類が張り付いている粘着紙を、ＣＴスキャン、レーザ、パターン光照射、又は共焦点顕微鏡等のセンサによってセンシングし、３次元データを直接取得するようにしてもよい。この場合には、３次元の点群データとして情報が取得される。
【0086】
また、例えば、粘着紙に複数の虫類が付着している場合には、それらの虫類の種類をカウントし、カウントされた値が一定値以上となった場合にアラートを出力するようにしてもよい。
【0087】
また、上記第２実施形態では、ポリラインデータに基づいて、虫類の翅脈を含む２次元画像である翅脈画像を生成し、当該翅脈画像から特徴量を抽出する場合を例に説明したが、これに限定されるものではない。例えば、ポリラインデータから直接特徴量を抽出し、ポリラインデータから抽出される特徴量に基づいて、取得した３次元データに対応する虫類の種類を特定するようにしてもよい。図１６に、ポリラインデータから抽出される特徴量の一例を示す。図１６に示されるように、ポリラインデータから翅脈の何れの部分に該当するか（外形線，Ｃ１，Ｒ１，Ｒ２等）が判定され、それらの相対長と相対位置とが特徴量として抽出される。そして、ポリラインデータから抽出される特徴量と、データベースに格納されている、虫類の種類と虫類の翅脈を表す特徴量とが比較され虫類の種類が特定される。なお、虫類の種類の特定には、予め学習された学習済みモデルが用いられてもよい。なお、図１６に示される特徴量は、上記各実施形態においても用いることが可能な特徴量である。
【0088】
また、上記では本発明に係るプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、本発明に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ及びマイクロＳＤカード等の記録媒体に記録されている形態で提供することも可能である。
【符号の説明】
【0089】
１０，２１０ 画像処理システム
１２ カメラ
１４，２１４ コンピュータ
１６ 表示部
２０ 画像記憶部
２２ 画像処理部
２４ ３次元データ取得部
２６ 屈曲点抽出部
２８ ポリゴン生成部
３０ 翅脈ルール記憶部
３２，２３２ 翅脈画像生成部
３４ データベース
３６ 虫類特定部
２２６ ポリラインデータ抽出部
１２ カメラ
１４，２１４ コンピュータ
１６ 表示部
２０ 画像記憶部
２２ 画像処理部
２４ ３次元データ取得部
２６ 屈曲点抽出部
２８ ポリゴン生成部
３０ 翅脈ルール記憶部
３２，２３２ 翅脈画像生成部
３４ データベース
３６ 虫類特定部
２２６ ポリラインデータ抽出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
