ホーム > 特許ランキング > 学校法人金沢工業大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-18
(45)【発行日】2025-02-27
(54)【発明の名称】画像認識システム、画像認識方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250219BHJP
G06T 1/00 20060101ALI20250219BHJP
H04N 23/60 20230101ALI20250219BHJP
H04N 23/63 20230101ALI20250219BHJP
【ＦＩ】
G06T7/00 300B
G06T1/00 200E
H04N23/60 300
H04N23/63 330
【請求項の数】
8
(21)【出願番号】P 2020203677
(22)【出願日】2020-12-08
(65)【公開番号】P2022091015
(43)【公開日】2022-06-20
【審査請求日】2023-10-31
【新規性喪失の例外の表示】特許法第３０条第２項適用 一般社団法人中部森林学会から令和２年５月３０日に発行された中部森林研究第６８号（第２５頁～第３０頁）にて公開
(73)【特許権者】
【識別番号】593165487
【氏名又は名称】学校法人金沢工業大学
(74)【代理人】
【識別番号】100137394
【弁理士】
【氏名又は名称】横井 敏弘
(72)【発明者】
【氏名】長田 茂美
(72)【発明者】
【氏名】上原 祐介
【審査官】村山 絢子
(56)【参考文献】
【文献】J Redmon, et.al.，You Only Look Once: Unified, Real-Time Object Detection，016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，米国，2016年12月12日，pp.779-788
【文献】Mohammed Sadegh Norouzzadeh, Anh Nguyen, Margaret Kosmala, Ali Swanson, Meredith Palmer, Craig Packer, Jeff Clune，Automatically identifying, counting, and describing wild animals in camera-trap images with deep learning，arXiv pre-print, arXiv:1703.05830v5，米国，2017年11月15日，pp. 1-17，https://arxiv.org/abs/1703.05830
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
Ｇ０６Ｔ １／００
Ｈ０４Ｎ ２３／００－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理部と、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理部と、
前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度とに基づいて、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果を採用するか否かを判定する統合判定部と、
野生動物が出現しうる領域で撮影を行う撮影手段と
を有し、
前記第１の判定処理部は、前記撮影手段により撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理部は、前記撮影手段により撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定部は、前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果を採用するか否かを判定し、
ユーザの操作に応じて、前記統合判定部により用いられる閾値又は重み付け係数を変更する設定部
をさらに有し、
前記統合判定部は、前記設定部により変更された閾値又は重み付け係数に基づいて、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果を採用するか否かを判定する
画像認識システム。
【請求項2】
前記撮影手段は、動く物体を検知して撮影を行うカメラトラップであり、前記カメラトラップにより撮影された画像の中に、野生動物が写っているか否かを判定する在／不在判定部
をさらに有し、
前記第１の判定処理部は、前記在／不在判定部により野生動物が写っていると判定された画像に関して、野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理部は、前記在／不在判定部により野生動物が写っていると判定された画像に関して、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力する
請求項１に記載の画像認識システム。
【請求項3】
前記第２の判定処理部により判定された領域を、前記統合判定部により採用すると判定された前記画像中に、既定の色値で表示し、あるいは、判定された領域の外接矩形を表示し、あるいは、判定された領域の中心を中心とする円又は楕円を表示する表示手段をさらに有する請求項１に記載の画像認識システム。
【請求項4】
撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理部と、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理部と、
前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度とに基づいて、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果を採用するか否かを判定する統合判定部と、
野生動物が出現しうる領域で撮影を行う撮影手段と
を有し、
前記第１の判定処理部は、前記撮影手段により撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理部は、前記撮影手段により撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定部は、前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果を採用するか否かを判定し、
前記統合判定部により採用すると判定された画像を、前記第１の判定処理部による判定結果、及び、前記第２の判定処理部による判定結果に関連付けて格納するデータベースと、
ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、前記データベースから、撮影された画像を検索する画像検索部と
をさらに有する
画像認識システム。
【請求項5】
コンピュータが、撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、コンピュータが、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、
コンピュータが、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップと、
カメラが、野生動物が出現しうる領域で撮影を行う撮影ステップと
を有し、
前記第１の判定処理ステップは、前記撮影ステップにより撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理ステップは、前記撮影ステップにより撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定ステップは、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定し、
コンピュータが、ユーザの操作に応じて、前記統合判定ステップにより用いられる閾値又は重み付け係数を変更する設定ステップ
をさらに有し、
前記統合判定ステップは、前記設定ステップにより変更された閾値又は重み付け係数に基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する
画像認識方法。
【請求項6】
コンピュータが、撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、コンピュータが、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、
コンピュータが、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップと、
カメラが、野生動物が出現しうる領域で撮影を行う撮影ステップと
を有し、
前記第１の判定処理ステップは、前記撮影ステップにより撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理ステップは、前記撮影ステップにより撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定ステップは、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定し、
コンピュータが、前記統合判定ステップにより採用すると判定された画像を、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果に関連付けてデータベースに格納する格納ステップと、
コンピュータが、ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、前記データベースから、撮影された画像を検索する画像検索ステップと
をさらに有する
画像認識方法。
【請求項7】
撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、
前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップと
をコンピュータに実行させるプログラムであって、
前記第１の判定処理ステップは、撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理ステップは、撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定ステップは、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定し、
ユーザの操作に応じて、前記統合判定ステップにより用いられる閾値又は重み付け係数を変更する設定ステップ
をさらにコンピュータに実行させ、
前記統合判定ステップは、前記設定ステップにより変更された閾値又は重み付け係数に基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する
プログラム。
【請求項8】
撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、
前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップと
をコンピュータに実行させるプログラムであって、
前記第１の判定処理ステップは、撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、
前記第２の判定処理ステップは、撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、
前記統合判定ステップは、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果を採用するか否かを判定し、
前記統合判定ステップにより採用すると判定された画像を、前記第１の判定処理ステップによる判定結果、及び、前記第２の判定処理ステップによる判定結果に関連付けてデータベースに格納する格納ステップと、
ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、前記データベースから、撮影された画像を検索する画像検索ステップと
をさらに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像認識システム、画像認識方法、及びプログラムに関する。
【背景技術】
【0002】
例えば、画像から野生動物の種を目視で判定する作業負荷を低減するため、画像認識技術を用いて野生動物の種を自動判定し、調査者に提示する先行技術が考案されている。
非特許文献１には、深層学習に基づく画像認識技術により、画像からニホンジカ、イノシシ、カモシカ、ツキノワグマという野生動物の種を認識し、調査者に提示する方法が開示されている。
また、非特許文献２には、深層学習に基づく物体検出技術により、画像に写った物体の領域の外接矩形を検出する方法が開示されている。当該技術を野生動物の画像に適用し、野生動物の領域に対応する外接矩形を表示することで、画像中の野生動物の位置を調査者が探す作業の負荷を軽減することが期待できる。
非特許文献１には、深層学習に基づく画像認識技術により、画像からニホンジカ、イノシシ、カモシカ、ツキノワグマという野生動物の種を認識し、調査者に提示する方法が開示されている。
また、非特許文献２には、深層学習に基づく物体検出技術により、画像に写った物体の領域の外接矩形を検出する方法が開示されている。当該技術を野生動物の画像に適用し、野生動物の領域に対応する外接矩形を表示することで、画像中の野生動物の位置を調査者が探す作業の負荷を軽減することが期待できる。
【先行技術文献】
【特許文献】
【0003】
【文献】安藤正規，中塚俊介，相澤宏旭，中森さつき，池田敬，森部絢嗣，寺田和憲，加藤邦人，“深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によるカメラトラップ画像の判別”， 哺乳類科学５９（１），ｐｐ４９－６０，２０１９
【文献】Shaoquing Ren, Kaiming He, Ross Girshick, Jian Sun, “Faster R-CNN: Towards real-time object detection with region proposal networks,” Proc. Of the 28th International Conference on Neural Information Processing Systems, Vol.1, pp91-99, 2015
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、被写体の種又は位置を確認する作業の負荷を低減する画像認識システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明に係る画像認識システムは、撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理部と、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理部と、前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度とに基づいて、前記第１の判定処理部による判定結果、又は、前記第２の判定処理部による判定結果を採用するか否かを判定する統合判定部とを有する。
【0006】
好適には、野生動物が出現しうる領域で撮影を行う撮影手段をさらに有し、前記第１の判定処理部は、前記撮影手段により撮影された画像に基づいて、被写体である野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、前記第２の判定処理部は、前記撮影手段により撮影された同一の画像に基づいて、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力し、前記統合判定部は、前記第１の判定処理部により出力された確信度と、前記第２の判定処理部により出力された確信度と、既定の重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、既定の閾値とを比較して、前記第１の判定処理部による判定結果、又は、前記第２の判定処理部による判定結果を採用するか否かを判定する。
【0007】
好適には、前記撮影手段は、動く物体を検知して撮影を行うカメラトラップであり、前記カメラトラップにより撮影された画像の中に、野生動物が写っているか否かを判定する在／不在判定部をさらに有し、前記第１の判定処理部は、前記在／不在判定部により野生動物が写っていると判定された画像に関して、野生動物の種を判定し、判定された種の識別情報と、この判定結果の確信度とを出力し、前記第２の判定処理部は、前記在／不在判定部により野生動物が写っていると判定された画像に関して、この画像の中の野生動物に相当する領域を判定し、判定された野生動物の領域と、この判定結果の確信度とを出力する。
【0008】
好適には、ユーザの操作に応じて、前記統合判定部により用いられる閾値又は重み付け係数を変更する設定部をさらに有し、前記統合判定部は、前記設定部により変更された閾値又は重み付け係数に基づいて、前記第１の判定処理部による判定結果、又は、前記第２の判定処理部による判定結果を採用するか否かを判定する。
【0009】
好適には、前記第２の判定処理部により判定された領域を、撮影された画像中に、既定の色値で表示し、あるいは、判定された領域の外接矩形を表示し、あるいは、判定された領域の中心を中心とする円又は楕円を表示する表示手段をさらに有する。
【0010】
好適には、ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、撮影された画像を検索する画像検索部をさらに有する。
【0011】
また、本発明に係る画像認識方法は、コンピュータが、撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、コンピュータが、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、コンピュータが、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、又は、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップとを有する。
【0012】
また、本発明に係るプログラムは、撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第１の判定処理ステップと、前記画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を出力する第２の判定処理ステップと、前記第１の判定処理ステップにより出力された確信度と、前記第２の判定処理ステップにより出力された確信度とに基づいて、前記第１の判定処理ステップによる判定結果、又は、前記第２の判定処理ステップによる判定結果を採用するか否かを判定する統合判定ステップとをコンピュータに実行させる。
【発明の効果】
【0013】
本発明によれば、被写体の種又は位置を確認する作業の負荷を低減する画像認識システムを提供できる。
【図面の簡単な説明】
【0014】
【図1】野生動物認識システム１の全体構成を例示する図である。
【図2】画像認識装置２のハードウェア構成を例示する図である。
【図3】画像認識装置２の機能構成を例示する図である。
【図4】画像認識装置２による野生動物認識処理（Ｓ１０）を説明するフローチャートである。
【図5】領域検出学習データベース５１０（領域検出学習ＤＢ５１０）に格納される教師データを例示する図である。
【図6】確信度ＰＲを算出するための式１、及び、統合確信度ＰＫＲを算出するための式２を例示する図である。
【図7】種認識の判定結果と領域検出の判定結果の表示例である。
【図8】（Ａ）は、検索キーの表示例であり、（Ｂ）は、合致度ＭＫＲを算出するための式３を例示する図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を、図面を参照して説明する。
図１は、野生動物認識システム１の全体構成を例示する図である。
図１に例示するように、野生動物認識システム１は、画像認識装置２と、野生動物が出現しうる領域に設置されたカメラトラップ３とを含み、これらがインターネット７を介して互いに接続している。
図１は、野生動物認識システム１の全体構成を例示する図である。
図１に例示するように、野生動物認識システム１は、画像認識装置２と、野生動物が出現しうる領域に設置されたカメラトラップ３とを含み、これらがインターネット７を介して互いに接続している。
【0016】
画像認識装置２は、コンピュータ端末であり、カメラトラップ３により撮影された画像を取得し、取得された画像の中から、被写体の種又は領域を判定する。なお、本例では、画像認識装置２が、インターネット７を介して、カメラトラップ３により撮影された画像の画像データを取得する形態を具体例として説明するが、これに限定されるものではなく、例えば、記録媒体や通信ケーブルを介して、撮影された画像データをカメラトラップ３から画像認識装置２に移してもよい。
カメラトラップ３は、本発明に係る撮影手段の一例であり、赤外線センサー等により動く物体を検知し、自動的に撮影を行うカメラである。
カメラトラップ３は、本発明に係る撮影手段の一例であり、赤外線センサー等により動く物体を検知し、自動的に撮影を行うカメラである。
【0017】
上記野生動物認識システム１によって、野生動物による農林業への被害を抑制するため、また、希少な野生動物を保護するために必要な野生動物の生息状況の調査の作業負荷を軽減する。
野生動物による農林業への被害抑止や希少な野生動物を保護するためには、森林等の生息域において、どのような種の野生動物がいつ、どこに現れるかという生息状況を調査し、把握することが必要である。このため、野生動物の生息域にカメラトラップ３を設置し、活用している。野生動物が出現する日時は、カメラトラップ３に記録される撮影日時から特定でき、野生動物が出現する場所は、カメラトラップ３の設置位置（緯度経度など）から特定できる。カメラトラップ３を活用することで、調査者が頻繁に生息域に出向いて生息状況を調査する労力を省き、調査の効率を大きく向上した。
野生動物による農林業への被害抑止や希少な野生動物を保護するためには、森林等の生息域において、どのような種の野生動物がいつ、どこに現れるかという生息状況を調査し、把握することが必要である。このため、野生動物の生息域にカメラトラップ３を設置し、活用している。野生動物が出現する日時は、カメラトラップ３に記録される撮影日時から特定でき、野生動物が出現する場所は、カメラトラップ３の設置位置（緯度経度など）から特定できる。カメラトラップ３を活用することで、調査者が頻繁に生息域に出向いて生息状況を調査する労力を省き、調査の効率を大きく向上した。
【0018】
また、撮影された画像を調査者が目視で確認することで、野生動物の種を判定し、記録することも可能であるが、カメラトラップ３で撮影される膨大な画像に対し、野生動物の種を目視で判定する作業は負荷が大きい。
なお、非特許文献１や非特許文献２に記載された方法では、野生動物が写っていない画像も対象として、種の認識や領域検出を行っていた。その結果、森林の木々など野生動物ではない物体を野生動物であると誤ることがあった。カメラトラップ３は、野生動物に限らず、動く物体を検知して撮影するため、木や草が風で揺れる場合などでも撮影されることが多いからである。
なお、非特許文献１や非特許文献２に記載された方法では、野生動物が写っていない画像も対象として、種の認識や領域検出を行っていた。その結果、森林の木々など野生動物ではない物体を野生動物であると誤ることがあった。カメラトラップ３は、野生動物に限らず、動く物体を検知して撮影するため、木や草が風で揺れる場合などでも撮影されることが多いからである。
【0019】
そこで、本例の画像認識装置２は、種の判定処理の確信度と、領域判定の確信度との両方を加味して、種の判定結果、及び、領域判定の判定結果の確からしさを判定する。例えば、種の判定処理の確信度が高くても、領域判定の確信度が著しく低い場合には、本例の画像認識装置２は不明であると判定する。これにより、調査者が確認するための作業を大幅に省くことが期待できる。
【0020】
図２は、画像認識装置２のハードウェア構成を例示する図である。
図２に例示するように、画像認識装置２は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び、入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図３の画像認識プログラム５）やその他のデータファイルを格納する。
ネットワークインタフェース２０６は、有線又は無線で通信するためのインタフェースであり、例えば、カメラトラップ３との通信を実現する。
表示装置２０８は、例えば、液晶ディスプレイ（ＬＣＤパネル）である。
入力装置２１０は、例えば、タッチパネルである。
図２に例示するように、画像認識装置２は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び、入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図３の画像認識プログラム５）やその他のデータファイルを格納する。
ネットワークインタフェース２０６は、有線又は無線で通信するためのインタフェースであり、例えば、カメラトラップ３との通信を実現する。
表示装置２０８は、例えば、液晶ディスプレイ（ＬＣＤパネル）である。
入力装置２１０は、例えば、タッチパネルである。
【0021】
図３は、画像認識装置２の機能構成を例示する図である。
図３に例示するように、本例の画像認識装置２には、画像認識プログラム５がインストールされ、動作する。画像認識プログラム５は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、画像認識装置２にインストールされる。
画像認識プログラム５は、撮影画像取得部５００、在／不在学習データベース５０２（在／不在学習ＤＢ５０２）、在／不在認識部５０４、種認識学習データベース５０６（種認識学習ＤＢ５０６）、種認識部５０８、領域検出学習データベース５１０（領域検出学習ＤＢ５１０）、領域検出部５１２、設定部５１４、統合判定部５１６、生息状況データベース５１８（生息状況ＤＢ５１８）、結果表示部５２０、及び画像検索部５２２を有する。
なお、画像認識プログラム５の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
図３に例示するように、本例の画像認識装置２には、画像認識プログラム５がインストールされ、動作する。画像認識プログラム５は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、画像認識装置２にインストールされる。
画像認識プログラム５は、撮影画像取得部５００、在／不在学習データベース５０２（在／不在学習ＤＢ５０２）、在／不在認識部５０４、種認識学習データベース５０６（種認識学習ＤＢ５０６）、種認識部５０８、領域検出学習データベース５１０（領域検出学習ＤＢ５１０）、領域検出部５１２、設定部５１４、統合判定部５１６、生息状況データベース５１８（生息状況ＤＢ５１８）、結果表示部５２０、及び画像検索部５２２を有する。
なお、画像認識プログラム５の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
【0022】
画像認識プログラム５において、撮影画像取得部５００は、カメラトラップ３により撮影された画像の画像データを取得する。本例の撮影画像取得部５００は、インターネット７を介して、カメラトラップ３から、撮影された画像の画像データ、撮影日時及びカメラトラップＩＤ（すなわち、撮影場所を示す情報）を受信する。
【0023】
在／不在学習データベース５０２は、在／不在を判定するための教師データとして、予めカメラトラップ３で撮影された画像と、その画像に野生動物が写っている（在）、又は、写っていない（不在）のラベルとを互いに関連付けて格納する。野生動物が写っている（在）又は写っていない（不在）のラベルは、例えば、調査者が予め判定したものである。
【0024】
在／不在認識部５０４は、カメラトラップ３により撮影された画像の中に、野生動物が写っているか否かを判定する。本例の在／不在認識部５０４は、在／不在学習データベース５０２に格納されているデータの集合を用いて、機械学習により画像の特徴と野生動物の在／不在の関係のモデルを構築し、構築されたモデルを用いて、撮影画像取得部５００により新たに取得された画像データに関して、画像中に野生動物が写っているか（在）／写っていないか（不在）を判定する。在／不在認識部５０４は、例えば、「Kaiming He, Xiangyu Zhang, Shaoquing Ren, Jian Sun, “Deep residual learning for image recognition,” Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pp770-778, 2016」に記載されたＲｅｓＮｅｔ５０である。
【0025】
種認識学習データベース５０６は、被写体の種を判定するための教師データとして、予めカメラトラップ３で撮影された画像と、その画像に写っている野生動物の種のラベルとを互いに関連付けて格納する。格納される種のラベルは、例えば、調査者が目視で予め判定したものである。
【0026】
種認識部５０８は、カメラトラップ３により撮影された画像に含まれる被写体の種を判定し、判定結果及びこの判定結果の確からしさを示す確信度を統合判定部５１６に出力する。本例の種認識部５０８は、種認識学習データベース５０６に格納されているデータの集合を用いて、機械学習により画像の特徴と野生動物の種の関係のモデルを構築し、構築されたモデルを用いて、在／不在認識部５０４により在と判定された画像データに関して、画像中の野生動物の種の確信度を算出し、算出された確信度に基づいて種を判定する。
【0027】
領域検出学習データベース５１０は、被写体の領域を判定するための教師データとして、予めカメラトラップ３で撮影された画像と、その画像に写っている野生動物の領域の画素とを互いに関連付けて格納する。野生動物の領域の画素は、例えば、調査者が目視で予め判定したものである。
【0028】
領域検出部５１２は、カメラトラップ３により撮影された画像に含まれる被写体の領域を判定し、判定結果及びこの判定結果の確からしさを示す確信度を統合判定部５１６に出力する。本例の領域検出部５１２は、領域検出学習データベース５１０に格納されているデータの集合を用いて、機械学習により画像の特徴と野生動物の領域の画素との関係のモデルを構築し、構築されたモデルを用いて、在／不在認識部５０４により在と判定された画像データに関して、画像中の野生動物の領域の画素を判定し、その画素から領域の確信度を算出し、算出された確信度に基づいて領域を判定する。領域検出部５１２は、例えば、「Olaf Ronneberger, Philipp Fischer, Thomas Brox, “U-Net: Convolutional networks for biomedical image segmentation,” Proc. of the Medical Image Computing and Computer-Assisted Intervention, Springer, LNCS, Vol.9351: pp234-241, 2015」に記載されたＵ－Ｎｅｔである。
【0029】
設定部５１４は、ユーザの操作に応じて、統合判定部５１６により用いられる閾値又は重み付け係数を変更する。閾値は、種又は領域を不明とするか否かを決定するための閾値である。重み付け係数は、統合判定部５１６が統合確信度を算出する際に用いる係数であり、例えば、図６の式２に含まれるβ及びγである。
【0030】
統合判定部５１６は、種認識部５０８により出力された確信度と、領域検出部５１２により出力された確信度と、設定部５１４により設定された重み付け係数とに基づいて、統合確信度を算出し、算出された統合確信度と、設定部５１４により設定された閾値とを比較して、種認識部５０８による判定結果、又は、領域検出部５１２による判定結果を採用するか否かを判定する。本例の統合判定部５１６は、算出された統合確信度が閾値以上である場合に、種認識部５０８により判定された種、及び、領域検出部５１２により判定された領域を採用して、ユーザによる目視確認に回し、算出された統合確信度が閾値よりも低い場合に、種認識部５０８により判定された種、及び、領域検出部５１２により判定された領域を不明として、ユーザによる目視確認に回さない。
【0031】
生息状況データベース５１８は、撮影画像取得部５００により取得された画像データ（撮影日時及び撮影場所情報を含む）と、これらに対する種認識部５０８、領域検出部５１２及び統合判定部５１６による判定結果とを互いに関連付けて格納する。また、生息状況データベース５１８に登録された情報は、結果表示部５２０により表示され、ユーザの操作に応じて修正される。
【0032】
結果表示部５２０は、統合判定部５１６により不明でないと判定された画像、その被写体の種（種認識部５０８の判定結果）、及び、その被写体の領域（領域検出部５１２の判定結果）を表示装置２０８に表示させて、ユーザ（調査者）による目視確認を促す。
例えば、結果表示部５２０は、領域検出部５１２により判定された領域を、撮影された画像中に、既定の色値で表示してもよいし、判定された領域の外接矩形を表示してもよいし、判定された領域の中心を中心とする円又は楕円を表示してもよい。
本例の結果表示部５２０は、図７に例示するように、領域検出部５１２により判定された領域の外接矩形を表示し、この外接矩形の上部に、種認識部５０８により判定された種（図７の「ニホンカモシカ」）を表示する。ユーザ（調査者）が、結果表示部５２０により表示された結果を目視確認し、問題が無いと判断した場合に、次の調査対象画像に進む指示のみを入力装置２１０によって行う。その際に、結果表示部５２０は、この判定結果を生息状況データベース５１８に目視確認済みとして登録する。
また、ユーザ（調査者）が、結果表示部５２０により表示された結果を目視確認し、種を修正した場合に、修正された種を生息状況データベース５１８に登録する。
例えば、結果表示部５２０は、領域検出部５１２により判定された領域を、撮影された画像中に、既定の色値で表示してもよいし、判定された領域の外接矩形を表示してもよいし、判定された領域の中心を中心とする円又は楕円を表示してもよい。
本例の結果表示部５２０は、図７に例示するように、領域検出部５１２により判定された領域の外接矩形を表示し、この外接矩形の上部に、種認識部５０８により判定された種（図７の「ニホンカモシカ」）を表示する。ユーザ（調査者）が、結果表示部５２０により表示された結果を目視確認し、問題が無いと判断した場合に、次の調査対象画像に進む指示のみを入力装置２１０によって行う。その際に、結果表示部５２０は、この判定結果を生息状況データベース５１８に目視確認済みとして登録する。
また、ユーザ（調査者）が、結果表示部５２０により表示された結果を目視確認し、種を修正した場合に、修正された種を生息状況データベース５１８に登録する。
【0033】
画像検索部５２２は、ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、撮影された画像を検索する。本例の画像検索部５２２は、ユーザが指定した種、及び、ユーザが指定した画像中の位置の少なくとも一方に基づいて、生息状況データベース５１８に格納されている画像を検索し、検索結果をユーザに提示する。
【0034】
図４は、画像認識装置２による野生動物認識処理（Ｓ１０）を説明するフローチャートである。
図４に示すように、ステップ１００（Ｓ１００）において、画像認識装置２の撮影画像取得部５００（図３）は、カメラトラップ３により撮影された画像データ（撮影日時及び撮影場所情報を含む）を、インターネット７を介してカメラトラップ３から取得する。
ステップ１０５（Ｓ１０５）において、在／不在認識部５０４は、在／不在学習データベース５０２のデータに基づいて構築されたモデルを用いて、撮影画像取得部５００により取得された画像データに関して、画像中に野生動物が写っているか（在）／写っていないか（不在）を判定する。
図４に示すように、ステップ１００（Ｓ１００）において、画像認識装置２の撮影画像取得部５００（図３）は、カメラトラップ３により撮影された画像データ（撮影日時及び撮影場所情報を含む）を、インターネット７を介してカメラトラップ３から取得する。
ステップ１０５（Ｓ１０５）において、在／不在認識部５０４は、在／不在学習データベース５０２のデータに基づいて構築されたモデルを用いて、撮影画像取得部５００により取得された画像データに関して、画像中に野生動物が写っているか（在）／写っていないか（不在）を判定する。
【0035】
ステップ１１０（Ｓ１１０）において、画像認識プログラム５は、在／不在認識部５０４により野生動物が写っている（在）と判定された場合に、Ｓ１１５及びＳ１２０の処理に移行し、在／不在認識部５０４により野生動物が写っていない（不在）と判定された場合に、この撮影画像に関する処理を終了する。
【0036】
ステップ１１５（Ｓ１１５）において、種認識部５０８は、種認識学習データベース５０６のデータに基づいて構築されたモデルを用いて、画像中の野生動物の種の確信度を算出し、算出された確信度に基づいて種を判定する。
ステップ１２０（Ｓ１２０）において、領域検出部５１２は、領域検出学習データベース５１０のデータに基づいて構築されたモデルを用いて、画像中の野生動物の領域の画素を判定し、その画素から領域の確信度を算出し、算出された確信度に基づいて領域を判定する。
なお、Ｓ１２０の処理は、Ｓ１１５の処理と並行して行ってもよいし、Ｓ１１５の処理の後に行ってもよい。
ステップ１２０（Ｓ１２０）において、領域検出部５１２は、領域検出学習データベース５１０のデータに基づいて構築されたモデルを用いて、画像中の野生動物の領域の画素を判定し、その画素から領域の確信度を算出し、算出された確信度に基づいて領域を判定する。
なお、Ｓ１２０の処理は、Ｓ１１５の処理と並行して行ってもよいし、Ｓ１１５の処理の後に行ってもよい。
【0037】
ステップ１２５（Ｓ１２５）において、統合判定部５１６は、種認識部５０８により算出された種の確信度と、領域検出部５１２により算出された領域の確信度と、設定部５１４により設定された重み付け係数とに基づいて、統合確信度を算出する。
ステップ１３０（Ｓ１３０）において、統合判定部５１６は、算出された統合確信度と、設定部５１４により設定された閾値とを比較する。画像認識プログラム５は、統合判定部５１６により統合確信度が閾値以上であると判定された場合に、Ｓ１３５の処理に移行し、統合確信度が閾値よりも低いと判定された場合に、Ｓ１４５の処理に移行する。
ステップ１３０（Ｓ１３０）において、統合判定部５１６は、算出された統合確信度と、設定部５１４により設定された閾値とを比較する。画像認識プログラム５は、統合判定部５１６により統合確信度が閾値以上であると判定された場合に、Ｓ１３５の処理に移行し、統合確信度が閾値よりも低いと判定された場合に、Ｓ１４５の処理に移行する。
【0038】
ステップ１３５（Ｓ１３５）において、結果表示部５２０は、図７に例示するように、統合判定部５１６により不明でないと判定された画像、種認識部５０８の判定結果、及び、領域検出部５１２の判定結果を表示装置２０８に表示させて、ユーザ（調査者）による目視確認を促す。ユーザ（調査者）は、必要に応じて、表示された判定結果を修正する。
ステップ１４０（Ｓ１４０）において、結果表示部５２０は、ユーザ（調査者）による確認作業が完了すると、種認識部５０８及び領域検出部５１２の判定結果、又は、ユーザにより修正された結果を生息状況データベース５１８に目視確認済みとして登録する。
ステップ１４５（Ｓ１４５）において、生息状況データベース５１８は、統合判定部５１６により不明であると判定された画像を不明データとして格納する。
ステップ１４０（Ｓ１４０）において、結果表示部５２０は、ユーザ（調査者）による確認作業が完了すると、種認識部５０８及び領域検出部５１２の判定結果、又は、ユーザにより修正された結果を生息状況データベース５１８に目視確認済みとして登録する。
ステップ１４５（Ｓ１４５）において、生息状況データベース５１８は、統合判定部５１６により不明であると判定された画像を不明データとして格納する。
【0039】
次に、在／不在学習データベース５０２に格納される教師データについて説明する。在／不在を判定するための教師データは、予めカメラトラップ３で撮影された画像集合と、その画像集合について調査者が目視で野生動物の在／不在を判定した結果の“在”ラベルあるいは“不在”ラベルの集合である正解データからなる。
在／不在認識部５０４は、ＲｅｓＮｅｔ５０の手法により、在／不在学習データベース５０２に格納される教師データを用いて、画像特徴と野生動物の在／不在の関係を学習して、モデルを構築し、新たに入力された画像データに対して“在”ラベル又は“不在”ラベルを付与する。
在／不在認識部５０４は、ＲｅｓＮｅｔ５０の手法により、在／不在学習データベース５０２に格納される教師データを用いて、画像特徴と野生動物の在／不在の関係を学習して、モデルを構築し、新たに入力された画像データに対して“在”ラベル又は“不在”ラベルを付与する。
【0040】
次に、種認識学習データベース５０６に格納される教師データについて説明する。種を判定するための教師データは、予めカメラトラップ３で撮影された画像集合と、その画像に写っている野生動物の種について調査者が目視で判定した結果である種の名称のラベルの集合である正解データからなる。種の名称のラベルとしては、例えば、「イノシシ」、「ツキノワグマ」などの文字列であり、調査対象の野生動物に合わせて種の名称を定義し、その名称をラベルとする。
種認識部５０８は、ＲｅｓＮｅｔ５０の手法により、種認識学習データベース５０６に格納される教師データを用いて、画像特徴と野生動物の種の関係を学習し、モデルを構築する。種認識部５０８は、新たに入力された画像データに対して、構築されたモデルに基づいて、画像に写っている野生動物の種のラベルと、その確信度を付与する。この確信度は、写っている野生動物の種が判定結果と一致している確率であり、［０，１］の連続値で表される。
種認識部５０８は、ＲｅｓＮｅｔ５０の手法により、種認識学習データベース５０６に格納される教師データを用いて、画像特徴と野生動物の種の関係を学習し、モデルを構築する。種認識部５０８は、新たに入力された画像データに対して、構築されたモデルに基づいて、画像に写っている野生動物の種のラベルと、その確信度を付与する。この確信度は、写っている野生動物の種が判定結果と一致している確率であり、［０，１］の連続値で表される。
【0041】
領域検出学習データベース５１０に格納される教師データについて説明する。野生動物の領域を判定するための教師データは、在／不在認識部５０４により“在”とラベル付けされた画像集合と、その画像に写っている野生動物の領域を調査者が目視で判定し、図５に例示するように野生動物の領域の画素値を“１”、その他の領域の画素値を“０”とした画像集合である正解データからなる。なお、図５の正解データは、画素値が“１”の領域を白色で、画素値が“０”の領域を黒色で表示している。
領域検出部５１２は、Ｕ－Ｎｅｔの手法により、領域検出学習データベース５１０に格納されている教師データを用いて、画像特徴と野生動物の領域の関係を学習する。領域検出部５１２は、学習結果に基づいて、新たに入力された画像データに対して、野生動物の領域の画素値を“１”、それ以外の領域の画素値を“０”とした画像データと、野生動物の領域の画素毎の確信度とを出力する。この確信度は、野生動物の領域の画素が検出結果と一致している確率であり、［０，１］の連続値で表される。
領域検出部５１２は、Ｕ－Ｎｅｔの手法により、領域検出学習データベース５１０に格納されている教師データを用いて、画像特徴と野生動物の領域の関係を学習する。領域検出部５１２は、学習結果に基づいて、新たに入力された画像データに対して、野生動物の領域の画素値を“１”、それ以外の領域の画素値を“０”とした画像データと、野生動物の領域の画素毎の確信度とを出力する。この確信度は、野生動物の領域の画素が検出結果と一致している確率であり、［０，１］の連続値で表される。
【0042】
統合判定部５１６が種の判定結果と領域の判定結果の両方を加味した統合確信度を計算する方法を説明する。種の判定結果の確信度ＰＫは、種認識部５０８により計算され、［０，１］の数値で表される。領域の判定結果の確信度ＰＲは、図６の式１により領域検出部５１２で計算される。図６の式１において、ｎは領域検出部５１２により野生動物の領域であると判定された画素の数、ｘは画像中の画素、Ｅｘｉｓｔは領域検出部５１２で野生動物の領域であると判定された画素の集合、Ｂｘは画素ｘの確信度、Ａは野生動物の領域であると判定された画素が隣接している同士を連結した結果の野生動物領域のうち最大の面積を持つ領域の画素数であり最大面積領域の面積を確信度に反映させるための数値、αは最大面積領域の面積を確信度に反映させる際の影響度を制御する係数であり、経験的に決定される。図６の式１の計算により、領域検出部５１２で野生動物の領域であると判定された画素の総体的な確信度に加え、野生動物の領域であると判定された領域の面積が大きいほど確信度が高くなるように領域の判定結果の確信度ＰＲが計算される。野生動物の領域であると判定された領域の面積が大きいほど確信度を高くするのは、面積が小さい場合、そこから得られる情報は面積が大きい場合に比べて少ないことから、確信度が低くなるという事実に基づいている。
【0043】
統合判定部５１６は、上述の種認識の確信度ＰＫと領域検出の確信度ＰＲから、図６の式２によって、統合確信度ＰＫＲを計算する。ここで、βとγは、種認識の確信度と領域検出の確信度に対する重みを制御する重み付け係数であり、経験的に決定される。
統合判定部５１６は、図６の式２により算出された統合確信度が所定の閾値より低い場合に、種認識及び領域検出の結果を不明であると判定し、不採用とする。
統合判定部５１６により不明であると判定されなかった場合に、結果表示部５２０が、表示装置２０８を介して、図７に例示するように、種認識の判定結果と領域検出の判定結果を調査者に提示する。
統合判定部５１６は、図６の式２により算出された統合確信度が所定の閾値より低い場合に、種認識及び領域検出の結果を不明であると判定し、不採用とする。
統合判定部５１６により不明であると判定されなかった場合に、結果表示部５２０が、表示装置２０８を介して、図７に例示するように、種認識の判定結果と領域検出の判定結果を調査者に提示する。
【0044】
また、統合判定部５１６により不明であると判定されなかった場合、カメラトラップ３から取得した撮影日時、及び、予めユーザ（調査者）が入力したカメラトラップ３の設置場所（例えば、緯度経度）としての撮影場所情報と共に判定結果の種及び領域が１セットとして、生息状況データベース５１８に格納される。一方、統合判定部５１６により不明であると判定された場合、カメラトラップ３から取得した撮影日時、予めユーザ（調査者）が入力したカメラトラップ３の設置場所（例えば、緯度経度）としての撮影場所情報とともに判定結果の種及び領域を不明のラベルとし、それらが１セットとして生息状況データベース５１８に格納される。
【0045】
画像検索部５２２の動作を説明する。画像検索部５２２は、生息状況データベース５１８に蓄積された生息状況データに対し、特定の種や領域を調査者（ユーザ）が検索キーとして指定することにより、指定された検索キーに対応する生息状況データを提供する。検索キーは、入力装置２１０を介して、画像検索部５２２に入力され、表示装置２０８に表示される。図８（Ａ）は、検索キーの表示例である。種の検索条件は、種の名称のラベルの文字列として与えられ、領域の検索条件は、点線の矩形領域で与えられる。図８（Ａ）の例では、画像検索部５２２は、点線の領域にツキノワグマが写っている画像を検索する。
画像検索部５２２は、調査者が入力した検索キーと、生息状況データベース５１８に格納されている生息状況データを照合し、図８（Ｂ）の式３により、合致度ＭＫＲを計算する。ここで、ＭＫは種の合致度であり、種認識の確信度とする。ただし、不明のラベルの場合は０とする。ＭＲは領域の合致度であり、検索キーで与えられた領域内の画素で“在”のラベルがついている画素の確信度の平均値とする。φとωは、それぞれ、種の合致度、領域の合致度に対する重み付けのための係数であり、調査者により与えられる。図３（Ｂ）の式３で計算された検索キーとの合致度ＭＫＲの値が大きい順に、画像検索部５２２は、検索結果の画像を表示装置２０８に表示する。
画像検索部５２２は、調査者が入力した検索キーと、生息状況データベース５１８に格納されている生息状況データを照合し、図８（Ｂ）の式３により、合致度ＭＫＲを計算する。ここで、ＭＫは種の合致度であり、種認識の確信度とする。ただし、不明のラベルの場合は０とする。ＭＲは領域の合致度であり、検索キーで与えられた領域内の画素で“在”のラベルがついている画素の確信度の平均値とする。φとωは、それぞれ、種の合致度、領域の合致度に対する重み付けのための係数であり、調査者により与えられる。図３（Ｂ）の式３で計算された検索キーとの合致度ＭＫＲの値が大きい順に、画像検索部５２２は、検索結果の画像を表示装置２０８に表示する。
【0046】
以上説明したように、本実施形態の野生動物認識システム１によれば、カメラトラップ３により自動的に撮影された画像に対し、野生動物が写っていない画像の種判定結果や領域判定結果を調査者が確認する無駄な作業を省くことができる。また、種の確信度は高くても領域の確信度が著しく低いため、不明と判定すべき場合や、その逆の場合に、統合判定部５１６により不明であると判定できるため、それを調査者が確認するための無駄な作業を省くことができる。
また、種判定結果の確からしさと領域判定結果の確からしさのどちらを重視すべきかを調査者が変更したい場合として、カメラトラップ３に対して野生動物が近接して撮影されることが多く、野生動物の一部しか画像に写らないため、領域判定の結果はあまり意味がなく、種判定の結果をより重視したい場合がある。このような場合に、本例の野生動物認識システム１によれば、調査者が種判定の結果をより重視するように重み付け係数を変更することができる。また、調査者にとって画像上のどこに野生動物が写っているかを探すことが大変な場合であるが、種については目視で比較的容易に判定できるような場合には、種判定の結果の正確さよりも、領域判定の結果をより重視したいため、調査者が領域判定の結果をより重視するように重み付け係数を変更できる。
また、調査者が、調査したい種や領域を検索キーとして指定することで、野生動物認識システム１が、検索キーに合致する画像に絞り込んで調査者に提示し、調査の労力を軽減できる。
また、種判定結果の確からしさと領域判定結果の確からしさのどちらを重視すべきかを調査者が変更したい場合として、カメラトラップ３に対して野生動物が近接して撮影されることが多く、野生動物の一部しか画像に写らないため、領域判定の結果はあまり意味がなく、種判定の結果をより重視したい場合がある。このような場合に、本例の野生動物認識システム１によれば、調査者が種判定の結果をより重視するように重み付け係数を変更することができる。また、調査者にとって画像上のどこに野生動物が写っているかを探すことが大変な場合であるが、種については目視で比較的容易に判定できるような場合には、種判定の結果の正確さよりも、領域判定の結果をより重視したいため、調査者が領域判定の結果をより重視するように重み付け係数を変更できる。
また、調査者が、調査したい種や領域を検索キーとして指定することで、野生動物認識システム１が、検索キーに合致する画像に絞り込んで調査者に提示し、調査の労力を軽減できる。
【0047】
なお、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0048】
１ 野生動物認識システム
２ 画像認識装置
３ カメラトラップ
５ 画像認識プログラム
２ 画像認識装置
３ カメラトラップ
５ 画像認識プログラム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】