(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-26
(45)【発行日】2023-10-04
(54)【発明の名称】画像判定装置、画像判定方法、および、プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20230927BHJP
G06T 7/00 20170101ALI20230927BHJP
【ＦＩ】
G06T7/70 A
G06T7/00 650A
【請求項の数】
6
(21)【出願番号】P 2020049444
(22)【出願日】2020-03-19
(65)【公開番号】P2021149592
(43)【公開日】2021-09-27
【審査請求日】2022-03-04
(73)【特許権者】
【識別番号】397065480
【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(72)【発明者】
【氏名】中村 隆幸
(72)【発明者】
【氏名】原田 俊彦
(72)【発明者】
【氏名】井藤 雅稔
(72)【発明者】
【氏名】神田 輝
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０１３－００８０７０（ＪＰ，Ａ）
【文献】国際公開第２０１５／１３６８７４（ＷＯ，Ａ１）
【文献】国際公開第２０１１／１０８０５２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出する検出部と、前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持する画像記憶部と、
前記時系列順の画像から同一の前記対象物を１回のみ選択する対象選択部と、
選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行する処理部を有し、
前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、
前記対象選択部は、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択すること
を特徴とする画像判定装置。
【請求項2】
請求項１に記載の画像判定装置であって、前記対象選択部は、前記対象物の画像上での検出位置あるいは画像上での大きさが適切な画像から前記対象物を選択すること
を特徴とする画像判定装置。
【請求項3】
請求項１または２に記載の画像判定装置であって、前記検出部は、前回処理した画像と次の処理のために入力する最新の画像との間隔が長い場合には、前回処理した画像と最新の画像との間に入力した画像を前記画像記憶部から取得すること
を特徴とする画像判定装置。
【請求項4】
請求項１ないし３のいずれかに記載の画像判定装置であって、前記対象物は、舗装のポットホール、舗装のひび割れ、落下物、岩石、土砂、および道路上の動物のうち少なくともいずれかを含む道路上の不具合であること
を特徴とする画像判定装置。
【請求項5】
コンピュータが実行する画像判定方法であって、移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出するステップと、
画像記憶部に前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持するステップと、
前記時系列順の画像から同一の前記対象物を１回のみ選択するステップと、
選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行するステップを有し、
前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、
前記選択するステップでは、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択すること
を特徴とする画像判定方法。
【請求項6】
コンピュータに、移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出する処理と、
画像記憶部に前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持する処理と、
前記時系列順の画像から同一の前記対象物を１回のみ選択する処理と、
選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行する処理を実行させ、
前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、
前記選択する処理では、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択すること
を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動する視点から撮影した画像を処理して、実時間で判定を行う装置に関する。
【背景技術】
【0002】
従来、車にカメラを設置して動画あるいは連続的な静止画といった画像を撮影し、撮影した画像データをニューラルネットワークを用いたＡＩで分析して、各種の不具合事象の判定を行うという技術があった。
【0003】
例えば、特許文献１では、道路舗装のひび割れをＡＩによって検出し、損傷度合いを算出して、算出結果を地図上に描画する装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６５１６３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
走行する車にカメラを設置し、装置によって実時間で判定処理を行わせることで、車が走行しているその場で対象物を発見し、車を運転する者にその場で通知を行って、対応を促したいという要求がある。
【0006】
具体的には、例えば、電柱に鳥の巣（営巣）が作られていないかを車を巡回走行してパトロールを行い、もし営巣が発見されれば、漏電など重篤な災害が今すぐ発生する危険があるから、パトロールを行う者は車を停止して、その場で営巣を除去する作業を実施したいという要求がある。
【0007】
また、例えば、道路の舗装にポットホール（穴）が発生していないかを車を巡回走行してパトロールを行い、もし穴が発見されれば、通行者の転倒など重篤な災害が今すぐ発生する危険があるから、パトロールを行う者は車を停止して、その場で穴を埋める作業を実施したいという要求がある。
【0008】
また、パトロールの際には、その場で即時に対処作業を行う場合もある一方で、重篤な災害が今すぐ発生する危険が比較的高くないとパトロールを行う者が判断した場合には、パトロール中に発見した結果を持ち帰り、事後に発見した結果をとりまとめて、工事などの対処を専門の部署に対して依頼するという業務も行われており、これに用いるためにパトロール中に発見した結果を持ち帰り事後に結果をとりまとめて確認したいという要求がある。さらに前記結果の確認は、可能な限り、パトロール終了後の短い時間内にて行えることが望ましい。
【0009】
従来、撮影した画像データをＡＩによって分析する技術においては、実時間で分析して通知が行えないという問題があった。
【0010】
実時間で分析が行えない要因の一つは、撮影した画像データを記録媒体として持ち帰り、ＧＰＳによる位置情報を記録した媒体と合わせて、分析用装置に入力し、分析を行うという装置構成にあった。このため、車を走行して撮影する業務段階と、走行の事後に当該装置によって分析を行う業務段階とが分かれており、実時間での分析が行えなかった。
【0011】
また、実時間で分析が行えない要因の別の一つは、分析装置が内部で用いるニューラルネットワークが、計算量を要する処理であり、多数の入力画像に対して処理速度が追い付かず、このため実時間での分析が行えなかった。
【0012】
また、従来、撮影した画像データをＡＩによって分析する技術においては、データを持ち帰って分析を開始してから分析が完了するまでに多くの計算量を要するため、時間を要し、このためパトロール終了後の短い時間内に結果を確認することができないという問題があった。
【0013】
本発明は以上の課題を鑑みたものであり、本発明の目的は、移動する視点から撮影した画像を入力とし、実時間で対象物の判定を行って利用者に通知を行うとともに、判定した結果の一覧を速やかに表示する技術を提供することにある。
【課題を解決するための手段】
【0014】
本発明の一態様の画像判定装置は、移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出する検出部と、前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持する画像記憶部と、前記時系列順の画像から同一の前記対象物を１回のみ選択する対象選択部と、選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行する処理部を有し、前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、前記対象選択部は、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択することを特徴とする。
【0015】
本発明の一態様の画像判定方法は、コンピュータが実行する画像判定方法であって、移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出するステップと、画像記憶部に前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持するステップと、前記時系列順の画像から同一の前記対象物を１回のみ選択するステップと、選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行するステップを有し、前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、前記選択するステップでは、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択することを特徴とする。
【0016】
本発明の一態様のプログラムは、コンピュータに、移動する視点から撮影した時系列順の画像を入力し、前記画像から対象物を検出する処理と、画像記憶部に前記時系列順の画像と前記対象物の画像上での検出位置を一時的に保持する処理と、前記時系列順の画像から同一の前記対象物を１回のみ選択する処理と、選択された前記対象物について通知または検出結果の記憶の少なくともいずれかを実行する処理を実行させ、前記時系列順の画像は、進行方向に対して横あるいは斜め前を撮影した画像であり、前記選択する処理では、前記時系列順の画像における前記対象物の画像上での検出位置の移動方向に基づいて前記対象物の同一性を判定し、前記検出位置が特定方向へ移動する前記対象物について、前記画像記憶部の記憶内容のうちで前記対象物の検出位置が最も画像の中央に位置する前記画像から前記対象物を選択することを特徴とする。
【発明の効果】
【0017】
本発明によれば、移動する視点から撮影した画像を入力とし、実時間で対象物の判定を行って利用者に通知を行うとともに、判定した結果の一覧を速やかに表示する装置を提供することができる。
【図面の簡単な説明】
【0018】
【図1】実時間画像判定装置の構成を示す構成図である。
【図2】第１検出部が用いる第１パラメータの学習に用いる画像の例である。
【図3】第２検出部が用いる第２パラメータの学習に用いる画像の例である。
【図4】実時間画像判定装置の動作を示すフローチャートである。
【図5】対象選択部の動作を示すフローチャートである。
【図6】カメラ撮影画像の例である。
【図7】第１の検出処理の結果を示す図である。
【図8】画像抽出処理の結果を示す図である。
【図9】枠描画処理の結果を示す図である。
【図10】通知の例を示す図である。
【図11】結果表示画面の例を示す図である。
【図12】第２の実時間画像判定装置の構成を示す構成図である。
【発明を実施するための形態】
【0019】
本発明の実施の形態の一つを以下に示す。
【0020】
＜実時間画像判定装置の構成＞
図１は、本実施の形態における実時間画像判定装置の構成を示す。
図１は、本実施の形態における実時間画像判定装置の構成を示す。
【0021】
実時間画像判定装置１００は、画像削減部１１２、第１検出部１１３、対象選択部１１４、画像抽出部１１５、第２検出部１１６、枠描画部１１７、通知部１１８、結果記憶部１１９、および、結果表示部１２０を備える。
【0022】
カメラ１１１は、走行する車に取り付け、前方を撮影するように設置する。実時間画像判定装置１００は、カメラ１１１で撮影した画像を入力とする。
【0023】
また、ＧＰＳ装置１０１を用意し、記録したＧＰＳのログを、実時間画像判定装置１００への入力とする。ＧＰＳのログは、時刻ごとの緯度および経度が記載された情報である。このようなログを記録するＧＰＳ装置は市販されており、あるいは、ＧＰＳ内蔵ドライブレコーダーを用いてもよい。あるいは、ＧＰＳ測位機能を実時間画像判定装置１００内に具備してもよい。
【0024】
画像削減部１１２は、入力された画像を縮小して情報量を削減する。
【0025】
第１検出部１１３は、ニューラルネットワーク１３１に、予め学習させた結果得られる第１パラメータ１３２を与えて構成され、画像削減部１１２により情報量が削減された画像から対象物を検出する。
【0026】
ニューラルネットワーク１３１には、物体検出ニューラルネットワークを用いる。物体検出ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像の中から、予め学習させた物体の１つ以上の存在を検出して、その存在を取り囲む矩形の位置座標を得ることができる手法である。このような手法として、R-CNN、Faster R-CNN、Single Shot MultiBox Detectorなどが公表されており、実装もオープンソース等で利用可能である。
【0027】
本実施の形態では、実時間画像判定装置１００の製造段階において、ニューラルネットワーク１３１の学習機能に対して検出対象に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データを第１パラメータ１３２として実時間画像判定装置１００に組み込み、利用する。
【0028】
図２は、第１検出部１１３が用いる第１パラメータ１３２の学習に用いる画像の例である。
【0029】
画像２００は、学習のために準備した画像の例であるが、学習時には、画像２００のように、カメラ１１１が撮影するのと同様の見え方の画像を準備し、これに基づき学習を行う。画像２００には、左側の白線２０１、右側の白線２０２、車両が走行する車線２０３が図示されている。車線２０３の左側に電柱２１０が立っており、複数本の電線が張られている。画像２００の中では特に電柱２１０を見つけるように学習をさせたいから、当該電柱２１０を取り囲む矩形２１１をアノテーション（タグ付け）し、当該アノテーションされた画像２００を学習に用いる。これと同様に、様々な電柱の画像にアノテーションを行い学習させることで、第１検出部１１３は、画像から電柱部分を検出するニューラルネットワークとして機能するようになるので、これを実時間画像判定装置１００に組み込み、利用する。
【0030】
対象選択部１１４は、対象物の画像上での検出位置または画像上での大きさに基づき、後段の第２検出部１１６の処理対象とすべき画像および対象物を選択する。
【0031】
画像抽出部１１５は、画像削減部１１２が情報量を削減していない元の画像から、対象選択部１１４の選択した対象物の部分画像を得る。
【0032】
第２検出部１１６は、ニューラルネットワーク１４１に、予め学習させた結果得られる第２パラメータ１４２を与えて構成され、対象物のみを取り出した部分画像を入力して、対象物を分類する。
【0033】
ニューラルネットワーク１４１には、画像判定ニューラルネットワークを用いる。画像判定ニューラルネットワークとは、深層学習（ディープラーニング）の技術を用いて、与えられた入力画像が、予め学習させた複数の画像クラスのうちいずれのクラスに最も近いかを判定できる手法である。このような手法として、resnet、vgg16などが公表されており、実装もオープンソース等で利用可能である。
【0034】
本実施の形態では、実時間画像判定装置１００の製造段階において、ニューラルネットワーク１４１の学習機能に対して検出対象に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データを第２パラメータ１４２として実時間画像判定装置１００に組み込み、利用する。
【0035】
図３は、第２検出部が用いる第２パラメータの学習に用いる画像の例である。
【0036】
学習は、検出成功を示すＡ群と、検出失敗を示すＢ群の、２つのクラスに分けて行う。画像３００はＡ群の例であり、電柱３０１を取り囲む矩形範囲を画像の全体として、かつ、当該電柱には営巣３０２（鳥の巣）ができている特徴をもつ。一方、画像３１０はＢ群の例であり、電柱３１１を取り囲む矩形範囲を画像の全体として、かつ、当該電柱には営巣（鳥の巣）が存在しない。
【0037】
これと同様に、様々な電柱の画像をＡ群もしくはＢ群に分類し学習させることで、第２検出部１１６は、カメラ撮影画像のうち電柱部分のみを取り出した部分画像を入力されると営巣がある（Ａ群）かない（Ｂ群）かを判定するニューラルネットワークとして機能するようになるので、これを実時間画像判定装置１００に組み込み、利用する。
【0038】
枠描画部１１７は、第２検出部の分類した対象物を枠で囲った画像を生成する。例えば、枠描画部１１７は、営巣が存在する電柱を枠で囲った画像を生成する。
【0039】
通知部１１８は、車の運転者に対して実時間で判定結果を通知する機能を有し、音および振動および画面表示によって通知を行う。
【0040】
結果記憶部１１９は、枠描画結果の画像と処理した時点の時刻とを記憶媒体に記憶する。結果記憶部１１９は、枠描画結果に対象物の位置情報を付与して記憶してもよい。
【0041】
結果表示部１２０は、判定結果を地図上に表示する機能を有し、利用者が車の走行を終了した事後に一連の判定結果を後から確認できる。
【0042】
＜実時間画像判定装置の動作＞
実時間画像判定装置１００は、カメラ１１１で撮影された画像のデータを入力として、以下に述べる動作を行う。
実時間画像判定装置１００は、カメラ１１１で撮影された画像のデータを入力として、以下に述べる動作を行う。
【0043】
図４は、実時間画像判定装置１００の動作を示すフローチャートである。図５は、対象選択部１１４の動作を示すフローチャートである。以下では、対象物を電柱として、営巣が存在する電柱を判定する例について説明する。なお、対象物を電柱に限るものではなく、営巣が存在するか否かを判定することに限るものでもない。
【0044】
カメラ１１１はその時点での画像を撮影しており、実時間画像判定装置１００は、当該画像を入力とする（ステップＳ１）。なお、カメラ１１１と実時間画像判定装置１００とは隣接して設置してもよいし、あるいは、無線ネットワークを通じて遠隔地に設置してもよい。
【0045】
図６は、カメラ１１１で撮影された画像の例である。画像６００は、センターラインのある２車線（片側１車線）の道路を走行している状態で撮影されており、電柱６１０が映っている。電柱６１０には営巣６１２が存在する。
【0046】
画像削減部１１２は、入力された画像のリサイズを行い、画像を縮小して情報量を削減する（ステップＳ２）。
【0047】
第１検出部１１３は、当該削減された画像を入力として電柱の検出処理を行い、検出された場合には電柱の位置を示す矩形の座標を得る（ステップＳ３）。なお、物体検出ニューラルネットワークは予め学習させた物体の１つ以上の存在を検出できるから、複数の電柱を検出した場合には、矩形の座標の並びを得る。
【0048】
図７は、第１の検出処理の結果を示す図である。前記画像削減処理の結果得られた画像７００に対し、電柱６１０を検出して、矩形７１１を得る。
【0049】
対象選択部１１４は、図５のフローチャートの手順により、前記得られた矩形の座標から対象物の同一性を判定し、後段の処理対象とすべき物体のみを選択する。
【0050】
すなわち、対象選択部１１４は、前記得られた矩形の座標の並びに対し、Ｘ座標が画像全体の一定範囲に全部もしくは一部が存在するような矩形のみを選別する（ステップＳ４１）。もし、並びが空集合となった場合には、選択対象なしとしてサブルーチンを終了する（ステップＳ４２）。
【0051】
前記一定範囲とは、画角（カメラによる撮影の構図）に応じて予め定めた定数値でもよく、また特に、車の走行に合わせて最初に対象物が現れる点Ｐと、車の走行に合わせて最後に対象物が撮影範囲外になる点Ｑとで構成される区間に相当する固定範囲であってもよい。画像７００の例では、点Ｐから点Ｑの区間に対応するＸ座標で示される第１範囲を一定範囲としている。
【0052】
次に、対象選択部１１４は、前記得られた矩形の座標の並びのうち一番右にある矩形の座標に対し、Ｘ座標が画像全体の第２の一定範囲に全部もしくは一部が存在する場合、「処理済み」フラグを０にクリアして、選択対象なしとしてサブルーチンを終了する（ステップＳ４３）。
【0053】
前記第２の一定範囲とは、前記一定範囲内の一部の範囲であって、特に、車の走行に合わせて最初に対象物が現れる点Ｐもしくはそれに近い側において設定される一定の範囲のことであってもよく、例えば、前記点Ｐと前記点Ｑとを１対２の比率で区分する点Ｒに対して、点Ｐから点Ｒまでで構成される区間に相当する固定範囲であってもよい。画像７００の例では、点Ｐから点Ｒの区間に対応するＸ座標で示される第２範囲を第２の一定範囲としている。
【0054】
次に、対象選択部１１４は、前記得られた矩形の座標の並びのうち一番右にある矩形の座標に対し、「処理済み」フラグが１であった場合には、選択対象なしとしてサブルーチンを終了する（ステップＳ４４）。
【0055】
次に、対象選択部１１４は、「処理済み」フラグを１にして、かつ、前記得られた矩形の座標の並びのうち一番右にある矩形の座標を選択対象として、サブルーチンを終了する（ステップＳ４５）。
【0056】
なお、対象選択部１１４が用いる「処理済み」フラグは、実時間画像判定装置１００の起動時に、０にクリアしておくものとする。
【0057】
ここで、対象選択処理における上記一連の手順の意味について述べる。対象選択処理は、走行する車から撮影した画像を実時間で連続的に繰り返し処理する際、対象を発見した旨の通知はカメラの撮影がもっとも鮮明にできている箇所すなわち有効撮影範囲の中央付近に対象物が来た際に行われ、かつ、通知は同一対象物の発見に関して一回のみ行うこととしたいため、左記要求をステップＳ４１からステップＳ４５によって実現できる。
【0058】
ステップＳ４１からステップＳ４２では、検出対象とする電柱は道路の左側に映っているもののみとし、かつ、遠近法に基づく撮影画像で最初は遠方の消失点付近に映っていたものが、徐々に近づいて大きな画像となっていくような対象物に対して、処理対象とすることを意図している。
【0059】
そして、ステップＳ４３では、対象物が画像の中央付近に来た時点で、初めて、後続の処理を行わせることを意図している。中央付近とは、ここでは画像を左と中央と右の大きく3分割し、対象物が右区間を越えて中央区間に差し掛かった際に一度だけ処理すれば、撮影した画像を実時間で連続的に繰り返し処理する際に発生する一回の一連の処理あたりの計算時間がある程度所要し、それに起因して対象物が中央区間に差し掛かった直後に撮影されたカメラ画像を処理することが叶わず、対象物が中央区間に差し掛かってある程度時間が経過した後に撮影されたカメラ画像を処理することとなったとしても、対象物は中央区間の範囲内のいずれかに存在した状態で撮影されたカメラ画像を処理することができるから、前記述べた画像の中央付近に来た時点で初めて後続の処理を行わせるという意図を実現することができる。
【0060】
そして、ステップＳ４４では、一つの対象物に対して一回のみ後続の処理を行わせることを意図している。車が走行すると道路の左側にある対象物は画像においてより左へと流れていくから、図７の第１範囲にある間は一度だけ処理すればよく、「処理済み」フラグによって二度目の処理を行わないことにより達成する。一方、新たな対象物が映り込んでいれば、それは画角における消失点に近い位置、すなわち、図７の第２範囲に出現するから、「処理済み」フラグを０にクリアすることで、当該対象物が次に前記中央区間の範囲内に入った際に後続の処理の対象とすることができる。なお、対象物の画像上での大きさに基づいて後続の処理を行わせてもよい。具体的には、「処理済み」フラグが０にクリアされた後、対象物の画像上での大きさが所定の大きさ以上になったときに、その対象物を選択するとともに、「処理済み」フラグを１にする。
【0061】
このように、対象選択処理によって、通知を最も適切な一回のみ行うことができるという効果が得られ、またさらに、処理対象の画像のサイズが大きいため処理時間を要する第２検出部１１６におけるニューラルネットワークの処理回数を少なく抑えることができるので、全体の処理時間を削減する効果も得ることができる。
【0062】
第１検出部１１３におけるニューラルネットワークの処理には、前もって、画像削減部１１２によって画像のサイズを小さくしているため、第２検出部１１６での処理に比べて１回あたりの処理時間は大幅に短くて済む。このように、ステップＳ１からステップＳ４までの処理は多数繰り返すため短い処理時間で済むような構成とし、それ以降の処理は比較的少ない回数のみ実行するため比較的長い処理時間がかかるような構成とすることで、装置全体としての処理回数の総数を多くすることが可能となり、実時間での画像判定という本装置の趣旨を充足することができる。
【0063】
一方、本実施の形態においては、電柱は見分けがつきやすい対象であり、画像削減部１１２によって画像のサイズを小さくリサイズしていたとしても十分高い精度で判別することが可能であるため、検出精度の観点からも本実施の形態は本装置の趣旨を十分達成することができる。
【0064】
なお、本実施の形態では、画像削減部１１２を具備するものとしたが、本発明の範囲はこれに限るものではなく、画像削減部１１２を持たず、第１検出部１１３は前記入力画像をそのまま処理する構成としてもよい。
【0065】
画像抽出部１１５は、ステップＳ１で入力した画像に対して、対象選択処理で選択した矩形の座標に対応する位置の画素を切り出し、部分画像を得る（ステップＳ５）。
【0066】
図８は、画像抽出処理の結果を示す図である。ステップＳ２によってリサイズして画像サイズを小さくした画像７００における矩形７１１の範囲に対して、リサイズ前の元の画像６００から同等の矩形範囲を切り出した部分画像が、画像８００である。
【0067】
第２検出部１１６は、前記得られた部分画像を入力として営巣の検出処理を行い、営巣の有無を判定する（ステップＳ６）。
【0068】
例えば、画像８００であれば、営巣が存在するから、第２検出部１１６は予め学習した内容に従って当該画像がＡ群のクラス、すなわち営巣が存在すると判定する。
【0069】
実時間画像判定装置１００は、営巣が存在すると判定した場合には、以下の処理を行う。
【0070】
枠描画部１１７は、判定した営巣の範囲を枠で囲った画像を生成する（ステップＳ７）。
【0071】
図９は、枠描画処理の結果を示す図である。
【0072】
画像９００の生成には、リサイズ前の画像６００を用いる。例えば、リサイズ前の元の画像６００に対して、ステップＳ２によってリサイズして画像サイズを小さくした画像７００における矩形７１１の範囲と同等の矩形を、色付きの太い枠線で描画して、画像９００を得る。記号９１１は、前記描画した枠を示す。
【0073】
通知部１１８は、車の運転者に対して音および振動および画面表示によって判定した結果の通知を行うとともに（ステップＳ８）、結果記憶部１１９は、前記枠描画結果の画像と処理した時点の時刻とを記憶媒体に記憶する（ステップＳ９）。
【0074】
図１０は、通知の例を示す図である。画面１０００上に、対象物の部分画像１０１０と、対象物を発見した旨を示すメッセージ１０２０を表示する。通知画面は、枠描画結果の画像９００にメッセージを重ねた画面でもよい。
【0075】
通知部１１８が、車の運転者に対して音および振動によって通知を行うことで、運転者はパトロール業務における車の運転中であっても、対象物が発見されたことを安全に知ることができるという利点が得られる。また、車の運転者に対して画面表示によって通知を行うことで、運転者はパトロール業務において車を停止させた後、当該画面表示によって、どの電柱にどのように営巣が存在していたかを画面上で確認することができるため、その後の除去作業を容易に行うことができるという利点が得られる。
【0076】
実時間画像判定装置１００は、ステップＳ１に戻り、上記述べた処理を繰り返す。
【0077】
さらに、結果表示部１２０は、ＧＰＳ装置１０１が記録したＧＰＳのログを、ＳＤメモリカードあるいはＵＳＢ接続あるいはネットワーク通信あるいはその他の手段を用いて読み取り、当該ログに記されている時刻ごとの緯度および経度が記載された情報を用いて、結果記憶部１１９が記憶している対象物を判定した時点の時刻と突合して画像と位置との対応関係を求め、対象物が存在する緯度および経度を取得し、判定結果を地図上に表示する。なお、実時間画像判定装置１００の結果表示部１２０が行う上記の処理手順には、ニューラルネットワークを用いた計算量の多い複雑な処理を伴わないから、迅速に結果を表示することができる。
【0078】
図１１は、結果表示画面の例を示す図である。結果表示画面１１００は、地図表示領域１１１０、判定画像表示領域１１２０、および、全景画像表示領域１１３０を備える。地図表示領域１１１０には、地図上に、車の走行経路に沿って対象物を判定した複数の箇所がピン１１１１Ａ～１１１１Ｃで表示される。対象物の判定結果に応じてピン１１１１Ａ～１１１１Ｃの表示態様を変えてもよい。また、マウスやタブレットやタッチパネル等の操作によって利用者がいずれかのピン１１１１Ａ～１１１１Ｃを指示すると、当該ピン１１１１Ａ～１１１１Ｃに対応する結果表示部１２０が記憶する枠描画結果の画像を判定画像表示領域１１２０と全景画像表示領域１１３０に表示する。判定画像表示領域１１２０には、対象物を切り出した部分画像が表示される。全景画像表示領域１１３０には、カメラ撮影画像が表示される。
【0079】
本実施の形態では、実時間画像判定装置１００が通知部１１８を具備する。本発明の範囲はこれに限るものではなく、通知部１１８の一部または全部の機能を別装置としてもよい。また、その際、実時間画像判定装置１００の処理結果を、ネットワークを通じて通知装置に入力してもよい。例えば、撮影の現場では音声による通知のみを行い、ネットワークを通じて遠隔地にある点検センターに情報を送信し、点検センターに設置した前記通知装置に画像を表示してもよい。
【0080】
本実施の形態では、実時間画像判定装置１００が結果表示部１２０を具備する。本発明の範囲はこれに限るものではなく、結果表示部１２０を別装置としてもよい。また、その際、実時間画像判定装置１００の結果記憶部１１９が記憶するデータを、ネットワークまたは記録媒体を通じて表示装置に入力してもよい。
【0081】
本実施の形態では、実時間画像判定装置１００は、ＧＰＳ装置１０１が計測した緯度および経度の情報と、カメラで撮影した画像との対応関係を求める処理は、撮影時ではなく撮影後に結果表示部１２０によって結果を表示する段階で行った。本発明の範囲はこれに限るものではなく、ＧＰＳ測位機能を実時間画像判定装置１００内に具備して、撮影時に行ってもよい。また、その際、結果記憶部１１９は、少なくとも画像と緯度および経度の情報とを記憶してもよい。また、通知部１１８は、枠描画結果の画像だけでなく、当該地点の地図も画面に表示してよい。
【0082】
上記一連の説明では、ＧＰＳ装置１０１および実時間画像判定装置１００は緯度および経度の情報を扱うこととしたが、地理上の位置を示す別の形式の情報であってもよい。
【0083】
本実施の形態では、実時間画像判定装置１００は、ステップＳ１からステップＳ９までの処理を間断なく繰り返すこととしたが、処理の休止を適宜含めてもよい。例えば、ＧＰＳ測位機能を実時間画像判定装置１００内に具備して、一定の距離（例えば５０ｃｍ等）を走行するまでは前記処理の休止を行うこととしてもよい。
【0084】
本実施の形態では、ニューラルネットワーク１４１は、画像判定ニューラルネットワークを用いた。本発明の範囲はこれに限るものではなく、必要な機能を実現するほかのニューラルネットワークを用いてもよく、例えば、物体検出ニューラルネットワークを用いてもよい。
【0085】
その場合、第２パラメータ１４２を得るための学習には、営巣が存在しない（Ｂ群に相当する）画像を用いず、営巣が存在する画像のみを用いてよい。さらに、電柱を取り囲む矩形範囲のみを抽出した画像ではなく、カメラで撮影した画角の画像を用いて、当該画像における営巣の位置のみをアノテーションし、同様のアノテーション済み画像を多数準備して、学習させることにより、第２パラメータ１４２を得てもよい。さらに、画像抽出部１１５が部分画像を得るステップＳ５は、省略してもよい。さらに、枠描画部１１７が枠を描画するステップＳ７は、ニューラルネットワーク１４１が物体を検出した矩形範囲に対して枠を描画してよい。また、ニューラルネットワーク１３１とニューラルネットワーク１４１がいずれも物体検出ニューラルネットワークであれば、ニューラルネットワークを実現するコンピュータプログラムは同一のサブルーチンを利用し、第１パラメータ１３２を与えて第１検出部１１３を構成し、第２パラメータ１４２を与えて第２検出部１１６を構成してもよい。
【0086】
本実施の形態では、ニューラルネットワーク１３１は、物体検出ニューラルネットワークを用いた。本発明の範囲はこれに限るものではなく、必要な機能を実現するほかのニューラルネットワークを用いてもよい。
【0087】
本実施の形態では、カメラ１１１は、走行する車の前方を撮影するように設置し、実時間画像判定装置１００はそのような画角の画像を入力として動作するものとした。また、画像の中で、道路の左側に存在する電柱のみを判定対象とするものとした。本発明の範囲はこれに限るものではなく、例えば、カメラを真横、あるいは、斜め前、あるいは、斜め前かつ少し上向きに設置し、ズーム倍率を標準より若干、望遠に設定して撮影し、そのような画角で撮影された画像を入力として動作するようにしてもよい。その場合、例えば、カメラを右に９０度回転して縦長の画像を撮影するように設置し、カメラの向きを例えば左に３０度、かつ、例えば上に３０度傾け、ズーム倍率を例えば１．５倍ないし２．５倍にしてもよい。画角が変更された場合、ステップＳ４２およびステップＳ４３で用いる範囲は画角に合わせて変更してよく、その際、車の走行に合わせて最初に対象物が現れる点Ｐと、車の走行に合わせて最後に対象物が撮影範囲外になる点Ｑとに基づいて前記範囲を設定してもよい。また、特に遠近法における消失点が存在しないような画角での撮影を行った場合には、点Ｐは消失点ではなく画像の端になることが起こりうるから、前記設定の結果としては、点Ｐが画面の右端になってもよく、また同様に、点Ｑが画面の左端になってもよい。この際、点Ｐが画面の右端であり、かつ、点Ｑが画面の左端であれば、ステップＳ４１において全ての候補が常に選択されることとなり冗長であるから、ステップＳ４１およびステップＳ４２は省略してもよい。また、カメラを右に９０度回転して縦長の画像を撮影するように設置した場合、実時間画像判定装置１００はそのような画角の画像を入力として、ステップＳ１において、入力画像を９０度回転してから、以降の処理を行ってもよい。また、道路の右側にある対象物を処理対象としてもよく、あるいは、カメラを車両の後方を撮影するように設置してもよく、さらに、その際には上記一連の処理における「左」および「右」を左右逆に読み替えて本発明を実施してもよい。また、実時間画像判定装置１００の具備する機能部の一部または全部を多重に具備し、あるいは時間多重によって複数の処理を行わせることで、左右の対象物を一度に処理する実時間画像判定装置の実施としてもよい。
【0088】
本実施の形態では、実時間画像判定装置１００の対象選択部１１４が実行する対象選択処理は、上記述べたステップＳ４１からステップＳ４５によって実現することとした。本発明の範囲はこれに限るものではなく、同等の目的を達成する他の処理手順を用いて実時間画像判定装置を構成してもよい。
【0089】
例えば、対象選択部１１４は、複数の画像および座標位置情報を記憶できる一時記憶領域を具備し、ステップＳ４１によって選択した矩形の座標の並びのうち一番右にある矩形の座標に対し、当該座標並びに対応する画像を前記一時記憶領域に記憶するとともに、対象選択処理の複数回の実行によって当該座標が右から左に変化することを前記一時記憶領域の記憶内容から判定し、一時記憶領域の記憶内容のうちで最も中央に座標が位置する画像を、対象選択処理における選択対象として、サブルーチンを終了する構成としてもよい。このような構成を採用した場合、一時記憶領域に一連の画像を記憶して後から当該画像を対象として選択するため、最も座標位置が適切な画像を選択できるという利点がある。一方、記憶して後から選択するという仕組みに起因して、その後の処理が一瞬遅れ、ひいてはユーザへの通知のタイミングが一瞬遅れるという問題があるが、車で走行している場合には高々１秒程度の通知の遅れであると考えられるから、本装置の目的に照らし合わせて十分許容できると考えることができる。
【0090】
本実施の形態では、実時間画像判定装置１００はまずステップＳ１によって、その時点でカメラが撮影している画像を入力として、以降の処理を行い、ステップＳ９まで一連の処理を行った後、再度ステップＳ１に戻って、再度その時点でカメラが撮影している画像を入力として処理を行うこととした。本実施の形態はこれに限るものではなく、前記まずステップＳ１を行ってから前記再度ステップＳ１を行うまでの間に撮影されていた画像を、前記再度ステップＳ１を行った際に、その時点でカメラが撮影している画像の代わりに入力としてもよい。
【0091】
例えば、実時間画像判定装置１００は画像を保持する一定サイズのリングバッファを備え、カメラ１１１が撮影しているその時点の画像を、撮影した時刻の情報とともに前記リングバッファに継続的に蓄積する。実時間画像判定装置１００は、まずステップＳ１を行う際、前記リングバッファが保持する最新の画像を取得して、入力とし、以降の処理を行う。また、このときの前記画像を取得したリングバッファの位置を記憶しておく。さらに、実時間画像判定装置１００は、ステップＳ９までの一連の処理を行った後、再度ステップＳ１に戻って処理を行う際、前記記憶している前回処理した際のリングバッファの位置と、その時点での最新のリングバッファの位置を比較する。両者の位置が一定値以内であるとき、すなわち、前回の画像入力処理から一定程度以下の時間しか経過していない際には、ステップＳ１としてリングバッファが保持する最新の画像を取得して、入力とし、以降の処理を行う。一方、両者の位置が一定値以上であるとき、すなわち、前回の画像入力処理から一定程度以上の時間が経過している際には、ステップＳ１としてリングバッファが保持する情報のうち前記前回の画像入力処理の際の位置から前記一定値だけ未来に進んだ位置のリングバッファ内に保持する画像を取得して、入力とし、以降の処理を行う。
【0092】
上記一連の手順を行うことによって、ステップＳ１からＳ９までの一連の処理に偶発的に長い処理時間を要した場合に、前回の入力と今回の入力との間に一定以上の時間間隔が開くことを防ぐことができるから、走行する車両等から撮影した映像において、目的とする対象物が通り過ぎてしまい検出漏れが発生するという問題を防ぐことができる利点が得られる。
【0093】
＜第２の実時間画像判定装置＞
上記述べた装置の構成を一部変更あるいは簡略化することにより、他の対象物を判定する第２の実時間画像判定装置を構成することもできる。本発明の実施の形態の別の一つを以下に示す。
上記述べた装置の構成を一部変更あるいは簡略化することにより、他の対象物を判定する第２の実時間画像判定装置を構成することもできる。本発明の実施の形態の別の一つを以下に示す。
【0094】
図１２は、第２の実時間画像判定装置の構成を示す。
【0095】
第２の実時間画像判定装置１２００は、実時間画像判定装置１００に対して、画像抽出部１１５を持たず、第２検出部１１６を持たない。画像抽出部１１５ならびに第２検出部１１６を持たない構成については、第２検出部１１６は常に検出成功するものとして、上述の説明を読み替えて第２の実時間画像判定装置１２００を構成すればよい。
【0096】
さらに、本実施の形態において、第２の実時間画像判定装置１２００は、第１検出部１１３を構成する第１パラメータ１３２の学習に際して、道路上の穴（ポットホール）をアノテーションした学習データ群を用い、これによって第１検出部１１３は、画像からポットホールを検出するニューラルネットワークとして機能するようになるので、これを第２の実時間画像判定装置１２００に組み込み、利用する。
【0097】
以下、図４に沿って第２の実時間画像判定装置１２００の動作を簡単に説明する。第２の実時間画像判定装置１２００は、カメラ１１１を進行方向に向けて道路を撮影した画像を入力し（ステップＳ１）、画像削減部１１２は、入力した画像を縮小して情報量を削減し（ステップＳ２）、第１検出部１１３は画像からポットホールを検出する（ステップＳ３）。
【0098】
対象選択部１１４は、適切な位置で検出されたポットホールを以降の処理対象として選択する（ステップＳ４）。具体的には、図５のステップＳ４２およびステップＳ４３において、Ｘ座標ではなく、Ｙ座標の範囲を用いて、前記一定範囲ならびに前記第２の一定範囲を指定するものとする。カメラ１１１を進行方向に向けて道路を撮影した画像では、ポットホールは遠方から手前に移動する。つまり、画像上でポットホールは上から下に移動する。画像上で下方にあるポットホールは走行位置に近く、大きく映る。Ｙ座標を用いて一定範囲を指定し、一定範囲の上方の範囲を第２の一定範囲に指定する。第１検出部１１３が第２の一定範囲においてポットホールを検出した後、検出したポットホールが第２の一定範囲を出て下方に移動した時点で、そのポットホールを後段の処理対象として選択する。
【0099】
第２の実時間画像判定装置１２００は、画像抽出部１１５ならびに第２検出部１１６を持たないので、ステップＳ４で選択対象ありと判定されると、ステップＳ５，Ｓ６の処理を実行せずに常に検出成功するものとして、枠描画処理（ステップＳ７）、結果通知処理（ステップＳ８）、および、結果記憶処理（ステップＳ９）を実行する。
【0100】
以上述べた第２の実時間画像判定装置１２００について、動作の意図を以下に述べる。道路のパトロールを行う際、ポットホールは自転車の転倒など重篤な事故の原因になりうるから、見逃さずその場で発見してパトロール者が適切な対処を行えるようにするとともに、対処しきれなかったポットホールも含めて後日報告をまとめたいという要請がある。第２の実時間画像判定装置１２００は、そのようなパトロール車両に設置してパトロール者に適切な情報を提示できる。道路を走行していると、ポットホールがあった場合、最初は遠方に見えており、走行につれて徐々に手前に見えてくるから、画像の座標で表現すればＹ座標が上方から下方に移動すると表現できる。市民にとって危険なほど大きく破損したポットホールは、見た目も大きく破損しており、画像削減部１１２によって画像サイズを小さくしたリサイズ後の画像であってもニューラルネットワークを用いて十分な精度で発見することができる。また、ポットホールには種別を分類したいという特段の要請はなく、また特に、特別な種類のポットホールの場合だけ通知を受けたいといった特段の要請がないから、第２検出部１１６によってポットホールがいずれのクラスに属するかをさらに詳細に判定する必要はなく、このため第２の実時間画像判定装置１２００は第２検出部１１６ならびにその入力を生成する機能部である画像抽出部１１５は割愛できる。
【0101】
上記では、実時間画像判定装置１００として電柱の営巣を判定する装置の実施を、さらに、第２の実時間画像判定装置１２００として道路舗装のポットホールを判定する装置の実施を、それぞれ示した。本発明の範囲はこれに限るものではなく、移動する視点から撮影した画像を実時間で連続的に判定して通知を行う様々な用途に用いることができる。
【0102】
例えば、実時間画像判定装置１００は、対象物として、電力線、通信線、交通信号機、および交通標識のうち少なくともいずれかを設置する電柱もしくは電柱に類する道路周辺構造物を検出し、構造物の表面のひび割れやコンクリートの剥がれや鉄筋の露出や金属のサビや浮遊物の付着（ロープや凧など）を判定できる。また、第２の実時間画像判定装置１２００は、道路の舗装のヒビ、落下物、岩石（落石等）、土砂（土砂崩れ等）、動物（死骸等を含む）を判定できる。また、カメラは乗用車に搭載するだけでなく、自転車、バイク、固定軌道を走行する車両（鉄道等）、歩行者、その他の移動する物体に搭載して撮影してもよい。さらに、これらに限ることなく、ニューラルネットワークの学習を適切に行うことで、本発明の装置はさまざまな用途へと転用が可能である。
【0103】
本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した実時間画像判定装置１００，１２００には、例えば、ＣＰＵ（Central Processing Unit、プロセッサ）と、メモリと、ストレージ（ＨＤＤ：Hard Disk Drive、ＳＳＤ：Solid State Drive）と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた実時間画像判定装置１００用のプログラムを実行することにより、実時間画像判定装置１００，１２００の各機能が実現される。また、実時間画像判定装置１００，１２００用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＭＯなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
【0104】
また、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【符号の説明】
【0105】
１００，１２００…実時間画像判定装置
１０１…ＧＰＳ装置
１１１…カメラ
１１２…画像削減部
１１３…第１検出部
１１４…対象選択部
１１５…画像抽出部
１１６…第２検出部
１１７…枠描画部
１１８…通知部
１１９…結果記憶部
１２０…結果表示部
１３１…ニューラルネットワーク
１３２…第１パラメータ
１４１…ニューラルネットワーク
１４２…第２パラメータ
１０１…ＧＰＳ装置
１１１…カメラ
１１２…画像削減部
１１３…第１検出部
１１４…対象選択部
１１５…画像抽出部
１１６…第２検出部
１１７…枠描画部
１１８…通知部
１１９…結果記憶部
１２０…結果表示部
１３１…ニューラルネットワーク
１３２…第１パラメータ
１４１…ニューラルネットワーク
１４２…第２パラメータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】