特開 2024-112260 認識処理装置および認識処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024112260

(43)【公開日】2024-08-20

(54)【発明の名称】認識処理装置および認識処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240813BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350B

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023067864

(22)【出願日】2023-04-18

(31)【優先権主張番号】P 2023016855

(32)【優先日】2023-02-07

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小倉 卓也

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096CA02

5L096DA01

5L096EA04

5L096EA12

5L096EA35

5L096FA32

5L096FA52

5L096FA54

5L096FA59

5L096FA69

5L096GA51

5L096HA11

5L096JA13

5L096KA04

5L096KA15

(57)【要約】

【課題】画像認識処理において人物をより適切に検出する。
【解決手段】認識処理装置１０は、赤外線カメラによって撮像される映像を取得する映像取得部１２と、映像に含まれる高温領域を検出する高温領域検出部１４と、映像の高温領域外の人物を第１検出処理を用いて検出する第１検出部２２と、映像の高温領域内の人物を第１検出処理とは異なる第２検出処理を用いて検出する第２検出部２４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

赤外線カメラによって撮像される映像を取得する映像取得部と、
前記映像に含まれる高温領域を検出する高温領域検出部と、
前記映像の前記高温領域外の人物を第１検出処理を用いて検出する第１検出部と、
前記映像の前記高温領域内の人物を前記第１検出処理とは異なる第２検出処理を用いて検出する第２検出部と、を備える認識処理装置。

【請求項2】

前記第１検出部は、人物の背景に高温物体が含まれない人物画像を正解画像として機械学習させた第１人物検出モデルを用いて人物を検出し、
前記第２検出部は、人物の背景に高温物体が含まれる人物画像を正解画像として機械学習させた第２人物検出モデルを用いて人物を検出する、
請求項１に記載の認識処理装置。

【請求項3】

前記第２検出部は、前記映像の前記高温領域におけるコントラストを強調する画像処理が適用された映像を用いて人物を検出する、
請求項１に記載の認識処理装置。

【請求項4】

前記高温領域検出部は、前記映像に設定される複数の分割領域のそれぞれの輝度値に基づいて前記高温領域を検出する、
請求項１から３のいずれか一項に記載の認識処理装置。

【請求項5】

前記高温領域検出部は、前記映像の撮像位置を示す位置情報、前記撮像位置の周囲に存在する建造物を示す地図情報、前記映像の撮像日時を示す時間情報、前記映像の撮像方向を示す方位情報、前記映像の撮像位置の気温を示す温度情報の少なくとも一つを用いて前記高温領域を検出する、
請求項１から３のいずれか一項に記載の認識処理装置。

【請求項6】

前記高温領域検出部は、前記映像の撮像範囲の日照情報を用いて前記高温領域を検出する、
請求項１から３のいずれか一項に記載の認識処理装置。

【請求項7】

赤外線カメラによって撮像される映像を取得するステップと、
前記映像に含まれる高温領域を検出するステップと、
前記映像の前記高温領域外において第１検出処理を用いて人物を検出し、前記映像の前記高温領域内において前記第１検出処理とは異なる第２検出処理を用いて人物を検出するステップと、
を認識処理装置が実行する認識処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認識処理装置および認識処理方法に関する。

【背景技術】

【0002】

車両の周囲を撮像した画像から歩行者などの対象物をパターンマッチング等の画像認識技術を用いて検出する技術が知られている。例えば、赤外線カメラによって撮像される映像に含まれる人物を、認識辞書を用いたパターンマッチングにより検出する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１７８７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

赤外線カメラによって撮像された映像に含まれる人物の背景に、高温物体が存在する場合、人物を適切に検出できない場合があった。

【0005】

本発明は、上述の事情に鑑みてなされたものであり、画像認識処理において人物をより適切に検出する技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明のある態様の認識処理装置は、赤外線カメラによって撮像される映像を取得する映像取得部と、映像に含まれる高温領域を検出する高温領域検出部と、映像の高温領域外の人物を第１検出処理を用いて検出する第１検出部と、映像の高温領域内の人物を第１検出処理とは異なる第２検出処理を用いて検出する第２検出部と、を備える。

【0007】

本発明の別の態様は、認識処理装置が実行する認識処理方法である。この方法は、赤外線カメラによって撮像される映像を取得するステップと、映像に含まれる高温領域を検出するステップと、映像の高温領域外において第１検出処理を用いて人物を検出し、映像の高温領域内において第１検出処理とは異なる第２検出処理を用いて人物を検出するステップと、を認識処理装置が実行する。

【発明の効果】

【0008】

本発明によれば、画像認識処理において人物をより適切に検出する技術を提供できる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る認識処理装置の機能構成を模式的に示すブロック図である。

【図2】映像に設定される複数の分割領域の一例を示す図である。

【図3】映像に含まれる高温領域の検出結果の一例を示す図である。

【図4】図４（ａ）～（ｄ）は、第１人物画像の一例を示す図である。

【図5】図５（ａ）～（ｄ）は、第２人物画像の一例を示す図である。

【図6】映像に含まれる人物の検出結果の一例を示す図である。

【図7】第１実施形態に係る認識処理方法の流れの一例を示すフローチャートである。

【図8】第２実施形態に係る認識処理装置の機能構成を模式的に示すブロック図である。

【図9】第３実施形態に係る認識処理装置の機能構成を模式的に示すブロック図である。

【図10】第４実施形態に係る認識処理装置の機能構成を模式的に示すブロック図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、図面において、本発明に直接関係のない要素は図示を省略する。

【0011】

（第１実施形態）
図１は、第１実施形態に係る認識処理装置１０の機能構成を模式的に示すブロック図である。認識処理装置１０は、映像取得部１２と、高温領域検出部１４と、人物検出部１６を備える。認識処理装置１０は、出力制御部１８をさらに備えてもよい。認識処理装置１０は、例えば、車両などの移動体に搭載され、車両の周囲における歩行者などの人物を検出する。

【0012】

本実施の形態では、認識処理装置１０が車両に搭載される場合について例示する。認識処理装置１０は、ドローンなどの飛行体に搭載されてもよい。認識処理装置１０は、移動体ではなく、所定の場所に固定されていてもよい。認識処理装置１０は、スマートポールに設けられてもよい。スマートポールは、例えば、街路に設置され、無線通信機能を提供するためのアンテナおよび通信機器と、街路を照明するための照明機器と、道路を通行する車両や歩行者を撮影するためのカメラとを備える。

【0013】

本実施形態において示される各機能ブロックは、例えば、ハードウェアおよびソフトウェアの連携によって実現されうる。認識処理装置１０のハードウェアは、コンピュータのＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサおよびＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリをはじめとする素子や機械装置で実現される。認識処理装置１０のソフトウェアは、コンピュータプログラム等によって実現される。

【0014】

映像取得部１２は、カメラ３０が撮像した映像を取得する。カメラ３０は、移動体に搭載され、移動体の周囲の画像を撮像する。カメラ３０は、例えば、移動体の前方の画像を撮像する。カメラ３０は、移動体の後方を撮像してもよいし、移動体の側方を撮像してもよい。認識処理装置１０は、カメラ３０を備えてもよいし、カメラ３０を備えなくてもよい。

【0015】

カメラ３０は、赤外線を撮像するよう構成される赤外線カメラである。カメラ３０は、いわゆる赤外線サーモグラフィであり、移動体の周辺の温度分布を画像化し、移動体の周辺に存在する熱源を特定できるようにする。カメラ３０は、波長２μｍ～５μｍ程度の中赤外線を検出するよう構成されてもよいし、波長８μｍ～１４μｍ程度の遠赤外線を検出するよう構成されてもよい。本実施の形態において、カメラ３０は、遠赤外線による熱画像を撮像するカメラとして説明する。カメラ３０が撮像する映像は、例えば、毎秒３０フレームなどの動画像である。

【0016】

高温領域検出部１４は、映像取得部１２が取得する映像に含まれる高温領域を検出する。高温領域とは、カメラ３０によって撮像される熱画像において輝度値が所定の閾値以上である高温物体が含まれる領域のことである。ここで「高温」とは、人物の体温と同等以上の温度であり、例えば、３０℃以上、３５℃以上または４０℃以上の温度をいう。また「高温物体」とは、人物とは異なる高温の物体のことをいい、例えば、人物に比べて大きなサイズを有する高温の物体のことをいう。高温物体の一例は、建物の外壁である。建物の外壁は、例えば、太陽光が当たって加熱されることによって高温物体となる。高温領域検出部１４は、地面や路面などにおいて高温である部分または範囲を高温領域（または高温物体）として検出してもよく、複数の高温物体が含まれる範囲を高温領域として検出してもよい。

【0017】

高温領域検出部１４は、例えば、映像取得部１２が取得する映像に複数の分割領域を設定し、分割領域における輝度値を用いて分割領域が高温領域であるか否かを判定する。高温領域検出部１４は、例えば、分割領域における輝度値の平均値や中央値といった代表値を算出し、代表値が所定の閾値以上である分割領域を高温領域であると判定してもよい。高温領域検出部１４は、分割領域において輝度値が所定の閾値以上である画素数の割合を算出し、輝度値が高い画素数の割合が所定値（例えば３０％または５０％）以上である分割領域を高温領域であると判定してもよい。

【0018】

図２は、映像４０に設定される複数の分割領域４２の一例を示す図である。図２の例では、横方向に１０分割、縦方向に５分割され、１０×５＝５０個の分割領域４２に分割されている。複数の分割領域４２の分割数は特に限られず、任意である。複数の分割領域４２のサイズは、例えば、人物検出部１６によって検出可能な人物の最小サイズよりも大きくなるように設定される。複数の分割領域４２は、例えば、縦方向が長く、横方向が短い矩形状となるように設定される。複数の分割領域４２は、各分割領域４２のサイズが均一となるように設定されてもよいし、各分割領域４２の位置に応じてサイズが異なるように不均一に設定されてもよい。

【0019】

図３は、映像４０に含まれる高温領域４４ａ，４４ｂの検出結果の一例を示す図である。図３の例は、映像４０の左側において検出される第１高温領域４４ａと、映像４０の右下において検出される第２高温領域４４ｂとを示す。第１高温領域４４ａは、映像４０において大きなサイズを有する建物の外壁が、太陽光の照射や、太陽光の照射後の蓄熱によって温度が高いために、高温領域として検出されている。第２高温領域４４ｂは、映像４０において大きなサイズを有する、走行中の自動車のタイヤや動力源などの温度が高いために、高温領域として検出されている。

【0020】

認識処理装置１０が、車両などの移動体に搭載されている場合、移動体の走行や移動によって、カメラ３０の撮影範囲における高温領域が移動する。この場合、高温領域検出部１４は、映像取得部１２が取得する映像から検出した高温領域（または高温領域として検出された分割領域）を、移動体の移動に合わせて追従させる処理を行ってもよい。

【0021】

図１に戻り、人物検出部１６は、映像取得部１２が取得する映像において人物が含まれる領域を検出する。人物検出部１６は、映像取得部１２が取得する映像の一部領域を切り出し、切り出した一部領域（切出領域ともいう）に人物が含まれる可能性を示す認識スコアを算出する。認識スコアは、例えば０～１の範囲で算出され、切出領域に人物が含まれる可能性が高いほど大きな数値（つまり、１に近い値）となり、切出領域に人物が含まれる可能性が低いほど小さな数値（つまり、０に近い値）となる。人物検出部１６は、認識スコアが所定の基準値以上である場合、切出領域において人物を検出する。

【0022】

人物検出部１６は、切出領域判定部２０と、第１検出部２２と、第２検出部２４とを備える。切出領域判定部２０は、人物の検出対象となる切出領域が高温領域外または高温領域内のいずれであるかを判定する。第１検出部２２は、第１検出処理によって人物を検出する。第１検出部２２は、切出領域判定部２０によって高温領域外と判定された切出領域に含まれる人物を検出する。第２検出部２４は、第１検出処理とは異なる第２検出処理によって人物を検出する。第２検出部２４は、切出領域判定部２０によって高温領域内と判定された切出領域に含まれる人物を検出する。

【0023】

切出領域判定部２０は、高温領域検出部１４によって検出される高温領域に基づいて、映像の切出領域が高温領域外または高温領域内のいずれであるかを判定する。切出領域判定部２０は、切出領域の全体が高温領域と重ならない場合、高温領域外であると判定する。切出領域判定部２０は、切出領域の全体が高温領域と重なる場合、高温領域内であると判定する。切出領域判定部２０は、切出領域が高温領域と部分的に重なる場合、つまり、切出領域が高温領域の内外にわたる場合、切出領域と高温領域の重なり方に応じて、高温領域外または高温領域内のいずれであるかを判定する。

【0024】

切出領域判定部２０は、切出領域が高温領域と重なる面積割合に基づいて高温領域内であるか否かを判定してもよい。切出領域判定部２０は、例えば、切出領域において高温領域が重なる面積割合が所定値（例えば５０％または３０％）以上である場合、高温領域内と判定してもよい。切出領域判定部２０は、切出領域と高温領域が重なる位置に基づいて判定してもよい。切出領域判定部２０は、例えば、切出領域の上端または下端が高温領域と重なる場合に高温領域内であると判定し、切出領域の上端または下端のいずれも高温領域と重ならない場合に高温領域外であると判定してもよい。

【0025】

第１検出部２２は、人物の背景に高温物体が含まれない第１人物画像を正解画像として使用する機械学習によって生成される第１人物検出モデルを用いて人物を検出する。したがって、第１検出処理は、第１人物検出モデルを用いる人物検出処理ということができる。第１人物画像は、人物の全身像を含む画像であって、人物の背景に高温物体が存在しない画像である。

【0026】

図４（ａ）～（ｄ）は、第１人物画像５０ａ，５０ｂ，５０ｃ，５０ｄの一例を示す図である。第１人物画像５０ａ～５０ｄのそれぞれは、人物５２ａ，５２ｂ，５２ｃ，５２ｄの全身像を含む。第１人物画像５０ａ～５０ｄは、例えば、縦方向と横方向の画像サイズが約２：１となる縦長の矩形画像となるように切り出される。第１人物画像５０ａ～５０ｄは、人物５２ａ～５２ｄの背景として高温物体を含まない。言い換えれば、第１人物画像５０ａ～５０ｄは、人物５２ａ～５２ｄの高輝度部分（頭部、手、脚など）と同等以上となる高輝度の物体が背景に含まれていない。第１人物画像５０ａ～５０ｄは、背景に高輝度物体が含まれないため、人物５２ａ～５２ｄと背景の区別が容易な人物画像ということができる。

【0027】

第２検出部２４は、人物の背景に高温物体が含まれる第２人物画像を正解画像として使用する機械学習によって生成される第２人物検出モデルを用いて人物を検出する。したがって、第２検出処理は、第２人物検出モデルを用いる人物検出処理ということができる。第２人物画像は、人物の全身像を含む画像であって、人物の背景に高温物体が存在する画像である。第２人物画像は、人物の背景に高温物体が存在する点で、第１人物画像と相違する。

【0028】

図５（ａ）～（ｄ）は、第２人物画像５４ａ，５４ｂ，５４ｃ，５４ｄの一例を示す図である。第２人物画像５４ａ～５４ｄのそれぞれは、破線で示される人物５６ａ，５６ｂ，５６ｃ，５６ｄの全身像を含む。第２人物画像５４ａ～５４ｄは、第１人物画像５０ａ～５０ｄと同様に、例えば、縦方向と横方向の画像サイズが２：１となる縦長の矩形画像となるように切り出される。第２人物画像５４ａ～５４ｄは、人物５６ａ～５６ｄの背景として高温物体を含む。言い換えれば、第２人物画像５４ａ～５４ｄは、人物５６ａ～５６ｄの高輝度部分（頭部、手、脚など）に近い高輝度の物体や、人物５６ａ～５６ｄの高輝度部分と同等または同等以上となる高輝度の物体が背景に含まれる。第２人物画像５４ａ～５４ｄに含まれる高温物体は、人物５６ａ～５６ｄの上側、下側、左側および右側の少なくともいずれかに存在する。第２人物画像５４ａ～５４ｄは、背景に高輝度物体が含まれるため、人物５６ａ～５６ｄと背景の区別が容易ではない人物画像ということができる。

【0029】

機械学習に用いるモデルは、入力画像の画像サイズ（画素数）に対応する入力と、認識スコアを出力する出力と、入力と出力の間を接続する中間層とを含むことができる。中間層は、畳み込み層、プーリング層、全結合層などを含むことができる。中間層は、多層構造であってもよく、いわゆるディープラーニングが実行可能となるよう構成されてもよい。機械学習に用いるモデルは、畳み込みニューラルネットワーク（ＣＮＮ）を用いて構築されてもよい。なお、機械学習に用いるモデルは上記に限られず、任意の機械学習モデルが用いられてもよい。

【0030】

第１人物検出モデルは、図４（ａ）～（ｄ）に示される例のように、背景に高温物体を含まない第１人物画像を用いて生成されるため、背景に高温物体が含まれない状況、つまり、高温領域外に存在する人物を検出する精度が高い。第１人物検出モデルは、背景に高温物体が含まれる状況、つまり、高温領域内に存在する人物を検出する精度が低くなりやすい。一方、第２人物検出モデルは、図５（ａ）～（ｄ）に示される例のように、背景に高温物体を含む第２人物画像を用いて生成されるため、背景に高温物体が含まれる状況、つまり、高温領域内に存在する人物を検出する精度が高い。第２人物検出モデルは、背景に高温物体が含まれない状況、つまり、高温領域外に存在する人物を検出する精度が低くなりやすい。

【0031】

第１人物検出モデルは、背景に高温物体が含まれる第２人物画像を正解画像として使用しない機械学習によって生成されることができる。第２人物検出モデルは、背景に高温物体が含まれない第１人物画像を正解画像として使用しない機械学習によって生成されることができる。

【0032】

図６は、映像４０に含まれる人物４６，４８ａ，４８ｂ，４８ｃの検出結果の一例を示す図である。図６の例では、第１高温領域４４ａおよび第２高温領域４４ｂの外側の第１人物４６と、第１高温領域４４ａの内側の第２人物４８ａ，４８ｂ，４８ｃとが検出されている。

【0033】

図６の例において、切出領域判定部２０は、第１人物４６を含む切出領域について高温領域外であると判定する。第１人物４６を含む切出領域は、高温領域検出部１４によって検出される第１高温領域４４ａまたは第２高温領域４４ｂのいずれとも重ならないためである。切出領域判定部２０は、第２人物４８ａ～４８ｃのそれぞれを含む切出領域について高温領域内であると判定する。第２人物４８ａ～４８ｃのそれぞれを含む切出領域は、その全体が第１高温領域４４ａと重なるためである。

【0034】

図６の例において、第１検出部２２は、切出領域判定部２０によって高温領域外と判定された切出領域に含まれる第１人物４６を検出する。第１検出部２２は、背景に高温物体を含まない第１人物画像を用いた機械学習による第１人物検出モデルを用いるため、背景に高温物体が含まれない第１人物４６を精度良く検出できる。

【0035】

図６の例において、第２検出部２４は、切出領域判定部２０によって高温領域内と判定された切出領域に含まれる第２人物４８ａ，４８ｂ，４８ｃを検出する。第２検出部２４は、背景に高温物体を含む第２人物画像を用いた機械学習による第２人物検出モデルを用いるため、背景に高温物体が含まれる第２人物４８ａ，４８ｂ，４８ｃを精度良く検出できる。

【0036】

図１に戻り、出力制御部１８は、人物検出部１６による人物検出結果を出力装置３２に出力させる。出力制御部１８は、例えば、映像取得部１２が取得した映像に人物検出部１６による人物検出結果を付した表示用映像を生成し、生成した表示用映像を出力装置３２に出力させる。出力装置３２は、例えば、液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）や有機エレクトロルミネッセンスディスプレイ（ＯＥＬＤ；Organic Electro Luminescence Display）などの画像表示素子を含む表示装置である。出力装置３２は、例えば、移動体に設けられる。表示装置は、例えば、移動体が車両の場合、車両の運転者が視認できる位置に配置される。出力装置３２は、人物検出部１６による人物検出結果を出力する通信装置であってもよく、路車間通信や車車間通信によって人物検出結果を出力する無線通信装置であってもよい。出力装置３２の出力内容は、人物検出部１６による人物の検出有無、検出された人物の位置、検出された人物の数などであってもよい。認識処理装置１０は、出力装置３２を備えてもよいし、出力装置３２を備えなくてもよい。

【0037】

出力制御部１８は、例えば、人物検出部１６によって検出された人物が含まれる領域を示すための枠画像などの付加画像を映像に重畳することにより、表示用映像を生成する。出力制御部１８は、第１検出部２２によって検出された人物に第１付加画像を付加し、第２検出部２４によって検出された人物に第２付加画像を付加する。第１付加画像の表示態様は、第２付加画像の表示態様と同一であってもよい。

【0038】

図７は、第１実施形態に係る認識処理方法の流れの一例を示すフローチャートである。映像取得部１２は、カメラ３０が撮像した映像を取得する（ステップＳ１０）。高温領域検出部１４は、取得した映像に含まれる高温領域を検出し（ステップＳ１２）、高温領域が検出されたか否かを判定する（ステップＳ１４）。高温領域が検出されない場合（ステップＳ１４のＮｏ）、人物検出部１６は、第１検出部２２による第１検出処理を用いて映像の人物を検出する（ステップＳ１６）。高温領域が検出される場合（ステップＳ１４のＹｅｓ）、人物検出部１６は、第２検出部２４による第２検出処理を用いて映像の人物を検出する（ステップＳ１８）。出力制御部１８は、第１検出部２２および第２検出部２４による人物検出結果を出力装置３２に出力させる（ステップＳ２０）。ステップＳ１０からステップＳ２０までの処理は、認識処理装置１０が動作している間、または、カメラ３０によって映像が撮像されている間、繰り返し実行される。

【0039】

図７のフローチャートのステップＳ１４において、映像の一部範囲に高温領域が検出されたか否かを判定してもよい。この場合、映像の一部範囲に高温領域が検出された場合（ステップＳ１４のＹｅｓ）、人物検出部１６は、高温領域外に対して、第１検出部２２を用いた第１検出処理を用いて人物を検出し、高温領域内に対して、第２検出部２４を用いた第２検出処理を用いて人物を検出してもよい。ステップＳ１４において映像に高温領域が検出されない場合（ステップＳ１４のＮｏ）、映像の全体（つまり全領域）に対して、第１検出部２２を用いた第１検出処理を用いて人物を検出してもよい。

【0040】

本実施形態によれば、映像に高温領域が含まれる場合に、高温領域に存在する人物の検出精度を高めることができる。第１人物検出モデルは、背景に高温物体が含まれない第１人物画像を用いた機械学習によって生成されるため、高温領域に存在する人物の検出精度が低いという課題があった。本実施形態によれば、背景に高温物体が含まれる第２人物画像を用いた機械学習によって生成される第２人物検出モデルを用いることにより、高温領域に存在する人物の検出精度を高めることができる。本実施形態によれば、高温領域外に存在する人物を第１人物検出モデルを用いて検出することにより、第２人物検出モデルを用いる場合に比べて、高温領域外に存在する人物の検出精度を高めることができる。

【0041】

（第２実施形態）
図８は、第２実施形態に係る認識処理装置の１０Ａの機能構成を模式的に示すブロック図である。第２実施形態では、第２検出部２４Ａが第２人物検出モデルではなく、第１人物検出モデルを用いる点で第１実施形態と相違する。以下、第２実施形態について、第１実施形態との相違点を中心に説明し、共通的について説明を適宜省略する。

【0042】

認識処理装置１０Ａは、映像取得部１２と、高温領域検出部１４と、人物検出部１６Ａとを備える。認識処理装置１０Ａは、出力制御部１８をさらに備えてもよい。映像取得部１２、高温領域検出部１４および出力制御部１８は、第１実施形態と同様に構成される。

【0043】

人物検出部１６Ａは、切出領域判定部２０と、第１検出部２２と、第２検出部２４Ａとを備える。切出領域判定部２０および第１検出部２２は、第１実施形態と同様に構成される。

【0044】

第２検出部２４Ａは、第１検出処理とは異なる第２検出処理によって人物を検出する。第２検出部２４Ａは、高温領域検出部１４によって高温領域内と判定された切出領域に含まれる人物を検出する。第２検出部２４Ａは、人物の背景に高温物体が含まれない第１人物画像を正解画像として使用する機械学習によって生成される第１人物検出モデルを用いて人物を検出する。第２検出部２４Ａは、取得した映像の高温領域におけるコントラストが強調されるような画像処理を適用し、画像処理後の映像に含まれる人物を第１人物検出モデルを用いて検出する。したがって、第２検出処理は、取得した映像に画像処理を適用する点で、第１検出処理と相違する。

【0045】

第２検出部２４Ａによる画像処理は、例えば、高温領域内におけるコントラストが大きくなり、高温領域外におけるコントラストが小さくなるように実行される。例えば、取得した映像に含まれる人物と高温物体の輝度差が大きくなるようにコントラスト調整がなされる。人物と高温物体の輝度差が大きくなるようにコントラスト調整をすることにより、第１人物検出モデルを用いる場合であっても、人物と高温物体の区別が容易となり、高温領域に存在する人物の検出精度を高めることができる。第２検出部２４Ａは、コントラスト調整と異なる画像処理を適用してもよく、エッジ強調などの画像処理を適用してもよい。第２検出部２４Ａは、コントラスト調整とエッジ強調を組み合わせた画像処理を適用してもよい。

【0046】

本実施形態においても、映像に高温領域が含まれる場合に、高温領域に存在する人物の検出精度を高めることができる。本実施形態によれば、コントラスト調整等の画像処理を適用した映像を用いて高温領域に存在する人物を検出することにより、人物と高温物体の区別を容易化し、高温領域に存在する人物の検出精度を高めることができる。一方、高温領域に存在しない人物については、コントラスト調整等の画像処理を適用しないことにより、画像処理による検出精度の低下を抑制できる。

【0047】

（第３実施形態）
図９は、第３実施形態に係る認識処理装置１０Ｂの機能構成を模式的に示すブロック図である。認識処理装置１０Ｂは、情報取得部６０をさらに備え、情報取得部６０によって取得される情報を用いて高温領域を検出する点で、上述の第１実施形態および第２実施形態と相違する。以下、第３実施形態について、上述の実施形態との相違点を中心に説明し、共通的について説明を適宜省略する。

【0048】

認識処理装置１０Ｂは、映像取得部１２と、情報取得部６０と、高温領域検出部１４Ｂと、人物検出部１６とを備える。認識処理装置１０Ｂは、出力制御部１８をさらに備えてもよい。映像取得部１２、人物検出部１６および出力制御部１８は、第１実施形態と同様に構成される。人物検出部１６は、第２実施形態に係る人物検出部１６Ａと同様に構成されてもよい。

【0049】

情報取得部６０は、位置情報取得部６２を備えてもよい。位置情報取得部６２は、位置センサ７２によって測位される位置情報を取得する。位置センサ７２は、移動体に搭載され、移動体の位置を測定する。位置センサ７２は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信モジュールなどである。位置センサ７２は、認識処理装置１０Ｂの位置、つまりカメラ３０の撮像位置を検出する。認識処理装置１０Ｂは、位置センサ７２を含む構成であってもよいし、位置センサ７２を含まない構成であってもよい。

【0050】

情報取得部６０は、地図情報取得部６４を備えてもよい。地図情報取得部６４は、地図装置７４から地図情報を取得する。地図装置７４は、地図情報を記憶する装置であり、例えば、ナビゲーション装置である。地図情報は、高温物体となりうる建造物の位置や形状、高さを示す情報を含む。認識処理装置１０Ｂは、地図装置７４を含む構成であってもよいし、地図装置７４を含まない構成であってもよい。地図情報取得部６４は、図示しない無線通信機能を用いて、外部のサーバ等から地図情報を取得してもよい。

【0051】

情報取得部６０は、時間情報取得部６６を備えてもよい。時間情報取得部６６は、計時装置７６から時間情報を取得する。計時装置７６は、例えば、現在日時を示す現在時間情報を生成する時計装置である。計時装置７６は、カメラ３０の撮像日時を出力する。認識処理装置１０Ｂは、計時装置７６を含む構成であってもよいし、計時装置７６を含まない構成であってもよい。

【0052】

情報取得部６０は、方位情報取得部６８を備えてもよい。方位情報取得部６８は、方位センサ７８によって測定される方位情報を取得する。方位センサ７８は、移動体に搭載され、移動体の方位を測定する。方位センサ７８は、例えば、加速度センサやジャイロセンサであり、移動体の向きまたは方角を検出する。方位センサ７８は、例えば、カメラ３０の撮像方向を検出する。認識処理装置１０Ｂは、方位センサ７８を含む構成であってもよいし、方位センサ７８を含まない構成であってもよい。

【0053】

情報取得部６０は、温度情報取得部７０を備えてもよい。温度情報取得部７０は、温度センサ８０によって測定される温度情報を取得する。温度センサ８０は、移動体に搭載され、移動体の外気温を測定する。認識処理装置１０Ｂは、温度センサ８０を備えてもよいし、温度センサ８０を備えなくてもよい。温度情報取得部７０は、図示しない無線通信機能を用いて、現在位置の気温といった温度情報を外部のサーバ等から取得してもよい。

【0054】

高温領域検出部１４Ｂは、情報取得部６０が取得する情報を用いて、映像取得部１２が取得する映像において高温物体が含まれる高温領域を推定する。高温領域検出部１４Ｂは、位置情報、地図情報、時間情報、方位情報および温度情報の少なくとも一つを用いて、映像に含まれる高温領域を検出する。

【0055】

高温領域検出部１４Ｂは、例えば、位置情報および地図情報を用いて、現在の撮像位置の周囲に存在する高温物体となりうる建造物を特定する。高温領域検出部１４Ｂは、方位情報をさらに用いて、カメラ３０の画角に含まれる建造物を特定する。高温領域検出部１４Ｂは、時間情報をさらに用いて、カメラ３０の画角に含まれる建造物が高温物体であるか否かを判定する。

【0056】

建造物が高温物体となる条件として、季節に応じた温度や日照時間が挙げられる。例えば、季節が夏であれば、日中および夜間の双方において建造物の温度が３０℃以上となり、高温物体に該当することが想定される。季節が春や秋であれば、日中に太陽光によって加熱される建造物が高温物体に該当する一方で、夜間に冷却される建造物が高温物体に該当しないことが想定される。季節が冬であれば、日中および夜間の双方においても建造物の温度が３０℃未満となり、高温物体に該当しないことが想定される。

【0057】

高温領域検出部１４Ｂは、例えば、建造物が高温物体に該当する季節（例えば月日）と時間帯の組み合わせを示すテーブル情報を用いて、現在の建造物が高温物体であるか否かを判定する。高温領域検出部１４Ｂは、地域ごとに異なるテーブル情報を用いてもよく、例えば、高緯度の地域に対応するテーブル情報では、建造物が高温物体に該当する季節と時間帯の組み合わせが相対的に少なくなり、低緯度の地域に対応するテーブル情報では、建造物が高温物体に該当する季節と時間帯の組み合わせが相対的に多くなる。

【0058】

高温領域検出部１４Ｂは、温度情報をさらに用いて、カメラ３０の画角に含まれる建造物が高温物体に該当するか否かを判定してもよい。高温領域検出部１４Ｂは、例えば、撮像位置の気温が所定値（例えば２０℃や２５℃）以上である場合に、建造物が高温物体に該当すると判定してもよい。高温領域検出部１４Ｂは、撮像位置の気温が所定値以上であり、かつ、建造物が高温物体に該当する季節および時間帯の条件を満たす場合に、建造物が高温物体に該当すると判定してもよい。

【0059】

高温領域検出部１４Ｂは、カメラ３０の画角に含まれる建造物が高温物体に該当すると判定した場合、カメラ３０の画角において高温物体が含まれる領域を高温領域として検出する。高温領域検出部１４Ｂは、例えば、図２に示される複数の分割領域４２のそれぞれについて、高温物体に該当する建造物が含まれるか否かを判定し、高温物体に該当する建造物が含まれる分割領域４２を高温領域として検出する。

【0060】

本実施形態によれば、映像取得部１２が取得する映像とは異なる情報を用いて、映像に含まれる高温物体を検出できる。本実施形態によれば、人物と人物以外の高温物体とを区別して検出できる。これにより、人物の背景に人物以外の高温物体が存在する高温領域を検出できる。本実施形態においても、高温領域に存在する人物を第２検出処理によって検出することにより、高温領域に存在する人物の検出精度を高めることができる。一方、高温領域外に存在する人物を第１検出処理によって検出することにより高温領域外に存在する人物の検出精度を高めることができる。

【0061】

（第４実施形態）
図１０は、第４実施形態に係る認識処理装置１０Ｃの機能構成を模式的に示すブロック図である。認識処理装置１０Ｃは、日照情報取得部８２をさらに備え、日照情報取得部８２によって取得される情報を用いて高温領域を検出する点で、上述の実施形態と相違する。第４実施形態に係る認識処理装置１０Ｃは、スマートポールなどの所定の場所に固定されるカメラ３０からの映像を取得する。以下、第４実施形態について、上述の実施形態との相違点を中心に説明し、共通的について説明を適宜省略する。

【0062】

認識処理装置１０Ｃは、映像取得部１２と、日照情報取得部８２と、高温領域検出部１４Ｃと、人物検出部１６とを備える。認識処理装置１０Ｃは、出力制御部１８をさらに備えてもよい。映像取得部１２、人物検出部１６および出力制御部１８は、第１実施形態と同様に構成される。人物検出部１６は、第２実施形態に係る人物検出部１６Ａと同様に構成されてもよい。

【0063】

日照情報取得部８２は、照度センサ８４によって測定される日照情報を取得する。照度センサ８４は、カメラ３０が設置されるスマートポールなどに設けられる。照度センサ８４は、カメラ３０の撮像範囲における照度を測定し、測定した照度を示す日照情報を出力する。日照情報取得部８２は、図示しない無線通信機能を用いて、現在位置の天候などに基づいて決定される日照情報を外部のサーバ等から取得してもよい。

【0064】

高温領域検出部１４Ｃは、日照情報取得部８２が取得する日照情報を用いて、映像取得部１２が取得する映像において高温物体が含まれる高温領域を推定する。高温領域検出部１４Ｃは、例えば、日照情報を用いて、映像取得部１２が取得する映像の撮像範囲における温度分布を推定し、推定した温度分布において温度が所定の閾値以上となる領域を高温領域として検出する。カメラ３０がスマートポールなどに固定されている場合、カメラ３０の撮像範囲が固定されているため、撮像範囲に含まれる人物以外の物体（例えば、建物や路面）の温度分布は主に日照によって決まる。例えば、カメラ３０の撮像範囲に含まれる人物以外の物体の温度分布を照度値の関数として予め決定しておくことにより、日照情報取得部８２が取得する日照情報を用いて、カメラ３０の撮像範囲における温度分布を推定できる。高温領域検出部１４Ｃは、このような照度値の関数としての温度分布情報を予め保持することができる。

【0065】

本実施形態において、例えば、カメラ３０がスマートポールなどに固定されている場合、検出対象となる人物を、人物の上方から撮影することがある。このような場合、人物が存在する路面の温度が日照によって高温となり、人物の背景である路面全体が高温領域となることもある。このような場合、高温領域検出部１４Ｃは、日照情報を用いて人物の背景の全体（またはカメラ３０の撮影範囲全体）が高温領域であるとみなし、人物検出部１６は、第２検出部２４を用いた第２検出処理を用いて人物を検出する。

【0066】

カメラ３０がスマートポールなどに固定されている場合、高温領域として検出する範囲は、カメラ３０の撮影範囲の全体であってもよく、カメラ３０の撮影範囲において道路として区画されている範囲であってもよい。

【0067】

本実施形態において、出力制御部１８は、出力装置３２を用いて、スマートポールなどに設置されているカメラ３０が撮影した映像から検出した人物や車両の情報を、路車間通信を行うサーバや、近傍を走行する車両などに送信してもよい。

【0068】

本実施形態によれば、映像取得部１２が取得する映像とは異なる情報を用いて、映像に含まれる高温物体を検出できる。本実施形態によれば、人物と人物以外の高温物体とを区別して検出できる。これにより、人物の背景に人物以外の高温物体が存在する高温領域を検出できる。本実施形態においても、高温領域に存在する人物を第２検出処理によって検出することにより、高温領域に存在する人物の検出精度を高めることができる。一方、高温領域外に存在する人物を第１検出処理によって検出することにより高温領域外に存在する人物の検出精度を高めることができる。

【0069】

上述した各実施形態は、連続した映像において人物を検出し、連続した映像において検出した人物を追跡する技術に適用可能である。例えば、背景に高温物体が含まれない状態（つまり高温領域外）で検出された人物が、人物の移動または車両の移動などによって、背景に高温物体が含まれる状態（高温領域内）となった場合、第１検出部による第１人物検出処理から第２検出部による第２人物検出処理に切り替えることができる。これにより、人物を高温領域の内外にわたって連続的に検出することができ、人物を適切に追跡することができる。

【0070】

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態に示す各構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。

【符号の説明】

【0071】

１０…認識処理装置、１２…映像取得部、１４…高温領域検出部、１６…人物検出部、２０…切出領域判定部、２２…第１検出部、２４…第２検出部、３０…カメラ、４４ａ，４４ｂ…高温領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】