特開 2024-67394 注意喚起装置、注意喚起方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067394

(43)【公開日】2024-05-17

(54)【発明の名称】注意喚起装置、注意喚起方法、および、コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240510BHJP

   G06T 7/246 20170101ALI20240510BHJP

【ＦＩ】

G08G1/16 A

G06T7/246

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022177437

(22)【出願日】2022-11-04

(71)【出願人】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100160691

【弁理士】

【氏名又は名称】田邊 淳也

(74)【代理人】

【識別番号】100227732

【弁理士】

【氏名又は名称】小澤 祥二

(72)【発明者】

【氏名】荒木 円博

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC04

5H181LL01

5H181LL07

5H181LL08

5H181LL15

5L096BA04

5L096CA04

5L096DA03

5L096FA02

5L096FA18

5L096FA59

5L096FA62

5L096FA69

5L096GA30

5L096GA51

5L096HA05

5L096HA11

5L096JA11

(57)【要約】

【課題】 注意喚起装置において、対象者に注意を喚起するための報知の精度を向上する技術を提供する。
【解決手段】 注意喚起装置は、物体を含み、深度情報を有していない画像を取得する画像取得部と、撮像時間が異なる複数の画像と、複数の画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、画像における特定領域に対する物体の位置に関する特徴量の時間変化率と、画像全体の面積に対する物体の外接図形の面積比率と、を算出する物体追跡部と、物体追跡部によって算出される特徴量の時間変化率と、外接図形の面積比率と、を用いて、物体の特定領域への接近を予測する接近予測部と、接近予測部の予測結果に応じて、物体が特定領域に接近していることを対象者に報知する報知部と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

特定領域において物体に接触するおそれがある対象者に対して、前記特定領域への前記物体の接近について注意を喚起する注意喚起装置であって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得部と、
前記画像取得部によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡部であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡部と、
前記物体追跡部によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測部と、
前記接近予測部の予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知部と、を備える、
注意喚起装置。

【請求項2】

請求項１に記載の注意喚起装置は、さらに、
前記物体追跡部によって算出される前記物体の位置に関する特徴量と、前記物体の外接図形の面積比率と、を用いて、前記物体が前記特定領域の近くに存在するか否かを判定する近接判定部を備え、
前記報知部は、前記近接判定部の判定結果に応じて、前記物体が前記特定領域の近くに存在することを前記対象者に報知する、
注意喚起装置。

【請求項3】

請求項１または請求項２に記載の注意喚起装置であって、
前記物体追跡部は、前記時系列データに含まれる複数の画像のうちの一の画像に含まれる物体が、前記一の画像よりも時間的に前の画像に含まれる物体と同じであるとする確率に基づく指標を算出し、
前記接近予測部は、前記外接図形の面積比率が第１の閾値より大きく、かつ、前記指標が第２の閾値より大きい場合、前記物体が前記特定領域に接近しているか否かを判定する、
注意喚起装置。

【請求項4】

請求項３に記載の注意喚起装置であって、
前記接近予測部は、
前記特徴量の時間変化率が第１の時間変化率より大きい場合、前記物体が前記特定領域に接近していると判定し、
前記特徴量の時間変化率が前記第１の時間変化率に比べ小さい第２の時間変化率より小さい場合、前記物体が前記特定領域に接近していないと判定する、
注意喚起装置。

【請求項5】

請求項１または請求項２に記載の注意喚起装置であって、
前記接近予測部は、前記物体が前記特定領域に接近していることを予測した場合、前記物体の接近を前記対象者に報知するように前記報知部に指令し、
前記報知部は、前記接近予測部の指令を受けてから、所定の時間の間、前記接近予測部から受ける新たな指令の内容にかかわらず、前記物体が前記特定領域に接近していることを前記対象者に報知し続ける、
注意喚起装置。

【請求項6】

請求項１または請求項２に記載の注意喚起装置であって、
前記画像取得部は、前記特定領域の手前が画像の右端または左端に位置する画像を取得し、
前記物体追跡部は、前記特徴量として、前記画像における前記物体の外接図形の中心の水平方向成分を算出する、
注意喚起装置。

【請求項7】

特定領域において物体に接触するおそれがある対象者に対して、注意喚起装置が前記特定領域への物体の接近について注意を喚起する注意喚起方法であって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得工程と、
前記画像取得工程において取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡工程であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡工程と、
前記物体追跡工程において算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測工程と、
前記接近予測工程での予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知工程と、を備える、
注意喚起方法。

【請求項8】

特定領域において物体に接触するおそれがある対象者に対する、前記特定領域への前記物体の接近についての注意喚起を、注意喚起装置に実行させるコンピュータプログラムであって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得機能と、
前記画像取得機能によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡機能であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡機能と、
前記物体追跡機能によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測機能と、
前記接近予測機能による予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知機能と、を前記注意喚起装置に実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、注意喚起装置、注意喚起方法、および、コンピュータプログラムに関する。

【背景技術】

【0002】

従来から、移動する物体に対して他の物体との接触の注意喚起をする注意喚起装置が知られている。例えば、特許文献１には、設備と人間とが接触するおそれがある特定領域と特定領域の周辺領域とを撮像可能なカメラが撮像した画像を用いて、特定領域に接近する人間に注意を喚起する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０２６９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１のような先行技術によっても、注意喚起装置において、対象者に注意を喚起するための報知の精度を向上する技術については、なお、改善の余地があった。例えば、特許文献１に開示されている技術では、カメラは、特定領域と特定領域の周辺の領域とが撮像できるように、これらの領域を俯瞰できる位置に設置される必要がある。しかしながら、例えば、深度情報を有していない画像しか撮像できない単眼カメラを用いる場合、単眼カメラを俯瞰できる位置に設置できないと、単眼カメラによって撮像される画像における特定領域に対する人間の位置関係と、実際の特定領域に対する人間の位置関係とが、異なるおそれがある。画像における位置関係が実際の位置関係とは異なると、報知すべき状況で報知できない場合や、人間が特定領域から遠ざかっているために報知すべきでない状況でも誤って報知する場合が生じる。このため、注意を喚起するための報知の精度が低下するおそれがある。

【0005】

本発明は、上述した課題を解決するためになされたものであり、物体に接触するおそれがある対象者に対して、特定領域への物体の接近について注意を喚起する注意喚起装置において、対象者に注意を喚起するための報知の精度を向上する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

【0007】

（１）本発明の一形態によれば、特定領域において物体に接触するおそれがある対象者に対して、前記特定領域への前記物体の接近について注意を喚起する注意喚起装置が提供される。この注意喚起装置は、前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得部と、前記画像取得部によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡部であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡部と、前記物体追跡部によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測部と、前記接近予測部の予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知部と、を備える。

【0008】

この構成によれば、接近予測部は、画像における特定領域に対する物体の位置に関する特徴量の時間変化率と、画像全体の面積に対する前記物体の外接図形の面積比率とを用いて、物体の特定領域への接近を予測する。物体追跡部が算出する物体の外接図形の面積比率は、深度情報を有していない画像において物体に関する深度情報となりうるものであり、例えば、外接図形の面積比率が大きいほど、実際の物体は、画像取得部の近くに存在しているといえる。そこで、画像における物体の位置に関する特徴量の時間変化率に基づいて、実際の物体の単位時間当たりの移動量を算出するとともに、物体の外接図形の面積比率に基づいて、物体に関する深度情報を取得する。これにより、深度情報を有していない画像を取得する画像取得部が特定領域を俯瞰できる位置に設置できない場合でも、画像における物体と特定領域との位置関係と、実際の物体と特定領域との位置関係とを一致させることができる。したがって、特定領域への物体の接近に関する誤報が少なくなるため、深度情報を有していない画像を取得する画像取得部であっても、設置場所に関わらず、対象者に注意を喚起するための報知の精度を向上することができる。

【0009】

（２）上記形態の注意喚起装置は、さらに、前記物体追跡部によって算出される前記物体の位置に関する特徴量と、前記物体の外接図形の面積比率と、を用いて、前記物体が前記特定領域の近くに存在するか否かを判定する近接判定部を備え、前記報知部は、前記近接判定部の判定結果に応じて、前記物体が前記特定領域の近くに存在することを前記対象者に報知してもよい。この構成によれば、報知部は、近接判定部による、物体の位置に関する特徴量と物体の外接図形の面積比とを用いた判定結果に応じて、物体が特定領域の近くに存在することを対象者に報知する。これにより、例えば、物体が特定領域の近くに静止しているため、物体の位置に関する特徴量の時間変化率が小さくても物体が移動することで特定領域に侵入するおそれがある場合でも、報知部は、近接判定部による判定を受けて、対象者に報知する。これにより、物体と対象者との接触をさらに抑制することができるため、対象者に注意を喚起するための報知の精度を向上することができる。

【0010】

（３）上記形態の注意喚起装置において、前記物体追跡部は、前記時系列データに含まれる複数の画像のうちの一の画像に含まれる物体が、前記一の画像よりも時間的に前の画像に含まれる物体と同じであるとする確率に基づく指標を算出し、前記接近予測部は、前記外接図形の面積比率が第１の閾値より大きく、かつ、前記指標が第２の閾値より大きい場合、前記物体が前記特定領域に接近しているか否かを判定してもよい。この構成によれば、物体追跡部は、一の画像に含まれる物体が一の画像よりも時間的に前の画像に含まれる物体と同じであるとする確率に基づく指標を算出する。物体追跡部が算出する指標は、物体追跡部が同一の物体を追跡できているかどうかを示している。接近予測部は、物体追跡部が同一の物体を追跡できているかどうかを示している指標と、物体の深度情報となりうる外接図形の面積と、のそれぞれが所定の閾値より大きい場合、物体が特定領域に接近しているか否かを判定する。これにより、例えば、画像における物体の位置に関する特徴量の時間変化率の符号が小刻みに変化することで接近予測部の判定結果が頻繁に切り替わることを抑制することができる。したがって、報知部による対象者への報知を安定して行うことができる。

【0011】

（４）上記形態の注意喚起装置において、前記接近予測部は、前記特徴量の時間変化率が第１の時間変化率より大きい場合、前記物体が前記特定領域に接近していると判定し、前記特徴量の時間変化率が前記第１の時間変化率に比べ小さい第２の時間変化率より小さい場合、前記物体が前記特定領域に接近していないと判定してもよい。この構成によれば、接近予測部において、物体が特定領域に接近していると判定している状態から物体が特定領域に接近していないと判定する状態に遷移する閾値と、物体が特定領域に接近していないと判定している状態から物体が特定領域に接近していると判定する状態に遷移する閾値とは、異なる。これにより、閾値を挟んで特徴量の時間変化率が微小に変化することで、接近予測部の判定結果が頻繁に切り替わることを抑制することができる。したがって、報知部による対象者への報知を安定して行うことができる。

【0012】

（５）上記形態の注意喚起装置において、前記接近予測部は、前記物体が前記特定領域に接近していることを予測した場合、前記物体の接近を前記対象者に報知するように前記報知部に指令し、前記報知部は、前記接近予測部の指令を受けてから、所定の時間の間、前記接近予測部から受ける新たな指令の内容にかかわらず、前記物体が前記特定領域に接近していることを前記対象者に報知し続けてもよい。この構成によれば、報知部は、一旦、物体が特定領域に接近している内容の指令を接近予測部から受け取ると、接近予測部から受ける新たな指令の内容にかかわらず、所定の時間の間、物体が特定領域に接近していることを対象者に報知し続ける。これにより、接近予測部において予測が頻繁に切り替わる場合であっても、報知部は、対象者への報知を安定して行うことができる。

【0013】

（６）上記形態の注意喚起装置において、前記画像取得部は、前記特定領域の手前が画像の右端または左端に位置する画像を取得し、前記物体追跡部は、前記特徴量として、前記画像における前記物体の外接図形の中心の水平方向成分を算出してもよい。この構成によれば、物体追跡部は、一次元の線分上で物体を追跡することができるため、物体の特定領域への接近を予測するために用いる特徴量の時間変化率を簡便に算出することができる。これにより、接近予測部による予測にかかる手間を小さくすることができる。

【0014】

（７）本発明の別の形態によれば、特定領域において物体に接触するおそれがある対象者に対して、注意喚起装置が前記特定領域への物体の接近について注意を喚起する注意喚起方法が提供される。この注意喚起方法は、前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得工程と、前記画像取得工程において取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡工程であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡工程と、前記物体追跡工程において算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測工程と、前記接近予測工程での予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知工程と、を備える。この構成によれば、物体追跡工程において、物体の位置に関する特徴量の時間変化率に基づく実際の物体の単位時間当たりの移動量と、物体の外接図形の面積比率に基づく物体に関する深度情報とを用いて、画像における物体と特定領域との位置関係と、実際の物体と特定領域との位置関係とを一致させる。これにより、画像取得工程において深度情報を有していない画像を取得しても、対象者に注意を喚起するための報知の精度を向上することができる。

【0015】

（８）本発明のさらに別の形態によれば、特定領域において物体に接触するおそれがある対象者に対する、前記特定領域への前記物体の接近についての注意喚起を、注意喚起装置に実行させるコンピュータプログラムが提供される。このコンピュータプログラムは、前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得機能と、前記画像取得機能によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡機能であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡機能と、前記物体追跡機能によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測機能と、前記接近予測機能による予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知機能と、を前記注意喚起装置に実行させる。この構成によれば、注意喚起装置の物体追跡機能は、画像における物体の位置に関する特徴量の時間変化率から実際の物体の単位時間当たりの移動量を算出し、物体の外接図形の面積比率に基づいて、物体に関する深度情報を取得する。これにより、画像における物体と特定領域との位置関係と、実際の物体と特定領域との位置関係とを一致させることができるため、画像取得機能によって深度情報を有していない画像を取得する場合でも、対象者に注意を喚起するための報知の精度を向上することができる。

【0016】

なお、本発明は、種々の態様で実現することが可能であり、例えば、注意喚起装置を含むシステム、注意喚起装置を含むシステムの制御方法、注意喚起装置を含むシステムにおいて注意喚起を実行させるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態の注意喚起装置の概略構成を示す模式図である。

【図2】撮像部の設置場所および撮像方向の一例を説明する模式図である。

【図3】撮像部が撮像する画像の一例を示す模式図である。

【図4】画像に含まれる歩行者の位置の時間変化を示す第１の図である。

【図5】図４に示す第１の状態での歩行者の移動内容を説明する図である。

【図6】図４に示す第２の状態での歩行者の移動内容を説明する図である。

【図7】図４に示す第３の状態での歩行者の移動内容を説明する図である。

【図8】接近予測部の状態遷移図である。

【図9】画像に含まれる歩行者の位置の時間変化率の変化の一例を示す図である。

【図10】歩行者の位置の時間変化と接近予測部の判定結果を示す図である。

【図11】第２実施形態の注意喚起装置の概略構成を示す模式図である。

【図12】画像における近接範囲を説明する模式図である。

【図13】画像に含まれる歩行者の位置の時間変化を示す第２の図である。

【図14】画像に含まれる歩行者の位置の時間変化率の変化を示す第２の図である。

【図15】図１４の部分拡大図である。

【発明を実施するための形態】

【0018】

＜第１実施形態＞
図１は、第１実施形態の注意喚起装置１の概略構成を示す模式図である。本実施形態の注意喚起装置１は、撮像部１０と、ＣＰＵなどの１以上のプロセッサ２０と、報知部３０と、を備える。注意喚起装置１は、例えば、歩行者（物体）と車両とが接触するおそれがある横断歩道（特定領域）に接近する車両の運転者（対象者）に対して、横断歩道への歩行者の接近を知らせることで、運転者に歩行者に対する注意を喚起する。なお、注意喚起装置１が注意を喚起する対象者は、車両の運転者に限定されない。横断歩道への車両の接近を歩行者に知らせてもよい。

【0019】

撮像部１０は、歩行者を含む画像を撮像する。本実施形態の撮像部１０は、深度情報が含まれていない画像を撮像する、いわゆる、単眼カメラである。単眼カメラは、比較的安価であり、ソナーに比べ検知可能な角度の範囲が大きい。これにより、１台の注意喚起装置１によって広範囲における歩行者の動きをカバーできるため、１台の注意喚起装置１の製造コストを低減することができるとともに、注意喚起装置１の設置台数を低減することができる。なお、撮像部１０は、単眼カメラに限定されない。画像に深度情報が含まれない画像を撮像できる機器であればよい。

【0020】

図２は、撮像部１０の設置場所および撮像方向の一例を説明する模式図である。図２には、撮像部１０が設置される場所を含む領域の俯瞰図を示している。本実施形態では、撮像部１０は、例えば、車両Ｃ１が走行する車道１１と歩道１２ａとを隔てるガードレール１３に設置される。ガードレール１３に設置される撮像部１０は、横断歩道１４から建物１５につながる歩道１２ｂ，１２ｃ上を移動する歩行者Ｗ１を含む画像を撮像する。図２では、撮像部１０が撮像可能な方向の範囲を二点鎖線Ｉｒ１で示す。歩道１２ｂは、建物１５から横断歩道１４に向かう歩道であり、歩道１２ｃは、建物１５から横断歩道１４がある方向とは反対の方向に向かう歩道である。

【0021】

図３は、撮像部１０が撮像する画像の一例を示す模式図である。図２に示す位置に撮像部１０を設置すると、撮像部１０は、図３に示すような画像Ｐ１を撮像する。図３に示す画像Ｐ１では、横断歩道１４は、画像Ｐ１の右端Ｐ１＿Ｒｅの外に位置しており、画像Ｐ１の右側には、横断歩道１４近くの近接領域１４ａ（図２参照）が写ることとなる。本実施形態では、画像Ｐ１において、左端Ｐ１＿Ｌｅから右端Ｐ１＿Ｒｅに向かうことで、歩行者Ｗ１と車両Ｃ１とが接触するおそれがある横断歩道１４に接近することとなる。なお、本実施形態では、画像Ｐ１は、画像Ｐ１の右側に、横断歩道１４近くの近接領域１４ａを含めるとしたが、「特定領域」としての横断歩道１４の一部を含めてもよい。画像Ｐ１の端に、近接領域１４ａが含まれていればよい。近接領域１４ａは、特許請求の範囲に記載の「特定領域の手前」に相当する。

【0022】

撮像部１０は、ガードレール１３に取り付けられるため、歩道１２ｂを歩く歩行者Ｗ１の足下が、歩道１２ｂの傍に植えられている植物１６（図２および図３参照）などによって撮像されないおそれがある。撮像部１０は、例えば、一定の時間間隔ごとに、深度情報が含まれていない画像Ｐ１を撮像する。撮像部１０は、撮像した画像Ｐ１と、画像Ｐ１を撮像した時間の情報とのセットを、画像Ｐ１を撮像するたびに、プロセッサ２０に出力する。

【0023】

プロセッサ２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納されているコンピュータプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開したり、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアに機能を作動させたりすることで、各種機能を実行する。本実施形態のプロセッサ２０は、画像Ｐ１中の歩行者Ｗ１を追跡する物体追跡部２１と、歩行者Ｗ１の横断歩道１４への接近を予測する接近予測部２２と、して機能する。

【0024】

物体追跡部２１は、撮像部１０から、画像Ｐ１と画像Ｐ１を撮像した時間の情報とのセットを受信するたびに、画像Ｐ１を受信したときの時刻と対応付けた時系列データを構成する。物体追跡部２１は、構成した時系列データを用いて、画像Ｐ１に含まれる歩行者Ｗ１をリアルタイムで追跡する。本実施形態では、物体検出による結果を用いて物体追跡を行うＴｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎを用いて、画像Ｐ１に含まれる歩行者Ｗ１を追跡する。Ｔｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎとしては、ＳＯＲＴ（ＳｉｍｐｌｅＯｎｌｉｎｅ ａｎｄ Ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）、または、ＤｅｅｐＳＯＲＴなどを用いる。なお、物体追跡部２１が画像Ｐ１中の歩行者Ｗ１を追跡する手法は、これに限定されない。歩行者Ｗ１の検出と追跡とを同時に行う、ＦａｉｒＭＯＴ（Ｆａｉｒ ＭｕｌｔｉｐｌｅＯｂｊｅｃｔ Ｔｒａｃｋｉｎｇ）や、ＴｒａｎｓＭＯＴなどであってもよい。

【0025】

本実施形態のＴｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎの前段である物体検出では、ニューラルネットワークを用いるＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）を用いて、歩行者Ｗ１を検出する。また、物体追跡部２１による物体検出では、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などや、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）などの特徴量とＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）などの分類手段の組合せであってもよい。本実施形態では、物体追跡部２１は、物体検出における誤検出を抑制するため、検出対象の物体の種類を、人間であると限定し、検出した物体が指定された種類の物体（人間）であることを示す確信度を算出する。物体追跡部２１は、算出した確信度が所定の値より小さい場合には、検出した物体に関する検出結果を後段の物体追跡には用いず、検出結果を破棄する。

【0026】

本実施形態のＴｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎの後段である物体追跡では、複数の物体同士の予測・情報統合と組合せ最適化を同時に行うｌａｂｅｌｅｄ ｍｕｌｔｉ－Ｂｅｒｎｏｕｌｌｉ ｆｉｌｔｅｒを用いる。また、物体追跡部２１による物体追跡では、複数の物体同士の予測・情報統合と組合せ最適化とを分けて行う方法であってもよい。この場合、予測・情報統合には、カルマンフィルタ、パーティクルフィルタなどを用いてもよいし、組合せ最適化には、ハンガリアン法、Ｊｏｉｎｔ Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ法などを用いてもよい。

【0027】

本実施形態では、物体追跡部２１による物体追跡は、追跡する物体の位置の時間変化率、すなわち、移動速度を一定とする仮定を用いて予測を行う。物体追跡部２１による物体追跡では、等速予測や等加速度予測などの予測方法を適応的に複数組み合わせるＩｎｔｅｒａｃｔｉｎｇ Ｍｕｌｔｉｐｌｅ Ｍｏｄｅｌ法を用いて、予測を行ってもよい。物体追跡部２１による物体追跡での情報統合では、これまでの追跡履歴の忘却係数を適応的に増減させて物体への追従性とノイズへの頑健性を両立してもよい。物体追跡部２１による物体追跡での組み合わせ最適化では、組合せ最適化に用いる距離として、検出された物体の画像上の非類似度を用いてもよい。

【0028】

物体追跡部２１は、画像Ｐ１中の歩行者Ｗ１の追跡結果として、画像Ｐ１における歩行者Ｗ１の位置に関する特徴量を算出する。具体的には、物体追跡部２１は、歩行者Ｗ１の位置に関する特徴量として、画像Ｐ１における歩行者Ｗ１の外接矩形の中心の水平方向成分を算出する。なお、物体追跡部２１が算出する歩行者Ｗ１の位置に関する特徴量は、外接矩形の中心の水平方向成分に限定されない。歩行者Ｗ１の外接矩形の各頂点の座標値であってもよいし、外接矩形の面積、外接矩形の各辺の長さであってもよい。なお、画像Ｐ１において歩行者Ｗ１に外接する図形は、矩形に限定されない。外接円などであってもよい。

【0029】

物体追跡部２１は、算出した画像Ｐ１における歩行者Ｗ１の位置に関する特徴量を用いて、歩行者Ｗ１の位置に関する特徴量の時間変化率を算出する。具体的には、算出した画像Ｐ１における歩行者Ｗ１の外接矩形の中心の水平方向成分を用いて、画像Ｐ１における歩行者Ｗ１の水平方向の移動速度（以下、単に「歩行者Ｗ１の移動速度」という）を算出する。本実施形態では、物体追跡部２１は、歩行者Ｗ１の外接矩形の中心の水平方向成分が取得できない状態を想定し、カルマンフィルタによる等速予測を用いて、歩行者Ｗ１の移動速度の予測値を算出する。歩行者Ｗ１の外接矩形の中心の水平方向成分が取得できない状態とは、例えば、一時的に物体検出の確信度が低下して検出結果が破棄された場合や歩行者Ｗ１が画像Ｐ１の右端Ｐ１＿Ｒｅを通り過ぎた後、横断を取りやめて歩道１２ｂに後戻りする際の後戻りするまでの場合などが当たる。

【0030】

物体追跡部２１は、画像Ｐ１中の歩行者Ｗ１の追跡結果として、画像Ｐ１における歩行者Ｗ１の外接矩形の面積比率を算出する。具体的には、物体追跡部２１は、画像Ｐ１全体の面積を算出するとともに、画像Ｐ１に含まれる歩行者Ｗ１の外接矩形の面積を算出する。物体追跡部２１は、歩行者Ｗ１の外接矩形の面積を画像Ｐ１全体の面積で除することで、歩行者Ｗ１の外接矩形の面積比率を算出する。

【0031】

物体追跡部２１は、時系列データを用いて、時系列データに含まれる複数の画像のうちの一の画像に含まれる歩行者が、一の画像よりも時間的に前の画像に含まれる歩行者と同じであるとする確率に基づく指標（以下、「鮮度指標」という）を算出する。鮮度指標は、物体追跡部２１が複数の画像Ｐ１のそれぞれにおいて、同一の歩行者Ｗ１を追跡できているかどうかを示している。すなわち、鮮度指標が大きい場合、同一の歩行者Ｗ１を追跡できている可能性が高いといえる。物体追跡部２１は、最新の画像を受け取るごとに、最新の時系列データの時刻に対応して、歩行者Ｗ１の予測された位置に関する状態量と、最新の画像Ｐ１に含まれる歩行者Ｗ１の検出結果との対応付けを行い、最新の画像Ｐ１中の歩行者Ｗ１の存在確率を算出する。この場合、対応付けない確率を閾値として設定しておき、この閾値より小さい存在確率は、対応付けられないようにする。なお、鮮度指標の算出方法はこれに限定されない。例えば、Ｂｉｎａｒｙ Ｂａｙｅｓ Ｆｉｌｔｅｒを用いて算出される事後確率を用いてもよい。また、追跡対象である歩行者Ｗ１が実在し観測できる確率と、歩行者Ｗ１は実在するが観測できない確率と、歩行者Ｗ１は実在しないまたはわからない確率との合計を１とし、歩行者Ｗ１が実在し観測できる確率と実在するが観測できない確率とがトレードオフに関係にあり、かつ、実在するが観測できない確率と、実在しないまたはわからない確率との比を一定とすることで得られる存在確率の更新式を用いて、歩行者Ｗ１の存在確率を算出してもよい。

【0032】

物体追跡部２１は、このようにして、画像Ｐ１における歩行者Ｗ１の水平方向成分および歩行者Ｗ１の移動速度と、歩行者Ｗ１の外接矩形の面積比率と、歩行者Ｗ１の鮮度指標と、を算出する。以下、歩行者Ｗ１の外接矩形の面積比率と、歩行者Ｗ１の鮮度指標との組み合わせを、本実施形態の注意喚起方法における、歩行者Ｗ１についての「信頼度」という。

【0033】

図４は、撮像部１０が撮像する画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化を示す第１の図である。図４には、画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化の一例を示している。図４では、横軸に、撮像部１０が撮像した画像Ｐ１における歩行者Ｗ１の位置を「相対位置」として示している。「相対位置」とは、画像Ｐ１の左端Ｐ１＿Ｌｅの位置を画像Ｐ１全体に対する０％とし、画像Ｐ１の右端Ｐ１＿Ｒｅの位置を画像Ｐ１全体に対する１００％とし、画像Ｐ１における歩行者Ｗ１の位置を示す比率のことである。すなわち、「相対位置」が大きいほど、横断歩道１４に近いことを示している。縦軸には、物体追跡部２１による画像Ｐ１を用いた歩行者Ｗ１の検出結果が接近予測部２２に最初に出力された時刻から経過した時間を示している。

【0034】

図４には、画像Ｐ１を用いた歩行者Ｗ１の検出を開始した時刻から、一定の時間ごとの物体追跡部２１による追跡結果が示されている。図４に示す各時刻における追跡結果は、図４に示す凡例に基づいて、画像Ｐ１における歩行者Ｗ１の外接矩形の面積比率の大きさを菱形形状のマークの大きさで表している。画像Ｐ１における歩行者Ｗ１の外接矩形の面積比率は、画像Ｐ１全体の面積に対する歩行者Ｗ１の外接矩形の面積の比を示している。

【0035】

図５は、第１の状態の歩行者を含む画像の模式図の一例である。画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化を示す図４には、大きく分類して、歩行者Ｗ１の３つの状態についての追跡結果が示されている。図５に示す第１の状態は、図４の二点鎖線Ｃｄ１で囲まれている部分に相当し、出力開始からの時刻が約５秒から約１０秒までの間において、歩道１２ｂを歩いて歩行者Ｗ１が横断歩道１４に接近している状態である。図５に示す第１の状態では、図４に示すように、時間の経過に従って、相対位置が大きくなるとともに、歩行者Ｗ１の外接矩形Ｂｒの面積比率も大きくなることがわかる。

【0036】

図６は、第２の状態の歩行者を含む画像の模式図の一例である。図６に示す第２の状態は、図４の二点鎖線Ｃｄ２で囲まれている部分に相当し、出力開始からの時刻が約２５秒から約３０秒までの間において、歩道１２ｂを歩いて歩行者Ｗ１が横断歩道１４から遠ざかっている状態である。図６に示す第２の状態では、図４に示すように、時間の経過に従って、相対位置が小さくなるとともに、歩行者Ｗ１の外接矩形Ｂｒの面積比率も小さくなることがわかる。

【0037】

図７は、第３の状態の歩行者を含む画像の模式図の一例である。図７に示す第３の状態は、図４に示す二点鎖線Ｃｄ３で囲まれている部分に相当し、出力開始からの時刻が３５秒以降において、横断歩道１４から遠ざかっている歩行者Ｗ１が歩道１２ｃに沿って移動する状態である。図７に示す第３の状態では、図４に示すように、時間の経過に従って、相対位置は大きくなるが、歩行者Ｗ１の外接矩形Ｂｒの面積比率は、第１の状態や第２の状態に比べ小さいことがわかる。

【0038】

接近予測部２２は、歩行者Ｗ１の移動速度と、歩行者Ｗ１についての信頼度と、を用いて、歩行者Ｗ１が横断歩道１４に接近しているか否かを判定する。具体的には、接近予測部２２は、物体追跡部２１が算出する、歩行者Ｗ１の移動速度と、歩行者Ｗ１についての信頼度とによって、「予測不可状態」または「予測可能状態」のいずれかの状態となる。さらに、予測可能状態の接近予測部２２は、「接近予測状態」または「非接近予測状態」のいずれかの状態となる。接近予測部２２は、これらの状態に応じた信号を報知部３０に出力する。

【0039】

図８は、本実施形態の注意喚起装置１が備える接近予測部２２の状態遷移図である。図８に示すように、初期状態の接近予測部２２は、予測不可状態となっている（図８の符号Ｓｔ１）。予測不可状態の接近予測部２２において、信頼度が以下の信頼可能条件を満たし、かつ、歩行者Ｗ１の移動速度が接近予測開始条件を満たせば、接近予測部２２は、接近予測状態（図８の符号Ｓｔ２１）に遷移する。また、予測不可状態の接近予測部２２において、信頼度が以下の信頼可能条件を満たし、かつ、歩行者Ｗ１の移動速度が非接近予測開始条件を満たせば、接近予測部２２は、非接近予測状態（図８の符号Ｓｔ２２）に遷移する。
信頼可能条件
：歩行者Ｗ１の外接矩形の面積比率＞３％、かつ、鮮度指標＞７０％
接近予測開始条件：歩行者Ｗ１の移動速度＞０．６４％／ｓ
非接近予測開始条件：歩行者Ｗ１の移動速度＜－０．６４％／ｓ
なお、予測不可状態の接近予測部２２において、信頼度が以下の信頼可能条件を満たしても、歩行者Ｗ１の移動速度が接近予測開始条件も非接近予測開始条件も満たさない場合、接近予測部２２は、予測不可状態を維持する。３％は、特許請求の範囲に記載の「第１の閾値」に相当する。７０％は、特許請求の範囲に記載の「第２の閾値」に相当する。

【0040】

接近予測部２２は、非接近予測状態において、以下の接近遷移条件を満たせば、接近予測状態（図８の符号Ｓｔ２１）に遷移し、接近予測状態において、以下の非接近遷移条件を満たせば、接近予測部２２は、非接近予測状態（図８の符号Ｓｔ２２）に遷移する。
接近遷移条件：歩行者Ｗ１の移動速度＞２．５６％／ｓ
非接近遷移条件：歩行者Ｗ１の移動速度＜－２．５６％／ｓ
２．５６％／ｓは、特許請求の範囲に記載の「第１の時間変化率」に相当する。－２．５６％／ｓは、特許請求の範囲に記載の「第２の時間変化率」に相当する。

【0041】

また、予測可能状態の接近予測部２２において、以下の信頼不可条件を満たすと、接近予測部２２は、予測不可状態に遷移する。
信頼不可条件
：歩行者Ｗ１の外接矩形の面積比率≦３％、または、鮮度指標≦７０％
本実施形態では、接近予測部２２は、「接近予測状態」となることで、報知部３０に対して「接近予測」を出力し、「非接近予測状態」となることで、報知部３０に対して「非接近予測」を出力する。

【0042】

上述したように、接近予測部２２は、信頼可能条件と接近予測開始条件（歩行者Ｗ１の移動速度＞０．６４％／ｓ）を満たすことで、「接近予測」の状態となる。一方、信頼可能条件と非接近予測開始条件（移動速度＜－０．６４％／ｓ）を満たす場合には、「非接近予測」の状態を経て、接近遷移条件（歩行者Ｗ１の移動速度＞２．５６％／ｓ）を満たすことで、「接近予測」の状態となる。すなわち、「予測可能」な状態であっても「非接近予測」の状態になると、「接近予測」の状態となるのは、接近予測開始条件（歩行者Ｗ１の移動速度＞０．６４％／ｓ）を満たす場合に比べ、歩行者Ｗ１の移動速度が大きくなっている。

【0043】

図９は、撮像部１０が撮像する画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化率の変化を示す図である。図９では、横軸に、画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化率（歩行者Ｗ１の移動速度）を示している。縦軸には、図４の縦軸と同様に、物体追跡部２１による画像Ｐ１を用いた歩行者Ｗ１の検出結果が接近予測部２２に最初に出力された時刻から経過した時間を示している。

【0044】

図９では、物体追跡部２１による追跡結果を示すデータのそれぞれについて、それぞれのデータに対応する接近予測部２２の状態に応じて、図形を使い分けて示している。具体的には、「接近予測」状態を丸形状のマークで示し、「非接近予測」状態を六角形状のマークで示し、「予測不可」状態を正方形形状のマークで示し、追跡せず破棄されたデータを三角形状のマークで示している。また、それぞれのマークの大きさは、それぞれのデータに含まれる歩行者Ｗ１の外接矩形の面積を表している。なお、追跡されずに破棄されたデータとは、物体追跡部２１による物体検出において、検出した物体が指定された種類の物体（人間）であることを示す確信度が、例えば、７０％より小さいために、破棄されたデータを指す。

【0045】

図９に示すデータのうち、出力開始からの時刻が３０秒から３５秒の間では、歩行者Ｗ１の移動速度が０％／ｓより大きくなっている（図９の実線矢印Ａ１で指し示すデータ群）。本実施形態では、上述したように、「接近予測」状態とされる「接近遷移条件」が２．５６％／ｓより大きく、「非接近予測」状態とされる「非接近遷移条件」が－２．５６％／ｓより小さく設定されている（図９に示す点線ＴＨａｔと点線ＴＨｎｔ）。これにより、実線矢印Ａ１で指し示すデータは、「接近遷移条件」を示す点線ＴＨａｔの値よりは小さいため、「接近予測」状態とはならない。本実施形態では、このように、０％／ｓを挟んで、接近遷移条件と非接近遷移条件を異ならせているため、例えば、歩行者Ｗ１の移動速度の符号が小刻みに変化することで、接近予測部２２の判定結果が頻繁に切り替わることを抑制することができる。また、接近遷移条件と非接近遷移条件とのそれぞれを０としないことにより、物体追跡部２１の追跡結果におけるノイズに対するロバスト性を高めることができる。

【0046】

図９に示すデータのうち、出力開始からの時刻が１０秒から１５秒の間では、歩行者Ｗ１の移動速度がほぼ一定となっている（図９の実線矢印Ａ２で指し示すデータ群）。本実施形態では、上述したように、物体追跡部２１は、画像Ｐ１における歩行者Ｗ１の外接矩形の中心の水平方向成分が算出されていない状態を想定し、等速予測によって、歩行者Ｗ１の移動速度の予測値を算出し、歩行者Ｗ１の追跡を継続している。実線矢印Ａ２で指し示すデータ群は、このような歩行者Ｗ１の移動速度の予測値であって、「接近遷移条件」を示す点線ＴＨａｔの値より大きいため、接近予測部２２は、「接近予測」状態となりうる。しかしながら、本実施形態では、信頼度に含まれる鮮度指標が７０％以下になる場合には、「予測不可」状態として、「接近予測」の判定を打ち切ることとなっている。これにより、実線矢印Ａ２で指し示すデータ群に基づく状態は、「予測不可」状態となり、「接近予測」の信号を報知部３０に向けて出力することはなくなる。このように、注意喚起装置１は、歩行者Ｗ１が画像Ｐ１の端を過ぎても予測値を算出し追跡することで歩行者Ｗ１の反転に備えつつ、歩行者Ｗ１の存在確率である鮮度指標に対する条件を設定することで、過剰な報知の延長を防ぐことができる。

【0047】

図１０は、歩行者Ｗ１の位置の時間変化と接近予測部２２の判定結果とを組み合わせて示す図である。図１０は、図４に示したデータの各点のそれぞれを、図９を用いて説明した接近予測部２２による判定結果を示すマークで表示し直した図である。図１０における出力開始からの時刻が約３秒から約１０秒までの間は、図５で示したように、歩行者Ｗ１が第１の状態Ｃｄ１であり、画像Ｐ１においては、歩行者Ｗ１が画像Ｐ１の右端Ｐ１＿Ｒｅに近づいていることを示している。第１の状態Ｃｄ１では、接近予測部２２は、「接近予測」の状態となり、「接近予測」の信号を報知部３０に向けて送信する。

【0048】

図１０における出力開始からの時刻が約２５秒から約３０秒過ぎまでの間は、図６で示したように、歩行者Ｗ１が第２の状態Ｃｄ２であり、画像Ｐ１においては、歩行者Ｗ１が画像Ｐ１の右端Ｐ１＿Ｒｅに離れていることを示している。第２の状態Ｃｄ２では、接近予測部２２は、「非接近予測」の状態となり、「非接近予測」の信号を報知部３０に向けて送信する。

【0049】

図１０における出力開始からの時刻が約３３秒から約３８秒までの間は、図７で示したように、歩行者Ｗ１が第３の状態Ｃｄ３であり、画像Ｐ１においては、歩行者Ｗ１が画像Ｐ１の右端Ｐ１＿Ｒｅに近づいていることを示している。しかしながら、第３の状態では、歩行者Ｗ１の外接矩形の面積が小さいため、接近予測部２２は、「予測不可」の状態となる。したがって、接近予測部２２は、「予測不可」の信号を報知部３０に向けて送信し、「接近予測」の誤報が発生することを抑制することができる。このように、注意喚起装置１では、歩行者Ｗ１の外形矩形の面積比率に対する条件によって、遠くて小さく見える歩行者Ｗ１については「接近予測」の誤報が生じないため、接近予測の誤った報知を抑制することができる。

【0050】

報知部３０は、接近予測部２２が出力する信号のうち、「接近予測」の信号を受信すると、車両Ｃ１の運転者（対象者）に対して、歩行者Ｗ１が横断歩道１４に接近していることを報知する。本実施形態の報知部３０は、点滅発光可能なライトを備えており、接近予測部２２からの信号を受信すると、ライトを点滅させることで、車両Ｃ１の運転者に報知する。なお、車両Ｃ１の運転者に報知する方法は、ライトの点滅発光に限定されない。音や、超音波による刺激、車両の運転者が座っている座席やハンドルの振動など、人間の五感に働きかける方法であってもよい。また、路車間通信やＢｌｕｅｔｏｏｔｈ（登録商標）などを介して、車両Ｃ１の運転者が携帯するスマートフォンに報知する通信方法であってもよいし、損保会社や警備会社などに報知されてもよい。

【0051】

本実施形態の報知部３０は、接近予測部２２が出力する「接近予測」の信号を受信すると、例えば、０．５秒の間、接近予測部２２からの別の信号を受信しても、ライトを点滅させて、車両Ｃ１の運転者に「接近予測」を報知する。これにより、接近予測部２２において、「接近予測」と「非接近予測」とが頻繁に入れ替わることになっても、報知部３０は、安定した報知を行うことができる。

【0052】

以上説明した、本実施形態の注意喚起装置１によれば、接近予測部２２は、画像Ｐ１における歩行者Ｗ１の移動速度と、歩行者Ｗ１の外接図形の面積比率とを用いて、歩行者Ｗ１の横断歩道１４への接近を予測する。物体追跡部２１が算出する歩行者Ｗ１の外接図形の面積比率は、深度情報を有していない画像Ｐ１において歩行者Ｗ１に関する深度情報となりうるものであり、例えば、外接図形の面積比率が大きいほど、実際の歩行者Ｗ１は、撮像部１０の近くに存在しているといえる。そこで、画像Ｐ１における歩行者Ｗ１の移動速度に基づいて、実際の歩行者Ｗ１の単位時間当たりの移動速度を算出するとともに、歩行者Ｗ１の外接図形の面積比率に基づいて、歩行者Ｗ１に関する深度情報を取得する。これにより、深度情報を有していない画像Ｐ１を取得する撮像部１０が横断歩道１４を俯瞰できる位置に設置できない場合でも、画像Ｐ１における歩行者Ｗ１と横断歩道１４との位置関係と、実際の歩行者Ｗ１と横断歩道１４との位置関係とを一致させることができる。したがって、横断歩道１４への歩行者Ｗ１の接近に関する誤報が少なくなるため、深度情報を有していない画像Ｐ１を取得する撮像部１０であっても、設置場所に関わらず、車両Ｃ１の運転者に、歩行者Ｗ１に対する注意を喚起するための報知の精度を向上することができる。

【0053】

また、本実施形態の注意喚起装置１によれば、物体追跡部２１は、一の画像に含まれる歩行者Ｗ１が一の画像よりも時間的に前の画像に含まれる歩行者Ｗ１と同じであるとする確率に基づく鮮度指標を算出する。物体追跡部２１が算出する鮮度指標は、物体追跡部２１が同一の歩行者Ｗ１を追跡できているかどうかを示している。接近予測部２２は、物体追跡部２１が同一の歩行者Ｗ１を追跡できているかどうかを示している鮮度指標と、歩行者Ｗ１の深度情報となりうる外接図形の面積と、のそれぞれが所定の閾値より大きく、信頼可能条件を満たす場合、歩行者Ｗ１が横断歩道１４に接近しているか否かを判定することができる。これにより、例えば、画像Ｐ１における歩行者Ｗ１の移動速度の符号が小刻みに変化することで接近予測部２２の判定結果が頻繁に切り替わることを抑制することができる。したがって、報知部３０による車両Ｃ１の運転者への報知を安定して行うことができる。

【0054】

また、本実施形態の注意喚起装置１によれば、接近予測部２２における、非接近遷移条件の数値（歩行者Ｗ１の移動速度＜－２．５６％／ｓ）と、接近遷移条件の数値（歩行者Ｗ１の移動速度＞２．５６％／ｓ）とは、異なる。これにより、例えば、閾値を挟んで歩行者の移動速度が微小に変化することで、接近予測部２２の判定結果が頻繁に切り替わることを抑制することができる。したがって、報知部３０による車両Ｃ１の運転者への報知を安定して行うことができる。

【0055】

また、本実施形態の注意喚起装置１によれば、報知部３０は、一旦、「接近予測」の信号を接近予測部２２から受け取ると、接近予測部２２からその後に受ける信号の内容にかかわらず、０．５秒間、歩行者Ｗ１が横断歩道１４に接近していることを報知し続ける。これにより、接近予測部２２において状態が頻繁に切り替わる場合であっても、報知部３０は、車両Ｃ１の運転者への報知を安定して行うことができる。

【0056】

また、本実施形態の注意喚起装置１によれば、撮像部１０が撮像する画像Ｐ１では、図３に示すように、横断歩道１４が右端Ｐ１＿Ｒｅの外に位置している。これにより、画像Ｐ１に含まれる歩行者Ｗ１は、画像Ｐ１において左端Ｐ１＿Ｌｅから右端Ｐ１＿Ｒｅに向かう一次元の線分上で追跡することができる。歩行者Ｗ１の横断歩道１４への接近を予測するために用いる歩行者Ｗ１の移動速度を簡便に算出することができる。これにより、接近予測部２２による予測にかかる手間を小さくすることができる。

【0057】

また、本実施形態の注意喚起方法によれば、注意喚起装置１は、画像Ｐ１における歩行者Ｗ１の移動速度から実際の歩行者Ｗ１の単位時間当たりの移動量と、歩行者Ｗ１の外接図形の面積比率に基づく歩行者Ｗ１に関する深度情報とを用いて、画像Ｐ１における歩行者Ｗ１と横断歩道１４との位置関係と、実際の歩行者Ｗ１と横断歩道１４との位置関係とを一致させる。これにより、深度情報を有していない画像Ｐ１でも、車両Ｃ１の運転者に注意を喚起するための報知の精度を向上することができる。

【0058】

また、本実施形態のコンピュータプログラムによれば、注意喚起装置１は、画像Ｐ１における歩行者Ｗ１の移動速度から実際の歩行者Ｗ１の単位時間当たりの移動量を算出し、歩行者Ｗ１の外接図形の面積比率に基づいて、歩行者Ｗ１に関する深度情報を取得する。これにより、画像Ｐ１における歩行者Ｗ１と横断歩道１４との位置関係と、実際の歩行者Ｗ１と横断歩道１４との位置関係とを一致させることができるため、注意喚起装置１が深度情報を有していない画像Ｐ１を取得しても、車両Ｃ１の運転者に注意を喚起するための報知の精度を向上することができる。

【0059】

＜第２実施形態＞
図１１は、第２実施形態の注意喚起装置２の概略構成を示す模式図である。第２実施形態の注意喚起装置２は、第１実施形態の注意喚起装置１（図１）と比較すると、近接判定部４２を含むプロセッサ４０を備える点が異なる。

【0060】

本実施形態の注意喚起装置２は、撮像部１０と、ＣＰＵなどの１以上のプロセッサ４０と、報知部５０と、を備える。注意喚起装置２は、例えば、歩行者Ｗ１と車両Ｃ１とが接触するおそれがある横断歩道１４に接近する車両Ｃ１の運転者に対して、横断歩道１４への歩行者Ｗ１の接近および横断歩道１４の近くに歩行者Ｗ１が存在していることをその車両Ｃ１の運転者に知らせることで、運転者に注意を喚起する。なお、注意喚起装置２が注意を喚起する対象者は、車両の運転者に限定されない。

【0061】

プロセッサ４０は、ＲＯＭに格納されているコンピュータプログラムをＲＡＭに展開したり、ＩＣなどのハードウェアに機能を作動させたりすることで、各種機能を実行する。本実施形態のプロセッサ４０は、画像Ｐ１中の歩行者Ｗ１を追跡する物体追跡部２１と、歩行者Ｗ１の横断歩道１４への接近を予測する接近予測部２２と、歩行者Ｗ１が横断歩道１４の近くに存在するか否かを判定する近接判定部４２と、して機能する。

【0062】

図１２は、画像Ｐ１における近接範囲を説明する模式図である。本実施形態の近接判定部４２は、画像Ｐ１において、横断歩道１４に近い近接範囲Ｐ１４ａを設定する。具体的には、図１２に示すように、画像Ｐ１のうち、右端Ｐ１＿Ｒｅ側の一定の範囲を近接範囲Ｐ１４ａとして設定する。本実施形態では、右端Ｐ１＿Ｒｅから、画像全体の２０％分の幅の領域を近接範囲Ｐ１４ａとして設定する。画像Ｐ１の近接範囲Ｐ１４ａは、横断歩道１４近くの近接領域１４ａが写っている部分である。

【0063】

近接判定部４２は、物体追跡部２１から出力される、画像Ｐ１における歩行者Ｗ１の位置に関する特徴量と歩行者Ｗ１の外接図形の面積比率、すなわち、画像Ｐ１における歩行者Ｗ１の外接矩形の中心の水平方向成分と、歩行者Ｗ１の外接矩形の面積比率と、を用いる。近接判定部４２は、歩行者Ｗ１の外接矩形の面積比率が以下の信頼可能条件を満たし、かつ、画像Ｐ１における歩行者Ｗ１の外接矩形の中心の水平方向成分が以下の近接条件を満たす場合、歩行者Ｗ１は、横断歩道１４の近くである近接領域１４ａに存在すると判定する。
信頼可能条件：歩行者Ｗ１の外接矩形の面積比率＞３％
近接条件：歩行者Ｗ１の外接矩形の中心の水平方向成分＞８０％

【0064】

図１３は、撮像部１０が撮像する画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化を示す第２の図である。図１３には、画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化の一例を示している。図１３では、横軸に、撮像部１０が撮像した画像Ｐ１における歩行者Ｗ１の位置を「相対位置」として示し、縦軸に、物体追跡部２１による画像Ｐ１に含まれる歩行者Ｗ１の検出が、近接判定部４２へ出力された時刻から経過した時間を示している。図１３に示すように、出力開始からの時刻が約８秒から約１０秒までの間と、約１７秒から約１９秒までの間において、歩行者Ｗ１の外接矩形の中心の水平方向成分が、画像Ｐ１における相対位置が８０％から１００％までの間の近接範囲Ｐ１４ａに位置している。さらに、出力開始からの時刻が約８秒から約１０秒までの間と、約１７秒から約１９秒までの間のデータのそれぞれは、歩行者Ｗ１の外接矩形の面積が３％より大きいため、上記の信頼可能条件を満たしている。したがって、近接判定部４２は、出力開始からの時刻が約８秒から約１０秒までの間と、約１７秒から約１９秒までの間とのそれぞれにおいて、歩行者Ｗ１は、近接領域１４ａに存在すると判定する。近接判定部４２は、歩行者Ｗ１が近接領域１４ａに存在すると判定すると、報知部５０に対して「近接判定」の信号を出力する。一方、近接判定部４２は、歩行者Ｗ１の外接矩形の中心の水平方向成分が、画像Ｐ１における相対位置の８０％より小さい領域に位置している場合、歩行者Ｗ１は、近接領域１４ａに存在していないと判定する。近接判定部４２は、近接領域１４ａに存在していないと判定すると、報知部５０に対して「非近接判定」の信号を出力する。

【0065】

報知部５０は、接近予測部２２が出力する「接近予測」の信号と、近接判定部４２が出力する「近接判定」の信号とを受信可能な構成を有している。報知部５０は、「接近予測」の信号または「近接判定」の信号を受信すると、ライトを点滅させることで、車両Ｃ１の運転者に報知する。本実施形態では、報知部５０は、「接近予測」の信号を受信すると、所定の時間、例えば、０．５秒間、ライトを点滅させる。一方、報知部５０は、「近接判定」の信号を受信すると、「接近予測」の信号を受信したときの所定の時間とは異なる時間、例えば、０．２秒間、ライトを点滅させる。この場合、報知部５０は、「近接判定」の信号を受信してから０．２秒間の間、近接判定部４２から「非近接判定」の信号を受信しても、ライトを点滅させ続ける。これにより、歩行者Ｗ１が近接領域１４ａを頻繁に出入りすることができる位置にいる場合に、「近接判定」の信号が断続的に出力されても、安定して報知することができる。なお、本実施形態では、報知部５０のライトの点滅パターンは、「接近予測」の信号を受信した場合と、「近接判定」の信号を受信した場合とでは、違いはなく、いずれの信号を受信した場合でも、同じように車両Ｃ１の運転者に注意を喚起する。

【0066】

図１４は、撮像部１０が撮像する画像Ｐ１に含まれる歩行者Ｗ１の位置の時間変化率の変化を示す第２の図である。図１４は、図１３に示すデータについて、横軸を、歩行者Ｗ１の位置の時間変化率に変換したものであり、注意喚起装置２において、近接判定部４２による近接判定と並行して行われる、接近予測部２２による接近予測に用いられる。縦軸には、図１３の縦軸と同様に、物体追跡部２１による画像Ｐ１に含まれる歩行者Ｗ１の検出が、近接判定部４２へ出力された時刻から経過した時間を示している。図１４には、データのそれぞれについて、接近予測部２２による予測の内容を反映して示している。

【0067】

図１４には、接近予測部２２での接近予測に用いられる、接近遷移閾値ＴＨａｔ（＞２．５６％／ｓ）と、非接近遷移閾値ＴＨｎｔ（＜－２．５６％／ｓ）を示す点線が記載されている。図１４では、出力開始からの時刻が約１７秒から約１９秒の間のデータ群（図１４の実線矢印Ａ３で指し示すデータ群）の一部が、接近遷移閾値ＴＨａｔの近傍に位置していることが認められる。

【0068】

図１５は、図１４の部分拡大図である。具体的には、図１５は、図１４における出力開始からの時刻が１７．５秒から１８．５秒の間の部分を拡大した図である。図１５において、実線矢印Ａ４で指し示すデータは、歩行者Ｗ１の外接矩形の面積比率および鮮度指標が信頼可能条件を満たしており、かつ、歩行者Ｗ１の移動速度が接近遷移条件を満たしている。このため、実線矢印Ａ３で指し示すデータについては、接近予測部２２によって「接近予測」状態が判定されることとなる。しかしながら、本実施形態の注意喚起装置２では、近接判定部４２において近接条件も満たしているため、報知部５０は、接近予測部２２による「接近予測」を誤報と解釈せず、「近接判定」の信号を受信した場合と同様に、ライトを点滅させる。これにより、報知部５０は、安定して車両Ｃ１の対象者に報知することができる。また、実線矢印Ａ３で指し示すデータについては、例えば、横断歩道１４の対向車線側の歩道からの呼び止めなどによって、急に横断歩道１４に向かう場合には実際に危険になり得るため、歩行者Ｗ１と車両Ｃ１との接触をさらに抑制することができる。

【0069】

以上説明した、本実施形態の注意喚起装置２によれば、報知部５０は、近接判定部４２による、歩行者Ｗ１の外接矩形の中心の水平方向成分と歩行者Ｗ１の外接図形の面積比とを用いた判定結果に応じて、歩行者Ｗ１が横断歩道１４の近くの近接領域１４ａに存在することを車両Ｃ１の運転者に報知する。これにより、例えば、歩行者Ｗ１が近接領域１４ａに静止しているため、歩行者Ｗ１の移動速度が小さくても歩行者Ｗ１が移動することで横断歩道１４に侵入するおそれがある場合でも、報知部５０は、近接判定部４２による判定を受けて、車両Ｃ１の運転者に報知する。これにより、歩行者Ｗ１と車両Ｃ１との接触をさらに抑制することができるため、車両Ｃ１の運転者に注意を喚起するための報知の精度を向上することができる。

【0070】

また、本実施形態の注意喚起装置２によれば、例えば、歩道１２ｂに対向する歩道から横断歩道１４を使って車道１１を横断してきた歩行者が画像Ｐ１に含まれる場合、外接矩形の面積は比較的大きい。このため、図１４および図１５で説明したように、歩行者の動作によっては、接近予測部２２が「接近予測」を判定しなければならない場合がある。本実施形態の注意喚起装置２では、近接判定部４２によって、近接領域１４ａに存在する歩行者については近接判定を行うため、報知部５０は、「近接判定」の信号に応じて、ライトを点滅させればよい。これにより、上述のような接近予測部２２による「接近予測」判定を誤報と解釈することなく、車両Ｃ１の運転者に報知することができる。また、例えば、横断歩道の対向車線側の歩道からの呼び止めなどによって、急に横断歩道に向かう場合には実際に危険になり得るため、歩行者Ｗ１と車両Ｃ１との接触をさらに抑制することができる。

【0071】

また、本実施形態の注意喚起装置２によれば、報知部５０は、一旦、歩行者Ｗ１が近接領域１４ａに存在していることを示す「近接判定」の信号を近接判定部４２から受け取ると、近接判定部４２から受ける新たな信号の内容にかかわらず、０．２秒間、歩行者Ｗ１が近接領域１４ａに存在していることを車両Ｃ１の運転者に報知し続ける。これにより、近接判定部４２において状態が頻繁に切り替わる場合であっても、報知部５０は、車両Ｃ１の運転者への報知を安定して行うことができる。

【0072】

＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

【0073】

［変形例１］
上述の実施形態では、注意喚起装置の物体追跡部は、１つの物体（１人の歩行者Ｗ１）を追跡するとした。しかしながら、物体追跡部は、複数の物体を同時に追跡してもよい。複数の物体を追跡する場合、いずれかの物体が特定領域に接近すると、報知部は、対象者に対して、複数の物体の一つが特定領域に接近していることを報知し、注意を喚起する。

【0074】

［変形例２］
上述の実施形態では、画像Ｐ１では、特定領域としての横断歩道１４近くの近接領域１４ａが画像Ｐ１の右端Ｐ１＿Ｒｅに位置しているとした。しかしながら、画像に対する近接領域の位置は、これに限定されない。近接領域は、画像の左端に位置してもよいし、画像の上端または下端のいずれかに位置していてもよい。

【0075】

［変形例３］
上述の実施形態では、撮像部１０は、ガードレール１３に取り付けられるとした。しかしながら、撮像部１０が取り付けられる場所は、これに限定されない。取付の作業性から、高所よりもガードレールのような取り付けやすい場所に取り付けられることが多くなるが、この場合であっても、撮像部１０によって撮像した深度情報を含まない画像Ｐ１を用いて、注意を喚起するための報知の精度を向上することができる。また、例えば、既存の電柱は、電線の地中化によってなくなる場合も考えられ、高所に取り付けることは困難となる。しかしながら、本実施形態の注意喚起装置では、撮像部１０によって撮像した深度情報を含まない画像Ｐ１を用いて、注意を喚起するための報知の精度を向上することができる。

【0076】

［変形例４］
上述の実施形態では、接近予測部２２は、歩行者Ｗ１の外接矩形の面積比率と、歩行者Ｗ１の鮮度指標とを組み合わせた信頼度が、信頼可能条件を満たしている場合に、予測可能状態に遷移するとした。しかしながら、信頼度を構成する組合せは、これに限定されない。歩行者Ｗ１の外接矩形の面積比率だけであってもよいし、歩行者Ｗ１の外接矩形の面積比率と鮮度指標とは異なる指標とを組み合わせてもよい。

【0077】

［変形例５］
上述の実施形態では、接近予測部２２が接近予測状態に遷移するための接近遷移条件を歩行者Ｗ１の移動速度＞２．５６％／ｓとし、非接近予測状態に遷移するための非接近遷移条件を歩行者Ｗ１の移動速度＜－２．５６％／ｓとした。しかしながら、接近遷移条件と非接近遷移条件との関係は、これに限定されない。同じ値であってもよいし、０を中心とした非対称な値の関係であってもよい。例えば、第２実施形態の場合、接近遷移条件の閾値が最も大きく、接近予測開始条件の閾値が接近遷移条件の閾値より小さく、非接近予測開始条件の閾値が接近遷移条件の閾値より小さく、非接近遷移条件の閾値が非接近予測開始条件の閾値より小さいとする関係が成立すればよい。この場合、微速で特定領域に接近する物体に対しては、接近予測を行わずに近接判定だけによって、対象者に報知してもよい。

【0078】

［変形例６］
上述の実施形態では、「物体」としての歩行者Ｗ１を含む画像Ｐ１は、単眼カメラである撮像部１０が撮像するとした。しかしながら、画像を取得する「画像取得部」は、これに限定されない。注意喚起装置とは別に設けられるカメラによって撮像された深度情報を有していない画像を取得する構成であればよい。例えば、注意喚起装置とは別に設けられるカメラに接続される画像受信機器であっても、画像を取得することができる。

【0079】

［変形例７］
上述の実施形態では、接近予測部は、状態に応じた複数種類の信号を報知部に向けて出力し、近接判定部は、判定結果に応じた複数種類の信号を報知部に向けて出力するとした。しかしながら、接近予測部や近接判定部が出力する信号の種類の数はこれに限定されない。報知部が対象者に対して注意を喚起する必要がある信号のみを出力してもよい。

【0080】

［変形例８］
上述の実施形態では、注意喚起装置は、歩行者と車両とが接触するおそれがある横断歩道（特定領域）に接近する車両の運転者（対象者）に対して、横断歩道への歩行者の接近を知らせることで、運転者の注意を喚起するとした。しかしながら、注意喚起装置が適用される分野はこれに限定されない。例えば、複数の人間が移動している室内において、人間同士が接触するおそれがある特定領域を含む領域を俯瞰する位置に撮像部を取り付けられない場合などにも適用できる。

【0081】

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

【0082】

（適用例１）
特定領域において物体に接触するおそれがある対象者に対して、前記特定領域への前記物体の接近について注意を喚起する注意喚起装置であって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得部と、
前記画像取得部によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡部であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡部と、
前記物体追跡部によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測部と、
前記接近予測部の予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知部と、を備える、
注意喚起装置。
（適用例２）
適用例１に記載の注意喚起装置は、さらに、
前記物体追跡部によって算出される前記物体の位置に関する特徴量と、前記物体の外接図形の面積比率と、を用いて、前記物体が前記特定領域の近くに存在するか否かを判定する近接判定部を備え、
前記報知部は、前記近接判定部の判定結果に応じて、前記物体が前記特定領域の近くに存在することを前記対象者に報知する、
注意喚起装置。
（適用例３）
適用例１または適用例２に記載の注意喚起装置であって、
前記物体追跡部は、前記時系列データに含まれる複数の画像のうちの一の画像に含まれる物体が、前記一の画像よりも時間的に前の画像に含まれる物体と同じであるとする確率に基づく指標を算出し、
前記接近予測部は、前記外接図形の面積比率が第１の閾値より大きく、かつ、前記指標が第２の閾値より大きい場合、前記物体が前記特定領域に接近しているか否かを判定する、
注意喚起装置。
（適用例４）
適用例１から適用例３のいずれか一例に記載の注意喚起装置であって、
前記接近予測部は、
前記特徴量の時間変化率が第１の時間変化率より大きい場合、前記物体が前記特定領域に接近していると判定し、
前記特徴量の時間変化率が前記第１の時間変化率に比べ小さい第２の時間変化率より小さい場合、前記物体が前記特定領域に接近していないと判定する、
注意喚起装置。
（適用例５）
適用例１から適用例４のいずれか一例に記載の注意喚起装置であって、
前記接近予測部は、前記物体が前記特定領域に接近していることを予測した場合、前記物体の接近を前記対象者に報知するように前記報知部に指令し、
前記報知部は、前記接近予測部の指令を受けてから、所定の時間の間、前記接近予測部から受ける新たな指令の内容にかかわらず、前記物体が前記特定領域に接近していることを前記対象者に報知し続ける、
注意喚起装置。
（適用例６）
適用例１から適用例５のいずれか一例に記載の注意喚起装置であって、
前記画像取得部は、前記特定領域の手前が画像の右端または左端に位置する画像を取得し、
前記物体追跡部は、前記特徴量として、前記画像における前記物体の外接図形の中心の水平方向成分を算出する、
注意喚起装置。
（適用例７）
特定領域において物体に接触するおそれがある対象者に対して、注意喚起装置によって、前記特定領域への物体の接近について注意を喚起する注意喚起方法であって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得工程と、
前記画像取得工程において取得する、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡工程であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡工程と、
前記物体追跡工程において算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測工程と、
前記接近予測工程での予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知工程と、を備える、
注意喚起方法。
（適用例８）
特定領域において物体に接触するおそれがある対象者に対する、前記特定領域への前記物体の接近についての注意喚起を、注意喚起装置に実行させるコンピュータプログラムであって、
前記物体を含む画像であって、深度情報を有していない画像を取得する画像取得機能と、
前記画像取得機能によって取得される、撮像時間が異なる複数の画像と、複数の前記画像のそれぞれが撮像された時間の情報と、を含む時系列データを用いて、前記画像中の前記物体を追跡する物体追跡機能であって、前記画像における前記特定領域に対する前記物体の位置に関する特徴量の時間変化率と、前記画像全体の面積に対する前記物体の外接図形の面積比率と、を算出する物体追跡機能と、
前記物体追跡機能によって算出される前記特徴量の時間変化率と、前記外接図形の面積比率と、を用いて、前記物体の前記特定領域への接近を予測する接近予測機能と、
前記接近予測機能による予測結果に応じて、前記物体が前記特定領域に接近していることを前記対象者に報知する報知機能と、を前記注意喚起装置に実行させる、
コンピュータプログラム。

【符号の説明】

【0083】

１，２…注意喚起装置
１０…撮像部
２１…物体追跡部
２２…接近予測部
３０，５０…報知部
４２…近接判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】