特開 2023-155572 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023155572

(43)【公開日】2023-10-23

(54)【発明の名称】画像処理装置、画像処理方法、画像処理プログラム及び記録媒体

(51)【国際特許分類】

   G06T 7/215 20170101AFI20231016BHJP

   G06T 7/00 20170101ALI20231016BHJP

   G08G 1/16 20060101ALI20231016BHJP

   H04N 7/18 20060101ALI20231016BHJP

【ＦＩ】

G06T7/215

G06T7/00 650B

G08G1/16 C

H04N7/18 J

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2022064979

(22)【出願日】2022-04-11

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】千葉 雄平

(72)【発明者】

【氏名】中根 昌夫

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054FA00

5C054FC12

5C054HA30

5H181AA01

5H181BB04

5H181BB05

5H181BB20

5H181CC04

5H181FF04

5H181FF10

5H181FF13

5H181FF27

5H181FF33

5H181FF35

5H181LL01

5H181LL08

5H181MC19

5H181MC27

5L096BA04

5L096DA02

5L096FA67

5L096FA68

5L096GA51

5L096HA05

5L096HA11

5L096KA04

(57)【要約】

【課題】
車両に向かって又は車両の前方領域に飛来する飛来物体を検出可能な画像処理装置を提供することを目的の１つとしている。
【解決手段】
車両の周囲を逐次撮影した複数の画像を取得する画像取得部と、前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部と、前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の周囲を逐次撮影した複数の画像を取得する画像取得部と、
前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部と、
前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定部と、
を有することを特徴とする画像処理装置。

【請求項2】

前記飛来物体検出部は、画像認識によって前記複数の画像の各々について追跡対象物を特定し、前記複数の画像のうちの前記追跡対象物が特定された画像を含む時系列順の画像に基づいて前記追跡対象物が描く軌跡を算出し、当該軌跡に基づいて前記追跡対象物が前記飛来物体であるか否かを判定することにより前記飛来物体が写っているか否かを判定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記飛来物体検出部は、画像認識によって前記複数の画像の各々に写っている物体のうちの路上に存在する落下物を前記追跡対象物として特定することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記飛来物体検出部は、前記落下物が特定された画像が撮影された時点から遡った時系列順の画像に基づいて前記追跡対象物が描く軌跡を算出し、前記追跡対象物が前記飛来物体であるか否かを判定することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記飛来物体検出部は、前記追跡対象物が描く前記軌跡の最大曲率が閾値を越える場合、前記軌跡の向きが下方かつ前記車両の進行方向を示す軸に近づく向きである場合、又は軌跡の長さが閾値を越える場合に、前記追跡対象物が飛来物体であると判定することを特徴とする請求項２に記載の画像処理装置。

【請求項6】

前記飛来物体検出部は、前記追跡対象物が描く軌跡を入力すると、前記軌跡が飛来物体の軌跡であるか否かを示す情報を出力するように機械学習がなされた学習済みモデルを用いて、前記飛来物体が写っているか否かを判定することを特徴とする請求項２に記載の画像処理装置。

【請求項7】

前記飛来物体は投擲物であり、
前記飛来物体検出部は、前記複数の画像における前記軌跡の始点付近に人又は車両が写っているか否かを判定し、前記人又は車両が写っていると判定した場合に、前記複数の画像のいずれかに前記投擲物が写っていると判定することを特徴とする請求項２に記載の画像処理装置。

【請求項8】

前記複数の画像は時系列順の連続画像を含み、
前記飛来物体検出部は、前記連続画像に含まれる連続する２つの画像間の画素毎の画像間ベクトルが累積されたオプティカルフローを算出し、当該オプティカルフローに基づいて、前記飛来物体が写っているか否かを判定することを特徴とする請求項１に記載の画像処理装置。

【請求項9】

前記飛来物体検出部は、前記オプティカルフローの最大曲率が閾値を越える場合、前記蓄積されたオプティカルフローの向きが下方かつ前記車両の進行方向を示す軸に近づく向きである場合、又は前記オプティカルフローの長さが閾値を越える場合に、前記飛来物体が写っていると判定することを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記飛来物体検出部は、前記連続画像に含まれるフレーム画像を複数の領域に分割し、前記複数の領域の各々において、オプティカルフローに関する値が特異値を示すオプティカルフローがあるか否かに基づいて、前記連続画像の各々に前記飛来物体が写っているか否かを判定することを特徴とする請求項８に記載の画像処理装置。

【請求項11】

前記飛来物体検出部は、前記連続画像に含まれるフレーム画像を複数の領域に分割し、前記複数の領域の各々におけるオプティカルフローに関する値の前記複数の領域間での比較に基づいて、前記連続画像の各々に前記飛来物体が写っているか否かを判定することを特徴とする請求項８に記載の画像処理装置。

【請求項12】

前記飛来物体検出部は、画像認識によって前記複数の画像の各々に写っている物体を複数の種類に分類し、所定の種類に分類された物体が写っている画像中の領域を前記オプティカルフローの算出対象から除外することを特徴とする請求項８に記載の画像処理装置。

【請求項13】

前記飛来物体検出部は、画像認識によって前記複数の画像の各々に写っている物体のうちの路上に存在する落下物を特定し、前記落下物として特定された物体が写っている画像中の領域を前記オプティカルフローの算出対象とすることを特徴とする請求項８に記載の画像処理装置。

【請求項14】

前記飛来物体は投擲物であり、
前記飛来物体検出部は、前記複数の画像における前記オプティカルフローの始点付近に人又は車両が写っているか否かを判定し、前記人又は車両が写っていると判定した場合に、前記複数の画像のいずれかに前記投擲物が写っていると判定することを特徴とする請求項８に記載の画像処理装置。

【請求項15】

前記飛来物体は投擲物を含み、
前記飛来物体検出部は、人が物体を投擲する様子を撮影した複数の投擲画像と、前記複数の投擲画像に投擲物が写っていることを示す情報とを学習データとして機械学習がなされた学習済みモデルを用いて、前記車両の周囲を逐次撮影した複数の画像を入力とし、前記複数の画像に投擲物が写っているか否かを示す情報を出力として、前記出力が前記複数の画像に投擲物が写っていることを示す場合に、前記飛来物体が写っていると判定することを特徴とする請求項１に記載の画像処理装置。

【請求項16】

前記特定画像を恒久的に保存する画像保存部をさらに有することを特徴とする請求項１に記載の画像処理装置。

【請求項17】

画像処理装置によって実行される画像処理方法であって、
車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、
前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、
前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、
を含むことを特徴とする画像処理方法。

【請求項18】

コンピュータを備える画像処理装置によって実行される画像処理プログラムであって、前記コンピュータに、
車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、
前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、
前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、
を実行させるための画像処理プログラム。

【請求項19】

コンピュータを備える画像処理装置に、
車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、
前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、
前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、
を実行させる画像処理プログラムを記憶するコンピュータが読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関し、特に、複数の画像に基づいて画像処理を行う画像処理装置、画像処理方法、画像処理プログラム及び記録媒体に関する。

【背景技術】

【0002】

自車両の走行中に、自車両の周囲を走行する他車両の挙動を検出することにより、煽り運転等の危険運転を検出する装置が提案されている。

【0003】

例えば、特許文献１には車両の周囲を撮影した画像から周辺車両を検出し、当該周辺車両の車種を認識し、周辺車両の画像上のサイズと、車種ごとにあらかじめ定められた危険運転と判定するためのサイズの基準とに基づいて、周辺車両の接近による危険運転を検出する危険運転判定装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－９９７２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両にとって危険な事象（以下、単に危険事象とも称する）である車両への威嚇・妨害行為として、当該車両の周囲から物を投げる行為がある。また、危険事象としては、車両への威嚇・妨害行為に関わらず、物が風等によって飛来する事象も存在する。いずれの場合も車両又は車両の前方の領域に物体が飛来すると運転の妨げとなり、危険である。上記のような危険運転判定装置によっては、自車両への他車両の接近等を伴わない限り、このような自車両又は自車両の前方領域に物体が飛来する危険事象が発生しても、当該危険事象を検出できないことが課題の１つとして挙げられる。

【0006】

本発明は上記した点に鑑みてなされたものであり、車両に向かって又は車両の前方領域に飛来する飛来物体を検出可能な画像処理装置を提供することを目的の１つとしている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、車両の周囲を逐次撮影した複数の画像を取得する画像取得部と、前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部と、前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定部と、を有することを特徴とする画像処理装置である。

【0008】

請求項１７に記載の発明は、画像処理装置によって実行される画像処理方法であって、車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、を含むことを特徴とする画像処理方法である。

【0009】

請求項１８に記載の発明は、コンピュータを備える画像処理装置によって実行される画像処理プログラムであって、前記コンピュータに、車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、を実行させるための画像処理プログラムである。

【0010】

請求項１９に記載の発明は、コンピュータを備える画像処理装置に、車両の周囲を逐次撮影した複数の画像を取得する画像取得ステップと、前記複数の画像に基づいて、前記複数の画像のいずれかに前記車両への、または前記車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出ステップと、前記飛来物体が写っていると判定されると、前記飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定ステップと、を実行させる画像処理プログラムを記憶するコンピュータが読取可能な記録媒体である。

【図面の簡単な説明】

【0011】

【図1】実施例１に係る画像処理によって検出する事象の例を示す図である。

【図2】実施例１に係る画像処理システムの構成を示す図である。

【図3】実施例１に係る画像処理装置が搭載されている車両の前席部分を示す図である。

【図4】実施例１に係る画像処理装置の構成を示すブロック図である。

【図5】実施例１に係るサーバの構成を示す図である。

【図6】実施例１に係る画像処理装置が算出する軌跡の一例を示す図である。

【図7】実施例１に係る画像処理装置が算出する軌跡の一例を示す図である。

【図8】実施例１に係る画像処理装置が実行するルーチンの一例を示すフローチャートである。

【図9】実施例１に係る画像処理装置が実行するルーチンの変形例を示すフローチャートである。

【図10】実施例２に係る画像処理装置が算出するオプティカルフローの一例を示す図である。

【図11】実施例２に係る画像処理装置が実行するルーチンの一例を示すフローチャートである。

【図12】実施例２に係る画像処理装置が実行するルーチンの変形例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例0013】

添付図面を参照しつつ、本実施例に係る画像処理装置１０の構成について説明する。

【0014】

図１は、自車両Ｍに搭載された画像処理装置１０が実行する画像処理によって検出する事象の例を示す図である。図１は、画像処理装置１０が自車両Ｍ１に搭載されている様子を示している。図１には、道路Ｒ上を走行中の自車両Ｍ１、自車両Ｍ１の周囲に存在する他車両Ｍ２及び歩行者Ｐ１が示されている。また、図１には、道路Ｒ上に飛来する物体の一例として、空き缶Ａ１、Ａ２及びＡ３が示されている。

【0015】

図１に示す例において、空き缶Ａ１は、他車両Ｍ２から投げ捨てられたことによって道路Ｒ上に飛来した物体である。言い換えれば、空き缶Ａ１は、他車両Ｍ２内の乗員によって投擲された投擲物である。

【0016】

図１中の空き缶Ａ２は、歩行者Ｐ１によって投げられたことによって道路Ｒ上に飛来した物体である。言い換えれば、空き缶Ａ２は、歩行者Ｐ１によって投擲された投擲物である。

【0017】

図１中の空き缶Ａ３は、風によって運ばれたことによって道路Ｒ上に存在する物体である。言い換えれば、空き缶Ａ３は、風によって道路Ｒ上に飛来した飛来物体である。

【0018】

図１に示す例において、空き缶Ａ１、Ａ２、及びＡ３はいずれも道路Ｒ上の自車両Ｍ１の前方の領域に飛来した飛来物体であるといえる。

【0019】

なお、本実施例において、飛来物体は、鳥等の動物や無人航空機等の能動的に動く物体を含まないものとして説明する。

【0020】

上述のように、車両の周囲から物を投げる行為によって空き缶Ａ１又はＡ２のような物体が飛来する事象や、空き缶Ａ３のような物体が風等によって飛来する事象は、いずれも自車両Ｍ１にとって危険な危険事象である。画像処理装置１０は、そのような危険事象の検出を可能にする装置である。

【0021】

具体的には、画像処理装置１０は、自車両Ｍ１の周囲を逐次撮影した複数の画像を取得し、当該複数の画像に基づいて、空き缶Ａ１～Ａ３のような飛来物体を検出し、飛来物体が写っている画像を特定することによって危険事象を検出する。例えば、画像処理装置１０によって飛来物体が写っていると特定された画像を解析することにより、飛来物体の発生原因の究明、例えばどの車両から投げられたのか等の検証を行うことができる。

【0022】

図２は、画像処理装置１０を含む画像処理システム１００の概略を示す図である。図２に示すように、画像処理システム１００は、自車両Ｍ１に搭載されている画像処理装置１０と、サーバ装置２０とを含んで構成されている。

【0023】

サーバ装置２０は、画像処理装置１０との間でネットワークＮＷを介して通信を行うサーバ装置である。画像処理装置１０とサーバ装置２０とは、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。画像処理装置１０とネットワークＮＷとの接続は、例えば４Ｇ（4th Generation）又は５Ｇ（5th Generation）等の移動体通信、Ｗｉ－Ｆｉ（登録商標）等の無線通信によりなされ得る。

【0024】

本実施例において、画像処理装置１０は、自車両Ｍ１に取り付けられたカメラによって逐次撮影された複数の画像を取得して、当該複数の画像に基づいて、飛来物体が写っている画像を特定して特定画像としてラベルを付し、当該特定画像をサーバ装置２０に送信する。

【0025】

サーバ装置２０は、画像処理装置１０から受信した特定画像を恒久的に保存する。

【0026】

このように、画像処理システム１００は、自車両Ｍ１の周囲を逐次撮影した複数の画像に基づいて、飛来物体が写っている画像を特定し、当該特定した画像を恒久的に保存するシステムである。例えば、画像処理システム１００のユーザは、サーバ装置２０に保存された画像データを危険事象の多い地点の抽出や危険事象の検証等に活用することができる。

【0027】

図３は、自車両Ｍ１の前席部分を示す図である。図３に示すように、画像処理装置１０は、自車両Ｍ１のセンターコンソールに配置されている。

【0028】

前方カメラ１１は、ダッシュボードＤＢ上に設けられている。前方カメラ１１は、自車両Ｍ１の進行方向を撮影方向としている。自車両Ｍ１の進行方向を前方としたとき、前方カメラ１１は、自車両Ｍ１の前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。

【0029】

前方カメラ１１は、自車両Ｍ１の前方の画像を撮影可能であれば自車両Ｍ１のいずれの箇所に設けられてもよい。例えば、前方カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に配されていてもよく、自車両Ｍ１の外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。

【0030】

前方カメラ１１は、画像処理装置１０と通信可能に接続されており、撮影した画像の信号を画像処理装置１０に送信することが可能である。

【0031】

タッチパネルディスプレイ１５は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１５は、画像処理装置１０と通信可能に接続されている。タッチパネルディスプレイ１５のディスプレイは、画像処理装置１０から供給される画像を表示する。例えば、当該ディスプレイには、画像処理装置１０が危険事象を検出した際に、飛来物体が写っている画像であると画像処理装置１０が特定した特定画像を表示してもよい。

【0032】

また、タッチパネルディスプレイ１５のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を画像処理装置１０に送信する。例えば、タッチパネルディスプレイ１５は、画像処理装置１０による画像処理の開始や終了等の画像処理に関する各種設定を行うための入力操作を示す信号を画像処理装置１０に送信する。

【0033】

なお、例えば、画像処理装置１０は、画像処理に関する設定を行うための入力操作を、自車両Ｍ１に備えられたマイク（図示せず）を介して音声によって受け付けてもよい。

【0034】

ＧＮＳＳ受信機１７は、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号（ＧＮＳＳ信号）を受信する装置である。ＧＮＳＳ受信機１７は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＮＳＳ受信機１７は、ＧＮＳＳ信号が受信できればいずれの箇所に配されていてもよい。

【0035】

ＧＮＳＳ受信機１７は、画像処理装置１０と通信可能に接続されており、受信したＧＮＳＳ信号を画像処理装置１０に送信することが可能である。画像処理装置１０は、ＧＮＳＳ信号を用いて自車両Ｍ１の現在位置情報を取得する。例えば、画像処理装置１０は、飛来物体が写っていると特定した画像に当該画像が撮影された時点の自車両Ｍ１の現在位置情報を付与してもよい。

【0036】

画像処理装置１０は、前方カメラ１１によって撮像された動画を取得して記憶する。言い換えれば、本実施例において、画像処理装置１０は、いわゆるドライブレコーダと同様の機能を有する。

【0037】

画像処理装置１０は、前方カメラ１１によって逐次撮像された複数の画像に基づいて画像処理を行って、飛来物体を検出する。

【0038】

図４を参照しつつ、自車両Ｍ１に搭載されている画像処理装置１０の構成及び機能について説明する。

【0039】

図４は、画像処理装置１０の構成を示すブロック図である。図４に示すように、画像処理装置１０は、システムバス２１を介して各部が接続されて構成されている。

【0040】

入力部２３は、画像処理装置１０と自車両Ｍ１に備えられた機器とを通信可能に接続するインターフェースである。

【0041】

入力部２３は、画像処理装置１０と、前方カメラ１１とを通信可能に接続するインターフェースである。画像処理装置１０は、入力部２３を介して前方カメラ１１から自車両Ｍ１の周囲を撮影した画像を取得する。

【0042】

入力部２３は、画像処理装置１０とタッチパネルディスプレイ１５のタッチパネルとを通信可能に接続するインターフェースである。画像処理装置１０は、入力部２３を介してタッチパネルへの接触による入力操作を示す信号を受信する。

【0043】

入力部２３は、画像処理装置１０をＧＮＳＳ受信機１７に接続するインターフェースである。画像処理装置１０は、入力部２３を介してＧＮＳＳ受信機１７からＧＮＳＳ信号を受信して、自車両Ｍ１の現在位置を示す情報を取得する。

【0044】

大容量記憶装置２５は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、画像処理装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置２５に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータに読み取り可能な記録媒体に記録して譲渡することが可能である。

【0045】

例えば、大容量記憶装置２５は、画像処理装置１０が、自車両Ｍ１の周囲を逐次撮影した複数の画像に基づいて、飛来物体が写っている画像を特定する際に実行する画像処理プログラムを記憶する。

【0046】

また、大容量記憶装置２５は、画像一時記憶部２５Ａを有している。画像一時記憶部２５Ａは、前方カメラ１１によって撮像された動画像、すなわち、自車両Ｍ１の周囲を逐次撮影した連続画像を記憶する。なお、連続画像とは、時系列に沿って並んでいる画像を指す。

【0047】

画像一時記憶部２５Ａは、例えば、一定時間分の動画像を記憶する。また、画像一時記憶部２５Ａは、例えば、所定容量分の動画像を記憶する。

【0048】

例えば、画像一時記憶部２５Ａは、リングバッファのように、時々刻々と新しい画像が保存されるメモリ部分である。画像一時記憶部２５Ａには、例えば、数時間～数十時間分の動画像が保存され得る。例えば、画像一時記憶部２５Ａにおいて、古い画像が新しい画像によって書き換えられることで、時々刻々と画像の更新がなされる。

【0049】

制御部２７は、ＣＰＵ（Central Processing Unit）２７Ａ、ＲＯＭ（Read Only Memory）２７Ｂ、ＲＡＭ（Random Access Memory）２７Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２７Ａが、ＲＯＭ２７Ｂや大容量記憶装置２５に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0050】

制御部２７は、入力部２３を介して、自車両Ｍ１の周囲を逐次撮影した複数の画像を前方カメラ１１から取得する画像取得部として機能する。

【0051】

制御部２７は、当該取得した複数の画像に基づいて、当該複数の画像のいずれかに、自車両Ｍ１への飛来物体、または自車両Ｍ１の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部として機能する。

【0052】

例えば、飛来物体検出部としての制御部２７は、画像認識によって複数の画像の各々について追跡対象物を特定し、複数の画像のうちの追跡対象物が特定された画像を含む時系列順の画像に基づいて追跡対象物が描く軌跡を算出し、当該軌跡に基づいて追跡対象物が飛来物体であるか否かを判定することにより飛来物体が写っているか否かを判定する。

【0053】

例えば、制御部２７は、画像認識によって、人や車両以外の物体として認識された物体、又は路上に存在する物体等の飛来物体である可能性のある物体を追跡対象物として特定する。

【0054】

例えば、制御部２７は、連続画像の各々における追跡対象物の特徴点を抽出し、特徴点の画像内の座標に基づいて、各々の特徴点の軌跡を算出する。

【0055】

例えば、動画像中で飛来物体の動きを追跡した場合に当該飛来物体が描く軌跡は、特徴的な曲線を含むなどの特徴があり、撮影前から路上に存在していた落下物や周囲の車両等が描く軌跡とは区別することができる。制御部２７は、軌跡の特徴に関する判定基準によって、算出した軌跡が飛来物体の軌跡であるか否かを判定する。

【0056】

例えば、飛来物体検出部としての制御部２７は、追跡対象物が描く軌跡の最大曲率が最大曲率についての所定の閾値を越える場合、軌跡の向きが下方かつ自車両Ｍ１の進行方向を示す軸に近づく向きである場合、又は軌跡の長さが軌跡の長さについての所定の閾値を越える場合の少なくとも１つに該当する場合に、追跡対象物が飛来物体であると判定する。

【0057】

また、上記のような追跡対象物の軌跡の特徴を利用した判定は、学習モデルを使用して実現することもできる。例えば、飛来物体検出部としての制御部２７は、追跡対象物が描く軌跡を入力すると、当該軌跡が飛来物体の軌跡であるか否かを示す情報を出力するように機械学習がなされた学習済みモデルを用いて、当該追跡対象物が飛来物体であるか否かを判定してもよい。

【0058】

当該学習モデルは、例えば、予め算出された多数の飛来物体の軌跡及び当該多数の飛来物体の各々が飛来物体であることを示す情報を学習データとして、例えば大容量記憶装置２５内に構築され得る。

【0059】

制御部２７は、飛来物体が写っていると判定されると、当該飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定部として機能する。

【0060】

制御部２７は、入力部２３を介して、自車両Ｍ１の現在位置情報をＧＮＳＳ受信機１７から取得する。当該現在位置情報は、例えば、時刻を示す情報と、その時刻における自車両Ｍ１の位置を示す情報が対応付けられた情報である。当該自車両Ｍ１の位置を示す情報は、地図上の位置を示す情報であってもよい。

【0061】

通信部２９は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部２９は、制御部２７からの命令に従って、サーバ装置２０との通信を行う。例えば、通信部２９は、画像処理装置１０が飛来物体が写っていると判定した画像を含む特定画像をサーバ装置２０に送信する際の通信を行う。

【0062】

出力部３１は、自車両Ｍ１に備えられたタッチパネルディスプレイ１５のディスプレイに接続されている。出力部３１は、制御部２７からの命令に従って、ディスプレイに各種情報を供給するためのインターフェースである。

【0063】

例えば、出力部３１は、画像処理装置１０による画像処理に関する設定の入力を受け付ける画面を表示するための情報をディスプレイに供給する。例えば、出力部３１は、飛来物体が写っていると判定された画像をディスプレイに供給してもよい。

【0064】

続いて、図５を参照しつつ、サーバ装置２０の構成及び機能について説明する。

【0065】

図５は、サーバ装置２０の構成を示すブロック図である。図５に示すように、サーバ装置２０は、システムバス４１を介して各部が接続されて構成されているサーバ装置である。

【0066】

大容量記憶装置４３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置４３は、サーバ装置２０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。

【0067】

大容量記憶装置４３は、恒久記憶部４３Ａを含む。恒久記憶部４３Ａには、画像処理装置１０によって、自車両Ｍ１への飛来物体又は自車両Ｍ１の前方領域への飛来物体が写っていると判定された画像を含む特定画像を恒久的に記憶する。

【0068】

制御部４５は、ＣＰＵ（Central Processing Unit）４５Ａ、ＲＯＭ（Read Only Memory）４５Ｂ、ＲＡＭ（Random Access Memory）４５Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ４５Ａが、ＲＯＭ４５Ｂや大容量記憶装置４３に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0069】

制御部４５は、大容量記憶装置４３に記憶された画像処理プログラムを読み出して実行することで、画像処理装置１０によって特定された特定画像を恒久記憶部４３Ａに記憶させる。

【0070】

通信部４７は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。通信部４７は、制御部４５からの命令に従って、サーバ装置２０と画像処理装置１０との通信を行う。

【0071】

例えば、通信部４７は、サーバ装置２０が、画像処理装置１０から、特定画像を受信する際の通信を行う。

【0072】

サーバ装置２０は、通信部４７を介して、特定画像を画像処理装置１０から受信して、当該受信した特定画像を恒久記憶部４３Ａに恒久的に記憶する。

【0073】

例えば、サーバ装置２０は、複数の車両の各々に搭載されている複数の画像処理装置１０の各々から特定画像を受信し、画像処理装置１０毎に、又は車両毎に、特定画像を恒久記憶部４３Ａに記憶する。

【0074】

以下、図６～８を参照しつつ、画像処理装置１０の制御部２７による画像処理の内容について詳細に説明する。

【0075】

図６は、追跡対象物が飛来物体ではなく、前方カメラ１１による撮影前から路上に存在する落下物である場合に、画像処理装置１０が算出する軌跡の一例を示す図である。図６は、前方カメラ１１によって自車両Ｍ１の前方が撮影された画像の一例である画像Ｆ１を示している。図６に示すように、画像Ｆ１中に、隣の車線を走行する他車両Ｍ２と、自車両Ｍ１の前方の道路上に存在する空き缶Ｂ１が写っている。

【0076】

制御部２７は、例えば、前方カメラ１１によって逐次撮影された画像を逐次取得して画像処理を行う。例えば、制御部２７は、前方カメラ１１によって逐次撮影された画像を逐次取得して画像一時記憶部２５Ａに記憶し、画像一時記憶部２５Ａに記憶した画像を画像処理に利用する。

【0077】

例えば、制御部２７は、前方カメラ１１によって逐次撮影された画像の１つである画像Ｆ１を取得すると、画像Ｆ１について画像認識を行って追跡対象物を特定する。例えば、制御部２７は、画像Ｆ１に写っている物体を複数の種類に分類し、所定の種類に分類された物体を、追跡対象物として特定する。

【0078】

例えば、制御部２７は、画像Ｆ１中の物体について、第１の種類を「車両」とし、第２の種類を「人」とし、第３の種類を「車両及び人以外」として、第１～第３の種類に分類し、第３の種類に分類された物体を、追跡対象物として特定する。

【0079】

例えば、制御部２７は、画像Ｆ１中の物体を分類する際の種類の１つを道路上に存在する落下物とし、落下物に分類された物体を追跡対象物とする。

【0080】

例えば、図６に示す例においては、空き缶Ｂ１が「車両及び人以外」、又は「落下物」に分類され、追跡対象物として特定される。

【0081】

制御部２７は、追跡対象物を特定すると、当該追跡対象物が特定された画像を含む時系列順の連続画像に基づいて、当該追跡対象物が描く軌跡を算出する。

【0082】

例えば、制御部２７は、追跡対象物を特定すると、追跡対象物が写っている画像が撮像された時点から遡った所定期間内の時系列順の連続画像を画像一時記憶部２５Ａから取得し、当該取得した連続画像について軌跡を算出する。

【0083】

制御部２７は、例えば、連続画像を取得すると、当該連続画像に含まれるフレーム画像の各々において、追跡対象物として特定された物体を画像認識によって特定し、追跡対象物の軌跡を算出する。

【0084】

例えば、制御部２７は、連続画像の各々における追跡対象物の特徴点を抽出し、特徴点の画像内の座標に基づいて、各々の特徴点の軌跡を算出する。例えば、制御部２７は、追跡対象物の重心等を特徴点として用いて、追跡対象物の軌跡を算出してもよい。

【0085】

図６中、連続画像に含まれるフレーム画像の各々における空き缶Ｂ１の重心をプロットして接続することによって算出した軌跡ＴＲ１を模式的に示している。

【0086】

また、画像Ｆ１中の空き缶Ｂ１について、画像Ｆ１が撮影された時点よりも遡った連続画像の最初のフレーム画像における空き缶Ｂ２を破線で示している。従って、空き缶Ｂ１のオプティカルフローは、破線で示した空き缶Ｂ２から実線で示した空き缶Ｂ１に向かう向きとなっている。また、図６中、自車両Ｍ１の進行方向を示す軸を軸Ｘとして示している。

【0087】

図６に示すように、軌跡ＴＲ１は、道路に沿った直線状の軌跡となっている。また、軌跡ＴＲ１の向きは、軸Ｘから遠ざかる向きになっている。

【0088】

図７は、追跡対象物が飛来物体である場合に画像処理装置１０が算出する軌跡の一例を示す図である。図７は、前方カメラ１１によって自車両Ｍ１の前方が撮影された画像の一例である画像Ｆ２を示している。図７に示すように、画像Ｆ２中に、隣の車線を走行する他車両Ｍ２と、自車両Ｍ１の前方の道路上に存在する空き缶Ｂ１が写っている。図７に示す例において、空き缶Ｂ１は、他車両Ｍ２から投擲された投擲物であり、飛来物体である。

【0089】

図７に示す例においては、制御部２７が空き缶Ｂ１を追跡対象物として特定した場合に、連続画像の各々における空き缶Ｂ１の重心をプロットして接続することによって算出した軌跡ＴＲ２を模式的に示している。

【0090】

［最大曲率による判定］
例えば、制御部２７は、追跡対象物の軌跡を算出すると、当該軌跡の最大曲率を算出し、最大曲率が閾値を越える場合に、当該軌跡は飛来物体の軌跡であると判定する。

【0091】

飛来物体の軌跡は、特徴的な曲線部分を含む傾向がある。一方、飛来物体以外の、撮影前から存在する落下物、直進中の車両又は静止物等の軌跡は直線状になる傾向がある。言い換えれば、飛来物体の軌跡は、静止物等の軌跡と比較して最大曲率が大きい傾向がある。そこで、単なる落下物等と飛来物体との軌跡の形状の違いに着目して、軌跡の曲率の閾値を設けて、最大曲率が閾値を超える場合に飛来物体であると判定することで、単なる落下物と区別して確実に飛来物体を検出することができる。

【0092】

図７に示す例においては、飛来物体の軌跡である軌跡ＴＲ２は、始点付近に特徴的な曲線を含んでいる。これに対して、図６に示したように、落下物の軌跡である軌跡ＴＲ１は、道路に沿った直線状になっている。軌跡ＴＲ１及びＴＲ２の最大曲率が閾値を越えるか否かを判定することによって、飛来物体の軌跡である軌跡ＴＲ２を、飛来物体ではない落下物の軌跡である軌跡ＴＲ１と区別して検出することができる。

【0093】

［向きによる判定］
例えば、制御部２７は、算出した軌跡の少なくとも一部の向きが、画像中の下方でありかつ自車両Ｍ１の進行方向を示す軸Ｘに近づく向きである場合に、当該軌跡は飛来物体の軌跡であると判定する。

【0094】

自車両Ｍ１の前方領域に飛来する物体のオプティカルフローは、画像中の上下方向の向きが下方でありかつ左右方向の向きが自車両Ｍ１の進行方向を示す軸Ｘに近づく向きとなる傾向がある。一方、例えば落下物等の静止している物体の軌跡の向きは、軸Ｘから遠ざかる向きになる傾向がある。また、例えば、追跡対象物に車両が含まれる場合、車線変更や追い越しを行う車両の軌跡は、軸Ｘに近づく向きになる部分を含む場合があるが、上下方向の向きは上向きとなる点で、飛来物体の傾向と異なる。

【0095】

そこで、飛来物体と、飛来物体ではない静止物等との軌跡の向きの違いに着目して、軌跡の少なくとも一部において、当該軌跡の向きが下方かつ軸Ｘに対して近づく向きである場合に、当該軌跡を描く物体は飛来物体であると判定することで、単なる落下物や他の車両等と区別して確実に飛来物体を検出することができる。

【0096】

図７に示す例においては、軌跡ＴＲ２は、出発点（始点）付近において、軌跡の向きが下向きであり、かつ軸Ｘに近づく向きになっている部分を含んでいる。これに対して、図６に示したように、落下物の軌跡ＴＲ１は、軸Ｘから遠ざかる向きになる。軌跡の向きを基準として判定することで、飛来物体の軌跡である軌跡ＴＲ２を、落下物の軌跡である軌跡ＴＲ１と区別して検出することができる。

【0097】

［長さによる判定］
また、制御部２７は、算出した軌跡の長さが所定の閾値を越える場合に、当該軌跡は飛来物体の軌跡であると判定してもよい。

【0098】

本実施例において算出される軌跡の長さは、自車両Ｍ１と物体との相対速度によって決まり、相対速度が大きい程長くなる。

【0099】

例えば、自車両Ｍ１と飛来物体との相対速度は、自車両Ｍ１と同じ方向に走行している車両との相対速度よりも大きくなると考えられる。従って、飛来物体の軌跡の長さは、自車両Ｍ１と同じ方向に走行している車両の軌跡の長さと比較して長くなる。そこで、軌跡の長さの下限の閾値を設けて、当該閾値を越える長さである場合に飛来物体の軌跡と判定することで、同じ方向に走行している車両等の軌跡と区別して飛来物体の軌跡を検出することができる。

【0100】

例えば、自車両Ｍ１と飛来物体との相対速度は、自車両Ｍ１の対向車との相対速度よりも小さくなると考えられる。従って、飛来物体の軌跡の長さは、例えば、対向車の軌跡と比較して短くなる。そこで、軌跡の長さの上限値を設けて、上限値よりも短い場合に飛来物体の軌跡と判定することで、対向車等の軌跡と区別して飛来物体の軌跡を検出することができる。

【0101】

なお、例えば、画像処理装置１０は自車両Ｍ１に備えられた加速度センサ（図示せず）等から自車両Ｍ１の速度を取得可能になっていてもよく、自車両Ｍ１の速度毎に軌跡の長さの閾値を設けてもよい。

【0102】

このように、制御部２７は、追跡対象物の軌跡の最大曲率を用いた判定、軌跡の向きを用いた判定、又は軌跡の長さを用いた判定によって、当該軌跡は飛来物体の軌跡であるか否か、すなわち、当該軌跡の算出に用いた連続画像に飛来物体が写っているか否かを判定する。制御部２７は、最大曲率が閾値を越えること、軌跡の向きが下方かつ軸Ｘに対して近づく向きであること、又は軌跡の長さが閾値を越えること、のいずれかに該当する場合に飛来物体が写っていると判定してもよく、全てに該当する場合に飛来物体が写っていると判定してもよい。

【0103】

また、これらの判定を組み合わせてもよい。例えば、最大曲率を用いた判定と軌跡の向きを用いた判定とを組み合わせて判定してもよく、最大曲率を用いた判定と軌跡の長さを用いた判定とを組み合わせてもよい。

【0104】

［学習済みモデルによる判定］
また、上述のように、制御部２７は、追跡対象物の軌跡を算出後、当該算出した軌跡を、追跡対象物が描く軌跡を入力すると、当該軌跡が飛来物体の軌跡であるか否かを示す情報を出力するように機械学習がなされた学習済みモデルに入力することによって飛来物体の軌跡であるか否かを判定してもよい。

【0105】

［投擲物の検出］
また、制御部２７は、上記のような、最大曲率等を用いた判定又は学習済みモデルを用いた判定において、飛来物体の軌跡であると判定された場合に、さらに、連続画像における軌跡の始点付近に人又は車両が写っているか否かを判定することによって、飛来物体のうちの投擲物を検出してもよい。この場合、制御部２７は、人又は車両が写っていると判定した場合に、連続画像に投擲物が写っていると判定する。

【0106】

軌跡の始点付近に人又は車両が存在する場合には、車両内又は車両外に居る人が、追跡対象物である物体を投擲した蓋然性が高く、飛来物体のうちの投擲物を正確に検出することができる。

【0107】

図８及び図９を参照しつつ、本実施例における画像処理装置１０の制御部２７によって実行される制御ルーチンについて説明する。

【0108】

図８は、制御部２７が飛来物体を検出する際に実行するルーチンの一例である飛来物体検出ルーチンＲＴ１を示すフローチャートである。例えば、制御部２７は、前方カメラ１１による自車両Ｍ１の周囲の撮影が開始されると、飛来物体検出ルーチンＲＴ１を開始する。

【0109】

制御部２７は、飛来物体検出ルーチンＲＴ１を開始すると、前方カメラ１１によって逐次撮影された画像のうちの１つのフレーム画像を例えば画像一時記憶部２５Ａから取得する（ステップＳ１０１）。なお、ステップＳ１０１において、制御部２７は、１つのフレーム画像を前方カメラ１１から受信することで取得してもよい。

【0110】

ステップＳ１０１の実行後、制御部２７は、ステップＳ１０１において取得したフレーム画像について画像認識処理を実行する（ステップＳ１０２）。ステップＳ１０２において、例えば、制御部２７は、フレーム画像中に写っている物体の種類が、所定の複数の種類のいずれに該当するかを特定することで分類する。

【0111】

ステップＳ１０２において、制御部２７は、例えば、第１の種類を「車両」、第２の種類を「人」、第３の種類を「車両及び人以外」として、第１～第３の種類に分類し、第３の種類に分類された物体を、追跡対象物として特定する。

【0112】

ステップＳ１０２において、制御部２７は、例えば、第３の種類に分類された「車両及び人以外」の物体のうち、道路上に存在する物体を落下物として分類し、落下物に分類された物体を追跡対象物とする。

【0113】

ステップＳ１０２の実行後、制御部２７は、ステップＳ１０２で分類した物体の中に追跡対象物が含まれるか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、例えば、制御部２７は、「車両及び人以外」に分類された物体又は「落下物」に分類された物体がある場合に、追跡対象物が含まれると判定する。

【0114】

制御部２７は、ステップＳ１０３において、追跡対象物が無いと判定する（ステップＳ１０３：ＮＯ）と、飛来物体検出ルーチンＲＴ１を終了し、新たに飛来物体検出ルーチンＲＴ１を開始して、次のフレーム画像を新たに取得する。

【0115】

制御部２７は、ステップＳ１０３において、追跡対象物があると判定する（ステップＳ１０３：ＹＥＳ）と、ステップＳ１０１において取得したフレーム画像を含む連続画像を画像一時記憶部２５Ａから取得する（ステップＳ１０４）。ステップＳ１０４において、例えば、制御部２７は、追跡対象物が落下物である場合、「落下物」として分類された物体が特定された画像、すなわちステップＳ１０１において取得したフレーム画像が撮影された時点から遡った時系列順の連続画像を取得する。

【0116】

ステップＳ１０４において、例えば、制御部２７は、ステップＳ１０１において取得したフレーム画像が撮影された時点の前又は前後の所定の時間分の連続画像を取得する。ステップＳ１０４において、例えば、数秒～十数秒分の連続画像、例えば約１０秒分の連続画像が取得される。

【0117】

ステップＳ１０４において、制御部２７は、自車両Ｍ１の周囲を逐次撮影した複数の画像を取得する画像取得部として機能する。

【0118】

ステップ１０４の実行後、制御部２７は、ステップＳ１０４で取得した連続画像に基づいて、追跡対象物の軌跡を算出する（ステップＳ１０５）。

【0119】

ステップＳ１０５において、例えば、制御部２７は、連続画像の各々における追跡対象物の特徴点を抽出し、画像間で対応する特徴点同士を繋ぎ合わせることによって、各々の特徴点の軌跡を算出することで、追跡対象物が描く軌跡を算出する。

【0120】

ステップＳ１０５において、例えば、制御部２７は、追跡対象物の重心同士を画像間で繋ぎ合わせることによって追跡対象物の軌跡を算出する。

【0121】

ステップＳ１０５の実行後、制御部２７は、ステップＳ１０５において算出した軌跡が飛来物体の軌跡に該当するか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、例えば、制御部２７は、ステップＳ１０５において算出した軌跡の最大曲率が閾値を超える場合、当該軌跡の向きが下方かつ軸Ｘに近づく向きである場合、又は当該軌跡の長さが閾値を越える場合に、当該軌跡が飛来物体の軌跡であると判定する。

【0122】

ステップＳ１０６において、例えば、制御部２７は、追跡対象物が描く軌跡を入力すると、当該軌跡が飛来物体の軌跡であるか否かを示す情報を出力するように機械学習がなされた学習済みモデルを用いて、当該学習済みモデルの出力が飛来物体の軌跡であることを示す場合に、ステップＳ１０５において算出した軌跡が飛来物体の軌跡であると判定する。

【0123】

ステップＳ１０６において、制御部２７は、ステップＳ１０４において取得した複数の画像に基づいて、当該複数の画像のいずれかに、自車両Ｍ１への飛来物体又は自車両Ｍ１の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部として機能する。

【0124】

ステップＳ１０６において、飛来物体の軌跡に該当しないと判定する（ステップＳ１０６：ＮＯ）と、制御部２７は、飛来物体検出ルーチンＲＴ１を終了し、新たに飛来物体検出ルーチンＲＴ１を開始して、次のフレーム画像を新たに取得する。

【0125】

ステップＳ１０６において、飛来物体の軌跡に該当すると判定する（ステップＳ１０６：ＹＥＳ）と、制御部２７は、飛来物体が写っている画像、例えばステップＳ１０１において取得した画像が撮像された時点を含む所定時間内の画像を特定画像として特定してラベルを付する（ステップＳ１０７）。ステップＳ１０７において、制御部２７は、画像特定部として機能する。

【0126】

ステップＳ１０７において、例えば、制御部２７は、ステップＳ１０４において取得した連続画像に含まれる全てのフレーム画像を特定画像としてラベルを付ける。なお、ステップＳ１０７において、例えば、制御部２７は、ステップＳ１０４において取得した連続画像に含まれるフレーム画像の一部を特定画像としてラベルを付けてもよい。例えば、当該連続画像の一部にのみ追跡対象物が写っている場合には、追跡対象物が写っているフレーム画像のみが特定画像としてラベルを付されてもよい。

【0127】

ステップＳ１０７の実行後、制御部２７は、特定画像をサーバ装置２０に送信する（ステップＳ１０８）。ステップＳ１０８において、制御部２７は、特定画像を恒久的にサーバ装置２０に保存する画像保存部として機能する。

【0128】

ステップＳ１０８の実行後、制御部２７は、飛来物体検出ルーチンＲＴ１を終了し、新たに飛来物体検出ルーチンＲＴ１を開始して、次のフレーム画像を新たに取得する。例えば、新たな飛来物体検出ルーチンＲＴ１のステップＳ１０１において取得される画像は、１つ前の飛来物体検出ルーチンＲＴ１において取得された連続画像の最後のフレーム画像の時系列順の次のフレーム画像である。

【0129】

図９は、飛来物体検出ルーチンＲＴ１の変形例であり、制御部２７が、飛来物体の中でも特に投擲物を検出する際に実行する投擲物検出ルーチンＲＴ２を示すフローチャートである。

【0130】

投擲物検出ルーチンＲＴ２は、ステップＳ２０７を含む点のみが飛来物体検出ルーチンＲＴ１とは異なり、その他のステップについては飛来物体検出ルーチンＲＴ１と同様に実行されるため、重複する部分については説明の一部を省略する。

【0131】

制御部２７は、投擲物検出ルーチンＲＴ２を開始すると、飛来物体検出ルーチンＲＴ１の場合と同様に、前方カメラ１１によって逐次撮影された画像のうちの１つのフレーム画像を取得して（ステップＳ２０１）画像認識処理を実行し（ステップＳ２０２）、当該フレーム画像に写っている物体に追跡対象物が含まれる場合に（ステップＳ２０３：ＹＥＳ）、当該フレーム画像を含む連続画像を取得する（ステップＳ２０４）。

【0132】

その後、制御部２７は、追跡対象物の軌跡を算出し（ステップＳ２０５）、飛来物体の軌跡に該当するか否かを判定する（ステップＳ２０６）。

【0133】

ステップＳ２０６において、算出した軌跡が飛来物体の軌跡に該当すると判定する（ステップＳ２０６：ＹＥＳ）と、制御部２７は、当該軌跡の始点付近に人又は車両が写っているか否かを判定する（ステップＳ２０７）。ステップＳ２０７において、例えば、制御部２７は、軌跡の算出に用いた連続画像のうちの軌跡の始点が含まれる画像について、ステップＳ２０２における画像認識の結果を参照し、人又は車両に分類された物体の有無を判定する。なお、ステップＳ２０７において、軌跡の始点が含まれる画像よりも時系列順の少し前の画像について、人又は車両が写っているか否かの判定を行ってもよい。

【0134】

例えば、図７に示した例においては、空き缶Ｂ１が描く軌跡の始点の近傍に他車両Ｍ２が存在するので、ステップＳ２０７において、人又は車両が写っていると判定される。

【0135】

ステップＳ２０７において、人又は車両が写っていないと判定する（ステップＳ２０７：ＮＯ）と、制御部２７は、投擲物検出ルーチンＲＴ２を終了し、新たに投擲物検出ルーチンＲＴ２を開始して、次のフレーム画像を新たに取得する。

【0136】

ステップＳ２０７において、人又は車両が写っていると判定する（ステップＳ２０７：ＹＥＳ）と、制御部２７は、飛来物体が写っている画像、例えばステップＳ２０１において取得した画像が撮像された時点を含む所定時間内の画像を特定画像として特定してラベルを付する（ステップＳ２０８）。

【0137】

ステップＳ２０８の実行後、制御部２７は、特定画像をサーバ装置２０に送信し（ステップＳ２０９）、その後、投擲物検出ルーチンＲＴ２を終了し、新たに投擲物検出ルーチンＲＴ２を開始して、次のフレーム画像を新たに取得する。

【0138】

本ルーチンによれば、飛来物体のうちの投擲物を検出することが可能である。本ルーチンのステップＳ２０７において、軌跡の始点付近に人又は車両が写っていると判定された場合は、追跡対象物が投擲物である蓋然性が高いので、投擲物を正確に検出し、投擲物でないものが検出されることを防止することができる。例えば、本ルーチンによって特定された特定画像は、危険運転の検証等に役立てることができる。

【0139】

なお、本実施例において、飛来物体のうちの投擲物を検出する際に、飛来物体検出部としての制御部２７は、人が物体を投擲する様子を撮影した複数の投擲画像と、当該複数の投擲画像に投擲物が写っていることを示す情報とを学習データとして機械学習がなされた学習済みモデルを用いてもよい。制御部２７が、飛来物体検出部が車両の周囲を逐次撮影した複数の画像を学習済みモデルに入力すると、当該学習済みモデルから、当該複数の画像に投擲物が写っているか否かを示す情報が出力される。制御部２７は、学習済みモデルから出力される情報に基づいて、複数の画像に投擲物が写っているか否かの判定を行う。

【0140】

例えば、当該学習済みモデルは、人が車両内または車両外から様々な種類の物体を投擲する様子を撮影した画像と、当該画像に投擲物が写っていることを示す情報とを学習データとして、大容量記憶装置２５内に構築され得る。

【0141】

なお、例えば、当該学習済みモデルを用いた投擲物が写っているか否かの判定は、連続画像のうちの１つの画像を用いて行われてもよい。

【0142】

以上、説明したように、本実施例の画像処理装置１０を含む画像処理システム１００は、車両の周囲を逐次撮影した複数の画像を取得する画像取得部と、当該複数の画像に基づいて、複数の画像のいずれかに車両への飛来物体、または車両の前方領域への飛来物体が写っているか否かを判定する飛来物体検出部と、飛来物体が写っていると判定されると、当該飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定する画像特定部と、を有する。

【0143】

従って、本実施例の画像処理装置１０を含む画像処理システム１００によれば、車両又は車両の前方領域に飛来する飛来物体を検出可能な画像処理装置を提供することができる。

【0144】

例えば、本実施例において、画像特定部によって特定された特定画像をサーバ内に恒久的に保存しておくことができる。例えば、当該恒久的に保存された特定画像を解析することによって、車両に向かって又は車両の前方領域に飛来物体が飛来する危険事象の検証等の様々な目的に解析結果を利用することができる。

【0145】

例えば、本実施例において、飛来物体検出部は、画像認識によって複数の画像の各々について追跡対象物を特定し、複数の画像のうちの前記追跡対象物が特定された画像を含む時系列順の画像に基づいて追跡対象物が描く軌跡を算出し、当該軌跡に基づいて追跡対象物が飛来物体であるか否かを判定することにより飛来物体が写っているか否かを判定する。

【0146】

このような判定方法により、例えば画像中に写っている全ての物体の軌跡を算出することなく、追跡対象物の軌跡を算出すればよいので、効率良く飛来物体の検出を行うことができる。

【実施例0147】

図１０～１２を参照しつつ、実施例２に係る画像処理装置１０及び画像処理システム１００について説明する。本実施例の画像処理装置１０及び画像処理システム１００は、実施例１と同様に構成されており、飛来物体検出部としての制御部２７の機能のみが実施例１と異なる。

【0148】

本実施例において、飛来物体検出部としての制御部２７は、自車両Ｍ１の周囲を逐次撮影した連続画像を取得し、当該連続画像についてオプティカルフローを算出し、算出したオプティカルフローに基づいて、飛来物体が写っているか否かを判定する。

【0149】

オプティカルフローは、動画像における２フレーム間の画素ごとの見かけ上の動きを表す移動ベクトルである。本明細書において、連続画像に含まれる連続する２つの画像間の画素毎の画像間ベクトルを累積することによって描かれる軌跡についても、オプティカルフローと称する。

【0150】

制御部２７は、例えばブロックマッチング法又は勾配法等の公知の方法によって、オプティカルフローを算出する。

【0151】

例えば、制御部２７は、オプティカルフローの算出の前に、連続画像に含まれる最初のフレーム画像における濃淡パターンのエッジやコーナー等の特徴点を抽出する。制御部２７は、当該特徴点のオプティカルフローを算出する。

【0152】

なお、制御部２７は連続画像の各々における全画素についてのオプティカルフローを算出してもよいが、全画素についてのオプティカルフローを算出する場合は処理負荷が大きくなる。従って、本実施例においては、上記のように特徴点を利用して間引いた画素についてのオプティカルフローを算出する。

【0153】

図１０は、本実施例において、画像処理装置１０が算出するオプティカルフローの一例を模式的に示す図である。図１０は、前方カメラ１１によって自車両Ｍ１の前方が撮影された画像の一例である画像Ｆ３を示している。図１０に示すように、画像Ｆ３中に、他車両Ｍ２、対向車Ｍ３、空き缶Ｂ１、及び建物や街路樹等の道路の周囲の風景が写っている。図１０に示す例において、空き缶Ｂ１は、他車両Ｍ２から投げられた投擲物であり、飛来物体である。

【0154】

また、図１０に示すように、時系列順で画像Ｆ３を最後のフレーム画像とする連続画像を用いて算出されたオプティカルフローが画像Ｆ３に重畳して描画されている。

【0155】

具体的には、画像Ｆ３中に、空き缶Ｂ１のオプティカルフローであるＯＦ１、対向車Ｍ３のオプティカルフローであるＯＦ２、及び道路の周辺の建物や街路樹等の背景の静止物のオプティカルフローであるＯＦ３が描画されている。なお、図１０において、当該連続画像の先頭のフレーム画像中の空き缶Ｂ２を破線で示している。従って、画像Ｆ３中、破線で示した空き缶Ｂ２上にオプティカルフローＯＦ１の始点があり、実線で示した空き缶Ｂ１上にオプティカルフローＯＦ１の終点がある。

【0156】

図１０に示すようなオプティカルフローは、例えば、上述のように画素の濃淡値に基づく特徴点を抽出した上で勾配法等の方法で算出することができる。なお、制御部２７は、画像Ｆ３を含む連続画像の全画素についてのオプティカルフローを算出してもよい。

【0157】

例えば、制御部２７は、オプティカルフローを算出すると、実施例１の場合と同様に、オプティカルフローの最大曲率を用いた判定、オプティカルフローの向きを用いた判定、又はオプティカルフローの長さを用いた判定によって、算出したオプティカルフローが飛来物体のオプティカルフローであるか否か、すなわち、当該オプティカルフローの算出に用いた連続画像に飛来物体が写っているか否かを判定する。

【0158】

［最大曲率による判定］
例えば、制御部２７は、オプティカルフローを算出すると、オプティカルフローの最大曲率を算出し、最大曲率が閾値を越える場合に、当該オプティカルフローは飛来物体のオプティカルフローであると判定する。

【0159】

例えば、制御部２７は、算出した複数のオプティカルフローの各々について最大曲率を算出し、当該複数のオプティカルフローの各々について、最大曲率が閾値を越えるか否かを判定する。

【0160】

例えば、制御部２７は、連続画像に含まれるフレーム画像を複数の領域に分割し、当該複数の領域の各々における複数のオプティカルフローの最大曲率の平均値を算出し、最大曲率が閾値を越えるか否かを判定してもよい。

【0161】

上述した軌跡の場合と同様に、飛来物体のオプティカルフローには特徴的な曲線部分を含む傾向がある。一方、飛来物体以外の物体のうち、少なくとも直進中の車両や静止物のオプティカルフローは直線状になる傾向がある。従って、オプティカルフローの最大曲率を判定基準とすることで、飛来物体のオプティカルフローを検出することができる。

【0162】

図１０に示す例においては、空き缶Ｂ１のオプティカルフローＯＦ１は曲線部分を含んでおり、対向車Ｍ３のオプティカルフローＯＦ２及び背景のオプティカルフローＯＦ３は直線状になっている。オプティカルフローの最大曲率の閾値を用いて判定することによって、飛来物体である空き缶Ｂ１のオプティカルフローＯＦ１を、静止物である背景のオプティカルフローＯＦ３や対向車Ｍ３のオプティカルフローＯＦ２等の直線状のオプティカルフローと区別して検出することができる。

【0163】

［向きによる判定］
例えば、制御部２７は、算出したオプティカルフローの少なくとも一部の向きが、下方でありかつ自車両Ｍ１の進行方向を示す軸Ｘに近づく向きである場合に、当該オプティカルフローは飛来物体のオプティカルフローであると判定する。

【0164】

上述した軌跡の場合と同様に、自車両Ｍ１の前方領域に飛来する物体のオプティカルフローは、画像中の上下方向の向きが下方でありかつ左右方向の向きが自車両Ｍ１の進行方向を示す軸Ｘに近づく向きとなる傾向がある。

【0165】

例えば、落下物等の静止している物体や対向車の画像中のオプティカルフローの向きは、軸Ｘから遠ざかる向きになる傾向がある。また、自車両Ｍ１と同じ方向に走行して車線変更や追い越しを行う車両のオプティカルフローは、軸Ｘに近づく向きになる場合があるが、上下方向の向きは上向きとなる点で、飛来物体のオプティカルフローとは異なる。オプティカルフローの向きを判定基準とすることで、飛来物体のオプティカルフローを検出することができる。

【0166】

図１０に示す例においては、オプティカルフローＯＦ１の画像中の向きは、始点付近の曲線部分において、下方に向かいかつ軸Ｘに近づく向きとなっている。これに対して、オプティカルフローＯＦ２及びオプティカルフローＯＦ３の画像中の向きは、軸Ｘから遠ざかる向きとなっている。オプティカルフローの向きを基準として判定することで、飛来物体である空き缶Ｂ１のオプティカルフローであるオプティカルフローＯＦ１を、背景のオプティカルフローＯＦ３や対向車のオプティカルフローＯＦ２等のオプティカルフローと区別して検出することができる。

【0167】

［長さによる判定］
また、制御部２７は、算出したオプティカルフローの長さが閾値を越える場合に、当該オプティカルフローは飛来物体のオプティカルフローであると判定する。

【0168】

本実施例において、オプティカルフローの長さは、自車両Ｍ１と物体との相対速度によって決まる。

【0169】

飛来物体のオプティカルフローの長さは、例えば、同じ方向に走行している車両と比較して長くなると考えられる。従って、長さの下限の閾値を設けて判定することで、同じ方向に走行している車両等の閾値よりも短いオプティカルフローと区別して飛来物体のオプティカルフローを検出することができる。

【0170】

飛来物体のオプティカルフローの長さは、例えば、対向車と比較して短くなると考えられる。従って、長さの上限値を設けて判定することで、対向車等の上限値よりも長いオプティカルフローと区別して飛来物体のオプティカルフローを検出することができる。

【0171】

図１０に示す例においては、空き缶Ｂ１のオプティカルフローＯＦ１は、背景のオプティカルフローＯＦ３や対向車Ｍ３のオプティカルフローＯＦ２よりも短い。オプティカルフローの長さを基準として判定することで、飛来物体である空き缶Ｂ１のオプティカルフローＯＦ１を、背景のオプティカルフローＯＦ３や対向車のオプティカルフローＯＦ２等と区別して検出することができる。

【0172】

なお、例えば、画像処理装置１０は自車両Ｍに備えられた加速度センサ（図示せず）等から自車両Ｍ１の速度を取得可能になっていてもよく、自車両Ｍ１の速度毎にオプティカルフローの長さの閾値を設けてもよい。

【0173】

制御部２７は、最大曲率を用いた判定、オプティカルフローの向きを用いた判定、及びオプティカルフローの長さを用いた判定を互いに組み合わせても良い。例えば、自車両Ｍ１を追い越した車両があった場合、その車両のオプティカルフローは軸Ｘに近づく方向になる。この場合、オプティカルフローの向きを用いた判定のみを行っても、当該追い越した車両が飛来物体として検出されてしまう可能性がある。このような場合に、最大曲率や長さによる判定を組み合わせることで、誤検出を防止して精度良く飛来物体を検出することができる。

【0174】

［画像を分割することによる判定］
例えば、制御部２７は、連続画像に飛来物体が写っているか否かの判定に際し、フレーム画像を複数の領域に分割し、当該複数の領域の各々におけるオプティカルフローの傾き、曲率、又は長さ等のオプティカルフローに関する値に基づいて判定してもよい。

【0175】

例えば、１の領域内において、当該オプティカルフローに関する値が特異値を示すオプティカルフローがある場合に、当該オプティカルフローが算出された連続画像の各々に飛来物体が写っていると判定してもよい。

【0176】

例えば、制御部２７は、フレーム画像を複数の領域（ブロック）に分割し、ブロック毎に、オプティカルフローの傾き、曲率又は長さ等のオプティカルフローに関する値の平均値を算出し、１のブロック内において当該平均値との差が閾値を越えるオプティカルフローがあった場合に、当該１のブロック内に飛来物体が写っていると判定してもよい。

【0177】

または、１のブロック内のオプティカルフローの傾きの標準偏差が、閾値を越える場合は、傾きの特異値を示すオプティカルフローを含んでいる可能性が高いと考えられ、そのようなブロックがあった場合に、飛来物体が写っていると判定してもよい。なお、この場合の閾値は、フレーム画像中で１のブロックの周囲に位置する複数のブロックのオプティカルフローの傾きの標準偏差の平均値などに応じて設定してもよい。

【0178】

制御部２７は、連続画像に飛来物体が写っているか否かの判定に際し、フレーム画像を複数の領域に分割し、当該複数の領域の各々におけるオプティカルフローの傾き、曲率、又は長さ等のオプティカルフローに関する値の、複数の領域間での比較に基づいて判定してもよい。

【0179】

この場合、例えば、オプティカルフローに関する値の各々のブロック内の平均値を算出して隣接するブロック間で比較し、当該平均値の当該隣接するブロックとの差が所定の閾値を越えるブロックがある場合に、連続画像の各々に飛来物体が写っていると判定してもよい。

【0180】

［領域の除外］
また、例えば、制御部２７は、オプティカルフローを算出する前に、連続画像に含まれる複数のフレーム画像の各々について画像認識を行って、複数のフレーム画像の各々に写っている物体を複数の種類に分類し、所定の種類の物体が写っている領域を、オプティカルフローの算出対象から除外してもよい。

【0181】

例えば、制御部２７は、フレーム画像の物体について、第１の種類を「車両」とし、第２の種類を「人」とし、第３の種類を「車両及び人以外」として、第１～第３の種類に分類し、第１の種類及び第２の種類に分類された物体が写っている領域を、オプティカルフローの算出対象から除外する。

【0182】

人や車両は飛来物体ではないことが明らかであるため、飛来物体の検出において、人や車両が写っている領域の画素については、オプティカルフローの算出が不要である。そのような画素については、予め算出対象から除外することで、処理の負荷を軽減することができる。

【0183】

例えば、制御部２７は、オプティカルフローを算出する前に、連続画像に含まれる複数のフレーム画像の各々について画像認識を行った結果、前方カメラ１１による撮影前から路上に存在する「落下物」として分類された物体が存在する場合、当該「落下物」が写っている領域以外の領域を、オプティカルフローの算出対象から除外してもよい。言い換えれば、制御部２７は、「落下物」が写っている領域をオプティカルフローの算出対象とする。

【0184】

なお、例えば、最初のフレーム画像において「落下物」を特定し、「落下物」が写っている領域を含む画像中の一部の領域を決定し、当該一部の領域内の画素についてのみオプティカルフロー計算を行ってもよい。

【0185】

図１１及び図１２を参照しつつ、本実施例において画像処理装置１０の制御部２７によって実行される制御ルーチンについて説明する。

【0186】

図１１は、制御部２７が飛来物体を検出する際に実行するルーチンの一例である飛来物体検出ルーチンＲＴ３を示すフローチャートである。例えば、制御部２７は、前方カメラ１１による自車両Ｍ１の周囲の撮影が開始されると、飛来物体検出ルーチンＲＴ３を開始する。

【0187】

制御部２７は、飛来物体検出ルーチンＲＴ３を開始すると、前方カメラ１１によって逐次撮影された画像のうちの連続画像を取得する（ステップＳ３０１）。ステップＳ３０１において、例えば、制御部２７は、所定時間分の連続画像または所定数のフレーム画像を取得する。ステップＳ３０１において、例えば、数秒～十数秒分の連続画像、例えば約１０秒分の連続画像が取得される。

【0188】

ステップＳ３０１において、例えば、制御部２７は、画像一時記憶部２５Ａから連続画像を取得する。なお、ステップＳ３０１において、前方カメラ１１から連続画像が取得されてもよい。

【0189】

ステップＳ３０１の実行後、制御部２７は、連続画像に含まれる連続する２つの画像間の画素毎の画像間ベクトルが累積されたオプティカルフローを算出する（ステップＳ３０２）。ステップＳ３０２において、例えば、制御部２７は、連続画像の最初のフレーム画像中の画素の濃淡値に基づく特徴点となる画素を抽出し、抽出された画素の連続画像におけるオプティカルフローを勾配法等の方法で算出する。ステップＳ３０２において、例えば、図１０に示したようなオプティカルフローが算出される。

【0190】

ステップＳ３０２の実行後、制御部２７は、ステップＳ３０２において算出したオプティカルフローに、飛来物体のオプティカルフローが含まれるか否かを判定する（ステップＳ３０３）。

【0191】

ステップＳ３０３において、例えば、制御部２７は、オプティカルフローの最大曲率、向き又は長さを判定基準として、飛来物体のオプティカルフローが含まれるか否かを判定する。例えば、ステップＳ３０３において、オプティカルフローの最大曲率が閾値を越える場合、オプティカルフローの向きが下方でありかつ自車両Ｍ１の進行方向を示す軸に近づく向きである場合、又は軌跡の長さが所定の閾値を超える場合に、飛来物体のオプティカルフローが含まれると判定される。

【0192】

ステップＳ３０３において、例えば、制御部２７は、上述のようにフレーム画像を複数の領域に分割し、当該複数の領域の各々におけるオプティカルフローの傾き、曲率又は長さ等のオプティカルフローに関する値の１の領域内での特異値の有無によって、または複数の領域間での比較によって、飛来物体のオプティカルフローが含まれるか否かを判定してもよい。

【0193】

ステップＳ３０３において、飛来物体のオプティカルフローが含まれないと判定する（ステップＳ３０３：ＮＯ）と、制御部２７は、飛来物体検出ルーチンＲＴ３を終了し、新たに飛来物体検出ルーチンＲＴ３を開始して、連続画像を新たに取得する。

【0194】

ステップＳ３０３において、飛来物体のオプティカルフローが含まれると判定する（ステップＳ３０３：ＹＥＳ）と、制御部２７は、飛来物体が写っている画像が撮像された時点を含む所定時間内の画像を特定画像として特定してラベルを付する（ステップＳ３０４）。

【0195】

ステップＳ３０４において、例えば、制御部２７は、ステップＳ３０１において取得した連続画像に含まれる全てのフレーム画像を特定画像として特定し、当該フレーム画像の各々にラベルを付する。例えば、ステップＳ３０４において、ステップＳ３０１において取得した連続画像の一部が特定画像として特定されてもよい。

【0196】

ステップＳ３０４の実行後、制御部２７は、特定画像をサーバ装置２０に送信する（ステップＳ３０５）。ステップＳ３０５において、特定画像は、サーバ装置２０において恒久的に保存される。

【0197】

ステップＳ３０５の実行後、制御部２７は、飛来物体検出ルーチンＲＴ３を終了し、新たに飛来物体検出ルーチンＲＴ３を開始して、次の連続画像を新たに取得する。例えば、新たな飛来物体検出ルーチンＲＴ３のステップＳ３０１において取得される連続画像は、１つ前の飛来物体検出ルーチンＲＴ３において取得された連続画像の最後のフレーム画像の時系列順の次のフレーム画像から開始する連続画像であってもよく、１つ前の飛来物体検出ルーチンＲＴ３において取得された連続画像と一部が重複する連続画像であってもよい。

【0198】

図１２は、飛来物体検出ルーチンＲＴ３の変形例である飛来物体検出ルーチンＲＴ４を示すフローチャートである。飛来物体検出ルーチンＲＴ４は、ステップＳ４０２を含む点のみが飛来物体検出ルーチンＲＴ３とは異なり、その他のステップについては飛来物体検出ルーチンＲＴ３と同様に実行されるため、重複する部分については説明の一部を省略する。

【0199】

制御部２７は、飛来物体検出ルーチンＲＴ４を開始すると、飛来物体検出ルーチンＲＴ３の場合と同様に、前方カメラ１１によって逐次撮影された画像のうちの連続画像を取得する（ステップＳ４０１）。

【0200】

ステップＳ４０１の実行後、制御部２７は、オプティカルフロー計算が不要な領域についてオプティカルフロー計算の対象外とする領域除外処理を実行する（ステップＳ４０２）。ステップＳ４０２において、例えば、制御部２７は、連続画像に含まれる複数のフレーム画像の各々について画像認識を行って、複数のフレーム画像の各々に写っている物体を複数の種類に分類し、所定の種類の物体が写っている領域を、オプティカルフローの算出対象から除外する。

【0201】

例えば、ステップＳ４０２において、制御部２７は、複数のフレーム画像の各々に写っている物体を「車両」、「人」、及び「車両及び人以外」に分類し、例えば「車両」及び「人」に分類された物体が写っている領域の画素がオプティカルフロー計算の対象から除外される。

【0202】

ステップＳ４０２の実行後、連続画像に含まれる連続する２つの画像間の画素毎の画像間ベクトルが累積されたオプティカルフローを算出する（ステップＳ４０３）。ステップＳ４０３において、ステップＳ４０２によって除外されずに残った領域の画素データを用いてオプティカルフローが算出される。

【0203】

ステップＳ４０３の実行後、制御部２７は、ステップＳ４０３において算出したオプティカルフローに、飛来物体のオプティカルフローが含まれるか否かを判定する（ステップＳ４０４）。ステップＳ４０４において、例えば、制御部２７は、飛来物体検出ルーチンＲＴ３のステップＳ３０３と同様に、オプティカルフローの最大曲率、向き又は長さを判定基準とする判定又はオプティカルフローに関する値が特異値を示す領域があるか否かによる判定によって、飛来物体のオプティカルフローが含まれるか否かを判定する。

【0204】

ステップＳ４０４において、飛来物体のオプティカルフローが含まれると判定する（ステップＳ４０４：ＹＥＳ）と、例えばステップＳ４０１において取得した連続画像に含まれる全てのフレーム画像を特定画像として特定し、当該フレーム画像の各々にラベルを付し（ステップＳ４０５）、特定画像をサーバ装置２０に送信する（ステップＳ４０６）。

【0205】

本ルーチンによれば、連続画像の全領域についてオプティカルフローを算出する場合と比較して、オプティカルフロー計算による処理負荷を軽減することができる。

【0206】

なお、飛来物体のうちの投擲物を検出する場合に、飛来物体検出ルーチンＲＴ３又は飛来物体検出ルーチンＲＴ４において、実施例１の投擲物検出ルーチンＲＴ２のステップＳ２０７を組み合わせてもよい。具体的には、連続画像におけるオプティカルフローの始点付近に人又は車両が写っているか否かを判定し、人又は車両が写っていると判定した場合に、連続画像に含まれる少なくともいずれかのフレーム画像に投擲物が写っていると判定してもよい。

【0207】

以上、詳細に説明したように、本実施例の画像処理装置１０において、飛来物体検出部は、時系列順の連続画像に含まれる連続する２つの画像間の画素毎の画像間ベクトルが累積されたオプティカルフローを算出し、当該オプティカルフローに基づいて、当該連続画像のいずれかに飛来物体が写っているか否かを判定するように構成されている。

【0208】

例えば、飛来物体検出部は、飛来物体が写っているか否かの判定において、オプティカルフローの最大曲率、向き又は長さを判定基準とする判定によって、算出したオプティカルフローに飛来物体のオプティカルフローが含まれるか否かを判定する。

【0209】

また、例えば、飛来物体検出部は、飛来物体が写っているか否かの判定において、フレーム画像を複数の領域に分割し、複数の領域の各々における傾き、曲率、又は長さ等のオプティカルフローに関する値が特異値を示すオプティカルフローがあるか否かに基づいて、連続画像の各々に飛来物体が写っているか否かを判定する。

【0210】

本実施例の画像処理装置１０によれば、車両に向かって又は車両の前方領域に飛来する飛来物体を検出可能な画像処理装置を提供することができる。

【0211】

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択、組み合わせ及び変更可能である。

【0212】

例えば、上記の実施例において、サーバ装置２０の恒久記憶部に特定画像を保存する例について説明したが、これに限られない。恒久記憶部は、画像処理装置１０の大容量記憶装置２５内に設けられていてもよく、制御部２７は、特定した特定画像を大容量記憶装置２５内の記憶部に恒久的に保存するようにしてもよい。

【0213】

また、画像処理装置１０の制御部２７の画像取得部、飛来物体検出部及び画像特定部としての機能をサーバ装置２０の制御部４５が有していてもよい。

【0214】

上記の実施例において、前方カメラによって撮影された画像の画像処理を例に説明したが、これに限られない。例えば、本発明の画像処理装置は、自車両に取り付けられた側方カメラによって撮影された画像を用いて飛来物体を検出することができる。例えば、側方カメラは、自車両Ｍ１の進行方向に略垂直な水平方向が撮影方向に含まれるように、自車両の左右のドアの上方等の位置に取り付けられる。

【0215】

例えば、当該側方カメラによる画像を用いることによって、隣の車線を並走する車両からの自車両への投擲物や、道端から自車両に向けて側方から投擲された物体があった場合に、自車両への飛来物体として検出することができる。

【0216】

さらに、本発明において、自車両の後方が撮影方向となるように取り付けられた後方カメラ、又は、例えば前方カメラ１１、側方カメラ１３、及び後方カメラに代えて自車両に取り付けられた３６０度カメラによって撮影された画像を用いて、様々な方向からの自車両への飛来物体を検出してもよい。

【0217】

例えば、画像処理装置１０は、画像処理装置１０と同様の構成を有する端末装置と前方カメラ１１とタッチパネルディスプレイ１５とが一体化された構成であってもよい。具体的には、例えば、画像処理装置１０は、上記の画像処理装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、画像処理装置１０は、内蔵カメラが自車両Ｍ１のフロントガラスを通して、例えば自車両Ｍ１の前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。

【0218】

また、画像処理装置１０は、自車両Ｍ１の運転者に提示する画面を表示しない構成であってもよい。例えば、画像処理装置１０は、前方カメラ１１と一体となったドライブレコーダのような構成を有する装置であってもよい。具体的には、画像処理装置１０は、例えば、前方カメラ１１の筐体内に、上記したように飛来物体を検出して特定画像を特定する画像処理装置１０の機能を果たすハードウェアを内蔵したような装置であってもよい。