ホーム > 特許ランキング > 株式会社豊田自動織機
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】動作予測装置、動作予測方法、及び動作予測プログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20240806BHJP
【ＦＩ】
G08G1/16 C
【請求項の数】
6
(21)【出願番号】P 2020201066
(22)【出願日】2020-12-03
(65)【公開番号】P2022088926
(43)【公開日】2022-06-15
【審査請求日】2023-03-13
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100124062
【弁理士】
【氏名又は名称】三上 敬史
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(74)【代理人】
【識別番号】100162640
【弁理士】
【氏名又は名称】柳 康樹
(72)【発明者】
【氏名】岡山 健
【審査官】西畑 智道
(56)【参考文献】
【文献】特開２０２０－１７３６００（ＪＰ，Ａ）
【文献】国際公開第２０１４／０２４２８４（ＷＯ，Ａ１）
【文献】特開２０１７－００４１０６（ＪＰ，Ａ）
【文献】特開２０１８－０６７１３０（ＪＰ，Ａ）
【文献】特開２０１８－１２４６６３（ＪＰ，Ａ）
【文献】特開２０１８－０６３６０６（ＪＰ，Ａ）
【文献】特開２０１８－０１２３６０（ＪＰ，Ａ）
【文献】特開２０１２－１７３７８６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００－９９／００
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
(57)【特許請求の範囲】
【請求項1】
対象物の動作を予測する動作予測装置であって、車両に搭載された撮像部と、
前記撮像部で取得された画像情報に基づいて、前記車両の進行方向の前側に存在する対象物を検出する検出部と、
前記検出部により検出された、前記対象物の向き情報の変化に基づいて、前記対象物が前記進行方向の前側を横断する可能性を予測する予測部と、を備え、
前記予測部は、前記車両の速度情報、及び前記検出部によって検出された前記対象物の位置情報に基づいて、前記車両に対する前記対象物の相対位置の時間変化量を演算することで、前記車両と前記対象物との接触の可能性を予測し、
前記予測部は、前記車両に対する現在の前記対象物の位置情報のばらつき、及び将来の前記対象物の位置情報のばらつきから、前記車両と前記対象物との接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測し、
前記予測部は、現在の存在領域を設定すると共に、将来の存在領域を予測し、
前記存在領域は、前記位置情報のばらつきを示す領域であって、中央に近い箇所ほど前記対象物の存在確率が高く、
前記予測部は、前記存在領域が前記車両まで到達したときの前記確率密度関数を算出し、前記接触確率を予測する、動作予測装置。
【請求項2】
前記検出部は、前記画像情報を入力層に入力し、予め学習された学習情報に基づくニューラルネットワーク演算によって、前記向き情報の算出を行う、請求項１に記載の動作予測装置。
【請求項3】
前記予測部は、予測した前記接触確率に対して、前記対象物の前記向き情報の認識精度を乗じることで、前記接触確率を補正する、請求項１に記載の動作予測装置。
【請求項4】
前記検出部は、歩行者である前記対象物の頭部を検出すると共に、前記向き情報として検出した前記頭部の頭部向き情報を検出し、前記予測部は、前記検出部により検出された前記頭部向き情報の変化に基づいて、前記対象物が前記進行方向の前側を横断する可能性を予測する、請求項１～３の何れか一項に記載の動作予測装置。
【請求項5】
対象物の動作を予測する動作予測方法であって、車両に搭載された撮像部で画像情報を取得する画像情報取得ステップと、
前記画像情報取得ステップで取得された前記画像情報に基づいて、前記車両の進行方向の前側に存在する対象物を検出する検出ステップと、
前記検出ステップにより検出された、前記対象物の向き情報の変化に基づいて、前記対象物が前記進行方向の前側を横断する可能性を予測する予測ステップと、を備え、
前記予測ステップでは、前記車両の速度情報、及び前記検出ステップによって検出された対象物の位置情報に基づいて、前記車両に対する前記対象物の相対位置の時間変化量を演算することで、前記車両と前記対象物との接触の可能性を予測し、
前記予測ステップでは、前記車両に対する現在の前記対象物の位置情報のばらつき、及び将来の前記対象物の位置情報のばらつきから、前記車両と前記対象物との接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測し、
前記予測ステップでは、現在の存在領域を設定すると共に、将来の存在領域を予測し、
前記存在領域は、前記位置情報のばらつきを示す領域であって、中央に近い箇所ほど前記対象物の存在確率が高く、
前記予測ステップでは、前記存在領域が前記車両まで到達したときの前記確率密度関数を算出し、前記接触確率を予測する、動作予測方法。
【請求項6】
対象物の動作を予測する動作予測プログラムであって、車両に搭載された撮像部で画像情報を取得する画像情報取得ステップと、
前記画像情報取得ステップで取得された前記画像情報に基づいて、前記車両の進行方向の前側に存在する対象物を検出する検出ステップと、
前記検出ステップにより検出された、前記対象物の向き情報の変化に基づいて、前記対象物が前記進行方向の前側を横断する可能性を予測する予測ステップと、をコンピュータシステムに実行させ、
前記予測ステップでは、前記車両の速度情報、及び前記検出ステップによって検出された対象物の位置情報に基づいて、前記車両に対する前記対象物の相対位置の時間変化量を演算することで、前記車両と前記対象物との接触の可能性を予測し、
前記予測ステップでは、前記車両に対する現在の前記対象物の位置情報のばらつき、及び将来の前記対象物の位置情報のばらつきから、前記車両と前記対象物との接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測し、
前記予測ステップでは、現在の存在領域を設定すると共に、将来の存在領域を予測し、
前記存在領域は、前記位置情報のばらつきを示す領域であって、中央に近い箇所ほど前記対象物の存在確率が高く、
前記予測ステップでは、前記存在領域が前記車両まで到達したときの前記確率密度関数を算出し、前記接触確率を予測する、動作予測プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作予測装置、動作予測方法、及び動作予測プログラムに関する。
【背景技術】
【0002】
従来の動作予測装置として、特許文献１に記載されたものが知られている。動作予測装置は、カメラやレーダなどのセンサで車両の周囲に存在する対象物を検出している。この動作予測装置は、対象物の位置検出のばらつき量から、車両接近時の対象物の位置の確率密度関数を算出ている。また、動作予測装置は、算出した確率密度関数を車両幅で積分することで、車両と対象物との接触確率を算出している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－４５４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで、対象物は、車両の幅方向の外側の領域を、車両と接触しないように並進している状態から、方向転換をして、進行方向の前側を横断する場合がある。上述の動作予測装置は、実際に対象物の横断が開始した後、移動ベクトルが変化したことを検出しなくては、対象物の横断を予測することができない。この場合、対象物と車両との接触の可能性を早期に予測できないという問題がある。
【0005】
従って、本発明は、対象物と車両との接触の可能性を早期に予測できる動作予測装置、動作予測方法、及び動作予測プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る動作予測装置は、対象物の動作を予測する動作予測装置であって、 車両に搭載された撮像部と、撮像部で取得された画像情報に基づいて、車両の進行方向の前側に存在する対象物を検出する検出部と、検出部により検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測部と、を備える。
【0007】
この動作予測装置は、撮像部で取得された画像情報に基づいて、車両の進行方向の前側に存在する対象物を検出する検出部を備える。従って、動作予測装置は、検出部によって車両の進行方向の前側に存在する対象物がどのような状態であるかについての情報を取得できる。ここで、動作予測装置は、検出部により検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測部を備える。すなわち、車両の進行方向の前側において、対象物が向きを変更した場合は、当該向きへ進行する可能性が高い。特に、対象物が車両の幅方向の内側へ向いた場合、対象物が車両の進行方向の前側を横断する可能性が高い。従って、予測部は、実際に対象物の横断が開始していなくても、対象物の向きが変わった時点で、速やかに横断の可能性を予測できる。以上により、対象物と車両との接触の可能性を早期に予測できる。
【0008】
検出部は、画像情報を入力層に入力し、予め学習された学習情報に基づくニューラルネットワーク演算によって、向き情報の算出を行ってよい。これにより、検出部は、パターンマッチングなどの処理を行わなくとも、入力された画像情報から速やかに対象物の向き情報を演算することができる。
【0009】
予測部は、車両の速度情報、及び検出部によって検出された対象物の位置情報に基づいて、車両に対する対象物の相対位置の時間変化量を演算することで、車両と対象物との接触の可能性を予測してよい。これにより、予測部は、対象物が実際に横断を行う前に、車両と対象物との接触の可能性を速やかに予測できる。
【0010】
予測部は、車両に対する現在の対象物の位置情報のばらつき、及び将来の対象物の位置情報のばらつきから、車両と対象物との接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測してよい。これにより、予測部は、検出部による検出結果のばらつきを考慮して車両と対象物との接触の可能性を予測できる。
【0011】
予測部は、予測した接触確率に対して、対象物の向き情報の認識精度を乗じることで、接触確率を補正してよい。これにより、予測部は、対象物の向き情報の認識精度を考慮した状態での予測を行うことができる。
【0012】
検出部は、歩行者である対象物の頭部を検出すると共に、向き情報として検出した頭部の頭部向き情報を検出し、予測部は、検出部により検出された頭部向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測してよい。これにより、予測部は、体の向きが変化していない段階であっても、頭部向き情報の変化に基づいて速やかに予測を行うことができる。
【0013】
本発明の一態様に係る動作予測方法は、対象物の動作を予測する動作予測方法であって、車両に搭載された撮像部で画像情報を取得する画像情報取得ステップと、画像情報取得ステップで取得された画像情報に基づいて、車両の進行方向の前側に存在する対象物を検出する検出ステップと、検出ステップにより検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測ステップと、を備える。
【0014】
本発明の一態様に係る動作予測方法は、対象物の動作を予測する動作予測プログラムであって、車両に搭載された撮像部で画像情報を取得する画像情報取得ステップと、画像情報取得ステップで取得された画像情報に基づいて、車両の進行方向の前側に存在する対象物を検出する検出ステップと、検出ステップにより検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測ステップと、をコンピュータシステムに実行させる。
【0015】
これらの動作予測方法、及び動作予測プログラムによれば、上述の動作予測装置と同様な効果を得ることができる。
【発明の効果】
【0016】
本発明によれば、対象物と車両との接触の可能性を早期に予測できる動作予測装置、動作予測方法、及び動作予測プログラムを提供することができる。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係る動作予測装置を示すブロック構成図である。
【図4】学習部のモデルを示す図である。
【図5】車両に対する相対座標系を示している。
【図6】本発明の実施形態に係る動作予測方法の処理内容を示すフローチャートである。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0019】
図１は、本実施形態に係る動作予測装置１を示すブロック構成図である。図１に示すように、動作予測装置１は、撮像部２と、センサ部３と、運転支援部４と、制御部１０と、を備える。動作予測装置１は、車両１００に設けられる装置である。車両１００として、例えばフォークリフト、トーイングトラクター、無人搬送車などの産業車両が挙げられる。動作予測装置１は、車両１００の周辺に存在する対象物の動作を予測する装置である。また、動作予測装置１は、対象物と車両１００との接触の可能性が高いと予測した場合に、当該接触を回避するための適切な運転支援を行う装置である。なお、対象物として、本実施形態では歩行者Ｗが例示される（図２参照）。
【0020】
撮像部２は、車両１００に搭載された機器であり、車両１００の周囲の画像を撮像するための機器である。図２に示すように、撮像部２は、撮像範囲ＤＥ１内の様子を撮像する。撮像方向Ｄ１は、撮影の基軸が延びる方向である。撮像範囲ＤＥ１は、撮像方向Ｄ１の前側に該当する領域である。本実施形態では、撮像部２は、車両１００のフロント側に設けられており、車両１００が前進する際に、進行方向Ｄ２における前側を撮像することができる。また、本実施形態では、撮像部２は、車両１００の幅方向Ｄ３の中央に取り付けられている。なお、本実施形態では、車両１００が真っ直ぐに前進している状態では、撮像方向Ｄ１と車両１００の進行方向Ｄ２とは、互いに平行をなし、且つ同じ向きである。撮像部２は、取得した画像情報を制御部１０へ送信する。撮像部２の取付位置及び台数は、特に限定されない。また、撮像範囲ＤＥ１がどのような向きを向いているかも特に限定されない。なお、進行方向Ｄ２の前側とは、車両１００の前端１００ａよりも前方の領域全体のことを指しており、幅方向Ｄ３において車両１００の幅寸法と重なる領域だけに限定されない。車両１００は、リア側に撮像部２を備えていてもよい。この場合、車両１００が後進する場合に、車両１００の後側に存在する歩行者Ｗの動作を、前側と同趣旨の方法で予測することもできる。なお、車両１００の後進時には、「進行方向の前側」とは、車両１００の後側に該当する。
【0021】
図１に戻り、センサ部３は、撮像部２以外の機器であって、車両１００の周囲の状況を把握するための機器である。センサ部３として、例えばレーダやレーザセンサなどが採用される。
【0022】
運転支援部４は、車両１００の運転を支援するための各種機構である。運転支援部４は、制御部１０からの指令信号に基づいて、歩行者Ｗと車両１００との接触を回避するための運転支援を行う。運転支援部４は、急停止するためのブレーキ機構や、警告や警報などの音声や光などをを出力するためのブザーやモニタなどから構成される。
【0023】
制御部１０は、車両１００を統括的に管理するＥＣＵ[Electronic Control Unit]を備えている。ＥＣＵは、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。ＥＣＵでは、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。制御部１０は、検出部２０と、車両情報取得部３１と、予測部３２と、を備える。
【0024】
検出部２０は、撮像部２で取得された画像情報に基づいて、撮像部２の撮像方向Ｄ１の前側に存在する対象物を検出する部分である。検出部２０は、物体分類検出部２１と、位置情報検出部２２と、向き情報検出部２３と、学習部２４と、を備える。物体分類検出部２１は、画像中の物体の分類を検出する。本実施形態では、物体分類検出部２１は、画像中の物体が人間（歩行者Ｗ）に分類されることを検出する。位置情報検出部２２は、対象物の位置情報を検出する。位置情報は、車両１００に対する対象物の相対位置を示す情報である。
【0025】
向き情報検出部２３は、対象物の向き情報を検出する。向き情報は、車両１００に対する対象物の相対的な向きを示す情報である。図２に示すように、歩行者Ｗの向き情報は、上方から見て、撮像方向Ｄ１に対して、歩行者Ｗの頭部及び体がどの程度の角度傾いているかによって決定される。例えば、図２（ａ）の例では、歩行者Ｗは、撮像方向Ｄ１（進行方向Ｄ２）と略平行をなしており、且つ、同じ方向を向いている。図２（ｂ）の例では、歩行者Ｗは、撮像方向Ｄ１（進行方向Ｄ２）と垂直をなしており、且つ、車両１００の幅方向における内側へ向いている。
【0026】
学習部２４は、大量の画像情報から物体の分類情報、対象物の位置情報、及び対象物の向き情報を学習することで学習情報を作成する。更に、学習部２４は、画像情報を入力層に入力し、予め学習された学習情報に基づくニューラルネットワーク演算によって、物体の分類情報、位置情報、向き情報の算出を行う。物体分類検出部２１、位置情報検出部２２、及び向き情報検出部２３は、学習部２４での算出結果に基づいて、各種情報を検出する。なお、物体分類検出部２１、位置情報検出部２２、及び向き情報検出部２３は、学習部２４での演算結果に基づく検出に限定されず、それに加えて、またはそれに代えて、画像情報を用いた他の手法での検出結果、及びセンサ部３で得られた情報に基づく検出結果も考慮して、各種情報を検出してもよい。例えば、向き情報検出部２３は、画像情報中の対象物に対して、予めパターンを準備しておいたパターンマッチングによって対象物の向き情報を検出してもよい。
【0027】
図４は、学習部２４のモデルの例を示す図である。学習部２４はニューラルネットワーク演算部として構成されており、ニューラルネットワークのモデルとして、入力層４１と、中間層４２と、出力層４３と、を有する。入力層４１は、ニューラルネットワーク演算を行うためのパラメータを入力するための層である。中間層４２は、入力されたパラメータに対して所定の演算を行う層である。出力層４３は、評価値を出力する層である。入力層４１は、入力されるパラメータの数に応じたノードＮＤを有している。また、中間層４２は任意の数のノードＮＤを有し、出力層４３は、出力されるパラメータの数に応じたノードＮＤを有する。例えば、入力層４１は、ｍ個のパラメータを成分とする入力ベクトルｘ＝（ｘ１，ｘ２，…ｘｍ）をそのまま中間層４２に出力する。中間層４２は各層の重みと活性化関数により総入力を出力に変換してその出力を出力層４３に渡す。出力層４３も各層の重みと活性化関数により総入力を出力に変換する。この出力は、ｎ個のパラメータを成分とするニューラルネットワークの出力ベクトルｙ＝（ｙ１，ｙ２，…，ｙｎ）である。この出力ベクトルｙは評価値を示す。なお、学習時においては一つの入力ベクトルｘに対する出力ベクトルの正解をｄ＝（ｄ１，ｄ２，…，ｄｎ）とすると、その出力ベクトルｙが正解ｄに近くなるように各層の重みｗが更新される。これが学習という情報処理である。なお、各層４１～４３のノードＮＤの数は特に限定されるものではなく、各層４１～４３が入力されるパラメータの数に応じたノードＮＤを有してよい。
【0028】
本実施形態では、車両１００の運転時には、車両１００の前側に存在する歩行者Ｗの画像情報の特徴が入力層４１に入力される。そして、出力層４３は、少なくとも物体の分類情報、対象物の位置情報、及び対象物の向き情報を出力する。なお、学習時には、教師データ５０（図１参照）が学習部２４に入力される。教師データは、物体の分類情報、対象物の位置情報、及び対象物の向き情報の正解値が紐付けられた状態の画像情報を多数有している。
【0029】
なお、学習部２４が出力する歩行者Ｗの向き情報は、図３（ａ）に示すように、複数方向に離散化した値で示される。具体的に、歩行者の向き情報は、８方向で示される。すなわち、歩行者Ｗの向きは、８つの方向のいずれかに区分される。ただし、向き情報は、８方向で示されていてなくともよく、更に少ない方向で示されてもよく、更に多い方向で示されてもよく、３６０°の角度で示されてもよい。
【0030】
ここで、歩行者Ｗの向き情報は、図３（ｂ）に示すように、歩行者Ｗの頭部５１及び体５２全体の向きによって決められてよい。この場合、学習部２４は、歩行者Ｗの頭部５１及び体５２全体の画像によって、向き情報の学習を行う。あるいは、図３（ｃ）に示すように、歩行者Ｗの頭部５１だけの向きによって決められてよい。この場合、学習部２４は、歩行者Ｗの頭部５１の画像によって、向き情報の学習を行う。この場合、検出部２０は、歩行者Ｗの頭部５１を検出すると共に、向き情報として検出した頭部５１の頭部向き情報を検出する。また、後述の予測部３２は、検出部２０により検出された頭部向き情報の変化に基づいて、歩行者Ｗが進行方向Ｄ２の前側を横断する可能性を予測する。なお、頭部５１の向き情報を検出する事は必須ではなく、歩行者の横断の意図を把握できればよく、後述のように、歩行者の頭部５１以外の箇所に基づいて、向き情報を検出してもよい。
【0031】
図１に示すように、車両情報取得部３１は、車両１００に関する車両情報を取得する。車両情報には、車両１００の走行速度、及び走行の向きを示す情報が含まれる。また、車両情報には、車両１００の寸法情報なども含まれる。また、車両情報には、撮像部２が車両１００のどの位置に取り付けられているかの情報も含まれる。本実施形態では、図２に示すように、撮像部２が、車両１００の幅方向Ｄ３の中央に取り付けられている。これにより、予測部３２は、撮像部２の取り付け位置が車両１００の幅方向Ｄ３の中央である旨の情報を取得する。
【0032】
予測部３２は、検出部２０により検出された歩行者Ｗの向き情報の変化に基づいて、歩行者Ｗが撮像方向Ｄ１（進行方向Ｄ２）の前側を横断する可能性を予測する。予測部３２は、検出部２０によって検出された各情報に基づいて横断の可能性を予測する。予測部３２は、検出された歩行者Ｗが車両１００の前側であって、車両１００の幅方向Ｄ３において車両１００よりも外側に存在する場合に、横断の可能性を予測する。予測部３２は、図２に示すように、歩行者Ｗが幅方向Ｄ３における内側を向いた場合に、横断の可能性があると予測する。予測部３２は、図２（ａ）に示すように、歩行者Ｗが撮像方向Ｄ１（進行方向Ｄ２）を向いている状態から、図２（ｂ）の状態となったら、ただちに歩行者Ｗの横断の可能性があると予測する。
【0033】
予測部３２は、車両情報取得部３１で取得された車両１００の速度情報、及び検出部２０によって検出された歩行者Ｗの位置情報に基づいて、車両１００に対する歩行者Ｗの相対位置の時間変化量を演算することで、車両１００と歩行者Ｗとの接触の可能性を予測する。また、予測部３２は、車両１００に対する現在の歩行者Ｗの位置情報のばらつき、及び将来の歩行者Ｗの位置情報のばらつきから、車両１００と歩行者Ｗとの接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測する。
【0034】
図５を参照して、予測部３２の処理について詳細に説明する。図５は、車両１００に対する相対座標系を示している。図５では、車両１００の進行方向Ｄ２にＸ軸が設定され、幅方向Ｄ３にＹ軸が設定される。車両１００の幅方向における中央位置が「Ｙ＝０」の位置に設定され、車両１００の前端１００ａの位置が「Ｘ＝０」の位置に設定される。図５に示すように、歩行者Ｗの横断の可能性があると判定された時点での存在領域Ｅ１が座標中に設定される。存在領域Ｅ１は、検出部２０によって検出された位置情報に基づいて設定される。存在領域Ｅ１は、歩行者Ｗの位置情報のばらつきを示す領域である。存在領域Ｅ１の中心に近い箇所ほど存在確率が高く、外周側の箇所ほど存在確率が低い。予測部３２は、車両１００の速度情報、及び歩行者Ｗが幅方向Ｄ３の内側（Ｙ軸方向の負側）へ向かう移動速度に基づいて、将来の存在領域Ｅ１の位置を予測する。図５では、将来の存在領域Ｅ１の一例が「Ｅ１‘」で示されている。なお、歩行者Ｗの移動速度は、歩行者Ｗが進行方向Ｄ２に移動していたときの速度を用いてよい。
【0035】
予測部３２は、車両１００と歩行者Ｗの接近時、すなわち存在領域Ｅ１が車両１００の前端１００ａ（Ｘ＝０の位置）まで到達したときの、確率密度関数Ｇ１を算出し、車両幅で積分する。これにより、Ｘ＝０の位置におけるＹ軸方向の確率密度関数Ｇ１を取得することができる。確率密度関数Ｇ１は、Ｙ軸方向の各位置において歩行者Ｗが存在する確率を示すグラフである。このような確率密度関数Ｇ１を車両１００の車両幅に該当する領域で積分することで、歩行者Ｗと車両１００との接触確率として取り扱うことができる。予測部３２は、確率密度関数Ｇ１を算出し、車両１００の車両幅領域で確率密度関数Ｇ１を積分することで接触確率を求める。接触確率が閾値を上回った場合、確率密度関数Ｇ１のうち、確率が所定の閾値以上の判定領域ＤＥを決定する。当該判定領域ＤＥが車両１００と幅方向Ｄ３において重なる場合、予測部３２は、歩行者Ｗとの接触の可能性があると判断する。この場合、予測部３２は、運転支援部４へ指令信号を送信し、歩行者Ｗとの接触を回避するための各種運転支援を行う。なお、確率密度関数Ｇ１を、歩行者Ｗと車両１００との接触確率として取り扱ってもよい。予測部３２は、確率密度関数Ｇ１のうち、確率が所定の閾値以上の判定領域ＤＥを決定する。当該判定領域ＤＥが車両１００と幅方向Ｄ３において重なる場合、予測部３２は、歩行者Ｗとの接触の可能性があると判断する。
【0036】
なお、予測部３２は、予測した接触確率に対して、歩行者Ｗの向き情報の認識精度を乗じることで、接触確率を補正してよい。すなわち、予測部３２は、横断の可能性を判断する根拠となる向き情報の認識精度が低い場合は、接触確率が全体的に低くなるように補正し、認識精度が高い場合は、接触確率が全体的に高くなるように補正する。
【0037】
次に、図６を参照して、本実施形態に係る動作予測方法について説明する。図６は、本実施形態に係る動作予測方法の処理内容を示すフローチャートである。図６に示す処理は、制御部１０において所定のタイミングで繰り返し実行される。図６に示すように、検出部２０は、撮像部２によって撮像された画像情報を取得する（ステップＳ１０）。次に、検出部２０は、ステップＳ１０で取得した画像情報に基づいて、歩行者Ｗを検出する（ステップＳ２０）。このとき、検出部２０は、画像中の物体が歩行者Ｗに分類されるという情報と、歩行者Ｗの位置情報と、向き情報とを取得する。
【0038】
予測部３２は、ステップＳ２０で取得した情報に基づいて、歩行者Ｗが撮像部２及び車両１００の前側を横断する可能性があるか否かを判定する（ステップＳ３０）。ステップＳ３０において、横断の可能性がないと判定されたら、図６に示す処理が終了し、再びステップＳ１０から処理が繰り返される。一方、ステップＳ３０において、歩行者Ｗの横断の可能性があると判定された場合、予測部３２は、歩行者Ｗが車両１００と接触する可能性があるか否かを判定する（ステップＳ５０）。ステップＳ５０において歩行者Ｗと車両１００とが接触する可能性があると判定された場合、予測部３２は、接触を回避するための運転支援を行う。ステップＳ５０において、接触の可能性がないと判定されたら、図６に示す処理が終了し、再びステップＳ１０から処理が繰り返される。
【0039】
次に、本実施形態に係る動作予測装置１、動作予測方法、及び動作予測プログラムの作用・効果について説明する。
【0040】
動作予測装置１は、撮像部２で取得された画像情報に基づいて、車両１００の進行方向Ｄ２の前側に存在する対象物を検出する検出部２０を備える。従って、動作予測装置１は、検出部２０によって車両１００の進行方向Ｄ２の前側に存在する対象物がどのような状態であるかについての情報を取得できる。ここで、動作予測装置１は、検出部２０により検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測部３２を備える。すなわち、車両１００の進行方向Ｄ２の前側において、対象物が向きを変更した場合は、当該向きへ進行する可能性が高い。特に、対象物が車両１００の幅方向Ｄ３の内側へ向いた場合、対象物が車両１００の進行方向の前側を横断する可能性が高い。従って、予測部３２は、実際に対象物の横断が開始していなくても、対象物の向きが変わった時点で、速やかに横断の可能性を予測できる。以上により、対象物と車両１００との接触の可能性を早期に予測できる。
【0041】
検出部２０は、画像情報を入力層４１に入力し、予め学習された学習情報に基づくニューラルネットワーク演算によって、向き情報の算出を行ってよい。これにより、検出部２０は、パターンマッチングなどの処理を行わなくとも、入力された画像情報から速やかに対象物の向き情報を演算することができる。
【0042】
予測部３２は、車両の速度情報、及び検出部２０によって検出された対象物の位置情報に基づいて、車両１００に対する対象物の相対位置の時間変化量を演算することで、車両１００と対象物との接触の可能性を予測してよい。これにより、予測部３２は、対象物が実際に横断を行う前に、車両１００と対象物との接触の可能性を速やかに予測できる。
【0043】
予測部３２は、車両１００に対する現在の対象物の位置情報のばらつき、及び将来の対象物の位置情報のばらつきから、車両１００と対象物との接近時の確率密度関数を算出し、車両幅で積分することで、接触確率を予測してよい。これにより、予測部３２は、検出部２０による検出結果のばらつきを考慮して車両１００と対象物との接触の可能性を予測できる。
【0044】
予測部３２は、予測した接触確率に対して、対象物の向き情報の認識精度を乗じることで、接触確率を補正してよい。これにより、予測部３２は、対象物の向き情報の認識精度を考慮した状態での予測を行うことができる。
【0045】
検出部２０は、歩行者である対象物の頭部５１を検出すると共に、向き情報として検出した頭部５１の頭部向き情報を検出し、予測部３２は、検出部２０により検出された頭部向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測してよい。これにより、予測部３２は、体５２の向きが変化していない段階であっても、頭部向き情報の変化に基づいて速やかに予測を行うことができる。あるいは、検出部２０は、歩行者である対象物の肩部を検出すると共に、向き情報として検出した肩部の向き情報を検出し、予測部３２は、検出部２０により検出された肩部の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測してよい。更に、検出部２０は、頭部や肩部以外の向きを検出してもよい。また、検出部２０は、頭部、肩部、その他の箇所をいずれも検出して、総合的に体の向き情報を検出してもよい。要するに、対象物が移動方向を変更する際に動く傾向があるものを、向き情報として検出すればよい。
【0046】
動作予測方法は、対象物の動作を予測する動作予測方法であって、車両１００に搭載された撮像部２で画像情報を取得する画像情報取得ステップと、画像情報取得ステップで取得された画像情報に基づいて、車両１００の進行方向Ｄ２の前側に存在する対象物を検出する検出ステップと、検出ステップにより検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測ステップと、を備える。
【0047】
動作予測方法は、対象物の動作を予測する動作予測プログラムであって、車両１００に搭載された撮像部２で画像情報を取得する画像情報取得ステップと、画像情報取得ステップで取得された画像情報に基づいて、車両１００の進行方向Ｄ２の前側に存在する対象物を検出する検出ステップと、検出ステップにより検出された対象物の向き情報の変化に基づいて、対象物が進行方向の前側を横断する可能性を予測する予測ステップと、をコンピュータシステムに実行させる。
【0048】
これらの動作予測方法、及び動作予測プログラムによれば、上述の動作予測装置１と同様な効果を得ることができる。
【0049】
本発明は、上述の実施形態に限定されるものではない。
【0050】
上述の実施形態では、対象物として歩行者Ｗが例示されていた。ただし、対象物は車両周辺で移動する物体であれば特に限定されず、同じ倉庫内で作業を行う他の移動装置（例えば、無人搬送車）などであってもよい。無人搬送車の場合であれば、例えば方向指示器の点滅を検出して進行方向Ｄ２の前側を横断する可能性を予測してもよい。向き情報の変化は、方向指示器が点滅する前と、点滅している時との変化が相当する。
【0051】
上述の実施形態では、検出部は、ニューラルネットワーク演算によって対象物の向きを検出していた。しかし、検出部は、画像情報に基づいて対象物の向きを検出する方法であればニューラルネットワーク演算に限られず、パターンマッチングなど、他の方法を採用してもよい。
【符号の説明】
【0052】
１…動作予測装置、２…撮像部、２０…検出部、３２…予測部、Ｗ…歩行者（対象物）。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】