特開 2024-94875 物体検出方法、物体検出プログラムおよび車両制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094875

(43)【公開日】2024-07-10

(54)【発明の名称】物体検出方法、物体検出プログラムおよび車両制御装置

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240703BHJP

   G06T 7/70 20170101ALI20240703BHJP

【ＦＩ】

G08G1/16 C

G06T7/70 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022211749

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高木 智也

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB05

5H181BB13

5H181CC03

5H181CC04

5H181CC24

5H181FF27

5H181FF33

5H181LL01

5H181LL07

5H181LL08

5L096BA04

5L096CA04

5L096DA02

5L096FA67

5L096FA69

(57)【要約】

【課題】物体検出に関するコストを削減するとともに、物体検出に用いる端末装置のカメラと車両との位置関係を把握して、適切に物体検出を行うこと。
【解決手段】本願に係る物体検出方法は、車両に着脱可能に搭載され、カメラを有する端末装置が前記車両とカメラに映る物体との相対位置を検出する物体検出方法であって、カメラ映像から車両の基準位置を検出し、基準位置を用いて、カメラと車両との位置関係を算出し、位置関係に基づき、カメラ映像に映る物体と車両との相対位置を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両に着脱可能に搭載され、カメラを有する端末装置が前記車両と前記カメラに映る物体との相対位置を検出する物体検出方法であって、
カメラ映像から前記車両の基準位置を検出し、
前記基準位置を用いて、前記カメラと前記車両との位置関係を算出し、
前記位置関係に基づき、前記カメラ映像に映る物体と前記車両との相対位置を算出する、
物体検出方法。

【請求項2】

前記物体検出方法は、
前記カメラ映像に映る前記基準位置が変化した場合に、変化後の前記基準位置に基づき、前記相対位置を算出する、
請求項１に記載の物体検出方法。

【請求項3】

前記物体検出方法は、
前記車両の車体の一部を前記基準位置として検出する、
請求項１に記載の物体検出方法。

【請求項4】

前記物体検出方法は、
前記カメラ映像から前記基準位置を検出できなくなった場合に、前記車両の運転者に対してアラートを通知する、
請求項１に記載の物体検出方法。

【請求項5】

前記アラートは、
前記車両が走行中である場合、前記運転者に対し前記車両の停車を求める内容である、
請求項４に記載の物体検出方法。

【請求項6】

前記アラートは、
前記車両が停車中である場合、前記端末装置の取り付けの修正を促す内容である、
請求項４に記載の物体検出方法。

【請求項7】

前記物体検出方法は、
前記カメラ映像から前記基準位置を検出できなくなった場合に、前記端末装置が備える加速度センサの値の変化量が閾値未満である場合には、検出できなくなる前の前記基準位置の位置情報を保持し、前記保持した前記基準位置の位置情報に基づき前記相対位置を算出する、
請求項１または４に記載の物体検出方法。

【請求項8】

前記物体検出方法は、
前記車両に付されたマーカを前記基準位置として検出する、
請求項１または２に記載の物体検出方法。

【請求項9】

車両に着脱可能に搭載され、カメラを有する端末装置が前記車両と前記カメラに映る物体との相対位置を検出する手順をコンピュータに実行させる物体検出プログラムであって、
カメラ映像から前記車両の基準位置を検出し、
前記基準位置を用いて、前記カメラと前記車両との位置関係を算出し、
前記位置関係に基づき、前記カメラ映像に映る物体と前記車両との相対位置を算出する、
物体検出プログラム。

【請求項10】

端末装置を着脱可能なホルダを備える車両に設けられる車両制御装置であって、
前記ホルダに載置された前記端末装置が備えるカメラによって撮影されたカメラ映像から物体を検知して車両制御に用いるコントローラを備え、
前記コントローラは、
前記カメラ映像に映る車両の基準位置を検出し、
前記基準位置を用いて、前記カメラと前記車両との位置関係を算出し、
前記位置関係に基づき、前記カメラ映像に映る物体と前記車両との相対位置を算出し、
前記相対位置を用いて、前記物体との衝突を回避するよう車両を制御する、
車両制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検出方法、物体検出プログラムおよび車両制御装置に関する。

【背景技術】

【0002】

従来、車両に搭載されたカメラによって撮影されたカメラ画像に対する画像処理によって障害物を検出する物体検出装置がある。例えば、物体検出装置に関する技術として、カメラの軸のずれを検出し、検出結果に基づいてキャリブレーションを行う技術が開示されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／１２２５５２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、カメラの軸ずれを検出するにあたり、複数のカメラを必要とするため、コストが多くかかることになる。また、ユーザの所持するスマートフォンなどの携帯端末のカメラを用いて物体検出を行う場合、スマートフォンのサイズの違いやカメラ搭載位置の違い、画角の違いなどにより、車両とスマートフォンとの位置関係が正確に把握できず、適切に衝突回避などの機能が働かない問題が発生する。

【0005】

本発明は、上記に鑑みてなされたものであって、物体検出に関するコストを削減するとともに、物体検出に用いる端末装置のカメラと車両との位置関係を把握して、適切に物体検出を行うことができる物体検出方法、物体検出プログラムおよび車両制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る物体検出方法は、車両に着脱可能に搭載され、カメラを有する端末装置が前記車両と前記カメラに映る物体との相対位置を検出する物体検出方法であって、カメラ映像から前記車両の基準位置を検出し、前記基準位置を用いて、前記カメラと前記車両との位置関係を算出し、前記位置関係に基づき、前記カメラ映像に映る物体と前記車両との相対位置を算出する。

【発明の効果】

【0007】

本発明によれば、物体検出に関するコストを削減するとともに、物体検出に用いる端末装置のカメラと車両との位置関係を把握して、適切に物体検出を行うことができる。

【図面の簡単な説明】

【0008】

【図1】図１は、車両制御システムの概要を示す図である。

【図2】図２は、物体検出方法の概要を示す図である。

【図3】図３は、端末装置のブロック図である。

【図4】図４は、算出部による算出処理の概念図である。

【図5】図５は、光軸判定の模式図である。

【図6】図６は、車両制御装置のブロック図である。

【図7】図７は、端末装置が実行する処理手順を示すフローチャート（その１）である。

【図8】図８は、端末装置が実行する処理手順を示すフローチャート（その２）である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本願の開示する物体検出装置、車両制御システムおよび物体検出方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

【0010】

まず、図１および図２を用いて、実施形態に係る物体検出装置、車両制御システムおよび物体検出方法の概要について説明する。図１は、車両制御システムの概要を示す図である。図２は、物体検出方法の概要を示す図である。なお、かかる物体検出方法は、図１に示す端末装置１０によって実行され、端末装置１０は、実施形態に係る物体検出装置の一例に対応する。また、以下では、対象物が障害物である場合について説明する。

【0011】

図１に示すように、実施形態に係る車両制御システム１は、小型モビリティである車両Ｖに搭載される。なお、小型モビリティは、１人もしくは２人乗り用の車両である。例えば、車両Ｖは、座席に座って搭乗するタイプの車両である電動車椅子やシニアカー、立ち乗りタイプの車両（例えば、２輪が進行方向と交差する方向を回転軸として並んで設けられる並行２輪車や、安定性を持たせるために車輪数を追加した３輪、４輪車タイプの車両等）といった１人乗りの車両であるパーソナルモビリティである。また、車両Ｖには、例えば、後述するジョイスティックやアクセル・ステアリングといったように、ユーザが車両を操作するための入力手段として複数種類を備えた車両であれば、複数人が乗車可能な一般的な乗用車両等、さまざまなタイプの車両が含まれる。

【0012】

図１に示すように車両制御システム１は、車両Ｖの走行を制御する車両制御装置１００と、ユーザの所有するスマートフォンやタブレット端末などの端末装置１０とを有する。また、例えば、端末装置１０は、スマートフォンフォルダーなどの任意の固定具によって車両Ｖに設置される。なお、ここでの固定具は、ユーザが任意に設置したものであってもよく、車両Ｖに予め設置されたものであってもよい。

【0013】

ところで、小型モビリティに衝突回避や自動走行の機能を備える場合には、小型モビリティに障害物等を検出するための各種センサを搭載することが求められる。一方で、これらのセンサを搭載すると、小型モビリティのコスト増加を招く。

【0014】

また、近年では、スマートフォンや、タブレット端末に代表される端末装置には、カメラが搭載されるほか、高機能化によりＬｉｄａｒ（Light Detection and Ranging）などの測距センサを有するものがある。

【0015】

そこで、実施形態に係る車両制御システム１は、端末装置１０を用いて対象物となる障害物を検出することとした。一方、このような場合においては、端末装置１０の搭載位置や端末装置１０のカメラの違いによって、車両Ｖと端末装置１０との位置関係を正確に把握することが困難となる。例えば、車両Ｖと端末装置１０との位置関係が正確に把握できない場合には、障害物Ｏｂと車両Ｖとの位置関係を適切に算出することができない。

【0016】

そこで、実施形態に係る物体検出方法では、端末装置１０が備えるカメラによって撮影されたカメラ映像に映る車両Ｖの基準点を識別し、識別した基準点を基に端末装置１０のカメラと自車両である車両Ｖとの位置関係を算出することした。

【0017】

図２に示すように、まず、物体検出方法では、カメラ映像Ｇから車両Ｖの車体Ｖｐに付されたマーカＰを識別する(ステップＳ１）。図２に示す例では、マーカＰがＱＲコード（登録商標）である場合を示す。なお、マーカＰは、ＱＲコードに限定されるものではなく、ハンドルなど車体Ｖｐの一部であってもよく、車体Ｖｐに張り付けられた十字などのマークなどであってもよい。なお、ハンドルなど車体Ｖｐの一部をマーカＰとする場合には、ＱＲコードを車体Ｖｐに付する必要がなくなるので、意匠性向上を図ることができる。

【0018】

つづいて、物体検出方法は、マーカＰを基準点に設定したうえで、車体Ｖｐと端末装置１０のカメラとの位置関係を算出する（ステップＳ２）。例えば、物体検出方法では、マーカＰであるＱＲコードを識別することにより、車体ＶｐにおけるマーカＰの位置関係に関する情報をＱＲコードから取得する。なお、このように、マーカＰにＱＲコードを用いる場合、ＱＲコードに各種情報を掲載することができる。例えば、ＱＲコード上に車両Ｖに関する各種情報を掲載することで、端末装置１０は車両制御装置１００との通信を行わずとも物体検出に関する各種情報を取得することができるので、端末装置１０と車両制御装置１００との接続処理などといったセットアップを簡略化することができる。

【0019】

つづいて、物体検出方法では、カメラ映像Ｇに映るマーカＰの映像内における座標や、大きさ等に基づき、マーカＰと端末装置１０のカメラとの位置関係を推定する。そして、物体検出方法では、推定したマーカＰと端末装置１０のカメラとの位置関係に基づき、車体Ｖｐと端末装置１０のカメラとの位置関係を推定する。

【0020】

つまり、物体検出方法では、基準点であるマーカＰに基づき、車体Ｖｐと端末装置１０のカメラとの位置関係に関するキャリブレーションを行う。これにより、物体検出方法では、カメラ映像の画角と車両Ｖとの関係性を適切に算出することができる。

【0021】

そして、物体検出方法では、算出したカメラと車両Ｖとの位置関係に基づき、カメラ映像Ｇに映る障害物Ｏｂと車体Ｖｐとの相対位置を算出する（ステップＳ３）。例えば、物体検出方法では、各種画像処理によってカメラ映像Ｇから障害物Ｏｂを検出し、算出したカメラと車両Ｖとの位置関係に基づき、車両Ｖと障害物Ｏｂとの相対位置を算出する。

【0022】

このように、実施形態に係る物体検出方法では、車両Ｖの車体Ｖｐの一部を基準点として識別し、識別した基準点に基づき、車体Ｖｐとカメラとの位置関係を算出する。そして、実施形態に係る物体検出方法では、カメラ映像Ｇから障害物Ｏｂを検出するとともに、算出した車体Ｖｐとカメラとの位置関係に基づいて、障害物Ｏｂと車体Ｖｐとの相対位置を算出する。

【0023】

したがって、実施形態に係る物体検出方法では、車両を運転・操作するユーザが所有するスマートフォンなどのカメラを用いて、障害物を精度よく検出することができるので、障害物検出のための専用のセンサが不要となり、障害物検出に関するコストを削減することができる。

【0024】

また、実施形態に係る物体検出方法では、カメラ映像から車両Ｖの基準位置を検出し、基準位置を用いて、カメラと車両との位置関係を算出する。そのため、実施形態に係る物体検出方法では、物体検出に用いる端末装置のカメラと車両との位置関係を把握して、適切に物体検出を行うことができる。

【0025】

次に、図３を用いて、実施形態に係る物体検出装置である端末装置１０の構成例について説明する。図３は、端末装置１０のブロック図である。図３に示すように、端末装置１０は、通信部１１と、表示部１２と、操作部１３と、スピーカ１４と、カメラ１５と、センサ部２０と、制御部３０と、記憶部４０とを備える。

【0026】

通信部１１は、たとえば、ネットワークアダプタ等によって実現される。通信部１１は、上述した車両制御装置１００と有線または無線で接続される。

【0027】

表示部１２は、例えば、液晶ディスプレイなどの各種表示装置によって実現される。表示部１２は、制御部３０から入力される各種画像を表示する。操作部１３は、ユーザによる各種操作入力を受け付ける入力ディスプレイによって実現される。なお、表示部１２がタッチパネルディスプレイで構成される場合、表示部１２に操作部１３の機能を含むようにしてもよい。

【0028】

スピーカ１４は、音声出力装置によって実現される。スピーカ１４は、制御部３０から入力される音声信号を出力する。カメラ１５は、レンズや各種撮像素子によって実現される。カメラ１５は、カメラ映像を撮影し、制御部３０へ渡す。

【0029】

なお、カメラ１５は、複数であってもよく、端末装置１０の内側に設置されるインカメラと、端末装置１０の外側に設置されるアウトカメラとを含むようにしてもよい。

【0030】

センサ部２０は、各種センサによって構成され、各種検出結果を制御部３０へ渡す。図３に示す例において、センサ部２０は、加速度センサ２１と、ジャイロセンサ２２と、Ｌｉｄａｒ２３を備える場合を示す。

【0031】

加速度センサ２１は、端末装置１０に生じる加速度を検出するセンサである。ジャイロセンサ２２は、端末装置１０の回転角度速度を検出するセンサである。また、Ｌｉｄａｒ
２３は、周囲を３Ｄスキャンするセンサである。

【0032】

制御部３０は、所謂コントローラで、取得部３１と、識別部３２と、算出部３３と、検出部３４と、変換部３５とを備える。制御部３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。制御部３０は、複数のコンピュータを含んで、各コンピュータが協働して処理を実行する（処理を分担する）ように構成してもよい。

【0033】

コンピュータのＣＰＵは、例えば、ＲＯＭ等の記憶デバイスに記憶されたプログラムを読み出して実行することによって、制御部３０の取得部３１、識別部３２、算出部３３、検出部３４および変換部３５として機能する。制御部３０の一部、または全部は、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。

【0034】

取得部３１は、各種情報を取得する。取得部３１は、カメラ１５によって撮影されるカメラ映像Ｇを取得する。また、取得部３１は、センサ部２０から入力される各種検出結果を取得する。

【0035】

また、取得部３１は、通信部１１を介し、車両制御装置１００から車両Ｖに関する車両情報を取得する。例えば、ここでの車両情報には、車両Ｖの形状、車両Ｖの重量、停止距離に関する情報などが含まれる。なお、上述のように、マーカＰをＱＲコードとする場合には、取得部３１は、ＱＲコードの読み取りによって車両情報を取得するようにしてもよい。

【0036】

識別部３２は、取得部３１によって取得されたカメラ映像Ｇから車体Ｖｐの一部である基準点を識別する。例えば、識別部３２は、各種画像処理によってカメラ映像ＧからＱＲコードであるマーカＰを基準点として識別する。そして、識別部３２は、基準点であるマーカＰの位置、角度、大きさなどに関する情報を算出部３３へ渡す。なお、識別部３２は、これらの識別処理を所定の周期で繰り返し実行する。

【0037】

算出部３３は、識別部３２によって識別された基準点に基づいて、端末装置１０のカメラ１５と自車両との位置関係を算出する。具体的には、算出部３３は、識別部３２からマーカＰに関する情報を取得し、さらに、取得部３１から車両Ｖの形状に関する車両情報を取得する。

【0038】

算出部３３は、これらの情報に基づき、カメラ１５と、マーカＰとの位置関係を算出し、算出したカメラ１５と、マーカＰとの位置関係を利用して、端末装置１０のカメラ１５と自車両である車両Ｖとの位置関係を算出する。図４は、算出部３３による算出処理の概念図である。

【0039】

図４に示すように、例えば、識別部３２は、端末装置１０のカメラ１５によって撮影されたカメラ映像ＧからマーカＰを識別する。そして、算出部３３は、識別部３２による識別結果に基づき、カメラ１５と、マーカＰとの位置関係を算出する。

【0040】

また、算出部３３は、算出したカメラ１５と、マーカＰとの位置関係と、車両Ｖの形状に関する車両情報に基づき、カメラ１５と、車両Ｖとの位置関係を算出する。なお、車両情報は、例えば、車両Ｖの形状、車両ＶにおけるマーカＰの３次元位置を示す３Ｄデータであってもよく、各アングルから見えるマーカＰの見え方に関する標本であってもよい。そして、算出部３３は、算出したカメラ１５と、マーカＰとの位置関係に関する情報を検出部３４へ渡す。

【0041】

なお、識別部３２および算出部３３による処理は、所定周期で繰り返し実行される。これにより、例えば、振動等によってカメラの搭載位置に変化があった場合に、カメラ１５と、車両Ｖとの位置関係に関し、適切にキャリブレーションを行うことができる。

【0042】

また、たとえば、振動や衝撃等によって、端末装置１０のカメラ１５の光軸が変化した場合、基準点であるマーカＰがカメラ映像Ｇから消失する場合がある。一方で、たとえば、マーカＰをかごの内部に設置するような場合には、かごに入れた荷物によってマーカＰが遮蔽される場合もある。つまり、カメラ１５の光軸が変化していない状況でも、基準点であるマーカＰがカメラ映像Ｇから消失する場合がある。

【0043】

そこで、算出部３３は、基準点であるマーカＰがカメラ映像Ｇから消失した場合、カメラ１５の光軸の変化判定を行う。図５は、光軸判定の模式図である。例えば、図５に示すように、荷物Ｌによって基準点であるマーカＰが遮蔽され、基準点であるマーカＰがカメラ映像Ｇから消失したとする。

【0044】

この場合、算出部３３は、センサ部２０が有する加速度センサ２１の値に基づいて、光軸の変化判定を行う。具体的には、たとえば、基準点の消失前後において、ユーザが端末装置１０を動かした場合には、加速度センサ２１の値が大きく変化する。これに対し、図５に示したように、荷物Ｌによる遮蔽であれば、加速度センサ２１の値は変化しない。

【0045】

そのため、算出部３３は、基準点の消失前後における加速度センサ２１の値の変化量が所定値未満である場合には、光軸が変化しておらず、荷物Ｌによる遮蔽であると判断し、基準点が消失する前のカメラ１５と、車両Ｖとの位置関係に関する情報を保持し、保持した位置関係に関する情報に基づき障害物Ｏｂを検出する。

【0046】

つまり、端末装置１０は、カメラ１５の光軸が変化していないと判定した場合には、基準点であるマーカＰがカメラ映像Ｇから消失した場合であっても、消失前の位置関係に関する情報に基づいて、障害物Ｏｂを検出することができる。

【0047】

また、算出部３３は、基準点の消失前後における加速度センサ２１の値の変化量が所定値以上の場合は、光軸が変化したことにより、基準点が消失したと判断する。算出部３３は、光軸の変化判定の結果、基準点の消失が光軸の変化によるものと判定した場合には、表示部１２やスピーカ１４を介して、ユーザに対し音や画像によるアラートを出力する。例えば、算出部３３は、車両Ｖが走行中である場合には、車両Ｖの停車を促すアラートを出力し、車両Ｖが停車中である場合には、端末装置１０の取り付け角度の修正を促すアラートを出力する。

【0048】

これにより、端末装置１０では、カメラ１５と車両Ｖとの位置関係を適切に把握した状態において、カメラ映像Ｇから障害物Ｏｂと車両Ｖとの位置関係を算出することができる。なお、算出部３３は、車両制御装置１００に対し車両Ｖの停車を要求するようにしてもよく、車両制御装置１００に対し衝突回避や自動走行に関する機能の停止を要求するようにしてもよい。

【0049】

つまり、車両Ｖと障害物Ｏｂとの位置関係を適切に算出することができない場合には、支障をきたすおそれがある衝突回避や自動走行に関する機能を停止することによって、安全性能の向上を図ることができる。

【0050】

図３の説明に戻り、検出部３４について説明する。検出部３４は、各種画像処理によって、カメラ映像Ｇから対象物である障害物Ｏｂを検出する。検出部３４は、障害物Ｏｂを検出した場合、算出部３３によって算出されたカメラ１５と車両Ｖとの位置関係に基づき、車両Ｖと障害物Ｏｂとの相対位置を算出する。

【0051】

つまり、検出部３４は、基準点であるマーカＰを基準として、車両Ｖとカメラ映像Ｇに映る障害物Ｏｂと自車両である車両Ｖとの相対位置を算出する。そして、検出部３４は、検出した障害物Ｏｂに関する各種情報を車両制御装置１００へ出力する。なお、検出部３４は、Ｌｉｄａｒ２３の検出結果に基づいて、障害物Ｏｂを検出することにしてもよい。

【0052】

変換部３５は、算出部３３によって算出されたカメラ１５と車両Ｖとの位置関係、加速度センサ２１あるいはジャイロセンサ２２の検出結果に基づき、カメラ映像Ｇに映る路面を車両座標へ変換する。なお、車両座標とは、車両Ｖにおいて各種制御（衝突回避など）を行う際に用いる座標系である。

【0053】

例えば、変換部３５は、算出部３３によって算出されたカメラ１５の光軸の向きと、加速度センサ２１あるいはジャイロセンサ２２の検出結果とに基づいて、車両Ｖが走行する路面の傾きを求め、当該傾きを考慮した車両座標へ変換する。そして、変換部３５は、変換後の車両座標に関する情報を車両制御装置１００へ出力する。

【0054】

次に、図６を用いて、車両制御装置１００の構成例について説明する。図６は、車両制御装置１００のブロック図である。図６に示すように、車両制御装置１００は、通信部１１０と、制御部１３０と、記憶部１４０とを備える。

【0055】

通信部１１０は、たとえば、ネットワークアダプタ等によって実現される。通信部１１０は、上述した車両制御装置１００と有線または無線で接続される。

【0056】

制御部１３０は、所謂コントローラで、決定部１３１と、走行制御部１３２と、警告部１３３とを備える。制御部１３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、入出力ポートなどを有するコンピュータや各種の回路を含む。制御部１３０は、複数のコンピュータを含んで、各コンピュータが協働して処理を実行する（処理を分担する）ように構成してもよい。

【0057】

コンピュータのＣＰＵは、例えば、ＲＯＭ等の記憶デバイスに記憶されたプログラムを読み出して実行することによって、制御部１３０の決定部１３１、走行制御部１３２および警告部１３３として機能する。この場合、プログラムは外部から通信回線などを通して記憶デバイスに記憶されていてもよい。制御部１３０の一部、または全部は、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。

【0058】

決定部１３１は、車両Ｖの自動走行に関する各種制御内容を決定する。例えば、決定部１３１は、車両Ｖによる障害物Ｏｂとの衝突回避に関し、端末装置１０から入力される障害物Ｏｂに関する情報に基づいて、衝突回避の要否や、緊急停車の要否、衝突回避に関するルート等を決定する。

【0059】

この際、決定部１３１は、例えば、車両Ｖの形状、重量、停止距離等に関する各種情報を用いて、衝突回避の判定を行う。なお、衝突回避の判定については、端末装置１０側で行うようにしてもよい。この場合、例えば、端末装置１０でマーカであるＱＲコードを読み取った場合に、車両Ｖの形状、重量、停止距離等に関する各種情報を端末装置１０へ提供するようにしてもよい。また、車両制御装置１００からＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信経由で車両Ｖの形状、重量、停止距離等に関する各種情報を端末装置１０へ提供するようにしてもよい。

【0060】

その他、決定部１３１は、車両Ｖの追従走行に関する制御内容を決定する場合には、先方車両に追従するように、走行速度や舵角等といった制御内容を決定する。

【0061】

走行制御部１３２は、決定部１３１によって決定された制御内容に基づいて、車両Ｖの走行を制御する。例えば、走行制御部１３２は、決定部１３１によって決定された制御内容に基づいて、車両Ｖのアクセル、ブレーキ、舵角を制御することで、車両Ｖの走行をアシストする。

【0062】

警告部１３３は、端末装置１０の変換部３５から入力される車両座標に関する情報に基づき、車両Ｖが走行中の路面が走行可能な傾斜であるか否かを判定し、判定結果に応じてユーザに対し警告を行う。

【0063】

例えば、警告部１３３は、車両座標に基づき、走行中の路面の傾斜によって車両Ｖが転倒する恐れがあるか否かを判定し、走行中の路面で車両Ｖが転倒する恐れがある場合には、警告を行う。

【0064】

例えば、警告部１３３による警告は、車両Ｖの停車させたうえで、端末装置１０あるいは車両Ｖのクラクション（不図示）から警告音を発生させることで行われる。これにより、車両Ｖの転倒を回避することができる。

【0065】

また、実施形態に係る車両制御システム１では、端末装置１０が備える加速度センサ２１を用いて、路面の傾斜を判定することができるので、加速度センサ２１が搭載されていない車両Ｖであっても傾斜警告を行うことができる。つまり、加速度センサ２１の分だけ、車両Ｖのコスト低減を図ることができる。

【0066】

次に、図７および図８を用いて、実施形態に係る端末装置１０が実行する処理手順について説明する。図７および図８は、端末装置１０が実行する処理手順を示すフローチャートである。

【0067】

まず、図７を用いて、端末装置１０による初期設定に関する処理手順について説明する。なお、以下に示す処理手順は、制御部３０によって実行される。図７に示すように、まず、端末装置１０は、ユーザが端末装置１０を取り付け後にカメラ映像Ｇの取得を開始する（ステップＳ１０１）。

【0068】

つづいて、端末装置１０は、カメラ映像Ｇから基準点を識別可能か否かを判定する（ステップＳ１０２）、端末装置１０は、基準点を識別可能であると判定した場合（ステップＳ１０２；Ｙｅｓ）、基準点に基づき、カメラ１５と自車両である車両Ｖとの位置関係を算出する（ステップＳ１０３）。

【0069】

そして、端末装置１０は、対象物である障害物Ｏｂの検出処理を開始し（ステップＳ１０４）、処理を終了する。また、端末装置１０は、ステップＳ１０２の判定処理において、基準点を識別できなかった場合（ステップＳ１０２；Ｎｏ）、アラートを通知し（ステップＳ１０５）、処理を終了する。なお、ここでのアラートは、ユーザに対し端末装置１０の取り付けの修正を促すものである。

【0070】

次に、図８を用いて、車両Ｖの走行時における処理手順について説明する。なお、以下に示す処理手順は、車両Ｖの走行時において、端末装置１０の制御部３０によって繰り返し実行される。図８に示すように、端末装置１０は、カメラ映像Ｇに対し基準点の識別処理を行う（ステップＳ１１１）。

【0071】

つづいて、端末装置１０は、基準点を識別できたか否かを判定し（ステップＳ１１２）、基準点を識別できた場合（ステップＳ１１２；Ｙｅｓ）、識別した基準点に基づいて、カメラ１５と自車両である車両Ｖとの位置関係を更新する（ステップＳ１１３）。

【0072】

そして、端末装置１０は、対象物である障害物Ｏｂの検出処理を行い（ステップＳ１１４）、処理を終了する。また、端末装置１０は、ステップＳ１１２の判定処理において、基準点を識別できなかった場合（ステップＳ１１２；Ｎｏ）、加速度センサ２１の測定結果に基づくカメラ１５の光軸判定を行う（ステップＳ１１５）。端末装置１０は、光軸判定の結果、カメラ１５の光軸が変化したと判定した場合には（ステップＳ１１６；Ｙｅｓ）、車両Ｖが走行中かどうかを更に判定する（ステップＳ１１７）。

【0073】

端末装置１０は、車両Ｖが走行中の場合（ステップＳ１１７；Ｙｅｓ）、ユーザに停車を要求するアラートを通知し（ステップＳ１１８）、停車中の場合（ステップＳ１１７；Ｎｏ）、端末装置１０の取り付けの修正を促すアラートを通知する（ステップＳ１１９）。

【0074】

また、端末装置１０は、光軸判定の結果、カメラ１５の光軸が変化していないと判定した場合には（ステップＳ１１６；Ｎｏ）、基準点が消失する前のカメラ１５と車両Ｖとの位置関係に関する情報を保持し（ステップＳ１２０）、保持した位置関係に関する情報に基づき障害物Ｏｂを検出する（ステップＳ１１４）。

【0075】

ところで、上述した実施形態では、物体検出装置が端末装置１０である場合について説明したが、物体検出装置の機能の一部またはすべてを車両制御装置１００あるいは車両Ｖの搭載される他のＣＰＵで構成することにしてもよい。

【0076】

また、上述した実施形態では、検出対象となる物体が障害物である場合について説明したが、これに限定されるものではない。例えば、車両Ｖの自動追従走行を行う場合において検出対象となる物体は先行車両であってもよく、さらには、路面標示、あるいは、信号機などであってもよい。すなわち、制御対象に応じて、検出対象となる物体を任意に変更可能である。

【0077】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0078】

１ 車両制御システム
１０ 端末装置（物体検出装置の一例）
１１ 通信部
１２ 表示部
１３ 操作部
１４ スピーカ
１５ カメラ
２０ センサ部
２１ 加速度センサ
２２ ジャイロセンサ
３０ 制御部
３１ 取得部
３２ 識別部
３３ 算出部
３４ 検出部
３５ 変換部
４０ 記憶部
１００ 車両制御装置
１１０ 通信部
１３０ 制御部
１３１ 決定部
１３２ 走行制御部
１３３ 警告部
Ｇ カメラ映像
Ｏｂ 障害物（物体の一例）
Ｐ マーカ
Ｖ 車両
Ｖｐ 車体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】