特許 6892258 運転状態制御装置および運転状態制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6892258

(24)【登録日】2021年5月31日

(45)【発行日】2021年6月23日

(54)【発明の名称】運転状態制御装置および運転状態制御方法

(51)【国際特許分類】

   G08G 1/09 20060101AFI20210614BHJP

   G01C 21/34 20060101ALI20210614BHJP

【ＦＩ】

   G08G1/09 V

   G01C21/34

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2016-243565(P2016-243565)

(22)【出願日】2016年12月15日

(65)【公開番号】特開2018-97737(P2018-97737A)

(43)【公開日】2018年6月21日

【審査請求日】2019年10月9日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】明井 正治

【審査官】 秋山 誠

(56)【参考文献】

【文献】 国際公開第２０１６／１２１１７４（ＷＯ，Ａ１）

【文献】 特開２０１５−１９１２６４（ＪＰ，Ａ）

【文献】 特開２０１０−１１１２９２（ＪＰ，Ａ）

【文献】 特開２０１６−０６２４１４（ＪＰ，Ａ）

【文献】 特開２０１５−１２０５７３（ＪＰ，Ａ）

【文献】 特開２０１３−２５２８６３（ＪＰ，Ａ）

【文献】 特開２００８−２４３０１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０９

Ｇ０１Ｃ ２１／３４

(57)【特許請求の範囲】

【請求項1】

車両の外部を視野に含むカメラで取得された画像データを処理して、前記車両の搭乗者の前記視野における画像情報を取得する画像処理部と、
前記画像情報を用いた相関処理により、前記搭乗者の属性情報を生成する相関処理部と、
前記属性情報に基づいて、前記搭乗者のための運転モードを特定するモード処理部とを具備し、
前記モード処理部は、
前記属性情報に基づいて、通常の第１運転モードと、前記第１運転モードよりも前記搭乗者への負担の少ない第２運転モードとをユーザインタフェースに提示し、
前記ユーザインタフェースにおいてユーザにより指定された運転モードを、前記搭乗者のための運転モードとして特定する、運転状態制御装置。

【請求項2】

前記画像処理部は、車内を視野に含む画像センサで取得された画像データを処理して前記車内の画像情報を取得し、
前記相関処理部は、前記搭乗者の画像情報と前記車内の画像情報との相関処理により前記搭乗者の属性情報を生成する、請求項１に記載の運転状態制御装置。

【請求項3】

さらに、前記車両に装荷されたビーコン受信機で受信されたビーコン信号を処理してビーコン情報を取得するビーコン受信処理部を具備し、
前記相関処理部は、前記ビーコン情報を用いた前記相関処理により前記搭乗者の属性情報を生成する、請求項２に記載の運転状態制御装置。

【請求項4】

さらに、前記車両に装荷されたマイクロフォンから出力される音声信号を処理して音声情報を取得する音声処理部を具備し、
前記相関処理部は、前記音声情報を用いた前記相関処理により前記搭乗者の属性情報を生成する、請求項２に記載の運転状態制御装置。

【請求項5】

さらに、前記車両のドアロックの状態を検知するロックセンサからの検知情報を処理するドアロック解除検知処理部を具備し、
前記相関処理部は、前記ロックセンサによりドアロック解除が検知されると、前記相関処理を開始する、請求項２に記載の運転状態制御装置。

【請求項6】

さらに、前記車両のドアの開閉状態を検知するドアセンサからの検知情報を処理するドア開閉感知処理部を具備し、
前記相関処理部は、前記ドアセンサにより検知された前記ドアの開状態と閉状態の時系列の変化に基づいて、当該ドアからの搭乗者の属性情報を生成する、請求項２に記載の運転状態制御装置。

【請求項7】

前記相関処理部は、前記車両のシート上の圧力を検知する感圧センサの感応したシートの搭乗者の属性情報を生成する、請求項２に記載の運転状態制御装置。

【請求項8】

前記第２運転モードは、前記通常よりも小さな加減速率となる運転モード、あるいは、横向き加速度を抑えた車線変更制御とする運転モードである、請求項１に記載の運転状態制御装置。

【請求項9】

前記モード処理部は、前記特定された運転モードを前記車両の自動運転システムに通知する、請求項８に記載の運転状態制御装置。

【請求項10】

前記モード処理部は、前記特定された運転モードを反映する車両制御パラメータの組み合わせを前記車両の自動運転システムに通知する、請求項８に記載の運転状態制御装置。

【請求項11】

前記車両制御パラメータは、加減速範囲、速度範囲、および移動経路の少なくともいずれかである、請求項１０に記載の運転状態制御装置。

【請求項12】

前記相関処理部は、前記搭乗者の歩行補助具の使用の有無に関する属性情報を生成する、請求項１に記載の運転状態制御装置。

【請求項13】

前記画像処理部は、前記車内の画像情報に基づき取得したチャイルドシートの有無に関する情報を前記相関処理部に渡し、
前記相関処理部は、前記チャイルドシートの有無に関する情報を前記相関処理に反映させて前記搭乗者の属性情報を生成する、請求項２に記載の運転状態制御装置。

【請求項14】

車両に搭載されるコンピュータに適用可能な運転状態制御方法において、
前記コンピュータが、車両の外部を視野に含むカメラで取得された画像データを処理して、前記車両の搭乗者の前記視野における画像情報を取得することと、
前記コンピュータが、前記画像情報を用いた相関処理により、前記搭乗者の属性情報を生成することと、
前記コンピュータが、前記属性情報に基づいて、前記搭乗者のための運転モードを特定することと、
前記コンピュータが、前記属性情報に基づいて、通常の第１運転モードと、前記第１運転モードよりも前記搭乗者への負担の少ない第２運転モードとをユーザインタフェースに提示することと、
前記コンピュータが、前記ユーザインタフェースにおいてユーザにより指定された運転モードを、前記搭乗者のための運転モードとして特定することとを具備する、運転状態制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、運転状態制御装置および運転状態制御方法に関する。

【背景技術】

【0002】

例えば非特許文献１、２に開示されるように、カメラで撮影された画像内の人物を検出する技術が知られている。特許文献１には、車椅子に乗った人物を検出する技術も開示されている。近年ではこのように画像処理技術の発達が著しく、人物はもちろん、その状態や属性、所有物などの情報を画像から取得できるようになってきている。

【0003】

この種の技術を車両の安全運転に応用することが期待されており、例えば特許文献２〜４に示されるような技術や、非特許文献３のような基準が開示されている。非特許文献４には車載カメラを利用して夜間の運転をサポートする技術も紹介されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第７０４３０８４号明細書

【特許文献2】国際公開第２０１６／１２１１７４号パンフレット

【特許文献3】特開２０１５−１３３０５０号公報

【特許文献4】国際公開第２０１４／０５４１５３号パンフレット

【非特許文献】

【0005】

【非特許文献1】渡辺 友樹 著、「新しい特徴量を用いた高精度人物検出技術」、東芝レビュー Ｖｏｌ．６５ Ｎｏ．４ （２０１０）、ｐ７２〜７３

【非特許文献2】ファン クォク ヴェト 著、「カメラの視界から一時的に隠れても追跡可能な人物追跡技術」、東芝レビュー Ｖｏｌ．７０ Ｎｏ．６ （２０１５）、ｐ５６〜５７

【非特許文献3】国土交通省、自動車局 報道発表資料“バックミラー等に代わる「カメラモニタリングシステム」の基準を整備します。” ，[online]，［平成28年11月30日検索］,インターネット，<URL:http://www.mlit.go.jp/report/press/jidosha07_hh_000211.html>

【非特許文献4】“トヨタ | 安全技術 | ナイトビュー”，[online]，［平成28年11月30日検索］,インターネット，<URL:http://www.toyota.co.jp/jpn/tech/safety/technology/technology_file/active/night_view.html>

【非特許文献5】“通信自由化以降の通信政策の評価とＩＣＴ社会の未来像等に関する調査研究”，[online]，［平成28年11月30日検索］,インターネット，<URL:http://www.soumu.go.jp/johotsusintokei/linkdata/h27_01_houkoku.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記したように近年、車両の運転を画像認識技術によりサポートする技術が進展してきているが、いずれも安全運転の支援を第一義とするものであって搭乗者の快適性やホスピタリティを向上させることに注目した技術は少ない。例えば、画像認識により得られた知見をいわゆる“自動運転”の分野にまで適用可能とする技術は、発展の途上にある。

【0007】

自動運転技術、あるいは自動運転支援技術を応用した車両を、近い将来、市場に提供する計画がある。またそれに伴って、自動運転システムを搭載したカーシェアリングやレンタカーなどのサービスも開始されるであろう。しかしながらこの種のサービスの提供にあたり、搭乗者（運転者を含んでもよい）の属性を運転に反映させることのできる技術は知られていない。

【0008】

例えばカーシェアリング／レンタカーでは、運転者の望む車両を固定的に継続利用することはできない。良くても車種を指定できるくらいで、それも確実ではない。専用車両を使えないこのような環境下で例えばルート選定、加減速に関する注意喚起、あるいは車線変更といった自動運転機能を利用するには、安全面だけでなく、搭乗者への配慮がより重要な意味を持ってくる。さらに、非特許文献５に記載されるような、歩行補助具として近い将来現れるであろう、運動能力をアシストできるアクチュエータ技術（パワードスーツなど）を搭乗者が用いているケースにも対応できるようにする必要がある。

【0009】

この発明は上記事情に鑑みてなされたものであり、その目的は、搭乗者へのサービス性を高めた運転状態制御装置および運転状態制御方法を提供することにある。

【課題を解決するための手段】

【0010】

実施形態によれば、運転状態制御装置は、画像処理部と、相関処理部と、モード処理部とを備える。画像処理部は、車両の外部を視野に含むカメラで取得された画像データを処理して、車両の搭乗者の視野における画像情報を取得する。相関処理部は、画像情報を用いた相関処理により、搭乗者の属性情報を生成する。モード処理部は、属性情報に基づいて、搭乗者のための運転モードを特定する。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る運転状態制御装置の一例を示す機能ブロック図である。

【図2】図２は、車外カメラ３１、車内カメラ３２の設置例を示す図である。

【図3】図３は、車外カメラ３１の設置例を示す図である。

【図4】図４は、ＥＣＵ２０における処理手順の一例を示すフローチャートである。

【図5】図５は、ＥＣＵ２０における処理手順の一例を示すフローチャートである。

【図6】図６は、図１の各センサの検知結果と搭乗者の属性の推定結果との相関を時系列で示す図である。

【図7】図７は、表示器４０に表示されるプロンプトメッセージの一例を示す図である。

【図8】図８は、表示器４０に表示されるプロンプトメッセージの他の例を示す図である。

【発明を実施するための形態】

【0012】

図１は、実施形態に係る運転状態制御装置の一例を示す機能ブロック図である。以下、図1において符号２０を付したＥＣＵ（electronic control unit）を、運転状態制御装置の一例として説明する。

【0013】

ＥＣＵ２０は、車両の自動運転システム１０と、この車両に備えられたセンサシステム３０とに接続される。他にも車両は、表示器４０、スピーカ５０、および照明７０を備える。さらに、車両は、後部ドアのロック／アンロックを制御する後部ドアロック制御部６０を備えていても良い。

【0014】

表示器４０は、例えば運転席と助手席との間に設置され、タッチパネル型ＬＣＤ（Liquid Crystal Display）などのユーザインタフェースである。表示器４０に表示されるＧＵＩ（Graphical User Interface）、あるいはスピーカ５０からの音声メッセージによりユーザ（搭乗者）に種々のメッセージが与えられる。また、表示器４０のＧＵＩから与えられたユーザの指示は、ＥＣＵ２０を介して自動運転システム１０に渡される。

【0015】

自動運転システム１０は、ＥＣＵ２０の対向機材として設けられ、車両の自動運転に関する制御を担う。例えば自動運転システム１０は、ＥＣＵ２０から指定された運転モードに従って車両の運転を制御する。

【0016】

センサシステム３０は、車外カメラ３１、車内カメラ３２、ドアロック解除センサ３３、ドア開閉センサ３４、ビーコン受信機３５、マイク３６、およびシート感圧センサ３７を備える。

【0017】

車外カメラ３１は、車両の外部を視野に含むカメラであって、視野内を撮像して画像データを取得する。すなわち車外カメラ３１は車両の周辺を撮影するカメラであり、少なくとも車両のドアに接近する搭乗者を撮影可能であればよい。非特許文献３に示されるカメラモニタリングシステムと車外カメラ３１とを共用することも可能である。特に、照明７０と連動するタイプのものであれば夜間等の暗い中であっても良好な画像を取得できるし、暗視機能を備えたカメラであってもよい。

【0018】

車内カメラ３２は、車両の内部（車内）を視野に含む画像センサであって、視野内を撮像して画像データを取得する。すなわち車内カメラ３２は車内を撮影するカメラであって、少なくとも車内の各シートの着席状況を撮影できるものであればよい。なお車内カメラ３２の個数に制限はなく、例えば小型車両の前部に設置されたカメラで後部座席の状態を撮影可能であれば、後部に別途カメラを設置する必要はない。車外カメラ３１も同様である。

【0019】

図２および図３は、車外カメラ３１、車内カメラ３２の設置例を示す図である。車外カメラ３１は例えばバックミラーの位置に取り付けられてカメラモニタリングシステムと併用することができる。車内カメラ３２は例えば車両の天井から車内を見下ろす位置に取り付けられる。魚眼レンズなどの広視野角のカメラを用いても良い。

【0020】

図１に戻って説明を続ける。ドアロック解除センサ３３は、車両のドアロックの状態を検知する。ドア開閉センサ３４は、車両の各ドアに設置され、それぞれのドアの開閉状態を検知する。なお車外カメラ３１、車内カメラ３２で撮影した画像データから各ドアの開閉状態を判定しその情報を相関処理部２６に渡すことができれば、ドア開閉センサ３４を省略しても良い。

【0021】

ビーコン受信機３５は、車両に装荷されてビーコン発信機８０からのビーコン信号を受信する。ビーコン発信機８０は、例えば車いすや松葉づえ等の歩行補助具に取り付けることが可能で、その使用者の属性を反映する情報を含むビーコン信号を、無線送信する。実施形態においては、ビーコン発信機８０は搭乗者自身が携帯するものとし、搭乗者の属性に応じて異なる信号を発信する。ビーコン発信機８０としては、ＢＬＥ（Bluetooth（登録商標） Low Energy）等の近距離無線型の発信機を用いることができる。

【0022】

受信されたビーコン信号に基づいて歩行補助具の存在を直接、確認することができる。あるいは、ビーコン信号と車外カメラ３１で検知された人物とを対応付けることで歩行補助具の有無を判定してもよい。

【0023】

マイク３６は、車両に装荷されて車内外の音声や音を捕え、音声信号を出力する。シート感圧センサ３７は、車両のシートごとに設けられる圧力センサであり、検知した圧力の値に基づいてシート状の搭乗者の有無を検知する。シート上の搭乗者の有無に関する情報は相関処理部２６に渡される。

【0024】

次に、ＥＣＵ２０は、実施形態に係る処理機能として画像処理部２１、ドアロック解除検知処理部２２、ドア開閉感知処理部２３、ビーコン受信処理部２４、音声処理部２５、相関処理部２６、ユーザインタフェース部２７、運転モード選択処理部２８、および荷物搬入支援処理部２９を備える。

【0025】

画像処理部２１は、車外カメラ３１で取得された画像データを処理して、車両の搭乗者の主に車外における画像情報を取得する。また画像処理部２１は、車内カメラ３２で取得された画像データを処理して車内の画像情報を取得する。特に画像処理部２１は、車内の画像情報に基づいてチャイルドシートの有無を判定し、判定の結果を相関処理部２６に渡す。チャイルドシートなどの物体の有無を判定することは、既存の画像処理ライブラリ等を活用することで技術的に可能である。

【0026】

ドアロック解除検知処理部２２は、ドアロック解除センサ３３からの検知情報を処理する。ドア開閉感知処理部２３は、ドア開閉センサ３４からの検知情報を処理する。

【0027】

ビーコン受信処理部２４は、ビーコン受信機３５で受信されたビーコン信号を処理してビーコン情報を取得する。このビーコン情報は相関処理部２６に渡される。音声処理部２５は、マイク３６から出力される音声信号を処理して音声情報を取得する。

【0028】

相関処理部２６は、画像処理部２１から出力される少なくとも車外を撮像して得られた画像情報を用いた相関処理により、車両の搭乗者の属性情報を生成する。相関処理とは、例えば複数のセンシングデータを統合的に処理する、センサフュージョン等の技術を応用することで当業者には容易に理解され得るであろう。

【0029】

搭乗者の属性情報とは、例えば年齢、性別、歩行補助具（車いす、松葉づえなど）の有無、あるいはペットを連れているかそうでないか、などを示す情報である。このほかシーンに応じて多種多様な属性情報を考えることができる。

【0030】

特に、相関処理部２６は、搭乗者の画像情報と車内の画像情報との相関処理により、搭乗者の属性情報を生成する。また相関処理部２６は、ビーコン情報を用いた相関処理により搭乗者の属性情報を生成する。

【0031】

また相関処理部２６は、音声情報を用いた相関処理により搭乗者の属性情報を生成することも可能である。特に、相関処理部２６は、ドアロック解除が検知されると相関処理を開始するようにしても良い。

【0032】

また、相関処理部２６は、車両のドアの開状態と閉状態の時系列の変化に基づいて各ドアから車両に乗り込んだ搭乗者ごとの属性情報を生成する。また、相関処理部２６は、シート感圧センサ３７の感応したシートの搭乗者の属性情報を生成する。

【0033】

特に、相関処理部２６は、搭乗者の歩行補助具の使用の有無に関する属性情報を生成する。さらに、相関処理部２６は、チャイルドシートの有無に関する情報を相関処理に反映させて搭乗者の属性情報を生成する。

【0034】

次に、ユーザインタフェース部２７は、車内の表示器４０およびスピーカ５０に接続されて、ＥＣＵ２０とユーザとが種々の情報を授受する仲立ちとなる。例えば、ユーザインタフェース部２７は、運転モード選択処理部２８で抽出された複数の運転モードを表示器４０およびスピーカ５０を介してユーザに提示する。また、表示器４０のタッチパネルを用いて指定された運転モードは、ユーザインタフェース部２７を介してＥＣＵ２０に入力される。

【0035】

運転モード選択処理部２８は、相関処理部２６で生成された搭乗者の属性情報に基づいて、当該搭乗者のための運転モードを特定する。特に運転モード選択処理部２８は、搭乗者の属性情報に基づいて複数の運転モードを抽出し、これらの複数の運転モードを表示器４０またはスピーカ５０（ユーザインタフェース）を介してユーザに報知する。表示器４０に表示された複数の運転モードのいずれかがユーザにより指定されると、運転モード選択処理部２８は、この指定された運転モードを搭乗者のための運転モードとして特定する。

【0036】

また、運転モード選択処理部２８は、この特定された運転モードを自動運転システム１０に通知する。より詳しくは、運転モード選択処理部２８は、特定された運転モードを反映する車両制御パラメータの組み合わせを、自動運転システム１０に通知する。車両制御パラメータとは、例えば加減速範囲、速度範囲、および移動経路の少なくともいずれかであって良いし、この他種々のパラメータを考えることができる。

【0037】

荷物搬入支援処理部２９は、後部ドアロック制御部６０を制御して車両の荷物室のドアを開閉する。例えば車外カメラ３１の映像から搭乗者が大型の荷物や車いすなどを伴っていることが判定されると、荷物搬入支援処理部２９はトランクや後部ハッチを開けて荷物の収納を支援する。

【0038】

ＥＣＵ２０は、上記の機能に基づいて搭乗者の属性を推定し、その結果を自動運転システム１０に通知することで、適切な運転モードの指示を行う。例えばけがをしている人が搭乗していることが属性情報から判断されると、車両の運転者及び搭乗者に対して、加減速を抑えた“やさしい”運転等の運転モードの提案メッセージを表示器４０に表示する。

【0039】

図１に示される画像処理部２１、ドアロック解除検知処理部２２、ドア開閉感知処理部２３、ビーコン受信処理部２４、音声処理部２５、相関処理部２６、ユーザインタフェース部２７、運転モード選択処理部２８、および荷物搬入支援処理部２９の各機能は、例えば、プロセッサにより実行可能なプログラムの形態でメモリ（図示せず）等に記憶されることができる。すなわちＥＣＵ２０は、プログラムをメモリから読み出し、実行することで各プログラムに対応する機能を実現するコンピュータである。

【0040】

プロセッサは、ＣＰＵ（central processing unit）、ＧＰＵ(Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等のハードウェア資源である。次に、上記構成における作用を説明する。

【0041】

図４および図５は、ＥＣＵ２０における処理手順の一例を示すフローチャートである。図４において車両のドアロックが解除されると、ドアロック解除センサ３３がそのことを検知しＥＣＵ２０への給電が開始される（ステップＳ１）。そうすると直ちにＥＣＵ２０は起動し、同時に車外カメラ３１、車内カメラ３２、ドア開閉センサ３４、およびシート感圧センサ３７なども起動される（ステップＳ２）。

【0042】

続いて、車外カメラ３１が、車両に接近する人物の動画を撮影して画像データをＥＣＵ２０の画像処理部２１に出力する（ステップＳ３）。画像処理部２１は画像データを処理して画像情報を生成し、接近する人物の車いす等の歩行補助具の有無、および年齢などの属性情報を画像情報から推定する。その結果は相関処理部２６に出力される（ステップＳＳ５）。

【0043】

ここで、車外カメラ３１の映像から荷物の存在が推定されると、相関処理部２６は荷物搬入支援処理部２９に指示を与えてトランクや後部ハッチをオープンさせ、荷物収納を支援する。

【0044】

並行して、車内カメラ３２も、車内の映像を起動後から継続して撮影している（ステップＳ４）。車内カメラ３２により撮影された画像データは画像処理部２１により処理され、画像情報が生成される。画像処理部２１は、画像情報に基づいて、搭乗者が着席する前の状態としてチャイルドシートまたそれに類するものの有無を判定しその結果を出力する（ステップＳ６）。チャイルドシートの有無は相関処理部２６に通知される（ステップＳ１１）。

【0045】

次に、車両のドアが開けられると（ステップＳ７）ドア開閉センサ３４が反応し（ステップＳ８）、ドア開閉感知処理部２３はドアの開状態を相関処理部２６に出力する（ステップＳ９）。

【0046】

相関処理部２６は、ドア開閉感知処理部２３からドアの開状態の通知を受けると、画像処理部２１からの搭乗者の有無及び年齢推定結果を確認する。車外カメラ３１と車内カメラ３２とを連携させ、搭乗する人物の動画を車外カメラ３１と車内カメラ３２とで追跡撮影してもよい。そして相関処理部２６は、開状態となったドア近傍の座席について、当該座席に対する搭乗者の有無を判定し、搭乗者の年齢を推定する（ステップＳ１０）。

【0047】

続いて、ドアが閉められるとドア開閉センサ３４が反応し、ドア開閉感知処理部２３は、ドアの閉状態を検知して（ステップＳ１２）そのことを相関処理部２６に通知する（ステップＳ２１）。

【0048】

相関処理部２６は、ドア開閉感知処理部２３からのドアの閉状態の通知から一定時間の経過後、または、搭乗者の運転席への着席を車内カメラ３２で検知した時点、または、車外カメラ３１に他の搭乗者候補が観測されなくなった時点で、それぞれの座席への搭乗者の有無及び年齢推定を確定する（ステップＳ２２）。確定した搭乗者の属性は、運転モード選択処理部２８に通知される。

【0049】

そうすると運転モード選択処理部２８は、搭乗者の属性に基づいて車両の運転モードを選択し、その内容を表示器４０およびスピーカ５０を介してユーザに報知して搭乗者の選択を促す（ステップＳ２３）。搭乗者により運転モードが指定されると（ステップＳ２４）、運転モード選択処理部２８は、選択の結果を自動運転システム１０に通知する（ステップＳ２５）。

【0050】

図６は、図１の各センサの検知結果と搭乗者の属性の推定結果との相関を時系列で示す図である。図６は、車両の左後方ドアにおける処理について示す。すなわち、搭乗者の属性はドア単位で推定することができる。

【0051】

図６（ａ）に示されるように、例えばドアロック解除、車外カメラ（左）、ドア開（左後）、車内カメラ（左後方視野）、全ドア閉の５個の判断項目があるとする（＃０〜＃４）。最初にドアロック解除が検知されると（▽）、車外カメラおよび車内カメラが起動し、左後方ドア近傍に搭乗者が検知されたとする（○）。そうすると図６（ｂ）に示されるように、車外カメラの画像データから歩行補助具の有無が判定され、車内カメラの画像データからチャイルドシートの有無が判定される。

【0052】

図６（ａ）で時間が経過し、左後ろのドアが開くと（▽）図６（ｂ）において搭乗者の有無および搭乗者の年齢が推定される。さらに図６（ａ）で時間が経過し全てのドアが閉まると（全ドア閉（▽））、左後方のシートに関して、搭乗者の有無と年齢、およびチャイルドシートの有無が判定される。

【0053】

人が車両に搭乗する際の手順は、例えば以下（１）〜（５）のように分解することができる。
（１）車両に接近し、ドアの前に移動する。（２）車両のドアを開ける。（３）車両に搭乗し、着席する。（４）車両のドアを閉める。（５）車両の運転を開始する。

【0054】

このとき、搭乗者が車いす、松葉づえ等の歩行補助具を用いている場合は、車外カメラ３１において特徴的な画像及び移動パターンが観測される。また、ドアを開けた後に歩行補助具を外す行為が観測されることになる。

【0055】

一方、子供の搭乗者が居る場合には、車両接近時及びドア前において、撮影した画像から身長による判断が可能である。さらに、車内カメラ３２で撮影された画像にベビーシート、チャイルドシート等の着席補助具が確認された場合は、乳幼児が搭乗者に含まれるものと判断可能である。さらには同様の判断により、ペットの同乗についても判断可能となる。

【0056】

各ドアごとに判定される属性情報は、例えば次の表に示される項目を含む。

【0057】

【表1】

【0058】

ドア開閉感知処理部２３から全てのドアが閉状態となったことを通知されると、相関処理部２６は表１に示される属性情報を、ドアごとに生成する。例えばドアロック解除センサ３３の検知結果から、搭乗者の有無といった小項目を推定することができる。搭乗者ありを１とすると、無しは０として定義される。車外カメラの画像データからは年齢、歩行補助具の有無を推定できる。車内カメラの画像データからは年齢、チャイルドシートの有無を推定できる。マイクからの音声を解析すれば年齢を推定することもできる。

【0059】

表１の備考欄に示される数値（０／１）を用いて属性判定値Ｖｍを計算することができる。

【0060】

例えば、杖等の歩行補助具を持たない大人が車両に接近したことを考える。この場合、車外カメラ３１からの画像情報をもとに画像処理部２１は、接近する人物が大人であることをその身長から判定する。その結果、年齢推定の値として０が生成され、歩行補助具なしとして０が生成される。車内カメラ３２からの画像情報からもその人物が大人であることが判定され、年齢推定値として０を生成する。相関処理部２６は、シート上にチャイルドシートが無ければ、値として０を生成する。

【0061】

並行して、マイク３６からの音声データ入力をもとに音声処理部２５は、個別の発話者の弁別を行い、年齢推定を実施する。ここで搭乗者が大人と判定されれば属性情報の値として０を生成する。

【0062】

また、ドアが閉まった時点で当該ドアからの搭乗者の有無が判定され、搭乗者ありとして判定値１が生成される。以上の過程の結果として、表１の項目１＝１、項目２〜６＝０となり、属性判定値Ｖｍとして０が得られる。

【0063】

別のケースとして、松葉づえを用いた搭乗者が接近してきたとする。この場合、車外カメラ３１からの画像データにより松葉づえが検出され、表１の項目３として、判定値１が生成される。項目３以外の各項目は、大人が接近した場合と同じ判定値が生成され、このケースで算出される属性判定値Ｖｍは、１となる。

【0064】

更に、別のケースとして、子供の搭乗者が存在する場合を考える。この場合は、表１の項目２、項目４、項目６において、１が生成され、属性判定値Ｖｍとして３が生成される。

【0065】

属性判定値Ｖｍは、相関処理部２６から運転モード選択処理部２８に通知される。属性判定値Ｖｍが０でない場合には（Ｖｍ＞０）、運転モード選択処理部２８は、子供及び怪我人等向けの“やさしい運転”モードの利用が推奨される状況であることを判断する。そうすると運転モード選択処理部２８は、例えば図７または図８に示されるようなメッセージを表示器４０に表示する。

【0066】

図７は、搭乗者に負担の少ない運転が可能であることを通知するメッセージの一例を示し、この画面から「はい」か「いいえ」かの選択を促す。音声によりスピーカ５０を通じて、同内容を搭乗者に通知してもよい。図８においても、（やさしい運転）または（通常の運転）のいずれかを選択できるようになっている。

【0067】

搭乗者が図７の画面から「はい」を選択すると、相関処理部２６が自動運転システム１０に対して、搭乗者の負担の少なくなる運転となる車両制御及びルート選定を指示する。つまり、（優しい運転モード）に応じた最適な車両制御パラメータの組み合わせ候補が自動運転システム１０に通知される。
次に、本実施形態に係る実施例を幾つか説明する。

【0068】

［第１の実施例］
自動運転機能または自動運転支援機能付きの車両を用いたレンタカー／カーシェアリングを想定した実施例について説明する。

【0069】

搭乗者が、ドアロックを解除した時点で、本発明のシステムは稼働を開始し、ＥＣＵ２０は搭乗者の属性の収集を開始する。搭乗者にけが人等を含まないと判定した場合は、車両側からは特段の提示はせず、搭乗者の操作／指示がない限りは、通常運転モードとして、車両制御をする。

【0070】

松葉づえ、車いす、杖等の歩行補助具を利用した搭乗者がいると推定された場合は、通常よりも小さな加減速率となるように、あるいは横向き加速度を抑えた車線変更制御とする等の自動運転、または運転支援を行う。加えて、目的地までのルート選定においても、時間優先でなく、例えば信号による停車の少ない経路、交通量の少ない経路、または曲がり角の少ない経路を選択し、提示する。

【0071】

また、歩行補助具を利用した搭乗者がいると推定された場合は、搭乗時に、歩行補助具収納のため、搭乗者に音声等によるロック解除の応答確認を実施し、トランクまたは後部ドアのロック解除を行ってもよい。

【0072】

子供の搭乗者がいると推定された場合は、時間優先としたルート選定を行う。そして上記と同様の運転支援を行うことにより、子供が愚図らぬように乗車時間を短くしつつ、車内で安全に過ごせるように配慮した自動運転、または運転支援を提示する。

【0073】

上記により、運転者は不慣れな車両において、搭乗者に最適な運転状態の提示を受け、複雑な操作を実施せず、容易に、搭乗者に安全で快適な運転を実現することが可能となる。例えばけが人といった搭乗者の状態によっては、通常とは異なり、時間がかかってもよく、加減速の割合を抑え、横方向の揺れなどについても最小限に抑えることが、搭乗者の快適さ及び安全面確保に重要となる。

【0074】

近年の車両に搭載されるシステムは、より高度で複雑化するようになってきている。特に、日常使用していない不慣れな車両においては、車両搭載システムの操作は搭乗者にとって困難なものとなっている。その対策のため、車両側に画面表示、あるいは音声出力を用いて、車両に備わる機能の選択肢を搭乗者に提示し、搭乗者に選択を促す、または搭乗者の怪我の有無への質問／希望する内容を確認し、それに合わせて車両の設定を制御する方法が考えられる。

【0075】

しかしながら、選択肢の提示／各種質問に対して回答を行うことは、搭乗から出発までに時間を要する結果を招きやすい。さらには、質問への誤回答発生などにより搭乗者に対してストレスを生じさせる。

【0076】

これに対し実施形態では、車外カメラ３１を活用し、車両外の搭乗者、つまり搭乗する前の状態を確認し、車内カメラ３２やマイク３６などのセンサシステムにより、搭乗者の属性を確認するようにした。そして、その結果に基づいて推奨可能な運転モードを選択し、最適な車両制御パラメータの組み合わせ候補を抽出して搭乗者に提示する。そして、搭乗者の意思に基づく選択の結果を車両の制御に反映させるようにした。これにより全ての搭乗者に快適さを提供する車両システムを実現することが可能になる。

【0077】

また、カーシェアリング／レンタカーのような一時的な利用環境においても、搭乗者の属性を取得し、属性を反映したメニューの中から最適なものを提案することで、最小限の質疑応答で最適な運転モードを決定できるようになる。従って、車種ごとに異なる、より高度化、複雑化する車両の制御システムにおいて専門家でなくとも、容易に活用できるシステムを手段を提供する。

【0078】

［第２の実施例］
例えば、自動運転のタクシーにも上記実施の形態を適用することができる。自動運転のタクシーの業務遂行中は、当該タクシーに備えられたＥＣＵ２０を常時稼働状態としておくとよい。
車外カメラ３１により、搭乗者と推定される人物を発見し、その属性を収集する。当該の搭乗者が接近して、車内に登場した際に、収集済みの属性から、搭乗者にけが人等の有無を判断し、第１の実施例と同様のメッセージを乗客に提示するようにする。

【0079】

このようにすることで、自動運転のタクシーにおいて、搭乗者への質疑応答の確認等を不要とすることができる。また、搭乗者に対して最適な運転状態を提示することができ、乗車から速やかな発進と、搭乗者に安全で快適な運転を実現することが可能となる。

【0080】

実施形態に係る技術を適用しない場合、自動運転のタクシーで搭乗者の状態に合わせた運転を実施するためには、システムの特質上、搭乗者への事細かな質疑応答が必要になる。また、車両の判断機能、または遠隔のオペレータの判断により、運転モードを制御する必要がある。この仕組みは、搭乗者が車両に搭乗してから利用することになり、発進までに時間を要する作業となる。

【0081】

これに対し実施形態によれば、搭乗者は提示されたメッセージから自分の望む運転モードを選択するだけで良いので、速やかな発進と、快適な運転とを享受することができる。

【0082】

［第３の実施例］
自動運転機能または自動運転支援機能付きの車両を用いたレンタカー／カーシェアリング、あるいはタクシーのいずれにも適用可能な実施例について説明する。

【0083】

歩行補助具として、運動能力をアシストするアクチュエータ技術を搭乗者が用いている場合、あるいは、通常は歩行補助具を使用しているにも関わらず歩行補助具を装着（利用）しない搭乗者に対しては、カメラで撮影された画像データからだけではその属性を判断することが難しい場合がある。

【0084】

この場合、搭乗者が利用する歩行補助具に、ビーコン発信機８０を取り付ける。または、あらかじめ搭乗者の年齢や怪我の有無といった属性に合わせて異なる信号を発するビーコン発信機８０を搭乗者自身が携帯する。そして、その信号を車両側で受信し、カメラからの映像と関連付けることで、搭乗者の属性を推定することができる。これにより第１の実施例、第２の実施例と同様に、搭乗者に最適な運転モードを提示し、速やかな発進と、安全で快適な運転を実現することが可能となる。

【0085】

以上述べたように実施形態によれば、車外カメラ３１を積極的に利用し、人物の搭乗前からその属性推定を開始するようにしている。そして、車いす、松葉づえなどの使用の有無を判定するにも車外の映像を活用するようにしている。従って、車内カメラ３２だけでは検知することの困難な詳細な属性も取得することができる。さらには、車内カメラ３２だけでは困難であった搭乗者の属性も正確に取得することができ、より適切な運転モードの提案を実現することができる。

【0086】

また実施形態によれば搭乗者は、車両に備わる機能を知らなくても、車両側から搭乗者の属性を判断し、車両に備わる機能を提案することができる。従って搭乗者に手間をかけさせず、より快適な移動手段を提供することが可能となる。

【0087】

また、ドアロックの解除された時点からセンサシステム３０やＥＣＵ２０が起動するようにすることで、搭乗者の属性の収集を搭乗前から開始できるようになる。従って、出発可能となるまでの時間の間に適切な運転モードの提案と搭乗者による選択を可能とし、搭乗者に対してストレスのない利用環境を提供することができる。

【0088】

これらのことから実施形態によれば、搭乗者へのサービス性を高めた運転状態制御装置および運転状態制御方法を提供することが可能となる。

【0089】

なお、本発明は上記実施形態に限定されるものではない。例えば自動運転システムは、自動運転支援システムと読み替えることができる。また、必要な程度にまで詳細な属性情報を取得可能な性能を持つカメラがあれば、そのカメラで取得された属性情報だけに基づいて所期の処理を行っても良い。

【0090】

上記に説明した各装置及びシステムを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

【0091】

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0092】

１０…自動運転システム、２０…ＥＣＵ、２１…画像処理部、２２…ドアロック解除検知処理部、２３…ドア開閉感知処理部、２４…ビーコン受信処理部、２５…音声処理部、２６…相関処理部、２７…ユーザインタフェース部、２８…運転モード選択処理部、２９…荷物搬入支援処理部、３０…センサシステム、３１…車外カメラ、３２…車内カメラ、３３…ドアロック解除センサ、３４…ドア開閉センサ、３５…ビーコン受信機、３６…マイク、３７…シート感圧センサ、４０…表示器、５０…スピーカ、６０…後部ドアロック制御部、７０…照明、８０…ビーコン発信機。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】