IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社日立製作所の特許一覧

<>
  • 特開-エッジ装置及び分散システム 図1
  • 特開-エッジ装置及び分散システム 図2
  • 特開-エッジ装置及び分散システム 図3
  • 特開-エッジ装置及び分散システム 図4
  • 特開-エッジ装置及び分散システム 図5
  • 特開-エッジ装置及び分散システム 図6
  • 特開-エッジ装置及び分散システム 図7
  • 特開-エッジ装置及び分散システム 図8A
  • 特開-エッジ装置及び分散システム 図8B
  • 特開-エッジ装置及び分散システム 図9
  • 特開-エッジ装置及び分散システム 図10
  • 特開-エッジ装置及び分散システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132114
(43)【公開日】2023-09-22
(54)【発明の名称】エッジ装置及び分散システム
(51)【国際特許分類】
   G08G 1/16 20060101AFI20230914BHJP
   G16Y 10/40 20200101ALI20230914BHJP
   G16Y 40/10 20200101ALI20230914BHJP
【FI】
G08G1/16 A
G16Y10/40
G16Y40/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022037258
(22)【出願日】2022-03-10
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】鳥羽 忠信
(72)【発明者】
【氏名】新保 健一
(72)【発明者】
【氏名】植松 裕
(72)【発明者】
【氏名】上薗 巧
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA01
5H181AA26
5H181AA27
5H181BB20
5H181CC04
5H181CC11
5H181CC14
5H181DD04
5H181FF05
5H181LL01
5H181LL02
5H181LL04
5H181LL15
(57)【要約】
【課題】自動稼働体で想定外事象が発生した時の状況データを効率よく収集して安全性の向上に寄与できるエッジ装置及び分散システムを提供する。
【解決手段】本発明のエッジ装置は,自動稼働体に設けられるセンサと,前記センサからの入力データに基づいて物体を認識する認識部と,前記認識部での認識結果に対する判断を行う判断部と,前記判断部での判断結果に基づいて駆動機構を制御する駆動機構制御部と,前記認識部及び前記判断部からの情報に基づいて,想定外事象が発生したか否かを判定する想定外事象判定部と,想定外事象が発生したと判定された場合に,前記認識部での認識結果,若しくは,前記認識部での認識に用いられた前記入力データ,並びに,前記判断部での判断結果,若しくは,当該判断結果に至るまでの計算履歴,を通信データとして整形するデータ整形部と,前記データ整形部が整形した通信データをクラウドサーバに送信する通信部と,を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
自動稼働体に関するデータを収集するクラウドサーバとネットワークを介して接続され,前記自動稼働体が有する駆動機構の制御を支援するエッジ装置であって,
前記自動稼働体に設けられるセンサと,
前記センサからの入力データに基づいて物体を認識する認識部と,
前記認識部での認識結果に対する判断を行う判断部と,
前記判断部での判断結果に基づいて前記駆動機構を制御する駆動機構制御部と,
前記認識部及び前記判断部からの情報に基づいて,想定外事象が発生したか否かを判定する想定外事象判定部と,
想定外事象が発生したと判定された場合に,前記認識部での認識結果,若しくは,前記認識部での認識に用いられた前記入力データ,並びに,前記判断部での判断結果,若しくは,当該判断結果に至るまでの計算履歴,を通信データとして整形するデータ整形部と,
前記データ整形部が整形した通信データを前記クラウドサーバに送信する通信部と,
を備える,エッジ装置。
【請求項2】
請求項1に記載のエッジ装置において,
想定外事象が発生したと判定された場合,前記データ整形部は,前記認識部での認識結果,前記認識部での認識に用いられた前記入力データ,前記判断部での判断結果,及び,当該判断結果に至るまでの計算履歴を,通信データとして整形する,エッジ装置。
【請求項3】
請求項2に記載のエッジ装置において,
前記認識部での認識結果,及び,前記認識部での認識に用いられた前記入力データ,を保持する第1のメモリと,
前記判断部での判断結果,及び,当該判断結果に至るまでの計算履歴,を保持する第2のメモリと,をさらに備え,
想定外事象が発生したと判定された場合,前記想定外事象判定部は,前記第1のメモリ及び前記第2のメモリに対して,データを保持するよう指示を発出する,エッジ装置。
【請求項4】
請求項3に記載のエッジ装置において,
想定外事象が発生したと判定された場合に,前記データ整形部は,前記第1のメモリに保持された前記入力データから一部を抽出し,通信データとして整形する,エッジ装置。
【請求項5】
請求項1に記載のエッジ装置において,
前記自動稼働体の走行シーンを特定する走行シーン特定部をさらに備え,
前記想定外事象判定部は,前記走行シーン特定部で特定された走行シーン毎に異なる条件で想定外事象が発生したか否かを判定する,エッジ装置。
【請求項6】
請求項5に記載のエッジ装置において,
前記エッジ装置は,前記自動稼働体の現在地データを取得する位置検知部をさらに備え,
前記走行シーン特定部は,前記現在地データと地図データに基づいて,走行シーンを特定する,エッジ装置。
【請求項7】
請求項1に記載のエッジ装置において,
前記データ整形部が整形した通信データを一時保持する第3のメモリをさらに備え,
前記通信データが前記第3のメモリを介して前記クラウドサーバに送信されるモードと,前記通信データが前記第3のメモリを介さずに前記クラウドサーバに送信されるモードと,が切り替えられる,エッジ装置。
【請求項8】
自動稼働体が有する駆動機構の制御を支援するエッジ装置と,
前記エッジ装置から受信したデータに基づいて学習用データを生成する診断クラウドサーバと,
前記診断クラウドサーバが生成した学習用データに基づいて学習された結果を用いて前記エッジ装置の機能更新データを生成する管理サーバと,を備えた分散システムであって,
前記エッジ装置は,
前記自動稼働体に設けられるセンサと,
前記センサからの入力データに基づいて物体を認識する認識部と,
前記認識部での認識結果に対する判断を行う判断部と,
前記判断部での判断結果に基づいて前記駆動機構を制御する駆動機構制御部と,
前記認識部及び前記判断部からの情報に基づいて,想定外事象が発生したか否かを判定する想定外事象判定部と,
想定外事象が発生したと判定された場合に,前記認識部での認識結果,若しくは,前記認識部での認識に用いられた前記入力データ,並びに,前記判断部での判断結果,若しくは,当該判断結果に至るまでの計算履歴,を通信データとして整形するデータ整形部と,
前記データ整形部が整形した通信データを前記診断クラウドサーバに送信する通信部と,
を備える,分散システム。
【請求項9】
請求項8に記載の分散システムにおいて,
前記診断クラウドサーバは,
前記エッジ装置から受信した通信データから,想定外事象の種類を分類するデータ分類部と,
前記データ分類部からの出力結果に基づいて学習用データを生成する学習用データ生成部と,を備え,
前記管理サーバは,
前記診断クラウドサーバから受信した学習用データに基づいて,学習を実行する学習部と,
前記学習部による学習結果を,前記エッジ装置に対する機能更新データとして出力する機能更新データ生成部と,を備える,分散システム。
【請求項10】
請求項9に記載の分散システムにおいて,
前記管理サーバが生成した機能更新データは,前記通信部を介して,前記認識部,前記判断部又は前記想定外事象判定部に入力される,分散システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は,エッジ装置及び分散システムに関する。
【背景技術】
【0002】
自動運転車やロボット等の自動稼働体が有する駆動機構の制御を支援する電子システムが知られている。例えば,特許文献1には,車両に対する横風等の外乱を推定し,外乱の推定結果に基づいて運転支援の内容を変える車両制御装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-168955号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし,特許文献1に記載の技術は,車両の走行に影響のある外乱かどうかの判断と,それに応じた運転支援に関するものに過ぎず,外乱時の状況データを収集することは想定されていない。
【0005】
本発明の目的は,自動稼働体で想定外事象が発生した時の状況データを効率よく収集して安全性の向上に寄与できるエッジ装置及び分散システムを提供することにある。
【課題を解決するための手段】
【0006】
前述の課題を解決するため,本発明のエッジ装置は,自動稼働体に関するデータを収集するクラウドサーバとネットワークを介して接続され,前記自動稼働体が有する駆動機構の制御を支援するものであって,前記自動稼働体に設けられるセンサと,前記センサからの入力データに基づいて物体を認識する認識部と,前記認識部での認識結果に対する判断を行う判断部と,前記判断部での判断結果に基づいて前記駆動機構を制御する駆動機構制御部と,前記認識部及び前記判断部からの情報に基づいて,想定外事象が発生したか否かを判定する想定外事象判定部と,想定外事象が発生したと判定された場合に,前記認識部での認識結果,若しくは,前記認識部での認識に用いられた前記入力データ,並びに,前記判断部での判断結果,若しくは,当該判断結果に至るまでの計算履歴,を通信データとして整形するデータ整形部と,前記データ整形部が整形した通信データを前記クラウドサーバに送信する通信部と,を備える。
【発明の効果】
【0007】
本発明によれば,自動稼働体で想定外事象が発生した時の状況データを効率よく収集して安全性の向上に寄与できるエッジ装置及び分散システムを提供できる。
【0008】
上記した以外の課題,構成及び効果は,以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
図1】本発明の実施例1に係る分散システムの全体構成を示す図。
図2】診断クラウドサーバを成す計算機のハードウェア構成を示す図。
図3図1に示す分散システムにおけるデータの流れを示す図。
図4】分散システムを利用した自動運転車サービスの例を示す概念図。
図5】エッジ装置の一例として,自動運転車における運転支援装置のハードウェア構成を示す図。
図6】ECU内での処理を示すフローチャート。
図7】自動運転車において他車との関係から発生する想定外事象の類型を示す表。
図8A】想定外事象の一例として他車がカットインする場合の動きを示す概略図。
図8B図8Aのように他車がカットインする場合の事象を分類するための基準を示すグラフ。
図9】診断クラウドサーバにおける処理を例を示すフローチャート。
図10】本発明の実施例2に係る分散システムの全体構成を示す図。
図11】本発明の実施例3に係る分散システムの全体構成を示す図。
【発明を実施するための形態】
【0010】
以下,図面を参照して本発明の実施例を説明する。実施例は,本発明を説明するための例示であって,説明の明確化のため,適宜,省略および簡略化がなされている。本発明は,他の種々の形態でも実施することが可能である。特に限定しない限り,各構成要素は単数でも複数でも構わない。
【0011】
実施例において,プログラムを実行して行う処理について説明する場合がある。ここで,計算機は,プロセッサ(例えばCPU,GPU)によりプログラムを実行し,記憶資源(例えばメモリ)やインターフェースデバイス(例えば通信ポート)等を用いながら,プログラムで定められた処理を行う。そのため,プログラムを実行して行う処理の主体を,プロセッサとしても良い。同様に,プログラムを実行して行う処理の主体が,プロセッサを有するコントローラ,装置,システム,計算機,ノードであってもよい。プログラムを実行して行う処理の主体は,演算部であれば良く,特定の処理を行う専用回路を含んでいても良い。ここで,専用回路とは,例えばFPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit),CPLD(Complex Programmable Logic Device)等である。
【0012】
プログラムは,プログラムソースから計算機にインストールされても良い。プログラムソースは,例えば,プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであっても良い。プログラムソースがプログラム配布サーバの場合,プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み,プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布しても良い。また,実施例において,2以上のプログラムが1つのプログラムとして実現されても良いし,1つのプログラムが2以上のプログラムとして実現されても良い。
【実施例0013】
(分散システムの全体構成)
図1は,本発明の実施例1に係る分散システムの全体構成を示す図である。本実施例に係る分散システムは,エッジ装置1と,診断クラウドサーバ2と,管理サーバ3と,を備える。また,エッジ装置1は,ネットワーク20を介して,診断クラウドサーバ2や管理サーバ3と接続されている。ネットワーク20は,例えば,携帯電話通信網,インターネット(Ethernetを含む)等に代表される双方向通信網である。
【0014】
(エッジ装置の構成)
エッジ装置1は,自動稼働体が有する駆動機構の制御を支援する装置であり,センサ7と,認識部4と,判断部5と,駆動機構制御部6と,第1のメモリ9と,第2のメモリ10と,想定外事象判定部11と,データ整形部12と,通信部8と,を備える。自動稼働体としては,車両,ドローン,ロボット等の移動体や,ロボットアーム,工作機械,数値制御旋盤等の設備,が想定される。自動稼働体が移動体の場合,駆動機構はエンジンやモータ等であり,自動稼働体が設備の場合,駆動機構はモータや油圧等のアクチュエータである。ここで,自動稼働には自動運転が含まれるものとする。
【0015】
センサ7は,自動稼働体に設けられるカメラやレーダ等である。認識部4は,センサ7からの入力データに基づいて,センシングされた対象物がどのような物体であるかを認識し,オブジェクトデータに変換する。判断部5は,認識部4での認識結果であるオブジェクトデータに対する判断を行い,自動稼働体の次の動作,すなわち,駆動機構の制御内容を決定する。駆動機構制御部6は,判断部5での判断結果に基づいて駆動機構の動作を制御する。
【0016】
第1のメモリ9は,認識部4での認識結果であるオブジェクトデータ,及び/又は,認識部4での認識に用いられた入力データ(例えば,画像データや距離データ等,センサ7から出力されたままのRAWデータ),を保持する。第2のメモリ10は,判断部5での判断結果,及び/又は,当該判断結果に至るまでの計算履歴,を保持する。
【0017】
想定外事象判定部11は,認識部4及び判断部5からの情報に基づいて,想定外事象が発生したか否かを判定する。具体的には,想定外事象判定部11は,認識部4で認識したオブジェクトデータに関し,判断部5での判断結果に至るまでの計算履歴データを,予め定められたしきい値と比較することで,想定外事象が発生したか否かを判定する。想定外事象が発生したと判定された場合,想定外事象判定部11は,第1のメモリ9及び第2のメモリ10に対して,データ保持を指示するトリガ信号を発出する。
【0018】
ここで,想定外事象の例について説明する。第1の例としては,センサ7からの入力データに基づいて対象物の認識はできたが,形状が既学習結果では特定し難い場合(認識は成功していて良い)である。第2の例としては,センサ7からの入力データに基づいて複数の対象物を認識したが,その組み合わせが想定外であった場合(例えば,自動運転車が高速道路で一時停止の道路標識を認識する場合)である。第3の例としては,前方の物体(例えば,自動運転車の前方車両や対向車両)の形状が光の加減で欠けて見えた場合である。第4の例としては,周囲環境と関係から想定外事象が発生する場合(例えば,自動運転車の並走車両が突発的な動作をした場合)である。なお,想定外事象は,これらの例に限られない。
【0019】
さらに,想定外事象判定部11内に,正常動作のシナリオデータと,認識可能な対象物のセンシングデータ(例えば形状データ)と,を格納するルールベースが設けられても良い。想定外事象判定部11は,認識部4及び判断部5からの入力データを逐次このルールベースと照合することで,想定外事象の判定が可能である。
【0020】
データ整形部12は,第1のメモリ9及び第2のメモリ10で保持された各データを取得すると,当該データを予め定義された形式に変換することで通信データとして整形し,通信部8に出力する。
【0021】
通信部8は,データ整形部12が整形した通信データを,ネットワーク20を介して診断クラウドサーバ2に送信する。
【0022】
(診断クラウドサーバの構成)
診断クラウドサーバ2は,ネットワーク20上に存在する1台以上の計算機からなる。なお,クラウドサーバに代えて,ローカルに存在する1台以上の計算機からなるサーバが採用されても良い。診断クラウドサーバ2は,データ分類部21と,学習用データ生成部22と,を備える。
【0023】
データ分類部21は,エッジ装置1より受信した通信データ,すなわち,入力データ(Rawデータ),オブジェクトデータ,判断部5での判断結果,当該判断結果に至るまでの計算履歴,の各データから,想定外事象の種類を分類する。さらに,データ分類部21は,分類結果に基づいて学習の要否判断を行い,新たに学習が必要と判断したデータを学習用データ生成部22に出力する。
【0024】
なお,エッジ装置1の想定外事象判定部11又はデータ整形部12で想定外事象の種類を一次分類し,ラベル付けを行っても良い。その場合,診断クラウドサーバ2のデータ分類部21は,そのラベルに従って学習の要否判断のみを行うか,再度入力したデータを基により詳細な分類を行い,学習の要否判断に加え,学習用データとしてより有効なデータ部分の抽出とラベル付けを行う。なお,ラベル付けに人が関与することもある。
【0025】
学習用データ生成部22は,データ分類部21からの出力結果,入力データ(Rawデータ),オブジェクトデータ等に基づいて,学習用データ形式と学習用ラベルデータを生成する。
【0026】
図2は,診断クラウドサーバ2を成す計算機400のハードウェア構成を示す図である。
【0027】
計算機400は,プロセッサ401と,メモリ402と,外部記憶装置403と,音声出力装置404と,生体情報入力装置405と,入力装置406と,出力装置407と,通信装置408と,を備え,これらがデータバス409を介して接続されて構成される。
【0028】
プロセッサ401は,CPU,GPU,FPGA等からなり,計算機400の全体を制御する。メモリ402は,例えばRAM(Random Access Memory)等の主記憶装置である。外部記憶装置403は,デジタル情報を記憶可能なHDD(Hard Disk Drive),SSD(Solid State Drive),フラッシュメモリ等の不揮発性記憶装置である。
【0029】
音声出力装置404は,スピーカ等からなる。生体情報入力装置405は,カメラ,視線入力装置,マイクロフォン等からなる。入力装置406は,キーボード,マウス,タッチパネル等からなる。出力装置407は,ディスプレイ,プリンタ等からなる。
【0030】
通信装置408は,NIC(Network Interface Card)等からなる。通信装置408は,有線通信及び無線通信の少なくとも一方により,同一のネットワークに接続された他の装置との通信を行う。その通信には,TCP/IP(Transmission Control Protocol/Internet Protocol)によるパケット通信を採用するが,これに限られるものではなく,UDP(User Datagram Protocol)等の他のプロトコルによる通信を採用してもよい。
【0031】
なお,計算機400のハードウェア構成は前述した例に限らず,前述した一部の構成要素を省いたり,他の構成要素を含んだりして良い。また,計算機400は,サーバコンピュータ,パーソナルコンピュータ,ノート型コンピュータ,タブレット型コンピュータ,スマートフォン,テレビジョン装置等の各種の情報処理装置であっても良い。
【0032】
計算機400は,OS(Operating System),ミドルウェア,アプリケーションプログラム等のプログラムを記憶したり,外部から読み込んだりすることができ,これらのプログラムをプロセッサ401が実行することにより,各種の処理を実行できる。
【0033】
(管理サーバの構成)
管理サーバ3としては,自動稼働体やエッジ装置1の設計や製造を行う会社(以下,単に製造会社と呼ぶことがある)が所有する計算機が想定される。当該製造会社は,自社製品の開発や保守のためにエッジ装置1に関するエッジデータを管理している。管理サーバ3は,学習用データに基づき学習処理を実行することでエッジ装置1の機能を更新するデータを生成し,エッジ装置1に配信する。なお,学習用データは,製造会社による新製品の開発に利用されることもある。
【0034】
学習部31は,診断クラウドサーバ2で生成される学習用データを入力し,管理サーバ3で管理されているエッジ装置1の各処理内容(認識部4,判断部5及び想定外事象判定部11のプログラムや設定パラメータなど)に基づいて,新たな学習を実行する。
【0035】
機能更新データ生成部32は,学習部31で実行された学習結果情報(プログラム,設定パラメータ,ニューラルネットワークの学習係数データ等)をエッジ装置1に書き込める形式の機能更新データに変換し,ネットワーク20を介してエッジ装置1に配信する。
【0036】
なお,配信された機能更新データは,エッジ装置1の通信部8で受信され,認識部4,判断部5,想定外事象判定部11のうち少なくともいずれかに書き込まれる。また,学習用データを使った学習及び機能更新データの作成は,管理サーバ3によらず,人手により行われても良いし,診断クラウドサーバ2で行われても良い。
【0037】
(分散システムにおけるデータの流れ)
図3は,図1に示す分散システムにおけるデータの流れを示す図である。図3では,左側からエッジ装置1,診断クラウドサーバ2及び管理サーバ3の動作状態又は処理内容が示されている。エッジ装置1の製品稼働の過程で,センサ7からのデータ入力と,認識部4による物体の認識と,判断部5による判断と,が行われる。判断部5による判断結果は,駆動機構制御部6に送られて,駆動機構(アクチュエータ)の制御に用いられる。これらのフローは,エッジ装置1としての主機能であり,正常な動作状態では,このフローが繰り返し行われる。
【0038】
このフローが繰り返される中で,想定外事象判定部11が想定外事象の判定処理を行い,想定外事象が発生したと判定されると,想定外事象判定部11は,第1のメモリ9及び第2のメモリ10に保持指示のトリガ信号を発出し,一時的に各々のデータを保持させる。その後,各メモリで保持されたデータをデータ整形部12が通信用のデータ形式に変換し,通信部8がネットワーク20経由で診断クラウドサーバ2に送信する。
【0039】
診断クラウドサーバ2は,受信したデータの分類と学習用データの生成を行い,管理サーバ3に学習用データを送信する。管理サーバ3は,受信した学習用データに基づき,想定外事象発生時の状況を学習し,エッジ装置1の認識部4や判断部5等の機能更新データを生成し,エッジ装置1に送信する。また,想定外事象発生時の状況データ及び学習用データは,エッジ装置1の製造会社における次世代製品の開発等にフィードバックされても良い。
【0040】
(分散システムを利用した自動運転車サービスの例)
図4は,分散システムを利用した自動運転車サービスの例を示す概念図である。製品購入者41(ここでは自動運転車の購入者)は,車両状態データをデータ管理事業者42に周期的又は随時送信する。データ管理事業者42は,診断クラウドサーバ2を保有し,この診断クラウドサーバ2によって受信したデータを分析するとともに変換処理を行う。データ管理事業者42は,システム設計・製造事業者43に,周囲環境情報である画像データ,認識結果や判断結果のデータ(対向車との距離や相対速度等),車両の動作異常の有無,異常時の車両内状態データなどを送信する。これらのデータは,システム設計・製造事業者43では,次世代システムにおける安全性向上や信頼性向上のための設計に利用される。システム設計・製造事業者43は,収集したデータに基づいて運用中の車両に対する機能更新データを生成し,生成した機能更新データをデータ配信事業者44に送信する。ただし,データ配信事業者44は,システム設計・製造事業者43とデータ管理事業者42のいずれか又は両方に含まれても良い。データ配信事業者44は,製品購入者41に機能更新データをネットワークを介して送信する。また,例えば,旅客事業者やMaaS(Mobility as a Service)業者等の製品運用事業者・サービス事業者45に機能更新データを送信し,製品運用事業者・サービス事業者45が管理及び運用している車両に送信しても良い。
【0041】
(自動運転車に搭載されるエッジ装置の例)
図5は,エッジ装置の一例として,自動運転車における運転支援装置のハードウェア構成を示す図である。自動稼働体が自動運転車(移動体)の場合,エッジ装置は,運転支援装置1aとして車両13に搭載される。図4に示すように,運転支援装置1a(エッジ装置)は,ECU14(Electronic Control Unit)と,通信部8と,センサ(カメラ7a,レーダ7b等)と,駆動機構制御部(エンジン15aを制御するエンジン制御部6a,ステアリング15bを制御するステアリング制御部6b等)と,を備える。
【0042】
ECU14は,認識部4と,判断部5と,第1のメモリ9と,第2のメモリ10と,想定外事象判定部11と,データ整形部12と,を有する。認識部4は,カメラ7aが取得した画像データ等に基づいて他車や道路標識等の物体を認識する。判断部5は,認識部4で認識した物体の位置や速度を考慮して車両をどう移動させるべきか判断する。
【0043】
図6は,ECU内での処理を示すフローチャートである。まず,ECU14は,カメラ7a等のセンサから画像データ等の入力データを取得する(ステップS601)。次に,認識部4は,取得した入力データに基づいて物体を認識する(ステップS602)。判断部5は,レーダ7b等のセンサからの距離情報等も用いて,認識した物体からの距離(例えば他車との車間距離)や相対速度(例えばカットイン速度)等を計算し,駆動機構制御部6に対する制御内容を判断する(ステップS603)。その後,想定外事象判定部11は,判断部5での判断結果に至るまでの計算履歴(根拠となった距離や相対速度等)と,リスクデータベース60に格納された安全度評価境界条件(対車条件,対人条件,天候条件,路面条件等)の各種しきい値と,を比較する(ステップS604)。安全度評価境界を超えた場合,想定外事象判定部11は,想定外事象が発生したと判定し,第1のメモリ9と第2のメモリ10にデータ保持を指示するトリガ信号を発出する(ステップS605)。データ整形部12は,例えば第1のメモリ9に保持された,画像データ等のデータ量の大きいRAWデータから,通信負荷を考慮して一部のデータのみを抽出し,通信データとして整形する(ステップS606)。なお,整形後の通信データは,通信部8によって診断クラウドサーバ2に送信される。
【0044】
(自動運転車における想定外事象の例)
図7は,自動運転車において他車との関係から発生する想定外事象の類型を示す表である。自動運転車における周囲環境による突発的な想定外事象(交通外乱と呼ぶこともある)は,道路形状,自他車両の動作及び周辺状況によって引き起こされる。道路形状の例としては,車線の形状が分かり難い場合(見えに難い場合や錯覚を起こし易い場合),合流路が有る場合,分岐路が有る場合,立体路が想定していない形状と認識される場合,等である。自他車両の動作の例としては,車線を維持して走行していた並走車両や前方車両が突然車線を変更する場合等である。周辺状況の例としては,周辺車両による突然のカットイン,前方車両のカットアウト,急な加速や減速等である。
【0045】
図8Aは,想定外事象の一例として他車がカットインする場合の動きを示す概略図であり,図8Bは,図8Aのように他車がカットインする場合の事象を分類するための基準を示すグラフである。
【0046】
図8Aには,自車51を基準に進行方向に向かって右側車線から自車51が走行する左側車線に,他車52がカットインする事象が示されている。自動運転車である自車51は,前方に設置されたセンサ7を使って他車52を常時観測し,自車51との相対速度と車間距離を検知して走行する。自車51のECU14ないの判断部5は,この相対速度と車間距離のデータに加え,自車51の速度から,他車52との位置関係を算出し,衝突の危険がないかを判断する。
【0047】
図8Bにおいて,横軸は自車51と他車52との間の車間距離Lmo,縦軸は他車52のカットイン時の速度V,をそれぞれ示している。衝突時間=車間距離/相対速度であり,衝突の可能性を判定するためのしきい値となる曲線が,図8Bには段階的に示されている。図8Bの点線は,安全度評価境界の曲線を示しており,この曲線を超えて内側(左下)の領域になると,自車51は減速や停車制御を実行し,衝突を回避する。また,図8Bの実線は,それぞれ後方及び側面への衝突に繋がる曲線をそれぞれ示しており,これらの曲線を超えて内側(左下)の領域になると,自車51が他車52に衝突することを意味する。
【0048】
本実施例では,衝突の可能性のある想定外事象をトリガとして,車両の動作の異常の有無に関わりなく,センサ7の入力データ等が診断クラウドサーバ2に送信され,診断クラウドサーバ2が車両情報を収集する。診断クラウドサーバ2は,受信したデータを分類する。ここで,他車がカットインする事象の場合,以下の4つの事象に分類できる。
【0049】
まず(事象1)は,図8Bの安全度評価境界よりも外側(右上)の領域にあり,他車がカットインしても問題なく対処できる。この(事象1)は想定内の事象であるため,当該事象における入力データ等は,診断クラウドサーバ2への送信は必須でないが,物体の認識精度向上のためにデータ送信され,学習用データとして扱われても良い。特に,回避動作に至らないまでも,衝突の可能性(図8Bの点線で示す安全度評価境界の曲線)に近づいた時点でのデータも送信することで,しきい値の余裕度情報等を収集でき,急な回避動作や急停車の抑制につなげることが可能である。
【0050】
次に(事象2)は,図8Bの安全度評価境界と衝突に繋がる曲線(後方)との間の領域にあり,他車がカットインしても余裕をもって回避できる。この(事象2)は想定外の事象であるため,当該事象における入力データ等は,診断クラウドサーバ2へデータ送信され,学習用データとして扱われるとともに,各しきい値の再設定に用いられる。なお,しきい値の再設定は,想定値との差分に基づいて診断クラウドサーバで自動的に行われるか,人手によって行われる。
【0051】
さらに(事象3)は,図8Bの安全度評価境界と衝突に繋がる曲線(後方)との間の領域のうち,特に後者の曲線に近い領域にあり,自動運転でも回避できるものの,人が急ブレーキ等をかけるべき事象である。この(事象3)も想定外の事象であるため,当該事象における入力データ等は,診断クラウドサーバ2へデータ送信され,学習用データとして扱われる。また,診断クラウドサーバ2では,車両での認識結果を分析し,必要に応じて,ラベル付の見直しと追加学習用データの生成を行う。
【0052】
そして(事象4)は,図8Bの衝突に繋がる曲線(後方)よりも内側(左下)の領域にあり,回避困難な可能性もあるため,自動運転車はフェールオペレーションを起動させて,安全に停止させる。この(事象4)も想定外の事象であるため,当該事象における入力データ等は,診断クラウドサーバ2へデータ送信され,学習用データとして扱われる。また,診断クラウドサーバ2では,車両での認識結果を分析し,ラベル付の見直しと追加学習用データの生成を行う。追加学習用データは,管理サーバ3へ送信され,機能更新のために用いられる。
【0053】
本実施例では,想定外事象を学習することで,近しい事象での危険の回避や,危険な状況になりかける前に余裕を持った回避動作が可能になり,自動運転車の信頼性と安全性をより向上できる。なお,本実施例は,前述のような事象の分類が,診断クラウドサーバ2のデータ分類部21で行われることを前提としているが,エッジ装置の想定外事象判定部11や判断部5で行われても良い。
【0054】
図9は,診断クラウドサーバにおける処理を例を示すフローチャートである。まず,診断クラウドサーバ2がネットワーク20を介して想定外事象と判定されたデータをエッジ装置1から受信すると(ステップS901),データ分類部21が,当該事象の分類を行う(ステップS902)。さらに,所定の分類の想定外事象があった場合,学習用データ生成部22が,エッジ装置1から収集した画像等のデータに基づいて追加学習用データを生成する(ステップS903)。例えば,前述したような他車がカットインする事象の場合,(事象3)又は(事象4)に分類される想定外事象があったときに,追加学習用データが生成される。
【0055】
その後,診断クラウドサーバ2は,センサ7からの入力データ,例えば,前方,側方及び後方のセンサ7から取得した対象物の動き(速度,方向等)に関するデータ,を抽出する(ステップS904)。さらに,診断クラウドサーバ2は,抽出したデータを用いて機能更新データを作成し,当該機能更新データがエッジ装置1へ配信され,認識部4等のパラメータに反映される(ステップS905)。機能更新データを作成する際には,例えば,カットインに対して減速が有効であったか,減速率は妥当であったか,車線変更が有効であったか,などが評価される。また,エッジ装置1の機能が更新されると,例えば,カットインする他車の側面の認識率が向上する。
【0056】
なお,図9の例では,学習の実行や機能更新データの生成まで診断クラウドサーバ2が行っているが,前述したように,これらは管理サーバ3が行っても良い。
【0057】
以上に説明した分散システムによれば,エッジ装置1と診断クラウドサーバ2等の計算機とが連携して,自動稼働体における様々な想定外事象の発生時の状況データを効率よく収集できる。特に,想定外の回避動作や周囲環境変化があったと判定されたことをトリガに,エッジ装置1から判定時のセンサデータ等が診断クラウドサーバ2に送信されるので,収集データ量を縮減できる。そして,発生した想定外事象の状況データを分析し,その分析結果を反映した追加学習とパラメータの調整により,安全性と信頼性を継続的に向上させることが可能となる。
【実施例0058】
図10は,本発明の実施例2に係る分散システムの全体構成を示す図である。本実施例のエッジ装置1は,実施例1のエッジ装置1と異なり,自動稼働体の走行シーンを特定する走行シーン特定部101と,自動稼働体の位置情報を取得する位置検知部102と,をさらに備える。
【0059】
自動稼働体が自動運転車の場合,位置検知部102は,全地球測位システムであるGPS(Global Positioning System)や他の人工衛星からのデータを使って現在地データを取得する。走行シーン特定部101は,位置検知部102が取得した現在地データを受け取ると,自動運転車が走行しているシーンとして例えば道路の種類(一般道,高速道路,混雑が多い道路等)を特定し,その結果を想定外事象判定部11に送る。走行シーン特定部101は,地図情報のデータベースを有しており,地図データと現在地データに基づいて,走行シーンを特定する。なお,地図情報のデータベースは,エッジ装置1が有していなくても良い。例えば,エッジ装置1は,ネットワーク20を介して地図情報として受信したり,現在地データと共に走行シーンを特定するためのデータを位置検知部102によって受信したりしても良い。
【0060】
本実施例の想定外事象判定部11は,走行シーン特定部101で特定された走行シーン毎に異なる条件で想定外事象が発生したか否かを判定する。例えば,自動運転車が高速道路を走行しているときは,道路標識に関する認識が想定外となる場合よりも,他車との関係が想定外となる場合の方が,重要度が高い。このため,自動運転車が高速道路を走行しているときは,前者の場合よりも後者の場合の方が想定外事象と判定され易くする等により,後者の場合のデータを優先して診断クラウドサーバ2に送信できる。その他,自動運転車が都市を走行しているときは,人との関係の重要度を高め,自動運転車が郊外を走行しているときは,道路標識の認識に関する重要度を高める,などの条件設定が可能である。
【0061】
本実施例によれば,あらゆるデータを診断クラウドサーバ2に送信する場合と比べて,通信負荷が低減され,データ収集効率が向上する。なお,通信環境に余裕がある場合には,診断クラウドサーバ2が,現在地データ等を用いて走行シーンを特定し,走行シーン毎の重要度に応じて収集すべき事象を分類するようにしても良い。
【0062】
なお,本実施例における走行シーン特定部101は,位置検知部102が取得した現在地データを用いて走行シーンを特定するため,走行シーンを精度よく特定でき,結果としてデータ収集の精度も向上する。但し,位置検知部102が無い場合でも,センサ7によって取得した走行速度に基づいて,走行シーンを特定できる場合がある。例えば,走行速度が時速100km以上の場合,走行シーン特定部101は,高速道路を走行していることを特定することが可能である。
【実施例0063】
図11は,本発明の実施例3に係る分散システムの全体構成を示す図である。本実施例のエッジ装置1は,実施例1のエッジ装置1と異なり,データ整形部12が整形した通信データを一時保持する第3のメモリ103をさらに備える。
【0064】
本実施例のエッジ装置1は,データ整形部12からの通信データが第3のメモリ103を介さずに直ちに診断クラウドサーバ2へ送信されるモードと,データ整形部12からの通信データが第3のメモリ103を介して一次保持後に診断クラウドサーバ2へ送信されるモードと,を切り替える機能を有している。これにより,例えば,自動稼働体である自動運転車が,トンネル内や山間部等の電波状態が悪い場所を走行した場合でも,診断クラウドサーバ2にデータが確実に送信される。
【0065】
本発明は,前述した実施例に限定されるものではなく,様々な変形が可能である。例えば,前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり,必ずしも説明した全ての構成を備えるものに限定されるものではない。また,ある実施例の構成の一部を他の実施例の構成に置き換えたり,追加したりすることが可能である。
【符号の説明】
【0066】
1…エッジ装置,1a…運転支援装置,2…診断クラウドサーバ,3…管理サーバ,4…認識部,5…判断部,6…駆動機構制御部,6a…エンジン制御部,6b…ステアリング制御部,7…センサ,7a…カメラ,7b…レーダ,8…通信部,9…第1のメモリ,10…第2のメモリ,11…想定外事象判定部,12…データ整形部,13…車両,14…ECU,15a…エンジン,15b…ステアリング,21…データ分類部,22…学習用データ生成部,31…学習部,32…機能更新データ生成部,51…自車,52…他車,60…リスクデータベース,101…走行シーン特定部,102…位置検知部,103…第3のメモリ,400…計算機,401…プロセッサ,402…メモリ,403…外部記憶装置,404…音声出力装置,405…生体情報入力装置,406…入力装置,407…出力装置,408…通信装置,409…データバス
図1
図2
図3
図4
図5
図6
図7
図8A
図8B
図9
図10
図11