IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日産自動車株式会社の特許一覧 ▶ ルノー エス.ア.エス.の特許一覧

<>
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図1
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図2
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図3
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図4
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図5
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図6
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図7
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図8
  • 特許-遠隔指令制御装置及び遠隔指令制御方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-15
(45)【発行日】2024-11-25
(54)【発明の名称】遠隔指令制御装置及び遠隔指令制御方法
(51)【国際特許分類】
   B60R 16/02 20060101AFI20241118BHJP
   B60R 25/24 20130101ALI20241118BHJP
   B60R 16/037 20060101ALI20241118BHJP
   B60H 1/00 20060101ALI20241118BHJP
【FI】
B60R16/02 660B
B60R25/24
B60R16/037
B60H1/00 101F
B60H1/00 101Q
【請求項の数】 13
(21)【出願番号】P 2021037487
(22)【出願日】2021-03-09
(65)【公開番号】P2022137812
(43)【公開日】2022-09-22
【審査請求日】2023-11-07
(73)【特許権者】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(73)【特許権者】
【識別番号】507308902
【氏名又は名称】ルノー エス.ア.エス.
【氏名又は名称原語表記】RENAULT S.A.S.
【住所又は居所原語表記】122-122 bis, avenue du General Leclerc, 92100 Boulogne-Billancourt, France
(74)【代理人】
【識別番号】110000486
【氏名又は名称】弁理士法人とこしえ特許事務所
(72)【発明者】
【氏名】陳 放歌
(72)【発明者】
【氏名】寺口 剛仁
(72)【発明者】
【氏名】岡本 雅己
(72)【発明者】
【氏名】志小田 雄宇
(72)【発明者】
【氏名】井上 裕史
(72)【発明者】
【氏名】河西 純
(72)【発明者】
【氏名】大久保 翔太
(72)【発明者】
【氏名】西山 乘
【審査官】池田 晃一
(56)【参考文献】
【文献】特開2006-315462(JP,A)
【文献】特開2006-240527(JP,A)
【文献】特開2020-201792(JP,A)
【文献】特表2018-511980(JP,A)
【文献】特開2019-168893(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 16/02 ; 16/037
B60R 25/24
B60H 1/00 - 3/06
H04Q 9/00
(57)【特許請求の範囲】
【請求項1】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と
前記車内の状況に基づいて、前記車内における生物の存否と、前記車内に存在する生物を認識する生物認識部と、
前記生物のデータに基づいて決定された報知先に、前記制御データを出力する出力部と、を備える遠隔指令制御装置。
【請求項2】
前記判定部は、
前記生物認識部により前記生物が認識された場合に、前記状況データと前記機器制御指令データと前記生物のデータとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記生物にとって適切であるか否かを判定し、
前記データ生成部は、前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記生物にとって適切ではないと判定された場合には、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成する請求項1に記載の遠隔指令制御装置。
【請求項3】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、
前記車内の状況に基づいて、前記車内における生物の存否と、前記車内に存在する生物を認識する生物認識部と、を備え、
前記状況取得部は、前記車内の温度及び湿度のうち少なくともいずれか一方を含む前記状況データを取得し、
前記判定部は、前記生物が前記車内に存在する場合に、
前記生物認識部により認識された前記生物に対応付けられた前記車両の空調機器の適切な制御範囲に関する対応情報を参照し、前記機器制御指令に基づく前記空調機器の制御が前記生物にとって適切であるか否かを判定し、
前記データ生成部は、前記判定部により、前記機器制御指令に基づく前記空調機器の制御が前記生物にとって適切ではないと判定された場合には、前記機器制御指令に基づく前記空調機器の制御を禁止又は停止する制御に関する制御データを生成する遠隔指令制御装置。
【請求項4】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、
前記車内の状況に基づいて、前記車内における生物の存否と、前記車内に存在する生物を認識する生物認識部と、を備え、
前記状況取得部は、前記車両の音響機器により前記車内に出力されている音声の音量を含む前記状況データを取得し、
前記判定部は、前記生物が前記車内に存在する場合に、
前記生物認識部により認識された前記生物に対応付けられた前記音響機器の適切な制御範囲に関する対応情報を参照し、前記機器制御指令に基づく前記音響機器の制御が前記生物にとって適切であるか否かを判定し、
前記データ生成部は、前記判定部により、前記機器制御指令に基づく前記音響機器の制御が前記生物にとって適切ではないと判定された場合には、前記機器制御指令に基づく前記音響機器の制御を禁止又は停止する制御に関する制御データを生成する遠隔指令制御装置。
【請求項5】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、を備え、
前記判定部は、
前記機器制御指令が、夜間以外の時間帯に前記車両の室内灯を点灯させる制御指令である場合、前記機器制御指令が、前記車両の前方に衝突可能性のある障害物が存在しないときに前記車両の警音器を作動させる制御指令である場合、又は、前記機器制御指令が、前記車両のラジオにより受信される電波の周波数を所定の周波数以外の周波数に設定する制御指令である場合に、
前記機器制御指令に基づく前記車載機器の制御が前記車内又は前記車外の状況において適切ではないと判定する遠隔指令制御装置。
【請求項6】
前記判定部は、
前記機器制御指令が、前記車両が走行しているときに前記車両のドアを解錠又は開放する制御指令である場合、又は、前記機器制御指令が、前記車両が所定車速以上の車速で走行しているときに前記車両の窓又はルーフを開放する制御指令である場合に、
前記機器制御指令に基づく前記車載機器の制御が前記車両の状況において適切ではないと判定する請求項1に記載の遠隔指令制御装置。
【請求項7】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、を備え、
前記判定部は、前記車両が運転者により手動運転されているときに
前記機器制御指令が、前記車両の運転席の位置及び/又は姿勢を調整する制御指令である場合、又は、前記機器制御指令が、前記車両のナビゲーションシステムの表示画面を現在の表示画面とは異なる表示画面に変更する制御指令である場合に、
前記機器制御指令に基づく前記車載機器の制御が前記車両の状況及び/又は前記車両の前記車内の状況において適切ではないと判定する遠隔指令制御装置。
【請求項8】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、を備え、
前記判定部は、
入力層及び出力層を含み、前記入力層への入力データとして前記状況データと前記機器制御指令データが入力され、前記出力層からの出力データとして適切度が出力されるニューラルネットワークと、
前記入力データと前記出力データとを対応付けた教師データを用いて前記ニューラルネットワークを学習させる学習部と、
前記学習部により学習させられた前記ニューラルネットワークに、前記入力データとして前記状況データと前記機器制御指令データを入力し、前記ニューラルネットワークから、前記入力データに対応する前記出力データとして前記適切度を出力させることで前記適切度を推定する推定部とを備え、
前記適切度に応じて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、
前記適切度は、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切である度合いである遠隔指令制御装置。
【請求項9】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、を備え、
前記判定部は、
前記状況データ及び前記機器制御指令データを含む入力データと、適切度を含む出力データとを対応付けた教師データを用いて学習させられ、前記入力データとして前記状況データ及び前記機器制御指令データが入力されると、前記入力データに対応する前記出力データとして前記適切度を出力する学習済みニューラルネットワークを備え、
前記適切度に応じて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、
前記適切度は、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切である度合いである遠隔指令制御装置。
【請求項10】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得する状況取得部と、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信する指令受信部と、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定する判定部と、
前記判定部により、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成するデータ生成部と、
予め設定された時間内において、前記判定部により前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定された回数を計数する計数部と、を備え、
前記データ生成部は、
前記計数部により計数された前記回数に応じて、前記機器制御指令に基づく前記車載機器の制御を停止する制御に関する警告データの態様を決定し、
決定された前記態様で出力される前記警告データを生成する遠隔指令制御装置。
【請求項11】
前記判定部により前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であると判定された場合には、前記機器制御指令データに基づいて、前記車載機器を制御する機器制御部とをさらに備える請求項1~10のいずれかに記載の遠隔指令制御装置。
【請求項12】
前記データ生成部は、
前記判定部により前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定された場合には、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止させる制御指令データを生成する請求項1~11のいずれかに記載の遠隔指令制御装置。
【請求項13】
車両の状況、前記車両の車内の状況及び前記車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得し、
前記車両から離れた位置に存在する通信機器から、前記車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信し、
前記状況データと前記機器制御指令データとに基づいて、前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、
前記機器制御指令に基づく前記車載機器の制御が前記車両の状況、前記車内の状況及び前記車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、前記機器制御指令に基づく前記車載機器の制御を禁止又は停止する制御に関する制御データを生成し、
前記車内の状況に基づいて、前記車内における生物の存否と、前記車内に存在する生物を認識し、
前記生物のデータに基づいて決定された報知先に、前記制御データを出力する遠隔指令制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔指令制御装置及び遠隔指令制御方法に関するものである。
【背景技術】
【0002】
乗員が乗車する前に車室内を予め空調するプレ空調を実行するための遠隔操作が実行された場合に、プレ空調が実行されるように空調部を制御し、車両用シートをシート前後方向に移動させるシート移動部を制御する車載装置が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-029180号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、遠隔操作による車載装置の制御が誤操作によるものであっても、誤った遠隔操作によって車載装置の制御が実行又は継続されてしまうという問題がある。
【0005】
本発明が解決しようとする課題は、誤った遠隔操作によって車載装置の制御が実行又は継続されることを抑制できる遠隔指令制御装置及び遠隔指令制御方法を提供することである。
【課題を解決するための手段】
【0006】
本発明は、車両の状況、車両の車内の状況及び車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得し、通信機器から、車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信し、状況データと機器制御指令データとに基づいて、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、機器制御指令が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、機器制御指令に基づく車載機器の制御を禁止又は停止する制御に関する制御データを生成することによって上記課題を解決する。
【発明の効果】
【0007】
本発明によれば、誤った遠隔操作によって車載装置の制御が実行又は継続されることを抑制できる。
【図面の簡単な説明】
【0008】
図1図1は、本実施形態における遠隔指令制御装置の構成の一例を示す図である。
図2図2は、本実施形態に係る遠隔指令制御方法の手順の一例を示す図である。
図3図3は、本実施形態に係る遠隔指令制御装置の構成の一例を示す図である。
図4図4は、本実施形態に係る遠隔指令制御装置の構成の一例を示す図である。
図5図5は、本実施形態に係る遠隔指令制御装置の構成の一例を示す図である。
図6図6は、本実施形態に係る計数部の制御の手順の一例を示す図である。
図7図7は、本実施形態に係る通常停止制御の手順の一例を示す図である。
図8図8は、本実施形態に係る緊急停止制御の手順の一例を示す図である。
図9図9は、本実施形態に係る緊急連絡制御の手順の一例を示す図である。
【発明を実施するための形態】
【0009】
≪第1実施形態≫
本発明に係る遠隔指令制御装置の一実施形態を図面に基づいて説明する。図1は、本実施形態における遠隔指令制御装置100の構成の一例を示すブロック図である。遠隔指令制御装置100は、車両10に搭載された装置であって、車両10から離れた位置の通信機器20と通信を行い、情報の授受が可能なサーバである。車両10は、自動運転による走行と運転者の手動運転による走行の両方が可能であり、運転者の操作によって自動運転から手動運転に、手動運転から自動運転に切り替えを行うことができる。通信機器20は、車両10から離れた位置にいる車外ユーザによって操作される機器である。車外ユーザは、通信機器20を介して、車両10の車載機器300の機器制御指令データを車両10に送信することで車載機器300を遠隔操作することができる。車載機器300の遠隔操作が可能な通信機器20は、あらかじめ登録されている。通信機器20は、例えば、スマートフォン、携帯電話機、可搬コンピュータ等を用いることができる。また、遠隔指令制御装置100は、車両10に搭載されていることに限らず、車両10から離れた位置にあることとしてもよい。
【0010】
車両10は、遠隔指令制御装置100と、車両状況検出部200と、車内状況検出部210と、車外状況検出部220とを備える。遠隔指令制御装置100は、コントローラ110と通信装置を備える。コントローラ110は、ハードウェア及びソフトウェアを有するコンピュータを備えており、このコンピュータはプログラムを格納したROM(Read Only Memory)と、ROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)を含むものである。なお、動作回路としては、CPUに代えて又はこれとともに、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などを用いることができる。コントローラ110は、機能ブロックとして、少なくとも生物認識部111と、状況取得部112と、指令受信部113と、判定部114と、データ生成部115と、出力部116と、機器制御部117とを含んで構成され、上記各機能を実現する又は各処理を実行するためのソフトウェアと、ハードウェアとの協働により各機能を実行する。具体的には、コントローラ110は、まず、通信機器20から送信される車両10の車載機器300を制御する機器制御指令データを取得し、車両10の状況、車内の状況及び車外の状況のうち少なくともいずれかひとつを含む状況データを取得し、状況データ及び機器制御指令データに基づいて、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切であるか否かを判定する。
【0011】
次に、コントローラ110は、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切ではないと判定された場合には、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する制御データを生成する。すなわち、車両10の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切ではない車載機器300の制御は、誤った遠隔操作による制御であるとみなされる。また、機器制御指令に基づく車載機器300の制御を禁止する制御は、機器制御指令に基づく車載機器300の制御が実行されるのを禁止する制御である。例えば、機器制御指令が車両10の警音器を作動させる制御指令である場合には、コントローラ110は、警音器を作動させる制御を実行しない。一方で、機器制御指令に基づく車載機器300の制御を停止する制御は、機器制御指令に基づく車載機器300の制御が実行された後に、車載機器300の当該制御が継続されるのを停止する制御である。当該制御は、例えば、車内温度を下げるよう空調機器が制御されている場合に、実行中の空調機器の制御を停止する停止制御である。なお、本実施形態では、コントローラ110が有する機能を7つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ110の機能は必ずしも7つのブロックに分ける必要はなく、6つ以下の機能ブロック、あるいは、8つ以上の機能ブロックで分けてもよい。
【0012】
生物認識部111は、車内状況検出部210により検出された車両10の車内の状況から、車両10の車内に生物がいるか否かを判定し、生物がいると判定された場合には、当該生物を認識する。例えば、生物認識部111は、車内状況検出部210の車内カメラ211により撮像された車内画像から、画像認識により生物が特定できた場合には、車内に生物がいると判定する。また、生物認識部111は、画像認識により、当該生物を認識する。生物は、例えば、人間や犬や猫が挙げられる。また、生物認識部111は、車内マイク212により取得される車内の音声から生物を認識してもよい。さらに、生物認識部111は、検出された生物が人間である場合、年齢と状態を認識する。状態は、覚醒状態及び睡眠状態のいずれかである。本実施形態では、人間の年齢や状態により、当該人間が車載機器300の誤操作の停止ができるか否かが判定される。例えば、人間が幼児又は高齢者である場合や睡眠状態である場合には、当該人間は車載機器300の誤操作による制御を停止するための操作を行うことが難しい場合がありうる。生物認識部111は、車両10の車内の生物の有無の判定結果及び生物の識別結果を生物データとして記憶する。また、生物認識部111は、車内の生物の属性を認識してもよい。属性は、例えば、人間及びペットのいずれであるかの種別に分けられる。人間かペットかによって、車載機器300の誤操作の停止ができるか否かが判定される。
【0013】
状況取得部112は、車両10の状況、車両10の車内の状況及び車両10の車外の状況のうち少なくともいずれかひとつを含む状況データを取得する。車両10の状況に関する状況データは、車両10が第1走行中、第2走行中及び停車中のいずれであるかに関するデータ、車両10が手動運転中及び自動運転中のいずれであるかに関するデータ、車両10のドアロックが施錠状態及び解錠状態のいずれであるかに関するデータ、車両10のドア、窓及びルーフがそれぞれ開状態及び閉状態のいずれであるかに関するデータを含む。状況取得部112は、車両10の車速センサ201から取得される車両10の車速に基づいて、車両10が第1走行中、第2走行中及び停車中のいずれであるかを判定する。具体的には、状況取得部112は、車速が0km/時より大きい値で所定の車速以下である場合には、第1走行中と判定し、車速が所定の車速より高い場合には、第2走行中と判定し、車速が0km/時である場合には、停車中と判定し、判定結果に関するデータを取得する。状況取得部112は、車両10に設定されている運転モードが手動運転モード及び自動運転モードのいずれであるかに基づいて、車両10が手動運転中及び自動運転中のいずれであるかに関するデータを取得する。また、状況取得部112は、車両10のドアロックセンサ202から取得されるドアロックの施錠信号及び解錠信号に基づいて、車両10のドアロックが施錠状態及び解錠状態のいずれであるかに関するデータを取得する。状況取得部112は、開閉センサ203により取得される車両10のドア、窓及びルーフの開閉データから、車両10のドア、窓及びルーフがそれぞれ開状態及び閉状態のいずれであるかに関するデータを取得する。
【0014】
車両10の車内の状況に関する状況データは、車内温度データ、車内湿度データ、音量データ、車内照明データ、機器制御状況データ及び時間データを含む。状況取得部112は、車内温度センサ214により検出された車内温度に関するデータを取得する。状況取得部112は、車内湿度センサ215により検出された車内湿度に関するデータを取得する。状況取得部112は、車内に設置される音量測定器213により測定される音量の大きさに関するデータを取得する。状況取得部112は、車内の照明設定記録部216及び/又は車内の光センサ217により検出される車内の照明の点灯及び消灯に関するデータを取得する。状況取得部112は、音響機器やラジオといった車内の車載機器300のオン及びオフに関する機器制御状況データを取得する。状況取得部112は、車内の時計218から、現在時刻に関するデータを取得する。
【0015】
車両10の車外の状況に関する状況データは、車外温度データ、車外湿度データ、車外障害物データである。状況取得部112は、車外温度センサ221により検出された車両10の車外温度に関するデータを取得する。状況取得部112は、車外湿度センサ222により検出された車両10の車外湿度に関するデータを取得する。状況取得部112は、車外障害物センサ223により検出される、車両10の進行方向前方に存在する障害物の位置に関するデータを取得する。
【0016】
指令受信部113は、通信装置120を介して、通信機器20から送信される車載機器300の機器制御指令データを受信する。機器制御指令データは、車外ユーザによって入力された車載機器300の機器制御指令に関するデータである。
【0017】
判定部114は、機器制御指令データと状況データとに基づいて、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切であるか否かを判定する。本実施形態では、あらかじめ、機器制御指令の対象である車載機器300ごとに、機器制御指令が適切であるか否かを判定するための所定の条件が設定されている。例えば、機器制御指令の対象となる車載機器300が空調機器であれば、判定のための所定の条件は、車内に生物が存在する場合に、車内の温度及び湿度を所定の範囲外の温度及び湿度に調整するように空調機器を制御する機器制御指令であるか否かである。機器制御指令の対象となる車載機器300が警音器であれば、判定のための所定の条件は、警音器を作動させるべき障害物が車両10の前方に存在するか否かである。また、温度及び湿度に設定されている所定の範囲は、車内の生物ごとに適切な範囲があらかじめ設定されている。例えば、温度及び湿度の適切な範囲は、車内に生物が存在する場合に、当該生物に不快感を与えることや当該生物の健康を害することのない範囲に設定される。
【0018】
そして、判定部114は、機器制御指令の対象である車載機器300を特定し、機器制御指令データ、生物の有無や属性に関する生物データ、車両10の状況、車内の状況及び車外の状況のうち少なくともいずれかに関する状況データに基づいて、当該車載機器300ごとに設定されている所定の条件が満たされているか否かを判定する。そして、判定部114は、車載機器300ごとに設定されている所定の条件が満たされていると判定される場合には、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切であると判定する。また、判定部114は、車載機器300ごとに設定されている所定の条件が満たされていると判定されない場合には、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切ではないと判定する。
【0019】
具体的には、判定部は、車内の状況に関する状況データから、車内の生物を認識して、機器制御指令データと、状況データと、生物データとに基づいて、車載機器300ごとに設定されている所定の条件が満たされているか否かを判定する。例えば、空調機器に設定されている所定の条件が、車内の温度を28度より高い温度に調整するように空調機器を制御する機器制御指令であるか否かという条件であるとする。この場合、例えば、車内に人間が存在し、車内の温度が26度である場合に、機器制御指令が、車内の温度を5度上げるように空調機器を制御する機器制御指令であったときには、空調機器の制御により、車内の温度が28度より高い温度に調整されるため、判定部114は、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。
【0020】
また、判定部114は、機器制御指令に基づく車載機器300の制御が乗員にとって違和感のある制御である場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。例えば、判定部114は、機器制御指令データと音量データとに基づいて、機器制御指令が、音響機器の現在の音量を所定値以上の音量に調整するように音響機器を制御する機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。音響機器の音量に設定された所定値の適切な範囲は、車内に生物が存在する場合に、当該生物ごとに、不快感を与えることのない範囲に設定される。また、判定部114は、機器制御指令データと時間データとに基づいて、夜間以外の時間帯において、機器制御指令が、室内灯を点灯させる機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。また、判定部114は、機器制御指令データと車外障害物データとに基づいて、車両10の前方に衝突可能性のある障害物が存在しない状況において、機器制御指令が、警音器を作動させる機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。また、判定部114は、機器制御指令データと機器制御状況データとに基づいて、機器制御指令が、車内のラジオにより受信されている電波の周波数を、所定の周波数以外の周波数に設定する機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。所定の周波数は、特定の放送局が送信する電波の周波数である。
【0021】
また、判定部114は、機器制御指令に基づく車載機器300の制御が、乗員にとって車両10の第1走行中の制御として違和感のある制御である場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。具体的には、判定部114は、機器制御指令データと車両10の状況に関する状況データとに基づいて、車両10が第1走行中又は第2走行中に、機器制御指令が、車両10のドアロックを解錠する、又は車両10のドアを開状態にする機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。また、判定部114は、機器制御指令データと、車両10の状況に関する状況データとに基づいて、車両10が第2走行中に、機器制御指令が、車両10の窓又はルーフを開状態に制御する機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。また、判定部114は、機器制御指令データと車両10の状況に関するデータとに基づいて、機器制御指令に基づく車載機器300の制御が、運転者による車両10の手動運転を妨害する制御である場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。具体的には、判定部114は、機器制御指令データと車両10の状況に関する状況データとに基づいて、車両10が手動運転であるときに、機器制御指令が、運転者座席の位置及び/又は姿勢を変更する制御を行う機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。また、判定部114は、機器制御指令データと車両10の状況に関する状況データとに基づいて、車両10が手動運転であるときに、機器制御指令が、ナビゲーションシステムに表示されている画面を、現在の表示画面とは異なる表示画面に切り替える制御を行う機器制御指令であると判定される場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。
【0022】
データ生成部115は、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する制御データを生成する。制御データは、制御指令データ及び警告データを含む。制御指令データは、機器制御部117に出力される制御指令に関するデータである。すなわち、制御指令データは、ユーザの操作を介さずに、コントローラ110によって、機器制御指令に基づく車載機器300の制御を自動で禁止又は停止する制御信号である。また、警告データは、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する情報をユーザに報知するためのデータである。すなわち、警告データは、ユーザの操作により、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御を実行してもらうためにユーザに報知される情報である。例えば、警告データは、機器制御指令に基づく車載機器300の制御を停止する停止制御を行うための操作指示内容が表示されている画像である。当該画像が、ユーザの通信機器の表示部に表示される。警告データが報知されるユーザは、車内の乗員、車外ユーザ、及びサービスセンタのオペレータを含む。本実施形態では、車外ユーザの誤操作により車載機器300が適切ではない制御を実行してしまっている場合に、警告データの報知を受けた車内の乗員、車外ユーザ又はサービスセンタのオペレータが当該制御の実行を停止する操作を行うことで、誤操作による車載機器の制御を停止させる。具体的には、車内の乗員は、車載機器300を直接操作することで、車載機器300の制御を停止する制御を実行させることができる。また、車外ユーザ及びサービスセンタのオペレータは、通信機器20を介して、車載機器300の制御を停止させる制御指令データを出力することで、車載機器300を停止する制御を実行させることができる。また、警告データは、停止制御の対象となる車載機器300を強調するための制御信号であってもよい。例えば、車載機器300にランプがついている場合には、当該ランプを点滅させる制御によって、車内の乗員に、停止制御の対象となる車載機器300を強調表示させる。
【0023】
出力部116は、データ生成部115により生成されたデータを出力する。具体的には、出力部116は、通信装置120を介して、車外ユーザの通信機器20、車内の通信機器20a、緊急連絡先ユーザの通信機器20b、及びサービスセンタの通信機器20cに警告データを出力する。具体的には、出力部116は、それぞれの通信機器の表示画面に警告データで示される操作指示内容の画像を表示させる制御信号を出力する。また、警告データの報知先は、生物データに基づいて決定される。例えば、車内の生物の属性がペットである場合、出力部116は、警告データの報知先を、車外ユーザとサービスセンタのオペレータに決定する。ペットには、車載機器300の制御を禁止又は停止する制御のための操作をする能力がないため、車外の人間に報知する必要があるためである。また、車内の生物の属性が人間である場合、出力部116は、車外ユーザ及びサービスセンタのオペレータに加えて、車内のユーザを報知先に決定する。人間は車載機器300の制御を禁止又は停止する制御のための操作を行うことができると考えられるため、車内の人間自身によって車載機器300を停止させられるためである。ただし、車内の生物の属性が人間であっても、例えば、当該人間が幼児又は高齢者である場合には、車載機器を操作することが難しい場合も考えられるため、車内の人間だけでなく、車外の人間にも報知する。また、車内の人間が睡眠状態である場合には、出力部116は、警告データの報知先を、車外ユーザとサービスセンタのオペレータに決定する。また、出力部116は、車内の状況に関する状況データと機器制御指令データの内容を警告データとともに報知することとしてもよい。
【0024】
機器制御部117は、通信機器20から送信された機器制御指令データに基づいて、車載機器300を制御する。また、機器制御部117は、データ生成部115により生成された、車載機器300の制御を禁止又は停止する制御に関する制御指令データが入力された場合には、車載機器300の制御を禁止又は停止する制御を実行する。また、機器制御部117は、警告データが報知されたユーザによって車載機器300の制御を停止させる制御指令データが入力された場合には、車載機器300の制御を停止する制御を実行する。
【0025】
通信装置120は、車両10、車外ユーザが操作する通信機器20、車内ユーザが操作する通信機器20aと、緊急連絡先ユーザが操作する通信機器20bと、サービスセンタのオペレータが操作する通信機器20cと通信を行い、相互に情報の授受を行う。具体的には、通信装置120は、各通信機器に警告データを送信し、各通信機器から車載機器300の制御を停止する制御指令データを受信する。
【0026】
車両状況検出部200は、車両10の状況を検出する。車両状況検出部200は、車速センサ201と、ドアロックセンサ202と、開閉センサ203と、を備える。車速センサ201は、車両10のドライブシャフトなどの駆動系の回転速度を計測し、計測結果に基づいて車両10の車速を車速データとして検出する。ドアロックセンサ202は、ドアロックに設置されるセンサであって、ドアの開錠を示す開錠信号又は施錠を示す施錠信号を取得する。開閉センサ203は、ドア、窓、及びルーフに設置されるセンサであって、ドア、窓、及びルーフがそれぞれ開状態及び閉状態のいずれであるかを検出する。
【0027】
車内状況検出部210は、車両10の車内の状況を検出する。車内状況検出部210は、車内カメラ211と、車内マイク212と、音量測定器213と、車内温度センサ214と、車内湿度センサ215と、照明設定記録部216と、光センサ217と、時計218とを含む。車内カメラ211は、車両10内を撮像するように設置される。例えば、車内カメラ211は、赤外線LEDと赤外線カメラを用いたカメラデバイス等が用いられる。車内マイク212は、第1ユーザが発する音声を取得する。音量測定器213は、マイクにより集音された車内の音声の音量を測定する。車内温度センサ214は、車両10の車内の温度を検出する。車内湿度センサ215は、車両10の車内の湿度を検出する。照明設定記録部216は、車両10の室内灯の照明設定を記録する。具体的には、照明設定記録部216は、室内灯の点灯及び消灯の照明データを取得する。光センサ217は、車両10の室内の明るさを検出する。時計218は、現在時刻のデータを取得する。
【0028】
車外状況検出部220は、車両10の車外の状況を検出する。車外状況検出部220は、車外温度センサ221と、車外湿度センサ222と、車外障害物センサ223とを備える。車外温度センサ221は、車両10の車外の温度を検出する。車外湿度センサ222は、車両10の車外の湿度を検出する。車外障害物センサ223は、車両10周囲の障害物の位置のデータを取得する。車外障害物センサ223は、レーザーレーダ、ミリ波レーダなど(LRF等)、LiDARユニットを用いることができる。障害物は、工事現場、事故現場、交通制限、自車両以外の自動車(他車両)、オートバイ、自転車、歩行者を含む。
【0029】
次に、車両10の車載機器300について説明する。車載機器300は、空調機器と、音響機器と、室内灯と、警音器と、ラジオと、ドアロックと、窓と、ルーフと、運転者座席と、ナビゲーションシステムとを備える。車載機器300は、車両10の乗員の操作により制御される。また、車載機器300は、遠隔操作により制御される。
【0030】
次に、図2を用いて、本実施形態に係る遠隔指令制御方法の手順を説明する。図2、遠隔指令制御装置100における遠隔指令制御方法の手順を示すフローチャートである。
【0031】
ステップS1では、コントローラ110は、通信機器20から機器制御指令データを取得したか否かを判定する。コントローラ110は、通信機器20から機器制御指令データを受信した場合には、通信機器20から機器制御指令データを取得したと判定し、ステップS2に進む。通信機器20から機器制御指令データの送信がない場合には、通信機器20から機器制御指令データを取得したと判定されない。通信機器20から機器制御指令データを取得したと判定されない場合には、コントローラ110は、ステップS1に戻り、以下、フローを繰り返す。ステップS2では、コントローラ110は、車両10の状況、車両10の車内の状況、及び車両10の車外の状況のうち少なくともいずれか一方を含む状況データを取得する。具体的には、コントローラ110は、車両状況検出部200、車内状況検出部210、車外状況検出部220により検出された検出データから、状況データを取得する。ステップS3では、コントローラ110は、車内の生物の有無、及び生物の属性に関する生物データを取得する。具体的には、コントローラ110は、車内状況検出部210により検出される車内状況に関する状況データに基づいて、車両10の車内に生物が存在するか否かを判定し、存在すると判定される場合には、生物を識別し、生物の有無及び生物の識別を生物データとして取得する。
【0032】
ステップS4では、コントローラ110は、機器制御指令データと、生物データと、状況データとに基づいて、機器制御指令に基づく車載機器300の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定する。コントローラ110は、機器制御指令に基づく車載機器300の制御が適切であると判定される場合には、ステップS7に進む。コントローラ110は、機器制御指令に基づく車載機器300の制御が適切であると判定されない場合には、ステップS5に進む。
【0033】
ステップS5では、コントローラ110は、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する制御データを生成する。制御データは、制御指令データと警告データを含む。制御指令データは、ユーザの操作を介さずに、コントローラ110によって機器制御指令に基づく車載機器300の制御を自動で禁止又は停止させるための制御指令データである。また、警告データは、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する情報をユーザに報知するためのデータである。ステップS6では、コントローラ110は、ステップS5で生成された制御指令データに基づいて、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御を実行する。また、コントローラ110は、車内ユーザや車外ユーザ、サービスセンタのオペレータの通信機器に警告データを出力してもよい。そして、警告データの報知を受けたユーザの操作によって、車載機器300の制御を停止する制御指令データが入力された場合に、コントローラ110は、当該制御指令データに基づいて、機器制御指令に基づく車載機器300の制御を停止する制御を実行する。ステップS6の制御が完了すると、フローが終了する。ステップS7では、コントローラ110は、機器制御指令データに基づいて、車載機器300を制御する。ステップS7の制御が完了すると、フローが終了する。
【0034】
以上のように、本実施形態では、車両の状況、車両の車内の状況及び車両の車外の状況のうち少なくともいずれか一方を含む状況データを取得し、車両から離れた位置に存在する通信機器から、車両の車載機器を制御する機器制御指令に関する機器制御指令データを受信し、状況データと機器制御指令データとに基づいて、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切ではないと判定される場合に、機器制御指令に基づく車載機器の制御を禁止又は停止する制御に関する制御データを生成する。これにより、誤った遠隔操作によって車載装置の制御が実行又は継続されることを抑制できる。
【0035】
また、本実施形態では、車内の状況に基づいて、車内における生物の存否と、車内に存在する生物を認識し、生物が認識された場合に、状況データと機器制御指令データと生物のデータとに基づいて、機器制御指令に基づく車載機器300の制御が生物にとって適切であるか否かを判定し、機器制御指令に基づく車載機器300の制御が生物にとって適切ではないと判定された場合には、機器制御指令に基づく車載機器300の制御を禁止又は停止する制御に関する制御データを生成する。これにより、車内の生物にとって適切ではない車載機器300の制御が誤操作によって実行されてしまう場合に、その誤操作による制御が実行又は継続されることを抑制できる。
【0036】
また、本実施形態では、車内の温度及び湿度のうち少なくともいずれか一方を含む状況データを取得し、生物が車内に存在する場合に、認識された生物に対応付けられた車両の空調機器の適切な制御範囲に関する対応情報を参照し、機器制御指令に基づく空調機器の制御が生物にとって適切であるか否かを判定する。これにより、車内の温度及び湿度に基づいて、遠隔操作による空調機器の制御が車内の生物にとって適切ではない場合に、当該遠隔操作が誤操作であると判定できる。
【0037】
また、本実施形態では、車両の音響機器により車内に出力されている音声の音量を含む状況データを取得し、生物が車内に存在する場合に、認識された生物に対応付けられた音響機器の適切な制御範囲に関する対応情報を参照し、機器制御指令に基づく音響機器の制御が生物にとって適切であるか否かを判定する。これにより、車内に出力されている音声の音量に基づいて、遠隔操作による音響機器の制御が車内の生物にとって適切ではない場合に、当該遠隔操作が誤操作であると判定できる。
【0038】
また、本実施形態では、機器制御指令が、夜間以外の時間帯に車両の室内灯を点灯させる制御指令である場合、機器制御指令が、車両の前方に衝突可能性のある障害物が存在しないときに車両の警音器を作動させる制御指令である場合、又は、機器制御指令が、車両のラジオにより受信される電波の周波数を所定の周波数以外の周波数に設定する制御指令である場合に、機器制御指令に基づく車載機器の制御が車内又は車外の状況において適切ではないと判定する。これにより、車両の乗員にとって違和感のある車載機器の制御が実行されることを抑制できる。
【0039】
また、本実施形態では、機器制御指令が、車両が走行しているときに車両のドアを解錠又は開放する制御指令である場合、又は、機器制御指令が、車両が所定車速以上の車速で走行しているときに車両の窓又はルーフを開放する制御指令である場合に、機器制御指令に基づく車載機器の制御が車両の状況において適切ではないと判定する。これにより、車両走行中に、車両の乗員によって違和感のある車載機器の制御が実行されることを抑制できる。
【0040】
また、本実施形態では、車両が運転者により手動運転されているときに、機器制御指令が、車両の運転席の位置及び/又は姿勢を調整する制御指令である場合、又は、機器制御指令が、車両のナビゲーションシステムの表示画面を現在の表示画面とは異なる表示画面に変更する制御指令である場合に、機器制御指令に基づく車載機器の制御が車両の状況及び/又は車両の車内の状況において適切ではないと判定する。これにより、車両を運転者が手動運転しているときに、遠隔操作による車載機器の制御が運転者の運転を妨げることを防止できる。
【0041】
また、本実施形態では、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であると判定された場合には、機器制御指令データに基づいて、車載機器を制御する。これにより、適切な遠隔操作によって車載機器を制御することができる。
【0042】
また、本実施形態では、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切ではないと判定された場合には、機器制御指令に基づく車載機器の制御を禁止又は停止させる制御指令データを生成する。これにより、ユーザの操作なしに機器制御指令に基づく車載機器の制御を禁止又は停止できる。
【0043】
≪第2実施形態≫
次に、図3を用いて、第2実施形態に係る遠隔指令制御装置100について説明する。第2実施形態は、以下に説明する点において第1実施形態に係る遠隔指令制御装置100と異なること以外は、第1実施形態と同様の構成を有し、第1実施形態と同様に動作するものであり、第1実施形態の記載を適宜、援用する。本実施形態において、第1実施形態と異なる点は、判定部114が、適切度を推定するための学習済みモデル118を備える点と、判定部114が、学習済みモデル118を用いて適切度を推定し、適切度に応じて、機器制御指令に基づく車載機器300の制御が車両10の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定する点である。適切度は、機器制御指令に基づく車載機器300の制御が車両10の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切である度合いである。適切度は、0から1の数値で表される。
【0044】
学習済みモデル118は、機器制御指令データと、生物データと、状況データとを含む入力データと、適切度を含む出力データとを対応付けた教師データを用いて学習された学習済みモデルである。学習済みモデル118は、ひとつ以上のニューロンからなる入力層、出力層及び少なくともひとつの中間層を含むニューラルネットワークにより構成され、入力層には、機器制御指令データと、生物データと、状況データとを含む入力データが入力され、出力層から、適切度を含む出力データを出力する。学習済みモデル118は、ソフトウェアのプログラムモジュールとして利用される。具体的には、学習済みモデル118は、入力層への入力データの入力を受け付けて、出力層から、入力データに対応する出力データを出力するように、コンピュータを機能させる。学習済みモデル118は、遠隔指令制御装置100によって教師データを用いて学習させた学習済みモデルを用いてもよいし、遠隔指令制御装置100外部で教師データを用いて学習させた学習済みモデルを取得して用いることとしてもよい。
【0045】
学習済みモデル118は、入力データに基づいてニューラルネットワークを介して出力された値が、教師データによって与えられた値(入力データに対して出力されるべき値)に一致するように出力層-中間層間と中間層-入力層間の結合係数(重みづけ)を変更する学習が繰り返されることで生成される。本実施形態では、教師データは、機器制御指令データと、生物データと、状況データを含む入力データに対応する適切度を出力データとして設定されたものである。教師データは、本実施形態で想定される車両10の状況、車両10の車内及び車外の状況を再現した実験あるいは実運用で取得された大量のデータに基づいて生成される。具体的には、機器制御指令データ、生物データ及び状況データの組み合わせに対して、機器制御指令が適切であれば、1を付与し、機器制御指令が適切でなければ、0を付与することでラベリングが行われる。これによって、機器制御指令データと、生物データと、状況データを含む入力データに対応する適切度を出力データとする教師データが取得される。
【0046】
判定部114は、学習済みモデル118に入力データとして、機器制御指令データと、生物データと、状況データを入力し、学習済みモデルから、入力データに対応する出力データとして適切度を出力させることで、適切度を推定する。本実施形態では、コントローラ110は、判定部114により、図2の制御フロー図におけるステップS4において、学習済みモデル118を用いて、適切度を推定する。そして、判定部114は、推定された適切度が所定値以上であるか否かを判定し、適切度が所定値以上である場合には、機器制御指令に基づく車載機器300の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切であると判定する。また、判定部114は、適切度が所定値より小さい場合には、機器制御指令に基づく車載機器300の制御が適切ではないと判定する。所定値は、例えば、0.5である。
【0047】
以上のように、本実施形態では、状況データ及び機器制御指令データを含む入力データと、適切度を含む出力データとを対応付けた教師データを用いて学習させられ、入力データとして状況データ及び機器制御指令データが入力されると、入力データに対応する出力データとして適切度を出力する学習済みニューラルネットワークを備え、適切度に応じて、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、適切度は、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切である度合いである。これにより、機器制御指令に基づく車載機器の制御が適切である度合いである適切度をAI技術により推定することができ、適切度に応じて、ルールベースによる判定よりも高精度に機器制御指令に基づく車載機器の制御が適切であるか否かの判定を行うことができる。
【0048】
≪第3実施形態≫
次に、図4を用いて、第3実施形態に係る遠隔指令制御装置100について説明する。第3実施形態は、以下に説明する点において第1実施形態及び第2実施形態に係る遠隔指令制御装置100と異なること以外は、実施形態と同様の構成を有し、第1実施形態及び第2実施形態と同様に動作するものであり、第1実施形態と第2実施形態の記載を適宜、援用する。本実施形態において、第1実施形態と異なる構成は、判定部114の構成である。図4に記載のとおり、第3実施形態においては、判定部114は、ニューラルネットワーク140と、学習部141と、推定部142を機能ブロックとして有する。本実施形態では、判定部114は、機器制御指令データと、生物データと、状況データとを含む入力データと、適切度を含む出力データとを対応付けた教師データを用いて、ニューラルネットワーク140の学習を行い、学習がされたニューラルネットワーク140により構成される学習済みモデルを用いて、適切度を推定する。そして、判定部114は、推定部142により推定された適切度に応じて、機器制御指令に基づく車載機器の制御が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切であるか否かを判定する。なお、本実施形態では、判定部114の機能ブロックを3つの機能ブロックに分けているが、判定部114の機能は必ずしも3つのブロックに分ける必要はなく、2つ以下の機能ブロック、あるいは、4つ以上の機能ブロックで分けてもよい。例えば、判定部114は、推定部142の機能のみを有し、ニューラルネットワーク140と学習部141に相当する機能ブロックを判定部114とは異なる機能ブロックとして機能させることとしてもよい。
【0049】
ニューラルネットワーク140は、ひとつ以上のニューロンからなる入力層、出力層及び少なくともひとつの中間層から構成される階層構造を有する。入力層は、機器制御指令データと、生物データと、状況データとが入力データとして入力される。出力層は、適切度が出力データとして出力される。ニューラルネットワーク140は、機器制御指令データと、生物データと、状況データとを含む入力データと、適切度を含む出力データとを対応付けた教師データにより学習する。
【0050】
学習部141は、機器制御指令データと、生物データと、状況データとを含む入力データと、適切度を含む出力データとを対応付けた教師データを用いて、ニューラルネットワーク140の学習を行う。具体的には、学習部141は、入力データに基づいてニューラルネットワーク140を介して出力された値と、教師データによって与えられた値(入力データに対して出力されるべき値)との誤差が小さくなるようにニューラルネットワーク140の出力層-中間層間と中間層-入力層間の結合係数(重みづけ)を繰り返し更新することで学習を行う。
【0051】
推定部142は、学習部141により学習させられたニューラルネットワーク140を用いて、適切度を推定する。具体的には、推定部142は、学習部141により学習させられたニューラルネットワーク140に、機器制御指令データと、生物データと、状況データとを入力し、ニューラルネットワーク140から、適切度を出力させることで、適切度を推定する。
【0052】
また、本実施形態では、入力層及び出力層を含み、入力層への入力データとして状況データと機器制御指令データが入力され、出力層からの出力データとして適切度が出力されるニューラルネットワークを備え、入力データと出力データとを対応付けた教師データを用いてニューラルネットワークを学習させ、学習させられたニューラルネットワークに、入力データとして状況データと機器制御指令データを入力し、ニューラルネットワークから、入力データに対応する出力データとして適切度を出力させることで適切度を推定し、適切度に応じて、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切であるか否かを判定し、適切度は、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切である度合いである。これにより、機器制御指令に基づく車載機器の制御が適切である度合いである適切度をAI技術により推定することができ、適切度に応じて、ルールベースによる判定よりも高精度に機器制御指令に基づく車載機器の制御が適切であるか否かの判定を行うことができる。
【0053】
≪第4実施形態≫
次に、図5を用いて、第4実施形態に係る遠隔指令制御装置100について説明する。第4実施形態は、以下に説明する点において第1実施形態に係る遠隔指令制御装置100と異なること以外は、第1実施形態と同様の構成を有し、第1実施形態と同様に動作するものであり、第1実施形態の記載を適宜、援用する。本実施形態において、第1実施形態と異なる構成は、計数部119を備える点である。
【0054】
計数部119は、誤った遠隔操作が行われた回数を計数する。例えば、誤った遠隔操作には、偶然による誤操作だけでなく、意図的に実行される誤操作があるため、計数部119は、意図的に実行される誤操作を検知するために、誤操作の積算回数を計数する。すなわち、偶然間違えた場合には、何度も誤操作が行われることはないと考えられるため、何度も誤った遠隔操作が実行される場合には、当該遠隔操作は意図的に実行された誤操作であるとみなされる。
【0055】
計数部119は、計数器190と、タイマー191とを備える。計数器190は、回数を1ずつ加算して計数する。タイマー191は、タイマー起動時から時間を計測する。計数器の回数及びタイマーの計測時間は、初期時には0から開始する。計数部119は、初期時において、機器制御指令に基づく車載機器300の制御が適切ではないと判定された場合、タイマー191を起動し、計数器190の回数に1を加算する。計数部119は、計測時間が時間閾値に達するまでの一定時間の間、機器制御指令に基づく車載機器300の制御が適切ではないと判定されるごとに、計数器190の回数に1を加算する。これにより、計数部119が、誤った遠隔操作による機器制御指令があった回数を計数し、計測時間が時間閾値に到達するまでに、5回以上の誤操作があったか否かを判定する。そして、計測時間が時間閾値に到達するまでに計数器190の回数が5回以上となった場合には、出力部116は、後述の緊急停止制御を実行して、緊急連絡制御を実行する。また、計数部119は、タイマー191を起動してからの計測時間が時間閾値以上になったか否かを判定する。計数器190の回数が5回より少ない間に、計測時間が時間閾値以上になったと判定される場合には、誤操作は偶然による誤操作であると判定し、計数部119は初期化を行う。具体的には、計数部119は、計数器190の回数をゼロに設定し、タイマー191の計測時間を0に設定する。以上のように、時間閾値までの一定時間内に、誤操作が何度も繰り返される場合には、当該誤操作は意図的に実行される誤操作であると認識することができる。また、一定時間内に誤操作が何度も行われない場合には、当該誤操作は偶然による誤操作であるとして認識することができる。
【0056】
次に、図6を用いて、本実施形態に係る計数部の制御の手順の一例を説明する。図6に示されるように、まず、ステップS11では、コントローラ110は、計数部119を初期化する。ステップS12では、コントローラ110は、機器制御指令を取得したか否かを判定する。機器制御指令を取得したと判定される場合には、コントローラ110は、ステップS13に進む。機器制御指令を取得したと判定されない場合には、コントローラ110は、ステップS23に進む。ステップS13では、コントローラ110は、状況データを取得する。ステップS14では、コントローラ110は、生物データを取得する。ステップS15では、コントローラ110は、機器制御指令が車両10の状況、車両10の車内の状況及び車両10の車外の状況の少なくともいずれかにおいて適切である否かを判定する。機器制御指令が適切であると判定される場合には、コントローラ110は、フローを終了する。また、本実施形態では、フロー終了後に、再度、機器制御指令データが取得された場合には、コントローラ110は再度フローを開始する。機器制御指令が適切ではないと判定される場合には、コントローラ110は、ステップS16に進む。ステップS16では、コントローラ110は、計数器190の回数が0であるか否かを判定する。計数器190の回数が0であると判定される場合には、コントローラ110は、ステップS17に進む。ステップS17では、コントローラ110は、タイマー191を起動させて、時間の計測を開始する。ステップS18では、コントローラ110は、計数器の回数に1を加算する。
【0057】
ステップS19では、コントローラ110は、計数器の回数が5以上であるか否かを判定する。計数器の回数が5以上であると判定される場合には、コントローラ110は、ステップS20に進む。計数器の回数が5以上であると判定されない場合には、コントローラ110は、ステップS22に進む。ステップS20では、コントローラ110は、緊急停止制御を実行する。緊急停止制御の具体的な内容については後述する。また、ステップS21では、コントローラ110は、緊急連絡制御を実行する。緊急連絡制御の具体的な内容については後述する。ステップS22では、コントローラ110は、通常停止制御を実行する。通常停止制御の具体的な内容については後述する。ステップS23では、コントローラ110は、タイマーが起動しているか否かを判定する。タイマーが起動していると判定される場合には、コントローラ110は、ステップS24に進む。タイマーが起動していると判定されない場合には、コントローラ110は、ステップS12に戻り、以下、フローを繰り返す。ステップS24では、コントローラ110は、タイマーの計測時間が時間閾値以上であるか否かを判定する。タイマーの計測時間が時間閾値以上であると判定される場合には、コントローラ110は、ステップS25に進む。タイマーの計測時間が時間閾値以上であると判定されない場合には、コントローラ110は、ステップS12に戻り、以下、フローを繰り返す。ステップS25では、コントローラ110は、計数部119を初期化する。初期化後、コントローラ110は、ステップS12に戻り、以下、フローを繰り返す。
【0058】
次に、図6に記載のステップS22の通常停止制御の手順の一例を説明する。図7は、通常停止制御に係るフローチャートを示す図である。本実施形態では、図6におけるステップS19で、計数器190の回数が5以上であると判定されない場合、すなわち、時間閾値までの間に、5回以上の誤操作が検出されていない場合に、図7におけるステップS31から通常停止制御が実行される。まず、ステップS31では、コントローラ110は、車外ユーザの通信機器20と、車内の通信機器20aと、サービスセンタの通信機器20cに警告データを報知する。ステップS32では、コントローラ110は、車内に生物が存在するか否かを判定し、当該生物が、車載機器300の制御を停止する停止能力を有するか否かを識別する。コントローラ110は、車内の生物の属性がペットであるとき、又は、車内の生物の属性が人間であって、停止操作を行うことが難しい場合があると考えられる属性や状態であるとき、当該生物は停止能力を有しないと識別する。車内の生物が停止能力を有しないと判定される場合、コントローラ110は、ステップS37に進む。ステップS37では、コントローラ110は、サービスセンタの通信機器20cに、車外ユーザの機器制御指令に基づく車載機器300の制御を停止する操作を示す停止操作指示データを出力する。すなわち、車外ユーザの誤操作による車載機器300の制御が実行されている場合に、コントローラ110は、サービスセンタのオペレータに、実行されている当該制御を停止させる操作を行うよう指示する。これにより、サービスセンタのオペレータが、通信機器20cを介して、車載機器300の制御を停止する制御指令データを発信する。そして、機器制御部117が、当該制御指令データに基づいて、車外ユーザの誤操作による車載機器300の制御を停止させる。すなわち、本実施形態では、車内の生物自身が、車外ユーザの誤操作による車載機器300の制御を停止できない可能性がある状況においては、外部のサービスセンタのオペレータに停止操作指示データを出力することで、オペレータが車載機器300の制御を停止させる。車載機器300の制御が停止した後に、コントローラ110は、図6のステップS23に進む。
【0059】
また、ステップS32で、車内の生物に停止能力があると判定される場合、コントローラ110は、ステップS33に進む。ステップS33では、コントローラ110は、停止制御の対象と停止制御の方法を含む操作内容データを車内ユーザの通信機器20aに出力する。これにより、コントローラ110は、車内のユーザが自身で車載機器300の停止制御のための操作を行えるように誘導する。例えば、コントローラ110は、通信機器20aの表示部に、停止制御の対象となる車載機器300と停止制御の方法を含む操作内容を表す画像を表示する。また、ボタンやノブなどランプがついている車載機器300の停止制御であれば、コントローラ110は、当該車載機器300のランプを点滅で表示させることで、停止制御の対象となる車載機器300をユーザに報知する。また、たとえば、停止制御の対象となる車載機器300が空調機器である場合には、コントローラ110は、車両10のインスツルメントパネルの車内空調設定のマークを点滅させる表示を行うことで、停止制御の対象となる車載機器300をユーザに報知する。ステップS34では、コントローラ110は、車外ユーザの誤操作による車載機器300の制御を停止する停止制御が実行されたか否かを判定する。当該停止制御が実行されたと判定される場合には、コントローラ110は、ステップS35に進む。ステップS35では、コントローラ110は、操作内容データの表示を停止する。また、停止制御が実行されたと判定されない場合には、コントローラ110は、ステップS36に進む。ステップS36では、コントローラ110は、操作内容データの表示がされた時から所定時間が経過したか否かを判定する。所定時間が経過したと判定される場合には、コントローラ110は、ステップS37に進む。所定時間が経過したと判定されない場合には、コントローラ110は、ステップS34に戻り、以下、フローを繰り返す。なお、車外ユーザによる誤操作後、コントローラ110は、車外ユーザの通信機器20から、誤操作による車載機器300の制御を停止する制御指令データを受信した場合には、当該制御指令データに基づいて、車載機器300の制御を停止する。
【0060】
次に、図6に記載のステップS20の緊急停止制御の手順の一例を説明する。図8は、緊急停止制御に係るフローチャートを示す図である。本実施形態では、図6のステップS19で、計数器190の数値が5以上であると判定される場合、すなわち、時間閾値内に5回以上の誤操作が検出された場合に、図8のステップS41から緊急停止制御が実行される。
【0061】
ステップS41では、コントローラ110は、遠隔地ユーザの通信機器20、車内の通信機器20a、サービスセンタの通信機器20cに、緊急連絡であることを示す態様により出力される警告データを報知する。すなわち、本実施形態では、計数部119により計数された回数に応じて、出力される警告データの態様が異なる。例えば、コントローラ110は、計数器190の回数が5より小さい場合には、通常の態様で警告データを出力する。一方で、計数器190の回数が5以上である場合には、コントローラ110は、緊急連絡であることを示す態様で警告データを出力する。これにより、コントローラ110は、誤操作の回数が多い場合には、通常の態様よりも強い警告を与える態様で警告データを出力する。例えば、コントローラ110は、通信機器の表示部に警告データを強調する態様で画像を表示させる制御信号を出力する。
【0062】
ステップS42では、コントローラ110は、誤操作を行った車外ユーザの通信機器20に制御禁止信号を送信する。制御禁止信号は、通信機器20からの車載機器300の遠隔操作を禁止する信号である。制御禁止信号を受信した通信機器20は、受信以後、車載機器300の遠隔操作のための制御指令データを送信することが不可能となる。ステップS43では、コントローラ110は、車載機器300の操作許可信号をサービスセンタの通信機器20cに送信する。操作許可信号を受信したサービスセンタの通信機器20cは、受信以後、車載機器300の遠隔操作のための制御指令データを送信することが可能となる。これにより、車両10の車載機器300の制御権がサービスセンタに設定される。ステップS44では、サービスセンタのオペレータが、通信機器20cを介して、誤操作による車載機器300の制御を停止する制御指令データを発信することで、コントローラ110は、車載機器300の制御を停止させる。ステップS45では、コントローラ110は、警告データの表示を停止させる制御信号を各通信機器に送信し、警告データの表示を停止させる。
【0063】
次に、図6に記載のステップS21の緊急連絡制御の手順の一例を説明する。図9は、緊急連絡制御に係るフローチャートを示す図である。本実施形態では、図6におけるステップS20を実行した後に、ステップS21では、図9のフローに基づいて、緊急連絡制御が実行される。本実施形態では、あらかじめ緊急連絡先として複数の通信機器が事前に登録される。登録される緊急連絡先には、緊急連絡される順番が設定されている。本実施形態では、緊急連絡先として3つの連絡先が登録されている。緊急連絡先として登録される通信機器のユーザは、誤操作を行った車外ユーザとは異なる車外のユーザであって、例えば、車内ユーザの家族や知人である。
【0064】
ステップS51では、コントローラ110は、iの値を1に設定する。ステップS52では、コントローラ110は、i番目の緊急連絡先の通信機器20bに緊急連絡を実行する。具体的には、コントローラ110は、i番目の緊急連絡先となる通信機器20bに、緊急連絡信号を送信する。i番目の緊急連絡先となる通信機器20bが緊急連絡信号を受信すると、自動的に、緊急連絡信号を受信した通信機器20bに対してサービスセンタから通話開始を要求する発呼情報が送信される。ステップS53では、コントローラ110は、緊急連絡先となる通信機器20bのユーザが発呼情報に応答して電話接続状態となったか否かにより、緊急連絡先となる通信機器20bとサービスセンタとが連絡を取ったか否かを判定する。本実施形態では、サービスセンタの通信機器20cと緊急連絡先となる通信機器20bとが電話接続状態となった場合に、サービスセンタから、緊急連絡先のユーザとサービスセンタとが連絡を取った旨の情報がコントローラ110に出力される。コントローラ110は、当該情報を取得すると、緊急連絡先となる通信機器のユーザがサービスセンタと連絡を取ったと判定し、ステップS57に進む。緊急連絡先となる通信機器20bのユーザがサービスセンタと連絡を取ったと判定されない場合には、コントローラ110は、ステップS54に進む。ステップS54では、コントローラ110は、所定時間が経過したか否かを判定する。所定時間が経過したと判定される場合には、コントローラ110は、ステップS55に進む。所定時間が経過したと判定されない場合には、コントローラ110は、ステップS53に戻り、以下、フローを繰り返す。
【0065】
ステップS55では、コントローラ110は、iが緊急連絡先人数の最大値(例えば、3人)に達したか否かを判定する。iが緊急連絡先人数の最大値に達したと判定される場合には、コントローラ110は、ステップS59に進む。iが緊急連絡先人数の最大値に達したと判定されない場合には、コントローラ110は、ステップS56に進む。ステップS56では、コントローラ110は、iの値に1を加算する。加算後、コントローラ110は、ステップS52に戻り、以下、フローを繰り返す。ステップS57では、コントローラ110は、サービスセンタと連絡を取ったユーザの通信機器20bに制御許可信号を出力する。ステップS58では、コントローラ110は、警察に通報するか否かを判定する。具体的には、コントローラ110は、当該ユーザの通信機器20bの表示部に、警察に通報するか否かの選択画面を表示し、ユーザの選択に応じて、警察に通報するか否かを判定する。警察に通報すると判定される場合には、コントローラ110は、ステップS59に進む。警察に通報すると判定されない場合には、コントローラ110は、図9のフローを終了し、図6のステップS25に進む。ステップS59では、コントローラ110は、警察に通報する。具体的には、コントローラ110は、車両10の位置情報と、誤操作を行った車外ユーザの通信機器20の位置情報とを警察が操作する通信機器に送信する。ステップS59の制御が完了した後、コントローラ110は、図6のステップS25に進む。
【0066】
また、本実施形態では、予め設定された時間内において、機器制御指令に基づく車載機器の制御が車両の状況、車内の状況及び車外の状況の少なくともいずれかにおいて適切ではないと判定された回数を計数し、計数された回数に応じて、機器制御指令に基づく車載機器の制御を停止する制御に関する警告データの態様を決定し、決定された態様で出力される警告データを生成する。これにより、適切ではない機器制御指令が送信された回数に応じて、出力する警告データの態様を変更できる。
【0067】
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【0068】
10…車両
20…通信機器
100…遠隔指令制御装置
110…コントローラ
111…生物認識部
112…状況取得部
113…指令受信部
114…判定部
115…データ生成部
116…出力部
117…機器制御部
120…通信装置
200…車両状況検出部
210…車内状況検出部
220…車外状況検出部
図1
図2
図3
図4
図5
図6
図7
図8
図9