特開 2024-142832 データ送信装置、データ送信方法、およびデータ送信用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142832

(43)【公開日】2024-10-11

(54)【発明の名称】データ送信装置、データ送信方法、およびデータ送信用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241003BHJP

【ＦＩ】

G08G1/16 E

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023055183

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】大見 拓寛

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB05

5H181BB20

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181FF33

5H181FF35

5H181FF40

5H181LL04

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】自動運転により走行中の車両の運転者がセカンダリアクティビティ中に危険に気付きやすくする。
【解決手段】車両の周辺状況を表す周辺画像から検出された物体と車両との間隔が所定の間隔閾値以上となるように走行が制御される車両に搭載されるデータ送信装置は、周辺画像からの物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定し、周辺画像における確信度が確信度閾値よりも大きい場合、周辺画像または運転者の顔を表す顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で表示させる第１の設定とともに端末装置に送信し、確信度が確信度閾値よりも小さい場合、周辺画像を、第１の態様よりも端末装置のユーザに注目される第２の態様で端末装置に表示させる第２の設定とともに端末装置に送信する。
【選択図】図６

【特許請求の範囲】

【請求項1】

車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される前記車両に搭載されるデータ送信装置であって、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定する判定部と、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記車両の運転者の顔を表す顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に表示させる第２の設定とともに前記端末装置に送信する送信部と、
を備えるデータ送信装置。

【請求項2】

前記送信部は、前記確信度が前記確信度閾値よりも小さい場合、さらに、前記車両の速度を含む走行情報を前記端末装置に送信する、
請求項１に記載のデータ送信装置。

【請求項3】

車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される前記車両に搭載されるデータ送信装置が、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定し、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記車両の運転者の顔を表す顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に表示させる第２の設定とともに前記端末装置に送信する、
ことを含むデータ送信方法。

【請求項4】

車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される前記車両に搭載されるコンピュータに、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定することと、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記車両の運転者の顔を表す顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に表示させる第２の設定とともに前記端末装置に送信することと、
を実行させるデータ送信用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通信ネットワークを介して端末装置にデータを送信するデータ送信装置、データ送信方法、およびデータ送信用コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、互いに離れた複数の地点にいる参加者間の電話会議に用いられる情報処理装置が記載されている。特許文献１に記載の情報処理装置は、電話会議の参加者が電話会議と平行して行う電話会議以外の作業による負荷を推定し、推定された負荷に関する情報を、電話会議の他の参加者に報知する。特許文献１に記載の情報処理装置によると、車両の運転者が電話会議に参加する場合において、車両の運転操作による負荷が高い状態であるときに、その負荷が電話会議によって更に高くなることを防止することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１９５１２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者による監視を必要としない自動運転レベル（例えばSociety of Automotive Engineers(SAE)により定義される自動運転レベル３）により走行が制御される車両においては、運転者は運転操作から解放され、ビデオ会議、テレビ視聴、スマートフォン操作といったセカンダリアクティビティを行うことができる。

【0005】

周辺環境の変化等に起因して、車両の走行の制御に適用される自動運転レベルが、運転者による監視のもとで車両の走行を制御する自動運転レベル（例えばSAEにより定義される自動運転レベル２）などに変更される場合がある。運転者による監視のもとで車両の走行を制御する自動運転レベルで走行が制御される車両においては、運転者は運転状況の監視、および、必要に応じた車両の運転操作が求められる。

【0006】

運転者は、セカンダリアクティビティ中、運転者による監視を必要としない自動運転レベルから運転者による監視を必要とする自動運転レベルへの走行制御の変更を生じさせるような周辺状況における危険に気付きにくくなる。そのような自動運転レベルの変更を懸念する運転者は、自動運転レベルの変更に備えて繰り返し周辺状況を目視するなどの動作を行うことがある。

【0007】

本開示は、自動運転により走行中の車両の運転者がセカンダリアクティビティ中に危険に気付きやすくすることができるデータ送信装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の要旨は以下のとおりである。

【0009】

（１）車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される前記車両に搭載されるデータ送信装置であって、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定する判定部と、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記周辺画像以外の画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記画像を表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記画像を表示させる第２の設定とともに前記端末装置に送信する送信部と、
を備えるデータ送信装置。

【0010】

（２）前記送信部は、前記確信度が前記確信度閾値よりも小さい場合、さらに、前記車両の速度を含む走行情報を前記端末装置に送信する、
上記（１）に記載のデータ送信装置。

【0011】

（３）車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される車両に搭載されるデータ送信装置が、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定し、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記周辺画像以外の画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記画像を表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記画像を表示させる第２の設定とともに前記端末装置に送信する、
ことを含むデータ送信方法。

【0012】

（４）車両の周辺状況を表す周辺画像から検出された物体と前記車両との間隔が所定の間隔閾値以上となるように走行が制御される車両に搭載されるコンピュータに、
前記周辺画像からの前記物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定することと、
前記確信度が前記確信度閾値よりも大きい場合、前記周辺画像または前記周辺画像以外の画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記画像を表示させる第１の設定とともに前記端末装置に送信し、前記確信度が前記確信度閾値よりも小さい場合、前記周辺画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に表示させる第２の設定とともに前記端末装置に送信することと、
を実行させるデータ送信用コンピュータプログラム。

【0013】

本開示にかかるデータ送信装置によれば、自動運転により走行中の車両の運転者がセカンダリアクティビティ中に危険に気付きやすくすることができる。

【図面の簡単な説明】

【0014】

【図1】ビデオ会議システムの概略構成図である。

【図2】データ送信装置が実装される車両の概略構成図である。

【図3】データ送信装置のハードウェア模式図である。

【図4】データ送信装置が有するプロセッサの機能ブロック図である。

【図5】（ａ）は第１の設定により端末装置に表示される画面の例であり、（ｂ）は第２の設定により端末装置に表示される画面の例である。

【図6】データ送信処理のフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して、自動運転により走行中の車両の運転者がセカンダリアクティビティ中に危険に気付きやすくすることができるデータ送信装置について詳細に説明する。データ送信装置は、車両の周辺状況を表す周辺画像から検出された物体と車両との間隔が所定の間隔閾値以上となるように走行が制御される車両に搭載される。データ送信装置は、周辺画像からの物体の検出の確からしさを示す確信度が所定の確信度閾値よりも大きいか否かを判定する。確信度が確信度閾値よりも大きい場合、データ送信装置は、周辺画像または運転者の顔を表す顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で画像を表示させる第１の設定とともに端末装置に送信する。また、確信度が確信度閾値よりも小さい場合、データ送信装置は、周辺画像を、第１の態様よりも端末装置のユーザに注目される第２の態様で画像を端末装置に表示させる第２の設定とともに端末装置に送信する。

【0016】

図１は、ビデオ会議システムの概略構成図である。ビデオ会議システム１００は、端末装置１０１と、ビデオ会議サーバ１０２と、データ送信装置８を搭載する車両１とを有する。

【0017】

端末装置１０１は、通信ネットワークを介して、ビデオ会議サーバ１０２と通信可能に接続される。端末装置１０１およびビデオ会議サーバ１０２は、それぞれ通信インタフェースと、メモリと、プロセッサとを有するコンピュータである。データ送信装置８の構成は後述する。

【0018】

車両１は、通信ネットワークＮＷにゲートウェイ（不図示）などを介して接続される無線基地局ＷＢＳにアクセスすることで、無線基地局ＷＢＳおよび通信ネットワークＮＷを介してビデオ会議サーバ１０２と通信可能に接続される。

【0019】

車両１のデータ送信装置８は、端末装置１０１に所定の画像を表示させるための表示データを、通信ネットワークＮＷを介してビデオ会議サーバ１０２に送信する。ビデオ会議サーバ１０２は、車両１から受信した表示データを、通信ネットワークＮＷを介して端末装置１０１に送信する。端末装置１０１は、ビデオ会議サーバ１０２から受信した表示データに基づいて、所定の画像をディスプレイに表示する。

【0020】

同様に、端末装置１０１からビデオ会議サーバ１０２を介して車両１に送信された表示データが、車両１で表示されてもよい。また、表示データ加えて音声データが、端末装置１０１と車両１との間で送受信されてもよい。また、ビデオ会議システム１００は、端末装置１０１とデータ送信装置８とが通信ネットワークＮＷを介して、ビデオ会議サーバ１０２を介することなくデータを送受信するよう構成されてもよい。

【0021】

図２は、データ送信装置が実装される車両１の概略構成図である。

【0022】

車両１は、周辺カメラ２と、ドライバモニタカメラ３と、ＧＮＳＳ（Global Navigation Satellite System）受信機４と、データ通信モジュール５（ＤＣＭ）と、ストレージ装置６と、走行制御装置７と、データ送信装置８とを有する。周辺カメラ２、ドライバモニタカメラ３、ＧＮＳＳ受信機４、データ通信モジュール５、およびストレージ装置６と、走行制御装置７およびデータ送信装置８とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、走行制御装置７とデータ送信装置８とは、車内ネットワークを介して通信可能に接続される。

【0023】

周辺カメラ２は、車両１の周辺の状況が表された周辺データを生成するための周辺センサの一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置される。周辺カメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影する。周辺カメラ２は、周辺の状況が表された周辺画像を周辺データとして出力する。なお、車両１は、周辺センサとして、周辺カメラ２以外のセンサ、例えば、車両１の周辺状況に基づいて、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像を周辺データとして生成するＬｉＤＡＲ（Light Detection And Ranging）センサを有していてもよい。

【0024】

ドライバモニタカメラ３は、車両の運転者の状況が表された出力信号を生成するための車内センサの一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ３は、赤外光を発する光源を有する。ドライバモニタカメラ３は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が表された顔画像を時系列に出力する。

【0025】

ＧＮＳＳ受信機４は、測位センサの一例であり、所定の周期ごとにＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両１の自己位置を測位する。ＧＮＳＳ受信機４は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両１の自己位置の測位結果を表す測位信号を、車内ネットワークを介してデータ送信装置８へ出力する。

【0026】

データ通信モジュール５は、車両通信部の一例であり、いわゆる４Ｇ（4th Generation）または５Ｇ（5th Generation）といった所定の無線通信規格に準拠した無線通信処理を実行する機器である。データ通信モジュール５は、ビデオ会議サーバ１０２から受信した無線信号に含まれるデータをデータ送信装置８に渡す。また、データ通信モジュール５は、データ送信装置８から受け取ったデータをアップリンクの無線信号に含め、その無線信号をビデオ会議サーバ１０２へ送信する。データ通信モジュール５は、走行制御装置７またはデータ送信装置８の一部として実装されてもよい。

【0027】

ストレージ装置６は、記憶部の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置６は、高精度地図を記憶する。高精度地図には、例えば、その高精度地図に表される所定の領域における車線を区画する車線区画線を表す情報が含まれる。

【0028】

走行制御装置７は、自動運転システムの一例であり、通信インタフェースと、メモリと、プロセッサとを備えるＥＣＵ（Electronic Control Unit）である。走行制御装置７は、ＧＮＳＳ受信機４から受信した測位信号に表される自車位置の周辺における車線区画線の情報を、高精度地図を保存するストレージ装置６から読み出す。走行制御装置７は、周辺カメラ２から受信した周辺画像を識別器に入力することで周辺の車線区画線を検出し、高精度地図における車線区画線とマッチングを行うことで車両１の走行している車線を特定する。走行制御装置７は、周辺カメラ２から受信した周辺画像を識別器に入力することで周辺における他車両などの周辺物体を検出し、物体から所定の間隔を保つとともに、状況に応じて車線を維持または変更するように走行経路を作成する。そして、走行制御装置７は、走行経路に沿って走行するように車両１の走行機構（不図示）に制御信号を出力する。走行機構には、例えば車両１に動力を供給するエンジンまたはモータ、車両１の走行速度を減少させるブレーキ、および車両１を操舵するステアリング機構が含まれる。

【0029】

識別器は、例えば、YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）といった、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。歩行者、車両といった検出対象となる車線区画線および物体が表された多数の画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは、車線区画線および物体を検出し、画像上で車線区画線および物体を検出する識別器として動作する。例えば、ＣＮＮは、入力された画像上のさまざまな領域について、検出対象が表されている確からしさを表わす確信度を算出する。そして、ＣＮＮは、ある検出対象について確信度が検出用確信度閾値を超える領域を、その検出対象が表わされた領域として検出する。ＣＮＮは、その領域における確信度を、当該検出の確からしさを示す確信度として出力する。

【0030】

走行制御装置７は、車速が所定範囲に含まれる、周辺の交通参加者の挙動が複雑でないといった所定の条件下で、運転者が周辺監視義務を有しない自動運転レベル（SAEにより定義される自動運転レベル３）により、車両１の走行を制御することができる。このような自動運転レベルにより車両１の走行が制御されている間は、運転者は運転以外のセカンダリアクティビティ（例えばビデオ会議、テレビ視聴、スマートフォンの操作など）を行うことができる。

【0031】

運転者が周辺監視義務を有しない自動運転レベルによる走行制御の条件が満たされなくなると、走行制御装置７は、周辺状況の監視、走行機構の制御といった車両１の走行に関わるタスクの少なくとも一部を運転者に引き継ぐよう運転者に要求する。そのため、周辺状況の変化等により走行制御装置７からタスクの引継要求を受ける可能性を懸念する運転者は、タスクを引き継ぎ可能な状態を維持するために、周辺監視の繰り返しといった行動を行う。その結果、このような運転者は、セカンダリアクティビティ中に危険に気付きにくくなる。

【0032】

データ送信装置８は、通信インタフェース８１と、メモリ８２と、プロセッサ８３とを備えるＥＣＵである。データ送信装置８は、周辺カメラ２により生成された周辺画像から物体を検出するとともに当該検出についての確信度を出力し、確信度に応じて特定される表示のための設定とともに、データ通信モジュールを介して端末装置１０１に送信する。走行制御装置７およびデータ送信装置８は、同一のＥＣＵに実装されていてもよい。

【0033】

図３は、データ送信装置８のハードウェア模式図である。

【0034】

通信インタフェース８１は、通信部の一例であり、データ送信装置８を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース８１は、受信したデータをプロセッサ８３に供給する。また、通信インタフェース８１は、プロセッサ８３から供給されたデータを外部に出力する。

【0035】

メモリ８２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。

【0036】

メモリ８２は、プロセッサ８３による処理に用いられる各種データ、例えば周辺画像からの物体検出の確信度の大きさを評価するための確信度閾値を記憶する。確信度閾値は、上述した走行制御装置７における周辺画像からの検出対象の検出のために用いられる検出用確信度閾値よりも大きい値であってよい。

【0037】

また、メモリ８２は、端末装置１０１に周辺画像をそれぞれ第１の態様、および、第１の態様よりも端末装置１０１のユーザに注目される第２の態様で表示させるための第１の設定および第２の設定を保存する。第２の態様は、第１の態様における周辺画像の表示サイズよりも大きいサイズで周辺画像を表示する態様であってよい。また、第２の態様は、第１の態様における周辺画像に付される枠（例えば太さ1.5ポイント、青色等）よりも目立つ枠（例えば太さ4.5ポイント、黄色等）を付して周辺画像を表示する態様であってよい。

【0038】

また、メモリ８２は、各種アプリケーションプログラム、例えばデータ送信処理を実行するデータ送信プログラム等を保存する。

【0039】

プロセッサ８３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ８３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0040】

図４は、データ送信装置８が有するプロセッサ８３の機能ブロック図である。

【0041】

データ送信装置８のプロセッサ８３は、機能ブロックとして、判定部８３１と、送信部８３２とを有する。プロセッサ８３が有するこれらの各部は、プロセッサ８３上で実行されるプログラムによって実装される機能モジュールである。プロセッサ８３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ８３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてデータ送信装置８に実装されてもよい。

【0042】

判定部８３１は、周辺画像からの物体の検出の確からしさを示す確信度が確信度閾値よりも大きいか否かを判定する。

【0043】

判定部８３１は、走行制御装置７から周辺画像からの物体検出についての確信度を取得し、取得した確信度を周辺画像からの物体の検出についての確信度として特定する。

【0044】

また、判定部８３１は、周辺カメラ２が生成する周辺画像を識別器に入力することで、他車両などの周辺物体を検出してもよい。識別器は、予め学習されたＣＮＮとすることができる。ＣＮＮは、物体の検出において、当該検出の確からしさを示す確信度をさらに出力する。判定部８３１は、識別器の出力に基づいて確信度を特定する。

【0045】

判定部８３１は、特定された確信度をメモリ８２に保存された確信度閾値と比較し、確信度閾値よりも大きいか否かを判定する。

【0046】

送信部８３２は、確信度が確信度閾値よりも大きい場合、周辺画像またはドライバモニタカメラ３により生成される運転者の顔画像を、第１の設定とともに、通信インタフェース８１、データ通信モジュール５、および通信ネットワークＮＷを介して端末装置１０１に送信する。送信部８３２は、メモリ８２に予め保存された送信画像設定に従って、確信度が確信度閾値よりも大きい場合に送信する画像を決定してよい。第１の設定は、端末装置１０１に送信される周辺画像または運転者の顔画像を、第１の態様で表示させる設定である。

【0047】

送信部８３２は、確信度が確信度閾値よりも小さい場合、周辺画像を第２の設定とともに、通信インタフェース８１、データ通信モジュール５、および通信ネットワークＮＷを介して端末装置１０１に送信する。第２の設定は、端末装置１０１に周辺画像を、第１の態様よりも端末装置１０１のユーザに注目される第２の態様で表示させる設定である。

【0048】

図５（ａ）は第１の設定により端末装置１０１に表示される画面の例を示す図であり、図５（ｂ）は第２の設定により端末装置１０１に表示される画面の例を示す図である。

【0049】

図５（ａ）に示す画面Ｄ１０１Ａは、表示オブジェクトとして、オブジェクトＯＢ１Ａ、ＯＢ２Ａ、ＯＢ３Ａを有する。オブジェクトＯＢ１Ａは、端末装置１０１で実行されるアプリケーションソフトウェアにより生成された画像であり、アプリケーション画面オブジェクトの一例である。オブジェクトＯＢ２Ａは、ドライバモニタカメラ３により生成された車両１の運転者の顔を表す顔画像であり、参加者画像オブジェクトの一例である。オブジェクトＯＢ３Ａは、端末装置１０１に接続されたカメラ（不図示）により生成された端末装置１０１のユーザの顔を表す顔画像であり、参加者画像オブジェクトの一例である。図５（ａ）の例において、データ送信装置８のメモリ８２には、確信度が確信度閾値よりも大きい場合にデータ送信装置８が運転者の顔画像を送信すべきことを定めた送信画像設定が予め保存されている。送信画像設定において、確信度が確信度閾値よりも大きい場合に、データ送信装置８が、参加者画像オブジェクトの一例である車両１の周辺画像を送信すべきことが定められていてもよい。その場合、オブジェクトＯＢ２Ａは、車両１の周辺画像となる。

【0050】

端末装置１０１は、ビデオ会議ソフトウェアにより予め設定された画面レイアウトの一つである標準画面レイアウトおよび第１の設定に従ってオブジェクトＯＢ１Ａ－ＯＢ１Ｃを配置した画面Ｄ１０１Ａを生成し、ディスプレイに表示する。例えば、標準画面レイアウトにおいて、アプリケーション画面オブジェクトを画面左上から画面全体の縦85%以下、横60%以下の範囲で配置し、参加者画像オブジェクトを画面の右上から右下に向けてそれぞれが画面全体の縦30%以下、横25％以下の範囲となるよう順に配置するよう設定される。また、標準画面レイアウトでは、アプリケーション画面オブジェクトおよび参加者画像オブジェクトは、1.5ポイントの枠線が付されるよう設定される。第１の設定は、画面Ｄ１０１Ａの生成にあたり、オブジェクトＯＢ２Ａ（運転者の顔画像）を、ディスプレイへの表示に使用される画面レイアウトにおいて参加者画像オブジェクトに適用されるサイズおよび枠線（第１の態様）に従って表示することを指定する。周辺画像または周辺画像以外の画像を第１の設定とともに端末装置１０１に送信することは、周辺画像または周辺画像以外の画像を表示態様の指定を付さずに端末装置１０１に送信することを含む。

【0051】

図５（ｂ）に示す画面Ｄ１０１Ｂは、表示オブジェクトとして、オブジェクトＯＢ１Ｂ、ＯＢ２Ｂ、ＯＢ３Ｂを有する。オブジェクトＯＢ１Ｂ、ＯＢ３Ｂは、それぞれオブジェクトＯＢ１Ａ、ＯＢ３Ａと同様であるので、詳細な説明を省略する。オブジェクトＯＢ２Ｂは、周辺カメラ２により生成された車両１の周辺状況を表す周辺画像である。

【0052】

端末装置１０１は、標準画面レイアウトおよび第２の設定に従ってオブジェクトＯＢ１Ｂ－ＯＢ３Ｂを配置した画面Ｄ１０１Ｂを生成し、ディスプレイに表示する。第２の設定では、車両１の周辺状況が端末装置１０１のユーザに注目されるように、周辺画像が、ディスプレイへの表示に使用される画面レイアウトにおいて参加者画像オブジェクトに適用されるサイズよりも大きい（例えば1.3倍の大きさの）サイズで、より太い（例えば3倍の太さの）枠線を付した態様（第２の態様）に従って表示されるよう設定される。

【0053】

端末装置１０１のユーザは、ディスプレイへの表示に用いる画面レイアウトとして、参加者画像オブジェクトを表示せず（サイズ０で表示し）参加者リストのみを表示するリスト画面レイアウトを使用してもよい。この場合、第１の設定では、リスト画面レイアウトに従って運転者の顔画像を不表示とする（第１の態様）。第２の設定では、現在用いられている画面レイアウト（リスト画面レイアウト）では参加者画像オブジェクトの表示サイズが０であるため、参加者画像オブジェクトの表示サイズに対する比（例えば1.3倍）によると表示サイズが０となり、周辺画像の表示サイズを参加者画像オブジェクトに適用されるサイズよりも大きくすることができない。この場合、第２の設定では、所定のサイズ（例えば標準画面レイアウトにおいて参加者顔画像オブジェクトに適用されるサイズ）を、周辺画像の表示サイズとしてよい。

【0054】

送信部８３２は、周辺画像または運転者の顔画像を、ビデオ会議サーバ１０２を介して端末装置１０１に送信してもよい。データ送信装置８から周辺画像または運転者の顔画像を受信したビデオ会議サーバ１０２は、所定のビデオ会議に参加する端末装置１０１を含む各端末装置に対し、通信ネットワークＮＷを介して、受信した周辺画像または運転者の顔画像を送信する。

【0055】

送信部８３２は、確信度が確信度閾値よりも小さい場合、さらに、車両の速度を含む走行情報を端末装置１０１に送信してもよい。送信部８３２は、走行制御装置７から走行情報を取得する。送信部８３２は、例えば、走行情報を表す文字列などの画像を周辺画像に重ね合わせた埋め込み周辺画像を生成し、埋め込み周辺画像を端末装置１０１に送信する。この場合、端末装置１０１は、埋め込み周辺画像をディスプレイに表示することにより、走行情報を表示する。また、送信部８３２は、走行情報を、周辺画像とともに端末装置１０１に送信してもよい。この場合、端末装置１０１は、周辺画像に対応づけられていることが視認可能となるように（例えば周辺画像に重畳し、または、周辺画像の周辺に）、走行情報を表す文字列などの画像を表示する。このように走行情報を端末装置１０１に送信することで、データ送信装置８は、自動運転による走行中の車両１の周辺状況を端末装置１０１に適切に伝えることができる。

【0056】

図６は、データ送信処理のフローチャートである。データ送信装置８のプロセッサ８３は、周辺画像から検出された物体と車両１との間隔が所定の間隔閾値以上となるように車両１の走行が制御され、かつ、運転者がビデオ会議を実行している間、所定時間間隔で（例えば1/30秒ごとに）、以下に記載するデータ送信処理を実行する。

【0057】

まず、データ送信装置８のプロセッサ８３の判定部８３１は、周辺カメラ２から取得する周辺画像からの物体の検出の確からしさを示す確信度を特定する（ステップＳ１）。

【0058】

プロセッサ８３の判定部８３１は、確信度が所定の確信度閾値よりも大きいか否かを判定する（ステップＳ２）。確信度が確信度閾値よりも大きい場合（ステップＳ２：Ｙ）、送信部８３２は、周辺画像または運転者の顔画像を、通信ネットワークＮＷを介して通信可能に接続された端末装置１０１に第１の態様で表示させる第１の設定とともに端末装置１０１に送信し(ステップＳ３)、データ送信処理を終了する。

【0059】

確信度が確信度閾値よりも小さい場合（ステップＳ２：Ｎ）、送信部８３２は、周辺画像を、通信ネットワークＮＷを介して通信可能に接続された端末装置１０１に第２の態様で表示させる第２の設定とともに端末装置１０１に送信し(ステップＳ４)、データ送信処理を終了する。

【0060】

このようにデータ送信処理を実行することにより、データ送信装置８は、自動運転による走行中の車両１の周辺状況を端末装置１０１に適切に伝えることができる。例えば、運転者がセカンダリアクティビティとしてビデオ会議を行っているときに周辺画像からの物体の検出における確信度が低下すると、データ送信装置８は、ビデオ会議の他の参加者の使用する端末装置１０１に、周辺画像をより注目される第２の態様で表示させる第２の設定とともに送信する。他の参加者は、第２の態様による周辺画像を閲覧し、車両１の周辺状況に応じてビデオ会議を用いて運転者に注意喚起することができる。自動運転による走行中の周辺への監視をビデオ会議の他の参加者と分担することができるため、運転者は、セカンダリアクティビティ中に危険に気付きやすくなる。

【0061】

変形例によると、メモリ８２に保存される確信度閾値は、検出用確信度閾値よりも小さい値であってもよい。このような確信度閾値を用いてデータ送信処理を実行することで、データ送信装置８は、走行制御装置７により適切に検出されない物体が表された周辺画像を端末装置１０１に送信することができる。

【0062】

異なる変形例によると、送信部８３２は、周辺画像からの検出における確信度が確信度閾値よりも大きいと判定された物体が自動運転制御の継続に影響する場合に、周辺画像を第２の設定とともに端末装置に送信してもよい。この変形例では、送信部８３２は、周辺画像からの検出における確信度が確信度閾値よりも大きいと判定された物体が自動運転制御の継続に影響しない場合、周辺画像または運転者の顔画像を第１の設定とともに端末装置に送信する。自動運転制御の継続に影響する物体は、例えば車両１に接近する物体であり、自動運転制御の継続に影響しない物体は、例えば車両１から離散する物体である。このようにデータ送信処理を実行することで、データ送信装置８は、自動運転制御の継続に影響する物体が検出される周辺画像を適切に端末装置１０１に送信することができる。

【0063】

当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0064】

１ 車両
８ データ送信装置
８３１ 判定部
８３２ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】