特開 2024-126283 データ送信装置、データ送信方法、およびデータ送信用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126283

(43)【公開日】2024-09-20

(54)【発明の名称】データ送信装置、データ送信方法、およびデータ送信用コンピュータプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240912BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023034566

(22)【出願日】2023-03-07

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100122116

【弁理士】

【氏名又は名称】井上 浩二

(72)【発明者】

【氏名】大見 拓寛

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181FF35

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

【課題】自動運転による走行をより適切に継続させる。
【解決手段】運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるデータ送信装置は、運転者の顔を表す顔画像を出力するカメラを含む車両に搭載された車内センサの出力データから運転者の状態を検出し、運転者の状態が、自動運転レベルによる制御の継続に適しているか否かを判定し、状態が制御の継続に適していると判定された場合、顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で顔画像を表示させる第１の設定とともに端末装置に送信し、状態が制御の継続に適していないと判定された場合、顔画像を、第１の態様よりも端末装置のユーザに注目される第２の態様で端末装置に顔画像を表示させる第２の設定とともに端末装置に送信する。
【選択図】図６

【特許請求の範囲】

【請求項1】

運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるデータ送信装置であって、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出する検出部と、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定する判定部と、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信する送信部と、
を備えるデータ送信装置。

【請求項2】

前記判定部は、さらに、前記状態が前記制御の継続に適している程度を示す適合レベルを出力し、
前記送信部は、さらに、前記適合レベルを前記端末装置に表示させるレベルデータを前記端末装置に送信する、
請求項１に記載のデータ送信装置。

【請求項3】

前記検出部は、前記顔画像から前記運転者の視線方向または顔向きを検出し、前記視線方向または顔向きに基づいて前記運転者の覚醒度を求め、前記覚醒度に応じて前記状態を検出する、請求項１に記載のデータ送信装置。

【請求項4】

運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるデータ送信装置が、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出し、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定し、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信する、
ことを含むデータ送信方法。

【請求項5】

運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるコンピュータに、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出することと、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定することと、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信することと、
を実行させるデータ送信用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通信ネットワークを介して端末装置にデータを送信するデータ送信装置、データ送信方法、およびデータ送信用コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、互いに離れた複数の地点にいる参加者間の電話会議に用いられる情報処理装置が記載されている。特許文献１に記載の情報処理装置は、電話会議の参加者が電話会議と平行して行う電話会議以外の作業による負荷を推定し、推定された負荷に関する情報を、電話会議の他の参加者に報知する。特許文献１に記載の情報処理装置によると、車両の運転者が電話会議に参加する場合において、車両の運転操作による負荷が高い状態であるときに、その負荷が電話会議によって更に高くなることを防止することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１９５１２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者による監視を必要としない自動運転レベル（例えばSociety of Automotive Engineers(SAE)により定義される自動運転レベル３）により走行が制御される車両においては、運転者は運転操作から解放され、ビデオ会議、テレビ視聴、スマートフォン操作といったセカンダリアクティビティを行うことができる。

【0005】

周辺環境の変化等に起因して、車両の走行の制御が、運転者による監視のもとで車両の走行を制御する自動運転レベル（例えばSAEにより定義される自動運転レベル２）などに変更される場合がある。運転者による監視のもとで車両の走行を制御する自動運転レベルで走行が制御される車両においては、運転者は運転状況の監視、および、必要に応じた車両の運転操作が求められる。

【0006】

車両の走行の制御が運転者による監視を必要としない自動運転レベルから運転者による監視を必要とする自動運転レベルに変更されるときに、運転者が運転状況の監視等を適切に実行できない状況にあると、車両の走行を適切に制御できず、自動運転による走行を継続できない場合がある。

【0007】

本開示は、自動運転による走行をより適切に継続させることができるデータ送信装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の要旨は以下のとおりである。

【0009】

（１）運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるデータ送信装置であって、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出する検出部と、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定する判定部と、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信する送信部と、
を備えるデータ送信装置。

【0010】

（２）前記判定部は、さらに、前記状態が前記制御の継続に適している程度を示す適合レベルを出力し、
前記送信部は、さらに、前記適合レベルを前記端末装置に表示させるレベルデータを前記端末装置に送信する、
上記（１）に記載のデータ送信装置。

【0011】

（３）前記検出部は、前記顔画像から前記運転者の視線方向または顔向きを検出し、前記視線方向または顔向きに基づいて前記運転者の覚醒度を求め、前記覚醒度に応じて前記状態を検出する、上記（１）または（２）に記載のデータ送信装置。

【0012】

（４）運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるデータ送信装置が、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出し、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定し、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信する、
ことを含むデータ送信方法。

【0013】

（５）運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載されるコンピュータに、
前記運転者の顔を表す顔画像を出力するカメラを含む前記車両に搭載された車内センサの出力データから前記運転者の状態を検出することと、
前記運転者の状態が、前記自動運転レベルによる前記制御の継続に適しているか否かを判定することと、
前記状態が前記制御の継続に適していると判定された場合、前記顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で前記顔画像を表示させる第１の設定とともに前記端末装置に送信し、前記状態が前記制御の継続に適していないと判定された場合、前記顔画像を、前記第１の態様よりも前記端末装置のユーザに注目される第２の態様で前記端末装置に前記顔画像を表示させる第２の設定とともに前記端末装置に送信することと、
を実行させるデータ送信用コンピュータプログラム。

【0014】

本開示にかかるデータ送信装置によれば、自動運転による走行をより適切に継続させることができる。

【図面の簡単な説明】

【0015】

【図1】ビデオ会議システムの概略構成図である。

【図2】データ送信装置が実装される車両の概略構成図である。

【図3】データ送信装置のハードウェア模式図である。

【図4】データ送信装置が有するプロセッサの機能ブロック図である。

【図5】（ａ）は第１の設定により端末装置に表示される画面の例であり、（ｂ）は第２の設定により端末装置に表示される画面の例である。

【図6】データ送信処理のフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照して、自動運転による走行をより適切に継続させることができるデータ送信装置について詳細に説明する。データ送信装置は、運転者による監視義務のない自動運転レベルにより走行が制御される車両に搭載される。データ送信装置は、運転者の顔を表す顔画像を出力するカメラを含む車両に搭載された車内センサの出力データから運転者の状態を検出し、運転者の状態が、自動運転レベルによる制御の継続に適しているか否かを判定する。状態が制御の継続に適していると判定された場合、データ送信装置は、顔画像を、通信ネットワークを介して通信可能に接続された端末装置に第１の態様で顔画像を表示させる第１の設定とともに通信ネットワークに送信する。また、状態が制御の継続に適していないと判定された場合、データ送信装置は、顔画像を、第１の態様よりも端末装置のユーザに注目される第２の態様で端末装置に顔画像を表示させる第２の設定とともに通信ネットワークに送信する。

【0017】

図１は、ビデオ会議システムの概略構成図である。ビデオ会議システム１００は、端末装置１０１と、ビデオ会議サーバ１０２と、データ送信装置８を搭載する車両１とを有する。

【0018】

端末装置１０１は、通信ネットワークを介して、ビデオ会議サーバ１０２と通信可能に接続される。端末装置１０１およびビデオ会議サーバ１０２は、それぞれ通信インタフェースと、メモリと、プロセッサとを有するコンピュータである。データ送信装置８の構成は後述する。

【0019】

車両１は、通信ネットワークＮＷにゲートウェイ（不図示）などを介して接続される無線基地局ＷＢＳにアクセスすることで、無線基地局ＷＢＳおよび通信ネットワークＮＷを介してビデオ会議サーバ１０２と通信可能に接続される。

【0020】

車両１のデータ送信装置８は、端末装置１０１に所定の画像を表示させるための表示データを、通信ネットワークＮＷを介してビデオ会議サーバ１０２に送信する。ビデオ会議サーバ１０２は、車両１から受信した表示データを、通信ネットワークＮＷを介して端末装置１０１に送信する。端末装置１０１は、ビデオ会議サーバ１０２から受信した表示データに基づいて、所定の画像をディスプレイに表示する。

【0021】

同様に、端末装置１０１からビデオ会議サーバ１０２を介して車両１に送信された表示データが、車両１で表示されてもよい。また、表示データ加えて音声データが、端末装置１０１と車両１との間で送受信されてもよい。また、ビデオ会議システム１００は、端末装置１０１とデータ送信装置８とが通信ネットワークＮＷを介して、ビデオ会議サーバ１０２を介することなくデータを送受信するよう構成されてもよい。

【0022】

図２は、データ送信装置が実装される車両１の概略構成図である。

【0023】

車両１は、周辺カメラ２と、ドライバモニタカメラ３と、ＧＮＳＳ（Global Navigation Satellite System）受信機４と、データ通信モジュール５（ＤＣＭ）と、ストレージ装置６と、走行制御装置７と、データ送信装置８とを有する。周辺カメラ２、ドライバモニタカメラ３、ＧＮＳＳ受信機４、データ通信モジュール５、およびストレージ装置６と、走行制御装置７およびデータ送信装置８とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。また、走行制御装置７とデータ送信装置８とは、車内ネットワークを介して通信可能に接続される。

【0024】

周辺カメラ２は、車両１の周辺の状況が表された周辺データを生成するための周辺センサの一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置される。周辺カメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影する。周辺カメラ２は、周辺の状況が表された周辺画像を周辺データとして出力する。なお、車両１は、周辺センサとして、周辺カメラ２以外のセンサ、例えば、車両１の周辺状況に基づいて、各画素が当該画素に表わされた物体までの距離に応じた値を持つ距離画像を周辺データとして生成するＬｉＤＡＲ（Light Detection And Ranging）センサを有していてもよい。

【0025】

ドライバモニタカメラ３は、車両の運転者の状況が表された出力信号を生成するための車内センサの一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ３は、赤外光を発する光源を有する。ドライバモニタカメラ３は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が表された顔画像を時系列に出力する。車両１は、車内センサとして、運転者シートのリクライニング角度を出力する角度センサを有していてもよい。

【0026】

ＧＮＳＳ受信機４は、測位センサの一例であり、所定の周期ごとにＧＮＳＳ衛星からのＧＮＳＳ信号を受信し、受信したＧＮＳＳ信号に基づいて車両１の自己位置を測位する。ＧＮＳＳ受信機４は、所定の周期ごとに、ＧＮＳＳ信号に基づく車両１の自己位置の測位結果を表す測位信号を、車内ネットワークを介してデータ送信装置８へ出力する。

【0027】

データ通信モジュール５は、車両通信部の一例であり、いわゆる４Ｇ（4th Generation）または５Ｇ（5th Generation）といった所定の無線通信規格に準拠した無線通信処理を実行する機器である。データ通信モジュール５は、ビデオ会議サーバ１０２から受信した無線信号に含まれるデータをデータ送信装置８に渡す。また、データ通信モジュール５は、データ送信装置８から受け取ったデータをアップリンクの無線信号に含め、その無線信号をビデオ会議サーバ１０２へ送信する。データ通信モジュール５は、走行制御装置７またはデータ送信装置８の一部として実装されてもよい。

【0028】

ストレージ装置６は、記憶部の一例であり、例えば、ハードディスク装置、または不揮発性の半導体メモリを有する。ストレージ装置６は、高精度地図を記憶する。高精度地図には、例えば、その高精度地図に表される所定の領域における車線を区画する車線区画線を表す情報が含まれる。

【0029】

走行制御装置７は、自動運転システムの一例であり、通信インタフェースと、メモリと、プロセッサとを備えるＥＣＵ（Electronic Control Unit）である。走行制御装置７は、ＧＮＳＳ受信機４から受信した測位信号に表される自車位置の周辺における車線区画線の情報を、高精度地図を保存するストレージ装置６から読み出す。走行制御装置７は、周辺カメラ２から受信した周辺画像を識別器に入力することで周辺の車線区画線を検出し、高精度地図における車線区画線とマッチングを行うことで車両１の走行している車線を特定する。走行制御装置７は、周辺カメラ２から受信した周辺画像を識別器に入力することで周辺における他車両などの周辺物体を検出し、物体から所定の間隔を保つとともに、状況に応じて車線を維持または変更するように走行経路を作成する。そして、走行制御装置７は、走行経路に沿って走行するように車両１の走行機構（不図示）に制御信号を出力する。走行機構には、例えば車両１に動力を供給するエンジンまたはモータ、車両１の走行速度を減少させるブレーキ、および車両１を操舵するステアリング機構が含まれる。

【0030】

識別器は、例えば、YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）といった、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。歩行者、車両といった検出対象となる車線区画線または物体が表された多数の画像を教師データとして用いてＣＮＮに入力して予め学習を行うことにより、ＣＮＮは、車線区画線または物体を検出し、画像上で車線区画線が表された領域またはその物体が表された物体領域およびその物体の種別を出力する識別器として動作する。

【0031】

走行制御装置７は、車速が所定範囲に含まれる、周辺の交通参加者の挙動が複雑でないといった所定の条件下で、運転者による監視のない自動運転レベル（例えばSAEにより定義される自動運転レベル３）により、車両１の走行を制御することができる。自動運転レベル３により車両１の走行が制御されている間は、運転者は運転以外のセカンダリアクティビティ（例えばビデオ会議、テレビ視聴、スマートフォンの操作など）を行うことができる。

【0032】

自動運転レベル３による走行制御の条件が満たされなくなると、走行制御装置７は、周辺状況の監視、走行機構の制御といった車両１の走行に関わるタスクの少なくとも一部を運転者に引き継ぐよう運転者に要求する。走行制御装置７が運転者にタスクの引き継ぎを要求するときに、運転者が速やかにタスクの引き継ぎを受けることができない状態にある場合、走行制御装置７は、車両１の安全を確保するため、車両１を減速させて路肩などの安全な場所に停止させるといった制御を実行する。そのため、運転者が周辺監視義務を有しない自動運転レベルで車両１の走行が制御されている場合であっても、自動運転による走行制御を適切に継続するために、運転者は、覚醒度が十分に高い、シートをリクライニングさせすぎていないといった速やかにタスクの引き継ぎを受けることができる状態を維持していることが好ましい。すなわち、速やかにタスクの引き継ぎを受けることのできる運転者の状態は、運転者が周辺監視義務を有しない自動運転レベルによる走行制御の継続に適している。

【0033】

データ送信装置８は、通信インタフェース８１と、メモリ８２と、プロセッサ８３とを備えるＥＣＵである。データ送信装置８は、ドライバモニタカメラ３により生成された顔画像から運転者の状態を検出し、顔画像を、検出された運転者の状態に応じて特定される表示のための設定とともに、データ通信モジュールを介して端末装置１０１に送信する。走行制御装置７およびデータ送信装置８は、同一のＥＣＵに実装されていてもよい。

【0034】

図３は、データ送信装置８のハードウェア模式図である。

【0035】

通信インタフェース８１は、通信部の一例であり、データ送信装置８を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース８１は、受信したデータをプロセッサ８３に供給する。また、通信インタフェース８１は、プロセッサ８３から供給されたデータを外部に出力する。

【0036】

メモリ８２は、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。

【0037】

メモリ８２は、プロセッサ８３による処理に用いられる各種データ、例えば顔画像から検出される運転者の状態と所定の自動運転レベルによる走行制御の継続に適している程度を表す適合レベルとの関係を示す判定ルールを保存する。判定ルールは、より速やかにタスクの引き継ぎを受けることのできる運転者の状態ほど高い適合レベルに関連づけられるように作成される。例えば、覚醒度の低い運転者は、速やかにタスクの引き継ぎを受けることが困難となる。そのため、運転者の状態として覚醒度が検出される場合、運転者の覚醒度が高いほど高い適合レベルに関連づけられる判定ルールがメモリ８２に記憶されていてよい。また、例えばシートを大きく後ろにリクライニングさせた状態の運転者は、速やかにタスクの引き継ぎを受けることが困難となる。そのため、運転者の状態としてシートリクライニング角度が検出される場合、シートリクライニング角度が小さいほど高い適合レベルに関連づけられる判定ルールがメモリ８２に記憶されていてよい。

【0038】

また、メモリ８２は、端末装置１０１に顔画像をそれぞれ第１の態様、および、第１の態様よりも端末装置１０１のユーザに注目される第２の態様で表示させるための第１の設定および第２の設定を保存する。第２の態様は、第１の態様における顔画像の表示サイズよりも大きいサイズで顔画像を表示する態様であってよい。また、第２の態様は、第１の態様における顔画像に付される枠（例えば太さ1.5ポイント、青色等）よりも目立つ枠（例えば太さ4.5ポイント、黄色等）を付して顔画像を表示する態様であってよい。

【0039】

また、メモリ８２は、各種アプリケーションプログラム、例えばデータ送信処理を実行するデータ送信プログラム等を保存する。

【0040】

プロセッサ８３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ８３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。

【0041】

図４は、データ送信装置８が有するプロセッサ８３の機能ブロック図である。

【0042】

データ送信装置８のプロセッサ８３は、機能ブロックとして、検出部８３１と、判定部８３２と、送信部８３３とを有する。プロセッサ８３が有するこれらの各部は、プロセッサ８３上で実行されるプログラムによって実装される機能モジュールである。プロセッサ８３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。あるいは、プロセッサ８３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとしてデータ送信装置８に実装されてもよい。

【0043】

検出部８３１は、車内センサの出力データから運転者の状態を検出する。

【0044】

検出部８３１は、車内センサの一つであるドライバモニタカメラ３が生成する顔画像から、例えば運転者の視線方向の移動、瞼の開閉状態、あくびの有無といった運転者の生体情報を検出する。

【0045】

検出部８３１は、顔画像から運転者の顔に対応する顔領域を検出する識別器に顔画像を入力することで、顔領域を検出する。さらに、検出部８３１は、顔の構造に基づいて、顔領域中で運転者の眼が表されていると想定される眼の周辺領域を特定する。そして、検出部８３１は、瞳孔および光源の角膜反射像が表されたテンプレートと特定された目の周辺領域像との間でテンプレートマッチングを行うことで瞳孔および光源の角膜反射像を検出し、それらの位置関係に基づいて視線方向を検出する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向の角度により表される。

【0046】

顔画像から顔領域を検出する識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。顔領域を含む多数の画像を教師データとして用いて、誤差逆伝搬法といった所定の学習手法に従って予めＣＮＮの学習を行うことにより、ＣＮＮは顔領域を検出する識別器として動作する。また、識別器は、サポートベクトルマシン（ＳＶＭ）とすることができる。顔領域とそれ以外の領域とを分離するサポートベクトルを定めることにより、ＳＶＭは顔領域を検出する識別器として動作する。あるいは、顔領域を検出する識別器は、AdaBoost識別器であってもよい。

【0047】

また、検出部８３１は、瞼の開閉状態または口の開閉状態を検出するように予め学習された識別器に顔画像を入力することにより、運転者の瞼の開閉状態または口の開閉状態を検出してもよい。

【0048】

瞼の開閉状態または口の開閉状態を検出する識別器は、ＣＮＮとすることができる。開状態または閉状態の瞼、開状態または閉状態の口が表わされた領域を含む多数の画像を教師データとして用いて、誤差逆伝搬法といった所定の学習手法に従って予めＣＮＮの学習を行うことにより、ＣＮＮは瞼の開閉状態または口の開閉状態を検出する識別器として動作する。また、識別器は、ＳＶＭとすることができる。瞼の開状態および閉状態、または、口の開状態および閉状態を分離するサポートベクトルを定めることにより、ＳＶＭは瞼の開閉状態または口の開閉状態を検出する識別器として動作する。

【0049】

検出部８３１は、検出された運転者の生体情報をメモリ８２に記憶された覚醒度特定ルールに適用することにより、運転者の状態として覚醒度を特定する。覚醒度特定ルールは、例えば、所定時間範囲（例えば直近１０分間）において運転者の生体情報から所定の動作（視線方向の所定範囲外への素早い移動、ゆっくりしたまばたき、あくび等）が特定された頻度に覚醒度を対応づけるよう設定される。

【0050】

例えば、検出部８３１は、所定時間範囲において、車両１の進行方向とのなす角が所定の視線角度閾値より小さい視線方向から車両１の進行方向とのなす角が視線角度閾値よりも大きい視線方向へ変化するときの変化速度が所定の変化速度閾値を超える回数を、視線方向の所定範囲外への素早い移動の回数としてカウントする。また、検出部８３１は、所定時間範囲において、瞼の閉状態の継続時間が所定のまばたき閾値を超える回数を、ゆっくりしたまばたきの回数としてカウントする。また、検出部８３１は、所定時間範囲において、口の開状態の継続時間が所定のあくび閾値を超える回数を、あくびの回数としてカウントする。

【0051】

検出部８３１は、車内センサの一つである角度センサから取得する運転者シートのリクライニング角度を運転者の状態として検出してもよい。なお、検出部８３１は、顔画像から、シートのリクライニング角度を検出してもよい。検出部８３１は、様々なリクライニング角度ごとのシートが表されたテンプレートと顔画像との間でテンプレートマッチングを行うことで、顔画像に表されたシートのリクライニング角度を検出することができる。

【0052】

判定部８３２は、運転者の状態が現在の自動運転レベルによる制御の継続に適しているか否かを判定する。

【0053】

判定部８３２は、検出された運転者の状態をメモリ８２に記憶された判定ルールに適用する。例えば、運転者の状態として覚醒度が検出される場合、判定部８３２は、検出された覚醒度が判定ルールに含まれる所定の覚醒度閾値を上回るか否かを判定する。そして、検出された覚醒度が覚醒度閾値を上回る場合、判定部８３２は、運転者の状態が現在の自動運転レベルによる制御の継続に適していると判定する。判定部８３２は、さらに、判定ルールに従って、検出された覚醒度が制御の継続に適している程度を示す適合レベルを出力してもよい。

【0054】

また、運転者の状態としてシートのリクライニング角度が検出される場合、判定部８３２は、検出されたリクライニング角度が判定ルールに含まれる所定の角度閾値を上回るか否かを判定する。そして、検出されたリクライニング角度が角度閾値を下回る場合、判定部８３２は、運転者の状態が現在の自動運転レベルによる制御の継続に適していると判定する。判定部８３２は、さらに、判定ルールに従って、検出されたリクライニング角度が制御の継続に適している程度を示す適合レベルを出力してもよい。

【0055】

送信部８３３は、検出された運転者の状態が制御の継続に適していると判定された場合、顔画像を第１の設定とともに、通信インタフェース８１、データ通信モジュール５、および通信ネットワークＮＷを介して端末装置１０１に送信する。第１の設定は、端末装置１０１に顔画像を第１の態様で表示させる設定である。

【0056】

送信部８３３は、検出された運転者の状態が制御の継続に適していないと判定された場合、顔画像を第２の設定とともに、通信インタフェース８１、データ通信モジュール５、および通信ネットワークＮＷを介して端末装置１０１に送信する。第２の設定は、端末装置１０１に顔画像を、第１の態様よりも端末装置１０１のユーザに注目される第２の態様で表示させる設定である。

【0057】

図５（ａ）は第１の設定により端末装置１０１に表示される画面の例を示す図であり、図５（ｂ）は第２の設定により端末装置１０１に表示される画面の例を示す図である。

【0058】

図５（ａ）に示す画面Ｄ１０１Ａは、表示オブジェクトとして、オブジェクトＯＢ１Ａ、ＯＢ２Ａ、ＯＢ３Ａを有する。オブジェクトＯＢ１Ａは、端末装置１０１で実行されるアプリケーションソフトウェアにより生成された画像であり、アプリケーション画面オブジェクトの一例である。オブジェクトＯＢ２Ａは、ドライバモニタカメラ３により生成された車両１の運転者の顔を表す顔画像であり、参加者画像オブジェクトの一例である。オブジェクトＯＢ３Ａは、端末装置１０１に接続されたカメラ（不図示）により生成された端末装置１０１のユーザの顔を表す顔画像であり、参加者画像オブジェクトの一例である。

【0059】

端末装置１０１は、ビデオ会議ソフトウェアにより予め設定された画面レイアウトの一つである標準画面レイアウトおよび第１の設定に従ってオブジェクトＯＢ１Ａ－ＯＢ１Ｃを配置した画面Ｄ１０１Ａを生成し、ディスプレイに表示する。例えば、標準画面レイアウトにおいて、アプリケーション画面オブジェクトを画面左上から画面全体の縦85%以下、横60%以下の範囲で配置し、参加者画像オブジェクトを画面の右上から右下に向けてそれぞれが画面全体の縦30%以下、横25％以下の範囲となるよう順に配置するよう設定される。また、標準画面レイアウトでは、アプリケーション画面オブジェクトおよび参加者画像オブジェクトは、1.5ポイントの枠線が付されるよう設定される。第１の設定は、画面Ｄ１０１Ａの生成にあたり、オブジェクトＯＢ２Ａ（運転者の顔画像）を、ディスプレイへの表示に使用される画面レイアウトにおいて参加者画像オブジェクトに適用されるサイズおよび枠線（第１の態様）に従って表示することを指定する。運転者の顔画像を第１の設定とともに端末装置１０１に送信することは、運転者の顔画像を表示態様の指定を付さずに端末装置１０１に送信することを含む。

【0060】

図５（ｂ）に示す画面Ｄ１０１Ｂは、表示オブジェクトとして、オブジェクトＯＢ１Ｂ、ＯＢ２Ｂ、ＯＢ３Ｂを有する。オブジェクトＯＢ１Ｂ－ＯＢ３Ｂは、それぞれオブジェクトＯＢ１Ａ－ＯＢ３Ａと同様であるので、詳細な説明を省略する。

【0061】

端末装置１０１は、標準画面レイアウトおよび第２の設定に従ってオブジェクトＯＢ１Ｂ－ＯＢ３Ｂを配置した画面Ｄ１０１Ｂを生成し、ディスプレイに表示する。第２の設定では、運転者の顔画像が第１の態様よりも端末装置１０１のユーザに注目されるように、運転者の顔画像が、ディスプレイへの表示に使用される画面レイアウトにおいて参加者画像オブジェクトに適用されるサイズよりも大きい（例えば1.3倍の大きさの）サイズで、より太い（例えば3倍の太さの）枠線を付した態様（第２の態様）に従って表示されるよう設定される。

【0062】

端末装置１０１のユーザは、ディスプレイへの表示に用いる画面レイアウトとして、参加者画像オブジェクトを表示せず（サイズ０で表示し）参加者リストのみを表示するリスト画面レイアウトを使用してもよい。この場合、第１の設定では、リスト画面レイアウトに従って運転者の顔画像を不表示とする（第１の態様）。第２の設定では、現在用いられている画面レイアウト（リスト画面レイアウト）では参加者画像オブジェクトの表示サイズが０であるため、参加者画像オブジェクトの表示サイズに対する比（例えば1.3倍）によると表示サイズが０となり、運転者の顔画像の表示サイズを参加者画像オブジェクトに適用されるサイズよりも大きくすることができない。この場合、第２の設定では、所定のサイズ（例えば標準画面レイアウトにおいて参加者画像オブジェクトに適用されるサイズ）を、運転者の顔画像の表示サイズとしてよい。

【0063】

送信部８３３は、運転者の顔画像を、ビデオ会議サーバ１０２を介して端末装置１０１に送信してもよい。データ送信装置８から運転者の顔画像を受信したビデオ会議サーバ１０２は、所定のビデオ会議に参加する端末装置１０１を含む各端末装置に対し、通信ネットワークＮＷを介して、受信した運転者の顔画像を送信する。

【0064】

送信部８３３は、判定部８３２が運転者の状態の適合レベルを出力する場合、さらに、適合レベルを端末装置１０１に表示させるレベルデータを端末装置１０１に送信してもよい。送信部８３３は、例えば、適合レベルを表す文字列などの画像をレベルデータとして顔画像に重ね合わせた埋め込み顔画像を生成し、埋め込み顔画像を端末装置１０１に送信する。この場合、端末装置１０１は、埋め込み顔画像をディスプレイに表示することにより、適合レベルを表示する。また、送信部８３３は、適合レベルを表すレベルデータを、顔画像とともに端末装置１０１に送信してもよい。この場合、端末装置１０１は、顔画像に対応づけられていることが視認可能となるように（例えば顔画像に重畳し、または、顔画像の周辺に）、レベルデータに対応する適合レベルを表す文字列などの画像を表示する。

【0065】

図６は、データ送信処理のフローチャートである。データ送信装置８のプロセッサ８３は、運転者による監視義務のない自動運転レベルにより車両１の走行が制御され、かつ、運転者がビデオ会議を実行している間、所定時間間隔で（例えば1/30秒ごとに）、以下に記載するデータ送信処理を実行する。

【0066】

まず、データ送信装置８のプロセッサ８３の検出部８３１は、車内センサの一つであるドライバモニタカメラ３から取得する顔画像から運転者の状態を検出する（ステップＳ１）。

【0067】

続いて、プロセッサ８３の判定部８３２は、検出された運転者の状態が、運転者による監視義務のない自動運転レベルによる制御の継続に適しているか否かを判定する（ステップＳ２）。

【0068】

運転者の状態が制御の継続に適していると判定された場合（ステップＳ２：Ｙ）、プロセッサの送信部８３３は、顔画像を、通信ネットワークＮＷを介して通信可能に接続された端末装置１０１に第１の態様で顔画像を表示させる第１の設定とともに端末装置１０１に送信し(ステップＳ３)、データ送信処理を終了する。

【0069】

運転者の状態が制御の継続に適していないと判定された場合（ステップＳ２：Ｎ）、プロセッサの送信部８３３は、顔画像を、通信ネットワークＮＷを介して通信可能に接続された端末装置１０１に第２の態様で顔画像を表示させる第２の設定とともに端末装置１０１に送信し(ステップＳ４)、データ送信処理を終了する。

【0070】

このようにデータ送信処理を実行することにより、データ送信装置８は、自動運転による走行中の運転者の状況を端末装置１０１に適切に伝えることができる。例えば、運転者がセカンダリアクティビティとしてビデオ会議を行っているときに運転者の状態が自動運転制御の継続に適さなくなると、データ送信装置８は、ビデオ会議の他の参加者の使用する端末装置１０１に、運転者の顔画像をより注目される第２の態様で表示させる第２の設定とともに送信する。第２の態様による顔画像に接した他の参加者は、ビデオ会議を用いて運転者に注意喚起することができる。注意喚起を受けた運転者が自動運転制御の継続に適した状態に戻ることで、自動運転による走行をより適切に継続させることができる。

【0071】

当業者は、本開示の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。

【符号の説明】

【0072】

１ 車両
８ データ送信装置
８３１ 検出部
８３２ 判定部
８３３ 送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】