IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許7592903遠隔制御システム、制御方法及び制御装置
<>
  • 特許-遠隔制御システム、制御方法及び制御装置 図1
  • 特許-遠隔制御システム、制御方法及び制御装置 図2
  • 特許-遠隔制御システム、制御方法及び制御装置 図3
  • 特許-遠隔制御システム、制御方法及び制御装置 図4
  • 特許-遠隔制御システム、制御方法及び制御装置 図5
  • 特許-遠隔制御システム、制御方法及び制御装置 図6
  • 特許-遠隔制御システム、制御方法及び制御装置 図7
  • 特許-遠隔制御システム、制御方法及び制御装置 図8
  • 特許-遠隔制御システム、制御方法及び制御装置 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-22
(45)【発行日】2024-12-02
(54)【発明の名称】遠隔制御システム、制御方法及び制御装置
(51)【国際特許分類】
   G08G 1/09 20060101AFI20241125BHJP
【FI】
G08G1/09 V
【請求項の数】 16
(21)【出願番号】P 2024000850
(22)【出願日】2024-01-05
【審査請求日】2024-04-02
【早期審査対象出願】
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110004222
【氏名又は名称】弁理士法人創光国際特許事務所
(72)【発明者】
【氏名】恋塚 葵
(72)【発明者】
【氏名】樫原 俊太郎
【審査官】▲高▼木 真顕
(56)【参考文献】
【文献】特表2022-519710(JP,A)
【文献】特開2015-192163(JP,A)
【文献】特開2022-140526(JP,A)
【文献】国際公開第2022/050200(WO,A1)
【文献】国際公開第2024/004180(WO,A1)
【文献】特開2021-071753(JP,A)
【文献】特開2019-202882(JP,A)
【文献】特開2003-046423(JP,A)
【文献】特開2023-158811(JP,A)
【文献】特開2024-055046(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
B60W 30/00 - 60/00
G05D 1/00 - 1/87
H04B 7/24 - 7/26
H04W 4/00 - 99/00
B64B 1/00 - 1/70
B64C 1/00 - 99/00
B64D 1/00 - 47/08
B64F 1/00 - 5/60
B64G 1/00 - 99/00
B64U 10/00 - 80/86
(57)【特許請求の範囲】
【請求項1】
遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、
前記移動体は、前記移動体の走行状態を示す走行状態情報であって、前記制御装置から遠隔で制御されているか否かを示す走行状態情報を前記制御装置に送信する移動体送信部を有し、
前記制御装置は、
前記移動体から送信された前記走行状態情報を取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させ、前記移動体から前記遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合に、前記移動体が停止制御状態にあることを表示部に表示させる表示制御部と、
を有する遠隔制御システム。
【請求項2】
遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、
前記移動体は、前記移動体の走行状態を示す走行状態情報であって、前記制御装置から遠隔で制御されているか否かを示す走行状態情報を前記制御装置に送信する移動体送信部を有し、
前記制御装置は、
前記移動体から送信された前記走行状態情報を取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部であって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させる前記表示制御部と、
を有する遠隔制御システム。
【請求項3】
前記表示制御部は、前記停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記走行状態情報を取得できない期間の長さに応じて異なる表示態様で、前記移動体が停止制御状態と推定される状態であることを前記表示部に表示させる、
請求項1又は2に記載の遠隔制御システム。
【請求項4】
前記制御装置は、
遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を前記移動体に送信する装置送信部をさらに有し、
前記移動体は、
前記制御装置から送信される前記操作指示情報を受信する移動体受信部と、
前記移動体受信部が遠隔制御の解除を判定するための所定の期間である解除判定期間が経過するまでの間に前記操作指示情報を受信しない場合に遠隔制御状態から前記停止制御状態に移行し、前記移動体を停止させる状態制御部と、
前記状態制御部が前記移動体を停止させる場合に、前記移動体の外部に対して、注意を喚起するための情報を出力する移動体出力部と、をさらに有する、
請求項1又は2に記載の遠隔制御システム。
【請求項5】
遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、
前記移動体は、
遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を前記制御装置から取得する移動体受信部と、
取得した前記操作指示情報が示す操作内容のうち、前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信するとともに前記移動体に搭載された撮像手段によって撮像された映像を前記制御装置に送信する移動体送信部と、
を有し、
前記制御装置は、
前記移動体から送信された前記操作反映情報を取得するとともに前記映像を取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部と、
を有する遠隔制御システムであって、
前記表示制御部は、
(1)前記操作反映情報に基づいて算出される前記移動体の位置を前記映像に重畳して前記表示部に表示させるとともに、
(2)前記操作反映情報に基づいて算出される前記移動体の位置の精度を担保するために定められた前記停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態にあることを前記表示部に表示させる、
遠隔制御システム。
【請求項6】
遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、
前記移動体は、
遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を前記制御装置から取得する移動体受信部と、
取得した前記操作指示情報が示す操作内容のうち、前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信する移動体送信部と、
を有し、
前記制御装置は、
前記移動体から送信された前記操作反映情報を取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部であって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させる前記表示制御部と、
を有する遠隔制御システム。
【請求項7】
前記移動体は、
遠隔制御の解除を判定するための所定の期間である解除判定期間が経過するまでの間に前記操作指示情報を取得しない場合に遠隔制御状態から前記停止制御状態に移行し、前記移動体を停止させる状態制御部をさらに有する、
請求項5又は6に記載の遠隔制御システム。
【請求項8】
前記状態制御部が前記移動体を停止させた場合に、前記移動体の外部に対して、注意を喚起するための情報を出力する移動体出力部をさらに有する、
請求項に記載の遠隔制御システム。
【請求項9】
コンピュータが実行する、
遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得するステップと、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップであって、前記移動体から前記遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合に、前記移動体が停止制御状態にあることを表示部に表示させるステップと、
を有する制御方法。
【請求項10】
コンピュータが実行する、
遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得するステップと、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップであって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させるステップと、
を有する制御方法。
【請求項11】
制御装置が遠隔から移動体を制御するための制御方法であって、
前記移動体は、
遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を、前記移動体を制御する制御装置から取得するステップと、
取得した前記操作指示情報が示す操作内容のうち、前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信するステップと、
前記移動体に搭載された撮像手段によって撮像された映像を前記制御装置に送信するステップと、
を実行し、
前記制御装置は、
前記移動体から送信された前記操作反映情報を取得するステップと、
前記映像を取得するステップと、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップと、
を実行する制御方法であって、
前記表示させるステップにおいては、
(1)前記操作反映情報に基づいて算出される前記移動体の位置を前記映像に重畳して前記表示部に表示させるとともに、
(2)前記操作反映情報に基づいて算出される前記移動体の位置の精度を担保するために定められた前記停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態にあることを前記表示部に表示させる、
制御方法
【請求項12】
制御装置が遠隔から移動体を制御するための制御方法であって、
前記移動体は、
遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を、前記移動体を制御する制御装置から取得するステップと、
取得した前記操作指示情報が示す操作内容のうち、前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信するステップと、
を実行し、
前記制御装置は、
前記移動体から送信された前記操作反映情報を取得するステップと、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップであって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させるステップと、
を実行する制御方法。
【請求項13】
遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得する取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態にあることを表示部に表示させ、前記移動体から前記遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合に、前記移動体が停止制御状態にあることを表示部に表示させる表示制御部と、
を有する制御装置。
【請求項14】
遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得する取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態にあることを表示部に表示させる表示制御部であって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させる前記表示制御部と、
を有する制御装置。
【請求項15】
遠隔から制御される移動体から送信された操作反映情報を取得するとともに前記移動体に搭載された撮像手段によって撮像された映像を前記移動体から取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部と、
を有し、
前記表示制御部は、
(1)前記操作反映情報に基づいて算出される前記移動体の位置を前記映像に重畳して前記表示部に表示させるとともに、
(2)前記操作反映情報に基づいて算出される前記移動体の位置の精度を担保するために定められた前記停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態にあることを前記表示部に表示させる、
制御装置。
【請求項16】
遠隔から制御される移動体から送信された操作反映情報を取得する装置取得部と、
前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部であって、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させる前記表示制御部と、
を有する制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御システム、制御方法及び制御装置に関する。
【背景技術】
【0002】
車両に複数台のカメラを搭載し、カメラの映像を見ながら遠隔操作するシステムが知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平10-145777号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の遠隔運転技術においては車両等の移動体と制御装置との通信状況が悪化した場合に制御装置側において管理される車両の状態と移動体側の実際の状態とが一致しない状況が発生する場合があり、安全上の問題が生じていた。
【0005】
そこで、本発明はこれらの点に鑑みてなされたものであり、移動体と制御装置との通信状況が悪化した場合に遠隔操作を行う操作者が移動体の状態を認識できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の態様の遠隔制御システムにおいては、遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、前記移動体は、前記移動体の走行状態を示す走行状態情報であって、前記制御装置から遠隔で制御されているか否かを示す走行状態情報を前記制御装置に送信する移動体送信部を有し、前記制御装置は、前記移動体から送信された前記走行状態情報を取得する装置取得部と、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部と、を有する。
【0007】
前記表示制御部は、前記移動体から前記遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合に、前記移動体が停止制御状態にあることを表示部に表示させてもよい。
【0008】
前記表示制御部は、(1)前記移動体から前記遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合には、前記移動体が停止制御状態にあることを前記表示部に表示させ、(2)前記停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合には、前記移動体が停止制御状態と推定される状態にあることを前記表示部に表示させてもよい。
【0009】
前記表示制御部は、前記移動体が停止制御状態にあることを前記表示部に表示させた場合において、前記走行状態情報を前記装置取得部が取得した場合、前記移動体が遠隔制御状態にあることを前記表示部に表示させてもよい。
【0010】
前記表示制御部は、前記停止状態検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記走行状態情報を取得できない期間の長さに応じて異なる表示態様で、前記移動体が停止制御状態と推定される状態であることを前記表示部に表示させてもよい。
【0011】
前記表示制御部は、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させてもよい。
【0012】
前記制御装置は、遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を前記移動体に送信する装置送信部をさらに有し、前記移動体は、前記制御装置から送信される前記操作指示情報を受信する移動体受信部と、前記移動体受信部が遠隔制御の解除を判定するための所定の期間である解除判定期間が経過するまでの間に前記操作指示情報を受信しない場合に遠隔制御状態から前記停止制御状態に移行し、前記移動体を停止させる状態制御部と、前記状態制御部が前記移動体を停止させる場合に、前記移動体の外部に対して、注意を喚起するための情報を出力する移動体出力部と、をさらに有してもよい。
【0013】
本発明の第2の態様の遠隔制御システムにおいては、遠隔から制御される移動体と、前記移動体を遠隔から制御する制御装置と、を有する遠隔制御システムであって、前記移動体は、遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を前記制御装置から取得する移動体受信部と、取得した前記操作指示情報が示す操作内容のうち、前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信する移動体送信部と、を有し、前記制御装置は、前記移動体から送信された前記操作反映情報を取得する装置取得部と、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部と、を有する。
【0014】
前記移動体送信部は、前記移動体に搭載された撮像手段によって撮像された映像を前記制御装置にさらに送信し、前記装置取得部は、前記映像をさらに取得し、前記表示制御部は、(1)前記操作反映情報に基づいて算出される前記移動体の位置を前記映像に重畳して前記表示部に表示させるとともに、(2)前記操作反映情報に基づいて算出される前記移動体の位置の精度を担保するために定められた前記停止状態検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態にあることを前記表示部に表示させてもよい。
【0015】
前記表示制御部は、前記停止状態検出期間より短い期間である不安定検出期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体との通信が不安定であることを前記表示部に表示させてもよい。
【0016】
前記移動体は、遠隔制御の解除を判定するための所定の期間である解除判定期間が経過するまでの間に前記操作指示情報を取得しない場合に遠隔制御状態から前記停止制御状態に移行し、前記移動体を停止させる状態制御部をさらに有してもよい。
【0017】
前記状態制御部が前記移動体を停止させた場合に、前記移動体の外部に対して、注意を喚起するための情報を出力する移動体出力部をさらに有してもよい。
【0018】
本発明の第3の態様の制御方法においては、コンピュータが実行する、遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得するステップと、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップと、を有する。
【0019】
本発明の第4の態様の制御方法においては、制御装置が遠隔から移動体を制御するための制御方法であって、前記移動体は、遠隔制御されている前記移動体の操作内容を指示するための操作指示情報を、前記移動体を制御する制御装置から取得するステップと、取得した前記操作指示情報が示す操作内容のうち前記移動体に反映した操作内容を示す操作反映情報を前記制御装置に送信するステップと、を実行し、前記制御装置は、前記移動体から送信された前記操作反映情報を取得するステップと、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させるステップと、を実行する。
【0020】
本発明の第5の態様の制御装置においては、遠隔から制御される移動体の走行状態であって、遠隔から制御されているか否かを示す走行状態情報を定期的に取得する取得部と、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記走行状態情報を取得できない場合に、前記移動体が停止制御状態にあることを表示部に表示させる表示制御部と、を有する。
【0021】
遠隔から制御される移動体から送信された操作反映情報を取得する装置取得部と、前記移動体が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間が経過するまでの間に前記操作反映情報を取得できない場合に、前記移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部と、を有する。
【発明の効果】
【0022】
本発明によれば、移動体と制御装置との通信状況が悪化した場合に遠隔操作を行う操作者が移動体の状態を認識することができる。
【図面の簡単な説明】
【0023】
図1】第1の実施形態にかかる遠隔制御システムSの概要を説明するための図である。
図2】制御装置1の構成を示すブロック図である。
図3】走行状態情報のデータ構造の一例を示す図である。
図4】表示制御部133が表示させる画面の一例を示す図である。
図5】表示制御部133が表示させる画面の一例を示す図である。
図6】判定部132が管理する移動体2の状態を示す状態遷移図である。
図7】移動体2の構成を示すブロック図である。
図8】出力部264が出力する情報の一例を示す図である。
図9】状態制御部263が管理する移動体2の状態を示す状態遷移図である。
【発明を実施するための形態】
【0024】
[遠隔制御システムSの概要]
図1は、遠隔制御システムSの概要を説明するための図である。遠隔制御システムSは、制御装置1及び移動体2を有する。遠隔制御システムSはさらに、移動体2を操作する操作者Uが使用する情報端末を有してもよい。
【0025】
制御装置1は、遠隔から移動体2を操作し、制御するための装置である。制御装置1は、移動体2を遠隔で操作する操作者Uから操作を受付け、受付けた操作に基づいて移動体2を制御する。また、制御装置1は、移動体2の位置、状態又は外部環境等に関する情報を取得し、移動体2の状態を操作者Uが認識できるように移動体2の情報を表示させる。
【0026】
移動体2は、制御装置1からの制御により移動する。移動体2は、一例として、道路を走行する車両である。移動体2は、飛行するドローンであってもよいし、水中又は水上を移動するドローンであってもよい。以下本明細書では、移動体2が車両である場合について説明するが、飛行するドローンである場合、停止に変えて緊急着陸してもよいし、水中を移動するドローンである場合は、停止に変えて緊急又は緊急浮上を選択できるように構成されてもよい。
【0027】
移動体2は、制御装置1からの信号により遠隔制御が開始されると、制御装置1から遠隔で制御される状態に遷移する(以下、「遠隔制御状態」と言う)。移動体2は、遠隔で制御されることが困難な状態に陥った場合、遠隔制御状態を解除し、停止する(以下、「停止制御状態」と言う)。遠隔で制御されることが困難な状態は、一例として、制御装置1からの信号が所定の期間以上到達しない場合である。移動体2は、制御装置1から遠隔制御状態を解除することを示す信号を受信した場合に停止制御状態に遷移してもよい。
【0028】
図1(a)を用いて遠隔制御システムSの処理について説明する。操作者Uは、移動体2を操作する(図1における(1))。操作者Uは、操作者Uが使用する情報端末のユーザインターフェースを介して移動体2を操作してもよいし、制御装置1が有するユーザインターフェースを介して移動体2を操作してもよい。
【0029】
制御装置1は、操作指示情報を移動体2に送信する(図1における(2))。操作指示情報は、操作者Uが入力した操作内容に対応する操作を遠隔制御されている移動体2に指示するための情報である。移動体2が車両である場合、操作指示情報は、例えば、ステアリングの操作量、アクセルの操作量及びブレーキの操作量等を含む。
【0030】
移動体2は、走行状態情報を定期的に制御装置1に送信する(図1における(3))。走行状態情報は、移動体2が遠隔で制御されているか否かを示す。移動体2は、定期的に操作反映情報を制御装置1に送信する(図1における(4))。操作反映情報は、操作指示情報に対応する情報であり、移動体2が受信した操作指示情報が示す操作内容を移動体2の制御に反映したことを示す情報である。一例として、操作反映情報においては、操作指示情報が示す操作内容のうち、反映した操作内容を含む。操作反映情報においては、操作指示情報を反映した時刻を示すタイムスタンプが含まれていてもよい。操作反映情報においては、移動体2の速度、加速度、位置等の情報が含まれていてもよい。
【0031】
移動体2は、移動体2に搭載された撮像手段により撮像された車外の状況を示す画像データを定期的に制御装置1に送信する(図1における(5))。移動体2は、一例として、移動体2の前方、後方及び側方をそれぞれ撮像した画像を制御装置1に定期的に送信する。画像データにおいては、画像を撮像した時刻を示すタイムスタンプが関連付けられていてもよい。
【0032】
制御装置1は、定期的に移動体2の状態を判定する(図1における(6))。制御装置1は、一例として、遠隔制御状態にあることを示す走行状態情報を取得した場合、移動体2が遠隔制御状態にあると判定する。また、制御装置1は、取得した走行状態情報において移動体2が停止制御状態にあることが示される場合、移動体2が停止制御状態にあると判定する。
【0033】
制御装置1は、判定した移動体2の状態を出力する(図1における(7))。一例として、制御装置1は、移動体2から取得した画像データに判定した状態を重畳した画面を表示部に表示させる。制御装置1は、制御装置1に搭載された表示部に判定した状態を出力してもよいし、ネットワークを介して操作者Uが使用する情報端末に判定した状態を出力してもよい。
【0034】
ネットワークの遅延や障害等により通信が不安定になった場合、遠隔制御が困難な状態であることを操作者Uが認識できるようにすることで、停止等の必要な操作を行うことができる。この場合の処理について図1(b)を用いて説明する。走行状態情報を取得しない状態が停止状態検出期間を超えるまで継続した場合(図1における(3b))、制御装置1は、移動体2が停止推定状態にあると判定する(図1における(6b))。停止推定状態は、停止制御状態であることが確定していないものの、移動体2が停止制御状態と推定される状態である。制御装置1は、停止推定状態であることを出力する(図1における(7b))。
【0035】
遠隔制御システムSがこのように構成されることで、移動体2と制御装置1との通信状況が悪化した場合に操作者Uが移動体2の状態を認識することができる。
【0036】
[制御装置1の構成]
図2は、制御装置1の構成を示すブロック図である。制御装置1は、通信部11、記憶部12及び制御部13を有する。制御部13は、取得部131、判定部132、表示制御部133、操作受付部134及び送信部135を有する。なお、制御装置1は、移動体2に行う操作を入力するための入力部及び移動体2の状況を表示するための表示部をさらに有していてもよい。
【0037】
通信部11は、ネットワークを介して他の装置とデータの送受信をするための通信インターフェースである。記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)、SSD(Solid State Drive)、ハードディスクドライブ等を含む記憶媒体である。記憶部12は、制御部13が実行するプログラムを予め記憶している。
【0038】
制御部13は、例えばCPU(Central Processing Unit)等のプロセッサである。制御部13は、記憶部12に記憶されたプログラムを実行することにより、取得部131、判定部132、表示制御部133、操作受付部134及び送信部135として機能する。
【0039】
取得部131は、移動体2から送信された走行状態情報を取得する。走行状態情報は、移動体2の走行状態を示す。走行状態情報は、一例として、移動体2が遠隔で制御されているか否かを示す。図3は、走行状態情報のデータ構造の一例を示す図である。走行状態情報は、「走行状態ID」、「移動体ID」、「日時」、「走行状態」を含む。「走行状態ID」は、送信される走行状態情報を識別するためのID(Identification)である。「移動体ID」は、走行状態情報を送信する移動体2を識別するためのIDである。「日時」は、走行状態情報が生成又は送信される日時を示す。「走行状態」は、移動体2が遠隔制御状態にあるか停止制御状態にあるかを示す情報である。取得部131は、移動体2から定期的に送信される走行状態情報を取得する。取得部131は、移動体2から送信された画像データを取得する。
【0040】
操作受付部134は、操作者Uによる移動体2に対して行う操作を受付ける。操作受付部134は、操作者Uが使用する情報端末のユーザ―インターフェースにおいて入力された操作を、通信部11を介して受付けてもよいし、制御装置1が有するユーザーインターフェース(不図示)において入力された操作を受付けてもよい。送信部135は、操作受付部134が受付けた操作に対応する操作指示情報を移動体2に送信する。送信部135は、操作指示情報を移動体2に送信する。
【0041】
表示制御部133は、停止状態検出期間が経過するまでの間に走行状態情報を取得できない場合に、移動体2が停止推定状態にあることを表示部に表示させる。停止状態検出期間は、移動体2が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である。停止状態検出期間は、一例として、移動体2が移動する目的(宅配、輸送等)や、移動体2に乗車する人の有無、移動体2が移動する速度、移動体2が所在する場所の交通量等の性質に基づいて決定されてもよい。一例として、移動体2に人が乗車している場合には、人が乗車する場合に比べて短い停止状態検出期間が設定されてもよい。
【0042】
判定部132は、取得部131が走行状態情報を取得したタイミングから経過した時間(以下、「経過時間」と言う)を計測する。判定部132は、走行状態情報を新たに取得した場合に、計測中の経過時間をリセットし、経過時間の計測を新たに開始する。判定部132は、経過時間が停止状態検出期間を超過する場合、移動体2が停止推定状態にあると判定する。表示制御部133は、移動体2が停止推定状態にあると判定部132が判定した場合、所定の情報を表示部に表示させる。所定の情報は、移動体2を遠隔操作する操作者に移動体2が停止推定状態にあることを認識させるための情報である。
【0043】
図4は、表示制御部133が表示させる画面の一例を示す図である。図4に示す画面においては、取得部131が取得した画像データに、判定された移動体2の状態を示すオブジェクト(O1)が重畳して表示されている。すなわち、移動体2が停止推定状態にあると判定部132が判定した場合、オブジェクトO1においては、停止推定状態にあることが表示されている。表示制御部132は、遠隔制御状態と停止推定状態である場合とで異なる態様でオブジェクトO1を表示してもよい。例えば、遠隔制御状態にある場合は白、無色、青等の色でオブジェクトO1の背景を表示させ、停止推定状態にある場合には黄色や赤等の警告の意味を有する色でオブジェクトO1の背景を表示させてもよい。
【0044】
制御装置1がこのように構成されることで、移動体2と制御装置1との通信状況が悪化した場合に遠隔操作を行う操作者が移動体2の状態を認識することができる。
【0045】
移動体2から遠隔制御されていないことを示す情報を取得した場合に、操作者に移動体2の状態を認識させる情報を表示するよう制御装置1が構成されてもよい。
【0046】
表示制御部133は、移動体2から遠隔から制御されている状態ではないことを示す走行状態情報を取得した場合、移動体2が停止制御状態にあることを表示部に表示させる。すなわち、表示制御部133は、取得部131が取得した走行状態情報において、停止制御状態であることを示す情報が含まれている場合、停止制御状態であることを示す画面を表示部に表示させる。図5は、表示制御部133が表示させる画面の一例を示す図である。図5においては、オブジェクトO1において停止制御状態にあることが表示されている。図5に示す画面においては、「遠隔運転再開」と表示されたオブジェクト(O2)が表示されている。操作者UがオブジェクトO2を操作した場合、制御装置1は、遠隔制御を再開することを要求するための情報を移動体2に送信する。
【0047】
停止推定状態と判定部132が判定した場合において、遠隔制御状態であることを示す走行状態情報を取得した場合には、遠隔制御状態にあることを表示部に表示させるよう制御装置1が構成されてもよい。表示制御部133は、移動体2が停止制御状態にあることを表示部に表示させた場合において取得部131が遠隔制御状態であることを示す走行状態情報を取得した場合、移動体2が遠隔制御状態にあることを表示部に表示させる。
【0048】
停止状態検出期間は複数の閾値により検出されてもよい。一例として、停止状態検出期間は2段階の閾値が設定される。以下では、より短い期間が設定された停止状態検出期間を第1停止状態検出期間と言い、より長い期間が設定された停止状態検出期間を第2停止状態検出期間と言う。
【0049】
表示制御部133は、停止状態検出期間が経過するまでの間に走行状態情報を取得できない場合に、走行状態情報を取得できない期間の長さに応じて異なる表示態様で、移動体2が停止推定状態であることを表示部に表示させる。判定部132は、前述のとおり、走行状態情報を移動体2から走行状態情報を取得したタイミングから経過した時間を計測し、経過時間が第1停止状態検出期間を超えた場合に、第1の態様で停止推定状態であることを表示部に表示させる。第1の態様は、操作者Uの注意を引きやすい態様で停止推定状態であることが表示される。第1の態様は例えば黄色等の注意を意味する背景色を用いて停止推定状態であることを表示する。第1の態様においては通信状態が不安定であることを表示してもよい。
【0050】
そして、経過時間が第2停止状態検出期間を超えた場合、表示制御部133は、第2の態様で停止推定状態であることを表示部に表示させる。第2の態様においては、第1の態様よりも操作者Uの注意を引きやすい態様で停止推定状態であることが表示される。第2の態様においては、例えば、赤色等のより注意を要する意味を含む背景色を用いて停止推定状態であることを表示する。
【0051】
ネットワークにおける通信の遅延等により移動体2から取得する情報が取得されづらい場合においては、通信状態が不安定であることを表示させるよう制御装置1が構成されてもよい。
【0052】
表示制御部133は、不安定検出期間が経過するまでの間に走行状態情報を取得できない場合に、移動体2との通信が不安定であることを表示部に表示させる。表示制御部133は、移動体2との通信が不安定であることを、停止推定状態を表示する場合と異なる態様(例えば別の背景色)で表示してもよい。不安定検出期間は、通信が不安定状態であることを操作者に通知することを判定するために設定された期間であり、停止状態検出期間より短く設定された期間である。一例として、不安定検出期間は、通常の運用状態において想定される遅延時間の最大値より大きく設定される。上述のとおり、判定部132は、経過時間を計測する。経過時間が不安定検出期間を超えた場合に、表示制御部133は、通信が不安定であることを表示部に表示させる。
【0053】
[制御装置1が管理する移動体2の状態]
図6は、制御装置1が管理する移動体2の状態を示す状態遷移図である。制御装置1が移動体2とコネクションを確立していない状態では初期状態にあるものとする。
【0054】
操作受付部134が遠隔制御を開始する操作を受付けると(図6における(1))、制御装置1は、移動体2とのコネクションを確立し、判定部132は、移動体2が遠隔制御状態にあるものと判定する。
【0055】
遠隔制御状態においては、表示制御部133は、移動体2から取得した画像データが示す画像を表示部に表示させる。遠隔制御状態においては、操作受付部134は、移動体2に行う操作を操作者Uから受付け、受付けた操作に対応する操作指示情報を移動体2に送信する。遠隔制御状態においては、取得部131は、走行状態情報を取得する。
【0056】
遠隔制御状態において、停止制御状態にあることを示す走行状態情報を取得部131が取得した場合(図6における(2))、判定部132は、移動体2が停止制御状態にあることを判定する。また、遠隔制御状態において、遠隔運転を解除する操作を操作受付部134が受付けた場合(図6における(3))、判定部132は、移動体2が停止制御状態にあることを判定する。移動体2が停止制御状態にあると判定部132が判定した場合、表示制御部133は、停止制御状態にあることを表示部に表示させる。
【0057】
停止制御状態において、遠隔制御状態にあることを示す走行状態情報を取得部131が取得した場合(図6における(4))、判定部132は、移動体2が遠隔制御状態にあることを判定する。また、停止制御状態において、遠隔運転を再開する操作を操作受付部134が受付けた場合(図6における(5))、判定部132は、移動体2が遠隔制御状態にあることを判定する。
【0058】
遠隔制御状態において、走行状態情報を所定の期間取得しない場合(図1における(6))、判定部132は、移動体2が停止推定状態にあることを判定する。移動体2が停止推定状態にあると判定部132が判定した場合、表示制御部133は、移動体2が停止推定状態にあることを表示部に表示させる。
【0059】
停止推定状態において、遠隔制御状態にあることを示す走行状態情報を取得部131が取得した場合(図6における(7))、判定部132は、移動体2が遠隔制御状態にあることを判定する。停止推定状態において、停止制御状態にあることを示す走行状態情報を取得部131が取得した場合(図6における(8))、判定部132は、移動体2が停止制御状態にあることを判定する。
【0060】
遠隔制御状態において、遠隔制御を終了する操作を受付けると(図6における(9))、制御装置1は、移動体2とのコネクションを切断し、判定部132は、状態を初期状態に戻す。
[移動体2の構成]
図7は、移動体2の構成を示すブロック図である。移動体2は、撮像手段21、出力手段22、移動体制御手段23、通信部24、記憶部25、制御部26を有する。制御部26は、送信部262、受信部261、状態制御部263、出力部264を有する。
【0061】
撮像手段21は、例えばカメラである。撮像手段21は、遠隔制御下にある移動体2の内部又は外部の状況を撮像した画像データを生成する。撮像手段21は、生成した画像データを送信部262に入力する。出力手段22は、出力部264の制御に基づいた出力を行う。一例として、出力手段は、光や映像により情報を伝達するためのLED表示器やディスプレイであってもよいし、音により情報を伝達するためのスピーカーであってもよい。
【0062】
移動体制御手段23は制御装置1から取得した操作指示情報に基づいて、移動体2に搭載された機器を制御する。移動体制御手段23は、例えばECU(Electronic Control Unit)である。移動体制御手段23は、操作指示情報に基づいて移動体2を制御した場合、制御に反映した操作指示情報に対応する操作反映情報を送信部262に入力する。
【0063】
受信部261は、制御装置1から送信される操作指示情報を受信する。受信部261は、受信した操作指示情報を移動体制御手段23に入力する。
【0064】
送信部262は、走行状態情報を制御装置1に送信する。一例として、送信部262は、状態制御部263が管理する移動体2の状態に基づいて定期的に走行状態情報を生成し、制御装置1に送信する。例えば、送信部262は、状態制御部263に定期的に移動体2の状態を問い合わせ、状態制御部263から取得した結果を含む走行状態情報を制御装置1に送信する。
【0065】
送信部262は、移動体制御手段23から取得した操作反映情報を取得する。送信部262は、取得した操作反映情報を制御装置1に送信する。送信部262は、撮像手段21から画像データを取得する。送信部262は、移動体2に搭載された撮像手段21によって撮像された画像データを制御装置1にさらに送信する。
【0066】
状態制御部263は、移動体2の状態を管理する。状態制御部263は、解除判定期間が経過するまでの間に操作指示情報を受信しない場合、遠隔制御状態から停止制御状態に移行し、移動体2を停止させる。解除判定期間は、受信部261が遠隔制御の解除を判定するための所定の期間である。状態制御部263は、操作指示情報を取得したタイミングから経過した期間を計測する。状態制御部263は、操作指示情報を取得した場合に計測中の期間をリセットし、期間の計測を新たに開始する。状態制御部263は、操作指示情報を取得したタイミングから経過した期間が解除判定期間を超過した場合、遠隔制御状態を解除し、停止制御状態に移行する。状態制御部263は、停止制御状態に移行した場合、移動体制御手段23に移動体2を停止させるよう制御する。移動体制御手段23は、一例として、最後に受信した操作指示情報が示すステアリングの操作量を維持したまま、ブレーキの操作量を増加させ、移動体2を停止させるよう動作させる。移動体制御手段23は、ブレーキの操作量を徐々に大きくするよう制御してもよい。移動体制御手段23は、移動体2に搭載されたセンサや外部を撮像した画像に基づいて安全に停止するよう自律的に移動体2を制御してもよい。移動体2がこのような動作をすることにより、遠隔側から操作ができなくなった場合に移動体2を安全に停止させることができる。
【0067】
出力部264は、状態制御部263が移動体2を停止させる場合に、移動体2の外部に対して注意を喚起するための情報を出力する。図8は、停止制御状態において出力部264が出力する情報の一例を示す図である。一例として、出力部264は、停止中であることを移動体2の外部に搭載された出力手段22に注意を喚起するための情報を文字として表示させる。なお、出力部264は、停止中であることを音声により出力手段に出力させてもよいし、警告音を発生するよう制御してもよい。
【0068】
遠隔制御システムSがこのように構成されることで、移動体2の周囲に対して注意を促すことができる。
【0069】
[制御装置1が管理する移動体2の状態]
図9は、状態制御部263が管理する移動体2の状態を示す状態遷移図である。制御装置1が移動体2とコネクションを確立していない状態では初期状態にあるものとする。
【0070】
受信部261が遠隔制御を開始する信号を受付けると(図9における(1))、移動体2は、移動体2とのコネクションを確立し、状態制御部263は、移動体2の状態を遠隔制御状態に遷移させる。遠隔制御状態においては、受信部261は、操作指示情報を取得し、移動体制御手段23は、受信部261が取得した操作指示情報に基づいて移動体2を制御し、送信部262は、操作指示情報に対応する操作反映情報を制御装置1に送信する。遠隔制御状態においては、送信部262は、定期的に走行状態情報を送信する。
【0071】
遠隔制御状態において、解除判定期間を超えて操作指示情報を取得しない場合(図9における(2))、状態制御部263は、停止制御状態に遷移させる。停止制御状態においては、状態制御部263は、移動体2を停止するよう移動体制御手段23を制御し、出力部264は、移動体2の外部に対して注意を喚起するための情報を出力する。また、遠隔制御状態において、受信部261が制御装置1より遠隔制御を解除することを示す信号を取得した場合(図9における(3))、状態制御部263は、停止制御状態に遷移させる。
【0072】
停止制御状態において、受信部261が制御装置1より遠隔制御を再開することを示す信号を取得した場合(図9における(4))、状態制御部263は、遠隔制御状態に遷移させる。遠隔制御状態において、受信部261が遠隔制御を終了する信号を制御装置1から取得した場合(図9における(5))、移動体2は、制御装置1とのコネクションを切断し、初期状態に戻る。
【0073】
遠隔制御システムSがこのように構成されることで、通信不安定時に、移動体2への送信側の信号が途絶えた場合に、移動体2を暴走させないよう適切な手段で移動体を停止できるとともに、移動体2から送信される信号が途絶えた場合に状態を表示することで、遠隔操作者による過剰な操作を防止し、移動体2が操作量を維持しながら停止することにより適切に移動体2を停止させることができ、通信状況に応じた適切な移動体のコントロールが可能となる。
<変形例>
上記の説明においては走行状態情報に基づいて移動体2の状態を判定する例について説明したが、移動体2が定期的に送信する操作反映情報を取得できない期間に基づいて、停止推定状態を判定するよう制御装置1が構成されてもよい。
【0074】
取得部131は、移動体2から送信された操作反映情報を取得する。表示制御部133は、停止制御状態検出期間が経過するまでの間に操作反映情報を取得できない場合に、移動体2が停止推定状態にあることを表示部に表示させる。すなわち、判定部132は、上述の処理と同様に操作反映情報を取得しない期間を計測し、停止推定状態を判定する。なお、この場合の停止状態検出期間は、走行状態情報に基づいて判定する場合とは異なる閾値が設定されてもよい。
【0075】
移動体2が定期的に送信する操作反映情報を取得できない期間に基づいて、通信が不安定であることを表示するよう制御装置1が構成されてもよい。表示制御部133は、不安定検出期間が経過するまでの間に操作反映情報を取得できない場合に、移動体2との通信が不安定であることを表示部に表示させる。この場合の不安定検出期間は、走行状態情報に基づいて判定する場合とは異なる閾値が設定されてもよい。
【0076】
変形例にかかる制御システムSがこのように構成されることで、より正確に移動体2の状態を判定することが可能となる。変形例にかかる制御システムSは、移動体2から制御装置1方向の通信状態に加えて、制御装置から移動体2方向の通信状態による問題も検出可能となるためである。
【0077】
制御装置1が移動体2から取得する画像データは、制御装置1において表示されるタイミングより過去に撮像されたデータであるため、タイムラグが生じうる。そこで、制御装置1においては、移動体2より受付けた操作反映情報に基づいて、予測される移動体2の位置を画像データに重畳して表示するよう構成されてもよい。
【0078】
この場合、表示制御部133は、画像データに関連付けられたタイムスタンプ及び操作指示情報を送信した時刻のタイムスタンプに基づいて、画像データが生成された時点において反映されていない操作指示情報を特定する。表示制御部133は、特定した未反映の操作反映情報と、画像が生成された時点の移動体2の状態(例えば速度、加速度、位置、ステアリングの操作量等)と、に基づいて、表示される画像において移動体2が位置すると予想される位置を算出する。表示制御部133は、操作反映情報に基づいて算出される移動体2の位置を映像に重畳して表示部に表示させる。
【0079】
この場合、通信の遅延が大きくなると、画像データと移動体2の予測位置との乖離が大きくなる。そこで、停止状態検出期間は、移動体2の予想位置の精度に基づいて決定されてもよい。表示制御部133は、操作反映情報に基づいて算出される移動体2の位置の精度を担保するために定められた停止状態検出期間走行状態情報を取得できない場合に、移動体2が停止制御状態にあることを表示部に表示させる。制御装置1がこのように構成されることで、画像データに重畳された移動体2の位置を示す情報の信頼度を判断するための情報を操作者Uに提供することができる。
【0080】
表示制御部133は取得した映像、操作反映情報、及び操作指示情報に基づいて、移動体2が停止制御を開始した場所を特定し、取得した映像に重畳して表示させてもよい。このように構成されることで、操作者Uの車両の状態をよりよく理解することを補助する情報を提供することができる。
【0081】
画像データ取得時点の移動体2の位置と、算出された予想位置との乖離が所定の閾値を超えた場合に停止推定状態を判定するよう制御装置1が構成されてもよい。
【0082】
なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0083】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【0084】
1 制御装置
2 移動体
11 通信部
12 記憶部
13 制御部
131 取得部
133 表示制御部
134 操作受付部
135 送信部
21 撮像手段
22 出力手段
23 移動体制御手段
24 通信部
25 記憶部
26 制御部
261 受信部
262 送信部
263 状態制御部
264 出力部
【要約】
【課題】移動体と制御装置との通信状況が悪化した場合に遠隔操作を行う操作者が移動体の状態を認識できるようにする。
【解決手段】遠隔から制御される移動体2と、移動体を遠隔から制御する制御装置1と、を有する遠隔制御システムSである。移動体2は、移動体2の走行状態を示す走行状態情報であって、制御装置1から遠隔で制御されているか否かを示す走行状態情報を制御装置1に送信する送信部262を有する。制御装置1は、移動体2から送信された走行状態情報を取得する取得部131と、移動体2が遠隔制御を解除し停止する状態である停止制御状態を検出するために予め定められた所定の期間である停止状態検出期間が経過するまでの間に走行状態情報を取得できない場合に、移動体が停止制御状態と推定される状態にあることを表示部に表示させる表示制御部133と、を有する。
【選択図】図2

図1
図2
図3
図4
図5
図6
図7
図8
図9