(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022148169
(43)【公開日】2022-10-06
(54)【発明の名称】積載率推定装置
(51)【国際特許分類】
G06T 7/50 20170101AFI20220929BHJP
【FI】
G06T7/50
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2021049749
(22)【出願日】2021-03-24
(71)【出願人】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】松下 真矢
(72)【発明者】
【氏名】下沢 智啓
(72)【発明者】
【氏名】水師 由佳
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA02
5L096CA05
5L096CA18
5L096DA02
5L096EA37
5L096FA64
5L096FA66
5L096FA69
(57)【要約】
【課題】積載率の推定精度を向上させることができる積載率推定装置を提供すること。
【解決手段】積載率推定装置は、荷台の内部が撮影された第1画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第2画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
荷台の内部が撮影された第1画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第2画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、
前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する、
積載率推定装置。
【請求項2】
前記荷台は、荷室であり、
前記第1画像は、
前記荷室の内部に設置されたカメラで撮影される画像である、
請求項1に記載の積載率推定装置。
【請求項3】
前記第2画像は、
前記車両の外部を撮影する車載カメラで撮影される画像、および、前記荷台における作業が行われる場所に設置された監視カメラで撮影される画像のうちの少なくとも一方である、
請求項1または2に記載の積載率推定装置。
【請求項4】
前記人は、前記荷台における作業を行う作業者であり、
前記積み荷以外の物体は、前記作業に用いられる作業用具である、
請求項1から3のいずれか1項に記載の積載率推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、車両で用いられる積載率推定装置に関する。
【背景技術】
【0002】
従来、荷台(例えば、荷室または平ボディ等)を備えた車両における積載率を推定する方法が知られている。例えば、特許文献1には、超音波センサにより計測された荷室内の荷量データに基づいて積載率を算出する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の方法では、人や積み荷以外の物体が荷台に存在する場合、それらが荷物と同様に処理されてしまい、積載率の推定精度が低下する、といった課題がある。
【0005】
本開示の一態様の目的は、積載率の推定精度を向上させることができる積載率推定装置を提供することである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る積載率推定装置は、荷台の内部が撮影された第1画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第2画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する。
【発明の効果】
【0007】
本開示によれば、積載率の推定精度を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】本開示の実施の形態に係る車両を模式的に示す側面図
【
図2】本開示の実施の形態に係る積載率推定装置の構成の一例を示すブロック図
【
図3】本開示の実施の形態に係る積載率推定装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照しながら説明する。
【0010】
まず、本実施の形態の車両Vについて、
図1を用いて説明する。
図1は、車両Vを模式的に示す側面図である。
【0011】
図1に示すように、車両Vは、キャブ1および荷室2を備えたトラックである。なお、車両Vは、トラックに限定されず、他の車種であってもよい。
【0012】
荷室2(荷台の一例)は、例えば箱型であり、その後方側面に、荷室2の出入口としての開口部(図示略。以下同様)を有する。その開口部を介して、荷物の積み込みや荷下ろしが行われる。
【0013】
荷室2の後方には、開口部の位置に対応するように、開閉自在な扉3が設けられている。扉3としては、例えば、開口部の左右の端部を軸に、開口部の中央から左右に回転して開く扉(いわゆる観音開きタイプの扉)が挙げられるが、これに限定されない。
【0014】
荷室2内の後方には、荷室内カメラ4が設けられている。
【0015】
荷室内カメラ4は、荷室2の内部全体を撮影する。荷室内カメラ4により撮影される画像を、以下、荷室内画像(第1画像の一例)という。
【0016】
荷室内カメラ4は、撮影された荷室内画像を、後述する積載率推定装置100(
図2参照)へ送信する。
【0017】
また、荷室内カメラ4は、深度センサ(図示略)と一体的に構成されている。深度センサは、それ自身から人や物体までの距離を二次元的に計測可能なセンサである。深度センサの検知結果は、後述する積載率推定装置100(
図2参照)へ出力される。なお、荷室内カメラ4と深度センサとは、別体であってもよい。
【0018】
荷室2外の後方には、後方カメラ5が設けられている。
【0019】
後方カメラ5は、車両Vの外部かつ後方(具体的には、開口部の外側付近)を撮影するカメラである。後方カメラ5により撮影される画像を、以下、第1開口部付近画像(第2画像の一例)という。
【0020】
例えば、後方カメラ5により撮影される範囲は、荷室2内を含まず、かつ、開口部(
図1に示す扉3と言ってもよい)を基準として所定距離(例えば、数メートル)以内の範囲である。すなわち、第1開口部付近画像は、荷室2の外部であって、開口部から所定距離以内の範囲が撮影された画像である。
【0021】
後方カメラ5は、撮影された第1開口部付近画像を、後述する積載率推定装置100(
図2参照)へ送信する。
【0022】
なお、荷室内カメラ4および後方カメラ5それぞれの設置位置は、
図1に示す位置に限定されない。
【0023】
また、
図1では図示は省略するが、車両Vには、さらに、後述する積載率推定装置100(
図2参照)が搭載されている。
【0024】
図1では、車両VがバースBの近傍に停車している状態を示している。バースBとは、物流用施設(例えば、倉庫、配送センター等)に設けられた、荷室2における荷積みまたは荷下ろし等の作業に使用されるスペースである。
【0025】
図1に示すように、バースBの上方(例えば、天井部分)には、監視カメラ6が設置されている。
【0026】
監視カメラ6は、バースBの入口付近を撮影する。よって、例えば、
図1に示すように、車両Vがその後方をバースBの入口付近に近付けて停車した場合、監視カメラ6により、車両Vの外部かつ後方(具体的には、開口部の外側付近)が撮影される。監視カメラ6により撮影される画像を、以下、第2開口部付近画像(第2画像の一例)という。第2開口部付近画像は、第1開口部付近画像と同様に、荷室2の外部であって、開口部から所定距離以内の範囲が撮影された画像である。なお、第2開口部付近画像には、さらに、荷室2内の画像が含まれてもよい(この場合、第2開口部付近画像は、第1画像の一例であり、かつ、第2画像の一例であると言える)。
【0027】
監視カメラ6は、撮影された第2開口部付近画像を、後述する積載率推定装置100(
図2参照)へ送信する。
【0028】
なお、監視カメラ6が無線通信機能を備えている場合、監視カメラ6は、直接、第2開口部付近画像を積載率推定装置100へ無線送信してもよい。監視カメラ6が無線通信機能を備えていない場合、監視カメラ6は、バースBに設置された無線通信装置(図示略)へ第2開口部付近画像を有線送信し、その無線通信装置が第2開口部付近画像を積載率推定装置100へ無線送信してもよい。
【0029】
以上、車両Vについて説明した。
【0030】
次に、本実施の形態の積載率推定装置100について、
図2を用いて説明する。
図2は、積載率推定装置100の構成例を示すブロック図である。
【0031】
上述したとおり、
図2に示す積載率推定装置100は、
図1に示した車両Vに搭載される。
【0032】
図示は省略するが、積載率推定装置100は、それぞれ、ハードウェアとして、例えば、CPU(Central Processing Unit)、コンピュータプログラムを格納したROM(Read Only Memory)、RAM(Random Access Memory)を有する。以下に説明する各装置の機能は、CPUがROMから読み出したコンピュータプログラムをRAMにて実行することにより実現される。例えば、積載率推定装置100は、ECU(Electronic Control Unit)で実現されてもよい。
【0033】
図2に示すように、積載率推定装置100は、認識部110および推定部120を有する。
【0034】
認識部110は、荷室内カメラ4から荷室内画像を取得し、後方カメラ5から第1開口部付近画像を取得し、監視カメラ6から第2開口部付近画像を取得する。荷室内画像、第1開口部付近画像、および第2開口部付近画像(以下、まとめて「各画像」ともいう)は、例えば、リアルタイムに撮影される動画像である。
【0035】
そして、認識部110は、各画像において、人および積み荷以外の物体を認識し、それらを追跡し、荷室2内に人および積荷以外の物体が存在するか否かを推測する。
【0036】
ここでいう人とは、例えば、荷室2において荷積みまたは荷下ろし等の作業を行う作業者である。また、ここでいう積み荷以外の物体(以下、単に物体ともいう)とは、上記作業の際に作業者によって使用される作業用具(例えば、台車、脚立、ローラーコンベア等)である。
【0037】
認識部110で行われる人および物体を認識し、追跡する方法は、公知の技術を適用できる。公知の技術としては、例えば、ディープラーニングなどによる画像上の認識技術(例えば、特開2020-68008号公報、特開2020-204804号公報等参照)や、画像上の追跡技術(例えば、特開2012-108798号公報、特開2020-91664号公報等参照)が挙げられるが、これに限定されない。
【0038】
推定部120は、認識部110により荷室2内に人および積荷以外の物体が存在しないと推測された場合、深度センサの検知結果に基づいて、車両Vの積載率の推定を行う。積載率とは、車両Vの最大積載体積に対する、荷室2内に配置された積み荷の体積の割合である。
【0039】
推定部120で行われる積載率の推定方法は、公知の技術を適用できる。公知の技術としては、例えば、特開2003-35527号公報、<URL:https://creanovo.de/portfolio/wabco-cargocam/>、<URL:https://www.ncos.co.jp/news/news_210113.html>等に開示された方法が挙げられるが、それらに限定されない。
【0040】
なお、推定部120は、推定された積載率を示す情報を、図示しない所定の装置へ出力(送信)してもよい。所定の装置としては、キャブ1内に搭載された報知装置(例えば、ディスプレイ、スピーカ等)や、車両Vの外部に設置されたコンピュータ(例えば、ネットワーク上のサーバ装置等)が挙げられる。
【0041】
以上、積載率推定装置100の構成について説明した。
【0042】
次に、積載率推定装置100の動作について、
図3を用いて説明する。
図3は、積載率推定装置100の動作例を示すフローチャートである。
図3に示すフローは、例えば、車両Vが停車した時に開始されてもよいし、または、車両Vが停車し、かつ、扉3が開状態となった時に開始されてもよい。
【0043】
まず、認識部110は、荷室内画像、第1開口部付近画像、および第2開口部付近画像を取得する(ステップS1)。
【0044】
次に、認識部110は、各画像において、人および積み荷以外の物体の認識および追跡を開始する(ステップS2)。これにより、認識部110は、荷室2内に人および積み荷以外の物体が存在するか否かを推測する(ステップS3)。
【0045】
上述した認識、追跡、および推測は、荷室2内に人および積み荷以外の物体が存在する場合(ステップS3:YES)、繰り返される。
【0046】
認識部110により荷室2内に人および積み荷以外の物体が存在しないと推測された場合(ステップS3:NO)、推定部120は、積載率の推定を実行する(ステップS4)。
【0047】
以上、積載率推定装置100の動作について説明した。
【0048】
ここまで詳述したように、本実施の形態の積載率推定装置100は、荷室内画像、第1開口部付近画像、および第2開口部付近画像に基づいて、荷室2内に人および積み荷以外の物体が存在しないと推定された場合に、車両Vの積載率の推定を行うことを特徴とする。
【0049】
よって、本実施の形態の積載率推定装置100は、積載率の推定精度を向上させることができる。
【0050】
なお、本開示は、上記実施の形態の説明に限定されず、その趣旨を逸脱しない範囲において種々の変形が可能である。以下、変形例について説明する。
【0051】
[変形例1]
実施の形態では、荷室2の扉3が荷室2の後方(背面と言ってもよい)に設けられる場合を例に挙げて説明したが、これに限定されない。
【0052】
例えば、荷室2の開口部および扉3は、荷室2の側方(具体的には、左側面および右側面の少なくとも一方)に設けられてもよい。その場合、後方カメラ5の代わりに、例えば、車両Vの外部かつ側方(具体的には、開口部の外側付近)を撮影するカメラを用いればよい。
【0053】
[変形例2]
実施の形態では、車両Vが、荷台として荷室2を備える場合を例に挙げて説明したが、これに限定されない。
【0054】
車両Vは、荷室2の代わりに、平ボディ(荷台の一例)を備える車両であってもよい。この場合、荷室内カメラ4の代わりに、例えば、キャブ1(例えば、キャブ1の外部かつ後方)に設けられ、平ボディ上全体を撮影するカメラを用いればよい。また、この場合、後方カメラ5の代わりに、平ボディに設けられ、平ボディの外部であって、平ボディの出入口から所定距離の範囲を撮影するカメラを用いればよい。
【0055】
[変形例3]
実施の形態では、3種類の撮影画像(例えば、荷室内画像、第1開口部付近画像、第2開口部付近画像)を用いる場合を例に挙げて説明したが、これに限定されず、3種類の撮影画像のうち少なくとも1種類の撮影画像だけを用いてもよい。
【0056】
まず、荷室内画像のみを用いる場合について説明する。
【0057】
この場合、推定部120は、荷室内画像において人および物体が認識されなくなった時点で、積載率の推定を実行する。
【0058】
次に、第1開口部付近画像のみを用いる場合について説明する。
【0059】
ここでは、第1開口部付近画像において、最初に、開口部の外側付近で1名の作業者が認識された場合を例に挙げて説明する。なお、上述したとおり、第1開口部付近画像には、荷室2内の画像が含まれない。
【0060】
認識部110は、第1開口部付近画像において、認識済みの作業者が、予め定められた開口部の方向(認識部110にとって既知である画像上の方向。以下、開口部方向という)に移動して第1開口部付近画像から消えた場合、認識済みの作業者が荷室2内にいると認識する。この場合、推定部120よる積載率の推定は実行されない。
【0061】
その後、認識部110は、第1開口部付近画像において、開口部方向から認識済み作業者が現れた場合、荷室2内に認識済み作業者がいないと認識する。この時点で、推定部120は、積載率の推定を実行する。
【0062】
このように、荷室2内の画像が含まれない第1開口部付近画像のみを用いる場合でも、荷室2内に人がいるか否かを認識することができる。なお、上記説明では、1名の作業者が荷室2内へ移動した場合を例に挙げたが、複数の作業者が荷室2内へ移動した場合や、作業者が作業用具を持って荷室2内へ移動した場合も、上記同様に、荷室2内における作業者や作業用具の有無を認識することができる。
【0063】
次に、第2開口部付近画像のみを用いる場合について説明する。
【0064】
第2開口部付近画像に荷室2内の画像が含まれる場合、認識部110によって、第2開口部付近画像において人および物体が認識、追跡され、それらが荷室2内に存在しなくなったと推測された時点で、推定部120は、積載率の推定を実行する。一方、第2開口部付近画像に荷室2内の画像が含まれない場合、認識部110および推定部120の動作は、上述した第1開口部付近画像のみを用いる場合と同様である。
【0065】
なお、上記説明では、荷室内画像、第1開口部付近画像、第2開口部付近画像のうち1種類を用いる場合を例に挙げて説明したが、荷室内画像、第1開口部付近画像、第2開口部付近画像のうち2種類を用いてもよい。
【0066】
以上説明したように、1種類のカメラ(1種類の撮影画像)を用いた場合でも、積載率の推定精度の向上を実現できる。ただし、実施の形態のように複数種類のカメラ(複数種類の撮影画像)を用いた方が、認識および追跡の精度が向上する。よって、実施の形態では、積載率の推定精度が、本変形例よりも向上する。
【0067】
また、第1開口部付近画像および第2開口部付近画像のうち少なくとも一方を用いる場合では、既存の設備である後方カメラ5や監視カメラ6を活用することが可能となる。この場合、荷室2内に荷室内カメラ4を設置する必要がないため(荷室2内には深度センサのみを備えればよいため)、コストを抑制することが可能となる。すなわち、低コストかつシンプルな構成により積載率の推定を精度良く行うことができる。
【0068】
[変形例4]
実施の形態では、積載率推定装置100が車両Vに搭載される場合を例に挙げて説明したが、これに限定されない。例えば、積載率推定装置100は、車両Vの外部に設置されるコンピュータ(例えば、サーバ等)で実現されてもよい。その場合、例えば、車両Vに搭載された通信装置(図示略)が、各画像(例えば、荷室内画像、第1開口部付近画像、および第2開口部付近画像)を上記コンピュータへ送信してもよい。
【0069】
以上、変形例について説明した。なお、上記変形例は、適宜組み合わせてもよい。
【産業上の利用可能性】
【0070】
本開示の積載率推定装置は、荷室または荷台を備えた車両における積載率の推定に有用である。
【符号の説明】
【0071】
1 キャブ
2 荷室
3 扉
4 荷室内カメラ
5 後方カメラ
6 監視カメラ
100 積載率推定装置
110 認識部
120 推定部
B バース
V 車両