特許 7602451 自律体移動制御システム、制御装置、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-10

(45)【発行日】2024-12-18

(54)【発明の名称】自律体移動制御システム、制御装置、及び制御方法

(51)【国際特許分類】

   G05D 1/43 20240101AFI20241211BHJP

【ＦＩ】

G05D1/43

【請求項の数】 14

(21)【出願番号】P 2021205534

(22)【出願日】2021-12-17

(65)【公開番号】P2023090539

(43)【公開日】2023-06-29

【審査請求日】2024-03-12

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】笹谷 聡

(72)【発明者】

【氏名】北村 毅

【審査官】渡邊 捷太郎

(56)【参考文献】

【文献】特許第６８３３１１１（ＪＰ，Ｂ１）

【文献】特開２０１７－２０９２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２３８５３１（ＵＳ，Ａ１）

【文献】特開２０１１－４８７３６（ＪＰ，Ａ）

【文献】特開２０２０－１３６７５６（ＪＰ，Ａ）

【文献】特開２０１９－１３９４６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４３

(57)【特許請求の範囲】

【請求項1】

人物と自律移動体が混在するフィールド内の自律移動体の移動制御を行う自律体移動制御システムであって、
前記フィールド内の人物の位置および前記自律移動体の位置情報を計測する複数の計測装置と、
前記計測装置からの計測結果に基づいて、前記フィールド内の環境に関する情報である環境情報を生成し、
前記環境情報を解析して前記人物と前記自律移動体の接触が発生する可能性の高い前記フィールド内の領域を危険領域として検出し、
検出した前記危険領域に基づいて、前記自律移動体の移動制御を行い、
前記フィールド内における前記人物の位置情報に基づいて前記人物の移動経路を予測し、
予測した前記人物の移動経路に基づいて、前記危険領域を目視する可能性のある人物を選定し、
選定された前記人物の所持するカメラによって前記危険領域を撮影するように前記人物に指示し、
前記カメラで撮影された画像に基づいて、前記環境情報を更新する自律体移動制御装置と
を有することを特徴とする自律体移動制御システム。

【請求項2】

請求項１記載の自律体移動制御システムにおいて、
前記環境情報は、前記フィールド内における前記人物、前記自律移動体、及び、障害物の位置であることを特徴とする自律体移動制御システム。

【請求項3】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記環境情報の解析結果である、前記自律移動体の走行が可能な経路情報、障害物の位置情報、障害物の高さ情報、前記人物の動的情報、及び外部からユーザが指定した領域情報の少なくともいずれか１つの情報を用いて前記危険領域を検出することを特徴とする自律体移動制御システム。

【請求項4】

請求項１記載の自律体移動制御システムにおいて、
自律体移動制御装置は、前記自律移動体の経路および速度を制御することを特徴とする自律体移動制御システム。

【請求項5】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記計測装置により取得した前記人物の位置情報と、作業計画とに基づいて、前記人物の移動経路を予測することを特徴とする自律体移動制御システム。

【請求項6】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記危険領域を目視する可能性のある人物として、前記危険領域付近を移動する可能性のある人物、危険領域付近にいる人物、及び視点を変更することで危険領域を目視できる人物の何れか１つに該当する人物を選定することを特徴とする自律体移動制御システム。

【請求項7】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記危険領域を目視する可能性のある人物として、カメラによる撮影機能を搭載し、前記危険領域付近の撮影が可能な小型ロボットを選定することを特徴とする自律体移動制御システム。

【請求項8】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記人物や前記自律移動体の作業進捗状況を示す作業進捗情報に基づいて、前記危険領域を目視する可能性のある人物の選定方法を変更することを特徴とする自律体移動制御システム。

【請求項9】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、所持するカメラによって前記危険領域を撮影するように前記人物に指示する方法として、スマートグラスのディスプレイへの表示またはプロジェクタによるプロジェクションマッピングでの表示を用いることを特徴とする自律体移動制御システム。

【請求項10】

請求項９記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記スマートグラスのディスプレイに、撮影位置、撮影方向、カメラ角度、前記環境情報、前記危険領域の位置、作業進捗情報、及び撮影による作業進捗の予測向上率の少なくとも１つの情報を表示させることを特徴とする自律体移動制御システム。

【請求項11】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、前記計測装置の計測結果を解析して計測結果に示される人物の位置および行動の少なくとも一方の情報を取得し、その情報と前記危険領域とを比較することで前記危険領域が危険か否かを判定することを特徴とする自律体移動制御システム。

【請求項12】

請求項１記載の自律体移動制御システムにおいて、
前記自律体移動制御装置は、環境情報のうち、人物の位置、障害物の位置、及び危険領域の少なくとも１つを更新することを特徴とする自律体移動制御システム。

【請求項13】

人物と自律移動体が混在するフィールド内の人物の位置および前記自律移動体の位置情報に基づいて、前記フィールド内の環境に関する情報である環境情報を生成し、
前記環境情報を解析して前記人物と前記自律移動体の接触が発生する可能性の高い前記フィールド内の領域を危険領域として検出し、
検出した前記危険領域に基づいて、前記自律移動体の移動制御を行い、
前記フィールド内における前記人物の位置情報に基づいて前記人物の移動経路を予測し、
予測した前記人物の移動経路に基づいて、前記危険領域を目視する可能性のある人物を選定し、
選定された前記人物の所持するカメラによって前記危険領域を撮影するように前記人物に指示し、
前記カメラで撮影された画像に基づいて、前記環境情報を更新する
ことを特徴とする自律体移動制御装置。

【請求項14】

人物と自律移動体が混在するフィールド内の人物の位置情報および前記自律移動体の位置情報を計測する手順と、
前記人物および前記自律移動体の位置情報の計測結果に基づいて、前記フィールド内の環境に関する情報である環境情報を生成する手順と、
前記環境情報を解析して前記人物と前記自律移動体の接触が発生する可能性の高い前記フィールド内の領域を危険領域として検出する手順と、
検出した前記危険領域に基づいて、前記自律移動体の移動制御を行う手順と、
前記フィールド内における前記人物の位置情報に基づいて前記人物の移動経路を予測する手順と、
予測した前記人物の移動経路に基づいて、前記危険領域を目視する可能性のある人物を選定する手順と、
選定された前記人物の所持するカメラによって前記危険領域を撮影するように前記人物に指示する手順と、
前記カメラで撮影された画像に基づいて、前記環境情報を更新する手順と
を有することを特徴とする自律体移動制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自律体移動制御システム、制御装置、及び制御方法に関する。

【背景技術】

【0002】

近年、少子高齢化による労働人口減少に伴い、人手不足解消や生産性向上を目的としたシステム制御の自動・自律化への期待が高まっている。例えば、物流倉庫のように人物や機械(車両など)が混在するフィールドにおいては、各対象の自動・自律制御を行うことで安全性と生産性を両立することが可能となる。

【0003】

作業を行うフィールドに移動制御の対象となる自律体（例えば、車両）が存在する場合の安全確保に関する技術としては、車両や走行経路周辺にカメラやＬｉＤＡＲなどのセンサを設置し、車両の走行経路への物体の飛び出しなどが予測される危険領域を検出することで、車両の速度などを制御するものが知られている。

【0004】

例えば、特許文献１には、車両走行における交通環境情報を取得する交通環境情報取得手段と、障害物が形成する死角領域を検出する死角領域検出手段と、前記交通環境情報取得手段により取得された交通環境情報から死角領域の危険度に寄与する動的情報を抽出する動的情報抽出手段と、抽出された死角領域の危険度に寄与する動的情報に基づいて前記死角領域の危険度を設定する危険度算出手段と、を備える危険度算出装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１０４０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来技術においては、障害物の位置情報から死角などの危険領域を検出し、人の出入りなどの動的情報から危険度を推定、更新することで車両制御を行っている。

【0007】

しかしながら、物流倉庫のように車両など自律体の走行経路周辺の危険領域の数が非常に多く、かつ、危険領域の位置が刻々と変化するようなフィールドの場合には、常に飛び出しなどを考慮する必要があるため、頻繁に車両の速度を落とすこととなり、生産性が低下してしまう恐れがある。

【0008】

本発明は上記に鑑みてなされたものであり、車両と作業者とが混在するフィールドにおいて、安全性と生産性を両立することができる自律体移動制御システム、制御装置、及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、人物と自律移動体が混在するフィールド内の自律移動体の移動制御を行う自律体移動制御システムであって、前記フィールド内の人物の位置および前記自律移動体の位置情報を計測する複数の計測装置と、前記計測装置からの計測結果に基づいて、前記フィールド内の環境に関する情報である環境情報を生成し、前記環境情報を解析して前記人物と前記自律移動体の接触が発生する可能性の高い前記フィールド内の領域を危険領域として検出し、検出した前記危険領域に基づいて、前記自律移動体の移動制御を行い、前記フィールド内における前記人物の位置情報に基づいて前記人物の移動経路を予測し、予測した前記人物の移動経路に基づいて、前記危険領域を目視する可能性のある人物を選定し、選定された前記人物の所持するカメラによって前記危険領域を撮影するように前記人物に指示し、前記カメラで撮影された画像に基づいて、前記環境情報を更新する自律体移動制御装置とを有するものとする。

【発明の効果】

【0010】

本発明によれば、車両と作業者とが混在するフィールドにおいて、車両の走行経路への対象の侵入が予測される危険領域を検出するとともに、危険度に応じて検出した危険領域の数を適切に削減することで、安全性と生産性を両立することができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施の形態に係る自律体移動制御システムの全体構成を示す機能ブロック図である。

【図2】環境情報生成部によって生成される環境情報の一例を示す図である。

【図3】危険領域検出部の詳細を示す機能ブロック図である。

【図4】死角領域抽出部によって抽出される死角領域の一例を示す図である。

【図5】撮影指示部によってスマートグラスのディスプレイ上に表示される撮影指示の内容の一例を示すである。

【図6】撮影指示部によってスマートグラスのディスプレイ上に表示される撮影指示の内容の一例を示すである。

【図7】環境情報更新部の詳細を示す機能ブロック図である。

【図8】危険領域更新部の処理内容を示すフローチャートである。

【図9】第２の実施の形態に係る自律体移動制御システムの全体構成を示す機能ブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を図面を参照しつつ説明する。

【0013】

なお、以下の説明においては、同一の構成要素が複数存在する場合、符号（数字）の末尾にアルファベットを付すことがあるが、当該アルファベットを省略して当該複数の構成要素をまとめて、例えば、障害物１３ａ、１３ｂ、１３ｃ，１３ｄ，１３ｅを障害物１３と表記することがある。

【0014】

＜第１の実施の形態＞
本発明の第１の実施の形態を図１～図８を参照しつつ詳細に説明する。

【0015】

図１は、本実施の形態に係る自律体移動制御システムの全体構成を示す機能ブロック図である。

【0016】

図１において、自律体移動制御システムは、物流倉庫などのフィールドに配置された複数の計測装置からの情報に基づいて、物流走行内で自律作業・走行を行う車両などの自律体（以降、自律移動体と称する）、作業者、障害物などの位置を計測し、車両の自律走行などを制御する装置であり、複数の計測装置２ａ，２ｂと、環境情報生成部３、危険領域検出部４、自律体制御部５、移動経路予測部６、作業者選定部７、撮影指示部８、環境情報更新部９、及び記憶部２００を備えた自律体移動制御装置１と、記憶装置２０１と、ウェアラブルカメラ１４とを有している。なお、自律体移動制御装置１の各機能は、ＣＰＵなどの演算装置、ＨＤＤやＳＳＤなどの内部／外部記憶装置を有する計算機において実現される。

【0017】

複数の計測装置２ａ，２ｂは、例えば、フィールド内の各所を撮影する単眼カメラやＬｉＤＡＲ（Light Detection and Ranging）などのセンサである。計測装置２ａ，２ｂとして単眼カメラを用いる場合、単眼カメラは撮影した映像と予め設定された単眼カメラのフィールド内における位置情報とからフィールド内における自律移動体や人物の位置を計測する、計測装置として機能する。同様に、計測装置２ａ，２ｂとしてＬｉＤＡＲを用いる場合、ＬｉＤＡＲは計測した距離データと予め設定されたＬｉＤＡＲのフィールド内における位置情報とから、フィールド内における自律移動体や人物の位置を計測する、計測装置として機能する。なお、計測装置２ａ，２ｂとしては、単眼カメラやＬｉＤＡＲに限定されるものではなく、例えば、ステレオカメラや距離センサなどを計測装置として用いることも可能である。また、複数の計測装置２ａ，２ｂは全て同種である必要はなく、異なる種類の計測装置を混在させて用いることが可能である。以降、計測装置２ａ，２ｂを含む計測装置をまとめてセンサと表記することがある。

【0018】

環境情報生成部３は、複数の計測装置２ａ，２ｂから取得した情報を解析することで、車両、人物（以降、作業者とも称する）、および障害物の位置を示す環境情報を生成し、記憶部２００に記憶させる、あるいは記憶部２００の環境情報を更新する機能部である。

【0019】

危険領域検出部４は、記憶部２００の環境情報を解析し、作業者と車両が接触する可能性が高い領域、或いは、作業者と車両との接触する可能性を高める領域を危険領域として検出し、記憶部２００の環境情報に組み込む、或いは、環境情報に含まれる危険領域の情報を更新する機能部である。危険領域としては、例えば、荷物などの障害物によって、車両に搭載された車載センサやフィールド内に設置されたインフラセンサから死角になり得る領域などが挙げられる。

【0020】

自律体制御部５は、記憶部２００の環境情報に含まれる危険領域の情報に基づいて、車両の経路および速度を決定し、車両に指示する機能部である。

【0021】

移動経路予測部６は、計測装置２ａ，２ｂにより取得した作業者の位置情報と、記憶装置２０１に予め記憶された作業計画情報とに基づいて、作業者の移動経路を予測する機能部である。

【0022】

作業者選定部７は、移動経路予測部６で予測された作業者の移動経路に基づいて、危険領域検出部４で検出された危険領域付近を移動する可能性のある作業者を選定する機能部である。

【0023】

撮影指示部８は、作業者選定部７で選定された作業者に対して、その作業者の所有するウェアラブルカメラにより危険領域を撮影するよう指示する機能部である。ウェアラブルカメラは、例えば、作業者の装着するヘルメットなどに搭載される作業状況撮影用のカメラや、作業用スマートフォンなどに搭載されるカメラ、撮影機能を搭載したスマートグラスなどである。

【0024】

環境情報更新部９は、ウェアラブルカメラで撮影された画像（撮影情報）に基づいて、記憶部２００の環境情報を更新する機能部である。

【0025】

図２は、環境情報生成部によって生成される環境情報の一例を示す図である。

【0026】

図２に示すように、環境情報は、環境情報生成部３によって環境マップ１０として生成されるものである。環境マップ１０には、車両１１の位置情報、作業者１２の位置情報、障害物１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅの位置情報、斜線領域で示すは車両１１の走行経路候補４０を有している。なお、図２においては、フィールド内における計測装置２ａ，２ｂの位置情報を同時に示している。

【0027】

自律体移動制御装置１に入力される情報は、フィールド内に固定されたセンサ（以後はインフラセンサと称する）の計測結果と車両に搭載されたセンサ（以後は車載センサと呼ぶ）の計測結果とを統合したものであり、予めセンサ間のキャリブレーションを実施することで、全センサの結果を同一の座標空間において取り扱うことが可能となっている。なお、対象の位置や種別の計測が可能な情報であれば、上記の情報に特に限定しない。

【0028】

本実施の形態で扱う環境情報は、環境マップ１０のようなフィールド内を俯瞰的に捉えた２次元画像とし、各ピクセル値にピクセル領域内での最大の高さ情報を埋め込むことで、対象の位置情報および高さ情報を把握可能である。なお、環境情報は、人物、車両、および障害物の位置情報と高さ情報、車両が走行可能な経路候補が把握可能であれば、取得方法や表現方法は特に限定しない。例えば、環境情報生成部３では、計測装置２ａ，２ｂの情報から新規に環境情報を生成しするだけではなく、過去の環境情報と最新のセンサ情報を踏まえて環境情報を更新しても良い。

【0029】

図３は、危険領域検出部の詳細を示す機能ブロック図である。

【0030】

図３において、危険領域検出部４は、車両走行経路生成部３０、死角領域抽出部３１、人流情報取得部３２、および危険領域決定部３３を有している。

【0031】

車両走行経路生成部３０は、記憶部２００の環境情報から車両の走行経路の候補情報を生成する機能部である。

【0032】

死角領域抽出部３１は、車両の走行経路候補の付近に存在する障害物情報を解析して、車載センサやインフラセンサから死角になり得る領域（死角領域）を抽出する機能部である。

【0033】

人流情報取得部３２は、死角領域抽出部３１によって取得した死角領域に対する作業者の出入りなどを示す人流情報を取得する機能部である。

【0034】

危険領域決定部３３は、死角領域と人流情報とから車両走行経路付近に存在する危険領域を決定する機能部である。

【0035】

以降、危険領域検出部４の各機能部の処理機能について詳細に説明する。

【0036】

車両走行経路生成部３０は、環境マップ１０を使用して車両が移動する可能性のある走行経路候補を１つ以上生成する。走行経路の生成方法としては、出発地点と目標地点の位置情報を入力とし、環境マップ１０上で車両が走行可能な経路情報の中から１つ以上の走行経路を出力するなど、環境マップ１０における１つ以上の車両の走行経路候補が出力可能な方法であれば特に限定しない。

【0037】

図４は、死角領域抽出部によって抽出される死角領域の一例を示す図である。

【0038】

図４においては、車両走行経路生成部３０によって出力された車両の走行経路候補４０の１つと、車両の進行方向４１と、死角領域４２ａ，４２ｂ，４２ｃを示している。

【0039】

死角領域抽出部３１は、環境マップ１０において、車両走行経路生成部３０によって出力される走行経路候補４０に対して、周辺の障害物１３により発生すると予想される死角領域を抽出する。死角領域の抽出方法としては、走行経路候補４０周辺の計測装置２ａ，２ｂの撮影領域と、障害物の位置情報や高さ情報を用いて判断する。計測装置２ａ，２ｂの撮影領域については、インフラセンサに関しては予め環境マップ１０上でのセンサの位置および向きを取得することで推定可能であり、車載センサに関しては車両の進行方向４１とセンサの向き情報から推定できる。例えば、図４において、インフラセンサの撮影領域が走行経路候補４０と一致し、５つの障害物１３の高さが作業員の身長よりも高い場合、３つの死角領域４２ａ，４２ｂ，４２ｃが抽出される。なお、車両の進行方向が進行方向４１と逆向きの場合には、障害物１３ｄ，１３ｅの間の領域（死角領域４２ｃ）は車載センサにより計測可能と判定されるため、死角領域４２ａ，４２ｂのみが抽出される。なお、上記の例以外でも環境マップ１０情報などを活用して、車両からの死角となる領域を推定可能な方法であれば、特に限定しない。

【0040】

人流情報取得部３２では、死角領域抽出部３１によって抽出された死角領域４２において、センサ情報を解析することにより人流情報を推定する。人流情報としては、死角領域への作業者の出入りが把握可能な情報であれば良く、一定時間ごとの死角領域に出入りした作業者の人数など、特に限定しない。

【0041】

危険領域決定部３３では、人流情報取得部３２から取得した人流情報を用いて、死角領域抽出部３１から取得した死角領域４２の中から、危険領域を決定する。

【0042】

危険領域の決定方法としては、例えば、危険領域を決定する直前までに作業者の出入り頻度が閾値より大きい死角領域を危険領域として決定する方法や、侵入した作業者数が出てきた作業者数よりも大幅に多い死角領域を危険領域として決定する方法など、人流情報から危険度が高いと予想される死角領域を危険領域として選定できる方法であれば特に限定しない。

【0043】

また、人流情報だけでなく障害物や車両の位置関係などから、車両と作業者の接触率が高いと予想される地点付近にある死角領域を危険領域として判定する方法や、予めユーザがＧＵＩなどを用いて環境マップ１０上に領域を設定し、設定領域内にある死角領域を危険領域として決定するなどの手段を用いても良い。

【0044】

危険領域検出部４では、危険領域決定部３３によって決定した危険領域の情報を作業者選定部７に出力するとともに、記憶部２００の環境情報の危険領域の情報を追加・更新する。

【0045】

自律体制御部５は、１つ以上の車両の走行経路候補４０の情報と、各走行経路候補周辺に存在する危険領域の情報から自律体（車両）の経路および速度を制御する機能部である。自律体の走行経路の制御方法としては、走行経路候補の中から最終的な移動経路を決定し、車両の中心部が経路中央上を走行するよう、車両を制御する方法などがある。最終的な移動経路の決定方法としては、走行経路候補の中で最も周辺に危険領域の数が少ない経路を最終経路として決定する方法や、フィールド内（倉庫全体）の作業の進捗情報などを取得して車両を早急に移動させる必要がある場合は、最も距離が短い経路を最終経路として決定する方法など、特に限定しない。速度の決定方法としては、危険領域に差し掛かる直前の経路では倉庫内で予め定められた通常速度よりも速度を落とし、その他の経路では通常速度で走行するよう制御する方法や、予め人流情報などから危険領域のレベルを判定可能な危険度を算出しておき、危険度に応じて速度を制御する方法などがある。

【0046】

移動経路予測部６は、計測装置２ａ、２ｂにより計測した作業者情報と、該当の作業者の作業計画情報から、作業者ごとの環境マップ１０上の移動経路を予測する機能部である。

【0047】

計測装置２ａ、２ｂによる作業者の計測情報は、最新の作業者の位置や行動が把握可能な情報であり、記憶装置２０１の作業計画情報は作業者が実施する当日の作業内容が把握可能な情報である。

【0048】

移動経路の予測方法としては、例えば、作業計画情報として１日における作業エリアと作業予定時間が把握できる場合、現在時刻、および現在の位置情報、および現在と次の作業エリアの位置情報をふまえ、作業者の移動経路を予測するなどの方法がある。また、センサにより取得した軌跡情報を解析し、ある２つのエリア間での往復移動が認識できた作業者の場合、現在位置、および該当の２つエリアの位置情報を踏まえ、作業者の移動経路を予測する方法などもある。また、作業計画情報を使用せず、作業者の軌跡情報から直前までの作業者の移動量と移動方向を元に、作業者が等速直線運動をすると仮定して作業者の移動経路を予測する方法などでも良い。この他にも、センサによる作業者の軌跡情報や作業計画情報を元に、作業者の次に移動する地点を予測し移動経路を推定可能な手法であれば、特に限定しない。

【0049】

作業者選定部７では、環境マップ１０上において、危険領域検出部４から抽出した危険領域と、移動経路予測部６から推定した作業者の移動経路情報から、危険領域付近を移動する可能性のある作業者を選定する。選定方法は特に限定せず、各危険領域に最も近い作業者を１人選定する方法や、各危険領域付近を移動する複数人の作業者を選定する方法などでも良い。また、現在の作業者の位置情報と、作業者が装着しているウェアラブルカメラの画角情報を用いて、現在の位置から移動せずにウェアラブルカメラにて危険領域を撮影可能な作業者を選定する方法でも良い。

【0050】

撮影指示部８は、選定した作業者に対してウェアラブルカメラにて危険領域を撮影するよう指示する機能部である。本実施の形態では、ウェアラブルカメラとして、撮影機能を搭載したスマートグラスを使用した例について述べる。

【0051】

図５及び図６は、撮影指示部によってスマートグラスのディスプレイ上に表示される撮影指示の内容の一例を示すである。

【0052】

図５では、撮影したい危険領域付近を通過する作業者のスマートグラスにおいて、スマートグラスを通した作業者視点５０ａ中に、撮影する危険領域と撮影方向を矢印５１ａで指示する方法を例示している。

【0053】

また、図６では、撮影したい危険領域付近を通過する作業者のスマートグラスにおいて、スマートグラスを通した作業者視点５０ｂ中に、撮影したい危険領域５１ｃと撮影方向を示す矢印５１ｂとが明示された環境マップを危険領域付近にフォーカスして表示することで、撮影位置と方向とを指示する方法を例示している。なお、作業者が撮影すべき危険領域を把握可能な方法であれば、特に限定しない。また、作業者の現在位置から視点を変更するのみで危険領域が撮影可能であれば、「〇〇の方向を向いて下さい」のような簡単な音声による指示でも良い。また、作業者への指示および作業者によるカメラ撮影が可能であれば、スマートグラス以外の装置を使用しても良い。例えば、ウェアラブルカメラのみを装着した作業者に対して、プロジェクションマッピングなどにより撮影したい危険領域や撮影方向を明示するなどの方法を使用しても良い。

【0054】

図７は、環境情報更新部の詳細を示す機能ブロック図である。

【0055】

図７において、環境情報更新部９は、カメラ情報取得部６０、人物位置計測部６１、人物行動予測部６２、及び危険領域更新部６３を有している。

【0056】

カメラ情報取得部６０は、撮影指示部８の指示によって撮影者が危険領域を撮影したカメラの情報を取得する機能部である。

【0057】

人物位置計測部６１は、カメラ情報と撮像画像から作業者の位置情報を計測する機能部である。

【0058】

人物行動予測部６２は、撮像画像から作業者の行動を予測する機能部である。

【0059】

危険領域更新部６３は、カメラ情報、作業者の位置情報、および行動予測情報を解析して、撮影した危険領域が危険か否かを判定する機能部である。

【0060】

以降、環境情報更新部９の各機能部の処理機能について詳細に説明する。

【0061】

カメラ情報取得部６０は、危険領域を撮影したカメラに関する情報を取得する。取得する情報としては、環境マップ１０上でのカメラの位置情報、撮影時のカメラの向きや高さを示す外部パラメータ情報、カメラの焦点距離などを示す内部パラメータ情報である。カメラの位置情報は、インフラセンサにより計測した作業者の位置情報を活用することで取得する。撮影時の外部パラメータ情報は、撮影画像を解析して消失線によりカメラの外部パラメータを推定するなどの方法により取得する。カメラの内部パラメータ情報は予め撮影に使用するカメラの設計値情報などから取得する。なお、カメラの高さについては撮影者の身長情報などを活用する方法でも良い。また、撮影指示部８によって撮影位置や撮影時のカメラの向きを予め指定することで、カメラの位置情報、カメラの向きを取得しても良い。カメラ位置の指定方法としては、図５及び図６で例示したようにスマートグラスのディスプレイ上に矢印５１ａ，５１ｂなどで指定する方法があり、カメラの向きの指定方法としては、ジャイロセンサなどにより取得したカメラの角度をスマートグラスのディスプレイ上に表示して所定のカメラ角度で撮影するよう撮影者へ指示する方法がある。

【0062】

人物位置計測部６１は、カメラ情報取得部６０から出力されたカメラ情報を用いて撮像画像から作業者の位置を計測する。計測方法としては、撮像画像中の作業者の位置、およびカメラの外部パラメータと内部パラメータにより、カメラと作業者との実空間での距離を推定し、カメラの位置情報と合わせることで、大よその環境マップ１０上での作業者位置を計測する。撮像画像中の作業者の位置を取得する方法としては、予め学習データから機械学習などにより生成した画像中から対象物を検出可能な辞書を活用することで、撮像画像中の作業者の外接矩形を求め、その下端中央部を位置として算出するなどの方法がある。なお、人物位置計測部６１において、撮像画像中に作業者が存在しない場合、位置情報は出力せず作業者が存在しない旨を伝える情報を危険領域更新部６３に出力する。また、上記の例以外にも撮像画像中の作業者における環境マップ１０上での大よその位置情報を取得できる方法であれば、特に限定しない。

【0063】

人物行動予測部６２は、撮像画像を解析し、人物位置計測部６１から位置情報が出力された作業者の行動を予測する。行動の予測方法としては、移動経路予測部６にて推定するような作業者の移動経路を行動として推定する方法や、画像処理により作業者の作業内容を判別して暫くその場で作業をするか、あるいは次の作業に移るかといった行動を推定する方法などがあり、作業者が今後危険領域に近づくか否かを判定可能な行動の情報であれば特に限定しない。

【0064】

危険領域更新部６３では、前記カメラ情報取得部６０により推定したカメラの位置情報、および前記人物位置計測部６１により求めた撮像画像中の作業者の位置情報、および人物行動予測部６２によって予測した前記作業者の行動情報を元に撮影した危険領域の情報を更新する。

【0065】

図８は、危険領域更新部の処理内容を示すフローチャートである。

【0066】

図８において、危険領域更新部６３では、撮像画像中の作業者数Ｎに対してステップＳ１００～Ｓ１１０のループ処理を行う。ただし、ステップＳ１０３の処理結果に応じてループ処理から抜ける場合がある。

【0067】

危険領域更新部６３のループ処理（ステップＳ１００～Ｓ１１０）では、まず、撮像画像中の作業者の位置情報と行動予測情報から環境マップ１０上での作業差のＴ秒後の位置情報を推定する（ステップＳ１０１）。なお、時間Ｔの値は予め定めた固定値に設定する、あるいは制御対象となる車両の現在位置と危険領域の位置関係から、車両が危険領域の付近を通過すると予想される大よその時間の推定値に設定するなど、特に限定しない。

【0068】

続いて、環境マップ１０において危険領域の中心位置と作業者のＴ秒後の位置の距離を算出し（ステップＳ１０２）、距離値が予め定めた閾値以上であるか否かを判定する（ステップＳ１０３）。

【0069】

ステップＳ１０３の判定結果がＹＥＳの場合、すなわち、距離が閾値以上である場合には当該危険領域を「安全」として判定し（ステップＳ１０４）、撮像画像中に別の作業者がいる場合はステップＳ１０１～Ｓ１０４の処理を繰り返し実施する（ステップＳ１００～Ｓ１１０）。

【0070】

ステップＳ１００～Ｓ１１０のループ処理において、全ての撮像画像中の作業者の全てに対して「安全」と判定された場合には（ステップＳ１０４）、当該危険領域を環境情報から削除し（ステップＳ１２０）、処理を終了する。

【0071】

また、ステップＳ１００～Ｓ１１０のループ処理において、ステップＳ１０３での判定結果がＮＯの場合、すなわち、距離が閾値未満である場合には、当該危険領域を「危険」として判定し（ステップＳ１３０）、処理を終了する。

【0072】

危険領域更新部６３では、図８のフローチャートに示す処理により、最終的に危険領域が「安全」であるか「危険」であるかを判定し、判定結果が「安全」の場合は環境情報中の該当の危険領域情報を削除し、また、判定結果が「危険」の場合は環境情報を更新しない。なお、危険領域更新部６３において、撮像画像中に複数の危険領域が含まれる場合には、各危険領域について図８の処理を行うようにループ処理を実行することで対応しても良い。また、本実施の形態においては、環境情報中の危険領域を「安全」か「危険」のクラス分類で判定したが、これに限られず、例えば、危険領域検出部４にて予め人流情報などから危険領域のレベルを判定可能な危険度を算出した場合には、危険領域更新部６３にて該当の危険領域の危険度レベルを修正するなどの方法を使用しても良い。また、本実施の形態で例示した方法以外でも、作業者の位置情報、および行動情報、および危険領域の位置情報を使用して、危険領域を更新できる方法であれば、特に限定しない。

【0073】

以上のように構成した本実施の形態においては、車両と作業者が混在するフィールド内にて、対象や障害物の位置情報から自律移動体の移動制御を実施する自律体移動制御システムにおいて、対象の飛び出しなどが予測される危険領域付近を移動するあるいは危険領域付近が視角に入る作業者を選定し、ウェアラブルカメラによる撮影を指示することで、危険領域の数を削減し、安全性と生産性を両立することができる。

【0074】

＜第２の実施の形態＞
本発明の第２の実施の形態を図９を参照しつつ詳細に説明する。

【0075】

本実施の形態は、車両と作業者が混在するフィールド内にて、対象や障害物の位置情報から自律体の移動制御を実施する自律体移動制御システムにおいて、作業者や自律体の作業の進捗状況を考慮して、対象の飛び出しなどが予測される危険領域付近を移動するあるいは危険領域付近が視角に入る作業者または小型自律体を選定し、カメラによる撮影を指示することで、危険領域の数を削減し、安全性と生産性を両立する場合を示すものである。

【0076】

図９は、本実施の形態に係る自律体移動制御システムの全体構成を示す機能ブロック図である。図中、第１の実施の形態と同様の部材には同じ符号を付し、説明を省略する。

【0077】

図９において、自律体移動制御システムは、物流倉庫などのフィールドに配置された複数の計測装置からの情報に基づいて、物流走行内で自律作業・走行を行う車両などの自律体（以降、自律移動体と称する）、作業者、障害物などの位置を計測し、車両の自律走行などを制御する装置であり、複数の計測装置２ａ，２ｂと、環境情報生成部３、危険領域検出部４、自律体制御部５、移動経路予測部６、作業進捗情報取得部７１、撮影者選定部７２、撮影指示部８、環境情報更新部９、及び記憶部２００を備えた自律体移動制御装置１Ａと、記憶装置２０１，２０２と、ウェアラブルカメラ１４とを有している。

【0078】

環境情報生成部３、危険領域検出部４、自律体制御部５、移動経路予測部６、撮影指示部８、および環境情報更新部９は、第１の実施の形態と同様の機能を有しており、説明を省略する。

【0079】

作業進捗情報取得部７１は、作業者や自律体の作業進捗状況を示す作業進捗情報を取得する機能部である。

【0080】

撮影者選定部７２は、記憶装置２０２に記憶された作業進捗情報況、作業者の移動経路、および危険領域の位置を入力として、危険領域に対するカメラの撮影を指示する撮影者を選定する機能部である。

【0081】

なお、本実施の形態においては、フィールド内に、作業者との接触が危険なフォークリフトのような大型の自律移動体、作業者との接触が生じても安全な自律走行ロボット（ＡＭＲ： Autonomous Mobile Robot）のような小型の自律体、および作業者が混在するフィールドを想定する。

【0082】

以下、自律体移動制御装置１Ａの作業進捗情報取得部７１及び撮影者選定部７２の処理機能について詳細に説明する。

【0083】

作業進捗情報取得部７１は、全体の作業工程における作業者、および大型自律体、および小型自律体の作業進捗情報を取得する。本実施の形態では、物流倉庫のような、１日の物資の運搬量や仕分け作業数のノルマに対する、現在の作業者や自律体の作業状況を示す作業進捗情報がシステムなどにより管理されているフィールドであり、自律体移動制御装置１Ａが作業進捗情報を受け取れることを想定している。

【0084】

撮影者選定部７２は、作業進捗情報取得部７１により記憶装置２０２から入手した作業進捗情報、移動経路予測部６により出力される作業者の移動経路、および危険領域検出部４により抽出した環境マップ１０上の危険領域の位置情報から、全体の作業工程に対する作業効率の影響を考慮しつつ所定の危険領域をカメラにて撮影する撮影者を選定する。

【0085】

例えば、作業者を選定する場合、現在移動中でありかつその移動経路が危険領域付近を通過する作業者は、最も作業効率が良いと判定し該当の作業者を選定する方法や、現在危険領域から離れた位置に居る作業者であったとしても、作業進捗状況が最も良好な場合は該当の作業者を選定する方法などが考えられる。

【0086】

また、作業者と小型自律体の作業進捗状況を取得することで、小型自律体の作業進捗と比較して作業者の作業進捗が遅れている場合は、小型自律体を撮影者として選定するなどの方法を使用しても良い。また、大型自律体の作業進捗と比較して作業者や小型自律体の作業進捗が遅れている場合は、撮影者を選定しないという選択肢を採用し、大型自律体の速度を落とすよう制御する、あるいは遠回りであるものの周辺に危険領域が最も少ない走行経路を通行するよう制御するなどの方法も考えられ、作業進捗が遅れている対象が選定されない手法であれば、特に限定しない。

【0087】

その他の構成は第１の実施の形態と同様である。

【0088】

以上のように構成した本実施の形態においても第１の実施の形態と同様の効果を得ることができる。

【0089】

また、本実施の形態においては、車両と作業者が混在するフィールド内にて、対象や障害物の位置情報から自律体の移動制御を実施する自律体移動制御システムにおいて、作業者や自律体の作業の進捗状況を考慮して、対象の飛び出しなどが予測される危険領域付近を移動するあるいは危険領域付近が視角に入る作業者または小型自律体を選定し、カメラによる撮影を指示することで、危険領域の数を削減し、安全性と生産性を両立したシステム制御を実現することができる。

【0090】

なお、本実施の形態の変形例としては、例えば、撮影者選定部７２により選定された作業者に対して、撮影指示部８によりスマートグラスなどのディスプレイ上にて指示内容を表示する際に、作業者が撮影の必要性を把握できる情報も明示することで、撮影意欲を促すような仕組みを取り入れても良い。例えば、作業者、大型自律体、小型自律体の作業進捗状況を明示する方法や、危険領域の撮影による大型自律体の作業進捗の予測向上率、あるいは全体工程の作業進捗の予測向上率などといった撮影の効果を明示する方法などが考えられる。

【0091】

また、撮影指示部８による撮影指示に対して、作業者が応答可能な仕組みを採用しても良い。例えば、撮影者選定部７２により複数の作業者を選定して撮影指示部８により撮影指示内容と撮影が可能か否かを明示し、撮影可能と応答した作業者の中から１人を選定し撮影を実施してもらう方法や、全ての作業者が撮影不可と応答した場合は、作業進捗状況が最も良好な小型自律体を撮影者として選定する方法などが考えられる。

【0092】

＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。

【符号の説明】

【0093】

１，１Ａ…自律体移動制御装置、２ａ，２ｂ…計測装置、３…環境情報生成部、４…危険領域検出部、５…自律体制御部、６…移動経路予測部、７…作業者選定部、８…撮影指示部、９…環境情報更新部、１０…環境マップ、１１…車両、１２…作業者、１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ…障害物、１４…ウェアラブルカメラ、３０…車両走行経路生成部、３１…死角領域抽出部、３２…人流情報取得部、３３…危険領域決定部、４０…走行経路候補、４１…進行方向、４２ａ，４２ｂ，４２ｃ…死角領域、５０ａ，５０ｂ…作業者視点、５１ａ，５１ｂ…矢印、５１ｃ…危険領域、６０…カメラ情報取得部、６１…人物位置計測部、６２…人物行動予測部、６３…危険領域更新部、７１…作業進捗情報取得部、７２…撮影者選定部、２００…記憶部、２０１，２０２…記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】