▶ 現代自動車株式会社の特許一覧 ▶ 起亞自動車株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154360
(43)【公開日】2024-10-30
(54)【発明の名称】サービスロボット及びその配送サービス提供方法
(51)【国際特許分類】
B25J 13/08 20060101AFI20241023BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023207592
(22)【出願日】2023-12-08
(31)【優先権主張番号】10-2023-0050824
(32)【優先日】2023-04-18
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】591251636
【氏名又は名称】現代自動車株式会社
【氏名又は名称原語表記】ＨＹＵＮＤＡＩ ＭＯＴＯＲ ＣＯＭＰＡＮＹ
【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(71)【出願人】
【識別番号】500518050
【氏名又は名称】起亞株式会社
【氏名又は名称原語表記】ＫＩＡ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】１２， Ｈｅｏｌｌｅｕｎｇ－ｒｏ， Ｓｅｏｃｈｏ－ｇｕ， Ｓｅｏｕｌ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】金 佳 熙
(72)【発明者】
【氏名】金 潤 燮
(72)【発明者】
【氏名】李 歡 喜
(72)【発明者】
【氏名】李 昇 勇
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS01
3C707AS34
3C707CS08
3C707KS10
3C707KS12
3C707KT01
3C707KT04
3C707KT11
3C707LS15
3C707WA16
(57)【要約】
【課題】配送物品を所望の車両空間に配送することができるサービスロボット及びその配送サービス提供方法を提供する。
【解決手段】本発明によるサービスロボットは、カメラ、ライダーセンサー、ロボットアームを含む駆動部、プロセッサ、レファレンス車両イメージ、及びレファレンス車両情報を含む保存部を含み、カメラを用いて外部を撮影したイメージから対象車両を検出し、対象車両のタイプを認識し、車両のタイプに対応する車両情報を認識し、対象車両に関するライダーデータに基づいて対象車両との距離を認識し、対象車両の相対的な方向を認識し、対象車両に配送物品を引き渡すための目標位置及び目標位置まで移動する経路を決定し、目標位置に移動し、ロボットアームを用いて配送物品を対象車両に引き渡すように制御する。
【選択図】図１
【解決手段】本発明によるサービスロボットは、カメラ、ライダーセンサー、ロボットアームを含む駆動部、プロセッサ、レファレンス車両イメージ、及びレファレンス車両情報を含む保存部を含み、カメラを用いて外部を撮影したイメージから対象車両を検出し、対象車両のタイプを認識し、車両のタイプに対応する車両情報を認識し、対象車両に関するライダーデータに基づいて対象車両との距離を認識し、対象車両の相対的な方向を認識し、対象車両に配送物品を引き渡すための目標位置及び目標位置まで移動する経路を決定し、目標位置に移動し、ロボットアームを用いて配送物品を対象車両に引き渡すように制御する。
【選択図】図１
【特許請求の範囲】
【請求項1】
サービスロボットであって、
カメラと、
ライダーセンサーと、
ロボットアームを含む駆動部と、
プロセッサと、
レファレンス車両イメージ、及びレファレンス車両情報を含む保存部と、を含み、
前記プロセッサは、
前記カメラを用いて外部を撮影したイメージを獲得し、
前記イメージから対象車両を検出し、
前記検出された対象車両のイメージを前記レファレンス車両イメージと比較し、
前記レファレンス車両イメージとの比較結果に基づいて対象車両のタイプを認識し、
前記レファレンス車両情報のうち前記車両のタイプに対応する車両情報を認識し、
前記ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識し、
前記ライダーデータを前記車両のタイプに対応する車両情報と比較し、
前記車両のタイプに対応する車両情報との比較結果に基づいて前記対象車両の相対的な方向を認識し、
前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定し、
前記サービスロボットが前記経路を介して前記目標位置に移動するように制御し、
前記ロボットアームを用いて前記配送物品を前記対象車両に引き渡すように制御することを特徴とするサービスロボット。
カメラと、
ライダーセンサーと、
ロボットアームを含む駆動部と、
プロセッサと、
レファレンス車両イメージ、及びレファレンス車両情報を含む保存部と、を含み、
前記プロセッサは、
前記カメラを用いて外部を撮影したイメージを獲得し、
前記イメージから対象車両を検出し、
前記検出された対象車両のイメージを前記レファレンス車両イメージと比較し、
前記レファレンス車両イメージとの比較結果に基づいて対象車両のタイプを認識し、
前記レファレンス車両情報のうち前記車両のタイプに対応する車両情報を認識し、
前記ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識し、
前記ライダーデータを前記車両のタイプに対応する車両情報と比較し、
前記車両のタイプに対応する車両情報との比較結果に基づいて前記対象車両の相対的な方向を認識し、
前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定し、
前記サービスロボットが前記経路を介して前記目標位置に移動するように制御し、
前記ロボットアームを用いて前記配送物品を前記対象車両に引き渡すように制御することを特徴とするサービスロボット。
【請求項2】
前記レファレンス車両情報は、
車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含むことを特徴とする請求項１に記載のサービスロボット。
車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含むことを特徴とする請求項１に記載のサービスロボット。
【請求項3】
前記プロセッサは、
前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断し、
前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識することを特徴とする請求項２に記載のサービスロボット。
前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断し、
前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識することを特徴とする請求項２に記載のサービスロボット。
【請求項4】
前記プロセッサは、
前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信し、
前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識し、
前記認識した位置に基づいて前記目標位置を決定することを特徴とする請求項１に記載のサービスロボット。
前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信し、
前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識し、
前記認識した位置に基づいて前記目標位置を決定することを特徴とする請求項１に記載のサービスロボット。
【請求項5】
前記プロセッサは、
前記イメージから前記検出された対象車両のイメージを抽出し、
前記認識された距離に基づいて、前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断し、
前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識し、
前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定することを特徴とする請求項１に記載のサービスロボット。
前記イメージから前記検出された対象車両のイメージを抽出し、
前記認識された距離に基づいて、前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断し、
前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識し、
前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定することを特徴とする請求項１に記載のサービスロボット。
【請求項6】
前記プロセッサは、
前記イメージから前記対象車両の境界を示す座標情報を獲得し、
前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出することを特徴とする請求項１に記載のサービスロボット。
前記イメージから前記対象車両の境界を示す座標情報を獲得し、
前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出することを特徴とする請求項１に記載のサービスロボット。
【請求項7】
前記プロセッサは、
前記ライダーセンサーを用いて前記経路上に存在する外部客体を検出し、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識し、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識し、
前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定することを特徴とする請求項２に記載のサービスロボット。
前記ライダーセンサーを用いて前記経路上に存在する外部客体を検出し、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識し、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識し、
前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定することを特徴とする請求項２に記載のサービスロボット。
【請求項8】
前記プロセッサは、
前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて、前記目標位置を決定することを特徴とする請求項１に記載のサービスロボット。
前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて、前記目標位置を決定することを特徴とする請求項１に記載のサービスロボット。
【請求項9】
前記プロセッサは、
前記イメージに含まれた少なくとも一つの車両の識別情報を認識し、
前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出することを特徴とする請求項１に記載のサービスロボット。
前記イメージに含まれた少なくとも一つの車両の識別情報を認識し、
前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出することを特徴とする請求項１に記載のサービスロボット。
【請求項10】
通信部をさらに含み、
前記プロセッサは、
前記通信部を介して外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信し、
前記受信された情報に基づいて、前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートすることを特徴とする請求項１に記載のサービスロボット。
前記プロセッサは、
前記通信部を介して外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信し、
前記受信された情報に基づいて、前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートすることを特徴とする請求項１に記載のサービスロボット。
【請求項11】
サービスロボットの配送サービス提供方法であって、
カメラを用いて外部を撮影したイメージを獲得する段階と、
前記イメージから対象車両を検出する段階と、
前記検出された対象車両のイメージをレファレンス車両イメージと比較する段階と、
前記レファレンス車両イメージとの比較結果に基づいて対象車両のタイプを認識する段階と、
レファレンス車両情報のうち前記対象車両のタイプに対応する車両情報を認識する段階と、
ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識する段階と、
前記ライダーデータを前記車両のタイプに対応する車両情報と比較する段階と、
前記車両のタイプに対応する車両情報との比較結果に基づいて前記対象車両の相対的な方向を認識する段階と、
前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定する段階と、
前記経路を介して前記目標位置に移動する段階と、
ロボットアームを用いて前記配送物品を前記対象車両に引き渡す段階と、を含むことを特徴とする配送サービス提供方法。
カメラを用いて外部を撮影したイメージを獲得する段階と、
前記イメージから対象車両を検出する段階と、
前記検出された対象車両のイメージをレファレンス車両イメージと比較する段階と、
前記レファレンス車両イメージとの比較結果に基づいて対象車両のタイプを認識する段階と、
レファレンス車両情報のうち前記対象車両のタイプに対応する車両情報を認識する段階と、
ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識する段階と、
前記ライダーデータを前記車両のタイプに対応する車両情報と比較する段階と、
前記車両のタイプに対応する車両情報との比較結果に基づいて前記対象車両の相対的な方向を認識する段階と、
前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定する段階と、
前記経路を介して前記目標位置に移動する段階と、
ロボットアームを用いて前記配送物品を前記対象車両に引き渡す段階と、を含むことを特徴とする配送サービス提供方法。
【請求項12】
前記レファレンス車両情報は、
車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含むことを特徴とする請求項１１に記載の配送サービス提供方法。
車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項13】
前記相対的な方向を認識する段階は、
前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断する段階と、
前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識する段階と、を含むことを特徴とする請求項１２に記載の配送サービス提供方法。
前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断する段階と、
前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識する段階と、を含むことを特徴とする請求項１２に記載の配送サービス提供方法。
【請求項14】
前記目標位置を決定する段階は、
前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信する段階と、
前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識する段階と、
前記認識した位置に基づいて前記目標位置を決定する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信する段階と、
前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識する段階と、
前記認識した位置に基づいて前記目標位置を決定する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項15】
前記イメージから前記検出された対象車両のイメージを抽出する段階と、
前記認識された距離に基づいて、前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断する段階と、
前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識する段階と、
前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定する段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記認識された距離に基づいて、前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断する段階と、
前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識する段階と、
前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定する段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項16】
前記対象車両との距離を認識する段階は、
前記イメージから前記対象車両の境界を示す座標情報を獲得する段階と、
前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記イメージから前記対象車両の境界を示す座標情報を獲得する段階と、
前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項17】
前記ライダーセンサーを用いて前記経路上に存在する外部客体を検出する段階と、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識する段階と、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識する段階と、
前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定する段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識する段階と、
前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識する段階と、
前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定する段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項18】
前記目標位置を決定する段階は、
前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて前記目標位置を決定することを特徴とする請求項１１に記載の配送サービス提供方法。
前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて前記目標位置を決定することを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項19】
前記対象車両を検出する段階は、
前記イメージに含まれた少なくとも一つの車両の識別情報を認識する段階と、
前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記イメージに含まれた少なくとも一つの車両の識別情報を認識する段階と、
前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出する段階と、を含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【請求項20】
外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信する段階と、
前記受信された情報に基づいて前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートする段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
前記受信された情報に基づいて前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートする段階と、をさらに含むことを特徴とする請求項１１に記載の配送サービス提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サービスロボット及びサービスロボットの配送サービス提供方法に関し、より詳しくは、サービスロボットが障害物を回避して物品を顧客に配送する技術に関する。
【背景技術】
【0002】
サービスロボット（例えば、自律走行ロボット（ａｕｔｏｎｏｍｏｕｓ ｍｏｂｉｌｅ ｒｏｂｏｔ））は、自ら周辺を見回しながら障害物を感知し、車輪や足を用いて経路を選択して目的地まで移動する装置を言う。近年、多様な環境でサービスロボットが活用されている。例えば、サービスロボットは、指定された場所（例えば、特定の建物又は特定の場所）内で指定された目的地まで移動して多様なサービス（例えば、配送サービス）を提供するように活用されている。このようなサービスロボットは、指定された場所に関する情報に基づいて目的地まで移動する経路を決定し、決定された経路に沿って目的地まで移動してサービスを提供することができる。ただし、サービスロボットが物品を所望の顧客に引き渡す場合、物品を顧客が所望の位置に正確に伝達できないか、顧客が直接物品を引き渡されなければならない状況が発生する可能性がある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０１９－５０２９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の一実施形態は、配送物品を所望の車両空間に配送することができるサービスロボット及びその配送サービス提供方法の提供を目的とする。
【0005】
本発明の一実施形態は、配送サービスを提供する対象車両及び対象車両の相対的な方向、対象車両のドア及びトランク範囲を認識して配送物品を引き渡す目標位置及び移動経路を決定することができるサービスロボット及びその配送サービス提供方法の提供を目的とする。本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないさらに他の技術的課題は、以下の記載から当業者に明確に理解され得る。
【課題を解決するための手段】
【0006】
本発明によるサービスロボットは、カメラ、ライダーセンサー、ロボットアームを含む駆動部、プロセッサ、及びレファレンス車両イメージ、及びレファレンス車両情報を含む保存部を含んでよい。一実施形態によれば、前記プロセッサは、前記カメラを用いて外部を撮影したイメージを獲得し、前記イメージから対象車両を検出し、前記検出された対象車両のイメージを前記レファレンス車両イメージと比較し、前記比較結果に基づいて対象車両のタイプを認識し、前記レファレンス車両情報のうち前記車両のタイプに対応する車両情報を認識し、前記ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識し、前記ライダーデータを前記車両のタイプに対応する車両情報と比較し、前記比較結果に基づいて前記対象車両の相対的な方向を認識し、前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定し、前記サービスロボットが前記経路を介して前記目標位置に移動するように制御し、前記ロボットアームを用いて前記配送物品を前記対象車両に引き渡すように制御することを特徴とする。
【0007】
一実施形態によれば、前記レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含んでよい。
【0008】
一実施形態によれば、前記プロセッサは、前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断し、前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識することができる。
【0009】
一実施形態によれば、前記プロセッサは、前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信し、前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識し、前記認識した位置に基づいて前記目標位置を決定することができる。
【0010】
一実施形態によれば、前記プロセッサは、前記イメージから前記検出された対象車両のイメージを抽出し、前記認識された距離に基づいて前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断し、前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識し、前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定することができる。
【0011】
一実施形態によれば、前記プロセッサは、前記イメージから前記対象車両の境界を示す座標情報を獲得し、前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出することができる。
【0012】
一実施形態によれば、前記プロセッサは、前記ライダーセンサーを用いて前記経路上に存在する外部客体を検出し、前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識し、前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識し、前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定することができる。
【0013】
一実施形態によれば、前記プロセッサは、前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて、前記目標位置を決定することができる。
【0014】
一実施形態によれば、前記プロセッサは、前記イメージに含まれた少なくとも一つの車両の識別情報を認識し、前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出することができる。
【0015】
一実施形態によれば、前記サービスロボットは、通信部をさらに含んでよい。一実施形態によれば、前記プロセッサは、前記通信部を介して外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信し、前記受信された情報に基づいて、前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートすることができる。
【0016】
本発明によるサービスロボットの配送サービス提供方法は、カメラを用いて外部を撮影したイメージを獲得する段階、前記イメージから対象車両を検出する段階、前記検出された対象車両のイメージを前記レファレンス車両イメージと比較する段階、前記比較結果に基づいて対象車両のタイプを認識する段階、前記レファレンス車両情報のうち前記車両のタイプに対応する車両情報を認識する段階、前記ライダーセンサーを用いて獲得した前記対象車両に関するライダーデータに基づいて前記対象車両との距離を認識する段階、前記ライダーデータを前記車両のタイプに対応する車両情報と比較する段階、前記比較結果に基づいて前記対象車両の相対的な方向を認識する段階、前記距離及び前記相対的な方向に基づいて前記対象車両に配送物品を引き渡すための目標位置及び前記目標位置まで移動する経路を決定する段階、前記経路を介して前記目標位置に移動する段階、及びロボットアームを用いて前記配送物品を前記対象車両に引き渡す段階と、を含むことを特徴とする。
【0017】
一実施形態によれば、前記レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含んでよい。
【0018】
一実施形態によれば、前記相対的な方向を認識する段階は、前記ライダーデータと前記レファレンスライダーデータとがマッチングされる程度を判断する段階、及び前記マッチングされる程度に基づいて前記相対的な方向の少なくとも一つを認識する段階を含んでよい。
【0019】
一実施形態によれば、前記目標位置を決定する段階は、前記対象車両が備えた少なくとも一つのドア又はトランクのうち前記配送物品を引き渡す車両空間を指定する使用者入力を受信する段階、前記レファレンス車両情報に基づいて前記使用者入力に基づいて前記指定された車両空間に対応する位置を認識する段階、及び前記認識した位置に基づいて前記目標位置を決定する段階を含んでよい。
【0020】
一実施形態によれば、前記方法は、前記イメージから前記検出された対象車両のイメージを抽出する段階、前記認識された距離に基づいて、前記抽出された前記対象車両のイメージと前記レファレンス車両イメージとの間のマッチングされる程度を判断する段階、前記マッチングされる程度に基づいて前記対象車両の相対的な方向を認識する段階、及び前記対象車両のイメージを用いて認識した相対的な方向及び前記対象車両に関するライダーデータを用いて認識した相対的な方向に基づいて前記対象車両の方向を決定する段階をさらに含んでよい。
【0021】
一実施形態によれば、前記対象車両との距離を認識する段階は、前記イメージから前記対象車両の境界を示す座標情報を獲得する段階、及び前記座標情報に基づいて、前記ライダーセンサーを用いて獲得した外部客体に対するライダーデータから前記対象車両に関するライダーデータを抽出する段階を含んでよい。
【0022】
一実施形態によれば、前記方法は、前記ライダーセンサーを用いて前記経路上に存在する外部客体を検出する段階、前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識する段階、前記外部客体が検出された位置が前記対象車両のドア又はトランクの開閉範囲に該当しないと、前記外部客体を障害物として認識する段階、及び前記障害物が認識されると、前記障害物を回避して前記目標位置に到達する新しい経路を決定する段階をさらに含んでよい。
【0023】
一実施形態によれば、前記目標位置を決定する段階は、前記ロボットアームの動作半径及び前記配送物品を引き渡す際に予想される前記ロボットアームの動きの程度に基づいて、前記目標位置を決定することを特徴としてよい。
【0024】
一実施形態によれば、前記対象車両を検出する段階は、前記イメージに含まれた少なくとも一つの車両の識別情報を認識する段階、及び前記識別情報に基づいて前記少なくとも一つの車両のうち前記対象車両を検出する段階を含んでよい。
【0025】
一実施形態によれば、前記方法は、外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信する段階、及び前記受信された情報に基づいて、前記レファレンス車両イメージ又は前記レファレンス車両情報をアップデートする段階をさらに含んでよい。
【発明の効果】
【0026】
本文書に開示される実施形態によるサービスロボット及びその配送サービス提供方法は、配送物品を使用者が所望の車両空間に配送することができる。
本文書に開示される実施形態によるサービスロボット及びその配送サービス提供方法は、配送サービスを提供する対象車両及び対象車両の相対的な方向、対象車両のドア及びトランク範囲を認識して配送物品を引き渡す目標位置及び移動経路を決定することができる。本文書に開示される実施形態によるサービスロボット及びその配送サービス提供方法は、対象車両の構造を認識して対象車両で使用者が指定した空間（例えば、対象車両の特定のドア内又はトランク内のうち一つ）に配送物品を引き渡すことができる。その他に、本文書を介して直接的又は間接的に把握される多様な効果が提供できる。
本文書に開示される実施形態によるサービスロボット及びその配送サービス提供方法は、配送サービスを提供する対象車両及び対象車両の相対的な方向、対象車両のドア及びトランク範囲を認識して配送物品を引き渡す目標位置及び移動経路を決定することができる。本文書に開示される実施形態によるサービスロボット及びその配送サービス提供方法は、対象車両の構造を認識して対象車両で使用者が指定した空間（例えば、対象車両の特定のドア内又はトランク内のうち一つ）に配送物品を引き渡すことができる。その他に、本文書を介して直接的又は間接的に把握される多様な効果が提供できる。
【図面の簡単な説明】
【0027】
【図1】本発明の一実施形態によるサービスロボットの構成を示すブロック図である。
【図2】本発明の一実施形態によるサービスロボットの構成を示すブロック図である。
【図3】本発明の一実施形態によるサービスロボットが方向情報を獲得する動作を説明する図である。
【図4】本発明の一実施形態によるサービスロボットの動作を説明する図である。
【図5a】本発明の一実施形態によるサービスロボットの動作を説明する図である。
【図5b】本発明の一実施形態によるサービスロボットの動作を説明する図である。
【図6】本発明の一実施形態によるサービスロボットの配送サービス提供方法を説明する順序図である。
【図7】本発明の一実施形態によるサービスロボットの配送サービス提供方法を説明する順序図である。
【図8】本発明の一実施形態によるコンピューティングシステムを示す図である。
【発明を実施するための形態】
【0028】
以下、本発明の一部実施形態を例示的な図面を介して詳細に説明する。
【0029】
各図面の構成要素に参照符号を付加するに当たり、同一の構成要素に対しては、他の図面上に表示されても、できる限り同一の符号を有する。また、本発明の実施形態を説明するに当たり、関連した公知の構成又は機能に対する具体的な説明が、本発明の実施形態に対する理解を阻害すると判断される場合、その詳細な説明は省略する。
【0030】
本発明の実施形態の構成要素を説明するに当たり、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使用してよい。このような用語は、その構成要素を他の構成要素と区別するためのものであり、その用語により当該構成要素の本質や順番、又は順序などが限定されるものではない。また、特に定義されない限り、技術的や科学的な用語を含めて、ここで用いられる全ての用語は、本発明の属する技術分野における通常の知識を有する者にとって一般的に理解される意味と同一の意味を有する。一般的に用いられる辞典に定義されている用語と同様の用語は、関連技術の文脈上有する意味と一致する意味として解釈されなければならず、本出願において明らかに定義されていない限り、理想的かつ過度に形式的な意味に解釈されるものではない。
【0031】
【0032】
一実施形態によれば、サービスロボット１００は、少なくとも一つのセンサー１１０、保存部１２０、駆動部１３０、及びプロセッサ１４０を含んでよい。
一実施形態によれば、少なくとも一つのセンサー１１０は、イメージセンサー１１１（例えば、カメラ）及びライダー（ＬｉＤＡＲ）センサー１１０を含んでよい。例えば、イメージセンサー１１１は、サービスロボット１００の外部を撮影したイメージを生成することができる。例えば、イメージセンサー１１１は、外部客体（例えば、外部車両）を含むイメージを獲得することができる。例えば、ライダーセンサー１１３は、サービスロボット１００の外部客体（例えば、建物、構造物、人、車両、外部装置（例えば、他のサービスロボット１００）、外部物体、又はこれらの組み合わせの少なくとも一つ）に関する情報を獲得することができる。ライダーセンサー１１３は、外部客体（例えば、車両）に関する３Ｄライダーデータを獲得することができる。
一実施形態によれば、少なくとも一つのセンサー１１０は、イメージセンサー１１１（例えば、カメラ）及びライダー（ＬｉＤＡＲ）センサー１１０を含んでよい。例えば、イメージセンサー１１１は、サービスロボット１００の外部を撮影したイメージを生成することができる。例えば、イメージセンサー１１１は、外部客体（例えば、外部車両）を含むイメージを獲得することができる。例えば、ライダーセンサー１１３は、サービスロボット１００の外部客体（例えば、建物、構造物、人、車両、外部装置（例えば、他のサービスロボット１００）、外部物体、又はこれらの組み合わせの少なくとも一つ）に関する情報を獲得することができる。ライダーセンサー１１３は、外部客体（例えば、車両）に関する３Ｄライダーデータを獲得することができる。
【0033】
多様な実施形態によれば、少なくとも一つのセンサー１１０に含まれたセンサーは、イメージセンサー及びライダーセンサーに限定されるものではなく、多様な他のセンサー（例えば、超音波センサー、レーダー（ｒａｄａｒ）センサー、ＩＲ（ｉｎｆｒａｒｅｄ）センサー、加速度センサー、ジャイロセンサー、位置センサー（例えば、ＧＰＳ）、及び／又は近接センサー）を含んでよい。
【0034】
一実施形態によれば、保存部１２０は、レファレンス車両イメージ及びレファレンス車両情報を保存することができる。例えば、レファレンス車両イメージは、車両のタイプ別に多様な角度及び／又は多様な距離で車両を撮影した複数のイメージを含んでよい。例えば、レファレンス車両イメージは、車両のタイプ別に車両の全方位に対する角度別のイメージを含んでよい。
【0035】
例えば、レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ（例えば、図４の４１０）、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含んでよい。例えば、レファレンス車両情報は、指定されたフォーマット（例えば、ｐｃｄ拡張子ファイル）の情報を含んでよい。例えば、サービスロボット１００の保存部１２０（又は、データベース）は、車両のタイプ別の車両情報を含むレファレンス車両情報を保存することができる。
【0036】
例えば、レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、及び／又は車両のトランクに関する情報を含んでよい。例えば、レファレンスライダーデータは、車両全体に対する３次元ライダーデータを含んでよい。車両のドアに関する情報は、車両のドアそれぞれの長さ、幅、及び深みの情報、及び／又は車両のドアそれぞれに対する３次元ライダーデータを含んでよい。車両のトランクに関する情報は、車両のトランクの長さ、幅、及び深みの情報、及び／又は車両のトランクに対する３次元ライダーデータを含んでよい。
【0037】
以下の表１は、レファレンス車両情報の一例示を示すが、レファレンス車両情報に含まれた項目及び情報の形態は、これに限定されるものではない。
【0038】
【表1】
【0039】
例えば、レファレンスライダーデータは、車両のタイプ別の車両全体（全方向）に対する３Ｄライダーデータ（例えば、ｐｃｄ拡張子ファイル）を含んでよい。例えば、ドアに関する情報は、車両のタイプ別の前面左側ドア、前面右側ドア、後面左側ドア、後面右側ドアの大きさ、半径、及び／又は（開閉）範囲に関する情報、及び／又は３Ｄライダーデータ（例えば、ｐｃｄ拡張子ファイル）を含んでよい。例えば、トランクに関する情報は、車両のタイプ別のトランクの大きさ、半径、及び（開閉）範囲に関する情報、及び／又は３Ｄライダーデータ（例えば、ｐｃｄ拡張子ファイル）を含んでよい。
【0040】
例えば、Ａセダン車両の場合、Ａ．ｐｃｄファイルは、Ａ車両の全体に対する３Ｄレファレンスライダーデータを含んでよい。Ａ＿ｆｌ．ｐｃｄファイルは、Ａ車両の前方左側ドアに関するデータを含み、Ａ＿ｆｒ．ｐｃｄファイルは、前方Ａ車両の右側ドアに関するデータを含み、Ａ＿ｒｌ．ｐｃｄファイルは、後方左側ドアに関するデータを含み、Ａ＿ｒｒ．ｐｃｄファイルは、後方右側ドアに関するデータを含んでよい。例えば、トランクに関する情報は、車両のトランクの幅、長さ、高さに関する情報を含んでよい。例えば、Ａ＿ｔｒｕｎｋ．ｐｃｄファイルは、Ａ車両のトランクに関するデータを含んでよい。
【0041】
一実施形態によれば、保存部１２０は、少なくとも一つのセンサー１１０を介して獲得した情報を保存することができる。例えば、保存部１２０は、イメージセンサー１１１を用いて撮影されたイメージを保存することができる。保存部１２０は、ライダーセンサー１１３を用いて獲得した情報を保存することができる。一実施形態によれば、保存部１２０は、サービスロボット１００の動作、機能、及び／又はサービス遂行に関するデータを保存することができる。
【0042】
一実施形態によれば、保存部１２０は、プロセッサ１４０により実行されるインストラクションズ（ｉｎｓｔｒｕｃｔｉｏｎｓ）を保存することができる。保存部１２０は、フラッシュメモリー（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄ ｄｉｓｋ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ）、ＵＦＳ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ）、脱着型ディスク及び／又はウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）のような保存媒体と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、及び／又はＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などのような保存媒体の少なくとも一つを含んでよい。
【0043】
一実施形態によれば、駆動部１３０は、ロボットアーム１３１を含んでよい。ロボットアーム１３１は、物体（例えば、配送物品）を把持、グリップ、及び／又は吸着（例えば、真空吸着）できるように具現される。ロボットアーム１３１は、物体の運搬する自由度を高めるために、多関節ロボットアーム１３１（ｍｕｌｔｉ－ａｘｉｓ ｒｏｂｏｔｉｃ ａｒｍ）として構成される。例えば、駆動部１３０は、ロボットアーム１３１の把持、グリップ、及び／又は吸着動作を制御することができ、ロボットアーム１３１の多関節構造の移動及び回転を制御することができる。
【0044】
一実施形態によれば、駆動部１３０は、移動装置（未図示）（例えば、車輪又は足）をさらに含んでよい。駆動部１３０は、移動装置を制御してサービスロボット１００が自律移動できるように制御することができる。例えば、駆動部１３０は、ロボットアーム１３１及び／又は移動装置を駆動するためのアクチュエータを含んでよい。一実施形態によれば、駆動部１３０は、プロセッサ１４０の制御下、ロボットアーム１３１及び／又は移動装置の動作を制御することができる。
【0045】
一実施形態によれば、プロセッサ１４０は、イメージから対象車両を検出することができる。例えば、プロセッサ１４０は、イメージに含まれた少なくとも一つの車両の識別情報（例えば、ナンバープレート）を認識することができる。プロセッサ１４０は、認識した識別情報に基づいてサービス（例えば、物品配送）を提供する対象車両を検出することができる。一実施形態によれば、プロセッサ１４０は、イメージから対象車両の境界を示す座標情報（例えば、Ｂｂｏｘ（ｂｏｕｎｄａｒｙ ｂｏｘ）情報）を獲得することができる。一実施形態によれば、プロセッサ１４０は、イメージから対象車両のイメージを抽出することができる。
【0046】
一実施形態によれば、プロセッサ１４０は、検出された対象車両のイメージをレファレンス車両イメージと比較することができる。例えば、プロセッサ１４０は、対象車両のイメージと複数のレファレンス車両イメージとのマッチング率を判断することができる。一実施形態によれば、プロセッサ１４０は、角度別の対象車両のイメージとレファレンス車両イメージとの間のマッチング率（以下、「イメージマッチング率」）を判断することができる。一実施形態によれば、プロセッサ１４０は、イメージマッチング率が最も高い角度を対象車両のサービスロボット１００に対する相対的な方向（以下、「第１測定方向」）として認識することができる。一実施形態によれば、プロセッサ１４０は、イメージマッチング率に基づいて第１測定方向を認識する動作を行わなくてよい。
【0047】
一実施形態によれば、プロセッサ１４０は、比較結果に基づいて対象車両のタイプを認識することができる。プロセッサ１４０は、対象車両のイメージと対応するレファレンス車両イメージに基づいて対象車両のタイプを認識することができる。例えば、レファレンス車両イメージは、複数の車両タイプ別のイメージを含むので、プロセッサ１４０は、対象車両イメージとマッチング率が最も高いレファレンス車両イメージの車両タイプを対象車両のタイプとして認識することができる。
【0048】
一実施形態によれば、プロセッサ１４０は、レファレンス車両情報のうち対象車両のタイプに対応する車両情報を認識することができる。例えば、プロセッサ１４０は、認識した対象車両のタイプに対応するレファレンスライダーデータ、ドアに関するデータ、及び／又はトランクに関するデータを認識することができる。
【0049】
一実施形態によれば、プロセッサ１４０は、ライダーセンサー１１３を用いて獲得した対象車両に関するライダーデータに基づいて対象車両との距離を認識することができる。例えば、プロセッサ１４０は、ライダーセンサー１１３を用いてセンシングしたデータに基づいて外部客体（例えば、対象車両）との距離を認識することができる。一実施形態によれば、プロセッサ１４０は、イメージから獲得した対象車両の境界を示す座標情報に基づいて、ライダーセンサー１１３を用いて獲得した外部客体に対するライダーデータから対象車両に関するライダーデータを抽出することができる。
【0050】
一実施形態によれば、プロセッサ１４０は、ライダーデータを車両のタイプに対応するレファレンス車両情報と比較することができる。例えば、プロセッサ１４０は、対象車両に関するライダーデータ及びレファレンス車両データの角度別のマッチング率（以下、「ライダーデータマッチング率」）を判断することができる。
【0051】
一実施形態によれば、プロセッサ１４０は、ライダーデータの比較結果に基づいて対象車両の相対的な方向を認識することができる。例えば、プロセッサ１４０は、ライダーデータマッチング率が最も高い角度を対象車両のサービスロボット１００に対する相対的な方向（以下、「第２測定方向」）として認識することができる。
【0052】
例えば、プロセッサ１４０は、角度別のイメージマッチング率とライダーデータマッチング率とを合算して最も高い値を有する角度を対象車両の相対的な方向として決定することができる。プロセッサ１４０は、角度別のイメージマッチング率とライダーデータマッチング率の加重平均値が最も高い角度を対象車両の方向として決定することができる。プロセッサ１４０は、第１測定方向と第２測定方向の平均又は加重平均を対象車両の方向として決定することができる。例えば、イメージ又はライダーデータに対する加重値は、使用者により設定される。一実施形態によれば、プロセッサ１４０は、イメージマッチング率による第１測定方向を認識する動作を省略し、ライダーマッチング率による第２測定方向を対象車両の方向（例えば、相対的な方向）を決定することができる。
【0053】
一実施形態によれば、プロセッサ１４０は、対象車両との距離及び対象車両の相対的な方向に基づいて対象車両に配送物品を引き渡すための目標位置及び目標位置まで移動する経路を決定することができる。一実施形態によれば、プロセッサ１４０は、配送物品を引き渡す対象車両の空間を指定する使用者入力を受信することができる。例えば、使用者は、対象車両の前方左側ドア内、前方右側ドア内、後方左側ドア内、後方右側ドア内、又はトランク内のうち一空間に配送物品を配送するように指定することができる。一実施形態によれば、プロセッサ１４０は、使用者が指定した対象車両の空間を考慮して目標位置を決定することができる。例えば、使用者が対象車両のトランクに配送物品を配送するように指定した場合、プロセッサ１４０は、対象車両の相対的な方向に基づいて対象車両のトランクに対応する目標位置及び目標位置に移動する経路を決定することができる。一実施形態によれば、プロセッサ１４０は、ロボットアーム１３１の動く半径が対象車両（例えば、第１対象車両の本体又は第１対象車両のドア範囲又はトランク範囲）にかかることなく、使用者が指定した空間に配送物品を引き渡す際にロボットアーム１３１を最も少なく動く位置を目標位置として決定することができる。
【0054】
一実施形態によれば、プロセッサ１４０は、移動中にライダーセンサー１１３を用いて経路上に存在する外部客体を検出することができる。プロセッサ１４０は、レファレンス車両情報に基づいて外部客体が検出された位置が対象車両のドア又はトランク範囲内であるか判断することができる。例えば、プロセッサ１４０は、外部客体が検出された位置が対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識することができる。プロセッサ１４０は、外部客体が検出された位置が対象車両のドア又はトランクの開閉範囲に該当しないと、外部客体を障害物として認識することができる。
【0055】
例えば、対象車両のドア範囲又はトランク範囲内で客体が検出された場合、プロセッサ１４０は、検出された客体が対象車両の一部（例えば、対象車両のドア又はトランク）であると判断することができる。例えば、プロセッサ１４０は、対象車両のドアが開かれたかトランクが開かれたと判断することができる。プロセッサ１４０は、検出された客体が対象車両の一部（ドア又はトランク）であると判断すると、既存の移動経路を維持してもよく、指定された時間待機した後再び移動してもよく、及び／又は検出された客体が経路を妨害することを示す通知を出力してもよい。
【0056】
例えば、対象車両のドア範囲又はトランク範囲以外の客体が検出された場合、プロセッサ１４０は、検出された客体が対象車両と無関係な障害物として認識することができる。プロセッサ１４０は、移動経路上に障害物が認識されると、障害物を回避して目標位置に到達する新しい経路を決定することができる。例えば、プロセッサ１４０は、既存の移動経路を他の経路に修正することができる。例えば、プロセッサ１４０は、検出された障害物をロボットアーム１３１を用いて移すことができる場合、ロボットアーム１３１を用いて障害物を取り払った後、既存の移動経路を維持することができる。
【0057】
一実施形態によれば、プロセッサ１４０は、決定された経路を介して目標位置に移動することができる。一実施形態によれば、プロセッサ１４０は、ロボットアーム１３１を用いて配送物品を対象車両に引き渡すことができる。例えば、プロセッサ１４０は、ロボットアーム１３１を用いて配送物品を使用者が指定した対象車両の空間（特定のドア内又はトランク内）に配送することができる。
【0058】
一実施形態によれば、プロセッサ１４０は、外部装置から前記レファレンス車両イメージ又は前記レファレンス車両情報に関する情報を受信することができる。プロセッサ１４０は、受信された情報に基づいて、保存部１２０に保存されたレファレンス車両イメージ又はレファレンス車両情報をアップデートすることができる。
【0059】
多様な実施形態によれば、サービスロボット１００の構成は、図１に示されたものに限定されず、追加的な構成（例えば、図８の構成要素の少なくとも一つ）がさらに含まれてよい。例えば、サービスロボット１００は、情報を視覚的に表示するディスプレイ（又は、タッチスクリーン）及び／又は情報を聴覚的に出力するスピーカーをさらに含んでよい。一実施形態によれば、サービスロボット１００は、通信回路（未図示）をさらに含んでよい。サービスロボット１００は、通信回路を介して外部装置（例えば、外部サーバー、外部サービスロボット１００、及び／又は外部車両）とデータを送受信することができる。サービスロボット１００は、ロボットアーム１３１以外に移動中に物品を積載できる物品保管空間、トレー、及び／又はプレートを含んでよい。
【0060】
図２は、本発明の一実施形態によるサービスロボットの構成を示すブロック図である。
【0061】
一実施形態によれば、サービスロボット２００は、カメラ２１１、ライダーセンサー２１３、認識モジュール２２０、ナビゲーションモジュール２３０、ロボットアーム２４０、アーム制御モジュール２４５、タスクマネージャー（ｔａｓｋ ｍａｎａｇｅｒ、ＴＭ）モジュール２５０、及びデータベース（ｄａｔａｂａｓｅ、ＤＢ）２６０を含んでよい。
【0062】
一実施形態によれば、カメラ２１１は、サービスロボット２００の外部を撮影して映像情報（例えば、イメージ）を獲得することができる。例えば、カメラ２１１は、サービスロボット２００前方の客体（例えば、車両）をキャプチャしたイメージを獲得することができる。カメラ２１１は、獲得した映像情報を認識モジュール２２０に提供することができる。
【0063】
一実施形態によれば、ライダーセンサー２１３は、サービスロボット２００の外部客体をセンシングすることができる。例えば、ライダーセンサー２１３は、外部客体の位置、距離、及び／又は形態に関する情報を獲得することができる。ライダーセンサーは、獲得した外部客体に関する情報をナビゲーションモジュール２３０に提供することができる。
【0064】
一実施形態によれば、認識モジュール２２０は、カメラ２１１を介して獲得したイメージに基づいて外部客体（例えば、外部車両）を認識することができる。一実施形態によれば、認識モジュール２２０は、イメージに含まれた少なくとも一つの車両の識別情報を認識することができる。例えば、認識モジュール２２０は、認識された識別情報に基づいて物品を配送する対象車両を認識することができる。例えば、イメージが車両のナンバープレートを含む場合、認識モジュール２２０は、イメージに含まれた車両番号に基づいて対象車両を認識することができる。
【0065】
一実施形態によれば、認識モジュール２２０は、対象車両のイメージをＤＢ２６０に保存されたレファレンス車両イメージと比較することができる。例えば、認識モジュール２２０は、対象車両のイメージ及びレファレンス車両イメージのＲＧＢデータ値及び／又はパターン（例えば、輪郭線）を比較することができる。例えば、認識モジュール２２０は、対象車両のイメージとレファレンス車両イメージ（例えば、車両タイプ別の多様な角度及び距離で撮影された複数のイメージ）のマッチング率を判断し、マッチング率に基づいてイメージに対応する対象車両のタイプ及び／又は対象車両のヘッディング角度を識別することができる。一実施形態によれば、認識モジュール２２０は、対象車両のイメージ及びレファレンス車両イメージを比較する場合、予め学習されたマシンラーニングモデルを用いることができる。一実施形態によれば、認識モジュール２２０は、認識された情報をＴＭモジュール２５０及び／又はナビゲーションモジュール２３０に提供することができる。
【0066】
一実施形態によれば、ナビゲーションモジュール２３０は、位置推定モジュール２３１、経路生成モジュール２３３、障害物回避モジュール２３５、及びライダーデータマッチングモジュール２３７を含んでよい。
【0067】
一実施形態によれば、位置推定モジュール２３１は、サービスロボット２００の位置を推正することができる。例えば、位置推定モジュール２３１は、カメラ２１１及びライダーセンサー２１３を介して獲得したセンサーデータを分析してサービスロボット２００の現在位置を推正することができる。例えば、位置推定モジュール２３１は、サービスロボット２００がサービスを提供する特定の空間内でサービスロボット２００がどの位置にあるかを判断することができる。一実施形態によれば、位置推定モジュール２３１は、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）信号を含むデータ信号の送受信に基づいてサービスロボット２００の位置を認識することができる。
【0068】
一実施形態によれば、経路生成モジュール２３３は、サービスを提供する目標位置までの移動経路を生成又は修正することができる。経路生成モジュール２３３は、ナビゲーションモジュール２３０から受信した対象車両との距離に関する情報、対象車両の相対的な方向に関する情報、認識モジュール２２０から受信した対象車両の相対的な方向に関する情報、認識モジュール２２０から受信した対象車両のタイプに関する情報、及び／又はＤＢ２６０に保存されたレファレンス車両情報に基づいて配送物品を対象車両に引き渡す目標位置を決定することができる。経路生成モジュール２３３は、決定された目標位置に到達する最短経路を移動経路として決定することができる。一実施形態によれば、経路生成モジュール２３３は、既生成した経路上の障害物のために走行が不可能な場合、新しい走行経路を生成（又は、修正）することができる。経路生成モジュール２３３は、障害物回避モジュール２３５から受信した障害物に関する情報に基づいて障害物を回避するための経路を生成することができる。
【0069】
一実施形態によれば、障害物回避モジュール２３５は、ライダーセンサー２１３を用いて獲得したセンサーデータに基づいて障害物を検出し、障害物を回避するための回避政策を決定することができる。障害物回避モジュール２３５は、検出した障害物に関する情報を経路生成モジュール２３３に伝達することができる。例えば、障害物回避モジュール２３５は、レファレンス車両データに基づいて検出された外部客体が対象車両の一部（例えば、対象車両のドア）であるか又は他の物体であるか判断することができる。障害物回避モジュール２３５は、外部客体が対象車両の一部ではない他の物体の場合、当該物体を回避するための政策を決定することができる。例えば、障害物回避モジュール２３５は、障害物を検出する際に、ロボットアーム２４０を用いて障害物を取り払うか、経路生成モジュール２３３を介して新しい経路を生成するか、出力装置（例えば、スピーカー又はディスプレイ）を介して障害物の存在を外部に通知するか、及び／又は外部装置（例えば、管理者装置又は官制サーバー）に障害物の存在を通知するように決定することができる。
【0070】
一実施形態によれば、ライダーデータマッチングモジュール２３７は、ライダーセンサー２１３から獲得したライダーデータをレファレンス車両情報と比較することができる。一実施形態によれば、ライダーデータマッチングモジュール２３７は、ライダーセンサー２１３を用いて獲得したライダーデータ及びレファレンス車両情報と比較する場合、予め学習されたマシンラーニングモデルを用いることができる。例えば、レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、及び／又は車両のトランクに関する情報を含んでよい。例えば、レファレンスライダーデータは、車両全体に対する３Ｄライダーデータを含んでよい。
【0071】
例えば、車両のドアに関する情報は、車両に含まれた各ドアの位置、大きさ、開閉範囲、及び／又は３Ｄライダーデータを含んでよい。車両のトランクに関する情報は、車両に含まれた各ドアの位置、大きさ、開閉範囲、及び／又は３Ｄライダーデータを含んでよい。例えば、ライダーデータマッチングモジュール２３７は、対象車両に対するライダーデータとレファレンス車両データとのマッチング率を判断し、マッチング率に基づいて対象車両の相対的な方向（例えば、対象車両のヘッディング方向）を認識することができる。例えば、ライダーデータマッチングモジュール２３７は、マッチング率に基づいてサービスロボット２００に対して対象車両の前方が向かう角度を認識することができる。一実施形態によれば、ライダーデータマッチングモジュール２３７は、認識した対象車両の相対的な方向に関する情報を経路生成モジュール２３３、障害物回避モジュール２３５、及び／又はＴＭモジュール２５０に提供することができる。
【0072】
一実施形態によれば、ロボットアーム２４０は、物体（例えば、配送物品）を把持、グリップ、及び／又は吸着（例えば、真空吸着）できるように具現される。ロボットアーム２４０は、物体の運搬する自由度を高めるために、多関節ロボットアーム２４０（ｍｕｌｔｉ－ａｘｉｓ ｒｏｂｏｔｉｃ ａｒｍ）として構成される。
【0073】
一実施形態によれば、アーム制御モジュール２４５は、ロボットアーム２４０の把持、グリップ、及び／又は吸着動作を制御することができ、ロボットアーム２４０の多関節構造の移動及び回転を制御することができる。例えば、アーム制御モジュール２４５は、ＴＭモジュール２５０の制御下、ロボットアーム２４０の動きを制御することができる。例えば、アーム制御モジュール２４５は、サービスロボット２００が対象車両と隣接した目標位置に移動した場合、使用者が指定した対象車両の空間（例えば、前方左側ドア内、前方右側ドア内、後方左側ドア内、後方右側ドア内、又はトランク）に配送物品を引き渡すように制御することができる。
【0074】
一実施形態によれば、ＴＭモジュール２５０は、サービスロボット２００の全体サービスシークエンスを制御することができる。例えば、ＴＭモジュール２５０は、サービスロボット２００が指定されたサービスを提供するための少なくても一つのシナリオ（動作）が順次行われるように制御することができる。例えば、ＴＭモジュール２５０は、サービスロボット２００のメインプロセッサとしてサービスロボット２００の全般的な動作を制御することができる。例えば、ＴＭモジュール２５０は、カメラ２１１、ライダーセンサー２１３、認識モジュール２２０、及びナビゲーションモジュール２３０の動作を制御することができ、データベースを管理することができる。
【0075】
一実施形態によれば、データベースは、保存部は、レファレンス車両イメージ及びレファレンス車両情報を保存することができる。例えば、レファレンス車両イメージは、車両のタイプ別に多様な角度及び／又は多様な距離で車両を撮影した複数のイメージを含んでよい。例えば、レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ（例えば、図４の４１０）、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含んでよい。例えば、レファレンス車両情報は、指定されたフォーマット（例えば、ｐｃｄ拡張子ファイル）の情報を含む有することができる。
【0076】
一実施形態によれば、カメラ２１１及びライダーセンサー２１３は、図１の少なくとも一つのセンサー１１０に含まれてよい。一実施形態によれば、認識モジュール２２０、ＴＭモジュール２５０、アーム制御モジュール２４５、及びナビゲーションモジュール２３０を別途構成として図示及び説明したが、認識モジュール２２０、ＴＭモジュール２５０、アーム制御モジュール２４５、及びナビゲーションモジュール２３０の少なくとも一部は、一つの構成として具現される。例えば、認識モジュール２２０、ＴＭモジュール２５０、アーム制御モジュール２４５、及びナビゲーションモジュール２３０は、図１のプロセッサ１４０に含まれてよい。一実施形態によれば、ＤＢ２６０は、図１の保存部１２０に含まれてよい。多様な実施形態によれば、サービスロボット２００の構成は、図２に示されたものに限定されるものではなく、一部構成が省略されるか少なくとも一つの構成（例えば、図７の構成要素の少なくとも一つ）が追加されてよい。
【0077】
図３は、本発明の一実施形態によるサービスロボットが方向情報を獲得する動作を説明するための図である。
【0078】
一実施形態によれば、ライダーデータマッチングモジュール２３７は、レファレンスデータ及びセンシングデータを入力で受信して対象車両の方向情報を出力することができる。例えば、レファレンスデータは、サービスロボットの保存部（又は、データベース）に保存されたレファレンス車両情報を含んでよい。レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、又は車両のトランクに関する情報の少なくとも一つを含んでよい。例えば、サービスロボットは、レファレンスデータを指定されたフォーマット（例えば、ｐｃｄ拡張子ファイル）の形態に保存することができる。例えば、センシングデータは、ライダーセンサーを用いて獲得したライダーデータを含んでよい。例えば、方向情報は、サービスロボットに対する対象車両の相対的な方向に関する情報を含んでよい。方向情報は、サービスロボットと対象車両との距離に関する情報を含んでよい。
【0079】
一実施形態によれば、ライダーデータマッチングモジュール２３７は、ライダーセンサーを用いてセンシングしたライダーデータ及びレファレンスライダーデータのマッチング率を判断することができる。例えば、ライダーデータマッチングモジュール２３７は、センシングしたライダーデータ及びレファレンスライダーデータのマッチング率が指定された基準値以上の場合、当該レファレンスライダーデータに基づいて対象車両の相対的な方向（例えば、ヘッディング角度）を判断することができる。
【0080】
図４は、本発明の一実施形態によるサービスロボットの動作を説明するための図である。
【0081】
例えば、４１０は、サービスロボットが保存したレファレンスライダーデータの一例示を示す。例えば、サービスロボットは、車両のタイプ別に車両の３Ｄライダーレファレンスデータを含んでよい。例えば、３Ｄライダーレファレンスデータは、車両全方向に対するライダーデータを含んでよい。
【0082】
例えば、４２０は、サービスロボットがライダーセンサーを用いて獲得した対象車両に関するライダーデータの一例示を示す。例えば、サービスロボットは、ライダーセンサーを用いて対象車両に対する３Ｄライダーデータを獲得することができる。例えば、４３０は、ライダーデータで検出した対象車両の表面をトップビュー（ｔｏｐ ｖｉｅｗ）で図式化したものである。例えば、座標の原点（０、０）がサービスロボットであると仮定すると、対象車両の表面（外郭）４３１は、［（－２、３．５、０）、（－１、３、０）、（０、３、０）、（１、３、０）、（２、４、０）］のように検出される。説明の便宜のために、ｚ軸座標は０であることを仮定して説明するが、実際ライダーデータは３次元データであって、対象車両の表面に対する３次元座標として測定される。
【0083】
一実施形態によれば、サービスロボットは、獲得したライダーデータとレファレンスライダーデータがマッチング率を判断することができる。例えば、サービスロボットは、レファレンスライダーデータで４３０において判断した座標情報とマッチングされる部分を探すことができる。例えば、レファレンスライダーデータで測定したライダーデータとマッチングされる部分を探した場合、サービスロボットは、レファレンスライダーデータのマッチングされる部分の情報に基づいて対象車両の相対的な方向（例えば、対象車両のヘッディング角度）を判断することができる。
【0084】
図５ａ及び５ｂは、本発明の一実施形態によるサービスロボットの動作を説明するための図である。
【0085】
一実施形態によれば、サービスロボット５１０は、カメラを介して獲得したイメージを介して対象車両５２０、５４０のタイプを認識することができる。サービスロボット５１０は、ＤＢに保存された車両タイプ別のライダーレファレンスデータとライダーセンサーを用いてセンシングした対象車両５２０、５４０に対するライダーデータを比較することができる。サービスロボット５１０は、比較結果に応じて対象車両５２０、５４０のサービスロボット５１０に対する相対的な方向を認識することができる。サービスロボット５１０は、対象車両５２０、５４０の相対的な方向とＤＢに保存されたレファレンス車両データとに基づいて対象車両５２０、５４０のドア範囲及びトランク範囲を認識することができる。例えば、サービスロボット５１０は、対象車両５２０、５４０の前方左側ドア範囲、前方右側ドア範囲、後方左側ドア範囲、後方右側ドア範囲、及びトランク範囲を認識することができる。
【0086】
例えば、図５ａを参考すれば、サービスロボット５１０が第１対象車両５２０に配送物品を配送する動作を示す。一実施形態によれば、サービスロボット５１０は、配送物品を引き渡す第１対象車両５２０の空間を指定する使用者入力を受信することができる。例えば、使用者は、第１対象車両５２０の前方左側ドア内、前方右側ドア内、後方左側ドア内、後方右側ドア内、又はトランクのうち一空間に配送物品を配送するように指定することができる。使用者が第１対象車両５２０のトランクに配送物品を配送するように指定した場合、サービスロボット５１０は、第１対象車両５２０の相対的な方向に基づいて第１対象車両５２０のトランクに対応する第１目標位置５０１及び第１目標位置５０１に移動する経路（Ｐ１）を決定することができる。一実施形態によれば、サービスロボット５１０は、第１対象車両５２０のドア範囲（前方左側ドア範囲５３１、前方右側ドア範囲５３３、後方左側ドア範囲５３５、後方右側ドア範囲５３７）、及び／又はトランク範囲５５９を考慮して目標位置５０１を決定することができる。一実施形態によれば、サービスロボット５１０は、ロボットアームの動く半径が第１対象車両５２０（例えば、第１対象車両５２０の本体又は第１対象車両５２０のドア範囲（前方左側ドア範囲５３１、前方右側ドア範囲５３３、後方左側ドア範囲５３５、後方右側ドア範囲５３７、又はトランク範囲５５９）にかかることなく、配送物品を引き渡す際にロボットアームを最も少なく動くことができる位置を第１目標位置５０１として決定することができる。一実施形態によれば、サービスロボット５１０は、決定された経路（Ｐ１）を介して第１目標位置５０１に移動後、第１対象車両５２０の指定された空間（例えば、トランク）に配送物品を引き渡すことができる。
【0087】
例えば、図５ｂを参考すれば、サービスロボット５１０が第２対象車両５４０に配送物品を配送する動作を示す。例えば、図５ｂは、サービスロボット５１０がセンサー（例えば、ライダーセンサー）を用いて第２対象車両５４０（例えば、第２対象車両５４０の本体）以外の他の客体を検出した場合を示す。例えば、使用者が第２対象車両５４０のトランクに配送物品を配送するように指定した場合、サービスロボット５１０は、第２対象車両５４０の相対的な方向に基づいて第２対象車両５４０のトランクに対応する第２目標位置５０５、及び第２目標位置５０５に移動する経路（Ｐ２）を決定することができる。例えば、サービスロボット５１０が第２対象車両５４０以外の客体を検出した場合、サービスロボット５１０は、検出された客体が第２対象車両５４０のドア範囲（例えば、第２対象車両５４０の前方左側ドア範囲５５１、前方右側ドア範囲５５３、後方左側ドア範囲５５５、後方右側ドア範囲５５７、及びトランク範囲５５９）内であるか判断することができる。
【0088】
例えば、第２対象車両５４０のドア範囲５５１、５５３、５５５、５５７又はトランク範囲５５９内で客体が検出された場合、サービスロボット５１０は、検出された客体が第２対象車両５４０のドア又はトランクであると判断することができる。すなわち、サービスロボット５１０は、対象車両５２０、５４０のドアが開かれたかトランクが開かれたと判断することができる。例えば、サービスロボット５１０は、検出された客体が第２対象車両５４０の一部（ドア又はトランク）であると判断すると、既存の経路（Ｐ２）を維持してもよく、指定された時間待機した後再び移動してもよく、及び／又は検出された客体が経路を妨害することを示す通知を出力してもよい。第２対象車両５４０のドア範囲５５１、５５３、５５５、５５７又はトランク範囲５５９以外の客体が検出された場合、サービスロボット５１０は、検出された客体を障害物５６０として認識し、障害物５６０を回避するための経路（Ｐ３）を決定することができる。例えば、サービスロボット５１０は、第２目標位置５０５まで移動する既存の経路（Ｐ２）を新しい経路（Ｐ３）に変更することができる。例えば、サービスロボット５１０は、ロボットアームを用いて障害物５６０を移すことができる場合、ロボットアームを用いて障害物５６０を取り払った後、既存の経路（Ｐ２）を介して第２目標位置５０５に移動することができる。
【0089】
以下、図６及び７を参照して、本発明の他の実施形態による配送サービス提供方法を具体的に説明する。図６及び図７は、本発明の他の実施形態によるサービスロボット５１０の配送サービス提供方法を説明するための順序図である。
【0090】
以下、図１のサービスロボット５１０（１００）（又は、図２のサービスロボット５１０（２００））が図６及び図７のプロセスを行うことを仮定する。また、図６及び図７の説明において、サービスロボット５１０により行われるものと記述された動作は、図１のサービスロボット５１０（１００）のプロセッサ１４０（又は、図２のサービスロボット５１０（２００）の認識モジュール２２０、ナビゲーションモジュール２３０、アーム制御モジュール２４５、及び／又はＴＭモジュール２５０）により制御されるものと理解される。
【0091】
図６は、本発明の一実施形態によるサービスロボットの配送サービス提供方法を説明するための順序図である。
【0092】
一実施形態によれば、６０５段階において、サービスロボットは、カメラを用いて外部を撮影したイメージを獲得することができる。イメージは、少なくとも一つの客体（例えば、車両）を含んでよい。
【0093】
一実施形態によれば、６１０段階において、サービスロボットは、イメージから対象車両を検出することができる。例えば、サービスロボットは、イメージに含まれた少なくとも一つの車両の識別情報（例えば、ナンバープレート）を認識することができる。サービスロボットは、認識した識別情報に基づいてサービス（例えば、物品配送）を提供する対象車両を検出することができる。一実施形態によれば、サービスロボットは、イメージから対象車両の境界を示す座標情報（例えば、Ｂｂｏｘ（ｂｏｕｎｄａｒｙ ｂｏｘ）情報）を獲得することができる。一実施形態によれば、サービスロボットは、イメージから対象車両のイメージを抽出することができる。
【0094】
一実施形態によれば、６１５段階において、サービスロボットは、検出された対象車両のイメージをレファレンス車両イメージと比較することができる。例えば、サービスロボットの保存部（又は、データベース）は、複数の車両タイプ別に少なくとも一つのレファレンス車両イメージを含んでよい。例えば、レファレンス車両イメージは、車両のタイプ別に車両の少なくとも一部を含む複数のイメージを含んでよい。例えば、サービスロボットは、対象車両のイメージと複数のレファレンス車両イメージとのマッチング率を判断することができる。一実施形態によれば、レファレンス車両イメージは、車両のタイプ別に車両の全方位に対する角度別のイメージを含んでよい。
【0095】
一実施形態によれば、サービスロボットは、角度別の対象車両のイメージとレファレンス車両イメージとの間のマッチング率（以下、「イメージマッチング率」）を判断することができる。一実施形態によれば、サービスロボットは、イメージマッチング率が最も高い角度を対象車両のサービスロボットに対する相対的な方向（以下、「第１測定方向」）として認識することができる。一実施形態によれば、サービスロボットがイメージマッチング率に基づいて第１測定方向を認識する動作は省略されてよく、この場合、サービスロボットは、イメージに基づいて対象車両のタイプのみを認識することができる。
【0096】
一実施形態によれば、６２０段階において、サービスロボットは、比較結果に基づいて対象車両のタイプを認識することができる。サービスロボットは、対象車両のイメージと対応するレファレンス車両イメージに基づいて対象車両のタイプを認識することができる。例えば、レファレンス車両イメージは、複数の車両タイプ別のイメージを含むので、サービスロボットは、対象車両イメージとマッチング率が最も高いレファレンス車両イメージの車両タイプを対象車両のタイプとして認識することができる。
【0097】
一実施形態によれば、６２５段階において、サービスロボットは、レファレンス車両情報のうち対象車両のタイプに対応する車両情報を認識することができる。例えば、サービスロボットの保存部（又は、データベース）は、車両のタイプ別の車両情報を含むレファレンス車両情報を保存することができる。例えば、レファレンス車両情報は、車両のタイプ別のレファレンスライダーデータ、車両のドアに関する情報、及び／又は車両のトランクに関する情報を含んでよい。例えば、レファレンスライダーデータは、車両全体に対する３次元ライダーデータを含んでよい。車両のドアに関する情報は、車両のドアそれぞれの長さ、幅、及び深みの情報、及び／又は車両のドアそれぞれに対する３次元ライダーデータを含んでよい。車両のトランクに関する情報は、車両のトランクの長さ、幅、及び深みの情報、及び／又は車両のトランクに対する３次元ライダーデータを含んでよい。例えば、サービスロボットは、認識した対象車両のタイプに対応するレファレンスライダーデータ、ドアに関するデータ、及び／又はトランクに関するデータを認識することができる。
【0098】
一実施形態によれば、６３０段階において、サービスロボットは、ライダーセンサーを用いて獲得した対象車両に関するライダーデータに基づいて対象車両との距離を認識することができる。例えば、サービスロボットは、ライダーセンサーを用いてセンシングしたデータに基づいて外部客体（例えば、対象車両）との距離を認識することができる。一実施形態によれば、サービスロボットは、６１０段階においてイメージから獲得した対象車両の境界を示す座標情報に基づいて、ライダーセンサーを用いて獲得した外部客体に対するライダーデータから対象車両に関するライダーデータを抽出することができる。
【0099】
一実施形態によれば、６３５段階において、サービスロボットは、ライダーデータを車両のタイプに対応するレファレンス車両情報と比較することができる。例えば、サービスロボットは、対象車両に関するライダーデータ及びレファレンス車両データの角度別のマッチング率（以下、「ライダーデータマッチング率」）を判断することができる。
【0100】
一実施形態によれば、６４０段階において、サービスロボットは、６３５動作の比較結果に基づいて対象車両の相対的な方向を認識することができる。例えば、サービスロボットは、ライダーデータマッチング率が最も高い角度を対象車両のサービスロボットに対する相対的な方向（以下、「第２測定方向」）として認識することができる。
【0101】
一実施形態によれば、６４５段階において、サービスロボットは、対象車両との距離及び対象車両の相対的な方向に基づいて、対象車両に配送物品を引き渡すための目標位置及び目標位置まで移動する経路を決定することができる。一実施形態によれば、サービスロボットは、配送物品を引き渡す対象車両の空間を指定する使用者入力を受信することができる。例えば、使用者は、対象車両の前方左側ドア内、前方右側ドア内、後方左側ドア内、後方右側ドア内、又はトランクのうち一空間に配送物品を配送するように指定することができる。一実施形態によれば、サービスロボットは、使用者が指定した対象車両の空間を考慮して目標位置を決定することができる。例えば、使用者が対象車両のトランクに配送物品を配送するように指定した場合、サービスロボットは、対象車両の相対的な方向に基づいて対象車両のトランクに対応する目標位置及び目標位置に移動する経路を決定することができる。一実施形態によれば、サービスロボットは、ロボットアームの動く半径が対象車両（例えば、第１対象車両本体又は第１対象車両のドア範囲又はトランク範囲）にかかることなく、使用者が指定した空間に配送物品を引き渡す際にロボットアームを最も少なく動くことができる位置を目標位置として決定することができる。
【0102】
一実施形態によれば、サービスロボットは、移動中にライダーセンサーを用いて経路上に存在する外部客体を検出することができる。サービスロボットは、レファレンス車両情報に基づいて外部客体が検出された位置が対象車両のドア又はトランク範囲内であるか判断することができる。例えば、サービスロボットは、外部客体が検出された位置が対象車両のドア又はトランクの開閉範囲に該当すると、前記外部客体を車両のドア又はトランクとして認識することができる。サービスロボットは、外部客体が検出された位置が対象車両のドア又はトランクの開閉範囲に該当しないと、外部客体を障害物として認識することができる。例えば、対象車両のドア範囲又はトランク範囲内で客体が検出された場合、サービスロボットは、検出された客体が対象車両の一部（例えば、対象車両のドア又はトランク）であると判断することができる。
【0103】
例えば、サービスロボットは、対象車両のドアが開かれたかトランクが開かれたと判断することができる。サービスロボットは、検出された客体が対象車両の一部（ドア又はトランク）であると判断すると、既存の移動経路を維持してもよく、指定された時間待機した後再び移動してもよく、及び／又は検出された客体が経路を妨害することを示す通知を出力してもよい。例えば、対象車両のドア範囲又はトランク範囲以外の客体が検出された場合、サービスロボットは、検出された客体が対象車両と無関係な障害物として認識することができる。サービスロボットは、移動経路上に障害物が認識されると、障害物を回避して目標位置に到達する新しい経路を決定することができる。例えば、サービスロボットは、既存の移動経路を他の経路に修正することができる。例えば、サービスロボットは、検出された障害物をロボットアームを用いて移すことができる場合、ロボットアームを用いて障害物を取り払った後、既存の移動経路を維持することができる。
【0104】
一実施形態によれば、６５０段階において、サービスロボットは、決定された経路を介して目標位置に移動することができる。
【0105】
一実施形態によれば、６５５段階において、サービスロボットは、ロボットアームを用いて配送物品を対象車両に引き渡すことができる。例えば、サービスロボットは、ロボットアームを用いて配送物品を使用者が指定した対象車両の空間（特定のドア内又はトランク内）に配送することができる。
【0106】
多様な実施形態によれば、サービスロボットの配送サービス提供方法は、図６で説明した段階及び順序に限定されるものではなく、図６で説明した段階の少なくとも一部は省略されるか新しい段階が追加されてよく、各段階の順序は変更されるか少なくとも一部段階が同時に行われてよい。
【0107】
図７は、本発明の一実施形態によるサービスロボットの配送サービス提供方法を説明するための順序図である。
【0108】
一実施形態によれば、７１０段階において、サービスロボットは、カメラを介して獲得したイメージに基づいて客体検出を行うことができる。例えば、サービスロボットは、カメラを介して獲得したイメージから対象車両を検出することができる。例えば、サービスロボットは、イメージに含まれた少なくとも一つの車両の識別番号（例えば、ナンバープレート）を検出し、これに基づいて対象車両を検出することができる。例えば、サービスロボットは、認識したイメージ内の対象車両の境界を示す座標情報（例えば、Ｂｂｏｘ（ｂｏｕｎｄａｒｙ ｂｏｘ）情報）を認識することができる。
【0109】
サービスロボットは、カメラを用いて獲得したイメージから対象車両のイメージを抽出することができる。一実施形態によれば、サービスロボットは、イメージ分析を介してイメージに含まれた対象車両のタイプを認識することができる。例えば、サービスロボットは、イメージ分析に基づいて対象車両がセダン、ＲＶ、又はＳＵＶであるか判断するか、特定の車両モデルであるかを判断することができる。
【0110】
一実施形態によれば、７２０段階において、対象車両のイメージとＤＢ２６０に保存された少なくとも一つのレファレンスイメージとのマッチング率（以下、「イメージマッチング率」）を判断することができる。例えば、ＤＢ２６０は、車両のタイプ別に車両の少なくとも一部分に対する複数のレファレンスイメージを保存することができる。例えば、ＤＢ２６０は、角度別のレファレンスイメージを含んでよい。例えば、ＤＢ２６０は、車両の前方中心を０度の基準点としてみると、車両のタイプ別に車両の０°～３６０°の間の各方向から視る車両のイメージをレファレンスイメージとして保存することができる。サービスロボットは、対象車両のイメージとマッチング率が指定された値以上のレファレンスイメージを認識し、認識されたレファレンスイメージに基づいて現在の対象車両のサービスロボットに対する相対的な角度を認識することができる。
【0111】
例えば、獲得した対象車両のイメージが特定の車両を前方３０°角度から視るレファレンスイメージとマッチング率が指定された値以上の場合、サービスロボットは、対象車両の相対的な角度が３０°であると判断することができる。一実施形態によれば、サービスロボットは、ライダーセンサーを用いて検出した対象車両の距離に基づいてイメージマッチング率を判断することができる。例えば、対象車両の距離によって対象車両のイメージの大きさ又は形態が異なるようになる可能性があるので、サービスロボットは、対象車両との距離によって対象車両のイメージを補正した後、レファレンスイメージと比較することができる。他の例として、ＤＢ２６０が距離によって異なる車両タイプ別のレファレンスイメージを含む場合、サービスロボットは、対象車両の距離に対応するレファレンスイメージを対象車両のイメージと比較してマッチング率を判断することができる。
【0112】
一実施形態によれば、７３０段階において、サービスロボットは、ライダーセンサーを用いて獲得したライダーデータから対象車両のライダーデータを抽出することができる。例えば、サービスロボットは、７１０段階において認識した対象車両のタイプに基づいてライダーデータのうち対象車両に対応するライダーデータを抽出することができる。例えば、サービスロボットは、７１０段階において認識したイメージ内の対象車両の境界を示す座標情報（例えば、Ｂｂｏｘ（ｂｏｕｎｄａｒｙ ｂｏｘ）情報）に基づいてライダーデータのうち対象車両に対応するライダーデータを抽出することができる。一実施形態によれば、サービスロボットは、ライダーデータに基づいて検出された対象車両との距離を認識することができる。
【0113】
一実施形態によれば、７４０段階において、サービスロボットは、対象車両との距離情報に基づいて抽出されたライダーデータとレファレンスライダーデータとの間のマッチング率（以下、「ライダーデータマッチング率」）を判断することができる。例えば、レファレンスライダーデータは、車両タイプ別の車両全体に対する３次元ライダーデータ値を含んでよい。サービスロボットは、抽出されたライダーデータとレファレンスライダーデータの角度別のマッチング率を判断し、マッチング率が最も高いか、又は指定された値以上となる角度をサービスロボットに対する対象車両の相対的な角度として認識することができる。
【0114】
一実施形態によれば、７５０段階において、一実施形態によれば、サービスロボットは、イメージマッチング率及びライダーデータマッチング率に基づいて対象車両の方向を決定することができる。例えば、サービスロボットは、角度別のイメージマッチング率と角度別のライダーデータマッチング率とを合算して最も高いマッチング率を有する角度を対象車両の方向として決定することができる。サービスロボットは、角度別のイメージマッチング率と角度別のライダーデータマッチング率とを加重平均した値に基づいて最も高い加重平均値を有する角度を対象車両の方向として決定することができる。
【0115】
一実施形態によれば、サービスロボットは、７２０段階の対象車両のイメージを用いて認識した相対的な方向（以下、「第１測定方向」）及び７３０段階の対象車両に関するライダーデータを用いて認識した相対的な方向（以下、「第２測定方向」）に基づいて対象車両の方向を決定することができる。例えば、サービスロボットは、第１測定方向及び第２測定方向を示す角度の平均又は加重平均を対象車両の方向として決定することができる。
【0116】
一実施形態によれば、サービスロボットは、決定した対象車両の方向及び対象車両との距離に基づいてサービスを提供する目標位置を決定し、目標位置まで移動する経路を決定することができる。例えば、サービスロボットは、対象車両の相対的な方向及び距離によって使用者が指定した配送物品を引き渡す対象車両の空間（例えば、対象車両の前方左側ドア、前方右側ドア、後方左側ドア、後方右側ドア、又はトランク内の一つ）に対応する目標位置を決定することができる。例えば、サービスロボットは、単純に対象車両の近くに配送物品を移すものではなく、対象車両で使用者が指定した空間に対応する位置に配送物品を移して使用者が指定した空間に配送物品を引き渡すことができる。
【0117】
多様な実施形態によれば、サービスロボットの配送サービス提供方法は、図７で説明した段階及び順序に限定されるものではなく、図７で説明した段階の少なくとも一部は省略されるか新しい段階が追加されてよく、各段階の順序は変更されるか少なくとも一部段階が同時に行われてよい。例えば、図７では、サービスロボットがイメージマッチング率及びライダーデータマッチング率をすべて考慮して対象車両の相対的な方向を決定すると説明したが、多様な実施形態によれば、サービスロボットは、イメージマッチング率又はライダーデータマッチング率に基づいて対象車両の相対的な方向を決定することができる。例えば、サービスロボットは、イメージ分析に基づいて対象車両のタイプを認識し、対象車両のタイプに基づいてセンシングしたライダーデータとレファレンスライダーデータとを比較した結果に基づいて対象車両の相対的方向を決定することもできる。
【0118】
図８は、本発明の一実施形態によるコンピューティングシステムを示す。
【0119】
図８に示すように、コンピューティングシステム１０００は、バス１２００を介して連結される少なくとも一つのプロセッサ１１００、メモリー１３００、使用者インターフェース入力装置１４００、使用者インターフェース出力装置１５００、ストレージ１６００、及びネットワークインターフェース１７００を含んでよい。
【0120】
プロセッサ１１００は、中央処理装置（ＣＰＵ）又はメモリー１３００及び／又はストレージ１６００に保存された命令語に対する処理を実行する半導体装置であってよい。メモリー１３００及びストレージ１６００は、多様な種類の揮発性又は不揮発性保存媒体を含んでよい。例えば、メモリー１３００は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでよい。
【0121】
したがって、本明細書に開示された実施形態について説明された方法又はアルゴリズムの段階は、プロセッサ１１００により実行されるハードウェア、ソフトウェアモジュール、又はその２つの結合により直接具現される。ソフトウェアモジュールは、ＲＡＭメモリー、フラッシュメモリー、ＲＯＭメモリー、ＥＰＲＯＭメモリー、ＥＥＰＲＯＭメモリー、レジスター、ハードディスク、脱着型ディスク、ＣＤ－ＲＯＭのような保存媒体（すなわち、メモリー１３００及び／又はストレージ１６００）に常住してもよい。
【0122】
例示的な保存媒体は、プロセッサ１１００にカップリングされ、そのプロセッサ１１００は、保存媒体から情報を読み取ることができ、保存媒体に情報を記入することができる。他の方法として、保存媒体は、プロセッサ１１００と一体型であってもよい。プロセッサ及び保存媒体は、注文型集積回路（ＡＳＩＣ）内に常住してもよい。ＡＳＩＣは、使用者端末機内に常住してもよい。他の方法として、プロセッサ及び保存媒体は、使用者端末機内に個別コンポーネントとして常住してもよい。
【0123】
以上の説明は、本発明の技術思想を例示的に説明したものであって、本発明の属する技術分野における通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲で多様な修正及び変形が可能である。したがって、本発明に開示された実施形態は、本発明の技術思想を限定するためではなく、説明するためのものであり、このような実施形態により本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、以下の特許請求の範囲により解釈されなければならず、それと同等の範囲内のすべての技術思想は、本発明の権利範囲に含まれるものと解釈されなければならない。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6】
【図7】
【図8】