由无人自主交通工具捕捉比赛的图像
1.本技术是申请日为2017年10月24日,申请号为201780081059.x(pct/us2017/057992),发明名称为“由无人自主交通工具捕捉比赛的图像”的中国专利申请的分案申请。
背景技术:
2.无人自主交通工具(uav)正在被部署用于广泛范围的应用。uav通常配备有一个或多个传感器,比如能够捕捉图像、图像序列或视频的摄像机。
3.某些uav,比如能够飞行的uav,正在被逐渐用于摄影和视频捕捉。例如,uav可以提供该uav在录制视频时跟随单个人(比如山地自行车手或滑雪板选手)的“跟随我”跟踪或“自拍”特征。该能力通常受限于跟随单个人,并且这样的uav不能智能地跟随团队运动、儿童游戏或涉及多人的其它活动中的参与者。此外,当前uav无法考虑该uav正在记录的运动或事件的情景。
技术实现要素:
4.各个实施例包括用于由无人自主交通工具(uav)来捕捉比赛图像的方法,所述方法可以由所述uav的处理器来执行。各个实施例可以包括确定所述比赛的比赛玩法规则,确定比赛对象的地点,基于所述确定的比赛玩法规则和所述比赛对象的所述地点来计算用于捕捉所述比赛的图像的位置,以及从所述计算出的位置捕捉所述比赛的图像。
5.在一些实施例中,确定所述比赛玩法规则可以包括从耦合到所述uav的所述处理器的存储器获取所述比赛玩法规则。在一些实施例中,确定所述比赛玩法规则可以包括考察所述比赛的比赛区域,对所述比赛区域的地标进行识别,以及基于所述识别出的所述比赛区域的地标来确定所述比赛玩法规则。
6.在一些实施例中,确定所述比赛对象的地点可以包括从所述比赛对象接收遥测,以及基于所述接收到的遥测来确定所述比赛对象的所述地点。在一些实施例中,基于所述确定的比赛玩法规则和所述比赛对象的所述地点来计算用于捕捉所述比赛的所述图像的所述位置可以包括基于所述比赛玩法规则和所述确定的所述比赛对象的地点来预测比赛动作,以及基于所述预测出的比赛动作来计算所述位置。在一些实施例中,基于所述确定的比赛玩法规则和所述比赛对象的所述地点来计算用于捕捉所述比赛的所述图像的所述位置可以包括基于所述确定的比赛玩法规则和所述比赛对象的所述地点来将比赛情景特性化,以及基于所述特性化的比赛情景来计算所述位置。
7.一些实施例还可以包括确定所述比赛情景是否已经改变,以及基于所述确定的比赛玩法规则和所述改变后的比赛情景来计算用于捕捉所述比赛的第二图像的另一个位置。在一些实施例中,从所述计算出的位置捕捉所述比赛的所述图像可以包括将所述uav移动到所述计算出的位置。在一些实施例中,从所述计算出的位置捕捉所述比赛的所述图像可以包括选择接近所述计算出的位置的第二uav,以及由所述第二uav从所述计算出的位置捕捉所述比赛的所述图像。
8.进一步的实施例可以包括具有图像传感器以及耦合到所述图像传感器的处理器
的uav,该处理器被配置具有用于执行上文概述的方法的操作的处理器可执行指令。进一步的实施例可以包括uav,所述uav包括用于执行上文概述的方法的功能的单元。进一步的实施例可以包括非暂时性处理器可读介质,其上存储有处理器可执行指令,所述处理器可执行指令被配置为使得uav的处理器来执行上文概述的方法的操作。
附图说明
9.本技术中合并的以及构成本说明书的一部分的附图说明了示例实施例,以及与上文给出的一般描述和下文给出的具体实施方式一起用于解释说明各个实施例的特征。
10.图1是根据各个实施例的在通信系统内操作的uav的系统方块图。
11.图2是根据各个实施例说明的uav的组件的组件方块图。
12.图3是根据各个实施例说明的uav的图像捕捉和处理系统的组件的组件方块图。
13.图4是根据各个实施例说明的uav的比赛图像捕捉系统的组件的组件方块图。
14.图5a-5d根据各个实施例说明了比赛区域。
15.图6是根据各个实施例说明的由uav捕捉比赛图像的方法的过程流程图。
16.图7是根据各个实施例说明的由uav捕捉比赛图像的方法的过程流程图。
17.图8是根据各个实施例说明的由uav捕捉比赛图像的方法的示意图。
18.图9是根据各个实施例说明的由uav捕捉比赛图像的方法的过程流程图。
19.图10是根据各个实施例说明的从数据源到各处理阶段的数据流和用于由uav考察比赛区域的各单元的数据流程图。
20.图11是根据各个实施例说明的从数据源到各处理阶段的数据流和用于从比赛装备向uav提供信息的各单元的数据流程图。
21.图12是根据各个实施例说明的从数据源到各处理阶段的数据流和用于执行uav的比赛操作的各单元的数据流程图。
22.图13是根据各个实施例说明的从数据源到各处理阶段的数据流和用于由uav确定比赛装备的位置的各单元的数据流程图。
23.图14是根据各个实施例说明的从数据源到各处理阶段的数据流和用于由uav确定比赛选手的位置的各单元的数据流程图。
24.图15是根据各个实施例说明的由uav更新对比赛区域或比赛玩法规则的定义的方法的过程流程图。
25.图16是根据各个实施例说明的由uav确定比赛事件和比赛情景的方法的过程流程图。
26.图17是根据各个实施例说明的由uav进行的图像捕捉过程的方法的过程流程图。
27.图18是根据各个实施例说明的由uav进行的精彩视频生成过程的方法的过程流程图。
具体实施方式
28.将参考附图详细描述各个实施例。只要有可能,将遍及附图地将相同的参考序号用于指代相同的部分或相似的部分。对特定示例和实施例的参考是出于说明性的目的,并且不旨在限制权利要求的范围。
29.各个实施例包括可以在uav的处理器上实现的、用于基于比赛规则来使用该uav的摄像机来捕捉比赛或其它事件的图像的方法,所述比赛规则可以是存储在存储器中的和/或由该uav处理器通过分析以下各项来学习的:运动场地的图像、选手动作和/或来自具有无线能力的运动装备的输入。
30.如本技术中所使用的,术语“uav”指的是各种类型的无人自主交通工具中的一类无人自主交通工具。uav可以包括配置为在没有比如从人类操作方或远程计算设备来的远程操作指令的情况下,调遣和/或操纵该uav(即,自主地)的机载计算设备。替代地,该机载计算设备可以被配置为利用一些远程操作指令或对存储在该机载计算设备的存储器中的指令的更新,来调遣和/或操纵该uav。在一些实现方式中,uav可以是使用复数个推进单元来推进飞行的飞行器(通常称为“无人机”),每个推进单元包括为该uav提供推进力和/或上升力的一个或多个旋翼。uav推进单元可以由一个或多个类型的电功率源来供电,所述电功率源比如电池、燃料电池、电动发电机、太阳能电池或其它电功率的源,所述电功率源还可以为该机载计算设备、导航组件和/或其它机载组件供电。
31.术语“摄像机”指的是可以安装在uav上,以及可以使用例如一种或多种图像捕捉技术(比如电荷耦合设备(ccd)和互补金属氧化物半导体(cmos))的各种图像传感器中的任何一种。
32.术语“比赛”指的是根据规则(“比赛玩法规则”)来进行的两个或更多个选手之间的竞赛或竞争。比赛通常在“比赛区域”中进行,比如场地或球场,所述“比赛区域”可以包括诸如边界的地标,以及可以包括球门或得分区域。
33.术语“比赛对象”指的是通常在该比赛期间围绕比赛区域和/或在选手之间被移动或被控制的对象。比赛对象的示例包括(但不限于)球、冰球、飞盘、羽毛球、旗子诸如此类。在一些实施例中,该比赛对象可以包括被配置为确定关于该比赛对象的地点和/或运动的信息以及将这样的信息作为遥测来发送的设备。
34.术语“图像”指的是一个或多个图像,以及可以包括静态图像和视频记录。“捕捉图像”指的是捕捉(记录)一个或多个静态图像和/或视频记录。
35.uav正越来越多地装备具有用于捕捉图像和视频的图像传感器设备。某些uav可以包括“跟随我”跟踪或“自拍”特征,其中该uav在录制视频时跟随单人运动员,比如山地自行车手或滑雪板选手。但是,该能力通常受限于跟随单个人,并且uav无法智能地跟随团队运动、儿童游戏或涉及多人的其它活动中的参与者。此外,这样的uav无法考虑该uav正在记录的运动或事件的情景。
36.各个实施例通过提供由uav的处理器实现的用于使用该uav的摄像机来捕捉比赛图像的方法来克服传统uav的限制。
37.在各个实施例中,该uav的处理器可以确定比赛玩法规则。例如,该处理器可以使用摄像机来执行对比赛区域的考察,可以对该比赛区域的一个或多个地标进行识别,以及可以基于识别出的该比赛区域的地标来确定比赛玩法规则。举另一个例子,该处理器可以接收比赛的用户选择(例如,足球、棒球、橄榄球等等),以及该处理器可以确定所选择比赛的比赛玩法规则。举另一个例子,该处理器可以从比赛场地(例如,足球场、棒球内场、橄榄球场地等等)的形状和尺寸来辨识比赛,以及该处理器可以确定所辨识出的比赛的比赛玩法规则。在一些实施例中,该处理器可以从该uav的存储器取回比赛玩法规则和/或从远程
地点(比如,远程服务器、远程存储设备、控制器诸如此类)下载该规则。
38.例如通过在图像中辨识比赛对象和/或经由与具有无线功能的比赛对象的无线通信链路来接收该对象的坐标,该处理器可以确定比赛对象(例如,球)的地点。在一些实施例中,该处理器可以确定该比赛对象的运动,比如运动向量。在一些实施例中,该处理器可以从该比赛对象接收遥测,所述遥测可以包括关于该比赛对象的地点、运动和/或加速度的信息。例如,该比赛对象可以是一个被配置具有用于确定关于比赛对象地点、运动和/或加速度的信息的电子设备的“智能球”或类似的比赛对象。这样的电子设备可以包括处理器、全球定位系统(gps)接收机、以及加速度计、比重计、惯性运动检测器或传感器。这样的电子设备还可以包括用于发送例如作为由该uav接收的遥测的信息的射频(rf)收发机或发射机。
39.基于所确定的比赛玩法规则和比赛对象的地点,该处理器可以计算用于捕捉该比赛图像的位置。在一些实施例中,该处理器可以基于比赛玩法规则和确定的该比赛对象的地点来预测比赛动作。在一些实施例中,该处理器可以基于先前比赛动作来预测比赛动作。在一些实施例中,该处理器可以基于比赛对象相对于比赛区域的地标的运动来预测比赛动作。
40.该处理器可以从计算出的位置捕捉该比赛图像。在一些实施例中,该处理器可以将uav在该计算出的位置的方向上移动或移动到该计算出的位置以便捕捉比赛图像。在一些实施例中,该处理器可以选择接近所计算出的位置的第二uav,以及该第二uav可以捕捉该比赛图像。在一些实施例中,该uav(和/或第二uav)可以捕捉音频和视频或者只捕捉音频。
41.各个实施例可以是在各种通信系统100内操作的uav内实现的,图1中说明了所述uav的示例。参考图1,通信系统100可以包括uav 102、基站104、接入点106、通信网络108和网络元件110。
42.基站104和接入点106可以提供无线通信以分别在有线和/或无线通信回程116和回程118上接入通信网络108。基站104可以包括被配置为在广泛区域(例如,宏小区)以及小型小区上提供无线通信的基站和其它类似的网络接入点,所述小型小区可以包括微小区、毫微微小区、微微小区。接入点106可以包括被配置为在相对较小区域上提供无线通信的接入点。基站和接入点的其它示例也是可能的。
43.uav 102可以在无线通信链路112上与基站104通信,以及在无线通信链路114上与接入点106通信。无线通信链路112和无线通信链路114可以包括多个载波信号、频率或频带,其中每一个可以包括多个逻辑信道。无线通信链路112和无线通信链路114可以使用一个或多个无线接入技术(rat)。可以用于无线通信链路中的rat的示例包括3gpp长期演进(lte)、3g、4g、5g、全球移动系统(gsm)、码分多址(cdma)、宽带码分多址(wcdma)、微波接入全球互通(wimax)、时分多址(tdma)和其它移动电话通信技术蜂窝rat。可以用于通信系统100内的各个无线通信链路中的一个或多个链路的rat的进一步的示例包括比如wi-fi、lte-u、lte-direct、laa、multefire的中程协议,以及比如zigbee、蓝牙和低功耗蓝牙(le)的相对短程rat。
44.网络元件110可以包括网络服务器或另一个类似的网络元件。网络元件110可以在通信链路122上与通信网络108通信。uav 102和网络元件110可以经由通信网络108来通信。网络元件110可以为uav 102提供各种信息,比如导航信息、天气信息、对比赛规则数据库的
访问、运动控制指令和与该uav 102的操作有关的其它信息、指令或命令。
45.在各个实施例中,uav 102可以围绕比赛区域120移动。随着uav 102围绕比赛区域120移动,该uav 102的处理器可以捕捉在那里进行的比赛的图像或视频。
46.uav可以包括有翼的或旋翼的变种。图2说明了旋转式推进设计的示例uav 200,所述uav200采用了由对应发动机驱动的用于提供上升(或起飞)以及其它空中运动(例如,向前行进、升高、降低、横向运动、倾斜、旋转等等)的一个或多个旋翼202。该uav 200被说明为可以采用各个实施例的uav的示例,但是并不旨在暗示或要求各个实施例受限于旋翼式uav。还可以利用有翼uav来使用各个实施例。此外,可以同样地利用基于地面的自主交通工具、水运自主交通工具和基于空间的自主交通工具来使用各个实施例。
47.参考图1和图2,uav 200可以是类似于uav 102的。uav 200可以包括若干个旋翼202、框架204和着陆桩206或制动器。框架204可以为与旋翼202相关联的发动机提供结构支撑。着陆桩206可以支撑针对uav 200的组件组合以及在一些情况中的有效负载的最大负载重量。为了便于描述和说明,uav 200的一些具体方面被省略,比如连线、框架结构互连或对本领域技术人员而言会公知的其它特征。例如,虽然uav 200被示出以及描述为具有框架204,所述框架204具有若干个支撑成员或框架结构,但是uav 200可以使用通过模型化结构来获得支撑的模型化框架来构造。虽然说明的uav 200具有四个旋翼202,但这仅仅是示例性的,以及各个实施例可以包括多于或少于四个旋翼202。
48.uav 200还可以包括控制单元210,所述控制单元210可以容纳用于对该uav 200供电以及控制其操作的各种电路和设备。控制单元210可以包括处理器220、供电模块230、传感器240、一个或多个摄像机244、输出模块250、输入模块260和无线电模块270。
49.该处理器220可以被配置具有用于控制包括各个实施例的操作的uav 200的行进和其它操作的处理器可执行指令。处理器220可以包括或耦合到导航单元222、存储器224、陀螺仪/加速度计单元226和航空电子模块228。处理器220和/或导航单元222可以被配置为通过无线连接(例如,蜂窝数据网络)来与服务器通信以接收导航中的有用数据、提供实时位置报告和评估数据。
50.航空电子模块228可以耦合到处理器220和/或导航单元222,以及可以被配置为提供行进控制相关的信息,比如高度、姿态、空速、方向和导航单元222可以用于导航目的(比如全球导航卫星系统(gnss)位置更新之间的航位推算法)的类似信息。陀螺仪/加速度计单元226可以包括加速度计、陀螺仪、惯性传感器或其它类似传感器。该航空电子模块228可以包括或从该陀螺仪/加速度计单元226接收数据,所述陀螺仪/加速度计单元226提供可以用于导航和定位计算中的关于该uav 200的方向和加速度的数据,以及提供用于处理图像的各个实施例中使用的数据。
51.处理器220还可以从传感器240接收额外的信息,所述传感器比如图像传感器或光传感器(例如,能够感应可见光、红外、紫外和/或其它波长的光)。传感器240还可以包括射频(rf)传感器、气压计、声纳发射器/检测器、雷达发射器/检测器、麦克风或另一个声学传感器、激光雷达传感器、飞行时间(tof)3d摄像机或可以提供由处理器220用于运动操作以及导航和定位计算可使用的信息的另一个传感器。传感器240可以包括用于捕捉比赛图像的一个或多个摄像机240。
52.供电模块230可以包括可以为各个组件供电的一个或多个电池,所述组件包括处
理器220、传感器240、一个或多个摄像机244、输出模块250、输入模块260和无线电模块270。另外,供电模块230可以包括能量存储组件,比如可充电电池。处理器220可以被配置具有处理器可执行指令,所述处理器可执行指令用于比如通过使用充电控制电路来执行充电控制算法,以控制对该供电模块230的充电(即,收集能量的存储)。替代地或者另外,该供电模块230可以被配置为管理它自己的充电。处理器220可以耦合到输出模块250,所述输出模块250可以输出用于对驱动旋翼202的发动机和其它组件进行管理的控制信号。
53.随着该uav 200朝向目的地前进,可以通过对旋翼202的各个发动机的控制来控制该uav200。处理器220可以从导航单元222接收数据以及使用这样的数据以便确定uav 200的当前位置和方向,以及朝向该目的地或中间地点的恰当路线。在各个实施例中,导航单元222可以包括使该uav 200能够使用gnss信号来导航的gnss接收机系统(例如,一个或多个全球定位系统(gps)接收机)。作为替代或者另外,导航单元222可以配备有用于从无线节点接收导航信标或其它信号的无线导航接收机,所述无线节点比如导航信标(例如,甚高频(vhf)全向(vor)信标)、wi-fi接入点、蜂窝网络站、无线站、远程计算设备、其它uav等等。
54.无线电模块270可以被配置为接收导航信号,比如来自航空导航设施的信号等等,以及将这样的信号提供给处理器222和/或导航单元222以辅助uav导航。在各个实施例中,导航单元222可以使用从地面上的可辨识的rf发射器(例如,am/fm无线站、wi-fi接入点和蜂窝网络基站)接收的信号。
55.无线电模块270可以包括调制解调器274和发送/接收天线272。无线电模块270可以被配置为与各种无线通信设备(例如,无线通信设备(wcd)290)进行无线通信,所述无线通信设备的示例包括无线电话基站或小区塔(例如,基站104)、网络接入点(例如,接入点106)、信标、智能电话、平板电脑或该uav 200可以与之通信的另一个计算设备(比如网络元件110)。处理器220经由无线电模块270的调制解调器274和天线272,以及无线通信设备290经由发送/接收天线292,可以建立双向的无线通信链路294。在一些实施例中,无线电模块270可以被配置为使用不同无线接入技术来支持与不同无线通信设备的多个连接。
56.在各个实施例中,无线通信设备290可以通过中间接入点来连接到服务器。在一个示例中,该无线通信设备290可以是uav操作方的服务器、第三方服务(例如,包裹传送、计费等等)或站通信接入点。uav 200可以通过一个或多个中间通信链路(比如耦合到广域网(例如,互联网)或其它通信设备的无线电话网络)来与服务器通信。在一些实施例中,uav 200可以包括以及采用其它形式的无线通信,比如与其它uav的网格连接或到其它信息源(例如,用于收集和/或分发天气或其它数据收集信息的气球或其它站)的连接。
57.在各个实施例中,控制单元210可以配备有输入模块260,其可以用于各种应用。例如,输入模块260可以从机载摄像机244或传感器接收图像或数据,或者可以从其它组件(例如,有效负载)接收电子信号。
58.虽然控制单元210的各个组件被说明为分离的组件,但是组件中的一些或所有组件(例如,处理器220、输出模块250、无线电模块270和其它单元)可以共同整合在单个设备或模块中,比如片上系统模块。
59.图3根据各个实施例说明了uav(例如,图1和图2中的102、200)的图像捕捉和处理系统300。参考图1-3,该图像捕捉和处理系统300可以实现在该uav的硬件组件和/或软件组件中,该uav的操作可以由该uav的一个或多个处理器(例如,处理器220和/或诸如此类)控
制。
60.图像传感器306可以捕捉通过镜头304进入的图像302的光线。镜头304可以包括可以被配置为提供广阔图像捕捉角度的鱼眼镜头或另一个类似镜头。图像传感器306可以向图像信号处理(isp)单元308提供图像数据。感兴趣区域(roi)选择单元312可以向isp 308提供用于对在该图像数据内的感兴趣区域的选择的数据。
61.isp 308可以向滚动快门纠正、图像扭曲和剪裁单元326提供图像信息和roi选择信息。鱼眼校正单元314可以向滚动快门纠正、图像扭曲和剪裁单元326提供信息和/或处理功能。
62.飞行参数单元316可以确定惯性测量数据和uav位置与方向数据。例如,该飞行参数单元316可以从该uav的一个或多个传感器(例如,传感器240)获取或接收该惯性测量数据和uav位置与方向数据。该飞行参数单元316可以向姿态估计单元318提供该惯性测量数据和uav位置与方向数据。(“姿态”是“位置”和“方向”的混成词。)
63.姿态估计单元318可以基于该惯性测量数据和位置与方向数据来确定该uav的位置和方向。在一些实施例中,该姿态估计单元318可以基于该uav的坐标系统(例如,北东下(ned)或北西上(nwu))来确定该uav的位置和方向(例如,俯仰角、翻滚角和偏航角)。姿态估计单元318可以将确定的该uav的位置和方向提供给运动滤波单元320。另外,云台控制单元310可以将关于该图像传感器的平移和/或倾斜的数据提供给运动滤波单元320。
64.该运动滤波单元320可以基于来自姿态估计单元318的位置与方向信息和来自云台控制单元310的平移和/或倾斜信息,来确定该uav的图像传感器(例如,传感器240、摄像机244等)的物理和/或虚拟姿态变化。在一些实施例中,该运动滤波单元320可以确定随着时间的该图像传感器的物理或虚拟姿态变化。在一些实施例中,运动滤波单元320可以基于第一图像和第二后续图像之间的一个或多个变化来确定该物理或虚拟姿态变化。在一些实施例中,运动滤波单元320可以在逐帧的基础上确定该图像传感器的物理或虚拟姿态变化。该运动滤波单元可以将确定的图像传感器的物理和/或虚拟姿态变化提供给逐行摄像机旋转计算单元322。
65.该逐行摄像机旋转计算单元322可以在逐行的基础上确定要对该图像信息执行的旋转。该逐行摄像机旋转计算单元322可以将关于所确定的旋转的信息提供给变换矩阵计算单元324。
66.该变换矩阵计算单元324可以确定处理图像中使用的变换矩阵。该变换矩阵计算单元324可以将该变换矩阵提供给滚动快门纠正和扭曲单元326。
67.该滚动快门纠正和扭曲单元326可以剪裁该图像信息,对由镜头304在该图像中造成的失真进行纠正,以及可以将该变换矩阵应用于该图像信息。该滚动快门纠正和扭曲单元326可以基于该剪裁、失真纠正和/或对变换矩阵的应用来提供纠正后图像328作为输出。在一些实施例中,该纠正后图像可以包括具有纠正后水平方向或水平旋转的图像。在一些实施例中,该纠正后图像可以包括稳定的视频输出。
68.图4根据各个实施例说明了uav(例如,图1和图2的102、200)的图像捕捉地点确定系统400。参考图1-4,该图像捕捉地点确定系统400可以实现在该uav的硬件组件和/或软件组件中,所述图像捕捉位置确定系统400的操作可以由该uav的一个或多个处理器(例如,处理器220和/或诸如此类)控制。系统400可以包括(但不限于)路线规划器402、推理引擎404、
比赛玩法规则单元406、里程表单元408和飞行控制器410。该路线规划器402、推理引擎404、里程表单元408和飞行控制器410的每一个可以从一个或多个传感器240接收和/或交换信息,以及可以使用来自该一个或多个传感器240的信息来执行一个或多个操作。如下文进一步描述的,在一些实施例中,该路线规划器402、推理引擎404、里程表单元408和飞行控制器410可以使用来自彼此的和来自一个或多个传感器240的信息来并行执行或操作,以执行一个或多个操作。
69.一般而言,系统400可以基于以下各项来将比赛情景特性化:该比赛的比赛玩法规则、比赛对象的地点和/或移动、一个或多个比赛选手的地点、该uav关于比赛区域边界和/或地标的地点。系统400可以基于该特性化的比赛情景来预测比赛动作。例如,系统400可以接收和/或确定关于选手、球、边界的地点和比赛玩法规则的信息,以及基于这样的信息,系统400可以预测下一个比赛动作。在一些实施例中,该预测可以包括对下一个比赛动作可能是什么的概率评估。在一些实施例中,该预测可以包括两个或更多个下一个比赛动作的概率。基于预测出的下一个比赛动作,系统400可以计算用于捕捉该比赛的图像的位置。在一些实施例中,系统400可以将针对该uav的运动路径提供给飞行控制器,该飞行控制器可以将uav朝向计算出的位置移动或移动到该计算出的位置。在一些实施例中,系统400可以选择用于向该计算出的位置移动或移动到该计算出的位置,以及用于捕捉比赛图像的第二uav。系统400可以基于变化的比赛条件来循环地或迭代地确定信息,以计算用于捕捉该比赛图像的下一个位置。
70.路线规划器402可以包括可以执行用于规划针对该uav在体积空间内的运动路线的计算的规划应用。例如,该路线规划器402可以包括对围绕该uav的空间的体积表示,比如“障碍物地图”或类似的表示。该体积表示可以包括对该体积空间中的物体、地标等等的指示。路线规划器402还可以包括基于该体积表示的该uav的运动规则。例如,该运动规则可以指示uav来避开物体和人而不是穿过他们,以预测物体和人在该体积空间内的运动以及规划该uav的运动以避开他们等等。在一些实施例中,路线规划器402可以基于触发条件(比如每当比赛的情景变化的时候)来确定针对该uav的运动路线。比赛情景可以基于比赛中的一个或多个事件来改变,比如当比赛对象遇到地标或边界时、当选手与比赛对象交互时、当比赛对象进入得分区域或穿过得分标志时,或者该比赛中的另一个类似事件。
71.路线规划器402可以向飞行控制器410提供关于该uav的规划的路线的信息(比如轨迹信息)。在一些实施例中,该飞行控制器410可以基于来自该路线规划器和推理引擎404的信息来确定。在一些实施例中,该飞行控制器可以包括组件和/或与组件相通信,所述组件比如导航单元222、陀螺仪/加速度计单元226和航空电子模块228。该飞行控制器410可以计算针对该uav的一个或多个飞行指令,以将该uav朝向计算出的位置移动或移动到计算出的位置,所述计算出的位置用于捕捉该比赛图像。
72.该路线规划器402可以从推理引擎404接收计算出的用于捕捉该比赛图像的位置。路线规划器402可以向该推理引擎404提供关于该运动路线的信息。在各个实施例中,该路线规划器402和推理引擎404可以迭代地交换信息以计算出用于捕捉该比赛图像的位置,和确定该uav的运动路线。该路线规划器402还可以向飞行控制器410提供关于该运动路线的信息(例如,轨迹信息)。
73.推理引擎404可以与路线规划器402并行地运行或执行。该推理引擎404可以确定
比赛对象、选手、边界、地标的地点和该比赛区域的其它方面。推理引擎404还可以从比赛玩法规则单元406接收比赛玩法规则。推理引擎404可以基于确定的和/或接收到的信息来将该比赛情景特性化。推理引擎404可以基于特性化的比赛情景来预测比赛动作。在一些实施例中,预测出的比赛动作可以包括对下一个比赛动作可能是什么的概率评估。在一些实施例中,该预测可以包括两个或更多个下一个比赛动作的概率。基于预测出的比赛动作,该推理引擎404可以计算用于捕捉该比赛图像的位置。在一些实施例中,计算出的位置可以包括用于捕捉该比赛的下一个图像的“最佳拍摄地点”。推理引擎404可以向路线规划器402提供计算出的用于捕捉该比赛图像的位置。
74.里程表单元408可以确定该uav在空间中的位置。在一些实施例中,该里程表单元408可以确定该uav相对于比赛区域的地点(例如,相对于该比赛区域的一个或多个地标和/或边界)。里程表单元408可以将这样的信息提供给路线规划器402。
75.在一些实施例中,飞行控制器410可以选择用于朝向计算出的位置移动或移动到计算出的位置,以及捕捉该比赛的图像的第二uav。例如,基于来自路线规划器402和推理引擎404的信息,飞行控制器410可以确定该uav可能无法在时间的门限时段内(例如,足以及时捕捉该比赛的下一图像)到达计算出的地点。响应于确定该uav无法在该时间的门限时段内到达该计算出的地点,飞行控制器可以选择第二uav来朝向计算出的位置移动或移动到计算出的位置,以及从那里捕捉比赛的图像。
76.系统400可以基于变化的比赛条件来循环或迭代地确定信息,以计算用于捕捉该比赛图像的下一个位置。
77.图5a-5d根据各个实施例说明了可以被辨识的以及uav(例如,图1-2的102、200)可以在其中捕捉比赛图像的比赛区域500、比赛区域520、比赛区域540和比赛区域560。参考图1-5d,比赛区域500、比赛区域520、比赛区域540和比赛区域560可以是类似于比赛区域120的。图5a说明了通用比赛区域500。图5b说明了足球比赛区域520。图5c说明了棒球比赛区域540。图5d说明了美式橄榄球比赛区域560。
78.参考图1-5d,比赛区域500可以包括地标502(例如,比赛区域标志,比如圆锥体或诸如此类)。在一些情况中,比赛区域500可以包括绘制出的边界504,比如场地上的线。在一些情况中,比赛区域500可以不包括清晰绘制出的边界504,而是该比赛区域500的边界可以由比赛区域标志502的地点来指示。一个或多个选手506可以围绕比赛区域500移动以及可以与比赛对象508交互。在一些实施例中,每个选手506可以佩戴或者以其它方式配备有设备510(例如,比如应答器、健身手环、智能手表或诸如此类),所述设备510可以广播每个选手的地点或利用每个选手的地点来响应询问信号。该uav 102可以检测比赛区域标志502和/或边界504的地点,以及可以(例如,经由设备510或诸如此类)确定选手506和比赛对象508的地点和运动。
79.足球比赛区域520可以包括边界522和比如中场线524、罚球区域边界526、球门禁区边界528和球门530的地标。uav(例如,uav 102)可以检测边界522和所述地标、比赛区域标志502和/或边界504的地点,以及可以确定选手和比赛对象相对于该边界522和地标524-530的地点和运动。
80.棒球比赛区域540可以包括比如一垒线542和三垒线544的边界,以及比如投球区546、一垒548、二垒550、三垒552、本垒板554和围墙556的地标。uav(例如,uav 120)可以检
测该边界和地标的地点,以及可以确定选手和比赛对象相对于该边界和地标的地点和运动。
81.橄榄球比赛区域560可以包括比如界外线562的边界,以及比如一个或多个码线标记564、球门区566和射门门柱568的地标。uav(例如,uav 102)可以检测该边界和地标的地点,以及可以确定选手和比赛对象相对于该边界和地标的地点和运动。
82.图6根据各个实施例说明了由uav 650(其可以类似于图1和图2中的uav 102、uav 200)来捕捉比赛图像的方法600。参考图1-6,方法600可以是由处理器(例如,处理器220和/或诸如此类)来实现的,该处理器可以控制或执行该图像捕捉地点确定系统400的一个或多个元件的操作。
83.在方块602中,该处理器可以初始化uav 650。例如,在对该uav 650进行启动或重置的情况下,该处理器可以执行初始化操作。在一些实施例中,该处理器可以在该初始化期间建立一个或多个无线通信链路。例如,该处理器可以与(但是不限于)以下各项建立无线通信链路:控制器652(例如,无线通信设备290)、比赛对象654(例如,比赛对象508)、一个或多个选手可穿戴设备656(例如,设备510)、通信网络658(例如,通信网络108)、一个或多个其它uav 660和/或诸如此类。
84.在一些实施例中,在块602中与一个或多个选手可穿戴设备656来建立该无线通信链路可以包括对每个选手进行识别,和/或对每个选手进行识别或向每个选手分配标识符。例如,每个选手可以被独立地识别。举另一个例子,可以将团队标识符分配给每个选手。
85.在一些实施例中,在块602中建立到通信网络658的无线通信链路可以包括建立或初始化从uav 655到通信网络658的实时视频流。例如,该实时视频流可以是使用网络可访问的流媒体或实时流服务。
86.在一些实施例中,在块602中与uav 660中的一个或多个uav建立无线通信链路可以包括配置该uav 650和一个或多个其它uav,以合作地操作来捕捉该比赛的图像。
87.在一些实施例中,在块602中的初始化过程期间,该uav 650可以接收用于提供关于要成像的比赛的信息的一个或多个输入,所述信息比如对运动或比赛玩法规则集合的选择、比赛持续时间、比赛技能水平和其它参数。
88.在块604中,该处理器可以考察比赛区域。例如,该处理器可以控制uav 102以捕捉比赛区域(例如,比赛区域500、比赛区域520、比赛区域540和比赛区域560)的一个或多个图像。在一些实施例中,考察该比赛区域可以包括调用该uav 102的处理器的进程或行为集合以触发考察模式或一个或多个预先编程的考察行为。在一些实施例中,该uav可以通过开始飞行以及捕捉比赛区域的图像,同时通过记录该uav的gps坐标和视角来确定边线、边界、球门等等的坐标,来考察该比赛区域。例如,该uav可以在使用摄像机图像检测边界和地标的同时,确定穿过比赛区域的飞行路线,以及在飞过边界和地标的同时记录该uav的gps坐标。在一些实施例中,该处理器可以将检测出的边界和地标与和所选择运动或比赛玩法规则相对应的比赛区域的特征关联起来。在一些实施例中,该处理器可以基于该处理器在考察期间检测到的边界和/或地标来确定一个或多个比赛玩法规则。在一些实施例中,该处理器可以基于在考察期间缺少(或未检测出)边界和/或地标中的一个或多个边界和/或地标来确定一个或多个比赛玩法规则。例如,如果该处理器没有检测到边界(例如,边界504)或得分标志,则该处理器可以相应地确定一个或多个比赛玩法规则。这样的场景的示例是当比赛
区域是在其它方面未标记的区域(比如开放场地)中使用用于指定得分区域的标柱来建立的时。在这样的情况中,该处理器可以使用,例如标柱之间的相对地点和距离来推断两个标柱之间的由虚拟线形成的边界和得分区域。
89.在块606中,该处理器可以执行一个或多个比赛操作。例如,如下文进一步描述的,该处理器可以确定比赛对象的地点、确定选手地点、将比赛情景特性化、预测比赛动作、计算用于捕捉该比赛图像的位置,以及计算该uav到计算出的位置的运动路线。
90.在块608中,该处理器可以执行用于节省能量或重新充电的操作。例如,该uav 650可以确定存储的功率电平(例如,供电模块230的功率电平)已经达到门限功率电平(例如,低功率门限)。在一些实施例中,响应于确定存储的功率电平达到该门限功率电平,uav 650可以导航到充电站以对机载电池进行重新充电。在一些实施例中,响应于确定存储的功率电平达到该门限功率电平,该处理器可以指令另一个uav 660来执行由该uav 650正在执行的一个或多个操作,以及因此该uav650可以与其它uav 660中的一个uav“交换”功能或操作。响应于确定存储的功率电平没有达到该门限功率电平(即,具有足够的存储能量),该处理器可以在块606中继续执行一个或多个比赛操作。
91.图7和图8根据各个实施例说明了由uav 850(其可以类似于图1、图2和图6中的uav 102、uav 200和uav 650)的捕捉比赛图像的方法700。参考图1-8,方法700可以由处理器(例如,处理器220和/或诸如此类)来实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在块602-608中,该设备处理器可以执行方法600的相似序号块的操作。
92.在块702中,处理器可以确定比赛玩法规则。在一些实施例中,该处理器可以接收从针对比赛的一个或多个规则集合之中选择的用户输入,所述比赛比如足球、棒球、橄榄球、篮球、网球、冰球或另一个通常进行的比赛。在这样的实施例中,基于接收到的输入,该处理器可以从存储器取回所选择比赛的规则集合。
93.在一些实施例中,该处理器可以基于该比赛区域的特征和尺寸来辨识比赛,所述特征或尺寸与存储的已知比赛区域的特征和尺寸相匹配或相对应,比如辨识足球场、棒球内场、橄榄球场地、篮球场等等。在这样的实施例中,该处理器可以从存储器取回辨识出的比赛的规则集合。在这样的实施例中,如下文进一步描述的,该处理器可以在执行块704和块706中的一个或多个块的操作之后执行块702的操作。
94.在一些实施例中,该处理器可以接收指示该处理器基于对比赛区域的考察来确定比赛玩法规则(例如,“自由比赛”或“开放比赛”模式选择)的用户输入。在这样的实施例中,如下文进一步描述的,该处理器可以在执行块704和块706中的一个或多个块的操作之后执行块702的操作。
95.块704-708提供可以在方法600的块604中执行的操作的示例。
96.在块704中,该处理器可以确定比赛区域的边界。例如,该处理器可以基于对该比赛区域的考察来确定比赛区域800的边界802。在一些实施例中,边界802可以是类似于边界504、边界522、边界542、边界544和/或边界562的。
97.在块706中,该处理器可以确定该比赛区域的一个或多个地标。例如,该处理器可以确定比赛区域800的地标804-818中的一个或多个地标。在一些实施例中,地标804-818可以是类似于地标502、地标524-530、地标542-556和/或地标564-568中的一个或多个地标
的。
98.在一些实施例中,该处理器可以基于该考察和比赛玩法规则来确定该边界或一个或多个地标。例如,虽然该比赛玩法规则可以指定选择的运动(例如,足球),但是该处理器可以基于所确定的边界或地标的地点(例如,实际的场地尺寸、球门的存在和/或地点等等)来适应或调整该比赛玩法规则。
99.在块708中,该处理器可以选择针对该uav的初始位置。该处理器可以基于比赛玩法规则和以下各项中的一项或多项来选择该初始位置:对该比赛区域的考察、该比赛区域的边界和该比赛区域的地标。例如,该处理器可以选择位置“a”作为初始位置。在一些实施例中,该处理器可以将该uav(例如,uav 850)移动到所选择的初始位置。
100.块710-726提供可以在块606中执行的操作的示例。
101.块710-726提供可以在块606中执行的操作的示例。
102.在块710中,该处理器可以确定比赛对象的地点。例如,该处理器可以确定比赛对象824(例如,足球)的地点。在一些实施例中,推理引擎(例如,推理引擎404)可以确定比赛对象824的地点。
103.在块712中,该处理器可以确定选手的地点。在一些实施例中,该推理引擎可以确定选手的地点。例如,该处理器可以确定选手820和选手822的地点。在一些实施例中,该处理器可以确定选手820和选手822中的每个选手的运动。在一些实施例中,该处理器可以确定选手820和选手822中的每个选手的身份。在一些实施例中,该处理器可以使用在对该比赛区域的考察期间或任何其它时间处检测到的信息,以确定选手820和选手822中的每个选手的团队联盟。在一些实施例中,该处理器可以基于选手820和选手822在该比赛区域内的位置来确定他们的团队联盟。例如,在足球中,该处理器可以基于每个选手在比赛开始时站在的中场线的哪侧来确定团队联盟。举另一个例子,在棒球中,该处理器可以基于每个选手站在的板凳席来确定团队联盟。在一些实施例中,该处理器可以检测比如团队联盟的队服颜色和/或设计或其它视觉指示符的信息,以及可以使用这样的信息来确定选手的团队联盟。在一些实施例中,该处理器可以基于由选手中的每个选手提供的信息(例如,来自由选手中的每个选手佩戴或持有的设备(例如,设备510))来确定选手820和选手822中的每个选手的身份,以及可以使用这样的信息来确定选手的团队联盟。
104.在块714中,该处理器可以将比赛情景特性化。在一些实施例中,推理引擎可以将该比赛情景特性化。该处理器可以基于比赛玩法规则和比赛对象824和选手820和选手822相对于边界802和地标804-818的地点和/或运动,来确定该比赛情景。在一些实施例中,该处理器可以基于uav 850关于边界802、地标804-818、比赛对象824和选手820和选手822中的一个或多个的地点来将该比赛情景特性化。在一些实施例中,该处理器可以基于选手820和选手822中的一个或多个选手与比赛对象824之间的交互和/或选手820和选手822相对于边界802和/或地标804-818的相对地点和/或运动,来将该比赛情景特性化。
105.在一些实施例中,该处理器可以基于该比赛中的其它观察到的动作来将比赛情景特性化。例如,该处理器可以检测裁判员、仲裁员或其它比赛评判员已经做出了处罚。例如,该处理器可以检测足球裁判员正在出示黄牌或红牌。举另一个例子,该处理器可以确定美式橄榄球裁判员已经抛出黄旗。举另一个例子,该处理器可以确定比赛已经停止以及两个或更多个裁判员、裁判或其它评判员正在进行商议(例如,在比赛停止时正在近距离地相互
谈论)。
106.在块716中,该处理器可以预测比赛动作。在一些实施例中,推理引擎可以预测比赛动作。在各个实施例中,该处理器可以基于特性化的比赛情景和比赛玩法规则来预测比赛动作。在一些实施例中,该处理器可以基于比赛玩法规则和比赛对象824相对于以下各项中的一项或多项的地点来预测比赛动作:选手820、选手822、边界802、比赛场地/球场线804、比赛场地/球场线806、比赛场地/球场线808、比赛场地/球场线812、比赛场地/球场线814和地标810、地标818。在一些实施例中,该预测可以包括对最有可能的下一个比赛动作的概率评估。例如,该处理器可以通过概率门限来确定一个比赛动作具有比其它比赛动作更大的概率。在一些实施例中,该预测可以包括对两个或更多个下一个比赛动作的概率评估。
107.例如,对于足球比赛,基于可应用的比赛玩法规则,如果比赛对象824越过比赛区域800的任意一侧上的边界线802,则该处理器可以确定该比赛对象成为死球以及比赛将暂时地停止。此外,基于哪个团队最后接触比赛对象824,该处理器可以确定另一个团队将从该比赛对象824越过边界线802的地点处将该比赛对象824掷入场内。但是,如果比赛对象824越过比赛场地800的任意一端上的边界线802,则基于哪个团队最后接触比赛对象824,该处理器可以确定该比赛对象824将从比赛区域804的角落或从地标806或地标812中的一个地标的角落被踢入比赛。类似地,该处理器可以确定如果比赛对象824进入地标810或地标818中的一个地标(例如,球门),则某些比赛动作将有可能发生,比如比赛的临时停止、由得分团队的一个或多个选手(和/或观众席上他们的球迷)进行的庆祝以及对由对方团队(和/或观众席上他们的球迷)进行的消极情绪的展示。此外,该处理器可以确定在这样的动作之后,比赛将在半场线804处继续。
108.举另一个美式橄榄球比赛的例子,该处理器可以基于特性化的比赛情景来应用相关比赛玩法规则以及预测比赛动作。例如,该处理器可以检测每个团队的各个选手列队并且面对对方,以及该处理器可以确定比赛动作即将开始。该处理器可以检测比赛对象(例如,橄榄球)在四分卫手中的运动。在四分卫将该比赛对象扔给球场下方的接球者时,该处理器可以跟踪比赛对象的运动。该处理器还可以确定接球者接到该比赛对象还是漏接该比赛对象。如果接球者接到比赛对象,则该处理器还可以确定该接球者的运动,比如该接球者是否跑出边界、是否在场地上被擒抱或者是否跑入达阵区。该处理器还可以基于那些条件中的一个或多个条件来确定下一回合比赛。例如,如果接球者漏接比赛对象,则该处理器可以确定下一个比赛动作将会发生在两队用于上一回合的列队处。举另一个例子,如果接球者接到该比赛对象,则该处理器可以监测比赛动作以确定接球者是否跑出边界、被擒抱或得分。基于监测到的比赛动作,该处理器可以确定下一回合比赛。例如,如果接球者得分,则该处理器可以确定下一个比赛动作将会是由达阵区中一个或多个选手(和/或观众席上他们的球迷)进行的庆祝。举另一个例子,如果接球者被擒抱或跑出边界,则该处理器可以确定下一个比赛动作将发生在比赛场地上的地点,所述地点是由该擒抱的地点或该接球者跑出边界的地方所确定的。
109.在可选块717中,处理器可以采取用于节省电量或对电池重新充电的动作。例如,该处理器可以监测uav的存储功率电平,将该水平与应该采取动作的门限电平比较,以及响应于存储功率电平达到该门限电平或落到该门限电平以下,采取用于节省电量或对电池重
新充电的动作。在一些实施例中,用于节省电量的动作可以包括临时降落(例如,在比赛之间或在暂停时间期间)。在一些实施例中,对电池重新充电的动作可以包括飞到充电站或飞到用于电池更换的操作方。在一些实施例中,在比赛情景已经改变时该处理器可以检查存储功率电平。
110.在一些实施例中,该处理器可以基于预测出的比赛动作来采取用于节省电量或重新充电的动作。例如,如果在足球比赛中进球得分,则比赛在运动员庆祝时临时暂停以及比赛移动到中场。该处理器可以确定该临时停止的可能持续时间。基于该临时停止的可能持续时间,如果时间足够则该处理器可以调遣该uav以对其电量存储进行重新充电,或者如果可能的停止持续时间不足以允许该uav来对其存储电量进行重新充电,则调遣该uav以临时降落在附近地点以节省电量。在一些实施例中,在无人机正在节省电量或重新充电时,该处理器可以生成精彩视频(如下文进一步描述的),以及因此即使在临时降落时也可以生成视频流或实时流。
111.在块718中,该处理器可以计算用于捕捉该比赛图像的位置。在一些实施例中,推理引擎可以计算用于捕捉该比赛图像的位置。该位置可以包括用于捕捉该比赛视频的摄像机角度。该处理器可以基于预测的比赛动作来计算该位置。例如,基于比赛情景,该处理器可以确定最有可能的下一个比赛动作是选手822将沿着路线826踢出比赛对象824。基于对比赛对象824将会被沿着路线826踢出的预测,该处理器可以计算用于捕捉该比赛图像的位置“b”。该处理器可以使用该比赛玩法规则和特性化的比赛情景来计算用于捕捉该比赛图像的位置。在一些实施例中,该处理器可以使用该比赛玩法规则和以下各项中的一项或项来计算用于捕捉该比赛图像的位置:比赛对象824相对于选手820和选手822中的一个或多个选手、边界802和地标804-818的位置。
112.在预测出的比赛动作包括两个或更多个可能的下一个比赛动作的情况下,该处理器可以使用该两个或更多个可能的下一个比赛动作来确定用于捕捉该比赛图像的位置。例如,该处理器可以确定比赛对象824可能沿着路线826或路线828移动,其各自的概率处在对方的门限概率之内。然后,该处理器可以计算路线824和路线826之间的用于捕捉比赛图像的位置“c”。
113.在块720中,处理器可以计算uav的运动路线。在一些实施例中,路线规划器(例如,路线规划器402)可以计算该运动路线。在一些实施例中,该处理器可以确定从该uav(例如,uav 850)的当前地点到计算出的用于捕捉该比赛图像的位置的运动路线。所计算出的运动路线可以包括运动速度。在一些实施例中,该处理器可以使用以下各项中的一项或多项来计算该运动路线:比赛对象824以及选手820和选手822中的一个或多个选手的地点和/或运动。
114.在块722中,处理器可以将该uav移动到计算出的位置。在一些实施例中,该处理器可以将计算出的该uav的运动路线提供给飞行控制器(例如,飞行控制器410),以及该飞行控制器可以控制该uav的到所计算出的位置的飞行操作。
115.在块724中,该处理器可以捕捉比赛图像(或视频)。在一些实施例中,该处理器可以从计算出的位置,或者从尽可能靠近该计算出的位置来捕捉该比赛图像。
116.在确定块726中,该处理器可以确定比赛情景是否已经改变。在一些实施例中,推理引擎可以确定该比赛情景是否已经改变。例如,该处理器可以基于以下各项中的一项或
多项来确定该比赛情景是否已经改变:比赛动作、以及比赛对象824、选手820和选手822、边界802和/或地标824-818的位置和/或相对位置(即,相互对比)。
117.响应于确定比赛情景已经改变(即,确定块726=“是”),该处理器可以再次在块710中确定比赛对象的地点。
118.块728和块730提供可以在方法600的块608中执行的操作的示例。
119.响应于确定该比赛情景还没有改变(即,确定块726=“否”),该处理器可以在确定块728中确定存储的功率电平是否达到功率电平门限(“th”)。
120.响应于确定存储的功率电平没有达到功率电平门限(即,确定块728=“否”),该处理器可以再次在块724中捕捉比赛图像。
121.响应于确定存储的功率电平达到功率电平门限(即,确定块728=“是”),该处理器可以在块730中采取用于节省电量或重新充电的动作。例如,该处理器可以临时降落该uav以减少电量需求和/或使另一个uav来接管对比赛进行成像。在一些实施例中,该处理器可以将该uav导航到充电站以对该uav的电量存储(例如,电池)重新充电。
122.图9根据各个实施例说明了由uav(图1、图2、图6和图8中的102、200、650、850)进行的捕捉比赛图像的方法900。参考图1-9,方法900可以由处理器(例如,处理器220和/或诸如此类)来实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。如描述的,在块702-730中,该设备处理器可以执行方法700的相似序号块的操作。
123.在确定块902中,该处理器可以确定是否有用于该uav来到达所计算出的位置的足够的时间。
124.响应于确定有用于该uav到达所计算出的位置的足够时间(即,确定块902=“是”),该处理器可以在块722中将该uav移动到所计算出的位置。
125.响应于确定没有用于该uav到达所计算出的位置的足够时间(即,确定块902=“否”),该处理器可以在块904中选择第二uav来朝向计算出的位置移动或移动到计算出的位置。例如,该uav850(在图8中)可以确定没有用于从位置“a”移动到位置“b”的足够时间,以及同样地可以请求第二uav 860来朝向位置“b”移动或移动到位置“b”。在一些实施例中,该处理器可以基于,例如到所计算出的位置的接近度来从多个uav之中选择第二uav 860。
126.在一些实施例中,在执行确定块902的操作中,替代或除了用于到达所计算出的位置的时间之外,该处理器可以使用一个或多个其它条件。例如,该处理器可以确定该uav的当前位置和计算出的位置之间的距离是否大于门限距离。响应于确定所计算出的位置小于门限距离,该处理器可以在块722中将该uav移动到计算出的位置。响应于确定所计算出的位置大于门限距离,该处理器可以在块904中选择第二uav来朝向所计算出的位置移动或移动到所计算出的位置。
127.举另一个例子,该处理器可以确定用于该uav行进到所计算出的位置所要求的存储电量(例如,电池电量)的量是否超过门限。响应于确定所要求的存储电量的量小于门限,该处理器可以在块722中将该uav移动到计算出的位置。响应于确定所需要的存储电量的量大于门限,该处理器可以在块904中选择第二uav来朝向所计算出的位置移动或移动到所计算出的位置。
128.举另一个例子,该处理器可以确定存储电量的量是否在门限之下。响应于确定存储电量的量在门限之上,该处理器可以在块722中将该uav移动到计算出的位置。响应于确
定存储电量的量在门限之下,该处理器可以在块904中选择第二uav来朝向所计算出的位置移动或移动到所计算出的位置。在一些实施例中,响应于确定存储电量的量在该门限之下,该uav还可以采取用于节省电量或重新充电的动作(例如,如上文关于块730的操作所描述的)。
129.图10根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8中的102、200、650、850)考察比赛区域的方法1000的单元。参考图1-10,方法1000可以由处理器(例如,处理器220和/或诸如此类)实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1000包括可以作为方法600的块604的一部分来执行的一个或多个操作。
130.方法1000可以包括用于考察该比赛区域的多个过程。飞行控制过程1002可以稳定该uav,以及可以根据计算出的运动路线来导航该uav。位置检测过程1004可以例如使用来自定位系统(比如,全球定位系统(gps)1050)的信息来检测该uav的位置。
131.可视化惯性里程表(vio)过程1008可以基于来自一个或多个传感器1055(例如,陀螺仪、加速度计、气压计、磁力计等等)和/或来自摄像机1060(例如,图像传感器)的信息来计算该uav的当前位置。vio过程1006可以在六个自由度中计算该uav的当前位置。例如,vio过程1055利用比如来自加速度计或陀螺仪的信息的惯性信息,来提供比如光学流或特征跟踪信息的视觉信息。该vio过程1055还可以将距离与地面信息(比如超声波范围测量,或3-d深度或视差数据)组合起来。在一些实施例中,该vio过程1055可以计算比基于gps的位置确定过程更精确和/或更频繁更新的位置。
132.特征检测过程1008可以利用来自摄像机或3-d摄像机(例如,在该uav是如此配备的实施例中,立体摄像机、结构光摄像机或飞行时间摄像机)的信息来计算3-d深度或视差数据。特征检测过程1008可以确定比赛区域的边界和/或地标,包括线、标柱、球门柱、球网、篮圈和其它类似的地标。特征检测过程1008还可以检测该比赛区域中的选手。在一些实施例中,该特征检测过程1008可以使用用于对潜在特征进行分割的分割过程,以及使用用于对每个潜在特征进行分类的特征分类过程。在一些实施例中,该特征分类过程可以使用深度学习神经网络,所述深度学习神经网络可以在各种比赛区域中找到的公共特征的航拍成像上进行离线训练。
133.映射过程1010可以从算法上将3-d深度或视差数据投影到3-d地图中。在一些实施例中,该投影可以使用可以由vio过程1006确定的6个自由度信息(即,x、y、z、俯仰角、翻滚角和偏航角)。在一些实施例中,该3-d地图可以表示障碍物以及地面海拔的变化。映射过程1010还可以使用该六个自由度信息以及由2-d图像数据的投射线所交叉的被映射3-d位置,来将该2-d图像数据映射到该3-d地图中。映射过程1010还可以使用该6个自由度信息和由2-d特征的投射线所交叉的被映射3-d位置,来将检测到的和分类后的特征投射到该3-d地图中。在一些实施例中,例如,在不包括3-d摄像机的uav中,该映射过程1010可以将2-d图像数据或检测出的与分类后的特征投射到地图的地平面上。在一些实施例中,该映射过程1010可以将2-d图像数据拼接到地图中,据此该地图是图像。
134.路线规划过程1012可以生成初始飞行规划,以及可以随着检测到的特征和障碍物来重新生成飞行规划。例如,该uav可以从靠近比赛区域的一个侧边线的地点启动。该路线规划过程1012可以生成遵循扩展螺旋的初始飞行路线。该uav可以检测比如看台、树等等的
障碍物,以及该路线规划过程1012可以重新生成用于避开那些检测出的障碍物的飞行路线,以及扩展要在其它方向上考察的区域。举另一个例子,该uav可以检测球门柱,以及可以重新生成要发送的到相对于所检测出的球门柱的螺旋图案的飞行路线。
135.比赛区域定义过程1014可以基于该比赛区域的边界和/或地标在该地图内的相对位置,以及地面海拔的障碍物和变化,来生成对该比赛区域的定义。例如,在运动场中,比赛区域定义过程1014可以将检测出的特征(比如球门柱中的线)与该uav的存储器中存储的比赛区域模型进行比较,以及可以基于所检测到的特征来定义球门、边线和其它地标的位置。举另一个例子,在公园中的足球场上,比赛区域定义过程1014可以基于与存储器中存储的足球场地模型的比较,来分别将检测到的球门柱和标柱定义为该比赛区域的球门和角球点。举另一个例子,在后院内,比赛区域定义过程1014可以将检测到的成对的标柱定义为球门柱。在该示例中,对比赛区域的定义可以是不完整的,因为该定义可能不包括该比赛区域的已定义的角点、边线或其它地标。举另一个例子,该uav可以辨识所捕捉到的图像中依附在车库的篮球网,以及该比赛区域定义过程1014可以利用该比赛区域的边界来定义地面外表(例如,车道的边缘)中检测出的改变。
136.比赛玩法规则定义过程1016可以生成比赛玩法规则。在一些实施例中,该比赛玩法规则可以包括比赛玩法规则的超集。在一些实施例中,所生成的比赛玩法规则可以是基于以下各项的:所定义的比赛区域、被考察的比赛区域最好地匹配的比赛区域模型、比赛对象的类型(例如,智能球)或该uav已经与其建立无线通信的其它运动装置、选手数量(例如,如可以是该uav可以视觉地检测的,或基于来自与一个或多个选手相关联的可穿戴设备的信息)、地标、和地图中识别出的海拔的变化、以及对比赛区域的分类。在一些实施例中,比赛玩法规则的超集可以包括针对所有运动的所有可能的规则。在一些实施例中,比赛玩法规则的集合可以包括针对运动的最有可能的规则,以及该处理器可以基于该uav可以从以下各项导出的推论来选择这样的规则:该比赛区域、该比赛区域的地点(例如,乡村、运动场、后院、公园、车道等等)、来自比赛对象的信息和/或来自选手的信息或关于选手的信息(例如,选手数量、由选手可穿戴设备提供的信息等等)。在一些实施例中,该uav可以基于所定义的比赛区域、地点、选手数量和其它参数来定制该比赛玩法规则。
137.在一些实施例中,比赛规则定义过程1016可以基于检测到的或未检测到的该比赛区域的特征,来修改或调整该比赛玩法规则。例如,在公园中的足球场地处,所生成的比赛区域定义可以不包括与球门区相关联的任意检测出的特征,以及比赛规则定义过程1016可以从有关比赛玩法规则中排除与球门区相关联的任何规则。举另一个例子,在后院,虽然所生成的比赛区域定义可以不包括与比赛区域的角落或边线相关联的任何检测出的特征(例如,边界),但是比赛规则定义过程1016还是可以基于障碍物、海拔变化和该地图中识别出的其它特征来生成“出界”规则。举另一个例子,对于依附在车库的篮球网,比赛规则定义过程1016可以基于对仅有单个篮筐的检测来生成针对半场篮球的比赛玩法规则。
138.在一些实施例中,比赛规则定义过程1016可以基于对该比赛区域地点的分类(例如,运动场、公园、街道、游泳池等等)来修改或调整比赛玩法规则。例如,该uav可以将地点分类为运动场,以及该比赛规则定义过程1016可以推断选手将根据相关运动或所选择运动的完整和适当的规则来比赛。举另一个例子,该uav可以将地点分类为公园,以及该比赛规则定义过程1016可以将相关比赛玩法规则修改或调整为更随意的,比如通过从比赛规则超
集选择更基础的或减少的规则集合。举另一个例子,该uav可以将该比赛区域分类为街道,以及该比赛规则定义过程1016可以修改或调整该比赛玩法规则以对该比赛区域中正在移动的汽车或其它交通工具的概率作出解释。
139.在一些实施例中,比赛规则定义过程1016可以基于在该比赛区域中检测到的选手数量来修改或调整比赛玩法规则。例如,该uav可以确定该比赛是英式橄榄球(例如,基于来自智能英式橄榄球的信息),以及该uav可以检测到14个选手而不是30个选手。该比赛规则定义过程1016可以修改英式橄榄球规则的超集以选择可以应用于,例如七人制英式橄榄球的规则子集。相反,该uav可以检测到30个选手,以及针对被识别为英式橄榄球的比赛,该uav可以应用可用比赛规则的更完整的集合,比如可应用于英式橄榄球联盟的比赛规则。
140.在一些实施例中,该uav可以向用户请求对比赛区域定义和比赛规则定义的确认。在一些实施例中,该uav可以发送地图和/或提供例如要在控制器上显示的该地图的视觉表示。在一些实施例中,该视觉表示可以包括拼接图像或被投射到地图上的2-d图像数据。在一些实施例中,该比赛区域定义可以被逼真地叠加到该地图上。例如,该地图可以包括比如用红色高亮显示的树木以指示该树木在该比赛玩法规则中被定义为界外的特征。在一些实施例中,该uav可以提供比赛玩法规则的高度总结(例如,以文本或图形的形式)。例如,该uav可以显示比赛规则定义过程1016可以选择的运动名称或图标(例如,比赛对象的图片)。在一些实施例中,该uav可以为用户提供用于接受对该比赛区域和/或规则的定义和/或用于编辑它们的一个或多个选项。在一些实施例中,编辑过程可以使该uav的处理器和/或控制器来接收用于改变对比赛区域边界、地标或其它特征的定义的输入。
141.图11根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现从比赛装备向uav(例如,图1、图2、图6和图8的102、200、650、850)提供信息的方法1100的单元。参考图1-11,方法1100可以由比赛对象(例如,比赛对象508、比赛对象824)的处理器和/或由选手佩戴的可穿戴设备(例如,设备510)的处理器来实现。
142.该方法1100可以包括用于从该比赛装备提供信息的多个过程。处理器可以基于,例如来自传感器1055(例如,陀螺仪、加速度计、气压计、磁力计等等)中的一个或多个传感器的信息来取得一个或多个抽样测量1106。
143.动作检测过程1108可以基于该抽样测量来检测一个或多个动作。例如,运行在智能球或其它比赛对象中的动作检测过程1108可以检测球被踢走、篮球被运球等等。举另一个例子,运行在选手可穿戴设备中的动作检测过程1108可以检测其它选手动作(例如,迈步、踢、扔、运球等等)。动作检测过程1108可以包括分割过程1110和分类过程1112。分割过程1110可以对可能的重复运动进行分割。在一些实施例中,分割过程可以执行自相关算法。分类过程1112可以将检测到的运动分类为某些动作。在一些实施例中,分类过程1112可以执行l2线性支持向量机(svm)算法。
144.在一些实施例中,位置检测过程1114可以检测比赛装备的位置。在一些实施例中,该位置检测过程可以使用来自定位系统1050(例如,gps系统和室内定位系统等等)的信息来检测该比赛装备的位置。
145.发送过程1116可以将检测出的该比赛装备的动作和/或位置经由无线电单元1118来发送给uav。
146.图12根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现执行uav
(例如,图1、图2、图6和图8的102、200、650、850)的比赛操作的方法1200的单元。参考图1-12,方法1200可以由处理器(例如,处理器220和/或诸如此类)来实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1200包括可以作为方法600的块606的一部分来执行的一个或多个操作。
147.方法1200可以包括用于执行uav的比赛操作的多个过程。在块1004-1055中,该处理器可以使用方法1000的相似序号块的组件以及执行方法1000的相似序号块的操作。
148.如果该uav配备有3d摄像机(例如,立体摄像机、结构光摄像机或飞行时间摄像机),则深度过程1204可以使用来自该3d摄像机的信息来计算3d深度或视差数据。
149.接收数据过程1206可以经由无线电单元1208来从比赛对象或其它运动装备,从选手可穿戴设备或从一个或多个其它uav来接收数据。
150.图13根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8的102、200、650、850)确定比赛装备(例如,比赛对象或其它运动装备)的位置的方法1300的单元。参考图1-13,方法1300可以由处理器(例如,处理器220和/或诸如此类)来实现,该处理器可以控制或执行该图像捕捉地点确定系统400的一个或多个元件的操作。在一些实施例中,方法1300包括可以作为方法600的块606的一部分来执行的一个或多个操作。
151.在一些实施例中,接收数据过程1206可以从比赛对象、选手可穿戴设备和其它运动装置(为了简洁下文中统称为“运动装置”)接收数据。位置跟踪过程1312可以将接收到的关于该比赛对象、选手可穿戴设备和其它运动装置的位置的数据与该uav在对比赛区域的定义中的位置进行比较,以确定该运动装置相对于该uav和/或相对于该比赛区域(例如,边界和/或地标)的地点。该位置跟踪过程1312可以预测针对该运动装置的地点和/或搜索范围1314。该搜索范围可以包括由处理器针对选手和运动装置进行搜索的区域上的限制。多个视觉上相似的运动装置(例如,多于一个球)可能出现在该摄像机图像中。例如,实际上可能已经使用的以及可以处于比赛区域边界之外的第二个足球。在一些实施例中,该处理器可以施加搜索范围,比如在比赛场地边界(例如,边界504、边界522、边界542、边界544和边界562)之内。该搜索范围还可以包括更窄的搜索区域,例如在下文进一步描述的比赛区域内。该搜索范围可以使由视觉检测过程能够处理较小的图像区域,因此减少第一映射过程1316和/或视觉检测过程1318的计算和中央处理单元(cpu)负载。
152.第一映射过程1316可以将确定的地点和搜索范围映射到图像。在一些实施例中,该第一映射过程1316可以使用预测出的地点和/或搜索范围以及来自位置检测过程1004和vio过程1006的信息,来将所述确定的地点和搜索范围映射到该图像。在一些实施例中,该搜索范围可以包括包围体。在一些实施例中,该第一映射过程1316可以使用该搜索范围来生成可以包括该运动装置的地点的概率的概率图。在一些实施例中,该第一映射过程1316可以使用来自摄像机1060的信息,该信息可以包括摄像机内在参数和外在参数,比如镜头失真和相对于该uav的摄像机对齐。
153.在一些实施例中,该uav可以不从比赛对象、可穿戴设备或其它运动装置来接收信息(例如,遥测),以及可以使用视觉惯性跟踪过程。在视觉惯性跟踪过程中,该处理器可以使用从该运动装置接收到的惯性数据来预测该运动装置的地点和搜索范围。例如,来自该运动装置的惯性数据可以指示该运动装置可以沿着轨迹继续进行。在一些实施例中,第一
映射过程1316可以执行扩展卡尔曼滤波(ekf)。
154.视觉检测过程1318可以基于,例如学习到的该运动装置的视觉外观模型1320来检测该运动装置在该搜索范围内的地点。在一些实施例中,该视觉检测过程可以执行一个或多个视觉跟踪算法以及可以将其结果聚合。在一些实施例中,所述视觉跟踪算法可以包括支持向量机(svm)算法、lucas
–
kanade(lk)算法或另一个算法。视觉检测处理1318还可以通过搜索范围概率图来对任何搜索结果进行加权。
155.在一些实施例中,该处理器可以将视觉检测过程1318限制在该搜索范围。例如,该运动装置可能在摄像机图像中显示为非常小,或者可能在该摄像机图像中正在快速移动和可能模糊地呈现。因此,在那些条件下,视觉检测过程1318可能对该运动装置的位置具有较低的置信度。举另一个例子,该搜索范围可以使该视觉检测过程1318能够跟踪比赛用球同时忽略搜索范围之外的第二个球。
156.在一些实施例中,该处理器可以沿着该运动装置的已确定轨迹来确定或调整该搜索范围,以增加对该运动装置的检测的置信度。在一些实施例中,该处理器可以基于该运动装置的轨迹中的改变来确定或调整该搜索范围。例如,该运动装置惯性数据或被检测出的动作可以指示该运动装置已经改变了轨迹(例如,已经被踢出、扔出等等)。在这样的情况中,该运动装置轨迹中有更大的不确定性,以及该处理器可以扩展搜索范围。在一些实施例中,该处理器可以通过使用来自搜索范围概率图的信息来调整(例如,增大或减小)该搜索范围。通过基于该运动装置的轨迹或轨迹中的改变来调整搜索范围,或者通过使用来自该搜索范围概率图的信息来调整搜索范围,该处理器可以增加视觉检测过程1318的准确度同时减少执行该过程所要求的处理资源。
157.在一些实施例中,已学习的视觉外观模型1312可以基于该运动装置的外观中的一个或多个改变来生成和调整已学习的外观模型。在一些实施例中,该已学习的视觉外观模型1312可以采用一个或多个视觉学习算法,比如支持向量机(svm)和归一化互相关(ncc)。
158.第二映射过程1322可以将检测出的该运动装置在一个图像内的地点映射到相对于该uav和/或相对于该比赛区域的边界和/或地标的位置。
159.图14根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8的102、200、650、850)确定比赛选手位置的方法1400的单元。参考图1-14,方法1400可以由处理器(例如,处理器220和/或诸如此类)实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1400包括可以作为方法600的块606的一部分来执行的一个或多个操作。
160.选手位置跟踪过程1402可以经由接收数据过程1206来从,例如比赛区域中的一个或多个选手的可穿戴设备来接收选手位置信息。在一些实施例中,每个选手可以穿戴执行位置检测过程的可穿戴设备。在一些实施例中,每个选手可以穿戴可穿戴设备,所述可穿戴设备发送使该uav能够确定每个选手可穿戴设备的地点的信息。在一些实施例中,该选手位置跟踪过程1402可以将每个可穿戴设备的位置、该uav的位置和该比赛区域的边界和/或地标进行比较,以确定每个可穿戴设备在该比赛区域中的地点。
161.在一个或多个选手可穿戴设备不包括位置检测过程的一些实施例中,该选手位置跟踪过程1402可以使用视觉惯性跟踪过程。例如,选手发现过程1412可以检测可能在该uav的摄像机之外或者先前没有被该摄像机检测到的选手。该选手发现过程1412可以使用分割
过程以对潜在选手进行分割,以及使用选手分类过程来将一个分割部分分类为选手。预测过程1414可以预测先前发现的选手的图像地点和搜索范围,以及可以将选手的先前轨迹和光学流向量聚合。
162.视觉检测过程1416可以从摄像机1060接收信息以及可以基于,例如选手已学习的外观模型1418来检测位于预测的图像搜索范围内的选手。视觉地检测选手可以包括执行一个或多个视觉跟踪算法,以及潜在地聚合所述一个或多个视觉跟踪算法的结果。在一些实施例中,视觉跟踪算法可以包括支持向量机(svm)算法、lucas
–
kanade(lk)算法或另一个算法。该视觉检测过程1416还可以包括通过搜索范围概率图来对结果进行加权。
163.映射过程1420可以,例如使用来自位置检测过程1004和vio过程1006的信息,来将发现的和/或检测到的选手在图像中的地点映射到相对于该uav和/或相对于该比赛区域(例如,边界和/或地标)的位置。
164.图15根据各个实施例说明了由uav(例如,图1、图2、图6和图8的102、200、650、850)来确定更新对比赛区域和/或比赛玩法规则的定义的方法1500。参考图1-15,方法1500可以由处理器(例如,处理器220和/或诸如此类)来实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1500包括可以作为方法600的块606的一部分来执行的一个或多个操作。在块1004、块1006、块1008和块1204中,该处理器可以使用方法1000和方法1200的相似序号块的组件和执行相似序号块的操作。
165.地图更新过程1504可以使用来自以下各项中的一项或多项的信息:位置检测过程1004、vio过程1006、特征检测过程1008和深度检测过程1204。该地图更新过程1504可以更新该比赛区域的一个或多个检测出的特征(例如,边界、地标、比赛对象、选手等等)的投影位置。该地图更新过程1504还可以确定检测出的特征是否已经在位置上移动,所述移动可能触发比赛场地定义更新过程1506和比赛规则定义更新过程1508中的一个或多个过程。
166.该比赛场地定义更新过程1506可以修正对比赛区域的定义。例如,如果该uav确定标柱被(例如,被选手)移动,以及该比赛区域的当前定义将该标柱定义为该比赛区域的角落,则比赛场地定义更新过程1506可以根据新检测到的该标柱的地点来更新对该比赛区域的定义。
167.比赛规则定义更新过程1508可以基于该比赛区域的特征中的一个或多个检测出的改变来修正一个或多个比赛玩法规则。例如,在考察过程期间(例如,方法600的块604),该处理器可能已经检测到没有与球门相关联的地标,以及因此可能已经生成针对休闲比赛的比赛规则。稍后在比赛期间,选手可以向该比赛场地添加一个或多个地标(例如,标柱),比如用于标记球门。比赛场地定义更新过程1506可以将那些新的地标辨识为划定球门(例如,基于该标柱之间的相对地点和距离)。此外,响应于定义更新过程1506将新的地标辨识为划定球门,比赛规则定义更新过程1508可以添加关于得分的规则。
168.图16根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8的102、200、650、850)确定比赛事件和比赛情景的方法1600的单元。参考图1-16,方法1600可以由处理器(例如,处理器220和/或诸如此类)实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1600包括可以作为方法600的块606的一部分来执行的一个或多个操作。
169.比赛事件和比赛情景确定过程1602可以使用由上文描述的方法1300、方法1400和
方法1500生成的信息。
170.比赛特性化特征生成过程1604可以基于以下各项来确定一个或多个比赛特性:例如比赛对象或其它运动装置的位置动作、选手的位置和动作、先前的比赛状态和事件、和/或当前比赛状态和事件。例如,在检测到对智能球的踢出动作的情况下,可以生成包括到球门距离、到球门的球轨迹方向、到每个选手的拦截距离等等的比赛特征。比赛特征的示例可以包括,例如每个选手在比赛场地定义内的相对位置、一局比赛中剩余的时间和可以包括时间、计数、距离、运动装置和/或选手的方向等等的其它值。各种比赛特性可以具有布尔值、标量值或向量值。
171.比赛规则选择过程1606可以确定规则是否应用于当前比赛情景和/或事件。比赛规则选择过程1606可以选择比赛规则集合中的最有可能规则,和/或比赛规则超集中的多个替代比赛规则,该替代比赛规则具有更小的概率,或者属于比赛规则超集但可能不属于该比赛规则集合。在一些实施例中,比赛规则选择过程1604可以使用分类算法。例如,分类算法可以包括回归分类算法(例如,线性回归或逻辑回归),由此每个比赛特性化特征形成了说明变量。举另一个例子,分类算法可以包括随机森林。举另一个例子,分类算法可以包括神经网络,由此每个比赛特性化特征形成了输入变量。分类算法可以是基于使用潜在比赛规则的超集的示例(合成的数据或抽样的数据)来训练的。
172.比赛规则应用过程1608可以将比赛规则应用于比赛情景和/或比赛事件。该比赛规则应用过程1608可以维护针对所选择的和/或替代的比赛规则集合的比赛状态集合。比赛状态可以包括,例如活球期、占有半场、罚点球、得分等等。比赛状态还可以包括对选手的标识,例如具有位置的选手、防守选手、守门员、潜在接球手等等。比赛事件可以包括,例如得分、犯规等等。比赛状态和比赛事件可以包括时间戳或时间范围,以及可以维护先前比赛状态和当前比赛状态与比赛事件的列表。
173.比赛规则重新选择过程1610可以回溯地应用替代比赛规则。例如,该比赛规则重新选择过程1610可以将比赛特性化特征与针对比赛状态集合中的每个比赛状态的预期比赛特性化特征进行比较。如果该比赛特性化特征更接近地与替代比赛状态的预期比赛特性化特征相对应,则该对应的替代比赛规则和替代比赛状态可以被提升为选择的比赛规则和比赛状态,以及原始选择的比赛规则和原始选择的比赛状态可以被降级为替代比赛规则和替代比赛状态(或者,替代地,简单地被丢弃)。因此,如果选手的动作更好地对应替代比赛规则或状态,则比赛规则重新选择过程1608可以选择该替代比赛规则和状态。
174.比赛规则更新过程1612可以移除、生成或编辑比赛玩法规则。例如,该比赛规则更新过程1612可以从该比赛玩法规则集合移除与被比赛规则重新选择过程降级(或丢弃)的比赛状态相关联的某些比赛玩法规则。例如,如果选手选择或决定不遵守越位规则,则在该uav可以(例如经由控制器)接收适当的输入,以及该比赛规则更新过程1612可以从可用的比赛玩法规则集合中移除越位比赛规则。举另一个例子,比赛规则更新过程1612可以将与该比赛规则重新选择过程1610提升的比赛状态相关联的某些规则提升到可用的比赛玩法规则集合中。例如,在美式橄榄球比赛中,如果选手被观察到在非常靠近对方选手时停住,则比赛规则更新过程1612可以将可用的比赛玩法规则更新到反映触身式橄榄球规则(而不是擒抱式橄榄球规则)。在一些实施例中,比赛规则更新过程1612可以包括用于基于观察到的特性特征来生成新的规则的学习算法。任何比赛规则更新,包括生成的新规则,可以被保
存到本地存储器以用于包含到未来比赛的比赛规则集合中。
175.图17根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8的102、200、650、850)进行的图像捕捉过程的方法1700的单元。参考图1-17,方法1700可以由处理器(例如,处理器220和/或诸如此类)实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1700包括可以作为方法600的块606的一部分来执行的一个或多个操作。
176.图像捕捉过程1702可以使用由上文描述的位置检测过程1004、vio过程1006,以及方法1300、方法1400、方法1500和方法1600生成的信息。
177.视野控制过程1704可以基于以下各项中的一项或多项来控制摄像机和/或uav位置:比赛情景、比赛事件、比赛对象或其它运动装置的位置和/或动作、比赛选手的位置和/或动作、比赛区域定义和一个或多个比赛玩法规则。在一些实施例中,视野控制过程1704可以生成第一视场和第二视场,其中,该第二视场是包含在第一视场内的。在一些实施例中,该第一视场可以是与机械摄像机万向节的范围或由数字万向节系统所使用的鱼眼镜头的视场相关联的。在一些实施例中,第二视场可以基于该第一视场内的(可以是真实的或合成的)平移、倾斜和/或变焦位置中的一者或多者。例如,该第二视场可以包括智能球或其它运动装置的位置,该第二视场还可以包括比如占有该智能球或其它运动装置的选手的身份的比赛信息。在一些实施例中,第一视场可以包括如在比赛情景中识别出的潜在接球选手,球门的位置被定义在比赛区域定义中或其它类似的比赛信息中。视野控制过程1704可以取决于比赛情景或那个比赛。例如,在出界比赛事件或死球比赛事件期间,该第一视场可以包括比赛区域的中心位置,其中比赛被预测要在所述中心位置重新开始,以及第二视场可以包括选手的近景视野,比如正在向场内掷球的选手(即,将球返回到比赛中状态)。
178.数字万向节过程1706可以处理由摄像机1060捕捉到的图像,以及可以使用来自传感器1055的信息来处理该捕捉到的图像。如上文参考图像捕捉和处理系统300所描述的,这样的图像处理可以包括裁剪、数字图像稳定、电子图像稳定、滚动快门纠正、鱼眼镜头失真,诸如此类。在一些实施例中,数字万向节过程1706可以处理第一视场的摄像机图像以生成可以包括合成的摄像机图像的该第二视场。
179.在一些实施例中,该数字万向节过程1706可以处理第一视场的摄像机图像以定义和生成针对第二视场的合成摄像机图像。在一些实施例中,对该第二视场的定义可以找到对该第一视场的摄像机图像的处理以包括裁剪、数字图像稳定、电子图像稳定、滚动快门纠正、鱼眼镜头失真等等。在一些实施例中,用于生成该第二视场所要求的该第一视场的图像内容可以不包括适合于编码的该摄像机图像的矩形部分。在这样的实施例中,该数字万向节过程1706可以定义第三视场,所述第三视场可以包括对于生成该第二视场可能是必要的这样的图像内容,所述第二视场可以被拉伸、缩放、旋转和/或扭曲以形成该摄像机图像的矩形部分。在一些实施例中,如下文进一步描述的,该定义可以在视频编码过程1710中被编码用于在传输过程1714中传输。所传输的定义可以使接收设备能够基于该定义来显示接收到的编码视频,例如以对接收到的图像应用裁剪、数字图像稳定、电子图像稳定、滚动快门纠正、鱼眼镜头失真等等。
180.视频编码过程1708可以包括第一视场的第一视频流,以及可以包括第二视场的第二视频流。在一些实施例中,第一视频流和第二视频流中的每一个视频流可以包括不同视
频分辨率和不同比特率。例如,该视频编码过程1708可以以可以适合于在存储过程1712中向本地存储1250(例如,sd卡)写入的高分辨率比特率来对该第一视频流进行编码。举另一个例子,视频编码过程1708可以以可以适合于通信网络上的传输的较低的或减小的分辨率和或比特率来对该第二视频流进行编码。在一些实施例中,该视频编码过程1708可以基于,例如无线通信链路的信号强度和/或带宽来动态地选择针对第二视频流的分辨率和或比特率。
181.在可以使用机械万向节的一些实施例中,可以处理第二视场的摄像机图像以生成第二视场的合成的摄像机图像。该合成的摄像机图像可以包括裁剪、数字图像稳定、电子图像稳定、滚动快门纠正、鱼眼镜头失真等等。
182.图18根据各个实施例说明了从数据源到各处理阶段的数据流和用于实现由uav(例如,图1、图2、图6和图8的102、200、650、850)进行的精彩视频生成过程的方法1800的单元。参考图1-18,方法1800可以由处理器(例如,处理器220和/或诸如此类)实现,该处理器可以控制或执行该图像捕捉地点确定系统400中的一个或多个元件的操作。在一些实施例中,方法1800包括可以作为方法600的块606的一部分来执行的一个或多个操作。
183.精彩视频生成过程1802可以使用由上文所描述的方法1300、方法1400、方法1500和方法1600生成的信息。
184.精彩视频生成过程1802可以重组先前被编码到本地存储1250的视频。该精彩视频生成过程1802可以由比赛情景改变或比赛事件来触发。例如,该精彩视频生成过程1802可以由进球事件或救球事件、以及出界状态或死球状态或另一个比赛事件的发生来触发。
185.编辑控制过程1804可以提供信息以基于以下各项中的一项或多项来控制数字万向节过程1706:比赛情景、比赛事件、比赛对象或其它运动装置的位置和/或动作、选手的位置和/或动作、比赛区域定义和一个或多个比赛玩法规则。该编辑控制过程1802可以对与触发比赛事件或比赛情景改变相关联的时间范围进行识别。该编辑控制过程1804可以生成第四视场,所述第四视场可以在该时间范围内的先前编码的第一视场内。例如,在进球比赛事件或救球比赛事件期间,该编辑控制过程1804可以定义用于包括在该进球或救球之前的一个或多个比赛事件的时间范围,比如在之前的传球和踢球和/或之前的比赛事件中涉及的选手。在一些实施例中,该编辑控制过程1804可以通知路线规划过程1012飞行路线不需要在该精彩视频的持续时间中被链接到或关联到图像捕捉(例如,摄像)。
186.读取过程1806可以从本地存储1250读取先前编码的视频流。
187.解码过程1808可以从本地存储对先前编码的视频流进行解码。
188.数字万向节过程1706可以处理经解码视频流,以从该经解码视频流生成第四视场(例如,合成的摄像机图像)。该数字万向节过程1706还可以处理该第四视场以包括纠正,所述纠正包括裁剪、数字和/或电子图像稳定、滚动快门纠正、鱼眼镜头失真纠正等等。
189.视频编码过程1708可以对第三视频流进行编码,以及该视频编码过程1710可以对第四视频流进行编码。该第三视频流和第四视频流可以都包括第四视场,以及该第三视频流和第四视频流中的每一个视频流可以有不同分辨率和或比特率。例如,该视频编码过程1708可以以适合于经由存储过程1712来向本地存储1250写入的高分辨率和比特率,来对该第三视频流进行编码,以及该视频编码过程1710可以以适合于在无线通信链路上(例如,使用无线电单元1208来经由发送过程1714)用于采取药物网络的传输的较低分辨率和/或比
特率来对该第四视频流进行编码。
190.在各个实施例中,图像捕捉过程1700和或精彩视频生成过程1800可以向路线规划过程1012提供信息。例如,在该精彩视频的传输期间,该路线规划过程1012可以计算用于降落该uav以节省电量或重新充电,或者飞到准备位置的飞行路线。举另一个例子,图像捕捉过程1700可以指导该路线规划器来随着选手向球门前进来在该选手一旁飞行。在进球事件之后,精彩过程1800可以被触发,为路线规划过程1012提供用于将该uav返回到比赛区域的中心区域的时间。
191.各个实施例使该uav的处理器能够改进由该uav进行的比赛图像捕捉。各个实施例还改进了由该uav进行的比赛图像捕捉的效率。各个实施例还通过以下各项来提高比赛图像捕捉的准确性:应用正在记录的比赛的比赛玩法规则、确定比赛对象、选手、边界和地标的地点,以及计算用于由该uav的摄像机来捕捉比赛图像的位置。
192.提供说明和描述的各个实施例仅仅是作为说明权利要求的各个特征的示例。但是,关于任何给定实施例示出和描述的特征不必须限制于相关联的实施例,以及可以与示出和描述的其它实施例一起使用或组合。此外,权利要求不旨在由任何一个示例实施例来限制。例如,方法600、方法700和方法900-1800的操作中的一个或多个操作可以替代方法600、方法700和方法900-1800的操作中的一个或多个操作或与之组合,反之亦然。
193.上述方法描述和过程流程图仅仅作为说明性示例来提供,以及不旨在要求或暗示各个实施例的操作必须以给出的顺序执行。如由本领域的技术人员将要了解的,上述实施例中的操作顺序可以用任何顺序来执行。比如“之后”、“然后”、“下一个”等的词语不旨在限制操作的顺序;这些词语仅仅用于贯穿方法描述来引导读者。此外,任何以单数形式对权利要求元素的提及,例如使用冠词“一”、“一个”或“该”不解释为将该元素限制为单数。
194.结合本技术中公开的实施例所描述的各种说明性的逻辑块、模块、电路和算法操作可以实现成电子硬件、计算机软件或二者的组合。为了清楚地说明硬件和软件之间的可交换性,上文对各种说明性的组件、方块、模块、电路和操作已经围绕其功能进行了总体描述。至于这样的功能是实现成硬件还是实现成软件,取决于特定的应用和对整个系统所施加的设计约束。熟练的技术人员可以针对每个特定应用,以变通的方式实现所描述的功能,但是,这样的实施例决策不应解释为引起背离权利要求的范围。
195.用于实现结合本技术中公开的方面描述的各个说明性逻辑、逻辑块、模块和电路的硬件可以用被设计为执行本技术中描述的功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑设备、分立门或者晶体管逻辑器件、分立硬件组件或者其任意组合来实现或执行。通用处理器可以是微处理器,但是,在替代方式中,该处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器还可以实现为接收机智能对象的组合,例如,dsp和微处理器的组合、多个微处理器、一个或多个微处理器与dsp内核的结合,或者任何其它这样的配置。替代地,一些操作或方法可以由专用于给定功能的电路来执行。
196.在一个或多个方面,所描述的功能可以在硬件、软件、固件,或其任意组合中来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在非暂时性计算机可读存储介质或非暂时性处理器可读存储介质上。本技术中公开的方法或算法的操作可以体现在可以驻留在非暂时性计算机可读存储介质或处理器可读存储介质上的处理器可执行
软件模块或处理器可执行指令中。非暂时性计算机可读存储介质或处理器可读存储介质可以是可由计算机或处理器访问的任何存储介质。通过举例而非限定性的方式,这样的非暂时性计算机可读存储介质或处理器可读存储介质可以包括ram、rom、eeprom、闪存、cd-rom或其它光盘存储,磁盘存储或其它磁存储智能对象,或可以用于以可由计算机访问的指令或数据结构的形式存储期望的程序代码的任何其它介质。本技术中所用的磁盘和光盘,包括压缩光盘(cd)、激光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则利用激光光学地复制数据。上文的组合还包含在非暂时性计算机可读介质和处理器可读介质的范围内。另外,方法或算法的操作可以作为非暂时性处理器可读存储介质和/或计算机可读存储介质上的代码和/或指令的一者或任何组合或集合,其可以并入计算机程序产品中。
197.提供前文对所公开的实施例的描述以使本领域的任何技术人员能够实现或使用本权利要求。对这些实施例的各种修改对于本领域的技术人员来说将是易于显而易见的,以及本技术中定义的一般原则可以在不脱离本权利要求的精神或范围的情况下应用于其它实施例。因此,本公开内容不旨在受限于本技术中示出的实施例,而是符合与所附的权利要求和本技术中公开的原则和新颖性特征相一致的最广泛范围。
技术特征:
1.一种由无人自主交通工具(uav)捕捉比赛图像的方法,包括:由所述uav的处理器来确定所述比赛的比赛玩法规则;由所述处理器基于所确定的比赛玩法规则和当前比赛动作来预测比赛动作;由所述处理器基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;由所述处理器将所述uav移动到所确定的位置;以及由所述uav的所述处理器基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。2.权利要求1的方法,还包括:由所述uav的所述处理器从所确定的位置捕捉所述比赛的图像。3.权利要求1的方法,其中,确定所述比赛的所述比赛玩法规则包括:由所述uav的所述处理器来考察所述比赛的比赛区域;以及由所述处理器基于对所述比赛区域的所述考察来确定所述比赛的所述比赛玩法规则。4.权利要求1的方法,还包括:由所述uav的所述处理器来考察所述比赛的比赛区域;以及由所述uav的所述处理器基于所述考察来调整所确定的比赛玩法规则。5.权利要求1的方法,其中,基于所确定的比赛玩法规则和所述当前比赛动作来预测所述比赛动作包括:由所述uav的所述处理器基于所述比赛玩法规则和比赛对象的运动来确定比赛情景;以及由所述处理器基于所确定的比赛情景来预测所述比赛动作。6.权利要求1的方法,其中,基于所确定的比赛玩法规则和所述当前比赛动作来预测所述比赛动作包括:由所述uav的所述处理器基于所述比赛玩法规则和所述比赛中选手的动作来确定比赛情景;以及由所述处理器基于所确定的比赛情景来预测所述比赛动作。7.权利要求1的方法,其中,基于所确定的比赛玩法规则和所述当前比赛动作来预测所述比赛动作包括:由所述uav的所述处理器基于所述比赛玩法规则和所述比赛中球的被捕捉图像来确定比赛情景;以及由所述处理器基于所确定的比赛情景来预测所述比赛动作。8.权利要求1的方法,其中,基于所确定的比赛玩法规则和所述当前比赛动作来预测所述比赛动作包括:由所述uav的所述处理器确定最可能的下一个比赛动作。9.权利要求1的方法,其中,基于所预测的比赛动作来确定要从中捕捉所述比赛的图像的所述位置包括:由所述uav的所述处理器确定所述uav到所确定的位置的运动的路径;以及由所述处理器沿着所述运动的路径将所述uav移动到所确定的位置。10.一种无人自主交通工具(uav),包括:
图像传感器;以及处理器,耦合到所述图像传感器,并且被配置有用于执行以下操作的处理器可执行指令:确定比赛的比赛玩法规则;基于所确定的比赛玩法规则和当前比赛动作来预测比赛动作;基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;将所述uav移动到所确定的位置;以及基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。11.权利要求10的uav,其中所述处理器还被配置有用于执行以下操作的处理器可执行指令:从所确定的位置捕捉所述比赛的图像。12.权利要求10的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:考察所述比赛的比赛区域;以及基于对所述比赛区域的所述考察来确定所述比赛的所述比赛玩法规则。13.权利要求10的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:考察所述比赛的比赛区域;以及基于所述考察来调整所确定的比赛玩法规则。14.权利要求10的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:基于所述比赛玩法规则和比赛对象的运动来确定比赛情景;以及基于所确定的比赛情景来预测所述比赛动作。15.权利要求10的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:基于所述比赛玩法规则和所述比赛中选手的动作来确定比赛情景;以及基于所确定的比赛情景来预测所述比赛动作。16.权利要求10的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:基于所述比赛玩法规则和所述比赛中的动作来确定比赛情景;以及基于所确定的比赛情景来预测所述比赛动作。17.权利要求10的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:确定最可能的下一个比赛动作。18.权利要求10的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。19.一种无人自主交通工具(uav),包括:
图像传感器;以及处理器,耦合到所述图像传感器,并且被配置有用于执行以下操作的处理器可执行指令:确定比赛的比赛玩法规则;基于所确定的比赛玩法规则和当前比赛动作来预测比赛动作;基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;将所述uav移动到所确定的位置;考察所述比赛的比赛区域;以及基于所述考察来调整所确定的比赛玩法规则。20.权利要求19的uav,其中所述处理器还被配置有用于执行以下操作的处理器可执行指令:基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。21.权利要求19的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:基于所述比赛玩法规则和所述比赛中比赛对象或选手的运动来确定比赛情景;以及基于所确定的比赛情景来预测所述比赛动作。22.权利要求19的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:确定最可能的下一个比赛动作。23.权利要求19的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。24.一种无人自主交通工具(uav),包括:图像传感器;以及处理器,耦合到所述图像传感器,并且被配置有用于执行以下操作的处理器可执行指令:确定比赛的比赛玩法规则;基于所述比赛玩法规则和所述比赛中比赛对象或选手的运动来确定比赛情景;基于所确定的比赛玩法规则、当前比赛动作和所确定的比赛情景来预测比赛动作;基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;以及将所述uav移动到所确定的位置。25.权利要求24的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:考察所述比赛的比赛区域;以及基于所述考察来调整所确定的比赛玩法规则。26.权利要求24的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。
27.权利要求24的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:确定最可能的下一个比赛动作。28.权利要求24的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。29.一种无人自主交通工具(uav),包括:图像传感器;以及处理器,耦合到所述图像传感器,并且被配置有用于执行以下操作的处理器可执行指令:确定比赛的比赛玩法规则;通过确定最可能的下一个比赛动作从而基于所确定的比赛玩法规则和当前比赛动作来预测比赛动作;基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;以及将所述uav移动到所确定的位置。30.权利要求29的uav,其中所述处理器还被配置有用于执行以下操作的处理器可执行指令:考察所述比赛的比赛区域;以及基于所述考察来调整所确定的比赛玩法规则。31.权利要求29的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。32.权利要求29的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:确定最可能的下一个比赛动作。33.权利要求29的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。34.一种无人自主交通工具(uav),包括:图像传感器;以及处理器,耦合到所述图像传感器,并且被配置有用于执行以下操作的处理器可执行指令:确定比赛的比赛玩法规则;基于所确定的比赛玩法规则和当前比赛动作来预测比赛动作;基于所预测的比赛动作来确定位置,要从所述位置捕捉所述比赛的图像;确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。
35.权利要求34的uav,其中所述处理器还被配置有用于执行以下操作的处理器可执行指令:考察所述比赛的比赛区域;以及基于所述考察来调整所确定的比赛玩法规则。36.权利要求34的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:基于从所述uav的当前位置对所述比赛的比赛区域的成像来确定所述当前比赛动作。37.权利要求34的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:确定最可能的下一个比赛动作。38.权利要求34的uav,其中,所述处理器还被配置有用于执行以下操作的处理器可执行指令:确定所述uav到所确定的位置的运动的路径;以及沿着所确定的运动的路径将所述uav移动到所确定的位置。39.权利要求34的uav,其中,所述处理器还被配置有用于通过执行以下操作从而基于所确定的比赛玩法规则和所述当前比赛动作来预测比赛动作的处理器可执行指令:基于所述比赛玩法规则和所述比赛中比赛对象或选手的运动来确定比赛情景;以及基于所确定的比赛情景来预测所述比赛动作。
技术总结
实施例包括用于由无人自主交通工具(UAV)捕捉比赛图像的设备和方法。该UAV的处理器可以确定该比赛的比赛玩法规则。该处理器可以确定比赛对象的地点。该处理器可以基于确定的比赛玩法规则和该比赛对象的地点来计算用于捕捉该比赛的图像的位置。该处理器可以从该计算出的位置捕捉该比赛的图像。出的位置捕捉该比赛的图像。出的位置捕捉该比赛的图像。
技术研发人员:E
受保护的技术使用者:高通股份有限公司
技术研发日:2017.10.24
技术公布日:2022/3/8