边缘传感器融合:两个视角

传感器融合是Lattice fpga的一个流行应用，这种特殊应用经常是Lattice营销团队成员讨论的话题。Lattice fpga由于其功耗低、体积小等优点，在Edge应用中经常被用于传感器融合。bobappios下载地址但最近我们两人之间的一次对话表明，不同终端市场对“边缘应用”的定义可能有所不同，而一篇研究这些差异的博客文章可以提供有益的信息。bob88体育登陆

An industrial engineer working in a factory may understand “the Edge” to refer to the boundary between the physical world, in the form of a machine on a production line, and the non-physical world, in the form of the factory’s intranet and/or the internet. In this case, what the engineer considers to be an Edge device may comprise sensors, actuators, and a control system used to monitor the state of a machine and perform any corrective actions as necessary. Oftentimes, such a device may feature some sort of cognitive (reasoning, thinking) capability in the form of artificial intelligence (AI).

例如，考虑机器维护的情况，例如，存在可以使用的各种策略，包括反应性，先发制人和预测性。在反应性维护的情况下，该想法是运行机器，直到它失败，然后修复它。这种策略的吸引力是大多数时候可以忘记机器。问题是，当机器失败时，它可能会扰乱整个生产线，使潜在的小问题蘑菇成为一个主要问题。在先发制品维护的情况下，机器是服务的，并且在基于时间的时间表或运行数量的时间内替换所选部件。这种策略的优点是机器通常在没有问题的情况下运行很长时间。问题是与在其时间之前替换零件的成本以及执行可能不必要的维护任务所需的资源。在预测维护方面，这个想法是为边缘设备使用它的AI来监控机器的健康，寻找异常或趋势，然后指导维护团队在进入实际问题之前解决潜在问题。

相比之下，汽车设计师可以很好地将整个车辆视为在边缘上。在这种情况下，车辆可以吹嘘各种先进的驾驶员辅助系统（ADA）以及自主能力和功能，依赖于来自多数传感器的数据收集，包括图像（相机），激光雷达，雷达，超声波和远红外（FIR）设备。同时，各种汽车AI系统的任务是帮助驾驶员在不击中任何人或任何内容的情况下驾驶，并保护车辆及其人类货物免于意外和意外。

用于ADAS和自动驾驶应用的汽车传感器的典型补充。bobappios下载地址

以同样的方式，术语“边缘”可能对不同的人意味着不同的东西，所以术语也可以“传感器融合”。在其最常见的意义上，传感器融合是组合从不同源导出的感官数据的过程，使得所得到的信息与单独使用这些源时的不确定性较少。

传感器融合的一种形式是将来自传感器(如加速度计、陀螺仪和磁力计)的数据结合起来，从它们的优点中获益，并纠正它们的缺点。对于这些类型的传感器，我们可以讨论三个轴:x轴、y轴和z轴。

X, Y, Z轴。

对于这些轴，可能有两种类型的运动:线性和角(旋转)。在直线运动的情况下，可以沿着x轴从一边移动到另一边，沿着Y轴向上和向下，沿着Z轴向前和向后移动。这些可以被视为三个自由度(3DOF)。相比之下，在角运动的情况下，可以围绕一个或多个X、Y和Z轴旋转，从而提供另一个3DOF。基于此，我们可以说任何经典物理系统都可以有最大6自由度，因为系统在三维空间中只有6种不同的运动方式。

除了运动之外，我们可以通过测量两次之间所有可能的DOF的值之间的差异来确定（让我们称之为T._n和T_{n + 1}）然后一遍又一遍地重复这一过程，我们也可能对方向感兴趣（即相对于别的物体的物体的物理位置或方向），我们可以通过了解所有可能的DOF的值来确定在某个时间t_n。

3轴加速度计测量沿X、Y和Z轴的直线运动。相比之下，三轴陀螺仪测量的是围绕X、Y和Z轴的角旋转。此外，三轴磁强计可以检测出最强的磁力来自X、Y和Z轴。磁力计通常用来检测地球磁场，但如果需要，它们也可以用来测量人造磁场。

每种类型的传感器都有自己的优点和缺点。例如，加速度计受到振动的影响并且不受磁场影响，而磁力计不受振动影响，但可能被杂散电磁场混淆。来自加速度计的数据可用于导出旋转信息，但陀螺仪提供更准确的旋转结果。另一方面，陀螺仪也受“漂移”，这不是加速度计和磁力计的问题。

因此，概念上，传感器融合的最低级别涉及监视所有三种类型的传感器的输出，并使用每对的数据来校正三个成员的错误。

下一个级别的传感器融合涉及将来自多个传感器的数据组合在一起，以提供“情境感知”，可以用于改进系统的理解，从而使其能够做出更好的决策。例如，考虑早期健身可穿戴设备。虽然它们在测量固体地板上采取的步骤数量相当准确，但它们往往是由跑步机这样的运动机器混淆，并且短暂的乘坐自动扶梯可以很容易地最终被计算为额外的1,000步。相比之下，现代等价物使用传感器融合和AI的组合来滤除任何外来噪声，以确定佩戴者是否正在行走，跑步，骑自行车，游泳等，并仅计算合法的运动活动。

的汽车,另一种类型的传感器融合可能来自多个传感器的数据收集和align-in-time——摄像头,激光雷达,雷达等,提出了人工智能系统,可以比较不同的传感器是什么报告和需求要格外小心,如果结论来自各个传感器不同意。

毫不奇怪，大多数形式的传感器融合需要操纵大量的实时数据，具有非常低的延迟。传统的von neumann处理器架构不是非常适合此任务。通过比较，现场可编程门阵列（FPGA） - 例如格子Crosslink™-NX设备-是传感器融合应用的理想选择，因为它们的可编程织物可以配置为以大规模并行方bobappios下载地址式执行传感器处理算法。

此外，CrossLink-NX fpga包括两个以每PHY 10gbps运行的4车道MIPI D-PHY收发器，从而允许这些设备为视觉处理、传感器融合和人工智能推断应用提供一流的性能。bobappios下载地址

“蛋糕顶部的”奶油“是Crosslink-NX FPGA完全支持bob电子竞技俱乐部Lattice Mvision™和Sensai™解决方案堆栈。格子MVISION Solutions Stack包括一切嵌入式视觉系统设计人员需要评估，开发和部署基于FPGA的嵌入式视觉应用程序，例如机器视觉，机器人，ADA，视频监控和无人机。bobappios下载地址同时，全功能的格子Sensai解决方案堆栈包括开发人员需要评估，开发和部署基于FPGA的AI / ML应用程序的应用程序。bobappios下载地址

在Edge(无论你认为它是什么)上执行传感器融合(任何它的形式)的优势在于快速获得结果，同时节省通信带宽，而不是将大量数据传输到云中，然后等待任何结果返回。此外，低功耗、高性能fpga(如CrossLink-NX设备)提供的大规模并行处理能力意味着，Edge的传感器融合现在既可以实现，也负担得起。