作者：Alexandra Dopplinger，恩智浦工业产品市场营销司理、注册工程师
一直以来，科幻小说和电影都将机器刻画成具有彻底自主才能和才智的存在，远超一般人类。这些内容让人倍感激动，并提出了一些具有应战性的问题，可是咱们间隔能将这些虚拟构建的内容变成能够在实在国际中存在的机器还有多远呢？
就像每部优异的电影相同，技能进步的条件也是：具有满足的利益驱动、根底满足牢靠、商业事例切实可行并有优异的人才协作施行方案。现在，一切这些条件都现已具有，机器学习的展开势头也十分迅猛，现已广泛用于各种规模的运用，例如，语音辨认和操控、人脸辨认和身份辨认、智能检测和手势操控、物体检测和辨认、反常检测和增强实践等。
在咱们深入探讨之前，需求先解说一些常见的机器学习术语。
人工智能(AI)是一个十分广泛的概念，是指运用机器完结“智能”的工作并像人相同能够决议方案和举动。在这一范畴的处理方案一直都十分专业且门槛很高。
机器学习(ML)是施行AI的很多办法之一。这个概念是如果您向自学习机器发送很多数据，让它们学习怎么自行判别并完结任务，而不需求针对每个行为进行清晰编程。这样的工作正在产生，而且敏捷得到广泛运用。
深度学习是施行机器学习的很多办法之一，一般运用神经网络(NN)完结学习阶段，来主动决议最相关的数据部分，加以分析，然后推理出最合适的呼应。NN技能在练习阶段需求海量数据，因而，这一方面的研讨和展开还有很大的提高空间。
平衡机器学习的功用与本钱
机器学习研讨和开发之初运用的是全球最强壮的核算机，而且许多练习和推理仍需在云端的超级核算机和服务器区上完结。可是现在，技能现已进步到足以将机器学习从云端移动到边际，这样更有用。
咱们为什么要在边际施行机器学习？首要是为了提高用户体会。人们不期望设备花费太长时刻来辨认人脸和服从命令。如果在云端完结辨认和呼应，这很或许呈现推迟、下降牢靠性，而且更或许呈现不合适的呼应。
服务型机器人、无人机和主动驾驶车辆等能够移动的机器对边际端机器学习具有更大的需求，由于它们有必要持续搜集传感器输入、推理出设备现在的状况并在毫秒内决议方案下一步举动。物理规律约束了经过无线衔接到悠远的云端服务器来进行如此密布的数据搜集和实时呼应。简而言之，能够移动的主动化机器需求彻底独立、牢靠的机载学习和决议方案拟定。
许多人和机器都需求保护隐私、保护重要数据和通讯内容，以防遭受黑客进犯和仿制。咱们发现，避免未经授权的运用运用语音、视频和传感器数据的需求越来越高。清楚明了，当原始数据存放在本地边际机器上时，很少乃至不需求向云端传输数据，这样更简略保护用户的安全与隐私。
最终，技能本钱现已下降到满足低的水平，以便将机器学习处理运用在楼宇、家庭和车内的边际设备中。现有的云端带宽、处理和存储费用可在今后进一步下降乃至消除，这能够抵消将机器学习从云端搬迁到各类型边际设备或传感器节点所带来的本钱。
敞开机器学习改造
恩智浦及其和协作伙伴一直以来不断协作，供给集成式硬件、软件和东西，开端为实践运用开发价格合理且有用的机器学习处理方案。经过协作，咱们正在构建业界最广泛、可扩展性最高、根据Arm®技能的处理渠道，它能够答应任何开发扩展或缩短，以针对每个特定用例拟定高性价比处理方案。这会使软件和渠道得以高度再运用，并下降保护和具有本钱。
作为展开机器学习的第一步，许多NN处理方案在杂乱的集中式核算渠道上制造练习模型或推理引擎，之后还能够在边际端的小型设备上运转。练习模型或推理引擎是一组数学等式，能够检测或辨认目标、言语或预期行为中的改变。TensorFlow和Caffe是运用运用编程接口(API)来处理杂乱数学问题的结构示例，使在不同渠道和硬件资源类型之间搬迁练习模型和运用变得愈加简略。
下一步是从很多市面上现已存在的渠道中挑选一个并将练习模型搬迁到这个渠道。用于低带宽传感器输入的机器学习一般能够由根据Arm Cortex®-M4或Cortex-M7技能的超低本钱MCU（例如恩智浦的i.MX RT跨界处理器）处理。典型功用包含关键词声学检测、特别声响或反常情况侦测，例如振荡或环境反常改变。 关于有限数量的人或单词，人脸和语音辨认也能够运用根据Cortex-M的微操控器运转。
跟着杂乱性的增加，尤其是在运用摄像头传感器输入的情况下，或许会需求运用具有多核处理才能的设备，例如，具有一到四个Arm Cortex-A53内核、以及一个Cortex-M7内核的i.MX 8M Nano运用处理器，具有OpenCL功用的GPU，MIPI-CSI摄像头输入和许多其他集成功用。现在只需149.00美元，您就能够在https://coral.withgoogle.com上购买完好的Google Coral®开发板，用于高速和低功耗机器学习推理。经过该渠道，您能够运用小尺度(40 x 48 mm)量产型片上体系(SoC)快速从原型扩展到出产，该体系内置运转Linux®操作体系的i.MX 8M四核运用处理器、eMMC内存、LPDDR4 RAM、Wi-Fi®和蓝牙无线电以及Google强壮的Edge TPU协处理器。Edge TPU是Google规划的一款小型ASIC，可在低功耗（4 TOPS，2W）下供给高功用的机器学习推理，并能够以高于每秒100帧的速度运转MobileNet v2等移动视觉模型。
为了取得更高的目标辨认才能，您也能够运用i.MX 8QuadMax等运用处理器，这类处理器集成了两个Cortex-A72、四个Cortex-A53、两个Cortex-M4内核、两个具有OpenCL和OpenVX视觉扩展的GPU、一个DSP、最多可处理八个单通道摄像头的八个MIPI-CSI通道以及其他多通道摄像头组合。Basler（德国）和Congatec（德国）在i.MX 8QuadMax上展现了其组合的机器视觉和目标辨认购物处理方案，而且正在搬迁到i.MX 8M系列以进一步优化本钱。
有了这些可供挑选的硬件处理方案后，接下来咱们还需求东西来优化功用、下降体系本钱、增加呼应时刻和准确性，以及优化每个练习模型或推理引擎运用片上资源的方法。
机器学习软件开发环境
跟着机器学习搬迁到边际，最大的应战之一是在资源受限的设备上布置机器学习运用，尤其是现已在云中构建机器学习运用的情况下。为了直接在边际设备上运转，有必要优化这些模型并将其与支撑特定核算机硬件类型的推理引擎（即CPU、GPU、DSP或机器学习加速器）进行匹配。
Au-Zone Technologies Inc.供给了许多带东西的机器学习演示，能够优化各种设备的处理方案。他们的DeepView™机器学习东西包和RunTime推理引擎可协助开发人员在各种嵌入式MCU、CPU、GPU和机器学习加速器上快速规划、练习和布置深度学习网络。Au-Zone的智能物联网开发套件建立在机器学习东西包的根底上，供给一系列经过验证的传感器、处理器和模型组合，以支撑极端快速的原型制造、定制和商业布置。
恩智浦的eIQ™机器学习软件开发环境支撑具有推理引擎、神经网络编译器和优化库的机器学习算法，这些算法专门针对恩智浦MCU、i.MX RT跨界处理器和i.MX运用处理器。eIQ运用了开源技能，而且已彻底集成到恩智浦MCUXpresso软件开发套件(SDK)和Yocto开发环境中。能够处理一切机器学习软件的依靠联系，包含将先进的机器学习技能衔接到底层核算引擎所需的必要硬件笼统层，然后协助开发者更轻松地开发完好的体系级运用。
在此视频中，Arcturus Networks Inc.介绍了他们运用eIQ开发环境搬迁ArmNN和OpenCV模型以保证公共安全的经历。
eIQ软件开发环境正在敏捷扩展。 咱们现已布置并优化了其对多种技能的支撑，例如CMSIS-NN、TensorFlow、TensorFlow Lite、OpenCV和Arm NN。eIQ软件结合示例运用进行目标检测和语音辨认，为在边际布置机器学习奠定了根底。正在进行或方案进行进一步开发以供给：
• 根据现在抢手的的神经网络结构（例如TensorFlow、Caffe和ONNX）导入预练习模型的原则
• 端到端示例运用演示了典型的客户用例，例如，摄像头推理引擎
• 支撑新式的神经网络编译器，例如，GLOW
• 一套传统机器学习算法，例如支撑矢量机器(SVM)和随机森林
云端处理方案
虽然在本地核算机上运转机器学习模型有显着的优点，可是咱们不能忽视由Amazon和Microsoft等抢先服务供货商供给、根据云的抢手机器学习处理方案的优势。他们供给语音、视觉和其他机器学习服务，以及强壮的开发东西包，这些东西包易于运用、本钱低价且工作量最少。
Amazon的参阅处理方案能够协助您运用内置的Alexa™语音服务(AVS)来创立交互式产品。这些东西包包含芯片组、语音处理技能和客户端软件，经过认证能够运用在各种处理器上运转的AVS运用编程接口，可从官网订货。
Microsoft经过由恩智浦i.MX RT106C跨界处理器支撑的Azure IoT反常检测处理方案，为Azure IoT用户带来了人工智能(AI)和机器学习(ML)功用。该东西箱供给一整套传感器和相关的反常检测东西箱，运用各种机器学习算法，如随机森林和简略向量机(SVM)，模拟设备的正常行为，并经过本地和云组合机制，检测反常行为。关于旋转组件、状况检测和侵略检测的猜测性保护运用等，这样能够在坚持完好的在线日志记载和处理才能的一起大幅下降云带宽要求。
微柔和恩智浦还宣告携手协作，供给新的Microsoft Azure Sphere认证跨界运用处理器，以在边际节点处理器上无缝运转Azure Sphere安全渠道，该处理器将供给多核异构核算、丰厚的图形体会和低功耗音频处理才能。
恩智浦将持续与抢先的软件和硬件公司、研讨人员和分销商协作，供给机器学习处理方案，包括规模从通用示例代码和参阅规划，到经认证的即用型专用渠道，能够让您灵敏地增加自定义功用。
技能现已准备就绪，恩智浦也现已准备就绪，助您将机器学习理念展开为实践国际中价格合理且安全的产品。
