郭斌：智能物联如何连接未来

gecccn

郭斌（西北工业大学计算机系统与微电子系主任）

  随着物联网、大数据和人工智能技术的快速发展与加速融合，智能物联网（AI in IoT, AIoT）正成长为一个具有广泛发展前景的新兴前沿领域。随着在经济社会各领域应用的拓展深化，物联网的产业链、价值链、创新链不断融合，催生新模式、新业态不断涌现，成为驱动经济创新升级的重要动力；物联网跨界融合应用深入推进，成为注入传统产业的创新要素，帮助传统产业实现全方位变革；物联网基础设施加快推进，成为支撑智能经济的重要载体。
  西北工业大学计算机系统与微电子系主任郭斌认为，智能物联网可实现制造业人、机、物、环境等要素的连接、交互、感知与计算，实现具有自组织、自学习、自适应、持续演化等能力的制造业智慧空间，对促进制造业新模式新业态形成、提高我国制造业生产力和竞争力、推动下一代智能制造变革具有重要意义。因此，构建未来制造产业，推动数字化转型升级不仅需要充分发挥政府整体规划优势与政策优势，更需要企业以技术为驱动，充分发挥技术优势和全球资源整合的优势，共同推动产业升级和社会进步。
  如何推动我国未来智能制造产业实现高质量发展？●●
  1、发挥智能物联网引领作用。物联网、人工智能及其深度融合将成为引领未来制造业变革的关键技术。智能物联网作为物联网和人工智能结合的前沿技术在新一代智能制造中将发挥关键作用。
  2、加强从0到1基础研究。目前我国在制造领域关键技术应用方面已取得不少进展，而在基础研究领域还相对滞后，存在大而不强、重技术轻基础的现状。因此，需要加强从0到1的基础性研究，从长远角度推动智能制造不断革新、持续发展。
  3、注重多学科融合人才培养。目前高校人才培养模式还主要面向单个学科开展，学生知识结构单一，难以满足未来对于多学科知识融合解决复杂问题的需求，应该创新人才培养模式，促进多学科知识融合，为培养复合型创新型人才提供有效途径。
  4、产学研深度协同融合。智能制造具有很高的新技术密集度，汲取了人工智能领域最前沿的理论和技术成果。需要打破壁垒促进高校和科研院所积极参与智能制造产业变革，创造条件促进产学研的深度协同与技术革新。
  5、推动新兴技术在制造业的落地应用。联邦学习、迁移学习、多智能体强化学习、深度模型压缩、边缘计算、云边端融合计算等智能物联网相关技术近年来不断取得新突破，在国家科研发展规划中要注重推动以上关键技术和制造业关键科学和技术问题的结合，产生示范性应用效果，进而形成新的产业链，促进制造业智慧空间的形成。
  01、智能物联
  随着物联网、大数据和人工智能技术的快速发展与加速融合，智能物联网（AI in IoT, AIoT）正成长为一个具有广泛发展前景的新兴前沿领域。AIoT首先通过各种传感器联网实时采集各类数据（环境数据、运行数据、业务数据、监测数据等），进而在终端设备、边缘设备或云端通过数据挖掘和机器学习方法来进行智能化处理和理解，如智能感知、目标识别、能耗管理、预测预警、智能决策等。近年来，智能物联网应用和服务已经逐步融入国家重大需求和民生的各个领域，例如，智慧城市、智能制造、无人驾驶等。预计2025年我国物联网连接节点将达到200亿个，未来数百亿的设备并发联网产生的数据分析和融合需求将促使物联网与人工智能的深度融合。
  阿里、腾讯、华为、京东等企业近年来都积极在智能物联网领域布局。2018年，阿里巴巴宣布进军物联网领域，将其定位为物联网基础设施的搭建者，提供IoT连接和AI能力、实现云边端一体的协同计算，并开发了轻量级物联网嵌入式操作系统AliOS Things。腾讯也推出了一款物联网系统TencentOS tiny，具有低功耗、低资源占用等特点。华为则推出了面向物联网的华为鸿蒙操作系统，作为一种基于微内核的全场景分布式操作系统，在5G时代具有广泛应用前景。京东也于2018年发布“城市计算平台”，结合深度学习等构建时空关联模型及学习算法解决交通规划、火力发电、环境保护等城市不同场景下的智能应用问题。
  02、智能物联驱动的制造业变革
  2017年国务院发布《新一代人工智能发展规划》，其目标为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。其中大数据驱动知识学习、跨媒体智能、人机协同增强智能、群体智能、自主智能系统成为新一代人工智能的重点发展方向。新一代人工智能技术与先进制造技术深度融合，将重塑设计、研发、制造、服务等产品全生命周期的各环节，形成新一代智能制造技术和业态，提升制造业生产力和竞争力。
  新一代智能制造技术的一个关键特征是人、机、物等要素的协同融合，而智能物联网作为连接人、机、物的桥梁，在新一代智能制造技术中将发挥重要支撑作用。在制造领域，智能物联网涉及的主体包括机器人、AGV小车、移动及可穿戴设备、边缘设备、感知设备、生产制造设备、产品等。从技术角度而言，智能物联网在制造业的应用分为两个层次，第一层次是通过工业互联网技术来实现连接并获取感知数据，第二层次则是利用人工智能技术来对数据进行分析和学习。目前，以工业互联网为核心的制造大数据获取方面已经取得较多进展，但要真正实现人机物和谐融合的未来制造业智慧空间，还面临很多挑战。下面将从群智协同机理、自组织与自适应能力、云边端融合计算、终身学习、群智能体学习、制造业智慧空间等新的理论、模型和方法探索方面分别进行阐述。
  03、人机物群智协同机理
  制造业生命周期涉及人、机器、物料、工艺、环境、组织等多种要素，如何实现异构要素间的有机协同和高效协作是智能制造要解决的关键科学问题。智能物联网通过大数据实时获取、智能感知与自学习增强、分布式群智交互协同等方法来提供解决方案。在基础模型和理论层面，需要首先探索人机物融合群智协同机理这一基础性问题，为技术的突破提供支撑。
  关于群智协同的研究起源于生物学和生态学等领域。一大群相同的自然生物或人造物，如蚂蚁、蜜蜂、白蚁、鱼和鸟等，其个体拥有的智慧有限，但通过群体合作能够实现超越个体行为的集体智慧。生物个体之间的交互，其实就是在定义协同协作规则，智能体之间的行为交互方式或者交互模式，产生集聚、组队、集体移动、形状变换等行为，物理学研究指出通过简单的交互规则可以产生复杂的行为。
  人类社会的群体智能得到广泛的研究，众包（Crowdsourcing）是美国《连线》杂志2006年发明的一个专业术语，用来描述一种新的生产组织形式。具体就是企业/研发机构利用互联网将工作分配出去，利用大量用户的创意和协作来解决技术问题。如维基百科通过大众参与和有效协作构建了全球最大的百科知识库、reCAPTCHA将古老印刷品的数字化问题与验证码系统进行融合，通过10万家网站的使用和全民参与，帮助《纽约时报》这份有着100多年历史的报纸实现存档数字化。
  鉴于生物和人类群体智能所体现的集群优势及广泛应用前景，国家《新一代人工智能发展规划》明确提出“群体智能”研究方向。其实，早在上世纪90年代，著名科学家钱学森先生便曾提出“综合集成研讨厅”体系，强调专家群体以人机合的方式进行协同研讨，共同对复杂巨系统的挑战性问题进行研究。群体智能实质上正是“综合集成研讨厅”在人工智能新时代的深化和拓展。
  基于群体智能研究的启发，针对制造业的异构要素有机协同问题，也可以通过多智能体竞争合作的方式来提供支撑。借鉴生物界当中的各种生态模式，转化为一些可用的规则，用于支持多智能体之间的沟通协作，进而通过多智能体模型研究复杂制造要素协同模式与制造效率、能耗、质量间的作用机理。此外，为实现制造业人机物群智协同，针对其各要素表达异构、知识碎片化等问题，还需构建统一的制造业知识图谱表示模型，对各制造要素及其关联关系进行结构化表征。在制造业过程中，会产生大量的数据和专家经验，需提取工业语义关键信息并关联形成具备专业特点的工业知识图谱。根据所构建的制造群智表示模型，通过已有制造知识结构发现、挖掘、推理全新制造知识内容，并据此实现搜索、决策、协同等上层群智应用。
  04、自组织与自适应能力
  智能物联网与制造业结合的目标是实现工业领域的智能应用，具有自组织、自学习、自适应等特征。它使得制造业主体能不断感知任务和环境状态，根据需要分布式组织各生产要素，不断学习和丰富自身识别与决策能力，以适应动态的生产环境及应用场景，最终达到提高生产效率或产品质量的目的。
  自组织。智能制造系统中的各组成单元或要素根据生产任务的需要，自行选择、组织和调协形成一种优化的结构，具有生物集群特征，能发挥群体智慧。
  自学习。智能制造系统能够通过深度学习等方法感知系统运行状态、产品质量状况和上下文情境信息，并且通过强化学习、增量学习等方法根据反馈和新增样本不断提升学习能力。
  自适应。在机器学习和推断过程中，智能制造系统的部署环境、运行环境、网络资源等不断发生变化，为使得系统能适应不同的状况，需要学习模型具有自适应感知和模型演化能力。
  为实现自学习能力，在资源受限且环境多变的物联网终端设备上部署和运行深度学习模型（如实时视频数据处理）逐渐成为一种新的趋势，其具有低计算延时、低传输成本、保护数据隐私等优势。然而，在资源受限的移动端运行深度学习模型面临着极大挑战，制约了其落地和规模化应用。一方面是硬件资源限制，深度学习模型通常是计算密集型的大规模网络，往往需要较高的存储、计算和能量资源，而终端设备的资源局限成为深度模型部署的技术瓶颈。另一方面是物联终端计算具有运行环境动态变化（如能量、存储等）、应用场景多样等特点。而深度学习模型的训练过程是基于特定数据集的知识学习过程，对终端复杂应用场景的适应能力差。深度学习模型应该根据目标平台上硬件资源的变化，自适应调整其计算单元、组成结构和运行设置等参数以适应新的需求。
  05、云边端融合高效计算
  物联网应用大多有实时性要求，如果把物联网产生的数据全部传输给云端，将会加大网络负载并产生数据处理延时。在此背景下，一种新的计算模式——边缘计算应用而生。边缘计算指的是在网络的边缘来处理数据，这样能够减少请求响应时间，同时保证数据的私密性。针对本地计算资源不足的问题，边缘计算的加入也提供了新的机遇，通过云边端融合产生新的高效计算模式。
  针对前面提到的智能物联终端学习模型的自适应问题，除了前面提出的模型压缩方法外，在边缘设备加入后，模型分割方法也成为新的研究热点。它将完整的深度学习模型进行分块，并根据性能需求（如时延、精度）和资源消耗（如网络传输、设备存储和能耗等）自动寻找最佳分割点，将模型中不同的层部署到云、边、端的不同设备上，通过异构设备的互补协同完成学习和计算任务。
  云边端融合的模型分割计算根据整体或终端的关注点倾向，通常采用两种方式：
  一是降低整体模型的资源消耗。因为深度网络某些中间层间的传输数据量要远小于原始数据量，因此，选取合适的模型分割点能够降低数据传输量，并且减少整个模型的全局资源消耗。
  二是降低模型在单台设备上的资源消耗。深度学习模型在分割之后，每块网络对硬件资源的需求将大幅度减少，可以在资源受限的硬件设备上运行。
  目前模型分割主要集中在“端云分割”，即将深度学习模型在某一点切分后，一部分部署在终端设备上，一部分部署在云端，二者共同完成学习和推断任务。而在智能制造背景下，设备异构、数量丰富、拓扑易变，如何在此背景下实现多异构设备间的协同和模型优化分割是需要进一步探索的问题。
  06、终身学习与持续演化
  生物界针对内外部环境的变化往往具有很好的适应性和持续演化能力。“演化”旨在为学习模型针对不断新增的数据、新增用户的个性特征、跨领域/跨实体间模型的知识迁移等需求提供持续性的学习和更新方案，即终身学习（Lifelong learning）能力。在开放式复杂制造环境下，新的制造设备不断加入，制造场景和需求动态变化，传统基于海量数据预训练的模型难以在数据缺失或数据分布变化情况下发挥好的效用。针对不断变化的场景，关联的学习模型需要具备持续学习和演化能力，如同人类一样具有不断学习和适应问题变化的能力，结合已学习的知识和经验以解决新的问题。
  域自适应技术。
  一般来说机器学习模型的鲁棒性（robustness）差，传统的解决办法是在训练阶段加入适量噪声，以提高模型鲁棒性。但是这一方法在训练完成后仍不能抵御新噪声。因此，利用域自适应的方法训练模型来抵御这种环境或需求变化正在成为智能物联网领域的新发展方向。它旨在寻找一个空间映射，将源域和目标域（如两个相关联的制造场景或者产品）映射到同一特征子空间中，使得源域和目标域的分布差距最小，进而利用两个域的数据进行模型学习。
  元学习。
  传统的机器学习方法需获取特定任务的大型数据集并从头开始训练模型。很明显，这和人类利用以往经验，仅仅通过少量样本就迅速完成学习的情况相差甚远。面对数据量不足的新任务时，这种方式显然无法胜任。特别是在柔性制造动态变换场景下，很难获得大量标注数据。元学习（Meta Learning）或者叫作“学会学习”（Learning to learn），即让智能体或机器人利用以往的知识经验来指导新任务的学习，具有学会学习的能力。它通过融合多个设备、多个不同场景下的训练模型并结合新设备/场景的少量样本来学习适应新场景的模型。
  层级强化学习。
  如何在适应新问题的同时，保留既有知识和经验是终身学习的一个关键问题。现有方法非常容易使得网络模型忘记之前学习得到的知识，即存在灾难性遗忘问题。人类应对复杂问题的方法是把它们分解成一系列小的、可控的步骤；人类能够快速学到新任务，靠的就是把已经学过的步骤重新组合起来以应对新情况。基于此，层次强化学习成为有效的知识抽取和迁移方法。
  渐进式神经网络模型。
  持续学习是机器学习领域当中的长远目标，智能体不仅学习和记忆一系列的任务经验，同时也有能力从之前的任务上迁移出有用的知识来改进收敛的速度。传统的微调网络模型的方法是通过源任务-目标任务迁移方法来继承某个源任务知识。但这种微调的方法不大适合在多任务中进行迁移学习，基于此，GoogleDeepMind提出了渐进式神经网络模型，它保留一个预训练模型池来根据任务变化不断进行网络扩展，从而实现经验的自然累积和知识重用，实现持续学习并解决灾难性遗忘问题。
  07、群智能体学习模型
  近年来，制造业的智能化受到了学术界和工业界的广泛关注，取得了一系列重要成果。然而，现有的方法和技术在制造业智能化提升方面还具有以下局限性：
  其一是传统感知学习模型没考虑数据的分布性及由此衍生的不同制造业主体数据隐私保护的需求；
  其二是通过工业动态反馈进行强化学习是复杂产品参数优化的重要方面，然而制造要素的多样性、制造环节的联动性使得仅依靠单智能体的强化学习难以满足全局性能优化要求。
  联邦学习。
  当今的AI面临的一个重要挑战是多数行业由于数据隐私和安全性原因存在数据孤岛问题，在未来制造领域，需要在保障数据分享隐私安全前提下开展跨制造要素、跨制造环节以及跨制造企业的分布式学习模型探索。一种可能是在工厂内多个设备之间开展联邦学习，另一种则是在生产的不同环节和企业间开展联邦学习。
  多智能体深度强化学习。
  单智能体深度强化学习近来取得了巨大突破，但单体智能学习能力还存在很大限制。就人类社会而言，每个个体都有自己独特的目标和行为，但人们仍然能够组织在一起展示出非凡的集体智能。因此，在智能物联网环境下，智能体在单独行动的同时，也要学会与其他的智能体进行交互和协作，通过其协作和博弈激发新的智能——即多智能体深度强化学习。
  智能制造领域面临同样的问题。
  针对制造业单个智能体感知范围有限、基于反馈的参数优化能力差、群体学习能力弱等问题，需研究基于深度强化学习模型的多智能体协同增强方法。将目标任务与动态调优模型关联。面向特定的制造任务需求，提出群智深度强化学习模型对各制造要素进行建模和协同学习，动态反馈和优化调整参与任务的各智能体参数，使得制造群体参数总体最优，实现多智能体协同增强。
  08、人机物群智融合制造业智慧空间构建
  Gartner将“智慧空间”列入2020年十大战略科技发展趋势，指出人工智能与物联网、边缘计算和数字孪生等技术的快速发展及深度融合，可以为智能制造等领域提供高度集成的智慧空间。智慧空间是一种物理信息融合环境，其中人、机、物等要素在开放和智能的生态系统中彼此交互，构建组织灵活、行为自适、自主演化的空间。下面给出制造业群智智慧空间的定义。制造业群智智慧空间关注制造业中人（智能手机、可穿戴设备）、机（云、边缘设备）、物（物联网终端）、环境、信息等多维因素之间的复杂关联关系，探索群智能体之间的协同模式与制造效率、质量间的交互作用机理。利用人机物感知能力的差异性、计算资源的互补性、节点间的交互性，通过终端深度模型压缩、云边端协同自适应感知、智能体终身学习与持续演化、群智能体分布式学习等来解决单独利用某种智能难以解决的复杂问题，最终构建具有自组织、自学习、自适应、可迁移、持续学习能力的智慧空间。
  融合群体智能的制造企业智慧空间的发展有望引发制造业的重要变革，而当前的研究仍存在较大空白。制造企业智慧空间尚未形成，甚至缺少融合群体智慧的制造企业智慧空间的构建理论、分布学习方法、协同运行和持续演化机制。传统基于单点智能和集中智能解决方案难以应对复杂产品制造中的各种问题，导致复杂制造企业普遍存在群体融合差、分布协作难、适应能力弱等挑战性问题，成为未来智能制造的开放性研究课题。
  09、对我国下一代制造业发展的启示
  制造业是国民经济的主体，是立国之本、强国之基。目前，国际上工业4.0发展方兴未艾，《中国智能制造2025》已成为我国沿制造强国迈进的发展战略，打造具有国际竞争力的制造业，是我国提升综合国力、建设世界强国的必由之路。工业互联网和智能物联是智能制造的关键支撑技术，前者实现智能设备、人和数据的连接；后者则基于多源感知大数据实现对制造主体的自组织、自学习、自适应、持续演化等智慧赋能；最终将形成人、机、物群智融合的制造业智慧空间。在前面介绍智能物联网在智能制造领域前沿方向基础上，为了推动我国新一代智能制造的发展与技术落地，还需要注意从以下方面提升。
  发挥智能物联网引领作用。
  物联网、人工智能及其深度融合将成为引领未来制造业变革的关键技术。智能物联网作为物联网和人工智能结合的前沿技术在新一代智能制造中将发挥关键作用。当前工业物联网的发展正处于智能物联的初级阶段，而融合先进AI技术的高级阶段将带来生产效率的极大跃升。
  加强从0到1基础研究。
  目前我国在制造领域关键技术应用方面已取得不少进展，而在基础研究领域还相对滞后。本文介绍的GoogleDeepMind、斯坦福大学、伯克利大学等在多智能体强化学习、机器人集群协作、自适应持续演化等领域的突破性研究为未来制造业变革提供了丰富可能，而我国在基础创新方面还存在较大差距，存在大而不强、重技术轻基础的现状。因此，需要加强从0到1的基础性研究，从长远角度推动智能制造不断革新、持续发展。
  注重多学科融合人才培养。
  目前高校人才培养模式还主要面向单个学科开展，学生知识结构单一，难以满足未来对于多学科知识融合解决复杂问题的需求。以智能制造为例，涉及计算机、人工智能、物联网、机械制造、自动控制、生物学等多学科理论和知识 ，应该创新人才培养模式，促进多学科知识融合，为培养复合型创新型人才提供有效途径。
  产学研深度协同融合。
  智能制造具有很高的新技术密集度，汲取了人工智能领域最前沿的理论和技术成果。从前沿创新角度而言，高校往往具有先进的人工智能算法而苦于没有工业数据进行验证，企业则积累了大量过程数据却缺少新技术的支撑。需要打破壁垒促进高校和科研院所积极参与智能制造产业变革，创造条件促进产学研的深度协同与技术革新。
  推动新兴技术在制造业的落地应用。
  联邦学习、迁移学习、多智能体强化学习、深度模型压缩、边缘计算、云边端融合计算等智能物联网相关技术近年来不断取得新突破，在国家科研发展规划中要注重推动以上关键技术和制造业关键科学和技术问题的结合，产生示范性应用效果，进而形成新的产业链，促进制造业智慧空间的形成。