制造企业面临的一道难题——数据采集!
数据采集一直是困扰着所有制造工厂的传统痛点 ,自动化设备品牌类型繁多,厂家和数据接口各异,国外厂家本地支持有限,不同采购年代。即便产量停机数据自动采集了,也不等于整个制造过程数据都获得了,只要还有其他人工参与环节,这些数据就不完整。
- 文章信息 -
本文引自:盖勒普。
工业数据采集类型
互联网的数据主要来自于互联网用户和服务器等网络设备,主要是大量的文本数据、社交数据以及多媒体数据等,而工业数据主要来源于机器设备数据、工业信息化数据和产业链相关数据。
从数据采集的类型上看,不仅要涵盖基础的数据,还将逐步包括半结构化的用户行为数据,网状的社交关系数据,文本或音频类型的用户意见和反馈数据,设备和传感器采集的周期性数据,网络爬虫获取的互联网数据,以及未来越来越多有潜在意义的各类数据。主要包括以下几种:
海量的Key-Value数据
在传感器技术飞速发展的今天,包括光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的工业传感器在现场得到了大量应用,而且很多时候机器设备的数据大概要到ms的精度才能分析海量的工业数据,因此,这部分数据的特点是每条数据内容很少,但是频率极高。
文档数据
包括工程图纸、仿真数据、设计的CAD图纸等,还有大量的传统工程文档。
信息化数据
由工业信息系统产生的数据,一般是通过数据库形式存储的,这部分数据是最好采集的。
接口数据
由已经建成的工业自动化或信息系统提供的接口类型的数据,包括txt格式、JSON格式、XML格式等。
视频数据
工业现场会有大量的视频监控设备,这些设备会产生大量的视频数据。
图像数据
包括工业现场各类图像设备拍摄的图片(例如,巡检人员用手持设备拍摄的设备、环境信息图片)。
音频数据
包括语音及声音信息(例如,操作人员的通话、设备运转的音量等)。
其他数据
例如遥感遥测信息、三维高程信息等等。
工业数采与设备互联都是智能制造的基础和先决条件。 一些先进的智能工厂已开始采用智能传感器、工业网关等技术对工业设备进行数字化改造,升级各类信息系统,推动工厂全流程数据采集。综合应用5G、时间敏感网络(TSN)、工业无线、边缘计算等技术,推动IT与OT网络融合,实现工业多源异构设备的全连接。
数据采集的方法
传统的数据采集方法包括人工录入、调查问卷、电话随访等方式,大数据时代到来后,一个突出的变化是数据采集的方法有了质的飞跃,下面所介绍的数据采集方式的突破直接改变着大数据应用的场景。
1、传感器
传感器是一种检测装置,能感受到被测量的信息,并能将检测感受到的信息,按一定规律变换成为电信号或其他所需形式的信息输出,以满足信息的传输、处理、存储、显示、记录和控制等要求。在生产车间中一般存在许多的传感节点,24小时监控着整个生产过程,当发现异常时可迅速反馈至上位机,可以算得上是数据采集的感官接受系统,属于数据采集的底层环节。
传感器在采集数据的过程中主要特性是其输入与输出的关系。
其静态特性反映了传感器在被测量各个值处于稳定状态时的输入和输出关系,这意味着当输入为常量,或变化极慢时,这一关系就称为静态特性。我们总是希望传感器的输入与输出成唯一的对照关系,最好是线性关系。
一般情况下,输入与输出不会符合所要求的线性关系,同时由于存在这迟滞、蠕变等因素的影响,使输入输出关系的唯一性也不能实现。因此我们不能忽视工厂中的外界影响,其影响程度取决于传感器本身,可通过传感器本身的改善加以抑制,有时也可以加对外界条件加以限制。
2、RFID技术
RFID(Radio Frequency Identification,射频识别)技术是一种非接触式的自动识别技术,通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信,达到识别目的并交换数据。RFID技术可识别高速运动物体并可同时识别多个标签,操作快捷方便。
在工作时,RFID读写器通过天线发送出一定频率的脉冲信号,当RFID标签进入磁场时,凭借感应电流所获得的能量发送出存储在芯片中的产品信息(Passive Tag,无源标签或被动标签),或者主动发送某一频率的信号(Active Tag,有源标签或主动标签)。
阅读器对接收的信号进行解调和解码然后送到后台主系统进行相关处理;主系统根据逻辑运算判断该卡的合法性,针对不同的设定做出相应的处理和控制,发出指令信号控制执行机构动作。
RFID技术解决了物品信息与互联网实现自动连接的问题,结合后续的大数据挖掘工作,能发挥其强大的威力。
数据采集技术难点
在当今的制造业领域,数据采集是一个难点。很多企业的生产数据采集主要依靠传统的手工作业方式,采集过程中容易出现人为的记录错误且效率低下。
有些企业虽然引进了相关技术手段,并且应用了数据采集系统,但是由于系统本身的原因以及企业没有选择最适合自己的数据采集系统,因此也无法实现信息采集的实时性、精确性和延伸性管理,各单元出现了信息断层的现象。
技术难点主要包括以下几方面:
1、数据量巨大
任何系统,在不同的数据量面前,需要的技术难度都是完全不同的。
如果单纯是将数据采到,可能还比较好完成,但采集之后还需要处理,因为必须考虑数据的规范与清洗,因为大量的工业数据是“脏”数据,直接存储无法用于分析,在存储之前,必须进行处理,对海量的数据进行处理,从技术上又提高了难度。
2、工业数据的协议不标准
互联网数据采集一般都是我们常见的HTTP等协议,但在工业领域,会出现ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各类型的工业协议,而且各个自动化设备生产及集成商还会自己开发各种私有的工业协议,导致在工业协议的互联互通上,出现了极大地难度。
很多开发人员在工业现场实施综合自动化等项目时,遇到的最大问题及时面对众多的工业协议,无法有效的进行解析和采集。
3、视频传输所需带宽巨大
传统工业信息化由于都是在现场进行数据采集,视频数据传输主要在局域网中进行,因此,带宽不是主要的问题。
但随着云计算技术的普及及公有云的兴起,大数据需要大量的计算资源和存储资源,因此工业数据逐步迁移到公有云已经是大势所趋了。但是,一个工业企业可能会有几十路视频,成规模的企业会有上百路视频,这么大量的视频文件如何通过互联网顺畅到传输到云端,是开发人员需要面临的巨大挑战。
4、对原有系统的采集难度大
在工业企业实施大数据项目时,数据采集往往不是针对传感器或者PLC,而是采集已经完成布署的自动化系统上位机数据。
这些自动化系统在部署时厂商水平参差不齐,大部分系统是没有数据接口的,文档也大量缺失,大量的现场系统没有点表等基础设置数据,使得对于这部分数据采集的难度极大。
5、安全性考虑不足
原先的工业系统都是运行在局域网中,安全问题不是突出考虑的重点。
一旦需要通过云端调度工业之中最为核心的生产能力,又没有对安全的充分考虑,造成损失,是难以弥补的。
图解智能制造人才招聘:七成岗位月薪过万,珠三角职位占两成
近期,人社部等九部门发布《加快数字人才培育支撑数字经济发展行动方案(2024—2026年)》(以下简称《行动方案》),旨在发挥数字人才支撑数字经济的基础性作用,为高质量发展赋能蓄力。《行动方案》指出,要聚焦大数据、人工智能、智能制造等相关领域,多方面发力构筑人才“蓄水池”。其中,在智能制造领域人才需求缺口大,根据人力资源与社会保障部的数据分析预测,到2025年,将需要900万人才,而人才缺口预计将达到450万人。
那么,智能制造相关人才需求情况具体如何?南都大数据研究院从知名互联网招聘平台上采集了近1000条(截至今年4月)智能制造相关招聘信息,哪些岗位需求最新最热门?薪资待遇如何?一起来看。
机械重工 行业 人才需求高
智能制造 工程师岗位占比 近四成
“我国智能制造装备产业规模已经达到了3.2万亿元以上。”工业和信息化副部长单忠德近期在国新办举行的新闻发布会上表示,智能制造是实现我国制造业由大变强的核心技术和主线,是制造强国建设的主攻方向,也是推进新型工业化的重要任务。近年来,随着传统制造业数字化、智能化转型需求不断释放,各细分行业的智能制造人才需求都呈现出“加速度”,哪些行业领域最需要智能制造人才?
从南都大数据研究院采集的招聘职位数据来看,机械/设备/重工、计算机软件、新能源是智能制造人才需求最大的三个行业,占比分别达18.7%、10.9%和10.1%。除上述行业外,仪器仪表/工业自动化、汽车、半导体/集成电路和通信/网络设备等行业也在积极网罗智能制造相关人才。
具体哪些岗位人才需求最为热门呢?根据南都大数据研究院采集数据,智能制造工程师类的招聘职位数占比最高,达到近四成(37.31%),典型岗位包括算法工程师、MES系统工程师、电气工程师、精益制造工程师、数字化工程师、智能化工程师、Java开发工程师、人工智能工程师和智能制造工厂专家等等。
其次是对项目管理、产品经理类的岗位需求量也很大,占比13.29%。机械设计/制造类岗位需求占比有7.7%。近年来出现的新岗位——智能制造咨询师、规划师和研究员类岗位也占比较高,达到7.1%。此外,销售类岗位占比也排名前五,为2.72%。
行业内 岗位近七 成月薪过万
对MES、自动化 及 计算机技能需求高
智能制造人才的薪酬如何?梳理发现,近七成(67.23%)招聘职位开出万元以上月薪,超六成(60.73%)招聘职位月薪在1.5万元以上;月薪超2万元的招聘职位则占比超四成(41.99%),主要包括高级数字化工程师、智能制造工程师、资深硬件工程师、MES产品经理、自动化专家等岗位;部分智能制造企业的“智能制造数字化专家”“电子高级经理”等职位起薪点更在3万元以上,占比也达到了16.92%。
在针对招聘人员需要掌握的技能方面,要求掌握MES系统技能的占比最高,占比达15%,据了解,MES(Manufacturing Execution System)智能制造系统,是一种集成了信息技术、自动化技术和管理技术的智能化制造管理系统。它以实时监控和控制生产过程为核心,旨在提升生产效率、降低生产成本、改善产品质量。在当前全球制造业竞争激烈的环境中,MES智能制造成为提升企业竞争力的重要利器。而实现MES智能制造的关键技术主要包括物联网、大数据分析、人工智能、云计算和自动化等技术,从南都大数据研究院采集的数据来看,智能制造相关岗位人才需要的技术中,自动化相关技能占比也高达14.7%,计算机、电气、大数据等技能需求的占比均超过8%;值得注意的是,各类操作系统的熟识成为岗位技能需求的热词,要求掌握CAD(计算机辅助设计)、PLC(可编程逻辑控制器)、ERP(企业资源规划系统)、WMS(仓库管理系统)、PLM(产品生命周期管理)等工业自动化领域系统运用技能的职位需求占比也均在6%-7%之间。此外,精益生产、深度学习、电路设计、机械工程、机器人算法、数据分析、物联网、Python、Java、智能化设计、机器学习、信息化等技能也在招聘岗位需求中频频出现。
在2016年12月8日工业和信息化部和财政部发布的《智能制造发展规划(2016-2020年)》中,智能制造技术包括自动化、信息化、互联网和智能化四个层次。智能制造产业链涵盖智能装备(工业机器人、数控机床、服务机器人、其他自动化装备),终端通信及设备(机器视觉、传感器、RFID、工业以太网)、工业软件(ERP/MES/DCS等)、3D打印以及将上述环节有机结合的自动化系统集成及生产线集成等,因此在针对智能制造招聘时要求掌握的技能点也更加专业化。
中小型企业 市场 占比近半
珠三角等制造业 发达地区 需求高
智能制造人才需求最多的企业规模分布如何?数据显示,企业规模在100-499人的数量最多,5000-10000人的数量最少,500人规模以下中小企业几乎占整个需求市场的50%。2024年4月,工业和信息化部工业文化发展中心AI应用工作组联合猎聘大数据研究院发布的《智能制造关键数字技术人才供需数据报告》也显示,制造业中小企业释放的智能制造关键数字技术人才需求占比超过一半,均高于大企业人才需求占比,彰显中小企业就业蓄水池的作用。
不过,e-works研究院发布的一份《制造企业智能制造人才培养白皮书》(2023年)中调查发现,仍有超过15%的企业智能制造尚未起步或者计划起步,接近50%的企业处在单点/局部部署阶段,我国制造企业的智能制造发展空间较大。中商产业研究院发布的《2022-2027年中国智能制造装备行业分析及发展报告》显示,2022年我国智能制造装备市场规模达到2.68万亿元,同比增长10.74%。中商产业研究院预测,2024年将达3.4万亿元。
那么,哪些城市的智能制造岗位需求更加热门?从城市分布来看,与国家先进制造业集群省级分布具有一定的相关性,上海、江苏、广东、浙江等先进制造业集群较多的区域智能制造人才需求占比也较高。在2022年工业和信息化部发布的《关于22年度智能制造示范工厂揭榜单位和优秀场景名单的公示》中,上海、广东、浙江分别有3、3、4家企业获得“2022年度智能制造示范工厂”称号,其中上海还有12家企业获“2022年度智能制造优秀场景”称号。这些地区在原本智能制造产业发展的基础上积极落实政策,进一步发挥着示范工厂的带头作用,如上海市经济信息化委关于印发《2023年度上海市智能工厂名单》的通知。
比如,广东省国家先进制造业集群有7个,根据南都大数据研究院采集数据,排名前10的热门城市中,广东省有深圳、东莞、广州、佛山4个城市上榜,除佛山排名第九外,另外3个城市均需求量排名前5;如果从整个珠三角来看,智能制造人才职位占比超两成(24.47%)。有10个国家先进制造业集群的江苏省在智能制造人才需求热门城市排行榜中有2个城市上榜,分别是苏州岗位需求达7.3%,排行第二,无锡岗位需求达4.2%,排行第六。值得一提的是,北京排名第七,相对靠后,主要是源于首都发展定位,一般制造业企业逐步疏解退出北京。
出品:南都大数据研究院
数据采集分析:南都记者熊润淼
实习生蒋佳轩、周惠琪、廖敏菊
设计:何欣
数据来源:智联招聘、前程无忧、BOSS直聘、国聘网
相关问答
什么是 智能制造 ,到底能为企业带来什么?提到智能制造,我想先讲一下"工业4.0"。2011年汉诺威工业博览会上,德国业界提出了工业4.0的概念,本质是通过物联网等技术提高德国制造业水平。而工业4.0的核心...
智能制造 技术的目的是什么? - 懂得智能制造技术(IMT)旨在将人工智能融入制造过程的各个环节,借助模拟专家的智能活动,取代或延伸制造环境中人的部分脑力劳动智能制造技术(IMT)旨在将...
智能制造 是什么?智能制造到底是什么?当前,智能制造成为业界关注的热点,但是智能制造究竟是什么?又包含哪些范畴呢?今天,我们就站在制造企业的角度,来系统地分析一下这些...智能...
智能制造 专业前景如何?就业方向在哪?智能制造相关的行业以及产业有很多的分支涉及到的细节是很多的:智能工厂的架构,底层到顶层:自动化的物流,自动化的设备,自动化的产线,智能设备控制系统,M...1)...
智能制造 股票龙头股有哪些?-股票知识问答-我爱卡[回答]智能制造股票龙头股有这两类:1.埃斯顿,股票代码是002747:公司将投入募集资金于机器人智能制造系统研发和产业化,以及机器人智能化工厂升级改造项目...
智能制造 最早由哪个国家提出?日本应该是世界上最早由政府推进智能制造计划的国家,1989年即提出“智能制造系统”国际合作计划(IMS计划),是当时全球制造领域内规模最大的一项国际合作研...
智能制造 ,企业该做什么?我从事工厂自动化引进和改造己有五六年了,在这里,结合我的工作经验说说我个人的看法。智能制造是融合了信息技术、先进制造技术、自动化技术和人工智能技术。...
智能制造 工程专业是冷门吗?不是冷门专业,发展前景不错,智能制造专业从事智能制造工程、机电及自动化工程等领域的智能产品设计与制造、数控机床和工业机器人的安装、调试、维护与维修、...
智能制造 与自动化就业前景?智能制造工程专业是比较新的专业,与大数据、人工智能专业一样,都是为了适应产业结构升级而推出的专业,从发展前景来看,智能制造工程专业是不错的选择。虽然...
智能制造 专业好学吗?1、智能制造专业不好学。智能制造专业是以培养轨道交通装备制造与检修技术、数控加工技术、机电技术、焊接技术、计算机应用技术、智能制造技术应用、汽车运用...