INNOVATION CENTER FOR TECHNOLOGY
题图来源:Gigaom
作者 | 张彦军
▌藏得这么深,还是被揪出来了
作为清华同衡技术创新中心最神秘、隐藏最深的一个部门,我们数据运维部在今年第一季度中心定了个原创文章计划的小目标后,还是被揪出来了。虽然我们平时还是比较低调的,但其实被揪出来内心还是有一点点小激动,毕竟我们也可以借此机会露露脸,稍微谈一谈我们引以为傲的高大上业务了,不然老憋着做幕后英雄多没劲是不是。
下面回归严肃脸,给大家来一波我们数据运维部的硬广,介绍一下我们部门的来龙去脉。
清华同衡规划设计研究院经过20年的发展,在规划行业内,从业务方向、员工数量及产值规模等角度均已位列前茅。我们院对信息化也相当重视,笔者从2009年毕业后有幸加入清华同衡,经历了从CAD工具到GIS数据管理与分析,再到大数据驱动定量规划的发展历程。信息化建设方面,经历了基于CAD的插件式开发,基于GIS的桌面版规划工具平台的开发,基于GIS的网页版的数据管理及可视化平台的开发,基于移动端数据采集App及微信小程序的开发,基于大数据的大屏可视化及在线分析平台的开发的信息化发展历程。
从以上历程中不难发现,GIS技术是建立在IT技术基础之上的,IT技术的发展引领了GIS技术的发展。规划GIS是GIS技术在诸多行业的应用之一,也必将随着IT技术的发展不断拓展与深化。
▲放一个我们中心的大logo
清华同衡技术创新中心于2015年成立,依托清华大学深厚的学术积累及清华同衡对城市的深刻理解,利用多源数据开展城市创新型智库业务,是国内甲级规划院中首家成立的专业大数据研发部门。由于我们中心的业务跟传统规划业务有所不同,利用大数据分析辅助开展城市发展、规划和管理服务,业务方向遍布人口、产业、空间、交通、住房、新区等领域,对数据需求多样、对数据需求及时,对数据需求量大,所以我们数据运维部于2016年应运而生。虽然是中心的核心部门,但我们行事比较低调,主要在后台为中心其他部门提供支撑。
中心从成立到现在,在数据、工具、模型算法方面都有大量的积累。从Hadoop大数据生态相关技术在国内大规模的推广应用后,在2016年,我部基于Apache开源的Hadoop版本,搭建了3个节点的大数据集群,随着数据汇聚越来越多,到目前已扩展到20个节点。
▌为什么需要数据运维?
谈完我们数据运维部的诞生史,下面我们再聊聊“为什么需要数据运维”这个问题。
想要用大数据分析辅助开展城市发展、规划和管理服务,就得用到城市数据。但中国的城市数据大多在各级政府部门的数据中心内,获取难度较高,即使配合做项目中,也会走一系列审核、解密、抽样流程,只能拿到一些样例数据,即使能拿到,数据也是静态的。比如说哪里有什么设施,一栋楼就是一个点或者一个立方体,一条记录,好一点的话,这栋楼会挂接一些建筑量的属性。我们要想分析城市、刻画城市离开数据无从谈起,巧妇难为无米之炊,不得不另外想办法。
中国网络基础设施良好,庞大的移动互联网用户造就了一个新的数据环境,是其他任何国家不能具备的。国民不仅生活在实体空间中,还生活在移动互联网中,人人成为一个传感器,会无声无息留下海量的行为数据,这些数据刻画了城市的运行状态,深挖的话能够发现城市背后的运行规律。
▲生活在移动互联网中,人人成为一个传感器(图片来源:9to5mac.com)
广大人民群众贡献的数据是动态的,比如这个设施周围今天来了多少人,这些人从哪里来的,这些人在这个设施周围呆了多久等,这些数据政府没有,谁有?BAT等互联网企业或通信运行商中。一句话讲,互联网上的数据知道城市在如何运行,但政府可能并不知道。
因此,我们处在一个新的数据环境当中,这些新的数据构建了当前主要的城市数据资源,也是我们业务中最常用的数据源,获取不易,定当惠存,如能从时空多个维度持续汇聚,对城市研究善莫大焉。
当前我部汇聚了人口、产业、房价、交通、环境等数据量约有20TB。数据类别有以下几类:基础地理信息、城市建筑边界、点评数据、房地产数据、贸易数据(海关及公路货运)、互联网定位数据、环境数据、交通出行数据、企业信息、统计年鉴、物联网监测数据、遥感数据(用地及土地覆盖)、知识产权数据(专利)等。这些数据是我们的核心资产,要管好,就要有体系,有团队,有制度,有管理平台。
▲我们的数据资产管理体系
数据资产管理体系,以数据架构管理为核心,涵盖数据标准、数据生命周期、数据分布、数据质量、数据安全以及数据操作等数据资产管理的各个方面。数据资产管理平台是数据资产管理体系的集中体现,将融合数据资产管理体系中的各个方面,也是我部现在正做的,将来也会持续做的事。
▌规划院的数据运维与互联网、IT企业有何差别?
互联网、IT企业的运维部门,也会因企业的规模、业务而大不相同,但目标是共通的,就是以服务为中心,以稳定、安全、高效为基本点,确保公司的业务能够7×24小时为用户提供高质量的服务。
初创的互联网公司只有系统运维,在产品出来后才会有应用运维。活下来之后,随着产品线不断丰富,产品用户数量激增,运维岗位也会逐步划细,常见的运维团队的工作分类和职责,如下图。
▲常见的运维团队的工作分类和职责(图片来源:https://www.jianshu.com/p/07374ed16a73)
与互联网、IT公司的运维职能相比,由于我院有IT技术部门,服务器偏硬件部分的运维(即上图中的系统运维(SYS)),如数据中心建设、巡检、防火墙、交换机、路由、耗材更换等由他们来完成,中心数据运维部承担的运维偏应用和数据,即应用运维(SRE)和数据库运维(DBA),新增了数据采集职能。这是由企业的性质、制度、组织架构决定的,不能照搬互联网企业、创业公司、IT系统集成商、政府信息中心等的运维部门的运行模式,应该结合企业信息化的长远规划、企业业务发展趋势、企业组织架构、企业团队能力、企业投入成本等因素,制定自己的运维制度,选择灵活可扩展的运维模式。
数据运维部结合自身的实际情况,确定了以下主要职能:服务器管理、应用程序运维管理、数据采集、数据运维管理。不求高大上,以支撑住业务、适当超前业务发展为主,在专精细分程度、自动化程度方面,我们还有很大的潜力可以挖掘。目前更多的精力是放到数据采集及数据运维方面,以更好地维护、更新、积淀数据,规范数据管理,提炼数据价值,支撑住多元业务数据需求。
▲清华同衡创新中心数据运维部职能
行文至此,我们数据运维部的硬广也暂时告一段落。前面说了我们今年会有一个原创文章的小目标,后面我部还会陆续推出系列技术文章,同行或朋友如有兴趣,可以共同探讨规划行业下数据运维这个话题。
免责声明:本文所用视频、图片、文字如涉及作品版权问题,请第一时间告知我们,我们将根据您提供的证明材料确认版权并按相应流程获取授权或立即删除内容!
清华同衡技术创新中心根植于清华大学深厚的学术积累及对城市的深刻理解,利用多源数据开展城市创新型智库业务。
综合的知识集成
由具有丰富经验的专家领衔,拥有规划、交通、数学、计算机等多学科交叉背景人才优势,中外城市发展相关专业理论研究与技术积累。
雄厚的研发能力
具备丰富的专业算法与模型、跨部门跨学科综合分析能力及多种工具与系统开发经验,可对城市规划、城市治理、政策实施进行模拟和评估。
广泛的数据资源
丰富的城市相关数据资源合作,政府大数据与社会大数据的融合与积累。
专业的解决方案
提供包含城市问题研究、大数据咨询、平台系统建设的一体化解决方案。
地址:北京市海淀区清河中街清河嘉园东区甲1号楼16-25层 邮编:100085 电话:010-82819000 备案序号:京ICP备 05030709号-1