高创“方舟”大数据中台暨城市级异构多维大数据中台

　　一、“方舟”大数据中台适应业务

　　（一）现阶段社会治理的痛点问题

　　1.海量数据处理难度大

　　涉及相关委办局的数据已达到亿、十亿、百亿级别，且形式结构多样，急需提高采集、计算和 存储能力。

　　2.信息化基础薄弱

　　1）政府部门之间平台种类多且各自开展工作，信息无法有效整合和共享共用。

　　2）管理手段传统，基层负担重、行政效能低，无法及时反应和及早防控社会问题。

　　3）管理机制落后，无法第一时间掌握整体动态做出预警，对事件进行全过程的跟踪、监督和管理。

　　3.缺乏新的数据支撑方式

　　1）社会流动性暴露传统数据处理方式的弊端。

　　2）社会治理服务数据采集存在瓶颈，采集手段单一。

　　3）资源数据多样，标准尚未统一。

　　4.治理内容尚未整合

　　涉及国家政治安全、社会治安防控建设、打击违法犯罪、防范化解社会矛盾、保障公共安全等 多方面内容，需提升精细化管控能力。

　　（二）“方舟”大数据中台的价值

　　中台的建设根本上是为了“弥补创新驱动快速变化的前台和稳定可靠驱动变化周期相对较慢的 后台之间的矛盾，提供一个中间层来适配前台与后台的配速问题”。前台需要复用的东西都可以放到 中台来，中台的构建最终是为了提升快速响应力，赋能前台业务。数据中台能力核心在于数据复用， 直击“数据人员不懂业务，业务人员不懂数据”的痛点。

　　从业务出发，考虑社会治理问题需要的数据服务，根据服务价值采集处理数据。数据沉淀到中 台，经过治理形成前台可用的数据产品，通过 API 的方式按需或按权限分享给不同的业态去调用， 提高数据利用效率，加速业务迭代、试错和创新。

　　社会治理大数据中台重点打造社会治理公共大数据中心，为市域社会治理大数据平台、基层社 会治理平台、智慧小区等应用层提供数据服务支撑。解决了数据汇聚、清洗计算、标准化、建库建 模等问题，并最终支撑业务，赋能多种应用场景。通过大数据挖掘分析技术和 AI 技术，有针对性地 解决社会治理难题；针对不同社会治理问题场景，提供精细化的服务和管理，实现数字决策。

　　二、“方舟”大数据平台核心技术

　　（一）大数据采集 DATAX、Flume、Sqoop、ETL

　　（二）大数据预处理

　　DATAX、Spark、Flink

　　（三）大数据存储

　　GS-EDB、MYSQL、、HDFS、HBASE、Elasticsearch、Solr、KAFKA、Hive

　　（四）业务建模

　　Clickhouse、Spark

　　（五）数据查询

　　Elasticsearch、Solr、Hive、HQL

　　（六）数据可视化

　　自主研发 BI 数据分析可视化工具

　　三、“方舟”大数据平台适用技术平台

　　四、“方舟”大数据平台创新点

　　（一）技术创新

　　1.开发可视化任务平台，包含上百种数据计算组件，支持离线和实时任务的组件化配置

　　2.开发自有分布式数据存储系统，支持百亿、千亿级别的数据查询检索

　　3.开发最新的 OLAP 引擎，支持百亿数据的统计分析

　　4.全面覆盖数据治理 9 大领域，采用微服务架构，融合度高，延展性强

　　（二）业务创新

　　1.围绕政府社会治理能力现代化，结合职责职能积极开展实践和探索，深化数据“聚、通、用”， 打破“数据孤岛”，赋能多种业务，推动大数据与社会治理深度融合。

　　2.结合实际业务需求及项目特点特色，研究综治工作中大数据专题分析，并从分析结果中对社 会治理的风险进行评估，包括社会治安防控专题分析、12345 事件专项分析，对影响社会治理的各 种因素进行有效的预防和控制。

　　3. 以人、地、事、物、网、组织六大维度搭建主题仓库，对多结构、复杂且量大的全域数据进 行归类存储，实现全域社会治理业务数据多维精细管控。

　　4.利用海量数据分析挖掘能力，深度开展大数据分析研判，为综治业务提供预测、预判、预警， 并形成风险评估等分析功能，主要包括特殊人群态势监测、群体性事件预警系统、基层矛盾纠纷研 判分析、人流变化分析、易肇事肇故精神病人重点区域预警、社区矫正人员脱管预测等。

　　五、高创“方舟”大数据中台系统能力

　　（一）资源汇聚整合

　　支持多方式多格式百万、千万、十亿、百亿数据的汇聚。高创安邦托管某地级市项目日实时汇 聚量 7 亿，已入库数据总量 127 亿 4810 万。

　　（二）统一信息资源规范

　　提供 170+标准字典集、1500+标准数据项、多场景标签体系（矛排、流转）对数据资源进行标 准化清洗，统一规范。

　　（三）提供高质量数据资源

　　6 大质检维度、数十种规则方案，N 个修复组件，大幅提升资源数据质量，为决策提供准确的数据支撑。

　　（四）建立信息化管理体系

　　5 大数据仓库，深化资源库、主题库、专题库，百亿数据资产管理展示，支持部门数据互通， 打破数据孤岛，数据利用率提高 30%。

　　（五）提高政务工作前瞻性和针对性

　　BI 分析工具、AI 建模和大数据开发服务，实现智能分析决策和数据价值挖掘，提供数十种数据 可视化图表，N 个分析指标，N 个研判预警模型，覆盖 N 个业务场景。

　　六、高创“方舟”大数据中台系统优势

　　（一）产品优势

　　自主研发核心算法和数据治理、管理类工具，全 web 界面操作，易用、易懂、易维护。

　　（二）技术优势

　　优秀的算法技术团队支撑，支持多种计算和存储引擎服务，提供全链路智能大数据及 AI 开发和 治理服务。

　　（三）多场景覆盖

　　向上共享数据、服务应用，向下集中、整合数据，赋能多种应用场景。

　　（四）稳定安全

　　从系统、数据、资源等层面保障平台的全面安全性，包括数据加密、脱敏（字段级加密脱敏）、 数据权限控制、审计日志等提高数据安全性。

　　责任编辑：广汉