高校大数据应用与服务平台解决方案

用户需求

1、在日常的教学和管理中积累了大量的历史数据，这些数据资源具有很高的价值，如何让这些数据发挥价值，为高校各项工作提供服务。

2、可以方便地管理和存储学校发展过程中产生的各类源数据，并可对各类源数据进行采集、清洗、转换、质量处理，构建大数据数据仓库。

3、采用数据挖掘、数理统计等相关技术，构建大数据分析框架和模型，提取数据资源中隐含的、未知的、具有潜在应用价值的信息和规律，用于精准化进行人员管理和人才培养工作，提高学生服务质量，支撑领导辅助决策，提升学校核心竞争力。

解决方案

一、方案背景及趋势：

“云计算，大数据”是当前最大的趋势，如今的校园信息化建设已然进入到了“智慧校园”的时代。构建“互联网+”信息化建设格局，以数字校园、服务校园、感知校园为主线，用互联网思维推进校园信息化建设，巩固现有成果、整合系统资源、扩展应用覆盖、强化科学地决策分析，让信息化技术充分渗透到部门各项工作。深层次挖掘、提炼和分析校园各项运行数据，为校领导、行政人员、教职工、学生、校友、家长、校盟、公众等各类人群提供一站式、全方位、多层次信息服务，对校园工作和师生状态适时监控、主动预警，全面提升学校整体管理和服务能力以及对上层辅助决策的支持，形成主动感知式智慧校园。

二、产品方案定位：

大数据应用与服务平台目前在高校信息化的定位是怎么样？数字校园时代的基础平台：数据中心、信息门户、身份认证；在智慧校园时代越来越多的学校已经将“大数据应用与服务平台”做为校园信息化基础平台之一，做为信息化的一个核心工作。大数据应用与服务平台可以说是数据服务的集中展示窗口，所有的信息资源数据分析挖掘结果最终呈现都需要汇聚到该平台上。

三、产品方案架构：

首先面向用户提供各种类型的应用场景，如基建情况、学生画像、教师画像、招生就业、学科情况、能源消耗、网络消耗、食堂消费、图书馆利用等，可按列表、表单、报表（柱状图、饼状图、折线图、刻度盘、数据表格）等多种形式进行数据统计结果展现，支持统计图表与对应统计报表同页面展示，支持统计报表在线导出，支持图表展现方式切换，如从柱状图转变为折线图展现，多角度反映数据间关系。其次是大数据门户，大数据门户基于HTML5技术，支持PC、智能手机、平板电脑访问，以图表和数据相结合的方式展示重点关注内容。再下层是平台的支撑层，提供灵活的数据挖掘算法库、数据源、统计条件配置、展示页面配置等功能。支持数据源定义、SQL语句配写、图表元素配置、图形类型配置、查询条件配置。最后是接口层，对各类系统进行接口封装，尽可能地抽象和概括消息和服务，以支持通过统一的方法构建出不同场景下的具体应用。

针对智慧校园新的场景需求，适时推出大数据应用与服务平台产品。该产品是面向高校大数据分析应用与服务信息化建设，主要包括三大方面的价值；其一，提供校园人流管理、个人轨迹追踪、群体轨迹分析等综合的大数据应用成果，推动学校全面创新；其二，提供一整套高效的数据挖掘分析工具链，帮助学校高效地实现应用场景的开发和对接；其三，促进校情档案建立、促进工作风险防范、促进管理水平提升。

四、产品方案特色：

1、数据兼容性

支持针对不同类型、不同结构的数据，采用对应的数据接入技术与工具进行数据采集，并存入对应主题库中。采用XML、WEBService作为数据传输的标准。采用JMS消息传递机制建立统一的数据传输与数据交换规范，实现不同类型、不同结构的数据交换，具有良好的扩展性。

2、可视化采集

支持可视化采集功能，通过可视化采集工具，可以看到不同的业务系统的数据抽取情况，形成采集报告，做整体的可视化监控。可视化内容包括：对象类型、对象名称、采集类型、采集状态、采集开始时间、采集结束时间、执行时间、总量、新增等维度。实现数据异常自动发现、推动告警给相关维护人员、异常消失后自动清除告警、数据变更后自动提醒功能。

3、数据存储

主题数据以云存储、分布式文件存储等方式进行存储，可保证数据组织与读取效率。产品适应于大数据处理要求，能支持PB级数据管理。

4、数据治理

对数据进行治理，如数据缺失、数据重复、数据错误、数据不可用等，对缺失数据提供从业务系统中再次导入、手工补入、根据逻辑补值、放弃等治理方法，对重复数据提供自动去重、手动去除、根据时间和业务逻辑去除等治理方法，对错误数据提供区间限定去除、规则修复、人工干预、历史数据近值等治理方法，对数据不可用提供按规则适配、关键字匹配、枚举转换等治理方法。

5、数据分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求。

6、数据挖掘

与统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，实现一些高级别数据分析的需求。

7、大数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

产品及技术优势

大数据应用与服务平台整体方案采用采用了Hadoop开源系统，充分利用了HDFS的可靠性。

具备如下产品技术特点：？

1.准确性：将数据文件分割成多个数据块存储在每个数据节点上，每个数据节点存储着来自多个文件的数据块，同时每个数据节点上也会存储这些数据块的多份副本，保证后续数据操作的准确性。

2.开放性：提供基于oauth2.0的开放接口，可集成第三方的BI分析产品（如Tableau、Qlik、PowerBI等），用于学校更好地开展数据分析、建模工作。

3.灵活性：支持包含特征工程、统计算法、分类算法、回归算法、时序分析、关联推荐等多种优化的数据挖掘算法。

4.安全性：平台设计充分考虑信息资源的共享，注意信息资源的保护和隔离，包括数据存取的权限控制、数据防篡改等。

创新特色

1、数据地图：面对校领导和业务部门，以动态化、形象化的方式实时展示各部门数据生产、共享、调用与预警情况，方便工作人员介入校园数据交换过程。形成项目建设成果的可视化呈现，从而进一步激发各部门数据共享热情，推动数据质量提升。

2、快速全文检索：在传统全文检索引擎Lucene的倒排索引的基础上，实现了分块索引，能够针对新的文件建立小文件索引，提升索引速度。然后通过与原有索引的合并，满足检索响应快、实时高性能、海量存储等要求。

3、预警报告单：可提供学业预警报告单，支持报告在线预览、打印、批量打印，以及导出。

应用效果及案例

一、应用效果：

1、江苏科技大学：全校超过92%的师生使用大数据应用与服务平台，每天超过30%的师生至少使用一次平台，已成了学校掌握校情信息的主要渠道。

2、西安培华学院：已经通过对教学过程、学习行为、学习成绩、教学满意度、消费情况、上网情况的综合分析，直观了解优势和不足，为精准化人才培养工作提供保障。

二、大数据应用与服务平台案例：

江苏科技大学、西安培华学院、浙江中医药大学、重庆第二师范学院、中北大学、皖南医学院、武汉铁路职业技术学院等，全国超过50所高校使用。

高等院校用户评价

1、江苏科技大学：能够教育管理的全面创新，在高校中具有广阔的应用前景；

2、西安培华学院：平台开放的设计，非常吻合高校智慧校园建设的思路。