大数据基础服务-产品概述

易用性
成本
安全
按照所选硬件机型(CPU、内存、磁盘),所选软件组合和版本,进行自动化部署。
可以按需创建集群,即离线作业运行结束就可以释放集群。可以动态的在需要的时候增加节点。 也可以选择包年包月长期运行
整合 RAM 资源权限管理系统,可以通过主子账号对服务权限进行整合 RAM 资源权限管理系统,可以通过主子账号对服务权限进行隔离

大数据基础服务-产品功能

自动化

自动化按需创建集群

自由选择机器配置(CPU,内存)和磁盘类型和容量
自由选择服务器规模,包括 Master 和 Core 的数量
根据业务量的上升可对集群动态扩容
自由选择开源大数据生态软件组合和版本,目前包括 Hadoop 和 Spark
自由选择启动集群的方式,分为临时集群和长时间运行集群

作业类型

支持丰富的作业类型

MapReduce:离线处理作业
Hive:关系型分析查询作业
Pig:数据清洗,ETL 等脚本作业
Spark MLlib:基于 Spark 的机器学习作业
Spark GraphX:基于 Spark 的图处理作业
Spark Streaming:基于 Spark 的在线/流式 作业
Spark SQL &DataFrames:基于 Spark 的数据科学交互式作业

作业执行

灵活的作业执行计划

将作业(包括 Hadoop/Spark/Hive/Pig)任意组合成执行计划
执行计划的执行策略有两种,分为立即执行和定时周期执行

流计算-产品特点

SQL化

提供SQL语义的流式数据分析能力(NBD SQL),大幅降低流计算分析门槛,轻松完成流计算分析

事件服务

提供自定义事件服务引擎,针对特定场景进行预警提醒。

一键接入

一键接入多种数据源,包含各种数据库,以及api\rest\webservice等接口

实时多维分析

提供自定义多维分析模型,通过流计算实现CUBE数据加工,支持海量数据的计算。

流计算-精心打造功能

性能优越

作业可达百万吞吐,计算可达秒级延迟,让流计算真正规模化、实时化 计算可水平扩展, 完全弹性伸缩扩展,让流计算真正弹性化、自动化 ,让流计算真正普世化、平民化

稳定安全

Exactly-Once语义保证数据计算不重不丢,数据质量严格保证。 分布式集群计算无单点,故障无需人工干预自动恢复。 计算资源租户隔离,杜绝不同用户间相互干扰。

简单易用

SQL无需学习门槛,即学即用、快速上手,让你专注于业务逻辑实现。 提供全托管的在线开发平台,集成流式任务开发、调试、运维,方便易用。 自带多种辅助小功能,包括在线调试、智能提示、在线运维,让开发、运维工作更加贴心顺手

功能强大

支持SQL进行实时及离线数据清洗、数据分析、数据同步、 异构数据源计算等相关功能 ,以及各种流式及静态数据源关联查询

DataPipeline-业务挑战

随着电商、线上平台蓬勃发展,数据散落于企业内

数据需求变化快

业务部门的数据需求变化快且变化频繁

数据获取周期长

数据获取周期长,难以将业务系统产生的数据收集上来

海量数据支持弱

对海量数据的支持能力弱,行业信息系统众多

DataPipeline-传统数据融合方案

持续投入高

开发、维护、扩展/升级各个环节均需人员和资金的持续投入

经验难以延续

单机架构的开发经验无法延续到分布式架构

开发维护量大

从平台开发到日常的管理运营

存在风险

人员变更、数据源变化

依赖个体技术能力

平台自身适用范围较小

实时性弱

虽然具备一定的实时性

可用性无保障

可用性没有保障

DataPipeline-新型数据融合方案
itemImage
数据需求响应的敏捷化
目前的数据交换体系高度定制化
itemImage
开发与维护的轻量化
亟需从上游取数
itemImage
平台的可扩展性
提高数据交换平台的可扩展性
itemImage
交换过程的可视化
目前的数据交换体系缺少对交换过程的有效监控

DataPipeline-方案概述

能源行业
零售行业
互联网行业
制造业
依托 DataPipeline 流式数据处理框架,通过 CDC 机制, 实时采集机器运行时产生的时序数据,监控机器的健康度,实现故障预警,保证能源持续稳定生产。
基于 DataPipeline 的集群架构,从容应对高并发异构数据源海量数据的实时集成, 7*24 小时稳定持续提供有效融合和清洗服务,帮助零售企业降低成本,实现精细化运营。
利用 DataPipeline 图形化的界面配置数据管道,无需编程,快速高效响应业务部门数据需求的变化, 减轻数据团队压力,实时应对市场环境变化,为决策提供数据支撑。
利用 DataPipeline 灵活的数据库连接器,对企业内外多种数据源进行快速连接,轻松接入生产系统数据, 快速抽取并分发数据,可视化监控、管理数据分发过程,为安全高效生产环境提供数据支撑。

联系我们

电话:021-51105660

邮箱:markting@newtouch.com

地址:上海市浦东新区峨山路91弄98号陆家嘴软件园1号楼4F-6F

Copyright © 版权所有2011-2021 上海新致软件股份有限公司

ICP证:沪ICP备10012409号-3

沪公网安备 31011502004784号

官网微信公众号

官方微博