QDH可对PB级数据量实现复杂的查询和分析,且具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。
QDH套件支持低延迟、高可用,具有Exactly-Once语义的流式计算、高吞吐高并发的批处理计算、灵活的分布式机器学习计算、基于内存的图计算等多种计算模式。广泛适用于实时数仓和离线分析等领域。
QDH平台套件中的Xlearnling机器学习框架,预置了主流的Tensorflow、Caffee、MxNet、Honvord等主流机器学习/深度学习框架,并内置分布式内存参数服务器,支持十亿维度的机器学习计算。
QDH和xPolaris套件提供包括标准API、命令行、SQL、WEB控制台等作业接口,支持通过统一SQL提交流式/批处理计算任务。xPolaris提供统一的作业监控分析能力。
xPolaris组件预置了大量通用的数据操作与数据服务功能。例如:数据自动归档、冷数据自动编码转换、数据备份、数据同步等通用功能;以及数据冷热分析、操作审计、血缘分析等工具。
xManager集成基础平台的自动化部署和扩容、统一的配置管理、智能的监控告警、运行时异常检测/诊断分析、故障自愈等功能,以及运维工单/运维通告、自助监控设定、故障报告与SLA评估等运维工具集。
QDH支持独立部署和容器化部署两种方式。可以作为一种PaaS服务,通过Kubernetes实现物理资源的统一管理与分配,实现离线大数据分析业务和在线数据访问业务的混合部署。
xSecurity套件实现对QDH基础平台的安全加固,提供包括大数据4A、边界网关、代理访问在内的多种安全风险加固机制。配合容器技术实现平台对多租户访问的资源隔离。
360奇麟大数据平台以“奇麟大数据基础平台套件KDH”为中心,借助通用廉价的x86服务器硬件,搭载开源+自主开发的软件技术栈。主要提供的大数据服务包括:数据接入、数据存储、计算与资源调度、数据计算分析、平台访问与数据接口、平台运维管理、安全体系。
深度自研统一资源管理与资源调度机制,GPU统一调度,支持深度学习与大数据的融合,具备调度优化、超配机制,使得调度延迟缩短70%;Container吞吐效率提升50%;资源使用率提升20%;批流计算、机器学习,支持各种深度学习算法统一调度;计算资源支持按需横向可扩展,提供高度的隔离特性。
具备MapReduce、Spark、Presto等多样化的计算引擎,深度定制化开发,带来效率和稳定性的大幅提升,稳定性高于业界平均水平;可轻易支撑数十万/天的作业并发,引擎计算能力提升30%以上;同时提供离线后台批处理、前台交互式分析等计算能力,支持无缝调度运行在YARN、K8S等资源管理和调度系统之上。
xManager将Agent安装到各个节点(主机)上,Agent负责采集并上报各个节点的运行指标、进程指标、执行结果。xManager内置集成了大数据基础服务,也可以自定义,将自己需要集成和私有化部署的软件产品集成进来。
节点接入xManager进行管理后,Agent会定时将节点的性能指标数据及进程数据采集上报。安装大数据基础服务后,可以采集、存储服务运行时的指标,对服务进行状态监控、异常分析、风控告警等,并提供各种数据分析与可视化的能力,方便用户快速分析数据,及时发现平台问题。
xManager提供灵活的风控规则配置,对触发风控规则的指标,一方面进行告警,另一方面执行风控策略,实现问题或故障的自愈。并通过操作审计、违规阻断、安全巡检、权限控制等方式确保平台安全。
xPolaris向用户提供简单易用的资源申请/统计/资源扩容等资源管理功能。任务开发平台则提供多种编程形式,支持在线进行可视化的流程编排和代码编写,高效完成大数据离线计算和实时计算的核心业务开发。
元数据管理统一元数据视图,通过API支撑业务构建数据资产、数据管理等能力。日志采集器xCollector用于业务数据的实时采集。实时数据汇集功能,通过界面化的数据流拖拽与编排,完成数据源→数据总线→数据目标的端到端数据流。数据同步工具TransX,用于异构数据源之间的数据交换(离线)。
交互查询,通过编写和模板生成SQL,快速从各种存储中查询数据,查询结果可下载或用图表进行展示。自助分析,面向业务人员/数据开发/数据分析/数据运营等,提供数据分析和可视化展示方式。
深度自研统一资源管理与资源调度机制,GPU统一调度,支持深度学习与大数据的融合,具备调度优化、超配机制,使得调度延迟缩短70%;Container吞吐效率提升50%;资源使用率提升20%;批流计算、机器学习,支持各种深度学习算法统一调度;计算资源支持按需横向可扩展,提供高度的隔离特性。
具备MapReduce、Spark、Presto等多样化的计算引擎,深度定制化开发,带来效率和稳定性的大幅提升,稳定性高于业界平均水平;可轻易支撑数十万/天的作业并发,引擎计算能力提升30%以上;同时提供离线后台批处理、前台交互式分析等计算能力,支持无缝调度运行在YARN、K8S等资源管理和调度系统之上。
xManager将Agent安装到各个节点(主机)上,Agent负责采集并上报各个节点的运行指标、进程指标、执行结果。xManager内置集成了大数据基础服务,也可以自定义,将自己需要集成和私有化部署的软件产品集成进来。
节点接入xManager进行管理后,Agent会定时将节点的性能指标数据及进程数据采集上报。安装大数据基础服务后,可以采集、存储服务运行时的指标,对服务进行状态监控、异常分析、风控告警等,并提供各种数据分析与可视化的能力,方便用户快速分析数据,及时发现平台问题。
xManager提供灵活的风控规则配置,对触发风控规则的指标,一方面进行告警,另一方面执行风控策略,实现问题或故障的自愈。并通过操作审计、违规阻断、安全巡检、权限控制等方式确保平台安全。
xPolaris向用户提供简单易用的资源申请/统计/资源扩容等资源管理功能。任务开发平台则提供多种编程形式,支持在线进行可视化的流程编排和代码编写,高效完成大数据离线计算和实时计算的核心业务开发。
元数据管理统一元数据视图,通过API支撑业务构建数据资产、数据管理等能力。日志采集器xCollector用于业务数据的实时采集。实时数据汇集功能,通过界面化的数据流拖拽与编排,完成数据源→数据总线→数据目标的端到端数据流。数据同步工具TransX,用于异构数据源之间的数据交换(离线)。
交互查询,通过编写和模板生成SQL,快速从各种存储中查询数据,查询结果可下载或用图表进行展示。自助分析,面向业务人员/数据开发/数据分析/数据运营等,提供数据分析和可视化展示方式。
应用场景:
大规模并发场景下日志文件采集处理,并根据需要生成周期报表或实时报表。
应用价值:
资源按峰值弹性自动扩缩,自动化技术运维,大数据资源按需使用。
应用场景:
实现DNS数据/微博/微信/QQ等社交数据存储、社交网络在线分析、信息传播关键链分析等业务。
应用价值:
容纳100P总存储空间、3000台服务器,同城双活、异地容灾,支持最大3万并行任务。
应用场景:
银行信贷业务贷款人证明材料按要求长期保存,需针对电子文本进行低成本长期持久保存。
应用价值:
具备同城双活数据中心,支持自动数据冗余存储、秒级数据冗余同步。
应用场景:
本地安全大脑当前使用自维护的大数据套件。未来奇麟大数据平台将提供大数据存储、大数据计算、大数据管理等能力。
应用价值:
复用360技术中台多年来服务的经验,提升技术竞争力,释放底层资源增加业务资源投入。
应用场景:
大规模并发场景下日志文件采集处理,并根据需要生成周期报表或实时报表。
应用价值:
资源按峰值弹性自动扩缩,自动化技术运维,大数据资源按需使用。
应用场景:
实现DNS数据/微博/微信/QQ等社交数据存储、社交网络在线分析、信息传播关键链分析等业务。
应用价值:
容纳100P总存储空间、3000台服务器,同城双活、异地容灾,支持最大3万并行任务。
应用场景:
银行信贷业务贷款人证明材料按要求长期保存,需针对电子文本进行低成本长期持久保存。
应用价值:
具备同城双活数据中心,支持自动数据冗余存储、秒级数据冗余同步。
应用场景:
本地安全大脑当前使用自维护的大数据套件。未来奇麟大数据平台将提供大数据存储、大数据计算、大数据管理等能力。
应用价值:
复用360技术中台多年来服务的经验,提升技术竞争力,释放底层资源增加业务资源投入。
打开微信扫一扫 添加服务顾问
获取合作方案及产品解决方案