大数据时代已经到来,给我们的生活、工作、思维方式都带来变革。如何寻求大数据后面的价值,既是机遇又是挑战。不管是金融数据、还是电商数据、又还是社交数据、游戏数据… … 这些数据的规模、结构、增长的速度都给传统数据存储和处理…
图解YARN--大数据平台技术栈
今天就来说说其中的YARN! 为什么会产生YRAN?这个与MapReduce1.x的架构有关,正是因为MapReduce1.x存在许多的问题,才会产生 YARN。 MapReduce1.x的架构如下: &n…
Hive介绍与核心知识点--大数据技术栈
回顾:大数据平台技术栈 (ps:可点击查看),今天就来说说其中的Hive! 作者:高广超,多年一线互联网研发与架构设计经验,擅长设计与落地高可用、高性能、可扩展的互联网架构。目前从事大数据相关研发与架构工作。 https…
一份超详细的 Spark 入门介绍
Apache Spark 是 UC Berkeley AMP Lab 开源的类 Hadoop MapReduce 的通用并行框架,是专为大规模数据处理而设计的快速通用的计算引擎。 Spark 是目前最流行的批流统一…
分布式存储 Ceph 介绍及原理架构分享
▍阅读索引 1. Ceph 架构简介及使用场景介绍 1.1 Ceph 简介 1.2 Ceph 特点 1.3 Ceph 架构 1.4 Ceph 核心组件及概念介绍 1.5 三种存储类…
一文讲明白、云计算、大数据、人工智能
原标题:终于有人把云计算、大数据和人工智能讲明白了 作者介绍 刘超,《Lucene应用开发揭秘》作者。 今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:…
大数据对计算体系带来的挑战以及应对策略
围绕大数据最新技术创新与成就,诸多学界、产业界、政界人士纷纷参与交流。“5G+大数据推动智慧社会数字化转型论坛”上重点谈到了大数据对计算体系带来的挑战以及应对之法 梅宏作为大数据领域权威专家,对大数据学术研究、工具开发等…