实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
SparkStreaming实时消费kafka数据，结合redis实时统计pv,uv，结果保存到mysql。
Spark RDD详解 | RDD特性、lineage、缓存、checkpoint、依赖关系
RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只...
聊聊Spark的分区、并行度 —— 前奏篇
聊聊Spark的分区机制，以及通过spark.default.parallelism谈Spark并行度
重要 | Spark分区并行度决定机制
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白...
Spark SQL | 目前Spark社区最活跃的组件之一
Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive...
Spark闭包 | driver & executor程序代码执行
Spark闭包 | driver & executor程序代码执行 ==> 编写的Spark程序代码，运行在driv...
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
Spark算子主要划分为两类：transformation和action，并且只有action算子触发的时候才会真正...
对Spark硬件配置的建议
对于Spark开发人员来说，一个比较普遍的问题就是如何合理的配置Spark的硬件？当然如何合理...
必须掌握的Spark调优技术点
在利用Spark处理数据时，如果数据量不大，那么Spark的默认配置基本就能满足实际的业务场景...
解析SparkStreaming和Kafka集成的两种方式
spark streaming是基于微批处理的流式计算引擎，通常是利用spark core或者spark core与spa...
Spark核心组件通识概览
Apache Spark是一种快速、通用、可扩展、可容错的、基于内存迭代计算的大数据分析引擎。首...
区块链大数据图像处理DevOpsKafkaSparkDubbo