windows下通过idea连接hadoop和spark集群
###windows下链接hadoop集群 1、假如在linux机器上已经搭建好hadoop集群 2、在windows上把...
hadoop2.7+spark2.2+zookeeper3.4.简单安装
1、zookeeper的安装##配置/etc/hosts192.168.88.130 lgh192.168.88.131 lgh1192.168.88.13...
flink 1.7.2 安装详解
##flink 1.7.2 安装需要java环境 下载地址 https://flink.apache.org/downloads.html#1、单...
cloudera manager server迁移
一、迁移背景 服务器出了问题，导致整个cm server界面呈现出不可用的状态，也就是获取不到...
hadoop2.7作业提交详解之文件分片 hadoop2.7之作业提交详解（上）
在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.s...
hadoop2.7之作业提交详解（上） hadoop2.7之作业提交详解（下）
根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看...
第4章:YARN
Apache YARN(Yet Another Resource Negotiator)是一个Hadoop集群资源管理系统。YARN是在Ha...
Cloudera Manager及CDH最新版本安装全程记录
大家都知道，Apache Hadoop的配置很繁琐，而且很零散，为此Cloudera公司提供了Clouder Man...
第3章:Hadoop分布式文件系统(2)
数据流 读取文件数据的剖析 为了知道客户端与HDFS，NameNode,DataNode交互过程中数据的流向...
Hive中自定义Map/Reduce示例 In Java
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。 如果自...
Hive1.1.0中一个BUG的记录分析
最近在工作中，使用CASE WHEN语句的时候，总是出现异常，查看日志是由于数组超界。不知所以...
Hive学习之Locking
众所周知，数据库必须要能够支持并发。无论在任何时候，允许同一时刻，多个用户能够同时读...
第2章:MapReduce
MapReduce是一个数据处理的编程模型。这个模型很简单，但也不是简单到不能够支持一些有用的...
Hive中自定义Map/Reduce示例 In Python
Hive支持自定义map与reduce script。接下来我用一个简单的wordcount例子加以说明。使用Pyt...
word2vec及其python实现
介绍了word2vec，并在python中进行了word2vex的演示，以及中文分词的处理。
Alink漫谈(十二) ：在线学习算法FTRL 之 整体设计
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(十三) ：在线学习算法FTRL 之 具体实现
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(十五) ：多层感知机 之 迭代优化
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
[源码解析]Oozie来龙去脉之提交任务
Oozie是由Cloudera公司贡献给Apache的基于工作流引擎的开源框架，是Hadoop平台的开源的工作...
[源码解析] Flink的Slot究竟是什么？(1)
Flink的Slot概念大家应该都听说过，但是可能很多朋友还不甚了解其中细节，比如具体Slot究竟...
Alink漫谈(十四) ：多层感知机 之 总体架构
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(十一) ：线性回归 之 L-BFGS优化
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(十九) ：源码解析 之 分位点离散化Quantile
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(十七) ：Word2Vec源码分析 之 迭代训练
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
Alink漫谈(二十二) ：源码分析之聚类评估
Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台，是业界首个同时支...
区块链大数据图像处理DevOpsKafkaSparkDubbo