量化派基于Hadoop、Spark、Storm的大数据风控架构--转

原文地址:http://www.csdn.net/article/2015-10-06/2825849量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用户提供最优质的贷款服务。金融的本质是风
1次阅读

Hadoop工作流引擎之Azkaban与Oozie对比(四)

Azkaban是什么?(一)Azkaban的功能特点(二)Azkaban的架构(三)   不多说,直接上干货!http://www.cnblogs.com/zlslch/category/938837.html    目前,市面上最流行的两种Hadoop工作流引擎调度器
3次阅读

Hadoop工作流不足(六)

   不多说,直接上干货!   为此,需要第三方框架。如Azkaban或Oozie!   Azkabanhttps://azkaban.github.io/      具体,见我的博客,Azkaban概念学习系
1次阅读

Windows平台下安装Eclipse插件,开发Hadoop应用

Windows平台下安装Eclipse插件,开发Hadoop应用欢迎和大家交流技术相关问题:邮箱: jiangxinnju@163.com博客园地址: http://www.cnblogs.com/jiangxinnjuGitHub地址: https://github.
5次阅读

Hadoop 2.x

Hadoop 2.x 生态系统及技术架构图一、负责收集数据的工具:Sqoop(关系型数据导入Hadoop)Flume(日志数据导入Hadoop,支持数据源广泛)Kafka(支持数据源有限,但吞吐大)二、负责存储数据的工具:HBaseMongoDBCassandraAccumuloMySqlOracl
4次阅读

Hadoop的安装与设置(1)

在Ubuntu下安装与设置Hadoop的主要过程。1. 创建Hadoop用户创建一个用户,用户名为hadoop,在home下创建该用户的主目录,就不详细介绍了。2. 安装Java环境下载Linux环境下的JDK:jdk-8u111-linux-x64.tar.gz。在usr下创建一个java文件夹,
8次阅读

hadoop 集群跑的时候用到hbasejar 文件的引用问题

1. 创建软连接 ln -s /home/hadoop/bigdater/hbase-0.98.6-cdh5.3.6/conf/hbase-site.xml ./hbase-site.xml(记得这里是把hbase-site的软连接创建到hadoop etc配置文件下以便jar跑 run的时候引用)
7次阅读

Hadoop与Spark比较

先看这篇文章:http://www.huochai.mobi/p/d/3967708/?share_tid=86bc0ba46c64&fmid=0 直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。比如说,Spark没有文件管理功能
10次阅读

What Is Apache Hadoop

What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.Hadoop项目是为了开发可
5次阅读

Hadoop HDFS编程 API入门系列之RPC版本2(九)

   不多说,直接上代码。                代码package zhouls.bigdata.myWholeHado
8次阅读