flume 下载:http://download.csdn.net/download/knight_black_bob/9454497
spring-kafka 接受消息实例 http://knight-black-bob.iteye.com/blog/2344424
flume kafka 安装 详细 http://knight-black-bob.iteye.com/blog/2343192
flume 安装
20.flume 安装 tar -xf flume-ng-1.6.0-cdh5.5.0.tar.gz mv apache-flume-1.6.0-cdh5.5.0-bin ../soft/flume-1.6.0 cd ../soft/ ln -s /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume chown -R root:root /home/baoy/soft/flume-1.6.0 /home/baoy/soft/flume cd /home/baoy/soft/flume cd /home/baoy/soft/flume/config cp /home/baoy/soft/flume/config/flume-env.sh.template /home/baoy/soft/flume/config/flume-env.sh vim flume-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_79 /home/baoy/soft/flume/bin/flume-ng version cp /usr/local/kafka/libs/kafka_2.10-0.10.0.0.jar /home/baoy/soft/flume/lib/ cp /usr/local/kafka/libs/scala-library-2.10.6.jar /home/baoy/soft/flume/lib/ cp /usr/local/kafka/libs/metrics-core-2.2.0.jar /home/baoy/soft/flume/lib/ vim /home/baoy/soft/flume/config/exec_tail_kafka.conf agent.sources = s1 agent.sinks = k1 agent.channels = c1 agent.sources.s1.type=exec agent.sources.s1.command=tail -F /home/project/flume/logs/flume.log agent.sources.s1.channels=c1 agent.channels.c1.type=memory agent.channels.c1.capacity=10000 agent.channels.c1.transactionCapacity=100 #设置Kafka接收器 agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink #设置Kafka的broker地址和端口号 agent.sinks.k1.brokerList=dev10.aoiplus.openpf:9092 #设置Kafka的Topic agent.sinks.k1.topic=baoy-topic #设置序列化方式 agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder agent.sinks.k1.channel=c1 /home/baoy/soft/flume/bin/flume-ng agent -n agent -c conf -f /home/baoy/soft/flume/conf/exec_tail_kafka.conf -Dflume.root.logger=INFO,console
捐助开发者
在兴趣的驱动下,写一个免费
的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。
谢谢您的赞助,我会做的更好!
相关推荐
结合电信客服项目,将数据存储模块独立成项目,欢迎下载
Flume + kafka + log4j构建日志采集系统,附实例及文档。
07-hadoop中的RPC应用实例demo.avi 08-hdfs下载数据源码跟踪铺 垫.avi 09-hdfs下载数据源码分析-getFileSystem.avi 10-hdfs下载数据源码分析-getFileSystem2.avi 第三天 mapreduce的原理和编程 01-hdfs源码...
第十一次课-Flume的安装和使用,包含Flume的两个实例应用
021 Flume、Loader、Kafka技术原理-王艳芝 022 Fusion Insight HD学习总结与扯家常-王艳芝 023 数据挖掘概述预备知识-李申浩 024 数据挖掘基本知识术语+数据预处理简单算法-李申浩 025 数据预处理简单算法+分类-...
目录网盘文件永久链接 1.1 大数据的定义及其应用领域 1.2 大数据时代的机遇与挑战 2.1 HDFS的概述和架构 2.2 关键特性介绍 2.2.1 关键特性介绍 (1) ...10.2 Flume操作实例 11.1 Kafka分布式消息订阅系统 .........
包括SparkCore、SparkSQL、SparkStreaming、DataFrame,以及介绍Scala、SparkAPI、SparkSQL、SparkStreaming、DataFrame原理和CDH版本环境下实战操作,其中Flume和Kafka属于Apache*开源项目也放在本篇讲解。...
目录:网盘文件永久链接 ...10.2.1 Flume操作实例 11.1.1 Kafka分布式消息订阅系统 12.1.1 ZooKeeper集群分布式协调服务 13.1.1 FusionInsight HD 解决方案介绍 (1) 13.2.1 FusionInsight HD 解决方案介绍 (2
运行Hadoop伪分布式实例 30 启动YARN 35 附加教程: 配置PATH环境变量 37 使用Eclipse编译运行MapReduce程序(Hadoop-Eclipse-Plugin,建议) 38 使用Eclipse打包自己的MapReduce程序 51 不用Hadoop-Eclipse-...
互联网数据 物联网数据 数据源 … 引擎 数 据 安 全 与 隐 私 保 护 … 基于开源系统的大数据处理平台 SparkS QL Spark Streaming MLib GraphX MapReduce Hive Storm Giraph Spark HDFS Swift Kafka Sqoop Flume ...
在可行性方面,系统能够实现预期的功能,同时输出相对应的结果,并以明星机推送的场景实例对系统进行验证;在性能方面,分别对Storm和Spark Streaming的性能进行测试,并给出了结果分析。本文提出的实时营销系统能够清晰...