2025年技术分享

大家好，我是讯享网，很高兴认识大家。 2014-10-20每日一读
每天进步一点

云架构和openstack的思考
http://www.aboutyun.com/thread-9579-1-1.html
1、怎么才能够把云架构设计得好一些呢？
2、云建设要解决的问题是什么？
3、建设云需要从哪方面来看待？

面试题、经验分享及新手问答整理
http://www.aboutyun.com/thread-9581-1-1.html

Spark技术实战之1 -- KafkaWordCount
http://www.aboutyun.com/thread-9580-1-1.html
1、怎样搭建Kafka集群？
2、parser中的表达式分别代表什么意思？
3、你觉得应该如何运行KafkaWordCount呢？

Spark技术实战之2 -- Spark Cassandra Connector的安装和使用
http://www.aboutyun.com/thread-9582-1-1.html
1、怎样创建可以连接到cassandra的sc？
2、如何添加相应的library来支持spark-cassandra-connector？
3、最简单的配置什么？

Spark技术实战之3 -- 利用Spark将json文件导入Cassandra
http://www.aboutyun.com/thread-9583-1-1.html
1、利用Spark将json文件导入Cassandra的前提条件有哪些？
2、本次实验需要结合哪些知识？
3、进行数据导入时，需要注意什么？

storm-kafka-0.8-plus 源码解析
http://www.aboutyun.com/thread-9584-1-1.html
1.DynamicPartitionConnections对象有什么用？
2.register函数做了哪些事？
3._coordinator 是干嘛的？
4.kafkaOffset可以反映出哪些信息？
5.每个partition的读取状况可以通过什么获取？

openstack网络,外部网络、内部网络、管理网络作用介绍
http://www.aboutyun.com/thread-9585-1-1.html

资源：

淘宝开放平台的实践及电信运营商大数据应用研究和实践
http://www.aboutyun.com/thread-9578-1-1.html
美国大数据工程师面试攻略
http://www.aboutyun.com/thread-9577-1-1.html

问答：

控制节点ping不通网络节点，但网络节点可以ping通控制节点，这是怎么回事呢
http://www.aboutyun.com/thread-9590-1-1.html

Glance创建出错是什么原因呢
http://www.aboutyun.com/thread-9589-1-1.html

MapReduce不执行Reduce
http://www.aboutyun.com/thread-9587-1-1.html

讯享网

2014-10-19每日一读
每天进步一点

Storm入门之一个实际的例子
http://www.aboutyun.com/thread-9570-1-1.html
1、在AbstractAnalyticsTest中实现一个什么方法？
2、如何测试用例？
3、Storm拓扑的输入与输出？

Storm如何保证消息不丢失 (Guaranteeing-message-processing)
http://www.aboutyun.com/thread-9572-1-1.html
1、storm是怎么实现高效率的可靠性的？
2、什么是tuple？
3、如何理解acker类？

使用Mahout实现自然语言处理
http://www.aboutyun.com/thread-9571-1-1.html
1、建立来自文档字段的管道，有哪些步骤？
2、如何理解Apache Mahout is 算法？
3、Mahout 的基本模式有哪些？

使用Windows Azure HDInsight, Hadoop和Mahout机器学习建立一个推荐引擎
http://www.aboutyun.com/thread-9569-1-1.html
1、如何建立一个自己的引擎？
2、怎样使用Windows Azure HDInsight, Hadoop和Mahout？

Docker源码分析（一）：Docker架构
http://www.aboutyun.com/thread-9573-1-1.html
1.docker run命令的作用？
2.Docker Client是用户用来和什么建立联系的客户端？
3.在Graph的本地目录中，每一个的容器镜像，具体存储的信息有什么？

storm开发经验分享
http://www.aboutyun.com/thread-9574-1-1.html
1.storm日志的结构是怎样的？
2.如何使用自定义配置文件？
3.一个“topology”在storm集群中有什么作用？

云成本分析工具介绍
http://www.aboutyun.com/thread-9576-1-1.html

资源推荐：

storm源码阅读文档下载
http://www.aboutyun.com/thread-9575-1-1.html

2014-10-18每日一读
每天进步一点

什么是流式思维？
http://www.aboutyun.com/thread-9567-1-1.html
1.为什么会提出流式思维？
2.面向函数流式特点？
3.流式思维应用在架构设计上有哪些好处？

Spark Core源码分析: RDD基础
http://www.aboutyun.com/thread-9566-1-1.html
1.getPartitions和compute进行了哪些操作？
2.hadoop如何进行序列化？
3.checkpoint的执行逻辑？

部署Ceilometer到已有环境中
http://www.aboutyun.com/thread-9565-1-1.html
1、控制节点需要重启哪些服务？
2、如何安装Ceilometer的基础依赖？
3、控制节点需要安装哪些服务？

hbase源码Put、Delete在服务端如何处理？
http://www.aboutyun.com/thread-9561-1-1.html
1、Put在Region Server中做了什么？
2、我们常用的方式是什么？
3、什么情况下执行prepareDeleteTimestamps方法？

hbase源码Compact和Split
http://www.aboutyun.com/thread-9560-1-1.html
1、你如何理解Compaction和Split的关系？
2、Minor 和Major Compaction的区别有哪些？
3、splitStoreFiles这块有什么作用？

storm编程入门：基本概念
http://www.aboutyun.com/thread-9556-1-1.html
1.Topologies有什么特点？
2.Spouts的作用是什么？涉及哪些函数？
3.Bolts的作用是什么？
扩展
4.你认为tuple与storm的关系是什么？

hbase源码Get、Scan在服务端是如何处理？
http://www.aboutyun.com/thread-9558-1-1.html
1、如何理解Scan的扫描流程？
2、Scan的参数有哪些？
3、怎样通过列族获得相应的Store？

在OpenStack中通过Heat来使用Docker Containers
http://www.aboutyun.com/thread-9559-1-1.html
1.如何验证Docker是否安装成功？
2.为Heat配置Docker plug-in包含哪些步骤？
3.在Heat中如何使用Docker？

openstack 视频
http://www.aboutyun.com/thread-9562-1-1.html

openstack juno版文档汇总：各个版本安装、API、配置使用、管理员英文文档
http://www.aboutyun.com/thread-9568-1-1.html

问答：

关于MapReduce的执行流程
http://www.aboutyun.com/thread-9554-1-1.html

利用sqoop从hive里往mysql插入数据出现问题
http://www.aboutyun.com/thread-9555-1-1.html

单独安装nova 不能同步数据库
http://www.aboutyun.com/thread-9564-1-1.html

keystone-all --config-file=/etc/keystone/keystone.conf警告only and may be
http://www.aboutyun.com/thread-9563-1-1.html

关于Heat的一些疑问
http://www.aboutyun.com/thread-9557-1-1.html

2014-10-17每日一读
每天进步一点

简单的Spark应用源码案例
http://www.aboutyun.com/thread-9544-1-1.html
1、你如何理解Spark的应用场景？
2、Spark的 "reduce"和MapReduce有什么区别？
3、为什么Spark比MapReduce更受欢迎呢？

Redis快速入门
http://www.aboutyun.com/thread-9546-1-1.html
1、你如何理解Redis 的优势？
2、Redis 的数据类型有哪些，怎样入门？
3、如何使Redis的数据库更安全？

让你真正明白什么是storm
http://www.aboutyun.com/thread-9547-1-1.html
1.你认为什么图形可以显示hadoop与storm的区别？
2.本文是如何形象讲解hadoop与storm的？
3.hadoop map/reduce对应storm那两个概念？
4.storm流由谁来组成？

写好Hive 程序的五个提示
http://www.aboutyun.com/thread-9550-1-1.html
1、Hive如何排序？
2、如何合并MapReduce操作？
3、有哪些方法可以帮助我们写好Hive 程序？

Hadoop实现AbstractJob简化Job设置
http://www.aboutyun.com/thread-9553-1-1.html
1、输入的参数要进行控制，怎么做？
2、如何添加自己的参数？
3、如何实现Mahout中的AbstractJob类？

七种基于云计算的日志分析管理工具
http://www.aboutyun.com/thread-9540-1-1.html
1.如果在公司网站日志规模不大，但又想分析日志，该如何选择？
2.如何借用SaaS平台日志分析？
3.SaaS平台日志分析有哪些平台？

问答：

Storm处理流数据接收数据不完全的问题
http://www.aboutyun.com/thread-9548-1-1.html

一般使用CDH版本的hadoop,求技术分享
http://www.aboutyun.com/thread-9543-1-1.html

有关于openstack中heat组件的介绍么？
http://www.aboutyun.com/thread-9541-1-1.html

2014-10-16每日一读
每天进步一点

使用Spark和Scala分析Apache访问日志
http://www.aboutyun.com/thread-9539-1-1.html
1.如何使用Scala编写一个对Apache访问日志的分析器？
2.如何在Linux命令行启动Spark？
3.如何确定一个URL访问页面，什么导致访问页面错误？

Openstack之neutron入门三
http://www.aboutyun.com/thread-9537-1-1.html
1.Openstack网络组件的经历了几个过程？
2.Neutron主要有哪几部分组成？各自的作用是什么？
3.虚拟网络上的数据包的处理由谁来完成？

Neutron分析（1）——neutron-server启动过程分析
http://www.aboutyun.com/thread-9527-1-1.html
Neutron-Server启动包含哪些步骤？

openstack Neutron分析（2）—— neutron-l3-agent
http://www.aboutyun.com/thread-9529-1-1.html
1.neutron l3像租户提供了什么功能？
2.l3通过API来创建router或则floating ip包含几个步骤？

openstack Neutron分析（3）—— neutron-dhcp-agent源码分析
http://www.aboutyun.com/thread-9533-1-1.html
1.neutron dhcp3个主要部件分别为什么？
2.dhcp模块包含哪些内容？
3.Dnsmasq配置文件是如何创建和更新的？
4.DHCP agent的信息存放在neutron数据库的哪个表中？

扩展： neutron-dhcp-agent在neutron的作用是什么？

openstack Neutron分析（4）—— neutron-l3-agent中的iptables
http://www.aboutyun.com/thread-9536-1-1.html
1.iptables表结构，在neutron中主要用到那两张表？
2.iptables_manager是在哪个class中完成的？
3.nat表如何添加规则？

openstack Neutron分析（5）-- neutron openvswitch agent
http://www.aboutyun.com/thread-9538-1-1.html
1.openvswitch agent启动做了哪些工作？
2.你认为neutron-openvswitch-agent的作用是什么？

Linux下ifcfg-eth0配置
http://www.aboutyun.com/thread-9524-1-1.html
1.网络接口配置文件在哪个目录下面，以及接口文件中需要配置哪些东西？
2.如何关闭、激活网卡接口？
3.如何配置无需重启临时配置网卡信息？
4.如何查看当前的路由及网关信息？

使用 Docker/LXC 迅速启动一个桌面系统
http://www.aboutyun.com/thread-9531-1-1.html
1、 Docker 可以有哪些用途？
2、如何运行一个简单系统？
3、如何从主机**问远端桌面？

15 分钟掌握 15 个 Docker 小窍门
http://www.aboutyun.com/thread-9532-1-1.html
1、为什么不用Docker容器的shell直接安装软件？
2、镜像有哪些环境变量？
3、如何更好的学习 Docker ？

Docker：集装箱式“运输”在软件上的实现
http://www.aboutyun.com/thread-9534-1-1.html
1、你如何理解Docker是集装箱式在软件上的实现？
2、Containers是如何工作的？与VMs有何不同？
3、Docker的主要功能特征有哪些？

最新调查：OpenStack、Docker、KVM被评为最火的云开源项目
http://www.aboutyun.com/thread-9535-1-1.html
1、目前有哪些火的云开源项目？
2、Openstack和Docker的发展方向是什么？
3、影响技术选用的因素和挑战有哪些？

Storm ack和fail机制个人经验总结
http://www.aboutyun.com/thread-9526-1-1.html

报错：hadoop namenode format 跟 hdfs namenode -format执行结果竟然不一样
http://www.aboutyun.com/thread-9528-1-1.html

问答：

有木有spark对hbase进行增删改的例子呀
http://www.aboutyun.com/thread-9525-1-1.html

已解决：Hadoop格式化namenode报错问题
http://www.aboutyun.com/thread-9530-1-1.html

2014-10-15每日一读
每天进步一点

Neutron网络入门（一）
http://www.aboutyun.com/thread-9523-1-1.html
1.Neutron的网络是否可以创建
2.Neutron的端口、路由器、子网该如何理解？
3.如何解释Neutron网络的一种典型结构？
4.管理员在Neutron网络中是否可以创建外网？
5.可以如何搭建自己的网络？

Openstack之neutron入门二
http://www.aboutyun.com/thread-9517-1-1.html
1.Neutron功能是什么？
2.Neutron是如何发展而来的？
3.Neutron将包含哪几个概念？
4.Neutron支持哪些plugin？

TableInputFormat分片及分片数据读取源码级分析
http://www.aboutyun.com/thread-9522-1-1.html
1.TableInputFormat类是做什么用的？
2.getSplits()方法中table的第一个region的startKey不是EMPTY_BYTE_ARRAY的话会有什么结果？
3.TableRecordReaderImpl的initialize方法都做了哪些事？
4.Pair结构由两部分组成？

企业移动办公的成功之道：桌面虚拟化
http://www.aboutyun.com/thread-9521-1-1.html
1、你觉得成功的企业移动办公是什么？
2、桌面虚拟化（DV）有什么独到之处？
3、DV 有哪些益处呢？

hbase源码之如何查询出来下一个KeyValue
http://www.aboutyun.com/thread-9520-1-1.html
1、KeyValueHeap的构造函数与seek操作有什么关系？
2、在KeyValue里是怎么被调用的？
3、populateResult方法有什么作用？

OpenStack中的Oslo.config笔记
http://www.aboutyun.com/thread-9519-1-1.html
1、oslo.config怎么使用呢？
2、如何利用oslo.config和rally模板写一个Python程序？
3、如何在其他project中使用oslo.config？

openstack 安装：如何架设apt-cacher服务，创建内网自己的私服
http://www.aboutyun.com/thread-9508-1-1.html
1.如何搭建apt-cacher服务？
2.安装apt-cacher需要做哪些配置？
3.如何确认配置生效？

大数据时代已经没有隐私
http://www.aboutyun.com/thread-9518-1-1.html

十六款值得关注的NoSQL与NewSQL数据库
http://www.aboutyun.com/thread-9516-1-1.html

问答：

求解啊挂载卷的问题
http://www.aboutyun.com/thread-9515-1-1.html

输入过大时storm的bolt无法成功接受到来自spout的数据
http://www.aboutyun.com/thread-9514-1-1.html

openstack icehouse版本创建多个外部网络的问题
http://www.aboutyun.com/thread-9513-1-1.html

hadoop集群多台datanode,只存活两个
http://www.aboutyun.com/thread-9512-1-1.html

为什么我有个节点老是报时钟偏差
http://www.aboutyun.com/thread-9511-1-1.html

如何查看hbase版本号
http://www.aboutyun.com/thread-9509-1-1.html

hbase表存在不存在问题（已解决）
http://www.aboutyun.com/thread-9507-1-1.html

keystone指令执行过程的源码应该如何分析
http://www.aboutyun.com/thread-9506-1-1.html

2014-10-14每日一读
每天进步一点

Hadoop2.x Yarn作业提交（服务端）
http://www.aboutyun.com/thread-9496-1-1.html
1.服务于作业提交的server为ClientRMService，默认监听哪个端口？
2.如何获取作业id?

HBase 0.96.0 的数据导入: 利用ImportTsv，completebulkload，Import
http://www.aboutyun.com/thread-9497-1-1.html
1.你所了解的HBase 0.96.0 的数据导入有几种方式？
2.利用ImportTsv导入数据需要哪些步骤？
3.如何利用completebulkload 将数据导入到HBase？

flume学习（一）：log4j直接输出日志到flume
http://www.aboutyun.com/thread-9499-1-1.html
1、如何让log4j直接输出日志到flume？
2、如何写一个简单的测试类来测试呢？
3、如何看到log4j的日志是否输出到了flume中？

flume学习（二）：如何找到cm安装的flume的配置文件
http://www.aboutyun.com/thread-9502-1-1.html
1、如何将log4j的日志输出到agent的日志文件当中？
2、怎么将sink的type由logger变为hdfs？
3、报错？你给目录授权了吗？

flume学习（三）：Flume Interceptors的使用
http://www.aboutyun.com/thread-9503-1-1.html
1、如何理解flume拦截器？
2、如何使用regex_filter和 timestamp这两个拦截器来实现一个较强的功能？
3、怎样为source1添加了两个拦截器？

flume学习（四）：Flume Channel Selectors使用
http://www.aboutyun.com/thread-9504-1-1.html
1、怎样将不同项目的的日志输出到不同的channel？
2、如何理解一个sink为hdfs,一个sink为logger的拓扑结构？
3、怎样在Log4jExtAppender.java类里扩展一个参数？

Hadoop2.x Yarn作业提交（客户端）
http://www.aboutyun.com/thread-9498-1-1.html
1.hadoop2.x在客户端提交作业与hadoop1.x有哪些不同？
2.submit函数，是如何提交的作业的，这里与hadoop1有什么不同？
3.LocalClientProtocolProvider（本地作业） YarnClientProtocolProvider（Yarn作业）有哪个参数来决定？

杨澜访问李彦宏谈云端大数据
http://www.aboutyun.com/thread-9501-1-1.html

问答：

win7下运行mr报错org.apache.hadoop.util.Shell$ExitCodeException: 是什么原因么
http://www.aboutyun.com/thread-9491-1-1.html

hadoop2 里面磁盘预留空间配置参数是？？？
http://www.aboutyun.com/thread-9492-1-1.html

HBASE importtsv导入数据问题
http://www.aboutyun.com/thread-9493-1-1.html

添加环境变量的时候报错ubuntu bash: export 没有那个文件或目录
http://www.aboutyun.com/thread-9494-1-1.html

hive如何删除分区一天的数据
http://www.aboutyun.com/thread-9490-1-1.html

2014-10-13每日一读
每天进步一点

大数据处理分析的六大工具
http://www.aboutyun.com/thread-9488-1-1.html
1.大数据处理分析使用的是哪六大工具？

Spring hadoop 访问hbase 入门指导
http://www.aboutyun.com/thread-9489-1-1.html
1.你认为该如何访问hbase?
2.Hadoop hbase需要做哪些配置？
3.pom文件需要哪些修改？

Docker源码分析(二)：Docker Client创建与命令执行
http://www.aboutyun.com/thread-9482-1-1.html
1.如何通过docker命令，解析出命令行flag参数，以及docker命令中的请求参数?
2.如何处理具体的flag参数信息，并收集Docker Client所需的配置信息?
3.如何创建一个Docker Client?
4.如何解析docker命令中的请求参数，获取相应请求的类型?
5.Docker Client如何执行具体的请求命令，最终将请求发送至Docker Server?

Docker容器能够与虚拟化和谐共处
http://www.aboutyun.com/thread-9480-1-1.html
1.Docker的性能与KVM相比？
2.企业可能怎样部署Docker？
3.目前Docker还存在哪些缺陷？

怎么评价Google发布的Cloud Dataflow云数据分析工具？
http://www.aboutyun.com/thread-9484-1-1.html
1、和map-reduce模型相比，Dataflow有哪些优点？
2、Dataflow如何与Spark整合？
3、Dataflow未来发展方向是什么？

分布式设计与开发（一）---宏观概述
http://www.aboutyun.com/thread-9485-1-1.html
1、如何理解垂直提升系统性能和分布式的区别？
2、最完备的分布式体系由哪些模块组成？
3、如何设计自己的分布式系统？

分布式设计与开发（二）------几种必须了解的分布式算法
http://www.aboutyun.com/thread-9486-1-1.html
1、你觉得分布式算法有哪些是必须了解的？
2、一致性Hash算法的目的是什么？
3、Paxos算法的适用场景是什么？

分布式设计与开发（三）------高一致***ZooKeeper
http://www.aboutyun.com/thread-9487-1-1.html
1、ZooKeeper的基本原理是什么？
2、如何设计可靠性，高一致性的分布式服务？
3、ZooKeeper的应用领域是什么？

电商云图片实现思路
http://www.aboutyun.com/thread-9481-1-1.html

问答：
求教网站实时行为采集数据架构
http://www.aboutyun.com/thread-9483-1-1.html

求大神解答，hadoop编译native library时出错
http://www.aboutyun.com/thread-9479-1-1.html

2014-10-12每日一读
每天进步一点

Spark技术内幕:Executor
http://www.aboutyun.com/thread-9478-1-1.html
1.SparkContext创建TaskScheduler和DAG Scheduler？
2.TaskScheduler通过SchedulerBackend创建AppClient？
3.AppClient向Master提交Application？
4.Master根据AppClient的提交选择Worker？
5.Worker根据Master的资源分配结果来创建Executor？

分布式与集群的区别
http://www.aboutyun.com/thread-9474-1-1.html
1、如何理解分布式技术？
2、如何理解集群概念？
3、Linux集群主要有哪几类？
4、你如何理解分布式与集群的区别？

云计算时代的新计算模式Cloud Dataflow流式处理介绍
http://www.aboutyun.com/thread-9476-1-1.html
1.本文Cloud Dataflow的定义是什么？
2.你对Cloud Dataflow的理解是什么？
3.Cloud Dataflow是否可以用于批处理？
4.Cloud Dataflow有哪些应用？

HBase修改压缩格式及Snappy压缩实测分享
http://www.aboutyun.com/thread-9475-1-1.html
1、什么是Snappy呢？
2、如何修改HBase压缩算法？
3、如何进行结果的测试？

云计算安全感——政务云安全实践介绍
http://www.aboutyun.com/thread-9473-1-1.html
1、云安全防御架构应具备的基本要求是什么？
2、政务行业需要的云应该具备哪些特点？
3、你如何认为怎样的云服务才是安全的？

云计算时代的调度员——阿里云解析（AliDNS）
http://www.aboutyun.com/thread-9472-1-1.html
1、阿里云公司有哪些产品？
2、你如何理解阿里云的特性？

问答：
linux下运行自动的wordcount例子,运行时间超级长，报错
http://www.aboutyun.com/thread-9477-1-1.html

2014-10-11每日一读
每天进步一点

大数据最新技术：快速了解分布式计算:Google Dataflow
http://www.aboutyun.com/thread-9471-1-1.html
1.Dataflow当前的API支持什么语言？
2.相比原生的map-reduce模型，Dataflow哪些优点？
3.Dataflow与Cascading、Spark有什么区别和联系？

云计算和openstack
http://www.aboutyun.com/thread-9462-1-1.html
1、你是如何理解虚拟化与云计算的区别？
2、学习云产品openstack，需要有哪些知识？

Hadoop学习总结：Map-Reduce的过程解析
http://www.aboutyun.com/thread-9459-1-1.html
1、Map-Reduce提交一个任务是从哪里开始的？
2、JobTracker运行的main函数有哪几部分？
3、如何理解Map-Reduce实现的过程机制？

Storm框架入门
http://www.aboutyun.com/thread-9469-1-1.html
1.Topology由什么构成？
2.Topology的运行流程？方法调用流程
3.storm.zookeeper.root指的是什么？它的值是什么？

什么是结构化数据？半结构化数据？非结构化数据？
http://www.aboutyun.com/thread-9468-1-1.html
1.数据分为哪几类？

相关推荐