1. 概述
本文利用搜狗搜索日志的500w条数据,对搜索日志进行了一系列的分析。主要分为两个阶段,第一阶段是数据准备、数据预处理和数据加载阶段,第二阶段为分析阶段。
第一阶段首先下载数据,并在自己电脑上安装好实验所需的环境,然后通过数据扩展和数据过滤对原数据进行预处理,得到含有单独年、月、日、小时等字段且关键词和UID不为空的数据,最后将数据加载到HDFS上,并在Hive上创建数据库和数据表,将过滤后的数据灌入Hive中对应的表中,因而后续便可以通过在Hive中执行SQL语句对日志数据进行查询分析。
第二阶段为分析阶段,也分为两部分,一部分是单维度的数据描述性分析,另一部分时多维度的用户行为分析。在单维度的数据描述行分析中,分别针对总的条数、时间、关键词、UID、URL、RANK等单个的字段进行描述统计,例如对每个时间段的查询条数、关键词搜索排行榜、UID搜索排行榜、URL搜索排行榜等进行了查询统计,从而对数据有了一个大概的全局的把握;在多维度的用户行为分析中,以查询最多的用户、点击最多的网址、指定的关键词等为切入点进行深入的用户行为分析,例如在对查询最多的用户的用户行为分析中,通过其搜索的关键词及其频次,得到其目前的兴趣点等,通过其在每个时段的搜索次数,得到其大致的时间行为规律,这对于理解用户行为,描述用户画像,从而定向地针对性地进行广告推荐都是有一定的意义的。
2. 数据准备
2.1 实验环境
Cloudera QuickStart VM将包含所需的所有内容,例如CDH,Cloudera Manager,Cloudera Impala和Cloudera Search等,还包括教程,示例数据和入门脚本。Cloudera QuickStart虚拟机(单节点集群)可以轻松快速地进行CDH实验,以便进行测试,演示和自学,并包括Cloudera Manager以管理您的集群。
本文的使用的Cloudera QuickStart VM的版本是:
Cloudera-quickstart-vm-5.5.0-0-virtualbox
操作系统:Red Hat (64 bit)
内存大小:4096MB
处理器:2
所使用的virtualbox的版本是:VirtualBox-4.3.12-93733-Win
Cloudera QuickStart VM开启后的截图如下:
Hive查询操作页面截图如下:

2.2 数据描述
本文选取搜狗实验室提供的搜狗搜索日志数据,共计五百万条,每一行为一条记录,每条记录基本上含有ts、uid、rank、order、url等字段,字段的具体意义如表1所示。
表1 搜索日志中的内容
| 名称 |
内容 |
| ts |
用户点击发生时的日期时间 |
| uid |
由系统自动分配的用户识别号 |
| rank |
该URL在返回结果中的排名 |
| order |
用户点击的顺序号 |
| url |
用户点击的URL |
其中,UID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值,即同一次使用浏览器输入的不同查询对应同一个用户识别号。
3. 数据预处理
3.1 数据扩展
将原数据中包含时间的字段拆分并拼接,添加年、月、日、小时字段,以便后续在HDFS中进行分块存储。分割时间字段的shell脚本sogou-log-extend.sh的具体代码如下:
#!/bin/bash
infile=$1
outfile=$2
awk -F '\t' '{print $0"\t"substr($1,0,4)"\t"substr($1,4,2)"\t"
substr($1,6,2)"\t"substr($1,8,2)}' $infile > $outfile
在终端执行此shell脚本:
[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-extend.sh /home
/cloudera/500w/sogou.500w.utf8 /home/cloudera/500w/sogou.500w.utf8.ext
则sogou.500w.utf8.ext文件即为在原数据的基础上添加年、月、日、小时字段的文件。
3.2 数据过滤
完成数据扩展后,然后过滤UID和keyword字段为空的记录。数据过滤的shell脚本sogou-log-filter.sh的具体代码如下:
#!/bin/bash
infile=$1
outfile=$2
awk -F "\t" '{if($2 != "" && $3 != "" && $2 != " " && $3 != " ") print $0}' $infile > $outfile
在终端执行此shell脚本:
[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-filter.sh /home
/cloudera/500w/sogou.500w.utf8.ext /home/cloudera/500w/sogou.500w.utf8.
flt
则sogou.500w.utf8.flt即为过滤后的数据文件。
3.3 数据加载
将原数据文件sogou.500w.utf8和过滤后的数据文件sogou.500w.utf8.flt加载到HDFS上。在系统终端执行如下代码:
hadoop fs -mkdir -p /sogou/
hadoop fs -put ./sogou.500w.utf8 /sogou/
hadoop fs -mkdir -p /sogou_ext/
hadoop fs -put ./sogou.500w.utf8.flt /sogou_ext/
由此,已将数据加载到HDFS系统中,然后在Hive上创建日志数据的数据表。
首先在终端启动hive,在hive环境下创建数据库sogou:
hive> create database sogou;
hive> use sogou;
然后,创建扩展4个字段(year, month, day, hour)数据的外部表:
hive> CREATE EXTERNAL TABLE sogou.sogou_ext_(
> ts STRING,
> uid STRING,
> keyword STRING,
> rank INT,
> order INT,
> url STRING,
> year INT,
> month INT,
> day INT,
> hour INT
> )
> COMMENT 'This is the sogou search data of extend data'
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> STORED AS TEXTFILE
> LOCATION '/sogou_ext/';
创建带分区的表:
hive> CREATE EXTERNAL TABLE sogou.sogou_partition(
> ts STRING,
> uid STRING,
> keyword STRING,
> rank INT,
> order INT,
> url STRING
> )
> COMMENT 'This is the sogou search data by partition'
> partitioned by (
> year INT,
> month INT,
> day INT,
> hour INT
> )

> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> STORED AS TEXTFILE;
最后,把HDFS中的数据灌入到刚刚创建的表中:
hive> set hive.exec.dynamic.partition.mode=nonstrict;
hive> INSERT OVERWRITE TABLE sogou.sogou_partition PARTITION(year,month,
day,hour) select * from sogou.sogou_ext_;
到现在为止,已把经过预处理的数据加载到hive中,后续便可以在hive中执行SQL语句进行查询分析。
4. 单维度数据描述性分析
4.1 条数统计
查看前10条数据:
hive> select * from sogou.sogou_ext_ limit 10;
前10条数据的具体信息如下:

查询数据的总条数:
hive> select count(*) from sogou.sogou_ext_;
查询非空查询条数:
hive> select count(*) from sogou.sogou_ext_ where keyword is not null and keyword !='';
查询无重复总条数(根据ts、uid、keyword、url)
hive> select count(*) from (select ts,uid,keyword,url,count(*) as cnt from sogou.sogou_ext_ group by ts,uid,keyword,url) a where a.cnt==1;
查询UID唯一的条数:
hive> select count(distinct(uid)) from sogou.sogou_ext_;
可知,(a) 本数据文件中共包含500万条数据;
(b) 非空查询条数为条,即所有的数据的keyword都不为空;
(c) 以ts、uid、keyword、url字段作为判断记录是否重复的标准,得到的无重复总条数为条;
(d) UID唯一的条数共有条,即在此段时间内共有个用户进行来搜狗搜索。
4.2 时间分析
查询每个时间段查询的条数:
hive> select year,month,day,hour,count(*) as cnt from
sogou.sogou_ext_ group by year,month,day,hour order by
year,month,day,hour;
得到的结果如下:
| time |
cnt |
time |
cnt |
| 90752 |
|||
| 65702 |
|||
| 45880 |
|||
| 34242 |
|||
| 27922 |
|||
| 28213 |
|||
| 32988 |
|||
| 52832 |
64 |
||
| 5 |
|||
| 1 |
|||
| 2 |
|||
| 2 |
|||
| 3 |
|||
| 1 |
|||
| 2 |
|||
| 2 |
|||

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/114850.html