搜狗搜索日志分析

搜狗搜索日志分析1 概述 本文利用搜狗搜索日志的 500w 条数据 对搜索日志进行了一系列的分析 主要分为两个阶段 第一阶段是数据准备 数据预处理和数据加载阶段 第二阶段为分析阶段 第一阶段首先下载数据 并在自己电脑上安装好实验所需的环境 然后通过数据扩展和数据过滤对原数据进行预处理 得到含有单独年 月 日

大家好,我是讯享网,很高兴认识大家。

1. 概述

本文利用搜狗搜索日志的500w条数据,对搜索日志进行了一系列的分析。主要分为两个阶段,第一阶段是数据准备、数据预处理和数据加载阶段,第二阶段为分析阶段。

第一阶段首先下载数据,并在自己电脑上安装好实验所需的环境,然后通过数据扩展和数据过滤对原数据进行预处理,得到含有单独年、月、日、小时等字段且关键词和UID不为空的数据,最后将数据加载到HDFS上,并在Hive上创建数据库和数据表,将过滤后的数据灌入Hive中对应的表中,因而后续便可以通过在Hive中执行SQL语句对日志数据进行查询分析。

第二阶段为分析阶段,也分为两部分,一部分是单维度的数据描述性分析,另一部分时多维度的用户行为分析。在单维度的数据描述行分析中,分别针对总的条数、时间、关键词、UID、URL、RANK等单个的字段进行描述统计,例如对每个时间段的查询条数、关键词搜索排行榜、UID搜索排行榜、URL搜索排行榜等进行了查询统计,从而对数据有了一个大概的全局的把握;在多维度的用户行为分析中,以查询最多的用户、点击最多的网址、指定的关键词等为切入点进行深入的用户行为分析,例如在对查询最多的用户的用户行为分析中,通过其搜索的关键词及其频次,得到其目前的兴趣点等,通过其在每个时段的搜索次数,得到其大致的时间行为规律,这对于理解用户行为,描述用户画像,从而定向地针对性地进行广告推荐都是有一定的意义的。

2. 数据准备

2.1 实验环境

Cloudera QuickStart VM将包含所需的所有内容,例如CDH,Cloudera Manager,Cloudera Impala和Cloudera Search等,还包括教程,示例数据和入门脚本。Cloudera QuickStart虚拟机(单节点集群)可以轻松快速地进行CDH实验,以便进行测试,演示和自学,并包括Cloudera Manager以管理您的集群。

本文的使用的Cloudera QuickStart VM的版本是:

Cloudera-quickstart-vm-5.5.0-0-virtualbox

操作系统:Red Hat (64 bit)

内存大小:4096MB

处理器:2

所使用的virtualbox的版本是:VirtualBox-4.3.12-93733-Win

Cloudera QuickStart VM开启后的截图如下:

 
讯享网

Hive查询操作页面截图如下:

2.2 数据描述

本文选取搜狗实验室提供的搜狗搜索日志数据,共计五百万条,每一行为一条记录,每条记录基本上含有ts、uid、rank、order、url等字段,字段的具体意义如表1所示。

 

表1 搜索日志中的内容

名称

内容

ts

用户点击发生时的日期时间

uid

由系统自动分配的用户识别号

rank

该URL在返回结果中的排名

order

用户点击的顺序号

url

用户点击的URL

 

其中,UID是根据用户使用浏览器访问搜索引擎时的Cookie信息自动赋值,即同一次使用浏览器输入的不同查询对应同一个用户识别号。

3. 数据预处理

3.1 数据扩展

将原数据中包含时间的字段拆分并拼接,添加年、月、日、小时字段,以便后续在HDFS中进行分块存储。分割时间字段的shell脚本sogou-log-extend.sh的具体代码如下:

 

#!/bin/bash

infile=$1

outfile=$2

awk -F '\t' '{print $0"\t"substr($1,0,4)"\t"substr($1,4,2)"\t"

substr($1,6,2)"\t"substr($1,8,2)}' $infile > $outfile

 

在终端执行此shell脚本:

 

[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-extend.sh /home

/cloudera/500w/sogou.500w.utf8 /home/cloudera/500w/sogou.500w.utf8.ext

 

则sogou.500w.utf8.ext文件即为在原数据的基础上添加年、月、日、小时字段的文件。

3.2 数据过滤

完成数据扩展后,然后过滤UID和keyword字段为空的记录。数据过滤的shell脚本sogou-log-filter.sh的具体代码如下:

 

#!/bin/bash

infile=$1

outfile=$2

awk -F "\t" '{if($2 != "" && $3 != "" && $2 != " " && $3 != " ") print $0}' $infile > $outfile

 

在终端执行此shell脚本:

 

[cloudera@quickstart ~]$ bash /home/cloudera/sogou-log-filter.sh /home

/cloudera/500w/sogou.500w.utf8.ext /home/cloudera/500w/sogou.500w.utf8.

flt

 

则sogou.500w.utf8.flt即为过滤后的数据文件。

3.3 数据加载

将原数据文件sogou.500w.utf8和过滤后的数据文件sogou.500w.utf8.flt加载到HDFS上。在系统终端执行如下代码:

 

hadoop fs -mkdir -p /sogou/

hadoop fs -put ./sogou.500w.utf8 /sogou/

hadoop fs -mkdir -p /sogou_ext/

hadoop fs -put ./sogou.500w.utf8.flt /sogou_ext/

 

由此,已将数据加载到HDFS系统中,然后在Hive上创建日志数据的数据表。

首先在终端启动hive,在hive环境下创建数据库sogou:

hive> create database sogou;

hive> use sogou;

 

然后,创建扩展4个字段(year, month, day, hour)数据的外部表:

 

hive> CREATE EXTERNAL TABLE sogou.sogou_ext_(

> ts STRING,

> uid STRING,

> keyword STRING,

> rank INT,

> order INT,

> url STRING,

> year INT,

> month INT,

> day INT,

> hour INT

> )

> COMMENT 'This is the sogou search data of extend data'

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY '\t'

> STORED AS TEXTFILE

> LOCATION '/sogou_ext/';

 

创建带分区的表:

 

hive> CREATE EXTERNAL TABLE sogou.sogou_partition(

> ts STRING,

> uid STRING,

> keyword STRING,

> rank INT,

> order INT,

> url STRING

> )

> COMMENT 'This is the sogou search data by partition'

> partitioned by (

> year INT,

> month INT,

> day INT,

> hour INT

> )

> ROW FORMAT DELIMITED

> FIELDS TERMINATED BY '\t'

> STORED AS TEXTFILE;

最后,把HDFS中的数据灌入到刚刚创建的表中:

 

hive> set hive.exec.dynamic.partition.mode=nonstrict;

hive> INSERT OVERWRITE TABLE sogou.sogou_partition PARTITION(year,month,

day,hour) select * from sogou.sogou_ext_;

 

到现在为止,已把经过预处理的数据加载到hive中,后续便可以在hive中执行SQL语句进行查询分析。

4. 单维度数据描述性分析

4.1  条数统计

查看前10条数据:

hive> select * from sogou.sogou_ext_ limit 10;

 

前10条数据的具体信息如下:

查询数据的总条数:

hive> select count(*) from sogou.sogou_ext_;

 

查询非空查询条数:

hive> select count(*) from sogou.sogou_ext_ where keyword is not null and keyword !='';

 

查询无重复总条数(根据ts、uid、keyword、url)

hive> select count(*) from (select ts,uid,keyword,url,count(*) as cnt from sogou.sogou_ext_ group by ts,uid,keyword,url) a where a.cnt==1;

 

查询UID唯一的条数:

hive> select count(distinct(uid)) from sogou.sogou_ext_;

 

可知,(a) 本数据文件中共包含500万条数据;

(b) 非空查询条数为条,即所有的数据的keyword都不为空;

(c) 以ts、uid、keyword、url字段作为判断记录是否重复的标准,得到的无重复总条数为条;

(d) UID唯一的条数共有条,即在此段时间内共有个用户进行来搜狗搜索。

 

4.2   时间分析

查询每个时间段查询的条数:

hive> select year,month,day,hour,count(*) as cnt from

 sogou.sogou_ext_ group by year,month,day,hour order by

 year,month,day,hour;

 

得到的结果如下:

time

cnt

time

cnt

90752

65702

45880

34242

27922

28213

32988

52832

64

5

1

2

2

3

1

2

2

   
小讯
上一篇 2025-03-25 10:39
下一篇 2025-03-23 19:32

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/114850.html