讯享网

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

 循环调用get\_page\_data函数获取所有页数据。 

获取全部数据

def get_data():
df,pages = get_page_data(1)
for i in tqdm(range(2,pages+1,1)):
dfi,pages = get_page_data(i)
df = pd.concat([df,dfi])
df.to_csv(‘data.csv’,encoding=‘utf-8’,index=None)

讯享网 三、清洗数据 筛选出年份为2022年的数据。 去除GDP列自带的单位字符“亿”。 标准化省份数据，打通地区数据接口。 

清洗数据

def clean_data(file_path):
df = pd.read_csv(file_path,encoding=‘utf-8’,dtype=str)
df = df[df[‘year’] == ‘2022’]
df[‘gdp’] = list(map(lambda x:float(str(x).rstrip(‘亿’)),df[‘gdp’]))
dict0 = {
‘重庆’:‘重庆市’,‘北京’:‘北京市’,‘天津’:‘天津市’,‘上海’:‘上海市’,
‘香港’:‘香港特别行政区’,‘澳门’:‘澳门特别行政区’,
‘内蒙古’:‘内蒙古自治区’,‘西藏’:‘西藏自治区’,
‘新疆’:‘新疆维吾尔自治区’,‘宁夏’:‘宁夏回族自治区’,‘广西’:‘广西壮族自治区’}
df[‘pro’] = list(map(
lambda x:str(x).lstrip(‘[’).partition(‘]’)[0],df[‘pro’]))
df[‘pro’] = list(map(
lambda x:dict0[x] if x in dict0.keys() else x +‘省’,df[‘pro’]))
return df

 四、聚合数据 按照省份对GDP进行求平均聚合。 对省平均GDP统一保留两位小数。 

聚合数据

def work_data(df:pd.DataFrame):
df = df.groupby([‘pro’]).mean(‘gdp’).reset_index().sort_values(‘gdp’,ascending=False)
df.index = range(df.shape[0])
df[‘gdp’] = list(map(lambda x:round(x,2),df[‘gdp’]))
return df

讯享网 五、上传数据 启动伪分布式集群代码。 

start-all.sh
mr-jobhistory-daemon.sh start historyserver
/opt/spark-3.5.0/sbin/start-all.sh
/opt/spark-3.5.0/sbin/start-history-server.sh
nohup hive --service metastore &

 检测metastore(hive)端口是否启动成功。 

netstat -anp|grep 9083

tcp6 0 0 :::9083 ::😗 LISTEN 9919/java

讯享网 hive编写sql创建数据库。 

create database myproject;

 pyspark上传数据到metastore。 

上传数据

def upload_data(df:pd.DataFrame):
global spark
spark = SparkSession.Builder(
).appName(‘test’).master(‘local[*]’)
.config(‘spark.sql.shuffle.partitions’,‘2’)
.config(‘spark.sql.warehouse.dir’,‘hdfs://ml:9000/user/hive/warehouse’)
.config(‘hive.metastore.uris’,‘thrift://ml:9083’
).enableHiveSupport().getOrCreate()
df = spark.createDataFrame(df)
spark.sql(‘drop table if exists myproject.data;’)
df.write.mode(‘overwrite’).saveAsTable(‘myproject.data’,‘parquet’)
df.show()

讯享网 编写标准入口函数。 

入口函数

def main():
try:
get_data()
except:
print(get_data())
df = clean_data(‘data.csv’)
df = work_data(df)
upload_data(df)
if name == ‘__main__’:
main()

 上传代码到linux系统。 

scp data.py root@ml:/root/ml/data.py

讯享网 linux运行python代码。 

 此时hdfs文件系统/user/hive/warehouse/myproject.db/data路径下会产生一个snappy压缩格式列式存储的parquet文件part-00000-\*.snappy.parquet。 六、数据端口 开启thrift数据端口。 

/opt/spark-3.5.0/sbin/start-thriftserver.sh
–hiveconf hiveserver2.thrift.port=10000
–hiveconf hiveserver2.thrift.bind.host=ml
–master local[*]

讯享网 检测数据端口状态 

 七、下载数据 通过pyhive编写标准jdbc代码连接metastore(hive)获取数据引擎。 通过pandas读取sparksql查询语句获取数据。 

def download_data():
engine = hive.Connection(
host=‘ml’,port=10000,database=‘myproject’,
username=‘root’,password=‘ml’,auth=“LDAP”)
df = pd.read_sql_query(
‘select * from myproject.data;’,con=engine)
df = df.astype({‘pro’:str,‘gdp’:float})
return df
df = download_data()
df

讯享网 八、数据可视化 通过pyecharts的Map对象对数据进行可视化输出 

def get_chart(df:pd.DataFrame):
pro = list(df[‘pro’])
gdp = list(df[‘gdp’])
# 构建包含省份和GDP的列表
List = [i for i in zip(pro, gdp)]
# 使用pyecharts创建地图
myMap = charts.Map()
myMap.add(
“2022年全国各省地级市GDP均值(除港澳台及直辖市)”, List, maptype=‘china’, is_map_symbol_show=False)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！