本次采用selenium方式爬取
但此代码有个小小问题 在第二个日期分类下会出现多个空格
selenium中的隐性等待和显示等待都测试过,无法解决这个问题
故把保存的txt逐行读取,再删除空格了
file1 = open('file1.txt', 'r') # 打开要去掉空行的文件 file2 = open('data2.txt', 'w') # 生成没有空行的文件 for line in file1.readlines(): if line == '\n': line = line.strip('\n') file2.write(line) file1.close() file2.close()
讯享网
python代码
讯享网# -*- coding =utf-8 -*- # @time : 2022/8/3 11:29 # @software: PyCharm # Author:Xiao_yu import unittest from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait from time import sleep from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By def main(): sdata() def sdata(): f = open('data.txt','a') driver = webdriver.Chrome() driver.get("http://gbtgame.ysepan.com/") sleep(2) elist = driver.find_elements_by_class_name('ml') for i in range(0,len(elist)): elist[i].click() sleep(2) f.write(elist[i].text) f.write('\n') f.write(('\n')) egame =driver.find_elements_by_class_name('xwj') sleep(3) for j in range(0,len(egame)): f.write(egame[j].text) f.write('\n') driver.close() if __name__ == "__main__": main()

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76284.html