赤天化股票

python3+selenium获取页面加载的所有静态资源文件链接操作

 更新时间:2020年05月04日 17:16:11   作者:举个栗子不容易   我要评论
这篇文章主要介绍了python3+selenium获取页面加载的所有静态资源文件链接操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

软件版本:

python 3.7.2

赤天化股票selenium 3.141.0

赤天化股票pycharm 2018.3.5

具体实现流程如下,废话不多说,直接上代码:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

d = DesiredCapabilities.CHROME
chrome_options = Options()
#使用无头浏览器
chrome_options.add_argument('--headless')
chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36')
#浏览器启动默认最大化
chrome_options.add_argument("--start-maximized");
#该处替换自己的chrome驱动地址
browser = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options,desired_capabilities=d)
browser.set_page_load_timeout(150)
browser.get("https://www.xxx.com")
#静态资源链接存储集合
urls = []
#获取静态资源有效链接
for log in browser.get_log('performance'):
	 if 'message' not in log:
			continue
	 log_entry = json.loads(log['message'])
	 try:
		#该处过滤了data:开头的base64编码引用和document页面链接
			if "data:" not in log_entry['message']['params']['request']['url'] and 'Document' not in log_entry['message']['params']['type']:
				urls.append(log_entry['message']['params']['request']['url'])
	 except Exception as e:
			pass
 print(urls)

打印结果为页面渲染时加载的静态资源文件链接:

[http://www.xxx.com/aaa.js,http://www.xxx.com/css.css]

以上代码为selenium获取页面加载过程中预加载的各类静态资源文件链接,使用该功能获取到链接后,使用其他插件进行可对资源进行下载!

补充知识:在idea 中python import sys,import requests 报错

File->Project Structure

project -> sdk -> new -> ok

设置编译参数(主要是设置和检查Python JDK是否正确)

以上这篇python3+selenium获取页面加载的所有静态资源文件链接操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

赤天化股票相关的文章

  • 简单介绍Python中的JSON模块

    简单介绍Python中的JSON模块

    这篇文章主要介绍了简单介绍Python中的JSON模块,包括初步的从Python中的数据格式转换为JSON格式等,需要的朋友可以参考下
    2015-04-04
  • selenium+Chrome滑动验证码破解二(某某网站)

    selenium+Chrome滑动验证码破解二(某某网站)

    这篇文章主要介绍了selenium+Chrome滑动验证码破解二(某某网站),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • Django中模型Model添加JSON类型字段的方法

    Django中模型Model添加JSON类型字段的方法

    这篇文章主要介绍了Django中模型Model添加JSON类型字段的方法,实例分析了Python的Django框架模型使用技巧,需要的朋友可以参考下
    2015-06-06
  • Python中IP地址处理IPy模块的方法

    Python中IP地址处理IPy模块的方法

    这篇文章主要介绍了Python中IP地址处理IPy模块的方法,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-08-08
  • Python 窗体(tkinter)按钮 位置实例

    Python 窗体(tkinter)按钮 位置实例

    今天小编就为大家分享一篇Python 窗体(tkinter)按钮 位置实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-06-06
  • 详解Python修复遥感影像条带的两种方式

    详解Python修复遥感影像条带的两种方式

    这篇文章主要介绍了详解Python修复遥感影像条带的两种方式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • python对象及面向对象技术详解

    python对象及面向对象技术详解

    这篇文章主要介绍了python对象及面向对象技术,结合实例形式详细分析了Python面向对象所涉及的类、对象、方法、属性等概念与使用技巧,需要的朋友可以参考下
    2016-07-07
  • 进一步理解Python中的函数编程

    进一步理解Python中的函数编程

    这篇文章主要介绍了进一步理解Python中的函数编程,本文进一步讨论了Python中函数编程的一些要点,来自IBM官方技术文档,需要的朋友可以参考下
    2015-04-04
  • 浅谈python元素如何去重,去重后如何保持原来元素的顺序不变

    浅谈python元素如何去重,去重后如何保持原来元素的顺序不变

    这篇文章主要介绍了浅谈python元素如何去重,去重后如何保持原来元素的顺序不变?具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • python处理两种分隔符的数据集方法

    python处理两种分隔符的数据集方法

    今天小编就为大家分享一篇python处理两种分隔符的数据集方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12

最新评论