爬天气数据，解析网页的时候有个元素不知道怎么取

<div class="minMax">
<div id="maxTempDiv" style="float: left;"><img src="http://i.tq121.com.cn/i/weather2017/max.png"><span id="maxTemp">26℃</span></div>
<div id="minTempDiv" style="float: left;"><img src="http://i.tq121.com.cn/i/weather2017/min.png"><span id="minTemp">19℃</span></div>
</div>

怎么才能把温度信息取出来。
temp_list = soup.find_all('span',id='maxTemp')
temp_list = soup.find_all('span',class_='minMax')
最后结果都是没有温度信息，打印出来这个：
[<div class="minMax">
<div id="maxTempDiv"><img src="http://i.tq121.com.cn/i/weather2017/max.png"/><span id="maxTemp"></span></div>
<div id="minTempDiv"><img src="http://i.tq121.com.cn/i/weather2017/min.png"/><span id="minTemp"></span></div>
</div>]
这种元素提取有没有什么好一点的教程啊？求助！！！！！

div

img

src

minmax

28 replies • 2018-04-12 09:55:17 +08:00

windfarer

Apr 9, 2018

xpath 了解一下

0vels

Apr 9, 2018

soup.find('span',id='maxTemp').string 这样应该可以

F1024

Apr 9, 2018

xpath

zbl430

Apr 9, 2018

pyquery 也可以看下

imnpc

Apr 9, 2018

他这个元素大概是网页加载完成以后 js 操作 dom 写过去的...

LeIYc

Apr 9, 2018

@windfarer OK 上网搜到了。

LeIYc

Apr 9, 2018

@0vels 为什么。是说除了温度数据以外其他都是标签吗？这什么原理。不是直接写在网页上的吗？是从别的地方取到的？

LeIYc

Apr 9, 2018

@0vels 还是不对。打印出了 None。

shower

Apr 9, 2018

用 request-html，执行 JS 之后再取数据

LeIYc

Apr 9, 2018

@shower 额。。。具体怎么写？查下好像说数据是 js 生成的。直接取的话取不到？

johnj

Apr 9, 2018

看一下页面有没有发 ajax 请求，说不定有

Vhc001

Apr 9, 2018

@LeIYc 把页面 url 贴出来

LeIYc

Apr 9, 2018

http://www.weather.com.cn/weather1dn/101280601.shtml

mskip

Apr 9, 2018

@LeIYc
from requests_html import HTMLSession

session = HTMLSession()
response = session.get('http://www.weather.com.cn/weather1dn/101280601.shtml')
response.html.render()
print(response.html.find('#maxTemp')[0].text)

rabbbit

Apr 9, 2018

后加载的

alen

Apr 9, 2018

F12 看 Network

silencefent

Apr 9, 2018

//span[@id='maxtemp']
//span[@id='mintemp']

em70

Apr 9, 2018

准备两个函数
1. 提取两个字符串之间的内容
2. 提取一个文档内所有这两个字符串之间的内容

无论什么语言,有这两个函数,可以分析任意文本

imn1

Apr 9, 2018

特意加两个 id 标签，后加载可能性极高

而且天气数据基本按小时为单位更新，多数是 json 更新

LeIYc

Apr 9, 2018

谢谢 @rabbbit
找到了这样的信息：
var dataSK =
{"nameen":"shenzhen","cityname":"深圳","city":"101280601","temp":"26","tempf":"78","WD":"西南风","wde":"SW","WS":"2 级","wse":"<12km/h","SD":"54%","time":"13:50","weather":"多云","weathere":"Cloudy","weathercode":"d01","qy":"1009","njd":"30.94km","sd":"54%","rain":"0.0","rain24h":"0","aqi":"71","limitnumber":"","aqi_pm25":"71","date":"04 月 09 日(星期一)"}
这个应该是正确的。但是怎么才能获取这个信息呢？直接访问是不行的

yu099

Apr 9, 2018 via Android

@LeIYc 打个断点，看哪个 js 加载的啊

yu099

Apr 9, 2018 via Android

或者直接 selenium，
@LeIYc 直接访问的话，你得看一下还带上什么信息的

woscaizi

Apr 9, 2018

直接带上 cookie 请求接口就 ok 了。
url： http://d1.weather.com.cn/sk_2d/101280601.html?_=1523255737236
cookie 类似这样：f_city=%E6%B3%B0%E5%AE%89%7C101120801%7C; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1523255730; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1523255730; vjuids=2a011e2fb.162a91de08f.0.258106460fa03; vjlast=1523255730.1523255730.30; Wa_lvt_1=1523255731; Wa_lpvt_1=1523255731
还有就是一些基本的模仿浏览器的配置。

yuanfnadi

Apr 9, 2018

如果只是为了天气数据。可以看一下彩云天气的 api。免费的。

LeIYc

Apr 9, 2018

非常感谢大家，发现还是得仔细看一遍书啊。
《 Python 网络数据采集》这本怎么样，刚下载下来。准备好好看看。

seiuneko

Apr 9, 2018

@LeIYc #20
Referer: http://www.weather.com.cn/

jimmyczm

Apr 10, 2018

直接用 selenium 加载再查找好一点
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.weather.com.cn/weather1dn/101280601.shtml')
min = browser.find_element_by_id('maxTempDiv')
max = browser.find_element_by_id('minTempDiv')
print(min.text, max.text)

baday

Apr 12, 2018

看对接口的请求记录，如果直接请求接口能够获取就不用模拟 js 了