1.爬取新浪网

import requests from bs4 import BeautifulSoup res = requests.get('http://news.sina.com.cn/china/') res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html.parser')

for news in soup.select('.news-item'):     if len(news.select('h2')) > 0:         time = news.select('.time')[0].text         h2 = news.select('h2')[0].text         a = news.select('a')[0]['href']         print(time,h2,a) 爬取结果： 4月8日 12:06 韩长赋任中央农村工作领导小组副组长 http://news.sina.com.cn/o/2018-04-08/doc-ifyteqtq5694371.shtml 4月8日 11:36 干部违规办宴:亲属成“白手套”朋友成“中介人” http://news.sina.com.cn/c/2018-04-08/doc-ifyuwqez6571221.shtml 4月8日 11:21 公安部副部长孟宏伟不再担任部党委委员(图) http://news.sina.com.cn/o/2018-04-08/doc-ifyuwqez6561865.shtml 4月8日 11:10 中美贸易摩擦升级 外媒:美鹰派成对华贸易战推手 http://news.sina.com.cn/c/2018-04-08/doc-ifyuwqez6553942.shtml 4月8日 11:04 刘建洋任南昌副市长 代理市长 http://news.sina.com.cn/c/2018-04-08/doc-ifyteqtq5654761.shtml 4月8日 10:59 陕西省商洛市政协原主席王甲训等2人被处分 http://news.sina.com.cn/o/2018-04-08/doc-ifyteqtq5650889.shtml 4月8日 10:50 外媒称美国对华贸易施压“没道理”:美更需要中国 http://news.sina.com.cn/c/2018-04-08/doc-ifyteqtq5643846.shtml 4月8日 10:47 WTO没有亏待美国 特朗普为何还要满腹怨气？ http://news.sina.com.cn/c/2018-04-08/doc-ifyuwqez6538498.shtml 2.爬取中国知网的url from urllib.request import urlopen#用于获取网页 from bs4 import BeautifulSoup#用于解析网页

url = urlopen('http://www.cnki.net/')

bsObj = BeautifulSoup(url, 'html.parser') a1 = bsObj.find_all('a') for a2 in a1:     a3 = a2.get('href')     print(a3)