爬虫代码1

  1. #CrawUnivRankingB.py
  2. import requests
  3. from bs4 import BeautifulSoup
  4. import bs4
  5.  
  6. def getHTMLText(url):
  7.     try:
  8.         = requests.get(url, timeout=30)
  9.         r.raise_for_status()
  10.         r.encoding = r.apparent_encoding
  11.         return r.text
  12.     except:
  13.         return ""
  14.  
  15. def fillUnivList(ulist, html):
  16.     soup = BeautifulSoup(html, "html.parser")
  17.     for tr in soup.find('tbody').children:
  18.         if isinstance(tr, bs4.element.Tag):
  19.             tds = tr('td')
  20.             ulist.append([tds[0].string, tds[1].string, tds[3].string])
  21.  
  22. def printUnivList(ulist, num):
  23.     tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
  24.     print(tplt.format("排名","学校名称","总分",chr(12288)))
  25.     for in range(num):
  26.         u=ulist[i]
  27.         print(tplt.format(u[0],u[1],u[2],chr(12288)))
  28.      
  29. def main():
  30.     uinfo = []
  31.     url = 'https://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
  32.     html = getHTMLText(url)
  33.     fillUnivList(uinfo, html)
  34.     printUnivList(uinfo, 20# 20 univs
  35. main()
相关文章
相关标签/搜索