python爬虫抓一些考研补录数据并进行数据分析期末大作业(python爬虫需要安装哪些库)
1.爬虫获取数据
import requests
import pandas as pd
import xlwt
import openpyxl
from time import sleep
from tqdm import tqdm
def get_page(n):
url :
for i in tqdm(range(11)):
get_page(i)
2.将拿到的数据进行数据分析
import openpyxl,pprint
print()
resultfile1.write(pprint.pformat(data1))
resultfile2.write(pprint.pformat(data2))
resultfile1.close()
resultfile2.close()
3.可视化处理并生成html页面
#!/usr/bin/python
# -*- coding: gbk -*-
import sys
import pandas as pd
from pyecharts import options as opts
from pyecharts.charts import pie
from pyecharts.charts import page, grid
//将
拿到的数据放到同一文件下导进来
from 数据包 import result2
content )
)
4.socket同步修改网页数据
))
# 发送读取的内容
conn.sendall(data)
conn.close()
发表评论