各位编程小伙伴,是不是又到了一年一度的高考季?今天咱们就来聊聊如何用Python和selenium爬取厦门大学招生考试历年的分数数据。
首先,我们要分析页面结构,找到目标数据所在的位置。在各省分数线这一栏,我们可以看到年份、录取批次、招生类型、最低分/最低位次、省控线等信息。接下来,我们通过分析源码,发现可以通过模拟下拉框和分页来获取数据。
下面,我们来一步步看看具体的实现方法。
代码结构
我们的代码主要分为以下几个部分:
__init__:初始化数据,定义爬取的目标请求和webdriver。pase_data:主要进行数据分析,数据提取。save_data:数据保存方法。run:程序入口。
具体代码实现
def pase_data(self):
self.driver.execute_script('scrollTo(0,400)')
sleep(1)
line_table_box = self.driver.find_elements_by_xpath(
