python爬取百度贴吧源码

python爬取百度贴吧源码，由吾爱大神原创制作，通过python爬虫程序来实现对百度贴吧的回复爬取，可以自动生成excel文件，让你能更加清晰地查看贴吧的回复与帖子信息。本次放出python爬取百度贴吧源码数据资源下载，并提供webdriver加载程序，安装后可以让源码加载到谷歌浏览器上运行，有相关百度贴吧爬取需求的朋友们不妨试试吧！

python爬取百度贴吧源码说明：

webdriver

BeautifulSoup

xlwt

time（自带）

需要 chromedriver.exe 并配置环境变量，可能需要对应版本，百度可解决

当前适用于 Chrome版本 74.0.3729.131（正式版本）（32 位）

主函数中配置登录账号（line 91）

在提示“请输入任意内容确认你已经登录：“

必须是你已经登录账号，

出现验证码请手动处理。（line 92）

（ilne 93） 输入你要打开回复的第几页

最后一个数字是页数，不写为第一页

生成的 excel 超链接没有样式

excel样式需要自己添加（后续版本改进）

python爬取百度贴吧源码一览：

# http://tieba.baidu.com/i/i/my_reply

from selenium import webdriver

import time

from bs4 import BeautifulSoup

import xlwt

def login(name, passwd):

    # 1.打开浏览器

    driver = webdriver.Chrome()

    # 2.设置地址

    url = "https://www.baidu.com/"

    # 3.访问网址

    driver.get(url)

    # 4.分析网页，找到登录元素

    # login = driver.find_elements_by_id('u1').find_elements_by_class_name('lb')[0]   #方法一

    login = driver.find_elements_by_css_selector('div[id=u1] a[class=lb]')[0]   #方法二

    #5.点击登录按钮

    login.click()

    time.sleep(2)

    changeusename=driver.find_element_by_id("TANGRAM__PSP_10__footerULoginBtn")

    changeusename.click()

    #点击之后要加等待时间

    time.sleep(2)

    #8.找到 输入 用户名 和密码框，并且设置内容

    #<input id="TANGRAM__PSP_10__userName">

    username = driver.find_element_by_id('TANGRAM__PSP_10__userName')

    #输入账号名

    username.send_keys(name)

    time.sleep(1)

    #<input id="TANGRAM__PSP_10__password">

    password = driver.find_element_by_id('TANGRAM__PSP_10__password')

    #输入密码

    password.send_keys(passwd)

    time.sleep(2)

    #<input id="TANGRAM__PSP_10__submit">

    submit = driver.find_element_by_id('TANGRAM__PSP_10__submit')

    submit.click()

    return driver

def opentieba(browser, url = 'http://tieba.baidu.com/i/i/my_reply?&pn=1'):

    browser.get(url)

    context=browser.page_source

    soup = BeautifulSoup(context, 'html.parser')

    context=browser.find_element_by_css_selector(".simple_block_container")

    print(context.text)

    cont=soup.find_all(class_='b_right_up')

    return  cont

def writeXls(cont):

    i = 0 # 从第几行开始写

    # 1、导入模块   

    # 2、创建workbook（其实就是excel，后来保存一下就行）

   # workbook = xlwt.Workbook(encoding='ascii')

    workbook = xlwt.Workbook(encoding = 'utf-8')

    # 3、创建表

    worksheet = workbook.add_sheet('sheet1')

    for link in cont:

        print(link)

        item = BeautifulSoup(str(link), 'html.parser')

        reply_context=item.find(class_="for_reply_context")

        thread_title=item.find(class_="thread_title")

        href = str(thread_title)[31:54]

        href = 'http://tieba.baidu.com/' + href

        print(reply_context.text)

        worksheet.write(i, 0, label=reply_context.text)

        print(thread_title.text)

        worksheet.write(i, 1,xlwt.Formula('HYPERLINK("'+href+'"," '+thread_title.text+'")'))

        print(href)

        i = i + 1

        time.sleep(1)

    # 5、保存

    date = time.strftime("%Y%m%d%H%M%S", time.localtime())+ '_'

    workbook.save('Excel_'+date+str(i)+'.xls')

    i = 0

    return "successful"

def writedata(data):

    #1、导入模块   

    #2、创建workbook（其实就是excel，后来保存一下就行）

    workbook = xlwt.Workbook(encoding='ascii')

   # 3、创建表

    worksheet = workbook.add_sheet('sheet1')

    #4、往单元格内写入内容

    worksheet.write(0, 0, label=data)

   # 5、保存

    workbook.save('Excel_Workbook.xls')

def main():

    driver = login("美食拍客136822", "*****")

    str = input("请输入任意内容确认你已经登录：")

    xlscontext = opentieba(driver, url = 'http://tieba.baidu.com/i/i/my_reply?&pn=1')

    res = writeXls(xlscontext)

    print(res)

if __name__ == '__main__':

    main()