分类
大小:.00M更新:2020-09-21
类别:源码相关系统:WinXP,Win7,win8
python爬取138看书网小说源码,来自论坛大神原创制作的一个爬取源码,可以帮您爬取138小说网的小说资源,支持分类搜索查找功能,支持目录爬取,自带书签系统,让您看小说更加轻松。本次带来python爬取138看书网小说源码资源下载,需要看小说的朋友们不妨试试吧!
记录一下今天爬的第二个小说网,第二次弄起来比较熟练了,不像第一次弄一半就得找教程边看边搞。
但实际上爬小说应该是最简单的事情了吧,涉及的技术也没有那么深。
把代码发出来让想刚入门却不知道从何下手的同萌新们看看吧,看教程总是云里雾里的,还是还得上手多练练才能加深印象。
这个小说爬虫还是有点垃圾,多线程没有,而且有些函数也是用的跟*一样,这玩意该怎么改进也没有头绪。
import requests
import lxml
import re
headers = {
'user-agent': 'User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
}
print ('本脚本仅适用于138看书网:https://www.13800100.com/')
#url_list = 'https://www.13800100.com/list/72262/'
url_list = (input('粘贴小说目录url,必须是小说目录,小说首页不支持\n'))
downurl = 'https://www.13800100.com/article/'
url_list = requests.get(url_list)
text_list = url_list.text
#爬小说书名
text_title = re.findall(r'<div class="cate-tit">(.*?)</h2>',text_list,re.S)[0]
text_title = text_title.replace('\r\n','')
text_title = text_title.replace('<h2>','')
text_title = text_title.replace(' ','')
#爬小说目录列表
text_list_info = re.findall(r'<div class="bd">.*?</div>',text_list,re.S)[0]
text_list_info = re.findall(r'<a href="/article/(.*?)" class="name">(.*?)</a>',text_list)
for i in text_list_info:
#每章小说的url和每章章名
list = i[0]
name = i[1]
download = downurl + list
download_info = requests.get(url = download,headers=headers)
html=download_info.text
html_info = re.findall(r'<div class=".*?">(.*?)</div>',html,re.S)[0]
html_info = html_info.replace (' ','')
html_info = html_info.replace ('<br/>',('\n'))
html_info = html_info.replace ('','')
print (name)
#输出为记事本
with open ('%s.txt' % text_title,'a+',encoding = 'utf-8')as f:
f.write(' '+ name + '\n')
f.write('\n')
f.write(html_info + '\n')
f.write('\n')
print ('下载完成')
七途影院赞助页可做收款页用的html5源码源码相关.80M最新免费版
查看人人新闻营销模块源码源码相关MV5.0.8最新版
查看E4A源码修复加强工具源码相关Mv2.1.30 官方版
查看UploadifyTest上传文件工具源码相关.48M正式版
查看抖音表白网站源码源码相关M免费版
查看python爬取半次元图片源码源码相关.00M
查看程序员装逼神器hacker typer源码相关M免费版
查看laysns模板CMS插件【附源码】源码相关M
查看新浪微博图床API上传接口站源码源码相关.01M稳定版
查看陌屿云加密网站源码源码相关Mv4.0最新版
查看MKcms6.2.3影视源码完整开源仿品源码相关M
查看全屏滑稽源码分享HTML源码相关.29M
查看phpwind源码相关M8.5.0425 官方最新简体GBK版
查看全网音乐搜索下载播放源码源码相关MPHP在线搜
查看鹏仔3D云朵动态背景酷炫引导页登陆模板源码源码相关.18M最新版
查看Emlog响应式Coffee主题(个人博客系统)源码相关.20M
查看星益小游戏平台源码源码相关M最新版
查看jsp实例教材源码相关M最新免费版
查看YurunPHP开源框架源码相关.11M
查看默笙工具箱网站源码带后台新版源码相关MV2.0附安装教程
查看人人商城全开源版源码源码相关MV3.11.1前端+后端管理
查看在线图床系统对接SM.MS源码源码相关.18M最新版
查看苹果cmsV10仿B站视频风格源码源码相关M免费分享
查看点击查看更多