使用94采集器和船说CMS快速自建小说网站、快速采集小说数据详细教程

有容奶大

环境搭建

环境要求：

centos7或者ubuntu18、debian11及以上，宝塔面板，ssh连接机器后安装宝塔

想到官网注册宝塔才可以用

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

图片[1]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

船说cms

使用环境:

php5.6 – php8.x (开发环境php7.3)

使用教程

上传三个文件夹 ( www, shipsay, themes ) 到服务器
将网站的入口文件指向 /www/index.php (或运行目录用 /www), 宝塔用户请”关闭防跨站攻击”
建立数据库: ( 建子站,请跳过这步 )
1. 3.1、使用船说做源站:
  新建空白数据库
  导入 /sql/船说优化版.sql ( 或 /sql/船说分表版.sql )
  所有选择编码的地方都选择 utf8
2. 3.2、使用杰奇做源站
  在杰奇数据库中导入 /sql/update.sql
配置服务器伪静态 ( 伪静态规则在最后 )
浏览器打开 [链接登录后可见] 进入后台, 完成最后配置.

其他:

免维护站点地图
访问地址:
百度: [链接登录后可见]
神马: [链接登录后可见]
物理文件: /www/sitemap/, 可点开文件看使用说明.
船说不限制子站数量,IP,域名等. 但数据库服务器只能是一台 (如需更多的服务器来放置数据库,可购买授权)
考虑到服务器搬家, 授权码每3个月可免费更换一次
版本升级日志: [链接登录后可见] ( 有些问题可以在升级日志中得到解决 )

伪静态规则

Nginx 伪静态

rewrite ^/sitemap/sitemap_([0-9]+).xml$ /sitemap/ss_sitemap.php?page=$1;
rewrite ^/sitemap/sitemap.xml$ /sitemap/ss_sitemap.php;
rewrite ^/sitemap/sm_sitemap_([0-9]+).xml$ /sitemap/sm_sitemap.php?page=$1;
rewrite ^/sitemap/sm_sitemap.xml$ /sitemap/sm_sitemap.php;
if (!-d $request_filename){
set $rule_0 1$rule_0;
}
if (!-f $request_filename){
set $rule_0 2$rule_0;
}
if ($rule_0 = "21"){
rewrite ^/(.*)$ /index.php last;
}

IIS 伪静态

<?xml version="1.0" encoding="UTF-8"?>
<rules>
    <rule name="ShipSay SiteMap for ss_page">
        <match url="^sitemap/sitemap_([0-9]+).xml$" ignoreCase="false" />
        <action type="Rewrite" url="sitemap/ss_sitemap.php?page={R:1}" appendQueryString="false" />
    </rule>
    <rule name="ShipSay SiteMap for ss_index">
        <match url="^sitemap/sitemap.xml$" ignoreCase="false" />
        <action type="Rewrite" url="sitemap/ss_sitemap.php" />
    </rule>
    <rule name="ShipSay SiteMap for sm_page">
        <match url="^sitemap/sm_sitemap_([0-9]+).xml$" ignoreCase="false" />
        <action type="Rewrite" url="sitemap/sm_sitemap.php?page={R:1}" appendQueryString="false" />
    </rule>
    <rule name="ShipSay SiteMap for sm_index">
        <match url="^sitemap/sm_sitemap.xml$" ignoreCase="false" />
        <action type="Rewrite" url="sitemap/sm_sitemap.php" />
    </rule>    
    <rule name="ShipSay CMS" stopProcessing="true">
        <match url="^(.*)$" ignoreCase="false" />
        <conditions logicalGrouping="MatchAll">
            <add input="{REQUEST_FILENAME}" matchType="IsDirectory" ignoreCase="false" negate="true" />
            <add input="{REQUEST_FILENAME}" matchType="IsFile" ignoreCase="false" negate="true" />
        </conditions>
        <action type="Rewrite" url="index.php" appendQueryString="true" />
    </rule>
</rules>

Apache 伪静态

无需设置.

94采集器

在宝塔的软件商店安装python项目管理器

图片[2]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

安装程序并且上传解压

图片[3]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

配置config文件，前缀是固定的。采集器的数据库与网站的数据是同一个。还要开放9001端口

图片[4]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[5]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

利用phpMyAdmin打开船说网站的MySql数据库，并将“九四日志表(完整版)表”导入数据库

图片[6]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

文件3.7的需要安装3.72的python版本，3.8的需要安装3.85的python版本

图片[7]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[8]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

PS:如果启动失败，请安装cfscrape模块

图片[9]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

最后启动成功的，就可以访问：IP:9098

采集教程

采集配置

首先config.py与船说cms，94采集的数据配置一样

图片[10]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[11]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[12]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

开始采集

图片[13]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[14]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[15]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

采集开始前需要对规则测试，如果正确即可开始

图片[16]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[17]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

错误总结

文本内容不显示

图片[18]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[19]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[20]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

这两个位置必须一样，如果不一样就会不显示。

封面不显示图片

图片[21]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

图片[22]-94采集+船说cms搭建小说网站-皑雪

[链接登录后可见]

首先图片前缀填你的网站，封面网址跟上面一样后缀都不需要/，不然图片不显示

错误行号:710

2024-05-16 01:20:04-小说Id:479生成opf文件失败:保存OPF-Invalid format specifier，文件地址:/www/tools/3.8.x/app/view/colle.pyc,错误行号:710

解决方法给94 777权限

三个采集规则：

bqg.me

eydydWxlSWQnOiAnMjAyMjA4MDYxMzA4NjAwNTQ1JywgJ3J1bGVOYW1lJzogJ+eslOi2o+mYgWJxZy5tZScsICd3ZWJVcmwnOiAnaHR0cHM6Ly93d3cuYnFnLm1lLycsICd3ZWJDaGFydCc6ICdnYmsnLCAnc2hvd0NhaGUnOiAn5byA5ZCvJywgJ3RhcmdldFVscic6ICdodHRwczovL3d3dy5icWcubWUnLCAnbGlzdEFjY01vZGUnOiAn6buY6K6kJywgJ2xpc3RJbnRlcmZhY2UnOiAnJywgJ2xpc3RSZXBsYWNlJzogJycsICdsaXN0VGl0bGUnOiAncmdlOjxkaXYgY2xhc3M9InpwIj48YSBjbGFzcz0ibmFtZSIgaHJlZj0iW1xcc1xcU10qPyIgdGl0bGU9IihbXFxzXFxTXSo/KSI+JywgJ2xpc3RUaXRsZVInOiAnJywgJ2xpc3RVcmwnOiAncmdlOjxkaXYgY2xhc3M9InpwIj48YSBjbGFzcz0ibmFtZSIgaHJlZj0iKFtcXHNcXFNdKj8pIiB0aXRsZT0iJywgJ2xpc3RVcmxSJzogJycsICdpbmZvUic6ICcnLCAnaW5mb0FjY01vZGUnOiAn6buY6K6kJywgJ2luZm9JbnRlcmZhY2UnOiAnJywgJ2luZm9UaXRsZSc6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6dGl0bGUnXXxjb250ZW50IiwgJ2luZm9UaXRsZVInOiAnJywgJ2luZm9BdXRob3InOiAiY3NzOm1ldGFbcHJvcGVydHk9J29nOm5vdmVsOmF1dGhvciddfGNvbnRlbnQiLCAnaW5mb0F1dGhvclInOiAnJywgJ2luZm9UeXBlRCc6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6bm92ZWw6Y2F0ZWdvcnknXXxjb250ZW50IiwgJ2luZm9UeXBlRFInOiAnJywgJ2luZm9UeXBlWCc6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6bm92ZWw6Y2F0ZWdvcnknXXxjb250ZW50IiwgJ2luZm9UeXBlWFInOiAnJywgJ2luZkNoYW5uZWwnOiAiY3NzOm1ldGFbcHJvcGVydHk9J29nOm5vdmVsOmNhdGVnb3J5J118Y29udGVudCIsICdpbmZDaGFubmVsUic6ICcnLCAnaW5mb0ltZyc6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6aW1hZ2UnXXxjb250ZW50IiwgJ2luZm9JbWdSJzogJycsICdpbmZvU3RhdHVzJzogImNzczptZXRhW3Byb3BlcnR5PSdvZzpub3ZlbDpzdGF0dXMnXXxjb250ZW50IiwgJ2luZm9TdGF0dXNSJzogJycsICdrZXl3b3Jkcyc6ICcnLCAna2V5d29yZHNSJzogJycsICdpbmZvQnJpZWYnOiAiY3NzOm1ldGFbcHJvcGVydHk9J29nOmRlc2NyaXB0aW9uJ118Y29udGVudCIsICdpbmZvQnJpZWZSJzogJycsICdpbmZvTGlzdFVybCc6ICcnLCAnaW5mb0xpc3RVcmxSJzogJycsICdjYXRhUic6ICcnLCAnY2F0YUFjY01vZGUnOiAn6buY6K6kJywgJ2NhdGFJbnRlcmZhY2UnOiAnJywgJ2NhdGFUaXRsZSc6ICdjc3M6LnpqYm94ID4gZGwgPiBkZCA+IGEnLCAnY2F0YVRpdGxlUic6ICcnLCAnY2F0YVVybCc6ICdjc3M6LnpqYm94ID4gZGwgPiBkZCA+IGF8aHJlZicsICdjYXRhVXJsUic6ICcnLCAnY2F0YVNvcnRCeSc6ICcnLCAnY2F0YVBhZ2VCcmVhayc6ICcnLCAnY2F0YVBhZ2VCcmVha1InOiAnJywgJ2NhdGFSZXZlcnNlT3JkZXInOiAnMScsICd0eHRBY2NNb2RlJzogJ+m7mOiupCcsICd0eHRJbnRlcmZhY2UnOiAnJywgJ3R4dFR5cGUnOiAn5paH5pysJywgJ3R4dCc6ICdjc3M6I2NvbnRlbnQnLCAndHh0Uic6ICd3d3cuYnFnLm1lfCN8PD89U0lURV9VUkw/Plxu56yU6Laj6ZiBfCN8PD89U0lURV9OQU1FPz4nLCAndHh0U29ydEJ5JzogJycsICd0eHRQYWdlQnJlYWsnOiAnJywgJ3R4dFBhZ2VCcmVha1InOiAnJ30=

biqu5200.net

eydydWxlSWQnOiAnMjAyMjA4MDYxMzA4NjAwNTQ1JywgJ3J1bGVOYW1lJzogJ+eslOi2o+mYgWJpcXU1MjAwLm5ldCcsICd3ZWJVcmwnOiAnaHR0cDovL3d3dy5iaXF1NTIwMC5uZXQvJywgJ3dlYkNoYXJ0JzogJ2diaycsICdzaG93Q2FoZSc6ICflvIDlkK8nLCAndGFyZ2V0VWxyJzogJ2h0dHA6Ly93d3cuYmlxdTUyMDAubmV0JywgJ2xpc3RBY2NNb2RlJzogJ+m7mOiupCcsICdsaXN0SW50ZXJmYWNlJzogJycsICdsaXN0UmVwbGFjZSc6ICcnLCAnbGlzdFRpdGxlJzogJ2NzczojbmV3c2NvbnRlbnQgLmwgdWwgbGkgLnMyIGEnLCAnbGlzdFRpdGxlUic6ICcnLCAnbGlzdFVybCc6ICdjc3M6I25ld3Njb250ZW50IC5sIHVsIGxpIC5zMiBhfGhyZWYnLCAnbGlzdFVybFInOiAnJywgJ2luZm9SJzogJycsICdpbmZvQWNjTW9kZSc6ICfpu5jorqQnLCAnaW5mb0ludGVyZmFjZSc6ICcnLCAnaW5mb1RpdGxlJzogImNzczptZXRhW3Byb3BlcnR5PSdvZzp0aXRsZSddfGNvbnRlbnQiLCAnaW5mb1RpdGxlUic6ICcnLCAnaW5mb0F1dGhvcic6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6bm92ZWw6YXV0aG9yJ118Y29udGVudCIsICdpbmZvQXV0aG9yUic6ICcnLCAnaW5mb1R5cGVEJzogImNzczptZXRhW3Byb3BlcnR5PSdvZzpub3ZlbDpjYXRlZ29yeSddfGNvbnRlbnQiLCAnaW5mb1R5cGVEUic6ICcnLCAnaW5mb1R5cGVYJzogImNzczptZXRhW3Byb3BlcnR5PSdvZzpub3ZlbDpjYXRlZ29yeSddfGNvbnRlbnQiLCAnaW5mb1R5cGVYUic6ICcnLCAnaW5mQ2hhbm5lbCc6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6bm92ZWw6Y2F0ZWdvcnknXXxjb250ZW50IiwgJ2luZkNoYW5uZWxSJzogJycsICdpbmZvSW1nJzogImNzczptZXRhW3Byb3BlcnR5PSdvZzppbWFnZSddfGNvbnRlbnQiLCAnaW5mb0ltZ1InOiAnJywgJ2luZm9TdGF0dXMnOiAiY3NzOm1ldGFbcHJvcGVydHk9J29nOm5vdmVsOnN0YXR1cyddfGNvbnRlbnQiLCAnaW5mb1N0YXR1c1InOiAnJywgJ2tleXdvcmRzJzogJycsICdrZXl3b3Jkc1InOiAnJywgJ2luZm9CcmllZic6ICJjc3M6bWV0YVtwcm9wZXJ0eT0nb2c6ZGVzY3JpcHRpb24nXXxjb250ZW50IiwgJ2luZm9CcmllZlInOiAnJywgJ2luZm9MaXN0VXJsJzogJycsICdpbmZvTGlzdFVybFInOiAnJywgJ2NhdGFSJzogJycsICdjYXRhQWNjTW9kZSc6ICfpu5jorqQnLCAnY2F0YUludGVyZmFjZSc6ICcnLCAnY2F0YVRpdGxlJzogJ3JnZTo8ZGQ+PGEgaHJlZj0iW1xcc1xcU10qPyI+KFtcXHNcXFNdKj8pPC9hPjwvZGQ+JywgJ2NhdGFUaXRsZVInOiAnJywgJ2NhdGFVcmwnOiAncmdlOjxkZD48YSBocmVmPSIoW1xcc1xcU10qPykiPltcXHNcXFNdKj88L2E+PC9kZD4nLCAnY2F0YVVybFInOiAnJywgJ2NhdGFTb3J0QnknOiAnJywgJ2NhdGFQYWdlQnJlYWsnOiAnJywgJ2NhdGFQYWdlQnJlYWtSJzogJycsICdjYXRhUmV2ZXJzZU9yZGVyJzogJzEnLCAndHh0QWNjTW9kZSc6ICfpu5jorqQnLCAndHh0SW50ZXJmYWNlJzogJycsICd0eHRUeXBlJzogJ+aWh+acrCcsICd0eHQnOiAnY3NzOiNjb250ZW50JywgJ3R4dFInOiAnJywgJ3R4dFNvcnRCeSc6ICcnLCAndHh0UGFnZUJyZWFrJzogJycsICd0eHRQYWdlQnJlYWtSJzogJyd9

金子会发光

这么详细，感谢有容乃大分享！

Benladen

挺全的

jlx

很详细啊

lisening

我就知道奶大的厉害！

kuakeba.cn

挺全的puls