能不能整一个脚本校准书源呢？

[thredreams]

问题定义

现在的盗版书比正版书都要晚三四天这样，而且再加上各个网站不同的防盗措施。书源往往会展现出错误的章节内容，

具体表现包括：

1. 只有前面一小段免费试读部分（一般就一百个字左右）
2. 大量乱码
3. 显示其他无关内容，包括其他书籍内容，等等
4. 正文中反义词替换，比如”进入“变成”退入“，”我“变成”他，以及角色名混乱
5. 章节缺失
6. （等待其他朋友继续补充）

原因分析

这些就是因为书源拿不到最新的正版内容，只爬了免费看的一小段。其余部分的内容没有做额外的处理。

虽然大部分书源会有上述表现而显示混乱。但有些书源看上去会好一点，我觉得这是因为不同书源的更新时间，更新频率不一样，但是换一本书，这个源可能就不好了。

需求

在这种情况下，我们需要的是那些更新时间比较晚的，并且最好是不获取那些有问题的内容，而是仅仅获取已经没有混乱内容的较晚的章节，也就是说，牺牲追更的速度，换取较为流畅的阅读体验。

我们现在有很多（数量上千）的书源，我在考虑是否可以做一个脚本，对书源进行过滤。

最优的策略

以章节为单位，对每个书源按上述的具体表现进行匹配过滤，当匹配到一个不包括以上混乱表现得书源时，标记该书源并将内容加入正确章节列表，然后继续匹配其他章节，直到这个书源也表现出混乱章节，最后将包含全部正确章节的列表做成书源。

伪代码（算法很拉，仅作演示）：

# 定义正确章节列表
correct_chapters=list()
# 遍历每个章节
for chapter in chapters：
    # 对每个章节遍历书源
    for bo in bookorigins:
        # 判断书源是否正常
        if bo[chapter] normal：
            # 将正确内容加入列表，并继续判断这个书源的下一个章节
            correct_chapters.add(bo[chapter].content)
            chapter++
            break
# 将包含全部正确章节的列表做成书源
get_book_origins(correct_chapters)

可行性更高的策略

在书籍换源界面，对列出来的每个书源验证当前章节是否正常，将正常的书源的优先级调高或者加个标记。

其他策略

待填充

识别各种“混乱表现”

1. 如果内容太少，可以根据字符串长度判断，在此之前需要过滤掉各种乱码或者超链接
2. 对于乱码很多的内容，可以判断乱码字符串的长度
3. 识别各种书源特定字符串，“收藏XXX”，“正在手打中”等等。
4. 反义词替换没啥思路，好像在其他issue和discusion中有相关讨论

需要帮助：

1. 帮忙填充 问题定义 部分中的具体表现
2. 对各种混乱章节的具体表现该怎么识别
3. 讨论各种策略的技术可行性，包括算法的优化，具体的实现等等
4. 帮忙把其他和这个问题相关的问题的issue和discussion链接过来，让更多的朋友参与讨论。

[zhangzw218]

这种其实是考虑过的，不过因为不懂kotlin，没法二次开发。
……
大概判断思路，是这样的：
1、选定一本书，下载目录，记录目录中的章节字数（这一步一般直接找官方站点）
2、自动搜索其他平台的同书名同作者，下载后做章节匹配（优先级：章节正文前2段、章节标题），这一步可能因为内容修改、章节标题修改等，出现出现重复章节的情况。需要作为可选项是否展示（因为官网有可能才是少章节少内容的那个，有禁止内容嘛）
3、判断章节字数，少于第一步的内容不合格，计算匹配分数。
4、同一站点前后章节大量重复的，判定不合格（部分站点，只有前面两段是正确的，后面一大段都是从重复的固定章节，很容易判断）
###一直判断到这一步，那些少字数，虚假更新的章节，以及有些网站缺少章节的问题，应该能最大程度的解决。
5、人工指定错误章节（内容缺少、防盗章节未刷新等）
6、人工指定某部分章节是有问题的时候，标记内容，全网搜索与人工标记不同的章节（章节名称一致、章节前几段一致，后面全部不一样等）
###如果前面两步找不出来正确章节，那说明作者恢复正确章节之后，全网没收录，那就没办法了，可以定时、长期刷新寻找。
7、书源评分，可以根据上面的步骤，算出书源的2个分数：1、书源之间的关联分数。2、书源本身的优先级。
7、1、书源之间的关联分数，就是相同的章节，书源之间的相似度，有些连错误内容和插入的网址都一样的，那相似度可以说非常高了，但这个应该怎么算还没想好。
7、2、书源本身的优先级，就根据3、4、6判断个百分比。

[h11128]

字数在我的pr merge之后就可以看到了。其实这个pr就是获取章节内容，然后得到字数。所以这个pr merge之后，就可以根据章节内容和字数来实现一系列的事情，比如根据内容过滤，比较相似度，然后根据内容相似度排序之类的

跟字数有关的issue
#1479
#2928
#2973
#2987
#3039

根据内容过滤
#2278

根据内容比对
#918