阿松的博客

10块钱搭建家庭影院，电视不再吃灰

xiaoshame1209@gmail.com (阿松) — Sat, 09 May 2026 17:24:13 +0800

平时小朋友使用ipad看动画片，家里的电视处于闲置状态，为了保护小朋友的眼睛，就想着把电视用起来。

电视上的APP看个啥都要会员，成本太高。家里也没有nas，也不想折腾，最后通过夸克网盘实现了观看自由。

手机和电视上都安装一个夸克网盘APP。
咸鱼10块钱收一个88VIP夸克网盘会员年卡绑定到自己手机上，使用对应手机号在手机和电视上登录。如果自己开通了88VIP，就可直接手机号登录。
开源项目pansou可以搜索夸克的内容，手机浏览器打开盘搜网页搜索资源，跳转夸克APP保存。
电视上打开夸克APP，然后在文件中可以找到刚保存的资源，进行在线观看，画质支持超清。

小朋友突然想看什么，电话和我说，我在手机上操作，几分钟后娃在电视上就可以看，非常的便捷。

如果习惯使用115/阿里/百度/天翼等其他网盘，都可用这套方案进行替换。

理财信息源和套利方法整理

xiaoshame1209@gmail.com (阿松) — Fri, 19 Dec 2025 13:54:10 +0800

汇总梳理下理财方面的信息

信息源

X Mistery，大盘最近的走势和判断，交易策略，趋势判断
公众号猫笔刀,日常财经相关的事件
视频号薛松鸭，重点看每天的切片，获取针对新手操作的建议

信息差

lof基金套利
- lof基金具备场外购买场内卖出的特点，当LOF基金场内有溢价时，就存在套利空间。
- 场内申购即可以每日净值(场外价格)申购，份额到账后直接场内卖出，获取场内溢价的利润。
- 注意开户时问清楚ETF佣金，免五优先，避免溢价无法覆盖手续费导致亏损。
- 16开头是深市基金,一个人最多可以有6个深市账号，全部开通后，可以在券商通过一次操作，多个账号申购实现拖拉机。
- LOF溢价网站信息查询
- 最近白银溢价30%，基金限制一个身份证只能一个账号购买
中证500滚IC
- 滚动操作中证500股指期货，核心就是赚ic期货长期存在的贴水，即期货价格低于现货价格，远月的价格低于近月价格。
- 月初的时候买入下个月到期的合约，然后在临近交割日（每个月第三个星期五）卖出该合约，无缝衔接的买入到下下个月的合约。通过每月的滚动移仓，因为期货的价格会向现货价格靠近，所以可以获得每个月的贴水。
- 滚ic本质上是做时间的朋友，在无杠杆的情况下，仅仅靠吃贴水就能获得大概10%的收益。持有时间超过5年，即可获得50%的安全垫，也即指数下跌不超过50%就有收益，后面每年10%的补贴都是收益。
可转债打新
- 多数新债上市首日表现良好，能以10%-30%甚至更高的溢价卖出，实现快速回本和盈利
- 新用户开通权限：需满足最近20个交易日日均20万元资产，且有2年以上证券交易经验。老用户：在2022年6月前已开通权限的，不受新规影响。
- 中签基本是1000块额度，沪市为1手（10张/1000元），深市为10张。上市当天卖出赚取溢价即可
科创板打新
- 开通权限：近20个交易日日均资产不低于50万人民币、证券交易经验满24个月
- 市值要求：参与网上申购前20个交易日（含T-2日），日均持有上海市场非限售A股及存托凭证总市值需达1万元（深市市值不计）。
- 申购额度：每5000元日均市值可申购1个单位，每单位为500股，申购数量需为500股的整数倍。
- 今年摩尔线程一签最多赚28.69万，沐曦股份首日单签最高可赚近40万
- 权限开通后这种热门股去摸个奖

使用claw cloud免费部署wewe rss

xiaoshame1209@gmail.com (阿松) — Tue, 08 Jul 2025 17:08:56 +0800

本文记录使用claw cloud免费资源，部署wewe_rss的操作流程。

优势

claw cloud使用github账号(注册超过 180 天)登录，免费送5美元/月额度
可以使用dockerhub中镜像进行部署
基于本文操作流程可以部署支持镜像部署的服务，例如：freshrss,qinglong等

操作步骤

使用github账号登录，如果无法登录可以切换选择其他区域
在dockerhub中寻找想部署服务的镜像,查看对应服务的启动脚本

1
2
3
4
5
6
7


docker run -d \
 --name wewe-rss \
 -p 4000:4000 \
 -e DATABASE_TYPE=sqlite \
 -e AUTH_CODE=123567 \
 -v $(pwd)/data:/app/data \
 cooderl/wewe-rss-sqlite:latest

从上述脚本可以获取三个信息
1. 镜像名，cooderl/wewe-rss-sqlite
2. 环境变量DATABASE_TYPE=sqlite和AUTH_CODE=123567
3. 挂载目录/data
4. 端口
在claw cloud中点击App Launchpad -> Create App，然后按照下图将第三点中信息填入相应位置，点击部署即可。
cpu和内存根据需要进行调节，左边有一天预估费用，保证月费用不超5美元，即可长时间使用

总结

wewe-rss登录微信账号频繁掉线导致获取公众号不稳定，可换成we-mp-rss 不足之处是4天就要扫码授权维持登录状态
互联网上有很多免费的资源，利用好可以极大方便个人日常使用。推荐几个我使用的服务，vercel/cloudflare/nic.ua/aws.amazon.com

2024年总结

xiaoshame1209@gmail.com (阿松) — Fri, 07 Feb 2025 16:00:00 +0800

一晃又过去了一年，时间确实过得太快了。前段时间看到一个观点，小时候觉得时间过得慢，是因为每天都可以接触到不同的东西。长大后感觉过得很快，是因为每天都是重复。想想挺有道理，慢慢做出改变，提升生活质量。

工作

公司业务市场份额持续下滑，为了活下去，持续裁员，相比高峰期人员已经减少75%，现在大家对裁员早已习以为常。想离职的人也不会主动离职，而是等待考核周期主动背名额，拿一笔赔偿金再走，俗称‘上车’。

伴随着人员减少，公司频繁调整组织结构，年底我的团队和另外一个团队合并，人变少负责的业务却反而变多。在公司走下坡路背景下，如何安抚另外一个团队的成员，让他们尽职尽责的工作，确实让我头疼。同时另外一个团队之前负责的业务接触并不多，团队之前发展过程中埋下的坑，随着负责人的退出，随时可能引爆，感觉自己像一个灭火员。

在这家公司已经工作10年，从未想过会在一家公司工作这么久，期望公司可以好转，让我可以愉快的搬砖。

生活

24年重点就是卖房、买房和装修，这一年周末基本就投在这些事情上。抽空和老婆孩子外出旅行2次，暑假和寒假各一次，去了郑州银基动物王国和景德镇。在动物王国看了无人机表演和烟花秀，小朋友直呼精彩。在景德镇捏泥巴，烧玻璃，重点是买了很多小玩具，小朋友睁眼就要买玩具，看到什么都要摸两下。因为自驾，整个旅程很放松，非常自由，就是房价太贵，相比平时涨了快3倍。

10月到1月频繁去医院，病毒感染，咳嗽，肠胃炎，流感轮番轰炸我们这个小家，锻炼身体提上家庭议程。

为了维持体重，从24年下半年开始，晚上不再吃米饭，减少碳水的摄入，体重维持在136斤，目前看效果还行。

24年只读了2.5本理财类的书，小说读了不少，要减少小说阅读时间，增加理财类书籍阅读时间

全年理财收益估计6%，资金主要以债基为主，相比股票基金感受确实好不少。等待美股回撤后，开始定投美股。

在闲鱼上卖服务，全年赚了200零花钱，要想办法多赚点

25年目标

带家人爬12次山，锻炼身体
读6本理财类书籍
理财收益6%，尝试研究分析一只股票
全年写12篇文章

小白理财之路

xiaoshame1209@gmail.com (阿松) — Thu, 23 Jan 2025 16:15:24 +0800

第一次接触基金到现在已经过去10年，过往10年基本就是亏亏亏，钱不能白白打水漂，买点经验教训也是好的。同时往后准备持续写写理财方面的经验总结自我鞭策，就从这篇文章开始。

理财经历

15年刚毕业几年，手上有一点点储蓄，听周围同事讨论在股市赚钱和捡钱一样容易，心动不已义务反顾冲进股市，投入1.8万最终亏损50%离场。当时的自己就是一个合格的韭菜，对基金/股票完全没有了解全靠猜，与赌博无异。当时买的基金已经完全没有印象，只记得用大智慧开的账号，割肉离场后就没用过大智慧了。唯一庆幸的是当时闲钱不多，同时胆子小没有上杠杆。

15年割肉伤透了心，就没有再关注过股市。直到20年同事之间对股市讨论变多，又了解到一个词‘定投’，如获至宝重新入场，25年1月亏损20%割肉离场。20年入场选择基金时多花了一点时间，国家进入老年社会后医疗需求会暴涨；国家持续对新能源保价护航，也是一个不错的行业；身处互联网行业，享受了互联网带来的便利，中概股回撤30%后觉得值得入场；消费是拉动国家发展的马车不容错过；封闭养老金也不错以免自己忍不住频繁操作；选定5个方向后开始了长期的定投，最初半年确实赚了钱，还了解了止盈的方法。好景不长，掉头开始了长达4年的阴跌，了解到微笑曲线就这样慢慢坚持下来。23年到24年上证指数长时间处于3000点之下，关注UP主开启了加倍定投，因为理财的资金有限，只能维持定投不断。24年9月底一波上涨看到了回本的希望，同时观察到自己的收益率和沪深300高度重合，但是涨没沪深300高，跌反而更多，所以把基金全部换成了沪深300指数基金。默默期待上证指数涨到3800就把基金都卖掉，没想到1月初直接来了一波重拳打击，又亏了回去。

所幸购买指数基金的钱都是短时间不需要用的钱，家庭日常生活和购房的钱购买的风险更低的债券基金，4年指数基金定投的收益和债券基金收益一比瞬间索然无味。长时间的定投和亏损对缅A的认知也越来越清晰，越发不想在缅A中再浪费时间，压到骆驼的最后一根稻草是，看到一个公众号介绍一个3个月定期产品年化收益有5%，最终下定决定将沪深300指数基金全部卖掉，改成了定期产品。

很早之前就知道纳斯达克和标普500，同时也知道巴菲特对普通人的建议是定投标普500，但是知道与行动之间鸿沟是如此之大，等我想购买纳斯达克和标普500时，指数已经屡创新高，不敢随意入场害怕高位接盘，只能等待时机，等待回撤到一定程度后再入场。目前只买了3000元纳斯达克，方便自己对美股指数的涨跌有一定的感触。

4年多定投结果亏损，但与第一次接触基金亏损后的感受完全不同。一个原因是这笔钱属于家庭长时间不用的资金，二是这部分钱占家庭资产比例不高，三是通过实操越发理解财商需要培养和锻炼。20年再次进入股市也是希望通过理财丰富家庭收入来源，降低家庭收入依靠工资单一来源的风险，同时对自己进行强制储蓄。收获经验改进后续的行动才是这段经历的意义。从小到大没有人告诉我理财相关的知识，而国外还有写给小朋友的理财书，加上家长的引导，叠加时间后区别非常明显。

往后

每个月定投金额不变，但是会把钱成3部份，1份用于定投纳斯达克，1份定投海外中国互联网，1份定投债券基金。债券基金中的资金用于后续基金暴跌后加倍定投。

尝试购买一到2个公司的股票，感受股票和基金的区别。

继续阅读理财相关的书籍，同时引导小朋友对钱进行管理。

Android Flutter APP逆向分析

xiaoshame1209@gmail.com (阿松) — Fri, 13 Dec 2024 17:20:06 +0800

分析流程

blutter获取APP函数符号

使用flutter 开发的APP，程序代码都编译到libapp.so中，使用ida分析libapp.so，函数名经过混淆不利于分析。blutter通过编译Dart AOT 运行时来分析应用程序获取相应的函数名。

在本文编写时间点，blutter只持分析Dart 3.6.0以下版本，dart 3.6.0-0.0.dev 以上版本编译报错
小技巧:如果待分析的APP使用dart 3.6.0以上的版本编译，dart3.6.0 版本2024年7月2号发布，寻找此时间点前APP的历史版本进行分析，可以规避此问题
管理员权限打开x64 Native Tools Command Prompt
1. D:\workspace\app\lib\arm64-v8a 中存放apk解压后lib中的libapp.so和libflutter.so
2. 执行python .\blutter.py D:\workspace\app\lib\arm64-v8a D:\workspace\app\lib\arm64-v8a\output
3. D:\workspace\app\lib\arm64-v8a\output中为blutter分析完成后内容
4. 全程使用代理

ida 静态分析

ida打开libapp.so，获取反汇编内容，此时函数名都是没有意义
file -> Script file 加载blutter环节获得的output\ida_script\addNames.py脚本，还原混淆后的函数名
根据需要分析的内容，猜测可能使用的函数名，进行分析
1. 我猜测加密函数是xxtea，搜索对应函数，使用F5获取伪代码进行阅读

frida hook

blutter 分析完成后，会生成一个hook脚本output\blutter_frida.js
ida静态分析环节确定需要hook的函数地址，修改blutter_frida.js中onLibappLoaded函数fn_addr值即可
手机开启开发模式，打开adb调试，非常重要
查看frida版本和查看手机架构,下载frida_server
1. 我下载的frida-server-16.5.9-android-arm64.xz解压获得frida-server-16.5.9-android-arm64

1
2
3
4


frida --version #我使用的版本16.5.9 
adb shell
su
getprop ro.product.cpu.abi #查看手机架构，真机一般是arm64-v8a，模拟器一般是x86_64，

手机上启动frida_server服务

1
2
3
4
5
6
7
8
9


### 将frida-server-16.5.9-android-arm64放入手机磁盘
adb push ./frida-server-16.5.9-android-arm64 /data/local/tmp
### 启动frida-server-16.5.9-android-arm64服务
adb shell
su
cd /data/local/tmp
mv frida-server-16.5.9-android-arm64 frida-server
chmod 777 frida-server
./frida-server &

使用frida脚本hook 函数，查看信息
1. 附加成功后，手机上操作APP,触发hook函数执行，即可看到hook打印的信息

1
2
3
4
5
6
7
8


frida-ps -U ##查看应用进程ID，
frida-ps -Uai ##查看应用的包名和进程ID, 
### 方法一
frida -U -f 包名 -l blutter_frida.js ##如果APP已启动,-f会导致APP重启，libapp.app 没有加载成功导致hook失败
### 方法二
frida -U -n 应用名 -l blutter_frida.js ## 先启动APP
### 方法三：
frida -U -p 进程ID -l blutter_frida.js ## 采用的此方法成功

操作流程参考：【flutter对抗】blutter使用+ACTF习题

打印hook函数信息

blutter_frida.js中增加onLeave，调用dumpArgs函数用于打印函数返回信息
hook的函数如果有多个入参，可以在blutter_frida.js中onEnter添加代码进行打印
1. 参考:CTT2023 Hflag — 200 pts

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


function dumpArgs(step, address, bufSize) {

 var buf = Memory.readByteArray(address, bufSize)

 console.log('Argument ' + step + ' address ' + address.toString() + ' ' + 'buffer: ' + bufSize.toString() + '\n\n Value:\n' +hexdump(buf, {
 offset: 0,
 length: bufSize,
 header: false,
 ansi: false
 }));

 console.log("Trying interpret that arg is pointer")
 console.log("=====================================")
 try{

 console.log(Memory.readCString(ptr(address)));
 console.log(ptr(address).readCString());
 console.log(hexdump(ptr(address)));
 }catch(e){
 console.log(e);
 }


 console.log('')
 console.log('----------------------------------------------------')
 console.log('')
}

function onLibappLoaded() {
 const fn_addr = 0x966e24; ## 此处修改为你想hook的函数地址
 Interceptor.attach(libapp.add(fn_addr), {
 onEnter: function () {
 init(this.context);
 ## 打印第一个入参
 let objPtr = getArg(this.context, 0);
 const [tptr, cls, values] = getTaggedObjectValue(objPtr);
 console.log(`${cls.name}@${tptr.toString().slice(2)} =`, JSON.stringify(values, null, 2));
 ## 打印第二个入参
 let objPtr1 = getArg(this.context, 1);
 const [tptr1, cls1, values1] = getTaggedObjectValue(objPtr1);
 console.log(`${cls1.name}@${tptr1.toString().slice(2)} =`, JSON.stringify(values1, null, 2));
 },
 onLeave: function(retval){
 ## 打印函数返回信息
 dumpArgs(0,retval,500);
 }
 });
}

总结

本次分析APP的目标是获取加密函数的KEY,相对简单，因而只使用frida 进行hook就可以达到目的，如果分析的内容较为复杂需要搭配ida调试功能
最初使用模拟器进行hook，始终无法获取到libapp.so的地址，原因是模拟器开辟了一片新空间存储arm的so文件
尝试在手机中安装手机模拟器来模拟root环境,最终失败
尝试在x86_64 windows 电脑上运行arm架构的模拟器，最终失败，直接使用手机可以提高幸福指数
1. 参考：解决无法在x86模拟器上frida-hook掉arm的Native层方法的问题，无用

使用大模型编写chrome插件

xiaoshame1209@gmail.com (阿松) — Tue, 05 Nov 2024 13:52:52 +0800

背景

日积月累浏览器中收藏的书签网页越来越多，同时失效的书签也越来越多，如何快速删除无效的书签？一直想写个chrome插件，趁着这个机会，练练手。

思路

大模型的出现真是大大降低了简单需求实现的成本，本人没有系统学习过js相关知识，平时可以看懂简单的js代码，复杂点的代码需要连蒙带猜才能看懂。

为方便大模型理解，我把自己的需求拆解为3个步骤：

编写chrome插件读取浏览器书签信息，并展示
对书签地址进行检测，只展示无法访问的书签信息
在无法访问的书签信息后面增加删除按钮，点击按钮删除浏览器中对应的无效书签

首先使用的是文心一言的文心快码，给出的代码无法正常运行。换成GPT4o，给出的代码可以直接使用，非常方便，点赞。

实践

与大模型沟通

按照步骤输入大模型，获得阶段代码后，验证正确性。确认相关代码无误后开展下一步，一步一步调整后，最终代码实现如下：

manifest.json 内容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


{
 "manifest_version": 3,
 "name": "Bookmark Viewer",
 "version": "1.0",
 "description": "清理无效书签的Chrome插件",
 "permissions": [
 "bookmarks",
 "webRequest",
 "webRequestBlocking",
 "<all_urls>"
 ],
 "host_permissions": [
 "<all_urls>"
 ],
 "background": {
 "service_worker": "background.js"
 },
 "action": {
 "default_popup": "popup.html",
 "default_title": "View Bookmarks",
 "default_icon": {
 "16": "icons/icon16.png",
 "48": "icons/icon48.png",
 "128": "icons/icon128.png"
 }
 },
 "icons": {
 "16": "icons/icon16.png",
 "48": "icons/icon48.png",
 "128": "icons/icon128.png"
 }
}

background.js 内容如下：

1
2


// 用于初始化的后台脚本，当前不需要特别功能，可留空
console.log("Bookmark Viewer Background Script Running.");

popup.js 内容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71


document.addEventListener('DOMContentLoaded', function () {
 const bookmarksList = document.getElementById('bookmarks');

 function createBookmarkNode(bookmark, isValid) {
 if (!isValid) {
 // 创建一个列表项和锚点以显示书签信息
 const li = document.createElement('li');
 const anchor = document.createElement('a');
 anchor.href = bookmark.url;
 anchor.textContent = `${bookmark.title} (${bookmark.url})`;
 anchor.target = '_blank';
 li.appendChild(anchor);

 // 创建删除按钮
 const deleteBtn = document.createElement('button');
 deleteBtn.textContent = 'Delete';
 deleteBtn.onclick = () => deleteBookmark(bookmark.id, li);
 li.appendChild(deleteBtn);

 return li;
 }
 return null;
 }

 function deleteBookmark(bookmarkId, li) {
 // 调用 Chrome 的书签 API 删除书签
 chrome.bookmarks.remove(bookmarkId, function() {
 bookmarksList.removeChild(li);
 });
 }

 function checkBookmarkValidity(url, callback) {
 fetch(url, { method: 'HEAD' })
 .then(response => {
 if (response.status == 404 || response.status == 500) {
 callback(false);
 }else{
 callback(true);
 }
 })
 .catch(() => {
 callback(false); // 请求失败认为无效
 });
 }

 function traverseBookmarks(bookmarkTreeNodes, parentElement) {
 bookmarkTreeNodes.forEach((bookmark) => {
 if (bookmark.children) {
 // 创建目录节点
 const folderLi = document.createElement('li');
 folderLi.textContent = bookmark.title;
 const ul = document.createElement('ul');
 folderLi.appendChild(ul);
 parentElement.appendChild(folderLi);
 // 递归遍历子书签
 traverseBookmarks(bookmark.children, ul);
 } else if (bookmark.url) {
 checkBookmarkValidity(bookmark.url, (isValid) => {
 const bookmarkNode = createBookmarkNode(bookmark, isValid);
 if (bookmarkNode) {
 parentElement.appendChild(bookmarkNode);
 }
 });
 }
 });
 }

 chrome.bookmarks.getTree(function(bookmarkTreeNodes) {
 traverseBookmarks(bookmarkTreeNodes, bookmarksList);
 });
});

popup.html 内容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


<!DOCTYPE html>
<html>
<head>
 <title>Invalid Bookmarks</title>
 <style>
 ul { list-style-type: none; }
 li { margin: 5px 0; }
 button { margin-left: 10px; }
 </style>
</head>
<body>
 <h1>Invalid Bookmarks</h1>
 <ul id="bookmarks"></ul>
 <script src="popup.js"></script>
</body>
</html>

popup.css 内容如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18


body {
 width: 300px;
 font-family: Arial, sans-serif;
 }
 ul {
 list-style-type: none;
 padding: 0;
 }
 li {
 margin: 5px 0;
 }
 a {
 text-decoration: none;
 color: blue;
 }
 a:hover {
 text-decoration: underline;
 }

安装扩展

相关代码按照目录结构放在文件中，然后在chrome浏览器->设置->扩展程序->管理扩展程序->加载已解压的扩展程序，加载该目录即可安装插件。

目录结构：

调试扩展

插件点右键->审查弹出内容

console，即可看到日志输出
Sources, 增加断点，调试js代码

完整代码地址

其他

本打算将插件上传chrome官方商店，但是注册开发者账号需要5美金，所以放弃了。需要的可以从github下载，本地安装使用。

自建FreshRSS和RSSHub服务

xiaoshame1209@gmail.com (阿松) — Mon, 21 Oct 2024 10:50:07 +0800

之前使用他人提供的FreshRSS服务，因为网站证书过期导致使用不便。有一台可以使用的服务器，就考虑自建FreshRSS服务。同时日常使用官方RSSHub服务过程中，订阅源非常不稳定，经常不可用。发现vercel可以部署RSSHub，完成相应部署后，整体使用感受大幅提升，记录下过程，方便以后使用。

FreshRSS dockercompose 部署

自备一个服务器
安装docker 和 docker-compose, 配置docker-compose.yml
启动指令docker-compose up -d
配置caddy配置文件caddyfile,方便使用域名访问
通过域名访问freshRSS,创建管理员账户和配置数据库
1. 数据库信息对应Docker Compose 配置文件中的 POSTGRES_USER、POSTGRES_PASSWORD、POSTGRES_DB、表前缀任意填
2. 主机名要稍微注意一下，要用容器的 IP(docker inspect )
手机上使用Reeder登录FreshRSS
1. freshRSS 设置->认证->允许API访问
2. freshRSS 设置->账户->API管理->设置AIP密码
3. Reeder中使用API管理下的地址+用户名+API密码进行登录
Freshrss参考文档

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33


version: "3"

services:
 freshrss-db:
 image: postgres:17.4
 container_name: freshrss-db
 hostname: freshrss-db
 restart: unless-stopped
 volumes:
 - freshrss-db:/var/lib/postgresql/data
 environment:
 POSTGRES_USER: freshrss
 POSTGRES_PASSWORD: freshrss
 POSTGRES_DB: freshrss

 freshrss-app:
 image: freshrss/freshrss:latest
 container_name: freshrss-app
 hostname: freshrss-app
 restart: unless-stopped
 ports:
 - "7080:80"
 depends_on:
 - freshrss-db
 volumes:
 - ./data:/var/www/FreshRSS/data
 - ./extensions:/var/www/FreshRSS/extensions
 environment:
 CRON_MIN: '*/45'
 TZ: Asia/Shanghai

volumes:
 freshrss-db:

补充内容

FreshRSS 镜像和容器升级后，无法访问
- 报错内容提示为Access to database is denied for `freshrss`: SQLSTATE[08006] [7] connection to server at "172.21.0.3", port 5432 failed: Connection refused , 怀疑是容器重启后，ip变更导致
- 查看容器ip,发现ip 变成了172.21.0.2

1
2
3
4
5
6


# 进入容器 Shell
docker exec -it <容器名称或ID> /bin/bash

# 查看 IP 地址（容器内执行）
apt-get update && apt-get install -y iputils-ping net-tools # 如果容器无 ifconfig/ip 命令，先安装
ifconfig

修改配置文件，位于docker-compose.yml 同目录data/config.php，调整pgsql的host为172.21.0.2
重启freshrss 容器，问题解决

Vercel RSSHub 部署

因为vercel nodejs 最高版本只能选择 20.x，导致无法使用RSSHub master分支部署，使用legacy 分支进行部署,操作流程见参考文档
legacy 相比master分支缺少很多路由，需要自己按需添加路由
1. 在master分支找到缺少的路由，复制到legacy分支，修改文件名尾缀ts为js,参考其他路由调整代码格式
2. 在\RSSHub\lib\router.js中添加新增的路由地址
3. 如果需要使用环境变量，在\RSSHub\lib\config.js中添加，并在vercel 对应的项目->设置->Environment Variables添加相同环境变量
使用vercel 部署的好处有
1. 国内外网站的信息都可以直接抓取
2. 无需服务器可以免费使用
vercel rsshub部署参考文档

其他

大模型科普

xiaoshame1209@gmail.com (阿松) — Thu, 05 Sep 2024 19:58:30 +0800

最近编写了LLM科普的PPT，写个文章梳理下自己的思路。

大模型简介

大模型可以用于文本类生成式任务：对话，问答，搜索等。
大模型的训练成本非常高，注定是大公司之间的游戏。
模型效果效果最好的是GPT-4o ，国内模型效果处于第二梯队。
使用国内云厂商提供的大模型服务，成本非常低，100万token几块钱。国内服务一个汉字一个token。国外服务一个汉字约3个token。
大模型的使用需要提示词，在请求频繁的业务中，提示词消耗的token数可能占大头，估算成本时不要遗漏。

大模型原理

大模型训练需要准备海量的数据，这些数据大部分都是互联网上的内容，这些数据中包含大量通用型知识。
大模型本质上是通过训练的方式，将训练数据中的信息提取出来，并存储在模型中。信息提取的过程是有损的，可以理解为一种压缩。为了加快提取过程，会用到大量的GPU资源，因而训练成本非常高。
模型训练完成后，模型内部存储的信息就是对训练数据的理解。训练方式一致，训练数据的侧重点不同，最终模型效果也会不同，擅长的任务也会不同。
识别的过程，就是结合模型内部的信息来预测输入文本询问的问题。
模型内部有自注意力机制，预测问题不在是根据输入文本中的单个词，而是前后关联，进而提高效果。因为训练环节提取是有损的，同时预测也有准确率，所有最终给出的答案不是100%准确。
训练数据中不存在的信息，大模型无法回答或者只能编造。解决方案就是将相关的信息作为一个知识库，在询问时作为提示词内容一起输入模型。
大模型只具备文本生成能力，借助其他的系统，才能完成需要联网的任务。

大模型案例

利用大模型的总结和提取能力，结合内部文档可以轻松搭建一个和业务紧密关联的问答系统。
利用大模型的对话能力，可以提升智能客服的拟人感，同时挂载特定行业知识库，提高专业问题回答准确率。
利用大模型的生成能力，可以快速批量生成类似的问题。对刷题APP，使用此能力可以降低生成题目的成本。
利用大模型的总结和提取能力，可以对文档生成摘要，提高获取文档关键信息的效率。

装修自我反思

xiaoshame1209@gmail.com (阿松) — Mon, 22 Jul 2024 14:58:48 +0800

目前已装修快2个月，总结下这期间正确和失误决策

正确

制作预算表，梳理个人生活习惯转换成装修需求
花钱请外部监理（装修公司安排的监理就是骗子）
寻找本地靠谱的装修资源品控人，对相关资源和商家进行品控（我找的一个本地小红书装修博主）
没有找熟人，不限于亲戚和以前装修认识的人（现在回想第一次装修，真是啥都不懂，对人的判断也不准）
长辈参与环节较少，只参与验收
没有和装修公司签合同，与工长（项目经理）签合同

失误

没有请设计师
没有提前和楼下打好招呼，二手房容易出现下水不畅，疏通需要与楼下协商
错过了口碑最好的项目经理
厨房和卫生间门定的比较随意

RSShub自制路由

xiaoshame1209@gmail.com (阿松) — Tue, 09 Jul 2024 10:33:07 +0800

平时主要使用RSS看资讯信息，日常使用RSSHub Radar浏览器插件查询网站RSS链接，很多网站都无法发现RSS链接，一度认为这个插件很鸡肋。最近研究了下，这个插件确实很鸡肋，核心是RSSHub这个开源项目，通过搭建自定义路由，将网站信息转换成RSS信息流。然后使用RSS 阅读器进行订阅阅读。

原理

网站内容都是html信息，通过对网站html内容解析，按照RSS规范生成RSS文件。即可使用RSS 阅读器订阅阅读。
RSSHub项目地址，使用RSSHub只用关注网站html内容的解析，制作路由就是按照规范对内容进行解析。
参考项目中他人编写的路由，借助大模型，不懂JS也可以很简单完成网站路由制作。
使用RSS阅读网站内容和书源工具阅读小说思想上一致的，都是对网站内容进行解析，只留下重要的内容信息展示。区别是一个对源网站数据的处理在服务端进行，一个在客户端进行。

制作路由

开发路由官方文档，参考官方文档下载配置好开发环境。
打开想制作的网站F12,查看网站html结构，找到需要解析的元素。
参考下述代码，最重要是handler函数，其他都是配置信息。handler中解析html标签，获取需要的信息。主要就是标题，链接，描述，发布时间。如果想在RSS阅读器中直接阅读完整的内容，可以将文章内容放在描述(description)中。
开发过程中不懂的就问大模型，云厂商都提供了免费服务，能力都差不多。完成相应开发后，将代码部署到服务器上，配置好端口转发就可以通过域名订阅。
如果使用官方提供的RSSHub服务，需要提交PR到RSSHub项目，等待审核通过后才能使用。
可以阅读路由中他人制作的路由，发现感兴趣的网站，查看Route结构，使用官方服务，直接订阅使用。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48


import { Route } from '@/types';
import { parseDate } from '@/utils/parse-date';
import got from '@/utils/got';
import { load } from 'cheerio';

export const route: Route = {
 path: '/',
 categories: ['blog'],
 example: '/imhcg',
 radar: [
 {
 source: ['https://infos.imhcg.cn/'],
 },
 ],
 name: 'Engineering blogs',
 maintainers: ['xiaoshame'],
 handler,
 url: 'https://infos.imhcg.cn/',
};

async function handler() {
 const url = 'https://infos.imhcg.cn/';
 const response = await got({ method: 'get', url });
 const $ = load(response.data);

 const list = $('li')
 .map((i, e) => {
 const element = $(e);
 const title = element.find('a.title').text();
 const link = element.find('a.title').attr('href');
 const description = element.find('p.text').text().trim();
 const dateraw = element.find('p.time').text();

 return {
 title,
 description,
 link,
 pubDate: parseDate(dateraw, 'YYYY 年 MM 月 DD 日'),
 };
 })
 .get();

 return {
 title: 'Engineering blogs',
 link: url,
 item: list,
 };
}

语音隐写术之LSB

xiaoshame1209@gmail.com (阿松) — Wed, 03 Jul 2024 15:48:32 +0800

最近工作需要实现一个音频水印功能。不得不说大模型确实提高了效率，使用大模型提供了完整的代码框架，代码质量很高只有几处错误，修复后就可以直接使用。相关代码如下，需求的自取。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126


import numpy as np
import wave

def encode_watermark(watermark_data, bits_per_sample):
 """
 将水印数据编码为二进制位数组，每个样本使用bits_per_sample位。
 """
 # 假设watermark_data是一个字符串，我们首先将其转换为字节数组
 # 然后，将字节数组转换为二进制位数组
 watermark_bits = []
 for byte in watermark_data.encode('utf-8'):
 for _ in range(8):
 watermark_bits.append(byte & 1)
 byte >>= 1

 # 截断或填充以匹配所需的位数（如果需要）
 # 这里我们简化处理，假设watermark_bits长度合适
 return watermark_bits

def decode_watermark(watermark_bits, bits_per_sample):
 """
 将二进制位数组解码为水印数据字符串，假设每个样本使用bits_per_sample位（但在此函数中我们忽略这个参数，因为解码时不需要知道这个信息）。
 """
 # 忽略bits_per_sample参数，因为我们假设watermark_bits已经具有正确的长度
 # 初始化一个空的字节列表
 bytes_list = []
 for i in range(0, len(watermark_bits), 8):
 byte_value = 0
 for j in range(8):
 if i + j < len(watermark_bits):
 byte_value |= watermark_bits[i + j] << (j)
 bytes_list.append(byte_value)

 # 将字节列表解码为字符串
 return bytes(bytes_list).decode('utf-8')

def embed_watermark(audio_file, watermark_data, output_file, bits_per_sample=1):
 """
 将水印嵌入到音频文件中。

 :param audio_file: 输入音频文件名
 :param watermark_data: 要嵌入的水印数据（字符串）
 :param output_file: 输出音频文件名
 :param bits_per_sample: 每个音频样本中用于水印的位数（默认为1）
 """
 # 读取音频文件
 with wave.open(audio_file, 'rb') as wav_file:
 n_channels, sample_width, framerate, nframes = wav_file.getparams()[:4]

 # 假设音频是单声道的
 if n_channels != 1:
 raise ValueError("Audio must be mono channel.")

 # 读取音频数据
 audio_data = np.frombuffer(wav_file.readframes(nframes), dtype=np.int16)

 # 编码水印数据
 watermark_bits = encode_watermark(watermark_data, bits_per_sample * len(audio_data))

 # 如果水印位数超过音频样本数，则截断水印
 if len(watermark_bits) > len(audio_data) * bits_per_sample:
 watermark_bits = watermark_bits[:len(audio_data) * bits_per_sample]
 audio_data_copy = audio_data.copy()
 # 嵌入水印
 for i, sample in enumerate(audio_data):
 # 获取当前样本的最低有效位（或几位）
 lsb_mask = (1 << bits_per_sample) - 1
 original_lsb = sample & lsb_mask

 # 计算要嵌入的水印位
 if(i * bits_per_sample >= len(watermark_bits)):
 watermark_bit = 0
 else:
 watermark_bit = watermark_bits[i * bits_per_sample]
 watermark_bits_to_embed = (original_lsb & ~lsb_mask) | (watermark_bit << (bits_per_sample - 1))

 # 更新样本的最低有效位
 audio_data_copy[i] = (sample & ~lsb_mask) | watermark_bits_to_embed

 # 将处理后的音频数据保存为文件
 with wave.open(output_file, 'wb') as output_wav:
 output_wav.setnchannels(n_channels)
 output_wav.setsampwidth(sample_width)
 output_wav.setframerate(framerate)
 output_wav.writeframes(audio_data_copy.astype(np.int16).tobytes())

def extract_watermark(audio_file, bits_per_sample=1):
 """
 从音频文件中提取水印。

 :param audio_file: 包含水印的音频文件名
 :param bits_per_sample: 每个音频样本中用于水印的位数（默认为1）
 :return: 提取的水印数据（字符串）
 """
 # 读取音频文件
 with wave.open(audio_file, 'rb') as wav_file:
 n_channels, sample_width, framerate, nframes = wav_file.getparams()[:4]

 # 假设音频是单声道的
 if n_channels != 1:
 raise ValueError("Audio must be mono channel.")

 # 读取音频数据
 audio_data = np.frombuffer(wav_file.readframes(nframes), dtype=np.int16)

 # 初始化提取的水印位数组
 watermark_bits = []

 # 遍历音频样本以提取水印位
 for sample in audio_data:
 # 获取当前样本的最低有效位（或几位）
 lsb_mask = (1 << bits_per_sample) - 1
 watermark_bit = (sample & lsb_mask) >> (bits_per_sample - 1) # 提取最低位
 watermark_bits.append(watermark_bit)

 watermark_data = decode_watermark(watermark_bits, bits_per_sample)

 return watermark_data

# 使用示例
watermark_data = "shuiyin" # 要嵌入的水印数据
audio_file = "100024_10.wav" # 输入音频文件名
output_file = "watermarked.wav" # 输出音频文件名
embed_watermark(audio_file, watermark_data, output_file, bits_per_sample=1)
extracted_watermark = extract_watermark(output_file, bits_per_sample=1)
print("Extracted watermark:", extracted_watermark)

网页破解系列2

xiaoshame1209@gmail.com (阿松) — Tue, 04 Jun 2024 19:10:48 +0800

最近分析网页阅读js代码的时候，代码混淆特别喜欢使用IIFE模式(立即调用的函数表达式)和函数嵌套 ,因为没有系统学习过js，导致理解上有些困难，下面记录下IIFE模式转换成常规js代码的过程。

案例1

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


(function (_0x139810, _0x225121, _0x528ff3, _0x556706, _0x17b995, _0x2888eb, _0x613779) {

 return _0x139810 = _0x139810 >> 0x8, _0x2888eb = 'hs', _0x613779 = 'hs', function (_0x5c8a1f, _0x204eba, _0x273121, _0x46f859, _0x572acf) {
 const _0x1283bd = _0x52aa;
 _0x46f859 = 'tfi';
 _0x2888eb = _0x46f859 + _0x2888eb;
 _0x572acf = 'up';
 _0x613779 += _0x572acf;
 _0x2888eb = _0x273121(_0x2888eb);
 _0x613779 = _0x273121(_0x613779)
 _0x273121 = 0x0;
 const _0x135ded = _0x5c8a1f();
 while (!![] && --_0x556706 + _0x204eba) {
 try {
 _0x46f859 = -parseInt(_0x1283bd(0x1da, 'R3)f')) / 0x1 * (-parseInt(_0x1283bd(0x1ed, '*c&W')) / 0x2) + parseInt(_0x1283bd(0x1ee, 'pQTS')) / 0x3 + -parseInt(_0x1283bd(0x1f3, 'lNB3')) / 0x4 + -parseInt(_0x1283bd(0x1f8, 'IzuF')) / 0x5 + parseInt(_0x1283bd(0x1df, 'lsaR')) / 0x6 * (parseInt(_0x1283bd(0x1e2, '(ga@')) / 0x7) + -parseInt(_0x1283bd(0x1db, 'o%ET')) / 0x8 + parseInt(_0x1283bd(0x1e8, 'awuH')) / 0x9;
 }
 catch (_0x32a3ec) {
 _0x46f859 = _0x273121;
 }
 finally {
 _0x572acf = _0x135ded[_0x2888eb]();
 if (_0x139810 <= _0x556706) _0x273121 ? _0x17b995 ? _0x46f859 = _0x572acf : _0x17b995 = _0x572acf : _0x273121 = _0x572acf;
 else {
 if (_0x273121 == _0x17b995['replace'](/[DMWQITftRwLHqlNxJKPr=]/g, '')) {
 if (_0x46f859 === _0x204eba) {
 _0x135ded['un' + _0x2888eb](_0x572acf);
 break;
 } _0x135ded[_0x613779](_0x572acf);
 }
 }
 }
 }
 }(_0x528ff3, _0x225121, decode1);
}(0xc800, 0x3651f, _0x17af, 0xca), _0x17af) && (_0xodU = 0xca);

第一步从最内部函数开始，将function (_0x5c8a1f, _0x204eba, _0x273121, _0x46f859, _0x572acf)剥离出来
- _0x46f859, _0x572acf参数内部赋值，可以理解为变量声明
- _0x2888eb,_0x613779,_0x556706为上层函数声明，作为函数参数参入
- 调整后整体函数如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


function decode2(_0x5c8a1f, _0x204eba, _0x273121,_0x139810,_0x2888eb,_0x613779,_0x556706) {
 const _0x1283bd = _0x52aa;
 var _0x17b995 ;
 _0x46f859 = 'tfi';
 _0x2888eb = _0x46f859 + _0x2888eb;
 _0x572acf = 'up';
 _0x613779 += _0x572acf;
 _0x2888eb = _0x273121(_0x2888eb);
 _0x613779 = _0x273121(_0x613779)
 _0x273121 = 0x0;
 const _0x135ded = _0x5c8a1f;
 while (!![] && --_0x556706 + _0x204eba) {
 try {
 _0x46f859 = -parseInt(_0x1283bd(0x1da, 'R3)f')) / 0x1 * (-parseInt(_0x1283bd(0x1ed, '*c&W')) / 0x2) + parseInt(_0x1283bd(0x1ee, 'pQTS')) / 0x3 + -parseInt(_0x1283bd(0x1f3, 'lNB3')) / 0x4 + -parseInt(_0x1283bd(0x1f8, 'IzuF')) / 0x5 + parseInt(_0x1283bd(0x1df, 'lsaR')) / 0x6 * (parseInt(_0x1283bd(0x1e2, '(ga@')) / 0x7) + -parseInt(_0x1283bd(0x1db, 'o%ET')) / 0x8 + parseInt(_0x1283bd(0x1e8, 'awuH')) / 0x9;
 }
 catch (_0x32a3ec) {
 _0x46f859 = _0x273121;
 }
 finally {
 _0x572acf = _0x135ded[_0x2888eb]();
 if (_0x139810 <= _0x556706) _0x273121 ? _0x17b995 ? _0x46f859 = _0x572acf : _0x17b995 = _0x572acf : _0x273121 = _0x572acf;
 else {
 if (_0x273121 == _0x17b995['replace'](/[DMWQITftRwLHqlNxJKPr=]/g, '')) {
 if (_0x46f859 === _0x204eba) {
 _0x135ded['un' + _0x2888eb](_0x572acf);
 break;
 } _0x135ded[_0x613779](_0x572acf);
 }
 }
 }
 }
}

(function (_0x139810, _0x225121, _0x528ff3, _0x556706, _0x17b995, _0x2888eb, _0x613779) {

 _0x139810 = _0x139810 >> 0x8, _0x2888eb = 'hs', _0x613779 = 'hs';
 return decode2(_0x528ff3, _0x225121, decode1,_0x139810,_0x2888eb,_0x613779,_0x556706);
}(0xc800, 0x3651f, _0x17af, 0xca), _0x17af) && (_0xodU = 0xca);

第二步将function (_0x139810, _0x225121, _0x528ff3, _0x556706, _0x17b995, _0x2888eb, _0x613779)剥离出来
- _0x2888eb,_0x613779 声明为内部变量,_0x17b995 参数无用

1
2
3
4
5
6


function decode3(_0x139810, _0x225121, _0x528ff3, _0x556706){
 _0x139810 = _0x139810 >> 0x8, _0x2888eb = 'hs', _0x613779 = 'hs';
 return decode2(_0x528ff3, _0x225121, decode1,_0x139810,_0x2888eb,_0x613779,_0x556706);
}

(decode3(0xc800, 0x3651f, _0x17af, 0xca), _0x17af) && (_0xodU = 0xca);

第三步将, _0x17af) && (_0xodU = 0xca)等代码为无用代码
- 在函数中直接调用 decode3(0xc800, 0x3651f, _0x17af, 0xca)即可

案例2

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


var _0xodU = 'jsjiami.com.v7';
function _0x17af() {
 const _0x45cdd6 = (function () {
 return [_0xodU, 'qwjsTHjRiRWMatmLixJ.cwtKoQrfm.DtrvIN7lMP==', 'WPK4W5jqvW', 'WP3dRu/dGhW', 'WPFdNSkZWQ4oWOVcSeVcOfXQW40', 'hCkECbVdQSozea', 'W5nddCkvaSkSaSkOW65Pfx0', 'WR7dV8kTlKC', 'WPieWRWcwG', 'W5aQq8kLWRBcNG', 'W6jlimoupZS', 'W41eWRiCn8k7aCkezhjssG', 'W6ldGmkEdCkljCkvW4JdQ2z5WRC'].concat((function () {
 return ['WOJcQd7dHmo3rf7cOmk0WOKDW5m', 'cSoiW6esWQP4WOCJtW', 'fLtcPHFcItz5W7tcI8o/sNe', 'lXr1dmkKlCoLWOWfW6NcGsS', 'WPldR8oWjgtdQ8kBwHtcTHqR', 'ASk2WQG5WRG', 'W4HXomoSyCoa', 'W4JcP8ooW4ldHwddMshdOH/dM8kU', 'AMVdKZv/W4yGW5v3WR86W4yu', 'WOnzw8oZhCk/hKudW4DfWP8', 'jKtcNmkUf2nmW47cHMZcJJK', 'FxlcNSkAW6BcGSkDDmorBNb2', 'WObbn8kZyYZdJCkVECkH'].concat((function () {
 return ['rCozkrrbtmkEhSkXW5vvdq', 'W5exw8k1WRK', 'W5ZdQwNdSCoxyxNcK8kC', 'WQe8Fuia', 'dqidWQ0Rd8ox', 'W4LeWRSsrmornSkezLG', 'WRJdVmkRW63dUG', 'W4S8zCo/uG', 'ysddKMJcRmkRW5NcJt4BlhJdJW', 'tmoDBhSp'];
 }()));
 }()));
 }());
 _0x17af = function () {
 return _0x45cdd6;
 };
 return _0x17af();
}

这个案例通过concat函数将一个数组混淆成了一个函数，还原后如下
在调用_0x17af()函数的地方，修改为_0x17af即可

1

var _0x17af = ['jsjiami.com.v7', 'qwjsTHjRiRWMatmLixJ.cwtKoQrfm.DtrvIN7lMP==', 'WPK4W5jqvW', 'WP3dRu/dGhW', 'WPFdNSkZWQ4oWOVcSeVcOfXQW40', 'hCkECbVdQSozea', 'W5nddCkvaSkSaSkOW65Pfx0', 'WR7dV8kTlKC', 'WPieWRWcwG', 'W5aQq8kLWRBcNG', 'W6jlimoupZS', 'W41eWRiCn8k7aCkezhjssG', 'W6ldGmkEdCkljCkvW4JdQ2z5WRC','WOJcQd7dHmo3rf7cOmk0WOKDW5m', 'cSoiW6esWQP4WOCJtW', 'fLtcPHFcItz5W7tcI8o/sNe', 'lXr1dmkKlCoLWOWfW6NcGsS', 'WPldR8oWjgtdQ8kBwHtcTHqR', 'ASk2WQG5WRG', 'W4HXomoSyCoa', 'W4JcP8ooW4ldHwddMshdOH/dM8kU', 'AMVdKZv/W4yGW5v3WR86W4yu', 'WOnzw8oZhCk/hKudW4DfWP8', 'jKtcNmkUf2nmW47cHMZcJJK', 'FxlcNSkAW6BcGSkDDmorBNb2', 'WObbn8kZyYZdJCkVECkH','rCozkrrbtmkEhSkXW5vvdq', 'W5exw8k1WRK', 'W5ZdQwNdSCoxyxNcK8kC', 'WQe8Fuia', 'dqidWQ0Rd8ox', 'W4LeWRSsrmornSkezLG', 'WRJdVmkRW63dUG', 'W4S8zCo/uG', 'ysddKMJcRmkRW5NcJt4BlhJdJW', 'tmoDBhSp'];

案例3

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39


function _0x52aa(_0x3c83db, _0x469b49) {
 const _0x17af80 = _0x17af();
 return _0x52aa = function (_0x52aa41, _0x3728c1) {
 _0x52aa41 = _0x52aa41 - 0x1da;
 let _0x34a1cf = _0x17af80[_0x52aa41];
 if (_0x52aa['WwUxJQ'] === undefined) {
 var _0x1dd466 = function (_0x4b772e) {
 const _0x32b02a = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789+/=';
 let _0x4a56a0 = '', _0x56bd5b = '';
 for (let _0x12059c = 0x0, _0x463da3, _0x592aa3, _0x127494 = 0x0; _0x592aa3 = _0x4b772e['charAt'](_0x127494++); ~_0x592aa3 && (_0x463da3 = _0x12059c % 0x4 ? _0x463da3 * 0x40 + _0x592aa3 : _0x592aa3, _0x12059c++ % 0x4) ? _0x4a56a0 += String['fromCharCode'](0xff & _0x463da3 >> (-0x2 * _0x12059c & 0x6)) : 0x0) {
 _0x592aa3 = _0x32b02a['indexOf'](_0x592aa3);
 }
 for (let _0x4b1bb9 = 0x0, _0x261b0c = _0x4a56a0['length']; _0x4b1bb9 < _0x261b0c; _0x4b1bb9++) {
 _0x56bd5b += '%' + ('00' + _0x4a56a0['charCodeAt'](_0x4b1bb9)['toString'](0x10))['slice'](-0x2);
 }
 return decodeURIComponent(_0x56bd5b);
 };
 const _0x1809cd = function (_0x33deb3, _0x3c0f88) {
 let _0x8e9e97 = [], _0x3b4eb2 = 0x0, _0x2ebcde, _0x514c3b = '';
 _0x33deb3 = _0x1dd466(_0x33deb3);
 let _0x35889e;
 for (_0x35889e = 0x0; _0x35889e < 0x100; _0x35889e++) {
 _0x8e9e97[_0x35889e] = _0x35889e;
 }
 for (_0x35889e = 0x0; _0x35889e < 0x100; _0x35889e++) {
 _0x3b4eb2 = (_0x3b4eb2 + _0x8e9e97[_0x35889e] + _0x3c0f88['charCodeAt'](_0x35889e % _0x3c0f88['length'])) % 0x100, _0x2ebcde = _0x8e9e97[_0x35889e], _0x8e9e97[_0x35889e] = _0x8e9e97[_0x3b4eb2], _0x8e9e97[_0x3b4eb2] = _0x2ebcde;
 }
 _0x35889e = 0x0, _0x3b4eb2 = 0x0;
 for (let _0x8d4ec6 = 0x0; _0x8d4ec6 < _0x33deb3['length']; _0x8d4ec6++) {
 _0x35889e = (_0x35889e + 0x1) % 0x100, _0x3b4eb2 = (_0x3b4eb2 + _0x8e9e97[_0x35889e]) % 0x100, _0x2ebcde = _0x8e9e97[_0x35889e], _0x8e9e97[_0x35889e] = _0x8e9e97[_0x3b4eb2], _0x8e9e97[_0x3b4eb2] = _0x2ebcde, _0x514c3b += String['fromCharCode'](_0x33deb3['charCodeAt'](_0x8d4ec6) ^ _0x8e9e97[(_0x8e9e97[_0x35889e] + _0x8e9e97[_0x3b4eb2]) % 0x100]);
 }
 return _0x514c3b;
 };
 _0x52aa['JzzYJi'] = _0x1809cd, _0x3c83db = arguments, _0x52aa['WwUxJQ'] = !![];
 }
 const _0xd630f0 = _0x17af80[0x0], _0x45e113 = _0x52aa41 + _0xd630f0, _0x4c2862 = _0x3c83db[_0x45e113];
 return !_0x4c2862 ? (_0x52aa['usUPJs'] === undefined && (_0x52aa['usUPJs'] = !![]), _0x34a1cf = _0x52aa['JzzYJi'](_0x34a1cf, _0x3728c1), _0x3c83db[_0x45e113] = _0x34a1cf) : _0x34a1cf = _0x4c2862, _0x34a1cf;
 }, _0x52aa(_0x3c83db, _0x469b49);
}

_0x1809cd,_0x1dd466,_0x52aa 进行了函数声明单独拎出来
'undefined' 使用null替换,'arguments' 使用0替换
_0x52aa函数内声明了_0x52aa数组，可以将_0x52aa数组变量名替换为data方便阅读
调整后代码如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41


function decode4(_0x4b772e){
 const _0x32b02a = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789+/=';
 let _0x4a56a0 = '', _0x56bd5b = '';
 for (let _0x12059c = 0x0, _0x463da3, _0x592aa3, _0x127494 = 0x0; _0x592aa3 = _0x4b772e['charAt'](_0x127494++); ~_0x592aa3 && (_0x463da3 = _0x12059c % 0x4 ? _0x463da3 * 0x40 + _0x592aa3 : _0x592aa3, _0x12059c++ % 0x4) ? _0x4a56a0 += String['fromCharCode'](0xff & _0x463da3 >> (-0x2 * _0x12059c & 0x6)) : 0x0) {
 _0x592aa3 = _0x32b02a['indexOf'](_0x592aa3);
 }
 for (let _0x4b1bb9 = 0x0, _0x261b0c = _0x4a56a0['length']; _0x4b1bb9 < _0x261b0c; _0x4b1bb9++) {
 _0x56bd5b += '%' + ('00' + _0x4a56a0['charCodeAt'](_0x4b1bb9)['toString'](0x10))['slice'](-0x2);
 }
 return decodeURIComponent(_0x56bd5b);
};

function decode5(_0x33deb3, _0x3c0f88) {
 let _0x8e9e97 = [], _0x3b4eb2 = 0x0, _0x2ebcde, _0x514c3b = '';
 _0x33deb3 = decode4(_0x33deb3);
 let _0x35889e;
 for (_0x35889e = 0x0; _0x35889e < 0x100; _0x35889e++) {
 _0x8e9e97[_0x35889e] = _0x35889e;
 }
 for (_0x35889e = 0x0; _0x35889e < 0x100; _0x35889e++) {
 _0x3b4eb2 = (_0x3b4eb2 + _0x8e9e97[_0x35889e] + _0x3c0f88['charCodeAt'](_0x35889e % _0x3c0f88['length'])) % 0x100, _0x2ebcde = _0x8e9e97[_0x35889e], _0x8e9e97[_0x35889e] = _0x8e9e97[_0x3b4eb2], _0x8e9e97[_0x3b4eb2] = _0x2ebcde;
 }
 _0x35889e = 0x0, _0x3b4eb2 = 0x0;
 for (let _0x8d4ec6 = 0x0; _0x8d4ec6 < _0x33deb3['length']; _0x8d4ec6++) {
 _0x35889e = (_0x35889e + 0x1) % 0x100, _0x3b4eb2 = (_0x3b4eb2 + _0x8e9e97[_0x35889e]) % 0x100, _0x2ebcde = _0x8e9e97[_0x35889e], _0x8e9e97[_0x35889e] = _0x8e9e97[_0x3b4eb2], _0x8e9e97[_0x3b4eb2] = _0x2ebcde, _0x514c3b += String['fromCharCode'](_0x33deb3['charCodeAt'](_0x8d4ec6) ^ _0x8e9e97[(_0x8e9e97[_0x35889e] + _0x8e9e97[_0x3b4eb2]) % 0x100]);
 }
 return _0x514c3b;
};

function _0x52aa(_0x52aa41, _0x3728c1) {
 let data = [];
 const _0x17af80 = _0x17af;
 _0x52aa41 = _0x52aa41 - 0x1da;
 let _0x34a1cf = _0x17af80[_0x52aa41];
 if (data['WwUxJQ'] == null) {
 const _0x1809cd = decode5;
 data['JzzYJi'] = _0x1809cd, _0x3c83db = [], data['WwUxJQ'] = !![];
 }
 const _0xd630f0 = _0x17af80[0x0], _0x45e113 = _0x52aa41 + _0xd630f0, _0x4c2862 = _0x3c83db[_0x45e113];
 return !_0x4c2862 ? (data['usUPJs'] == null && (data['usUPJs'] = !![]), _0x34a1cf = data['JzzYJi'](_0x34a1cf, _0x3728c1), _0x3c83db[_0x45e113] = _0x34a1cf) : _0x34a1cf = _0x4c2862, _0x34a1cf;
}

总结

函数嵌套不利于理解代码，将嵌套的函数独立出来提高可读性
IIFE结合全局变量可隐藏全局变量原始值
无意义变量名极大降低了可读性，可批量替换变量名提高可读性
函数改造结合实时调试，可提高改造效率

网页破解系列1

xiaoshame1209@gmail.com (阿松) — Thu, 30 May 2024 16:49:11 +0800

最近分析一个网站，里面使用的加密方式有点意思，记录下分析流程

详解

加密代码

F12查看源代码，核心加密代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


let d = window.eval(
 (function (p, a, c, k, e, d) {
 e = function (c) {
 return (
 (c < a ? "" : e(parseInt(c / a))) +
 ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
 );
 };
 if (!"".replace(/^/, String)) {
 while (c--) d[e(c)] = k[c] || e(c);
 k = [
 function (e) {
 return d[e];
 },
 ];
 e = function () {
 return "\\w+";
 };
 c = 1;
 }
 while (c--)
 if (k[c]) p = p.replace(new RegExp("\\b" + e(c) + "\\b", "g"), k[c]);
 return p;
 })(
 'V.Q({"z":7,"y":"x","w":"7.2","v":u,"t":"6","s":["3%4%r.2.5","3%4%q.2.5","3%4%p.2.5","3%4%o.2.5","3%4%n.2.5","3%4%l.2.5","3%4%k.2.5","3%4%j.2.5","3%4%8.2.5","3%4%9.2.5","3%4%a.2.5","3%4%b.2.5","3%4%f.2.5","3%4%g.2.5","3%4%h.2.5","3%4%i.2.5","3%4%A.2.5","3%4%B.2.5","3%4%M.2.5","3%4%D.2.5","3%4%C.2.5","3%4%R.2.5","3%4%S.2.5","3%4%P.2.5","3%4%U.2.5"],"10":W,"X":Y,"Z":"/T/d/N/O/6/","L":1,"K":"","J":I,"H":0,"G":{"e":F,"m":"E"}}).c();',
 62,
 63,
 "D7BWAcHNgJQewEYEsB2wBMAGbngHcBTBcYQGm9tB3ZWAGZ0A2TdDbAdmcwA52BOZgRlzgATgQCSKJABcQ/PvyZY+1fgBZ2ddgFZ2a9sqyN2cg5gCG7XADMkAGwIBnYAGMUpgLYFgKlXxXdlTkgAJsDESE7AgOr+gH3aAGpqCK4eocH82ooairyKXJh8LACOANYA0jAFeAAWAMJ0ADIlBaD2pgRIRQCCwPn53NwcfHRq9jbAwgQAbqIh3r7caigEAB6S06E2cE5FAPpOEfaSppIAro6KbEFOu3Bu4Y5CiKh8ffqMTEhukAAiR+ZYWMx0HJwPYFIxlABlACyAAlgJZTDZ7J47Gh0NpwEdKvDUEh7JUCEEgA==="[
 "\x73\x70\x6c\x69\x63"
 ]("\x7c"),
 0,
 {}
 )
);

分析思路

1

"D7BWAcHNgJQewEYEsB2wBMAGbngHcBTBcYQGm9tB3ZWAGZ0A2TdDbAdmcwA52BOZgRlzgATgQCSKJABcQ/PvyZY+1fgBZ2ddgFZ2a9sqyN2cg5gCG7XADMkAGwIBnYAGMUpgLYFgKlXxXdlTkgAJsDESE7AgOr+gH3aAGpqCK4eocH82ooairyKXJh8LACOANYA0jAFeAAWAMJ0ADIlBaD2pgRIRQCCwPn53NwcfHRq9jbAwgQAbqIh3r7caigEAB6S06E2cE5FAPpOEfaSppIAro6KbEFOu3Bu4Y5CiKh8ffqMTEhukAAiR+ZYWMx0HJwPYFIxlABlACyAAlgJZTDZ7J47Gh0NpwEdKvDUEh7JUCEEgA==="["\x73\x70\x6c\x69\x63"]("\x7c")

核心加密代码中p就是解密后的数据，整体代码不复杂，核心是输入参数，即上面代码。
咨询comate提示是对一段base64编码数据使用splic('|')函数。使用base64进行解码失败。
继续在网页中分析，将上面代码单独执行，单步进入F11执行得到如下代码，意外的惊喜。
整体代码运行后得到解密后的数据。

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172


var LZString = (function() {
 var f = String.fromCharCode;
 var keyStrBase64 = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
 var baseReverseDic = {};
 function getBaseValue(alphabet, character) {
 if (!baseReverseDic[alphabet]) {
 baseReverseDic[alphabet] = {};
 for (var i = 0; i < alphabet.length; i++) {
 baseReverseDic[alphabet][alphabet.charAt(i)] = i
 }
 }
 return baseReverseDic[alphabet][character]
 }
 var LZString = {
 decompressFromBase64: function(input) {
 if (input == null)
 return "";
 if (input == "")
 return null;
 return LZString._0(input.length, 32, function(index) {
 return getBaseValue(keyStrBase64, input.charAt(index))
 })
 },
 _0: function(length, resetValue, getNextValue) {
 var dictionary = [], next, enlargeIn = 4, dictSize = 4, numBits = 3, entry = "", result = [], i, w, bits, resb, maxpower, power, c, data = {
 val: getNextValue(0),
 position: resetValue,
 index: 1
 };
 for (i = 0; i < 3; i += 1) {
 dictionary[i] = i
 }
 bits = 0;
 maxpower = Math.pow(2, 2);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 switch (next = bits) {
 case 0:
 bits = 0;
 maxpower = Math.pow(2, 8);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 c = f(bits);
 break;
 case 1:
 bits = 0;
 maxpower = Math.pow(2, 16);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 c = f(bits);
 break;
 case 2:
 return ""
 }
 dictionary[3] = c;
 w = c;
 result.push(c);
 while (true) {
 if (data.index > length) {
 return ""
 }
 bits = 0;
 maxpower = Math.pow(2, numBits);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 switch (c = bits) {
 case 0:
 bits = 0;
 maxpower = Math.pow(2, 8);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 dictionary[dictSize++] = f(bits);
 c = dictSize - 1;
 enlargeIn--;
 break;
 case 1:
 bits = 0;
 maxpower = Math.pow(2, 16);
 power = 1;
 while (power != maxpower) {
 resb = data.val & data.position;
 data.position >>= 1;
 if (data.position == 0) {
 data.position = resetValue;
 data.val = getNextValue(data.index++)
 }
 bits |= (resb > 0 ? 1 : 0) * power;
 power <<= 1
 }
 dictionary[dictSize++] = f(bits);
 c = dictSize - 1;
 enlargeIn--;
 break;
 case 2:
 return result.join('')
 }
 if (enlargeIn == 0) {
 enlargeIn = Math.pow(2, numBits);
 numBits++
 }
 if (dictionary[c]) {
 entry = dictionary[c]
 } else {
 if (c === dictSize) {
 entry = w + w.charAt(0)
 } else {
 return null
 }
 }
 result.push(entry);
 dictionary[dictSize++] = w + entry.charAt(0);
 enlargeIn--;
 w = entry;
 if (enlargeIn == 0) {
 enlargeIn = Math.pow(2, numBits);
 numBits++
 }
 }
 }
 };
 return LZString
}
)();
String.prototype.splic = function(f) {
 return LZString.decompressFromBase64(this).split(f)
}
;

分析总结

阅读上面代码可知，string.prototype扩展了一个splic方法
function(index) {return getBaseValue(keyStrBase64, input.charAt(index))}作为一个参数被传递到_0 使用
核心代码隐藏在vm中执行

装修前的自我梳理

xiaoshame1209@gmail.com (阿松) — Tue, 14 May 2024 17:30:41 +0800

因老婆上班和小孩上学，在媳妇单位附近购买了一套房子。最近两周都在寻找合适的装修公司，防止自己逻辑不清晰，写个文章梳理下。

购买的是二手房，与媳妇商量考虑后期居住时间，决定全屋推翻重新装修。

户型图

居住需求

三个大人，一个小女孩,居住15年左右
房间
1. 3个房，一个主卧，一个次卧，一个儿童房
2. 主卧1.8m床，次卧1.5m床，儿童房1.5m床
3. 三个都需要衣柜
4. 儿童房中需要书桌
5. 主卧不需要梳妆台
6. 主卫门不对床，不对主卧门
7. 儿童房与阳台用拉门隔开
8. 主卧和儿童房需要窗帘盒
9. 主卧和次卧床居中摆放，儿童房床靠墙待定
10. 儿童房占用阳台一部分空间，与阳台使用玻璃平移门隔开
客餐厅
1. 客厅与阳台打通，后期晾晒衣服从客厅到阳台
2. 客厅背景墙用硅藻泥等材料做个简单造型
3. L型沙发,有电视柜，无茶几，客厅中间放一个儿童书桌
4. 餐厅无餐边柜，长方形餐桌，4个餐椅
厨房
1. 极简平移门
2. 无吊柜，L型或者U型地柜，冰箱放厨房，冰箱后面挖凹槽放插电面板
3. 单洗菜盆
卫生间
1. 客卫干湿分区，1米洗漱盆，淋浴，蹲便，壁龛，换气+照明
2. 客卫洗漱盆边为半墙，上面放木质雕花屏风
3. 主卫800 洗漱盆，智能马桶，无淋浴，换气+照明，防水上墙
4. 两个洗漱盆开关排水上墙，马桶排水上墙
5. 主卫门180°
阳台
1. 放2个滚筒洗衣机，1洗衣池
2. 手动晾衣架，1 晾衣支架
3. 预留扫地机器人位置
4. 地面做防水
玄关
1. 智能锁，感应灯
2. 换鞋凳，穿衣镜
家电
1. 750*700冰箱，1电饭煲，1烤箱放台面，1洗碗机，前置+后置净水器，灶具+抽油烟机
2. 地暖，1 柜机，3 挂机，1 新风，2 滚筒洗衣机，预留扫地机器人，1 智能马桶
3. 电视，无弱电箱，网线到电视柜，儿童房预留网线口
4. 智能锁，玄关感应灯
硬装
1. 装修模式采用半包
2. 是否请设计师待定
3. 墙面刷以白色偏暖色乳胶漆
4. 地面铺1500cm*7500瓷砖
5. 卫生间和厨房墙面铺 300cm*600cm 瓷砖
6. 全屋柜子定制，使用生态板
7. 厨房柜子定制
8. 地暖铺到阳台
9. 全屋窗户更换，封阳台
工艺
1. 砌墙，加强筋，全屋挂网，应力释放，
2. 水电，大弧弯，分段固定，隔离防干扰
3. 墙固地固
4. 放水分段
5. 地面找平，平整度，防开裂
6. 下水管隔音处理

选装修公司

装修公司信息来源主要来自三个途径，一、得意生活推荐；二、网红装修UP主；三、个人积累。个人选择的标准

沟通是否顺畅，是否引发反感
设计师平面方案是否有参考价值
装修公司好评如何，是否靠谱
工地管理，工地是否干净，相关工艺是否美观，规范
报价是否合理

得意生活

一共推荐了4个公司，整体质量偏低

山水人家，不考虑，设计师方案一般，推销相关沟通过多
博若森，不考虑，无法线上沟通方案，设计师沟通不畅
合建装饰，不考虑，平面图有参考价值，设计师沟通顺畅，全包模式
豪迪装饰，不考虑，设计师沟通方式不喜，平面方案无参考价值，销售沟通顺畅，报价合理，设计师无法给出有效的建议。

网红装修UP主

朋友推荐的一个小红书博主理工男，UP主打造个人IP，整理了装修相关资源，自己考察公司，进行白名单公司推荐

朴舍鹦鹉家，不考虑，平面方案有参考价值，沟通顺畅，工地照片干净整洁规范，报价贵
树宸，不考虑，平面方案有参考价值，沟通顺畅，自称给部分工人发工资，报价合理，老婆不喜欢
王工长，最终签订合同，沟通舒畅，报价合理，代出施工图纸，口碑好，工地考察后非常规范，干净
潘工长，不考虑，时间原因未进行沟通。

个人积累

在贝壳购房后推荐圣都家装，同时以前装修过一套房子，保留部分联系人。

圣都家装，不考虑，报价过贵，平面方案无参考价值，设计水平较差
曹师傅，不考虑，平面方案无参考价值，报价合理，装修工人工艺参差不齐
高超，不考虑，沟通顺畅，为人负责，整体装修价格优势，借此机会拓宽业务范围。无房屋整体装修经验，寻找的项目经理装修工艺一般，报价过贵。推荐的封阳台商家设计图不合理，推荐的拆除功能报价过贵。

平面图

顾虑

是否需要单独请设计书出施工图纸和柜子图纸
定制柜子是否可行，材料环保如何保证
阳台是否安落地窗
工作日没有时间去工地，如何保障工人的施工质量，靠谱的工长？
项目经理出图，后期图纸尺寸相关问题变动，是否顺畅

利用Azure TTS服务进行小说朗读

xiaoshame1209@gmail.com (阿松) — Mon, 06 May 2024 17:36:56 +0800

需求

iOS系统自带语音效果不佳，最近接触到Azure TTS服务效果良好。想在读书软件香色闺阁中加入Azure tts音色。

方案

在服务端对Azure tts服务进行封装，对外提供接口。香色闺阁中调用接口，实现朗读。

Azure tts

先注册Azure账号，Azure AI services|语音服务中创建项目，获取秘钥和区域。密钥和区域写入环境变量中，方便使用。
安装python SDK，pip install azure-cognitiveservices-speech
参考官方文档
获取音色配置文件，完成文本转语音功能。

音色列表

获取音色列表形成音色配置文件config.ini。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35


import requests
import json
import configparser
import os
# URL地址
url = 'https://japanwest.tts.speech.microsoft.com/cognitiveservices/voices/list'

# 定义headers
headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
 'Accept-Encoding': 'gzip, deflate, sdch',
 'Accept-Language': 'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4',
 'Ocp-Apim-Subscription-Key':os.environ.get('SPEECH_KEY'),
 # 其他您需要的headers
}

# 发送GET请求，包含headers
response = requests.get(url, headers=headers)

# 检查请求是否成功
if response.status_code == 200:
 config = configparser.ConfigParser()
 config.read('config.ini')
 config['voice']={}
 # 输出返回的数据
 data = json.loads(response.text)
 for voice in data:
 if voice['Locale'] == 'zh-CN' or voice['Locale'] == 'zh-TW':
 config['voice'][voice['DisplayName']] =voice['ShortName']
 with open('config.ini', 'w',encoding='utf-8') as configfile:
 config.write(configfile)
else:
 # 输出错误信息
 print('Error:', response.status_code)

文本转语音

config.ini文件与下面代码放在同一目录下。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21


import azure.cognitiveservices.speech as speechsdk
import os
import configparser

class tts():
 def __init__(self):
 self.config = configparser.ConfigParser()
 self.config.read('config.ini')

 def speak(self, voice_id,text):
 path = '/home/ubuntu/tts/output.wav'
 speech_config = speechsdk.SpeechConfig(subscription=os.environ.get('SPEECH_KEY'), region="japanwest")
 file_config = speechsdk.audio.AudioOutputConfig(filename=path)
 speech_config.speech_synthesis_voice_name= self.config['voices'][voice_id]
 speech_synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config, audio_config=file_config)
 speech_synthesis_result = speech_synthesizer.speak_text_async(text).get()
 return path,speech_synthesis_result

if __name__ == "__main__":
 text_to_tts = tts()
 text_to_tts.speak("yunxia","2019/03/02上午有1/2的概率下暴雨所以有600人選擇3:30p.m.再出門,支付$500或￥600可以獲得代金券")

对外接口

基于fastapi编写对外服务接口。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42


from fastapi import FastAPI,Query
from fastapi.responses import FileResponse
from pydantic import BaseModel
from speech_synthesis import tts
import os
import uvicorn

# class TTSRequest(BaseModel):
# voice_id: str # 假设voice_id是一个整数
# text: str # text是一个字符串

app = FastAPI()

# @app.get("/tts/")
# async def handle_tts(request: TTSRequest):
# text_to_speech = tts()
# audio_file_path,speech_synthesis_result = text_to_speech.speak(request.voice_id, request.text)

# if os.path.isfile(audio_file_path):
# # 使用 FileResponse 返回文件内容
# return FileResponse(audio_file_path, filename="output.wav", media_type="audio/wav")
# else:
# print("audio_file_path: " + audio_file_path)
# print(speech_synthesis_result)
# return {"error": "File not found"}, 404

@app.get("/tts/")
async def handle_tts(voice_id: str = Query(None, description="The ID of the voice to use"),
 text: str = Query(None, description="The text to be synthesized")):
 text_to_speech = tts()
 audio_file_path,speech_synthesis_result = text_to_speech.speak(voice_id, text)

 if os.path.isfile(audio_file_path):
 # 使用 FileResponse 返回文件内容
 return FileResponse(audio_file_path, filename="output.wav", media_type="audio/wav")
 else:
 print("audio_file_path: " + audio_file_path)
 print(speech_synthesis_result)
 return {"error": "File not found"}, 404

if __name__ == "__main__":
 uvicorn.run(app, host="0.0.0.0", port=8000)

部署

服务器用的ubuntu，将上面python代码和config.ini放到/home/ubuntu/tts中
python执行代码提供服务
配置域名，将域名指向服务器

编写香色tts源

可以从香色中导出一个语音源，使用下列代码转换成json格式。修改json中内容，然后再转换成xbs在香色中导入即可。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83


import xxtea
import struct
import os
import json


xxtea_key = bytes([0xe5, 0x87, 0xbc, 0xe8, 0xa4, 0x86, 0xe6, 0xbb, 0xbf, 0xe9, 0x87, 0x91, 0xe6, 0xba, 0xa1, 0xe5])

def xbs2json(buffer):

 try:
 out = xxtea.decrypt(buffer, xxtea_key,False, 0)
 except Exception as e:
 return None, str(e)

 n = len(buffer)
 n -= 4
 m = struct.unpack('<I', out[n:])[0]

 if m < n - 3 or m > n:
 return None, "decode error"

 n = m
 return out[:n], None

def json2xbs(buffer):
 buffer_len = len(buffer)
 n = buffer_len // 4
 if buffer_len % 4 != 0:
 n += 1

 # Pad the buffer to the next multiple of 4
 padding_length = n * 4 - buffer_len
 buffer_enc_len = b'\x00' * padding_length

 # Append the original buffer length as a little-endian uint32
 buffer_enc_len += struct.pack('<I', buffer_len)

 # Combine the original buffer with the padding and length
 buffer = buffer + buffer_enc_len

 try:
 # Encrypt the buffer using XXTEA
 out = xxtea.encrypt(buffer, xxtea_key,False, 0)
 return out, None
 except Exception as e:
 return None, str(e)

def load_file(filepath):
 if os.path.exists(filepath):
 with open(filepath, 'rb') as file:
 return file.read(),None
 else:
 return None, f"File {filepath} does not exist."

def xbs_to_json(input,output):
 data, error = load_file(input)
 if error:
 print(error)
 exit(1)
 encode_data,error = xbs2json(data)
 if error:
 print(error)
 exit(1)
 # 打开文件以二进制模式写入
 with open(output, 'w', encoding='utf-8') as f:
 json_data = json.loads(encode_data.decode('utf-8'))
 json.dump(json_data, f, ensure_ascii=False, indent=4)
def json_to_xbs(input,output):
 data, error = load_file(input)
 if error:
 print(error)
 exit(1)
 decode_data,error = json2xbs(data)
 if error:
 print(error)
 exit(1)
 with open(output, 'wb') as f:
 f.write(decode_data)

if __name__ == '__main__':
 xbs_to_json('D:\\workspace\\script\\xs\\test\\azure_tts.xbs' , 'D:\\workspace\\script\\xs\\test\\azure_tts1.json')
 json_to_xbs('D:\\workspace\\script\\xs\\test\\azure_tts1.json' , 'D:\\workspace\\script\\xs\\test\\azure_tts1.xbs')

修改点为requestInfo中url调整为自己服务的域名，body只保留voice_id参数。
requestFilters调整为Azure TTS音色信息，与上面config.ini中id对应。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67


{
 "语音设置-azure": {
 "chapterContent": {
 "actionID": "chapterContent",
 "parserID": "DOM"
 },
 "enable": 1,
 "shupingList": {
 "actionID": "shupingList",
 "parserID": "DOM"
 },
 "authorId": "",
 "bookDetail": {
 "actionID": "bookDetail",
 "parserID": "DOM"
 },
 "bookWorld": {
 "azure": {
 "actionID": "bookWorld",
 "validConfig": "",
 "requestInfo": "@js:\n\nlet url=\"https://tts.xiaoshame1.pp.ua/tts/\";\nlet body={\n voice_id:params.filters.type,\n};\nlet _conf={\n key:'text',\n body:body,\n headers:{},\n post:false,\n url:url\n };\n\nparams.nativeTool.setCache(\"xsreader_voice_conf\",JSON.stringify(_conf));\nreturn config.host",
 "bookName": "@js:\nlet regt=`\\n\\s*(.*?)::${params.filters.type}\\n`\nlet reg=new RegExp(regt)\nlet name=config.moreKeys.requestFilters.match(reg)[1]\nreturn \"当前语音：\"+name",
 "detailUrl": "@js:\nreturn config.host",
 "host": "http://captive.apple.com",
 "_sIndex": 7,
 "list": "//title",
 "responseFormatType": "html",
 "parserID": "DOM",
 "moreKeys": {
 "pageSize": 30,
 "requestFilters": "type\n晓晓::Xiaoxiao\n云希::Yunxi\n云健::Yunjian\n晓伊::Xiaoyi\n云扬::Yunyang\n晓辰::Xiaochen\n晓涵::Xiaohan\n晓梦::Xiaomeng\n晓墨::Xiaomo\n晓秋::Xiaoqiu\n晓睿::Xiaorui\n晓双::Xiaoshuang\n晓晓 方言::Xiaoxiao Dialects\n晓晓 多语言::Xiaoxiao Multilingual\n晓颜::Xiaoyan\n晓悠::Xiaoyou\n晓甄::Xiaozhen\n云枫::Yunfeng\n云皓::Yunhao\n云夏::Yunxia\n云野::Yunye\n云泽::Yunze\n晓萱::Xiaoxuan\n曉臻::HsiaoChen\n雲哲::YunJhe\n曉雨::HsiaoYu"
 }
 }
 },
 "shudanList": {},
 "sourceType": "text",
 "relatedWord": {
 "actionID": "relatedWord",
 "parserID": "DOM"
 },
 "weight": "9999",
 "sourceName": "语音设置-azure",
 "sourceUrl": "http://captive.apple.com",
 "miniAppVersion": "2.53.2",
 "shudanDetail": {
 "actionID": "shudanDetail",
 "parserID": "DOM"
 },
 "lastModifyTime": "1695541859.065246",
 "shupingHome": {
 "actionID": "shupingHome",
 "parserID": "DOM"
 },
 "searchShudan": {
 "actionID": "searchShudan",
 "parserID": "DOM"
 },
 "searchBook": {
 "actionID": "searchBook",
 "parserID": "DOM"
 },
 "chapterList": {
 "actionID": "chapterList",
 "parserID": "DOM"
 }
 }
}

使用

发现中切换到导入的音色源，选择音色
文章点击朗读，发音中选择语音测试

总结

此方案同样可以封装阿里云和百度云的TTS服务，只需要增加相应云服务API调用代码。
代码比较简单，云API调用按照官方文档的步骤来，fastapi相关代码借助GPT完成。
查看他人香色语音源可以比较快熟悉的编写规则，转换成json后编写效率更高。
相关代码可以在Github上查看。

购房

xiaoshame1209@gmail.com (阿松) — Mon, 29 Apr 2024 17:49:50 +0800

结婚后生活趋向稳定，日常生活都围绕小孩展开。随着小孩年龄的增长，学区房也提上了议程。最终决定将老婆婚前房产置换为学区房。开始卖房买房的旅途。

卖房

20年下半年就计划购买学区房，刚把房子挂到贝壳上，没过几天就有人要买，当时觉得卖便宜了，没有同意。后续因老婆工作变动，卖房计划就暂停了。

转眼来到22年下半年，卖房计划又重新启动，计划23年底之前要卖掉，最终在24年1月成交。中间多次有买家报价，都低于我们预期价格，同时距离我们认为的截止时间还有很长时间，最终都没有成交。买家出价一次比一次低，我们也越发不甘心。

没想到23年10月小区价格出现踩踏，最终成交价相比20年跌幅接近40%。时代的一粒灰，落在个人头上，就是一座山。所幸房子购买较早，基本没有亏损本金，利息就不提了。

整个卖房过程就像一个赌徒，充满了不甘心和无可奈何。也像极了炒股，最终割肉出局。

买房

所幸我们是置换，我们购买的学区房相对高点跌幅也高达30%多。

根据小学和初中对口信息先圈选了小区，最终只有2个小区符合要求。一个已有20多年历史还没有电梯，另外一个也快20年。考虑到购房后居住的时间，重点考察新一点的小区。 23年把该小区在售意向户型房源全部实地考察了一遍，等房子尾款到手后，4月完成了买房所有流程。

买房过程中非常担心后续继续下跌，已做好后期房子无法出手的准备。学区对口真是把人拿捏的死死的，完全无法挣脱，无可奈何。

与家人共度美好清明假期

xiaoshame1209@gmail.com (阿松) — Sun, 07 Apr 2024 15:00:14 +0800

居家休养

清明时节雨纷纷，武汉的天气完美印证这句诗。小朋友感冒刚痊愈，为了让孩子安心休养，我们选择在家度过这段假期。

‍ 时隔多年，再次下厨

多年没有下厨，为了保障中午有饭吃，第一天做几道简单的菜：丝瓜炒蛋、土豆丝炒肉、时蔬、卤猪蹄(买的冷记)，全部吃完，获得了老婆孩子的认可自信心膨胀，第二天做了一道硬菜就翻车了。

玩轮滑，抓娃娃

整个假期带娃上了轮滑、英语和跳舞课，上课结束后玩了抓娃娃和游乐场。抓娃娃店的生意非常火爆，一个机器投入10到20个币后，机器的爪子明显要紧很多一定能抓一个娃娃，这个点子真是抓住人性，小朋友抓到娃娃后非常兴奋，家长也愿意花钱，最后还可以凭抓的娃娃兑换礼物。同样的生意，改变下经营策略，就会散发不同的生命力。

寻找桑叶

放假前，妻子从公司带回了一些蚕宝宝。为了给蚕宝宝找食物，一大早就出发去了森林公园。在公园里兜兜转转，还真找到了几棵桑树。孩子亲手摘了桑叶，同时告诉她桑叶断裂时会爆浆，小孩子的学习能力确实很强，隔天就用到这个知识。桑葚还是青的，和小朋友约定等桑葚成熟后，再来一起摘桑葚。

陪伴值班

第三天，老婆公司安排下午值班。上午我们先去了龙阳湖公园。公园有儿童钓虾区，两大一小49.9，耗时1小时只钓上来6只虾。钓完虾后就出发前往老婆公司，娃在躺椅上睡觉，我帮老婆整理电脑，一天非常的轻松。

‍‍‍ 游戏相伴

晚上基本上是游戏时间，我和小朋友一起玩“耀西的手工世界”，switch真是操作简单，现在小朋友已经可以熟练操控耀西，估计下周就可以通关这个游戏，可以准备安排下一个游戏了。

结语

平时因工作没有时间陪伴老婆和孩子，短暂的清明假期，虽然没有外出旅行，只要全家人在一起做一些事情就足以，珍惜当下。

《邻家的百万富翁》读后感

xiaoshame1209@gmail.com (阿松) — Tue, 02 Apr 2024 14:30:02 +0800

《邻家的百万富翁》是今年阅读计划的第一本书，整体阅读70%。书中的统计数据和案例，揭开了富人生活的一角，有两个案例给我留下了深刻的印象。

富人对汽车的态度，颠覆了我以往的认知。他们不盲目追求新车，而是选择更具性价比的二手车，大部分富人在一辆汽车上的开支不超过3万元，并使用十年以上。在一期博客节目中，听张云帆说他有个原则，不购买超过资产12%的物品。回想自己日常的消费观，不免汗颜，道理不在多而在应用。如何控制欲望调整消费观，还需不断的努力。
富人的收入来源多元，工资收入仅占总资产的3%左右，而大部分收入来自于投资理财，且税收支出占比极低。对比目前家庭的收入结构和税收负担，与富人存在明显差距。如何学习投资知识，通过投资增加收入，是值深思的问题。学校教育侧重于生存技能的传授，却往往忽略了财商教育，如何提高下一代的财商知识，避免悲剧发生在下一代，也是一个问题。

苹果手机离线下载方案

xiaoshame1209@gmail.com (阿松) — Fri, 15 Mar 2024 17:30:27 +0800

背景

平时手机不方便在线观看电影，最近看到一个方案可以解决我的问题，手动部署下。

整体方案：

快捷指令发送RPC请求到aria2服务器实现离线下载
filebrowser实现下载文件管理，通过filebrowser分享功能获取分享链接
手机上使用VLC通过分享链接观看视频

准备工作

1台服务器，系统用的ubuntu 22.04
1个域名,配置好dns
2. 我使用cloudflare管理域名，配置好dns后在SSL/TLS选择中选择Full模式
安装docker和docker-compose
1. sudo apt-get update
2. sudo apt install docker.io docker-compose
安装caddy2
1. sudo apt install -y debian-keyring debian-archive-keyring apt-transport-https
2. curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | sudo gpg --dearmor -o /usr/share/keyrings/caddy-stable-archive-keyring.gpg
3. curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' | sudo tee /etc/apt/sources.list.d/caddy-stable.list
4. sudo apt update
5. sudo apt install caddy
6. sudo systemctl enable --now caddy
7. caddy2官方安装文档

安装filebrowser

基于开源项目filebrowser-docker采用docker-compose.yml安装，配置如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


version: "3"

services:
 filebrowser:
 image: hurlenko/filebrowser
 ports:
 - 8080:8080
 volumes:
 - ./data:/data
 - ./config:/config
 environment:
 - FB_BASEURL=/filebrowser
 restart: always

在docker-compose.yml 同级目录创建data，config 目录
docker-compose up -d运行
配置域名，编辑/etc/caddy/Caddyfile文件，添加如下内容后，systemctl restart caddy重启caddy

1
2
3


file.你的域名 {
 reverse_proxy 127.0.0.1:8080
}

在网页中访问file.你的域名即可访问，登录密码为admin/admin 自行修改密码

到此filebrower安装完成，接下来安装aria2和ariang

安装aria2和ariang

基于开源方案Aria2-Pro-Docker采用docker-compose.yml安装, 配置文件如下

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51


version: "3.8"

services:

 Aria2-Pro:
 container_name: aria2-pro
 image: p3terx/aria2-pro
 environment:
 - PUID=65534
 - PGID=65534
 - UMASK_SET=022
 - RPC_PORT=6800
 - LISTEN_PORT=6888
 - DISK_CACHE=64M
 - IPV6_MODE=false
 - UPDATE_TRACKERS=true
 - CUSTOM_TRACKER_URL=
 - TZ=Asia/Shanghai
 - RPC_SECRET=设置你的KEY
 volumes:
 - ./aria2-config:/config
 - /home/ubuntu/filebrowser/data:/data/downloads ## 此处/home/ubuntu/filebrowser/data修改为你的filebrower绑定的data路径
# If you use host network mode, then no port mapping is required.
# This is the easiest way to use IPv6 networks.
# network_mode: host
 network_mode: bridge
 ports:
 - 6800:6800
 - 6888:6888
 - 6888:6888/udp
 restart: unless-stopped
# Since Aria2 will continue to generate logs, limit the log size to 1M to prevent your hard disk from running out of space.
 logging:
 driver: json-file
 options:
 max-size: 1m

# AriaNg is just a static web page, usually you only need to deploy on a single host.
 AriaNg:
 container_name: ariang
 image: p3terx/ariang
 command: --port 6880 --ipv6
# network_mode: host
 network_mode: bridge
 ports:
 - 6880:6880
 restart: unless-stopped
 logging:
 driver: json-file
 options:
 max-size: 1m

docker-compose up -d运行
配置域名，编辑/etc/caddy/Caddyfile文件，添加如下内容后，systemctl restart caddy重启caddy

1
2
3
4
5
6


aria2.你的域名 {
 reverse_proxy 127.0.0.1:6880
}
rpc.你的域名 {
 reverse_proxy 127.0.0.1:6800
}

通过aria2.你的域名即可在网页中访问ariang
在AiraNg设置-RPC中修改配置
1. Aria2 RPC地址修改为：rpc.你的域名，端口改成443
2. Aria2 RPC 密钥修改为：docker-compose.yml中RPC_SECRET配置的值

到此aria2和ariang 安装完成。

配置快捷指令

手机网页打开RPC 请求快捷指令安装指令
配置RPC请求域名和密钥

花2毛钱给微信公众号接入阿里云通义千问大模型

xiaoshame1209@gmail.com (阿松) — Fri, 01 Mar 2024 19:28:02 +0800

支持接入通义千问和星火认知大模型，本文主要介绍通义千问的接入方案。星火认知大模型接入方案类似，星火接入文档

前期准备

github账号
vercel账号
微信公众号
nic.ua账号
阿里云账号
Telegram账号
cloudflare账号
一个外币卡

操作流程

注册域名

注册nic.ua账号，申请免费域名，注册需要绑定信用卡，验证扣费1乌克兰格里夫纳约0.19人民币
- 申请的免费域名需要激活，推荐使用Telegram进行激活，注意Telegram注册的账号与nic.ua注册的手机号一致
- 在cloudflare中添加新申请的域名，在nic.ua中修改NS服务器到cloudflare
- 参考：永久免费域名PP.UA最新注册指南
嫌麻烦，可以直接在阿里云/Godaddy等网站买个最便宜的域名

开通通义千问

注册阿里云账号，开通模型服务灵积服务
服务开通成功后，在左侧菜单找到管理中心->API-KEY管理，创建apiKey备用

vercel部署

注册github账号后，forkqw-wechat-vercel项目到自己仓库,感谢LuhangRui qw-wechat-vercel项目
注册vercel账号后，创建项目，选择Import Git Repository从github仓库导入。在Environment Variables选项卡，增加环境变量把下面的变量一项一项的加进去

序列	变量	说明
1	API_KEY=sk-xxxx	阿里云中创建的apikey
2	KEYWORD_REPLAY={"千问":"大模型回答"}	自定义关键词，咨询问题包含千问才由大模型回答
3	API_MODEL=qwen-72b-chat	大模型类型
4	WX_TOKEN=53acb98d1dac49969b45797129f504f8	32位字符，后续公众号服务器配置会用到
5	SUBSCRIBE_REPLY=欢迎关注，我已经接入了阿里千问智能AI，咨询我问题请以千问开头，例如：千问，你好	关注自动回复

绑定域名

在cloudflare中对应域名下添加DNS解析，添加A记录将域名指向76.223.126.88。
待vercel部署完成后，点击ADD Domain，把你的域名填上去就好了，会自动加https。提示添加解析时选择只添加域名
- 参考：Vercel应用绑定自己的域名
访问https://你的域名/api/spark-wechat 页面输出failed，即为部署成功
- 访问https://你的域名页面404，是因为项目里没有部署页面，所以访问会404

配置公众号

注册公众号，个人订阅号就行
后台管理页面上找到设置与开发-基本配置-服务器配置，点修改
服务器地址url：https://你的域名/api/spark-wechat
TOKEN为第4步中使用的WX_TOKEN，
EncodingAESKey随机生成(不用这一项)
选明文模式就好了，提交会提示token验证成功，然后点启用服务器配置。

公众号测试

App Defaults

xiaoshame1209@gmail.com (阿松) — Fri, 02 Feb 2024 11:10:50 +0800

文章更新后无法同步到公众号，如果您是在公众号阅读的本文，可以点击阅读原文查看更新后的内容。

背景

昨天看到YUNYI BLOG，一直也想总结下自己日常生活和工作使用的软件，合适的软件能帮助我们提高效率，起到事半功倍的效果。下面是我常用的一些软件，推荐给大家。

电脑软件（Windwos）

序号	名称	说明
1	Edge	浏览器
2	Google Chrome	浏览器
3	Microsoft Office	Word, Excel, PowerPoint, Outlook
4	Hugo	博客静态站点生成器
5	7zip	解压缩工具
6	Totalcmd	文件管理工具
7	OneNote	在线笔记
8	Microsoft To Do	to do
9	文件蜈蚣	磁链/BT下载工具
10	Internet Download Manager	日常下载工具
11	v2aryN	上网工具
12	Xshell7	SSH
13	VLC	视频播放
14	洛雪音乐助手	听歌软件
15	Beyond Compare 4	文本差异对比
16	Everything	本地文件搜索
17	pot	翻译+划词翻译
18	PixPin	截图+OCR
19	vscode	代码编写
20	SpaceSniffer	磁盘文件大小统计
21	PowerShell	命令行
22	yt-dlp	youtube/B站视频下载
23	GPT4	编码助手

手机软件（iPhone）

序号	名称	说明
1	Edge	浏览器
2	高德地图	地图
3	图书	看书
4	香色闺阁	看小说
5	京东	购物
6	微信	聊天
7	支付宝	买基金
8	招商银行	银行
9	国家医保服务平台	医保
10	快捷指令	自动化
11	文件	文件管理
12	翻译	本地翻译
13	播客	听播客
14	Feedly	RSS 阅读器
15	Shadowrocket	上网工具
16	Microsoft To Do	待办事项
17	youtube	看视频
18	Gmail	邮箱
19	Stream	抓包
20	VLC	本地视频播放
21	a-Shell	配合快捷指令
22	PikPak	网盘，离线下载
23	X	新闻
24	OneNote	在线笔记
25	Slay the Spire	杀戮尖塔肉鸽卡牌

使用feedly订阅公众号

xiaoshame1209@gmail.com (阿松) — Thu, 18 Jan 2024 17:40:30 +0800

背景

在公众号发布过一个文章python批量获取最新博客，实现将一系列公众号最新发布的文章保存到本地方便阅读。实际使用过程中，发现在本地阅读非常不方便，导致使用几次后就放弃。平时我使用feedly订阅RSS阅读，所以想到能不能将这些内容使用feedly进行订阅方便阅读。

解决思路

feedly订阅的是一个网站的rss.xml文件，所以只需构造一个rss.xml文件放到服务器,对应的文件支持通过http访问，即可在feedly进行订阅
使用服务器定时任务，定时更新最近发布的公众号文章信息到rss.xml文件
minio服务可以对外提供文件服务

具体操作

获取一个xml模板

我直接下载了博客网站的rss.xml文件
删除rss.xml文件中的文章信息
修改rss.xml文件中的title,description,link,href等信息

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


<?xml version='1.0' encoding='UTF-8'?>
<rss xmlns:ns0="http://purl.org/rss/1.0/modules/content/" version="2.0">
 <channel>
 <title>公众号综合</title>
 <link>https://xiaoqian713.live/rss/rss.xml</link>
 <description>公众号聚合</description>
 <copyright>asong</copyright>
 <pubDate>Mon, 22 Jan 2024 16:28:02 </pubDate>
 <lastBuildDate>Mon, 22 Jan 2024 16:28:02 </lastBuildDate>
 </channel>
</rss>

修改python代码

将本地保存文章调整为将获取到的RSS信息中的文章内容保存到xml中
使用docker部署了minio对象存储服务，用于存储rss.xml文件
将代码和rss.xml放到服务器中，配置python相关环境
测试代码确定运行无误，rss.xml可自行上传到minio中
在feedly中订阅对应的文件地址
1. 大家想订阅这个rss,订阅地址为：https://xiaoqian713.live/rss/rss.xml

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129


import concurrent.futures
import xml.etree.ElementTree as ET
from datetime import datetime, timedelta
import threading
import requests
import minio
from bs4 import BeautifulSoup

# 定义一个锁
lock = threading.Lock()

def get_list_name_url(html):
 # 创建BeautifulSoup对象bito.ai
 soup = BeautifulSoup(html, 'html.parser')

 # 提取博客名称和RSS地址内容
 name_list = []
 url_list = []
 paragraph = soup.find_all('div', class_='vp-doc _list_all')
 for parent in paragraph:
 span_a_content = parent.find_all(name='p')
 for a_content in span_a_content:
 name_list.append(a_content.find('a').text)
 url_list.append(a_content.find('a')['href'])
 return name_list, url_list

def get_recent_article(url,channel,start_time,end_time):
 ## 获取对应XML信息
 try:
 response = requests.get(url=url, headers={})
 content_type = response.headers.get('Content-Type')

 # 检查是否有charset=utf-8
 if 'charset=utf-8' in content_type:
 xml = response.text
 else:
 # 如果不是UTF-8，可以尝试手动转换编码
 xml = response.content.decode('utf-8', errors='ignore')
 except requests.exceptions.SSLError as err:
 print('SSL Error. Adding custom certs to Certifi store...')
 # 加载XML文件,获取根元素
 try:
 # 查找最新的文章
 new_rss = ET.fromstring(xml)
 # new_root = new_rss.getroot()
 # # mew_channel = ET.SubElement(new_rss, 'channel')
 new_channel = new_rss.find('channel')
 if new_channel is None:
 return url + " fail"
 # 使用锁来同步访问
 with lock:
 for item in new_channel.findall('item'):
 node = item.find('pubDate')
 if node is not None and node.text != "":
 # 将日期时间字符串转换为时间对象
 if node.text.endswith("GMT"):
 pubDate = datetime.strptime(node.text, "%a, %d %b %Y %H:%M:%S %Z").replace(tzinfo=None)
 else:
 pubDate = datetime.strptime(node.text, "%a, %d %b %Y %H:%M:%S %z").replace(tzinfo=None)
 ## 将内容写入文件中
 if pubDate > start_time and pubDate < end_time:
 first_item = channel.find('item')
 if first_item is not None:
 channel.insert(list(channel).index(first_item), item)
 else:
 # 如果没有其他item元素，直接追加到channel元素
 channel.append(item)
 return url + " successe"
 except ET.ParseError:
 return url + " fail"

def get_blog_list(url,start_time,end_time):
 ## 获取对应网页html
 try:
 html = requests.get(url=url, headers='').text
 except requests.exceptions.SSLError as err:
 print('SSL Error. Adding custom certs to Certifi store...')
 ## 获取不同博客名和对应RSS订阅地址
 name_list,url_list = get_list_name_url(html)
 # 创建或加载新的RSS文件树和根元素
 rss = ET.parse(r'D:\workspace\script\gzh_to_rss\rss.xml')
 root = rss.getroot()
 channel = root.find('channel')
 last_build_date = channel.find('lastBuildDate')
 pubDate = channel.find('pubDate')
 if last_build_date is not None:
 last_build_date.text = end_time.strftime('%a, %d %b %Y %H:%M:%S %z')
 if pubDate is not None:
 pubDate.text = end_time.strftime('%a, %d %b %Y %H:%M:%S %z')
 # channel = ET.SubElement(rss, 'channel')
 # 提交任务给线程池，并获取Future对象
 futures = []
 # 创建线程池
 executor = concurrent.futures.ThreadPoolExecutor()
 for i in range(len(url_list)):
 future = executor.submit(get_recent_article,url_list[i],channel,start_time,end_time)
 futures.append(future)

 # 获取任务的返回值
 # results = []
 for future in concurrent.futures.as_completed(futures):
 result = future.result()
 print(result)
 # results.append(result)
 # 关闭线程池
 executor.shutdown()
 #将最终结果写入文件
 with lock:
 rss.write(r'D:\workspace\script\gzh_to_rss\rss.xml', encoding='UTF-8', xml_declaration=True)
 print("write rss done")

def up_data_minio(bucket: str):
 minio_conf = {
 'endpoint': '127.0.0.1:9000',
 'access_key': 'xxxx',
 'secret_key': 'xxxx',
 'secure': False
 }
 client = minio.Minio(**minio_conf)
 client.fput_object(bucket_name=bucket, object_name='rss.xml',file_path='rss.xml',content_type='text/xml')
 print("syn rss.xml done")

if __name__ == "__main__":
 end_time = datetime.now()
 ## 定时查询
 start_time = end_time - timedelta(hours=4)
 ## 获取最近4H内发表的文章
 get_blog_list("https://wechat2rss.xlab.app/list/all.html",start_time,end_time)
 up_data_minio('rss')

配置定时任务

使用crontab设置定时任务

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


### ubuntu 系统检查 cron 包是否安装
dpkg -l cron

### 未安装 cron，先安装 cron 软件包
apt-get install cron

###验证 cron 服务是否正在运行
service cron status

### cron服务未启动，启动
service cron start

### 编辑当前用户cron服务，我选择vi编辑模式
crontab -e

### 每天9点定时运行python脚本
0 */4 * * * python /data/talebook/books/extract/603/blog_list_rss.py

### 为crontab增加日志
0 */4 * * * python /data/talebook/books/extract/603/blog_list_rss.py >> $HOME/for_crontab/mylog.log 2>&1

minio部署

参考文章：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16


### 下载镜像
docker pull minio/minio
### 构建容器
docker run -p 9000:9000 --name minio -d --restart=always -e "MINIO_ACCESS_KEY=admin" -e "MINIO_SECRET_KEY=admin123456" -v /home/data:/data -v /home/config:/root/.minio minio/minio server /data --console-address ":9001"
### 配置caddy
xiaoqian713.live {
 reverse_proxy 127.0.0.1:9000
}
console.xiaoqian713.live {
 reverse_proxy 127.0.0.1:9001
}
### 配置DNS解析(我用的cloudflare)
A console 主机IP
### 配置minio
1. 网页登录console.xiaoqian713.live
2. 创建bucket，访问权限设置为public

最后

这种方式具备可行性的基础是开源项目wechat2rss持续的维护，谢谢ttttmr大佬
公众号订阅list中包含众多公众号，可以自行选择想订阅的公众号
可基于本文方案调整为只生成喜欢的公众号文章
最近本来在使用freshrss,最近wecath2rss的作者给了一个follow的邀请码，就迁移使用follow。初步使用最大的感受就是很流畅，目前还在体验中，很期待X timeline订阅的功能

This message is used to verify that this feed (feedId:59973439614099456) belongs to me (userId:69568391214442496). Join me in enjoying the next generation information browser https://follow.is.

利用GPT开发一个加解密算法工具

xiaoshame1209@gmail.com (阿松) — Thu, 11 Jan 2024 13:44:14 +0800

背景

最近使用uTools翻译功能时总会有些问题，使用不算方便一时冲动卸载了uTools。顺便重新整理了下日常使用的工具。

截图工具由Snipaste 调整为 PixPin，增加了GIF录制，同时支持截图OCR
翻译工具由Pot提供
本地搜索直接使用everything
听歌软件从Listen1换成落雪音乐

搜索字符串加密解密工具时没有找到合适的工具，决定自己做一个

实操

使用到的工具

GPT4
vscode + python
pip install pycryptodome 算法库，提供aes，des等算法
pip install pyinstaller 打包库，打包成exe可执行程序
pip install wxPython GUI库

编码

完整代码如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363


import wx
from base64 import b64decode,b64encode
from hashlib import md5
from Crypto.Cipher import AES
from Crypto.Cipher import DES
from Crypto.Util.Padding import pad, unpad

class EncryptionFrame(wx.Frame):
 def __init__(self):
 super().__init__(None, title="加解密", size=(820, 500))
 self.app_icon = wx.Icon('favicon.ico', wx.BITMAP_TYPE_ICO)
 self.SetIcon(self.app_icon)

 self.panel = wx.Panel(self)

 # 算法选择相关组件
 self.algorithm_sizer = wx.BoxSizer(wx.HORIZONTAL)
 self.algorithm_label = wx.StaticText(self.panel, label="选择算法:")
 self.algorithm_combo = wx.ComboBox(self.panel, choices=["Base64", "MD5", "AES", "DES"], style=wx.CB_READONLY)
 self.algorithm_combo.SetSelection(0)

 self.encrypt_button = wx.Button(self.panel, label="加密")
 self.decrypt_button = wx.Button(self.panel, label="解密")
 self.algorithm_sizer.Add(self.algorithm_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.algorithm_sizer.Add(self.algorithm_combo, 0,wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 10)
 self.algorithm_sizer.Add(self.encrypt_button, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 10)
 self.algorithm_sizer.Add(self.decrypt_button, 0, wx.ALIGN_CENTER_VERTICAL, 10)

 # 输入输出文本相关组件
 self.text_sizer = wx.BoxSizer(wx.HORIZONTAL)
 self.input_sizer = wx.BoxSizer(wx.VERTICAL)
 self.input_label = wx.StaticText(self.panel, label="输入:")
 self.input_text = wx.TextCtrl(self.panel,style = wx.TE_MULTILINE)
 self.input_sizer.Add(self.input_label, 0, wx.ALL, 5)
 self.input_sizer.Add(self.input_text, 1,wx.EXPAND|wx.ALL)

 self.output_sizer = wx.BoxSizer(wx.VERTICAL)
 self.output_label = wx.StaticText(self.panel, label="输出:")
 self.output_text = wx.TextCtrl(self.panel, style = wx.TE_READONLY | wx.TE_MULTILINE)
 self.output_sizer.Add(self.output_label, 0, wx.ALL, 5)
 self.output_sizer.Add(self.output_text, 1, wx.EXPAND|wx.ALL)
 self.text_sizer.Add(self.input_sizer,1, wx.EXPAND|wx.ALL, 10)
 self.text_sizer.Add(self.output_sizer,1, wx.EXPAND|wx.ALL, 10)

 # AES/DES加密参数相关组件
 self.mode_sizer = wx.BoxSizer(wx.HORIZONTAL)

 self.mode_label = wx.StaticText(self.panel, label="加密模式:")
 self.mode_combo = wx.ComboBox(self.panel, choices=["ECB", "CBC", "CFB", "OFB"], style=wx.CB_READONLY)
 self.mode_combo.SetSelection(0)

 self.padding_label = wx.StaticText(self.panel, label="填充:")
 self.padding_combo = wx.ComboBox(self.panel, choices=["pkcs7", "x923","iso7816"], style=wx.CB_READONLY)
 self.padding_combo.SetSelection(0)

 self.key_len_label = wx.StaticText(self.panel, label="秘钥长度:")
 self.key_len_combo = wx.ComboBox(self.panel, choices=["128", "192", "256"], style=wx.CB_READONLY)
 self.key_len_combo.SetSelection(0)

 self.key_label = wx.StaticText(self.panel, label="秘钥:")
 self.key_text = wx.TextCtrl(self.panel)

 self.iv_label = wx.StaticText(self.panel, label="偏移量:")
 self.iv_text = wx.TextCtrl(self.panel)

 self.out_mode_label = wx.StaticText(self.panel, label="输出格式:")
 self.out_mode_combo = wx.ComboBox(self.panel, choices=["hex"], style=wx.CB_READONLY)
 self.out_mode_combo.SetSelection(0)

 self.mode_sizer.Add(self.mode_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.mode_combo, 0, wx.ALIGN_CENTER_VERTICAL, 5)
 self.mode_sizer.Add(self.padding_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.padding_combo, 0, wx.ALIGN_CENTER_VERTICAL, 5)

 self.mode_sizer.Add(self.key_len_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.key_len_combo, 0, wx.ALIGN_CENTER_VERTICAL, 5)
 self.mode_sizer.Add(self.key_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.key_text, 0, wx.ALIGN_CENTER_VERTICAL, 5)
 self.mode_sizer.Add(self.iv_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.iv_text, 0, wx.ALIGN_CENTER_VERTICAL, 5)

 self.mode_sizer.Add(self.out_mode_label, 0, wx.ALIGN_CENTER_VERTICAL|wx.RIGHT, 5)
 self.mode_sizer.Add(self.out_mode_combo, 0, wx.ALIGN_CENTER_VERTICAL, 5)
 for item in self.mode_sizer.GetChildren():
 window = item.GetWindow()
 if window: # 如果item是一个窗口
 window.Hide()

 self.sizer = wx.BoxSizer(wx.VERTICAL)
 self.sizer.Add(self.algorithm_sizer, 0, wx.EXPAND|wx.ALL, 5)
 self.sizer.Add(self.mode_sizer, 0, wx.EXPAND|wx.ALL, 5)
 self.sizer.Add(self.text_sizer, 1, wx.ALL|wx.EXPAND, 5)

 self.panel.SetSizer(self.sizer)

 self.algorithm_combo.Bind(wx.EVT_COMBOBOX, self.on_algorithm_change)
 self.mode_combo.Bind(wx.EVT_COMBOBOX, self.on_mode_change)
 self.encrypt_button.Bind(wx.EVT_BUTTON, self.OnEncrypt)
 self.decrypt_button.Bind(wx.EVT_BUTTON, self.OnDecrypt)

 self.Show()


 def OnEncrypt(self, event):
 self.output_text.SetValue("")
 algorithm = self.algorithm_combo.GetValue()
 input_text = self.input_text.GetValue()

 # 根据选择的算法进行加密操作
 if algorithm == "Base64":
 encrypted_text = base64_encode(input_text)
 elif algorithm == "MD5":
 encrypted_text = md5_encode(input_text)
 elif algorithm == "AES":
 encrypt_mode = self.mode_combo.GetValue()
 key_text = self.key_text.GetValue()
 key_len = self.key_len_combo.GetValue()
 iv_text = self.iv_text.GetValue()
 padding= self.padding_combo.GetValue()
 encrypted_text = aes_encrypt(key_text.encode('utf-8'),iv_text.encode('utf-8'),input_text,int(int(key_len)/8),padding,encrypt_mode)
 elif algorithm == "RSA":
 encrypted_text = aes_encrypt(input_text)
 elif algorithm == "DES":
 encrypt_mode = self.mode_combo.GetValue()
 key_text = self.key_text.GetValue()
 key_len = self.key_len_combo.GetValue()
 iv_text = self.iv_text.GetValue()
 padding= self.padding_combo.GetValue()
 encrypted_text = des_encrypt(key_text.encode('utf-8'),iv_text.encode('utf-8'),input_text,padding,encrypt_mode)
 else:
 encrypted_text = "请选择算法"

 self.output_text.SetValue(encrypted_text)

 def OnDecrypt(self, event):
 self.output_text.SetValue("")
 algorithm = self.algorithm_combo.GetValue()
 input_text = self.input_text.GetValue()

 # 根据选择的算法进行解密操作
 if algorithm == "Base64":
 decrypted_text = base64_decode(input_text)
 elif algorithm == "MD5":
 decrypted_text = md5_decode(input_text)
 elif algorithm == "AES":
 key_text = self.key_text.GetValue()
 encrypt_mode = self.mode_combo.GetValue()
 key_len = self.key_len_combo.GetValue()
 iv_text = self.iv_text.GetValue()
 padding= self.padding_combo.GetValue()
 decrypted_text = aes_decrypt(key_text.encode('utf-8'),iv_text.encode('utf-8'),bytes.fromhex(input_text),int(int(key_len)/8),padding,encrypt_mode)
 elif algorithm == "RSA":
 decrypted_text = aes_decrypt(input_text)
 elif algorithm == "DES":
 key_text = self.key_text.GetValue()
 encrypt_mode = self.mode_combo.GetValue()
 key_len = self.key_len_combo.GetValue()
 iv_text = self.iv_text.GetValue()
 padding= self.padding_combo.GetValue()
 decrypted_text = des_decrypt(key_text.encode('utf-8'),iv_text.encode('utf-8'),bytes.fromhex(input_text),padding,encrypt_mode)
 else:
 decrypted_text = "请选择算法"
 self.output_text.SetValue(decrypted_text)

 def on_algorithm_change(self, event):
 algorithm = self.algorithm_combo.GetValue()
 if algorithm in ["AES","DES"]:
 for item in self.mode_sizer.GetChildren():
 window = item.GetWindow()
 if window: # 如果item是一个窗口
 window.Show()
 if self.mode_combo.GetValue() == "ECB":
 self.iv_label.Hide()
 self.iv_text.Hide()
 if algorithm == "DES":
 self.key_len_combo.Hide()
 self.key_len_label.Hide()
 elif algorithm == "RSA":
 for item in self.mode_sizer.GetChildren():
 window = item.GetWindow()
 if window: # 如果item是一个窗口
 window.Show()
 self.iv_label.Hide()
 self.iv_text.Hide()
 else:
 for item in self.mode_sizer.GetChildren():
 window = item.GetWindow()
 if window: # 如果item是一个窗口
 window.Hide()
 self.panel.Layout()

 def on_mode_change(self, event):
 mode = self.mode_combo.GetValue()
 if mode == "ECB":
 self.iv_label.Hide()
 self.iv_text.Hide()
 else:
 self.iv_label.Show()
 self.iv_text.Show()
 self.panel.Layout()

def base64_encode(text):
 # 将字符串编码为字节流
 byte_data = text.encode('utf-8')
 # 使用Base64进行编码
 encoded_data = b64encode(byte_data)
 # 将字节流转换为字符串
 encoded_text = encoded_data.decode('utf-8')
 return encoded_text

def base64_decode(encoded_text):
 # 将字符串转换为字节流
 byte_data = encoded_text.encode('utf-8')
 # 使用Base64进行解码
 decoded_data = b64decode(byte_data)
 # 将字节流转换为字符串
 decoded_text = decoded_data.decode('utf-8')
 return decoded_text

def md5_encode(text):
 """
 MD5 加密
 :param text: 待加密文本
 :return: 加密后的文本
 """
 m = md5()
 m.update(text.encode('utf-8'))
 return m.hexdigest()

def md5_decode(text):
 """
 MD5 解密
 :param text: 待解密文本
 :return: 解密后的文本
 """
 return "MD5 不支持解密"
def customize_pad(s,BLOCK_SIZE):
 return s + (BLOCK_SIZE - len(s) % BLOCK_SIZE) * bytes([0])

def aes_encrypt(key, iv, data, block_size,padding,encrypt_mode):

 if len(key) < block_size:
 key = customize_pad(key, block_size)
 else:
 key = key[:block_size]
 if len(iv) < AES.block_size:
 iv = customize_pad(iv,AES.block_size)
 else:
 iv = iv[:AES.block_size]

 # 创建AES加密器"ECB", "CBC", "CFB", "OFB"
 cipher = None
 if encrypt_mode == "ECB":
 cipher = AES.new(key, AES.MODE_ECB)
 elif encrypt_mode == "CBC":
 cipher = AES.new(key, AES.MODE_CBC, iv)
 elif encrypt_mode == "CFB":
 cipher = AES.new(key, AES.MODE_CFB, iv)
 elif encrypt_mode == "OFB":
 cipher = AES.new(key, AES.MODE_OFB, iv)

 # 对数据进行填充
 padded_data = pad(data.encode('utf-8'), AES.block_size, style=padding)

 # 加密数据
 ciphertext = cipher.encrypt(padded_data)

 return ciphertext.hex()


def aes_decrypt(key, iv,data, block_size,padding,encrypt_mode):
 if len(key) < block_size:
 key = customize_pad(key, block_size)
 else:
 key = key[:block_size]
 if len(iv) < AES.block_size:
 iv = customize_pad(iv,AES.block_size)
 else:
 iv = iv[:AES.block_size]
 # 创建AES解密器"ECB", "CBC", "CFB", "OFB"
 cipher = None
 if encrypt_mode == "ECB":
 cipher = AES.new(key, AES.MODE_ECB)
 elif encrypt_mode == "CBC":
 cipher = AES.new(key, AES.MODE_CBC, iv)
 elif encrypt_mode == "CFB":
 cipher = AES.new(key, AES.MODE_CFB, iv)
 elif encrypt_mode == "OFB":
 cipher = AES.new(key, AES.MODE_OFB, iv)

 # 解密数据
 decrypted_data = cipher.decrypt(data)

 # 去除填充
 unpadded_data = unpad(decrypted_data, AES.block_size, style=padding)

 return unpadded_data.decode('utf-8')

def des_encrypt(key, iv, data,padding,encrypt_mode):

 if len(key) < DES.block_size:
 key = customize_pad(key, DES.block_size)
 else:
 key = key[:DES.block_size]
 if len(iv) < DES.block_size:
 iv = customize_pad(iv,DES.block_size)
 else:
 iv = iv[:DES.block_size]

 # 创建DES加密器"ECB", "CBC", "CFB", "OFB"
 cipher = None
 if encrypt_mode == "ECB":
 cipher = DES.new(key, DES.MODE_ECB)
 elif encrypt_mode == "CBC":
 cipher = DES.new(key, DES.MODE_CBC, iv)
 elif encrypt_mode == "CFB":
 cipher = DES.new(key, DES.MODE_CFB, iv)
 elif encrypt_mode == "OFB":
 cipher = DES.new(key, DES.MODE_OFB, iv)

 # 对数据进行填充
 padded_data = pad(data.encode('utf-8'), DES.block_size, style=padding)

 # 加密数据
 ciphertext = cipher.encrypt(padded_data)

 return ciphertext.hex()


def des_decrypt(key, iv,data,padding,encrypt_mode):
 if len(key) < DES.block_size:
 key = customize_pad(key, DES.block_size)
 else:
 key = key[:DES.block_size]
 if len(iv) < DES.block_size:
 iv = customize_pad(iv,DES.block_size)
 else:
 iv = iv[:DES.block_size]

 # 创建DES加密器"ECB", "CBC", "CFB", "OFB"
 cipher = None
 if encrypt_mode == "ECB":
 cipher = DES.new(key, DES.MODE_ECB)
 elif encrypt_mode == "CBC":
 cipher = DES.new(key, DES.MODE_CBC, iv)
 elif encrypt_mode == "CFB":
 cipher = DES.new(key, DES.MODE_CFB, iv)
 elif encrypt_mode == "OFB":
 cipher = DES.new(key, DES.MODE_OFB, iv)

 # 解密数据
 decrypted_data = cipher.decrypt(data)

 # 去除填充
 unpadded_data = unpad(decrypted_data, DES.block_size, style=padding)

 return unpadded_data.decode('utf-8')

if __name__ == "__main__":
 app = wx.App()
 frame = EncryptionFrame()
 frame.Show()
 app.MainLoop()

对GPT4提问：使用wxPython 编写一个用于字符串加解密的GUI。生成大概的GUI代码，然后根据生成代码进一步提问进行修改
base64，md5,ase，des算法实现都可以让GPT4生成
网页上找一个在线加解密网站，进行对比测试，修正bug
测试过程中发现ase/des算法，加密模式选择CFB时，python版本加密串可以自行解密，但加密结果与网页版不一致，原因未知
使用pyinstaller.exe 打包
1. 推荐使用pyinstaller.exe -F -w -i favicon.ico main.py打包
2. icon文件与main.py放在同一层级
整体耗时1天，在编写日常软件时python和GPT搭配，可以极大提升效率

2023年总结

xiaoshame1209@gmail.com (阿松) — Mon, 08 Jan 2024 17:53:54 +0800

回顾23年印象深刻的事情寥寥无几，借此机会审视下23年的所作所为。

生活

总体上家庭生活趋于稳定，个人在老公/父亲/儿子角色上的表现难说及格，想的多做的少。
与老婆结婚5年相识7年，现在称呼变成了孩子爸爸，孩子妈妈，以老公身份做的事情越来越少，感受不到用心二字。
小朋友突然很黏自己，但不知如何做好一名父亲，常常感到不安与无力。
6月底母亲住院做了房颤手术，整个住院期间没有去医院陪伴实属不该，一晃已经是上有老下有小，心态上觉得自己还是个孩子，没有承担起应有的责任与义务。
个人身体开始报警，上半年做了个肾结石手术，年底体检又检出结石，同时心脏时不时有胸闷的感觉，不重视锻炼过于懒惰。
与哥哥的关系有所改善，情商依然有待提高。
10月搭建了个人博客，同步编写公众号和小红书，初心是赚点小钱，希望可以坚持下去
上班通勤时开始听播客，过往接触的知识实在是太少了，越来越感觉到能力上的差距和行动上的不足
完成了24年的家庭预算，和老婆开始真的记账，慢慢提高家庭财务的稳定性

工作

公司经营状况出现了一些问题，公司人人自危，希望公司能越来越好，但是又无计可施。
今年做了一些有意义的项目，在业务中应用广泛，但是个人的成长明显放缓，未来不知何去何从。
未来想创建属于自己的工作室，目前完全不知道从何处下手，如何拆解目标，如何做准备。

24年规划

读6本书（两个月一本，希望可以完成），提高情商为家庭提供更稳定的情绪价值。
通过锻炼体重降到130斤，改善身体，提高家庭的抗风险能力。
拆解创建工作室这一目标，踏出第一步，慢慢开始试错
全年理财收益4%

搭建个人书城

xiaoshame1209@gmail.com (阿松) — Tue, 02 Jan 2024 10:15:29 +0800

背景

最近准备看看《一只特立独行的猪》这本书，在找书过程中看到了很多有意思的开源项目和网站。考虑到有个服务器一直闲置，然后目的由找书变成了搭建个人的书城。

资源

网站搭建

talebook 支持epub,txt等格式，支持批量上传，搭建的网站简洁
copyBook 需要通过爬虫脚本将章节信息写入数据库，搭建的网站类似网络小说在线阅读网站
采用talebook 搭建网站，步骤很简单，按照说明文档进行部署就行。我采用docker进行的部署
1. docker-compose 安装
2. docker-compose.yml中/tmp/demo:/data调整为/data/talebook:/data
3. 部署指令：docker-compose -f docker-compose.yml up -d
闲置的机器上采用caddy2进行反向代理
1. talebook部署完成后，修改/etc/caddy/Caddyfile新增reverse_proxy 127.0.0.1:8080
2. 8080为docker-compose.yml中填写的端口
3. XXXX为对应的域名
4. 使用对应域名即可访问网站
通过爬虫获取不同线上书城的书籍，上传到服务器指定的目录/data/talebook/book/imports，在网页通过批量同步方式导入网站
手机上下载kybook APP添加opds地址，支持搜索，书籍下载后阅读

1
2
3
4
5
6
7


XXXX {
 handle_path /XXXX {
 reverse_proxy 127.0.0.1:28727
 }
 reverse_proxy 127.0.0.1:8080
}
import sites/*

爬虫常用技能

scrapy爬虫

整体爬虫代码框架完全复用copyBook这个项目,只需在bookspider/bookspider/spider中添加解析文件
添加解析xx.py文件，并修改name参数为xx，编写好想要解析代码
1. 修改copyBook\bookspider\start.py为cmdline.execute('scrapy crawl xx'.split()) 即可运行
yield scrapy.Request(bookUrl,meta={"categoryName":categoryName},callback=self.getBooks)
1. bookUrl为完整的地址,getBooks为回调函数
2. getBooks中response为请求返回数据，如果地址是文件地址，则response.body即文件数据
allowed_domains 中为允许访问的域名，根据爬虫需要进行添加

scrapy使用代理

参考网络文章，修改copyBook\bookspider\bookspider\settings.py未成功，直接在爬虫类中添加如下代码，验证代理通过

1
2


os.environ["HTTP_PROXY"] = "http://127.0.0.1:1081"
os.environ["HTTPS_PROXY"] = "http://127.0.0.1:1081"

python运行js

1
2
3
4
5
6
7


def decode(self,data):
 path = os.path.split(os.path.realpath(__file__))[0] + '/xxx.js'
 with open(path, 'r', encoding='UTF-8') as f:
 js_code = f.read()
 context = execjs.compile(js_code)
 result = context.call("decode", data)
 return result

安装PyExecJS，pip install PyExecJS
context.call中decode为xxx.js中函数名，data为函数需要的参数
PyExecJS的运行依赖node.js

xpath

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


def parse(self, response):
 authors_table = response.xpath("//article[@class='markdown-body']/table")
 authors_ul = response.xpath("//article[@class='markdown-body']/ul")
 for author in authors_table:
 author_name = ""
 author_url = ""
 if len(author.xpath("thead/tr/th/a/text()").extract()) == 0 or len(author.xpath("thead/tr/th/a/@href").extract()) == 0:
 continue
 else:
 author_name = author.xpath("thead/tr/th/a/text()").extract()[0]
 author_url = author.xpath("thead/tr/th/a/@href").extract()[0]
 author_url = author_url.replace("..","")
 yield scrapy.Request(self.base_url + author_url,meta={"authorName":author_name},callback=self.getBooks)

 authors_body = author.xpath("tbody/tr")
 for author_body in authors_body:
 author_body_name = ""
 author_body_url = ""
 if len(author_body.xpath("td/a/text()").extract()) == 0 or len(author_body.xpath("td/a/@href").extract()) == 0:
 continue
 else:
 author_body_name = author_body.xpath("td/a/text()").extract()[0]
 author_body_url = author_body.xpath("td/a/@href").extract()[0]
 author_body_url = author_body_url.replace("..","")
 yield scrapy.Request(self.base_url +author_body_url,meta={"authorName":author_body_name},callback=self.getBooks)

 for author in authors_ul:
 author_name = ""
 author_url = ""
 if len(author.xpath("li/a/text()").extract()) == 0 or len(author.xpath("li/a/@href").extract()) == 0:
 continue
 else:
 author_name = author.xpath("li/a/text()").extract()[0]
 author_url = author.xpath("li/a/@href").extract()[0]
 author_url = author_url.replace("..","")
 yield scrapy.Request(self.base_url + author_url,meta={"authorName":author_name},callback=self.getBooks)

len(author.xpath("thead/tr/th/a/text()").extract())通过长度判断是否有值
author_name = author.xpath("thead/tr/th/a/text()").extract()[0]取值
book.xpath("td[1]/text()").extract() 列表索引从1开始

总结

github 真是效率工具，需要的各种工具都可以找到
scrapy 只使用了常规的能力，代理池、增量更新等还未涉及

为博客Giscus评论增加通知机器人

xiaoshame1209@gmail.com (阿松) — Mon, 18 Dec 2023 15:34:23 +0800

背景

最近有人对博客内容进行了评论，未收到任何通知，过了几天才发现，不利于沟通交流。因工作中经常使用企业微信，所以准备给Giscus系统增加一个企业微信通知功能。

方案

google搜索资料,阅读为Giscus增加邮件通知功能，拉仇恨！webhook + 企业微信给同事做了个代码提交监听工具等文章
方案初步明确：基于企业微信和github的webhook功能，增加一个转发服务即可。
最近使用cloudflare的worker功能，用的非常开心。基于cloudflare的worker服务利用js可以很好完成消息处理和转发。
方案成型:利用github的webhook将新增的discussion和comment信息转发给cloudflare worker中的js服务，js服务对消息处理后通过webhook转发企业微信

实现

在github中找到项目huhuhang/github-wechat-bot，此项目提供了基于 Cloudflare Workers 部署 API，支持基于 GitHub Webhook 将操作消息推送给企业微信机器人。只用支持Discussions的监控就行。

按照项目的Readme，完成github/企业微信/cloudflare的设置，设置完成后在企业微信可以看到群机器人发送的ping请求。如果没有看到可以在github webhook页面，点击Recent Deliveries,可以重新发送。如果还没有看到可以执行检测设置是否正确。
github webhook页面点Edit，然后勾选监控"Discussion comments","Discussions"消息
增加Discussions消息js处理代码，主要通过打印日志进行调试，最终js代码如下
1. cloudflare在Logs->Real-time Logs->Begin log stream可以看到console.log打印的日志

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209


/**
 *
 * @param {JSON} response 处理JSON格式的响应
 * @returns
 */
async function gatherResponse(response) {
 const { headers } = response
 const contentType = headers.get("content-type") || ""
 if (contentType.includes("application/json")) {
 return JSON.stringify(await response.json())
 }
}

/**
 *
 * @param {String} botKey 企业微信机器人密钥
 * @param {String} content 需要发送的内容，支持 Markdown 格式
 * @returns
 */
async function sendMdMsg(botKey, content) {
 const baseUrl = "https://qyapi.weixin.qq.com/cgi-bin/webhook/"
 const url = `${baseUrl}send?key=${botKey}`
 const init = {
 method: "POST",
 headers: {
 "Content-Type": "application/json"
 },
 body: JSON.stringify({
 "msgtype": "markdown",
 "markdown": {
 "content": content
 }
 })
 }
 const response = await fetch(url, init)
 return await gatherResponse(response)
}

// 标记事件动作
const actionWords = {
 "opened": "<font color='info'>创建</font>",
 "closed": "<font color='warning'>关闭</font>",
 "deleted": "<font color='info'>删除</font>",
 "reopened": "<font color='info'>重新发起</font>",
 "edited": "<font color='info'>更新</font>",
 "merge": "<font color='warning'>合并</font>",
 "created": "<font color='info'>创建</font>",
 "requested": "<font color='info'>请求</font>",
 "completed": "<font color='warning'>完成</font>",
 "synchronize": "<font color='info'>同步更新</font>"
};

/**
 * 处理 Ping 请求
 * @param {String} botKey 企业微信机器人密钥
 * @param {JSON} reqBody GitHub 传递的请求体
 * @returns
 */
async function handlePing(botKey, reqBody) {
 const { hook, repository, organization } = reqBody;
 // 判定是组织还是仓库配置 Webhook
 if (hook.type == "Organization") {
 var mdMsg = "成功收到了来自 Github 的 Ping 请求，组织: " + organization.login;
 } else {
 var mdMsg = "成功收到了来自 Github 的 Ping 请求，仓库地址: " + repository.html_url;
 }
 return await sendMdMsg(botKey, mdMsg);
}

/**
 * 处理 PR 请求
 * @param {String} botKey 企业微信机器人密钥
 * @param {JSON} reqBody GitHub 传递的请求体
 * @returns
 */
async function handlePR(botKey, reqBody) {
 const { action, sender, pull_request, repository } = reqBody;
 if (sender.type !== "Bot") {
 if (action == "opened" || action == "reopened") {
 const mdMsg = `${sender.login} 在 [${repository.full_name}](${repository.html_url}) ${actionWords[action]}了一个 PR:
 > 分支: ${pull_request.head.ref} → ${pull_request.base.ref}
 > 名称: [${pull_request.title}](${pull_request.html_url}) #${pull_request.number}
 > 修改: ${pull_request.changed_files} 个文件 (<font color="info">+ ${pull_request.additions}</font> <font color="warning">- ${pull_request.deletions}</font> 行修改)`;
 return await sendMdMsg(botKey, mdMsg);
 }
 else if (action == "closed" && pull_request.merged) {
 const mdMsg = `${sender.login} 在 [${repository.full_name}](${repository.html_url}) ${actionWords[action]}了一个 PR:
 > 分支: ${pull_request.head.ref} → ${pull_request.base.ref}
 > 名称: [${pull_request.title}](${pull_request.html_url}) #${pull_request.number}
 > 修改: ${pull_request.changed_files} 个文件 (<font color="info">+ ${pull_request.additions}</font> <font color="warning">- ${pull_request.deletions}</font> 行修改)
 > 发起: ${pull_request.user.login} (${pull_request.created_at})
 > 审核: ${pull_request.merged_by.login} (${pull_request.review_comments} 条意见)`;
 return await sendMdMsg(botKey, mdMsg);
 }
 else {
 return `${action} 操作暂时不会被处理`;
 }
 } else {
 return `${sender.type} 操作暂时不会被处理`;
 }
}

/**
 * 处理 Issues 请求
 * @param {String} botKey 企业微信机器人密钥
 * @param {JSON} reqBody GitHub 传递的请求体
 * @returns
 */
async function handleIssue(botKey, reqBody) {
 const { action, sender, issue, repository } = reqBody;
 if (action == "opened" || action == "closed" || action == "reopened") {
 const mdMsg = `${sender.login} 在 [${repository.full_name}](${repository.html_url}) ${actionWords[action]}了一个 Issues:
 > 名称: [${issue.title}](${issue.html_url})`;
 return await sendMdMsg(botKey, mdMsg);
 }
 else {
 return `${action} 操作暂时不会被处理`;
 }
}

/**
 * 处理 discussion_comment 请求
 * @param {String} botKey 企业微信机器人密钥
 * @param {JSON} reqBody GitHub 传递的请求体
 * @returns
 */
async function handle_discussion_comment(botKey, reqBody) {
 const { action, sender, comment, discussion } = reqBody;
 if (action == "created" || action == "deleted" || action == "edited") {
 const mdMsg = `${sender.login} 在 ${discussion.title}中${actionWords[action]}评论:${comment.body}`;
 return await sendMdMsg(botKey, mdMsg);
 } else {
 return `${action} 操作暂时不会被处理`;
 }
}

/**
 * 处理 Action 错误请求
 * @param {String} botKey 企业微信机器人密钥
 * @param {JSON} reqBody GitHub 传递的请求体
 * @returns
 */
async function handleAction(botKey, reqBody) {
 const { action, sender, check_run, repository } = reqBody;
 // 如果状态完成且执行失败，则发送错误信息
 if (action == "completed" && check_run.conclusion == "failure") {
 const mdMsg = `${sender.login} 在 [${repository.full_name}](${repository.html_url}) 中触发的 GitHub Action 执行<font color="warning">失败</font>了:
 > 查看状态: [${check_run.name}](${check_run.html_url})
 > 错误信息: ${check_run.output.summary}`;
 return await sendMdMsg(botKey, mdMsg);
 }
 else {
 return `${action}(${check_run.conclusion}) 暂时不会被处理`;
 }
}

/**
 *
 * @param {JSON} request GitHub 传递的请求
 * @returns
 */
async function handleRequest(request) {
 const { searchParams } = new URL(request.url)
 // 从 URL 获取传入的机器人密钥
 let botKey = searchParams.get('key')
 // 从请求中获取消息内容
 var reqBody = await gatherResponse(request)
 // 解析 GitHub 传递的消息类型
 const gitEvent = request.headers.get("X-GitHub-Event")
 console.log(`收到了一个 ${gitEvent} 事件`)
 switch (gitEvent) {
 // 如果是 Ping 事件
 case "ping":
 var results = await handlePing(botKey, JSON.parse(reqBody));
 break;
 // 如果是 PR 事件
 case "pull_request":
 var results = await handlePR(botKey, JSON.parse(reqBody));
 break;
 // 如果是 Issues 事件
 case "issues":
 var results = await handleIssue(botKey, JSON.parse(reqBody));
 break;
 // 如果是 Action 事件
 case "check_run":
 var results = await handleAction(botKey, JSON.parse(reqBody));
 break;
 // 如果是 discussion_comment 事件
 case "discussion_comment":
 var results = await handle_discussion_comment(botKey,JSON.parse(reqBody));
 break;
 // 其他事件暂不支持
 default:
 var results = `暂不支持处理 ${gitEvent} 事件`;
 break;
 }
 return new Response(results)
}

addEventListener("fetch", event => {
 const { request } = event
 // 仅处理 POST 请求
 if (request.method === "POST") {
 return event.respondWith(handleRequest(request))
 }
 else {
 return event.respondWith(new Response("使用方法请参考文档: https://github.com/huhuhang/github-wechat-bot"))
 }
})

总结

下一阶段要学习下JS，结合cloudflare worker可以做出一些有意思的工具出来
以后看到有意思的产品，在脑海中有意识锻炼下如何通过不同的能力完成对应服务的搭建
最近工作软件切换成飞书，调整hook地址和sendMdMsg中的消息参数后，通知消息切换到飞书机器人

Hugo使用小结

xiaoshame1209@gmail.com (阿松) — Sat, 09 Dec 2023 11:11:06 +0800

背景

使用hugo创建博客接近2个月，一直走在折腾样式的路上，随着不停的折腾，建立了对hugo初步的认识。本文主要用于梳理个人对hugo和前端知识的理解，同时希望能帮助对hugo和前端知识不熟悉的人，建立相关的概念。

内容仅供参考，本人对前端知识了解不多，部分内容的理解必然存在问题。如果您发现了问题，欢迎在评论区留言指正。

基础知识

首先建立hugo的工作原理，了解hugo的目录结构、shortcode使用、html的基础信息方便自定义修改。推荐阅读资料hugo官方文档

hugo工作原理

hugo工作原理：我的理解是按照指定的规则生成html文件。
- 主题就是已经写好的转换规则，基于主题的自定义，就是修改转化规则
- 文章是将markdown文件，按照主题预设的规则转换成html
- 页面是将主题预设的规则和自定义规则，拼凑成html
- 自定义规则一般不会直接修改主题，而是在博客目录的assets、layouts、static/js中添加内容进行修改
hugo 目录结构
- assets 用于存放scss文件，主要用于样式的渲染
- content 用于存放.md文件，主要是文章内容和自定义页面
- data 存放一些数据文件，自定义的结构化数据，比如JSON、YAML或TOML格式的文件。
- layouts用来存放html元素文件，在页面指定的位置添加元素内容，定义页面布局
- static 不需要经过处理的静态文件，比如图片、样式表和脚本文件。
  - js 用于放js文件，用于动态的修改展示的信息
- themes 目录包含自定义主题的文件，如果你使用了自定义主题的话。
- hugo.toml 是网站的配置文件，用于定义网站的各种设置。
shortcode 按照模板在指定位置插入数据，常用语句如下
- {{ .Get "class" }},取key为class的值
- {{ .Inner }},取shortcode标签对之间的内容
- {{ with .Get "class" }} class="{{ . }}"{{ end }}，如果存在key为class 输出class="对应值"，否则什么都不输出
- {{ if (.Get "title")}} class="xxx" {{else}} class="yyy" {{ end }},如果存在key为title,class为"xxx"否则为"yyy"
- {{ .Get 0 }},按位置访问参数,取第一个参数的值
- Hugo Shortcodes 示例
- 自定义 Hugo Shortcodes 简码

HTML

html内容基本可以划分为以下几个部分:
- content: 这不是HTML标准元素，但可以是自定义元素。在Web组件中，可能会使用标签来插入组件内的内容。
- footer: 通常用于网页底部，放置版权信息、联系方式、链接等内容。
- head: 在HTML文档中表示头部部分，包含了页面的元数据和链接引用等信息，如标题、样式表链接、脚本引用等。
- header: 通常用于网页顶部，包含网站的标题、导航栏等内容。
- post-meta: 这同样不是HTML标准元素，可以是自定义元素。在博客或新闻网站中，可能会使用标签来展示文章的元信息，比如作者、发布日期等。
- script: 用于在网页中嵌入JavaScript代码的标签，可以用于引入外部脚本或直接书写JavaScript代码。
- 此处内容详情由GPT3生成。

案例

评论使用Giscus

meme主题最新版本已支持Giscus，在hugo.toml中添加配置即可使用。实现方案与本文内容类似

具体操作流程参考文章安裝Giscus作為Hugo網站的留言板，支援轉換Gitalk/Utterances的留言主要操作点如下：

在github中启用Giscus功能
在\layouts\partials\comments中添加giscus.html文件，粘贴Giscus官网中获取的Giscus代码
复制themes\meme\layouts\partials\pages\post.html放到\layouts\partials\pages\中
修改\layouts\partials\pages\post.html 中{{ partial "components/comments.html" . }}为{{ partial "comments/giscus.html" . }}
评论无法动态切换成暗黑模式，修改\themes\meme\assets\js\dark-mode.js中changeMode函数，增加下面代码

1
2
3
4
5
6
7
8
9


 const giscusIframe = document.querySelector('.giscus-frame');
 if (giscusIframe) {
 // 检测当前主题是否为暗黑模式
 if (isDark) {
 giscusIframe.src = giscusIframe.src.replace('theme=light', 'theme=dark');
 } else {
 giscusIframe.src = giscusIframe.src.replace('theme=dark', 'theme=light');
 }
 }

Lunr搜索支持中文

整体修复流程如下：

lunr搜索官方不支持中文,google 找到了开源lurn扩展项目lunr-languages
在cdn.jsdelivr.net找到扩展项目对应lunr-zh.js地址，修改hugo.toml中lunr_lang参数lunr_lang="/npm/lunr-languages-zh@1.4.0/lunr.zh.js"，在网页中测试不支持中文，查看网页html源码发现未引用lunr-zh.js
阅读主题源码是blog\themes\meme\layouts\partials\third-party\lunr-search.html中if in $supported $lang 过滤zh导致，在$supported中添加"zh",查阅页面html发现lunr-zh.js已引用，测试搜索仍然不支持中文，同时网页控制台报错未捕获的类型错误：nodejieba.cut 不是函数
查看lunr-languages issues提示原因是需要node运行，同时贴出了解决项目方案mochi-cards/lunr-languages
修复版本的lurn-zh.js无法通过在线地址方式导入，调整为本地导入。下载mochi-cards/lunr-languages项目中的lunr-zh.js文件放入/static/js中
在layouts/partials/custom创建script.html文件，填入<script src="/js/lunr.zh.js" defer></script>
修改lunr-search.html在线导入代码，{{- $scripts = union $scripts (slice $srcLang) -}}调整为{{- if eq $lang "zh" -}}{{- else -}}{{- $scripts = union $scripts (slice $srcLang) -}}{{- end -}}
运行测试控制台提示'Lunr is not present. Please include / require Lunr before this script.'，查看lurn-zh.js源码是 'undefined' === typeof lunr导致
因对前端知识不了解，只能通过控制变量进行测试定位问题。下载lurn-de.js文件，将引入lurn-zh.js文件调整为引入lurn-de.js文件，运行无报错。对比两个文件源码，lurn-zh.js中(this, function(Segment) { 比lurn-de.js多Segment参数，确定Segment未使用删除Segment参数，再次测试运行正常
在cdn.jsdelivr.net中找到支持中文的lurn.js,修改hugo.toml中lunr = "/npm/lunr-zh-cn@0.7.1/lunr.min.js",测试后对中文的搜索支持的更好。

整个修复流程使我对hugo的结构有了更一步的理解，同时也对meme主题有了更深的认知。

创建说说页面

一直想在博客中增加说说功能，在对shortcode的使用慢慢熟悉后，开始动手操作将主题hugo-theme-moments的样式集成到博客中。

解决思路：新建博客使用hugo-theme-moments主题，分析博客网页说说内容部分的html元素，抽象为shortcode。将说说部分对应的css、js文件集成博客中，最终使用shortcode发说说。

hugo-theme-moments主题生成的网页中使用到的css和js信息：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


<script type="text/javascript" src="https://unpkg.com/jquery@3.3.1/dist/jquery.min.js"></script>
<script type="text/javascript" src="https://cdn.bootcss.com/jqueryui/1.12.1/jquery-ui.min.js"></script>
<script type="text/javascript" src="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.umd.js"></script>
<link
 rel="stylesheet"
 href="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.css"
/>
<link
 rel="stylesheet"
 href="https://unpkg.com/purecss@2.0.6/build/grids-min.css"
/>
<link
 rel="stylesheet"
 href="https://unpkg.com/purecss@2.0.6/build/grids-responsive-min.css"
/>
<link
 rel="stylesheet"
 href="https://farseash.github.io/demo-hugo-theme-moments/style-refractored.min.f763c606ea7f621cac55d5419e71c55d50792a0b67ae61e88a8de81fa2cc2b3d.css"
/>
<link
 rel="stylesheet"
 href="https://cdn.jsdelivr.net/npm/@fancyapps/ui/dist/fancybox.css"
/>

抽象后的shortcode：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40


// 文本内容shortcode
<div class="moment-row">
 <div class="pure-g">
 <div class="pure-u-1 pure-u-sm-1-3">
 <div class="time">
 <div class="month-day">{{.Get "date"}}</div>
 <div class="year">{{.Get "year"}}</div>
 </div>
 </div>
 <div class="pure-u-1 pure-u-sm-2-3">
 <div class="moment-content">
 <div style="padding-left: 5px; padding-right: 5px;">
 <div class="context">
 <p>{{.Get "content"}}</p>
 </div>
 <div class="pic-grid" style="width: 53%">
 <div class="pure-g">
 {{ .Inner }}
 </div>
 </div>
 <div class="share-link-block">
 {{with .Get "url"}}<p class="url"><a href = {{ . }}>{{ . }}</a></p>{{end}}
 </div>
 </div>
 <hr>
 </div>
 </div>
 </div>
</div>

// 图片内容shortcode
<div class="pure-u-1-2">
 <div class="add-padding">
 <div class="img-container">
 <a data-src="{{ .Get "url" }}" data-fancybox="gallery" {{ with .Get "caption" }}data-caption="{{ . }}"{{end}}>
 <img src="{{ .Get "url" }}" alt="pictures" />
 </a>
 </div>
 </div>
</div>

将用到的css信息下载下来放到assets/scss中，文件尾缀修改为scss
layouts/partials/custom/script.html中增加上面贴出的js文件
layouts/shortcodes中新建moment.html和moment_image.html，将上面shortcode复制进去
为了只在说说页面使用相关的scss文件，在layouts/shortcodes中新建moments.html
新建页面和添加菜单操作不赘述，发说说使用如下语句即可

 1
 2
 3
 4
 5
 6
 7
 8
 9
10


{{< moments >}}

{{< moment year = "2023" date = "12.06" content = "更换博客主题，折腾博客比写文章快乐!" >}}
{{< /moment >}}

{{< moment year = "2023" date = "12.05" content = "第一条" >}}
{{< moment_image url = "/moments/laugh.png" >}}
{{< /moment >}}

{{< moments >}}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


//moments.html内容
{{ $options := (dict "targetPath" "/css/style-refractored.css" "outputStyle" "compressed" "enableSourceMap" true) }}
{{ $style := resources.Get "/scss/style-refractored.scss" | css.Sass $options }}

{{ $options1 := (dict "targetPath" "/css/grids-min.css" "outputStyle" "compressed" "enableSourceMap" true) }}
{{ $style1 := resources.Get "/scss/grids-min.scss" | css.Sass $options1 }}

{{ $options2 := (dict "targetPath" "/css/grids-responsive-min.css" "outputStyle" "compressed" "enableSourceMap" true) }}
{{ $style2 := resources.Get "/scss/grids-responsive-min.scss" | css.Sass $options2 }}

{{ $options3 := (dict "targetPath" "/css/fancybox.css" "outputStyle" "compressed" "enableSourceMap" true) }}
{{ $style3 := resources.Get "/scss/fancybox.scss" | css.Sass $options3 }}

<link rel="stylesheet" href="{{ $style.RelPermalink }}">
<link rel="stylesheet" href="{{ $style1.RelPermalink }}">
<link rel="stylesheet" href="{{ $style2.RelPermalink }}">
<link rel="stylesheet" href="{{ $style3.RelPermalink }}">

{{ .Get 0 }}
{{ range split .Inner "\n" }}
{{ $line := replace . " " " " }}
{{ printf "%s" $line | safeHTML }}
{{ end }}

bug修复

手机上搜索框不展示
1. 页面上调试发现搜索框与其他菜单class值不同，搜索为class="menu-item search-item"，与其他菜单为class="menu-item"
2. 手动删除search-item显示正常，在代码中搜素search-item，删除menu.html中search-item即可修复此问题
说说页面无暗黑模式
1. 将\assets\scss\style-refractored.scss中color相关的代码删除，复用主题的色彩

总结

本文最想告知读者和自我总结的是:解决问题的思维方式。希望读者可以感受到这点，也希望本文可以帮助读者解决一些问题。
间隔1个月后再次阅读本文，整体文章内容偏多,结构不清晰，表述能力需要加强

懒人必备，自动发小红书

xiaoshame1209@gmail.com (阿松) — Fri, 24 Nov 2023 13:53:21 +0800

背景

日常写文章同步公众号已经有自动化工具辅助，但是发布到小红书还是需要经过重新编辑非常不方便。前段时间听播客的时候，听到一个方案是将html转换成图片，然后在小红书上只发布图片，解决了重新编辑和文章字数限制。目前适合我的脚本已编写完成，记录下整体流程。

方案

在同步公众号的脚本中将markdown文件转换成了html文件，利用selenium加载html文件全文截图，然后按照标题坐标将不同段落转换成图片。之后再借助selenium模拟点击小红书发布流程，实现全自动化文章发布。
首先在github上查找是否有合适的脚本，找到一个自动发布小红书视频脚本

html转图片

最开始试用了很多库例如html2image,imgkit,pyppeteer等，因为可扩展性和不熟悉放弃，最终选用了PIL和selenium
最初采用设置窗口宽高方案截图，但是无法便捷的裁剪指定区域。调整为对整个文章进行截图，然后根据标题左上角的坐标确定裁剪区域
阅读webdriver.py API发现可以使用set_window_rect设置截图的坐标实现相应功能，读者可自行实验

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60


import os.path

from PIL import Image
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def html_to_png(html_path,out_path):
 # options = webdriver.ChromeOptions()
 options = webdriver.EdgeOptions()
 options.add_argument('--headless') # 不知为啥只能在无头模式执行才能截全屏
 options.add_argument('--disable-gpu')
 driver = webdriver.Edge(options=options)
 # driver = webdriver.Chrome(options=options)
 driver.maximize_window()

 try:
 driver.get(html_path)
 sections = driver.find_elements(By.XPATH, "//h3 | //h4")
 h3_height_list = []
 for section in sections:
 # 使用JavaScript执行脚本来获取章节元素在网页中的位置信息
 location = driver.execute_script("return arguments[0].getBoundingClientRect();", section)
 h3_height_list.append((location['left'],location['top']))

 index = 0
 size = []
 scroll_width = driver.execute_script('return document.body.parentNode.scrollWidth')
 scroll_height = driver.execute_script('return document.body.parentNode.scrollHeight')
 driver.set_window_size(scroll_width, scroll_height)
 driver.get_screenshot_as_file(out_path + "screenshot.png")
 for item in h3_height_list:
 if index > 0:
 screenshot = Image.open(out_path + "screenshot.png")
 # 裁剪出感兴趣的位置
 cropped_image = screenshot.crop((0, int(size[1]), scroll_width, int(item[1])))
 # 保存裁剪后的图片
 cropped_image.save(out_path + "%d.png" % index)
 size = item
 index += 1
 cropped_image = screenshot.crop((0, int(size[1]), scroll_width, scroll_height))
 # 保存裁剪后的图片
 cropped_image.save(out_path + "%d.png" % index)
 os.remove(out_path + "screenshot.png")
 driver.quit()
 except Exception as e:
 print(e)



if __name__ == '__main__':
 _HTML = 'D:\\workspace\\script\\push_to_gzh\\article\\out\\index_cp_article_wx.html'
 _OUTFILE = 'D:\\workspace\\script\\push_to_xiaohongshu\\out\\'

 # 首先创建一个保存截图的文件夹
 if not os.path.isdir(_OUTFILE):
 # 判断文件夹是否存在，如果不存在就创建一个
 os.makedirs(_OUTFILE)
 # 将html转换成png
 html_to_png("file:///"+_HTML,_OUTFILE)

自动发图文

自动发布小红书视频脚本功能很完善，微微调整就可以使用
**vidoe.send_keys(mp4[0])**中mp4[0]调整为图片地址
for label in ["#虐文","#知乎文","#小说推荐","#知乎小说","#爽文"]: 标签通过参数传递
get_publish_date 函数简化，不像定时发布可注释相应代码
安装selenium后，第一次执行webdriver.EdgeOptions()时会下载相应驱动，耗时会有点久
自动发布视频函数未经测试，如有bug可自行调整

 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204


import json
import os
import time
import traceback
from datetime import datetime,timedelta

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

XIAOHONGSHU_COOKING = r'D:\workspace\script\push_to_xiaohongshu\out\config.json'

def get_driver():
 options = webdriver.EdgeOptions()
 # options.add_argument('--headless') # 不知为啥只能在无头模式执行才能截全屏
 # options.add_argument('--disable-gpu')
 driver = webdriver.Edge(options=options)
 driver.maximize_window()

 return driver

def xiaohongshu_login(driver):
 if (os.path.exists(XIAOHONGSHU_COOKING)):
 print("cookies存在")
 with open(XIAOHONGSHU_COOKING) as f:
 cookies = json.loads(f.read())
 driver.get("https://creator.xiaohongshu.com/creator/post")
 driver.implicitly_wait(10)
 driver.delete_all_cookies()
 time.sleep(4)
 # 遍历cook
 print("加载cookie")
 for cookie in cookies:
 if 'expiry' in cookie:
 del cookie["expiry"]
 # 添加cook
 driver.add_cookie(cookie)
 # 刷新
 print("开始刷新")
 driver.refresh()
 driver.get("https://creator.xiaohongshu.com/publish/publish")
 time.sleep(5)
 else:
 print("cookies不存在")
 driver.get('https://creator.xiaohongshu.com/creator/post')
 # driver.find_element(
 # "xpath", '//*[@placeholder="请输入手机号"]').send_keys("")
 # # driver.find_element(
 # # "xpath", '//*[@placeholder="请输入密码"]').send_keys("")
 # driver.find_element("xpath", '//button[text()="登录"]').click()
 print("等待登录")
 time.sleep(30)
 print("登录完毕")
 cookies = driver.get_cookies()
 with open(XIAOHONGSHU_COOKING, 'w') as f:
 f.write(json.dumps(cookies))
 print(cookies)
 time.sleep(1)

def get_publish_date():
 tomorrow = now = datetime.today()
 if(now.hour > 20):
 tomorrow = now + timedelta(days = 1)
 tomorrow = tomorrow.replace(hour=20)
 else:
 tomorrow = tomorrow.replace(hour=20,minute=0)
 return tomorrow.strftime("%Y-%m-%d %H:%M")

def publish_xiaohongshu_video(driver, mp4, index):
 driver.find_element("xpath", '//*[text()="发布笔记"]').click()
 print("开始上传文件", mp4[0])
 time.sleep(3)
 # ### 上传视频
 vidoe = driver.find_element("xpath", '//input[@type="file"]')
 vidoe.send_keys(mp4[0])

 # 填写标题
 content = mp4[1].replace('.mp4', '')
 driver.find_element(
 "xpath", '//*[@placeholder="填写标题，可能会有更多赞哦～"]').send_keys(content)

 time.sleep(1)
 # 填写描述
 content_clink = driver.find_element(
 "xpath", '//*[@placeholder="填写更全面的描述信息，让更多的人看到你吧！"]')
 content_clink.send_keys(content)

 time.sleep(3)
 # #虐文推荐 #知乎小说 #知乎文
 for label in ["#虐文","#知乎文","#小说推荐","#知乎小说","#爽文"]:
 content_clink.send_keys(label)
 time.sleep(1)
 data_indexs = driver.find_elements(
 "class name", "publish-topic-item")
 try:
 for data_index in data_indexs:
 if(label in data_index.text):
 print("点击标签",label)
 data_index.click()
 break
 except Exception:
 traceback.print_exc()
 time.sleep(1)

 # 定时发布
 dingshi = driver.find_elements(
 "xpath", '//*[@class="css-1v54vzp"]')
 time.sleep(4)
 print("点击定时发布")
 dingshi[3].click()
 time.sleep(5)
 input_data = driver.find_element("xpath", '//*[@placeholder="请选择日期"]')
 input_data.send_keys(Keys.CONTROL,'a') #全选
 # input_data.send_keys(Keys.DELETE)
 input_data.send_keys(get_publish_date())
 time.sleep(3)
 # driver.find_element("xpath", '//*[text()="确定"]').click()

 # 等待视频上传完成
 while True:
 time.sleep(10)
 try:
 driver.find_element("xpath",'//*[@id="publish-container"]/div/div[2]/div[2]/div[6]/div/div/div[1]//*[contains(text(),"重新上传")]')
 break
 except Exception as e:
 traceback.print_exc()
 print("视频还在上传中···")

 print("视频已上传完成！")
 time.sleep(3)
 # 发布
 driver.find_element("xpath", '//*[text()="发布"]').click()
 print("视频发布完成！")
 time.sleep(10)

def publish_xiaohongshu_image(driver, image_path,title,describe,keywords):
 time.sleep(3)
 driver.find_element("xpath", '//*[text()="发布笔记"]').click()
 print("开始上传图片")
 time.sleep(3)
 # ### 上传图片
 driver.find_element("xpath", '//*[text()="上传图文"]').click()
 push_file = driver.find_element("xpath", '//input[@type="file"]')
 file_names = os.listdir(image_path)
 # 打印所有文件名
 for file_name in file_names:
 push_file.send_keys(image_path + "\\"+file_name)

 # 填写标题
 driver.find_element(
 "xpath", '//*[@placeholder="填写标题，可能会有更多赞哦～"]').send_keys(title)

 time.sleep(1)
 # 填写描述
 content_clink = driver.find_element(
 "xpath", '//*[@placeholder="填写更全面的描述信息，让更多的人看到你吧！"]')
 content_clink.send_keys(describe)

 time.sleep(3)
 # #虐文推荐 #知乎小说 #知乎文
 for label in keywords:
 content_clink.send_keys(label)
 time.sleep(1)
 data_indexs = driver.find_elements(
 "class name", "publish-topic-item")
 try:
 for data_index in data_indexs:
 if(label in data_index.text):
 print("点击标签",label)
 data_index.click()
 break
 except Exception:
 traceback.print_exc()
 time.sleep(1)

 # 定时发布
 dingshi = driver.find_elements(
 "xpath", '//*[@class="css-1v54vzp"]')
 time.sleep(4)
 print("点击定时发布")
 dingshi[3].click()
 time.sleep(5)
 input_data = driver.find_element("xpath", '//*[@placeholder="请选择日期"]')
 input_data.send_keys(Keys.CONTROL,'a') #全选
 # input_data.send_keys(Keys.DELETE)
 input_data.send_keys(get_publish_date())
 time.sleep(3)
 # driver.find_element("xpath", '//*[text()="确定"]').click()

 # 发布
 driver.find_element("xpath", '//*[text()="发布"]').click()
 print("图文发布完成！")
 time.sleep(10)

if __name__ == "__main__":
 try:
 title = "测试下"
 describe = ['#python','#礼物']
 driver = get_driver()
 xiaohongshu_login(driver=driver)
 # publish_xiaohongshu_video(driver, r"D:\workspace\script\push_to_xiaohongshu\out\9.png", 1)
 publish_xiaohongshu_image(driver, r"D:\workspace\script\push_to_xiaohongshu\out", title,describe)
 finally:
 driver.quit()

总结

selenium是个非常强大的库，可以实现很多自动化的工作。第一次使用被惊艳到，这也是代码的迷人之处，期待后续使用selenium做的小工具。

写个视频下载器送给老婆

xiaoshame1209@gmail.com (阿松) — Tue, 21 Nov 2023 15:09:07 +0800

背景

临近老婆生日思考该送什么，经常看到别人自己写个软件送个老婆，程序员的浪漫永远这么的耿直。

整体流程

确定方向

日常老婆经常让我帮她下载B站和好看视频的内容，同时老婆对计算机一窍不通，只会点点点。最终确定给老婆写个支持下载B站和好看视频带GUI的软件。

确定方案

本人日常有使用yt-dlp下载youtube和b站视频，就这样敲定了下载的核心
本人很少使用python写gui程序，因而需要找一个yt-dlp的gui开源项目，减少开发难度
1. 经过寻找开源项目youtube-dl-gui很适合，虽然已经停止维护6年
好看视频直接爬取网页中视频链接，然后对视频链接进行下载

youtube-dl-gui改造

主要调整为将python2调整为python3,根据调试报错进行针对性修正，修正过程不赘述
1. 可以使用代码对比工具自行对比yt-dlp-gui与youtube-dl-gui
将下载器调整为yt-dlp.exe,参数YOUTUBEDL_BIN最初调整为本地yt-dlp.exe目录，因为实时下载功能未完成，将yt-dlp.exe放到/data/exe/目录下方便后续打包，同时YOUTUBEDL_BIN也调整为获取运行目录加上相对路径
1 2 3 4

YOUTUBEDL_BIN = os.getcwd() if os.name == 'nt': YOUTUBEDL_BIN += '/_internal/exe/yt-dlp.exe'

python打包成exe

主要参考PyInstaller打包Python项目详解

操作流程

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75


# 1.执行命令，__main__.py为程序入口文件

pyinstall -D __main__.py

# 2.删除生成的bulid和dist文件夹,仅保留__main__.spec文件

# 3.修改__main__.spec文件,素材和yt-dlp.exe加入打包
# -*- mode: python ; coding: utf-8 -*-
a = Analysis(
 ['__main__.py'],
 pathex=['D\\workspace\\youtube_dl_gui'],
 binaries=[('D:\\workspace\\youtube_dl_gui\\data\\exe\\yt-dlp.exe','exe')],
 datas=[('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\128x128\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\16x16\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\256x256\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\32x32\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\48x48\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\icons\\hicolor\\64x64\\apps\\youtube-dl-gui.png','data\\icons\\hicolor'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\arrow_down_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\arrow_up_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\camera_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\cloud_download_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\delete_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\folder_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\icons-license','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\pause_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\play_arrow_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\reload_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\settings_20px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\stop_32px.png','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\youtube-dl-gui.ico','data\\pixmaps'),
 ('D:\\workspace\\youtube_dl_gui\\data\\pixmaps\\youtube-dl-gui.png','data\\pixmaps')],
 hiddenimports=[],
 hookspath=[],
 hooksconfig={},
 runtime_hooks=[],
 excludes=[],
 noarchive=False,
)
pyz = PYZ(a.pure)

exe = EXE(
 pyz,
 a.scripts,
 [],
 exclude_binaries=True,
 name='youtube_dl_gui',
 debug=False,
 bootloader_ignore_signals=False,
 strip=False,
 upx=True,
 console=False,
 disable_windowed_traceback=False,
 argv_emulation=False,
 target_arch=None,
 codesign_identity=None,
 entitlements_file=None,
)
coll = COLLECT(
 exe,
 a.binaries,
 a.datas,
 strip=False,
 upx=True,
 upx_exclude=[],
 name='__main__',
)

# 4.执行命令

pyinstaller __main__.spec

# 5.去dist文件夹下找youtube_dl_gui.exe文件,运行自测

# 6.运行成功，删除临时文件目录build；dist目录为打包的结果，可执行文件和其它程序运行的关联文件都在这个目录下

支持好看视频下载

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


def get_video(self):
 base_url = self.bv

 headers = {
 "user-agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1"
 }
 try:
 response = requests.get(url=base_url, headers=headers, timeout=5)
 if response.status_code == 200:
 # soup = BeautifulSoup(response.text, 'html.parser')
 html = response.text
 start = html.find("window.__PRELOADED_STATE__ = ")
 end = html.find("}};", start)
 json_str = html[start+len("window.__PRELOADED_STATE__ = "):end+2]
 json_data = json.loads(json_str)
 title= json_data['curVideoMeta']['title']
 videoInfo = json_data['curVideoMeta']['clarityUrl']
 url = ''
 for item in videoInfo:
 if item['key'] == 'sc':
 url = item['url']
 return title,url
 except Exception as e:
 return '',''

测试上述代码获取对应页面视频链接无误
在downloaders.py中添加HaoKanDownloader类，添加下载和下载进度代码
重新打包后，运行exe提示OPENSSL_Uplink{00007FFE7BF17068,08}: no OPENSSL_Applink
尝试issue中的方法，使用官方__ssl.pyd覆盖codna DLLs中的文件，解决此报错提示另外报错，将conda DLLs中所有文件全部用官方DLLs中文件替换后运行正常无报错，但是下载B站视频失败
回滚第4部操作，尝试将requests替换为urllib.request，返回的数据中视频地址被加密
找到项目crawler中支持好看视频信息获取，发起请求同样使用requests，调整为urllib.request.Request后验证可以正常使用
再次打包成exe,运行正常无报错，下载B站和好看视频正常，设置代理后可以下载youtube视频

总结

后续修改开源项目过程中，程序报错需要顺手截图留存，方便后续文章编写使用
通过此项目熟悉了wxPython基础，后续可以依葫芦画瓢
此前python基本作为脚本语言使用，后续可以在小型项目使用

Hugo+Github零成本搭建博客流程记录2

xiaoshame1209@gmail.com (阿松) — Wed, 08 Nov 2023 11:38:20 +0800

背景

创建博客到现在，使用过程中存在以下问题

hugo.toml中有敏感信息，每次提交代码时都额外需要注意
git 提交记录中包含敏感信息
公众号APP_ID和APP_SECRET保护

解决方案

hugo.toml

参考hugo 使用 github actions 保存源码和自动化构建
新建一个私有仓库blog，存储博客源文件
设置github 'Personal access tokens',在私有仓库blog中绑定用于后续自动推送
在私有仓库blog中创建自动化流程，脚本放在项目根目录 .github/workflows/deploy.yml,最后的文件名自行定义
文章内容推送到私有仓库blog，通过Action进行hugo编译，然后将blog内容同步到xiaoshame.github.io(博客仓库)
xiaoshame.github.io 仓库中部署模式需要调整，setting->Pages->Build and deployment选'Deploy from a branch'，选择对应分支保存即可

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


name: deploy

on:
 push:
 branches:
 - main
 workflow_dispatch:

jobs:
 build:
 runs-on: ubuntu-latest
 steps:
 - name: Checkout
 uses: actions/checkout@v3
 with:
 submodules: true
 fetch-depth: 0
 ref: main # 这里选择你触发部署的分支！默认是 master

 - name: Setup Hugo
 uses: peaceiris/actions-hugo@v2
 with:
 hugo-version: "latest"
 extended: true # 用 stack 主题需要加这个配置

 - name: Build Web
 run: hugo --minify

 - name: Deploy Web
 uses: peaceiris/actions-gh-pages@v3
 with:
 PERSONAL_TOKEN: ${{ secrets.PERSONAL_TOKEN }}
 EXTERNAL_REPOSITORY: xiaoshame/xiaoshame.github.io # 改成你的仓库
 PUBLISH_BRANCH: main
 PUBLISH_DIR: ./public
 commit_message: ${{ github.event.head_commit.message }}

Git

git 的配置分为三级别，System -> Global ->Local，优先级是 Local> Global> System。

直接在项目下设置用户名和邮箱,注意其他的项目还是用的 Global中的配置

1
2


git config --local user.name "jitwxs"
git config --local user.email "jitwxs@foxmail.com

公众号

通过系统环境变量保存，windows 我的电脑->属性->高级系统设置->环境变量->系统变量，PATH中设置
adfa

1
2


 robot.config["APP_ID"] = os.environ.get("WX_GZH_APP_ID")
 robot.config["APP_SECRET"] = os.environ.get("WX_GZH_APP_SECRET")

待完成

目前获取文章摘要和自动推送微信公众号还需要单独运行两个脚本，后续计划将这两个操作合并到Action操作中，有一个问题是怎么控制微信公众号推送的时机

文章自动同步到公众号2

xiaoshame1209@gmail.com (阿松) — Mon, 30 Oct 2023 15:38:16 +0800

背景

文章自动同步到公众号上传到公众号草稿箱后，因公众号接口原因导致排版存在问题，无法做到直接发布。排版问题如下：

代码无法展示完整
有序列表前面的数字无法展示
无须列表多了几列
三级/四级标题样式固化
最后的参考内容数字列表格式错乱

解决方案

查阅资料找到markdown文件转html开源项目hzwz-markdown-wx。hzwz-markdown-wx项目存在如下问题：

生成的html文件复制到微信公众号操作，实操失败

生成的html文件无法自动投稿到公众号

使用highlight对code高亮生成的html文件上传公众号报错

1
2


Invalid JSON: Expecting value: line 1 column 1 (char 0)
<!DOCTYPE html><html><head><script>var i=location.href;var v=window.btoa?window.btoa(window.encodeURIComponent(i)):"";window.location.href="https://waf.tencent.com/501page.html?u="+location.origin+"&id=1b5cfa348bdfe54f018dcc316bcbf1cf-1697099164938977-85119-139672863803136-76234149314225168&st=01&v="+v;</script></head></html>

整体方案是将文章自动同步到公众号中的markdown-to-wechat方案与hzwz-markdown-wx融合。

核心改动介绍

修改sync.py中upload_media_news函数，只保留发布草稿箱功能

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50


def upload_media_news(content,baseinfo,token):
 """
 上传到微信公众号
 """
 articles = {
 'articles':
 [
 {
 "title": baseinfo.TITLE,
 "thumb_media_id": baseinfo.THUMB_MEDIA_ID,
 "author": baseinfo.AUTHOR,
 "digest": baseinfo.digest,
 "show_cover_pic": 1,
 "content": content,
 "content_source_url": baseinfo.CONTENT_SOURCE_URL
 }
 # 若新增的是多图文素材，则此处应有几段articles结构，最多8段
 ]
 }

 headers={'Content-type': 'text/plain; charset=utf-8'}
 datas = json.dumps(articles, ensure_ascii=False).encode('utf-8')

 # 发布草稿箱
 postUrl = "https://api.weixin.qq.com/cgi-bin/draft/add?access_token=%s" % token
 r = requests.post(postUrl, data=datas, headers=headers)
 try:
 resp = json.loads(r.text)
 media_id = resp['media_id']
 print(media_id)
 # ### 发布
 # media_params = {
 # "media_id": media_id
 # }
 # postUrl = "https://api.weixin.qq.com/cgi-bin/freepublish/submit?access_token=%s" % token
 # datas = json.dumps(media_params, ensure_ascii=False).encode('utf-8')
 # r = requests.post(postUrl,data=datas, headers=headers)
 # resp = json.loads(r.text)
 # print(resp)
 return True
 except json.JSONDecodeError as e:
 # 捕获JSON解码错误
 print("Invalid JSON:", e)
 print(r.text)
 return False
 except KeyError as e:
 # 捕获键错误
 print("Key Error:", e)
 print(r.text)
 return False

app.py增加同步图片素材、获取文章基本信息、文章投稿等操作

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43


if __name__ == '__main__':
 print()
 # 相关文件夹初始化
 if cp_utils.is_dir_existed(md_dir) or cp_utils.is_dir_existed(out_dir):
 print("目录不存在")
 exit(0)
 if cp_utils.is_dir_existed(styles_dir) or cp_utils.is_dir_existed(template_dir):
 print("目录不存在")
 exit(0)
 # 文件检查/
 md_file_path_list = cp_utils.filter_file_type(md_dir, '.md')
 if len(md_file_path_list) == 0:
 print("当前目录无md文件，请检查后重试！" + md_dir)
 exit(0)
 theme_file_path_list = cp_utils.filter_file_type(styles_dir, '.ini')
 if len(theme_file_path_list) == 0:
 print("当前目录无样式配置文件，请检查后重试！" + styles_dir)
 exit(0)

 print("begin sync to wechat")
 start_time = time.time() # 开始时间
 sync.init_cache()
 client, token = sync.Client()
 for md_file_path in md_file_path_list:
 split_list = md_file_path.split(os.sep)
 if len(split_list) > 0:
 file_name = split_list[-1]
 print("读取文件 →", file_name)
 file_content = cp_utils.read_file_content(md_file_path)
 ## 图片资源上传微信公众号
 file_content,imageId = sync.update_images_urls(file_content,client)
 ## 获取文章基础信息
 baseinfo = sync.BaseInfo(file_content,imageId,md_file_path)
 for theme_file_path in theme_file_path_list:
 theme_name = theme_file_path.split(os.sep)[-1][:-4]
 print("应用样式 →", theme_name)
 renderer_content = render_article(file_content, theme_file_path, template_dir)
 out_file_path = os.path.join(out_dir, file_name.replace(".md", "_{}.html".format(theme_name)))
 print("输出文件 →", out_file_path)
 cp_utils.write_file(renderer_content, out_file_path)
 if sync.upload_media_news(renderer_content,baseinfo,token):
 sync.cache_update(md_file_path)
 print("sync " + md_file_path + " to wechat successful")

修改styles_renderer.py增加去掉md中文章描述信息，修改block_code函数

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


# 代码块
 def block_code(self, code, info=None):
 if self.mac_window_template is not None:
 highlight_result = renderer_by_node(code, self.codestyle, info)
 return self.mac_window_template.render(text=highlight_result)
 else:
 exts = ['markdown.extensions.extra',
 'markdown.extensions.tables',
 'markdown.extensions.toc',
 'markdown.extensions.sane_lists',
 codehilite.makeExtension(
 guess_lang=False,
 noclasses=True,
 pygments_style='friendly'
 ),]
 if info is not None:
 info = info.strip()
 lang = ''
 if info:
 lang = info.split(None, 1)[0]
 code = "```"+ lang + '\n' + code + "```"
 html = markdown.markdown(code, extensions=exts)
 return replace_return(html)

对html了解不多，利用markdown.markdown完成代码高亮，规避使用highlight进行代码高亮无法投稿的问题

使用总结

blog\push_to_gzh\config.ini中控制相关资源目录地址
blog\push_to_gzh\styles\custom\cp_article_wx.ini 配置文章样式
1. codespan和codestyle配置不可用，会导致文章介绍的投稿失败问题。
css_beautify函数可以美化html文件，使用blog\push_to_gzh\template\author\assets中的文件实现
完整的代码已上传github可自行查看

文章自动同步到公众号

xiaoshame1209@gmail.com (阿松) — Tue, 24 Oct 2023 19:09:53 +0800

背景

受如何无痛苦更新公众号影响，开始思考如何应用到我的日常文章编写中。

操作记录

完整代码已同步个人仓库，修正pickle运行问题，代码高亮后无滚动条问题。

脚本原理：

利用markdown库实现md文件转换成html文件
利用codehilite 实现代码高亮
利用微信开发者API，基于werobot库完成图片资源上传和文章同步到草稿箱

运行前提：

在公众号设置与开发-基本配置，获取个人APP_ID和APP_SECRET填入脚本
在公众号设置与开发-基本配置，将运行脚本的机器出口IP加入公众号白名单
修改blog_path为需要同步的文章地址

不足：

可以对文章进行发布，腾讯公众号发布的定义是粉丝无法看到文章。文章群发后粉丝才能看到，但是腾讯开发者API未提供群发接口。

解决存储迁移导致的Gitlab Runner问题

xiaoshame1209@gmail.com (阿松) — Thu, 19 Oct 2023 15:02:51 +0800

背景

组内使用github-runner进行代码规范检测，最近运维进行存储切换导致代码检测运行失败，之前找其他人安装的，年久无人维护只能自己上，记录整个过程。本文默认大家了解gitlab-runner的基础知识，不了解的可以先阅读参考资料中的文章。

问题排查

我们代码检测主要用的cppcheck和cpplint，查看Github-Runner jobs报错，发现是对应的镜像文件找不到，首先恢复镜像

1
2
3
4


Preparing the "docker" executor
00:48
Using Docker executor with image 10.1.107.12:5000/dy/cppcheck ...
ERROR: Preparation failed: adding cache volume: set volume permissions: running permission container "a192958483eb385c5a19432a82b4bfd20d54a7a7cd28a35e3c3f85938bc8ab31" for volume "runner-bcvnjjb9-project-11377-concurrent-0-cache-3c3f060a0374fc8bc39395164f415a70": starting permission container: Error response from daemon: error evaluating symlinks from mount source "/dy_video1/docker-data/volumes/runner-bcvnjjb9-project-11377-concurrent-0-cache-3c3f060a0374fc8bc39395164f415a70/_data": lstat /dy_video1/docker-data/volumes/runner-bcvnjjb9-project-11377-concurrent-0-cache-3c3f060a0374fc8bc39395164f415a70: no such file or directory (linux_set.go:105:5s)

docker 源

docker 官方源被墙，调整为国内源

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14


sudo mkdir -p /etc/docker
sudo vim /etc/docker/daemon.json
{
 "registry-mirrors": [
 "https://do.nark.eu.org",
 "https://dc.j8.work",
 "https://docker.m.daocloud.io",
 "https://dockerproxy.com",
 "https://docker.mirrors.ustc.edu.cn",
 "https://docker.nju.edu.cn"
 ]
}
sudo systemctl daemon-reload
sudo systemctl restart docker

恢复镜像

通过centos镜像安装cppcheck和cpplint,安装完成后导出镜像，重新导入并修改名称

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37


### 下载centos镜像
docker pull centos:7
### 启动centos容器，进入安装环境cppcheck cpplint
docker run -it centos:7 /bin/bash
### 更换yum 源
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
### 安装基础编译工具
yum install wget gcc gcc-c++ make cmake
### 下载cppcheck源码编译
wget -O cppcheck.tar.gz https://github.com/danmar/cppcheck/archive/refs/tags/2.12.1.tar.gz
tar -xvzf cppcheck.tar.gz
cd cppcheck-2.12.1 && \
 mkdir build && \
 cd build && \
 cmake .. && \
 cmake --build . && \
 make install SRCDIR={解压的cppcheck路径}/cppcheck-2.12.1/build CFGDIR={解压的cppcheck路径}/cppcheck-2.12.1/cfg FILESDIR=/usr/bin
ln -s /usr/local/bin/cppcheck /usr/bin/cppcheck
## 安装cpplint，注意需先安装python3 版本需要3.8及以上
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
yum install libffi-devel -y
wget https://www.python.org/ftp/python/3.8.12/Python-3.8.12.tgz
tar -xzvf Python-3.8.12.tgz
cd Python-3.8.12/
./configure
make&&make install
rm -rf /usr/bin/python
ln -s /usr/local/bin/python3 /usr/bin/python
pip3 install cpplint -i https://pypi.tuna.tsinghua.edu.cn/simple
### 退出容器
exit
### 查看容器ID
docker ps -a
### 容器导出
docker export 79362966cbdc > container.tar
### tar导入为镜像命名为10.1.107.12:5000/dy/cppcheck
docker import container.tar 10.1.107.12:5000/dy/cppcheck

Gitlab-Runner 注册

在下载centos镜像操作中，走了很多弯路，最大的弯路是设置docker代理，提高docker pull速度，由于误操作，导致GitLab-Runner镜像丢失

docker运行Gitlab-Runner

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20



### 下载gitlab-runner 镜像，alpine小一点
docker pull gitlab/gitlab-runner:alpine
### 使用本地系统卷挂载，启动 Runner 容器
docker run -d --name gitlab-runner --restart always -v /srv/gitlab-runner/config:/etc/gitlab-runner -v /var/run/docker.sock:/var/run/docker.sock gitlab/gitlab-runner:alpine
### 进入容器执行注册
docker exec -it gitlab-runner bash
### 重新注册,git地址和REGISTRATION_TOKEN 在gitlab设置Settings CI/CD中查看
sudo gitlab-runner register --url https://XXXX/ --registration-token $REGISTRATION_TOKEN
> Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com ) ###直接回车
> Please enter the gitlab-ci token for this runner #### 直接回车
> Please enter the gitlab-ci description for this runner ### 随意写个描述
> Please enter the gitlab-ci tags for this runner (comma separated): ### 定义个tag，我用的
ai-bus1
> Please enter the executor: ssh, docker+machine, docker-ssh+machine, kubernetes, docker, parallels, virtualbox, docker-ssh, shell:
docker
> Please enter the Docker image (eg. ruby:2.1):
alpine:latest
### 退出容器
exit

再次报错

勾选Indicates whether this runner can pick jobs without tags
project拉取新分支测试,测试报错

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


WARNING: Failed to pull image with policy "always": Error response from daemon: Get "http://10.1.107.12:5000/v2/": dial tcp 10.1.107.12:5000: connect: connection refused (manager.go:237:0s)
ERROR: Job failed: failed to pull image "10.1.107.12:5000/dy/cppcheck" with specified policies [always]: Error response from daemon: Get "http://10.1.107.12:5000/v2/": dial tcp 10.1.107.12:5000: connect: connection refused (manager.go:237:0s)

预计是docker运行gitlab-runner未绑定端口导致，查看.gitlab-ci.yml文件中image字段是10.1.107.12:5000/dy/cppcheck,我采用解决方案是修改镜像名

#### 修改gitlab-ci.yml文件中image字段
image:codecheck:v1
#### 删除10.1.107.12:5000/dy/cppcheck 镜像
docker rmi 10.1.107.12:5000/dy/cppcheck
#### 导入container.tar命名为codecheck:v1
docker import container.tar codecheck:v1

继续报错

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36


WARNING: Failed to pull image with policy "always": Error response from daemon: pull access denied for codecheck, repository does not exist or may require 'docker login': denied: requested access to the resource is denied (manager.go:237:2s)
ERROR: Job failed: failed to pull image "codecheck:v1" with specified policies [always]: Error response from daemon: pull access denied for codecheck, repository does not exist or may require 'docker login': denied: requested access to the resource is denied (manager.go:237:2s)

### 修改宿主机中gitlab-runner配置
vim /etc/gitlab-runner/config.toml ### 增加pull_policy = "never"
#### 修改容器中gitlab-runner配置
docker exec -it gitlab-runner bash
vim /etc/gitlab-runner/config.toml ### 增加pull_policy = "never"
#### 修改参考
[[runners]]
 name = "XXXX"
 url = "https://gitlab.com/"
 id = 412
 token = "XXXX"
 token_obtained_at = 2023-10-19T02:08:04Z
 token_expires_at = 0001-01-01T00:00:00Z
 executor = "docker"
 [runners.custom_build_dir]
 [runners.cache]
 [runners.cache.s3]
 [runners.cache.gcs]
 [runners.cache.azure]
 [runners.docker]
 tls_verify = false
 image = "alpine:latest"
 privileged = false
 disable_entrypoint_overwrite = false
 oom_kill_disable = false
 disable_cache = false
 volumes = ["/cache"]
 shm_size = 0
 pull_policy = "never"
### pull_policy参数作用
pull_policy = “never” ### 只能使用 Runner 所在的 Docker 主机上提取过的本地镜像
pull_policy = “if-not-present” ### Runner 将首先检查映像是否在本地存在。如果是，则使用图像的本地版本
pull_policy = “always” ### 默认拉取策略 (未设置 pull_policy 执行默认拉取策略)，去拉取公网上的镜像

再次测试，测试通过，问题修复

后续

写完本文后，下班回到家洗澡时，思考这个问题的原因，因运行以前注册的runner提示的错误，与倒数第二个错误类似，怀疑本次问题修复，主要原因是镜像的缺失和运行未绑定端口导致。关闭gitlab-runner docker 容器和gitlab中ai-bus1 runner，重新测试测试运行无误，说明只重新安装cpplint/cppcheck镜像和修改image字段镜像名，即可修复此问题。

参考资料

Hugo+Github零成本搭建博客流程记录

xiaoshame1209@gmail.com (阿松) — Wed, 11 Oct 2023 10:06:03 +0800

背景

看到一篇文章零成本搭建现代博客之搭建篇，目前采用的博客方案存在以下不足：

目前我博客基于infinity搭建，空间只有5G，时间久了空间不足
域名续费，一年成本100+，每年换一个域名太麻烦

安装

安装和本地预览博客，参考Hugo官方文档 quick-start
我选择的LoveIt主题，下载完成后将blog/themes/LoveIt/exampleSite/config.toml 中的内容覆盖blog/hugo.toml文件中的内容
创建blog/static/images目录存放图片，直接相对路径即可使用本地图片,例如："/images/avatar.jpeg"

主题配置

重点介绍我修改的地方
1. 主题目录地址
2. 博客标题、博客副标题
3. 博客logo
4. 主页显示头像
5. 关掉社交
hugo.toml完整配置如下，可自行对比

baseURL = "https://xiaoshame.github.io/"
# theme
# 主题
theme = "LoveIt"
# themes directory
# 主题目录
themesDir = "themes"
# website title
# 网站标题
title = "阿松日常"
# determines default content language ["en", "zh-cn", "fr", "pl", ...]
# 设置默认的语言 ["en", "zh-cn", "fr", "pl", ...]
defaultContentLanguage = "zh-cn"
# language code ["en", "zh-CN", "fr", "pl", ...]
# 网站语言, 仅在这里 CN 大写 ["en", "zh-CN", "fr", "pl", ...]
languageCode = "zh-CN"
# language name ["English", "简体中文", "Français", "Polski", ...]
# 语言名称 ["English", "简体中文", "Français", "Polski", ...]
languageName = "简体中文"
# whether to include Chinese/Japanese/Korean
# 是否包括中日韩文字
hasCJKLanguage = true
summaryLength = 200
# default amount of posts in each pages
# 默认每页列表显示的文章数目
paginate = 10
# copyright description used only for seo schema
# 版权描述，仅仅用于 SEO
copyright = "CC BY-NC 4.0"
# whether to use robots.txt
# 是否使用 robots.txt
enableRobotsTXT = true
# whether to use git commit log
# 是否使用 git 信息
enableGitInfo = true
# whether to use emoji code
# 是否使用 emoji 代码
enableEmoji = true
# ignore some build errors
# 忽略一些构建错误
ignoreErrors = ["error-remote-getjson", "error-missing-instagram-accesstoken"]
# Author config
# 作者配置
[author]
name = "阿松日常"
email = "xiaoshame1209@gmail.com"
link = ""
[params]
# site default theme ["auto", "light", "dark"]
# 网站默认主题 ["auto", "light", "dark"]
defaultTheme = "light"
# public git repo url only then enableGitInfo is true
# 公共 git 仓库路径，仅在 enableGitInfo 设为 true 时有效
gitRepo = "https://github.com/xiaoshame/xiaoshame.github.io.git"
# which hash function used for SRI, when empty, no SRI is used
# ["sha256", "sha384", "sha512", "md5"]
# 哪种哈希函数用来 SRI, 为空时表示不使用 SRI
# ["sha256", "sha384", "sha512", "md5"]
fingerprint = ""
# date format
# 日期格式
dateFormat = "2006-01-02"
# website title for Open Graph and Twitter Cards
# 网站标题, 用于 Open Graph 和 Twitter Cards
title = "阿松日常"
# website description for RSS, SEO, Open Graph and Twitter Cards
# 网站描述, 用于 RSS, SEO, Open Graph 和 Twitter Cards
description = "阿松日常的个人博客，奶爸一枚，分享效率提升技巧和带娃日常"
# website images for Open Graph and Twitter Cards
# 网站图片, 用于 Open Graph 和 Twitter Cards
images = "/images/logo.png"
# Header config
# 页面头部导航栏配置
[params.header]
# desktop header mode ["fixed", "normal", "auto"]
# 桌面端导航栏模式 ["fixed", "normal", "auto"]
desktopMode = "fixed"
# mobile header mode ["fixed", "normal", "auto"]
# 移动端导航栏模式 ["fixed", "normal", "auto"]
mobileMode = "auto"
# Header title config
# 页面头部导航栏标题配置
[params.header.title]
# URL of the LOGO
# LOGO 的 URL
logo = "/images/logo.png"
# title name
# 标题名称
name = "阿松日常"
# you can add extra information before the name (HTML format is supported), such as icons
# 你可以在名称 (允许 HTML 格式) 之前添加其他信息, 例如图标
pre = ""
# you can add extra information after the name (HTML format is supported), such as icons
# 你可以在名称 (允许 HTML 格式) 之后添加其他信息, 例如图标
post = ""
# whether to use typeit animation for title name
# 是否为标题显示打字机动画
typeit = false
# Footer config
# 页面底部信息配置
[params.footer]
enable = true
# Custom content (HTML format is supported)
# 自定义内容 (支持 HTML 格式)
custom = ""
# whether to show Hugo and theme info
# 是否显示 Hugo 和主题信息
hugo = false
# whether to show copyright info
# 是否显示版权信息
copyright = true
# whether to show the author
# 是否显示作者
author = true
# site creation time
# 网站创立年份
since = 2023
# ICP info only in China (HTML format is supported)
# ICP 备案信息，仅在中国使用 (支持 HTML 格式)
icp = ""
# license info (HTML format is supported)
# 许可协议信息 (支持 HTML 格式)
license= '<a rel="license external nofollow noopener noreffer" href="https://creativecommons.org/licenses/by-nc/4.0/" target="_blank">CC BY-NC 4.0</a>'
# Section (all posts) page config
# Section (所有文章) 页面配置
[params.section]
# special amount of posts in each section page
# section 页面每页显示文章数量
paginate = 20
# date format (month and day)
# 日期格式 (月和日)
dateFormat = "01-02"
# amount of RSS pages
# RSS 文章数目
rss = 10
# List (category or tag) page config
# List (目录或标签) 页面配置
[params.list]
# special amount of posts in each list page
# list 页面每页显示文章数量
paginate = 20
# date format (month and day)
# 日期格式 (月和日)
dateFormat = "01-02"
# amount of RSS pages
# RSS 文章数目
rss = 10
# App icon config
# 应用图标配置
[params.app]
# optional site title override for the app when added to an iOS home screen or Android launcher
# 当添加到 iOS 主屏幕或者 Android 启动器时的标题, 覆盖默认标题
title = "阿松日常"
# whether to omit favicon resource links
# 是否隐藏网站图标资源链接
noFavicon = false
# modern SVG favicon to use in place of older style .png and .ico files
# 更现代的 SVG 网站图标, 可替代旧的 .png 和 .ico 文件
svgFavicon = "/images/logo.svg"
# Android browser theme color
# Android 浏览器主题色
themeColor = "#ffffff"
# Safari mask icon color
# Safari 图标颜色
iconColor = "#5bbad5"
# Windows v8-11 tile color
# Windows v8-11 磁贴颜色
tileColor = "#da532c"
# Search config
# 搜索配置
[params.search]
enable = true
# type of search engine ["lunr", "algolia"]
# 搜索引擎的类型 ["lunr", "algolia"]
type = "algolia"
# max index length of the chunked content
# 文章内容最长索引长度
contentLength = 4000
# placeholder of the search bar
# 搜索框的占位提示语
placeholder = ""
# max number of results length
# 最大结果数目
maxResultLength = 10
# snippet length of the result
# 结果内容片段长度
snippetLength = 30
# HTML tag name of the highlight part in results
# 搜索结果中高亮部分的 HTML 标签
highlightTag = "em"
# whether to use the absolute URL based on the baseURL in search index
# 是否在搜索索引中使用基于 baseURL 的绝对路径
absoluteURL = false
[params.search.algolia]
index = ""
appID = ""
searchKey = ""
# Page global config
# 文章页面全局配置
[params.page]
# whether to hide a page from home page
# 是否在主页隐藏一篇文章
hiddenFromHomePage = false
# whether to hide a page from search results
# 是否在搜索结果中隐藏一篇文章
hiddenFromSearch = false
# whether to enable twemoji
# 是否使用 twemoji
twemoji = false
# whether to enable lightgallery
# 是否使用 lightgallery
lightgallery = true
# whether to enable the ruby extended syntax
# 是否使用 ruby 扩展语法
ruby = true
# whether to enable the fraction extended syntax
# 是否使用 fraction 扩展语法
fraction = true
# whether to enable the fontawesome extended syntax
# 是否使用 fontawesome 扩展语法
fontawesome = true
# whether to show link to Raw Markdown content of the content
# 是否显示原始 Markdown 文档内容的链接
linkToMarkdown = false
# whether to show the full text content in RSS
# 是否在 RSS 中显示全文内容
rssFullText = false
# Table of the contents config
# 目录配置
[params.page.toc]
# whether to enable the table of the contents
# 是否使用目录
enable = true
# whether to keep the static table of the contents in front of the post
# 是否保持使用文章前面的静态目录
keepStatic = false
# whether to make the table of the contents in the sidebar automatically collapsed
# 是否使侧边目录自动折叠展开
auto = true
# Code config
# 代码配置
[params.page.code]
# whether to show the copy button of the code block
# 是否显示代码块的复制按钮
copy = true
# the maximum number of lines of displayed code by default
# 默认展开显示的代码行数
maxShownLines = 200
# KaTeX mathematical formulas config (KaTeX https://katex.org/)
# KaTeX 数学公式配置 (KaTeX https://katex.org/)
[params.page.math]
enable = false
# default inline delimiter is $ ... $ and \( ... \)
# 默认行内定界符是 $ ... $ 和 \( ... \)
inlineLeftDelimiter = ""
inlineRightDelimiter = ""
# default block delimiter is $$ ... $$, \[ ... \], \begin{equation} ... \end{equation} and some other functions
# 默认块定界符是 $$ ... $$, \[ ... \], \begin{equation} ... \end{equation} 和一些其它的函数
blockLeftDelimiter = ""
blockRightDelimiter = ""
# KaTeX extension copy_tex
# KaTeX 插件 copy_tex
copyTex = true
# KaTeX extension mhchem
# KaTeX 插件 mhchem
mhchem = true
# Mapbox GL JS config (Mapbox GL JS https://docs.mapbox.com/mapbox-gl-js)
# Mapbox GL JS 配置 (Mapbox GL JS https://docs.mapbox.com/mapbox-gl-js)
[params.page.mapbox]
# access token of Mapbox GL JS
# Mapbox GL JS 的 access token
accessToken = "pk.eyJ1IjoiZGlsbG9uenEiLCJhIjoiY2s2czd2M2x3MDA0NjNmcGxmcjVrZmc2cyJ9.aSjv2BNuZUfARvxRYjSVZQ"
# style for the light theme
# 浅色主题的地图样式
lightStyle = "mapbox://styles/mapbox/light-v10?optimize=true"
# style for the dark theme
# 深色主题的地图样式
darkStyle = "mapbox://styles/mapbox/dark-v10?optimize=true"
# whether to add NavigationControl (https://docs.mapbox.com/mapbox-gl-js/api/#navigationcontrol)
# 是否添加 NavigationControl (https://docs.mapbox.com/mapbox-gl-js/api/#navigationcontrol)
navigation = true
# whether to add GeolocateControl (https://docs.mapbox.com/mapbox-gl-js/api/#geolocatecontrol)
# 是否添加 GeolocateControl (https://docs.mapbox.com/mapbox-gl-js/api/#geolocatecontrol)
geolocate = true
# whether to add ScaleControl (https://docs.mapbox.com/mapbox-gl-js/api/#scalecontrol)
# 是否添加 ScaleControl (https://docs.mapbox.com/mapbox-gl-js/api/#scalecontrol)
scale = true
# whether to add FullscreenControl (https://docs.mapbox.com/mapbox-gl-js/api/#fullscreencontrol)
# 是否添加 FullscreenControl (https://docs.mapbox.com/mapbox-gl-js/api/#fullscreencontrol)
fullscreen = true
# Social share links in post page
# 文章页面的分享信息设置
[params.page.share]
enable = false
Twitter = true
Facebook = true
HackerNews = true
Reddit = true
Line = true
# Comment config
# 评论系统设置
[params.page.comment]
enable = true
# giscus comment config (https://giscus.app/)
# giscus comment 评论系统设置 (https://giscus.app/zh-CN)
[params.page.comment.giscus]
# You can refer to the official documentation of giscus to use the following configuration.
# 你可以参考官方文档来使用下列配置
enable = true
repo = "xiaoshame/xiaoshame.github.io"
repoId = "**"
category = "Announcements"
categoryId = "**"
# automatically adapt the current theme i18n configuration when empty
# 为空时自动适配当前主题 i18n 配置
lang = ""
mapping = "pathname"
reactionsEnabled = "1"
emitMetadata = "0"
inputPosition = "bottom"
lazyLoading = false
lightTheme = "light"
darkTheme = "dark"
# Third-party library config
# 第三方库配置
[params.page.library]
[params.page.library.css]
# someCSS = "some.css"
# located in "assets/" 位于 "assets/"
# Or 或者
# someCSS = "https://cdn.example.com/some.css"
[params.page.library.js]
# someJavascript = "some.js"
# located in "assets/" 位于 "assets/"
# Or 或者
# someJavascript = "https://cdn.example.com/some.js"
# Page SEO config
# 页面 SEO 配置
[params.page.seo]
# image URL
# 图片 URL
images = ["/images/logo.png"]
# Publisher info
# 出版者信息
[params.page.seo.publisher]
name = "阿松日常"
logoUrl = "/images/avatar.png"
# TypeIt config
# TypeIt 配置
[params.typeit]
# typing speed between each step (measured in milliseconds)
# 每一步的打字速度 (单位是毫秒)
speed = 100
# blinking speed of the cursor (measured in milliseconds)
# 光标的闪烁速度 (单位是毫秒)
cursorSpeed = 1000
# character used for the cursor (HTML format is supported)
# 光标的字符 (支持 HTML 格式)
cursorChar = "|"
# cursor duration after typing finishing (measured in milliseconds, "-1" means unlimited)
# 打字结束之后光标的持续时间 (单位是毫秒, "-1" 代表无限大)
duration = -1
# Site verification code for Google/Bing/Yandex/Pinterest/Baidu
# 网站验证代码，用于 Google/Bing/Yandex/Pinterest/Baidu
[params.verification]
google = "*"
bing = ""
yandex = ""
pinterest = ""
baidu = ""
# Site SEO config
# 网站 SEO 配置
[params.seo]
# image URL
# 图片 URL
image = "/images/logo.png"
# thumbnail URL
# 缩略图 URL
thumbnailUrl = "/images/logo.png"
# Analytics config
# 网站分析配置
[params.analytics]
enable = true
# Google Analytics
[params.analytics.google]
id = "G-*"
# whether to anonymize IP
# 是否匿名化用户 IP
anonymizeIP = true
# Fathom Analytics
[params.analytics.fathom]
id = ""
# server url for your tracker if you're self hosting
# 自行托管追踪器时的主机路径
server = ""
# Plausible Analytics
[params.analytics.plausible]
dataDomain = ""
# Yandex Metrica
[params.analytics.yandexMetrica]
id = ""
# Cookie consent config
# Cookie 许可配置
[params.cookieconsent]
enable = false
# text strings used for Cookie consent banner
# 用于 Cookie 许可横幅的文本字符串
[params.cookieconsent.content]
message = ""
dismiss = ""
link = ""
# CDN config for third-party library files
# 第三方库文件的 CDN 设置
[params.cdn]
# CDN data file name, disabled by default
# ["jsdelivr.yml"]
# located in "themes/LoveIt/assets/data/cdn/" directory
# you can store your own data files in the same path under your project:
# "assets/data/cdn/"
# CDN 数据文件名称, 默认不启用
# ["jsdelivr.yml"]
# 位于 "themes/LoveIt/assets/data/cdn/" 目录
# 可以在你的项目下相同路径存放你自己的数据文件:
# "assets/data/cdn/"
data = "jsdelivr.yml"
# Markup related configuration in Hugo
# Hugo 解析文档的配置
[markup]
# Syntax Highlighting (https://gohugo.io/content-management/syntax-highlighting)
# 语法高亮设置 (https://gohugo.io/content-management/syntax-highlighting)
[markup.highlight]
codeFences = true
guessSyntax = true
lineNos = true
lineNumbersInTable = true
# false is a necessary configuration (https://github.com/dillonzq/LoveIt/issues/158)
# false 是必要的设置 (https://github.com/dillonzq/LoveIt/issues/158)
noClasses = false
# Goldmark is from Hugo 0.60 the default library used for Markdown
# Goldmark 是 Hugo 0.60 以来的默认 Markdown 解析库
[markup.goldmark]
[markup.goldmark.extensions]
definitionList = true
footnote = true
linkify = true
strikethrough = true
table = true
taskList = true
typographer = true
[markup.goldmark.renderer]
# whether to use HTML tags directly in the document
# 是否在文档中直接使用 HTML 标签
unsafe = true
# Table Of Contents settings
# 目录设置
[markup.tableOfContents]
startLevel = 2
endLevel = 6
# Sitemap config
# 网站地图配置
[sitemap]
changefreq = "weekly"
filename = "sitemap.xml"
priority = 0.5
# Permalinks config (https://gohugo.io/content-management/urls/#permalinks)
# Permalinks 配置 (https://gohugo.io/content-management/urls/#permalinks)
[Permalinks]
# posts = ":year/:month/:filename"
posts = ":filename"
# Options to make output .md files
# 用于输出 Markdown 格式文档的设置
[mediaTypes]
[mediaTypes."text/plain"]
suffixes = ["md"]
# Options to make output .md files
# 用于输出 Markdown 格式文档的设置
[outputFormats.MarkDown]
mediaType = "text/plain"
isPlainText = true
isHTML = false
# Options to make hugo output files
# 用于 Hugo 输出文档的设置
[outputs]
home = ["HTML", "RSS", "JSON"]
page = ["HTML", "MarkDown"]
section = ["HTML", "RSS"]
taxonomy = ["HTML", "RSS"]
# Multilingual
# 多语言
[languages]
[languages.zh-cn]
weight = 2
languageCode = "zh-CN"
languageName = "简体中文"
hasCJKLanguage = true
copyright = "This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License."
[languages.zh-cn.menu]
[[languages.zh-cn.menu.main]]
weight = 1
identifier = "posts"
pre = "<i class='fa-solid fa-book'></i>"
post = ""
name = "所有文章"
url = "/posts/"
title = ""
[[languages.zh-cn.menu.main]]
weight = 2
identifier = "favorites"
pre = "<i class='fa-solid fa-bookmark'></i>"
post = ""
name = "收藏夹"
url = "/favorites/"
title = ""
[[languages.zh-cn.menu.main]]
weight = 3
identifier = "comments"
pre = "<i class='fa-solid fa-comment'></i>"
post = ""
name = "留言板"
url = "/comments/"
title = ""
[[languages.zh-cn.menu.main]]
weight = 4
identifier = "sites"
pre = "<i class='fa-solid fa-link'></i>"
post = ""
name = "友情链接"
url = "/sites/"
title = ""
# 二级菜单
[[languages.zh-cn.menu.main]]
parent = "posts"
pre = "<i class='fas fa-fw fa-th'></i>"
name = "分类"
identifier = "categories"
url = "/categories/"
weight = 1
[[languages.zh-cn.menu.main]]
parent = "posts"
identifier = "tags"
post = ""
pre = "<i class='fas fa-fw fa-tag'></i>"
name = "标签"
url = "/tags/"
title = ""
weight = 2
[languages.zh-cn.params]
[languages.zh-cn.params.search]
enable = true
type = "algolia"
contentLength = 4000
placeholder = ""
maxResultLength = 10
snippetLength = 50
highlightTag = "em"
absoluteURL = false
[languages.zh-cn.params.search.algolia]
index = "index.zh-cn"
appID = "PASDMWALPK"
searchKey = "b42948e51daaa93df92381c8e2ac0f93"
[languages.zh-cn.params.home]
rss = 10
[languages.zh-cn.params.home.profile]
enable = true
gravatarEmail = "xiaoshame1209@gmail.com"
avatarURL = "/images/avatar.png"
title = ""
subtitle = "一位普通的奶爸，一个不出名的程序员，正在努力赚钱和感受生活的酸甜苦辣"
typeit = true
social = true
disclaimer = ""
[languages.zh-cn.params.social]
GitHub = "https://github.com/xiaoshame/"
Email = "xiaoshame1209@gmail.com"
RSS = true
[languages.zh-cn.params.home.posts]
enable = true
# special amount of posts in each home posts page
# 主页每页显示文章数量
paginate = 10

Github部署

参考Hugo官方github部署

官方文档要求将hugo.toml传到git上，其中包含部分key，存在风险

使用hugo生成pubilc文件，上传到仓库
修改blog/.github/workflows/hugo.yaml文件,核心是屏蔽hugo在远端构建，只对pubilc文件打包

 # Sample workflow for building and deploying a Hugo site to GitHub Pages
name: Deploy Hugo site to Pages
on:
# Runs on pushes targeting the default branch
push:
branches:
- master
# Allows you to run this workflow manually from the Actions tab
workflow_dispatch:
# Sets permissions of the GITHUB_TOKEN to allow deployment to GitHub Pages
permissions:
contents: read
pages: write
id-token: write
# Allow only one concurrent deployment, skipping runs queued between the run in-progress and latest queued.
# However, do NOT cancel in-progress runs as we want to allow these production deployments to complete.
concurrency:
group: "pages"
cancel-in-progress: false
# Default to bash
defaults:
run:
shell: bash
jobs:
# Build job
build:
runs-on: ubuntu-latest
# env:
# HUGO_VERSION: 0.119.0
steps:
# - name: Install Hugo CLI
# run: |
# wget -O ${{ runner.temp }}/hugo.deb https://github.com/gohugoio/hugo/releases/download/v${HUGO_VERSION}/hugo_extended_${HUGO_VERSION}_linux-amd64.deb \
# && sudo dpkg -i ${{ runner.temp }}/hugo.deb
- name: Install Dart Sass
run: sudo snap install dart-sass
- name: Checkout
uses: actions/checkout@v3
with:
submodules: recursive
fetch-depth: 0
- name: Setup Pages
id: pages
uses: actions/configure-pages@v3
- name: Install Node.js dependencies
run: "[[ -f package-lock.json || -f npm-shrinkwrap.json ]] && npm ci || true"
# - name: Build with Hugo
# env:
# # For maximum backward compatibility with Hugo modules
# HUGO_ENVIRONMENT: production
# HUGO_ENV: production
# run: |
# hugo \
# --gc \
# --minify \
# --baseURL "${{ steps.pages.outputs.base_url }}/"
- name: Upload artifact
uses: actions/upload-pages-artifact@v1
with:
path: ./public
# Deployment job
deploy:
environment:
name: github-pages
url: ${{ steps.deployment.outputs.page_url }}
runs-on: ubuntu-latest
needs: build
steps:
- name: Deploy to GitHub Pages
id: deployment
uses: actions/deploy-pages@v2

配置Giscus评论

对应项目开启GitHub Discussions
github上安装Giscus
利用GitHub GraphQL API获取repoId，categoryId，参考Github 如何获取仓库的 repo_id 和 category_id
修改hugo.toml中repo，repoId，category，categoryId，打开giscus关闭valine，通过enable字段控制，参考安装部分hugo.toml文件
hugo生成相应代码，同步pubilc文件夹到仓库中

收藏页

修改hugo.toml中menu.main配置，添加favorites菜单
生成页面
1. 使用指令 hugo new favorites/index.md，在blog/content目录下生成favorites/index.md文件
2. 在index.md中编辑内容，draft 值调整为fasle，表示不是草稿
3. hugo生成相应页面代码，同步pubilc文件夹到仓库

封面图

本想给文章加个封面图，在查资料解决过程中，看到一个基于LoveIt魔改主题搭建的博客，文章的样式符合预期，分析自己博客与对方的不同，参考调整

删除原LoveIt主题，删除blog/theme/LoveIt 文件夹
删除blog/.git/config中[submodule "themes/LoveIt"]的配置
添加LoveIt主题，git submodule add git@github.com:hakula139/LoveIt.git themes/LoveIt
下载对方博客内容，将hakula.xyz-main/assets中的内容放到自己博客的blog/assets目录中
封面图片可以放到文章同级目录中
修改文章参数设置，参考如下

---
title : 'Hugo+Github零成本搭建博客流程记录'
date : 2023-10-11T10:06:03+08:00
draft : false
tags : [hugo,github,博客]
categories : [技术]
featuredImage : /hugo_blog/1697027912506.png
---

站点运行时间

通过自定义js实现

blog/themes/LoveIt/layouts/partials/assets.html 拷贝到blog/layouts/partials/assets.html
blog/themes/LoveIt/layouts/partials/footer.html 拷贝到blog/layouts/partials/footer.html

创建blog/static/js/custom.js 文件，粘贴如下代码

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22


/* 站点运行时间 */
function runtime() {
window.setTimeout("runtime()", 1000);
/* 请修改这里的起始时间 */
let startTime = new Date('10/10/2023 15:00:00');
let endTime = new Date();
let usedTime = endTime - startTime;
let days = Math.floor(usedTime / (24 * 3600 * 1000));
let leavel = usedTime % (24 * 3600 * 1000);
let hours = Math.floor(leavel / (3600 * 1000));
let leavel2 = leavel % (3600 * 1000);
let minutes = Math.floor(leavel2 / (60 * 1000));
let leavel3 = leavel2 % (60 * 1000);
let seconds = Math.floor(leavel3 / (1000));
let runbox = document.getElementById('run-time');
runbox.innerHTML = '本站已运行`<i class="far fa-clock fa-fw"></i>` '
+ ((days < 10) ? '0' : '') + days + ' 天 '
+ ((hours < 10) ? '0' : '') + hours + ' 时 '
+ ((minutes < 10) ? '0' : '') + minutes + ' 分 '
+ ((seconds < 10) ? '0' : '') + seconds + ' 秒 ';
}
runtime();

修改blog/layouts/partials/assets.html，在最后 {{- partial "plugin/analytics.html" . -}}前面加上

1
2


{{- /* 自定义的js文件 */ -}}
<script type="text/javascript" src="/js/custom.js"></script>

修改blog/layouts/partials/footer.html，在 <divclass="footer-container">下面加上
1. 1 2 3
  
  <div class="footer-line"> <span id="run-time"></span> </div>

二级菜单

调整和相关代码完全参考Hugo系列(3.2) - LoveIt主题美化与博客功能增强 · 第三章
二级菜单调整见上面hugo.toml
菜单logo使用fontawesome,在hugo中配置菜单对应pre参数