网页模板 / 整站克隆工具
输入网址,把页面的 HTML 源码及引用的 CSS、JS、图片、字体等资源全部下载到本地,
自动处理文件名合法性并把绝对路径改写为相对路径 —— 让克隆结果可以离线打开、不跳外站。
它是 wget 的等效重制版,带图形界面与原生命令行两种形态。
# 单页模板,输出到指定目录 webclone https://example.com -o D:\site # 整站递归,深度 3,并发 16 webclone https://example.com -m full -d 3 -c 16 -o D:\site # 走 SOCKS5 代理(支持 user:pass 认证) webclone https://example.com --proxy socks5://user:pass@127.0.0.1:1080 ✓ 68 项资源全部完成,无失败 — 离线可直接打开
对应 wget 的两种用法
语义与 wget 对齐,命令行参数可无缝迁移。
| 模式 | 等价 wget 命令 | 说明 |
|---|---|---|
| 单页模板 | wget -r -E -np -c -k --ignore-tags=a <url> |
只抓当前页与它引用的资源,不递归 a 链接;指向未下载页面的链接统一替换为 #,防止离线打开时跳走。 |
| 整站克隆 | wget -r -np -c -k <url> |
递归追踪站内链接(不向上级目录),抓全站;外站链接保留原样。 |
把"能用"做成"离线完整可用"
克隆一个网站的难点从来不是下载,而是编码、重定向、懒加载、CDN、扩展名这一堆边角料。
两种克隆模式
单页模板 / 整站递归,整站模式严格遵循 -np 语义,不向上级目录越界下载。
文件名智能处理
URL 带查询参数时生成 原名_8位哈希.ext(如 style_78fe4a82.css),合法且可读;同时处理 Windows 保留名、非法字符与路径穿越。
路径改写
所有资源引用改写为相对路径;<base href> 重定向为 .;跨域 CDN 资源按域名归档后同样以相对路径引用。
重定向归一
跟随服务端重定向,最终地址与请求地址共享同一本地文件,整站克隆不会因链接写法差异存出两份。
类型修正
按响应的真实 Content-Type 修正落盘扩展名 —— Google Fonts 那类无扩展名动态样式表会被正确存为 .css,避免浏览器因 MIME 不符拒绝应用样式。
单页防跳转
指向未下载页面的 a 链接统一替换为 #;整站模式保留外站原链,离线浏览体验不被中断。
HTTP / SOCKS5 代理
SOCKS5 按 RFC 1928/1929 手写实现,仅接管 TCP 建连,TLS 与 HTTP 仍交给框架,HTTPS 天然走 CONNECT 隧道;支持用户名密码认证。
增量与断点续传
If-None-Match/If-Modified-Since 条件请求 304 直接跳过;Range+If-Range 续传;一律先写 .part 再原子改名,不留残缺成品。
编码自动识别
BOM → HTTP charset → meta/@charset → 严格 UTF-8 嗅探 → GB18030 兜底,统一转 UTF-8 保存并改写编码声明,GBK 页面不乱码。
解析器自研
HTML/CSS 扫描器为零依赖状态机(约 700 行),记录原文下标做原地替换,不引入反射大户,这是能过 NativeAOT 的关键。
资源覆盖全面
<link>、<script>、<img>、srcset、video/audio/source、object/embed、iframe、内联 style、<style> 正文、CSS url()/@import/@font-face,以及 data-src 等懒加载属性。
GUI 选项记忆
图形界面每次启动自动回显上次选项,配置存于 exe 同目录 webclone-gui.json;单字段损坏只回退默认值,整文件损坏自动重建。
为 NativeAOT 而生的分层设计
WPF 与 NativeAOT 不兼容(SDK 硬性报 NETSDK1168),因此业务逻辑全部下沉到 Core,由 CLI 项目实际编译验证 AOT 干净度。
src/WebClone.Core
核心引擎
net10.0,零反射,可被 NativeAOT 完整编译,全程零 IL2xxx / IL3xxx 裁剪警告。
src/WebClone.Cli
命令行版
PublishAot=true,产出免安装、秒启动的原生 exe,是 AOT 兼容性的验证载体。
src/WebClone.Wpf
图形界面
net10.0-windows,单文件自包含发布(ReadyToRun),业务逻辑全在 Core。
tests/
测试与工具
生成验证站点(含 GBK 页面、查询参数资源、CSS 嵌套引用)、支持 ETag/304/Range 的本地服务器、HTTP/SOCKS5 双模代理。
实际运行效果
单页克隆 go.dev,68 项资源全部完成,无失败。
上手只要三步
.\build.ps1 全部构建并打包到 dist\;-SkipCli 只建 GUI,-SkipGui 只建 CLI(AOT),-Clean 先清理再构建。需要 .NET 10 SDK + VS C++ 工具链。
dist\webclone-cli.exe(约 8 MB,原生免安装)与 dist\WebClone-GUI.exe(约 150 MB,单文件自包含,首次启动自解压稍慢)。
.\tests\regression.ps1 自动起服务器、跑五组场景断言并汇总 PASS/FAIL:单页克隆、增量二跑、整站三页递归、-np 不越界、GBK 转码。
常用选项
-m single|full、-o 目录、-d 深度、-c 并发、--max-pages、--no-cross-origin(不抓 CDN)、--no-incremental、--keep-absolute、--keep-external-links、--ignore-cert-errors、-v 详细日志。
已验证项
单页/整站递归、CSS 内 url()/@import/@font-face、内联 style、srcset、查询参数文件名重命名、GBK 转码、增量 304 跳过、断点续传(206 拼接后与源文件逐字节一致)、HTTP/SOCKS5 代理克隆、AOT 原生发布、重定向归一、按 Content-Type 修正扩展名。
# 一键构建脚本(Windows PowerShell) .\build.ps1 # CLI + GUI 全部构建并打包到 dist\ .\build.ps1 -SkipCli # 只构建 GUI .\build.ps1 -SkipGui # 只构建 CLI(AOT) .\build.ps1 -Clean # 先清理 dist\ 与 obj\bin 再构建 .\build.ps1 -Configuration Debug