C# · .NET 10 · WPF · NativeAOT

网页模板 / 整站克隆工具

输入网址,把页面的 HTML 源码及引用的 CSS、JS、图片、字体等资源全部下载到本地, 自动处理文件名合法性并把绝对路径改写为相对路径 —— 让克隆结果可以离线打开、不跳外站。 它是 wget 的等效重制版,带图形界面与原生命令行两种形态。

2 种单页模板 / 整站递归
≈ 8 MBCLI 原生免安装
零反射自研状态机解析器
HTTP / SOCKS5双模代理认证
webclone — PowerShell
# 单页模板,输出到指定目录
webclone https://example.com -o D:\site

# 整站递归,深度 3,并发 16
webclone https://example.com -m full -d 3 -c 16 -o D:\site

# 走 SOCKS5 代理(支持 user:pass 认证)
webclone https://example.com --proxy socks5://user:pass@127.0.0.1:1080

✓ 68 项资源全部完成,无失败 — 离线可直接打开
两种模式

对应 wget 的两种用法

语义与 wget 对齐,命令行参数可无缝迁移。

模式等价 wget 命令说明
单页模板 wget -r -E -np -c -k --ignore-tags=a <url> 只抓当前页与它引用的资源,不递归 a 链接;指向未下载页面的链接统一替换为 #,防止离线打开时跳走。
整站克隆 wget -r -np -c -k <url> 递归追踪站内链接(不向上级目录),抓全站;外站链接保留原样。
功能与实现要点

把"能用"做成"离线完整可用"

克隆一个网站的难点从来不是下载,而是编码、重定向、懒加载、CDN、扩展名这一堆边角料。

⚡

两种克隆模式

单页模板 / 整站递归,整站模式严格遵循 -np 语义,不向上级目录越界下载。

📛

文件名智能处理

URL 带查询参数时生成 原名_8位哈希.ext(如 style_78fe4a82.css),合法且可读;同时处理 Windows 保留名、非法字符与路径穿越。

🔗

路径改写

所有资源引用改写为相对路径;<base href> 重定向为 .;跨域 CDN 资源按域名归档后同样以相对路径引用。

🔀

重定向归一

跟随服务端重定向,最终地址与请求地址共享同一本地文件,整站克隆不会因链接写法差异存出两份。

🧩

类型修正

按响应的真实 Content-Type 修正落盘扩展名 —— Google Fonts 那类无扩展名动态样式表会被正确存为 .css,避免浏览器因 MIME 不符拒绝应用样式。

🛡️

单页防跳转

指向未下载页面的 a 链接统一替换为 #;整站模式保留外站原链,离线浏览体验不被中断。

🌐

HTTP / SOCKS5 代理

SOCKS5 按 RFC 1928/1929 手写实现,仅接管 TCP 建连,TLS 与 HTTP 仍交给框架,HTTPS 天然走 CONNECT 隧道;支持用户名密码认证。

📦

增量与断点续传

If-None-Match/If-Modified-Since 条件请求 304 直接跳过;Range+If-Range 续传;一律先写 .part 再原子改名,不留残缺成品。

🈶

编码自动识别

BOM → HTTP charset → meta/@charset → 严格 UTF-8 嗅探 → GB18030 兜底,统一转 UTF-8 保存并改写编码声明,GBK 页面不乱码。

🧱

解析器自研

HTML/CSS 扫描器为零依赖状态机(约 700 行),记录原文下标做原地替换,不引入反射大户,这是能过 NativeAOT 的关键。

🖼️

资源覆盖全面

<link>、<script>、<img>、srcset、video/audio/source、object/embed、iframe、内联 style、<style> 正文、CSS url()/@import/@font-face,以及 data-src 等懒加载属性。

⚙️

GUI 选项记忆

图形界面每次启动自动回显上次选项,配置存于 exe 同目录 webclone-gui.json;单字段损坏只回退默认值,整文件损坏自动重建。

项目结构

为 NativeAOT 而生的分层设计

WPF 与 NativeAOT 不兼容(SDK 硬性报 NETSDK1168),因此业务逻辑全部下沉到 Core,由 CLI 项目实际编译验证 AOT 干净度。

src/WebClone.Core 核心引擎 net10.0,零反射,可被 NativeAOT 完整编译,全程零 IL2xxx / IL3xxx 裁剪警告。
src/WebClone.Cli 命令行版 PublishAot=true,产出免安装、秒启动的原生 exe,是 AOT 兼容性的验证载体。
src/WebClone.Wpf 图形界面 net10.0-windows,单文件自包含发布(ReadyToRun),业务逻辑全在 Core。
tests/ 测试与工具 生成验证站点(含 GBK 页面、查询参数资源、CSS 嵌套引用)、支持 ETag/304/Range 的本地服务器、HTTP/SOCKS5 双模代理。
截图预览

实际运行效果

单页克隆 go.dev,68 项资源全部完成,无失败。

GUI 运行界面
GUI 运行实况单页克隆 go.dev,全部资源完成、零失败。
克隆产物目录
克隆产物按 URL 目录结构归档,引用已改写为相对路径。
离线渲染效果
离线渲染效果本地静态服务打开,样式、图片、字体完整加载。
构建与测试

上手只要三步

一键构建

.\build.ps1 全部构建并打包到 dist\;-SkipCli 只建 GUI,-SkipGui 只建 CLI(AOT),-Clean 先清理再构建。需要 .NET 10 SDK + VS C++ 工具链。

拿到产物

dist\webclone-cli.exe(约 8 MB,原生免安装)与 dist\WebClone-GUI.exe(约 150 MB,单文件自包含,首次启动自解压稍慢)。

一键回归

.\tests\regression.ps1 自动起服务器、跑五组场景断言并汇总 PASS/FAIL:单页克隆、增量二跑、整站三页递归、-np 不越界、GBK 转码。

常用选项

-m single|full、-o 目录、-d 深度、-c 并发、--max-pages、--no-cross-origin(不抓 CDN)、--no-incremental、--keep-absolute、--keep-external-links、--ignore-cert-errors、-v 详细日志。

已验证项

单页/整站递归、CSS 内 url()/@import/@font-face、内联 style、srcset、查询参数文件名重命名、GBK 转码、增量 304 跳过、断点续传(206 拼接后与源文件逐字节一致)、HTTP/SOCKS5 代理克隆、AOT 原生发布、重定向归一、按 Content-Type 修正扩展名。

build.ps1
# 一键构建脚本(Windows PowerShell)
.\build.ps1                # CLI + GUI 全部构建并打包到 dist\
.\build.ps1 -SkipCli       # 只构建 GUI
.\build.ps1 -SkipGui       # 只构建 CLI(AOT)
.\build.ps1 -Clean         # 先清理 dist\ 与 obj\bin 再构建
.\build.ps1 -Configuration Debug

把网页完整地留在本地

WebClone 是开源项目,另有一个 Rust 实现版,打包体积更小:WebClone-rs。