楓念的博客

DeepSeek V4 新模型该如何使用：以 Claude Code 工程流为例

楓念 — Fri, 24 Apr 2026 00:00:00 GMT

这篇文章不是“参数抄作业”，而是“把模型用出业务价值”的一套可执行方法。你会看到：模型怎么选、调用怎么写、流程怎么落地、质量怎么控、团队怎么协作。

一、先把问题问对：你到底在“用模型做什么”？

很多人一上来就比较“哪个模型更强”，然后把整个系统做成“单轮对话 + 大段提示词 + 盲目上线”。结果通常是：

成本飙升。
延迟不可控。
正确率不稳定。
线上不可解释。
团队无法复现。

真正应该先回答的是：你的场景是“快响应优先”，还是“推理质量优先”？

结合 DeepSeek 官方 API 文档（2026-04 读取）可以看到，当前主力模型是：

deepseek-v4-flash：更偏吞吐与成本效率。
deepseek-v4-pro：更偏复杂任务质量。

并且官方明确提到：deepseek-chat 与 deepseek-reasoner 将在未来进入兼容迁移路径（文档显示已给出弃用时间窗口），本质上分别对应 V4 Flash 的非思考模式与思考模式。这条信息非常关键，因为它直接影响你的 SDK 封装、路由规则和历史兼容策略。

二、以 Claude Code 为例：正确理解“工具层”和“模型层”

先澄清一个常见误区：

Claude Code 是一个工程代理工作台（会读代码、改文件、跑命令、协助评审）。
DeepSeek V4 是你应用里的推理模型服务。

两者不是二选一关系，而是分层关系：

你可以用 Claude Code 帮你构建、重构、测试“调用 DeepSeek V4 的业务系统”。
你也可以让 Claude Code 帮你做压测脚本、评测集、回归测试、告警策略。

一句话：Claude Code 负责“把工程做对”，DeepSeek V4 负责“把推理做好”。

三、从 0 到 1：一套可落地的 DeepSeek V4 接入骨架

根据 DeepSeek API 文档，OpenAI 兼容格式的基础调用要点是：

Base URL: https://api.deepseek.com
典型模型名：deepseek-v4-flash / deepseek-v4-pro
可启用 thinking 模式，并可设置 reasoning_effort

1）最小可运行调用（Python）

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_DEEPSEEK_API_KEY",
    base_url="https://api.deepseek.com"
)

resp = client.chat.completions.create(
    model="deepseek-v4-pro",
    messages=[
        {"role": "system", "content": "你是资深后端工程师，回答需给出可执行步骤。"},
        {"role": "user", "content": "请帮我设计一个高并发下的限流方案。"}
    ],
    thinking={"type": "enabled"},
    reasoning_effort="high",
    stream=False
)

print(resp.choices[0].message.content)

2）路由策略建议

把任务分成三层：

L1（轻问答/改写/分类）：默认走 v4-flash。
L2（中等推理/代码解释/文档生成）：先 flash，低置信度再升级 pro。
L3（复杂规划/多约束决策/高风险输出）：直接 v4-pro + thinking。

这个策略比“全部 pro”更稳，通常能在质量和成本之间取得更高 ROI。

四、把 Claude Code 放进来：工程流程怎么设计

Anthropic 的 Claude Code 文档（overview/quickstart/best-practices）反复强调一件事：

给模型“可验证目标”，并把流程拆成 Explore -> Plan -> Implement -> Verify。

这和你使用 DeepSeek V4 完全同构。建议你在团队里采用下面这套标准流程。

Phase A：探索（Explore）

让 Claude Code 先读代码再提方案，不要直接改。

claude
# 提示词示例
请先阅读 @src/llm 和 @src/api，梳理当前模型调用链、重试策略、超时策略。
只输出风险点和改造建议，不要改代码。

Phase B：规划（Plan）

明确“哪些文件改、为什么改、怎么验证”。

请基于当前项目输出 DeepSeek V4 迁移计划：
1) 兼容旧模型名
2) 增加 flash/pro 路由
3) 增加失败重试与熔断
4) 增加评测脚本
并给出每一步的回滚方案。

Phase C：实现（Implement）

要求 Claude Code 一次只做一类改动，避免大杂烩提交。

按计划先实现第 1 和第 2 步。完成后仅运行相关单测，不跑全量回归。

Phase D：验证（Verify）

Claude Code 官方最佳实践里最重要的一条是：必须给可验证标准。例如：

指定测试命令。
指定通过阈值。
指定失败处理。

运行以下验证：
- 单测：npm run test -- llm-router
- 评测：npm run eval:llm -- --suite routing_v4
- 通过标准：准确率 >= 85%，P95 延迟 <= 2.5s
失败时输出根因分析和修复建议。

五、你最容易踩的 8 个坑（含规避方案）

坑 1：把“思考模式”滥用到所有请求

现象：成本上涨、延迟升高。
处理：只在高价值高复杂任务启用。

坑 2：历史兼容没有做模型别名层

现象：旧调用方大量失败。
处理：保留 alias 映射层，统一在网关转换。

坑 3：把推理链路当黑盒

现象：线上出错无法复盘。
处理：记录输入模板版本、路由决策、模型参数、输出摘要哈希。

坑 4：只看主观“像不像对”，不做评测集

现象：版本升级后质量回退没人发现。
处理：建立固定 eval set（基础题、边界题、对抗题）。

坑 5：没有输出结构约束

现象：下游解析异常。
处理：统一 JSON Schema 校验，失败自动重试或降级。

坑 6：忽略缓存命中收益

现象：相同请求反复付费。
处理：提示词模板分层，静态前缀缓存。

坑 7：错误地把 SDK 参数“看成生效”

DeepSeek 历史文档里对某些模型参数有“兼容但不生效”的说明（例如旧推理模型对部分采样参数）。生产系统必须显式记录每个参数是否真的生效。

坑 8：团队只学“提示词”，不学“任务拆解”

现象：提示词越写越长，效果越来越飘。
处理：先拆任务、再定约束、后写提示。

六、成本、延迟、质量：三角平衡怎么做

你可以把每个请求看成一个优化问题：

$$ \text{Business Value} = f(\text{Quality}, \text{Latency}, \text{Cost}, \text{Risk}) $$

实践上建议：

每周审一次路由命中率（flash/pro 比例）。
每周审一次失败重试分布（哪些任务常失败）。
每两周审一次评测集（是否过拟合旧题）。
每月审一次“人审工时节省率”。

如果你要一个“能直接交付老板”的指标板，我建议至少有：

质量: 任务成功率、人工返工率。
效率: P50/P95 延迟、吞吐。
成本: 每千请求成本、缓存命中率。
风险: 高风险输出拦截率、回滚次数。

七、面向生产环境的提示词模板（可复用）

模板 A：规范型输出

你是资深技术顾问。
任务：根据输入生成方案。
强约束：
1) 输出必须为 JSON
2) 字段包括 summary, steps, risks, fallback
3) steps 至少 5 步，每步不超过 60 字
4) 不确定时必须显式写 unknown

模板 B：代码修复型

你是代码修复助手。
目标：修复 bug 并保持向后兼容。
必须遵守：
1) 先描述根因，再给 patch 思路
2) 不能删除公共 API
3) 必须给回归测试点
4) 输出格式：RootCause / Patch / Tests / Rollback

模板 C：高风险决策型

你是架构评审专家。
请先列出假设，再给建议。
若证据不足，必须输出“需要更多数据”。
禁止给绝对化结论。

八、30 天落地计划（个人/小团队都能执行）

第 1 周：打底

接入 DeepSeek V4，做最小 API 封装。
引入日志字段：模型名、参数、请求 ID。
设计 30 条评测样本。

第 2 周：分层路由

建立 flash/pro 路由规则。
增加超时、重试、熔断。
完成第一版成本看板。

第 3 周：工程化

用 Claude Code 补齐单测与回归脚本。
引入输出结构校验。
增加失败样本自动归档。

第 4 周：上线治理

灰度发布（10% -> 30% -> 100%）。
做一次版本复盘与参数冻结。
形成团队 SOP 与值班手册。

九、结语：模型升级不是“换名字”，而是“换生产方式”

DeepSeek V4 给了你很强的模型底座，但真正决定上限的，是你如何把它嵌入工程系统。把 Claude Code 这样的代理工具当作“工程增幅器”，你会发现：

迭代速度更快。
回归质量更稳。
团队协作更可复制。

如果只追“单次回答惊艳”，你会很快掉回手工救火；如果追“系统持续可交付”，你才会在半年后仍然领先。

参考资料

DeepSeek API Docs: Your First API Call, Models & Pricing, Reasoning Model（2026-04 访问）
Claude Code Docs: Overview / Quickstart / Best Practices（2026-04 访问）
Anthropic News: Claude 3.7 Sonnet and Claude Code（2025-02-24）

目前掌握哪些 AI 工具相关技能，更有利于找工作？一份 2026 实战路线图

楓念 — Fri, 24 Apr 2026 00:00:00 GMT

如果你只学“一个 AI 工具怎么用”，你会很快被替代；如果你学会“如何把 AI 变成稳定产出系统”，你会越来越值钱。

一、先看趋势：不是“会不会被替代”，而是“你能不能放大自己的杠杆”

关于 AI 与就业，最常见的两种错误判断是：

过度乐观：觉得只要会用 ChatGPT/Copilot 就能涨薪。
过度悲观：觉得 AI 一来所有知识工作都没机会。

现实更接近第三种：岗位结构在重排，价值密度在重估。

从公开研究信号看，方向非常清晰：

世界经济论坛 Future of Jobs 2025 指出，到 2030 年，技能结构会继续剧烈变化，技术技能与人类通用能力将同时走强。
微软 Work Trend Index 2025 指出，组织开始从“人做全部工作”转向“人 + Agent 混合协作”，并提出“agent boss（代理管理者）”能力。
LinkedIn 在 WorkLab 相关文章中强调，未来竞争力不仅是工具熟练度，更是 5Cs（好奇心、勇气、创造力、同理心、沟通）这类人类能力。

所以真正的问题不是“学不学 AI”，而是：你是否正在构建“技术能力 + 业务能力 + 协作能力”的复合竞争力。

二、找工作最有用的，不是单点技能，而是 4 层能力栈

我建议你把技能拆成四层。每一层都要有“能被验证的产出”。

第 1 层：AI 使用与提问能力（入门门槛）

这是最低层，也是很多人停留的层次。包含：

能写结构化提示词。
知道如何补上下文（文件、数据、约束、目标）。
能做多轮纠偏，而不是一次性“玄学提问”。

招聘价值：有，但不高。因为很快会成为默认能力。

第 2 层：工具链编排能力（效率分水岭）

你要会把多个工具串起来，而不是“单工具表演”。例如：

Claude Code / Copilot 负责代码协作与工程实现。
模型 API（DeepSeek、Claude、其他）负责推理与生成。
自动化脚本负责批处理、评测、回归、告警。

招聘价值：高。因为这层直接决定“是否能进生产”。

第 3 层：业务问题建模能力（价值核心）

你要能把“模糊需求”转成“可执行系统”。比如：

把客服效率问题拆成意图识别、知识召回、回复生成、人工兜底。
把运营内容问题拆成选题、素材、风格约束、质量评审、发布复盘。
把研发质量问题拆成静态检查、单测生成、回归验证、风险分级。

招聘价值：很高。因为你能直接对业务结果负责。

第 4 层：治理与可靠性能力（高级门槛）

真正让你从“会用 AI 的执行者”升级为“可托付的负责人”的，是：

成本治理（token 成本、缓存命中、模型路由）。
风险治理（越权输出、事实幻觉、数据泄露）。
质量治理（评测集、回归、线上监控）。

招聘价值：顶级。因为企业最终买的是“可控的确定性”。

三、当前最值得掌握的 12 个 AI 工具相关技能

下面这 12 项，我按“就业杠杆”排序，并给出为什么有用。

1）Prompt 结构化设计

重点：角色、目标、输入、约束、输出格式、验收标准。
为什么有用：直接提升首次命中率，减少返工。

2）模型路由与参数策略

重点：什么时候用快模型，什么时候用强模型，怎么降级。
为什么有用：同时影响成本、速度和质量。

3）RAG 与知识接入

重点：文档切分、检索策略、上下文注入、来源标注。
为什么有用：大多数企业场景都需要“基于私有知识回答”。

4）Agent 工作流编排

重点：任务拆分、工具调用、状态管理、异常恢复。
为什么有用：从“问答”升级到“任务完成”。

5）评测与回归体系

重点：构建标准样本集，定义通过阈值，自动回归。
为什么有用：避免每次上线都靠人拍脑袋。

6）代码协作 AI（Claude Code / Copilot 等）

重点：探索-规划-实现-验证的协作节奏。
为什么有用：研发岗位直接加速器。

7）自动化与脚本能力

重点：Python/Node 脚本、CLI 管道、批处理。
为什么有用：把一次性效率变成可重复产能。

8）数据处理与分析能力

重点：SQL、Pandas、可视化、指标定义。
为什么有用：没有数据闭环，AI 就无法持续优化。

9）AI 安全与合规意识

重点：隐私、权限、审计、提示注入防护。
为什么有用：企业落地最怕“出一次事故”。

10）业务沟通与需求澄清

重点：把技术语言翻译为业务结果。
为什么有用：决定你是否能从执行者走向负责人。

11）跨职能协作能力

重点：产品、研发、运营、法务对齐。
为什么有用：AI 项目天然跨部门。

12）持续学习机制

重点：每周复盘、每月更新、案例积累。
为什么有用：AI 变化快，不学习就掉队。

四、岗位映射：不同方向该优先学什么

A. 前后端/全栈工程师

优先顺序：

代码协作 AI + 测试生成。
模型 API 接入 + 路由策略。
评测回归 + 监控告警。

目标：你不只是“会写代码”，而是“会交付 AI 功能”。

B. 数据分析/数据产品

优先顺序：

数据清洗与特征理解。
检索增强与报表自动化。
指标看板与实验评估。

目标：你不只是“做报表”，而是“驱动业务决策”。

C. 运营/市场/内容岗位

优先顺序：

内容生产工作流自动化。
A/B 文案实验与反馈闭环。
用户洞察与策略复盘。

目标：你不只是“提高产量”，而是“提高转化质量”。

D. 产品经理/项目经理

优先顺序：

需求建模与任务拆解。
质量与风险治理。
跨部门流程设计。

目标：你不只是“写 PRD”，而是“推动 AI 能力落地并稳定运营”。

五、什么样的作品集最能打动招聘方

简历里写“熟悉 AI 工具”几乎没有区分度。你需要的是可验证案例。

我建议至少准备 3 个项目：

一个效率类项目：例如“自动代码审查与修复建议流水线”。
一个业务类项目：例如“客服知识库问答助手 + 人工兜底”。
一个治理类项目：例如“模型评测平台（准确率/延迟/成本）”。

每个项目都写清楚 6 件事：

问题定义。
技术方案。
关键权衡。
指标提升。
风险与失败。
下一步优化。

面试官最喜欢的不是“完美项目”，而是你能说明白：

为什么这么做。
为什么这么取舍。
出问题时怎么修。

六、90 天提升计划（可直接执行）

第 1-30 天：打基础，建立可重复习惯

每天 30 分钟：练结构化提示词。
每周 2 次：用 AI 工具完成真实工作任务并复盘。
完成一个小工具：例如批量摘要/分类脚本。

输出物：

提示词模板库。
一份复盘日志。
一个可运行仓库。

第 31-60 天：做系统，形成端到端能力

做一个完整 AI 小项目（有前后端或脚本链路）。
接入至少一种模型 API（如 DeepSeek V4）。
增加最小评测与回归机制。

输出物：

项目 README（含架构图、指标、截图）。
Demo 视频（3 分钟以内）。
面试讲解稿（5 分钟版本）。

第 61-90 天：向岗位对齐，形成求职战斗力

根据目标岗位重写简历和项目叙述。
进行 5 次模拟面试（技术 + 业务 +行为）。
持续迭代项目，补足安全与成本治理。

输出物：

岗位定制版简历。
项目案例库。
一页纸“我能带来的业务价值”。

七、面试中最加分的回答框架

当被问“你会哪些 AI 工具”时，避免只报工具名。建议用这个结构：

我解决的业务问题是什么。
我如何拆分任务并选择工具。
我如何验证结果是否有效。
我如何控制成本与风险。
我沉淀了什么可复用资产。

示例回答：

我在上一段实践里做了客服场景自动化，先用检索增强保证事实来源，再用模型生成回答，最后加人工兜底与反馈学习。上线后首次响应时间下降 40%，人工重复答复工时下降 30%。我把提示词模板、评测数据和回归脚本都沉淀到了仓库，后续新同学可以一周内接手。

这种回答，远比“我会很多 AI 工具”有说服力。

八、你真正要争取的，是“AI 时代的职业复利”

AI 不会只改变一个岗位，而是改变“价值如何被创造和分配”。

如果你只把 AI 当“一个会聊天的软件”，你的成长会很快见顶；如果你把 AI 当“可编排的生产力系统”，你的职业上限会被持续抬高。

请记住这三句话：

会用工具是起点，不是壁垒。
能交付结果才有溢价。
能稳定交付结果的人，才是企业真正想要的人。

参考资料

World Economic Forum, The Future of Jobs Report 2025（Digest 与 Stories 页面）
Microsoft Work Trend Index 2025: The year the Frontier Firm is born
Microsoft WorkLab: The essential human skills for AI success? Focus on the 5Cs
Coursera: 5 In-Demand Jobs Requiring AI Skills（用于岗位技能分类参考）

Next.js 动漫风格博客系统

Admin — Tue, 09 Dec 2025 00:00:00 GMT

Next.js 动漫风格博客系统

一个充满动漫元素的现代化个人博客系统，采用最新的 Next.js 16 和 React 19 技术栈构建。

🎨 项目特色

动漫风格界面：粉色主题，流星动画，充满少女心的视觉设计
响应式布局：完美适配桌面端和移动端
流畅动画：基于 Framer Motion 的丝滑交互体验
Markdown 支持：完整的文章编写和渲染能力
代码高亮：支持多种编程语言的语法高亮显示

🚀 技术栈

核心框架

Next.js 16.0.7：采用最新的 App Router 架构和 Turbopack 构建工具
React 19.2.1：最新的 React 版本，支持服务端组件
TypeScript：完整的类型支持，提升开发体验

UI 与样式

Tailwind CSS 3.4：原子化 CSS 框架，快速构建界面
Framer Motion 11：强大的动画库，实现流畅的页面交互
响应式设计：移动端友好的自适应布局

内容处理

gray-matter：解析 Markdown 文件的 Front Matter
remark & remark-html：Markdown 转 HTML
remark-gfm：GitHub 风格的 Markdown 扩展
rehype-highlight：代码语法高亮

工具库

date-fns：现代化的日期处理库

📦 功能模块

1. 首页动画

50 颗星星的流动动画
5 颗流星划过效果
渐变背景和霓虹文字特效

2. 博客文章系统

Markdown 文章编写
文章列表展示（带随机名言）
文章详情页面
代码高亮显示
标签分类

3. 侧边栏功能

左侧边栏：

个人头像（支持网络图片）
用户信息展示
社交链接

右侧边栏：

动漫日历显示
图片轮播展示
相册集合

4. 导航系统

首页
博客列表
相册展示
关于页面
流畅的页面切换动画

🛠️ 使用方法

安装依赖

npm install

开发环境运行

npm run dev

访问 http://localhost:3000 查看效果。

生产环境构建

npm run build
npm start

✍️ 添加文章

在 posts/ 目录下创建 .md 文件：

---
title: "文章标题"
date: "2025-12-09"
tags: ["标签1", "标签2"]
excerpt: "文章简介"
author: "作者名"
---

# 文章内容

这里是正文内容...

Front Matter 字段说明

title: 文章标题（必填）
date: 发布日期，格式 YYYY-MM-DD（必填）
tags: 标签数组（必填）
excerpt: 文章摘要（必填）
author: 作者名称（必填）

⚙️ 配置文件

`data/config.json` - 基础配置

{
  "userInfo": {
    "name": "你的名字",
    "bio": "个人简介",
    "avatar": "头像图片 URL",
    "github": "GitHub 链接",
    "email": "邮箱地址"
  }
}

`data/quotes.json` - 名言配置

存储首页和文章列表展示的随机名言。

`data/carousel.json` - 轮播图配置

配置右侧边栏的图片轮播内容。

`data/albums.json` - 相册配置

配置相册页面的图片集合。

🌐 图片配置

项目支持外部图片链接，需在 next.config.mjs 中配置允许的域名：

images: {
  remotePatterns: [
    {
      protocol: 'https',
      hostname: 'your-image-host.com',
    },
  ],
}

🎯 项目亮点

性能优化：
- 使用 Next.js 16 的 Turbopack 超快构建
- 服务端组件减少客户端 JavaScript
- 图片自动优化
开发体验：
- TypeScript 完整类型支持
- 热模块替换（HMR）
- 清晰的项目结构
用户体验：
- 流畅的页面切换动画
- 响应式设计适配多端
- 代码块语法高亮
- 可爱的动漫风格 UI
可扩展性：
- 模块化组件设计
- 配置文件分离
- 易于添加新功能

📂 项目结构

├── app/                    # Next.js App Router 页面
│   ├── layout.tsx         # 根布局
│   ├── page.tsx           # 首页（流星动画）
│   ├── home/              # 博客列表
│   ├── post/[id]/         # 文章详情
│   ├── albums/            # 相册页面
│   └── about/             # 关于页面
├── components/            # React 组件
│   ├── Sidebar.tsx        # 左侧边栏
│   ├── RightSidebar.tsx   # 右侧边栏
│   ├── PostList.tsx       # 文章列表
│   └── ...
├── data/                  # 配置文件
│   ├── config.json        # 基础配置
│   ├── quotes.json        # 名言
│   ├── carousel.json      # 轮播图
│   └── albums.json        # 相册
├── lib/                   # 工具函数
│   └── posts.ts           # 文章处理
├── posts/                 # Markdown 文章
├── styles/                # 全局样式
└── public/                # 静态资源

🔧 技术细节

性能优化

预渲染星星和流星位置，避免 SSR/CSR 不一致
使用 useEffect 延迟加载客户端组件
图片懒加载和自动格式转换

兼容性处理

修复 React 19 hydration 错误
处理 Next.js 16 参数异步化
配置图片远程域名白名单

📝 更新日志

v0.1.0 (2025-12-09)

✅ 升级到 Next.js 16.0.7 和 React 19.2.1
✅ 修复所有 hydration 错误
✅ 优化动画性能
✅ 添加图标配置
✅ 支持网络图片头像

💡 开发建议

添加文章：直接在 posts/ 目录创建 .md 文件即可
修改配置：编辑 data/ 目录下的 JSON 文件
自定义样式：修改 Tailwind 配置或组件内的 className
添加功能：在 components/ 创建新组件并引入

🤝 贡献

欢迎提交 Issue 和 Pull Request！

📄 许可证

MIT License

Enjoy coding! 🎉

虚拟机使用操作（以及如何使用sbt工具打jar包）

楓念 — Fri, 21 Mar 2025 00:00:00 GMT

虚拟机有个小问题需要解决

（2025.03.21之前复制的有这个问题，在21号之后复制的我已经在虚拟机文件上解决了这个问题）

打开虚拟机后默认登陆的用户为”feng”，但是hadoop,spark,scala等各种东西都安装在hadoop用户下，所以直接使用命令start-all.sh会发现报错找不到命令，feng用户是创建系统的时候搞的默认用户，现在用不到它了可以把他删除掉。

打开虚拟机后会自动登陆到feng用户，先点击右上角的按钮，选择登出，然后切换成hadoop用户（所有有密码的东西密码都是123456）

进入hadoop用户后，打开终端输入以下命令：sudo user -r feng

来删除用户feng，密码是123456

正式开始本次的教程

1.hadoop的使用

我已经将hadoop相关环境变量全部配置好了，所以hadoop相关的指令都可以直接使用：

start-dfs.sh    # 开启hdfs服务
start-yarn.sh   # 开启yarn服务
start-all.sh    # 开启全部hadoop服务
stop-all.sh     # 关闭全部hadoop服务

（其它的命令也同样可以直接使用，这里不再赘述）

hadoop的相关服务是拥有web可视化页面的，先使用命令：ifconfig 来查看自己本机的IP地址，然后在浏览器中输入本机IP:9870，本机IP:8088，可分别进入到hdfs和YARN的管理页面。（如下图）

(hadoop的相关服务启动后才能进入这些页面，在虚拟机或者windows主机的浏览器都可以打开，如果不能打开请检查自己windows电脑的防火墙设置)

HDFS文件管理页面

HDFS的文件管理页面是我们常用的，所以说一下怎么进这个页面，在dfs管理页面中（IP:9870）点击上方菜单栏的Utilities然后选择第一个选项就进入HDFS文件管理页面了。

2.其它项目（spark,scala）使用方法

略

（烙铁，spark命令行和scala代码怎么写都可以问AI的）

3.如何将scala代码打包成jar包

此教程的主要目的来了，由于真的在终端中敲代码的话，比较麻烦（用vim写代码的都是大哥），所以我们在拥有可视化页面的IDEA中进行代码编写和打包（因为IDEA中有插件能很好的创建scala项目和编写scala代码）关于如何创建scala项目，可以先去看我的另一篇博客（安装并编写scala代码（在windows中）），这里不再说一遍了。

不同之处

当看完另一篇教程后，你应该已经会创建scala项目了，此时我们再创建一个新的scala项目，创建的时候不再选择使用IntelliJ来构建系统，因为我们要打包，所以要使用sbt来构建项目，以便后续能直接在IDEA中使用sbt打包。

构建系统选择sbt，Scala版本选择2.13.11（和虚拟机中的Spark版本兼容性好，同时虚拟机中用的scala版本也是这个）

等待项目构建完成之后，会在左侧项目文件管理栏中有一个”build.bat”文件，它管理着项目的一些配置，我们更改它为下图中这样：

ThisBuild / version := "0.1.0-SNAPSHOT"

ThisBuild / scalaVersion := "2.13.11"

lazy val root = (project in file("."))
  .settings(
    name := "sbt_demo",
    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % "3.4.4", // 根据你的 Spark 版本选择合适的依赖
      "org.apache.spark" %% "spark-sql" % "3.4.4"
    )
  )

然后点击悬浮的小按钮重新构建项目。

重新构建完成后就可以进行scala代码的编写

问AI代码怎么写，别问我。

下面是AI写的代码：

import org.apache.spark.sql.SparkSession

object HDFSLineCount {
  def main(args: Array[String]): Unit = {
    // 创建 SparkSession
    val spark = SparkSession.builder
      .appName("HDFS Line Count")
      .getOrCreate()

    // 读取 HDFS 文件
    val filePath = "/user/hadoop/test.txt"
    val lines = spark.read.textFile(filePath)

    // 统计行数
    val lineCount = lines.count()
    println(s"test.txt文件的行数是: $lineCount") // 这行代码将结果输出到控制台

    // 停止 SparkSession
    spark.stop()
  }
}

代码文件要在上图指示的这个目录下

然后点击启动左下角的sbt工具的sbt shell，输入指令package进行打包。

打包出来的jar包在target/scala2.13文件目录下。

4.使用spark运行jar包

将jar包导入到虚拟机中（放在哪个目录都可以，只要自己能够找到就行）

然后启动hadoop，因为要sparky运行依托于hadoop的YARN服务。

然后执行下面的命令进行运行

可以在打开hadoop服务后直接先运行这串指令试试，因为我已经在虚拟机中放了一个jar包。

spark-submit \
--class HDFSLineCount \
--master yarn \
--deploy-mode cluster \
--name "HDFS Line Count Application" \
--num-executors 3 \
--executor-memory 2g \
--executor-cores 2 \
/home/hadoop/sbt_demo_2.13-0.1.0-SNAPSHOT.jar

参数说明

--class HDFSLineCount：指定包含 main 方法的类名，即 HDFSLineCount。
--master yarn：指定使用 YARN 作为资源管理器。
--deploy-mode cluster：指定驱动程序在集群中运行（而不是在提交命令的机器上运行）。
--name "HDFS Line Count Application"：为应用程序指定一个名称，便于在 YARN 界面中识别。
--num-executors 3：指定分配 3 个执行器。
--executor-memory 2g：为每个执行器分配 2GB 内存。
--executor-cores 2：为每个执行器分配 2 个 CPU 核心。
/home/hadoop/sbt_demo_2.13-0.1.0-SNAPSHOT.jar：指定 JAR 文件的路径。

执行命令后的结果，程序的输出结果并不会在终端中显示，而是在YARN管理的日志中显示。

打开浏览器输入 IP:8088 进入YARN管理页面，然后选择你刚刚运行的jar的应用ID号（在终端中输入显示的有），以本程序为例程序ID为：application_1742486156184_0002，注意，每一次程序运行后产生的程序ID号都不同（但其实也没必要太注意，因为这里的日志是缓存，会被自动清理掉，每次运行完程序可能这里就只有一两个日志）

点击进入刚刚运行的jar包的程序运行信息中

然后滑到页面最下方，找到日志(logs)点击进入

最后点击日志中的输出文件（stdout（标准输出））

可以看到程序的运行输出结果

安装并编写scala代码（在windows中）

楓念 — Fri, 14 Mar 2025 00:00:00 GMT

这周日就截止scala（大数据分析与内存计算课程）的作业了，但有些人（赵某）还没装scala，所以写个简单教程

老师说过，在windows中和Linux中写scala作业都行，我推荐是在windows中写，因为写代码不用用vim一点一点敲了，还有代码提示，复制粘贴也更好用。在windows下写的scala代码可以直接把文件复制到linux中（需要装scala）直接运行的。

（PS:此教程不需要事先装好JAVA JDK,scala SDK等，本教程中有安装这些的环节）

（安装插件的过程受网络环境影响，会比较慢，让它自己在那下载就好，可以先去做其他事）

1.安装IntelliJ IDEA（这个是写java代码的，和pycharm是同一个公司制作的软件）

社区版（免费版）和专业版（付费版）都可以用，想省劲直接用社区版，想体验完整功能就去找专业版破解教程，这里不再讲述。

2.打开软件后进行项目的创建

我的IDEA是汉化过的，但是否是中文不影响后续操作，因此不再讲解怎么汉化。

第一次打开IDEA就是这样一个页面，点击创建一个新项目。

3.安装scala插件

初始进行创建项目的时候，是没有创建scala项目的选项的，因此需要下载scala插件以便能够创建scala项目。

点击左下角蓝色字体，跳转到插件商店页面。

选择”Marketplace”然后搜索scala，然后点击安装。

4.scala项目的初始化配置

安装完scala插件后回到刚刚的项目创建页面，选择和填写一个scala项目的初始化配置（如下图）。

JAVA的JDK也可以直接在这里面下载，点击下拉菜单后可以选择用自己的JDK或者下载其它版本的JDK。

不需要事先安装好scala SDK，在这里可以直接选择下载它默认推荐的scala SDK版本

配置完成后就可以点击确定创建scala项目了。

5.测试运行scala代码

scala代码文件都在src/目录下，后续创建新的代码文件时记得也在这个文件夹下创建。

在右上角选择到当前文件，然后就可以点击运行了。

（第一次运行他会进行编译，会比较慢）

程序正常运行，输出正常执行，教程结束。

scrapy分布式爬虫

楓念 — Tue, 10 Dec 2024 00:00:00 GMT

做一下分布式爬虫的教程

目前的scrapy分布式爬虫一般都是基于redis数据库的分布式爬虫。

并且真正的分布式是在多台机器上运行同一个项目，但是应该没有富哥/富婆有多台机器（电脑）。

所以还剩下两种方案：

1.直接在你电脑主机上（windows系统）上写一个分布式项目，然后同时运行多次这个项目（相当于多进程）

2.搞虚拟机来模拟多台机器

由于我电脑硬盘空间十分滴宝贵（没空间了），所以我使用第一种方法。

开始准备：下载redis数据库

redis数据库是一种类似mongodb的非关系型数据库，优点就是实时性以及速度非常滴快，占用空间也很小。

下面是下载链接：

redis-2.8.9: https://pan.baidu.com/s/1uRleT7jweEoays2yqekh-w?pwd=m9kw

只有redis数据库还是不够的，我们需要一个有操作界面的工具软件，类似mysql我们使用navicat来连接操控，毕竟没人喜欢用数据库自带的命令行一行一行的敲命令吧。

Tiny RDM ：https://pan.baidu.com/s/1eyDsKGwGEgv7E24qVEvpiw?pwd=e5a6

redis数据库下载后是一个压缩包，解压后会出现一堆.exe文件，因为我们只是简单使用，所以不需要修改redis的配置（conf文件），直接双击 redis-server.exe 文件就启动了redis数据库。

然后就可以使用工具来连接redis数据库来看看数据库是否正常运行，Tiny RDM软件不需要安装，双击打开可以直接使用。

点击添加新连接。

因为我们是在本地运行多个分布式爬虫项目,所以没有配置redis数据库的远程连接，并且每有配置密码，所以连接地址默认使用127.0.0.1本地回环，端口也是默认6379，密码不需要填写，只需要填写一个连接名就可以了。

这是连接成功后的界面，如果连接失败看看自己是不是把redis服务启动后弹出的终端窗口关闭了，这个终端窗口在redis运行期间是不能关闭的。

redis数据库配置完成，目前我们还用不到它，我们先去创建scrapy项目

在PyCharm中创建一个新的项目，然后在左下角找到终端按钮打开，然后安装scrapy的库：pip install scrapy

然后创建一个scrapy的项目：scrapy startproject douban

然后进入scrapy项目的文件夹中：cd douban

创建一个示例爬虫代码文件：scrapy genspider douban250 douban.com

先修改一下基础的示例代码文件，然后运行项目：scrapy crawl douban250

测试一下是否能成功访问豆瓣250。

我们可以发现返回的状态码为空（当状态码为200时才是成功访问），原因是因为我们还没有进行访问头user-agent的配置，所以豆瓣250禁止我们访问，我们需要去修改settings.py配置文件。

USER_AGENT为访问头

同时我们发现输出中有大量的DEBUG信息和INFO信息，但是这些信息只是日志信息，既不是报错，也不是我们需要的信息，所以使用LOG_LEVEL来设置日志等级，设置为”WARNING”即只有警告以及报错以上的信息才会提示你。

同时我们可以顺便进行一下scrapy连接redis数据库的相关配置。

以及把管道打开（把ITEM_PIPELINES前面的注释删除掉）,并且因为要使用scrapy-redis,所以还要把redis的管道加上

REDIS_HOST：redis数据库的连接地址，因为在本地，所以使用127.0.0.1

REDIS_PORT:为redis数据库服务用的端口号

REDIS_DB：为要使用redis的哪个数据库（初始默认有15个数据库，这里使用7号数据库）

REDIS_PASSWORD：redis数据库的密码，咱们没有配置密码，所以这一项可以不用添加

下面三行是使用redis的调度器替换scrapy调度器列表的相关配置

不知道上面的配置文件怎么搞？没事，可以直接复制下面的完整文件覆盖掉你的settings.py文件

# Scrapy settings for douban project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = "douban"

SPIDER_MODULES = ["douban.spiders"]
NEWSPIDER_MODULE = "douban.spiders"

LOG_LEVEL = "WARNING"
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
DOWNLOAD_DELAY = 2  # 设置请求之间的延迟为 2 秒

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
# CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
# CONCURRENT_REQUESTS_PER_DOMAIN = 16
# CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
# COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
# TELNETCONSOLE_ENABLED = False

# Override the default request headers:
# DEFAULT_REQUEST_HEADERS = {
#    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
#    "Accept-Language": "en",
# }

# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
# SPIDER_MIDDLEWARES = {
#    "douban.middlewares.DoubanSpiderMiddleware": 543,
# }

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
# DOWNLOADER_MIDDLEWARES = {
#    "douban.middlewares.DoubanDownloaderMiddleware": 543,
# }

# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
# EXTENSIONS = {
#    "scrapy.extensions.telnet.TelnetConsole": None,
# }

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 301,
    "douban.pipelines.DoubanPipeline": 300,
}

# redis相关配置
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_DB = 7
# REDIS_PASSWORD = ''

# scrapy_redis相关配置
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
SCHEDULER_PERSIST = True  # 如果为真，则在关闭时自动保存请求信息
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'  # 去重的逻辑,要使用redis的

# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
# AUTOTHROTTLE_ENABLED = True
# The initial download delay
# AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
# AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
# AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
# AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
# HTTPCACHE_ENABLED = True
# HTTPCACHE_EXPIRATION_SECS = 0
# HTTPCACHE_DIR = "httpcache"
# HTTPCACHE_IGNORE_HTTP_CODES = []
# HTTPCACHE_STORAGE = "scrapy.extensions.httpcache.FilesystemCacheStorage"

# Set settings whose default value is deprecated to a future-proof value
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
FEED_EXPORT_ENCODING = "utf-8"

然后再回到爬虫代码

由于我在代码中使用了scrapy自带的items的数据结构，所以要将items.py导入到代码文件中。

右键scrapy项目”豆瓣”选择将其标记为源代码根目录

然后在代码中导入items.py

前面忘了说了，还需要导入scrapy-redis的第三方库

下载命令：pip install scrapy-redis

完整的爬虫douban250.py代码

import scrapy
from douban.items import DoubanItem
from scrapy_redis.spiders import RedisSpider, RedisCrawlSpider

class Douban250Spider(RedisSpider):  # 换成RedisSpider
    name = "douban250"
    allowed_domains = ["douban.com"]
    # start_urls = ["https://movie.douban.com/top250"]
    redis_key = "douban_start_url"  # 开始链接换成redis_key

    def parse(self, response, **kwargs):
        # 进入电影详情页
        lis = response.xpath("//ol[@class='grid_view']/li")
        for li in lis:
            href = li.xpath("./div/div[2]/div[1]/a/@href").extract_first()
            # 不用管是否重复，判断工作交给scrapy_redis完成
            yield scrapy.Request(url=href, callback=self.parse_detail)

        # 继续爬取下一页电影详情页的url
        next_page = response.xpath("//*[@id='content']/div/div[1]/div[2]/span[3]/a/@href").extract_first()
        yield scrapy.Request(url=response.urljoin(next_page), callback=self.parse)

    def parse_detail(self, response, **kwargs):
        douban = DoubanItem()
        name = response.xpath("//*[@id='content']/h1/span[1]/text()").extract_first()
        date = response.xpath("//*[@id='content']/h1/span[2]/text()").extract_first()
        daoyan = response.xpath("//*[@id='info']/span[1]/span[2]/a/text()").extract_first()
        bianjus = response.xpath("//*[@id='info']/span[2]/span[2]/a")
        bianju = ""
        for i in bianjus:
            test = i.xpath("./text()").extract_first()
            bianju += test + "/"
        pingfen = response.xpath("//*[@id='interest_sectl']/div[1]/div[2]/strong/text()").extract_first()
        pingjiarenshu = response.xpath(
            "//*[@id='interest_sectl']/div[1]/div[2]/div/div[2]/a/span/text()").extract_first()

        douban["name"] = name
        douban["date"] = date
        douban["daoyan"] = daoyan
        douban["bianju"] = bianju
        douban["pingfen"] = pingfen
        douban["pingjiarenshu"] = pingjiarenshu

        yield douban

完整的items.py代码

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()  # 电影名
    date = scrapy.Field()  # 首映时间
    daoyan = scrapy.Field()  # 导演
    bianju = scrapy.Field()  # 编剧
    pingfen = scrapy.Field()  # 豆瓣评分
    pingjiarenshu = scrapy.Field()  # 评价人数

开始启动项目

1.先启动redis数据库服务

2.打开连接redis数据库的软件

3.切换到7号数据库

4.使用终端启动多个scrapy爬虫项目

先使用 cd douban 进入项目文件夹

然后使用命令启动项目：scrapy crawl douban250

运行项目后你会发现终端里面一直是空白的，无论过多久都没有任何信息，这是正常的，因为爬虫还没有真正的开始运行，去查看一下代码

可以看到爬虫的开始url被注释掉了，因为我们需要完成分布式的爬取，也就是说多台设备共同做一个爬虫任务，那么scrapy本身自带的调度器我们就通过redis将其“合并”到了一起，多台设备共用一个用于存取需要爬取的url的列表，这个列表位于redis的7号数据库中，目前这个列表是空的，所以爬虫任务不能开始。

我们需要将第一个要爬的页面的url添加到调度器列表当中。

键：douban_start_url

元素：https://movie.douban.com/top250

这是在分别查看两个终端，两个终端都开始输出爬取的电影信息，且不一样（代表着两个进程在爬取不同的电影，最后都会将爬取到的信息返回到redis数据库中，完成了分布式爬虫的目的）

可以在redis的7号数据库中查看爬取到的电影信息

什么，你报错了？

那就对了，我也报错，报错内容如下

报错原因是因为scrapy-redis新版本中不用string了，推荐你使用json类型的数据，这里有三种解决办法：

1.按照人家的推荐把url相关的数据换成json类型（气抖冷，居然不让我想用什么数据用什么数据，当然不能惯着你，我就不用json）

2.先往redis中添加开始url，然后再启动项目（欸！官方代码更新了，但是没更新完全！先添加开始url再启动项目他就不报错正常运行了）

3.使用老版本的scrapy库，先pip uninstall scrapy卸载

然后再 pip install scrapy==2.90 下载老版本的库来使用（没办法，我跟着学的是21年的课程，那时候的库都是老版本，我只会些老版本的语法）

推荐使用第二种方法，啥也不用管，换个顺序就行了

注意本文代码只适用于本爬虫项目，你要照抄的话，连项目名都不能改动，要完全按照我的来，不然很容易报错

scrapy分布式爬虫-续

楓念 — Tue, 10 Dec 2024 00:00:00 GMT

此教程是上个教程的后续，此教程中没有原理解释，只对上个教程中出现的错误进行修正

跟着上个教程走的同志们应该多少都会遇到这个警报信息。

经过百度，多方面讨论，询问老师，查询scrapy-redis的github项目帮助文档，甚至分析源码得出结论：

爬取不到信息跟这个无关，因为就算你爬取到了信息它还是会显示的有这个警报。

有的同学能爬取到信息，有的同学爬取不到，有的时能爬时不能爬，原因是：

豆瓣网的反爬虫机制发力了。

解决方案：换个网站爬

这里我找到了一个专门让你练习爬虫的网站，没有任何反爬限制，可以随便爬： http://books.toscrape.com/

那么开始构建scrapy分布式爬虫项目：

1.先创建项目：scrapy startproject book

2.创建实例爬虫文件：scrapy genspider books toscrape.com

记得先要 cd book 进入项目文件夹内

3.修改settings.py文件，不废话讲了，直接贴完整代码

# Scrapy settings for book project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://docs.scrapy.org/en/latest/topics/settings.html
#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = "book"

SPIDER_MODULES = ["book.spiders"]
NEWSPIDER_MODULE = "book.spiders"

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = "book (+http://www.yourdomain.com)"

LOG_LEVEL = "WARNING"
# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure maximum concurrent requests performed by Scrapy (default: 16)
#CONCURRENT_REQUESTS = 32

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#CONCURRENT_REQUESTS_PER_IP = 16

# Disable cookies (enabled by default)
#COOKIES_ENABLED = False

# Disable Telnet Console (enabled by default)
#TELNETCONSOLE_ENABLED = False

# Override the default request headers:
#DEFAULT_REQUEST_HEADERS = {
#    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
#    "Accept-Language": "en",
#}

# Enable or disable spider middlewares
# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
#SPIDER_MIDDLEWARES = {
#    "book.middlewares.BookSpiderMiddleware": 543,
#}

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
#DOWNLOADER_MIDDLEWARES = {
#    "book.middlewares.BookDownloaderMiddleware": 543,
#}

# Enable or disable extensions
# See https://docs.scrapy.org/en/latest/topics/extensions.html
#EXTENSIONS = {
#    "scrapy.extensions.telnet.TelnetConsole": None,
#}

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
   'scrapy_redis.pipelines.RedisPipeline': 301,
   "book.pipelines.BookPipeline": 300,
}

# redis相关配置
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_DB = 4
# REDIS_PASSWORD = ''

# scrapy_redis相关配置
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
SCHEDULER_PERSIST = True  # 如果为真，则在关闭时自动保存请求信息
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'  # 去重的逻辑,要使用redis的

# Enable and configure the AutoThrottle extension (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
#AUTOTHROTTLE_ENABLED = True
# The initial download delay
#AUTOTHROTTLE_START_DELAY = 5
# The maximum download delay to be set in case of high latencies
#AUTOTHROTTLE_MAX_DELAY = 60
# The average number of requests Scrapy should be sending in parallel to
# each remote server
#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
# Enable showing throttling stats for every response received:
#AUTOTHROTTLE_DEBUG = False

# Enable and configure HTTP caching (disabled by default)
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#HTTPCACHE_ENABLED = True
#HTTPCACHE_EXPIRATION_SECS = 0
#HTTPCACHE_DIR = "httpcache"
#HTTPCACHE_IGNORE_HTTP_CODES = []
#HTTPCACHE_STORAGE = "scrapy.extensions.httpcache.FilesystemCacheStorage"

# Set settings whose default value is deprecated to a future-proof value
TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"
FEED_EXPORT_ENCODING = "utf-8"

4.爬虫文件books.py的完整代码

import scrapy
from scrapy_redis.spiders import RedisSpider

class BooksSpider(RedisSpider):
    name = "books"
    allowed_domains = ["toscrape.com"]
    # start_urls = ["http://books.toscrape.com/"]
    redis_key = "books_start_url"  # 开始链接换成redis_key

    def parse(self, response, *args, **kwargs):
        next_page_url2 = response.xpath(
            '//*[@id="default"]/div/div/div/div/section/div[2]/div/ul/li[2]/a/@href').extract_first()
        next_page_url3 = response.xpath(
            '//*[@id="default"]/div/div/div/div/section/div[2]/div/ul/li[3]/a/@href').extract_first()
        if next_page_url2 is not None:
            yield scrapy.Request(url=response.urljoin(next_page_url2), callback=self.parse)
        elif next_page_url3 is not None:
            yield scrapy.Request(url=response.urljoin(next_page_url3), callback=self.parse)

        lis = response.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li')
        for li in lis:
            href = li.xpath('./article/h3/a/@href').extract_first()
            yield scrapy.Request(url=response.urljoin(href), callback=self.parse_detail)

    def parse_detail(self, response, *args, **kwargs):
        name = response.xpath('//*[@id="content_inner"]/article/div[1]/div[2]/h1/text()').extract_first()
        jiage = response.xpath('//*[@id="content_inner"]/article/div[1]/div[2]/p[1]/text()').extract_first()

        dic = {
            "书籍名称": name,
            "书籍价格": jiage
        }
        yield dic

5.管道pipelines.py文件完整代码

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

# useful for handling different item types with a single interface
from itemadapter import ItemAdapter

class BookPipeline:
    def process_item(self, item, spider):
        print(item)
        return item

这次为了简便，item数据类型都不用了，查看这次的配置文件可以发现，这次没整反爬，请求头user-agent以及爬取延时都没做，对了，数据库换成了redis的4号数据库

多个终端进入项目文件夹后使用命令：

scrapy crawl books

启动项目

然后在数据库连接软件中切换到4号数据库，将初始网页链接添加进去

键：books_start_url

元素：http://books.toscrape.com/

然后可以在软件中查看爬取到的信息

轻轻松松的爬取到了全部的1000条数据（2分钟）

这次就应该没问题了。

有问题可以在下方评论区反馈，不用注册登录也能评论的。

五一假期无聊，各位推荐点电影，动漫

楓念 — Tue, 30 Apr 2024 00:00:00 GMT

如标题所说，作业早写完了，求推荐点电影和动漫。

电影整点搞笑的，或者是名著改编的，其它的也行，不要超级英雄和鸡汤。

动漫别整厕纸就行（高质量的黄金厕纸可以考虑）