
Scrapy 详解:Python 爬虫框架的常青树
Scrapy 详解:Python 爬虫框架的常青树从网页里抽取结构化数据,是数据采集的刚需。自己用 requests 手写,很快就会撞上并发调度、重试、去重、限速、清洗落库一连串工程问题。scrapy/scrapy(Scrapy)把这些全部打包成框架:Spider 类专注解析逻辑,引擎、调度器、下载器在底层并发运转,管线负责清洗与存储。约 64.3k Star、BSD 协议、Zyte 商业支持,P
编程语言 · 共 16 篇 · 按发布时间正序排列
FastAPI、pandas、pytest 等主流库逐一详解:Python 生态选型地图

Scrapy 详解:Python 爬虫框架的常青树从网页里抽取结构化数据,是数据采集的刚需。自己用 requests 手写,很快就会撞上并发调度、重试、去重、限速、清洗落库一连串工程问题。scrapy/scrapy(Scrapy)把这些全部打包成框架:Spider 类专注解析逻辑,引擎、调度器、下载器在底层并发运转,管线负责清洗与存储。约 64.3k Star、BSD 协议、Zyte 商业支持,P

如果你还在忍受 pip install 漫长的依赖解析,或者被 poetry、pyenv、virtualenv、pipx 一堆工具的排列组合折磨,那应该认真看看 uvhttps://github.com/astralsh…

写 Python 的 HTTP 调用时,requests 几乎是肌肉记忆,但它的同步模型与缺失的 HTTP/2 支持在异步时代越来越显得吃力。httpx 自称"新一代 Python HTTP 客户端"(A nextgen…

当目标页面依赖 JavaScript 渲染、传统 HTTP 抓取拿到的只是一具空壳 HTML 时,你需要的是真正能驱动浏览器的工具。Playwright 是微软开源的 Web 自动化与测试框架,统一 API 驱动 Chr…

做数据分析的人几乎没有绕得开 pandas。无论你是在量化基金清洗行情数据,还是在互联网公司跑用户留存报表,DataFrame 都是这个领域事实上的通用货币。它不是最快的,但它是生态最全、文档最厚、Stack Overf…

在 Python Web 框架层出不穷的当下,FastAPI 用短短几年时间冲到了 GitHub 约 87k Star 的位置,成为构建 API 服务的事实首选之一。它由 Sebastián Ramírez(tiango…

写 Python 测试,绕不开 pytesthttps://github.com/pytestdev/pytest。它自 2004 年由 Holger Krekel 等人创建,MIT 协议开源,Star 数约 15k,官…

大模型应用上线后,第一个撞上的墙往往不是模型效果,而是推理成本和吞吐。原生 Hugging Face 推理一次一个请求、KV 缓存整块预留显存,GPU 利用率低得可怜。vLLM 就是为解决这个问题生的:它用 PagedA…

PydanticAI 详解:类型安全的 Python AI SDK写 LLM 应用最疼的两件事:模型返回的 JSON 不合预期、换一家模型商要改一串代码。pydantic/pydantic-ai(PydanticAI)用 Pydantic 团队的老本行回答了第一件——输出用 BaseModel 定义、运行前先校验,错误从运行时提前到编码时;第二件则用"模型即字符串"回答:换个厂商只改一个参数。如今

如果要在 Python 生态里选一个"无处不在但不显眼"的库,Pydantic 当仁不让:FastAPI 靠它做请求验证,LangChain 靠它约束模型输出,OpenAI SDK 靠它定义工具参数。官方定位一句话:基于…
命令行工具的输出体验长期被默认 print 统治——白字黑底、无对齐、无色彩。Rich 专门解决这个问题:它是一个在终端里渲染富文本与美化格式的 Python 库,出自 Textualize 之手,GitHub 上约 5…

2005 年诞生的 Django 到今天已经走过二十年,仍是 Python 世界 Star 数最高的 Web 框架之一(GitHub 约 81k Star)。它最出名的口号是"完美主义者的框架",官方定位一句话:Djan…

看一组数字就够了:GitHub 上约 104k Star、超过 11 万次提交——PyTorch 是当前最受研究者欢迎的深度学习框架。从 2017 年靠"动态图加 Python 原生体验"掀翻静态图霸主,到大模型时代各家…

过去两年,数据处理圈流行一句话:"用 pandas 写,换 Polars 跑,快了 10 倍"。Polars 用 Rust 重写了数据框引擎的底层,多线程、向量化、惰性求值一样不缺,官方演示过在笔记本上流式处理约 250…

做计算机视觉的工程师大概都绕不开 YOLO,而提起 YOLO 的工程化落地,Ultralytics 几乎就是默认答案。这个仓库把检测、分割、姿态估计、深度估计这些原本要拼多个框架才能完成的任务,收进了一个统一的 API …

学 Python 的人几乎都有过同一段经历:写代码十分钟,选库两小时。同一个需求下面躺着五六个候选,README 各说各话,star 数都在同一个量级。awesome-python 就是来解决这个问题的——GitHub 全站星标排名第十的仓库,一份"有立场"的 Python 框架与库指南,作者是定居新加坡的工程师 vinta。它现在收录了几百个项目,分成十六个领域、上百个子类,从 AI Agent…