提到"搜索引擎"三个字,多数后端工程师想到的不是某个算法,而是两个名字:Elasticsearch 与 OpenSearch。前者是 Elastic 公司打造、基于 Apache Lucene 的分布式检索引擎,十余年来是全文检索的事实标准;后者是 2021 年 AWS 从它身上分叉出的开源孪生兄弟。站内搜索、日志检索、可观测性平台,乃至如今 RAG 里的混合检索,大量公司的这类基础设施都跑在这对双雄之上。
本文先讲清分叉始末与两边现状,再按"核心概念 → Docker 部署 → 全文检索 → 聚合分析 → 向量混合 → 场景决策"的顺序逐一上手,最后以给博客加全文搜索收尾。
1、双雄格局:从分叉到共存
Elasticsearch 在 2010 年开源发布,协议 Apache 2.0,此后十年成为全文检索领域无可争议的标准。转折发生在 2021 年 1 月:Elastic 宣布自 7.11 起改用 SSPL 与 Elastic License v2 双协议——两者都不被 OSI 认定为开源,目的是堵住云厂商"拿开源版直接卖托管服务"的路。AWS 随即基于最后一个 Apache 2.0 版本 7.10.2 分叉出 OpenSearch,协议原样保留。
戏剧性的是 2024 年 9 月,同一个月里发生了两件事:Elastic 在官方博客宣布为 Elasticsearch 加回 AGPLv3(8.16 起生效,9.x 延续),时隔三年重返开源阵营;AWS 则把 OpenSearch 捐给 Linux 基金会旗下的 OpenSearch Software Foundation,转为厂商中立的社区治理。这一来一回之后,双雄从剑拔弩张走向长期共存,六年拉锯可浓缩为一条时间线:
时间线之外补充版本口径:ES 当前主线 9.x(2025 年 4 月起的第九个大版本),AGPLv3、SSPL、ELv2 三协议任选其一;OpenSearch 主线 3.x,截至 2026 年 11 月最新版为 3.9,并首次引入长期支持版 LTS 3.6(见基金会公告),3.0 起 Java 21 是运行基线。双雄速览对比如下:
| 维度 | Elasticsearch | OpenSearch |
|---|---|---|
| 出身 | Elastic 公司,2010 年开源 | AWS 自 ES 7.10.2 分叉 |
| 许可 | AGPLv3、SSPL、ELv2 三选一 | Apache 2.0 |
| 治理 | Elastic 公司主导 | Linux 基金会中立治理 |
| 版本线 | 9.x | 3.x,LTS 为 3.6 |
注意:AGPLv3 是强传染协议,把引擎网络服务化也会触发源码公开义务;选 ELv2 可避开,但它禁止把引擎本身作为托管服务转售,商用集成前建议过一遍法务。
迁移兼容度一句话就能讲清:官方 FAQ 明确 OpenSearch 兼容 ES 6.0 至 7.10 的索引与 API,从 7.10 可原地滚动升级到 OpenSearch 1.x;ES 7.11 之后与它不再线级兼容,迁移只能走远程 reindex 重建;老 ES 客户端(7.13.x 及更早)指向 OpenSearch 基本即插即用。两边 DSL 只在少数语法上分叉(hybrid 与 retriever、ISM 与 ILM),日常查询九成通用——学会一个,另一个等于白送。
2、核心概念:倒排与分片
先给心智模型。索引对应关系库里的表,文档是一条 JSON 记录,字段类型由 mapping 约定;每个索引横向切成若干分片,每个分片就是一个独立的 Lucene 实例,可以散布在多台机器上,副本分片负责容错与读扩展。引擎的灵魂是倒排索引:正排回答"这篇文档包含哪些词",倒排回答"这个词出现在哪些文档",全文检索的一切都建立在后者的快速定位上。
这张图的关键不是连线本身,而是"分析器分词"这个节点被写入与查询共用:写入时分词进倒排,查询时用同一套规则切分查询串,两边切出的词项一致才能命中。这是全文检索最重要的不变式,也是下一节中文分词器存在的意义。另外,写入并不是立即可搜——索引默认每秒刷新一次内存缓冲区,所以它是近实时(NRT)引擎而非实时引擎。
3、五分钟跑起来:Docker 部署
本地体验用 Docker Compose 起 OpenSearch 单节点最省事,官方镜像开箱自带安全配置。示例如下:
services:
opensearch:
image: opensearchproject/opensearch:3
container_name: opensearch
environment:
- discovery.type=single-node
- OPENSEARCH_INITIAL_ADMIN_PASSWORD=Admin123!Strong
ports:
- "9200:9200"
- "9600:9600"
docker compose up -d 启动后,验证服务是否就绪:
curl -ku 'admin:Admin123!Strong' https://localhost:9200
返回一段含 version 与 cluster_name 的 JSON 即成功。解读:官方镜像默认启用演示级安全配置,9200 端口走 https,-k 用于跳过自签证书校验;9600 是性能指标端口。ES 8+ 的官方镜像同样是默认开安全、首启自动生成密码,体验路径几乎一致。生产部署要关闭演示配置、换正式证书,并按内存规划分片与堆大小。
4、全文检索:分词与 match 查询
mapping 决定字段怎么存、怎么切:text 类型走分析器参与全文检索,keyword 整串保存只用于精确过滤。默认的 standard 分析器对中文逐字切分,"向量检索"会变成四个单字,召回噪声很大。实践里装 ik 分词器(infinilabs 维护,ES 与 OpenSearch 都有发行版)即可——一句话记住:ik_max_word 切得最细管召回,ik_smart 切得最粗管精准。从 GitHub Releases 下载对应版本的 zip,用 bin/opensearch-plugin install 装好重启,就能定义中文索引:
PUT /articles
{
"settings": {
"analysis": {
"analyzer": {
"cn_max": { "type": "custom", "tokenizer": "ik_max_word" }
}
}
},
"mappings": {
"properties": {
"title": { "type": "text", "analyzer": "cn_max" },
"body": { "type": "text", "analyzer": "cn_max" },
"tags": { "type": "keyword" },
"created": { "type": "date" }
}
}
}
索引建好后写入几条文档,搜索只需一个 match 查询:
GET /articles/_search
{
"query": {
"match": {
"title": "向量检索"
}
}
}
解读:match 会先用字段的分析器切分查询串,"向量检索"经 ik 切成"向量"与"检索"两个词项,任一命中即进候选集,再由 BM25 按词频与逆文档频率打分排序——这正是第 2 节那条不变式的落地。若要求两个词必须相邻,换 match_phrase;若要精确匹配枚举值,用 term 配 keyword 字段。动手前不妨先用 _analyze 接口观察切词结果,分词对不对,一试便知。
5、聚合分析:一次日志统计
检索之外,双雄的另一半身手是聚合(aggregation):桶聚合负责分组,指标聚合负责算数,一次请求完成关系库里的 group by 加聚合函数。以服务访问日志为例,统计各服务的平均耗时、P95 与 5xx 错误条数:
GET /logs-2026.11/_search
{
"size": 0,
"aggs": {
"by_service": {
"terms": { "field": "service.keyword", "size": 5 },
"aggs": {
"avg_ms": { "avg": { "field": "duration_ms" } },
"p95_ms": { "percentiles": { "field": "duration_ms", "percents": [95] } },
"err_5xx": { "filter": { "range": { "status": { "gte": 500 } } } }
}
}
}
}
size: 0 表示不要明细行只要统计结果;外层 terms 桶按服务名分组,内层嵌套三个子聚合各算各的。Kibana 与 OpenSearch Dashboards 里每一个图表,底层都是这类聚合 DSL。日志场景的常规形态是按天滚动建索引(如 logs-2026.11),再配 ILM 或 ISM 生命周期策略自动冷热分层、到期删除,避免磁盘被日志吃穿——这也是双雄在可观测性领域立足的根本玩法。
6、向量检索与混合检索
大模型时代,双雄都长出了向量能力。ES 自 8.x 起支持 dense_vector 字段配 HNSW 图索引,knn 查询开箱可用,9.x 又把 BBQ 二值量化转正,向量内存占用再降一个量级;OpenSearch 由 k-NN 插件提供同等能力,neural-search 插件更进一步,把调用 embedding 模型这件事也托管进集群。混合检索——BM25 关键词与向量语义各查一路再融合——两边都有一等公民语法。OpenSearch 的 hybrid 查询(官方另有最佳实践专文)示例如下:
GET /articles/_search
{
"query": {
"hybrid": {
"queries": [
{ "match": { "title": "向量检索" } },
{ "neural": { "embedding": { "query_text": "语义搜索怎么做", "model_id": "m1", "k": 10 } } }
]
}
}
}
model_id 来自 ML Commons 里注册的 embedding 模型,neural 会自动把查询文本转向量再做 kNN。ES 侧对应的是 8.14 起的 retriever 语法(官方教程有完整示例):rrf retriever 把 text 与 knn 两个子查询的排名按倒数融合。RRF 不用调权重、对两路分数的尺度不敏感,是引入向量检索时最省心的起步方案;其原理与调参本系列混合检索一篇已有展开,这里只记引擎侧一句话:关键词与语义不必二选一,一个引擎一套 DSL 全都要。
7、场景决策:三大场景对照
双雄不是万能库,先给判断框架再给对照。它们的强项是"倒排扫大文本加聚合算指标";弱项同样明显:没有事务、写入近实时而非实时、堆内存与磁盘开销大、运维复杂度显著高于单机数据库。三大典型场景与专用存储的分工对比如下:
| 场景 | 推荐引擎 | 一句话理由 |
|---|---|---|
| 站内搜索 | ES 或 OpenSearch | 分词、BM25、高亮是刚需 |
| 日志检索 | OpenSearch 或 ES | 海量文本倒排扫描快 |
| 可观测平台 | ES 加 Kibana | 聚合与可视化生态成熟 |
| 事务主存储 | 关系数据库 | 无事务无外键,别当账本 |
| 纯指标时序 | 时序数据库 | 压缩比与写入成本更优 |
决策口诀只有三句:凡是"搜"字当头的需求优先想它;凡是"账"字当头的需求立刻放回 MySQL 或 PostgreSQL;纯指标采集这类写多读少的场景,交给 VictoriaMetrics 一类专用时序库更省钱。另一个常见误区是把 ES 当主存储——正确姿势是业务库做事实来源,双雄做检索侧的只读投影,下一节实战就是这个套路。
8、实战:给博客加全文搜索
回到最常见的需求:给博客加像样的全文搜索。设计三条原则:标题与正文都建 text 字段并配 ik;状态与栏目用 keyword 走精确过滤;发布时间用 date 支持排序。精简 mapping 如下:
PUT /blog_posts
{
"mappings": {
"properties": {
"title": { "type": "text", "analyzer": "ik_max_word" },
"content": { "type": "text", "analyzer": "ik_max_word" },
"category": { "type": "keyword" },
"status": { "type": "keyword" },
"publishedAt": { "type": "date" }
}
}
}
搜索接口用一个 bool 组合:must 里 multi_match 同时搜标题与正文并给标题加权,filter 里固定只搜已发布文章,再带上命中高亮:
GET /blog_posts/_search
{
"query": {
"bool": {
"must": {
"multi_match": {
"query": "混合检索",
"fields": ["title^2", "content"]
}
},
"filter": { "term": { "status": "PUBLISHED" } }
}
},
"highlight": { "fields": { "content": {} } }
}
fields 里的 title^2 是查询期加权,标题命中的文章排名直接靠前,这是搜索体验里性价比最高的一行配置。整个链路的工程含义值得强调:发布文章时往 blog_posts 同步写一条文档,MySQL 仍是事实来源,检索引擎只读——主存储不动,检索另起,这是与既有系统共存的最稳姿势,也是双雄在绝大多数系统里的正确位置。
9、总结与练习
回顾全文:双雄同源 Lucene,心智模型是"分析器分词进倒排,BM25 打分排序出";ES 经历弃开源又加回 AGPLv3 的轮回,OpenSearch 由 AWS 分叉、如今归 Linux 基金会治理;两者都具备全文检索、聚合分析与 kNN 向量混合检索的完整能力,DSL 九成通用,7.10 是线级兼容的最后边界。选型上不必纠结:已有 ES 生态或需要 Elastic 云服务选 ES,看重 Apache 2.0 与中立治理选 OpenSearch,能力层面几乎无差别。
练习清单如下,按顺序做完基本就出师了:
- Docker 起 OpenSearch,建
articles索引并跑通中文match查询 - 用
_analyze对比 standard 与ik_max_word对同一句话的切词差异 - 复刻第 5 节聚合,改成按状态码分桶统计条数
- 给
blog_posts补dense_vector字段,把混合检索跑通
对于正在选型的团队,建议先用 Docker 单节点把真实数据灌一小批进去,用自家查询词验证分词与排序效果,再决定规模与部署形态——检索引擎好不好,永远只有自家的搜索词说了算。


