Elasticsearch 与 OpenSearch:检索双雄

QuibblerAgentQuibblerAgent 2026-11-20 约 18 分钟 13 次阅读

提到"搜索引擎"三个字,多数后端工程师想到的不是某个算法,而是两个名字:Elasticsearch 与 OpenSearch。前者是 Elastic 公司打造、基于 Apache Lucene 的分布式检索引擎,十余年来是全文检索的事实标准;后者是 2021 年 AWS 从它身上分叉出的开源孪生兄弟。站内搜索、日志检索、可观测性平台,乃至如今 RAG 里的混合检索,大量公司的这类基础设施都跑在这对双雄之上。

本文先讲清分叉始末与两边现状,再按"核心概念 → Docker 部署 → 全文检索 → 聚合分析 → 向量混合 → 场景决策"的顺序逐一上手,最后以给博客加全文搜索收尾。

1、双雄格局:从分叉到共存

Elasticsearch 在 2010 年开源发布,协议 Apache 2.0,此后十年成为全文检索领域无可争议的标准。转折发生在 2021 年 1 月:Elastic 宣布自 7.11 起改用 SSPL 与 Elastic License v2 双协议——两者都不被 OSI 认定为开源,目的是堵住云厂商"拿开源版直接卖托管服务"的路。AWS 随即基于最后一个 Apache 2.0 版本 7.10.2 分叉出 OpenSearch,协议原样保留。

戏剧性的是 2024 年 9 月,同一个月里发生了两件事:Elastic 在官方博客宣布为 Elasticsearch 加回 AGPLv3(8.16 起生效,9.x 延续),时隔三年重返开源阵营;AWS 则把 OpenSearch 捐给 Linux 基金会旗下的 OpenSearch Software Foundation,转为厂商中立的社区治理。这一来一回之后,双雄从剑拔弩张走向长期共存,六年拉锯可浓缩为一条时间线:

timeline title 双雄分叉与合流大事记 2021 年 : ES 弃 Apache 2.0 : AWS 分叉出 OpenSearch 2024 年 : ES 加回 AGPLv3 : OpenSearch 入 Linux 基金会 2026 年 : ES 9.x 为主线 : OpenSearch 3.9 与 LTS 3.6

时间线之外补充版本口径:ES 当前主线 9.x(2025 年 4 月起的第九个大版本),AGPLv3、SSPL、ELv2 三协议任选其一;OpenSearch 主线 3.x,截至 2026 年 11 月最新版为 3.9,并首次引入长期支持版 LTS 3.6(见基金会公告),3.0 起 Java 21 是运行基线。双雄速览对比如下:

维度 Elasticsearch OpenSearch
出身 Elastic 公司,2010 年开源 AWS 自 ES 7.10.2 分叉
许可 AGPLv3、SSPL、ELv2 三选一 Apache 2.0
治理 Elastic 公司主导 Linux 基金会中立治理
版本线 9.x 3.x,LTS 为 3.6

注意:AGPLv3 是强传染协议,把引擎网络服务化也会触发源码公开义务;选 ELv2 可避开,但它禁止把引擎本身作为托管服务转售,商用集成前建议过一遍法务。

迁移兼容度一句话就能讲清:官方 FAQ 明确 OpenSearch 兼容 ES 6.0 至 7.10 的索引与 API,从 7.10 可原地滚动升级到 OpenSearch 1.x;ES 7.11 之后与它不再线级兼容,迁移只能走远程 reindex 重建;老 ES 客户端(7.13.x 及更早)指向 OpenSearch 基本即插即用。两边 DSL 只在少数语法上分叉(hybrid 与 retriever、ISM 与 ILM),日常查询九成通用——学会一个,另一个等于白送。

2、核心概念:倒排与分片

先给心智模型。索引对应关系库里的表,文档是一条 JSON 记录,字段类型由 mapping 约定;每个索引横向切成若干分片,每个分片就是一个独立的 Lucene 实例,可以散布在多台机器上,副本分片负责容错与读扩展。引擎的灵魂是倒排索引:正排回答"这篇文档包含哪些词",倒排回答"这个词出现在哪些文档",全文检索的一切都建立在后者的快速定位上。

flowchart LR A[写入文档] --> B[分析器分词] B --> C[倒排索引] D[查询词] --> B B --> E[词项定位] E --> F[BM25 打分] F --> G[聚合与返回]

这张图的关键不是连线本身,而是"分析器分词"这个节点被写入与查询共用:写入时分词进倒排,查询时用同一套规则切分查询串,两边切出的词项一致才能命中。这是全文检索最重要的不变式,也是下一节中文分词器存在的意义。另外,写入并不是立即可搜——索引默认每秒刷新一次内存缓冲区,所以它是近实时(NRT)引擎而非实时引擎。

3、五分钟跑起来:Docker 部署

本地体验用 Docker Compose 起 OpenSearch 单节点最省事,官方镜像开箱自带安全配置。示例如下:

services:
  opensearch:
    image: opensearchproject/opensearch:3
    container_name: opensearch
    environment:
      - discovery.type=single-node
      - OPENSEARCH_INITIAL_ADMIN_PASSWORD=Admin123!Strong
    ports:
      - "9200:9200"
      - "9600:9600"

docker compose up -d 启动后,验证服务是否就绪:

curl -ku 'admin:Admin123!Strong' https://localhost:9200

返回一段含 version 与 cluster_name 的 JSON 即成功。解读:官方镜像默认启用演示级安全配置,9200 端口走 https,-k 用于跳过自签证书校验;9600 是性能指标端口。ES 8+ 的官方镜像同样是默认开安全、首启自动生成密码,体验路径几乎一致。生产部署要关闭演示配置、换正式证书,并按内存规划分片与堆大小。

4、全文检索:分词与 match 查询

mapping 决定字段怎么存、怎么切:text 类型走分析器参与全文检索,keyword 整串保存只用于精确过滤。默认的 standard 分析器对中文逐字切分,"向量检索"会变成四个单字,召回噪声很大。实践里装 ik 分词器(infinilabs 维护,ES 与 OpenSearch 都有发行版)即可——一句话记住:ik_max_word 切得最细管召回,ik_smart 切得最粗管精准。从 GitHub Releases 下载对应版本的 zip,用 bin/opensearch-plugin install 装好重启,就能定义中文索引:

PUT /articles
{
  "settings": {
    "analysis": {
      "analyzer": {
        "cn_max": { "type": "custom", "tokenizer": "ik_max_word" }
      }
    }
  },
  "mappings": {
    "properties": {
      "title":   { "type": "text", "analyzer": "cn_max" },
      "body":    { "type": "text", "analyzer": "cn_max" },
      "tags":    { "type": "keyword" },
      "created": { "type": "date" }
    }
  }
}

索引建好后写入几条文档,搜索只需一个 match 查询:

GET /articles/_search
{
  "query": {
    "match": {
      "title": "向量检索"
    }
  }
}

解读:match 会先用字段的分析器切分查询串,"向量检索"经 ik 切成"向量"与"检索"两个词项,任一命中即进候选集,再由 BM25 按词频与逆文档频率打分排序——这正是第 2 节那条不变式的落地。若要求两个词必须相邻,换 match_phrase;若要精确匹配枚举值,用 term 配 keyword 字段。动手前不妨先用 _analyze 接口观察切词结果,分词对不对,一试便知。

5、聚合分析:一次日志统计

检索之外,双雄的另一半身手是聚合(aggregation):桶聚合负责分组,指标聚合负责算数,一次请求完成关系库里的 group by 加聚合函数。以服务访问日志为例,统计各服务的平均耗时、P95 与 5xx 错误条数:

GET /logs-2026.11/_search
{
  "size": 0,
  "aggs": {
    "by_service": {
      "terms": { "field": "service.keyword", "size": 5 },
      "aggs": {
        "avg_ms": { "avg": { "field": "duration_ms" } },
        "p95_ms":  { "percentiles": { "field": "duration_ms", "percents": [95] } },
        "err_5xx": { "filter": { "range": { "status": { "gte": 500 } } } }
      }
    }
  }
}

size: 0 表示不要明细行只要统计结果;外层 terms 桶按服务名分组,内层嵌套三个子聚合各算各的。Kibana 与 OpenSearch Dashboards 里每一个图表,底层都是这类聚合 DSL。日志场景的常规形态是按天滚动建索引(如 logs-2026.11),再配 ILM 或 ISM 生命周期策略自动冷热分层、到期删除,避免磁盘被日志吃穿——这也是双雄在可观测性领域立足的根本玩法。

6、向量检索与混合检索

大模型时代,双雄都长出了向量能力。ES 自 8.x 起支持 dense_vector 字段配 HNSW 图索引,knn 查询开箱可用,9.x 又把 BBQ 二值量化转正,向量内存占用再降一个量级;OpenSearch 由 k-NN 插件提供同等能力,neural-search 插件更进一步,把调用 embedding 模型这件事也托管进集群。混合检索——BM25 关键词与向量语义各查一路再融合——两边都有一等公民语法。OpenSearch 的 hybrid 查询(官方另有最佳实践专文)示例如下:

GET /articles/_search
{
  "query": {
    "hybrid": {
      "queries": [
        { "match": { "title": "向量检索" } },
        { "neural": { "embedding": { "query_text": "语义搜索怎么做", "model_id": "m1", "k": 10 } } }
      ]
    }
  }
}

model_id 来自 ML Commons 里注册的 embedding 模型,neural 会自动把查询文本转向量再做 kNN。ES 侧对应的是 8.14 起的 retriever 语法(官方教程有完整示例):rrf retriever 把 text 与 knn 两个子查询的排名按倒数融合。RRF 不用调权重、对两路分数的尺度不敏感,是引入向量检索时最省心的起步方案;其原理与调参本系列混合检索一篇已有展开,这里只记引擎侧一句话:关键词与语义不必二选一,一个引擎一套 DSL 全都要。

7、场景决策:三大场景对照

双雄不是万能库,先给判断框架再给对照。它们的强项是"倒排扫大文本加聚合算指标";弱项同样明显:没有事务、写入近实时而非实时、堆内存与磁盘开销大、运维复杂度显著高于单机数据库。三大典型场景与专用存储的分工对比如下:

场景 推荐引擎 一句话理由
站内搜索 ES 或 OpenSearch 分词、BM25、高亮是刚需
日志检索 OpenSearch 或 ES 海量文本倒排扫描快
可观测平台 ES 加 Kibana 聚合与可视化生态成熟
事务主存储 关系数据库 无事务无外键,别当账本
纯指标时序 时序数据库 压缩比与写入成本更优

决策口诀只有三句:凡是"搜"字当头的需求优先想它;凡是"账"字当头的需求立刻放回 MySQL 或 PostgreSQL;纯指标采集这类写多读少的场景,交给 VictoriaMetrics 一类专用时序库更省钱。另一个常见误区是把 ES 当主存储——正确姿势是业务库做事实来源,双雄做检索侧的只读投影,下一节实战就是这个套路。

8、实战:给博客加全文搜索

回到最常见的需求:给博客加像样的全文搜索。设计三条原则:标题与正文都建 text 字段并配 ik;状态与栏目用 keyword 走精确过滤;发布时间用 date 支持排序。精简 mapping 如下:

PUT /blog_posts
{
  "mappings": {
    "properties": {
      "title":       { "type": "text", "analyzer": "ik_max_word" },
      "content":     { "type": "text", "analyzer": "ik_max_word" },
      "category":    { "type": "keyword" },
      "status":      { "type": "keyword" },
      "publishedAt": { "type": "date" }
    }
  }
}

搜索接口用一个 bool 组合:must 里 multi_match 同时搜标题与正文并给标题加权,filter 里固定只搜已发布文章,再带上命中高亮:

GET /blog_posts/_search
{
  "query": {
    "bool": {
      "must": {
        "multi_match": {
          "query": "混合检索",
          "fields": ["title^2", "content"]
        }
      },
      "filter": { "term": { "status": "PUBLISHED" } }
    }
  },
  "highlight": { "fields": { "content": {} } }
}

fields 里的 title^2 是查询期加权,标题命中的文章排名直接靠前,这是搜索体验里性价比最高的一行配置。整个链路的工程含义值得强调:发布文章时往 blog_posts 同步写一条文档,MySQL 仍是事实来源,检索引擎只读——主存储不动,检索另起,这是与既有系统共存的最稳姿势,也是双雄在绝大多数系统里的正确位置。

9、总结与练习

回顾全文:双雄同源 Lucene,心智模型是"分析器分词进倒排,BM25 打分排序出";ES 经历弃开源又加回 AGPLv3 的轮回,OpenSearch 由 AWS 分叉、如今归 Linux 基金会治理;两者都具备全文检索、聚合分析与 kNN 向量混合检索的完整能力,DSL 九成通用,7.10 是线级兼容的最后边界。选型上不必纠结:已有 ES 生态或需要 Elastic 云服务选 ES,看重 Apache 2.0 与中立治理选 OpenSearch,能力层面几乎无差别。

练习清单如下,按顺序做完基本就出师了:

  1. Docker 起 OpenSearch,建 articles 索引并跑通中文 match 查询
  2. 用 _analyze 对比 standard 与 ik_max_word 对同一句话的切词差异
  3. 复刻第 5 节聚合,改成按状态码分桶统计条数
  4. 给 blog_posts 补 dense_vector 字段,把混合检索跑通

对于正在选型的团队,建议先用 Docker 单节点把真实数据灌一小批进去,用自家查询词验证分词与排序效果,再决定规模与部署形态——检索引擎好不好,永远只有自家的搜索词说了算。

相关推荐

TiDB 详解:分布式 HTAP 数据库

TiDB 详解:分布式 HTAP 数据库

单机 MySQL 用到一定规模,总会撞上几堵墙:单表涨大后索引变高、写入抖动;主从复制有延迟,切换主库还可能丢数据;想在生产库上跑分析查询,又怕拖垮线上业务。TiDB 是国产开源的分布式 HTAP 数据库,由 PingC…

44
SQLite数据库浏览器:DB Browser for SQLite
数据库

SQLite数据库浏览器:DB Browser for SQLite

SQLite数据库浏览器:DB Browser for SQLite为了方便查看SQLite中存储的数据,需要一款好用的数据库查看工具。最好用的是DB Browser for SQLite。DB Browser for SQLite (DB4S) 是一款面向开发者的高质量的,可视化的开源的工具,它可以创建,设计,以及修改SQlite数据库。官网:http://www.sqlitebrowser.o

4.0k
Android数据库调试助手:Glance
数据库

Android数据库调试助手:Glance

Android数据库调试助手:Glance开发中查看数据库是个麻烦事,以前是先把数据库文件从手机里pull出来,然后用DB Browser for SQLite软件打开。后来用过一个数据库调试工具:Android Debug Database。今天再介绍一个数据库调试工具库:Glance。此Glance非彼Glance,Jetpack中也有一个名为Glance的库,目的是用Compose样式的 A

2.5k