数据库实战

❶ 收藏！Python内置的轻量级数据库竟如此好用！全网最实用sqlite3实战项目！

今天我们将深入探讨 Python 内置的轻量级数据库 sqlite3 的使用方法与实战操作。对于那些希望避免复杂数据库安装过程的用户，sqlite3 无疑是一个理想的选择。它无需独立的服务器进程，且数据库文件为 .db 后缀，支持跨平台直接访问，便捷高效。

让我们一起通过实际案例来掌握 sqlite3 的常用操作，以便在日常项目开发中灵活运用。

主要内容

1. 读取数据并插入数据库

我们将以 TXT 文件为例，进行示范操作。TXT 文件为单列数据，以换行符分割，文件数量超过 60 个，数据总量达到 5 万以上。

1.1 源代码
1.2 运行效果
1.3 重点代码解释

• 自动获取所有 TXT 文件名称和路径：为了方便使用，我们编写代码自动查找所有文件名称和路径，无需手动指定。




• 数据库创建与连接：利用 sqlite3.connect() 创建数据库，如果数据库文件不存在则自动创建。




• 创建表：执行 SQL 语句创建表 numbers，包含两个字段：id 和 number。




• 插入数据：优化文件打开方式，使用 with 语句提高效率，同时使用占位符功能自动插入数据。

2. 数据库操作
2.1 连接数据库

通过指定数据库文件路径连接数据库，简化数据库管理。

2.2 查询数据库中有哪些表

使用 SQL 查询语句查看数据库中所有表的名称。

2.3 删除数据库中的某个表

执行 drop table 语句删除指定表。

2.4 查询表结构
2.5 查询表中前 50 条记录
2.6 查询表中所有记录
2.7 查询表中不重复记录
2.8 将老表中的不重复记录插入新表
2.9 将特定结果写入文本文件（单列）
2.10 将特定结果写入文本文件（多列）
2.11 将特定结果写入 CSV 文件（多列）
2.12 办公自动化案例

利用 sqlite3 进行数据导出，实现批量生成 TXT 文件，显着提高办公效率。

为了帮助您快速上手，所有源代码已发布至公众号【智能演示】，只需回复 "sqlite3" 即可获取下载链接。

期待您的实践与探索，享受 Python 数据库操作带来的便利！

❷ 向量数据库实战介绍

本文主要介绍三种向量数据库：faiss、Milvus和Qdrant，并通过实际例子展示其在文本相似性搜索中的应用。

向量数据库，即Vector Database，是一种专门用于存储、管理、查询和检索向量的数据库，广泛应用于人工智能、机器学习和数据挖掘等领域。

在向量数据库中，数据以向量的形式存储和处理，需将原始非向量数据转化为向量表示，如文本通过Embedding技术获得其向量表征。

这种数据库能高效执行相似性搜索，快速找出最相似的向量，适用于人脸识别、图像搜索、推荐系统等涉及相似性匹配的应用。去年大模型的火爆推动了向量数据库的快速发展，使之成为AI领域的重要工具。

本文将详细介绍三种常见的向量数据库，并通过文本相似性搜索的具体示例展示其应用。这三种数据库分别是：faiss、Milvus和Qdrant。

对于文本Embedding向量获取，我们采用OpenAI的embedding模型text-embedding-ada-002，对网络的“中国载人登月工程”词条文本进行处理。将文本切分、过滤纯数字句子，保存为dengyue.txt文件，使用该模型获取句子向量，并以npz格式保存。

接下来，我们以faiss为例，展示如何使用该库进行文本相似性搜索。faiss是Facebook AI Similarity Search的简称，用于高效相似性搜索和密集向量聚类，支持CPU和GPU，提供多种索引类型，可处理大规模向量集。

以阿波罗登月计划和北京航天城为例，faiss能够快速检索出与查询文本最相似的k个语料文本。

Milvus是一个专门设计用于处理大规模嵌入向量的数据库，支持万亿级别的向量索引，适用于非结构化数据转换生成的嵌入向量。

通过Docker启动Milvus服务，实现文本相似性搜索。创建collection并设置schema，使用示例Python代码执行搜索。

Qdrant是一个用Rust编写的高性能矢量数据库，旨在支持先进矢量相似性搜索技术，适用于下一代人工智能应用。支持多语言、多种数据类型和过滤器。

使用Qdrant进行文本相似性搜索，本地模式下启动服务，或使用本地Docker，同样通过Python代码执行搜索。

总结，本文通过实际例子介绍了faiss、Milvus和Qdrant三种向量数据库，并展示了它们在文本相似性搜索中的应用方法。每种数据库各有优势，适合不同场景，共同推动了向量数据库在AI领域的发展。