免责声明：本项目与Netflix无关，仅为技术实验。
超越Netflix：构建更智能的电影推荐系统
Netflix作为流媒体巨头，拥有超过2亿用户和17000多部电影及电视节目，其推荐系统功不可没。该系统基于用户观看历史、相似节目、用户趋势和热门剧集等数据进行推荐。但如果我们能以更简便的方式复制这一功能呢？
本项目旨在构建一个简易的电影推荐系统，包含直接搜索、基于向量的推荐引擎以及AI内容推荐功能。
技术选型
本应用基于Next.js、Tailwind CSS和shadcn UI构建。项目灵感源于Tejas Kumar的DataStax电影推荐系统演讲，技术选型则借鉴了Lee Robinson的库存项目。为确保性能，我们使用Next.js的服务器端渲染(SSR)功能及图像组件进行图像预渲染和积极预取。数据存储采用Neon Cloud PostgreSQL数据库，Vercel AI SDK用于嵌入式搜索，并使用Prisma作为ORM。
数据准备
我们使用Kaggle上的开源数据集，包含8000多部电影和电视节目（CSV格式），直接导入数据库。OMDb API用于获取海报图像和IMDb评分。演示CSV文件使用cast作为列名，但在数据库中，我们使用_cast避免与数据库函数冲突。
COPY tmp_titles (show_id, title, description, director, genres, _cast, production_country, release_date, rating, duration)FROM '/data/netflix_titles.csv'DELIMITER ','CSV HEADER;
为建立表间关系，我们创建了多个表，shows表作为主要数据来源：
CREATE TABLE "shows" ( "id" SERIAL PRIMARY KEY NOT NULL, "title" TEXT NOT NULL, "poster" TEXT, -- 海报图片URL "description" TEXT, -- 简短描述 "release_year" INTEGER, -- 发行年份 "duration" TEXT, -- 时长 "imdb_score" NUMERIC, -- IMDb评分 "imdb_id" TEXT, -- IMDb ID "content_type" TEXT -- 类型 (电影或剧集));
接下来，创建actors表并建立与shows表的多对多关系：
CREATE TABLE "actors" ( "id" SERIAL PRIMARY KEY NOT NULL, "name" TEXT NOT NULL, CONSTRAINT "actors_name_unique" UNIQUE("name"));CREATE TABLE "show_actors" ( "show_id" INTEGER NOT NULL, "actor_id" INTEGER NOT NULL, CONSTRAINT "show_actors_show_id_actor_id_pk" PRIMARY KEY("show_id", "actor_id"));
这使得我们可以关联节目和演员。通过递归，可以将演员链接到他们出演的节目。这通过匹配tmp_titles表中的节目和shows表，并解析_cast列来实现。
-- 将tmp_titles._cast中的演员插入actors表WITH RECURSIVE split_cast AS ( SELECT DISTINCT -- 去除空格并以逗号分割_cast字符串 TRIM(UNNEST(STRING_TO_ARRAY(_cast, ','))) AS actor_name FROM tmp_titles WHERE _cast IS NOT NULL)INSERT INTO actors (name)SELECT actor_nameFROM split_castWHERE actor_name != '' -- 跳过空字符串ON CONFLICT (name) DO NOTHING;
类似过程应用于类别、导演和国家表。
全文搜索
为提升搜索功能，我们在shows表中添加search_text列，存储标题、描述、类型、演员、导演和类别的文本组合，方便全文搜索。我们使用PostgreSQL的pg_trgm扩展提高搜索效率。
-- 创建文本搜索扩展CREATE EXTENSION IF NOT EXISTS pg_trgm;-- 添加search_text列ALTER TABLE "shows"ADD COLUMN "search_text" TEXT;-- 创建search_text列索引CREATE INDEX "idx_shows_search_text_tsv" ON "shows" USING gin (to_tsvector('english', "search_text"));
迁移完成后，我们可以使用脚本填充search_text列：
// ... (代码片段，用于填充search_text列) ...
现在，我们可以使用search_text列执行全文搜索：
// ... (代码片段，用于执行全文搜索) ...
to_tsvector和to_tsquery函数用于匹配向量和查询。
基于AI嵌入的向量搜索
全文搜索功能强大，但不足以满足所有需求。我们需要支持语义搜索，用户可以根据给定标题或抽象标准查找相似节目。
Vercel AI SDK可以创建元数据的向量表示（嵌入），增强语义搜索。我们使用Mistral模型：
// ... (代码片段，使用Mistral模型生成嵌入) ...
我们定义Zod模式用于AI生成嵌入：
// ... (代码片段，定义Zod模式) ...
使用该模式，我们可以要求AI模型分析节目信息并生成元数据：
// ... (代码片段，生成元数据) ...
结果类似于《绝命毒师》的元数据：
// ... (《绝命毒师》的元数据JSON) ...
使用此元数据，我们在shows表中存储每个节目的嵌入，启用向量搜索。创建必要的扩展并添加新列：
-- 创建扩展CREATE EXTENSION IF NOT EXISTS vector;-- 添加embedding列ALTER TABLE "shows"ADD COLUMN "embedding" vector(1024);-- 创建embedding列索引CREATE INDEX "embeddingindex" ON "shows" USING ivfflat ("embedding" vector_cosine_ops);
然后，使用AI SDK生成并存储嵌入：
// ... (代码片段，生成并存储嵌入) ...
现在，我们可以查询最近邻：
// ... (代码片段，查询最近邻) ...
未来展望
您可以克隆项目仓库并在本地运行。实时演示链接（此处应插入链接）。您可以添加新功能，例如新的推荐类型或使用OpenAI或Gemini改进搜索。还可以扩展数据集，添加更多元数据。
总结
通过PostgreSQL、Next.js和AI驱动的嵌入，我们可以构建高效可扩展的推荐引擎。全文搜索和语义AI搜索相结合，提供更强大、个性化的体验。
参考链接
pgvectorpg_trgmPrismaVercel AI SDKPostgreSQL中的向量搜索向量与Prisma的相似性
以上就是Netflix，但更好的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1501281.html
微信扫一扫 
支付宝扫一扫 
