延续一下之前的UI 增加了用reviews 来做rag
rag 部分可以看一下 做了下总结:
https://www.blueif.me/article/14a71a79-6e22-8074-8ff4-f9b852eca1c9
https://www.blueif.me/article/15271a79-6e22-8094-ade8-d5960fe99967
https://www.blueif.me/article/15071a79-6e22-803f-bc17-eb7ea3e8f236
UI 部分可以参考:
https://www.blueif.me/article/14a71a79-6e22-80c7-8461-d142ade083a2
github:
前端:https://github.com/blueif16/movieflex
后端llm + 爬虫:https://github.com/blueif16/IMDB_review_backend
Tech stack:
RAG → llamaindex, chromadb
Scraping → selenium IMDB
主要麻烦的是网上现有的IMDB review 爬虫测试一下都不能用了 只能重新分析一下html找内容
这里是selenium 打开网页 → 找到All → 点击后等待reviews加载 (一共用时40s) 大概每个电影可以爬到600+条评论
然后每个电影创建chromadb collection (还有很多别的方法 应该会更好 以后慢慢试)
以后可以用更复杂的工具(graph rag, meta data filter, query pipeline) 在更复杂的数据类型上
下面放几个现在效果:
