Skip to content

Commit

Permalink
update
Browse files Browse the repository at this point in the history
  • Loading branch information
ZhuPeng committed Jul 16, 2024
1 parent f30621b commit f951c77
Show file tree
Hide file tree
Showing 19 changed files with 266 additions and 314 deletions.
13 changes: 8 additions & 5 deletions _posts/2023-12-21-16-48-pub-cg-danswer-ai-danswer.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,32 +10,35 @@ tags: Python

在当前大数据时代,充斥着海量的数据,当我们需要获取某些信息时,我们必须在多个不同的源头进行检索。这是一个非常耗时且低效的过程,使我们不得不将部分时间和精力用于查找信息,而非专注于解决实际问题。在这种情况下,我们需要一种工具,能够帮助我们针对性地获取数据,最好是能以人类的自然语言提问,内容源可以是我们日常工作中常用的私人资源,如 Slack、GitHub、Confluence 等。

今天要给大家推荐一个 GitHub 开源项目 danswer-ai/danswer,该项目在 GitHub 有超过 5.2k Star,用一句话介绍该项目就是:“Ask Questions in natural language and get Answers backed by private sources. Connects to tools like Slack, GitHub, Confluence, etc.”。
![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240608221213237.png)

今天要给大家推荐一个 GitHub 开源项目 danswer,该项目在 GitHub 有超过 9.6k Star,一句话介绍该项目:Ask Questions in natural language and get Answers backed by private sources. Connects to tools like Slack, GitHub, Confluence, etc.

![](https://github.com/danswer-owners/danswer/blob/1fabd9372d66cd54238847197c33f091a724803b/DanswerWithName.png?raw=true)

![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240608221646329.png)

###### 项目介绍

Danswer 是一个开源的企业级问答系统,用户可以用自然语言向系统提问,Danswer 会从你提供的私人数据源中查找答案。这些源头可以是 Slack、GitHub、Confluence 等多种常见的工具。项目提供了直接的 QA 功能以及由生成式 AI 模型为支撑的聊天功能。设计上,它采用最新的 NLP 模型实现智能文档检索,并有能力从自然语言中自动提取时间或资源过滤信息。

DEMO:~/Downloads/292074827-563be14c-9304-47b5-bf0a-9049c2b6f410.mp4
演示视频如下所示:

<video src="/Users/zhupeng/Downloads/292074827-563be14c-9304-47b5-bf0a-9049c2b6f410.mp4"></video>
目前支持如下数据源:

![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240125224557627.png)

###### 如何使用

Danswer 提供了完备的 Web UI,你还可以将 Danswer 插入到现有的 Slack 工作流中,更有更多的集成方式在开发中。Danswer 支持本地测试和一键部署到虚拟机上的功能,只需要一个 `docker compose` 命令就可以完成部署。同时,项目也支持部署在 Kubernetes 上。
Danswer 提供了完备的 Web UI,你还可以将 Danswer 插入到现有的 Slack 工作流中,更多的集成方式还在开发中。Danswer 支持本地测试和一键部署到虚拟机上的功能,只需要一个 `docker compose` 命令就可以完成部署。同时,项目也支持部署在 Kubernetes 上。

```bash
git clone https://github.com/danswer-ai/danswer.git
cd danswer/deployment/docker_compose
docker compose -f docker-compose.dev.yml -p danswer-stack up -d --pull always --force-recreate
```

启动后访问 http://localhost:3000 即可。
启动后访问 localhost:3000 即可。

###### 项目推介

Expand Down
10 changes: 6 additions & 4 deletions _posts/2024-03-15-19-03-pub-cg-lionsoul2014-ip2region.md
Original file line number Diff line number Diff line change
Expand Up @@ -10,7 +10,9 @@ tags: Go

在电子商务、广告投放、大数据分析等领域,通过用户的 IP 地址来获取和分析其地理位置信息,是一种常见操作。然而这样就存在一个问题,我们需要一个具有高效 IP 地址查询功能的工具,可以快速查找出 IP 地址对应的具体地点,否则用户可能花费大量时间在处理和分析这些 IP 数据上。

今天要给大家推荐一个 GitHub 开源项目 lionsoul2014/ip2region,该项目在 GitHub 有超过 15.4k Star,一句话介绍该项目:Ip2region (2.0 - xdb) is a offline IP address manager framework and locator, support billions of data segments, ten microsecond searching performance. xdb engine implementation for many programming languages
![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240608221818718.png)

今天要给大家推荐一个 GitHub 开源项目 ip2region,该项目在 GitHub 有超过 16.2k Star,一句话介绍该项目:Ip2region (2.0 - xdb) is a offline IP address manager framework and locator, support billions of data segments, ten microsecond searching performance. xdb engine implementation for many programming languages

![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240417223827390.png)

Expand All @@ -30,16 +32,16 @@ Ip2region 是一个离线 IP 地址管理框架和定位器,巧妙地解决了
from xdbSearcher import XdbSearcher

def searchWithFile():
# 1. 创建查询对象
# 1. create query object
dbPath = "../../data/ip2region.xdb"
searcher = XdbSearcher(dbfile=dbPath)

# 2. 执行查询
# 2. exec query
ip = "1.2.3.4"
region_str = searcher.searchByIPStr(ip)
print(region_str)

# 3. 关闭searcher
# 3. close searcher
searcher.close()
```
###### 项目推介
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -18,6 +18,8 @@ vCluster 是一个创新的开源解决方案,它提供给我们全功能的

###### 2、Go 超快安全轻量级的 Actor 引擎

[Go 超快安全轻量级的 Actor 引擎](https://www.bilibili.com/video/BV1gn4y197Rw/)

Hollywood 是一个基于 Golang 的超快安全轻量级的 Actor 引擎项目。它是为快速和低延迟的应用程序(如游戏服务器,广告代理商,交易引擎等)而构建的,能在一秒内处理超过 1000 万的消息。Hollywood 的主要特性包括消息在 Actor 失败时的可靠传输 (缓冲机制)、忘却式或请求响应式消息传送,采用高性能的 dRPC 作为运输层、优化的 proto 缓冲区(没有反射)、轻量级和高度可定制、集群支持等。

开源项目地址:https://github.com/anthdm/hollywood
Expand All @@ -26,6 +28,8 @@ Hollywood 是一个基于 Golang 的超快安全轻量级的 Actor 引擎项目

###### 3、更快更安全的全新 SSH3 协议



SSH3 项目是 SSH 协议的全新改造。基于 HTTP 的机制,使用 QUIC+TLS1.3 进行安全通道的建立,使用 HTTP 授权机制进行用户认证。

开源项目地址:https://github.com/francoismichel/ssh3
Expand Down
Original file line number Diff line number Diff line change
@@ -1,13 +1,15 @@
---
layout: post
title: 【视频】Go 超快安全轻量级的 Actor 引擎
title: 【视频】无侵入式治理微服务的系统
tags: 视频
---

最近又有新视频发布了,后续我们会定期把在 B 站更新的热门推文视频在公众号上做一下同步,但是一般会有滞后一到两周,如果大家想及时观看视频,欢迎关注我们的 B 站同名账号 **GitHub精选**

###### 1、网易云/QQ音乐歌单跨平台迁移

[网易云/QQ音乐歌单跨平台迁移](https://www.bilibili.com/video/BV1Q1421y7HH/)

GoMusic 是一个使用 Golang + Gin 开发的后端项目,其前端使用 Vue + ElementUI 编写。此项目主要解决的问题正是我们每日会碰到的音乐平台间歌单的迁移问题,其目前主要支持网易云/QQ音乐歌单迁移至 Apple/Youtube/Spotify Music。

开源项目地址:https://github.com/Bistutu/GoMusic
Expand All @@ -16,6 +18,8 @@ GoMusic 是一个使用 Golang + Gin 开发的后端项目,其前端使用 Vue

###### 2、支持 90+ 语言的文档 OCR 工具包

[支持 90+ 语言的文档 OCR 工具包](https://www.bilibili.com/video/BV1R4421X7SC/)

Surya 一个多语言文档 OCR 工具包。其功能不仅包括精确的行级文本检测,还将解决更为复杂的文本识别和表格/图表识别问题。该项目对多种文档和语言作了优化,可应用于新闻、科学论文、扫描文件等众多场景。

开源项目地址:https://github.com/VikParuchuri/surya
Expand All @@ -24,6 +28,8 @@ Surya 一个多语言文档 OCR 工具包。其功能不仅包括精确的行级

###### 3、无侵入式治理微服务的系统

[无侵入式治理微服务的系统](https://www.bilibili.com/video/BV1Zz421a7t9/)

`Istio` 是一个开源的服务网格,能透明地嵌入到已有的分布式应用程序。它强大的功能提供了一种统一且更有效的方式来保护、连接和监测服务。它是实现负载均衡、服务间鉴权、监控等功能的路径,同时并不需要对服务代码进行大量更改。

开源项目地址:https://github.com/istio/istio
Expand Down
26 changes: 13 additions & 13 deletions _posts/2024-04-02-video_reco_32.md
Original file line number Diff line number Diff line change
@@ -1,34 +1,34 @@
---
layout: post
title: 【视频】用 SQLite 重塑 Redis 的技术革新
title: 【视频】全语言无差别应用性能分析器
tags: 视频
---

最近又有新视频发布了,后续我们会定期把在 B 站更新的热门推文视频在公众号上做一下同步,但是一般会有滞后一到两周,如果大家想及时观看视频,欢迎关注我们的 B 站同名账号 **GitHub精选**

###### 1、开源 RAG 引擎,大模型应用开发必备框架
###### 1、全语言无差别应用性能分析器

RAGFlow 是一个开源的基于深入文档理解的 RAG (Retrieval-Augmented Generation) 引擎。它提供了一种简洁的 RAG 工作流,适用于任何规模的业务,结合了大型语言模型 (LLM),能够提供基于多种复杂格式数据的真实问答能力
`otel-profiling-agent` 是一个为 Linux 系统设计的跨语言、全系统级性能分析器,通过利用 eBPF 技术,实现了对程序运行时性能的准确分析而又几乎不增加额外开销。这个项目旨在通过 OpenTelemetry 捐赠给开源社区,目前暂时存放于一个临时仓库中。其核心优势包括对 C/C++ 等本地程序的高效支持、底至 1% 的 CPU 和 250MB 的内存上限、对混合运行时栈跟踪的完整支持、以及 100% 的非侵入式设计

开源项目地址:https://github.com/infiniflow/ragflow
开源项目地址:https://github.com/elastic/otel-profiling-agent

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247490844&idx=1&sn=4258e65eb5d296d303d1fe670f692e7c&chksm=9b3f8dc4ac4804d2a922212c1c14ac9c40b5aa93b11268908b5131ce47338ef8d17be651be94#rd
更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247490958&idx=1&sn=8db3ed2484cb8cd6a2055bcb072ef020&chksm=9b3f8d56ac4804409dc127465c2dcf0589f4f85860f57628ce1ffe6404909b71667ad0e3c69d#rd

###### 2、用 SQLite 重塑 Redis 的技术革新
###### 2、高性能离线 IP 地址查询系统

Redka 旨在用 SQLite 重实现 Redis 的核心功能,同时保持与 Redis API 的兼容
Ip2region 是一个离线 IP 地址管理框架和定位器,巧妙地解决了我们在处理大数据量下的 IP 地址定位问题。它可以支持数十亿的数据分段,查询性能可达微秒级,既可以满足大数据量下的高性能需求,同时也保证了查询速度,大大提高了 IP 地址数据处理的效率。Ip2region 使用了 2.0 - xdb 引擎,它可以为多种编程语言提供实现

开源项目地址:https://github.com/nalgeon/redka
开源项目地址:https://github.com/lionsoul2014/ip2region

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247491020&idx=1&sn=a1ee9859f93c0f62eaa4addaefaf5ab0&chksm=9b3f8d14ac480402232793c04f69f41094afa69dae8ba4f80cb41aa4af61d9291f63895cfc5a#rd
更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247490808&idx=1&sn=129a4f01e4e758ad99a69bab437abc93&chksm=9b3f8c20ac480536b94d22338df02362ba5fd8b8a27dc3216de64aa2871ddf48b381f3c7dc7a#rd

###### 3、多个大厂背书,一个高性能事件驱动框架
###### 3、开源的企业级问答系统

`gnet` 由于其非凡的性能优势,在全球各类编程语言的网络框架的 benchmark 中,常常名列前茅,例如在 TechEmpower 的测试中,`gnet` 在486个框架中排名第一,证明了其作为 Go 语言网络框架中速度最快的成就
Danswer 是一个开源的企业级问答系统,用户可以用自然语言向系统提问,Danswer 会从你提供的私人数据源中查找答案。这些源头可以是 Slack、GitHub、Confluence 等多种常见的工具。项目提供了直接的 QA 功能以及由生成式 AI 模型为支撑的聊天功能。设计上,它采用最新的 NLP 模型实现智能文档检索,并有能力从自然语言中自动提取时间或资源过滤信息

开源项目地址:https://github.com/panjf2000/gnet
开源项目地址:https://github.com/danswer-ai/danswer

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247491095&idx=1&sn=90f0ec563541b239905dda828b0e2f1a&chksm=9b3f8ecfac4807d961249c5008bec5223b28ecaa9f9edcdb857ab6fea6b0ea658866c4a8c649#rd
更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247489650&idx=1&sn=019c9870242f5ba06f6dc90bcf3c5b82&chksm=9b3f88aaac4801bcedc6069717077c17efe9a4d22ccee605d80128ffd474e5e276829ec1f2b4#rd

如果觉得我们的视频还不错的话,欢迎大家一键三连关注我们,我们也会做更多有意思的视频。

Expand Down
39 changes: 39 additions & 0 deletions _posts/2024-04-02-video_reco_33.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,39 @@
---
layout: post
title: 【视频】用 SQLite 重塑 Redis 的技术革新
tags: 视频
---

最近又有新视频发布了,后续我们会定期把在 B 站更新的热门推文视频在公众号上做一下同步,但是一般会有滞后一到两周,如果大家想及时观看视频,欢迎关注我们的 B 站同名账号 **GitHub精选**

###### 1、开源 RAG 引擎,大模型应用开发必备框架

RAGFlow 是一个开源的基于深入文档理解的 RAG (Retrieval-Augmented Generation) 引擎。它提供了一种简洁的 RAG 工作流,适用于任何规模的业务,结合了大型语言模型 (LLM),能够提供基于多种复杂格式数据的真实问答能力。

开源项目地址:https://github.com/infiniflow/ragflow

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247490844&idx=1&sn=4258e65eb5d296d303d1fe670f692e7c&chksm=9b3f8dc4ac4804d2a922212c1c14ac9c40b5aa93b11268908b5131ce47338ef8d17be651be94#rd

###### 2、用 SQLite 重塑 Redis 的技术革新

Redka 旨在用 SQLite 重实现 Redis 的核心功能,同时保持与 Redis API 的兼容。

开源项目地址:https://github.com/nalgeon/redka

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247491020&idx=1&sn=a1ee9859f93c0f62eaa4addaefaf5ab0&chksm=9b3f8d14ac480402232793c04f69f41094afa69dae8ba4f80cb41aa4af61d9291f63895cfc5a#rd

###### 3、多个大厂背书,一个高性能事件驱动框架

[多个大厂背书,一个高性能事件驱动框架](https://www.bilibili.com/video/BV1rz421b7PA/)

`gnet` 由于其非凡的性能优势,在全球各类编程语言的网络框架的 benchmark 中,常常名列前茅,例如在 TechEmpower 的测试中,`gnet` 在486个框架中排名第一,证明了其作为 Go 语言网络框架中速度最快的成就。

开源项目地址:https://github.com/panjf2000/gnet

更多介绍:https://mp.weixin.qq.com/s?__biz=MzAwMzE5NzM2Nw==&mid=2247491095&idx=1&sn=90f0ec563541b239905dda828b0e2f1a&chksm=9b3f8ecfac4807d961249c5008bec5223b28ecaa9f9edcdb857ab6fea6b0ea658866c4a8c649#rd

如果觉得我们的视频还不错的话,欢迎大家一键三连关注我们,我们也会做更多有意思的视频。

读者专属插件:github.com/ZhuPeng/github_linker

公众号快速添加小程序插件:github.com/ZhuPeng/mp-transform-public
4 changes: 2 additions & 2 deletions _posts/2024-04-03-15-20-pub-cg-infiniflow-ragflow.md
Original file line number Diff line number Diff line change
Expand Up @@ -12,13 +12,13 @@ tags: Python

![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240604230222920.png)

今天要给大家推荐一个 GitHub 开源项目 infiniflow/ragflow,该项目在 GitHub 有超过 1.2k Star,一句话介绍该项目:RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.
今天要给大家推荐一个 GitHub 开源项目 ragflow,该项目在 GitHub 有超过 9k Star,一句话介绍该项目:RAGFlow is an open-source RAG (Retrieval-Augmented Generation) engine based on deep document understanding.

![](https://raw.githubusercontent.com/infiniflow/ragflow/master/web/src/assets/logo-with-text.png)

###### 项目介绍

[RAGFlow](https://demo.ragflow.io) 是一个开源的基于深入文档理解的 RAG (Retrieval-Augmented Generation) 引擎。它提供了一种简洁的 RAG 工作流,适用于任何规模的业务,结合了大型语言模型 (LLM),能够提供基于多种复杂格式数据的真实问答能力。
RAGFlow 是一个开源的基于深入文档理解的 RAG (Retrieval-Augmented Generation) 引擎。它提供了一种简洁的 RAG 工作流,适用于任何规模的业务,结合了大型语言模型 (LLM),能够提供基于多种复杂格式数据的真实问答能力。

![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240603222403300.png)

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -10,7 +10,9 @@ tags: Go

在生产级数据中心进行应用性能分析时,实现低开销、高效准确的程序性能分析是个极具挑战的问题。特别是在复杂的服务环境下,需要跨语言、跨系统进行全面的性能剖析,以便于快速准确地定位性能瓶颈。常规的性能分析工具要么侵入性太强、要么难以提供足够深度的信息、要么运行成本过高。在不打扰现有服务运行的前提下,进行细粒度性能分析一直是工程师们面临的一个核心痛点。

今天要给大家推荐一个 GitHub 开源项目 elastic/otel-profiling-agent,该项目在 GitHub 有超过 1.3k Star,一句话介绍该项目:The production-scale datacenter profiler
![](https://raw.githubusercontent.com/ZhuPeng/pic/master/images/compress_image-20240608222240167.png)

今天要给大家推荐一个 GitHub 开源项目 otel-profiling-agent,该项目在 GitHub 有超过 2.1k Star,一句话介绍该项目:The production-scale datacenter profiler

![](https://raw.githubusercontent.com/elastic/otel-profiling-agent/master/./docs/devfiler.png)

Expand Down
Loading

0 comments on commit f951c77

Please sign in to comment.