无需图数据库的知识图谱和分析,为Gen-AI提供解决方案

21,874次阅读
没有评论

共计 2172 个字符,预计需要花费 6 分钟才能阅读完成。

引言

在当前人工智能革命的推动下,图形比以往任何时候都更加重要和有用。工程师们正在思考与 Gen-AI 相关的机遇,利用开放的 Gen-AI 解决方案,如动态提示、数据基础和掩码,从而进一步思考知识图谱等有效解决方案。

例如工程师张三正在解决一个数据基础问题,并考虑为工作中的个性化产品推荐 AI 解决方案构建它们的知识图谱,并开始思考以下问题:

张三的关切似乎非常合理。如果他现在必须编写应用程序逻辑来生成图形,并连接到新的图数据库以存储它们,这将带来一系列挑战,如集成、安全性、成本、可靠性和技术学习等。

然而,张三可以通过简单而强大的原生图分析引擎应用来克服这些麻烦的问题。

是的,今天可以在现有数据上实现图查询,而无需物化图形或使用图数据库。

你是否想知道如何在现有的数据库、数据仓库和数据湖中原生地实现图分析和图查询呢?让我们偷窥一下。

图与图分析

在软件工程中,图是用于建模和表示实体之间关系的数据结构。它们由节点(vertices)和关系(edges)组成,这些节点和关系相互连接,可以是有向或无向的、加权或非加权的。

图分析是一种强大的新兴数据分析形式,用于分析基于图的数据,帮助企业理解各种数据实体之间的复杂关系。它有助于理解、可视化并从复杂关系中获得有意义的见解。

图分析与传统 SQL 分析的比较

图分析 传统 SQL 分析
性能 更高的性能 较低的性能
灵活性 更加灵活和可扩展 相对较少的灵活性和可扩展性
可扩展性 更容易处理大型图数据集 处理大型数据集相对困难
关系导向性 通过关系导向的查询更好地理解数据实体之间的复杂关系 通过表查询来理解数据实体之间的关系
智能分析 对于智能和 AI 分析更具相关性 不太适用于智能和 AI 分析

从上表可以看出,图分析在智能和 AI 分析方面的效果更好,具有更高的性能、灵活性、可扩展性和关系导向性。

如何实现图分析

目前,大多数企业为了利用图分析而生成图形并将其存储在图数据库中。Neo4j、TigerGraph、Amazon Neptune 和 OrientDB 是业界广泛采用的图数据库。

图分析

然而,原生图分析引擎是一种新的范式,可以直接在现有的关系型 /SQL 数据上实现图查询和可视化,无需使用图数据库,并且仍然可以利用图分析和传统分析方法带来的所有优势。

这似乎是一个非常强大的工具,具有许多与图分析相关的机会,可以完全抛弃冗余的图数据库,并转向这种新的原生图分析范式。

从流程中删除图形数据库

 从流程中删除图形数据库

最终用户流程图

最终用户流程图

通过移除流程中的图数据库,我们可以同时实现以下三个目标:

  1. 零 ETL:无需复制、迁移或 ETL 数据,即可构建和存储图形。也不需要从一个数据湖复制基本关系数据到另一个数据湖。你可以在运行时进行实时查询的虚拟层。

  2. 不需要新的图数据库:无需物化和存储图格式的数据,可以在运行时实时执行。无需引入新的图数据库,也无需担心集成、成本和安全限制。

  3. 高性能:同时实现图查询对关系型数据的所有性能优势。

业界正在迅速跟进这种新方法,已经有一些相关的参与者。

开源开发库

  • Apache Spark GraphX:GraphX 是 Spark 的一个新组件,用于图形和图并行计算,包含了越来越多的图算法和构建器,以简化图分析任务。

  • Apache Flink Gelly:Gelly 是 Apache Flink 的图处理 API 和库。Flink 对迭代的本地支持使其成为大规模图分析的适当平台。

提供原生支持的现成产品 / 引擎

  • PuppyGraph:使用 PuppyGraph,你可以在仓库、数据湖和数据湖屋中以无缝的无 ETL 集成的方式进行图查询。支持以下开放表格式:

    还支持以下数据库的关系型数据:

    • MySQL

    • PostgreSQL

    • Apache Iceberg

    • Apache Hudi

    • Apache Hive

    • Delta Lake

  • Timbr.ai:Timbr 的语义图平台是一个 SQL 原生知识图,可以将你的数据库转换为推理机,因此我们可以在数据上应用优化的图形,如 SQL 查询。它支持与符合 SQL / ANSI SQL 标准或可通过 SQL 查询的任何关系型数据库的完全后端集成。连接可以通过 JDBC 或 ODBC 连接器建立,无需 ETL。

    支持的关系型数据库:MySQL、MariaDb、SqlServer、PostgreSQL、SAP Hana、Aurora Oracle

    支持的 NoSQL 数据库:MongoDB

    支持的数据湖:S3、GCS、Microsoft ADLS

    支持的数据仓库:RedShift、BigQuery、Snowflake、Databricks、Synapse、Athena

    支持的引擎:Apache Spark、Presto、Trino

    支持的数据格式:Parquet/JSON/CSV 文章来源地址 https://www.toymoban.com/diary/system/651.html

到此这篇关于无需图数据库的知识图谱和分析,为 Gen-AI 提供解决方案的文章就介绍到这了, 更多相关内容可以在右上角搜索或继续浏览下面的相关文章,希望大家以后多多支持 TOY 模板网!

原文地址:https://www.toymoban.com/diary/system/651.html

如若转载,请注明出处:如若内容造成侵权 / 违法违规 / 事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

    正文完
     0
    Yojack
    版权声明:本篇文章由 Yojack 于1970-01-01发表,共计2172字。
    转载说明:
    1 本网站名称:优杰开发笔记
    2 本站永久网址:https://yojack.cn
    3 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长进行删除处理。
    4 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
    5 本站所有内容均可转载及分享, 但请注明出处
    6 我们始终尊重原创作者的版权,所有文章在发布时,均尽可能注明出处与作者。
    7 站长邮箱:laylwenl@gmail.com
    评论(没有评论)