免费注册
帮助文档(华北一、二)

  • 下面以Nodejs语言为例、其他语言也可以实现消费Kafka的数据并且写入到DW。

    https://docs.ucloud.cn/_media/analysis/udw/case1.2.png

    如上所示,我们可以定时的把Kafka消费的数据导入到DW,上面的示例是用nodejs实现的,需要依赖kafka-node,kafka-node的git地址:https://github.com/SOHU-Co/kafka-node

    下面是通过copy的方式把从Kafka中消费的数据导入到DW,为了加快数据插入UDW的速度,强烈建议用copy的方式导入数据到DW。nodejs的copy数据到postgresql的使用方法请参考:https://github.com/brianc/node-pg-copy-streams

    https://docs.ucloud.cn/_media/analysis/udw/case1.3.png

    DW的数据库和表格相关设计和操作,请参考:DW开发指南


文档是否已解决您的问题?

  已解决   未解决

如您有其它疑问,您也可以与我们技术专家联系探讨。

联系技术专家