datafactory

当前监听mongodb的change stream https://www.mongodb.com/docs/manual/changeStreams/ 来实时处理数据

主要作用为将 Staging 层的数据按照一定的格式进行建模，存储到Data Vault层

本地开发

1. 修改本地 hosts, mongo1, mongo2, mongo3 都指向 127.0.0.1
2. 使用start-db.sh在本地启动mongodb副本集和mysql数据库
3. run main.go

从mongodb官网安装mongosh

然后 mongosh mongosh mongodb://mongo1:27017,mongo2:27018,mongo3:27019连接到mongo数据库

use tushare;

db.stock_basic.insert({ timestamp: 1662949539, dataType: 'Stock', dataSource: 'tushare', data: { ts_code: '000001.SZ', symbol: '000001', name: '平安银行', area: '深圳', industry: '银行', fullname: '平安银行股份有限公司', enname: 'Ping An Bank Co., Ltd.', cnspell: 'payh', market: '主板', exchange: 'SZSE', curr_type: 'CNY', list_status: 'L', list_date: 19910403, delist_date: null, is_hs: 'S' } });

test