logo资料库

大数据接入规范-csv,excel,jdbc数据源.docx

第1页 / 共4页
第2页 / 共4页
第3页 / 共4页
第4页 / 共4页
资料共4页,全文预览结束
一、EXCEL类
二、sql类
三、 Csv类
一、EXCEL 类 (一) 文件格式:***.xlsx (二) 文件命名:数据的日期+数据类型,如 (三) 文件存放路径:85/opt/fgw/模块名/表名/***.xlsx (四) Excel 内容格式规范 1、不能合并单元格。 例:居委会村委会人数 表名 ods_pn_ccommittee 字段[number_of_people(人数)] 修改前 修改后 2、一张表对应一个 excel,excel 里只能有一个 sheet 页 例:电力复工复产 表名 ods_PR_NAPOERTW(企业复工户数及占比) ods_PR_PCAPOERTW(企业复工电量及占比) 修改前 修改后 3、excel 不能有多余无用列和其他无用内容,也不可少列 例:健康宝问题清单 表名 ods_tb_order_problems_list 字段 datatype(数据类型【问题清单,京津冀互认问题清单,来电清单等】) Problermtype(问题类型【咨询类,诉求类,建议类,需协调解决类等】)
修改前 修改后 4、表头有且只能有一行 例:电力复工复产指数 表名 ods_power_resumption_index 修改前 修改后 5、内容格式一律为文本格式 1)函数格式转为数值文本格式 例:电力复工复产指数 表名 ods_power_resumption_index 如数据为函数计算出来的,需把数据改为文本格式 2)日期格式转为文本格式 例:企业复工复产相关问题清单 表名 ods_rwp_related_issues 字段[date_processing(日期处理)] 修改后
5、特殊字符 如 - , #N/A 等一律替换为空,原因:如此处应存入数值类型,但用 - 代替则会 报错 例 1:电力复工复产指数 表名 ods_power_resumption_index 修改前 修改后 例 2:复工复产防疫问题清单 表名 ods_rwp_prevention_issues 修改前 修改后 二、sql 类 同一字段下内容格式统一,不能有多余空格或字符等 例:市交通委 表名 ods_sjtw_cjkyjcsj 字段[TARGETUNIT(单位)] 三、 Csv 类 1.文件格式:***.csv 2.文件命名:数据含义+数据的日期,如 company_dormitory_20200713.csv 3.文件存放路径:85/opt/fgw/模块名/表名/***.csv
4.文件提供规范:按规定文件命名给对应文件
分享到:
收藏