本文介绍: 导入palo表中的csv本身无schema信息csvpalo字段顺序必须一致,否则会错乱。解决方法palo导入替换制表符等特殊字符。可能原因:字符串等存在特殊字符,与分隔符重复。检测方法 :利用sublime搜索制表符。可能原因:varchar长度设置过短。

Doris数据导入错误the length of input is too larger than schema

可能原因:varchar长度设置过短

Doris字段乱序

导入palo表中的csv本身无schema信息csvpalo字段顺序必须一致,否则会错乱

Doris数据文件字段比表字段多 :actual column number is more than schema column number.actual number

可能原因:字符串等存在特殊字符,与分隔符重复

解决方法 :palo导入前替换制表符等特殊字符

检测方法 :利用sublime搜索制表符

Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	12746105196	8.21	五期破风生鲜99-19	all	all	1985001	盛亚福源牛肉店	20157304372	上脑肉4斤清真黄牛肉牛外脊可以做烤肉、炒菜、牛排	all	新	13	13	247.0	1547.0	1794.0	119.0	9.9	9.9	147.9	572.9	9.9	9.9	147.9	572.9	1	1	2	5	1	1	2	4	0.07692307692307693	0.07692307692307693	0.15384615384615385	0.3076923076923077]; 
Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	all	8.21	五期破风生鲜99-19	生鲜	水产肉类/新鲜蔬果/熟食	1985001	盛亚福源牛肉店	20157304372	all	短小融合	老	8	8	152.0	952.0	1104.0	119.0	239.8	239.8	274.70000000000005	629.2	307.8	307.8	374.70000000000005	794.2	3	3	4	9	3	3	3	5	0.375	0.375	0.375	0.625]; 
Reason: actual column number is more than schema column number.actual number: 40, column separator: [	], line delimiter: [
], schema number: 39; . src line [20230821	2023-08-21	all	all	8.21	五期破风生鲜99-19	all	all	42172036	柒天商贸经销部	all	【30-40活虾速冻】巨无霸规格新鲜食用海捕3斤15-18包邮	all	新	13	13	247.0	1040.0	1287.0	80.0	0.0	197.0	197.0	266.9	0.0	207.0	207.0	276.9	0	2	2	3	0	1	1	2	0.0	0.07692307692307693	0.07692307692307693	0.15384615384615385]; 

解决方法,在前序逻辑加工时处理,如在hive侧进行处理

regexp_replace(budget_id_all,'\n|\r|\t',' ') as batch_id_all, --平台券id

参考文章hive替换数据中的制表符和换行符_hive 替换换行符-CSDN博客

原文地址:https://blog.csdn.net/u010003835/article/details/134667803

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。

如若转载,请注明出处:http://www.7code.cn/show_7287.html

如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注