導(dǎo)入100W的Csv數(shù)據(jù)，使用OpenCsv解析工具解析Csv，發(fā)現(xiàn)報(bào)錯(cuò)

報(bào)錯(cuò)內(nèi)容

com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]

解析代碼

CSVParser csvParser = new CSVParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) {
 String[] lines;
 while ((lines = readerCsv.readNext()) != null) {
  doRead(lines);
 }
} catch (CsvValidationException e) {
 throw new IOException(e);
}

報(bào)錯(cuò)位置發(fā)生在英文逗號(hào)處，一開(kāi)始懷疑是英文逗號(hào)解析問(wèn)題
Csv 文本報(bào)錯(cuò)位置

"2018-04-28 00:40:43","xxx,XXXXX"

去掉當(dāng)前位置英文逗號(hào)導(dǎo)入仍舊失敗
后來(lái)查看源碼發(fā)現(xiàn)默認(rèn)的 CSVParser 會(huì)對(duì)反斜杠""進(jìn)行處理

這導(dǎo)致了解析Csv邏輯與源文件不同
后來(lái)使用了 RFC4180Parser 問(wèn)題解決

RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) {
 String[] lines;
 while ((lines = readerCsv.readNext()) != null) {
  doRead(lines);
 }
} catch (CsvValidationException e) {
 throw new IOException(e);
}

參考文檔：（RFC4180標(biāo)準(zhǔn)文檔）https://datatracker.ietf.org/doc/html/rfc4180

到此這篇關(guān)于使用OpenCsv導(dǎo)入大數(shù)據(jù)量報(bào)錯(cuò)的問(wèn)題 的文章就介紹到這了,更多相關(guān)OpenCsv導(dǎo)入大數(shù)據(jù)量報(bào)錯(cuò)內(nèi)容請(qǐng)搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！

美國(guó)服務(wù)器租用

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。