見出し画像

なぜか、CSVファイルの1万行分割で消える二つ目のカンマ区切り記号


[~] cat n | awk '{printf "\"%05d\",\"%s\"\n", NR, $0}'|sed -E 's/ (https.+)/,"\1/' |tail               16:43:46
"76383","2018-07-25_192438_宇出津新港 アルプ上空の満月 まだ薄明るい時間.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#63"
"76384","2018-07-31_155042_辺田の浜から宇加塚へ向かう道 昔、佐藤木材があった辺り.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#64"
"76385","2018-07-31_161553_能登町曽又 日吉神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#65"
"76386","2018-07-31_171906_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#66"
"76387","2018-07-31_171912_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#67"
"76388","2018-07-31_174559_能登町黒川 柳田村立 黒川小学校 跡地.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#68"
"76389","2018-07-31_174731_能登町黒川 集落の川.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#69"
"76390","2018-07-31_180630_旧柳田村 田んぼの向こう高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#70"
"76391","2018-07-31_181232_旧柳田村 笹ゆり荘の裏側から高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#71"
"76392","2018-07-31_181410_柳田温泉 到着.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#72"
[~]  
[~] cat nn.csv|tail                                                                                    16:45:21
"76383","2018-07-25_192438_宇出津新港 アルプ上空の満月 まだ薄明るい時間.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#63"
"76384","2018-07-31_155042_辺田の浜から宇加塚へ向かう道 昔、佐藤木材があった辺り.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#64"
"76385","2018-07-31_161553_能登町曽又 日吉神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#65"
"76386","2018-07-31_171906_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#66"
"76387","2018-07-31_171912_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#67"
"76388","2018-07-31_174559_能登町黒川 柳田村立 黒川小学校 跡地.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#68"
"76389","2018-07-31_174731_能登町黒川 集落の川.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#69"
"76390","2018-07-31_180630_旧柳田村 田んぼの向こう高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#70"
"76391","2018-07-31_181232_旧柳田村 笹ゆり荘の裏側から高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#71"
"76392","2018-07-31_181410_柳田温泉 到着.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#72"
[~] 
[~] split -l 10000 nn.csv                                                                              16:45:32
[~] mv xaa n.csv                                                                                       16:46:31
[~] tail n.csv                                                                                         16:46:36
"09991", "2018-07-08_013606_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013606"
"09992", "2018-07-08_013726_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013726"
"09993", "2018-07-08_013728_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013728"
"09994", "2018-07-08_013737_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013737"
"09995", "2018-07-08_013822_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013822"
"09996", "2018-07-08_014113_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014113"
"09997", "2018-07-08_014142_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014142"
"09998", "2018-07-08_014250_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014250"
"09999", "2018-07-08_014324_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014324"
"10000", "2018-07-08_014508_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014508"
[~]  
[~] cat nn.csv|tail                                                                                    16:46:43
"76383","2018-07-25_192438_宇出津新港 アルプ上空の満月 まだ薄明るい時間.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#63"
"76384","2018-07-31_155042_辺田の浜から宇加塚へ向かう道 昔、佐藤木材があった辺り.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#64"
"76385","2018-07-31_161553_能登町曽又 日吉神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#65"
"76386","2018-07-31_171906_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#66"
"76387","2018-07-31_171912_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#67"
"76388","2018-07-31_174559_能登町黒川 柳田村立 黒川小学校 跡地.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#68"
"76389","2018-07-31_174731_能登町黒川 集落の川.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#69"
"76390","2018-07-31_180630_旧柳田村 田んぼの向こう高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#70"
"76391","2018-07-31_181232_旧柳田村 笹ゆり荘の裏側から高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#71"
"76392","2018-07-31_181410_柳田温泉 到着.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#72"
[~] 

原因判明

[~] ls *xa*                                                                                            16:55:06
xaa  xac  xae  xag  xai  xak  xam  xao  xaq  xas  xau  xaw
xab  xad  xaf  xah  xaj  xal  xan  xap  xar  xat  xav
[~]  

 分割したファイルが上書き保存になっていなかった。

解決していなかった現象

[~] mkdir x                                                                                            16:58:35
[~] mv nn.csv x                                                                                        16:58:38
[~] cd x                                                                                               16:58:54
[x] tail nn.csv                                                                                        16:58:56
"76383","2018-07-25_192438_宇出津新港 アルプ上空の満月 まだ薄明るい時間.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#63"
"76384","2018-07-31_155042_辺田の浜から宇加塚へ向かう道 昔、佐藤木材があった辺り.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#64"
"76385","2018-07-31_161553_能登町曽又 日吉神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#65"
"76386","2018-07-31_171906_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#66"
"76387","2018-07-31_171912_能登町当目 岩井戸神社.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#67"
"76388","2018-07-31_174559_能登町黒川 柳田村立 黒川小学校 跡地.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#68"
"76389","2018-07-31_174731_能登町黒川 集落の川.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#69"
"76390","2018-07-31_180630_旧柳田村 田んぼの向こう高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#70"
"76391","2018-07-31_181232_旧柳田村 笹ゆり荘の裏側から高台に見える柳田中学校?.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#71"
"76392","2018-07-31_181410_柳田温泉 到着.jpg,"https://kk2020-09.blogspot.com/2021/09/202109072018714731.html#72"
[x] ls                                                                                                 16:59:03
nn.csv
[x] split -l 10000 nn.csv                                                                              16:59:07
[x] ls                                                                                                 16:59:15
nn.csv  xab  xad  xaf  xah  xaj  xal  xan  xap  xar  xat  xav
xaa     xac  xae  xag  xai  xak  xam  xao  xaq  xas  xau  xaw
[x] tail xaa                                                                                           16:59:27
"09991", "2018-07-08_013606_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013606"
"09992", "2018-07-08_013726_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013726"
"09993", "2018-07-08_013728_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013728"
"09994", "2018-07-08_013737_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013737"
"09995", "2018-07-08_013822_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013822"
"09996", "2018-07-08_014113_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014113"
"09997", "2018-07-08_014142_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014142"
"09998", "2018-07-08_014250_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014250"
"09999", "2018-07-08_014324_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014324"
"10000", "2018-07-08_014508_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014508"
[x]                        

問題点の発見と修正

 1173  2023-12-11 17:13:38  cat n | awk '{printf "\"%05d\",\"%s\"\n", NR, $0}'|sed -E 's/ (http.+)$/,"\1/' > nn.csv
 1174  2023-12-11 17:13:44  head -n 30 nn.csv
 1175  2023-12-11 17:14:25  split -l 10000 nn.csv
 1176  2023-12-11 17:14:27  ls
 1177  2023-12-11 17:14:45  mv xaa n.csv
[x] tail xaa                                                                                           17:14:49
tail: 'xaa' を 読み込み用に開くことが出来ません: そのようなファイルやディレクトリはありません
[x] tail n.csv                                                                                         17:15:06
"09991","2018-07-08_013606_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013606"
"09992","2018-07-08_013726_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013726"
"09993","2018-07-08_013728_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013728"
"09994","2018-07-08_013737_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013737"
"09995","2018-07-08_013822_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013822"
"09996","2018-07-08_014113_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014113"
"09997","2018-07-08_014142_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014142"
"09998","2018-07-08_014250_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014250"
"09999","2018-07-08_014324_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014324"
"10000","2018-07-08_014508_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg,"http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014508"
[x]                                                                      

問題の発見と解決

[x] cat n | awk '{printf "\"%05d\",\"%s\"\n", NR, $0}'|sed -E 's/ (https?.+)\s?$/","\1/g' > nn.csv     18:01:11
[x] split -l 10000 nn.csv                                                                              18:02:13
[x] mv xaa n.csv                                                                                       18:02:16
[x] tail n.csv                                                                                         18:02:21
"09991","2018-07-08_013606_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013606"
"09992","2018-07-08_013726_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013726"
"09993","2018-07-08_013728_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013728"
"09994","2018-07-08_013737_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013737"
"09995","2018-07-08_013822_宇出津あばれ祭り・カンノジの川 燃える柱松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708013822"
"09996","2018-07-08_014113_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014113"
"09997","2018-07-08_014142_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014142"
"09998","2018-07-08_014250_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014250"
"09999","2018-07-08_014324_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014324"
"10000","2018-07-08_014508_宇出津あばれ祭り・八坂神社 燃える松明 白山神社の神輿.jpg","http://hirono2014sk.blogspot.com/2018/07/2018071109592018-07-071014582018-07.html#20180708014508"
[x] 


解決への経過のスクリーンショットの記録

この記事が気に入ったらサポートをしてみませんか?