Исходное сообщение
"Открыты исходные тексты сайта The Pirate Bay" Отправлено EuPhobos, 23-Дек-14 02:13
> (база занимает около 900MB и включает 8 млн торрентов). 7800659-торрентов, если быть точным, и база испорчена, разделитель csv используется PIPE "|" Первым полем из которых идёт название торрента, в которых присутствуют множество пайпов, все остальные поля служебные. Сдвиги всегда разные. Пытался по-сортировать по типам торрентов, так: zcat torrents_mini.csv.gz | while IFS='|' read -ra ARR; do echo ${ARR[4]}; done | sort | uniq -c получил помимо нужной информации, куча испореченных строк, из-за пайпов в названиях торрентов. Но основное и так видно. 288514 anime 337737 books 379723 other 409957 games 819239 adult 931301 music 947988 "series & tv" 1099070 software 2580391 movies Хотя можно посчитать более корректно, если служебные поля считать с конца строки. UPD: нельзя, там ещё и "переходы строк" есть в названиях торрентов. Отчего служебные поля съезжают на сл. строку. Поэтому база частично испорчена. И цифра 7800659 тоже не корректна, т.к. я её замерял через wc