The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Открыты исходные тексты сайта The Pirate Bay"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Отдельный RSS теперь доступен для каждого обсуждения в форуме и каждого минипортала.
. "Открыты исходные тексты сайта The Pirate Bay" +1 +/
Сообщение от EuPhobos (ok), 23-Дек-14, 02:13 
> (база занимает около 900MB и включает 8 млн торрентов).

7800659-торрентов, если быть точным, и база испорчена, разделитель csv используется PIPE "|"
Первым полем из которых идёт название торрента, в которых присутствуют множество пайпов, все остальные поля служебные. Сдвиги всегда разные.

Пытался по-сортировать по типам торрентов, так:


zcat torrents_mini.csv.gz | while IFS='|' read -ra ARR; do echo ${ARR[4]}; done | sort | uniq -c

получил помимо нужной информации, куча испореченных строк, из-за пайпов в названиях торрентов.
Но основное и так видно.

288514 anime
337737 books
379723 other
409957 games
819239 adult
931301 music
947988 "series & tv"
1099070 software
2580391 movies

Хотя можно посчитать более корректно, если служебные поля считать с конца строки.

UPD: нельзя, там ещё и "переходы строк" есть в названиях торрентов. Отчего служебные поля съезжают на сл. строку. Поэтому база частично испорчена. И цифра 7800659 тоже не корректна, т.к. я её замерял через wc

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Открыты исходные тексты сайта The Pirate Bay, opennews, 22-Дек-14, 23:35  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру