The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

22.12.2014 23:22  Открыты исходные тексты сайта The Pirate Bay

В ответ на прекращение работы инфраструктуры проекта The Pirate Bay, после изъятия серверов правоохранительными органами Швеции, создатели торрент-трекеров Isohunt и OldPirateBay.org (реинкарнация закрытого ThePirateBay.se) выступили с инициативой Open Bay, позволяющей любому желающему развернуть сайт, подобный The Pirate Bay. По мнению авторов инициативы эра индивидуальных торрент-сайтов остаётся в прошлом, ей на смену идёт армада клонов крупных торрент-трекеров - после того как отрубили голову одному трекеру, на его месте вырастут сотни подобных ресурсов.

Для воплощения данного шага в рамках проекта Open Bay открыты исходные тексты web-движка The Pirate Bay. Код опубликован на GitHub под лицензией GPLv3. Отдельно через торренты распространяется статический слепок базы данных, скомпонованной на основе лучшего контента Pirate Bay и Isohunt (база занимает около 900MB и включает 8 млн торрентов). Для упрощения установки подготовлен специальный скрипт, упрощающий развёртывание аналога Pirate Bay на типовом хостинге, на котором имеется PHP и MySQL.

В минимальной конфигурации трекер можно запустить и без MySQL, но в этом случае используется удалённая база данных Isohunt. Для расширенных конфигураций возможно создание полноценной поисковой системы по торрентам, основанной на движке Sphinx. При этом, в текущем виде функциональность Open Bay в основном нацелена на создание клонов The Pirate Bay, так как код для добавления новых торрентов и управления БД выходит за рамки проекта и для выполнения данных операций придётся напрямую обращаться к MySQL и создавать собственный интерфейс для этих целей.

  1. Главная ссылка к новости (http://arstechnica.com/informa...)
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: torrent
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Sluggard (ok), 23:35, 22/12/2014 [ответить] [показать ветку] [···]    [к модератору]
  • +41 +/
    В ответ на наглость копирастов им снова нежно стучат по лбу известным прибором. )
     
     
  • 2.9, Аноним (-), 01:00, 23/12/2014 [^] [ответить]    [к модератору]
  • +/
    ...и ехидно достают фигу из кармана :)
     
     
  • 3.56, pavlinux (ok), 20:01, 23/12/2014 [^] [ответить]    [к модератору]
  • +1 +/
    > на смену идёт армада клонов, после того как отрубили голову одному, на его месте вырастут сотни

    Автор, ты явно не тот ресурс выбрал для раскрытия таланта! :D

     
  • 1.2, kurokaze (ok), 23:51, 22/12/2014 [ответить] [показать ветку] [···]    [к модератору]
  • –2 +/
    >ей на смену идёт армада клонов крупных торрент-трекеров - после того как отрубили голову одному трекеру, на его месте вырастут сотни подобных ресурсов

    SAO/World Seed прям

     
     
  • 2.3, Аноним (-), 00:01, 23/12/2014 [^] [ответить]    [к модератору]
  • +4 +/
    Не, там была какая-та гхырь с закрытым и обфусцированным кодом, о презренный анимешник.
     
     
  • 3.20, SkyRanger (ok), 07:24, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Нееет, иначе не смогли бы делать кучу миров разных между собой, так что полюбому... весь текст скрыт [показать]
     
     
  • 4.60, konart (?), 18:41, 24/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Там могло быть и что-то закрытое, но с доступным API. (хотя конечно исходя из целей создателя - опенсурс весьма вероятен)
     
  • 1.4, dimqua (ok), 00:20, 23/12/2014 [ответить] [показать ветку] [···]     [к модератору]  
  • –9 +/
    Спасибо, не надо, такое гумно ешьте сами Дальновидным решением будет полный отк... весь текст скрыт [показать]
     
     
  • 2.5, IdeaFix (?), 00:24, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Тут проблема в достоверности описания/содержимого на первый план встаёт. Мулы собсна потому и вымерли фактически, а DC никогда глобальными не станут.
     
     
  • 3.6, dimqua (ok), 00:32, 23/12/2014 [^] [ответить]     [к модератору]  
  • –4 +/
    Описания и на торрент-трекерах хромают, порой проще на какой-нибудь приличный са... весь текст скрыт [показать]
     
     
  • 4.10, Аноним (-), 01:02, 23/12/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > В RetroShare есть каналы, если админы канала не дураки и дорожат репутацией,

    Так, а что помешает копирасам заспамить канал или просто взять админов за выступающие части тела?


     
     
  • 5.12, Аноним (-), 01:09, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    спамить что-либо это крупный риск нарваться админы и так все блокируют по запро... весь текст скрыт [показать]
     
     
  • 6.17, Аноним (-), 04:44, 23/12/2014 [^] [ответить]     [к модератору]  
  • +2 +/
    Осла eMule серьезно заспамили левыми результатами В смысле, поиск в DHT Как ... весь текст скрыт [показать]
     
     
  • 7.40, Аноним (-), 13:11, 23/12/2014 [^] [ответить]     [к модератору]  
  • –1 +/
    Анонимус хочет и украсть и сделать это легко и приятно Если каждый второй торре... весь текст скрыт [показать]
     
     
  • 8.52, Аноним (-), 18:05, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Анонимус оперирует иными контекстами Анонимусу нужен цензуроустойчивый, саботаж... весь текст скрыт [показать]
     
  • 5.13, dimqua (ok), 01:17, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Никто им доступ к нему не даст Не думаю, что если на канале постит 50-100 челов... весь текст скрыт [показать]
     
     
  • 6.18, Аноним (-), 04:54, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    А как ты будешь отличать например меня от копираса Ну или я и остальные юзери ... весь текст скрыт [показать]
     
     
  • 7.21, SkyRanger (ok), 07:27, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    У нас как всегда кончится показательным нарушением пары школьников и дальше дело... весь текст скрыт [показать]
     
  • 7.23, dimqua (ok), 08:09, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Даётся доступ, далее до первого прецендента Если ты спамишь, то тебя доступа ли... весь текст скрыт [показать]
     
     
  • 8.29, Shtober (ok), 10:18, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Полностью поддерживаю!!!
     
  • 8.41, Аноним (-), 13:14, 23/12/2014 [^] [ответить]    [к модератору]  
  • –4 +/

    > Если человек решил бороться с копирастами

    О боже. Унылое оправдание пирата.

     
  • 8.51, Аноним (-), 17:58, 23/12/2014 [^] [ответить]     [к модератору]  
  • +1 +/
    Заводится тихой сапой пачка новичков Желательно правдоподобно выглядящих Сидят... весь текст скрыт [показать]
     
     
  • 9.57, dimqua (ok), 23:41, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Мы о разных вещах говорим, похоже Если у меня нет прав для постинга на канал, т... весь текст скрыт [показать]
     
     
  • 10.58, Аноним (-), 03:24, 24/12/2014 [^] [ответить]     [к модератору]  
  • +1 +/
    Это так Но если там будет постить пара релизеров - при первом намеке на популяр... весь текст скрыт [показать]
     
     
  • 11.59, dimqua (ok), 07:47, 24/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Фишка Триблера не в анонимности, он позволяет 1 использовать наиболее популярн... весь текст скрыт [показать]
     
     
  • 12.61, Аноним (-), 01:49, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Если на то пошло, от трекеров можно не зависеть и используя DHT, а поиск лучше д... весь текст скрыт [показать]
     
     
  • 13.62, dimqua (ok), 05:06, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Чтобы использовать DHT надо сперва хэш знать Есть поиск по DHT - https btdigg... весь текст скрыт [показать]
     
     
  • 14.66, Аноним (-), 08:38, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Кстати говоря технически в DHT торрента не проблема индексировать что угодно На... весь текст скрыт [показать]
     
     
  • 15.72, arisu (ok), 09:11, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    технически в кадемлии вообще с этим проблемы нет лично я его использовал для вс... весь текст скрыт [показать]
     
  • 15.73, dimqua (ok), 10:15, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Ещё бы распределённый аналог торрент-портала кто бы написал Как, например, Twis... весь текст скрыт [показать]
     
  • 3.36, Аноним (-), 11:49, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    DC через DHT вроде как работает, полностью децентрализованная сеть
     
     
  • 4.47, dimqua (ok), 17:01, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    DC-клиенты разрабатываются без оглядки на безопасность/приватность/анонимность, AFAIK, поэтому плохо подходят для современных реалий.
     
  • 4.50, Аноним (-), 17:32, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > DC через DHT вроде как работает, полностью децентрализованная сеть

    Только сделаны с оглядкой на юзеж в локалках а не в "сети вообще".

     
  • 2.15, Аноним (-), 02:37, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Эта хрень небезопасна. В соседней новости уже сказали.
     
  • 2.63, arisu (ok), 08:26, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > Tribler

    опять питонячий крап. тьфу.

     
     
  • 3.67, Аноним (-), 08:40, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > опять питонячий крап. тьфу.

    Это ты еще не видел разбор их протокола с wannabe анонимностью от всего лишь авторов Tor, у которых самих с этим все довольно средне.

     
     
  • 4.70, arisu (ok), 09:02, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    и хорошо, что не видел я старенький уже, у меня психика не такая мощная, как ра... весь текст скрыт [показать]
     
  • 1.8, Аноним (-), 00:48, 23/12/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Отрубишь одну голову, две другие займут ее место. Хайль гидра)))
     
     
  • 2.11, Аноним (-), 01:02, 23/12/2014 [^] [ответить]    [к модератору]  
  • +1 +/
    > Отрубишь одну голову, две другие займут ее место. Хайль гидра)))

    Эффект Стрейзанд FTW.

     
  • 2.26, Аноном (?), 08:47, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Гидра присмактывает, тут 100 вместо одной.
     
  • 1.14, EuPhobos (ok), 02:13, 23/12/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    > (база занимает около 900MB и включает 8 млн торрентов).

    7800659-торрентов, если быть точным, и база испорчена, разделитель csv используется PIPE "|"
    Первым полем из которых идёт название торрента, в которых присутствуют множество пайпов, все остальные поля служебные. Сдвиги всегда разные.

    Пытался по-сортировать по типам торрентов, так:
    [code]
    zcat torrents_mini.csv.gz | while IFS='|' read -ra ARR; do echo ${ARR[4]}; done | sort | uniq -c
    [/code]
    получил помимо нужной информации, куча испореченных строк, из-за пайпов в названиях торрентов.
    Но основное и так видно.
    [code]
    288514 anime
    337737 books
    379723 other
    409957 games
    819239 adult
    931301 music
    947988 "series & tv"
    1099070 software
    2580391 movies
    [/code]

    Хотя можно посчитать более корректно, если служебные поля считать с конца строки.

    UPD: нельзя, там ещё и "переходы строк" есть в названиях торрентов. Отчего служебные поля съезжают на сл. строку. Поэтому база частично испорчена. И цифра 7800659 тоже не корректна, т.к. я её замерял через wc

     
     
  • 2.31, Аноним (-), 10:32, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    А если строчки с конца парсить Тогда палки в первом поле перестают мешать Вот ... весь текст скрыт [показать]
     
     
  • 3.34, EuPhobos (ok), 11:19, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Да, я потом осмыслил, т к кол-во служебных полей известно, и известно конкретны... весь текст скрыт [показать]
     
  • 1.16, Нимо Ан (?), 02:47, 23/12/2014 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Что-то не внушает никаких хороших мыслей Вот есть Tribler с гигатоннами мёртвых... весь текст скрыт [показать]
     
     
  • 2.19, Аноним (-), 04:59, 23/12/2014 [^] [ответить]     [к модератору]  
  • +1 +/
    Во первых у торрента дурная идея в том что индексируется не хэш ФАЙЛА а хэш мета... весь текст скрыт [показать]
     
     
  • 3.25, dimqua (ok), 08:23, 23/12/2014 [^] [ответить]     [к модератору]  
  • +2 +/
    Какой нынче самый популярный торрент-клиент uTorrent Проприетарный, ничем не п... весь текст скрыт [показать]
     
     
  • 4.44, Аноним (-), 16:51, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Изначально он был примечателен тем, что это была с прога на 300 кил, которая в... весь текст скрыт [показать]
     
     
  • 5.64, arisu (ok), 08:34, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    нет это был прежде всего исследовательский проект а бидонореализация 8212 п... весь текст скрыт [показать]
     
     
  • 6.68, Аноним (-), 08:44, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Почему-то срастается обычно у тех кто не выпендривается с мегаконцепциями и пише... весь текст скрыт [показать]
     
     
  • 7.71, arisu (ok), 09:04, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    ещё раз: это был *исследовательский* проект. первоочередной задачи «релизнуть рабочее, а потом допиливать» там не ставилось.
     
     
  • 8.74, Аноним (-), 17:49, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > ещё раз: это был *исследовательский* проект.

    По нему заметно - уже уйму лет в состоянии ни рыба ни мясо.

     
     
  • 9.76, arisu (ok), 20:36, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    с чего ты решил, что твои цели и интересы совпадают с целями и интересами авторо... весь текст скрыт [показать]
     
  • 3.33, Аноним (-), 11:00, 23/12/2014 [^] [ответить]     [к модератору]  
  • +/
    Разные имена файлов, разные директории и дерево файлов в торренте - значит разны... весь текст скрыт [показать]
     
     
  • 4.37, user (??), 12:27, 23/12/2014 [^] [ответить]    [к модератору]  
  • +2 +/
    Если к фильму в разных торрентах добавили всякие demonoid.txt и неизвестно, какой из них быстрее докачается - это лишний трафик на ровном месте и уменьшение количества сидеров для всех.
     
     
  • 5.39, user (??), 12:57, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Можно на уровне клиента делать хардлинки и совместно отслеживать, какие куски уже есть. Против rar не поможет, но обычно только переименовывают.
     
     
  • 6.49, Аноним (-), 17:29, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > Можно на уровне клиента делать хардлинки и совместно отслеживать, какие куски уже

    А еще можно гланды через ж...у автогеном удалять.

     
     
  • 7.55, user (??), 18:54, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    создатели протокола bittorrent так и сделали
     
  • 3.53, Нимо Ан (?), 18:18, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Согласен. Сам недавно полез изучать систему и ужаснулся, осознав что хэши строятся по метаданным, долго не мог поверить своим глазам, думал это я что-то не правильно понял.
     
     
  • 4.65, arisu (ok), 08:37, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > Согласен. Сам недавно полез изучать систему и ужаснулся, осознав что хэши строятся
    > по метаданным, долго не мог поверить своим глазам, думал это я
    > что-то не правильно понял.

    да, именно так. потрясающий идиотизм, конечно — наплевать на данные и придавать такое значение приклееным ярлычкам. впрочем, торрент-протокол вообще отличается умом и сообразительностью.

     
     
  • 5.75, Аноним (-), 18:06, 25/12/2014 [^] [ответить]     [к модератору]  
  • +/
    По нему сразу видно - питонисты делали макет потом так и осталось Поэтому - ... весь текст скрыт [показать]
     
     
  • 6.77, arisu (ok), 20:38, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    это да. я понимаю, что в гвидобейсике всё не как у людей, но уж могли бы превозмочь. сделали бы уже или нормальный текстовый json какой-нибудь, или уже нормальный бинарный. а не помесь ежа, ужа и уборщицы клавы.
     
  • 2.22, SkyRanger (ok), 07:31, 23/12/2014 [^] [ответить]    [к модератору]  
  • +3 +/
    Было бы лучше, конечно, чтобы связи между этими сайтами представляли собой сетку, при этом главным может быть основной на этот момент Пиратбай, если его отрубили ничего плохого не случится :)

    Просто нужно предусмотреть механизм для revoke прав главного сервера после включения на новом месте.

     
     
  • 3.35, anonimus (?), 11:45, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Ну в протоколе битторрента есть уже механизм автоматического обмена трекерами между клиентами. Другое дело, что по ряду причин он выключен в торрент клиентах по-умолчанию (см. эпичнейший случай с блокировками qBittorrent на rutracker: http://rutracker.org/forum/viewtopic.php?p=43584207#43584207 )
     
     
  • 4.38, anonimus (?), 12:39, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    Было бы куда логичнее сделать следующий механизм: при обращении к трекеру, он возвращает специальный флаг, можно ли торрент клиенту сообщать другим клиентам урл данного трекера. Тогда бы истинно публичные трекеры этот флаг выставляли, а трекеры типа рутрекера, которые хранят в урле паскей, этот бы флажок не ставили.

    Следующим шагом было бы вести в клиенте глобыльный список трекеров, и при добавлении любого торрента запрашивать его хеш у всех трекеров. Это бы увеличило многократно нагрузку на трекеры, но сделало систему бы устойчивее.

    Правда, могут возникнуть проблемы приватности клиентов трекеров. Если я поставлю на закачку торрент "Горячие лесбиянки", то об этом узнает полинтернета. Так же копирасты могут сделать фейковые трекеры, и к ним польются рекой айпишники желающих скачать их очередное нетленное творение. Хотя сейчас им хватает и DHT с головой.

     
     
  • 5.42, user (??), 13:33, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    >поставлю на закачку торрент "Горячие лесбиянки"

    Ты так говоришь, как будто это что-то плохое. Это же не зоокопрофагия какая-нибудь.

     
  • 5.45, Аноним (-), 16:53, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > увеличило многократно нагрузку на трекеры, но сделало систему бы устойчивее.

    И попутно лило бы все айпишники на трекер копирасов.

    Короче man dht и не выделывайтесь. Трекеры - это каменный век.

     
  • 4.69, arisu (ok), 08:45, 25/12/2014 [^] [ответить]    [к модератору]  
  • +/
    эпичнейше — это пытаться считать свякую хрень, используя протокол, который для этого совершенно не предназначен. у меня, например, в своё время при очень толстом канале на скачивание и очень тонком на залив таааааакие рейтинги были… и никто ни разу не забанил как «читера». а всего-то маленький патч к rtorrent и маленький конфиг из нескольких строк.
     
  • 1.24, йцу (?), 08:17, 23/12/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Хм, а написано-то на Yii 1.x
     
  • 1.28, MADMAN (ok), 09:38, 23/12/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • +2 +/
    Вспомнились слова песни: «а я буду пиратом-гадом, и всех поставлю раком-задом».
     
     
  • 2.48, Аноним (-), 17:09, 23/12/2014 [^] [ответить]    [к модератору]  
  • +/
    > Вспомнились слова песни: «а я буду пиратом-гадом, и всех поставлю раком-задом».

    А пираты должны, просто обязаны заставить пройти по доске наиболее наглых копирасов.

     
  • 1.54, Аноним (-), 18:41, 23/12/2014 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Коммунизм в интернете не задушишь :)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor