The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Google Drive по ошибке выявляет нарушения авторских прав в файлах с одним числом, opennews (??), 25-Янв-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


99. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 25-Янв-22, 20:49 
посоветуете аналог Syncthing c поддержкой multiconnection (multipart)?
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

104. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от haha (??), 25-Янв-22, 21:19 
Torrent
Ответить | Правка | Наверх | Cообщить модератору

108. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 25-Янв-22, 22:17 
> Torrent

а как организовать безопасную зашифрованную передачу? а трекером кто будет?

VPN? так опять же кроме SoftetherVPN агрегировать сокеты никто не умеет, да и в его случае оно ему не сильно помогает утилизировать всю пропускную способность

Ответить | Правка | Наверх | Cообщить модератору

135. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от Аноним (135), 26-Янв-22, 11:22 
>а как организовать безопасную зашифрованную передачу?

В элементарном случае - архив с паролем, который знают все заинтересованные лица.

>а трекером кто будет?

DHT. Но ты наверное имел ввиду кто будет сидом? Например, NAS.

Ответить | Правка | Наверх | Cообщить модератору

164. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 00:27 
>>а как организовать безопасную зашифрованную передачу?
> В элементарном случае - архив с паролем, который знают все заинтересованные лица.
>>а трекером кто будет?
> DHT. Но ты наверное имел ввиду кто будет сидом? Например, NAS.

если бы мне надо было сраный файлик передать на пару сотен гигов без необходимости синхронизации измененний, то я бы не заморачивался вообще

ты наверное не знаешь как syncthing работает, и что предлагает и объемы у меня сотни гигов, местами терабайты

да одна упаковка и зашифровка займет невероятно количество места и времени

Ответить | Правка | Наверх | Cообщить модератору

105. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 25-Янв-22, 21:34 
а чё, синхфинг однопоточный чтоле ??
Ответить | Правка | К родителю #99 | Наверх | Cообщить модератору

107. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 25-Янв-22, 22:14 
> а чё, синхфинг однопоточный чтоле ??

между двумя сервера открывается только 1 сокет, разрабы не планируют ничего менять

если речь о CPU то многопоточный, но с точки зрения количества соединений - нет, к сожалению

Ответить | Правка | Наверх | Cообщить модератору

134. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от OpenEcho (?), 26-Янв-22, 11:20 
> между двумя сервера открывается только 1 сокет,

А зачем больше ? Пропускная способность канала от этого ведь не увеличится

Ответить | Правка | Наверх | Cообщить модератору

138. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 26-Янв-22, 11:46 
>> между двумя сервера открывается только 1 сокет,
> А зачем больше ? Пропускная способность канала от этого ведь не увеличится

%) а вдрух увеличитца ??    

penetrator, так-то для сети никаких каналов, веб-сокетов и прочих высокоуровневых абстракций нет, есть поток мелконашинкованных пакетов.

Ответить | Правка | Наверх | Cообщить модератору

165. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 00:29 
>>> между двумя сервера открывается только 1 сокет,
>> А зачем больше ? Пропускная способность канала от этого ведь не увеличится
> %) а вдрух увеличитца ??
> penetrator, так-то для сети никаких каналов, веб-сокетов и прочих высокоуровневых абстракций
> нет, есть поток мелконашинкованных пакетов.

какой нахрен веб-сокет? я про самый обычный TCP socket

Ответить | Правка | Наверх | Cообщить модератору

172. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 27-Янв-22, 12:22 
ты удивишься tcp сокет тоже работает на ip-пакетах.    
можно сказать в интернете всё работает на ip пакетах :)      
просто tcp поверх пакетной передачи данных формирует систему управления передачи данных с подтверждением доставки и __для пользователя формирует виртуальный канал__ передачи данных.

но для сетевых протоколов и железяк это один фих будет поток пакетиков :) до наполнения ентих пакетиков сетевым протоколам и железякам будет до лампочки, хоть один там сокет, хоть сотня tcp web ftp http ssh rsync и прочих сокетов/каналов.

Ответить | Правка | Наверх | Cообщить модератору

175. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 17:58 
ничему я не удивлюсь кэп

тем не менее хрен редьки не слаще, проблема то есть )

Ответить | Правка | Наверх | Cообщить модератору

163. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 00:24 
>> между двумя сервера открывается только 1 сокет,
> А зачем больше ? Пропускная способность канала от этого ведь не увеличится

увеличится и притом значительно, провайдеры особенно промежуточные режут скорость одного потока шейперами

иначе на speedtest такой функциональности в принципе не существовало бы

Ответить | Правка | К родителю #134 | Наверх | Cообщить модератору

166. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от OpenEcho (?), 27-Янв-22, 01:05 
> увеличится и притом значительно, провайдеры особенно промежуточные режут скорость одного
> потока шейперами

Странные какие-то провайдеры если не умеют шэйпать...
И кстати, синксинк давно уже не юзает TCP.

Единстевенное, что на вскидку пришло, - не используйте глобальные релэй серверы, настраивайте тачки чтоб говорили друг с другом напрямую по ИП без дисковери и не на дефолтовых портах и тогда выжмите из сс все на что способен канал

Ответить | Правка | Наверх | Cообщить модератору

168. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 02:36 
>> увеличится и притом значительно, провайдеры особенно промежуточные режут скорость одного
>> потока шейперами
> Странные какие-то провайдеры если не умеют шэйпать...
> И кстати, синксинк давно уже не юзает TCP.
> Единстевенное, что на вскидку пришло, - не используйте глобальные релэй серверы, настраивайте
> тачки чтоб говорили друг с другом напрямую по ИП без дисковери
> и не на дефолтовых портах и тогда выжмите из сс все
> на что способен канал
> в смысле не юзает?

конечно юзает, либо TCP либо UDP

> что значит не умеют?

очень даже умеют, у тебя тариф условно 500 mbps, а магистральник через которого твой ISP работает режет твои до 50 mbps на 1 сокет, откроешь второе соединение будет тебе еще 50 mbps.

в итоге ты ходишь быстро далеко не везде, если канал между магистральниками не резиновый то имеем то что имеем

а если тащишь http multipart или торент или даже SSH (через aria2c с пачкой соединений) то full speed

я не про соседа с другой улицы, я про то как вытащить что-то из другой стороны шарика

> не используйте глобальные релэй серверы

не использую

> и не на дефолтовых портах

почему?

Ответить | Правка | Наверх | Cообщить модератору

171. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от OpenEcho (?), 27-Янв-22, 11:00 
> очень даже умеют, у тебя тариф условно 500 mbps, а магистральник через которого твой ISP работает режет твои до 50 mbps на 1 сокет, откроешь второе соединение будет тебе еще 50 mbps.

Можно кошку(пример) на ком можно проверить вашу теорию ?

>а если тащишь http multipart или торент или даже SSH (через aria2c с пачкой соединений) то full speed

Вы все свалили в одну кучу. Торенты это поинт<=>мультипоинт, поэтому трафик агрегируется на все что способен канал, так как вы тянете с разных ИП. http multipart, - это когда поток данных содержит в себе мешанину разных типов данных, таких как картинки, музыка и текст все вместе, но это на уровне выше чем ТСП, и это не значит мультипоточность. Это просто инкапсуляция разных типов данных.

Вы кажется путаете технические термины, отсюда недо понимание.

Я предполагаю, что вы имели в виду MPTCP который есть multiPATH (а не part), в котором обе стороны утилизируют возможность доставки потока по разным путям (через разные каналы). Но здесь есть одно "но", это фича хорошо работает если у вас есть несколько интерфейсов(и несколько разных провайдеров) для того чтобы утилизоравать все пути.

>> и не на дефолтовых портах
>почему?

Чтобы не дразнить IPS и дефолтовые настройки шэйперов


Ответить | Правка | Наверх | Cообщить модератору

176. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 18:13 
> Можно кошку(пример) на ком можно проверить вашу теорию ?

я не могу передать в управление вам свой линк для тестирования

> Вы все свалили в одну кучу.

неа

- торренты
идет огромное количество соединений к разным хостам, поэтому удается утилизировать всю пропускную способность линка от ISP

- HTTP

идет несколько соединений к одному серверу, я писал тезисно, как бы сленгово, но понимая, что вы не поняли, что речь идет о докачке в несколько соединений, вот вам выдержка:

HTTP позволяет запросить не сразу всё содержимое ресурса, а только указанный фрагмент. Такие запросы называются частичные GET; возможность их выполнения необязательна (но желательна) для серверов. Частичные GET в основном используются для докачки файлов и быстрого параллельного скачивания в нескольких потоках. Некоторые программы скачивают заголовок архива, выводят пользователю внутреннюю структуру, а потом уже запрашивают фрагменты с указанными элементами архива.

Для получения фрагмента клиент посылает серверу запрос с заголовком Range, указывая в нём необходимые байтовые диапазоны. Если сервер не понимает частичные запросы (игнорирует заголовок Range), то он вернёт всё содержимое со статусом 200, как и при обычном GET. В случае успешного выполнения сервер возвращает вместо кода 200 ответ со статусом 206 (Partial Content), включая в ответ заголовок Content-Range. Сами фрагменты могут быть переданы двумя способами:

    В ответе помещается заголовок Content-Range с указанием байтовых диапазонов. В соответствии с ними фрагменты последовательно помещаются в основное тело. При этом Content-Length должен соответствовать суммарному объёму всего тела;
    Сервер указывает медиатип multipart/byteranges для основного содержимого и передаёт фрагменты, указывая соответствующий Content-Range для каждого элемента (см. также «Множественное содержимое»[⇨]).

>>> и не на дефолтовых портах
>>почему?
> Чтобы не дразнить IPS и дефолтовые настройки шэйперов

они понятия не имеют о таких портах как 22000, потому что иначе таким "дефолтовыми" портами было бы порезано половину трафика

как раз обрезание трафика по порту я у своих провайдеров не замечал вообще никогда, у меня совсем другая проблема, притом не у локальных провайдеров, а у магистральников, через которые соединяются локальные

если я делаю тот же самый конфиг но между двумя дата центрами, то сами понимаете, что там всё летает, и там никто ничего не режет

да и вы пытаетесь решать не тот вопрос, с которым я к вам пришел, мне софт нужен, с SSH я решил свою проблему - aria2c, осталось решить проблему с Syncthing, но в ее разработку я не полезу - 100%

Ответить | Правка | Наверх | Cообщить модератору

177. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от OpenEcho (?), 27-Янв-22, 18:35 
> осталось решить проблему с Syncthing, но в ее разработку я не полезу - 100%

К сожалению лучше чем СС я не знаю, из всех открытых проектов он самый активный и многофункциональный IMHO.

Ответить | Правка | Наверх | Cообщить модератору

180. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 27-Янв-22, 19:14 
> идет несколько соединений к одному серверу, я писал тезисно, как бы сленгово, но понимая, что вы не поняли, что речь идет о докачке в несколько соединений,

вырезка конечно совершенно к другому поводу, но понятно.    
в каком-то торрент-клиенте видел даже опцию "разрешать множественные соединения с одного ип" - всегда ее отключал.

> осталось решить проблему с Syncthing, но в ее разработку я не полезу - 100%

купи лицензию ресилио синх (с него синхфинг и срисовывали), авось там лучше поймут твой вопрос.

Ответить | Правка | К родителю #176 | Наверх | Cообщить модератору

182. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 27-Янв-22, 21:56 
"вырезка" описывает почему multipart/byteranges в контексте HTTP вполне обоснованно подрузумевает докачку и несколько одновременных соединений к серверу

я не исключаю разночтений, но я ничего другого не имел ввиду


$59.9 / One-time

если решится головная боль, то не дорого

пойду мучать саппорт

спасибо

Ответить | Правка | Наверх | Cообщить модератору

185. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 28-Янв-22, 15:17 
> "вырезка" описывает почему multipart/byteranges в контексте HTTP вполне обоснованно подрузумевает докачку и несколько одновременных соединений к серверу
> я не исключаю разночтений, но я ничего другого не имел ввиду

тут имхо большая проблема в твоей уверенности что синхфинг использует http-протокол с его приблудами и косяками :)    
а это сильно не так, у синхфинга собственный эффективный двоичный протокол. ему заморочки http до лампочки :)    
а так да. синхфинг вполне может создать несколько Tcp-каналов и распаралелить обмен данными по ним. но покамест никому енто не нужно...

Ответить | Правка | Наверх | Cообщить модератору

186. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от penetrator (?), 28-Янв-22, 22:16 
я не писал что syncthing использует http, я сказал tcp,

а про HTTP я писал что может утилизировать всю скорость тарифного плана если открыть дофига соединений и тем самым обойти очень "умную" балансировку от магистральников и одним из таких случаев был пример multipart в http от download manager'ов

и да это не то, чтобы не нужно, в Syncthing сказали, что это слишком сложно для них, что это типа не настолько для них важно, чтобы они столько ипались над реализацией

а в Resilio сказали, что такой возможности нет, и учитывая что это был не единственный вопрос в реквесте, в целом письмо выглядело как стандартная похуистическая отписка, я получил куда более серьезный отклик от разрабов Syncthing, чем от Resilio, несмотря на то, что оба не будут реализовать эту функциональность, по крайней мере в настоящее время.

Ответить | Правка | К родителю #185 | Наверх | Cообщить модератору

194. "Google Drive по ошибке выявляет нарушения авторских прав в ф..."  +/
Сообщение от pfg21 (ok), 31-Янв-22, 13:45 
> я не писал что syncthing использует http, я сказал tcp,

так ты и писал о http, уж не знаю что ты имел ввиду :)
ибо в tcp протоколе нет понятий файл и текстового параметра range от слова "савсем".
tcp так-то вообще бинарный протокол и сильно другого уровня модели osi чем http :)

> а про HTTP я писал что может утилизировать всю скорость тарифного плана если открыть дофига соединений и тем самым обойти очень "умную" балансировку от магистральников и одним из таких случаев был пример multipart в http от download manager'ов

такая утилизация нужна в случае зарезании провайдером скорости каналов? тут совершенно другая история. мультипарт из хттп нельзя применить в протоколе синхфинга, просто потому что оне не подойдут, как кувалда к атомному микроскопу... :)    
хотя желание обхода ограничения единичного канала была понятна и до этих "объяснений".

> и да это не то, чтобы не нужно, в Syncthing сказали, что это слишком сложно для них, что это типа не настолько для них важно, чтобы они столько ипались над реализацией
> а в Resilio сказали, что такой возможности нет, и учитывая что это был не единственный вопрос в реквесте, в целом письмо выглядело как стандартная похуистическая отписка, я получил куда более серьезный отклик от разрабов Syncthing, чем от Resilio, несмотря на то, что оба не будут реализовать эту функциональность, по крайней мере в настоящее время.

конечно, я тебе с самого начала так и сказал - лайфхаки в пользу скорости тут неинтересна.  
прикладников интересует качество и достоверность передачи.

Ответить | Правка | К родителю #186 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру