Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Google предложил Device Memory TCP для сетевой передачи данных между устройствами, opennews (??), 13-Июл-23, (0) [смотреть все] Разве rdma не этим занимается , Аноним (1), 12:11 , 13-Июл-23, (1) // А разве RDMA уже научили из видеопамяти GPU данные передавать Для RDMA нужно в, Аноним (3), 12:15 , 13-Июл-23, (3) // Эти две памяти в одном адресном пространстве Какая RDMA разница , Страдивариус (?), 12:38 , 13-Июл-23, (5) // А нынче память PCI устройств мапится прямиком в линейное адресное пространство , Аноним (8), 13:00 , 13-Июл-23, (8) DMA этим и занимается , Unnamed Player (?), 13:11 , 13-Июл-23, (14) –1 для PCI нету DMA, зато есть bus mastering , Аноним (22), 13:25 , 13-Июл-23, (22) –1 Щито У PCI DMA есть и прекрасно работает как бы иначе им, например, сетевыми п, Аноним (51), 15:48 , 13-Июл-23, (51) Вот те раз - кто это DMA у него с314дил А bus mastering это возможность со стор, Аноним (84), 01:35 , 14-Июл-23, (84) +1 напомню - что DMA controller - это был контроллер на материке подключенный к ISA, Анонним (?), 10:34 , 14-Июл-23, (90) Напомню что многие PCI железки сейчас являют собой нефиговый программно аппаратн, Аноним (-), 15:12 , 14-Июл-23, (99) В спецификациях - данных режим называется bus mastering Ибо доступом к памяти о, Аноним (22), 18:57 , 14-Июл-23, (103) Не отменяет возможность устройств лезть в память Поэтому Согласно википедии, , Аноним (-), 01:31 , 16-Июл-23, (113) если устройство экспортит память в BAR - то да, в линейное адресное пространство, Аноним (22), 13:24 , 13-Июл-23, (21) Нынче Ну же лет как двадцать Бывали времена, когда на некоторых железках в адр, Страдивариус (?), 13:21 , 14-Июл-23, (95) разница в деталях - для RDMA используются специальные сетевые протоколы и работа, ebanyrust (?), 11:32 , 14-Июл-23, (91) +1 // Обычно специальные означает сложнее неудобнее, но эффективнее чем универсальн, An2 (?), 12:58 , 14-Июл-23, (94)   // payload загружается через DMA, заголовок обрабатывается центральным процессором , ebanyrust (?), 13:28 , 14-Июл-23, (96) +1   не понятно все Никто кроме Mellanox такой финт ушами сделать не даст Для переда, Аноним (22), 14:52 , 14-Июл-23, (98)   гугли NIC with Header Data Split, подозреваю что с 10Gb все поддерживают, ebanyrust (?), 15:40 , 14-Июл-23, (102)   Нужен не просто Header Data Split, в том то и дело Split означает что ты ложишь , Аноним (22), 19:07 , 14-Июл-23, (104)   не надо усложнятьhttps lore kernel org lkml 20230710223304 1174642-1-almasrymi, ebanyrust (?), 19:53 , 14-Июл-23, (106)   да я и неусложняю Просто так получилось что в этой теме пришлось покопаться дос, Аноним (22), 23:11 , 14-Июл-23, (107)   то что гугловский патч использует стандартные ядерные интерфейсы вместо вендор-к, Аноним (115), 12:08 , 16-Июл-23, (115)   Nvidia дает нормальный POSIX API для работы с файлами из GPU программ что позво, Аноним (116), 12:29 , 16-Июл-23, (116)   они так же дают eglstream, только он никому не нуженобычный вендорлок, не удивит, Аноним (115), 12:38 , 16-Июл-23, (117)   pps я ниже кидал ссылки на работы Facebook по той же теме Там тоже завязка на , Аноним (22), 23:22 , 14-Июл-23, (109)   если глянуть в более ранную публикациюhttps netdevconf info 0x14 pub slides 62, Аноним (22), 19:09 , 14-Июл-23, (105)   Через центральные гугловские сервера , Аноним (2), 12:14 , 13-Июл-23, (2) +13 // Through uranus, pal, Аноним (6), 12:39 , 13-Июл-23, (6) +4 Через хост device-memory-tcp googleapis com все будет передаваться, Аноним (88), 07:22 , 14-Июл-23, (88) +1 очень круто например можно сделать сетевую карту GPU Если у вас два компа и но, Аноним (4), 12:37 , 13-Июл-23, (4) +1 // Очень круто, можно напрямую брать поток из памяти твоей видеокарты, больще не на, Аноним (18), 13:21 , 13-Июл-23, (18) –1 // давай я тебя удивлю - для этого не нужно ничего кроме мелкого модуля подгрузить , Аноним (22), 13:24 , 13-Июл-23, (20) Господа и товарищи майоры всего мира аплодируют стоя , Аноним (48), 15:34 , 13-Июл-23, (48) –1 Зачем ты смотришь цэпэ на кластере и распределённой системе машинного обучения , Аноним (61), 18:42 , 13-Июл-23, (61) // Это не для смотришь, это набор данных для машинного обучения , Аноним (83), 22:57 , 13-Июл-23, (83) +2 Еще круче трахнуть тебя по сети через DMA, запатчив сетевым пакетом сразу кернел, Аноним (-), 13:52 , 13-Июл-23, (26) +2 Только не говорите мне что это Штадия 2 0Хотя идея интересна, позволит окончател, Kuromi (ok), 15:28 , 13-Июл-23, (46) +2 // И Android будет из себя представлять лишь frontend к железу в ангаре гугла через, Аноним (81), 22:10 , 13-Июл-23, (81) +1 Полоса пропускания памяти Radeon RX 7900 XTX - 960 Гигабайт в секунду Желаю уда, boo (??), 10:33 , 14-Июл-23, (89) +2 Скрыто модератором, Аноним (7), 12:48 , 13-Июл-23, (7) +6 // Скрыто модератором, Аноним (10), 13:05 , 13-Июл-23, (10) +3 // Скрыто модератором, Аноним (58), 17:56 , 13-Июл-23, (58) +1 Скрыто модератором, Аноним (15), 13:12 , 13-Июл-23, (15) Скрыто модератором, Пряник (?), 14:54 , 13-Июл-23, (36) Скрыто модератором, freehck (ok), 15:12 , 13-Июл-23, (43) +1 Ну т е обычных дыр недостаточно Проще уж напрямую Понимаемо, чо , Аноним (9), 13:04 , 13-Июл-23, (9) +7 // а с учетем нейроинтерфейса, будет коллективная память, под кураторством корпорац, Аноним (58), 18:04 , 13-Июл-23, (59) +1 Правильно, сначала передать бинарник извне, а потом за счёт уязвимостей добиться, Аноним (11), 13:06 , 13-Июл-23, (11) протобаф на максималках, хорошо, ZVVZ (?), 13:10 , 13-Июл-23, (13) –2 // по сути да там пакеты и тут пакеты там по сети и тут тоже, Аноним (39), 15:00 , 13-Июл-23, (39) +2 Гугл очередной раз изобретает свой велосипед RDMA от Гугл, Unnamed Player (?), 13:13 , 13-Июл-23, (16) +1 // пытается спереть код идеи FB https lore kernel org netdev 6376CA34-BC6F-45DE-, Аноним (22), 13:27 , 13-Июл-23, (23) +2 Скрыто модератором, Аноним (-), 13:15 , 13-Июл-23, (17) +2 Решили спереть идеи Facebook не взлетит Будет работать только на железе от NVi, Аноним (22), 13:22 , 13-Июл-23, (19) +2 // Напоминаю, что AMD - это видюха исключительно для игр Погамать крузис после уро, Аноним (25), 13:49 , 13-Июл-23, (25) –10 // nvidia 8212 не стандарт, а vendor lockin , Аноним (29), 13:58 , 13-Июл-23, (29) +9 // Про вендорлок будешь рассказывать, когда у нвидии появится хоть какой-нибудь кон, Аноним (7), 14:27 , 13-Июл-23, (32) –6 Верхушка TOP500 суперкомпьютеров готова с этим нехило поспорить Кто там, грите,, Аноним (85), 01:38 , 14-Июл-23, (85) +1 пока в top500 царствует NVidia Благодаря тому что пропихнула gdrcopy в MPICH-AV, Аноним (22), 11:50 , 14-Июл-23, (93) +1 Царствовала Когда-то Понятно что легаси с этого царствия еще осталось Ну да, , Аноним (101), 15:18 , 14-Июл-23, (101) И сейчас царствует 2 из 10 - против 6 из 10 у Nvidia - это царствует При том ч, Аноним (22), 23:19 , 14-Июл-23, (108) Новые дизайны чего-то идут на AMD Она уже достаточно поотвечала Очень интересна, Аноним (-), 01:43 , 16-Июл-23, (114) Не-вендорлок AMD сделали ROCm для RDNA3 только спустя почти год после выхода Хуж, Аноним (41), 15:08 , 13-Июл-23, (41) Стандарты индустрии это видимо cuda и nvenc И то и другое отстой и стало стан, keydon (ok), 14:17 , 13-Июл-23, (30) // Покажи мне инструментарий на базе Vulkan Compute, да такой же богатый как на CUD, Аноним (41), 15:09 , 13-Июл-23, (42) +1 Как только покажешь мне инструментарий на базе CUDA без вендорлока и с нормальны, Аноним2 (?), 15:36 , 13-Июл-23, (49) +1 А чо это отстой, если качество и того и другого на порядки превосходит конкурент, Аноним (53), 16:21 , 13-Июл-23, (53) –1 Я извиняюсь, а зачем нужно было заносить чемоданы, если всё равно ничего другого, Аноним (56), 17:41 , 13-Июл-23, (56) +1 Тут просто надо во времени рассматривать Когда cuda появилась она во-первых раб, Аноним (86), 03:23 , 14-Июл-23, (86) для индустрии натуралов разве что у нормальных людей задачи не ограничиваются , Аноним (39), 14:59 , 13-Июл-23, (38) // Всю жизнь слышу про нормальных людей То им настройки в файрфокс не нужны, то на, Аноним2 (?), 15:39 , 13-Июл-23, (50) +1 спроси у сотрудника невидии выше, Аноним (39), 16:48 , 13-Июл-23, (54) мне одному кажется, что эти товарищи создадут дырень возможно даже не дырень, а , frac (?), 13:34 , 13-Июл-23, (24) +1 // не больше, чем ethernet IP , Аноним (27), 13:54 , 13-Июл-23, (27) // ata ethernet и usb ip Такие вещи в изолированных физически сетях включают Сказ, Аноним (29), 13:57 , 13-Июл-23, (28) // Ну мне как бы и Device Memory TCP не нужен Очень уж узкоспециализированное реше, keydon (ok), 14:19 , 13-Июл-23, (31) Что ж ты раньше-то молчал Пойду скажу пацанам из гугла, что могут закрывать сво, Аноним (7), 14:32 , 13-Июл-23, (34) +1 Гугл забыл передо мной отчитаться, вот и молчал , Аноним2 (?), 15:32 , 13-Июл-23, (47) Будет ограниченное число владельцев своего AI Вот они будут использовать И про, Аноним (45), 15:18 , 13-Июл-23, (45) как промышленный протокол ethernet ip связан топиком и что через него должно уте, Аноним (39), 14:58 , 13-Июл-23, (37) // Когда хотел выпендриться, но не смог Индустриальный протокол, про который ты то, Аноним (61), 22:57 , 13-Июл-23, (82) да, они как раз и ковыряют специальную дырень, чтобы проталкивать в неё большие , freehck (ok), 15:14 , 13-Июл-23, (44) +1 Очередная иоурина , Tron is Whistling (?), 14:33 , 13-Июл-23, (35) +1 // Кстати, хорошая мысль А ещё надо к этой штуке как-то прикрутить eBPF, для полно, YetAnotherOnanym (ok), 19:55 , 13-Июл-23, (66) +1 Я правильно понимаю, другими словами скорости передачи данных по самой сети уже , Аноним (55), 16:55 , 13-Июл-23, (55) +1 // Всё правильно понимаешь Есть нюансы, но ты про них узнаешь когда-нибудь сам, не, Аноним (61), 18:52 , 13-Июл-23, (64) +1 Ну еще потому что много посредников, причем кастомных , Аноним (70), 20:52 , 13-Июл-23, (70) Облачная видяха Интересно сколько за гиг для геймеров можно будет арендовать , Аноним (57), 17:49 , 13-Июл-23, (57) // Скорее видюха с сетевым разьемом, Аноним (70), 20:59 , 13-Июл-23, (75) // Дополнение И это под лозунгом чтобы в игры в облаке играть, фильмы в супер кач, Аноним (70), 21:07 , 13-Июл-23, (76) +1 брандмауэры, контроль трафика сетевые фильтры и прочее подобное идут лесом , Аноним (70), 18:46 , 13-Июл-23, (62) // Откуда в ML-кластере взялось всё это , Аноним (61), 18:53 , 13-Июл-23, (65) +1 // подразумевался случай, когда два таких чипа найдут друг друга в сети общего назн, Аноним (70), 20:46 , 13-Июл-23, (68) // Чем это отличается от двух любых других сетевых устройств, находящихся в одной с, Аноним (61), 03:56 , 14-Июл-23, (87) В рамках _внутренней_сети_кластера это может иметь смысл , Аноним (70), 18:48 , 13-Июл-23, (63) // Особый смысл будут иметь эксклюзивные компетенции Гугла по подготовке специально, YetAnotherOnanym (ok), 20:01 , 13-Июл-23, (67) // Людей формируют по подготовленным паттернам в информационных технологиях , Аноним (70), 20:50 , 13-Июл-23, (69) Подразумевалось не только ML, а что-то подобное _общая_память_кластера_ , Аноним (70), 21:22 , 13-Июл-23, (77) Не пора ли для таких вещей таки взять специализированные асики, ы , Tron is Whistling (?), 20:52 , 13-Июл-23, (71) // встроенные сетевухи есть везде Остается открыть им прямой доступ к памяти , Аноним (70), 20:55 , 13-Июл-23, (73) // Дополнение То есть убрать сетевой стэк , Аноним (70), 20:57 , 13-Июл-23, (74) Тут не о памяти речь, а вообще о третьих устройствах Коммуникация PCIe-PCIe в пр, Tron is Whistling (?), 22:05 , 13-Июл-23, (79) // Она не в принципе возможна, а работает man gdrcopy man gds и man dma-buf и ку, Аноним (22), 11:44 , 14-Июл-23, (92) Так-то так, но все эти дмабуфы всё равно требуют занятия root complex Я про PtP,, Tron is Whistling (?), 09:13 , 15-Июл-23, (110) Ключевое слово тут было мапит - без root complex не обойтись А оно в многосло, Tron is Whistling (?), 09:14 , 15-Июл-23, (111) Вот работа гугл через добро , Аноним (70), 20:53 , 13-Июл-23, (72) Скрыто модератором, Аноним (78), 21:25 , 13-Июл-23, (78) Ой, да это они лишь для своей Stadia хотят пропихнуть, не более , Аноним (81), 22:06 , 13-Июл-23, (80) // с разморозкой, стадия уже упокоилась в январе этого года, чатжпт (?), 13:32 , 14-Июл-23, (97) +1 Гугл что-то последнее время ничего толкового не сделал Багов в хроме столько де, Аноним (100), 15:17 , 14-Июл-23, (100) Что-то мне это напоминает очередной заход гугола к афедрону пользователя Уд гугл, Аноним (112), 23:11 , 15-Июл-23, (112) А обычный аппаратный DMA слабо гуглу использовать Опять велосипед необходим Х, bOOster (ok), 06:11 , 19-Июл-23, (119) 1,2,4,9,11,13,16,19,24,35,55,57,62,63,71,72,80,100,112,119

Сообщения

[Сортировка по времени | RSS]

	94. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от An2 (?), 14-Июл-23, 12:58
	> для RDMA используются специальные сетевые протоколы ... гугловский подход намного универсальней ... > Ожидается, что Device memory TCP позволит существенно поднять эффективность взаимодействия ... Обычно "специальные" означает сложнее/неудобнее, но эффективнее чем "универсальные". Как же гуглу удалось обойти этот принцип?
	Ответить | Правка | Наверх | Cообщить модератору

	96. "Google предложил Device Memory TCP для сетевой передачи данн..."	+1 +/–
	Сообщение от ebanyrust (?), 14-Июл-23, 13:28
	> Как же гуглу удалось обойти этот принцип? payload загружается через DMA, заголовок обрабатывается центральным процессором - что непонятно в этом принципе ? полезных данных на порядки больше чем служебных данных из заголовка. На таком же принципе весь dmabuf - буфер с данными для аппаратного DMA + служебная информация для CPU.
	Ответить | Правка | Наверх | Cообщить модератору

	98. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 14:52
	не понятно все. Никто кроме Mellanox такой финт ушами сделать не даст. Для передачи можно делать, для приема - нет.
	Ответить | Правка | Наверх | Cообщить модератору

	102. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от ebanyrust (?), 14-Июл-23, 15:40
	> Никто кроме Mellanox такой финт ушами сделать не даст. гугли NIC with Header Data Split, подозреваю что с 10Gb все поддерживают
	Ответить | Правка | Наверх | Cообщить модератору

	104. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 19:07
	Нужен не просто Header Data Split, в том то и дело. Split означает что ты ложишь заголовок в один буфер - а данные в другой. И дальше идут 2 фрагмента по стеку. Так умеет очень большое количество карт которые умеют TCP recv offload. А для этого режима нужно слегка больше - более похожее на режим работы в Infinityband. Ты регистрируешь буфер в сетевой карте и связываешь его с неким идентификатором - и ровно в этом буфере окажутся данные которые туда пришли. Не в произвольном буфере с разделением на header & data. А надо вот в этом конкретный. Это и мешает иметь нормальный zero-copy для приема данных - ибо на момент заполнения буфера - еще не ясно куда его ложить. Опять же - https://fosdem.org/2023/schedule/event/meta_netdevices/attac... Слайды 31+ TCP ZC и тп - POC для меланокса а не для всех кого можно.
	Ответить | Правка | Наверх | Cообщить модератору

	106. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от ebanyrust (?), 14-Июл-23, 19:53
	> А для этого режима нужно слегка больше - более похожее на режим работы в Infinityband. не надо усложнять https://lore.kernel.org/lkml/20230710223304.1174642-1-almasr.../ > * NIC dependencies: 1. (strict) Devmem TCP require the NIC to support header split, i.e. the    capability to split incoming packets into a header + payload and to put    each into a separate buffer. Devmem TCP works by using dmabuf pages    for the packet payload, and host memory for the packet headers. 2. (optional) Devmem TCP works better with flow steering support & RSS support,    i.e. the NIC's ability to steer flows into certain rx queues. This allows the    sysadmin to enable devmem TCP on a subset of the rx queues, and steer    devmem TCP traffic onto these queues and non devmem TCP elsewhere. The NIC I have access to with these properties is the GVE with DQO support running in Google Cloud, but any NIC that supports these features would suffice. I may be able to help reviewers bring up devmem TCP on their NICs. кроме обязательной поддержки header split автор ничего не говорит
	Ответить | Правка | Наверх | Cообщить модератору

	107. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 23:11
	да я и неусложняю. Просто так получилось что в этой теме пришлось покопаться достаточно плотно. Ибо стояла задача поиметь нормальный TCP ZС. Но перелопатив кучи кода и спецификаций - стало понятно что это очень ограничивает набор железа который можно будет использовать. Хотя я думаю линки на более или менее новые презентации из linux net - должны были вас убедить. В некотором смысле - да, header split хватит. Когда ты наоборот из адреса буфера получишь адрес внутри GPU и будешь использовать в своей программе. Этакое убогое решение ибо прийдется держать под буфера достаточно много памяти и потом пытаться объединить эти куски в последовательные данные. Но не о какому удобстве работы который дает GPUfs / GDS (Nvidia) - речи уже не идет. PS. что люди не придумают лишь бы RoCE v2 не использовать - который это режим даст штатно. PPS. TCP в этом месте это тихий ужас. Окошко маленькое - reorder пакетов на раз - два, или прийдется отключить selective/delayed ack.
	Ответить | Правка | Наверх | Cообщить модератору

	115. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (115), 16-Июл-23, 12:08
	> Но не о какому удобстве работы который дает GPUfs / GDS (Nvidia) - речи уже не идет. то что гугловский патч использует стандартные ядерные интерфейсы вместо вендор-костылей огромный плюс - видимо вендор лок винтеля вас ничему не научил, кактус nvidia кажется слаще  но это ведь до определённой поры.
	Ответить | Правка | Наверх | Cообщить модератору

	116. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (116), 16-Июл-23, 12:29
	Nvidia дает нормальный POSIX API для работы с файлами из GPU программ. что позволяет обрабатывать на GPU объемы больше чем память GPU с минимальным простоем. И когда ваш GPU будет стоять и ждать пока вы прочитаете данные и закачаете потом их в память - дабы как-то обработать, GDS закончит обрабатывать весь объем. Привет тормозам :-) PS. ты видимо не в курсе что такое GDS и чем он облегчает жизнь.
	Ответить | Правка | Наверх | Cообщить модератору

	117. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (115), 16-Июл-23, 12:38
	> Nvidia дает нормальный POSIX API для работы с файлами из GPU программ они так же дают eglstream, только он никому не нужен > ты видимо не в курсе что такое GDS и чем он облегчает жизнь обычный вендорлок, не удивительно что тут за меланокс топят и не понимают почему гугл универсальные интерфейсы использует - он ведь уже нвидии принадлежит и это один большой сладкий кактус
	Ответить | Правка | Наверх | Cообщить модератору

	109. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 23:22
	pps. я ниже кидал ссылки на работы Facebook по той же теме. Там тоже завязка на CX4+. наверно не спроста ?
	Ответить | Правка | К родителю #106 | Наверх | Cообщить модератору

	105. "Google предложил Device Memory TCP для сетевой передачи данн..."	+/–
	Сообщение от Аноним (22), 14-Июл-23, 19:09
	если глянуть в более ранную публикацию https://netdevconf.info/0x14/pub/slides/62/Implementing%... Ability for a NIC to dissect packets and place header and data into separate places. Not all NIC implement header-data split, unfortunately. Google has for instance a fair amount of servers using Mellanox CX-3 (mlx4) Опять Mellanox.
	Ответить | Правка | К родителю #102 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема