The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Проект Dragonfly развивает более быструю замену Redis и Memcached "
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Проект Dragonfly развивает более быструю замену Redis и Memcached "  +/
Сообщение от opennews (??), 31-Май-22, 12:44 
Доступен первый выпуск системы кэширования данных в оперативной памят Dragonfly, обеспечивающей поддержку протоколов Memcached и Redis, но позволяющей выполнять запросы с гораздо более высокой производительностью и с меньшим потреблением памяти. Система манипулирует данными в формате ключ/значение и может применяться как легковесное решение для ускорения работы высоконагруженных сайтов, кэширующие медленные запросы к СУБД и промежуточные данные в оперативной памяти. Код Dragonfly написан на языках C/С++ и распространяется под лицензией BSL (Business Source License)...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=57279

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

2. Сообщение от Аноним (2), 31-Май-22, 12:44   –9 +/
> Система манипулирует данными в формате ключ/значение

Map map = new HashMap();

не благодарите

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #9, #13

3. Сообщение от sebe.online (?), 31-Май-22, 12:57   +/
Это Java?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

4. Сообщение от Аноним (4), 31-Май-22, 13:00   +3 +/
>кроме CAS (check and set)

всю жись это было compare-and-swap

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #7, #44

5. Сообщение от lockywolf (ok), 31-Май-22, 13:02   –11 +/
Чего это BSD-шники взялись за базы данных?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #36, #65

6. Сообщение от Аноним (6), 31-Май-22, 13:09   +3 +/
Но, тот же redis, это, ведь, не memcached. А вообще, там, например, есть "блокировки", что, в случае, если данные изменились между началом и завершением транзакции, достаточно эффективно поможет избежать гонки -- повторит транзакцию и возьмёт новые данные. Можно использовать для синхронизации IPC. И он даже не совсем чтобы система хранения _в памяти_. Странные они какие-то.
Ответить | Правка | Наверх | Cообщить модератору

7. Сообщение от Аноним (7), 31-Май-22, 13:12   +4 +/
Во внутренних тестах называют  check-and-set:
https://github.com/memcached/memcached/blob/c472369fed5981ba...
https://github.com/memcached/memcached/blob/894e4c16b5162e25...

В документации основное название "Check And Set", но как альтернативная трактовка упоминается и Compare And Swap - https://github.com/memcached/memcached/wiki/Commands#cas

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

8. Сообщение от Robin Hood (?), 31-Май-22, 13:17   +12 +/
Я уж обрадовался, что речь пойдет о DragonFly BSD (лучший линекс для 4 пня).
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #60

9. Сообщение от Аноним (9), 31-Май-22, 13:18   –3 +/
map = {}
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

10. Сообщение от Аноним (10), 31-Май-22, 13:18   –7 +/
Весь код это сплошное "using namespace std;"... Зато сразу в коммерцию пошли, ну-ну.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #19, #24, #55

12. Сообщение от Catwoolfii (ok), 31-Май-22, 13:34   +5 +/
Интересно сравнение сабжа с KeyDB, а не с ванильным Redis
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14

13. Сообщение от Аноним (13), 31-Май-22, 13:48   +7 +/
> Map map = new HashMap();

И как организовать к этому доступ с нескольких разных серверов?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #21

14. Сообщение от Аноним (13), 31-Май-22, 13:50   +/
А если на графики посмотреть? Наличие колонок, подписанных "KeyDB", не смущает?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #25

15. Сообщение от Аноним (13), 31-Май-22, 13:51   +1 +/
Ждём нормальной поддержки отказоустойчивых кластеров, и можно в прод.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18

16. Сообщение от Аноним (19), 31-Май-22, 13:56   +/
CAS не поддерживается? Ну и какая ж это замена memcache?

Видимо суперускорение - за счет неработающих толком блокировок.
Иначе совершенно неясно, что помешало тривиальный (для мемкэша) CAS сделать.

Ну и "redis 2.8" - кто вообще его помнит еще и что там тогда было толком неработающим (дайте угадаю - все те же блокировки)

Ответить | Правка | Наверх | Cообщить модератору

17. Сообщение от Аноним (19), 31-Май-22, 13:59   –7 +/
И да, в новости забыли упомянуть что он завязан на какое-то там ио-урина-апи существующее только в л@п4тых ведрах вчерашнего и позавчерашнего разлива. Т.е. это не *nix софт, и даже не posix.

Выкрасить и выбросить.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #30, #73

18. Сообщение от Аноним (19), 31-Май-22, 14:00   –1 +/
Лет десять еще подождите, ага. А потом - в рай!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

19. Сообщение от Аноним (19), 31-Май-22, 14:01   +2 +/
Там нет коммэрции, дружище. (Не настолько ж они идиоты чтоб всерьез ждать завтра под дверью амазона с пейсбуком с мешками денег. ТАК слон не продается никогда.) Там просто желание нагадить ближнему.

Опыт редисов ничему не научил.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #32

20. Сообщение от Аноним (20), 31-Май-22, 14:09   +3 +/
BSL: будет путаница с Boost Software License https://www.boost.org/users/license.html
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #51

21. Сообщение от Аноним (2), 31-Май-22, 14:41   –14 +/
попробуй KISS. Если не поможет, тогда YAGNI.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #29

22. Сообщение от ананоша (?), 31-Май-22, 14:55   +/
Для асинхронщины требует uring, соответственно работает только на свежем ядре
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #23, #71

23. Сообщение от ананоша (?), 31-Май-22, 14:56   +3 +/
Комментарии не читай, сразу пеши.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

24. Сообщение от Аноним (24), 31-Май-22, 14:57   +1 +/
Не в хедерах и ладно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

25. Сообщение от Catwoolfii (ok), 31-Май-22, 15:04   +1 +/
Эти графики ангажированные, imho
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #26, #31

26. Сообщение от Igor (??), 31-Май-22, 15:46   +6 +/
Тем не менее сравнение с keydb есть! Не нравится "ангажированное" - проведи свое и опубликуй.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

29. Сообщение от Аноним (29), 31-Май-22, 16:11   +20 +/
Знанием buzzwords будете хвастаться в отделе маркетинга, это этажом ниже.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21 Ответы: #33, #66

30. Сообщение от Аноним (29), 31-Май-22, 16:13   +1 +/
А кому нынче нужен софт под альтернативно одарённые платформы?
Банкам, у которых кобол под соляркой крутится? Так они и без современных БД обойдутся, всё равно код адаптировать под них некому.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #46

31. Сообщение от Аноним (29), 31-Май-22, 16:16   –1 +/
> Эти графики ангажированные, imho

Если вы сморозили фигню, добавление "imho" никак не отменяет этого факта.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

32. Сообщение от Аноним (29), 31-Май-22, 16:20   +3 +/
> Там просто желание нагадить ближнему.

Там просто желание не дать ближнему нагадить себе.
Для простых админов, использующих БД на своей инфраструктуре - лицензия куда более выгодная, чем open core, потому что даёт все фичи и сразу. А предоставлением облачных сервисов занимаются только fatcats типа амазона и гугла, которые не обеднеют от покупки лицензии.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #47

33. Сообщение от Аноним (2), 31-Май-22, 16:22   –4 +/
не могу, там сейчас совещание: маркетологи обсуждают "докеры", "инстансы" и прочие "более быстрые замены для редис", к которым планируют эффективно соединяться "с нескольких разных серверов" (причем требуют, чтобы как минимум один сервер был афроамериканцем)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #37

34. Сообщение от Тот Самый (?), 31-Май-22, 16:33   +7 +/
>По сравнению с Redis в Dragonfly при типовых видах нагрузки удалось добиться 25-кратного увеличения производительности

Бред какой-то! Так не бывает!

1) Redis точно работал в режиме memory only, без синхронизации на диск? А то, по-дефолту у Redis:
#   Save the DB on disk:
after 900 sec (15 min) if at least 1 key changed
after 300 sec (5 min) if at least 10 keys changed
after 60 sec if at least 10000 keys changed

2) "типовые виды нагрузки" - это конкретно что? GET, SET чего? А то, например, при записи ассоциативных массивов Redis одновременно делает сортировку индексов (Dragonfly так не умеет)

3) ни где не указано (и в первоисточнике то-же) с какой версией Redis тестировали. Dragonfly по функциональности пока на уровне Redis 2.8, а текущий Redis 7.0 основательно пожирнел.

>трёхкратного снижения потребления памяти

Вау! Но ни где не сказано с каким memory allocator был собран Redis. Его можно собрать с malloc=libc, jemalloc, tcmalloc. В этих случаях разница в использовании памяти будет кардинально отличаться.

Все это смахивает на дешевую PR акцию.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #54, #61

35. Сообщение от bOOster (ok), 31-Май-22, 16:49   –1 +/
Если разговор идет о 5 гигабайтах - ребятки заново ZFS изобретают?
Ответить | Правка | Наверх | Cообщить модератору

36. Сообщение от Аноним (36), 31-Май-22, 16:55   +8 +/
Это не про DragonFlyBSD
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

37. Сообщение от Аноним (29), 31-Май-22, 17:05   +4 +/
Это были разработчики. Не вникайте в их сленг, это технари, их сложно понять.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #33 Ответы: #39

39. Сообщение от Аноним (2), 31-Май-22, 18:02   –1 +/
> это технари, их сложно понять

ну кому как конечно, лично я на этом сленге даже думаю. Но к тебе это однажды тоже придет, и тогда технарей понимать будет не так уж и сложно

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

40. Сообщение от Онаним (?), 31-Май-22, 18:16   –1 +/
BullShitLicense? Не нужно (C)
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #53

41. Сообщение от Аноним (41), 31-Май-22, 18:27   –1 +/
> запрещает применение для создания платных облачных сервисов, выступающих надстройкой над Dragonfly

Дальше можно не читать.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #42, #58

42. Сообщение от Аноним (29), 31-Май-22, 18:28   +/
Мистер Безос?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #74

44. Сообщение от Онаним (?), 31-Май-22, 20:27   +/
Вообще не надо ничего придумывать, есть старый добрый CMPXCHG, который лучше всяких CAS'ов, которые можно попутать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #45

45. Сообщение от Судья из Калифорнии с опытом программирования (?), 31-Май-22, 20:49   +/
Как насчёт LL/SC?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44

46. Сообщение от пох. (?), 31-Май-22, 21:50   –7 +/
> А кому нынче нужен софт под альтернативно одарённые платформы?

ну вот поэтому этот ваш драгоншит никому и не нужен.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #49

47. Сообщение от пох. (?), 31-Май-22, 21:57   –5 +/
Ну конечно, у горе-изобретателя ведь где-то сзади пригорает если его изобретением на самом деле начинают пользоваться люди. При этом в лучшем случае - нагадил он сам себе (ну это в таком уникально-невероятном раскладе что оно вообще было бы хоть кому-то нужно). Поскольку амазоны с гуглами иногда, удивительно но факт, умудряются что-то улучшать в сво6одкином софте. И если видят для себя в этом выгоду (например, не трахаться патчить каждую следующую версию) - то могут и поделиться кодом.

> Для простых админов, использующих БД на своей инфраструктуре

эта хтоническая хрень нафиг не нужна. И откуда кстати у простого раба "своя" инфраструктура? Она - дядина. Который, кстати, не обеднеет...впрочем об этом после.

> А предоставлением облачных сервисов занимаются только fatcats типа амазона и гугла, которые
> не обеднеют от покупки лицензии.

конечно не обеднеют, потому что и не подумают ее покупать.

Держи, афтырь, карманцы шыре.

Вон-вон, уже очередь выстроилась тебе денег за лицензию на твое ненужно v0.0.1 занести.

Дяди вот, кстати, иногда и покупают всякие nginx+, хотя и реже чем хотелось бы афтырям. Но для этого надо им что-то предложить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #48

48. Сообщение от Аноним (13), 31-Май-22, 22:11   +1 +/
> Поскольку амазоны с гуглами иногда, удивительно но факт, умудряются что-то улучшать в сво6одкином софте.

И история знает хоть один такой случай?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

49. Сообщение от Аноним (13), 31-Май-22, 22:13   +1 +/
Сабж, возможно, кому-то и понадобится.

А вот всякие солярки и чпуксы остались только там, где нормальный человек с*ать не сядет.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #46

50. Сообщение от IvAnZ (?), 31-Май-22, 22:14   +1 +/
судя по тестам (все на Graviton), её под ARM64 затачивали.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #52

51. Сообщение от Аноним (13), 31-Май-22, 22:15   +/
Подозреваю, что большинство одарённых будет путать даже с BSDL, и лишняя буква их не смутит.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

52. Сообщение от Аноним (13), 31-Май-22, 22:16   +1 +/
Скорее под многопоток. На чём ещё можно взять столько ядер задёшево?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #63

53. Сообщение от Аноним (13), 31-Май-22, 22:19   +/
Но ведь фраза "не нужно" (как, например, слова и аббревиатуры "KISS", "overbloat", "комбайн", "смузихлёб" и др.) тоже распространяется под bullshit license, так что эта лицензия всё-таки нужна!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #56

54. Сообщение от Аноним (13), 31-Май-22, 22:22   +/
> Его можно собрать с malloc=libc, jemalloc, tcmalloc.

А разве кто-то в здравом уме будет использовать не glibc'шный аллокатор?
Что мюслевский, что jemalloc - просто проблемы с производительностью на ровном месте.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34 Ответы: #57

55. Сообщение от Аноним (55), 31-Май-22, 22:44   –1 +/
Ведь код это сишка, достаточно
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #70

56. Сообщение от Онаним (?), 31-Май-22, 23:05   +/
Фраза "не нужно" - не распространяется. Она прикладывается. Как тот подорожник.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

57. Сообщение от Тот Самый (?), 01-Июн-22, 00:41   +/
>А разве кто-то в здравом уме будет использовать не glibc'шный аллокатор?

Например TOR (не браузер, а ноды и клиенты) используют jemalloc
>проблемы с производительностью

Это не "проблемы", а плата за дефрагментированную память (ни чего действительно полезного забесплатно не бывает)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

58. Сообщение от Аноним (58), 01-Июн-22, 03:40   +1 +/
А как авторам узнать, что лицензия нарушена, если это используют в коммерческих целях? Если  это PaaS/SaaS, то это ещё знать надо, из чего конкретно состоит бэкенд. Разве что там телеметрия какая зашита,палящая ip и хостнеймы
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #62

59. Сообщение от Иваня (?), 01-Июн-22, 07:37   +2 +/
Наконец-то заменят старьё (Redis и Memcached). Спасибо. Надо ознакомиться с проектом.
Ответить | Правка | Наверх | Cообщить модератору

60. Сообщение от Аноним (60), 01-Июн-22, 08:23   –3 +/
> лучший линекс

"Форте" или простой? Очепятка или сознательно, типа, нормализация "микрофлоры кишечника" 4-го пня? Пень со СтрекозойБСД будет без запоров/диарей/метеоризма?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

61. Сообщение от funny.falcon (?), 01-Июн-22, 08:34   +1 +/
Вообще-то, если не пытаться быть самым умным при сборке, то Redis вкомпиливает в себя патченный jemalloc. Его можно попросить этого не делать, но по умолчанию он это делать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #34

62. Сообщение от funny.falcon (?), 01-Июн-22, 08:38   +1 +/
Имеется виду, запрещается такое: «только у нас managed DragonflyDB», «наш AnrgryBirdDB такой же, как DragonflyDB, только допиленный и настроенный. Всего $1 за миллиард запросов».
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58

63. Сообщение от funny.falcon (?), 01-Июн-22, 08:43   –1 +/
Тесты погонять и на x86 не так уж дорого. Если сравнивать по vCPU, то всего на 30% дороже гравитон. Даже на большом AWS инстансе можно себе час позволить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52

64. Сообщение от InuYasha (??), 01-Июн-22, 13:03   –3 +/
Офигенно. Коданы ваще ребята. Бысто, чётко, малацы.
И приз "золотой вантус" за херовую инфографику. Не, ну серьезно - можно было без этих лшбт-полосок сделать даже монохромный рисунок понятней.
Ответить | Правка | Наверх | Cообщить модератору

65. Сообщение от Shevchuk (ok), 01-Июн-22, 15:59   –1 +/
Чем только ни займутся, лишь бы KDE не патчить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

66. Сообщение от Bbbbbbbbb (?), 01-Июн-22, 16:36   –1 +/
Кубернетес
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

67. Сообщение от Аноним (-), 01-Июн-22, 17:41   +1 +/
А что за лицензия такая левая?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #72

70. Сообщение от Аноним (70), 01-Июн-22, 19:24   +1 +/
Плюс плюс-ы же ...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

71. Сообщение от Анонимленьлогиниться (?), 01-Июн-22, 20:29   +1 +/
uring есть в текущих стабильных EL, и в чем проблема?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

72. Сообщение от Аноним (72), 02-Июн-22, 03:00   –1 +/
какая тебе, с твоим локалхостом, разница
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67

73. Сообщение от edo (ok), 02-Июн-22, 04:19   +/
ИМХО io_uring — это одно из лучшего, что появилось в юниксах за последние годы.
и да, ожидаю, что в живых юниксах вроде freebsd оно скоро появится или в совместимом виде, или в «творчески переосмысленном».
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

74. Сообщение от Аноним (74), 02-Июн-22, 17:10   –1 +/
Не люблю делать лишнюю работу. Редис/мемкеш как сервис в том или ином виде есть у всех облачных провайдероа. Включается в 3,5 строчек на терраформире и гарантирует определенные параметры производительности. Моя цель создать продукт, который решает реальные проблемы конкретных людей или бизнесов. В какой момент я должен бросить всё и начать тестировать «более лучшую замену» со странной лицензией и невнятным будущим? Правильно, ни в какой. За меня это делают инженеры $клауднейм на зарплате. Если из «более лучшей замены» нельзя сделать коммерческий продукт, то никто им такой задачи не поставит. Стало быть область применения продукта, количество сценариев использования, число «часов налёта», опыт внедрения и так далее будут ограничены локалхостами разработчиков и энтузиастов. Это неплохо само по себе, но пока эта кобыла четырьмя ногами, редис и мемкеш с поддержкой больших ребят на реактивной тяге. А так, успехов проекту! И скорейшего взросления авторам.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

75. Сообщение от Romanemail (??), 05-Июн-22, 13:53   +2 +/
Мне, как автору проекта было очень смешно читать ваши комментарии.
Это как если бы бабки в колхозе Анджелу Маркель обсуждали.
всем есть шо сказать. семечков есть пощелкать?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #77

77. Сообщение от Анонус (?), 20-Мрт-23, 13:26   +/
Сравнение с Tarantool не планируется?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру