Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
Сообщение от opennews (??), 25-Окт-18, 15:28
Состоялся (https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor...) релиз PipelineDB 1.0 (http://www.pipelinedb.com/), дополнения к СУБД PostgreSQL с реализацией средств для непрерывной обработки потока данных в формате временного ряда (https://ru.wikipedia.org/wiki/%D0%92%D1%...) (срезы значений параметров через заданные промежутки времени). PipelineDB позволяет при помощи непрерывно выполняемых SQL-запросов обрабатывать и агрегировать постоянно поступающий поток данных, таких как показания датчиков, метрики системы мониторинга или статистика рекламных сетей. Код проекта распространяется (https://github.com/pipelinedb/pipelinedb) под лицензией Apache 2.0. PipelineDB может на лету агрегировать, фильтровать и вычищать поступающий поток данных, суммируя входящие данные в разрезе фиксированных временных промежутков (1 сек, 2 мин, 1 день, 30 дней и т.п.). Результат первичной обработки сохраняются в таблицы или отбрасывается (PipelineDB не сохраняет все raw-данные в БД, а оставляет только агрегированные значения, полученные в результате выполнения непрерывных SQL-запросов над входящим потоком данных). В дальнейшем сохранённые суммированные данные могут применяться для решения задач аналитики и формирования отчётов. Например, при обработке данных о посещении сайта можно раз в час сохранять суммарные сведения о пришедших пользователях и открытых страницах, а в случае сбора данных с датчиков сохранять каждую минуту максимальное, среднее и минимальное показание. Основным элементом для непрерывной обработки данных выступает  специальный тип представлений - CONTINUOUS VIEW, отличающийся от обычных представлений возможностью использования потоков в качестве источника данных для SELECT-запросов. По мере поступления новых данных в потоке, выдаваемый представлением вывод непрерывно обновляется. PipelineDB также поддерживает вероятностные структуры данных и  возможность слияния непрерывно наполняемых таблиц. URL: https://www.pipelinedb.com/blog/pipelinedb-1-0-0-high-perfor... Новость: https://www.opennet.ru/opennews/art.shtml?num=49498
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	–11 +/–
Сообщение от Qwerty (??), 25-Окт-18, 15:28
Вы серьёзно? Этого нет из коробки?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+4 +/–
	Сообщение от Evgueni (?), 25-Окт-18, 15:48
	А подобное где-то есть из коробки? В смысле возможность обработки потока с разрядкой данных по времени для сохранения?
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	4. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+1 +/–
	Сообщение от ЯПодумал (?), 25-Окт-18, 18:08
	RRD Tool? RoundRobinBatabase? Поправьте, если ошибся.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+1 +/–
	Сообщение от Аноним (5), 25-Окт-18, 18:23
	Ошибся, поправляю. И не надо сравнивать эту поделку с полноценной SQL базой.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	6. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	–1 +/–
	Сообщение от ЯПодумал (?), 25-Окт-18, 18:34
	Я про функционал временных срезов и только.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	11. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
	Сообщение от Аноним (11), 29-Окт-18, 12:04
	Ну формально то это база хотя и ни разу не sql. Только зачем их сравнивать, если задача по входному потоку 100% для rrd.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	8. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
	Сообщение от Evgueni (?), 26-Окт-18, 04:56
	Не совсем чётко выразился. Я имел в виду функционал СУБД из коробки. Часто медленный контроль надо позже сопоставлять с другими данными, а не просто отображать ряды.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	10. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
	Сообщение от пох (?), 27-Окт-18, 18:38
	не вижу проблемы брать разреженные данные из rrd, а потом "сопоставлять", что бы это ни значило, с данными взятыми из sql-базы. скорее всего гибрид ужа и ежа рожден теми, кто просто ниасилил в rrd, его синтаксис, действительно, немного потусторонен, девляпсы не можут.
	Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	–1 +/–
Сообщение от Аноним (7), 25-Окт-18, 20:12
А просто создания триггера для этого мало?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	9. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
	Сообщение от Evgueni (?), 26-Окт-18, 04:59
	Это можно сделать кучей разных способов. Я наблюдал с десяток подобных попыток на конкурсе молодых учёных и сам создал свой личный велосипед более десяти лет назад для реализации системы медленного контроля. Если бы это тогда было бы из коробки то многие проблемы на которые я забил или обходил можно было бы решить естественным путём.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
Сообщение от Аноним (12), 29-Окт-18, 12:44
А там еще есть и https://www.timescale.com/
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Выпуск PipelineDB 1.0.0, надстройки к PostgreSQL для непреры..."	+/–
Сообщение от northbear (??), 29-Окт-18, 16:43
А зачем такое делать на SQL-запросах? Чтобы парсер не скучал?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема