![]() |
|
Чтение журнала регистрации | ☑ | ||
---|---|---|---|---|
0
ololoraise
27.03.15
✎
12:05
|
Подскажи, 8-ку научили работать напрямую с ЖР?
Без выгрузок в хмэль. |
|||
1
Defender aka LINN
27.03.15
✎
13:19
|
Можно в таблицу выгрузить
|
|||
2
DCKiller
27.03.15
✎
13:27
|
(0) У тебя тоже СП украли?
|
|||
3
pumbaEO
27.03.15
✎
13:27
|
8-ку нет, любой другой кто знает о sqlite научили.
|
|||
4
ololoraise
27.03.15
✎
13:37
|
(2) не поверишь, у меня нет 8-ки :-)
|
|||
5
ДенисЧ
27.03.15
✎
13:38
|
(4) Тогда зачем тебе работа с её журналом?
|
|||
6
ololoraise
27.03.15
✎
13:39
|
Узнать, сколько за период новых записей в справочнике.
|
|||
7
ДенисЧ
27.03.15
✎
13:45
|
(6) Так у тебя же нет 8ки...
Откуда ты будешь узнавать? |
|||
8
Лефмихалыч
27.03.15
✎
13:50
|
(0) восьмерку научили хранить ЖР в sqlite
|
|||
9
ololoraise
27.03.15
✎
13:54
|
(7) Думаем перейти на УПП.
(8) Рассказали про варсионирование... |
|||
10
ДенисЧ
27.03.15
✎
13:55
|
(9) А что, чтение ЖР - единственное, что мешает переходу? ОХ_о
|
|||
11
1976vas
27.03.15
✎
13:56
|
(9) Версионирование к ЖР не имеет отношения.
|
|||
12
ololoraise
27.03.15
✎
13:58
|
(10) неа, одна из хотелок)
(11) я понимаю, но как вариант рассматриваем. |
|||
13
pumbaEO
27.03.15
✎
14:52
|
(12) загружай журнал 1с с помощью logstash в elasticsearch, а с помощью kibana получай красивую картинку.
У меня это получилось. |
|||
14
Лефмихалыч
27.03.15
✎
14:54
|
(13) скорость какая этого всего? лог в 2Гб сколько будет в elasticsearch запихиваться?
|
|||
15
pumbaEO
27.03.15
✎
15:06
|
(13) без ухищирений долго, т.к. я чтение настраивал раз в 1 минуту, порцией в 5000 записей с последующей резалкой раз в час журнала и его удаления. (ну т.е. можно убрать ограничение в 5000 и первый раз загрузить всем скопом, а потом поставить количество в зависимости от средней нагрузи)
По размеру могу сказать, что где-то на 20% увеличивается размер базы журнала в elasticsearch, т.е. у меня за месяц рос на 8-10 гиг журнал, в logstash стабильно занимает 11 гиг. При этом скорость доступа значительно быстрее. (значиельно - это значит ох уенно быстрее). Но пришлось повозиться с индексацией всяких uuid, дабы не разбивало на слова, а индекс делало по целому слову. |
|||
16
Лефмихалыч
27.03.15
✎
15:38
|
(15) скорость доступа-то это понятно. Наши эксперименты по транспортировке ЖР в скуль закончились бурной эрекцией - лог за сутки из одной из толстых баз грузился чуть меньше суток, но разница уж больно не серьезная была. Да, мы там дополнительные всякие обработки делали, а еще нормализацию, но без этого оно нам наиух не нужно.
в общем - понятно, пока в этом плане вселенная своего состояния не поменяла |
|||
17
pumbaEO
27.03.15
✎
15:49
|
(16) Ну чудес не бывает, ты можешь и вширь развернуться и поднять 2 инстанса elasticsearch, один будет данные принимать, другой индексирвоать, ну а третим уже считай различные метрики.
Мне пока хватает одного elasticsearch и фоновой обработки данных и расчета метрик. |
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |