1Тема от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Тема: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Всем доброго времени суток.
От  предыдущего админа достался сервак wialon_pro_1401r13_l64. Система работает с 2014 года. Так как дисковое пространство не "резиновое", необходимо удалить старые данные, которые поступили в систему до 2016 года.
Сменил в конфиге переменную  ADF_AVL_UNIT_HISTORY_PERIOD с 0 на 300, как написано тут  удаление  происходит ежедневно ночью в 3 часа по UTC.
Хотелось бы уточнить следующее:
При "чистке" базы виалону,  я так полагаю нужно создать временные файлы равные исходному размеру базы ?
База весит 51гига,  а свободного места 9 гигов и естественно нет возможности это сделать.
В логах ежедневно  ошибка , так как особо разбираюсь было бы интересно что происходит все таки в момент дефрагментации.

+ открыть спойлер

2016/10/03 11:01:36:518: adf_storage_db_error_call: m-00000001: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/03 11:01:36:518: storage_messages_db::copy_msgs_db(1): error opening database: messages: File exists
2016/10/03 11:01:36:518: storage_messages_env::do_defrag: error defragmenting 1 database
2016/10/03 11:03:16:621: adf_storage_db_error_call: m-00000002: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/03 11:03:16:621: storage_messages_db::copy_msgs_db(2): error opening database: messages: File exists
2016/10/03 11:03:16:621: storage_messages_env::do_defrag: error defragmenting 2 database
2016/10/04 10:01:38:166: adf_storage_db_error_call: m-00000001: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/04 10:01:38:166: storage_messages_db::copy_msgs_db(1): error opening database: messages: File exists
2016/10/04 10:01:38:166: storage_messages_env::do_defrag: error defragmenting 1 database
2016/10/04 10:03:18:311: adf_storage_db_error_call: m-00000002: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/04 10:03:18:311: storage_messages_db::copy_msgs_db(2): error opening database: messages: File exists
2016/10/04 10:03:18:311: storage_messages_env::do_defrag: error defragmenting 2 database
2016/10/05 09:01:38:791: adf_storage_db_error_call: m-00000001: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/05 09:01:38:791: storage_messages_db::copy_msgs_db(1): error opening database: messages: File exists
2016/10/05 09:01:38:791: storage_messages_env::do_defrag: error defragmenting 1 database
2016/10/05 09:03:18:891: adf_storage_db_error_call: m-00000002: BDB0002 __fop_file_setup: Retry limit (100) exceeded
2016/10/05 09:03:18:891: storage_messages_db::copy_msgs_db(2): error opening database: messages: File exists
2016/10/05 09:03:18:891: storage_messages_env::do_defrag: error defragmenting 2 database

0
2Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

xpomuk пишет:

Всем доброго времени суток.
При "чистке" базы виалону,  я так полагаю нужно создать временные файлы равные исходному размеру базы ?

Для удаления  неиспользуемых данных используется так называемая процедура дефрагментации.Процедура  дефрагментации выглядит следующим образом:

+ открыть спойлер

1.По умолчанию раз в сутки анализируется уровень фрагментации файлов  *.db исходя из содержимого файла ../storage/ms/msgs_stats.txt.
2.Если  уровень фрагментации меньше  20% , то дефрагментация не  происходит.
  Изменить этот  параметр можно в файле ../custom/storage.cfg (http://docs.gurtam.com/ru/pro/1401/admi … s/storage.)

   # max fragmentation level of part to skip its defragmentation
    msgs.part.maxfragrate = 20

  Параметр,отвечающий за  время  запуска дефрагментации:

  # defragmentation hour, -1 if not important
    msgs.defrag.hour = -1

  Параметр,отвечащий за период в днях между  проведением дефрагментации:

    # defragmentation interval, in days
      msgs.defrag.interval = 1

3.Когда  какой-то из файлов *.db подвергается процедуре дефрагментации, то в директории ../storage/md/ создается файл msgs.db.new (копия дефрагментированного файла *.db).
  После окончания дефрагментации файла базы данных сообщений, файл msgs.db.new  переходит в  файл *.db, то есть, тем  самым  происходит замена фрагментированного файла на дефрагментированный.
  Размер файла msgs.db.new может почти достигать размеров самого большого  файла *.db.
4.Запустить дефрагментации можно в любой  момент.
  Достаточно прописать временно в ../custom/storage.cfg переменную:

   msgs.defrag.force = 1

  В таком случае  проверка на необходимость проведения дефрагментации будет выполняться постоянно, пока  переменная не будет удалена.

В вашей текущей ситуации вам необходимо остановить сервис виалон,  удалить файл msgs.db.new, если таковой  остался до сих пор,
так  уже удалить(переместить) ненужные файлы  с раздела, например  логи и запустить сервис заново.
Если  места  все равно мало,  то переходите  на бОльшее хранилище.

Евгений
WDC Administrator
Gurtam

xpomuk

+1
3Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Проблема с местом  решилась, но понадобилось сохранить данные только за последний год, в конфиге установлено 365 дней хранения
Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Запустил дефрагментацию копированием файла ../custom/storage.cfg  с  переменной
msgs.defrag.force = 1
Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD
объем базы сократился на 7 гигов  всего,  и данные до сих пор  присутствуют более 365 дней

Заглянул в msgs_stats.txt

+ открыть спойлер

2017-02-13 13:18:01:

v2 database 1: fragmentation level: 0%, total messages: 44195697, new messages: 8697
v2 database 2: fragmentation level: 0%, total messages: 13684885, new messages: 2186

Total 2 databases with 57880582 messages and 10883 new messages, fragmentation level is 0%.


и логи

+ открыть спойлер

2017/02/13 12:51:12:858: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 12:51:17:868: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 12:51:17:868: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 12:51:22:910: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 12:51:22:910: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 12:51:27:889: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 12:51:27:889: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 12:51:32:900: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 12:51:32:900: storage_messages_env::do_defrag: finished databases defragmentation

то есть фрагментация нулевая.

Как оставить в базе данные только за 365 дней?

0
4Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

xpomuk пишет:

Как оставить в базе данные только за 365 дней?

Если у вас  присутсвует   модуль "Биллинг" , то он  приоритетнее и  время хранения   данных от объектов, подподающих под биллинг берется из него.
Так же после  установки ADF_AVL_UNIT_HISTORY_PERIOD  сервис wialon pro  необходимо перезапустить.
При удалении  сообщений в логах пишется следующее:

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'

После того  как сообщения будут "удалены" свободное место не  появится, для этого  должна  выполниться процедура дефрагментации.

Евгений
WDC Administrator
Gurtam

0
5Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Модуля Билинг нет, и сервис перезапускался не один раз, после изменений переменной ADF_AVL_UNIT_HISTORY_PERIOD
Данные все равно за 2.5 года.

0
6Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

xpomuk пишет:

Модуля Билинг нет, и сервис перезапускался не один раз, после изменений переменной ADF_AVL_UNIT_HISTORY_PERIOD
Данные все равно за 2.5 года.

Может быть 

service.trash.period = -1

прописано?

+ открыть спойлер

https://docs.wialon.com/ru/pro/1401/adm … es/storage
https://docs.wialon.com/ru/pro/1401/adm … o_1401_r13

Евгений
WDC Administrator
Gurtam

xpomuk

+1
7Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

(13/02/2017 14:56:56 отредактировано xpomuk)
  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

ДА,  копировал дефолтный storage.cfg,  эти переменные не трогал.

+ открыть спойлер

# number of days to keep objects in trash (min = 1, max = 120)
service.trash.period = 30
# set value to -1 to disable automatic trash deleting
service.trash.period = -1

как прописать чтобы удалилось автоматом?

ТАК?

+ открыть спойлер

# number of days to keep objects in trash (min = 1, max = 120)
service.trash.period = 1
# set value to -1 to disable automatic trash deleting
service.trash.period = 1

0
8Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Файл storage.cfg особо не нужен, его можно удалить и перезапустить сервис.
Дефолтные значения будут   установлены после перезапуска.

Евгений
WDC Administrator
Gurtam

0
9Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

(13/02/2017 15:08:38 отредактировано xpomuk)
  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Это то понятно , все таки как удалить данные в базе

+ открыть спойлер

2017-02-13 16:06:09:

v2 database 1: fragmentation level: 0%, total messages: 44204429, new messages: 17429
v2 database 2: fragmentation level: 0%, total messages: 13692543, new messages: 9844

Total 2 databases with 57896972 messages and 27273 new messages, fragmentation level is 0%.

0
10Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

А что в логах по данным  сообщениям?

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'
Евгений
WDC Administrator
Gurtam

0
11Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

gaev пишет:

А что в логах по данным  сообщениям?

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'

В service.log

+ открыть спойлер

2017/02/13 16:41:36:364: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:41:36:364: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 16:41:41:379: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:41:41:380: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 16:41:46:388: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:41:46:388: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 16:41:51:397: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:41:51:397: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 16:41:56:414: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:41:56:414: storage_messages_env::do_defrag: finished databases defragmentation
2017/02/13 16:42:01:423: storage_messages_env::do_defrag: trying databases defragmentation
2017/02/13 16:42:01:423: storage_messages_env::do_defrag: finished databases defragmentation

и вообще складывается ощущения что эти параметры очистки не относятся к сообщениям приборов, а хранение настроек объектов и прочего
Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

0
12Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

У вас до сих пор активна переменная

msgs.defrag.force = 1

Уточню еще раз,
имеются ли в логах  сообщения вида

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'
Евгений
WDC Administrator
Gurtam

0
13Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

gaev пишет:

У вас до сих пор активна переменная

msgs.defrag.force = 1

Уточню еще раз,
имеются ли в логах  сообщения вида

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'

в service.log такого не найдено

0
14Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

xpomuk пишет:
gaev пишет:

У вас до сих пор активна переменная

msgs.defrag.force = 1

Уточню еще раз,
имеются ли в логах  сообщения вида

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'

в service.log такого не найдено

Данные сообщения  должны быть в trace.log

Евгений
WDC Administrator
Gurtam

0
15Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

gaev пишет:
xpomuk пишет:
gaev пишет:

У вас до сих пор активна переменная

msgs.defrag.force = 1

Уточню еще раз,
имеются ли в логах  сообщения вида

avl_server::bg_job: Checking history messages for N units
avl_server::bg_job: Deleting x messages for unit 'Y'

в service.log такого не найдено

Данные сообщения  должны быть в trace.log

Вот что в  trace.log

+ открыть спойлер

2017/02/13 17:40:34:385: sighandler: 15
2017/02/13 17:40:34:385: Stopping ADF service...
2017/02/13 17:40:34:385: adf_terminate()
2017/02/13 17:40:34:385: events_disp::on_adf_terminating: storing HTTP users logout events...

2017/02/13 17:40:34:385: events_disp::on_adf_terminating: stored 4 HTTP users logout events
2017/02/13 17:40:34:385: avl_server::on_core_terminating('AVL Server')
2017/02/13 17:40:34:418: http_service::delete_server('mtds300-hw_start.tcl')
2017/02/13 17:40:34:423: http_service::delete_server('trakkcor-hw_start.tcl')
2017/02/13 17:40:34:429: http_service::delete_server('tss-hw_start.tcl')
2017/02/13 17:40:34:448: http_service::delete_server('mt_4-hw_start.tcl')
2017/02/13 17:40:34:455: storage_messages_env::on_core_terminating: syncing messages environment...
2017/02/13 17:40:34:490: storage_messages_env::on_core_terminating: done syncing messages environment
2017/02/13 17:40:34:533: core: releasing services...
2017/02/13 17:40:34:546: ed_service::~ed_service()
2017/02/13 17:40:34:594: email_service::~email_service()
2017/02/13 17:40:34:604: event_proc::~event_proc()
2017/02/13 17:40:34:606: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): finished
2017/02/13 17:40:35:078: http_service::~http_service()
2017/02/13 17:40:35:079: net_service::~net_service()
2017/02/13 17:40:35:083: storage_service::~storage_service(): stopping
2017/02/13 17:40:35:335: storage_service::~storage_service(): stopped
2017/02/13 17:40:35:347: core: services released.
2017/02/13 17:40:36:416: Starting ADF service...
2017/02/13 17:40:36:416: core::load_library(adf_core)
2017/02/13 17:40:36:416: Loaded 'adf_core' version '3.29.0260'
2017/02/13 17:40:36:416: adf_load_environment('custom/config.txt')
2017/02/13 17:40:36:416: adf_init_app('environment.txt')
2017/02/13 17:40:36:416: adf_load_environment('environment.txt')
2017/02/13 17:40:36:419: Loading ADF plugin: 'fonts'...
2017/02/13 17:40:36:419: core::load_library(adf_image)
2017/02/13 17:40:36:419: Loaded 'adf_image' version '1.7.0042'
2017/02/13 17:40:36:420: Loading ADF plugin: 'email'...
2017/02/13 17:40:36:420: core::load_library(adf_email)
2017/02/13 17:40:36:420: Loaded 'adf_email' version '3.2.0034'
2017/02/13 17:40:36:420: Loading ADF plugin: 'chart'...
2017/02/13 17:40:36:421: core::load_library(adf_chart)
2017/02/13 17:40:36:421: Loaded 'adf_chart' version '1.1.0040'
2017/02/13 17:40:36:421: Loading ADF plugin: 'webbase'...
2017/02/13 17:40:36:421: Loading ADF plugin: 'avl_server'...
2017/02/13 17:40:36:421: core::load_library(adf_avl)
2017/02/13 17:40:36:437: Loaded 'adf_avl' version '7.5.0223'
2017/02/13 17:40:36:437: core::load_library(adf_serial)
2017/02/13 17:40:36:437: Loaded 'adf_serial' version '3.13.0121'
2017/02/13 17:40:36:437: core::load_library(adf_net)
2017/02/13 17:40:36:437: Loaded 'adf_net' version '7.8.0109'
2017/02/13 17:40:36:437: core::load_library(adf_zip)
2017/02/13 17:40:36:437: Loaded 'adf_zip' version '3.5.0018'
2017/02/13 17:40:36:438: core::load_library(adf_storage)
2017/02/13 17:40:36:438: Loaded 'adf_storage' version '8.7.0310'
2017/02/13 17:40:36:438: core::load_library(adf_http)
2017/02/13 17:40:36:438: Loaded 'adf_http' version '4.3.0183'
2017/02/13 17:40:36:497: storage_service::storage_service()
2017/02/13 17:40:36:499: core::load_library(adf_ed)
2017/02/13 17:40:36:499: Loaded 'adf_ed' version '5.1.0033'
2017/02/13 17:40:36:500: core::load_library(adf_http)
2017/02/13 17:40:36:511: Loading ADF plugin: 'avl_extensions'...
2017/02/13 17:40:36:512: core::load_library(adf_avl_extensions)
2017/02/13 17:40:36:514: Loaded 'adf_avl_extensions' version '1.14.0084'
2017/02/13 17:40:36:514: core::load_library(adf_gis)
2017/02/13 17:40:36:514: Loaded 'adf_gis' version '4.2.0060'
2017/02/13 17:40:36:519: Loading ADF plugin: 'cms'...
2017/02/13 17:40:36:529: core::load_library(adf_avl_msgs_renderer)
2017/02/13 17:40:36:530: Loaded 'adf_avl_msgs_renderer' version '2.7.0105'
2017/02/13 17:40:36:541: Loading ADF plugin: 'avl_unit_groups'...
2017/02/13 17:40:36:542: core::load_library(adf_avl_unit_groups)
2017/02/13 17:40:36:542: Loaded 'adf_avl_unit_groups' version '1.5.0015'
2017/02/13 17:40:36:544: Loading ADF plugin: 'avl_unit_icon'...
2017/02/13 17:40:36:544: core::load_library(adf_avl_unit_icon)
2017/02/13 17:40:36:545: Loaded 'adf_avl_unit_icon' version '1.0.0009'
2017/02/13 17:40:36:546: Loading ADF plugin: 'avl_zones_library'...
2017/02/13 17:40:36:546: core::load_library(adf_avl_zones_library)
2017/02/13 17:40:36:546: Loaded 'adf_avl_zones_library' version '2.2.0015'
2017/02/13 17:40:36:547: Loading ADF plugin: 'avl_poi'...
2017/02/13 17:40:36:548: core::load_library(adf_avl_poi)
2017/02/13 17:40:36:548: Loaded 'adf_avl_poi' version '1.1.0011'
2017/02/13 17:40:36:549: Loading ADF plugin: 'avl_notifications'...
2017/02/13 17:40:36:549: core::load_library(adf_avl_notifications)
2017/02/13 17:40:36:551: Loaded 'adf_avl_notifications' version '3.10.0091'
2017/02/13 17:40:36:552: Loading ADF plugin: 'avl_sms_manager'...
2017/02/13 17:40:36:553: core::load_library(adf_avl_sms_manager)
2017/02/13 17:40:36:553: Loaded 'adf_avl_sms_manager' version '1.1.0008'
2017/02/13 17:40:36:554: Loading ADF plugin: 'avl_reports2'...
2017/02/13 17:40:36:555: core::load_library(adf_avl_reports_base)
2017/02/13 17:40:36:558: Loaded 'adf_avl_reports_base' version '3.2.0289'
2017/02/13 17:40:36:560: core::load_library(adf_avl_reports_calc)
2017/02/13 17:40:36:564: Loaded 'adf_avl_reports_calc' version '1.2.0106'
2017/02/13 17:40:36:564: core::load_library(adf_avl_reports_ext)
2017/02/13 17:40:36:566: Loaded 'adf_avl_reports_ext' version '1.0.0042'
2017/02/13 17:40:36:568: Loading ADF plugin: 'storage_server'...
2017/02/13 17:40:36:568: core::load_library(adf_storage)
2017/02/13 17:40:36:568: storage_service::initialize(/var/lib/wialonb3/storage)
2017/02/13 17:40:36:569: storage_service::open_environment: initializing properties environment (cache: size: 16 MB, chunks: 1)...
2017/02/13 17:40:36:569: storage_service::open_environment: preloading databases...
2017/02/13 17:40:36:571: storage_service::open_environment: opening database environment...
2017/02/13 17:40:36:628: storage_service::open_environment: opening databases...
2017/02/13 17:40:36:628: storage_messages_env::open_environment: opening database environment (cache: size: 64 MB, chunks: 1)...
2017/02/13 17:40:36:705: storage_messages_env::open_environment: opening databases...
2017/02/13 17:40:36:705: storage_messages_env::open_environment: registered v2 1 database: left: 0, right: 0, count: 44209293, new-count: 22293
2017/02/13 17:40:36:705: storage_messages_env::open_environment: registered v2 2 database: left: 0, right: 0, count: 13695361, new-count: 12662
2017/02/13 17:40:36:705: storage_messages_env::open_environment: opened 2 databases with 57904654 messages and 34955 new messages, fragmentation level is 0%.
2017/02/13 17:40:36:705: storage_service::initialize: constructing service item...
2017/02/13 17:40:36:705: storage_service::initialize: next locid: 718
2017/02/13 17:40:36:706: storage_service::initialize: service object constructed (guid='4770d551f1a0409867a2eed41f79f022')
2017/02/13 17:40:36:706: storage_service::initialize: constructing other items with 4 threads...
2017/02/13 17:40:36:768: avl_server::init_prop_manager('bab9c0360ae394b489ac401f4088d57d')
2017/02/13 17:40:36:786: storage_service::initialize: initialized 622 objects in 80 ms
2017/02/13 17:40:36:787: storage_service::initialize: loading persistent items cache...
2017/02/13 17:40:36:787: storage_service::initialize: done loading persistent items cache of size 37.43 KB
2017/02/13 17:40:36:788: Loading ADF plugin: 'webgis'...
2017/02/13 17:40:36:788: Loading ADF plugin: 'webavl'...
2017/02/13 17:40:36:789: core::load_library(adf_avl_web)
2017/02/13 17:40:36:789: Loaded 'adf_avl_web' version '5.5.0104'
2017/02/13 17:40:36:795: Loading ADF plugin: 'avl_comm_server'...
2017/02/13 17:40:36:798: adf_avl_init_comm('local', '0:0', 1)
2017/02/13 17:40:36:798: adf_avl_scan_hw_dir('4770d551f1a0409867a2eed41f79f022')
2017/02/13 17:40:37:008: Loading ADF plugin: 'avl_base_setup'...
2017/02/13 17:40:37:009: Loading ADF plugin: 'wialon_i18n'...
2017/02/13 17:40:37:371: Loading ADF plugin: 'gis_avd_driver'...
2017/02/13 17:40:37:372: core::load_library(gis_avd_driver)
2017/02/13 17:40:37:372: Loaded 'gis_avd_driver' version '3.7.0086'
2017/02/13 17:40:37:373: avd_driver::open_tiles_cache 1
2017/02/13 17:40:39:710: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_houses.xml' with priority 30
2017/02/13 17:40:39:711: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_poi_cities.xml' with priority 60
2017/02/13 17:40:39:711: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_base.xml' with priority 1
2017/02/13 17:40:39:713: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_roads.xml' with priority 40
2017/02/13 17:40:39:715: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_poi.xml' with priority 70
2017/02/13 17:40:39:715: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_water.xml' with priority 20
2017/02/13 17:40:39:716: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_surface.xml' with priority 10
2017/02/13 17:40:39:716: Loaded layer '/var/lib/wialonb3/plugins/gis_avd_driver/render_config/layers/layer_borders.xml' with priority 30
2017/02/13 17:40:39:717: Loading ADF site: 'avl_admin'...
2017/02/13 17:40:39:718: http_service::create_server('avl_admin', '*', 8021)
2017/02/13 17:40:39:721: Loading ADF site: 'wialon_web'...
2017/02/13 17:40:39:878: http_service::create_server('wialon_web', '*', 8022)
2017/02/13 17:40:39:888: Loading ADF site: 'wialon_mobile'...
2017/02/13 17:40:39:889: http_service::create_server('wialon_mobile', '*', 8024)
2017/02/13 17:40:39:889: Loading ADF site: 'cms_manager'...
2017/02/13 17:40:39:907: http_service::create_server('cms_manager', '*', 8023)
2017/02/13 17:40:39:915: ADF service started(PID=3787).
2017/02/13 17:40:41:852: http_service::create_server('mtds300-hw_start.tcl', '*', 20148)
2017/02/13 17:40:42:002: http_service::create_server('trakkcor-hw_start.tcl', '*', 20155)
2017/02/13 17:40:42:171: http_service::create_server('tss-hw_start.tcl', '*', 20251)
2017/02/13 17:40:42:543: http_service::create_server('mt_4-hw_start.tcl', '*', 20271)
2017/02/13 17:40:42:575: script error in '/var/lib/wialonb3/custom/hw/arnavi/init.tcl': invalid command name "avl_init_hw_commands"
2017/02/13 17:40:42:690: storage_service::bg_jobs_thread: trickling db: 60% clean pages left, total pages: 710
2017/02/13 17:40:49:231: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): started
2017/02/13 17:41:38:163: storage_service::bg_jobs_thread: last minute read 3 messages in 3 request with average 1 messages per request
2017/02/13 17:41:49:081: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 77 messages

2017/02/13 17:42:33:516: storage_messages_env::bg_job: trickling db: 69% clean pages left, total pages: 120
2017/02/13 17:42:43:596: storage_service::bg_jobs_thread: last minute read 4 messages in 4 request with average 1 messages per request
2017/02/13 17:42:49:015: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 64 messages
2017/02/13 17:43:45:065: storage_service::bg_jobs_thread: last minute read 23 messages in 23 request with average 1 messages per request
2017/02/13 17:43:49:062: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 88 messages

2017/02/13 17:43:56:206: email_msg::send_impl('noreply@noreply.com', 'Скорость (р888хк)' => '******17@yandex.ru')
2017/02/13 17:43:56:207: email_msg::send_impl('******17@yandex.ru'): using 'localhost' server
2017/02/13 17:44:25:263: storage_messages_env::bg_job: trickling db: 69% clean pages left, total pages: 139
2017/02/13 17:44:49:022: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 112 messages
2017/02/13 17:44:50:437: storage_service::bg_jobs_thread: last minute read 7 messages in 7 request with average 1 messages per request
)
2017/02/13 17:44:58:092: email_service::create_email('noreply@noreply.com', 'Скорость (О888РК)')

2017/02/13 17:44:58:124: email_msg::send_impl('noreply@noreply.com', 'Скорость (О888РК)' => '******17@yandex.ru')
2017/02/13 17:44:58:124: email_msg::send_impl('******17@yandex.ru'): using 'localhost' server
2017/02/13 17:45:49:094: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 108 messages
2017/02/13 17:45:55:929: storage_service::bg_jobs_thread: last minute read 10 messages in 10 request with average 1 messages per request
2017/02/13 17:46:00:970: storage_messages_env::bg_job: trickling db: 69% clean pages left, total pages: 157
2017/02/13 17:46:37:247: email_msg::send_impl('noreply@noreply.com', 'Скорость (р888хк)' => '******17@yandex.ru')
2017/02/13 17:46:37:247: email_msg::send_impl('******17@yandex.ru'): using 'localhost' server
2017/02/13 17:46:49:015: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 69 messages
2017/02/13 17:46:56:308: storage_service::bg_jobs_thread: last minute read 1766 messages in 6 request with average 294 messages per request
2017/02/13 17:47:49:041: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): previous minute intensivity was 72 messages

0
16Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

В начале  поста, вы сами написали, что удаление сообщений происходит  ночью и это верно, так  что надо лишь подождать.
За прошлые сутки в логах есть данные? Например  в trace.log.1

Евгений
WDC Administrator
Gurtam

0
17Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Вчера было , ведь база "похудела" на 7 гигов, значит выборочно удаленные были данные

+ открыть спойлер

2017/02/12 04:05:07:700: avl_server::bg_job: Checking history messages for 94 units
2017/02/12 04:05:07:853: avl_server::bg_job: Deleting 5083 messages for unit 'O252YA'
2017/02/12 04:05:08:050: avl_server::bg_job: Deleting 2165 messages for unit 'Рў888РљРћ'
2017/02/12 04:05:08:156: avl_server::bg_job: Deleting 477 messages for unit 'Mercedes'
2017/02/12 04:05:08:173: avl_server::bg_job: Deleting 1428 messages for unit 'Рѕ888СЂСЃ'
2017/02/12 04:05:08:210: avl_server::bg_job: Deleting 793 messages for unit 'A119OP'
2017/02/12 04:05:09:504: avl_server::bg_job: Deleting 461174 messages for unit 'РЎ888РќРќ'
2017/02/12 04:05:10:584: storage_messages_cache::msgs_thread('4770d551f1a0409867a2eed41f79f022'): started
2017/02/12 04:05:36:116: avl_server::bg_job: Deleting 327374 messages for unit 'Р’888РћРЈ'
2017/02/12 04:05:51:714: avl_server::bg_job: Skipping history messages check for later, current unit index 10 of 94
2017/02/12 04:05:51:714: avl_server::bg_job: Deleted 798494 unit message

0
18Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Сегодня продолжится

2017/02/12 04:05:51:714: avl_server::bg_job: Skipping history messages check for later, current unit index 10 of 94

По каким то причинам удалило лишь по  первым 10 из 94 объектов.

Евгений
WDC Administrator
Gurtam

xpomuk

+1
19Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

gaev пишет:

Сегодня продолжится

2017/02/12 04:05:51:714: avl_server::bg_job: Skipping history messages check for later, current unit index 10 of 94

По каким то причинам удалило лишь по  первым 10 из 94 объектов.

Как продолжить удаление? посмотрим что будет завтра ...

0
20Ответ от xpomuk

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • xpomuk
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 05/10/2016
  • Сообщений: 11
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

По каким то причинам удалило лишь по  первым 10 из 94 объектов.

С утра пришел картина не изменилась за ночь
Опять скопировал конфиг и перезапустил сервис, через 5 минут все готово база последних 365 :-)
По какой причине с 1 раза это не работает остается загадкой....

0
21Ответ от gaev

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • gaev
  • gaev
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 17/08/2012
  • Сообщений: 329
  • Продукты: Wialon ProWialon Local
  • Карма: 123

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

xpomuk пишет:

По каким то причинам удалило лишь по  первым 10 из 94 объектов.

С утра пришел картина не изменилась за ночь
Опять скопировал конфиг и перезапустил сервис, через 5 минут все готово база последних 365 :-)
По какой причине с 1 раза это не работает остается загадкой....

А что в логах  про удаление в этот раз написало?

Евгений
WDC Administrator
Gurtam

0
22Ответ от PavlOFFF

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • PavlOFFF
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 22/02/2017
  • Сообщений: 8
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

Было бы хорошо, если бы была возможность удалять выборочно бд по годам

0
23Ответ от PavlOFFF

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • PavlOFFF
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 22/02/2017
  • Сообщений: 8
  • Карма: 0

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

А период сохранения сообщений, нужно изменять в config.cfg?

0
24Ответ от Diana

Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

  • Diana
  • Diana
  • Gurtam
  • Неактивен
  • Зарегистрирован: 08/10/2012
  • Сообщений: 1,470
  • Карма: 301

Re: Удаление старых данных с базы переменная - ADF_AVL_UNIT_HISTORY_PERIOD

PavlOFFF пишет:

А период сохранения сообщений, нужно изменять в config.cfg?

в ./custom/config.txt.  https://docs.wialon.com/ru/pro/1401/adm … bles/start

Diana Cheley
Wialon Hosting Expert
Gurtam

0