1Тема от tematema

Проблемы с дефрагментацией

  • tematema
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 06/02/2020
  • Сообщений: 6
  • Карма: 0

Тема: Проблемы с дефрагментацией

Здравствуйте все!, Пришлось начать разбираться в механизмах работы сервисов Wialon local.
После неприятной истории с дисковым хранилищем восстановил базы из резервной копии.
Все успешно на первый взгляд запустилось, фрагментация файлов 8, 16, 100, 100,100, 100, 109, 79,100 %,  размер 54, 52, 51, 57, 46, 41, 30, 24, 11 Gb соответственно(всего 9 файлов). Общая фрагментация 39%

Всего около 70 объектов, данные нужны за три года, пока работает около двух лет.

Конфигурация виртуальной машины:

8 vCPU (суммарно 20,7GHz)
32 Gb mem
1,8 Tb HDD (БД 399 Gb. свободно 77%)

Внезапно полетели письма с ошибкой выделения памяти. Потребление памяти RAM Wialon Local выросло с <1 Gb до 24,3 Gb.

Загрузка диска 150Mbps(read) 120Mbps(write) 100%

Загрузка процессора 22%

Сервер остановил удалил msg.db.new, перезапустил, естественно дефрагментация запустилась по новой, файл msg.db.new быстро вырос до 40,5 Гб, потом скорость роста этого файла упала примерно до 2-4 Мб в час.

Как ускорить дефрагментацию? Дело в том, что фрагментация с момента восстановления базы выросла с 26 до 40 процентов.

Похоже что тут я без подсказки не разберусь.

0
2Ответ от Aliv

Проблемы с дефрагментацией

  • Aliv
  • Gurtam Partner
  • Неактивен
  • Откуда: Российская Федерация
  • Зарегистрирован: 09/12/2011
  • Сообщений: 869
  • Продукты: Wialon Local
  • Карма: 278

Re: Проблемы с дефрагментацией

Ресурсы виртуальной машины выделяются статически?

Александр Иванов,
Интегратор систем GPS/ГЛОНАСС мониторинга

Сайт Aliv

0
3Ответ от duig

Проблемы с дефрагментацией

  • duig
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 09/08/2010
  • Сообщений: 674
  • Карма: 132

Re: Проблемы с дефрагментацией

tematema
Добрый день.

Внезапно полетели письма с ошибкой выделения памяти.

Здесь надо подробнее анализировать, что приводит к таким ситуациям, как часто они появляются, содержимое автоматического письма.

дефрагментация запустилась по новой

Она завершилась для некоторых файлов? Есть ли ошибки в trace.log, или другие записи по данной процедуре?

Мы не в курсе всей ситуации и выполненных действий. Возможно, часть проблем вызвана каким-то аспектами в использовании виртуальной машины. Еще есть смысл проверить при остановленном Wialon валидность файлов БД. Вы еще не связывались с технической поддержкой? Рекомендуем обратиться, написав для начала на support@gurtam.com

Developer
Gurtam

tematema

+1
4Ответ от tematema

Проблемы с дефрагментацией

  • tematema
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 06/02/2020
  • Сообщений: 6
  • Карма: 0

Re: Проблемы с дефрагментацией

В целом да, все не хорошо. Проверил на клоне базы, в третьей и  седьмой ошибки.

incorrect next_pgno found in leaf chain
incorrect prev_pgno found in leaf chain

по три штуки на файл.

Запустил db_dump | db_load, как раз после 40,5 Гб перестал писать в файл, в консоль сыпет что-то про dublicate data items are not supported with sorted data

В связи с этим вопросы опытным.
1. Файлы базы зависят друг от друга?
2. Какой процент данных я потерял? Весь файл, все что после ошибки или некоторый кусок и в конце тоже что-то останется? Там еще 10 Гб должно где то было  быть.
3. Wialon пишет в эти файлы во все сразу рандомом или добавляет в последний?
4. Процедура db_dump | db_load длится уже больше 2 часов, конца не видно. Это в принципе может не завершиться?

На данный момент сервер работает, отчеты собираются, статусы ставятся.

С поддержкой все сложно, Wialon часть продукта интегратора, с продлением договора сложности "а ля гос закупки", будет ли мне помогать Gurtam? Сомневаюсь, с ними тоже ни каких договоров мы не заключали совсем.

duig, спасибо, теперь есть хоть какая-то определенность.

0
5Ответ от duig

Проблемы с дефрагментацией

  • duig
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 09/08/2010
  • Сообщений: 674
  • Карма: 132

Re: Проблемы с дефрагментацией

tematema
.db-файлы в ../storage/md не существуют отдельно сами по себе, принцип записи новых сообщений тоже есть. Но это всё внутренние алгоритмы Wialon DB.

Утилиты db_dump и db_load рекомендовались еще давно и для базы данных в Wialon Pro.

У нас есть инструмент для восстановления сообщений, который выдаст подробный результат. Подробности по его использованию могут быть предоставлены только после обращения в техподдержку.

Developer
Gurtam

0
6Ответ от tematema

Проблемы с дефрагментацией

  • tematema
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 06/02/2020
  • Сообщений: 6
  • Карма: 0

Re: Проблемы с дефрагментацией

duig пишет:

У нас есть инструмент для восстановления сообщений, который выдаст подробный результат. Подробности по его использованию могут быть предоставлены только после обращения в техподдержку.

Я попробую написать в поддержку.

0
7Ответ от tdt66

Проблемы с дефрагментацией

  • tdt66
  • Gurtam Partner
  • Неактивен
  • Откуда: Свердловская область
  • Зарегистрирован: 10/12/2011
  • Сообщений: 301
  • Карма: 26

Re: Проблемы с дефрагментацией

tematema пишет:

Запустил db_dump | db_load, как раз после 40,5 Гб перестал писать в файл, в консоль сыпет что-то про dublicate data items are not supported with sorted data

это что за команды ? типа принудительный дамп ??

подпись сломали .. впрочем не удивительно

Сайт tdt66

0
8Ответ от tematema

Проблемы с дефрагментацией

  • tematema
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 06/02/2020
  • Сообщений: 6
  • Карма: 0

Re: Проблемы с дефрагментацией

tdt66 пишет:
tematema пишет:

Запустил db_dump | db_load, как раз после 40,5 Гб перестал писать в файл, в консоль сыпет что-то про dublicate data items are not supported with sorted data

это что за команды ? типа принудительный дамп ??

Типа да. db_dump | db_load в таком виде ругается на дубликаты, полученные дампы меньше оригиналов (пишет только до первой ошибки), db_dump -R ругается на Loop detected, полученные дампы больше оригинала в полтора - два  раза. При замене исходного файла полученными дампами adf ругается на битую базу, хотя формально полученные куски db_verify проверку на целостность проходят успешно. db_recover не работает из-за нестандартной структуры базы.

Пробую отсоединить лог-файлы, хотя как это конкретно с базой wialon Local пройдет без понятия, буду с ключами шаманить, и еще раз поиграть с дампами.

Подскажите роль DB_CONFIG у базы Wialon Local какой файл играет? Или в данной реализации эту роль упразднили? И как правильно информацию из файлов в папках ml и pl перенести в основную базу?

0
9Ответ от duig

Проблемы с дефрагментацией

  • duig
  • Wialon fan club
  • Неактивен
  • Зарегистрирован: 09/08/2010
  • Сообщений: 674
  • Карма: 132

Re: Проблемы с дефрагментацией

tematema
Подробнее о развитии БД в продуктах Wialon почитайте в блоге https://gurtam.com/ru/blog/wialon-database

Есть только один правильный путь решения этого вопроса - через техническую поддержку.
При этом, в случае если Local приобретался у партнера - обратиться сразу к нему.

Developer
Gurtam

0
10Ответ от tdt66

Проблемы с дефрагментацией

(19/02/2020 19:34:37 отредактировано tdt66)
  • tdt66
  • Gurtam Partner
  • Неактивен
  • Откуда: Свердловская область
  • Зарегистрирован: 10/12/2011
  • Сообщений: 301
  • Карма: 26

Re: Проблемы с дефрагментацией

duig пишет:

tematema
Подробнее о развитии БД в продуктах Wialon почитайте в блоге https://gurtam.com/ru/blog/wialon-database

Есть только один правильный путь решения этого вопроса - через техническую поддержку.
При этом, в случае если Local приобретался у партнера - обратиться сразу к нему.

про партнеров шутка зашла )) особенно слово "сразу" ..

подпись сломали .. впрочем не удивительно

Сайт tdt66

0