1

Апгрейд БД по сообщениям в v2

(26/07/2013 08:17:36 отредактировано psi-storm)

Тема: Апгрейд БД по сообщениям в v2

Не получается выполнить Апгрейд БД по сообщениям в v2 в соответствии с документацией: http://docs.gurtam.com/ru/pro/1106/admi … de/version

Для понимания вопроса (не смотрите на фрагментацию баз, это при миграции программа создала новые файлы db, а на момент миграции дефрагментация отключена) список файлов БД:

root@WialonB3:/var/lib/wialonb3/storage#
Файл: msgs_stats.txt    Строка 1 Позиция 0 2783 байт                                                                                                      100%
2013-07-26 09:13:20:

v1 database 12: fragmentation level: 0%, total messages: 1343935, new messages: 738
v1 database 13: fragmentation level: 0%, total messages: 1538243, new messages: 646
v1 database 14: fragmentation level: 0%, total messages: 1330717, new messages: 700
v1 database 15: fragmentation level: 0%, total messages: 1225214, new messages: 744
v1 database 16: fragmentation level: 0%, total messages: 1362822, new messages: 720
v1 database 17: fragmentation level: 0%, total messages: 1271781, new messages: 607
v1 database 18: fragmentation level: 0%, total messages: 1192884, new messages: 773
v1 database 19: fragmentation level: 0%, total messages: 1205590, new messages: 949
v1 database 20: fragmentation level: 0%, total messages: 1204863, new messages: 881
v1 database 21: fragmentation level: 4%, total messages: 6544413, new messages: 320753
v1 database 49: fragmentation level: 17%, total messages: 3150024, new messages: 537686
v1 database 72: fragmentation level: 1%, total messages: 22968041, new messages: 446084
v1 database 75: fragmentation level: 2%, total messages: 22923798, new messages: 469928
v1 database 80: fragmentation level: 1%, total messages: 9709538, new messages: 113590
v1 database 85: fragmentation level: 0%, total messages: 7105477, new messages: 41539
v1 database 89: fragmentation level: 245%, total messages: 96435071, new messages: 237051680
v2 database 1: fragmentation level: 100%, total messages: 200000000, new messages: 200000000
v2 database 90: fragmentation level: 7%, total messages: 47528676, new messages: 3382036
v2 database 91: fragmentation level: 32%, total messages: 21655137, new messages: 7076114
v2 database 92: fragmentation level: 102%, total messages: 20324432, new messages: 20904262
v2 database 93: fragmentation level: 160%, total messages: 16237128, new messages: 26073406
v2 database 94: fragmentation level: 124%, total messages: 18494032, new messages: 22946418
v2 database 95: fragmentation level: 100%, total messages: 21290497, new messages: 21290497
v2 database 96: fragmentation level: 100%, total messages: 20586083, new messages: 20586083
v2 database 97: fragmentation level: 100%, total messages: 21051424, new messages: 21051424
v2 database 98: fragmentation level: 100%, total messages: 21062573, new messages: 21062573
v2 database 99: fragmentation level: 100%, total messages: 21421131, new messages: 21421131
v2 database 100: fragmentation level: 100%, total messages: 20791870, new messages: 20791870
v2 database 101: fragmentation level: 100%, total messages: 20713688, new messages: 20713688
v2 database 102: fragmentation level: 100%, total messages: 16650829, new messages: 16650829

Total 30 databases with 668319911 messages and 682938349 new messages, fragmentation level is 102%.

При запуске скрипта миграции <URL-сайта-администратора>/migratev2.html сначала было все нормально, процесс шел.
А затем он остановился: Users - 80%, Units - 79%, Resources - 79%
Висел примерно несколько часов, решили остановить, на нажатие ссылки стоп не реагировал.
Затем сервис Виалон подвис, и после перезапуска скрипт миграции стартует странно, стартует только на момент запуска, и видимо потом останавливается.

Вот, что в trace.log:

2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('СПФ МТЗ 9502СР', 'dea01fda5f7ae2ef0d1e151da34be543', 1)
2013/07/26 08:59:37:921: Migrating 277 of 561 items: 'Мнацаканян Scania Т200МК' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('Мнацаканян Scania Т200МК', 'df11c39205d326bdf5c1a18521562323', 1)
2013/07/26 08:59:37:921: Migrating 278 of 562 items: 'СПФ МАЗ Х791МТ' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('СПФ МАЗ Х791МТ', 'df5487632e5ae591d894fd03760e6885', 1)
2013/07/26 08:59:37:922: Migrating 279 of 563 items: 'СПФ ВАЗ С595НА' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('СПФ ВАЗ С595НА', 'df8451d8efe599a1a8c60f9b8ba876b1', 1)
2013/07/26 08:59:37:922: Migrating 280 of 564 items: 'Вертикаль Камаз 902' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('Вертикаль Камаз 902', 'df9d2a2c0f6c7906fefca8d561562d44', 1)
2013/07/26 08:59:37:922: Migrating 281 of 565 items: 'kosoturov' of type 'avl_resource' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('kosoturov', 'e0296da30b9f249c5f8a1db26bef6b09', 1)
2013/07/26 08:59:37:922: Migrating 282 of 566 items: 'eLoc 20821' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('eLoc 20821', 'e0b4a049a409b9c7f58a7ac187698978', 1)
2013/07/26 08:59:37:922: Migrating 283 of 567 items: 'Навитех Хонда' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('Навитех Хонда', 'e0f427ca0f490fb9344333cd3b85e2d5', 1)
2013/07/26 08:59:37:922: Migrating 284 of 568 items: 'prom' of type 'avl_resource' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('prom', 'e196e63c72c368b4286ebb536b447227', 1)
2013/07/26 08:59:38:149: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242731
2013/07/26 08:59:38:393: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242610
2013/07/26 08:59:38:597: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:38:779: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243457
2013/07/26 08:59:38:918: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233740
2013/07/26 08:59:39:271: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:39:412: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242852
2013/07/26 08:59:39:575: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233619
2013/07/26 08:59:40:033: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:40:275: storage_messages_env::bg_job: trickling db: 83% clean pages left, total pages: 34993
2013/07/26 08:59:40:296: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242852
2013/07/26 08:59:40:513: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242731
2013/07/26 08:59:40:753: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242610
2013/07/26 08:59:40:950: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:41:002: adf_net_open_tcp_conn('212.23.75.129', 20311)
2013/07/26 08:59:41:014: adf_net_open_tcp_conn('212.23.75.129', 20321)
2013/07/26 08:59:41:028: adf_net_open_tcp_conn('212.23.75.129', 20328)
2013/07/26 08:59:41:044: adf_net_open_tcp_conn('212.23.75.129', 20325)
2013/07/26 08:59:41:118: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243457
2013/07/26 08:59:41:249: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233740
2013/07/26 08:59:41:565: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:41:812: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242973
2013/07/26 08:59:41:988: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233619

2

Апгрейд БД по сообщениям в v2

Re: Апгрейд БД по сообщениям в v2

Постоянно останавливается на миграции одного и того же списка данных:

2013/07/26 08:59:37:919: storage_msg_manager::migrate_messages('СПФ МТЗ 3572РЭ', 'dc2fd0572c2489b6643728be85075595', 1)
2013/07/26 08:59:37:920: Migrating 268 of 552 items: 'АТС ISUZU в083ро154 Белодед' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('АТС ISUZU в083ро154 Белодед', 'dcf81d2e56c890dabb1e1bf207fb4c17', 1)
2013/07/26 08:59:37:920: Migrating 269 of 553 items: 'СПК Екб МАЗ У006СО 96' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('СПК Екб МАЗ У006СО 96', 'dd2a57662f7fd9249d5d4483b8cd4ed0', 1)
2013/07/26 08:59:37:920: Migrating 270 of 554 items: 'Hyundai Н555РМ (Данилов)' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('Hyundai Н555РМ (Данилов)', 'dd32978bfe49d7c74072668df09fde4f', 1)
2013/07/26 08:59:37:920: Migrating 271 of 555 items: 'СПФ КАМАЗ В303УК' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('СПФ КАМАЗ В303УК', 'dd688f2aeca6cf2f99cf5ef45bbe6adc', 1)
2013/07/26 08:59:37:920: Migrating 272 of 556 items: 'СПК Сургут Iveco К986УР 86' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('СПК Сургут Iveco К986УР 86', 'dd76421aaa2486cf741b912694ba15a3', 1)
2013/07/26 08:59:37:920: Migrating 273 of 557 items: 'с674хн М09' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:920: storage_msg_manager::migrate_messages('с674хн М09', 'dd95fa29c9676d6a777586df580dd1a6', 1)
2013/07/26 08:59:37:921: Migrating 274 of 558 items: 'СПК Сургут Scania А737ХО 86' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('СПК Сургут Scania А737ХО 86', 'ddfd457972201203a9827aec667e5ece', 1)
2013/07/26 08:59:37:921: Migrating 275 of 559 items: 'Автоальянс Экскаватор JCB 0009СА' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('Автоальянс Экскаватор JCB 0009СА', 'de60b7520020206b5602d731cfbe0ffd', 1)
2013/07/26 08:59:37:921: Migrating 276 of 560 items: 'СПФ МТЗ 9502СР' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('СПФ МТЗ 9502СР', 'dea01fda5f7ae2ef0d1e151da34be543', 1)
2013/07/26 08:59:37:921: Migrating 277 of 561 items: 'Мнацаканян Scania Т200МК' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('Мнацаканян Scania Т200МК', 'df11c39205d326bdf5c1a18521562323', 1)
2013/07/26 08:59:37:921: Migrating 278 of 562 items: 'СПФ МАЗ Х791МТ' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:921: storage_msg_manager::migrate_messages('СПФ МАЗ Х791МТ', 'df5487632e5ae591d894fd03760e6885', 1)
2013/07/26 08:59:37:922: Migrating 279 of 563 items: 'СПФ ВАЗ С595НА' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('СПФ ВАЗ С595НА', 'df8451d8efe599a1a8c60f9b8ba876b1', 1)
2013/07/26 08:59:37:922: Migrating 280 of 564 items: 'Вертикаль Камаз 902' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('Вертикаль Камаз 902', 'df9d2a2c0f6c7906fefca8d561562d44', 1)
2013/07/26 08:59:37:922: Migrating 281 of 565 items: 'kosoturov' of type 'avl_resource' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('kosoturov', 'e0296da30b9f249c5f8a1db26bef6b09', 1)
2013/07/26 08:59:37:922: Migrating 282 of 566 items: 'eLoc 20821' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('eLoc 20821', 'e0b4a049a409b9c7f58a7ac187698978', 1)
2013/07/26 08:59:37:922: Migrating 283 of 567 items: 'Навитех Хонда' of type 'avl_unit' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('Навитех Хонда', 'e0f427ca0f490fb9344333cd3b85e2d5', 1)
2013/07/26 08:59:37:922: Migrating 284 of 568 items: 'prom' of type 'avl_resource' to storage v2...
2013/07/26 08:59:37:922: storage_msg_manager::migrate_messages('prom', 'e196e63c72c368b4286ebb536b447227', 1)

Добавлено спустя   8 минут  27 секунд:
БД проблемная, при попытке записи в БД  в некоторые файлы пишет в логи:

2013/07/26 08:59:38:393: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242610
2013/07/26 08:59:38:597: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:38:779: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243457
2013/07/26 08:59:38:918: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233740
2013/07/26 08:59:39:271: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:39:412: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242852
2013/07/26 08:59:39:575: storage_messages_env::register_batch_messages(149): error fetching database for time 1354233619
2013/07/26 08:59:40:033: storage_messages_env::register_batch_messages(149): error fetching database for time 1354243336
2013/07/26 08:59:40:275: storage_messages_env::bg_job: trickling db: 83% clean pages left, total pages: 34993
2013/07/26 08:59:40:296: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242852
2013/07/26 08:59:40:513: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242731
2013/07/26 08:59:40:753: storage_messages_env::register_batch_messages(149): error fetching database for time 1354242610

Это снижает быстродействие работы системы в целом. Верификацию делали, ошибок нет.
В ТП подкинули идею, что может быть связано с версией1, в которой хранятся данные (сейчас установлен 1106)

Проверили скриптом, почему то показал, что примерно 30% уже работают в v2, ну мы и запустили миграцию...
Действительно помогло, когда данные не пишутся в БД v1, ошибки не идут, и все нормально со скоростью работы.
Но сейчас не получается нормально завершить миграцию, подскажите, как можно решить проблему.

3

Апгрейд БД по сообщениям в v2

Re: Апгрейд БД по сообщениям в v2

psi-storm, надо в ТП передать все inf файлы v1. Где-то там не покрыт time range за 1354242610.

At the dark side of telematics...
4

Апгрейд БД по сообщениям в v2

Re: Апгрейд БД по сообщениям в v2

shal пишет:

psi-storm, надо в ТП передать все inf файлы v1. Где-то там не покрыт time range за 1354242610.

Выслал.