Компиляция с перекрестными ссылками для 2012 R2

[trud]

Вопрос - а кто-нибудь запускал компиляцию с перекрестными ссылками на 2012 R2 при условии что АОС и SQL - это разные машины?
я вот тут запустил и уже 3 дня она идет.
Лог активности SQL показывает примерно 400 запросов в секунду, т.е. процесс явно движется, но медленно, вот хочу понять это глюки конкретного окружения или у всех так

[Vadik]

Цитата:

Сообщение от trud

Вопрос - а кто-нибудь запускал компиляцию с перекрестными ссылками на 2012 R2 при условии что АОС и SQL - это разные машины?
я вот тут запустил и уже 3 дня она идет.
Лог активности SQL показывает примерно 400 запросов в секунду, т.е. процесс явно движется, но медленно, вот хочу понять это глюки конкретного окружения или у всех так

У нас это две отдельные задачи:
- компиляция еженощно (в среднем 3.5 часа)
- перекрестные ссылки раз в неделю (в среднем 4.5 часа)

AOS и SQL - виртуалки (не уверен на одном ли они физическом хосте или на разных), одновеменно идет компиляция на двух инстансах, на сиквеле устовшаяся нагрузка в районе 2.5-3K batch requests/sec. По идее, компиляция с перекрестными ссылками должна была бы занимать часов 8 (3.5 + 4.5). Могу попробовать, если интересно

P.S. поэкспериментируйте с автообновлением статистики - я в последнее время везде отключаю

[trud]

Цитата:

Сообщение от Vadik

По идее, компиляция с перекрестными ссылками должна была бы занимать часов 8 (3.5 + 4.5). Могу попробовать, если интересно

Да, интересно. если не трудно, запустите на АОТ с включенной галочкой перекрестные ссылки

А версия у вас именно 6.2.158? Диски под бд обычные или SSD?

[Vadik]

Цитата:

Сообщение от trud

Да, интересно. если не трудно, запустите на АОТ с включенной галочкой перекрестные ссылки

Поменял на <CompileApplication crossReference="yes" /> - ночью отработает, завтра отпишу

Цитата:

А версия у вас именно 6.2.158?

да

Цитата:

Диски под бд обычные или SSD?

Там SAN, диски обычные, механика. В принципе дисковая у нас на этих инстансах никогда узким местом не была, так что не должно быть критично, но помониторьте average sec / transfer, особенно для массива с transaction log

P.S. Да, еще вспомнил - у нас домен параноики администрируют, долго бодался чтобы отключить On access сканирование антивирусом - сильно мешает, особенно при обновлении CIL

[Vadik]

Цитата:

Сообщение от Vadik

Поменял на <CompileApplication crossReference="yes" /> - ночью отработает, завтра отпишу

Отработало за 4 часа 6 минут

[mazzy]

Цитата:

Сообщение от trud

Вопрос - а кто-нибудь запускал компиляцию

компиляция в CIL генерит огромное количество мелких файлов в каталоге %server%\bin\XppIL
скорее всего, тормозит именно с этим.

нужно обязательно сделать отдельно компиляцию, отдельно компиляцию в CIL
и уже потом можно со спокойной совестью запускать компиляцию с перекрестными ссылками.

у меня на ноутбуке - около 8 часов. за ночь успевает.

[Maximin]

Нашел очень интересную kb:
2844240 - Last Review: May 9, 2013
You experience slow performance when you run the X++ compilation in Microsoft Dynamics AX 2012 R2

When you run the X++ compilation in Microsoft Dynamics AX 2012 R2, you experience slow performance.

This problem occurs because the SQL Query Optimizer might not calculate the optimal query path for one of the frequent queries against the ModelSecurityPermission model store table. This happens because of an added Primary Key for this table in Microsoft Dynamics AX 2012 R2 and when it happens, it a causes a significant performance penalty.

Чего делать с этим - сами догадаетесь, ибо выкладывать hotfix - MS обидится.
Пролетало и на форуме: axtools: AX2012 R2 hotfix available to improve compile speed

[Ivanhoe]

Я думаю, MS не обидится, если вы номер KB выложите

[gl00mie]

Цитата:

Сообщение от Maximin

Нашел очень интересную kb2844240: You experience slow performance when you run the X++ compilation in Microsoft Dynamics AX 2012 R2
Чего делать с этим - сами догадаетесь, ибо выкладывать hotfix - MS обидится.

Хотфиксы ныне - в открытом доступе, так что дополнительно ничего выкладывать не надо.

[Maximin]

Кстати, да - только если пользоваться этой прямой ссылкой на получение.
Так даже можно получить KB2854933 с последним билдом 2009й, статьи KB на который вообще не существует.

[Dreadlock]

Тоже столкнулся с подобной проблемой, построение перекрестных ссылок длилось неделю. Нашел статью, сделал как описано. Перестроились за 6ть часов.

[mazzy]

Цитата:

Сообщение от Dreadlock

Нашел статью, сделал как описано. Перестроились за 6ть часов.

поскольку сайты пропадают, выложу здесь:

если одновременно установить галочки "Удалить все" и "Обновить все", то ax2012 входить в бесконечный цикл

в ax2012 нужно генерить в два захода:
1. сначала удалить перекресные ссылки
2. после того как удаление завершится, запустить обновление перекрестных ссылок

[mazzy]

столкнулся с аналогичным случаем на проекте.
уж не знаю насколько прав Palle Agermarks в своей статье.
насколько я понимаю, все сложнее и проще одновременно.

в ax2012 генерацию перекрестных ссылок сделали пакетным заданием.
см. xRefUpdateIL::updateAllXref()

что с одной стороны, правильно.
с другой стороны - предупреждать надо.

соответственно, чтобы перекрестные ссылки строились, вам нужно разрешить выполнение пакетного сервера на правильном АОСе и разобраться с задачами в статусе execution

АОС часто не включен, если вы перетаскиваете базу из рабочей в тест или в прод
АОС часто странно настроен, если вы берете за основу демобазу
в демобазе в задачах вааще караул - какие-то задания и задачи зависли, какие-то странные тестовые.

В общем, чтобы получить перекрестные ссылки в ax2012 нужно разгрести пакетные задания и запустить пакетный сервер.

[Raven Melancholic]

Цитата:

Сообщение от mazzy

если одновременно установить галочки "Удалить все" и "Обновить все", то ax2012 входить в бесконечный цикл.

Скорее всего, беда в чем-то другом. Мы перестраиваем перекрестные ссылки всегда с обоими включенными флагами. Билд 6.3.6000.8149
Вот с флагом "Выбрано" у нас как-то не сложилось - с ним ни разу не удалось закончить.
Ну и с пакетным сервером после обновления DEV с PROD тоже постоянно забываем - после обновления запускаем перекрестные ссылки и пытаемся понять, почему они не перестраиваются, а только удаляются.

[Dreadlock]

Внесу еще 5 копеек в эту тему.

Обычно, разработка ведется на одном слое. В моём случае это CUS слой.
Можно сделать проект:


Потом применить перекрестные ссылки к компиляции:


Скомпелировать проект и, через пол часа получить перекрестные ссылки по всем изменениям в CUS слое.

Только нужно не забыть выключить генерацию перекрестных ссылок после этого. Иначе, каждая компиляция будет длиться немного дольше обычного.

[Logger]

А можно еще фильтровать по дате времени изменения за последние 1-2 дня (с момента последнего инкрементного сбора) тогда проект совсем маленький будет и все за 15 минут пересоберется.

Но есть нюанс.
В методе
\Classes\SysProjectFilterRunBase\run
надо добавить такое изменение:

...
    while (queryRun.next())
    {
        try
        {
            sysModelElement = queryRun.get(tableNum(SysModelElement)) as SysModelElement;
            sysModelElementData = queryRun.get(tableNum(SysModelElementData)) as SysModelElementData;

            // PKoz 31.10.2019 -->
            if (sysModelElement.RootModelElement == sysModelElement.RecId &&
                sysModelElement.ElementType      == 11 // form
               )
            {
                // почему-то ядро при сборе перекрестных ссылок (и возможно при глобальной компиляции - но это надо проверить)
                // обновляет для формочек свойство modifiedDateTime текущими значениями
                // а в modifiedBy похоже переносит значение из createdBy
                // из-за этого при попытке отфильтровать  созданные измененные объекты AOT
                // за период времени - в проект набивается куча левых форм
                // У этого исправления могут быть побочные эффекты если пытаемся отфильтровать именно формы с фильтром по elementType == Form
                // но этот способ все равно неправильный, нужно фильтровать по узлам формочек, перечисляя все их типы, так как в свойствах формы все равно
                // в полях
                // createdBy/modifiedby/createdDatetime/modifiedDatetime
                // лежит лажа и на нее закладываться нельзя
                // проще просто не ставить фильтр по типу объекта (отборка идет быстро)
                // а затем выкинуть из проекта лишние узлы, которые нас не интересовали
                continue;
            }
            // PKoz 31.10.2019 <--
...

[sukhanchik]

Цитата:

Сообщение от Dreadlock

Обычно, разработка ведется на одном слое

Тут требуется уточнение. Разработка действительно обычно ведется в одном слое. Но вот перекрестные ссылки по слою представляют собой ценность только, если работа ведется с объектами исключительно из этого слоя.
Я любил в 3.0 строить перекрестные ссылки по слою, уходя на обед.
Но вот если работа ведется и со стандартным функционалом - то такой вариант будет недостаточен.
Например, Вы внесли изменения в код приема сотрудника на работу, но чтобы посмотреть, в скольких еще местах вызывается этот код - нужны полные ссылки.

[Logger]

Цитата:

Сообщение от Logger

А можно еще фильтровать по дате времени изменения

или датевремени создания.
Так надежнее

[Dreadlock]

Цитата:

Сообщение от sukhanchik

Тут требуется уточнение. Разработка действительно обычно ведется в одном слое. Но вот перекрестные ссылки по слою представляют собой ценность только, если работа ведется с объектами исключительно из этого слоя.
Я любил в 3.0 строить перекрестные ссылки по слою, уходя на обед.
Но вот если работа ведется и со стандартным функционалом - то такой вариант будет недостаточен.
Например, Вы внесли изменения в код приема сотрудника на работу, но чтобы посмотреть, в скольких еще местах вызывается этот код - нужны полные ссылки.

100% с вами согласен. Но, чтобы сэкономить время, можно один раз собрать все ссылки а уже после, можно применять вышеописанный мной подход.

[sukhanchik]

Цитата:

Сообщение от Dreadlock

100% с вами согласен. Но, чтобы сэкономить время, можно один раз собрать все ссылки а уже после, можно применять вышеописанный мной подход.

Согласен. А с побочными эффектами не сталкивались? Т.е. с ситуацией, когда:
1. Объект удален / переименован, а информация о нем еще жива в ссылках? Это лечится только удалением, но галка Удалить все удаляет все записи в таблицах
2. Когда делается обновление ссылок без предварительного удаления, то данные двоятся - троятся и т.д. по количеству запусков перестроения ссылок. У меня такое было в 3.0, 4.0, 2009. В 2012 я уже не экспериментировал с этим и сразу удалял ссылки.