Есть простое решение для выгрузки из dynamics 365 for operations в SQL?

[lvan]

через odata, например, или ещё как-нибудь?
или самому писать надо

[Vadik]

Можно посмотреть на SSIS компоненты от KingswaySoft (они для разработчика бесплатны)

[trud]

Стандарт вроде позволяет выгружать ентити в BYOD(которая SQL Azure)

[Vadik]

Я подразумеваю что вариант с BYOD был рассмотрен и в силу разных причин не подошел

[fed]

Цитата:

Сообщение от Vadik

Можно посмотреть на SSIS компоненты от KingswaySoft (они для разработчика бесплатны)

А не знаешь, как их компонента с D365FO взаимодействует ? ODATA или у них там какой-то свой Web-service, который по запросу данные читает/пишет ? (Просто как-то у меня ODATA оставила впечатление изрядной неустойчивости - как и все остальные произведения Сунила).
P.S. отвечу сам себе - ODATA...

[Vadik]

Через OData, так что все Public data entities доступны из коробки. Из интересного, у них реализованы UPSERT-ы и мультиплексирование на запись, я такого не видел у продуктов с энтерпрайзовым позиционированием вроде Informatica, Talend и Dell Boomi. Про data package API спрашивал, поддерживать вроде не собираются

[trud]

Там же Сунил грозился ввести ограничение на кол-во обращений к ODATA. т.е. выше какого-то предела будут возвращаться ошибки

[Vadik]

Цитата:

Сообщение от trud

Там же Сунил грозился ввести ограничение на кол-во обращений к ODATA. т.е. выше какого-то предела будут возвращаться ошибки

Сунил очень много на себя брал в последнее время, боюсь как бы не надорвался

[fed]

Цитата:

Сообщение от Vadik

Сунил очень много на себя брал в последнее время, боюсь как бы не надорвался

Сунила в январе повысили, судя по linkedIn, до Principal Group Program Manager и, судя по его последним активностям в яммере, поставили на ядро и batch server. Пугает это изрядно.

[lvan]

в сторону BYOD смотрел (кто-нибудь использует, сколько это будет стоить*?), но думал, может кто-то уже сделал для локального SQL сервера tool

[skuull]

BYOD и в локальный может, там только проблема в том что его надо открыть для всего датацентра или извращения типа этого https://calafell.me/static-ip-not-gu...nd-operations/

[lvan]

ещё смущает вот это ограничение насчет блокировок, кто-нибудь может прокомментировать?
если я хочу раз в минуту синхронизировать Incremental и при этом читать тоже раз в минуту, это будет работать? или возникнут проблемы с блокировками?

https://docs.microsoft.com/en-us/dyn...ynchronization

[AndyD]

Цитата:

Сообщение от lvan

ещё смущает вот это ограничение насчет блокировок, кто-нибудь может прокомментировать?
если я хочу раз в минуту синхронизировать Incremental и при этом читать тоже раз в минуту, это будет работать? или возникнут проблемы с блокировками?

https://docs.microsoft.com/en-us/dyn...ynchronization

Извиняюсь за несколько поздний ответ)

В данном случае, никаких ограничений по блокировкам нет
Просто акцентируется, что надо аккуратно с ними работать из внешних, по отношению к аксапте, средств

Не использовать блокирующего чтения, например
Использовать короткие транзакции, если блокировки накладываются (например, устанавливаете флаг чтения записей)
Не блокируйте для записи объекты целиком
и т.п.

[lvan]

А с AWS он будет работать никто не в курсе? там нет искуственного ограничения, что только в Azure можно?

[lvan]

узнал, что может с любым Native SQL работает
возникает другой вопрос - как файрвол настроить, чтобы D365 смог данные писать в базу, у нее IP адрес небось меняется? или нет?
есть какой-то способ узнать, какие IP могут быть?

[skuull]

Я же выше привел ссылку про это...

[vmoskalenko]

Есть еще вариант вместо BYOD SQL экспортировать в Azure Data Lake.
И это будет полноценной заменой BYOD и дешевле.
И скоро должны добавиться не только Data Entity но и обычные таблицы.

[trud]

А в чем преимущество Data Lake? Я тут был просто на презентации, технически мне показалось что это просто выглядит как выгрузка данных в CSV файлы в папке. Т.е. на первый взгляд это как-бы большой шаг назад по сравнению с хранением данных в БД(к примеру нет типизации, индексов, неудобный доступ и прочее). По поводу стоимости - если так уж стоит вопрос стоимости, может стоит рассмотреть бесплатные БД типа PosgreSQL. Но почему-то все так ждут этого?

[skuull]

Цитата:

Сообщение от vmoskalenko

Есть еще вариант вместо BYOD SQL экспортировать в Azure Data Lake.
И это будет полноценной заменой BYOD и дешевле.
И скоро должны добавиться не только Data Entity но и обычные таблицы.

Уже можно выгружать Data Entity?

[vmoskalenko]

Цитата:

Сообщение от trud

А в чем преимущество Data Lake? Я тут был просто на презентации, технически мне показалось что это просто выглядит как выгрузка данных в CSV файлы в папке. Т.е. на первый взгляд это как-бы большой шаг назад по сравнению с хранением данных в БД(к примеру нет типизации, индексов, неудобный доступ и прочее). По поводу стоимости - если так уж стоит вопрос стоимости, может стоит рассмотреть бесплатные БД типа PosgreSQL. Но почему-то все так ждут этого?

Бесплатные БД надо хостить еще где-то. Ну и Майкрософт же....

Я так думаю что под капотом это выглядит как D365FO SQL -> BCP -> CSV -> ADLS
Причем к первым трём пунктам у тебя нет доступа. И это получается быстро.

Далее Майкрософт готовит все остальные свои сервисы чтобы они работали с этим форматом из коробки. Power BI, Azure Synapse (DW), Azure Analytics (SSAS). Azure Data Fabric (SSIS)

С другой стороны, я согласен что CSV файлики это шаг назад по сравнению с SQL. С другой стороны, для выгрузки данных - держать целый SQL тоже как-то странно.