Блог Microsoft Fabric: Розширений посібник з нових функцій та способів використання

Інформатек Діджитал » Ресурси » Блог Microsoft Fabric: Розширений посібник з нових функцій та способів використання

Якщо ви вже деякий час працюєте з даними в екосистемі Microsoft, ви, мабуть, помітили, що Microsoft Fabric став центральним центром сучасної аналітикиОб'єднання всього, що раніше було розподілено між Power BI, Azure Synapse, Data Factory та іншими сервісами, в єдину платформу. У цій статті ми детально та ретельно розглянемо найновіші функції, план розвитку та практичні наслідки Fabric для аналітики, управління, штучного інтелекту та обчислень у реальному часі.

Ідея полягає в тому, що після завершення читання ви матимете чітке розуміння Що пропонує Microsoft Fabric сьогодні, куди він рухається та як впливає на архітектуру даних? вашої організації: можливості управління за допомогою Purview, автоматизація за допомогою API та Git, нові функції штучного інтелекту, аналітика в режимі реального часу, безпека в OneLake, міграції, продуктивність та багато іншого.

Microsoft Fabric та Cloud Adoption Framework: управління, витрати та автоматизація

У рамках Cloud Adoption Framework (CAF) компанія Microsoft публікує серію посібників для узгодження Дизайн Microsoft Fabric з дизайнерськими стовпами цільових зонВ останній частині цієї серії розглядаються три ключові області: управління, оптимізація потужностей та автоматизація/DevOps.

У розділі управління, Вартість потужності Fabric відображається через Azure Cost ManagementЦе дозволяє вам власноруч інтегрувати дані про використання потужності F (та інших SKU) у інформаційні панелі витрат Azure, сповіщення та аналітику витрат. Йдеться не лише про перегляд рахунку: ви можете зіставити цю інформацію з тегами, підписками або групами ресурсів, щоб зрозуміти, хто скільки витрачає і чому.

Технічна архітектура та бізнес-модель Fabric дозволяють клієнтам точно контролювати споживання потужності для оптимізації експлуатаційних витратНа практиці це виражається в кількох важелях:

• Масштабування можливостей F: збільшувати або зменшувати потужність на основі передбачуваних пікових навантажень, таких як кампанії з продажу, терміни бухгалтерського обліку або великі навантаження даних.
• Можливості паузи та відновленняАдміністратори Fabric можуть призупинити потужність F, коли вона не потрібна (наприклад, на ніч або у вихідні дні в некритичних середовищах), щоб зменшити обчислювальні витрати.
• Захист від перенапругиДва параметри рівня потужності контролюють, як керуються фонові завдання, щоб запобігти перенасиченню середовища ними: Поріг відхилення фону та Поріг відновлення фону.
• Резервування потужностейМожливе резервування потужностей на певні періоди для отримання знижок за умови ретельного планування очікуваного споживання.

У сфері управління даними Fabric спирається на Microsoft Purview як центральний компонент для каталогізації, походження та класифікаціїЗ Purview можна застосовувати мітки чутливості, переглядати зв'язок між походженням, трансформаціями та споживанням, сертифікувати активи даних або покращувати кампанії з підвищення якості даних, і все це одночасно інтегруючи елементи Fabric (Lakehouse, Warehouse, KQL, Power BI тощо).

Розділ «Автоматизація платформи та DevOps» структурований переважно навколо Інтеграція з Git, конвеєрами розгортання та REST APIРобочі простори Fabric можна пов'язати з репозиторіями Git, щоб кілька розробників могли співпрацювати над одним проектом з інженерії даних, науки про дані або аналітики в реальному часі без дублювання роботи.

Git та конвеєри розгортання дозволяють контрольовано координувати життєві цикли розробки, тестування та виробництваПросування контенту, відстеження змін, синхронізація артефактів та керування версіями. З березня 2025 року ці конвеєри підтримують (у загальному або попередньому стані) широкий спектр типів елементів, таких як тригери, інформаційні панелі, потоки даних, конвеєри даних, вітрини даних, сховища даних, сховища даних, KQL, блокноти, звіти з розбивкою на сторінки, організаційні програми тощо.

Тим часом, Fabric викриває дуже широкий набір REST API за допомогою якого можна автоматизувати майже будь-яке адміністративне завдання або завдання розгортання: створення робочих просторів і папок, масова міграція елементів, керування підключеннями та шлюзами, вилучення визначень, активація конвеєрів або блокнотів тощо.

Ключові оновлення в аналітиці, штучному інтелекті та управлінні для Microsoft Fabric

Еволюція Fabric відзначена величезною кількістю попередніх функцій та нових можливостей, які Вони торкаються практично всіх аспектів платформиПотім їх групують та обговорюють структуровано, щоб можна було побачити повний обсяг.

Функції штучного інтелекту в сховищі даних та мультимодальні функції

У сфері реляційних даних Fabric Data Warehouse включає ШІ функціонує безпосередньо в T-SQL (попередній перегляд). Це дозволяє:

• Класифікуйте або категоризуйте текст.
• Проаналізуйте настрої.
• Витяг структурованої інформації з вільного тексту.
• Перекладати текст між мовами.
• Правильна граматика.

Мета полягає в тому Немає потреби виходити з контексту SQL, щоб збагатити дані за допомогою штучного інтелекту.Ці функції поєднуються з більш загальною мультимодальною підтримкою у функціях штучного інтелекту Fabric, які тепер можуть обробляти зображення (JPG/JPEG, PNG, GIF, WebP), PDF-файли та поширені текстові формати, а також вхідні дані у вигляді шляхів до файлів.

Такі комунальні послуги, як aifunc.load для імпорту папок у таблиці Завдяки параметрам запиту та схеми, `aifunc.list_file_paths` дозволяє перебирати шляхи до файлів, а `ai.infer_schema` виводить схеми, сумісні з `ai.extract`. Все це дозволяє трансформувати та збагачувати дані без створення складних конвеєрів з нуля.

OneLake, Delta, Apache Iceberg та мультиплатформний доступ

На рівні сховища OneLake залишається єдиним озером, де знаходиться вся Fabric. Одним з основних покращень є можливість Виявлення таблиць Delta Lake як таблиць Apache Iceberg без переміщення або дублювання даних, щоб сумісні з Iceberg двигуни могли безпосередньо зчитувати те, що знаходиться на OneLake.

Крім того, OneLake тепер підтримує Дані Apache Iceberg, записані безпосередньо Snowflake, споживаються у Fabric через доступ без копіюванняЦя стратегія посилює сумісність: Fabric не хоче бути ізольованим середовищем, а «центром» даних, який інші двигуни можуть використовувати без дублювання сховища.

Аналогічно, OneLake визнає скорочення до сховища BLOB-блоків AzureOneDrive та SharePoint, а також розширює безпеку за допомогою ролей доступу, безпеки на рівні папок, рядків і стовпців, а також моделі безпеки, яку можуть дотримуватися треті сторони завдяки розширенню моделі авторизованого механізму.

Одним особливо важливим моментом є об'єднання каталогу OneLake в Azure Databricks, що дозволяє Доступ без копіювання з каталогу Unity до таблиць OneLakeТаким чином, OneLake залишається джерелом достовірної інформації, але Databricks можуть запитувати дані безпосередньо, синхронізуючи лише метадані.

База даних SQL на Fabric: продуктивність, безпека та віртуалізація

База даних SQL від Fabric отримує власні можливості: ЗМІНИТИ параметри набору баз данихПідтримка сортування та повнотекстового індексування в попередньому перегляді. На рівні продуктивність бази даних А що стосується вартості, то є кілька покращень:

• Автоматичне стиснення індексу щоб зменшити обсяг сховища, обсяг вводу-виводу та покращити час виконання запитів без необхідності планування завдань з обслуговування.
• Максимальна кількість віртуальних ядер для контролю використання обчислювальних ресурсів (4 або 32 віртуальних ядра), призначених для запобігання надмірному споживанню робочим навантаженням великого обсягу спільних ресурсів.
• Користувацькі пули SQL що надають адміністраторам робочої області детальний контроль над розподілом ресурсів та маршрутизацією запитів за назвою програми.

Також увімкнено Віртуалізація даних у базі даних SQL, що дозволяє запитувати зовнішні дані, що зберігаються в OneLake, за допомогою T-SQL, об'єднувати файли у поширених форматах з локальними реляційними таблицями за допомогою об'єднань, без необхідності фізичного імпорту даних.

З точки зору безпеки, база даних SQL підтримує Приватне посилання на рівні клієнта (попередній перегляд)Це спрощує конфіденційне та контрольоване спрямування трафіку даних, інтегруючись із загальною конфігурацією безпечної мережі Fabric.

Аналітика в реальному часі, Eventhouse, Eventstream та Activator

Модуль аналізу даних у реальному часі (RTI) став однією з ключових відмінних рис Fabric. Eventhouse та Eventstream поєднуються для... приймати, обробляти та запускати події в режимі реального часу з усіляких джерел, а Activator керує діями, що запускаються за певних умов.

Серед найпотужніших нових функцій:

• Виявлення аномалій без коду з автоматичним вибором моделі, простим інтерфейсом та гнучкими сповіщеннями.
• Ділові заходи, які фіксують ключові бізнес-моменти, згенеровані з функцій даних користувачів та блокнотів, і дозволяють активувати сповіщення, користувацьку логіку, потоки, моделі штучного інтелекту або завдання Spark.
• Інтеграція функцій активатора та даних користувачащоб функції, створені у Fabric, могли обробляти події з будь-якого джерела, включаючи внутрішні події самої платформи та OneLake.
• Можливість обробки подій за допомогою SQL (оператор SQL у потоці подій), що дозволяє трансформувати потоки реального часу за допомогою відомого синтаксису SQL.

Додано відповідні роз'єми, такі як Крибл (для отримання журналів і телеметрії з кількох джерел), конектор із Solace PubSub+ та підтримка потокової передачі через приватні мережі через віртуальну мережу Azure, VPN, ExpressRoute або приватні кінцеві точки.

Для схем даних та контрактів Eventstream вводить Реєстр схем який визначає та перевіряє схеми подій для більш надійних конвеєрів, а також підтримує реєстр схем Confluent для підключення до Kafka в Confluent Cloud з дотриманням існуючих контрактів.

Можливості Copilot та штучного інтелекту на всій платформі

Copilot у Fabric тепер доступний у всьому світі, зокрема в Power BI, Фабрика даних, наука про дані та інженерія даних, а також написання KQL-запитівКрім того, були включені специфічні можливості:

• Copilot для потоку даних Gen2 (сучасне отримання даних), що допомагає отримувати та перетворювати дані за допомогою інструкцій природною мовою.
• Copilot для сховища даних (чат), доступний за допомогою кнопки на стрічці для пришвидшення виконання складських завдань через діалогове вікно.
• Кінцева точка Copilot для аналітики SQL, який генерує та оптимізує SQL-запити з описів бізнесу.
• Копілот на ноутбуках зі знанням контексту робочої області, Lakehouse, структури блокнотів та середовища виконання, здатний генерувати багатокроковий код, рефакторингувати, узагальнювати складні блокноти та діагностувати помилки за допомогою опції "Виправити за допомогою Copilot".
• Вбудоване автодоповнення (вбудоване автодоповнення коду) та вбудоване автодоповнення коду Notebook Copilot (попередній перегляд), щоб писати на Python швидше та з меншою кількістю помилок.

Крім того, база технологій штучного інтелекту розширюється за рахунок інтегровані попередньо вбудовані інструменти для ливарного виробництва (Azure OpenAI, Azure Language, Azure Translator), плагіни OpenAI для Eventhouse (ai_embed_text та ai_chat_completion) та серія агентів і агентів даних, які дозволяють іншим програмам, включаючи Copilot Studio, працювати з даними Fabric оркестрованим чином.

Агенти даних Fabric, MCP та інструменти розробника

Тканина введення агенти даних, здатні керувати доступом до даних та інструментів Для агентів зі штучним інтелектом, з Python SDK та прямою інтеграцією з Microsoft Copilot Studio. Це спрощує створення розмовних помічників, які працюють з керованими корпоративними даними у Fabric.

Паралельно, Модель контекстного протоколу (MCP) Це стає ключовим компонентом інтеграції між агентами штучного інтелекту та сервісами Fabric. Існують виділені сервери MCP для Activator та Eventhouse, а також орієнтований на розробку Fabric MCP, який:

• Це дозволяє помічникам зі штучним інтелектом генерувати код і контент для елементів Fabric.
• Він інтегрується з інструментами розробки, такими як VS Code та GitHub Codespaces.
• Він представляє інструменти для консультування та роботи з даними в режимі реального часу в Eventhouse.

Для щоденної роботи розробника слід виділити кілька ключових моментів, зокрема середовище розробки: Розширення MSSQL для VS Code з підтримкою бази даних Fabric SQL, драйвер Microsoft ADO.NET та драйвер ODBC для Fabric Data Engineering (підключення до Spark SQL через Livy), а також конектор Spark для баз даних SQL, який спрощує автентифікований доступ із Spark до баз даних SQL в Azure та Fabric.

Також з'являється CLI тканини, доступний як інтегроване завдання в Azure DevOps, що дозволяє автоматизувати керування робочими просторами, елементами та розгортаннями без ручного встановлення зовнішніх інструментів.

Фабрика даних, міграція даних та оркестрація у Fabric

Рівень інтеграції даних Fabric спирається на Data Factory та Dataflow Gen2, які отримують функції для... Оркестрація буде розумнішою, автоматизованішою та з простішими міграціями. з існуючих платформ.

Потік даних 2-го покоління: продуктивність, публічні API та діагностика

У Dataflow Gen2 ми знаходимо кілька функцій у попередньому перегляді:

• Розширене редагування цільових запитів налаштувати логіку в місці призначення безпосередньо з самого середовища створення.
• Розділені обчисленнящо дозволяє частинам потоку даних виконуватися паралельно, зменшуючи загальний час оцінки.
• Завантажити діагностику на рівні виконання, зі структурованими пакетами журналів для аналізу продуктивності та вирішення інцидентів.
• Публічні API для програмного створення, оновлення, видалення, планування та моніторингу потоків даних.
• Публічні параметри з підтримкою CI/CDякі дозволяють оновлювати потоки даних шляхом передачі значень з конвеєрів або інших джерел.
• Останні дані для швидкого доступу до нещодавно використаних елементів на стрічці Power Query та в сучасному інструменті «Отримання даних».

Все це доповнюється можливостями Програмна оцінка Power Query через RESTЦе відкриває можливості для запуску M-скриптів як частини автоматизованих процесів, інтегруючи їх зі Spark, конвеєрами або зовнішніми інструментами, використовуючи переваги конекторів Power Query.

Фабрика даних: адаптивна продуктивність, зв'язок та DBT

У більш «класичній» частині інтеграції, Фабрика даних у Fabric представляє:

• Адаптивне налаштування продуктивності для копіювання, яка інтелектуально налаштовує параметри продуктивності відповідно до конфігурації та контексту виконання.
• Підтримка захоплення змін у даних (CDC) у завданні копіювання, щоб безперервно реплікувати лише зміни (вставки, оновлення, видалення).
• Локальні шлюзи з можливістю ручного оновлення керується з порталу Fabric, API або скриптів.
• нещодавнє підключення, який додає властивості останнього використання до з’єднань для полегшення аудиту та управління життєвим циклом.
• рідний DBT Job, що дозволяє запускати DBT-проекти в Fabric з інтегрованою оркестрацією, тестуванням, документацією та управлінням.
• Виклик дії пакета SSIS у конвеєрах, для запуску пакетів SSIS з самої оркестрації у Fabric.

Користувацький досвід також покращується завдяки Селектор сайтів SharePoint (Вибір сайту SharePoint), що дозволяє уникнути введення URL-адрес вручну, а також з підтримкою MCP для фабрики даних, завдяки чому помічники штучного інтелекту можуть створювати та розгортати потік даних 2-го покоління, просто використовуючи інструкції природною мовою.

Інструменти міграції та реплікації даних

Microsoft активно просуває міграцію на Fabric за допомогою кількох спеціальних інструментів:

• Оцінка міграції тканини для фабрики даних, який аналізує підготовку конвеєрів ADF та переносить підтримувані з них до робочого простору Fabric із зіставленням підключень.
• Помічник міграції для сховища данихякий тепер може підключатися безпосередньо до вихідного сховища, щоб перемістити його до сховища даних Fabric.
• Помічник міграції для бази даних SQL, спрямований на міграцію локальних робочих навантажень SQL Server, з імпортом схеми через DACPAC, виявленням несумісності та рекомендаціями.

Щодо реплікації, підтримка надається дзеркалювання кількох операційних джерел (База даних Azure для MySQL, Google BigQuery, SQL Server тощо) до Fabric, з можливістю контролювати, які таблиці реплікуються, перезапускати процеси дзеркалювання через REST та, у випадку Databricks, зіставляти політики каталогу Unity із безпекою OneLake.

Також включено реплікаційний конектор від Lakehouse, що використовує Стрічка даних про зміни дельти, що вносить зміни до плат Lakehouse Delta у напрямку сумісних напрямків без необхідності винаходити велосипед за допомогою власних рішень CDC.

Безпека, розширене управління та моніторинг у Fabric

Одна з найбільших проблем на будь-якій аналітичній платформі полягає в тому, як захищати дані, керувати використанням та моніторити споживання ресурсівТканина швидко дозріває в цих напрямках.

Безпека та захист даних в OneLake

OneLake додає повну модель безпека доступу до даних з:

• Ролі доступу до даних для Lakehouse з налаштовуваними дозволами з інтерфейсу безпеки на основі папок.
• Підтримка безпеки для скорочень, щоб треті сторони могли дотримуватися визначених політик.
• API безпеки доступу до даних OneLake, який дозволяє автоматизовано керувати дозволами.
• Розширення моделі на зовнішні двигуни (авторизація безпеки OneLake для третіх сторін).

Паралельно розширюється захист за рахунок Обмеження доступу DLP над усіма структурованими даними в OneLake (SQL, KQL, сховища даних) та вводиться DSPM для штучного інтелекту, для Fabric Copilots та агентів даних, який відстежує взаємодії зі штучним інтелектом на наявність конфіденційної інформації та ризикованої поведінки, з інтеграцією з Purview Audit та eDiscovery.

Щодо ідентичності, то тут проявляються такі характеристики, як: ідентифікатори, пов'язані з елементами (наприклад, Lakehouse та Eventstream) через REST API, які усувають залежність від власника для певних операцій, та автентифікацію ярликів OneDrive та SharePoint за допомогою ідентифікаторів робочої області або принципалів служб.

Централізоване управління та каталог OneLake

Досвід управління даними підкріплюється нова централізована панель у каталозі OneLakeде власники даних можуть бачити зведений вигляд створених ними елементів, отримувати рекомендації щодо дій управління та доступ до всіх доступних інструментів для покращення безпеки та відповідності вимогам.

Крім того, API пошуку в каталозі OneLake разом з інструментом MCP, який дозволяє виявляти елементи в середовищі Fabric з коду або агентів штучного інтелекту за один виклик, дотримуючись дозволів каталогу та метаданих.

Моніторинг потужностей, споживання та роботи

Тканина забезпечує кілька рівнів спостережливості:

• Моніторинг робочого простору, що створює базу даних у Fabric, де об’єднуються журнали та метрики з кількох елементів (включно з завданнями копіювання з детальним моніторингом).
• Моніторинг робочого простору для завдання копіюванняз такими показниками, як пропускна здатність, обсяг даних, коди помилок та час, усі вони спрямовані на централізований аналіз.
• Історія елементів при застосуванні показників місткості, з 30-денним переглядом споживання CU для кожного елемента, з можливістю фільтрації за робочою областю та типом.
• Захист від перенапруги на рівні робочого просторущо дозволяє встановлювати порогові значення споживання для кожної робочої області протягом 24-годинного періоду, автоматично блокувати ті, що їх перевищують, та позначати робочі області як «критично важливі», щоб виключити їх з обмежень.

Доповнюючи це, початковий набір API адміністратора Fabric зосереджений на виявленні робочих просторів, предметів та інформації про доступ користувачів, сприянні динамічним інвентаризаціям та періодичному контролю доступу.

Бізнес-моделювання, планування та нові робочі навантаження

Окрім технічного рівня, Microsoft представляє нові робочі навантаження, орієнтовані на бізнес про Fabric. Одним із найвідоміших є Fabric IQ, який прагне об'єднати бізнес-семантику, дані та моделі для інтелектуальних агентів, що приймають рішення на основі цілісного уявлення про організацію.

У Fabric IQ відображаються такі елементи:

• Онтологія (попередній перегляд), тип елемента, де сутності, зв'язки, властивості та обмеження визначені відповідно до бізнес-мови компанії.
• План (попередній перегляд), платформа без кодування для планування, звітності, аналітики, інтеграції та спільного управління.

Також з'являється інтелект у реальному часі конструктор цифрових двійників, продукт, що спеціалізується на моделюванні цифрових двійників на основі даних реального часу з метою оптимізації фізичних операцій, моніторингу станів та моделювання сценаріїв.

З іншого боку, його вводять Робоче навантаження Fabric IQ як окреме робоче навантаження, а інструменти підтримки для управління та семантичного вирівнювання продовжують розширюватися, замикаючи коло між моделями даних, бізнес-логікою та додатками штучного інтелекту/аналітики.

Покращення продуктивності, взаємодії з користувачем та покращення продуктивності

На завершення цього огляду варто виділити низку міжгалузевих покращень, які Вони не завжди потрапляють у заголовки газет, але суттєво впливають на повсякденне життя. команд.

У розділі Spark та розподілені обчислення Fabric представляє:

• Fabric Runtime 2.0 (попередній перегляд) з Apache Spark 4.0, Delta Lake 4.0, Java 21, Scala 2.13 та Python 3.12 на Azure Linux 3.0.
• Інструмент порівняння програм Sparkщо дозволяє вибирати та порівнювати до чотирьох виконань Spark одночасно.
• Діагностичний випромінювач іскри, який збирає журнали, метрики та події з програм Spark і надсилає їх до таких місць призначення, як центри подій, сховища або Log Analytics.
• Бібліотека діагностики JobInsight, бібліотека для аналізу завершених виконання Spark через API (запити, завдання, етапи, виконавці, журнали подій).

У шарі складу додано наступне: кластеризація даних Для покращення продуктивності та зменшення витрат на доступ, стовпці IDENTITY для сурогатних ключів, а також контроль версій та підтримка CI/CD через проекти бази даних SQL у VS Code (система контролю версії Warehouse).

Користувацький досвід порталу Fabric також розвивається разом із Перегляд з вкладками та оглядач об'єктівЦе дозволяє відкривати кілька елементів одночасно та швидко перемикатися між ними. Це, у поєднанні з такими покращеннями, як автоматичне зв'язування Lakehouse в Git та набір утиліт для обслуговування Lakehouse (дії з обслуговування та оновлення кінцевих точок SQL), сприяє створенню більш зручної та гнучкої платформи.

Зрештою, такі функції, як Масовий імпорт/експорт визначень елементів (для міграцій, шаблонів та резервних копій метаданих), REST для папок, підтримка параметрів при активації елементів з Activator та завантаження даних OneLake в Excel з інтегрованим каталогом, завершують екосистему, яка починає покривати практично всі звичайні потреби сучасної команди з обробки даних.

Завдяки всьому цьому набору можливостей — від централізованого управління, детальної безпеки та інтелектуальної оркестрації до штучного інтелекту, вбудованого в SQL, аналітики в режимі реального часу, цифрових двійників та агентів MCP — Microsoft Fabric зміцнює свою позицію як комплексної платформи даних, де… Ключ полягає не лише в зберіганні та візуалізації даних, а й в управлінні, автоматизації та використанні штучного інтелекту для контролю кожної частини життєвого циклу даних.дозволяючи організаціям поступово розвивати свої архітектури, переносячи те, що вони вже мають, та впроваджуючи нові рішення набагато швидше, ніж у традиційних підходах.