Monitoring¶
Monitoring is over twee lagen verdeeld: het platformteam monitort de platformcomponenten, het workload team monitort zijn eigen workloads. Optionele Grafana-dashboards geven beide een overzicht van de gezondheid van pipelines.
Referentieontwerp, jouw deployment kan afwijken
Wie alerts ontvangt, en welke optionele onderdelen (Grafana, Purview) zijn uitgerold, wordt per platform bepaald. Vraag het je platformteam. Generieke platformmonitoring staat beschreven in Monitoring.
Platformmonitoring (platformteam)¶
| Component | Wat wordt bewaakt |
|---|---|
| Fabric capacity | Verbruik van capacity units, throttling-events en benutting, via de Fabric admin portal. Zo kan het platformteam opschalen voordat de belasting de capacity bereikt. |
| VNet data gateway | Beschikbaarheid, aantal verbindingen en latentie. De gateway gaat na inactiviteit slapen en wordt bij een nieuw verzoek wakker, dus de activeringscyclus telt mee bij het beoordelen van verbindingsprestaties. |
| Storage account | Beschikbaarheid, latentie en capaciteitsgebruik |
| Verbindingen | Beschikbaarheid van de ADLS-, SQL-, Oracle Cloud Storage- en workspace-naar-workspace-verbindingen |
| Alerts | Afwijkingen worden aan beheerders gesignaleerd. Diagnostische gegevens en loggegevens worden centraal opgeslagen voor analyse. |
Baseline pipelines¶
Het platformteam monitort de baseline pipelines van het platform. Als een pipeline faalt, probeert het platformteam hem opnieuw. De oorzaak is meestal de bron en een nieuwe poging lost het meestal op. Helpt de nieuwe poging niet, dan meldt het platformteam het aan het team dat de pipeline beheert.
Workloadmonitoring (workload team)¶
| Gebied | Wat je doet |
|---|---|
| Pipelineuitvoering | Data pipelines leveren runstatus, duur en foutmeldingen. Als een nieuwe poging van het platformteam de fout niet oplost, lost het workload datateam het dataprobleem op. |
| Queryprestaties | Duur, resourceverbruik en timeouts op Lakehouses en Warehouses |
| Datakwaliteit en versheid | Tijdigheid van loads, aantal verwerkte records, validatiefouten |
| Native monitoring | Elke workspace heeft ingebouwde monitoring van itemuitvoering, resourcegebruik en fouten. Gebruik die als startpunt en voeg eigen alerts toe op workloadspecifieke drempelwaarden. |
Zie ook Je workload beheren.
Pipeline observability met Grafana (optioneel)¶
Als de observability tier is uitgerold, krijg je een Azure Managed Grafana-instance met een dashboard en een alert op mislukte Fabric pipeline runs. Hoe het wordt uitgerold staat op Observability.
flowchart LR
p["Fabric pipelines"] --> lh["pipeline_logs Lakehouse"]
lh -->|"log ingestion pipeline (your team)"| law["Log Analytics: FabricPipelineRuns"]
law --> g["Managed Grafana: dashboards"]
law --> a["Alert rule: pipeline failures"]
a --> ag["Action group: email"]De dashboards blijven leeg tot je team ze voedt
De dashboards lezen de tabel FabricPipelineRuns in Log Analytics. De Grafana-deployment maakt die niet aan en vult hem
niet. Je data engineering-team bouwt de log ingestion pipeline. Zolang die niet draait, tonen de panels "No data".
Toegang¶
Meld je aan met je Entra ID-account (MFA geldt). Er zijn standaard geen lokale Grafana-accounts en geen API keys. De URL wordt
door het platformteam gegeven en heeft de vorm https://grafana-<workload>-<env>-<region>.<id>.grafana.azure.com. In private
modus heb je VPN of ExpressRoute nodig.
Toegang loopt via drie aparte Entra ID-groepen, los van de Fabric workspace-groepen:
| Rol | Voor | Kan |
|---|---|---|
| Viewer | Business stakeholders, management | Dashboards en alerts bekijken, tijdsbereik, filters en drill-down gebruiken |
| Editor | Data engineers en analisten | Alles wat een viewer kan, plus dashboards maken en bewerken en alertregels beheren |
| Admin | Het platformteam | Alles wat een editor kan, plus data sources, plugins, notificatiekanalen, gebruikers en organisatie-instellingen |
Een gebruiker heeft één Grafana-rol. Vraag toegang aan via Aanvragen en wijzigen: noem de persoon en de rol. Het platformteam voegt de persoon toe aan de groep, en de toegang geldt nadat het groepslidmaatschap is doorgevoerd (de bron noemt 5 tot 10 minuten). Vraag om verwijdering uit de groep om toegang in te trekken.
Het standaarddashboard¶
Fabric Pipeline Observability heeft deze panels:
| Panel | Toont |
|---|---|
| Pipeline failures (last 24 h) | Aantal mislukte runs. Groen bij 0, geel bij 1 tot 4, rood bij 5 of meer. |
| Pipeline runs by status | Aandeel geslaagde, mislukte, lopende en geannuleerde runs |
| Pipeline execution timeline | Runs per 15 minuten, uitgesplitst naar status |
| Recent failed pipelines | De laatste 50 mislukte runs met tijd, pipeline, run-ID, duur en foutmelding |
| Average pipeline duration (7 days) | Gemiddelde per uur per pipeline, om tragere pipelines te herkennen |
| Pipeline success rate (7 days) | Meter. Groen bij 95% of meer, geel bij 80% of meer, rood onder 80%. |
Dashboards verversen elke 30 seconden. Dashboards die vanuit code zijn uitgerold, kunnen niet in de Grafana-UI worden bewerkt: wijzig de code. Dashboards die een editor in de UI maakt, staan niet in code en overleven een nieuwe deployment niet.
Je eigen dashboards¶
In de UI: voeg een visualisatie toe, kies de Azure Monitor data source, querytype Logs, selecteer de Log Analytics workspace en schrijf de KQL. Sla het op in een map.
Als code (de voorkeur voor dashboards die moeten blijven): exporteer de dashboard-JSON, vervang de resource-ID van Log Analytics door de
templatevariabele ${LAW_RESOURCE_ID}, escape Grafana-templatevariabelen zoals ${DS_AZURE_MONITOR} als
$${DS_AZURE_MONITOR} en plaats het bestand in een submap van de dashboardmap van je configuratierepository. Elke
submap wordt een Grafana-map en elk .json-bestand een dashboard. Draai de pipeline.
Voorbeeldqueries:
// Runs per day by status
FabricPipelineRuns
| where TimeGenerated >= ago(30d)
| summarize Count = count() by bin(TimeGenerated, 1d), Status
| order by TimeGenerated asc
// Ten slowest successful pipelines
FabricPipelineRuns
| where TimeGenerated >= ago(7d) and Status == "Succeeded"
| extend DurationSeconds = datetime_diff('second', EndTime, StartTime)
| summarize AvgDuration = avg(DurationSeconds), MaxDuration = max(DurationSeconds) by PipelineName
| top 10 by AvgDuration desc
Alerts¶
De standaardalert gaat af als een pipeline run is mislukt.
| Instelling | Standaard | Configureerbaar |
|---|---|---|
| Evaluatie-interval | elke 5 minuten | ja |
| Lookback-venster | 1 uur | ja |
| Voorwaarde | elke mislukte pipeline run | nee |
| Severity | 1 (Error) | nee |
| Auto-mitigation | de alert wordt opgelost als het volgende venster geen fouten heeft | nee |
| Notificatie | e-mail via een Azure Monitor action group | ja (adressen) |
Zonder e-mailadressen gaat de alert nog steeds af en is hij zichtbaar in Azure Monitor, maar ontvangt niemand een e-mail. Andere ontvangers dan e-mail (SMS, webhook, Logic App) worden niet door de configuratie ingesteld: het platformteam voegt ze in de portal aan de action group toe. Editors kunnen in de Grafana-UI meer alertregels maken.
Beperkingen om te kennen¶
- Eén rol per gebruiker, en geen rechten op mapniveau: elke gebruiker met een rol ziet alle dashboards, en editors kunnen ze allemaal bewerken. Mappen ordenen alleen. Heb je scheiding nodig, vraag dan om een aparte Grafana-instance voor dat team.
- Het standaarddashboard gebruikt de eerste Log Analytics workspace van de lijst. Voor dashboards over meerdere workspaces moet de dashboard-JSON worden aangepast.
- Na de eerste deployment duurt het tot 10 minuten voordat de rollen van de managed identity zijn doorgevoerd. Queries kunnen in die periode mislukken met "Insufficient permissions".
Gerelateerd¶
- Observability (platformteam)
- Servicebeschrijving