Mākslīgā intelekta aģentu ieviešana, izmantojot Databricks: pilnīga praktiska rokasgrāmata

Informatec Digital » Resursi » Mākslīgā intelekta aģentu ieviešana, izmantojot Databricks: pilnīga praktiska rokasgrāmata

Mākslīgā intelekta aģentu veidošana Databricks platformā vairs nav tikai īpaši tehnisku profilu joma: izmantojot vizuālas vides, piemēram, AI Playground , automatizāciju ar Agent Bricks un MLflow ietvarus, tagad varat pāriet no idejas uz prototipu un no prototipa uz ražošanu, neapmaldoties procesā. Šajā rokasgrāmatā mēs apkopojam visu nepieciešamo, lai izveidotu, novērtētu un izvietotu aģentus, kas izsauc rīkus, vaicā datus un integrējas ar Unity Catalog pārvaldību.

Papildus bezkoda pieejas un Python izstrādes izpētei jūs uzzināsiet, kā pakot aģentus ar MLflow (ChatAgent un ResponsesAgent) , reģistrēt resursus katalogā, iespējot uzraudzību reāllaikā un mērogot, izmantojot modeļu sniegšanu. Mēs iekļaujam arī lietotnes paraugu, kas izveidots ar React un FastAPI, lai nemanāmi integrētu jūsu aģentu uzņēmuma tīmekļa saskarnē.

Aģentu izveides opcijas pakalpojumā Databricks

Ja jūsu prioritāte ir ātrums un vienkāršība, Agent Bricks nodrošina automatizētu darbplūsmu augstas kvalitātes, ar domēnu saskaņotu aģentu sistēmu izveidei. Jūs norādāt savu lietošanas gadījumu un savienojat savus Unity Catalog datus ; platforma ģenerē aģentu variantus, optimizē ar novērtējumu un ļauj jums pilnveidot, un tas viss ar iebūvētu pārvaldību un drošību.

Ja nepieciešama detalizēta kontrole un vēlaties atkārtoti izmantot pazīstamas bibliotēkas, uz kodu balstītā pieeja apvieno Mosaic AI aģenta ietvaru un MLflow . Izmantojot Python, varat definēt aģenta loģiku, iespējot rīku izsaukumus, veikt detalizētu izsekošanu un galu galā iepakot un izvietot ražošanas vidē, izmantojot Databricks ekosistēmu.

Ja jūs jau izmantojat trešo pušu ietvarus, ir pieejams vietējais atbalsts LangGraph/ LangChain , LlamaIndex vai pielāgotām Python implementācijām. Pateicoties MLflow modeļu parakstiem un aģentu saskarnēm, jūs varat tos pievienot novērtēšanas un uzraudzības iespējām, nepārrakstot no jauna.

Vai vēlaties izveidot prototipu zibenīgā ātrumā? Izmantojot AI Playground, jūs izvēlaties modeli un virtuālo mašīnu, pievienojat rīkus LLM, izmantojot zema koda saskarni, un tērzējat, lai validētu. Pēc tam jūs eksportējat aģentu uz ražošanai gatavu kodu un turpināt standarta izstrādes dzīves ciklu.

Modeļa paraksti un saderība ar platformas funkcijām

Azure Databricks izmanto MLflow modeļa parakstus , lai aprakstītu aģentu ievades un izvades shēmas. Produkta funkcijas, piemēram, AI Playground vai novērtējums, pieprasa, lai aģents atbilstu vienam no atbalstītajiem parakstiem, lai nodrošinātu sadarbspēju.

Ja aģenta veidošanas laikā ievērojat ieteicamo pieeju, MLflow automātiski secina saderīgo parakstu bez jebkādām papildu darbībām. Pretējā gadījumā pārbaudiet, vai jūsu ieviešana atbilst vienam no mantotās shēmas parakstiem aģenta ievadei un izvadei, izvairoties no pārsteigumiem, integrējoties ar Databricks rīkiem.

Īsa pamācība: Pirmais aģents ar Mosaic AI aģentu ietvaru

Mērķis ir izveidot aģentu, kas spried ar LLM programma, kas tiek rīkota Databricks platformā un jāspēj palaist rīkus, piemēram, iebūvēto funkciju system.ai.python_exec no Unity kataloga, lai palaistu Python kodu. Turklāt mēs iespējosim izsekošana ar MLflow pēdu pārbaudei un diagnostikai.

Darba vietas pamatprasības: iespējojiet aģenta funkcijas un tām ir jābūt piekļuve modeļu apkalpošanaiIzpildlaika vidē instalējiet tādas pakotnes kā mlflow, databricks-openai un aģenta iepakotājs (databricks-agent o databricks-agents(atkarībā no jūsu izmantotās rokasgrāmatas un versijas) un restartējiet Python, lai ielādētu atkarības.

Definējiet savienojumu ar modeļa pakalpojumu, izmantojot OpenAI klientu, ko tas publicē. WorkspaceClient, aktīvs mlflow.openai.autolog() automātiskajai instrumentācijai un reģistrē pieejamos instrumentus. Starp tiem, system.ai.python_exec Tas kalpo kā bezvalstnieks Python interpretētājs un ļauj LLM veikt aprēķinus vai manipulēt ar datiem dialoga laikā.

Ar tādu funkciju kā run_agent(), jūs nosūtāt lietotāja uzvedni uz tērzēšanas galapunktu (Piemēram, tāds modelis kā «databricks-claude-3-7-sonets«un pārvaldīt iespējamo zvani uz rīkiem atgriežot palīga ziņojumus un rīka atbildes saskaņotā sarakstā.

Lai pārbaudītu, palaidiet vaicājumu, kam nepieciešams kods (piemēram, 100. Fibonači skaitļa aprēķināšana ), un pārskatiet gan vedņa izvadi, gan MLflow izsekošanas datus, kas reģistrēti saistītajā piezīmju grāmatiņā vai eksperimentā. Tas ļaus jums precizēt orķestrēšanu pirms iepakošanas.

Iepakots ar MLflow un izvietots Model Serving vidē

Ieteicamais veids, kā sagatavot aģentu darbam ražošanas režīmā, ir ieviest saskarni MLflow tērzēšanas aģentsJums ir nepieciešama metode predict() kas pieņem ziņojumus, izsauc jūsu aģenta loģiku un atgriež Tērzēšanas aģenta atbilde ar ziņojumu sarakstu (tostarp ar rīkiem saistītajiem starpziņojumiem, ja piemērojams).

Lai atvieglotu servitūta darbību, apvienojiet visu kodu vienā Python failā (piemēram, izmantojot %%writefile quickstart_agent.py (ja strādājat ar klēpjdatoru). Noslēgumā zvaniet mlflow.models.set_model() nododot tālāk savas klases instanci (piemēram, QuickstartAgent) lai izveidotu ieejas punkts secinājums.

Reģistrējiet aģentu Vienotības katalogs ar mlflow.pyfunc.log_model, ieskaitot nozīmē kas jums būs nepieciešams ražošanā: LLM modeļa galapunkts (piemēram, DatabricksServingEndpoint) un kataloga funkcijas, kuras aģents izsauks (piemēram, DatabricksFunction ar system.ai.python_execTādējādi Databricks var Konfigurēt autentifikāciju šiem resursiem izvietošanas laikā.

Visbeidzot, izmantojiet aģenta API, lai izvietot modeli uz pakalpojuma galapunktu: from databricks import agents y agents.deploy(model_name, model_version)Kad sāksies galapunkts, jūs varēsiet Tērzēšana no AI Playgroundkopīgojiet to ar ieinteresētajām pusēm un sāciet apkopot atsauksmes.

Ja vēlaties turpināt uzlabojumus, Databricks piedāvā ceļvežus aģentu kvalitātes mērīšanai , aģentu veidošanai ar izgūšanas (RAG) funkciju uz nestrukturētiem datiem un vairāku pagriezienu sarunu kontrolei, kā arī alternatīvas ar LangGraph, tīru Python vai OpenAI.

ResponsesAgent: Mūsdienīga saskarne ražošanas aģentiem

Kaut gan ČatsAģents Tas darbojas labi, MLflow to iesaka jau šodien AtbildesAģents Nopietniem aģentiem. Šī saskarne ir saderīga ar shēmu. Responses no OpenAI un ļauj integrēt aģentus no jebkura sistēma ar Databricks iespējām (reģistrācija, izsekošana, novērtēšana, izvietošana un novērojamība) bez problēmām.

Galvenās priekšrocības: iebūvēts atbalsts Sistemas daudzaģents, izejas režīms straumēšanas, pilnīga ziņojumu un instrumentu izsaukumu vēsture, instrumentu izsaukumu apstiprināšana un ilgi kalpojoši instrumenti. Turklāt tas piedāvā tipizētas saskarnes Python valodā automātiska paraksta secināšana, automātiska izsekošana predict y predict_stream un uzlabotas secinājumu tabulas, izmantojot Mākslīgā intelekta vārteja.

Šīs metodes uzstādīšanas prasības: databricks-agents 1.2.0+, mlflow 3.1.3+ y Python 3.10+ (izmantojot Serverless vai Databricks Runtime 13.3 LTS+). Databricks iesaka arī šādas pakotnes: Mākslīgā intelekta tilts izplatītām integrācijām.

Noderīgas integrācijas: databricks-openai (OpenAI), databricks-langchain (LangChain/LangGraph), databricks-dspy (DSPy) un databricks-ai-bridge (Aģenti tīrā Python valodā). Ar šīm daļām jūs varat izveidot jebko, sākot no vienkāršiem aģentiem līdz sarežģīti cauruļvadi ar atkopšanu un rīka izsaukšanu.

Ja jums jau ir iebūvēts aģents, iekļaujiet to klasē, kas manto no mlflow.pyfunc.ResponsesAgent. Īstenot predict lai pārveidotu ieejas un izejas uz ResponsesAgent shēmaStraumēšanai paļaujieties uz predict_stream, izstaro deltas un noslēguma pasākums response.output_item.done Lūdzu, pievienojiet pilnu atbildi.

Runājot par straumēšanas kļūdām, Mosaic AI izplata kļūmi kopā ar pēdējo marķieri. databricks_output.errorJūsu klientam tas ir pareizi jāuztver un jāattēlo, uzlabojot attīrīšanās pieredze.

Atgūšanas sistēmas, pielāgoti ievades dati un izsekojamība

Daudzi aģenti izmanto pārstrādātāji RAG grupām virs vektoru indeksiem. Ja jūsu izguves posmi atklāj citu shēmu, varat to kartēt ar mlflow.models.set_retriever_schemadeklarējot primary_key, text_column, doc_uri un citas kolonnas. Tādējādi tiks rādīts AI Playground Saites uz avotiem atgūts, un tiks piemērots novērtējums atbilstības vērtētāji automātiski.

Gadījumos, kad jūsu pārstāvim ir nepieciešama papildu informācija (piemēram, klienta_tips o sesijas ID), lietojumi custom_inputs un atgriež metadatus custom_outputs kam nevajadzētu piesārņot tērzēšanas vēsturi. Gan AI Playground, gan pārskatīšanas lietotne ļauj jums ievadīt pielāgotas_ievades no lietotāja saskarnes.

Izvietošana ar deploy(), prasībām un automatizētām darbībām

Lai publicētu savu aģentu Mosaic AI Model Serving platformā, izmantojiet funkciju deploy() Python API. Programmā MLflow 3 instalējiet mlflow >= 3.1.3 y databricks-agents >= 1.1.0 (ja izvietojat ārpus piezīmju grāmatiņām). MLflow 2.x versijā minimālās prasības mainās (piemēram, mlflow >= 2.13.1 y databricks-agents >= 0.12.0Pārliecinieties Reģistrējiet aģentu Unity katalogā pirms izvietošanas.

Zvans uz deploy() izveidot mērogojamu galapunktu ar automātiskā balansēšana, konfigurējiet droša autentifikācija Databricks resursiem (vektoru indeksiem, kataloga funkcijām) — īpašnieka atļauju pārbaude — un aktivizē pārskatīšanas pieteikums sadarbībai ar ieinteresētajām personām.

Tas arī nodrošina reāllaika uzraudzību pakalpojumā MLflow (ar izsekošanu aktīvajā eksperimentā un secinājumu tabulās). Pakalpojumā MLflow 3 var konfigurēt ražošanas uzraudzību ar automātisku kvalitātes novērtēšanu; REST pieprasījumi un komentāri tiek reģistrēti secinājumu tabulās (izmantojot modernas atgriezeniskās saites API).

Lai pielāgotu, nododiet argumentus deploy() kā scale_to_zero_enabled=Truesamazinot izmaksas pēc dīkstāves uz lielāka latentuma rēķina pēc pirmā pieprasījuma. Turklāt jums ir pieejami utilītas pakalpojumi uzskaitīt, iegūt un dzēst izvietošana, izmantojot aģenta API.

Laba prakse stāvokļa, konfigurācijas un izpildes modeļiem

Modeļa apkalpošana ir izkliedēta: izvairīties lokālās kešatmiņas un pieņem, ka dažādas atbildes var apstrādāt dažādus sarunas pavērsienus. Tas rekonstruē stāvokli no vārdnīca ResponsesAgentRequest katrā predict un veidot valsti, kāda tā būs diegu drošs.

Inicializē stāvokli iekšpusē predict un nevis aģenta konstruktorā, jo viena kopija varētu apstrādāt sarunas no dažādiem lietotājiem. Tas novērš informācijas noplūde un vienlaicības konflikti augstas caurlaidspējas vidēs.

Parametrizējiet aģenta uzvedību ar ModelConfig (vārdnīca vai YAML). Definējiet, piemēram, model_serving_endpointLLM parametri un uzvedņu veidnes; ielādējiet šo konfigurāciju izstrādes vidē un virziet to uz ražošanas vidi nepieskaroties kodam.

Izvairieties no notikumu cilpu vai asinhronu kadru ieviešanas aģenta serverī: Databricks apstrādā vienlaicīgumu iekšēji . Izmantojiet sinhrono kodu vai atzvanīšanas funkcijas; pretējā gadījumā var rasties tādas kļūdas kā "Šī notikumu cilpa jau darbojas" un nevienmērīga darbība.

Agent Bricks: automatizācija "bez koda", lai paātrinātu vērtības pieaugumu

Agent Bricks, kas tika ieviests 2025. gadā, piedāvā nevainojamu aģentu izveides darbplūsmu , kurai nav nepieciešama kodēšana . Jūs ievadāt uzdevumu dabiskajā valodā, savienojat savus datus, un platforma atlasa modeļus, ģenerē sintētiskos datus , novērtē un pilnveido procesu, līdz tā nodrošina ražošanai gatavu aģentu ar Unity Catalog pārvaldību.

Starp tā priekšrocībām ir pilnīga automatizācija , mērogojamība Databricks — ar galapunktiem, kas var mērogoties līdz nullei pēc 3 dienu neaktivitātes —, lietošanas un izmaksu analīze Lakehouse un gatavu aģentu tipos (informācijas ieguve, pielāgota LLM , zināšanu asistents un vairāku aģentu vadītājs sarežģītai orķestrēšanai).

Ierobežojumi ietver faktu, ka ģenerēto kodu pašlaik nevar lejupielādēt , kas samazina dziļu pielāgošanas iespējas, un veidņu katalogs ir paredzēts organizācijām, kas jau ir integrētas ar Lakehouse un Unity Catalog. Daži lietotāji arī uzskata, ka izmaksu rādītājiem trūkst detalizācijas .

Piemēri, daudzaģentu un stāvokļa aģenti

Oficiālajā dokumentācijā jūs atradīsiet piezīmju grāmatiņas ar OpenAI (vienkārša tērzēšana un rīku izsaukumi gan Databricks, gan OpenAI mitinātajiem modeļiem), LangGraph (rīku izsaukšana) un DSPy (rīku izsaukumi vienā piegājienā). Tie ir lieliski pamati funkcionalitātes paplašināšanai ar pielāgotiem rīkiem un kvalitātes novērtējumiem.

Lai koordinētu vairākus speciālistus, varat iestatīt sadarbības sistēmas, izmantojot tādus rīkus kā Genie. Un, ja jūs interesē sarunu atmiņa, ir pieejams atbalsts stāvokļa aģentiem, kas nodrošina kontrolpunktu un tērzēšanas pavedienu saglabāšanu.

Oficiālajā dokumentācijā jūs atradīsiet piezīmju grāmatiņas ar OpenAI (vienkārša tērzēšana un rīku izsaukumi gan Databricks, gan OpenAI mitinātajiem modeļiem), LangGraph (rīku izsaukšana) un DSPy (rīku izsaukumi vienā piegājienā). Tie ir lieliski pamati funkcionalitātes paplašināšanai ar pielāgotiem rīkiem un kvalitātes novērtējumiem.

Lietotnes Databricks platformā: lietotāja saskarne ar React un aizmugursistēma FastAPI vidē

Databricks lietotnes nodrošina stabilu platformu bagātīgu saskarņu nodrošināšanai, neizveidojot ārēju infrastruktūru. Tās integrējas ar Databricks SQL, Unity Catalog , Model Serving un Jobs, un pārmanto platformas drošības un atbilstības kontroles.

Ļoti praktisks modelis ir izveidot front-end ar React (atbalsta straumēšanu, ziņojumu renderēšanu un Markdown UX) un back-end ar FastAPI , kas darbojas kā tilts uz aģenta galapunktu. Back-end novirza lietotāja pieprasījumu uz modeļa pakalpojumu un atgriež strukturētu atbildi klientam.

FastAPI vidē apakšlietojumprogrammu montāžas secībai ir liela nozīme: app.mount("/api", api_app) novirza API maršrutus (piemēram, /api/chat) Un app.mount("/", ui_app) Tā apkalpo statiskos failus no React būvējuma saknes direktorijā. Šī shēma uztur maršrutu skaidrība un atdala lietotāja saskarni no galapunktiem.

Konfigurējiet vides mainīgos (piemēram, SERVING_ENDPOINT_NAME vai aģenta modeļa FQN Unity katalogā) no lietotnes definīcijas Databricks. Kompilējiet priekšpusi (npm run build), sinhronizē failus, deklarē atkarības (requirements.txt) un sākas ar Gunicorn + Uvicorn ASGI darbinieki.

Reāls gadījums: tērzēšanas robots ražošanas darbībām

Ražošanas operāciju pārvaldības (MOM) scenārijos Databricks tērzēšanas robots var palīdzēt ražošanas vadītājiem veikt sastrēgumu analīzi , krājumu izsekošanu un pārskatu ģenerēšanu. Funkcijas ir pieejamas kā rīki Unity katalogā (izmantojot SQL vai Python), un aģents tās izsauc, pamatojoties uz kontekstu.

Piemēri: funkcija identify_bottleneck_station Tas palaiž vaicājumus Databricks SQL, lai noteiktu posmu, kas rada vislielākās aizkaves; cits, check_inventory_levelsTas atgriež reāllaika krājumus. Aģents var arī sūtīt e-pastus, sagatavot atskaites un veikt noskaņojuma analīzi, visu vadot ar rīku izsaukumiem.

Izvietojot modeļa apkalpošanas galapunktu, tas darbojas kā standarta aizmugursistēma . React lietotne izmanto šo galapunktu, parādot reāllaika atbildes ar izsmalcinātu lietotāja pieredzi un atbalstot marķieru straumēšanu, ja tā ir iespējota jūsu ResponsesAgent.

Migrācija no ChatCompletions un saderība

Ja jūsu mantotais aģents izmanto OpenAI ChatCompletions API , varat migrēt uz ResponsesAgent ar konteineru, kas tulko ienākošos/izejošos ziņojumus un, pēc izvēles, sasaista straumēšanas deltas ar ResponsesAgentStreamEvent . Tas modernizē telemetriju un novērojamību , nepārrakstot pamata loģiku.

Izvietojumu uzskaitīšanai un pārvaldībai aģenta API ļauj uzskaitīt esošos izvietojumus, izgūt konkrētu izvietojumu (pēc nosaukuma un versijas) un noņemt vairs nevajadzīgos galapunktus. Atcerieties pārvaldīt ārējo resursu akreditācijas datus, izmantojot vides mainīgos un slepenos kodus.

Databricks piedāvā pilnu ceļu: no ideju ģenerēšanas ar AI Playground vai automatizācijas ar Agent Bricks, caur koda izstrādi (Mosaic AI, MLflow, LangGraph, DSPy), līdz iepakošanai, reģistrēšanai Unity Catalog , izvietošanai ar deploy() un ražošanas uzraudzībai. Izmantojot labāko praksi, piemēram, pareizus modeļu parakstus , drošu stāvokli izkliedētās vidēs un parametrizētu konfigurāciju, jūs varat nodrošināt uzticamus, pārvaldītus aģentus, kas ir gatavi integrācijai platformas tīmekļa lietojumprogrammās.

Saistītais raksts:

Klods 4: Antropic pārveido mākslīgo intelektu ar uzlabotiem programmēšanas modeļiem un autonomiem aģentiem