הטמעת סוכני בינה מלאכותית עם Databricks: מדריך מעשי מלא

אינפורמטק דיגיטל » Recursos » הטמעת סוכני בינה מלאכותית עם Databricks: מדריך מעשי מלא

בניית סוכני בינה מלאכותית ב-Databricks כבר אינה נחלתם הבלעדית של פרופילים אולטרה-טכניים: בין סביבות ויזואליות כמו AI Playground , אוטומציה עם Agent Bricks ומסגרות MLflow, כעת ניתן לעבור מרעיון לאב טיפוס ומאב טיפוס לייצור מבלי ללכת לאיבוד בתהליך. במדריך זה, אנו מתמצים את כל מה שצריך כדי ליצור, להעריך ולפרוס סוכנים שקוראים לכלים, מבצעים שאילתות על נתונים ומשלבים עם ניהול Unity Catalog.

בנוסף לחקר הגישה ללא קוד ופיתוח בפייתון, תלמדו כיצד לארוז סוכנים באמצעות MLflow (ChatAgent ו-ResponsesAgent) , לרשום משאבים בקטלוג, לאפשר ניטור בזמן אמת ולהרחיב את התהליכים באמצעות Model Serving. אנו כוללים גם אפליקציית דוגמה שנבנתה באמצעות React ו-FastAPI כדי לשלב בצורה חלקה את הסוכן שלכם בממשק אינטרנט ארגוני.

אפשרויות ליצירת סוכנים ב-Databricks

אם אתם נותנים עדיפות למהירות ולפשטות, Agent Bricks מספק תהליך עבודה אוטומטי לבניית מערכות סוכנים איכותיות ומותאמות לתחום. אתם מגדירים את מקרה השימוש שלכם ומחברים את נתוני Unity Catalog שלכם ; הפלטפורמה מייצרת גרסאות של סוכנים, מבצעת אופטימיזציה באמצעות הערכה ומאפשרת לכם לעדן, והכל עם ניהול ואבטחה מובנים.

כאשר אתם זקוקים לשליטה מדויקת ורוצים לעשות שימוש חוזר בספריות מוכרות, הגישה מבוססת הקוד משלבת את Mosaic AI Agent Framework ו-MLflow . בעזרת Python, תוכלו להגדיר לוגיקת סוכנים, לאפשר קריאות לכלי עבודה, לבצע מעקב מפורט, ובסופו של דבר לארוז ולפרוס לייצור עם המערכת האקולוגית של Databricks.

אם אתם כבר משתמשים במערכות צד שלישי, יש תמיכה מובנית עבור LangGraph/ LangChain , LlamaIndex , או יישומים מותאמים אישית של Python. הודות לחתימות המודל ולממשקי הסוכנים של MLflow, תוכלו לחבר אותן ליכולות ההערכה והניטור מבלי לכתוב מחדש מאפס.

רוצים לבנות אב טיפוס במהירות הבזק? בעזרת AI Playground, אתם בוחרים את המודל והמכונה הווירטואלית, מוסיפים כלים למכונה הווירטואלית דרך ממשק low-code, ומנהלים צ'אט כדי לאמת. לאחר מכן, אתם מייצאים את הסוכן לקוד מוכן לייצור וממשיכים עם מחזור חיי הפיתוח הסטנדרטי.

חתימות מודל ותאימות עם תכונות פלטפורמה

Azure Databricks משתמש בחתימות מודל MLflow כדי לתאר את סכמת הקלט והפלט של סוכנים. תכונות מוצר - כגון מגרש משחקים של בינה מלאכותית או הערכה - דורשות מהסוכן להתאים לאחת מהחתימות הנתמכות כדי להבטיח יכולת פעולה הדדית.

אם תעקבו אחר הגישה המומלצת בעת בניית הסוכן, MLflow יסיק אוטומטית את החתימה התואמת ללא כל שלבים נוספים. אחרת, ודאו שהמימוש שלכם תואם לאחת החתימות בסכימה הישנה עבור קלט ופלט של סוכן, כדי למנוע הפתעות בעת שילוב עם כלי Databricks.

מדריך מהיר: סוכן ראשון עם Mosaic AI Agent Framework

המטרה היא ליצור סוכן שמסביר בצורה ברורה תואר ראשון במשפטים (LLM) מתארח ב-Databricks ולהיות מסוגלים להפעיל כלים, למשל את הפונקציה המובנית system.ai.python_exec מקטלוג היוניטי כדי להריץ קוד פייתון. בנוסף, נאפשר את מעקב עם MLflow לבדיקת עקבות ואבחון.

דרישות סביבת עבודה בסיסיות: הפעלת תכונות סוכן וקבלת גישה לדגם הגשהבסביבת זמן הריצה, התקן חבילות כגון mlflow, databricks-openai ואורז הסוכן (databricks-agent o databricks-agents(בהתאם למדריך שאתה עוקב אחריו ולגרסה), והפעל מחדש את Python כדי לטעון תלויות.

הגדר את החיבור לשירות המודל באמצעות לקוח OpenAI שהוא חושף לקוח סביבת עבודה, פעיל mlflow.openai.autolog() עבור מכשור אוטומטי, ומתעד את הכלים הזמינים. ביניהם, system.ai.python_exec הוא משמש כמפרש פייתון חסר מצב ומאפשר ל-LLM לפתור חישובים או לתפעל נתונים במהלך הדיאלוג.

עם פונקציה כמו run_agent(), אתה שולח את בקשת המשתמש לנקודת הקצה של הצ'אט (לדוגמה, מודל כמו «databricks-claude-3-7-sonnet«ולנהל את האפשר קריאות לכלים החזרת הודעות העוזר ותגובות הכלי ברשימה קוהרנטית.

כדי לבדוק, הרץ שאילתה הדורשת קוד (למשל, חישוב מספר פיבונאצ'י ה-100 ) ובדוק הן את פלט האשף והן את עקבות MLflow שנרשמו במחברת או בניסוי המשויכים. זה יאפשר לך לחדד את התזמור לפני האריזה.

ארוז עם MLflow ונפרס ב-Model Serving

דרך מומלצת להכין את הסוכן לייצור היא על ידי יישום הממשק סוכן צ'אט של MLflowאתה צריך שיטה predict() שמקבל הודעות, קורא ללוגיקת הסוכן שלך ומחזיר תגובת סוכן צ'אט עם רשימת ההודעות (כולל הודעות ביניים הקשורות לכלים, אם רלוונטי).

כדי להקל על עבדות, איחוד כל הקוד לקובץ Python יחיד (לדוגמה, באמצעות %%writefile quickstart_agent.py (אם אתם עובדים על מחשב נייד). בחלק האחרון, התקשרו mlflow.models.set_model() העברת המופע של המחלקה שלך (למשל, QuickstartAgent) כדי להקים את נקודת כניסה הסקה.

רשום את הסוכן ב קטלוג אחדות עם mlflow.pyfunc.log_modelכולל משאב שתצטרכו בייצור: נקודת הקצה של מודל LLM (למשל, DatabricksServingEndpoint) ופונקציות הקטלוג שהסוכן יפעיל (למשל, DatabricksFunction עם system.ai.python_execלפיכך, Databricks יכול הגדרת אימות עבור משאבים אלה בעת הפריסה.

לבסוף, השתמשו ב-API של הסוכן כדי לפרוס המודל לנקודת קצה של השירות: from databricks import agents y agents.deploy(model_name, model_version)כאשר נקודת הקצה תתחיל, תוכלו צ'אט מ-AI Playgroundשתפו אותו עם גורמים מעוניינים והתחילו לאסוף משוב.

אם אתם רוצים להמשיך להשתפר, Databricks מציעה מדריכים למדידת איכות סוכנים , בניית סוכנים עם אחזור נתונים (RAG) על נתונים לא מובנים ובקרה על שיחות מרובות-תורות, כמו גם חלופות עם LangGraph, Python טהור או OpenAI.

ResponsesAgent: הממשק המודרני לסוכני ייצור

למרות צ'אט סוכן זה עובד טוב, MLflow ממליץ על זה היום סוכן תגובות עבור סוכנים רציניים. ממשק זה תואם לתוכנית Responses מ-OpenAI ומאפשר שילוב של סוכנים מ- כל מסגרת עם היכולות של Databricks (רישום, מעקב, הערכה, פריסה ותצפית) ללא חיכוכים.

יתרונות עיקריים: תמיכה מובנית עבור Sistemas סוכן מרובה, מצב יציאה נהירה, היסטוריה מלאה של הודעות וקריאות כלים, אישור של קריאות כלים ו כלים עמידים לאורך זמן. יתר על כן, הוא מציע ממשקים מודפסים בפייתון, הסקת חתימה אוטומטית, מעקב אוטומטי אחר predict y predict_stream וטבלאות הסקה משופרות באמצעות שער בינה מלאכותית.

דרישות התקנה עבור גישה זו: databricks-agents 1.2.0 +, mlflow 3.1.3 + y פייתון 3.10+ (באמצעות Serverless או Databricks Runtime 13.3 LTS+). Databricks ממליצה גם על החבילות הבאות: גשר בינה מלאכותית עבור אינטגרציות נפוצות.

אינטגרציות שימושיות: databricks-openai (OpenAI), databricks-langchain (LangChain/LangGraph), databricks-dspy (DSPy) ו databricks-ai-bridge (סוכנים בפייתון טהור). בעזרת החלקים האלה ניתן לבנות כל דבר, החל מסוכנים פשוטים ועד צינורות מורכבים עם שחזור וקריאה לכלי.

אם כבר יש לך סוכן מובנה, עטוף אותו במחלקה שיורשת מ mlflow.pyfunc.ResponsesAgentיישום predict כדי להמיר את הקלטים והפלטים ל סכימת ResponsesAgentלסטרימינג, הסתמכו על predict_stream, פולט דלתות ואירוע אחרון response.output_item.done אנא הוסף את התשובה המלאה.

בנוגע לשגיאות סטרימינג, Mosaic AI מפיץ את הכשל יחד עם האסימון האחרון שבתוכו. databricks_output.errorהלקוח שלך צריך ללכוד ולהציג אותו בצורה נכונה, ולשפר את חוויית טיהור.

מערכות שחזור, קלטים מותאמים אישית ומעקב

סוכנים רבים משתמשים ממחזרים עבור RAGs על פני אינדקסים וקטוריים. אם טווחי האחזור שלך חושפים סכימה שונה, אתה יכול למפות אותה עם mlflow.models.set_retriever_schemaהכרזה primary_key, text_column, doc_uri ועמודות אחרות. לפיכך, AI Playground יציג קישורים למקורות התאושש וההערכה תחול מדדי רלוונטיות באופן אוטומטי.

במקרים בהם הסוכן שלך דורש מידע נוסף (לדוגמה, סוג_לקוח o session_id), משתמש custom_inputs ומחזירה מטא-דאטה ב custom_outputs שלא אמור לזהם את היסטוריית הצ'אט. גם AI Playground וגם אפליקציית הביקורות מאפשרים לך להיכנס קלט_מותאם_ל מממשק המשתמש.

פריסה עם deploy(), דרישות ופעולות אוטומטיות

כדי לפרסם את הסוכן שלך ב-Mosaic AI Model Serving, השתמש בפונקציה deploy() של ה-API של Python. ב-MLflow 3, התקן mlflow >= 3.1.3 y databricks-agents >= 1.1.0 (אם אתם פורסים מחוץ למחשבים ניידים). ב-MLflow 2.x, המינימום משתנה (לדוגמה, mlflow >= 2.13.1 y databricks-agents >= 0.12.0לְהַבטִיחַ רשום את הסוכן בקטלוג Unity לפני הפריסה.

לקרוא ל deploy() בניית נקודת קצה ניתנת להרחבה עם איזון אוטומטי, הגדר את אימות מאובטח עבור משאבי Databricks (אינדקסים וקטוריים, פונקציות קטלוג) —בדיקת הרשאות בעלים—, ומפעיל את סקירת בקשה לשיתוף פעולה עם בעלי עניין.

זה גם מאפשר ניטור בזמן אמת ב-MLflow (עם עקבות בניסוי הפעיל ובטבלאות הסקה). ב-MLflow 3, ניתן להגדיר ניטור ייצור עם הערכת איכות אוטומטית; בקשות REST והערות נרשמות בטבלאות הסקה (באמצעות ממשקי API מודרניים של משוב).

כדי להתאים אישית, העבר ארגומנטים אל deploy() כמו scale_to_zero_enabled=Trueהפחתת עלויות לאחר השבתה על חשבון זמן השהייה גבוה יותר בבקשה הראשונה. בנוסף, יש לך שירותים עבור רשימה, קבלת ומחיקה פריסות דרך ממשק ה-API של הסוכן.

שיטות עבודה מומלצות עבור דפוסי מצב, תצורה וביצוע

הגשת המודל מבוזרת: הימנע מטמונים מקומיים ומניח שתשובות שונות יכולות להתמודד עם תפניות שונות בשיחה. זה בונה מחדש את המצב מה מילון של ResponsesAgentRequest בכל אחד predict ולתכנן את המדינה כך שתהיה בטוח בפני חוטים.

מאתחל את המצב בתוך predict ולא בבונה הסוכנים, מכיוון שעתק יחיד יכול לטפל בשיחות ממשתמשים שונים. זה מונע דליפות מידע וסכסוכי מקביליות בסביבות תפוקה גבוהה.

פרמטריזציה של התנהגות הסוכן באמצעות ModelConfig (מילון או YAML). הגדירו, לדוגמה, model_serving_endpointפרמטרים של LLM ותבניות הנחיות; טען את התצורה הזו לפיתוח וקדם אותה לייצור בלי לגעת בקוד.

הימנע מהכנסת לולאות אירועים או מסגרות אסינכרוניות בשרת הסוכן: Databricks מטפל במקביליות באופן פנימי . השתמש בקוד סינכרוני או בקריאה חוזרת; אחרת, אתה עלול להיתקל בשגיאות כגון "לולאת אירועים זו כבר פועלת" והתנהגות לא יציבה.

לבני סוכן: אוטומציה "ללא קוד" להאצת ערך

Agent Bricks, שהוצגה בשנת 2025, מציעה תהליך עבודה חלק ליצירת סוכנים שאינו דורש קידוד . אתם מזינים את המשימה בשפה טבעית, מחברים את הנתונים שלכם, והפלטפורמה בוחרת מודלים, מייצרת נתונים סינתטיים , מעריכה ומשפרת את התהליך עד שהיא מספקת סוכן מוכן לייצור עם ניהול Unity Catalog.

בין יתרונותיה נמנים אוטומציה מקצה לקצה , גמישות ב-Databricks - עם נקודות קצה שניתן להתרחב לאפס לאחר 3 ימי חוסר פעילות -, ניתוחי שימוש ועלויות ב-Lakehouse ובסוגי סוכנים מוכנים (חילוץ מידע, LLM מותאם אישית , עוזר ידע ומפקח רב-סוכנים לתזמור מורכב).

המגבלות כוללות את העובדה שהקוד שנוצר אינו ניתן להורדה כרגע , מה שמפחית את הצורך בהתאמה אישית מעמיקה, וקטלוג התבניות מכוון לארגונים שכבר משולבים עם Lakehouse ו-Unity Catalog. חלק מהמשתמשים גם מוצאים את מדדי העלות חסרי פירוט .

דוגמאות, סוכנים מרובי סוכנים וסוכנים בעלי מצבים

בתיעוד הרשמי, תמצאו מחברות עם OpenAI (צ'אט פשוט וקריאות כלים, הן עבור מודלים המתארחים ב-Databricks והן עבור מודלים המתארחים ב-OpenAI), LangGraph (הפעלת כלים) ו- DSPy (קריאות כלים בסיבוב אחד). אלו מהווים בסיס מצוין להרחבת הפונקציונליות עם כלים מותאמים אישית והערכות איכות.

כדי לתזמר מספר מומחים, ניתן להקים מערכות משתפות פעולה באמצעות כלים כמו Genie. ואם אתם מעוניינים בזיכרון שיחה, יש תמיכה בסוכנים בעלי מצב המאפשרים נקודות בקרה ושמירה על שרשורי צ'אט.

בתיעוד הרשמי, תמצאו מחברות עם OpenAI (צ'אט פשוט וקריאות כלים, הן עבור מודלים המתארחים ב-Databricks והן עבור מודלים המתארחים ב-OpenAI), LangGraph (הפעלת כלים) ו- DSPy (קריאות כלים בסיבוב אחד). אלו מהווים בסיס מצוין להרחבת הפונקציונליות עם כלים מותאמים אישית והערכות איכות.

אפליקציות ב-Databricks: ממשק משתמש עם React ו-backend ב-FastAPI

אפליקציות Databricks מספקות פלטפורמה חזקה לאספקת ממשקים עשירים מבלי להגדיר תשתית חיצונית. הן משתלבות באופן טבעי עם Databricks SQL, Unity Catalog , Model Serving ו-Jobs, ויורשות את בקרות האבטחה והתאימות של הפלטפורמה.

דפוס מעשי מאוד הוא ליצור ממשק קצה (frontend) עם React (התומך בסטרימינג, רינדור הודעות ו-Markdown UX) וממשק קצה (backend) עם FastAPI שפועל כגשר לנקודת הקצה של הסוכן. ה-backend מנתב את בקשת המשתמש לשירות המודל ומחזיר את התגובה המובנית ללקוח.

ב-FastAPI, סדר ההרכבה של אפליקציות המשנה חשוב: app.mount("/api", api_app) מפנה נתיבי API (לדוגמה, /api/chat) ו app.mount("/", ui_app) הוא משרת את הקבצים הסטטיים מגירסת React בספריית השורש. סכימה זו שומרת על בהירות המסלולים ומפריד בין ממשק המשתמש לנקודות קצה.

הגדרת משתני סביבה (למשל, SERVING_ENDPOINT_NAME או ה-FQN של מודל הסוכן בקטלוג Unity) מהגדרת האפליקציה ב-Databricks. קומפילציה של ממשק הקצה (npm run build), מסנכרן קבצים, מצהיר על תלויות (requirements.txt) ומתחיל עם גוניקורן + יוביקורן עובדים עבור ASGI.

מקרה אמיתי: צ'אטבוט לפעילות ייצור

בתרחישי ניהול תפעול ייצור (MOM), צ'אטבוט של Databricks יכול לסייע למנהלי ייצור בניתוח צווארי בקבוק , מעקב אחר מלאי ויצירת דוחות. פונקציות נחשפות ככלים בקטלוג Unity (דרך SQL או Python), והסוכן מפעיל אותן בהתאם להקשר.

דוגמאות: פונקציה identify_bottleneck_station הוא מפעיל שאילתות ב-Databricks SQL כדי לזהות את השלב שגורם לעיכובים הגדולים ביותר; שלב נוסף, check_inventory_levelsזה מחזיר מלאי בזמן אמת. הסוכן יכול גם לשלוח מיילים, להפיק דוחות ולבצע ניתוח סנטימנט, הכל מתואם באמצעות קריאות לכלי עבודה.

פריסת נקודת הקצה של Model Serving משמשת כ- backend סטנדרטי . אפליקציית React צורכת נקודת קצה זו, מציגה תגובות בזמן אמת עם חוויית משתמש מלוטשת ותומכת בהזרמת אסימונים כאשר היא מופעלת ב-ResponsesAgent שלך.

הגירה מ-ChatCompletions ותאימות

אם הסוכן הישן שלך משתמש ב- ChatCompletions API של OpenAI , תוכל לעבור ל- ResponsesAgent עם מכולה שמתרגמת הודעות נכנסות/יוצאות, ובאופן אופציונלי, ממפה דלתות סטרימינג ל- ResponsesAgentStreamEvent . פעולה זו מודרניזציה של טלמטריה ותצפיות מבלי לכתוב מחדש את הלוגיקה המרכזית.

לצורך רישום וניהול פריסות, ממשק ה-API של הסוכן מאפשר לך לפרט פריסות קיימות, לאחזר פריסה ספציפית (לפי שם וגרסה) ולהסיר נקודות קצה שאינן נחוצות לך עוד. זכור לנהל אישורי משאבים חיצוניים באמצעות משתני סביבה וסודות.

Databricks מציעה נתיב שלם: החל מרעיון עם AI Playground או אוטומציה עם Agent Bricks, דרך פיתוח קוד (Mosaic AI, MLflow, LangGraph, DSPy), ועד לאריזה, רישום בקטלוג Unity , פריסה עם deploy() וניטור ייצור. בעזרת שיטות עבודה מומלצות כגון חתימות מודל נכונות , מצב מאובטח בסביבות מבוזרות ותצורה פרמטרית, תוכלו לספק סוכנים אמינים ומנוהלים ומוכנים לשילוב ביישומי אינטרנט בפלטפורמה.

כתבות קשורות:

קלוד 4: אנתרופיק מדמיין מחדש בינה מלאכותית עם מודלים מתקדמים לתכנות וסוכנים אוטונומיים