AI এবং LLMOps সহ DevOps: পাইপলাইন থেকে কথা বলে এমন মডেল পর্যন্ত

ইনফরমটেক ডিজিটাল » মানে » AI এবং LLMOps সহ DevOps: পাইপলাইন থেকে কথা বলে এমন মডেল পর্যন্ত

জেনারেটিভ এআই এবং বৃহৎ ল্যাঙ্গুয়েজ মডেলের আগমন সফটওয়্যার নির্মাণ, স্থাপন এবং পরিচালনার পদ্ধতিকে সম্পূর্ণরূপে বদলে দিয়েছে। এখন আর শুধু ভালো ডেভঅপস পাইপলাইন থাকা বা ক্লাসিক এমএলঅপস প্রয়োগ করাই যথেষ্ট নয় : যখন আপনি এই সমীকরণে একটি এলএলএম (LLM) যুক্ত করেন, তখন আপনি এমন এক জগতে প্রবেশ করেন যেখানে মডেলটি কথা বলে, যুক্তি দেখায়, তাৎক্ষণিক ব্যবস্থা গ্রহণ করে এবং কখনও কখনও অপ্রত্যাশিতভাবে আচরণ করে।

এই নতুন প্রেক্ষাপটে, পরীক্ষা-নিরীক্ষা ও দ্রুত ইঞ্জিনিয়ারিং থেকে শুরু করে ডেপ্লয়মেন্ট, মনিটরিং, নিরাপত্তা এবং ব্যয় অপ্টিমাইজেশন পর্যন্ত LLM-ভিত্তিক অ্যাপ্লিকেশনগুলির সম্পূর্ণ জীবনচক্র পরিচালনা করার জন্য টিমগুলিকে DevOps, AI, এবং LLMOps-এর সমন্বয় করতে হবে । এই নিবন্ধটি জটিলতাগুলি স্পষ্ট করে এবং একটি আধুনিক কার্যক্রমে ChatOps, DevOps, MLOps, GenAIOps, এবং LLMOps-কে কীভাবে একীভূত করা যায়, তা ধাপে ধাপে দেখিয়ে দেয়।

DevOps এবং MLOps থেকে LLMOps পর্যন্ত: কেন মডেলটি আর স্থির থাকে না

বছরের পর বছর ধরে, ইঞ্জিনিয়ারিং দলগুলো সফটওয়্যার ডেলিভারি স্বয়ংক্রিয় করা এবং ডেভেলপমেন্ট ও ইনফ্রাস্ট্রাকচারের মধ্যেকার প্রতিবন্ধকতা কমানোকে অগ্রাধিকার দিয়েছে । এর ফলস্বরূপ ডেভঅপ্স-এর জন্ম হয়: কন্টিনিউয়াস ইন্টিগ্রেশন, কন্টিনিউয়াস ডেপ্লয়মেন্ট, ইনফ্রাস্ট্রাকচার অ্যাজ কোড, অবজার্ভেবিলিটি এবং একটি সহযোগিতামূলক সংস্কৃতি যা বিভিন্ন বিভাগের মধ্যে অন্তহীন হস্তান্তর প্রক্রিয়াকে দূর করে।

যখন ডেটা পণ্যের একটি অংশ হয়ে উঠল, তখন মেশিন লার্নিং মডেলের পুনরুৎপাদনযোগ্যতা এবং শনাক্তযোগ্যতার প্রয়োজনীয়তা মেটাতে এমএলওপিএস (MLOps)-এর উদ্ভব ঘটে । ডেটাসেট ভার্সনিং, ট্রেনিং পাইপলাইন অর্কেস্ট্রেশন, ড্রিফট ডিটেকশন এবং প্রেডিক্টিভ মডেলের ধারাবাহিক মূল্যায়নের মতো অনুশীলনগুলোকে প্রমিত করা হয়েছিল।

সমস্যাটি হলো, এলএলএম (LLM) ডেভঅপ্স (DevOps) এবং এমএলঅপ্স (MLOps)-এর অন্তর্নিহিত অনেক ধারণাকেই ভেঙে দেয় । এগুলো স্ট্যাটিক এপিআই (API) বা এমন কোনো সাধারণ ফাংশন নয় যা একটি নির্দিষ্ট সংখ্যা ফেরত দেয়: এগুলো স্বাভাবিক ভাষায় সাড়া দেয়, প্রেক্ষাপট, নির্দেশনা, টুলস এবং রিয়েল-টাইম ডেটা মিশ্রিত করে, এবং একই ইনপুটের জন্য দুটি ভিন্ন আউটপুট তৈরি করতে পারে।

এর অর্থ হলো , মডেল এবং এর ওয়েটগুলোর ভার্সন তৈরি করাই যথেষ্ট নয় ; এর পাশাপাশি প্রম্পট, টেমপ্লেট, সিমান্টিক সিকিউরিটি পলিসি, রেস্ট্রিকশন, কানেক্টেড টুলস, ইনজেক্টেড কনটেক্সট এবং এমনকি সিস্টেমের আচরণকে প্রভাবিত করে এমন বিজনেস রুলগুলোকেও নিয়ন্ত্রণ করা প্রয়োজন।

LLMOps কী এবং এটি আসলে কী সমাধান করে?

আমরা LLMOps-কে এমন একটি পরিচালন কাঠামো হিসেবে দেখতে পারি যা LLM-ভিত্তিক অ্যাপ্লিকেশনগুলির নিরাপদ, নিয়ন্ত্রিত এবং টেকসই স্থাপন, রক্ষণাবেক্ষণ এবং স্কেলিং সক্ষম করে । এটি এমন একটি ছাতা যার অধীনে DevOps অনুশীলন, MLOps এবং জেনারেটিভ মডেলের জন্য নির্দিষ্ট নতুন সক্ষমতাগুলি সহাবস্থান করে।

মূলত, এলএলএমওপিএস "নিখুঁত মডেল প্রশিক্ষণের" চেয়ে প্রোডাকশনে এর আচরণ নিয়ন্ত্রণের উপর বেশি মনোযোগ দেয় । এর মধ্যে অন্তর্ভুক্ত রয়েছে প্রম্পট ফ্লো কীভাবে ডিজাইন ও ভার্সন করা হয়, এলএলএম কীভাবে অভ্যন্তরীণ ডেটা সোর্সের সাথে সংযোগ স্থাপন করে, টোকেন খরচ ও ল্যাটেন্সি কীভাবে পর্যবেক্ষণ করা হয় এবং সিমান্টিক ঝুঁকি (যেমন বিভ্রম, তথ্য ফাঁস, পক্ষপাত, ক্ষতিকর প্রতিক্রিয়া ইত্যাদি) কীভাবে পরিচালনা করা হয়।

এলএলএমওপিএস যেসব চাহিদা পূরণ করে, এবং যা কেবল ডেভওপিএস/এমএলওপিএস দিয়ে মেটানো সম্ভব নয়, তার মধ্যে কথোপকথনের উৎস শনাক্তকরণ, প্রতিক্রিয়ার মানের স্বয়ংক্রিয় মূল্যায়ন, এবং আচরণের বিভিন্ন রূপের এ/বি টেস্টিং-এর মতো নানা দিক অন্তর্ভুক্ত । আমরা এখানে শুধু চিরাচরিত নির্ভুলতার কথা বলছি না, বরং ধারাবাহিকতা, ব্যবসার সাথে সামঞ্জস্য এবং নিরাপত্তার কথাও বলছি।

তাছাড়া, খরচ এখন আর শুধু মডেল ট্রেনিং এবং হোস্টিংয়ের মধ্যে সীমাবদ্ধ নেই : প্রতিটি প্রম্পট, প্রতিটি এক্সটেন্ডেড কনটেক্সট এবং প্রতিটি কনকারেন্ট কল বাণিজ্যিক এপিআইগুলোতে জিপিইউ বা টোকেন ব্যবহারকে সক্রিয় করে। এই ব্যয়কে দৃশ্যমান করতে এবং এটিকে সরঞ্জাম, পরিষেবা ও ব্যবহারের ক্ষেত্রগুলোর সাথে সংযুক্ত করার জন্য একটি এলএলএমওপিএস লেয়ার না থাকলে, বিল অপ্রত্যাশিতভাবে বাড়তে থাকে।

ChatOps + LLMOps + DevOps: ক্রিয়াকলাপগুলি কথোপকথনমূলক হয়ে ওঠে

সবচেয়ে শক্তিশালী প্রবণতাগুলোর মধ্যে একটি হলো DevOps সংস্কৃতির মধ্যে ChatOps এবং LLMOps-এর একীকরণ । ড্যাশবোর্ড, স্ক্রিপ্ট এবং পাইপলাইনে সীমাবদ্ধ থাকার পরিবর্তে, টিমগুলো এখন স্ল্যাক, মাইক্রোসফট টিমস বা ডিসকর্ডের মতো চ্যাট চ্যানেলের মাধ্যমে সিস্টেমের একটি উল্লেখযোগ্য অংশ পরিচালনা করতে শুরু করেছে।

চ্যাটঅপ্স প্রস্তাব করে যে, দৈনন্দিন কার্যক্রম (যেমন ডেপ্লয়মেন্ট, লগ কোয়েরি, রিবুট, কনফিগারেশন পরিবর্তন) সম্পূর্ণ টিমের কাছে স্বচ্ছভাবে কমিউনিকেশন চ্যানেলের মধ্যেই বট দ্বারা সম্পাদিত হবে । প্রতিটি কমান্ড, অ্যাকশন এবং ফলাফল কথোপকথনে রেকর্ড করা হয়।

যখন সেই পদ্ধতিতে একটি এলএলএম (LLM) যুক্ত করা হয়, তখন বুদ্ধিমত্তার একটি নতুন স্তর আবির্ভূত হয়: এমন চ্যাটবট যা স্বাভাবিক ভাষা বোঝে, উদ্দেশ্য ব্যাখ্যা করে এবং অপারেটরের প্রতিটি সঠিক স্ক্রিপ্ট বা সংকেত মনে রাখার প্রয়োজন ছাড়াই জটিল কমান্ড কার্যকর করতে বা পরিস্থিতি বিশ্লেষণ করতে পারে।

এই সমন্বয়ের সাধারণ উদাহরণগুলির মধ্যে রয়েছে একজন এলএলএম দ্বারা চালিত একটি বট, যা কেউ "গ্রুপ X-এর পরিষেবাটি ধীর" টাইপ করলে প্রমিথিউস থেকে মেট্রিক্স এবং লোকি থেকে লগ পড়ে এবং রেপ্লিকা স্কেলিং, রোলব্যাক করা বা নির্দিষ্ট পরীক্ষা চালু করার মতো পদক্ষেপের পরামর্শ দেয়, যার সবকিছুই স্বাভাবিক ভাষায় ব্যাখ্যা করা হয়।

সাংস্কৃতিক ও কার্যনির্বাহী পর্যায়ে এর ফলস্বরূপ দ্রুত সিদ্ধান্ত গ্রহণ, পুনরাবৃত্তিমূলক কাজে মানুষের হস্তক্ষেপ হ্রাস এবং ডেভঅপস দলগুলোর জন্য একটি মসৃণ অভিজ্ঞতা নিশ্চিত হয় , যার ফলে তারা ক্রমাগত সমস্যা সমাধানের পরিবর্তে কৌশলগত উন্নতির কাজে মনোনিবেশ করতে পারে।

উৎপাদনে LLM জীবনচক্রের মূল নীতিগুলি

একটি সুষ্ঠু এলএলএম প্রোগ্রাম পরিচালনা করা কোনো এককালীন প্রকল্প নয়; এটি একটি পুনরাবৃত্তিমূলক চক্র যেখানে প্রতিটি পরিবর্তন সিস্টেমের আচরণ বদলে দিতে পারে । যদিও প্রতিটি সংস্থা এটিকে তার নিজস্ব বাস্তবতার সাথে খাপ খাইয়ে নেয়, সাধারণত এর ছয়টি প্রধান ও স্ব-শক্তিবর্ধক পর্যায় থাকে।

প্রথম পর্যায়টি হলো মডেল প্রশিক্ষণ বা অভিযোজন , যা একটি মৌলিক মডেলকে সরাসরি ব্যবহার করা থেকে শুরু করে আপনার নিজস্ব ডেটার উপর ফাইন-টিউনিং, লোরা (LoRa) বা অন্যান্য টিউনিং কৌশল প্রয়োগ করা পর্যন্ত হতে পারে। এখানে শুধু পারফরম্যান্সই গুরুত্বপূর্ণ নয়, বরং একটি সম্পূর্ণ রেকর্ড রেখে যাওয়াও জরুরি: ডেটাসেট, প্রয়োগকৃত ফিল্টার, হাইপারপ্যারামিটার, টোকেনাইজার সংস্করণ, পরীক্ষিত আর্কিটেকচার ইত্যাদি।

এই পর্যায়টি যদি অপরিকল্পিতভাবে করা হয় এবং নথিভুক্ত না করা হয়, তবে মডেলটি সুশাসন ছাড়াই জন্ম নেয় । পরবর্তীতে, এটি কেন সেভাবে কাজ করে তা ব্যাখ্যা করা অথবা নিরীক্ষার প্রয়োজনে কোনো নির্দিষ্ট ফলাফল পুনরায় তৈরি করা প্রায় অসম্ভব হয়ে পড়বে।

দ্বিতীয় পর্যায়টি হলো ডেপ্লয়মেন্ট, যেখানে মডেলটি ল্যাব থেকে বেরিয়ে প্রোডাকশনে প্রবেশ করে। LLMOps-এ, এটি কেবল 'একটি কন্টেইনারে রেখে দেওয়া'-র মধ্যেই সীমাবদ্ধ নয়: আপনাকে সিদ্ধান্ত নিতে হয় কোন হার্ডওয়্যার ব্যবহার করবেন , দীর্ঘ সময় ধরে চলা কনটেক্সটগুলোর জন্য মেমরি কীভাবে পরিচালনা করবেন, কোন ক্লাস্টার টপোলজি প্রয়োগ করবেন, এবং ল্যাটেন্সি আকাশচুম্বী না হয়ে বা খরচ নিয়ন্ত্রণহীন না হয়ে ট্র্যাফিক অনুযায়ী কীভাবে স্কেল করবেন ।

এরপরেই, অবিচ্ছিন্ন আচরণ-ভিত্তিক পর্যবেক্ষণ কার্যকর হয় । শুধু সিপিইউ এবং র‍্যাম ব্যবহারের দিকে নজর রাখাই যথেষ্ট নয়; প্রতিক্রিয়ার অর্থগত মান, শৈলীর স্থিতিশীলতা, ভুলের হার, প্রতি টোকেনের খরচের বিবর্তন, বিপজ্জনক বা অসামঞ্জস্যপূর্ণ প্রতিক্রিয়ার উপস্থিতি এবং বিভিন্ন ব্যবহারের ধরনে প্রতিক্রিয়ার সময়ে পরিবর্তন পর্যবেক্ষণ করাও প্রয়োজন।

পরবর্তী পর্যায়গুলিতে অপ্টিমাইজেশন এবং সূক্ষ্ম সমন্বয়ের কাজগুলি করা হয়: যেমন প্রম্পট সামান্য পরিবর্তন করা, RAG সামঞ্জস্য করা, মডেলের বিভিন্ন সংস্করণ পরীক্ষা করা, কোয়ান্টাইজিং করা, A/B টেস্টিং পরিচালনা করা, সিমান্টিক নিরাপত্তা নীতি পরিবর্তন করা, বা ব্যবসায়িক নিয়ম পরিমার্জন করা । এটি প্রায় একটি শৈল্পিক প্রক্রিয়া, যেখানে ডেটা, ইঞ্জিনিয়ারিং এবং ব্যবসা বিভাগ একত্রিত হয়ে অগ্রাধিকারের বিষয়ে সিদ্ধান্ত নেয়।

অবশেষে, এই সবকিছু নিরাপত্তা ও সুশাসনের বিভিন্ন স্তরের (প্রবেশাধিকার নিয়ন্ত্রণ, নিরীক্ষা, তথ্য ফাঁস প্রতিরোধ, ব্যবহারের সীমা, নিয়ন্ত্রক বিধি-বিধানের প্রতিপালন) এবং নিরন্তর হালনাগাদের একটি যুক্তির আওতায় থাকে, যেখানে মডেল ও এর বাস্তুতন্ত্রকে ডেটা, প্রবিধান এবং অভ্যন্তরীণ চাহিদার পরিবর্তনের সাথে খাপ খাইয়ে নেওয়া হয়।

Azure-এ GenAIOps এবং বিজ্ঞপ্তি প্রবাহ পদ্ধতি

LLMOps জগতের মধ্যে, এই জীবনচক্রের কাঠামো তৈরির জন্য সুনির্দিষ্ট কিছু প্রস্তাবনা রয়েছে। কর্পোরেট পরিবেশে সবচেয়ে উন্নতগুলোর মধ্যে একটি হলো GenAIOps, যা Azure DevOps-এর সাথে সমন্বিত Azure Machine Learning-এর প্রম্পট ফ্লো ব্যবহার করে এবং LLM-ভিত্তিক অ্যাপ্লিকেশন তৈরির জন্য একটি অত্যন্ত পদ্ধতিগত পন্থা প্রদান করে।

প্রম্পট ফ্লো শুধুমাত্র একটি প্রম্পট এডিটর নয়; এটি এলএলএম ইন্টারঅ্যাকশন ফ্লো ডিজাইন, টেস্টিং, ভার্সনিং এবং ডিপ্লয় করার জন্য একটি সম্পূর্ণ প্ল্যাটফর্ম; যা সাধারণ ক্ষেত্র (একটিমাত্র প্রম্পট) থেকে শুরু করে একাধিক নোড, এক্সটার্নাল টুল, কন্ট্রোল এবং অটোমেটেড ইভ্যালুয়েশন সহ জটিল অর্কেস্ট্রেশন পর্যন্ত সব ধরনের ফ্লো পরিচালনা করতে পারে।

এর একটি গুরুত্বপূর্ণ বৈশিষ্ট্য হলো কেন্দ্রীভূত ওয়ার্কফ্লো রিপোজিটরি , যা একটি কর্পোরেট লাইব্রেরি হিসেবে কাজ করে। প্রতিটি দলের নির্দেশিকাগুলো আলাদা ডকুমেন্ট বা নিজস্ব রিপোজিটরিতে রাখার পরিবর্তে, সেগুলোকে একটিমাত্র পরিচালিত রিপোজিটরিতে একত্রিত করা হয়, যেখানে সুস্পষ্ট ব্রাঞ্চ, রিভিশন এবং হিস্ট্রি থাকে।

এছাড়াও, প্ল্যাটফর্মটি বিভিন্ন ভ্যারিয়েন্ট এবং হাইপারপ্যারামিটার নিয়ে পরীক্ষা-নিরীক্ষার সুবিধা যোগ করে: এর মাধ্যমে ফ্লো-এর একাধিক নোডে প্রম্পট, মডেল, তাপমাত্রা সেটিংস বা নিরাপত্তা নীতির বিভিন্ন সংমিশ্রণ পরীক্ষা করা এবং সুস্পষ্ট মেট্রিক্সের সাহায্যে ফলাফল তুলনা করা সম্ভব ।

ডেপ্লয়মেন্টের ক্ষেত্রে, নোটিফিকেশন ফ্লো সহ GenAIOps এমন ডকার ইমেজ তৈরি করে যা ফ্লো এবং প্রসেস সেশন উভয়কেই ধারণ করে এবং যা Azure App Services, Kubernetes বা ম্যানেজড প্রসেসের মতো পরিবেশে চালানোর জন্য প্রস্তুত থাকে। এর উপর ভিত্তি করে, বাস্তব পরিবেশে ফ্লো-এর বিভিন্ন ভার্সনের তুলনা করার জন্য A/B ডেপ্লয়মেন্ট সক্ষম করা হয়।

এর আরেকটি শক্তি হলো ডেটাসেট এবং ফ্লো-এর মধ্যকার সম্পর্ক ব্যবস্থাপনা। প্রতিটি মূল্যায়ন ফ্লো একাধিক স্ট্যান্ডার্ড এবং টেস্ট ডেটাসেট নিয়ে কাজ করতে পারে , যার ফলে চূড়ান্ত ব্যবহারকারীদের হাতে কিছু তুলে দেওয়ার আগে বিভিন্ন পরিস্থিতিতে এর আচরণ যাচাই করা সম্ভব হয়।

প্ল্যাটফর্মটি শুধুমাত্র প্রকৃত পরিবর্তন হলেই ডেটাসেট এবং ফ্লো-এর নতুন সংস্করণগুলো স্বয়ংক্রিয়ভাবে নথিভুক্ত করে এবং স্বজ্ঞার পরিবর্তে তথ্য-ভিত্তিক সিদ্ধান্ত গ্রহণে সহায়তা করার জন্য CSV এবং HTML-এর মতো ফরম্যাটে বিশদ প্রতিবেদন তৈরি করে ।

বিজ্ঞপ্তি প্রবাহ সহ GenAIOps-এর চারটি পর্যায়

GenAIOps পদ্ধতি জীবনচক্রকে চারটি স্পষ্টভাবে পৃথক পর্যায়ে বিভক্ত করে, যা "আমরা AI দিয়ে চেষ্টা করি এবং দেখি কী হয়" - এই সাধারণ বিশৃঙ্খলা এড়াতে সাহায্য করে।

প্রথম পর্যায়, অর্থাৎ প্রারম্ভিকীকরণ, ব্যবসায়িক উদ্দেশ্যকে সুনির্দিষ্টভাবে সংজ্ঞায়িত করা এবং প্রতিনিধিত্বমূলক ডেটার উদাহরণ সংগ্রহ করার উপর আলোকপাত করে । এখানে প্রম্পট ফ্লো-এর মৌলিক কাঠামোর রূপরেখা তৈরি করা হয় এবং আর্কিটেকচারটি ডিজাইন করা হয়, যা পরবর্তীতে পরিমার্জন করা হবে।

পরীক্ষণ পর্যায়ে, এই নমুনা ডেটার উপর কার্যপ্রবাহটি প্রয়োগ করা হয় এবং প্রম্পট, মডেল ও কনফিগারেশনের বিভিন্ন রূপ মূল্যায়ন করা হয় । ন্যূনতম গুণমান ও সামঞ্জস্যের শর্ত পূরণ করে এমন একটি গ্রহণযোগ্য সমন্বয় না পাওয়া পর্যন্ত এই পুনরাবৃত্তি চলতে থাকে।

এরপর আসে মূল্যায়ন ও পরিমার্জন পর্যায়, যেখানে কঠোর বেঞ্চমার্কিংয়ের জন্য আরও বড় এবং বৈচিত্র্যময় ডেটাসেট ব্যবহার করা হয় । শুধুমাত্র যখন ফ্লোটি নির্ধারিত মানদণ্ডের সাথে সামঞ্জস্যপূর্ণ ধারাবাহিক কর্মক্ষমতা প্রদর্শন করে, তখনই এটিকে পরবর্তী ধাপের জন্য প্রস্তুত বলে মনে করা হয়।

অবশেষে, বাস্তবায়ন পর্যায়ে, কর্মপ্রবাহটিকে দক্ষতার জন্য অপ্টিমাইজ করা হয় এবং প্রোডাকশনে স্থাপন করা হয়, যার মধ্যে এ/বি টেস্টিং, পর্যবেক্ষণ, ব্যবহারকারীর মতামত এবং ক্রমাগত উন্নতির চক্র অন্তর্ভুক্ত থাকে । কোনো কিছুই আসলে শেষ হয় না: বাস্তব ব্যবহারের পর্যবেক্ষণের উপর ভিত্তি করে কর্মপ্রবাহটি ক্রমাগত সামঞ্জস্য করা হতে থাকে।

এই কার্যপদ্ধতিটি একটি GenAIOps রিপোজিটরি টেমপ্লেটে প্যাকেজ করা আছে, যেখানে কোড-ফার্স্ট, পূর্ব-নির্মিত পাইপলাইন এবং স্থানীয় ও ক্লাউড-ভিত্তিক এক্সিকিউশন টুল রয়েছে, যা প্রতিটি প্রকল্পের জন্য নতুন করে সবকিছু তৈরি না করেই LLM-ভিত্তিক অ্যাপ্লিকেশন তৈরি, মূল্যায়ন এবং চালু করতে সাহায্য করে ।

Azure DevOps-এর সাথে ইন্টিগ্রেশন: রিপোজিটরি, পাইপলাইন এবং প্রমাণীকরণ

GenAIOps-কে তত্ত্ব থেকে একটি বাস্তব প্রতিষ্ঠানে রূপ দিতে, এটিকে Azure DevOps-এর সাথে একীভূত করা অপরিহার্য। এর সাধারণ টেমপ্লেটটি Azure Repos-এ একটি রিপোজিটরি দিয়ে শুরু হয়, যেখানে main এবং development নামে দুটি প্রধান ব্রাঞ্চ থাকে , যা বিভিন্ন এনভায়রনমেন্ট এবং কোড প্রোমোশন কৌশলকে প্রতিফলিত করে।

স্যাম্পল রিপোজিটরিটি গিটহাব থেকে ক্লোন করে অ্যাজুর রিপো-এর সাথে যুক্ত করা হয় এবং এর সাধারণ কার্যপ্রবাহে ডেভেলপমেন্ট ডিরেক্টরি থেকে ফিচার ব্রাঞ্চ তৈরি করা হয় । এরপর পুল রিকোয়েস্টের মাধ্যমে পরিবর্তনগুলো পুশ করা হয়, যা স্বয়ংক্রিয়ভাবে ভ্যালিডেশন এবং এক্সপেরিমেন্টেশন পাইপলাইন চালু করে।

Azure DevOps-কে Azure Machine Learning এবং অন্যান্য পরিষেবার সাথে যোগাযোগ করতে সক্ষম করার জন্য, Azure-এ একটি সার্ভিস প্রিন্সিপালকে টেকনিক্যাল আইডেন্টিটি হিসেবে কনফিগার করা হয় । এই আইডেন্টিটিটি একটি Azure DevOps সার্ভিস কানেকশনে ব্যবহৃত হয়, যা পাইপলাইনগুলিকে ক্লিয়ার কী প্রকাশ না করেই অথেন্টিকেট করার সুযোগ দেয়।

সাধারণত, এই এনটিটির এমএল সাবস্ক্রিপশন বা ওয়ার্কার রিসোর্সের উপর ওনার (Owner) পারমিশন থাকে, যা পাইপলাইনগুলোকে এন্ডপয়েন্ট প্রভিশন করতে, মডেল রেজিস্টার করতে এবং কীস্টোরে পলিসি আপডেট করতে অনুমতি দেয় । বর্ধিত নিরাপত্তার জন্য, পারমিশন পরিচালনা করে এমন YAML স্টেপগুলো পরিবর্তন করে একে কন্ট্রিবিউটর (Contributor) রোলে পরিবর্তন করা যেতে পারে।

এছাড়াও, Azure DevOps-এ একগুচ্ছ ভেরিয়েবল তৈরি করা হয়, যেখানে সার্ভিস কানেকশনের নাম বা রিসোর্স আইডেন্টিফায়ারের মতো সংবেদনশীল ডেটা সংরক্ষণ করা হয় । এই ভেরিয়েবলগুলো একটি এনভায়রনমেন্ট হিসেবে পাইপলাইনে উন্মুক্ত করা হয়, ফলে কোডে গুরুত্বপূর্ণ তথ্য হার্ডকোড করার প্রয়োজন হয় না।

লোকাল এবং রিমোট রিপোজিটরি কনফিগার করার মাধ্যমে ডেভেলপমেন্ট ব্রাঞ্চকে এমন ব্রাঞ্চ পলিসি দিয়ে সুরক্ষিত করা যায় , যা মার্জ করার আগে একটি পুল রিকোয়েস্ট পাইপলাইন চালানো বাধ্যতামূলক করে। এই পাইপলাইনটি বিল্ড ভ্যালিডেশন এবং এক্সপেরিমেন্টেশন ফ্লো পরিচালনা করে, যার ফলে কোনো ত্রুটিপূর্ণ পরিবর্তন যুক্ত হওয়া প্রতিরোধ করা যায়।

কোডটি ডেভেলপমেন্ট পর্যায়ে প্রবেশ করলে একটি ডেভেলপমেন্ট পাইপলাইন চালু হয়, যার মধ্যে সম্পূর্ণ CI এবং CD পর্যায়গুলো অন্তর্ভুক্ত থাকে : এক্সপেরিমেন্ট ও ইভ্যালুয়েশন চালানো, Azure ML মডেল রেজিস্ট্রি-তে ফ্লো রেজিস্টার করা, এন্ডপয়েন্ট ও স্মোক টেস্ট ডেপ্লয় করা, এবং নতুন তৈরি করা এন্ডপয়েন্টগুলোতে ইন্টিগ্রেট করা।

একই প্যাটার্নটি প্রোডাকশন এনভায়রনমেন্টের সাথে সংযুক্ত একটি ভার্সন বা রিলিজ ব্রাঞ্চেও প্রতিলিপি করা হয়। সেখানে, প্রোডাকশনের জন্য CI/CD পাইপলাইনগুলো পরীক্ষা, মূল্যায়ন এবং ডেপ্লয়মেন্টের চক্রটি পুনরাবৃত্তি করে , তবে তা প্রোডাকশন-স্তরের পরিকাঠামো এবং ডেটার উপর, যেখানে আরও বেশি নিয়ন্ত্রণ এবং প্রয়োজনে অতিরিক্ত ম্যানুয়াল পর্যালোচনার সুযোগ থাকে।

এই পাইপলাইনগুলির একটি প্রধান বৈশিষ্ট্য হলো এতে অন্তর্ভুক্ত 'লুপ হিউম্যান রিভিউ': CI পর্বের পরে, CD ব্লক হয়ে যায় যতক্ষণ না কোনো ব্যক্তি Azure Pipelines ইন্টারফেস থেকে ম্যানুয়ালি এর ধারাবাহিকতা অনুমোদন করেন। যদি একটি নির্দিষ্ট সময়ের মধ্যে (যেমন, ৬০ মিনিট) এটি অনুমোদিত না হয়, তবে এক্সিকিউশনটি বাতিল হয়ে যায়।

স্থানীয় বাস্তবায়ন এবং এলএলএম প্রদানকারীদের সাথে সংযোগ

সবকিছু পাইপলাইনের মাধ্যমেই ঘটে না: দ্রুত পরীক্ষা-নিরীক্ষার জন্য GenAIOps লোকাল এক্সিকিউশনও সমর্থন করে । আপনি টেমপ্লেট রিপোজিটরিটি ক্লোন করতে পারেন, রুট ডিরেক্টরিতে একটি .env ফাইল তৈরি করতে পারেন এবং এর মধ্যে Azure OpenAI বা অন্যান্য সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের সাথে সংযোগ স্থাপন করতে পারেন।

এই সংযোগগুলিতে api_key, api_base, api_type, এবং api_version-এর মতো প্যারামিটার অন্তর্ভুক্ত থাকে এবং ফ্লো-এর মধ্যে নাম দ্বারা এদের উল্লেখ করা হয় (উদাহরণস্বরূপ, একটি নির্দিষ্ট API সংস্করণ সহ "aoai" নামের একটি সংযোগ)। এর ফলে কোডে কোনো পরিবর্তন ছাড়াই একই ফ্লো স্থানীয়ভাবে এবং ক্লাউডে চালানো যায়।

এই পদ্ধতিটি ব্যবহার করতে, কেবল একটি ভার্চুয়াল এনভায়রনমেন্ট বা কন্ডা (conda) তৈরি করুন এবং প্রয়োজনীয় ডিপেন্ডেন্সিগুলো (যেমন promptflow, promptflow-tools, promptflow-sdk, openai, jinja2, python-dotenv ইত্যাদি) ইনস্টল করুন। এরপর, আপনি একটি লোকাল এক্সিকিউশন ফোল্ডারে টেস্ট স্ক্রিপ্ট লিখতে এবং নির্ধারিত ফ্লোগুলোর ওপর পরীক্ষা চালাতে পারবেন।

ক্লাউড ও অন-প্রিমিসেসের এই দ্বৈততা একটি পরিপক্ক ডেভঅপ্স মানসিকতার সাথে পুরোপুরি সামঞ্জস্যপূর্ণ: ছোট পরিসরে টেস্টিং স্থানীয়ভাবে করা হয়, পাইপলাইনে আনুষ্ঠানিক যাচাইকরণ সম্পন্ন করা হয়, এবং তারপর নিয়ন্ত্রণ ও নিরীক্ষার মাধ্যমে বৃহত্তর পরিবেশে ডেপ্লয়মেন্ট করা হয় । সবকিছু গিট-এ ভার্সন করা থাকে এবং অ্যাজুর ডেভঅপ্স-এর সাথে সংযুক্ত থাকে।

AI এবং LLMOps সহ একটি DevOps ইকোসিস্টেমের সাধারণ সরঞ্জামগুলি

অ্যাজুরের নির্দিষ্ট প্রস্তাবনার বাইরে, এআই এবং এলএলএমওপিএস সহ একটি আধুনিক ডেভওপিএস ইকোসিস্টেম সাধারণত চ্যাটওপিএস, মডেল অর্কেস্ট্রেশন, মনিটরিং এবং অবজার্ভেবিলিটি অন্তর্ভুক্তকারী একগুচ্ছ টুলের উপর নির্ভর করে ।

চ্যাটঅপ্স স্তরে, পাইপলাইন, মনিটরিং সিস্টেম এবং অভ্যন্তরীণ পরিষেবাগুলির সাথে সংযোগ স্থাপনকারী কাস্টম অ্যাসিস্ট্যান্ট তৈরি করার জন্য স্ল্যাকের সাথে হাবোটের মতো বট , মাইক্রোসফট টিমস-এর সাথে পাওয়ার ভার্চুয়াল এজেন্টস-ভিত্তিক এজেন্ট, অথবা ডিসকর্ডের সাথে বটপ্রেস বা রাসার মতো ফ্রেমওয়ার্ক যুক্ত করা একটি সাধারণ বিষয়।

LLMOps/MLOps ক্ষেত্রে, পাইপলাইন, মডেল রেকর্ড এবং এক্সপেরিমেন্ট পরিচালনার জন্য Kubeflow ও MLflow-এর মতো প্ল্যাটফর্মগুলো প্রচলিত । এর পাশাপাশি উন্নত মেট্রিক ট্র্যাকিং, রান তুলনা বা গভীর ভিজ্যুয়ালাইজেশনের জন্য Weights & Biases (W&B)-এর মতো নির্দিষ্ট টুলও ব্যবহৃত হয়।

LLM-এ অ্যাপ্লিকেশন তৈরি করতে সাধারণত LangChain-এর মতো ফ্রেমওয়ার্ক বা OpenLLM-এর মতো লাইব্রেরি ব্যবহার করা হয় , যা প্রম্পট চেইন, বাহ্যিক ডেটার সাথে সংযোগকারী, টুলস এবং বহু-ধাপের এজেন্ট একত্রিত করতে সহায়তা করে। একই সাথে, LLM-এর জন্য নির্দিষ্ট পর্যবেক্ষণযোগ্যতার সমাধানও তৈরি হচ্ছে, যা প্রম্পট, প্রতিক্রিয়া, খরচ এবং গুণমান নিরীক্ষণ করতে সক্ষম করে।

ক্লাসিক ডেভঅপ্স-এর সাথে সমন্বয়ের ক্ষেত্রে, CI/CD অংশের জন্য জেনকিন্স বা গিটল্যাব সিআই-এর মতো টুল, নিরবচ্ছিন্ন ক্লাউড-নেটিভ ডেপ্লয়মেন্টের জন্য কুবারনেটিস ও আর্গোসিডি এবং মেট্রিক্স, ড্যাশবোর্ড ও লগের জন্য প্রোমিথিউস, গ্রাফানা ও লোকির মতো অবজার্ভেবিলিটি স্ট্যাকগুলো প্রাসঙ্গিক থাকে।

চ্যালেঞ্জ, সীমাবদ্ধতা এবং প্রগতিশীল গ্রহণ

এই সমস্ত পদ্ধতি ও সরঞ্জাম প্রয়োগের জন্য মূল্যও দিতে হয়। প্রম্পট, মডেল ভার্সন এবং ওয়ার্কফ্লো ভ্যারিয়েন্টগুলো পরিচালনা করার জটিলতা অনেক বেশি, বিশেষ করে যখন একাধিক দল একই সাথে কাজ করে — এমন একটি পরিস্থিতিতে পরিবর্তন ও ডেপ্লয়মেন্ট সমন্বয়ের জন্য গিটঅপস-এর মতো কৌশলগুলো বেশ কার্যকর।

এছাড়াও, কার্যকরী ক্ষমতা সম্পন্ন চ্যাটঅপস বট এবং এলএলএমগুলো উল্লেখযোগ্য নিরাপত্তা ঝুঁকি তৈরি করে, যদি প্রোডাকশন পরিবেশে তাদের অতিরিক্ত অনুমতি থাকে অথবা ডেটা প্রকাশের ক্ষেত্রগুলো যথাযথভাবে নিয়ন্ত্রণ করা না হয়।

এর সাথে যুক্ত হয়েছে সংবেদনশীল লাইসেন্সিংযুক্ত ওপেন-সোর্স মডেল বা বাণিজ্যিক এপিআই-এর উপর নির্ভরতা, যেগুলোর শর্তাবলী, মূল্য বা সীমা পরিবর্তিত হতে পারে। এবং, পরিস্থিতি আরও খারাপ করার জন্য, প্রোডাকশনে এলএলএম-এর নির্ভরযোগ্য মূল্যায়ন এখনও একটি অমীমাংসিত ক্ষেত্র, যেখানে অনেক প্রশ্নের উত্তর এখনও মেলেনি।

তাই, ডেভঅপ্স-এর মধ্যে এলএলএমঅপ্স এবং চ্যাটঅপ্স-এর ব্যবহারকে একটি প্রগতিশীল ও নিয়ন্ত্রিত পদ্ধতিতে গ্রহণ করাই যুক্তিযুক্ত , যার শুরুটা হবে সাধারণ বট ব্যবহার করে পুনরাবৃত্তিমূলক কাজগুলো (যেমন রিবুট, লগ কোয়েরি, বিল্ড ট্যাগিং ইত্যাদি) স্বয়ংক্রিয় করার মাধ্যমে।

পরবর্তীতে, সহায়ক কাজ, ঘটনার শ্রেণীকরণ, বা ডিবাগিং সহায়তার জন্য এলএলএম (LLM) চালু করা যেতে পারে ; যেমন—লগ থেকে ত্রুটি ব্যাখ্যা করা বা অভ্যন্তরীণ ডকুমেন্টেশনের উপর ভিত্তি করে প্রতিকারের প্রস্তাব দেওয়া।

ক্লাসিক এমএল অপারেশন স্থিতিশীল হয়ে গেলে, পূর্ববর্তী পর্যায়গুলোতে শেখা সমস্ত কিছুকে কাজে লাগিয়ে কাস্টমার সার্ভিস, ডেভসেকওপিএস বা কিউএ-এর মতো ডোমেইনগুলোর জন্য বিশেষায়িত ল্যাঙ্গুয়েজ মডেলসহ এলএলএমওপিএস নিয়ে কাজ করার সময় আসে।

এই সমস্ত চর্চা যে দিগন্তের দিকে নির্দেশ করে, তা হলো একটি কথোপকথনমূলক, ভবিষ্যদ্বাণীমূলক এবং ক্রমবর্ধমান স্বায়ত্তশাসিত প্রকৌশল পরিবেশ , যেখানে উন্নয়ন ও পরিচালনার বেশিরভাগই স্বাভাবিক ভাষায় প্রকাশ করা হয় এবং এআই স্থাপন, সম্প্রসারণ বা পূর্বাবস্থায় ফেরানোর বিষয়ে সক্রিয় সিদ্ধান্ত নিতে সাহায্য করে।

DevOps, ChatOps, MLOps, GenAIOps এবং LLMOps-এর এই সমন্বিত রূপের মাধ্যমে প্রতিষ্ঠানগুলো এমন LLM-ভিত্তিক সিস্টেম তৈরি ও টিকিয়ে রাখার জন্য একটি মজবুত কাঠামো পায় , যা গুণমান, খরচ, নিরাপত্তা এবং ব্যবসার সাথে সামঞ্জস্য বজায় রেখে প্রকৃত মূল্য প্রদান করে। এটি নিছক প্রোটোটাইপ বা বিচ্ছিন্ন পরীক্ষা হিসেবে থেকে যায় না, যা প্রোডাকশনে পৌঁছানোর সাথে সাথেই ভেঙে পড়ে।