ওলামা: আপনার কম্পিউটারে স্থানীয় এআই ব্যবহার করার জন্য প্রয়োজনীয় সমস্ত তথ্য।

ইনফরমেটেক ডিজিটাল » রিসোর্স » ওল্লামা: আপনার কম্পিউটারে স্থানীয় এআই ব্যবহার করার জন্য প্রয়োজনীয় সমস্ত তথ্য

আপনি যদি ক্লাউডের উপর নির্ভর না করে শক্তিশালী এআই মডেল নিয়ে কাজ করার কোনো উপায় খুঁজে থাকেন , তাহলে সম্ভবত ওলামার নাম আপনার কানে এসেছে। পেশাদার এবং ব্যক্তিগত উভয় ব্যবহারের জন্য, স্থানীয়ভাবে এআই প্রজেক্ট তৈরি করতে এই টুলটি একটি জনপ্রিয় মাধ্যম হয়ে উঠেছে।

Ollama এনভায়রনমেন্ট সেট আপ করা, বড় ফাইল ডাউনলোড করা এবং ডিপেন্ডেন্সি ও জিপিইউ ড্রাইভার নিয়ে কাজ করার পুরো প্রক্রিয়াটিকে ব্যাপকভাবে সহজ করে তোলে। মূলত, এটি আপনাকে গোপনীয়তা, নিরাপত্তা এবং কাস্টমাইজেশনের উপর বিশেষ গুরুত্ব দিয়ে সরাসরি আপনার কম্পিউটারে লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) ডাউনলোড, পরিচালনা এবং রান করতে দেয়।

ওল্লামা কী এবং এর বিশেষত্ব কী?

Ollama হলো একটি ওপেন-সোর্স প্ল্যাটফর্ম, যা macOS, Windows, এবং Linux-এ স্থানীয়ভাবে LLM চালানোর জন্য ডিজাইন করা হয়েছে । কোনো ক্লাউড এপিআই (যেমন OpenAI-এর) সাথে সংযোগ করার পরিবর্তে, মডেলগুলো আপনার মেশিনে ডাউনলোড হয়ে সেখানেই চলে, যা আপনার সিপিইউ এবং, যেখানে সম্ভব, আপনার জিপিইউ ব্যবহার করে।

এটি উচ্চ-ক্ষমতাসম্পন্ন ইনফারেন্স ইঞ্জিনের উপর নির্মিত এক ধরণের "চালানোর জন্য প্রস্তুত যানবাহন" হিসাবে কাজ করে, যেমন call.cppলাইব্রেরি কম্পাইল করা, ওয়েট রূপান্তর করা, বা হাজারো প্যারামিটার ম্যানুয়ালি অ্যাডজাস্ট করার পরিবর্তে, আপনি সহজ কমান্ড ব্যবহার করেন Como ollama pull মডেল ডাউনলোড করতে অথবা ollama run তাদের সাথে কথা বলতে।

অন্যান্য পদ্ধতির থেকে এর প্রধান পার্থক্য হলো, এটি একটি মডেল ম্যানেজার, এপিআই সার্ভার, সিএলআই এবং কাস্টমাইজেশন সিস্টেমকে একটিমাত্র টুলে একত্রিত করে । এর ফলে আপনি এটিকে টার্মিনাল থেকে অথবা অ্যাপ্লিকেশন, স্ক্রিপ্ট, ওয়েব ফ্রন্টএন্ড বা ওপেন ওয়েবইউআই-এর মতো টুলের সাথে সমন্বিতভাবে ব্যবহার করতে পারেন। এই সমন্বয় অনেক ওয়ার্কফ্লোতে বাহ্যিক বিক্রেতার উপর নির্ভরতা কমিয়ে দেয়।

এছাড়াও, ওলামা বিভিন্ন ধরনের ব্যবহারকারীদের জন্য ডিজাইন করা হয়েছে: যেমন—যেসব ডেভেলপার তাদের অ্যাপে এআই যুক্ত করেন, যেসব গবেষক সংবেদনশীল ডেটা নিয়ে কাজ করেন , যেসব শিক্ষার্থী পড়াশোনা বা লেখার জন্য একটি 'স্থানীয় চ্যাটজিপিটি' চান, এবং যেসব কোম্পানির বাইরের কোনো প্রোভাইডারকে ডেটা পাঠানোর সামর্থ্য নেই।

ওলামার সাথে স্থানীয়ভাবে এলএলএম করার সুবিধাসমূহ

ওলামার এত জনপ্রিয় হওয়ার প্রধান কারণ হলো, এটি ক্লাউডে এআই ব্যবহারের ক্ষেত্রে প্রচলিত কয়েকটি উদ্বেগের সমাধান করে: যেমন গোপনীয়তা ও নিরাপত্তা , খরচ এবং বাহ্যিক নির্ভরতা ।

প্রথমত, মডেলগুলো সরাসরি আপনার মেশিনে চালানোর ফলে, আপনার সমস্ত প্রম্পট, ডকুমেন্ট এবং ফলাফল আপনার নিজের হার্ডওয়্যারেই থেকে যায় । এর বাইরে কিছুই যায় না, যা নিয়ন্ত্রিত পরিবেশে (স্বাস্থ্যসেবা, অর্থায়ন, আইন) অথবা সুরক্ষিত ডেটা (HIPAA, GDPR, ইত্যাদি) নিয়ে কাজ করার ক্ষেত্রে অত্যন্ত গুরুত্বপূর্ণ। যতক্ষণ পর্যন্ত ইনস্ট্যান্সটি সত্যিই স্থানীয় থাকে এবং আপনি তৃতীয় পক্ষের সার্ভারে কিছু না চালান, ততক্ষণ পর্যন্ত ডেটার প্রবাহ আপনার নিয়ন্ত্রণে থাকে।

দ্বিতীয়ত, এপিআই ব্যবহারের ফি আর থাকে না। একবার আপনার টিম সেট আপ হয়ে গেলে, আপনি কোনো প্রোভাইডারকে টোকেন বা সাবস্ক্রিপশনের জন্য অর্থ প্রদান না করেই টেক্সট, কোড বা সারাংশ তৈরি করতে পারবেন । হ্যাঁ, আপনাকে ভালো মানের হার্ডওয়্যারে (বিশেষ করে র‍্যাম এবং সম্ভব হলে একটি জিপিইউ) বিনিয়োগ করতে হবে, কিন্তু এর বিনিময়ে মাসের শেষে আপনার বিলে কোনো অপ্রত্যাশিত খরচ আসবে না।

এর আরেকটি গুরুত্বপূর্ণ সুবিধা হলো, মডেলটি একবার ডাউনলোড হয়ে গেলে ওলামা অফলাইনেও কাজ করে । আপনি যদি দুর্বল নেটওয়ার্ক কভারেজের এলাকায় কাজ করেন, ফিল্ডওয়ার্ক করেন, ঘন ঘন ভ্রমণ করেন, অথবা নেটওয়ার্ক ডাউন হয়ে গেলেও আপনার এআই এনভায়রনমেন্টটি যেন সচল থাকে তা নিশ্চিত করতে চান, তবে এটি খুবই উপকারী।

অবশেষে, এই টুলটি পরীক্ষা-নিরীক্ষার জন্য বিশেষভাবে উপযোগী: আপনি এর মডেলফাইলস সিস্টেমে প্যারামিটার পরিবর্তন করতে, প্রম্পট টেমপ্লেট ব্যবহার করতে, LoRA অ্যাডাপ্টার যোগ করতে বা থার্ড-পার্টি মডেল ইম্পোর্ট করতে পারেন । এটি বিশেষায়িত প্রকল্প বা বিশেষজ্ঞ গবেষণার জন্য একটি অত্যন্ত নমনীয় ভিত্তি তৈরি করে।

বাস্তব স্তরে ওলামা কীভাবে কাজ করে

অভ্যন্তরীণভাবে, ওলামা একটি মডেল চালানোর জন্য প্রয়োজনীয় সবকিছু —যেমন ওয়েট, কনফিগারেশন ফাইল, লাইব্রেরি এবং ডিপেন্ডেন্সি—সহ একটি বিচ্ছিন্ন পরিবেশ তৈরি করে। ব্যবহারকারীর দৃষ্টিকোণ থেকে, আপনাকে শুধু ভাবতে হবে আপনি কোন মডেলটি চান, এটি কীভাবে কম্পাইল করা হয় বা এর জন্য CUDA-এর কোন সংস্করণ প্রয়োজন, তা নিয়ে চিন্তা করতে হবে না।

সাধারণ প্রক্রিয়াটি সহজ: প্রথমে আপনি মডেলটি ডাউনলোড করবেন ollama pull <nombre_modelo>তারপর আপনি এটা দিয়ে চালান ollama run <nombre_modelo> সেখান থেকে আপনি প্রম্পট লিখে এটির সাথে ইন্টারঅ্যাক্ট করতে পারেন। আপনি এটি সরাসরি কনসোলে অথবা এর উন্মুক্ত করা HTTP API-এর মাধ্যমে করতে পারেন। localhost:11434.

যদি GPU উপলব্ধ এবং সামঞ্জস্যপূর্ণ হয় (যেমন NVIDIA, AMD, Metal-এর মাধ্যমে Apple Silicon), Ollama সেটি ব্যবহার করার চেষ্টা করে । অন্যথায়, এটি CPU-এর উপর নির্ভর করে। আধুনিক ডেডিকেটেড GPU যুক্ত সিস্টেমে, আপনি পারফরম্যান্সে একটি উল্লেখযোগ্য উন্নতি লক্ষ্য করবেন, বিশেষ করে বড় মডেলগুলোর ক্ষেত্রে। তবে, মেমরি ব্যবহার কমানোর জন্য GPU-এর কোয়ান্টাইজড সংস্করণ ব্যবহার করে এটিকে শুধু CPU দিয়েও চালানো যায়।

macOS এবং Windows-এ, Ollama একটি অ্যাপ্লিকেশন হিসেবে ইনস্টল হয় যা ব্যাকগ্রাউন্ডে চলে এবং কমান্ডটি যোগ করে। ollama সিস্টেমে। লিনাক্সে, এটি সাধারণত আপনার পছন্দের উপর নির্ভর করে একটি systemd পরিষেবা হিসাবে বা একটি ডকার কন্টেইনারের মধ্যে চলে। আরও জটিল পরিবেশে বা যখন আপনি নির্ভরতাগুলিকে আলাদা করতে চান, ডকার ব্যবহার করুন এটা খুবই সাধারণ

আপনার সিস্টেম যাই হোক না কেন, মনে রাখবেন যে র‍্যাম এবং ডিস্ক স্পেস অত্যন্ত গুরুত্বপূর্ণ । ৭বি মডেলের জন্য আপনার কমপক্ষে ৮জিবি র‍্যাম প্রয়োজন; ১৩বি-এর জন্য ১৬জিবি হলে ভালো; এবং আপনি যদি ৩০বি বা ৭০বি-এর মতো বিশাল মডেলগুলো নিতে চান, তবে আপনার ৩২জিবি বা তার বেশি লাগবে। স্টোরেজের বিকল্পগুলো ছোট, কোয়ান্টাইজড সংস্করণগুলোর জন্য ২-৩জিবি থেকে শুরু করে বড় সংস্করণগুলোর জন্য কয়েক দশ গিগাবাইট পর্যন্ত হয়ে থাকে।

মডেল ব্যবস্থাপনা এবং মৌলিক CLI কমান্ড

একবার ইনস্টল হয়ে গেলে, Ollama-র আসল জাদু এর কমান্ড-লাইন ইন্টারফেসে নিহিত । যদিও প্রথমে এটি কিছুটা কঠিন মনে হতে পারে, এর মূল কমান্ডগুলো দ্রুত শিখে নেওয়া যায় এবং দৈনন্দিন প্রয়োজনীয় প্রায় সবকিছুই এর মাধ্যমে করা যায়।

একটি নতুন টেমপ্লেট ডাউনলোড করতে আপনি ব্যবহার করেন ollama pull <modelo>নামটি সাধারণত এই রীতি অনুসরণ করে। familia:etiqueta, উদাহরণ স্বরূপ llama3.2, mistral:7b o phi4-miniলেবেলটি উপেক্ষা করলে, ওলামা সাধারণত সর্বশেষ 'সুপারিশকৃত' সংস্করণটিই বিক্রি করে।

যখন আপনি একটি ইন্টারেক্টিভ কথোপকথন শুরু করতে চান, আপনি দৌড়ান। ollama run <modelo>মডেলটি ডাউনলোড করা না থাকলে, এটি প্রথমে স্বয়ংক্রিয়ভাবে ডাউনলোড করে নেবে। এই ইন্টারেক্টিভ মোডের মধ্যে, আপনি আপনার প্রম্পটগুলো লিখতে এবং বিশেষ স্ল্যাশ কমান্ড ব্যবহার করতে পারবেন, যেমন— /set parameter temperature 0.7 সৃজনশীলতা পরিবর্তন করতে বা /bye বাইরে যেতে.

আপনার মেশিনে ইতিমধ্যে কোন মডেলগুলি রয়েছে তা খুঁজে বের করার জন্য, কমান্ডটি হল ollama listযা নাম, আকার এবং পরিবর্তনের তারিখ দেখায়। আপনি যদি জায়গা খালি করতে চান, তাহলে আপনি একটি মুছে ফেলতে পারেন। ollama rm <modelo>আর যদি আপনি দেখতে আগ্রহী হন যে বর্তমানে কোন মডেলগুলো মেমরিতে লোড করা আছে এবং সেগুলো সিপিইউ নাকি জিপিইউ ব্যবহার করছে, তাহলে আপনি ব্যবহার করতে পারেন... ollama ps.

যখন আপনার কোনো নির্দিষ্ট মডেল বিস্তারিতভাবে পরিদর্শন করার প্রয়োজন হয়, ollama show <modelo> এটি আপনাকে এর কনফিগারেশন প্রদান করে: আর্কিটেকচার, কনটেক্সট উইন্ডো, ডিফল্ট প্যারামিটার, প্রম্পট টেমপ্লেট, এবং এমনকি মডেলফাইলের বিষয়বস্তুও, যদি আপনি উপযুক্ত অপশনসহ অনুরোধ করেন। একটি মডেল কেন নির্দিষ্ট আচরণ করে, তা বোঝার জন্য এটি একটি অত্যন্ত সুবিধাজনক উপায়।

ওলামাতে সর্বাধিক ব্যবহৃত মডেল এবং সেগুলি কী কাজে ব্যবহৃত হয়

ওলামা শুধু একটি এলএলএম-এর মধ্যেই সীমাবদ্ধ নয়, বরং এটি বিভিন্ন ব্যবহারের জন্য ডিজাইন করা মডেলের একটি বিশাল লাইব্রেরি সরবরাহ করে । এগুলোর মধ্যে অনেকগুলো কাস্টম কনফিগারেশন ফাইল বা অ্যাডাপ্টার ব্যবহার করে আরও কাস্টমাইজ করা যায়, তবে ডিফল্টভাবেই এগুলো বিস্তৃত পরিসরের চাহিদা পূরণ করে।

উদাহরণস্বরূপ, লামা ৩.২ একটি চমৎকার সর্বাঙ্গীণ সফটওয়্যার। এটি সাধারণ টেক্সট তৈরি, লেখালেখি, চ্যাট, অনুবাদ এবং ডকুমেন্ট সারাংশ তৈরির জন্য ব্যবহৃত হয়। এর চমৎকার বহুভাষিক সমর্থনের কারণে, এটি কাস্টমার সার্ভিস চ্যাটবট, সুপারিশ ব্যবস্থা বা এমন সহকারী তৈরির জন্য খুব উপযোগী, যারা বেশ সাবলীলভাবে স্প্যানিশ বুঝতে ও তৈরি করতে পারে।

আপনি যদি কোড লিখতে ভালোবাসেন, তবে কোড লামা (Code Llama) বা মিস্ট্রাল (Mistral)-এর প্রোগ্রামিং-ভিত্তিক সংস্করণগুলোর মতো টুলগুলো ঠিক এই কাজের জন্যই তৈরি করা হয়েছে। এগুলো ফাংশন তৈরি করতে, কোড পর্যালোচনা করতে, রিফ্যাক্টরিংয়ের পরামর্শ দিতে, ইউনিট টেস্ট বানাতে, এমনকি সম্পূর্ণ এপিআই (API) তৈরি করতেও ব্যবহৃত হয়। অনেক ডেভেলপার এগুলোকে সরাসরি তাদের এডিটর বা টার্মিনাল ওয়ার্কফ্লোতে যুক্ত করে নেন।

দৃষ্টির ক্ষেত্রে, LLaVA-এর মতো মডেলগুলো মাল্টিমোডাল সক্ষমতা প্রদান করে: আপনি এতে টেক্সটসহ ছবি ইনপুট দিয়ে বিবরণ, ছবিতে যা দেখা যাচ্ছে সে সম্পর্কে প্রশ্নের উত্তর, অথবা ভিজ্যুয়াল কন্টেন্ট বিশ্লেষণ পেতে পারেন। এটি ই-কমার্স, ডিজিটাল মার্কেটিং এবং মেডিকেল ইমেজ অ্যানালাইসিসের মতো ক্ষেত্রগুলোতে নতুন সম্ভাবনার দ্বার উন্মোচন করে ।

আরও অ্যাকাডেমিক এবং বৈজ্ঞানিক কাজের জন্য, ফাই-৩ (এবং ফাই পরিবারের পরবর্তী মডেলগুলো)-এর মতো মডেলগুলোকে গবেষণামূলক সাহিত্যের একটি শক্তিশালী উপাদান দিয়ে প্রশিক্ষণ দেওয়া হয়। এগুলো সাধারণত বৈজ্ঞানিক প্রবন্ধের সারসংক্ষেপ করা, অত্যাধুনিক পর্যালোচনায় সহায়তা করা, বিভিন্ন গবেষণার তুলনা করা, বা দীর্ঘ লেখা থেকে মূল ধারণা বের করার ক্ষেত্রে খুব ভালো কাজ করে।

যাই হোক, আপনি যদি নিশ্চিত না হন যে কোথা থেকে শুরু করবেন, তাহলে ওলামার নিজস্ব মডেল লাইব্রেরিতে ইনস্টলেশনের নির্দেশাবলী, সাধারণ ব্যবহারের ক্ষেত্র এবং কাস্টমাইজেশন বিকল্পসহ তথ্যপত্র রয়েছে। প্রচলিত পদ্ধতি হলো কয়েকটি মডেল পরীক্ষা করে দেখা এবং আপনার হার্ডওয়্যার ও আপনি যে কাজগুলো সবচেয়ে বেশি করেন, সেগুলোর জন্য সবচেয়ে উপযুক্ত মডেলটি বেছে নেওয়া।

বাস্তব জগতের ব্যবহার: ব্যক্তিগত চ্যাটবট থেকে গবেষণা পর্যন্ত

তত্ত্বের বাইরে, বাস্তব সমস্যা সমাধানে প্রয়োগ করলেই ওলামার কার্যকারিতা সবচেয়ে ভালোভাবে প্রকাশ পায়। এর সবচেয়ে সাধারণ ব্যবহারগুলোর মধ্যে একটি হলো এমন চ্যাটবট তৈরি করা, যা তৃতীয় পক্ষের কাছে এক লাইন কথোপকথনও না পাঠিয়ে সম্পূর্ণভাবে স্থানীয় সার্ভারে চলে । যেসব সংস্থা সংবেদনশীল গ্রাহক ডেটা বা অভ্যন্তরীণ রেকর্ড পরিচালনা করে, তাদের জন্য এটি বিশেষভাবে উপযোগী।

এইসব বাস্তবায়নে, ওলামাকে সাধারণত বিদ্যমান সিস্টেমগুলোর সাথে সমন্বিত করা হয়: যেমন সিএমএস, সিআরএম, বা অভ্যন্তরীণ অ্যাপ্লিকেশন । উদাহরণস্বরূপ, একটি কন্টেন্ট ম্যানেজমেন্ট সিস্টেম কর্পোরেট পরিবেশ থেকে বের না হয়েই শিরোনামের পরামর্শ দিতে, অনুচ্ছেদ পুনর্লিখন করতে, বা সম্পর্কিত কন্টেন্টের সুপারিশ করতে একটি স্থানীয় মডেল ব্যবহার করতে পারে। একইভাবে, একটি সিআরএম গ্রাহকের সাথে কথোপকথনের সারসংক্ষেপ করতে বা পরবর্তী পদক্ষেপের পরামর্শ দিতে একটি মডেলকে কাজে লাগাতে পারে।

শিক্ষা ও স্বাস্থ্যসেবা জগতে, অনেক গবেষণা দল HIPAA বা GDPR-এর মতো প্রবিধানের অধীনে সুরক্ষিত ক্লিনিক্যাল বা পরীক্ষামূলক ডেটাসেট প্রক্রিয়াকরণের জন্য Ollama ব্যবহার করতে শুরু করেছে । তারা ডেটা তাদের স্থানীয় ইনস্ট্যান্সে আপলোড করে, পরিসংখ্যানগত বিশ্লেষণ, গ্রাফ তৈরি বা প্রবন্ধ লেখার জন্য বিভিন্ন মডেল নিয়ে পরীক্ষা-নিরীক্ষা করে এবং নিশ্চিত করে যে তাদের পরিকাঠামোর বাইরের কেউ যেন সেই তথ্যে প্রবেশাধিকার না পায়।

এর আরেকটি শক্তিশালী প্রয়োগ হলো গোপনীয়তা-কেন্দ্রিক এআই অ্যাপ্লিকেশন তৈরি করা । এর সাধারণ উদাহরণগুলোর মধ্যে রয়েছে আইন সংস্থাগুলোতে চুক্তি বিশ্লেষণ অথবা এমন সব কোম্পানিতে অভ্যন্তরীণ নথিপত্র প্রক্রিয়াকরণ, যারা বাইরের পরিষেবাগুলোকে বিশ্বাস করে না। যেহেতু সবকিছু তাদের নেটওয়ার্কের মধ্যেই চলে, তাই নিয়ন্ত্রক সম্মতি প্রদর্শন করা এবং ডেটা প্রবাহের উপর নিয়ন্ত্রণ বজায় রাখা সহজ হয়। অভ্যন্তরীণ নেটওয়ার্ক নিরাপত্তা আরও জোরদার করতে, অনেক দল এই ব্যবস্থাগুলোকে একটি স্থানীয় ডিএনএস সার্ভারের সাথে যুক্ত করে ।

অবশেষে, ব্যবহারকারীদের একটি সম্পূর্ণ ইকোসিস্টেম রয়েছে যারা ওপেন ওয়েবইউআই (Open WebUI)-এর মতো থার্ড-পার্টি গ্রাফিক্যাল ইন্টারফেসের সাথে ওলামা (Ollama) ব্যবহার করেন, যা চ্যাটজিপিটি (ChatGPT)-র মতো অভিজ্ঞতা দেয় কিন্তু আপনার লোকাল সার্ভারের সাথে সংযুক্ত থাকে । এইভাবে, আপনি আপনার নিজস্ব পরিকাঠামোতেই আধুনিক এলএলএম (LLM)-এর শক্তিকে আপনার নিজের ডকুমেন্টের মধ্যে সার্চ করার ক্ষমতা (RAG), একাধিক ব্যবহারকারীর অ্যাকাউন্ট এবং অন্যান্য টুলের সাথে ইন্টিগ্রেশনের সাথে একত্রিত করতে পারেন।

মডেলফাইলের সাহায্যে উন্নত কনফিগারেশন, এপিআই এবং কাস্টমাইজেশন

একবার আপনি মৌলিক কমান্ডগুলো আয়ত্ত করে ফেললে, পরবর্তী স্বাভাবিক পদক্ষেপ হলো Ollama-র আরও উন্নত বৈশিষ্ট্যগুলো অন্বেষণ করা: এর HTTP API এবং Modelfiles সিস্টেম । এগুলো আপনাকে মডেলগুলোকে সূক্ষ্মভাবে সমন্বয় করতে, আপনার অ্যাপ্লিকেশনগুলো থেকে আসা কলগুলোকে পরিচালনা করতে এবং অত্যন্ত বিস্তারিত স্তরে আচরণ অপ্টিমাইজ করতে সাহায্য করে।

এপিআইটি সার্ভারের সাথেই সমন্বিত এবং এটি বিভিন্ন এন্ডপয়েন্ট উন্মুক্ত করে, যেমন— /api/generate (সম্পূর্ণ পাঠ্যের জন্য), /api/chat (ইতিহাসের সাথে কথোপকথনের জন্য), /api/embeddings (ভেক্টর এমবেড তৈরি করতে) অথবা /api/tags (মডেলগুলির তালিকা করতে)। আপনি এটি ব্যবহার করতে পারেন curl, HTTP লাইব্রেরি, অথবা OpenAI SDK লক্ষ্য localhost:11434/v1কারণ এতে ওপেনএআই এপিআই স্টাইলের সাথে একটি সামঞ্জস্যপূর্ণ স্তর রয়েছে।

সমান্তরালভাবে, মডেলফাইলস এগুলো হলো টেক্সট ফাইল যা বর্ণনা করে একটি মডেল কীভাবে তৈরি বা পরিবর্তন করা উচিত: এটি কোন ভিত্তি থেকে শুরু হবে, কোন LoRA অ্যাডাপ্টারগুলো প্রয়োগ করা হবে, কোন প্রম্পট টেমপ্লেট ব্যবহার করা হবে, এর ডিফল্ট প্যারামিটারগুলো কী হবে, বা কোন সিস্টেম মেসেজ সেট করা হবে। ollama create আপনি এই ফাইলগুলো থেকে কাস্টম মডেল তৈরি করেন।

উদাহরণস্বরূপ, এটি আপনাকে GGUF বা Safetensors ফরম্যাটে বাহ্যিক মডেল ইম্পোর্ট করতে , সেগুলোর আকার কমাতে কোয়ান্টাইজেশন প্রয়োগ করতে, একটি নির্দিষ্ট প্রতিক্রিয়া শৈলী যোগ করতে, অথবা নির্দিষ্ট ডোমেনের (যেমন চিকিৎসা সংক্রান্ত ভাষা বা আইনি পরিভাষা) জন্য প্রশিক্ষিত অ্যাডাপ্টার একীভূত করতে দেয়। এর ফলে নিজস্ব নামসহ একটি নতুন মডেল তৈরি হয়, যা আপনি অফিসিয়াল লাইব্রেরির অন্য যেকোনো মডেলের মতোই চালাতে বা শেয়ার করতে পারেন।

যারা প্রতিটি সম্পদের সর্বোচ্চ ব্যবহার করতে চান, তাদের হাতে অনুমান পরামিতির এক বিশাল ভান্ডার থাকে: তাপমাত্রা, শীর্ষ_পি, শীর্ষ_কে, পূর্বাভাসের_সংখ্যা, সিটিএক্স-এর_সংখ্যা, পুনরাবৃত্তির_শাস্তি এবং আরও অনেক কিছু। কনটেক্সট উইন্ডো নিয়ন্ত্রণ করুন (num_ctxএটি বিশেষত দীর্ঘ লেখা বা খুব দীর্ঘ কথোপকথন নিয়ে কাজ করার সময় গুরুত্বপূর্ণ, কারণ এটি নির্ধারণ করে যে মডেলটি আপনার আগের বলা কথা কতটা 'মনে রাখে'।

অবশেষে, Ollama আপনাকে OLLAMA_HOST, OLLAMA_MODELS, এবং OLLAMA_NUM_PARALLEL-এর মতো এনভায়রনমেন্ট ভেরিয়েবল নির্ধারণ করার সুযোগ দেয়, যার মাধ্যমে আপনি API কোথায় লিসেন করবে, মডেলগুলো কোন পাথে সংরক্ষিত থাকবে, কতগুলো রিকোয়েস্ট সমান্তরালভাবে প্রসেস করা হবে, এবং একটি মডেল কতক্ষণ লোড করে রাখা হবে—এই সবকিছু সমন্বয় করতে পারেন। শেয়ার্ড সার্ভারে বা প্রোডাকশন এনভায়রনমেন্টে টুলটি ডেপ্লয় করার সময় এই সূক্ষ্ম সমন্বয় অত্যন্ত গুরুত্বপূর্ণ ।

এই সবকিছুকে একত্রিত করার মাধ্যমে—লোকাল এক্সিকিউশন, একটি মডেল লাইব্রেরি, বিদ্যমান টুলগুলোর সাথে সামঞ্জস্যপূর্ণ একটি এপিআই, এবং একটি কাস্টমাইজেশন সিস্টেম—ওলামা এমন যেকোনো ব্যক্তির জন্য একটি কেন্দ্রীয় অংশে পরিণত হয়, যিনি নিজের পরিকাঠামোতে —একটি সাধারণ ল্যাপটপ থেকে শুরু করে আরও শক্তিশালী ক্লাস্টার পর্যন্ত—জেনারেটিভ এআই নিয়ে গুরুত্ব সহকারে কাজ করতে চান।

সম্পর্কিত নিবন্ধ:

অন-প্রেমিসেস এআই এবং ক্লাউড-ভিত্তিক এআই-এর মধ্যে পার্থক্য: একটি সম্পূর্ণ নির্দেশিকা