মেটা লামা: ওপেন জেনারেটিভ এআই মডেল সম্পর্কে আপনার যা কিছু জানা দরকার

আজকাল সমস্ত বড় প্রযুক্তি সংস্থাগুলির মতো, মেটার নিজস্ব জেনারেটিভ এআই মডেল রয়েছে লামা. Llama প্রধান টেমপ্লেটগুলির মধ্যে কিছুটা অনন্য যে এটি “ওপেন”, যার অর্থ বিকাশকারীরা এটি ডাউনলোড করতে এবং ব্যবহার করতে পারেন যেভাবে তারা চান (নির্দিষ্ট সীমাবদ্ধতার সাথে)। এটি Anthropic’s Claude, OpenAI এর মত মডেলের সাথে বৈপরীত্য GPT-4o (কি ক্ষমতা জিপিটি চ্যাট) এবং গুগল টুইনসযা শুধুমাত্র API এর মাধ্যমে অ্যাক্সেস করা যেতে পারে।

ডেভেলপারদের পছন্দ দেওয়ার স্বার্থে, মেটা Llama-এর ক্লাউড-হোস্টেড সংস্করণগুলি উপলব্ধ করতে AWS, Google ক্লাউড এবং Microsoft Azure সহ বিক্রেতাদের সাথে অংশীদারিত্ব করেছে। অতিরিক্তভাবে, কোম্পানিটি মডেলটিকে সূক্ষ্ম-টিউন এবং কাস্টমাইজ করা সহজ করার জন্য ডিজাইন করা সরঞ্জামগুলি প্রকাশ করেছে।

Llama সম্পর্কে আপনার যা জানা দরকার তা এখানে রয়েছে, এর ক্ষমতা এবং সংস্করণ থেকে শুরু করে আপনি এটি কোথায় ব্যবহার করতে পারেন। আমরা এই পোস্টটি আপডেট রাখব কারণ মেটা আপডেট প্রকাশ করে এবং মডেলের ব্যবহার সমর্থন করার জন্য নতুন ডেভেলপমেন্ট টুল প্রবর্তন করে।

লামা কি?

লামা মডেলদের একটি পরিবার – শুধু একটি নয়:

• লামা 8 বি
• লামা 70B
• লামা 405B

সর্বশেষ সংস্করণ হয় লামা 3.1 8B, লামা 3.1 70B এবং লামা 3.1 405Bযে মুক্তি পেয়েছিল জুলাই 2024-এ। তারা ওয়েব পৃষ্ঠাগুলিতে বিভিন্ন ভাষায়, পাবলিক কোড এবং ওয়েবে ফাইলগুলির পাশাপাশি সিন্থেটিক ডেটা (অর্থাৎ অন্যান্য AI মডেল দ্বারা তৈরি ডেটা) প্রশিক্ষণপ্রাপ্ত হয়।

Llama 3.1 8B এবং Llama 3.1 70B হল ছোট, কমপ্যাক্ট মডেল যা ল্যাপটপ থেকে সার্ভার পর্যন্ত ডিভাইসে চালানোর জন্য তৈরি করা হয়েছে। অন্যদিকে, Llama 3.1 405B হল একটি বৃহৎ আকারের মডেল যার জন্য (কিছু পরিবর্তনের অনুপস্থিতিতে) ডেটা সেন্টার হার্ডওয়্যার প্রয়োজন। Llama 3.1 8B এবং Llama 3.1 70B Llama 3.1 405B থেকে কম সক্ষম, কিন্তু দ্রুত। এগুলি আসলে 405B এর “পাসিত” সংস্করণ, কম স্টোরেজ ওভারহেড এবং লেটেন্সির জন্য অপ্টিমাইজ করা হয়েছে।

সমস্ত লামা মডেলের 128,000 টোকেনের প্রসঙ্গ উইন্ডো রয়েছে। (ডেটা সায়েন্সে, টোকেনগুলি হল “ফ্যানট্যাস্টিক” শব্দের “ফ্যান”, “টাস” এবং “টিক” শব্দাংশের মতো কাঁচা ডেটার উপবিভক্ত বিট।) একটি মডেলের প্রসঙ্গ, বা প্রসঙ্গ উইন্ডো, ইনপুট ডেটাকে বোঝায় ( যেমন পাঠ্য) যা মডেল আউটপুট তৈরি করার আগে বিবেচনা করে (যেমন অতিরিক্ত পাঠ্য)। দীর্ঘ প্রসঙ্গ মডেলগুলিকে সাম্প্রতিক নথি এবং ডেটার বিষয়বস্তু “ভুলে যাওয়া” এবং বিষয়বস্তুর বাইরে যাওয়া এবং ভুলভাবে এক্সট্রাপোলেট করা থেকে বিরত রাখতে পারে।

এই 128,000 টোকেনগুলি প্রায় 100,000 শব্দ বা 300 পৃষ্ঠার সমান, যা রেফারেন্সের জন্য, “উদারিং হাইটস,” “গালিভারস ট্রাভেলস” এবং “হ্যারি পটার অ্যান্ড দ্য প্রিজনার অফ আজকাবান” এর আকার।

লামা কি করতে পারেন?

অন্যান্য জেনারেটিভ এআই মডেলের মতো, লামা বিভিন্ন সহায়তার কাজ সম্পাদন করতে পারে, যেমন কোডিং এবং মৌলিক গণিত প্রশ্নের উত্তর দেওয়ার পাশাপাশি আটটি ভাষায় (ইংরেজি, জার্মান, ফ্রেঞ্চ, ইতালীয়, পর্তুগিজ, হিন্দি, স্প্যানিশ এবং থাই)। বেশিরভাগ টেক্সট-ভিত্তিক ওয়ার্কলোড – মনে করুন পিডিএফ এবং স্প্রেডশীটের মতো ফাইল বিশ্লেষণ করা – এর সুযোগের মধ্যে রয়েছে; Llama মডেলের কোনোটিই ইমেজ প্রক্রিয়া বা তৈরি করতে পারে না, যদিও এটি হতে পারে পরিবর্তন করতে নিকট ভবিষ্যতে

সমস্ত লেটেস্ট লামা মডেলগুলিকে কাজগুলি সম্পূর্ণ করার জন্য তৃতীয় পক্ষের অ্যাপস, টুলস এবং APIগুলিকে লিভারেজ করার জন্য কনফিগার করা যেতে পারে। সাম্প্রতিক ইভেন্টগুলি সম্পর্কে প্রশ্নের উত্তর দিতে সাহসী অনুসন্ধান, গণিত এবং বিজ্ঞান-সম্পর্কিত প্রশ্নের জন্য ওলফ্রাম আলফা API, এবং কোড যাচাই করার জন্য একটি পাইথন দোভাষী ব্যবহার করার জন্য তারা বাক্সের বাইরে প্রশিক্ষিত। অতিরিক্তভাবে, মেটা বলে যে লামা 3.1 মডেলগুলি এমন কিছু সরঞ্জাম ব্যবহার করতে পারে যা তারা আগে দেখেনি (তবে যদি তারা পারে নির্ভরযোগ্যভাবে এই সরঞ্জামগুলি ব্যবহার করা অন্য বিষয়)।

আমি কোথায় লামা ব্যবহার করতে পারি?

আপনি যদি কেবল লামার সাথে চ্যাট করতে চান তবে এটি মেটা এআই চ্যাটবট অভিজ্ঞতাকে শক্তিশালী করে Facebook Messenger, WhatsApp, Instagram, Oculus এবং Meta.ai-তে।

Llama-এর সাহায্যে তৈরি করা ডেভেলপাররা সবচেয়ে জনপ্রিয় ক্লাউড প্ল্যাটফর্মে মডেলটিকে ডাউনলোড, ব্যবহার বা টুইক করতে পারেন। মেটা দাবি করেছে যে এনভিডিয়া, ডেটাব্রিক্স, গ্রোক, ডেল এবং স্নোফ্লেক সহ লামাকে হোস্ট করে 25 টিরও বেশি অংশীদার রয়েছে।

এর মধ্যে কিছু অংশীদার লামার উপরে অতিরিক্ত সরঞ্জাম এবং পরিষেবা তৈরি করেছে, যার মধ্যে এমন সরঞ্জাম রয়েছে যা মডেলগুলিকে মালিকানাধীন ডেটা উল্লেখ করতে দেয় এবং তাদের কম বিলম্বে চালানোর জন্য সক্ষম করে।

মেটা তার ছোট মডেল, Llama 8B এবং Llama 70B ব্যবহার করার পরামর্শ দেয়, যেমন সাধারণ-উদ্দেশ্যের অ্যাপ্লিকেশন যেমন চ্যাটবট পাওয়ারিং এবং কোড তৈরি করা। Llama 405B, কোম্পানি বলে, মডেল পাতনের জন্য সর্বোত্তম সংরক্ষিত – একটি বড় মডেল থেকে একটি ছোট, আরও দক্ষ মডেলে জ্ঞান স্থানান্তর করার প্রক্রিয়া – এবং বিকল্প মডেলগুলিকে প্রশিক্ষণ (বা টিউন) করার জন্য সিন্থেটিক ডেটা তৈরি করা৷

গুরুত্বপূর্ণভাবে, লামা লাইসেন্স বিকাশকারীরা কীভাবে মডেল স্থাপন করতে পারে তা সীমাবদ্ধ করে: 700 মিলিয়নেরও বেশি মাসিক ব্যবহারকারীর অ্যাপ ডেভেলপারদের অবশ্যই Meta থেকে একটি বিশেষ লাইসেন্সের অনুরোধ করতে হবে, যা কোম্পানি তার বিবেচনার ভিত্তিতে প্রদান করবে।

লামার সাথে, মেটা মডেলটিকে “নিরাপদ” ব্যবহার করার জন্য ডিজাইন করা সরঞ্জাম সরবরাহ করে:

• লামা গার্ড, একটি সংযম কাঠামো
• দ্রুত প্রহরী, থেকে রক্ষা করার জন্য একটি হাতিয়ার দ্রুত ইনজেকশন আক্রমণ
• সাইবার নিরাপত্তা মূল্যায়ন, একটি সাইবার নিরাপত্তা ঝুঁকি মূল্যায়ন স্যুট

লামা গার্ড অপরাধমূলক কার্যকলাপ, শিশু শোষণ, কপিরাইট লঙ্ঘন, ঘৃণা, আত্ম-ক্ষতি এবং যৌন নির্যাতনের সাথে সম্পর্কিত বিষয়বস্তু সহ একটি লামা মডেল দ্বারা খাওয়ানো – বা তৈরি করা – সম্ভাব্য সমস্যাযুক্ত সামগ্রী সনাক্ত করার চেষ্টা করে৷ বিকাশকারীরা পারেন ব্যক্তিগতকৃত অবরুদ্ধ বিষয়বস্তু বিভাগ এবং সমস্ত ভাষাতে ব্লক প্রয়োগ করুন যা লামা বাক্সের বাইরে সমর্থন করে।

লামা গার্ডের মতো, প্রম্পট গার্ড লামার উদ্দেশ্যে লেখা পাঠ্যকে ব্লক করতে পারে, তবে শুধুমাত্র মডেলটিকে “আক্রমণ” করার উদ্দেশ্যে এবং এটিকে অবাঞ্ছিত উপায়ে আচরণ করার উদ্দেশ্যে পাঠ্য। মেটা দাবি করে যে লামা গার্ড স্পষ্টভাবে দূষিত প্রম্পটগুলির বিরুদ্ধে রক্ষা করতে পারে (অর্থাৎ, জেলব্রেক যা লামার অন্তর্নির্মিত নিরাপত্তা ফিল্টারগুলিকে বাইপাস করার চেষ্টা করে), সেইসাথে প্রম্পটগুলির মধ্যে “ইনজেকশন ইনপুট“

CyberSecEval হিসাবে, মডেল নিরাপত্তা পরিমাপ করার জন্য বেঞ্চমার্কের সংগ্রহের চেয়ে এটি কম একটি টুল। সাইবারসেকভাল “স্বয়ংক্রিয় সামাজিক প্রকৌশল” এবং “আক্রমণাত্মক সাইবার অপারেশনের বৃদ্ধি” এর মতো ক্ষেত্রে অ্যাপ্লিকেশন বিকাশকারীদের এবং শেষ ব্যবহারকারীদের কাছে লামা মডেলের ঝুঁকির মূল্যায়ন করতে পারে (অন্তত মেটা মানদণ্ড অনুসারে)।

লামার সীমাবদ্ধতা

সমস্ত জেনারেটিভ এআই মডেলের মতো লামা কিছু ঝুঁকি এবং সীমাবদ্ধতা উপস্থাপন করে।

উদাহরণস্বরূপ, মেটা লামাকে কপিরাইটযুক্ত সামগ্রীতে প্রশিক্ষিত করেছে কিনা তা স্পষ্ট নয়। যদি এটি করে থাকে, ব্যবহারকারীরা যদি অনিচ্ছাকৃতভাবে একটি ব্যবহার করে তাহলে লঙ্ঘনের জন্য দায়ী হতে পারে৷ মডেল regurgitated যে কপিরাইট উদ্ধৃতি.

এক পর্যায়ে লক্ষ্য AI প্রশিক্ষণের জন্য কপিরাইটযুক্ত ই-বুক ব্যবহার করা হয়েছে তার নিজের আইনজীবীদের সতর্কতা সত্ত্বেও, সাম্প্রতিক রয়টার্স রিপোর্ট অনুযায়ী. কোম্পানি বিতর্কিতভাবে তার এআইকে ইনস্টাগ্রাম এবং ফেসবুক পোস্ট, ফটো এবং ক্যাপশনে প্রশিক্ষণ দেয় ব্যবহারকারীদের অপ্ট আউট করা কঠিন করে তোলে. উপরন্তু, মেটা, OpenAI সহ, মডেল প্রশিক্ষণের জন্য কোম্পানির কপিরাইটযুক্ত ডেটার অননুমোদিত ব্যবহারের অভিযোগে কমেডিয়ান সারা সিলভারম্যান সহ বাদীদের দ্বারা দায়ের করা একটি চলমান মামলার লক্ষ্যবস্তু।

প্রোগ্রামিং হল আরেকটি ক্ষেত্র যেখানে লামা ব্যবহার করার সময় হালকাভাবে চলা বুদ্ধিমানের কাজ। কারণ লামা পারে — ঠিক তার জেনারেটিভ এআই প্রতিপক্ষের মতো — বগি বা অনিরাপদ কোড উত্পাদন.

বরাবরের মতো, কোনও পরিষেবা বা সফ্টওয়্যারে অন্তর্ভুক্ত করার আগে কোনও AI-উত্পাদিত কোডটি কোনও মানব বিশেষজ্ঞের পর্যালোচনা করা ভাল।