মেশিন লার্নিং এর জন্য একাধিক ধাপ প্রয়োজন

ভূমিকা

ডিপ্লোয়িং মেশিন লার্নিং (ML) একটি বহু-পদক্ষেপ প্রক্রিয়া।এর মধ্যে একটি মডেল নির্বাচন করা, একটি নির্দিষ্ট কাজের জন্য এটিকে প্রশিক্ষণ দেওয়া, পরীক্ষার ডেটা দিয়ে যাচাই করা এবং তারপরে উত্পাদনে মডেলটি স্থাপন এবং পর্যবেক্ষণ করা জড়িত।এখানে, আমরা এই পদক্ষেপগুলি নিয়ে আলোচনা করব এবং আপনাকে ML-এর সাথে পরিচয় করিয়ে দেওয়ার জন্য সেগুলি ভেঙে দেব।এমএল এমন সিস্টেমগুলিকে বোঝায় যেগুলি, স্পষ্ট নির্দেশ ছাড়াই, শিখতে এবং উন্নতি করতে সক্ষম।এই সিস্টেমগুলি একটি নির্দিষ্ট কাজ বা ফাংশন সম্পাদন করতে ডেটা থেকে শেখে।কিছু ক্ষেত্রে, শেখার।বা আরও নির্দিষ্ট প্রশিক্ষণ, একটি তত্ত্বাবধানে ঘটে যেখানে ভুল আউটপুট মডেলটিকে সঠিক আউটপুটের দিকে নাজ করার জন্য সামঞ্জস্য করে।অন্যান্য ক্ষেত্রে, তত্ত্বাবধানহীন শিক্ষা ঘটে যেখানে সিস্টেম পূর্বের অজানা নিদর্শনগুলি প্রকাশ করার জন্য ডেটা সংগঠিত করে।বেশিরভাগ এমএল মডেল এই দুটি দৃষ্টান্ত অনুসরণ করে (তত্ত্বাবধান বনাম অ তত্ত্বাবধানে শিক্ষা)।আসুন এখন একটি মডেল বলতে কী বোঝায় তা খনন করা যাক এবং তারপরে অন্বেষণ করি কীভাবে ডেটা মেশিন লীমিংয়ের জন্য জ্বালানী হয়ে ওঠে।মেশিন-লার্নিং মডেল একটি মডেল মেশিন লার্নিং এর সমাধানের একটি বিমূর্ততা।মডেলটি স্থাপত্যকে সংজ্ঞায়িত করে। যা একবার প্রশিক্ষিত হলে তা বাস্তবায়নে পরিণত হয়।অতএব, আমরা মডেল স্থাপন করি না।আমরা ডেটা থেকে প্রশিক্ষিত মডেলগুলির বাস্তবায়ন স্থাপন করি (পরবর্তী বিভাগে এটি সম্পর্কে আরও)।তাই মডেল প্লাস ডেটা প্লাস ট্রেনিং সমান উদাহরণ এমএল সমাধান (চিত্র1)।অনুবাদ প্রয়োজন।উদাহরণস্বরূপ, একটি গভীর-শিক্ষার নেটওয়ার্কে পাঠ্য ডেটা খাওয়ানোর জন্য শব্দগুলিকে একটি সংখ্যাসূচক আকারে এনকোড করা প্রয়োজন যা সাধারণত একটি উচ্চ-মাত্রিক ভেক্টর যা ব্যবহার করা যেতে পারে এমন বিভিন্ন শব্দ দেওয়া হয়।একইভাবে, আউটপুটগুলির জন্য একটি সংখ্যাসূচক ফর্ম থেকে পাঠ্য আকারে অনুবাদের প্রয়োজন হতে পারে।এমএল মডেল অনেক ধরনের আসে, যার মধ্যে রয়েছে নিউরাল নেটওয়ার্ক মডেল, বায়েসিয়ান মডেল, রিগ্রেশন মডেল, ক্লাস্টারিং মডেল এবং আরও অনেক কিছু।আপনি যে মডেলটি চয়ন করেন তা হাতে থাকা সমস্যার উপর ভিত্তি করে।নিউরাল নেটওয়ার্কের পরিপ্রেক্ষিতে, মডেলগুলি অগভীর মাল্টি-লেয়ার নেটওয়ার্ক থেকে শুরু করে গভীর নিউরাল নেটওয়ার্কের মধ্যে থাকে যার মধ্যে অনেকগুলি স্তর রয়েছে

বিশেষায়িত নিউরনের (প্রসেসিং ইউনিট)।ডিপ নিউরাল নেটওয়ার্কে আপনার টার্গেট অ্যাপ্লিকেশনের উপর ভিত্তি করে মডেলের একটি পরিসীমা উপলব্ধ রয়েছে।

উদাহরণ স্বরূপ:

● যদি আপনার অ্যাপ্লিকেশনটি চিত্রের মধ্যে বস্তুগুলি সনাক্ত করার উপর দৃষ্টি নিবদ্ধ করে, তাহলে কনভোলিউশনাল নিউরাল নেটওয়ার্ক (CNN) একটি আদর্শ মডেল।সিএনএনগুলি ত্বক-ক্যান্সার সনাক্তকরণে প্রয়োগ করা হয়েছে এবং গড় চর্মরোগ বিশেষজ্ঞকে ছাড়িয়ে গেছে।

●আপনার অ্যাপ্লিকেশনে যদি জটিল ক্রম অনুমান করা বা তৈরি করা হয় (যেমন মানব ভাষার বাক্য), তাহলে রিকরেন্ট নিউরাল নেটওয়ার্ক (RNN) বা লং-শর্ট-টার্ম-মেমরি নেটওয়ার্ক (LSTM) হল আদর্শ মডেল।মানব ভাষার মেশিন অনুবাদেও LSTMs প্রয়োগ করা হয়েছে।

●যদি আপনার আবেদনে মানুষের ভাষায় একটি ছবির বিষয়বস্তু বর্ণনা করা জড়িত থাকে, তাহলে একটি CNN এবং একটি LSTM-এর সংমিশ্রণ ব্যবহার করা যেতে পারে (যেখানে ছবিটি CNN-এ দেওয়া হয় এবং CNN-এর আউটপুট LSTM-তে ইনপুটকে প্রতিনিধিত্ব করে, যা শব্দ ক্রম নির্গত করে)।

●যদি আপনার অ্যাপ্লিকেশনে বাস্তবসম্মত ছবি (যেমন ল্যান্ডস্কেপ বা মুখ) তৈরি করা জড়িত থাকে, তাহলে একটি জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্ক (GAN) বর্তমান স্ট্যাট-অফ-দ্য-আর্ট মডেলকে উপস্থাপন করে।এই মডেলগুলি আজ ব্যবহার করা আরও জনপ্রিয় কিছু গভীর নিউরাল নেটওয়ার্ক আর্কিটেকচারের প্রতিনিধিত্ব করে।ডিপ নিউরাল নেটওয়ার্ক জনপ্রিয় কারণ তারা অসংগঠিত ডেটা যেমন ছবি, ভিডিও বা অডিও তথ্য গ্রহণ করতে পারে।নেটওয়ার্কের মধ্যে স্তরগুলি বৈশিষ্ট্যগুলির একটি শ্রেণিবিন্যাস তৈরি করে যা তাদের খুব জটিল তথ্যকে শ্রেণীবদ্ধ করতে দেয়।গভীর নিউরাল নেটওয়ার্কগুলি বিস্তৃত সংখ্যক সমস্যা ডোমেনে অত্যাধুনিক কর্মক্ষমতা প্রদর্শন করেছে।কিন্তু অন্যান্য ML মডেলের মত, তাদের নির্ভুলতা ডেটার উপর নির্ভরশীল।এর পরবর্তী এই দিক অন্বেষণ করা যাক.

ডেটা এবং প্রশিক্ষণ

ডেটা হল সেই জ্বালানী যা মেশিন লার্নিংকে চালিত করে, শুধু অপারেশনে নয়, মডেল প্রশিক্ষণের মাধ্যমে একটি এমএল সমাধানও তৈরি করে।গভীর নিউরাল নেটওয়ার্কের জন্য প্রশিক্ষণ ডেটার পরিপ্রেক্ষিতে, পরিমাণ এবং মানের প্রসঙ্গে প্রয়োজনীয় ডেটা অন্বেষণ করা গুরুত্বপূর্ণ।গভীর নিউরাল নেটওয়ার্কের প্রশিক্ষণের জন্য প্রচুর পরিমাণে ডেটা প্রয়োজন।ইমেজ-ভিত্তিক শ্রেণীবিভাগের জন্য একটি অঙ্গুষ্ঠের নিয়ম হল 1,000 ছবি

ক্লাস প্রতিকিন্তু উত্তরটি মডেলের জটিলতা এবং ত্রুটির সহনশীলতার উপর নির্ভরশীল।উৎপাদন ML সমাধান থেকে কিছু উদাহরণ ডেটাসেট আকারের একটি বর্ণালী প্রদান করে।একটি ফেসিয়াল ডিটেক্টি অন এবং রিকগনিশন সিস্টেমের জন্য 450,000 ছবির প্রয়োজন, এবং একটি প্রশ্ন-উত্তর চ্যাটবটকে 200,000টি প্রশ্নের সাথে 2 মিলিয়ন উত্তর যুক্ত করে প্রশিক্ষণ দেওয়া হয়েছিল।সমস্যা সমাধানের উপর ভিত্তি করে ছোট ডেটাসেটগুলিও যথেষ্ট।একটি অনুভূতি বিশ্লেষণ সমাধান যা লিখিত পাঠ্য থেকে মতামতের মেরুতা নির্ধারণ করে তার জন্য মাত্র কয়েক হাজার নমুনার প্রয়োজন।ডেটার গুণমানটি পরিমাণের মতোই গুরুত্বপূর্ণ।প্রশিক্ষণের জন্য প্রয়োজনীয় বৃহৎ ডেটাসেটের পরিপ্রেক্ষিতে, এমনকি অল্প পরিমাণে ভুল প্রশিক্ষণ ডেটা একটি দুর্বল সমাধানের দিকে নিয়ে যেতে পারে।প্রয়োজনীয় ডেটার ধরণের উপর নির্ভর করে, আপনার ডেটা একটি পরিষ্কার প্রক্রিয়ার মধ্য দিয়ে যেতে পারে।এটি নিশ্চিত করে যে ডেটাসেট সামঞ্জস্যপূর্ণ, ডুপ্লিকেট ডেটার অভাব নেই, সঠিক এবং সম্পূর্ণ (অবৈধ বা অসম্পূর্ণ ডেটার অভাব)।এই প্রক্রিয়া সমর্থন করার জন্য সরঞ্জাম বিদ্যমান।পক্ষপাতের জন্য ডেটা যাচাই করাও গুরুত্বপূর্ণ তা নিশ্চিত করার জন্য যে ডেটা পক্ষপাতদুষ্ট এমএল সমাধানের দিকে নিয়ে যায় না।এমএল প্রশিক্ষণ সংখ্যাসূচক ডেটার উপর কাজ করে, তাই আপনার সমাধানের উপর নির্ভর করে একটি প্রাক-প্রসেসিং পদক্ষেপের প্রয়োজন হতে পারে।উদাহরণস্বরূপ, যদি আপনার ডেটা মানুষের ভাষা হয়, তবে এটি প্রক্রিয়া করার জন্য প্রথমে একটি সংখ্যাসূচক আকারে অনুবাদ করতে হবে।চিত্রগুলি সামঞ্জস্যের জন্য প্রাক-প্রক্রিয়া করা যেতে পারে।উদাহরণস্বরূপ, একটি গভীর নিউরাল নেটওয়ার্কে দেওয়া ছবিগুলিকে পুনরায় আকার দেওয়া হবে এবং শব্দ অপসারণের জন্য মসৃণ করা হবে (অন্যান্য অপারেশনগুলির মধ্যে)।ML-এর সবচেয়ে বড় সমস্যাগুলির মধ্যে একটি হল আপনার ML সমাধান প্রশিক্ষণের জন্য একটি ডেটাসেট অর্জন করা।এটি আপনার সমস্যার উপর নির্ভর করে সবচেয়ে বড় প্রচেষ্টা হতে পারে কারণ এটি বিদ্যমান নাও থাকতে পারে এবং একটি পৃথক প্রচেষ্টার প্রয়োজন হতে পারে

ক্যাপচার করতেঅবশেষে, ডেটাসেটটি প্রশিক্ষণ ডেটা এবং পরীক্ষার ডেটার মধ্যে ভাগ করা উচিত।প্রশিক্ষণের অংশটি মডেলকে প্রশিক্ষণের জন্য ব্যবহার করা হয় এবং একবার প্রশিক্ষিত হলে, পরীক্ষার ডেটা সমাধানের নির্ভুলতা যাচাই করতে ব্যবহার করা হয়