Showing posts with label data science. Show all posts
Showing posts with label data science. Show all posts

Monday, January 19, 2026

तंत्रज्ञान आणि अनुवाद

"प्रॅक्टिकल डेटा सायन्स" या माझ्या नव्या पुस्तकाची समाजमाध्यमावर पोस्ट केल्यानंतर काही दिवसांमध्ये एका वाचकाचा मला मेसेज आला. 'सर तुम्ही कोणत्या इंग्रजी पुस्तकाचा अनुवाद करून हे पुस्तक लिहिले आहे?' अर्थातच हा प्रश्न काही आश्चर्यकारक नव्हता. यापूर्वी देखील 'पायथॉन प्रोग्रामिंग'च्या वेळेस दोन जणांनी मला असा प्रश्न विचारला होता. 
मूलतः भारतीय भाषांमध्ये तंत्रज्ञानाचे ज्ञान तयार होत नाही किंवा लिहिले जात नाही, हा भारतीय लोकांचा गैरसमजच. संगणक तंत्रज्ञानाचा उदयच पाश्चिमात्य देशांमध्ये झाला. मुख्यत्वे इंग्रजी बोलणाऱ्या देशांमध्ये म्हणजेच अमेरिका आणि इंग्लंडसारख्या राष्ट्रांमधील संगणक विकसकांनी या तंत्रज्ञानाला गती दिली. त्यामुळे त्यांचे ज्ञान हे त्यांच्याच इंग्रजी भाषेमध्ये लिहिले गेले. परंतु युरोपियन देशांनी मात्र इंग्रजीतील हे ज्ञान स्वतःच्या भाषेमध्ये लिहिले. आजही त्यांची जवळपास सर्वच पुस्तके स्थानिक भाषेमध्ये लिहिलेली असतात. अनेक शतकांपूर्वी आपल्या देशामध्ये संस्कृत भाषेविषयी जी परिस्थिती होती तीच आज इंग्रजीच्या बाबतीत आहे. त्या काळात ज्ञान फक्त संस्कृत भाषेमध्येच लिहिले गेले होते. परंतु कालांतराने अनेक विभूतींनी प्रयत्नपूर्वक सर्वसामान्य लोकांच्या भाषेमध्ये लिहून त्यांना समाजज्ञानाची ओळख करून दिली. 
भारतामध्ये मात्र संगणक तंत्रज्ञानाची ओळख व्हायला काही दशके जावी लागली. या तंत्रज्ञानाची आपल्याला बऱ्याच उशिरा आणि संथपणे ओळख झाली. इथल्या विकसकांनी इंग्रजी भाषा आत्मसात करून, पाश्चिमात्य पुस्तकांचा अभ्यास करून संगणक क्षेत्रामध्ये शिरकाव केला. मागच्या शतकामध्ये तंत्रज्ञानाची माहिती आपल्या भाषांमध्ये आणण्यासाठी कुणी प्रयत्न केल्याचे मला आठवत नाही. परंतु मागच्या दहा-पंधरा वर्षांपासून हळूहळू संगणक ज्ञान आपल्या भाषांमध्ये तयार होत आहे. या क्षेत्रामध्ये अनुवादित पुस्तके जवळपास नाहीतच. पाश्चिमात्य लेखकांनी लिहिलेली प्रेरणादायी पुस्तके अनुवादित होऊन भारतीय भाषांमध्ये उपलब्ध झालेली आहेत. परंतु तंत्रज्ञान क्षेत्राची अशी परिस्थिती नाही. भारतीय भाषांमध्ये पुस्तके नगण्य असली तरी ती बहुतांश इथल्याच लेखकांनी लिहिलेली आहेत. अर्थात मी देखील माझ्या ज्ञानाचा आणि अनुभवाचा वापर करून 'पायथॉन प्रोग्रामिंग', 'डेटा सायन्स' आणि 'आर्टिफिशिअल इंटेलिजन्स' अशी आजच्या युगातील तंत्रज्ञानाची माहिती प्रात्यक्षिकांसह आपल्या भाषेमध्ये लिहिली. खरं सांगायचं तर हे तंत्रज्ञान शिकताना मी अनेक पुस्तकांचा वापर केला होता. परंतु मराठीतून पुस्तक लिहिताना केवळ अनुभवाचाच वापर झाला. यासाठी कोणत्याही इंग्रजी पुस्तकाचा संदर्भ घेतला नव्हता. वाचकांच्या दृष्टिकोनातून शिकण्याचा प्रवाह कसा असावा? कोणत्या प्रात्यक्षिकांचा अंतर्भाव या पुस्तकांमध्ये असावा? तसेच एखादी संकल्पना आपल्या भाषेमध्ये कशा पद्धतीने सहज व सोपी करून सांगता येईल? अशा विविध प्रश्नांचा विचार करूनच मी पुस्तकांची रचना केली आहे. यावर्षी रोबोटिक्स, संगणकायन, प्रॅक्टिकल मशीन लर्निंग, प्रॅक्टिकल न्यूरल नेटवर्क, प्रॅक्टिकल कॉम्प्युटर व्हिजन, प्रॅक्टिकल नॅचरल लँग्वेज प्रोसेसिंग, प्रॅक्टिकल जनरेटिव्ह एआय, आर्टिफिशियल जनरल इंटेलिजन्स, आर्टिफिशियल सुपर इंटेलिजन्स, एआय आणि क्रिएटिव्हिटी, एआय आणि गूढ प्रश्नांची उकल, ड्रॅगनच्या विळख्यात एआय आणि मशीनचे मन अशी विविध पुस्तके मराठी भाषेतून प्रसिद्ध करण्याचा माझा मानस आहे. अर्थात केवळ इंग्रजीत वाचकांना असणारे ज्ञान सर्वसामान्य मराठी जनापर्यंत पोहोचावे, या एकमेव उद्देशाने या पुस्तकांचे लिखाण चालू आहे. हळूहळू एकेक पुस्तक मराठी वाचकांपर्यंत पोहोचेल. त्यांनाही यातून तंत्रज्ञानाची सखोल ओळख होईल, असा मला दृढ विश्वास आहे. 

--- तुषार भ. कुटे

 


 

 

Thursday, December 18, 2025

प्रॅक्टिकल डेटा सायन्स

पायथॉन प्रोग्रॅमिंगचे पुस्तक प्रकाशित झाल्यानंतर अगदी काहीच दिवसांमध्ये तुम्ही डेटा सायन्स चे पुस्तक लिहिणार आहात का? अशी अनेक जणांकडून विचारण्यात आली होती. खरंतर त्याआधीच डेटा सायन्सच्या मराठी पुस्तकावर मी काम चालू केले होते. परंतु प्रशिक्षणाच्या अतिशय व्यस्त वेळापत्रकामुळे पुस्तकावर काम करण्यासाठी फारसा वेळ मिळाला नाही. तरीदेखील अधून मधून छोट्या छोट्या संकल्पनांवर काम करत विविध प्रकारची माहिती मराठीमध्ये लिहून काढत गेलो. पुस्तकाचा असा विशिष्ट साचा ठरला नव्हता. परंतु वेगवेगळ्या प्रशिक्षण कार्यक्रमांमधून आलेल्या अनुभवामुळे पुस्तकाची व्यवस्थित मांडणी करता आली. "प्रॅक्टिकल डेटा सायन्स" या पुस्तकामध्ये कोणकोणत्या संकल्पनांचा समावेश असावा, याची अनुक्रमे सविस्तरपणे मांडणी केली. पायथॉन प्रोग्रॅमिंग प्रमाणेच डेटा सायन्स मध्ये देखील सर्वसामान्य वाचकांना समजेल अशा पद्धतीने मराठीतून लिहीत गेलो. सुमारे ९०% पेक्षा अधिक संकल्पना या पायथॉनद्वारे प्रॅक्टिकलचा आधार घेऊन पुस्तकात मांडल्या. अगदी सिद्धांतिक दृष्टिकोनापासून प्रात्यक्षिकांपर्यंतचा डेटा सायन्सचा प्रवास या पुस्तकामध्ये मांडला. विदा विश्लेषणाच्या तसेच संख्याशास्त्राच्या विविध संकल्पनांना मराठीतून सहज आणि सोप्या पद्धतीत मांडण्याचा अनुभव पहिल्या पुस्तकाप्रमाणेच विलक्षण होता. आणि अखेरीस दोन वर्षांच्या प्रतीक्षेनंतर पुस्तकाची सविस्तर मांडणी पूर्ण झाली. विदा विज्ञान म्हणजे काय पासून या विषयातील प्रकल्प व्यवस्थापनापर्यंतचा प्रवास "प्रॅक्टिकल डेटा सायन्स" या पुस्तकांमध्ये मी सविस्तरपणे मांडण्यात यशस्वी ठरलो, असे मला वाटते. 
बऱ्याच दिवसांनी म्हणजे तब्बल तीन वर्षानंतर तंत्रज्ञान विश्वातील माझे पुढचे पुस्तक तयार झाले आणि प्राकृत प्रकाशनाने ते प्रकाशित देखील केले. आर्टिफिशियल इंटेलिजन्सच्या क्षेत्रात प्रवेश करण्यासाठी पाया मांडल्या गेलेल्या डेटा सायन्सची प्रात्यक्षिकांद्वारे या पुस्तकातून सखोल मांडणी केली आहे. सध्या तरी हे पुस्तक पुणे पुस्तक महोत्सवांमध्ये केवळ बुक विश्वच्या स्टॉल क्रमांक H५६ वर उपलब्ध आहे. 
या विषयाचा सखोल अभ्यास करण्यासाठी "प्रॅक्टिकल डेटा सायन्स"चा निश्चितपणे नवतंत्रज्ञांना चांगला उपयोग होईल, तेव्हाच या पुस्तकाचे सार्थक झाले असे मी समजेल.

--- तुषार भ. कुटे


 

Monday, October 13, 2025

महाराष्ट्रातील किल्ल्यांचा सर्वसमावेशक डेटासेट आता Kaggle वर उपलब्ध!

नमस्कार मित्रांनो!

आपल्या महाराष्ट्राला शौर्याचा आणि पराक्रमाचा गौरवशाली इतिहास लाभला आहे. या इतिहासाचे मूक साक्षीदार म्हणजे सह्याद्रीच्या कुशीत वसलेले आणि समुद्राच्या लाटांवर नजर ठेवून असलेले आपले गडकिल्ले! याच गडकिल्ल्यांची माहिती आता एकाच ठिकाणी, एका क्लिकवर उपलब्ध झाली आहे.
मी तयार केलेला "Maharashtra Heritage Forts Dataset" हा अमूल्य डेटासेट आता प्रसिद्ध डेटा सायन्स प्लॅटफॉर्म Kaggle वर प्रकाशित करत आहोत.
या डेटासेटमध्ये तुम्हाला काय मिळेल?
👉 ३४६ किल्ल्यांची माहिती: महाराष्ट्राच्या कानाकोपऱ्यातील किल्ल्यांची तपशीलवार माहिती.
👉 भौगोलिक तपशील: प्रत्येक किल्ल्याचे अक्षांश-रेखांश (Latitude-Longitude), उंची, जिल्हा आणि तालुका.
👉 ऐतिहासिक संदर्भ: किल्ला कोणी बांधला, कोणत्या काळात बांधला आणि त्याच्याशी संबंधित महत्त्वाच्या ऐतिहासिक घटना.
👉 दुर्ग प्रकार: किल्ला गिरीदुर्ग आहे, जलदुर्ग की भुईकोट, याची माहिती.
👉 सद्यस्थिती: किल्ल्याची सध्याची अवस्था कशी आहे (उदा. सुस्थितीत, पडझडीत).
👉 ट्रेकिंगसाठी उपयुक्त माहिती: ट्रेकची काठीण्य पातळी (सोपा, मध्यम, कठीण), ट्रेकला लागणारा वेळ आणि किल्ल्याला भेट देण्यासाठी सर्वोत्तम ऋतू.
👉 सोयी-सुविधा: किल्ल्यावर पाण्याची आणि निवासाची सोय आहे का, याची माहिती.

हा डेटासेट कोणासाठी उपयुक्त आहे?
🔶 इतिहासकार आणि विद्यार्थी: महाराष्ट्राच्या इतिहासावर संशोधन करण्यासाठी आणि नवीन दृष्टिकोन मिळवण्यासाठी.
🔶 डेटा सायंटिस्ट आणि विश्लेषक: डेटा व्हिज्युअलायझेशन, मॅपिंग आणि विश्लेषणाद्वारे किल्ल्यांच्या माहितीचा अभ्यास करण्यासाठी.
🔶 दुर्गप्रेमी आणि ट्रेकर्स: आपल्या पुढील ट्रेकचे नियोजन करण्यासाठी आणि किल्ल्यांविषयी सखोल माहिती मिळवण्यासाठी.
🔶 पर्यटक आणि छायाचित्रकार: महाराष्ट्रातील पर्यटन स्थळांची नवी ओळख करून घेण्यासाठी.

चला, या डेटाच्या माध्यमातून आपल्या पूर्वजांच्या पराक्रमाची गाथा नव्या पिढीपर्यंत पोहोचवूया. हा डेटासेट सर्वांसाठी विनामूल्य उपलब्ध आहे. खालील लिंकवर जाऊन तो नक्की डाउनलोड करा, वापरा आणि आपले विश्लेषण आमच्यासोबत शेअर करा.

Kaggle Dataset Link: https://www.kaggle.com/datasets/tusharkute/maharashtra-heritage-forts

मागच्या दोन महिन्यांपासून माहितीच्या विविध स्त्रोतांद्वारे मी यातील माहिती एकत्रित केलेली आहे. यामध्ये आपल्याला काही चुका आढळल्यास किंवा अतिरिक्त माहिती द्यायची असल्यास तुमच्या प्रतिक्रिया आणि सूचनांचे स्वागत आहे!

--- तुषार भ. कुटे




Tuesday, August 26, 2025

डेटा: सध्याच्या पिढीच्या कृत्रिम बुद्धिमत्तेचे (AI) इंधन

आपण अशा युगात जगत आहोत जिथे 'कृत्रिम बुद्धिमत्ता' किंवा 'Artificial Intelligence (AI)' हा शब्द आपल्या कानावर सतत पडतो. आपल्या स्मार्टफोनमधील व्हॉईस असिस्टंटपासून ते ऑनलाइन खरेदीच्या शिफारसींपर्यंत, AI आपल्या जीवनाचा एक अविभाज्य भाग बनला आहे. पण हे AI चालते कसे? या तंत्रज्ञानामागे अशी कोणती शक्ती आहे, जी त्याला इतके 'हुशार' बनवते? या प्रश्नाचे उत्तर एका शब्दात दडले आहे - डेटा (Data).
ज्याप्रमाणे गाडी चालवण्यासाठी पेट्रोल किंवा डिझेल या इंधनाची गरज असते, त्याचप्रमाणे सध्याच्या पिढीच्या AI ला चालवण्यासाठी, शिकवण्यासाठी आणि कार्यक्षम बनवण्यासाठी 'डेटा' नावाच्या इंधनाची गरज असते. म्हणूनच, "डेटा हे सध्याच्या पिढीच्या AI चे इंधन आहे" असे म्हटले जाते. चला, ही संकल्पना सोप्या भाषेत समजून घेऊया.


डेटा म्हणजे नक्की काय?

सगळ्यात आधी, डेटा म्हणजे काय हे समजून घेणे महत्त्वाचे आहे. डेटा म्हणजे केवळ आकडेवारी किंवा मजकूर नव्हे. आपण आपल्या दैनंदिन जीवनात कळत-नकळतपणे प्रचंड प्रमाणात डेटा तयार करत असतो.
- तुम्ही काढलेला प्रत्येक फोटो किंवा व्हिडिओ हा एक डेटा आहे.
- सोशल मीडियावर तुम्ही दिलेली प्रत्येक 'लाईक' किंवा 'कमेंट' हा एक डेटा आहे.
- गुगलवर तुम्ही शोधलेली कोणतीही माहिती हा एक डेटा आहे.
- ऑनलाइन नकाशा वापरताना तुमचे लोकेशन (स्थान) हा एक डेटा आहे.
- तुम्ही ऑनलाइन काय खरेदी करता, काय पाहता, ही सर्व माहिती म्हणजे डेटा आहे.

थोडक्यात सांगायचे झाल्यास, कोणतीही नोंदवलेली माहिती, मग ती कोणत्याही स्वरूपात असो, तिला 'डेटा' म्हणतात. आजच्या डिजिटल जगात, प्रत्येक सेकंदाला अब्जावधी जीबी डेटा तयार होत आहे.

AI हे इंधन कसे वापरते?

आता प्रश्न पडतो की, AI या प्रचंड डेटाचे काय करते? AI स्वतःहून हुशार नसते. त्याला हुशार बनवावे लागते, त्याला 'शिकवावे' लागते. ही शिकण्याची प्रक्रिया पूर्णपणे डेटावर अवलंबून असते. याला 'मशीन लर्निंग' (Machine Learning) म्हणतात.

एका लहान मुलाचे उदाहरण घेऊ. आपण लहान मुलाला 'मांजर' ओळखायला कसे शिकवतो? आपण त्याला अनेक मांजरींचे फोटो दाखवतो, वेगवेगळ्या रंगांच्या, आकारांच्या मांजरी दाखवतो. हजारो वेळा हे केल्यावर, त्याच्या मेंदूत एक 'नमुना' (Pattern) तयार होतो. त्यानंतर, जेव्हा तो एखादी नवीन, आधी न पाहिलेली मांजर पाहतो, तेव्हा तो तिला लगेच ओळखतो.

AI सुद्धा अगदी असेच शिकते. AI च्या अल्गोरिदमला (एक प्रकारची नियम-प्रणाली) लाखो-करोडो फोटो दाखवून 'प्रशिक्षित' (Train) केले जाते. उदाहरणार्थ, जर आपल्याला चेहरा ओळखणारे AI बनवायचे असेल, तर त्याला लाखो लोकांचे चेहरे (डेटा) दाखवावे लागतात. हा डेटा 'पचवून' AI चेहऱ्याचे नमुने, जसे की डोळ्यांमधील अंतर, नाकाचा आकार इत्यादी, शिकते. या प्रशिक्षणानंतरच ते कोणताही नवीन चेहरा अचूकपणे ओळखू शकते.

डेटाची गुणवत्ता आणि प्रमाण: उत्तम इंधन, उत्तम कामगिरी

गाडीमध्ये जसे चांगले आणि शुद्ध पेट्रोल टाकल्यास इंजिन चांगले चालते, त्याचप्रमाणे AI साठी डेटा जेवढा जास्त आणि जेवढा दर्जेदार असेल, तेवढे AI अधिक अचूक आणि कार्यक्षम बनते.
- डेटाचे प्रमाण (Quantity): AI ला जेवढा जास्त डेटा दिला जातो, तेवढे ते अधिक चांगल्या प्रकारे शिकते. कमी डेटामुळे AI चुकीचे निष्कर्ष काढू शकते. उदाहरणार्थ, फक्त १०-१५ मांजरींचे फोटो दाखवून मुलाला शिकवल्यास, ते प्रत्येक चार पायांच्या प्राण्याला मांजर म्हणू शकते.
- डेटाची गुणवत्ता (Quality): फक्त जास्त डेटा असून उपयोग नाही, तो योग्य आणि स्वच्छ असणेही महत्त्वाचे आहे. जर डेटामध्ये चुका असतील किंवा तो पक्षपाती असेल, तर AI सुद्धा चुकीचे आणि पक्षपाती निर्णय घेऊ शकते. याला 'कचरा आत, कचरा बाहेर' (Garbage In, Garbage Out) असे म्हणतात.

दैनंदिन जीवनातील उदाहरणे
- आरोग्यसेवा (Healthcare): डॉक्टरांना कर्करोगाचे निदान करण्यासाठी, AI हजारो एक्स-रे आणि एमआरआय स्कॅन (डेटा) तपासते. या डेटामधून शिकून, ते मानवी डोळ्यांना सहज न दिसणारे सूक्ष्म बदलही ओळखू शकते.
- शेती (Agriculture): ड्रोनद्वारे शेताचे फोटो (डेटा) घेऊन, AI पिकांची वाढ, संभाव्य रोग आणि पाण्याची गरज याबद्दल अचूक माहिती देते.
- स्वयं-चालित गाड्या (Self-Driving Cars): या गाड्या रस्त्यावरील कॅमेरे आणि सेन्सर्समधून सतत रिअल-टाइम डेटा गोळा करतात. या डेटामुळेच त्या रस्ता, इतर वाहने, पादचारी यांना ओळखून सुरक्षितपणे चालू शकतात.
- मनोरंजन (Entertainment): नेटफ्लिक्स किंवा यूट्यूब तुम्हाला तुमच्या आवडीनुसार व्हिडिओ किंवा चित्रपट सुचवते. हे तुमच्या आणि तुमच्यासारख्या इतर लाखो वापरकर्त्यांच्या पाहण्याच्या सवयींच्या डेटाचे विश्लेषण करून केले जाते.

डेटा हे AI साठी इंधन असले तरी, याच्याशी संबंधित काही आव्हाने देखील आहेत. डेटा गोपनीयता (Privacy) आणि सुरक्षितता (Security) हे सर्वात मोठे मुद्दे आहेत. आपला वैयक्तिक डेटा कोणाकडे आहे आणि तो कसा वापरला जात आहे, याची चिंता असणे स्वाभाविक आहे.

थोडक्यात, डेटा हा आधुनिक AI चा आत्मा आणि प्राणवायू आहे. डेटाशिवाय, आजचे AI केवळ एक निष्फळ प्रोग्राम आहे. ज्याप्रमाणे तेल आणि वायूने औद्योगिक क्रांती घडवली, त्याचप्रमाणे 'डेटा' आजच्या डिजिटल आणि बौद्धिक क्रांतीला चालना देत आहे. आपण तयार करत असलेला प्रत्येक बाईट डेटा या महाकाय AI इंजिनला शक्ती देत आहे, जे आपल्या भविष्याला एक नवीन आकार देण्यास सज्ज आहे. म्हणूनच, या 'इंधनाचे' महत्त्व समजून घेणे आणि त्याचा वापर जबाबदारीने करणे ही काळाची गरज आहे.

--- तुषार भ. कुटे

Tuesday, August 12, 2025

बॅग ऑफ वर्ड्स (Bag of Words): शब्दांची पिशवी

कल्पना करा की तुमच्याकडे काही वाक्ये आहेत आणि तुम्हाला ती संगणकाला समजावून सांगायची आहेत. संगणकाला कधीच थेट मराठी किंवा इंग्रजी भाषा समजत नाही; त्याला फक्त आकडे (numbers) समजतात. (हा संगणकाचा वैश्विक नियम आहे!) मग आपण आपल्या वाक्यांना किंवा मजकुराला (text) आकड्यांच्या स्वरूपात कसे बदलणार? इथेच "बॅग ऑफ वर्ड्स" ही पद्धत मदतीला येते. ही सर्वात जुनी पद्धत आहे.
"बॅग ऑफ वर्ड्स" हे नावाप्रमाणेच आहे. आपण एखाद्या वाक्यातील किंवा परिच्छेदातील सर्व शब्द घेतो, त्यांना व्याकरण किंवा शब्दांच्या क्रमाची पर्वा न करता एका काल्पनिक पिशवीत (bag) टाकतो. या पिशवीत कोणता शब्द किती वेळा आला आहे, फक्त याचीच नोंद ठेवली जाते. शब्दांचा क्रम, त्यांचे एकमेकांशी असलेले संबंध (व्याकरण) या गोष्टी विचारात घेतल्या जात नाहीत.
थोडक्यात सांगायचे तर, बॅग ऑफ वर्ड्स (BoW) ही मजकूर डेटाला संख्यात्मक स्वरूपात (numerical format) रूपांतरित करण्याची एक पद्धत आहे, जिथे प्रत्येक मजकूर (उदा. एक वाक्य) शब्दांच्या उपस्थितीच्या किंवा संख्येच्या आधारावर दर्शवला जातो.

"बॅग ऑफ वर्ड्स" कसे काम करते?

ही प्रक्रिया मुख्यत्वे तीन सोप्या टप्प्यांमध्ये विभागलेली आहे:
टप्पा १: टोकनायझेशन (Tokenization) - शब्दांना वेगळे करणे: या टप्प्यात, आपण दिलेला संपूर्ण मजकूर (ज्याला 'कॉर्पस' म्हणतात) घेतो आणि त्यातील प्रत्येक वाक्याला शब्दांमध्ये तोडतो. प्रत्येक शब्द हा एक 'टोकन' असतो. यामध्ये अनावश्यक चिन्हं (उदा. स्वल्पविराम, पूर्णविराम) काढून टाकली जातात आणि सर्व शब्दांना एकाच स्वरूपात (उदा. लहान लिपीत - lowercase) आणले जाते.

टप्पा २: शब्दसंग्रह तयार करणे (Building Vocabulary): एकदा सर्व मजकुरातील शब्द वेगळे केले की, आपण त्या सर्व शब्दांमधून फक्त एकदाच येणारे (unique) शब्द निवडून एक 'शब्दसंग्रह' (Vocabulary) तयार करतो. हा शब्दसंग्रह म्हणजे आपल्या संपूर्ण मजकुरात वापरल्या गेलेल्या सर्व अद्वितीय शब्दांची एक सूची असते.

टप्पा ३: व्हेक्टर तयार करणे (Vectorization): हा सर्वात महत्त्वाचा टप्पा आहे. इथे आपण प्रत्येक वाक्याला किंवा दस्तऐवजाला एका संख्यात्मक व्हेक्टरमध्ये (numerical vector) रूपांतरित करतो. हा व्हेक्टर आपल्या तयार केलेल्या शब्दसंग्रहाच्या आकाराचा असतो.

प्रत्येक वाक्यासाठी, आपण शब्दसंग्रहातील प्रत्येक शब्द तपासतो. तो शब्द त्या वाक्यात किती वेळा आला आहे, ती संख्या आपण व्हेक्टरमध्ये त्या शब्दाच्या जागी लिहितो. जर एखादा शब्द वाक्यात आला नसेल, तर आपण '0' लिहितो.

चला, हे एका सोप्या उदाहरणाने समजून घेऊया. समजा, आपल्याकडे खालील तीन वाक्ये आहेत:
    वाक्य १: मला क्रिकेट खेळायला आवडते.
    वाक्य २: माझा भाऊ फुटबॉल खेळतो.
    वाक्य ३: मला फुटबॉल आणि क्रिकेट दोन्ही आवडते.
आता आपण यावर "बॅग ऑफ वर्ड्स" मॉडेल लागू करू.

टप्पा १: टोकनायझेशन
प्रथम आपण प्रत्येक वाक्यातील शब्दांना वेगळे करू.
    वाक्य १: ["मला", "क्रिकेट", "खेळायला", "आवडते"]
    वाक्य २: ["माझा", "भाऊ", "फुटबॉल", "खेळतो"]
    वाक्य ३: ["मला", "फुटबॉल", "आणि", "क्रिकेट", "दोन्ही", "आवडते"]

टप्पा २: शब्दसंग्रह तयार करणे
आता आपण वरील सर्व शब्दांमधून अद्वितीय शब्दांची एक सूची (शब्दसंग्रह) तयार करू. आपण हे शब्द वर्णानुक्रमे (alphabetically) लावूया.

आपला शब्दसंग्रह (Vocabulary):
["आणि", "आवडते", "क्रिकेट", "खेळायला", "खेळतो", "दोन्ही", "फुटबॉल", "भाऊ", "मला", "माझा"]

या शब्दसंग्रहात एकूण १० अद्वितीय (unique) शब्द आहेत.
टप्पा ३: व्हेक्टर तयार करणे

आता आपण प्रत्येक वाक्यासाठी या १० शब्दांचा एक व्हेक्टर तयार करू. व्हेक्टरमध्ये आपण प्रत्येक शब्दाची संख्या (frequency) नोंदवू.

वाक्य १: "मला क्रिकेट खेळायला आवडते"

या वाक्याचा व्हेक्टर कसा दिसेल?
शब्दसंग्रहातील शब्द    वाक्यातील संख्या
आणि            0
आवडते    1
क्रिकेट    1
खेळायला    1
खेळतो    0
दोन्ही            0
फुटबॉल    0
भाऊ            0
मला            1
माझा            0

तर, वाक्य १ चा BoW व्हेक्टर असेल: [0, 1, 1, 1, 0, 0, 0, 0, 1, 0]

वाक्य २: "माझा भाऊ फुटबॉल खेळतो"
शब्दसंग्रहातील शब्द    वाक्यातील संख्या
आणि            0
आवडते    0
क्रिकेट    0
खेळायला    0
खेळतो    1
दोन्ही            0
फुटबॉल    1
भाऊ            1
मला            0
माझा            1

तर, वाक्य २ चा BoW व्हेक्टर असेल: [0, 0, 0, 0, 1, 0, 1, 1, 0, 1]

वाक्य ३: "मला फुटबॉल आणि क्रिकेट दोन्ही आवडते"
शब्दसंग्रहातील शब्द    वाक्यातील संख्या
आणि             1
आवडते     1
क्रिकेट     1
खेळायला     0
खेळतो     0
दोन्ही             1
फुटबॉल     1
भाऊ             0
मला             1
माझा             0

तर, वाक्य ३ चा BoW व्हेक्टर असेल: [1, 1, 1, 0, 0, 1, 1, 0, 1, 0]

आता संगणकासाठी आपली वाक्ये ही शब्दांची नसून, वरील आकड्यांची (व्हेक्टर्स) आहेत. या आकड्यांवर मशीन लर्निंग मॉडेल सहजपणे गणिती प्रक्रिया करू शकतात.




"बॅग ऑफ वर्ड्स" चे फायदे आणि तोटे

प्रत्येक तंत्रज्ञानाप्रमाणे याचेही काही फायदे आणि तोटे आहेत.
फायदे (Advantages):
- साधेपणा (Simplicity): ही पद्धत समजायला आणि लागू करायला खूप सोपी आहे.
- जलद प्रक्रिया (Fast): मजकुराला व्हेक्टरमध्ये रूपांतरित करण्याची प्रक्रिया खूप जलद होते.
- परिणामकारकता (Effectiveness): अनेक सोप्या कामांसाठी (जसे की मजकूर वर्गीकरण) ही पद्धत आश्चर्यकारकपणे प्रभावी ठरते.

तोटे (Disadvantages):
- शब्दांचा क्रम महत्त्वाचा नाही (Loss of Word Order): हा याचा सर्वात मोठा तोटा आहे. BoW मॉडेलसाठी " कुत्रा माणसाला चावला" आणि "माणसाने कुत्र्याला चावले" ही दोन्ही वाक्ये सारखीच आहेत, कारण दोन्हीमध्ये तेच शब्द आहेत. मात्र, दोन्ही वाक्यांचा अर्थ पूर्णपणे वेगळा आहे.
- संदर्भ आणि अर्थाचा अभाव (Loss of Context and Semantics): BoW शब्दांचा अर्थ किंवा संदर्भ समजत नाही. उदा. "He is feeling blue" (तो दुःखी आहे) आणि "His shirt is blue" (त्याचा शर्ट निळा आहे), या दोन्ही वाक्यांमध्ये 'blue' हा शब्द BoW साठी एकच आहे, पण त्याचे अर्थ वेगळे आहेत.
- शब्दसंग्रहाचा आकार (Vocabulary Size): जर मजकूर खूप मोठा असेल, तर शब्दसंग्रह प्रचंड मोठा होतो. यामुळे तयार होणारे व्हेक्टर्स खूप मोठे होतात आणि त्यातील बहुतेक मूल्ये '0' असतात (याला 'Sparsity' म्हणतात).
- महत्त्वाच्या शब्दांना ओळखत नाही: "आणि", "व", "आहे" यांसारखे वारंवार येणारे शब्द (stopwords) जास्त महत्त्वाचे नसतात, तरीही त्यांना BoW मध्ये जास्त वजन मिळते. (अर्थात, यावर उपाय म्हणून हे शब्द आधीच काढले जातात).

"बॅग ऑफ वर्ड्स" चा वापर कुठे होतो?

या पद्धतीचा वापर अनेक NLP कामांमध्ये केला जातो, जसे की:
- मजकूर वर्गीकरण (Text Classification): ई-मेल 'स्पॅम' आहे की नाही हे ओळखणे, बातमी कोणत्या प्रकारची आहे (क्रीडा, राजकारण, मनोरंजन) हे ठरवणे.
- भावना विश्लेषण (Sentiment Analysis): एखाद्या उत्पादनाबद्दल ग्राहकांची मते (reviews) सकारात्मक आहेत, नकारात्मक आहेत की तटस्थ आहेत, हे ओळखणे.
- दस्तऐवज समानता (Document Similarity): दोन दस्तऐवज एकमेकांशी किती मिळतेजुळते आहेत, हे त्यांच्या BoW व्हेक्टर्समधील समानतेवरून तपासणे.

"बॅग ऑफ वर्ड्स" ही एक मूलभूत परंतु अत्यंत शक्तिशाली संकल्पना आहे. ही पद्धत मजकुरातील शब्दांचा क्रम आणि व्याकरण गमावते, परंतु मजकुराला मशीन लर्निंग मॉडेलसाठी वापरण्यायोग्य संख्यात्मक स्वरूपात आणण्याचे महत्त्वाचे काम करते. जरी आज TF-IDF, Word2Vec, आणि BERT सारख्या अधिक प्रगत पद्धती उपलब्ध असल्या तरी, "बॅग ऑफ वर्ड्स" ही NLP च्या जगात पहिली पायरी म्हणून आजही महत्त्वाची आहे आणि अनेक ठिकाणी प्रभावीपणे वापरली जाते.

--- तुषार भ. कुटे 

Sunday, August 10, 2025

महाराष्ट्राच्या सर्व जिल्ह्यांचा एक सर्वसमावेशक डेटासेट

मी महाराष्ट्राच्या सर्व जिल्ह्यांचा एक सर्वसमावेशक डेटासेट तयार केला आहे, जो आता 'Kaggle' या प्लॅटफॉर्मवर सर्वांसाठी विनामूल्य उपलब्ध आहे.

या डेटासेटमध्ये काय खास आहे?
✅ लोकसंख्या (Population - Census 2011)
✅ साक्षरता दर (Literacy Rate)
✅ क्षेत्रफळ (Area) आणि मुख्यालय (Headquarters)
✅ प्रमुख उद्योग आणि अर्थव्यवस्था (Key Industries)
✅ पर्यटन आणि प्रमुख नद्या (Tourism & Major Rivers)

हा डेटासेट कॉलेज प्रोजेक्ट्स, संशोधन किंवा फक्त आपल्या महाराष्ट्राला अधिक जवळून जाणून घेण्यासाठी तुम्ही वापरू शकता!

🔗 Kaggle लिंक: https://www.kaggle.com/datasets/tusharkute/maharashtra-districts

हा डेटासेट वापरून तुम्ही काय नवीन विश्लेषण किंवा प्रोजेक्ट कराल, हे पाहण्यास मी उत्सुक आहे. नक्की डाउनलोड करा!

#महाराष्ट्र #मराठी #डेटासायन्स #कॅगल #शिक्षण #MaharashtraData #DataAnalytics #MarathiTech #Nashik #Nagpur

Thursday, July 31, 2025

आर्टिफिशियल इंटेलिजन्स: अदृश्य आरसा आणि पक्षपाताचे प्रतिबिंब

आज आपण एका अशा युगात जगत आहोत, जिथे आर्टिफिशियल इंटेलिजन्स (Artificial Intelligence - AI) म्हणजेच कृत्रिम बुद्धिमत्ता आपल्या जीवनाचा एक अविभाज्य भाग बनत चालली आहे. स्मार्टफोनच्या व्हॉईस असिस्टंटपासून ते अगदी वैद्यकीय निदानापर्यंत, एआयची व्याप्ती दिवसेंदिवस वाढत आहे. एआयला एक तटस्थ आणि अचूक निर्णय घेणारी प्रणाली म्हणून पाहिले जाते, कारण ती मानवासारख्या भावना आणि पूर्वग्रहांनी बाधित होत नाही, असा एक सर्वसामान्य समज आहे. पण हा समज पूर्णपणे खरा आहे का? उत्तर आहे, नाही. एआय प्रणाली सुद्धा पक्षपाती (Biased) असू शकते आणि तिचे परिणाम गंभीर असू शकतात. हा पक्षपात नेमका काय आहे, तो एआयमध्ये कसा येतो आणि त्याचे आपल्या समाजावर काय परिणाम होतात, हे समजून घेणे अत्यंत महत्त्वाचे आहे.

आर्टिफिशियल इंटेलिजन्स म्हणजे काय?

सोप्या भाषेत सांगायचे झाल्यास, आर्टिफिशियल इंटेलिजन्स म्हणजे मशीनला (संगणक प्रणालीला) मानवाप्रमाणे विचार करण्याची, शिकण्याची आणि निर्णय घेण्याची क्षमता देणे. हे साध्य करण्यासाठी, एआय प्रणालीला प्रचंड प्रमाणात डेटा (माहिती) दिला जातो. या डेटाचे विश्लेषण करून आणि त्यातील नमुने (Patterns) ओळखून, एआय शिकते आणि भविष्यातील निर्णय घेण्यास सक्षम होते. उदा. हजारो मांजरींचे फोटो दाखवून एआयला 'मांजर' ओळखायला शिकवले जाते.



एआय मधील पक्षपात (AI Bias) म्हणजे काय?

एआय प्रणाली जेव्हा विशिष्ट गट, व्यक्ती किंवा विचारांच्या बाजूने किंवा विरोधात पद्धतशीरपणे चुकीचे किंवा अन्यायकारक निर्णय देते, तेव्हा त्याला 'एआय मधील पक्षपात' असे म्हणतात.
महत्त्वाची गोष्ट ही आहे की एआय स्वतःहून पक्षपाती बनत नाही. तो एक आरसा आहे. आपण त्याला जो डेटा दाखवतो, जे नियम शिकवतो, तो त्याचेच प्रतिबिंब दाखवतो. जर आपण त्याला पक्षपाती माहिती दिली, तर त्याचे निर्णयही पक्षपातीच असणार. कल्पना करा की, एका लहान मुलाला आपण केवळ पांढऱ्या रंगाच्या लोकांबद्दलच चांगली माहिती दिली आणि इतर वर्णाच्या लोकांबद्दल नकारात्मक गोष्टी सांगितल्या, तर ते मूल मोठे झाल्यावर नकळतपणे वर्णद्वेषी विचारसरणीचे बनेल. एआयचेही अगदी तसेच आहे.

एआय प्रणालीमध्ये पक्षपात कसा निर्माण होतो?

एआयमध्ये पक्षपात अनेक मार्गांनी येऊ शकतो, त्यातील काही प्रमुख कारणे खालीलप्रमाणे आहेत:

१. डेटामधील पक्षपात (Data Bias):
हे पक्षपाताचे सर्वात मोठे आणि सामान्य कारण आहे. एआय ज्या डेटावर शिकतो, तो डेटाच जर सदोष किंवा पक्षपाती असेल, तर एआयदेखील पक्षपाती बनतो. याचे काही प्रकार आहेत:

२. ऐतिहासिक पक्षपात (Historical Bias): आपला समाज आणि इतिहास अनेक प्रकारच्या विषमतेने आणि पूर्वग्रहांनी भरलेला आहे. उदा. पूर्वीच्या काळात अनेक मोठ्या पदांवर पुरुषांचीच नियुक्ती केली जात असे. आता जर आपण नोकरीसाठी उमेदवार निवडणाऱ्या एआयला गेल्या २०-३० वर्षांचा डेटा दिला, तर तो 'मोठ्या पदासाठी पुरुष उमेदवारच अधिक योग्य असतो' असा चुकीचा निष्कर्ष काढू शकतो आणि महिला उमेदवारांना डावलू शकतो. ॲमेझॉन कंपनीसोबत नेमके हेच घडले होते, ज्यामुळे त्यांना आपली एआय-आधारित भरती प्रणाली बंद करावी लागली.

३. नमुना पक्षपात (Sampling Bias): जेव्हा एआयला शिकवण्यासाठी वापरलेला डेटा संपूर्ण लोकसंख्येचे योग्य प्रतिनिधित्व करत नाही, तेव्हा हा पक्षपात निर्माण होतो. उदा. चेहऱ्याची ओळख पटवणाऱ्या (Facial Recognition) प्रणालीला जर केवळ गोऱ्या वर्णाच्या लोकांचे लाखो फोटो दाखवून प्रशिक्षित केले असेल, तर ती प्रणाली कृष्णवर्णीय किंवा इतर वर्णाच्या लोकांचे चेहरे ओळखण्यात अपयशी ठरू शकते किंवा चुकीची ओळख पटवू शकते.

४. मापन पक्षपात (Measurement Bias): डेटा गोळा करण्याची किंवा मोजण्याची पद्धतच सदोष असेल, तर पक्षपात निर्माण होतो. उदा. गुन्हेगारीचा अंदाज वर्तवणाऱ्या एआय प्रणालीसाठी जर 'पोलिसांनी अटक केलेल्या लोकांची संख्या' हा निकष लावला, तर तो पक्षपाती ठरू शकतो. कारण पोलिसांकडून विशिष्ट वस्ती किंवा गटातील लोकांवर अधिक लक्ष ठेवले जाण्याची शक्यता असते, ज्यामुळे तिथे अटकेचे प्रमाण जास्त दिसते. याचा अर्थ असा नाही की तिथे गुन्हेगारी जास्त आहे, तर तिथे पोलिसांची नजर जास्त आहे.

५. अल्गोरिदममधील पक्षपात (Algorithmic Bias):
कधीकधी एआयचा मूळ प्रोग्राम (अल्गोरिदम) लिहिताना किंवा डिझाइन करताना नकळतपणे मानवी पूर्वग्रह त्यात समाविष्ट होतात. डेव्हलपर कोणत्या गोष्टीला महत्त्व देतो, यावर अल्गोरिदमचे वर्तन अवलंबून असते. तो नफा, अचूकता की निष्पक्षता यापैकी कशाला प्राधान्य देतो, यावर एआयचे निर्णय बदलू शकतात.

पक्षपाती एआयचे वास्तविक जीवनातील परिणाम

एआयमधील पक्षपाताचे परिणाम केवळ तांत्रिक नसून ते सामाजिक आणि आर्थिक विषमतेला अधिक खतपाणी घालू शकतात.

- नोकरी आणि भरती: पक्षपाती एआयमुळे पात्र महिला किंवा विशिष्ट सामाजिक गटातील उमेदवारांना नोकरीची संधी नाकारली जाऊ शकते.
- कर्ज आणि आर्थिक सेवा: बँकेची एआय प्रणाली जर विशिष्ट पिन कोड किंवा वस्तीतील लोकांना 'धोकादायक' मानत असेल, तर तिथल्या रहिवाशांना कर्ज मिळणे कठीण होऊ शकते, जरी त्यांची आर्थिक पत चांगली असली तरी.
- न्यायव्यवस्था: अमेरिकेत वापरल्या जाणाऱ्या COMPAS नावाच्या एआय प्रणालीवर असा आरोप आहे की, ती कृष्णवर्णीय आरोपी भविष्यात पुन्हा गुन्हा करण्याची शक्यता गोऱ्या आरोपींपेक्षा दुप्पट दाखवते, जे वर्णद्वेषी पक्षपाताचे उदाहरण आहे.
- वैद्यकीय निदान: जर वैद्यकीय एआयला प्रामुख्याने पुरुष रुग्णांच्या डेटावर प्रशिक्षित केले असेल, तर महिलांमध्ये हृदयविकारासारख्या आजारांची वेगळी लक्षणे ओळखण्यात तो कमी पडू शकतो.
- सोशल मीडिया आणि माहिती: आपण सोशल मीडियावर काय पाहतो, हे देखील एआय ठरवते. जर अल्गोरिदमने आपल्याला विशिष्ट प्रकारच्या विचारांच्या पोस्ट दाखवायला सुरुवात केली, तर आपण हळूहळू एका 'इको चेंबर' (Echo Chamber) मध्ये अडकतो, जिथे आपल्याला वेगळे विचार ऐकायलाच मिळत नाहीत. यातून समाजात ध्रुवीकरण वाढते.

भारतीय संदर्भात एआय आणि पक्षपात

भारतासारख्या प्रचंड विविधता असलेल्या देशात एआयमधील पक्षपाताचे धोके अधिक गंभीर आहेत. आपल्याकडे भाषा, धर्म, जात, लिंग, प्रांत आणि आर्थिक स्थिती यावर आधारित विषमता आधीच अस्तित्वात आहे.
- भाषिक विविधता: भारतात शेकडो भाषा आणि बोली आहेत. जर एआय प्रणाली केवळ हिंदी किंवा इंग्रजी भाषेत प्रशिक्षित असेल, तर इतर प्रादेशिक भाषा बोलणाऱ्या मोठ्या लोकसंख्येला ती सेवा उपलब्ध होणार नाही किंवा चुकीची माहिती मिळेल.
- जातिव्यवस्था: नोकरी, कर्ज किंवा इतर सेवांसाठी वापरल्या जाणाऱ्या एआयने जर आडनावांवरून किंवा पत्त्यावरून जातीचा अंदाज बांधून निर्णय देण्यास सुरुवात केली, तर ते सामाजिक न्यायाच्या विरोधात असेल.
- शहरी-ग्रामीण दरी: जर बहुतेक डेटा शहरी भागातून गोळा केला असेल, तर ग्रामीण भागातील लोकांच्या गरजा, सवयी आणि समस्या एआयच्या आकलनाबाहेर राहतील, ज्यामुळे त्यांच्यासाठी बनवलेल्या योजना किंवा सेवा कुचकामी ठरतील.

या समस्येवर उपाय काय?

एआयमधील पक्षपात ही एक गंभीर समस्या आहे, पण त्यावर मात करणे अशक्य नाही. यासाठी एकत्रित प्रयत्नांची गरज आहे.

- विविध आणि प्रातिनिधिक डेटा (Diverse and Representative Data): एआयला प्रशिक्षण देण्यासाठी वापरला जाणारा डेटा हा समाज्याच्या सर्व स्तरांचे (लिंग, वंश, जात, वय, भाषा, प्रांत इ.) योग्य प्रतिनिधित्व करणारा असावा.

- पारदर्शकता आणि स्पष्टीकरण (Transparency and Explainability - XAI): एआय प्रणालीने एखादा निर्णय का घेतला, याचे स्पष्टीकरण मिळायला हवे. यालाच 'Explainable AI' म्हणतात. यामुळे निर्णयामागील पक्षपात ओळखणे सोपे होते.

- नियमित तपासणी आणि ऑडिट (Regular Auditing): एआय प्रणालीची नियमितपणे तपासणी करून ती पक्षपाती निर्णय देत नाही ना, हे पाहणे आवश्यक आहे.

- विविधतापूर्ण डेव्हलपर टीम (Diverse Teams): एआय बनवणाऱ्या टीममध्ये विविध सामाजिक पार्श्वभूमीच्या लोकांचा (महिला, विविध जाती-धर्माचे लोक) समावेश असावा, जेणेकरून नकळतपणे येणारे पूर्वग्रह टाळता येतील.

- नैतिक आणि कायदेशीर चौकट (Ethical and Legal Frameworks): सरकारने आणि उद्योगांनी मिळून एआयच्या वापरासाठी नैतिक मार्गदर्शक तत्त्वे आणि कायदेशीर नियम तयार केले पाहिजेत, जेणेकरून कंपन्यांना जबाबदार धरता येईल.

निष्कर्ष

आर्टिफिशियल इंटेलिजन्स हे एक अत्यंत शक्तिशाली तंत्रज्ञान आहे, जे मानवाच्या प्रगतीला मोठी चालना देऊ शकते. मात्र, ते एक दुधारी शस्त्र आहे. जर आपण सावधगिरी बाळगली नाही, तर ते समाजातील अस्तित्वात असलेली विषमता आणि अन्याय अधिक घट्ट करू शकते.

एआय हा स्वतःहून चांगला किंवा वाईट नसतो; तो आपल्या समाजाचा आणि आपल्या विचारांचा आरसा आहे. जर आपल्याला निष्पक्ष आणि न्यायपूर्ण एआय हवा असेल, तर आधी आपल्याला आपल्या समाजातील आणि आपल्या डेटामधील पक्षपात दूर करावा लागेल. एआय तयार करणे ही केवळ तांत्रिक जबाबदारी नसून, ती एक सामाजिक आणि नैतिक जबाबदारी आहे, हे आपण सर्वांनी लक्षात ठेवले पाहिजे. कारण एका न्यायपूर्ण भविष्याची निर्मिती ही मानवाच्या आणि मशीनच्या एकत्रित आणि जबाबदार प्रयत्नांवरच अवलंबून आहे.

(आधारित)

-- तुषार भ. कुटे

Tuesday, July 29, 2025

डेटासेट

जगातील "मशीन लर्निंग"मध्ये वापरण्यात येणारे सर्वाधिक डेटासेट ज्या ठिकाणी उपलब्ध आहेत, त्या kaggle.com या संकेतस्थळावर आज मराठी इतिहास आणि संस्कृतीशी संबंधित दोन डेटासेट मी अपलोड केलेले आहेत. मशीन लर्निंगच्या नवख्या विद्यार्थ्यांसाठी हे दोन्ही डेटासेट उपयुक्त ठरतील. यातील पहिल्या डेटासेटमध्ये मराठा शस्त्रांची माहिती दिलेली आहे तर दुसऱ्यामध्ये मराठी अथवा महाराष्ट्रीय दागिन्यांची वैशिष्ट्ये वापरून डेटासेट बनवलेला आहे. खालील लिंक वरून तुम्ही डाऊनलोड करू शकता किंवा थेट कॅगलवरच प्रोग्राम करून हे दोन्ही डेटासेट वापरू शकता. लवकरच मराठी आणि महाराष्ट्रातील अन्य विषयांशी संबंधित डेटासेट देखील कॅगलवर आम्ही अपलोड करत आहोत.

मराठा शस्त्रे: https://www.kaggle.com/datasets/tusharkute/maratha-warfield-weapons-dataset

मराठी दागिने: https://www.kaggle.com/datasets/tusharkute/marathi-and-maharashtrian-ornamants-dataset

--- तुषार भ. कुटे

#MachineLearning #Dataset #DataScience #ArtificialIntelligence #Engineering #Technology



 

Saturday, August 31, 2024

आयरिस डेटा सेट

संख्याशास्त्र, डेटा अनालिसिस आणि मशीन लर्निंग क्षेत्रामध्ये वापरण्यात येणाऱ्या डेटासेट्समध्ये आजवर सर्वात लोकप्रिय असणारा डेटासेट म्हणजे आयरिस डेटासेट होय. आयरिस नावाच्या एका निळ्या रानटी फुलाचा हा डेटासेट आहे. आयरिसचा अर्थ मानवी डोळ्यांतील बुबूळे असा देखील होतो. परंतु याच नावाचे रानटी फुल देखील आहे, याची बऱ्याच कमी लोकांना माहिती आहे.
सुमारे ९० वर्षांपूर्वी जीवशास्त्रज्ञ एडगर अँडरसन याने या डेटासेटची निर्मिती केली होती. आयरिस फुलाच्या एकूण तीन प्रजाती आहेत…. सेटोसा, वर्जिनिका आणि वर्सीकलर. त्याने या तीनही प्रजातींची फुले जमा केली. आणि त्यांच्या पाकळ्यांची उंची व जाडी तसेच बाह्यकोषाची उंची आणि जाडी सेंटीमीटरमध्ये नोंदवून हा डेटासेट तयार केला होता. एका वेगळ्या प्रयोगासाठी त्याला माहिती जमा करायची होते म्हणूनच त्याने या डेटासेटची निर्मिती केली. परंतु आयरिसच्या या माहितीपूर्ण डेटासेटला लोकप्रिय करण्याचे काम संख्याशास्त्रज्ञ व गणितज्ञ रोनाल्ड फिशर यांनी केले. संख्याशास्त्रातील लिनियर डिस्क्रिमिनंट अनालिसिस या संकल्पनेला सिद्ध करण्यासाठी त्यांनी आयरिस डेटासेटचा सर्वप्रथम वापर केला. अँडरसने तयार केलेल्या मूळ डेटासेटमध्ये सुसूत्रता आणून त्यांनी तीनही प्रजातींचे समान पन्नास नमुने जमा केले होते. आज संख्याशास्त्र आणि मशीन लर्निंगमधील जवळपास प्रत्येक अल्गोरिथमची सिद्धता तपासण्यासाठी आयरिस डेटासेटचा वापर केला जात आहे. याशिवाय आर प्रोग्रामिंग आणि पायथॉन प्रोग्रामिंगच्या अंतर्गत लायब्ररीमध्ये देखील या डेटासेटचा अंतर्भाव करण्यात आलेला आहे. शिवाय याचा आकार देखील लहान असल्याने त्यावरील करण्यात येणारे प्रयोग देखील अतिशय कमी वेळामध्ये सादर करता येतात. 

--- तुषार भ. कुटे



Thursday, August 29, 2024

बिबट्या शोधणारी प्रणाली

कृत्रिम बुद्धिमत्ता तंत्रज्ञानाचा वापर करून जुन्नर परिसरात बिबट्यांचा माग शोधणारी यंत्रणा वनविभागाने कार्यान्वित केलेली आहे. अशा यंत्रणा २४ तास परिसरावर लक्ष ठेवून असतात. संगणक दृष्टी अर्थात कॉम्प्युटर व्हिजन या तंत्राद्वारे कॅमेरातून वन्य प्राण्यांना शोधून त्यांचा माग काढणे शक्य होते. परंतु याकरिता संगणकीय अल्गोरीदमला प्रशिक्षण द्यावे लागते अर्थात ट्रेन करावे लागते. त्यासाठी मोठा डेटासेट असणे आवश्यक असते.


अशाच प्रकारच्या एका अल्गोरिदमवर काम करत असताना आम्हाला कमी प्रमाणात असणाऱ्या डेटामुळे चुकीचे परिणाम दिसून येत होते. बिबट्या हा मार्जार कुळातील प्राणी. अर्थात मूळ मांजरीपासून उत्क्रांत झालेला प्राणी आहे. याच कुळामध्ये वाघ, सिंह, चित्ता आणि मांजर हे प्राणी देखील येतात. अर्थात या सर्व प्राण्यांची शरीररचना जवळपास सारखीच असते. आम्ही बनवलेल्या एका अल्गोरिदमवर कॅमेऱ्याच्या समोर मांजर जरी आले तरी तो कॅमेरा लगेचच बिबट्या आहे असे सांगत होता! अर्थात या अल्गोरिदमला ट्रेनिंग करण्यासाठी वापरण्यात आलेल्या डेटासेटचा आकार बऱ्यापैकी कमी होता. याच कारणास्तव त्याची अचूकता देखील त्या प्रमाणात नव्हती. डीप लर्निंगचा वापर करून बनवलेल्या प्रणालींमध्ये डेटासेटचा आकार हा कळीचा मुद्दा ठरतो. त्यावरून त्याची अचूकता देखील कमी जास्त होत असते. शिवाय वेगावर देखील परिणाम होतो. म्हणून अशा प्रणाली विकसित करणे बऱ्यापैकी जिकिरीचे काम आहे.
आशा आहे की, वनविभागाने बनवून घेतलेली ही प्रणाली आपले काम उत्तमरीत्या करेल.

--- तुषार भ. कुटे

Friday, March 31, 2023

240

मागील अठरा वर्षांमध्ये एकाच वेळी सुमारे 150 विद्यार्थ्यांना प्रशिक्षण देण्याचा विक्रम होता या आठवड्यामुळे आठवड्यामध्ये 240 विद्यार्थ्यांना प्रशिक्षण द्यायला सुरुवात केली आहे मागील अनेक वर्षांपासून शिकवत असल्यामुळे माझ्यातील अबूतपूर्व क्लास कंट्रोल चा अनुभव देखील यावेळी आला आणि एका अद्भुत अप्रतिम कार्याची प्रचिती देखील!


 

Friday, January 20, 2023

डीजे पाटील

डेटा सायन्स अर्थात विदा विज्ञान क्षेत्रामध्ये काम करणाऱ्या अनेकांनी डीजे पाटील अर्थात धनुर्जय पाटील यांचे नाव ऐकले असेल.
डेटा सायन्स ही तशी बऱ्यापैकी जुनी संज्ञा संगणक विज्ञानामध्ये वापरण्यात येते. जुन्या काळात डेटा हा तक्त्यांच्या रूपामध्ये साठवण्यात यायचा. कालांतराने सर्वच प्रकारचा डेटा संगणकामध्ये वापरता यायला लागला. तसेच त्याचे विश्लेषण होऊ लागले. यासाठी निरनिराळ्या पद्धतीचे सॉफ्टवेअर देखील विकसित करण्यात आले. एकविसाव्या शतकाच्या सुरुवातीपासून डेटा सायन्स तसेच बिग डेटा या तंत्रज्ञानाच्या प्रगतीचा वेग वाढायला सुरुवात झाली होती. संगणकीय माहितीचा साठा वाढत होता आणि या माहितीवर कार्य करण्यासाठी डेटा सायन्स व त्या अंतर्गत विविध तंत्रे विकसित होत होती. 'लिंक्डइन' या जगातील सर्वात मोठ्या व्यवसायिक समाजमाध्यमाच्या कंपनीमध्ये डीजे पाटील विदा विज्ञानावर कार्य करत होते. २००८ मध्ये ते जगातील पहिले अधिकृत 'डेटा सायंटिस्ट' अर्थात 'विदा शास्त्रज्ञ' झाले.
डेटा सायंटिस्ट हा शब्द त्यांच्यामुळेच लोकप्रिय झाला. अमेरिकेच्या विज्ञान आणि तंत्रज्ञान विभागामध्ये काम करणारे ते पहिलेच डेटा सायंटिस्ट होते. ओबामा यांच्या कार्यकाळामध्ये सन २०१५ मध्ये त्यांची नियुक्ती झाली होती. स्काईप, पेपाल आणि ईबे सारख्या मोठ्या कंपन्यांमध्येही त्यांनी उच्च पदे भूषवली आहेत. सध्या ते अमेरिकेच्या व्हेनरॉक या कंपनीमध्ये सल्लागार म्हणून कार्यरत आहेत! 



Monday, July 27, 2020

डेटा सायन्स आणि पायथॉन प्रोग्रॅमिंग

मागच्या दहा वर्षांपासून संगणक क्षेत्रांमध्ये वेगाने बदल होताना दिसत आहेत. आर्टिफिशिअल इंटेलिजन्स, मशीन लर्निंग सारखी क्षेत्रे ही वेगाने विकसित होत आहेत. डेटा सायन्स हा या क्षेत्रांचा मूळ गाभा होय. उपलब्ध माहितीच्या आधारे विविध प्रकारचे ऍनालिसिस करून त्यावर योग्य निर्णय प्रक्रिया राबवण्याचे कार्य डेटा सायन्स द्वारे केले जाते. त्यामुळे डेटा सायन्स व डेटा सायंटिस्टची जवळपास सर्व क्षेत्रांमध्ये मोठ्या प्रमाणात मागणी आहे. या कारणास्तव संगणक व माहिती तंत्रज्ञान क्षेत्रामध्ये डेटा सायन्स वर काम करणाऱ्या तंत्रज्ञ व अभियंत्यांची गरज भासत आहे. परंतु सद्य परिस्थिती पाहता या तंत्रज्ञानात कुशल असणारे मनुष्यबळ अजूनही उपलब्ध नाही. अनेक विद्यापीठांमध्ये सदर अभ्यासक्रम नुकताच समाविष्ट करण्यात आलेला आहे. परंतु त्यातून कुशल मनुष्यबळ तयार होण्यासाठी अजून किमान तीन ते चार वर्षे जावी लागतील. अशा परिस्थितीमध्ये आज माहिती तंत्रज्ञान क्षेत्रात डेटा सायंटिस्ट व डेटा अनॅलिस्ट तसेच मशीन लर्निंग इंजिनीयरची नितांत गरज आज आहे. ही गरज पूर्ण करण्यासाठी आम्ही डेटा सायन्सचा परिपूर्ण कोर्स मागील चार वर्षांपासून घेत आहोत. या क्षेत्रात लागणारे परिपूर्ण व प्रात्यक्षिकांचे ज्ञान सदर अभ्यासक्रमातून आम्ही विद्यार्थ्यांना प्रदान करत असतो.
जसं संगणक तंत्रज्ञान बदलत चाललं आहे, तसंच इथे वापरण्यात येणाऱ्या प्रोग्रामिंग लँग्वेजेस सुद्धा बदललेल्या आहेत. एकेकाळी सी आणि सी प्लस प्लस अथवा जावा सारख्या प्रोग्रॅमिंग लँग्वेजेस आल्या तरी आपल्याला संगणक क्षेत्रांमध्ये सहज प्रवेश करता येऊ शकत होता. पण आजची परिस्थिती तशी नाही. आज कॉम्प्युटर प्रोग्रामिंगचे विश्व पायथॉन प्रोग्रामिंग लँग्वेज व्यापू पाहत आहे. मागच्या दहा वर्षांचा आलेख पाहिला तर ध्यानात येईल की, जावा प्रोग्रामिंग लैंग्वेज पेक्षा पायथॉन ही दोन पावले पुढे चालणारी लँग्वेज आहे. सन २०१६ मध्ये पायथॉन प्रोग्रामिंग लँग्वेजने जावाला माहिती-तंत्रज्ञान विश्वात मागे टाकले आहे. त्यामुळे येणारे जग हे पायथॉन प्रोग्रामिंग लँग्वेजवर आधारित असेल, यात शंका नाही. महत्त्वाचे असे की, पायथॉन ही आज वापरण्यात येणाऱ्या संगणकातील डेटा सायन्स, आर्टिफिशिअल इंटेलिजन्स, मशीन लर्निंग, नॅचरल लैंग्वेज प्रोसेसिंग, इंटरनेट ऑफ थिंग्स, ब्लॉकचेन सारख्या अद्ययावत तंत्रज्ञानात प्रामुख्याने वापरली जाते. त्यामुळे संगणक तंत्रज्ञान जसजसे विकसित होत जाईल तस-तशी पायथॉन प्रोग्रामरची सुद्धा गरज माहिती-तंत्रज्ञान विश्वाला भासणार आहे.
या दोन्ही तंत्रज्ञानांचे प्रशिक्षण देण्यासाठी आमच्या कंपनीतर्फे मागच्या चार वर्षांपासून दोन निरनिराळे कोर्सेस चालवले जातात. त्यापैकी डेटा सायन्सचा कोर्स हा २५००० रुपये किमतीचा होता आणि पायथॉनचा कोर्स दहा हजार रुपये किंमतीचा होता. परंतु लॉकडाऊन मध्ये आम्ही दोन्ही कोर्सेस ऑनलाइन पद्धतीने सुरू केलेले आहेत. ज्यांना संगणक व माहिती तंत्रज्ञान क्षेत्रामध्ये वरील तंत्रज्ञानावर काम करायचे असेल, त्यांना डेटा सायन्स चा कोर्स ८० टक्के डिस्काउंटसह रुपये ४९९९ मध्ये तर पायथॉन प्रोग्रामिंग लँग्वेजचा कोर्स ९० टक्के डिस्काउंटसह रुपये ९९९ मध्येच आम्ही उपलब्ध करून दिलेला आहे. सदर कोर्सद्वारे अधिकाधिक तंत्रज्ञ नव्या तंत्रज्ञानासह माहिती तंत्रज्ञान क्षेत्राला उपलब्ध व्हावेत व नवीन मनुष्यबळ विकसित व्हावे, यासाठी इतकी मोठी सूट आम्ही दिलेली आहे. तरी यांची माहिती घेण्यासाठी खाली दिलेल्या क्रमांकावर किंवा वेबसाईटवर तुम्ही संपर्क साधू शकता.

https://mitu.co.in/courses
मोबाईल: 8600829693