ডেটা লেক এবং পেটাবাইট-স্কেল ডেটাবেসের এই যুগে, আমি এখনও CSV, পাঠ্য এবং এক্সেল ফাইলের আকারে কত ঘন ঘন ডেটা গ্রহণ করি তা হতবাক। যদিও আধুনিক দিনের অ্যানালিটিক্স মেশিন লার্নিং অ্যালগরিদমগুলিতে অত্যাধুনিক অগ্রগতির উপর দৃষ্টি নিবদ্ধ করে, ডেটা বিশ্লেষণের প্রতিদিনের কষ্টসাধ্য কাজটি এখনও ভিন্ন তথ্যের ধরনগুলি সন্ধান, সংকলন এবং ঝগড়া করার একটি ম্যানুয়াল প্রক্রিয়া৷
আর্থিক বিশ্লেষকের জন্য, ডেটা প্রায়শই একটি এক্সেল স্প্রেডশীট হিসাবে আসে, কিন্তু প্রায়শই, এটি একটি CSV-এ ডেটা ডাম্প বা SQL ডাটাবেসে একটি প্রশ্ন। কখনও কখনও, ডেটা একটি বিভ্রান্তিকর বিন্যাসে সাজানো হয় বা বিশ্লেষণের জন্য প্রয়োজনীয় সমস্ত উপাদান থাকে না। এই ডেটা স্ক্রাব করার সময় ব্যয় করা বিশ্লেষকের জন্য মূল্যবান সময় নষ্ট করে, তবুও মাঝে মাঝে এই কাজটি সহ্য করার জন্য প্রয়োজনীয় মন্দ হিসাবে গ্রহণ করা হয়।
এই সাধারণ সমস্যার একটি সমাধান আসলে বেশ অ্যাক্সেসযোগ্য:এক্সেল এবং পাওয়ার বিআই-এর কাছে ডেটা ট্রান্সফরমেশন টুলের একটি সম্পূর্ণ সেট রয়েছে যা খুব কম ব্যবহারকারীই জানেন, যার নাম গেট অ্যান্ড ট্রান্সফর্ম (পূর্বে পাওয়ার কোয়েরি নামে পরিচিত)। এর এমবেডেড এক্সট্র্যাক্ট, ট্রান্সফর্ম এবং লোড (ETL) কার্যকারিতা ব্যবহার করে আর্থিক বিশ্লেষকদের তাদের ডেটা উত্সগুলির সাথে নির্বিঘ্নে লিঙ্ক করতে এবং দ্রুত অন্তর্দৃষ্টি পেতে সক্ষম করে৷
এক্সেল বা পাওয়ার বিআই-এ লোড করার জন্য আমরা ডেটা টাই আপ করার সময়, আমাদের সাধারণত ডেটাতে কিছু রূপান্তর করতে হয়। ডেটা ম্যানিপুলেশনের কিছু উদাহরণ অন্তর্ভুক্ত করবে:
নীচের চিত্রে, আমরা দেখতে পাচ্ছি যে Get &Transform ডেটা লোড হওয়ার আগে প্রি-প্রসেসিং করার এই ক্লান্তিকর ভূমিকা পালন করে৷
Get &Transform কিভাবে ব্যবহার করতে হয় তা শেখা কেন সার্থক? ঠিক আছে, যখন আমি দেখি যে আমি ব্যক্তিগতভাবে এই কার্যকারিতাটি কীসের জন্য ব্যবহার করেছি, এটি আমাকে এর জন্য একটি নমনীয় সরঞ্জামের সেট অফার করেছে:
সাধারণত, যখন আমি নতুন ডেটা পাই, তখন পাওয়ার পিভটে লোড করার আগে আমি Get &Transform ব্যবহার করে এটিকে অন্বেষণ করব। এটি আমাকে দেখতে দেয় যে কোন রূপান্তরগুলি প্রয়োজনীয় হতে পারে এবং দ্রুত বিশ্লেষণের জন্য একটি কাঠামো তৈরি করতে ডেটাতে কিছু পিভট এবং গ্রুপিং সঞ্চালন করে। অনেক ক্ষেত্রে, এই পর্যায়ে, আমি দেখতে পাব যে আমার আরও ডেটা দরকার, বা ডেটা সংক্রান্ত সমস্যা রয়েছে৷ একটি এক্সেল-ভিত্তিক প্ল্যাটফর্ম ব্যবহার করে, আমি এই ডেটা অসঙ্গতিগুলি খুঁজে পেতে আমার ডেটা উত্সের সাথে দ্রুত পুনরাবৃত্তি করতে পারি৷
পরিশেষে, Excel-এ থাকার বা ডেটা বিশ্লেষণকে অন্য প্ল্যাটফর্মে নিয়ে যাওয়ার সিদ্ধান্ত দর্শকদের এবং বিশ্লেষণের পুনরাবৃত্তিযোগ্যতা এবং বিতরণের উপর নির্ভর করবে। যদি আমার ক্লায়েন্টরা শুধুমাত্র Excel ব্যবহার করে, তাহলে আমি প্রায় সবসময় ডেটা লোড করতে Get &Transform ব্যবহার করব, বিশ্লেষণ করার জন্য Power Pivot এবং PivotTables এবং চার্ট তৈরি করতে Excel ব্যবহার করব। ক্লায়েন্টের কাছে, এটি নির্বিঘ্ন মনে হবে কারণ এটি সবই এক্সেলের মধ্যে রয়েছে।
যাইহোক, যদি আমার ক্লায়েন্ট:
তারপরে আমি প্রাথমিক ডেটা অন্বেষণের জন্য শুধুমাত্র Get &Transform ব্যবহার করব, এবং তারপরে ভারী উত্তোলনকে R-এ স্থানান্তর করব।
এক্সেলের পূর্ববর্তী সংস্করণগুলিতে, পাওয়ার কোয়েরি একটি অ্যাড-ইন ছিল যা ইটিএল ফাংশনগুলির সাথে সাহায্য করার জন্য ইনস্টল করা যেতে পারে। যাইহোক, Excel 2016 এবং Power BI-তে, এই টুলগুলি আরও শক্তভাবে সংহত করা হয়েছে। Excel 2016-এ, সেগুলি ডেটা-এর মাধ্যমে অ্যাক্সেস করা যেতে পারে ট্যাব, এবং তারপরে ডেটা পান এবং রূপান্তর করুন বিভাগ।
পাওয়ার BI-তে, কার্যকারিতা হোম-এ বিদ্যমান ট্যাবে, বাহ্যিক ডেটা-এ বিভাগ।
এই নিবন্ধে, আমার উদাহরণগুলি Power BI-তে স্থান পায়, কিন্তু ইন্টারফেসটি প্রায় এক্সেলের অনুরূপ। পার্থক্য দেখা দিলে আমি তা তুলে ধরব যাতে টিউটোরিয়ালটি উভয় ধরনের ব্যবহারকারীদের জন্যই বোঝা যায়।
এই টিউটোরিয়ালটিকে সহায়তা করার জন্য, আমি একটি কাল্পনিক খুচরা বিক্রেতার জন্য বিক্রয় ডেটার কয়েকটি উদাহরণ তৈরি করেছি যা আউটডোর গিয়ার এবং পোশাক বিক্রি করে। এই উদাহরণগুলির প্রতিটিতে, ডেটা ডাম্পের বাস্তবসম্মত পদ্ধতিগুলি প্রদর্শনের জন্য বিভিন্ন উপায়ে ডেটা তৈরি করা হবে৷
একটি প্রাথমিক উদাহরণ হিসাবে, আমরা একটি CSV ফাইলে একটি বড় ডেটা ডাম্প হিসাবে উপস্থাপিত ডেটা দেখতে পাব। জটিল ফ্যাক্টর হল যে ডেটা বিভিন্ন স্টোরের প্রতিনিধিত্বকারী একাধিক কলামের সাথে উপস্থাপিত হয়। আমরা আদর্শভাবে ডেটা আমদানি করতে এবং আরও ব্যবহারযোগ্য লেআউটে রূপান্তর করতে চাই৷
কাঁচা CSV দেখতে কেমন তার একটি স্ক্রিনশট নিচে দেওয়া হল:
কেন আমরা এটি পরিবর্তন করতে চাই? এই অ্যাপ্লিকেশনগুলিতে সম্ভাব্য সম্পর্ক ক্ষমতার সুবিধা নেওয়ার জন্য। আমরা আলোচনায় এই নাটকটি আরও দেখতে পাব।
আপাতত, ধরে নেওয়া যাক যে আমাদের ডেটাকে একটি "বিস্তৃত এবং ছোট" কাঠামোর পরিবর্তে একটি "সংকীর্ণ এবং লম্বা" কাঠামো হিসাবে দেখতে হবে। প্রথম ধাপ হল CSV লোড করা; তারপর, আমরা ডেটা "আনপিভট" করতে শুরু করব।
আপনি দেখতে পাচ্ছেন, ডেটার চূড়ান্ত কাঠামো প্রাথমিক ডেটার তুলনায় সংকীর্ণ এবং অনেক দীর্ঘ। আরেকটি বিষয় হল যে, আমরা যখন বিভিন্ন অ্যাকশনে ক্লিক করছি, ডানদিকের টুলটি কোয়েরি তৈরি করতে ব্যবহৃত প্রয়োগকৃত পদক্ষেপের একটি তালিকা তৈরি করছে। এটা বোঝা গুরুত্বপূর্ণ যে এটি পটভূমিতে চলছে, কারণ এটি পরে পুনর্বিবেচনা করা হবে।
পাওয়ার বিআই এবং এক্সেলের মধ্যে বেশিরভাগ অংশে গেট অ্যান্ড ট্রান্সফর্ম দেখায় এবং একইভাবে আচরণ করে। যাইহোক, Excel এ, ক্লোজ এবং লোড ক্লিক করার পরে , একটি অতিরিক্ত প্রম্পট আছে. নীচের চিত্রে, আমরা ডেটা লোড করতে চাই কিনা তা এর মধ্যে টগল করতে পারি:
এছাড়াও, আমাদেরকে ডেটা মডেলে এই ডেটা যোগ করতে হবে কিনা তার বিকল্পও দেওয়া হয়েছে। . এই বাক্সটি চেক করা একটি পাওয়ার পিভট টেবিলে ডেটা লোড করে। আমরা যদি পাওয়ার পিভটে ডেটা বিশ্লেষণ করতে যাচ্ছি, আমি শুধুমাত্র একটি সংযোগ তৈরি করুন বেছে নেওয়ার পরামর্শ দিই এবং তারপর নিশ্চিত করুন যে ডেটা মডেলে এই ডেটা যোগ করুন বিকল্প নির্বাচন করা হয়। যদি ডেটা এক্সেল সারি সীমার মধ্যে থাকে, এবং আমরা এক্সেলে আমাদের বিশ্লেষণ পরিচালনা করতে পছন্দ করি, তাহলে শুধু টেবিল বেছে নিন .
পরবর্তী ক্লিপে, আমরা দেখতে পাব যে কেন আমরা ডেটাকে লম্বা এবং চর্মসার হওয়ার জন্য ফর্ম্যাট করেছি যাতে আমরা শুধুমাত্র স্টোরের মাধ্যমে নয়, অঞ্চল এবং রাজ্যের দ্বারাও বিক্রি বিশ্লেষণ করতে সক্ষম হই। এই কাজটি সম্পন্ন করার জন্য, আমরা একটি টেবিল আমদানি করব যা প্রতিটি স্টোরকে একটি অঞ্চল এবং রাজ্যে ম্যাপ করে। আমরা নীচে দেখব যে আমরা দ্রুত প্রতিবেদন তৈরি করতে পারি যা এই বিভিন্ন গ্রুপিং দ্বারা বিক্রয় দেখায়।
আপনি কল্পনা করতে পারেন কিভাবে Excel বা Power BI-এ ডেটা ট্রান্সফরমেশনের জন্য এই ধরনের ক্ষমতা শক্তিশালীভাবে প্রয়োগ করা যেতে পারে যে কোনো ক্ষেত্রে যেখানে আমাদের ডেটার গতিশীল গ্রুপিং আছে, যেমন:
যদিও এই নিবন্ধটি CSV এবং অন্যান্য এক্সেল ফাইলগুলিকে সম্বোধন করে, Get &Transform ডাটা প্রকারের একটি বিস্তৃত পরিসরকে মোকাবেলা করে৷ একবার একটি ক্যোয়ারী তৈরি হয়ে গেলে, ডেটা পরিবর্তনের সাথে সাথে এটিকে রিফ্রেশ করা যেতে পারে৷
Get &Transform-এর স্ট্রিং ম্যানিপুলেট করার ক্ষমতা প্রদর্শন করার জন্য, আমি অন্য একটি ডেটাসেট তৈরি করেছি যেটি একটি ফার্মের জেনারেল লেজার (GL) থেকে অ্যাকাউন্টিং লেনদেন দেখানো একটি টেক্সট ফাইলের অনুকরণ করে।
লক্ষ্য করুন কিভাবে অ্যাকাউন্ট নম্বর এবং নাম একই স্ট্রিং এ প্রদর্শিত হবে? পাওয়ার BI-তে, আমরা অনায়াসে অ্যাকাউন্ট নম্বর এবং নাম আলাদা ক্ষেত্রগুলিতে পার্স করতে পারি।
এই ভিডিওতে, আপনি দেখতে পাচ্ছেন যে আমি কলামটি বিভক্ত করার পরে, টুলটি অনুমান করেছে যে অ্যাকাউন্ট ক্ষেত্রের নতুন বাম দিকে একটি সংখ্যা হওয়া উচিত এবং এটি একটি "পরিবর্তিত টাইপ1" ধাপ তৈরি করে। যেহেতু আমরা শেষ পর্যন্ত এই ক্ষেত্রটিকে একটি স্ট্রিং হিসাবে চাই, তাই আমরা এগিয়ে যেতে পারি এবং প্রয়োগকৃত পদক্ষেপের অধীনে ম্যানুয়ালি পদক্ষেপটি মুছে ফেলতে পারি৷
এরপরে, আমরা একই ডেটা গ্রহণ করি এবং অ্যাকাউন্টের বিভাগগুলিতে ম্যাপিং সহ অ্যাকাউন্টগুলির একটি চার্ট তৈরি করি৷
কেন আমরা কয়েকটি অ্যাকাউন্ট নম্বর ম্যাপ করতে সেই সমস্ত পদক্ষেপের মধ্য দিয়ে যাব? একটি প্রকৃত সাধারণ খাতা শত শত বা এমনকি হাজার হাজার অ্যাকাউন্ট হতে পারে। এই দ্রুত ম্যাপিং ক্যোয়ারী, যেমনটি আমরা দেখিয়েছি, কোন অতিরিক্ত কাজ ছাড়াই সেই স্তরে স্কেল হবে৷
৷Get &Transform বিভিন্ন ডেটা উৎস সমর্থন করে। যদিও একটি সম্পূর্ণ তালিকা নয়, নীচে কিছু উদাহরণ দেওয়া হল:
টেক্সট ফাইল এক্সেল Facebook Adobe Analytics Google Analytics Salesforce Azure Redshift Spark SQL সার্ভার SAP HANA Teradata Google BigQueryব্যক্তিগতভাবে, আমি উপরের তালিকার প্রায় অর্ধেক সংযোগ চেষ্টা করেছি। আমি ব্যবহার করেছি প্রতিটি সংযোগকারী মোটামুটি শক্তিশালী হয়েছে; আমি একটি ভারসাম্যপূর্ণ পরিমাণ কাজ ছাড়াই কাঁচা ডেটা থেকে অন্তর্দৃষ্টি অর্জন করেছি। সমানভাবে গুরুত্বপূর্ণ, এটি ডেটার ভিন্ন উৎসের মধ্যে একটি যাচাইকারী হিসাবে কাজ করে, এটি নিশ্চিত করে যে শেষ আউটপুটগুলির মান নিয়ন্ত্রণের একটি স্বাভাবিক স্তর রয়েছে৷
ব্যাকগ্রাউন্ডে, প্রতিবার আমরা টুলের একটি বোতামে ক্লিক করি বা একটি নির্বাচন করি তখন Get &Transform কোড তৈরি করে। আমরা যে অ্যাকাউন্ট-ম্যাপিং কোয়েরি তৈরি করেছি তার জন্য আপনি কীভাবে কোড অ্যাক্সেস করবেন তার একটি উদাহরণ নীচে দেওয়া হল:
কোডটি M নামে একটি কার্যকরী ভাষা ব্যবহার করে, যা মৌলিক ব্যবহারের ক্ষেত্রে স্বয়ংক্রিয়ভাবে উৎপন্ন হয়। যাইহোক, আরও জটিল ডেটা ঝগড়ার জন্য, আমরা আমাদের নিজস্ব কোড সম্পাদনা করতে এবং লিখতে পারি। বেশিরভাগ ক্ষেত্রে, আমি এই কোডে শুধুমাত্র ছোটখাটো পরিবর্তন করব। আরও জটিল রূপান্তরে, আমি স্ক্র্যাচ থেকে স্টেজ অস্থায়ী টেবিলে বা আরও জটিল যোগদানের জন্য বেশিরভাগ কোড লিখতে পারি।
আপনি যখন এক মিলিয়নের বেশি সারি রপ্তানি করার চেষ্টা করেন তখন এক্সেল তার সীমাতে পৌঁছাতে থাকে। যেসব ক্ষেত্রে আমি গেট অ্যান্ড ট্রান্সফর্মের মাধ্যমে লক্ষ লক্ষ সারি রূপান্তরিত করেছি, সেখানে গ্রুপবিহীন সারিগুলি পাঠানোর একমাত্র উপায় হল ক্লান্তিকর হ্যাক বা সমাধানের মাধ্যমে। আমি আরও খুঁজে পেয়েছি যে Get &Transform ক্যোয়ারীগুলি একাধিক ব্যবহারকারীকে স্থাপন করতে অস্থির হতে পারে, বিশেষ করে যদি আপনি একাধিক ডেটা উত্স ব্যবহার করেন এবং যোগদান করেন। এই ক্ষেত্রে, ডুপ্লিকেবল ডেটা র্যাংলিং স্থাপন করতে আমি সর্বদা R ব্যবহার করব। অবশেষে, এক্সেল আরও উন্নত ডেটা মডেলিংয়ের জন্য নির্মিত নয়। আপনি খুব দ্রুত রৈখিক রিগ্রেশনগুলি সম্পাদন করতে পারেন, তবে এর বাইরে, আপনাকে আরও কঠোর প্ল্যাটফর্ম ব্যবহার করতে হবে৷
এই সব বলার পরে, আমি দেখতে পাই যে আমার বেশিরভাগ ক্লায়েন্টের সাথে এক্সেল সবচেয়ে আরামদায়ক। এক্সেল এখনও আর্থিক বিশ্লেষকের অস্ত্রাগারের সবচেয়ে গুরুত্বপূর্ণ হাতিয়ার। Get &Transform কার্যকারিতা অন্তর্ভুক্ত করার মাধ্যমে, Excel এবং Power BI তাদের গ্রহণযোগ্য ডেটা উৎসের পরিসরের মাধ্যমে আরও শক্তিশালী হয়ে ওঠে।