অটোমেশনের বেসিক আইডিয়া আসলে এইটাই । তবে আমরা এর চেয়ে একটু এডভান্স করব ।

আমাদের প্রসেস হবে এমন-
  • ১. কিওয়ার্ড ডাটাবেস এক্সেল , সিএসভি বা টেক্সটে সেভ হবে
  • ২. সেখান থেকে অটোমেটেড প্যারাগ্রাফ টেমপ্লেট থেকে অটোমেটিক আর্টিকেল জেনারেট হবে । যা একটা প্যারাগ্রাফে আরেকটা থেকে ভিন্ন হবে
  • ৩. সেই আর্টিকেল অটোমেটিক ওয়ার্ডপ্রেসে পোষ্ট হয়ে যাবে ।

Guide 1: কোর্স আউটলাইন ও বিস্তারিত

1.1 কোর্স আউটলাইন-Video

01# কোর্সের আউটলাইন যদিও আগেই দিয়েছিলাম। ওইটাকেই একটু বিস্তারিতভাবে ব্যাখা করা আর কিছু না.
ইউটিউবেও দেখতে পারেনঃ https://youtu.be/2r6E_rTJNg8

1.2 প্রয়োজনীয় সফট ওয়ার লিস্ট ও ইন্সটলেশন প্রসেস-Video

02# আমাদের কাজের জন্য বেশ কিছু সফট লাগবে:
১. পাইথন
২. এনাকোন্ডা
৩. ভিএস কোড বা পাইচার্ম
৪. মাইক্রোসফট এক্সেল / লিব্রা অফিস
ইউটিউব লিংকঃ https://youtu.be/G7G7KXStmf0

1.3 জিজ্ঞাসা-Quiz

https://discord.com/invite/dxC43VC2Sr (এসইও’স রা সাধারনত ডিসকর্ড ইউজ করেন না । তারপর ও যদি কেউ জয়েন করতে চান তাহলে নিচের লিংকে জয়েন করতে পারেন । এমন না যে জয়েন করতেই হবে । বা এখানে অনেক কিছু হবে । জেনারেল আড্ডা বাজি বা চ্যাটের জন্য আসলে প্রোগ্রামারদের মধ্যে ডিস্কর্ডের প্রচলন আছে । তাই একাবারে বাদ দিলাম না আর কি । এখানে তেমন কিছুই না জাস্ট চ্যাট হয়)

Q: pycharm এ একটা প্রোগ্রাম রান করলে এরপর অন্য ফাইল ওপেন করলেও আগের টাই রান হয় 😔 আগের টা সরেই না 😐

A: Same amar o hoisilo …Print line cursor rekhe right click koren run option asbe then run korun.. next time ar ai jamely porte hobena.

or

run click kore run option paben sekhan theke 1bar kren. then r select korte hbena etai auto hbe.

Guide 2: পাইথন বেসিকস

এই গাইডলাইনে সিরিয়ালি পাইথনের বেসিকস এর সকল বিষয় সিরিয়ালি সাজানো থাকবে । আপনি আপনার সময় করে একটা একটা বিষয় দেখা শুরু করতে পারবেন ।

# পাইথনে বিভিন্ন ডাটা টাইপস নিয়ে এখানে আলোচনা । ভিডিওটি আগে থেকেই চ্যানেলে আপলোড করা আছে

ইউটিউব লিঙ্কঃ https://youtu.be/msdjVpNNoG0

পাইথন রিকুয়েস্ট লাইব্রেরির ব্যবহার
ইউটিউবঃ https://youtu.be/ONCVax6tVsI

pc c drive এর এক্সেল ফাইল read ফাইল করতে হয় –

স্ট্রিং এড বা কনকেটেনেশান করার সময় ফরম্যাটেড স্ট্রিং ইউজ করতে পারেন। এতে করে বারবার যোগ চিহ্ন, স্পেসের জন্য এম্পটি স্ট্রিং ইউজ করতে হবে না।
এছাড়া আরও অনেক কাজ সহজ হয়ে যায় এর মাধ্যমেঃ https://realpython.com/python-formatted-output/

06# এই ভিডিওতে মুলত পাইথন ম্যাথমেটিক্যাল অপারেটরস গুলা সম্পর্কে আইডিয়া দেওয়া হয়েছে । আর আই ডিএলই এর সাথে পরিচিতি করে দেওয়া হয়েছে ।

ইউটিউব লিংকঃ https://youtu.be/bry4OtGBts

08# পাইথনের প্রিন্ট ফাংশন ও ভ্যারিয়েবল নিয়ে ভিডিও ।

ইউটিউবঃ https://youtu.be/eE3NXBzI7VE

09#  পাইথন স্ট্রিং ম্যানিপুলেশন কিভাবে করবেন । কিভাবে একটা টেক্সটকে ইউ আর এল কনভার্ট করবেন , কিংবা একটা টেক্সট কিভাবে স্প্লিট করবেন , কিভাবে সামনে পিছনে অযাচিত স্পেস বা ক্যারেক্টার সরিয়ে ফেলবেন ইত্যাদি নিয়েই এই আলোচনা
ইউটিউব লিংক ঃ https://youtu.be/Ic7Ax94ep8c

10# কিভাবে ইউজার থেকে ইনপুট নিবেন কিভাবে সেটা প্রিন্ট করবেন এই বিষয়গুলা এখানে দেখানো হয়েছে

ইউটিউব লিংকঃ https://youtu.be/74-mTay6BRY

11# এক ধরনের ডাটা টাইপস থেকে অন্য ধরনের ডাটা টাইপসে কিভাবে কনভার্ট করবেন এই ভিডিওতে তাই দেখানো হয়েছে

ইউটিউব লিংকঃ https://youtu.be/k9Xt6Jv1lGA

12# একই কোড বার বার না লিখে ছোট ফাংশন তৈরী করেই আসলে সব কিছু করা সম্ভব । এইটার ব্যবহার ই এখানে দেখিয়েছি । আমার চ্যানেলে ফাংশন নিয়ে ডিটেইল আলোচনা করেছি
এই ভিডিও এর ইউটিউব লিংকঃ https://youtu.be/TFWyHnR-7EY

# এই ভিডিওটা এই কোর্সের সাথে রিলেটেড না ডিরেক্টলি। যারা নতুন না বুঝাও স্বাভাবিক। পাইথনের সাহায্যে কিভাবে একটা বাক্যকে প্যারাফ্রেজিং করা যায় তার উদাহরন। একদম লাস্টের দিকে আউটপুট দেখতে পারেন: How to paraphrase text in Python using transformers:

https://m.youtube.com/watch?v=zGK9ZfvRRoM&feature=youtu.be

পাইথনে প্যারাফ্রেজিং এক্সাম্পল

https://towardsdatascience.com/how-to-paraphrase-text-using-python-73b40a8b7e66

FB IMG 1638017068228

বই: (বাংলা)

  1. https://python.maateen.me/
  2. hukushpakush.com
  3. http://pybook.subeen.com/
  4. datacamp.com

বই
1. Learn Python3 the Hard Way
2. Think Python
৩. Python crash course
4. automate boring stuff with python

http://pybook.subeen.com/ বইটিতে দেওয়া প্রোগ্রামগুলোর চর্চা করে শেষ করলাম। পাইথন শেখার জন্য অসাধারণ একটি বই। আপনিও বইটি থেকে শিখতে পারেন। তবে এই বইটি পড়ার আগে কমান্ড লাইনের কাজ শিখে নিলে ভালো হয়। Learn Python the Hard Way বইটির Appendix থেকে কমান্ড লাইনের কাজ শেখা যাবে।

 

Guide 3: অটোমেশন নিশ আইডিয়া ও সাইট বাছাই

এই মডিউলে অটোমেশনের বিভিন্ন নিশ আইডিয়া ও সাইট বাছাই প্রক্রিয়া নিয়ে আলোচনা হবে । বিভিন্ন অটোমেশন সাইট পরিচিতি , সেগুলার এনালাইসিস, কিভাবে কাজ করছে সেগুলাই এখানে আলোচনার বিষয়বস্তু।

05) https://m.youtube.com/watch?v=JjKeKftAK-U&feature=youtu.be

07) https://m.youtube.com/watch?v=rr7wgwHnDaA&feature=youtu.be

Guide 4: পাইথন লাইব্রেরি পরিচিতি
স্ক্রাপিং ও অটোমেশনের জন্য বিভিন্ন লাইব্রেরির ব্যবহার নিয়ে এই সেকশনে বিভিন্ন ভিডিও থাকবে

Guide 5: BS4 এর মাধ্যমে সাইট স্ক্রাপিং
বিউটিফুল স্যুপ ব্যবহার করা বিভিন্ন ওয়েব পেজকে আমরা স্ক্রাপ করব এই সেকশনে। সেখানে সাইট ম্যাপ স্ক্রাপিং, বিভিন্ন সিংগেল পেজ স্ক্রাপিং, সাইট ম্যাপ ছাড়া বিভিন্ন ওয়েব সাইটের সব পেজ লিংক স্ক্রাপিং ইত্যাদি করব এই সেকশনে

Guide 6: Scrapy
স্ক্রাপিতে কিভাবে প্রজেক্ট চালু করতে হয়, কিভাবে স্পাইশার তৈরী করতে হয়, স্পাইডার/বট কিভাবে মডিফিকেশন করব, স্ক্রাপি শেল, স্ক্রাপির মাধ্যমে একটা সাইটের সব পেজ কিভাবে স্ক্রাপ করা যায়, সেই ডাটা গুলা বিভিন্ন ফর্মেটে কিভাবে সেভ করা যায় সেই সব বিষয়গুলাই এখানে দেখানো হবে

Guide 7: ডাটা র‍্যাংগেলিং
স্ক্রাপির বিভিন্ন ডাটা গুলা কিভাবে মডিফাই করা যায়, ভুল ডাটা গুলা কিভাবে ফিক্সড করা যায় সেগুলা নিয়ে আলোচনা করব এই সেকশনে

Guide 8: টেম্পলেট ও ওয়ার্ডপ্রেস
ডাটা পোষ্টিং এর জন্য কিভাবে টেম্পলেটে ভেরিয়েশন আনা যায়, কিভাবে সেগুলাকে সাজাব এই সব বিষয় নিয়েই এখানে আলোচনা হবে.

Guide 9: ওয়ার্ডপ্রেস পোষ্টিং

ওয়ার্ডপ্রেসে পোষ্টিং সংক্রান্ত বিভিন্ন বিষয় নিয়ে আলোচনা করা হবে। সাইটে পোষ্ট দেওয়া নিয়েই এই সেকশনেই পোষ্ট দেওয়ার আলোচনা করা হবে।

Guide 10: সাইট এসইও সংক্রান্ত বিষয় নিয়ে আলোচনা

অটোমেশন সাইটের এসইও ও লিমিটেশন সহ বিভিন্ন আলোচনা এই সেকশনেই আলোচনা করা হবে.

Guide 11: বিভিন্ন সমস্যা ও প্রশ্ন উত্তর

সাইটের বিভিন্ন সমস্যা ও এসইও নিয়ে বিভিন্ন আলোচনা এখানে হবে

 

Guide 12:পাইথন ফিউচার ও ক্যারিয়ার

পাইথন দিয়ে কি কি করা সম্ভব, কোক ফিল্ডে কিভাবে কাজকরা যায়, কি কি কাজ করা সম্ভব, এডভান্স পাইথন শেখার রোডম্যাপ নিয়ে আলোচনা করা হবে এখানে

https://web.facebook.com/shahidujzamaan.shahid/

আলহামদুলিল্লাহ! একটা প্রোগ্রাম লিখার পর খুব আনন্দ হচ্ছে তাই আপনাদের সাথে শেয়ার করছি। ❤
গতকাল বিকেলের দিকে পাইথন দিয়ে বেশ কয়েকটা ছোটখাট প্রোজেক্ট বানানোর প্লান মাথায় উকি দিচ্ছিলো। মূলত Taposh দাদা গ্রুপে পোস্ট দেয়ার পর কেন জানি বিভিন্ন জিনিস ইমপ্লিমেন্ট করার আইডিয়া মাথায় ঘুরপাক খাচ্ছিলো। কি করা যায় এসব নিয়ে ভাবছিলাম!
আজকে সারারাত জেগে একটা ছোটখাট প্রোগ্রাম বানিয়ে ফেললাম একটা সমস্যা সমাধান করার জন্যঃ
কিছুদিন আগে তাপস দাদা কিছু লিস্টিং সাইট দেখাইছিলেন, সবার মনে থাকার কথা।
তারমধ্যে ম্যাক্সিমাম সাইটগুলোতে একটা প্যাটার্ন লক্ষ করা যায়, সেটি হলোঃ প্রতিটি পোস্টের কন্টেন্ট সেইম, শুধু কয়েক জায়গায় কিওয়ার্ডসগুলো বসিয়ে দেয়। ফাইন্ড করলে দেখা যায় ১৫ থেকে ২০ বারের মতো কিওয়ার্ডটি পোস্টের বিভিন্ন জায়গায় বসিয়ে দিয়েছে।
এখন যদি ৫০ হাজার কিওয়ার্ডস-এর জন্য ৫০ হাজার পোস্ট ম্যানুয়ালি কিওয়ার্ড বসিয়ে বসিয়ে ইডিট করতে যাই অনেক সময়ের প্রয়োজন।
প্রসেসগুলো স্টেপ-বাই-স্টেপ লিখিঃ
স্টেপ-১ঃ
একটা ফাইলে বেশ কিছু কিওয়ার্ড SEMRush বা Ahrefs থেকে ডাউনলোড করে লাইন-বাই-লাইন রেখে দিবো।
ধরি ফাইলটির নামঃ keywords.txt
এবং এই ফাইলে ৫০০ কিওয়ার্ডস রেখে দিলাম।
স্টেপ-২ঃ
আরেকটি ফাইলে একটা কন্টেন্ট/আর্টিকেল লিখে রাখবো। ছোটবেলায় যেমন একটা প্যারাগ্রাফ মুখস্ত করে ২০-২৫ টা প্যারাগ্রাফ পরীক্ষায় লিখে আসতাম, ঠিক এমনভাবে লিখতে হবে এই পোস্টটি। লিস্টিং সাইটগুলো থেকে আইডিয়া নেয়া যেতে পারে।
স্টেপ-৩ঃ
keywords.txt ফাইলে যতগুলো কিওয়ার্ডস রাখবো ঠিক ততগুলো আলাদা আলাদা ফাইল ক্রিয়েট হয়ে যাবে। এবং প্রতিটি ফাইল অটোম্যাটিক তৈরি হয়ে যাবে কিওয়ার্ডের নামে।
যেহেতু ৫০০ কিওয়ার্ডস রেখেছিলাম keywords.txt ফাইলে, তাই ফোল্ডারের ভিতর ৫০০ ফাইল ক্রিয়েট হবে।
স্টেপ-২ তে যে মেইন ফাইল (ডিফল্ট পোস্ট) রেখেছিলাম মূলত সেই ফাইলে যে যে জায়গায় কিওয়ার্ড রিপ্লেস করা দরকার সেখানে সেখানে রিপ্লেস হবে।
প্রোগ্রামটি রান করা মাত্র ইউজারকে একটি ফোল্ডারের নাম ইনপুট হিসেবে দিতে বলবে। যে নাম দিবেন ঐ নামে একটি ফোল্ডার ক্রিয়েট হবে। এবং ফোল্ডারের ভিতর ফাইলগুলো তৈরি হবে।
আরো কিছু যোগ করা যেতে পারেঃ যেমন প্রতিটি পোস্ট ইউনিক করা যেতে পারে। এজন্য নেক্সট প্লান করেছি একটা ছোটখাটো কন্টেন্ট রি-রাইট টুল বানানো।
২০১১-১২ সালের দিকে প্রোগ্রামিং এর প্রতি সেই একটা ঝোক ছিলো। মাঝখানে কোন এক কারনে সুইচ হয়ে যাই, Abdul Aouwal কে কি বলে ধন্যবাদ দিবো ভাষাই খুঁজে পাচ্ছি না। ভাই আমার চোখ খুলে দিয়েছেন। মরিচা পড়ে থাকা আমার ব্রেইনটাকে ঘষামাজা করার সুযোগ তৈরি করেছেন আওয়াল ভাই। একরকম গোল-ই সেট করে ফেলছি আর প্রোগ্রামিং থেকে সরে যাচ্ছি না।
ইরোর হ্যান্ডলিং, লিমিট সেট সহ আরো কিছু ইডিট করে আজকে রাতে বা আগামীকাল কোডগুলো শেয়ার করবো ইনশাআল্লাহ। এখন গ্রামে যাচ্ছি, স্মার্ট কার্ড বিতরণ করছে আমাদের এলাকায় আজকে। তাই তাড়াহুড়ো করে পোস্টটি লিখলাম, ভূল ভ্রান্তি ক্ষমা সুন্দর দৃষ্টিতে দেখার অনুরোধ রইলো।
হ্যাপি কোডিং ❤

#
আমি একটা সাইট নিয়ে কাজ করতে চাচ্ছি যেখানে ভিন্ন ভিন্ন পোস্টে ভিন্ন সংখ্যক ডাটা আছে।
তো এখন কনফিউজড হয়ে যাচ্ছি যে এটা নিয়ে কাজ করতে পারব কিনা।
কারণ এতো ভিন্ন সংখ্যক ডেটা স্টোর এন্ড সেগুলো আবার এক্সেস করতে পারব কিনা?
উদাহরণ হিসেবে IMDB ধরা যেতে পারে ২টা পোষ্ট যদি হয়ঃ “top 10 action movie”,
“top 50 adventure movies”
যার স্ক্রাপ করবো Serial number, movie title, year, director name etc.
এখানে তো একটার টেবিলের চেয়ে অন্যটার টেবিল অনেক বড় হয়ে যাবে।
এক্ষেত্রে কাজ করা কি পসিবল হবে? নাকি সাইট পরিবর্তন করতে হবে?
(pic for attention)
ans
যেই ডাটা গুলা নেই সেগুলা ব্লাংক থাকবে তাহলেই হল.
 ব্লাংক গুলাকে ইফ স্টেটমেন্টে ফেলাবেন। যদি ব্লাংক হয় তাহলে পোষ্টে যাবে না.
#

kalke ekta site er pray 4.7k url scrape korechi. ajke sei site e request dilei bot hisebe block kore dicche. kintu ami headers use korechilam. (user aget, cookie, refferer)
ekhon ki korte pari?
ans
হেডার্সে বাকি যেগুলা আছে সেগুলাও এড করে নেন। আর warp ইউজ করতে পারেন.