অসীম স্ক্রোলিং সহ ওয়েবসাইটগুলি কীভাবে স্ক্র্যাপ করবেন?

কেসি ওয়ার্ড
জুন 11, 2024

সুচিপত্র

ওয়েব স্ক্র্যাপিং কি?

ওয়েব স্ক্র্যাপিং হল ওয়েবসাইট থেকে তথ্য বের করতে স্বয়ংক্রিয় স্ক্রিপ্ট ব্যবহার করার প্রক্রিয়া। এই কৌশলটি সাধারণত ডেটা সংগ্রহ, বাজার গবেষণা এবং সামগ্রী একত্রিত করার জন্য ব্যবহৃত হয়। ওয়েব স্ক্র্যাপিংয়ের মাধ্যমে, আপনি প্রচুর পরিমাণে ডেটা নিষ্কাশন স্বয়ংক্রিয়ভাবে করতে পারেন যা ম্যানুয়ালি সংগ্রহ করা ক্লান্তিকর হবে।

অসীম স্ক্রোলিং বোঝা

অসীম স্ক্রলিং হল একটি ওয়েব ডিজাইন কৌশল যেখানে ব্যবহারকারী পৃষ্ঠাটি স্ক্রোল করার সাথে সাথে নতুন সামগ্রী স্বয়ংক্রিয়ভাবে লোড হয়। এই পদ্ধতিটি পৃষ্ঠাগুলিতে নেভিগেট করার প্রয়োজন ছাড়াই ক্রমাগত নতুন সামগ্রী সরবরাহ করে ব্যবহারকারীর অভিজ্ঞতা বাড়ায়। যাইহোক, এই গতিশীল লোডিং ওয়েব স্ক্র্যাপিংয়ের জন্য চ্যালেঞ্জ তৈরি করে কারণ ঐতিহ্যগত পদ্ধতিগুলি সমস্ত বিষয়বস্তু ক্যাপচার করতে পারে না।

আপনার প্রয়োজন হবে টুল

অসীম স্ক্রোলিং সহ ওয়েবসাইটগুলি স্ক্র্যাপ করতে, আপনার নিম্নলিখিত সরঞ্জামগুলির প্রয়োজন হবে:

পাইথন: একটি বহুমুখী প্রোগ্রামিং ভাষা যা ওয়েব স্ক্র্যাপিংয়ে ব্যাপকভাবে ব্যবহৃত হয়।
সেলেনিয়াম: একটি ব্রাউজার অটোমেশন টুল যা একজন মানুষের ব্যবহারকারীর মতোই ওয়েব পৃষ্ঠাগুলির সাথে যোগাযোগ করতে পারে৷
সুন্দর স্যুপ: HTML এবং XML নথি পার্স করার জন্য একটি পাইথন লাইব্রেরি।
পান্ডা: স্ক্র্যাপ করা ডেটা সংরক্ষণ এবং পরিচালনা করার জন্য একটি ডেটা ম্যানিপুলেশন লাইব্রেরি।

টেবিল: প্রয়োজনীয় সরঞ্জাম

টুল	বর্ণনা
পাইথন	স্ক্রিপ্ট লেখার জন্য প্রোগ্রামিং ভাষা।
সেলেনিয়াম	ওয়েব পৃষ্ঠাগুলির সাথে ইন্টারঅ্যাক্ট করতে ব্রাউজারগুলিকে স্বয়ংক্রিয় করে।
সুন্দর স্যুপ	তথ্য বের করতে HTML এবং XML নথি পার্স করে।
পান্ডা	ডাটাফ্রেমে ডেটা পরিচালনা করে এবং ম্যানিপুলেট করে।

আপনার পরিবেশ সেট আপ করা হচ্ছে

আপনি শুরু করার আগে, আপনাকে প্রয়োজনীয় লাইব্রেরিগুলি ইনস্টল করতে হবে। আপনার টার্মিনাল বা কমান্ড প্রম্পট খুলুন এবং নিম্নলিখিত কমান্ডগুলি চালান:

pip install selenium beautifulsoup4 pandas

এছাড়াও আপনাকে ChromeDriver ডাউনলোড করতে হবে, যা ক্রোম ব্রাউজার নিয়ন্ত্রণ করতে সেলেনিয়ামের প্রয়োজন। ChromeDriver সংস্করণটি আপনার ব্রাউজার সংস্করণের সাথে মেলে তা নিশ্চিত করুন৷

স্ক্রিপ্ট লেখা

এখানে একটি স্ক্রিপ্ট লেখার জন্য একটি ধাপে ধাপে নির্দেশিকা রয়েছে যা অসীম স্ক্রোলিং সহ একটি ওয়েবসাইটকে স্ক্র্যাপ করে।

ওয়েব ড্রাইভার শুরু করুন

হেডলেস মোডে ক্রোম ব্রাউজার চালানোর জন্য সেলেনিয়াম সেট আপ করে শুরু করুন। এটি একটি ব্রাউজার উইন্ডো না খুলে স্ক্রিপ্টটিকে দ্রুত এবং আরও দক্ষ করে চালানোর অনুমতি দেয়।

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--headless")
service = Service('path_to_chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.get("https://example.com")

পৃষ্ঠাটি স্ক্রোল করুন

সমস্ত সামগ্রী লোড না হওয়া পর্যন্ত পৃষ্ঠাটি স্ক্রোল করার জন্য একটি ফাংশন তৈরি করুন৷ এই ফাংশনটি নিচে স্ক্রোল করতে জাভাস্ক্রিপ্ট ব্যবহার করে এবং নতুন কন্টেন্ট লোড করার জন্য বিরতি দেয়।

import time

def scroll_page():
    SCROLL_PAUSE_TIME = 2
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(SCROLL_PAUSE_TIME)
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height

scroll_page()

HTML পার্স করুন

সেলেনিয়াম দ্বারা লোড করা HTML সামগ্রী পার্স করতে BeautifulSoup ব্যবহার করুন৷ পৃষ্ঠা থেকে প্রয়োজনীয় ডেটা উপাদানগুলি বের করুন।

from bs4 import BeautifulSoup

soup = BeautifulSoup(driver.page_source, "html.parser")
data = []

items = soup.find_all("div", class_="item-class")
for item in items:
    title = item.find("h2").text.strip()
    description = item.find("p").text.strip()
    data.append([title, description])

স্ক্র্যাপ করা ডেটা সংরক্ষণ করা হচ্ছে

নিষ্কাশিত ডেটা একটি ডেটাফ্রেমে সংরক্ষণ করতে পান্ডাস ব্যবহার করুন এবং তারপরে এটি একটি CSV ফাইলে সংরক্ষণ করুন।

import pandas as pd

df = pd.DataFrame(data, columns=["Title", "Description"])
df.to_csv("scraped_data.csv", index=False)

সম্পূর্ণ স্ক্রিপ্ট

সমস্ত পদক্ষেপ একত্রিত করে, অসীম স্ক্রোলিং সহ একটি ওয়েবসাইট স্ক্র্যাপ করার জন্য এখানে সম্পূর্ণ স্ক্রিপ্ট রয়েছে:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
import pandas as pd

chrome_options = Options()
chrome_options.add_argument("--headless")
service = Service('path_to_chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.get("https://example.com")

def scroll_page():
    SCROLL_PAUSE_TIME = 2
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(SCROLL_PAUSE_TIME)
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height

scroll_page()

soup = BeautifulSoup(driver.page_source, "html.parser")
data = []

items = soup.find_all("div", class_="item-class")
for item in items:
    title = item.find("h2").text.strip()
    description = item.find("p").text.strip()
    data.append([title, description])

driver.quit()

df = pd.DataFrame(data, columns=["Title", "Description"])
df.to_csv("scraped_data.csv", index=False)

print("Scraping completed and data saved to scraped_data.csv")

সাধারণ চ্যালেঞ্জ এবং সমাধান

ডায়নামিক কন্টেন্ট হ্যান্ডলিং

জাভাস্ক্রিপ্টের মাধ্যমে লোড হওয়া ডায়নামিক কন্টেন্ট স্ক্র্যাপ করা কঠিন হতে পারে। স্ক্রোল ফাংশনে বিরতির সময় সামঞ্জস্য করে সমস্ত সামগ্রী সম্পূর্ণরূপে লোড হয়েছে তা নিশ্চিত করুন৷ কখনও কখনও, অতিরিক্ত সামগ্রী লোড করতে আপনাকে উপাদানগুলির সাথে যোগাযোগ করতে হতে পারে (যেমন, "আরো লোড করুন" বোতামে ক্লিক করুন)৷

অ্যান্টি-স্ক্র্যাপিং ব্যবস্থা নিয়ে কাজ করা

ওয়েবসাইটগুলি ক্যাপচা, আইপি ব্লকিং এবং রেট সীমিত করার মতো অ্যান্টি-স্ক্র্যাপিং ব্যবস্থাগুলি বাস্তবায়ন করতে পারে। এগুলি বাইপাস করতে:

আইপি ব্লকিং এড়াতে প্রক্সি ব্যবহার করুন।
মানুষের আচরণ অনুকরণ করার অনুরোধের মধ্যে বিলম্ব প্রয়োগ করুন।
সনাক্তকরণ প্রতিরোধ করতে ব্যবহারকারী এজেন্ট ঘোরান.

ডেটার যথার্থতা নিশ্চিত করা

স্ক্র্যাপ করা ডেটা সঠিক এবং সম্পূর্ণ তা নিশ্চিত করতে সর্বদা যাচাই করুন। অনুপস্থিত বা ডুপ্লিকেট ডেটা পরিচালনা করতে ডেটা পরিষ্কার করার কৌশল ব্যবহার করুন।

ওয়েব স্ক্র্যাপিং এ নৈতিক বিবেচনা

যদিও ওয়েব স্ক্র্যাপিং একটি শক্তিশালী হাতিয়ার, এটি নৈতিক প্রভাব বিবেচনা করা অপরিহার্য:

পরিষেবার শর্তাবলী সম্মান করুন: স্ক্র্যাপ করার আগে সর্বদা ওয়েবসাইটের পরিষেবার শর্তাবলী পরীক্ষা করুন৷
ওভারলোডিং সার্ভার এড়িয়ে চলুন: খুব আক্রমণাত্মকভাবে স্ক্র্যাপিং সার্ভার ওভারলোড করতে পারে। উপযুক্ত বিলম্ব ব্যবহার করুন এবং অল্প সময়ের মধ্যে প্রচুর পরিমাণে ডেটা স্ক্র্যাপ করা এড়ান।
ডেটা গোপনীয়তা: নিশ্চিত করুন যে আপনি সম্মতি ছাড়া ব্যক্তিগত ডেটা স্ক্র্যাপ করবেন না।

উপসংহার

অসীম স্ক্রোলিং সহ ওয়েবসাইটগুলি স্ক্র্যাপ করা চ্যালেঞ্জিং হতে পারে তবে সঠিক সরঞ্জাম এবং কৌশলগুলির সাথে অর্জনযোগ্য। গতিশীল বিষয়বস্তু পরিচালনা করতে সেলেনিয়াম এবং HTML পার্স করার জন্য BeautifulSoup ব্যবহার করে, আপনি দক্ষতার সাথে আপনার প্রয়োজনীয় ডেটা সংগ্রহ করতে পারেন। নৈতিক নির্দেশিকাকে সম্মান করতে এবং গতিশীল বিষয়বস্তু এবং স্ক্র্যাপিং-বিরোধী ব্যবস্থা যথাযথভাবে পরিচালনা করতে ভুলবেন না।

এই নির্দেশিকা অনুসরণ করে, আপনি অসীম স্ক্রোলিং সহ ওয়েবসাইটগুলিকে স্ক্র্যাপ করতে এবং আপনার প্রয়োজনের জন্য মূল্যবান ডেটা বের করতে সুসজ্জিত হতে হবে।