تحلیل احساسات با پایتون: VADER در برابر Hugging Face

تیم شما سه محصول می‌فروشد و برای هر کدام چند هزار نظر مشتری دارد. میانگین ستاره‌ها از ماهی به ماه دیگر تقریباً تکان نمی‌خورد، اما پشتیبانی می‌گوید شکایت‌ها درباره یکی از محصولات دو برابر شده است. خواندن همه نظرها ممکن نیست، پس اسکریپتی می‌خواهید که هر نظر را مثبت، خنثی یا منفی علامت بزند و نشان دهد حال‌وهوای مشتریان کجا در حال تغییر است. نخستین آموزشی که پیدا می‌کنید از VADER استفاده می‌کند، دومی از یک مدل ترنسفورمر، و این دو برای یک جمله واحد پاسخ‌های متفاوتی می‌دهند.

این راهنما هر دو روش را روی یک مجموعه کوچک و یکسان از نظرهای محصول اجرا می‌کند. توضیح می‌دهیم هر روش چگونه کار می‌کند، کد کامل و آزموده را می‌آوریم (یک مرحله مبتنی بر واژه‌نامه با NLTK، یک مرحله مبتنی بر مدل با تابع pipeline از Hugging Face و گزارشی که نتایج را بر اساس محصول و ماه گروه‌بندی می‌کند)، نشان می‌دهیم هر روش تا چه اندازه با امتیاز ستاره‌ای هم‌خوان بود و کدام نظرها هر دو را فریب دادند. همه اسکریپت‌ها در 28 سپتامبر 2026 با Python 3.13، nltk 3.10.3، pandas 3.0.6، transformers 5.17.0 و نسخه CPU از torch 2.14 اجرا شدند.

تحلیل احساسات چیست؟#

تحلیل احساسات که نظرکاوی هم نامیده می‌شود، کار تشخیص نگرشی است که یک متن بیان می‌کند. برای نظرهای محصول، خروجی معمولاً یکی از سه برچسب (مثبت، خنثی، منفی) یا یک امتیاز ستاره‌ای است و اغلب با یک امتیاز اطمینان همراه است. ابزارهای تحلیل در سطح جنبه یک قدم جلوتر می‌روند و جمله‌ای مثل «صدای عالی، باتری ضعیف» را به دو نظر جدا تقسیم می‌کنند؛ این کار نوع دیگری از مدل می‌خواهد و خارج از این راهنماست.

مانند روش‌های نوشته داده‌کاوی: روش‌ها، کاربردها و تهیه داده، تحلیل احساسات متن بی‌ساختار را به ستونی تبدیل می‌کند که می‌توانید آن را بشمارید و نمودارش را بکشید. ارزش کار در روند است، نه در یک امتیاز تنها: برای نمونه، بالا رفتن سهم نظرهای منفی یک محصول پس از عوض شدن تأمین‌کننده.

تحلیل احساسات در پایتون چگونه کار می‌کند؟#

دو خانواده ابزار وجود دارد و سازوکار آن‌ها بسیار متفاوت است.

مبتنی بر واژه‌نامه (VADER). VADER، کوته‌نوشت Valence Aware Dictionary and sEntiment Reasoner، فهرستی از حدود 7,500 واژه، شکلک و اصطلاح عامیانه انگلیسی است که ارزیاب‌های انسانی از بسیار منفی تا بسیار مثبت به آن‌ها امتیاز داده‌اند، به‌علاوه مجموعه‌ای از قاعده‌ها. این قاعده‌ها امتیاز را با !!! و حروف بزرگ بالا می‌برند، به واژه‌های پس از «but» وزن بیشتری از واژه‌های پیش از آن می‌دهند و وقتی یک واژه نفی مانند «not» یا «never» تا سه واژه پیش از یک واژه احساسی بیاید، علامت امتیاز را برعکس می‌کنند. README کتابخانه vaderSentiment این قاعده‌ها و آستانه‌ها را شرح می‌دهد. NLTK همین تحلیلگر را با نام nltk.sentiment.vader ارائه می‌کند که در راهنمای تحلیل احساسات NLTK مستند شده است.

مبتنی بر مدل (ترنسفورمرها). ترنسفورمری مانند BERT ابتدا روی حجم زیادی از متن آموزش دیده و سپس با نمونه‌هایی که برچسب احساس دارند تنظیم دقیق (fine-tune) شده است. این مدل کل جمله را به عدد تبدیل می‌کند و هر واژه را در پرتو واژه‌های دیگر می‌خواند، بنابراین عبارت‌هایی مثل «not bad» و «killer» بر اساس بافت جمله سنجیده می‌شوند، نه با یک مقدار ثابت. Hugging Face هزاران مدل از این نوع را میزبانی می‌کند و تابع pipeline آن یکی از آن‌ها را با یک خط کد بارگذاری می‌کند.

در هر دو حالت، امتیازدهی در پنج گام انجام می‌شود:

1. بارگذاری متن. برای هر نظر یک ردیف، همراه با محصول، تاریخ و اگر در دسترس است، امتیاز ستاره‌ای.
2. تقسیم یا توکن‌سازی. VADER با واژه‌ها و نشانه‌های نگارشی کار می‌کند. ترنسفورمر توکنایزر خودش را دارد که واژه‌ها را به تکه‌های کوچک‌تر می‌شکند و در یک طول بیشینه متوقف می‌شود (512 توکن برای مدل‌های مبتنی بر BERT).
3. امتیازدهی. VADER ارزش واژه‌ها را جمع می‌زند، قاعده‌هایش را اعمال می‌کند و سپس مجموع را در یک مقدار compound بین -1 و +1 فشرده می‌کند. مدل برای هر برچسب یک احتمال برمی‌گرداند.
4. نگاشت به برچسب. برای VADER آستانه‌ها را خودتان انتخاب می‌کنید. برای مدل، برچسبی را که بیشترین احتمال را دارد برمی‌دارید و امتیاز را به‌عنوان اطمینان نگه می‌دارید.
5. تجمیع. برچسب‌ها را بر اساس محصول، هفته یا ماه بشمارید و نتایج را کنار عددهایی بگذارید که از قبل دنبال می‌کنید.

مقایسه VADER و مدل ترنسفورمر#

ردیف آخر از یک مجموعه داده بسیار کوچک و دست‌نویس به دست آمده است. این ردیف نوع خطاهای هر روش را نشان می‌دهد، نه عملکرد آن‌ها روی داده‌های شما را.

انتخاب مدل Hugging Face برای نظرهای محصول#

بسیاری از مدل‌های تحلیل احساسات در هاب Hugging Face روی توییت‌ها یا نقدهای فیلم آموزش دیده‌اند. برای نظرهای محصول سه چیز اهمیت دارد:

• داده آموزشی. مدلی که روی توییت‌ها آموزش دیده زبان عامیانه را می‌شناسد؛ مدلی که روی نظرهای محصول آموزش دیده واژگان محصول را.
• برچسب‌ها. سه برچسب، پنج برچسب یا امتیاز ستاره‌ای. آن‌ها را در یک نقطه از کد به برچسب‌های خودتان نگاشت کنید.
• مجوز. برخی مدل‌های پرطرفدار مجوز غیرتجاری دارند. کارت مدل را بخوانید.

ما سه مدل کوچک چندزبانه را روی همان 24 نظر آزمودیم و در کد زیر از nlptown/bert-base-multilingual-uncased-sentiment استفاده کردیم. این مدل روی نظرهای محصول به زبان‌های انگلیسی، هلندی، آلمانی، فرانسوی، اسپانیایی و ایتالیایی تنظیم دقیق شده، یک تا پنج ستاره پیش‌بینی می‌کند و مجوز MIT دارد. کارت مدل برای انگلیسی دقت 67% در ستاره دقیق و 95% با خطای حداکثر یک ستاره گزارش می‌کند. ترکی جزو زبان‌های آن نیست، بنابراین یک نظر ترکی حدسی دریافت می‌کند، نه پاسخی آموخته.

دو مدل دیگر lxyuan/distilbert-base-multilingual-cased-sentiments-student (سه برچسب، Apache 2.0) بود که در 13 نظر از 24 با ستاره‌های ما هم‌خوان بود، و tabularisai/multilingual-sentiment-analysis (پنج برچسب، 16 از 24) که مجوز CC BY-NC 4.0 دارد و در نتیجه برای استفاده تجاری آزاد نیست.

داده آزمایشی: 24 نظر محصول#

از نظرهای اسکرپ‌شده استفاده نکردیم. فایل زیر 24 نظر دارد که خودمان برای سه محصول خیالی نوشته‌ایم، هر کدام با تاریخ و امتیاز ستاره‌ای، تا بتوان هر دو روش را با امتیاز سنجید. مواردی را گنجانده‌ایم که در داده واقعی دردسر درست می‌کنند: طعنه، زبان عامیانه، نفی، احساسات آمیخته، و یک نظر به هر یک از زبان‌های آلمانی، اسپانیایی و ترکی. آن را با نام reviews.csv ذخیره کنید:

review_id,product,date,rating,lang,text
1,kettle,2026-07-02,5,en,"Boils a full litre in under three minutes and the lid never drips. Love it."
2,kettle,2026-07-05,4,en,"Solid kettle, a bit loud but it does the job."
3,kettle,2026-07-11,1,en,"Stopped working after two weeks. Support never answered my emails."
4,kettle,2026-07-19,2,en,"The handle gets hot. Not great, not terrible."
5,kettle,2026-08-03,5,en,"Best purchase this year!!! Fast, quiet and it looks good on the counter :)"
6,kettle,2026-08-14,1,en,"Oh great, another kettle that leaks all over the counter. Just what I needed."
7,kettle,2026-08-21,3,en,"It is a kettle. It boils water."
8,kettle,2026-08-30,4,de,"Kocht schnell und ist leise. Gutes Preis-Leistungs-Verhältnis."
9,headphones,2026-07-03,5,en,"The noise cancelling is superb and the battery lasts all week."
10,headphones,2026-07-09,2,en,"Sound is fine but the ear cushions started peeling after a month."
11,headphones,2026-07-15,4,en,"Comfortable for long flights. The app is clunky though."
12,headphones,2026-07-28,1,en,"Right ear cut out on day three. Returned them."
13,headphones,2026-08-06,5,es,"Suenan de maravilla y la batería dura muchísimo."
14,headphones,2026-08-12,3,en,"Bass is heavy. Some people will like it, I am not sure I do."
15,headphones,2026-08-24,2,en,"I wanted to love these, but the Bluetooth keeps dropping."
16,headphones,2026-08-29,4,en,"Not bad at all for the price."
17,backpack,2026-07-01,5,en,"Survived a rainy week in the mountains and everything inside stayed dry."
18,backpack,2026-07-13,4,en,"Lots of pockets. The laptop sleeve is a little tight for a 16 inch model."
19,backpack,2026-07-22,1,en,"The zipper broke on the first trip. Cheap material."
20,backpack,2026-08-02,3,tr,"Fiyatına göre idare eder ama askılar biraz ince."
21,backpack,2026-08-09,5,en,"Killer design, this bag is sick!"
22,backpack,2026-08-17,2,en,"Looks nice in the photos, feels flimsy in real life."
23,backpack,2026-08-26,4,en,"Carries my camera gear without any back pain."
24,backpack,2026-08-31,1,en,"Terrible stitching. The strap tore off after a week."

داده واقعی نظرها پیش از امتیازدهی به یک دور پاک‌سازی نیاز دارد: ردیف‌های تکراری، HTML باقی‌مانده در متن و نویسه‌های خراب. نوشته پاک‌سازی داده‌های اسکرپینگ با pandas در Python این مرحله را پوشش می‌دهد.

گام 1: امتیازدهی نظرها با VADER#

دو کتابخانه را در یک محیط مجازی نصب کنید:

python -m venv .venv
.venv\Scripts\activate          # macOS/Linux: source .venv/bin/activate
pip install nltk pandas

اسکریپت هر جمله را جداگانه امتیاز می‌دهد و از نتایج میانگین می‌گیرد. این کار را پس از اجرای اول اضافه کردیم: وقتی نظر 1 («…the lid never drips. Love it.») به‌صورت یک رشته واحد امتیاز گرفت، نتیجه -0.52 شد، چون پنجره نفی سه‌واژه‌ای VADER از روی نقطه پایان جمله گذشت و «love» را برعکس کرد. با امتیازدهی جمله‌به‌جمله، نتیجه +0.32 شد.

import re

import nltk
import pandas as pd
from nltk.sentiment.vader import SentimentIntensityAnalyzer

nltk.download("vader_lexicon", quiet=True)  # 90 KB lexicon, downloaded once

analyzer = SentimentIntensityAnalyzer()
SENTENCE_END = re.compile(r"(?<=[.!?])\s+")


def vader_compound(text: str) -> float:
    """Score each sentence separately and average the compound scores."""
    sentences = [s for s in SENTENCE_END.split(text) if s.strip()]
    scores = [analyzer.polarity_scores(s)["compound"] for s in sentences]
    return round(sum(scores) / len(scores), 4)


def vader_label(compound: float) -> str:
    # thresholds recommended by the VADER authors
    if compound >= 0.05:
        return "positive"
    if compound <= -0.05:
        return "negative"
    return "neutral"


df = pd.read_csv("reviews.csv", parse_dates=["date"])
df["compound"] = df["text"].apply(vader_compound)
df["vader"] = df["compound"].apply(vader_label)

print(df[["review_id", "lang", "compound", "vader"]].to_string(index=False))
df.to_csv("reviews_vader.csv", index=False)

بخشی از خروجی:

 review_id lang  compound    vader
         1   en    0.3185 positive
         3   en    0.0878 positive
         6   en    0.3125 positive
         8   de    0.0000  neutral
        17   en    0.4588 positive
        21   en   -0.8356 negative

نظر 3 شکایتی یک‌ستاره است، اما «support» در واژه‌نامه واژه‌ای مثبت است و هیچ واژه منفی‌ای بر آن غلبه نمی‌کند. نظر 6 طعنه است («Oh great … Just what I needed») و VADER واژه «great» را به معنای ظاهری‌اش می‌گیرد. نظر آلمانی دقیقاً صفر می‌گیرد، چون هیچ‌کدام از واژه‌هایش در واژه‌نامه انگلیسی نیست. نظر 21 «killer» و «sick» را در معنای ستایش به کار می‌برد؛ VADER هر دو واژه را فقط در معنای منفی‌شان می‌شناسد.

گام 2: امتیازدهی همان نظرها با یک مدل Hugging Face#

مرحله مدل به transformers و یک بک‌اند یادگیری عمیق نیاز دارد. اگر GPU ندارید، ابتدا نسخه CPU از torch را نصب کنید؛ حجم آن بسیار کمتر از نسخه پیش‌فرض همراه با CUDA است:

pip install torch --index-url https://download.pytorch.org/whl/cpu
pip install transformers

اجرای اول مدل را (حدود 670 MB) در کش Hugging Face دانلود می‌کند. اگر می‌خواهید این کش روی دیسک دیگری باشد، متغیر محیطی HF_HOME را تنظیم کنید. نام وظیفه sentiment-analysis نام مستعار text-classification است؛ پارامترهای batch_size، truncation و device در مستندات pipelineهای Transformers توضیح داده شده‌اند.

import pandas as pd
from transformers import pipeline

MODEL = "nlptown/bert-base-multilingual-uncased-sentiment"

classifier = pipeline(
    "sentiment-analysis",  # alias of "text-classification"
    model=MODEL,
    device="cpu",          # device=0 for the first GPU
)

df = pd.read_csv("reviews_vader.csv", parse_dates=["date"])
results = classifier(
    df["text"].tolist(),
    batch_size=8,
    truncation=True,       # reviews longer than 512 tokens are cut, not rejected
)


def stars_to_label(stars: int) -> str:
    if stars >= 4:
        return "positive"
    if stars == 3:
        return "neutral"
    return "negative"


df["hf_stars"] = [int(r["label"][0]) for r in results]  # "4 stars" -> 4
df["hf_score"] = [round(r["score"], 3) for r in results]
df["hf"] = df["hf_stars"].apply(stars_to_label)

print(df[["review_id", "rating", "hf_stars", "hf_score", "vader", "hf"]].to_string(index=False))
df.to_csv("reviews_scored.csv", index=False)

با مدلی که از قبل در کش بود، اسکریپت روی CPU یک لپ‌تاپ، همراه با بارگذاری، حدود هفت ثانیه طول کشید. بخشی از خروجی:

 review_id  rating  hf_stars  hf_score    vader       hf
         3       1         1     0.736 positive negative
         6       1         1     0.230 positive negative
         8       4         5     0.526  neutral positive
        17       5         1     0.562 positive negative
        20       3         3     0.622  neutral  neutral
        21       5         1     0.816 negative negative

مدل شکایت نظر 3، طعنه نظر 6 (با اطمینان پایین 0.23) و نظر آلمانی را درست تشخیص داد. در نظر 17، یعنی کوله‌پشتی‌ای که «survived a rainy week»، اشتباه کرد و زبان عامیانه نظر 21 را با اطمینان بالا یک ستاره خواند. نظر 20 ترکی است، زبانی که مدل روی آن آموزش ندیده؛ سه ستاره‌اش درست درآمد، اما ما به آن تکیه نمی‌کنیم.

گام 3: تجمیع بر اساس محصول و ماه#

گزارش هر دو روش را با امتیاز ستاره‌ای می‌سنجد، برای هر محصول و ماه یک امتیاز احساس خالص (سهم نظرهای مثبت منهای سهم نظرهای منفی) می‌سازد و نظرهایی را که دو روش درباره‌شان اختلاف دارند در فایلی می‌نویسد تا یک نفر آن‌ها را بخواند.

import pandas as pd

df = pd.read_csv("reviews_scored.csv", parse_dates=["date"])


def stars_to_label(rating: int) -> str:
    if rating >= 4:
        return "positive"
    if rating == 3:
        return "neutral"
    return "negative"


df["truth"] = df["rating"].apply(stars_to_label)
for method in ("vader", "hf"):
    hit = (df[method] == df["truth"]).mean()
    print(f"{method}: {hit:.0%} agree with the star rating")
off_by_one = ((df["hf_stars"] - df["rating"]).abs() <= 1).mean()
print(f"model stars within one star of the rating: {off_by_one:.0%}")

# Net sentiment: share of positive minus share of negative, from -1 to +1
NET = {"positive": 1, "neutral": 0, "negative": -1}
df["net"] = df["hf"].map(NET)
df["month"] = df["date"].dt.to_period("M")

by_product = (
    df.groupby("product")
    .agg(reviews=("review_id", "count"),
         net=("net", "mean"),
         negative_share=("hf", lambda s: (s == "negative").mean()),
         avg_rating=("rating", "mean"))
    .round(2)
    .sort_values("net")
)
print(by_product.to_string())

by_month = df.pivot_table(index="month", columns="product", values="net", aggfunc="mean").round(2)
print(by_month.to_string())

# Rows where the two methods disagree go to a person for review
disagree = df[df["vader"] != df["hf"]]
print(f"{len(disagree)} of {len(df)} reviews need a human look")
disagree[["review_id", "rating", "vader", "hf", "text"]].to_csv("review_queue.csv", index=False)

vader: 58% agree with the star rating
hf: 79% agree with the star rating
model stars within one star of the rating: 92%
            reviews   net  negative_share  avg_rating
product
backpack          8 -0.25            0.50        3.12
headphones        8  0.12            0.25        3.25
kettle            8  0.12            0.38        3.12
product  backpack  headphones  kettle
month
2026-07     -0.33       -0.25    0.00
2026-08     -0.20        0.50    0.25
11 of 24 reviews need a human look

کوله‌پشتی و کتری میانگین امتیاز یکسان 3.12 دارند، اما نیمی از نظرهای کوله‌پشتی منفی خوانده می‌شوند، در برابر 38% برای کتری؛ فاصله‌ای که میانگین ستاره‌ها پنهانش می‌کند. با هشت نظر برای هر محصول، یک نظر احساس خالص را 0.25 جابه‌جا می‌کند، پس پیش از رسم نمودار برای هر گروه حداقل تعدادی تعیین کنید. شیوه ذخیره ردیف‌های امتیازدار برای اجرای بعدی در نوشته ذخیره داده‌های اسکرپینگ در CSV، JSON و SQLite آمده است.

نظرها از کجا می‌آیند؟#

برای کد فرقی نمی‌کند متن از کجا آمده باشد، اما منبع تعیین می‌کند با آن چه کاری مجاز هستید:

• فروشگاه خودتان، کنسول فروشگاه اپلیکیشن یا سامانه پشتیبانی. تمیزترین منبع است و امتیاز ستاره‌ای لازم برای سنجش مدل را هم در خود دارد.
• پلتفرم‌های نظر و بازارگاه‌های آنلاین. بسیاری از آن‌ها API رسمی یا خروجی ویژه فروشندگان دارند. پیش از فکر کردن به اسکرپینگ از آن استفاده کنید.
• صفحه‌های عمومی. از robots.txt و شرایط استفاده پیروی کنید، نرخ درخواست را پایین نگه دارید و نام نویسندگان نظرها و پیوند پروفایلشان را کنار بگذارید. نوشته‌های آیا اسکرپینگ وب قانونی است؟ و مدیریت داده‌های شخصی (PII) در مجموعه‌داده‌های اسکرپ‌شده قاعده‌ها را توضیح می‌دهند.

وقتی یک بازارگاه نظرها یا قیمت‌های متفاوتی برای هر کشور نشان می‌دهد، یک پروکسی مسکونی با هدف‌گیری کشور به شما امکان می‌دهد صفحه‌ای را ببینید که یک خریدار محلی می‌بیند.

کاربردها#

• پژوهش محصول و دسته‌بندی: مقایسه اینکه خریداران درباره محصولات شما و محصولات یک رقیب چگونه حرف می‌زنند، به‌عنوان بخشی از تحقیقات بازار.
• پایش تجارت الکترونیک: دنبال کردن احساس نظرها در کنار داده‌های قیمت و موجودی در چند بازارگاه؛ صفحه پروکسی تجارت الکترونیک و نوشته رصد قیمت رقبا را ببینید.
• حفاظت از برند: تشخیص موج ناگهانی نظرهای منفی که از کالای تقلبی یا فروشندگان غیرمجاز حرف می‌زنند؛ صفحه حفاظت از برند را ببینید.
• پژوهش سرمایه‌گذاری: احساس نظرها و شبکه‌های اجتماعی یکی از ورودی‌های مجموعه‌های داده‌های جایگزین است.
• اولویت‌بندی در پشتیبانی: فرستادن نظرهای یک‌ستاره و نظرهای کم‌اطمینان ابتدا به یک نفر.

اشتباهات رایج و دام‌ها#

• امتیازدهی یک پاراگراف کامل با VADER در یک مرحله. قاعده‌های نفی و «but» می‌توانند از مرز جمله‌ها بگذرند، همان‌طور که نظر 1 نشان داد. جمله‌ها را جدا امتیاز دهید و سپس ترکیب کنید.
• اجرای VADER روی زبان‌های دیگر. واژه‌های ناشناخته صفر می‌گیرند، بنابراین نظرهای آلمانی و اسپانیایی خنثی درمی‌آیند. از یک مدل چندزبانه استفاده کنید، یا نظرها را بر اساس زبان گروه‌بندی کنید و برای هر زبان مدلی جدا برگزینید.
• سپردن طعنه و زبان عامیانه به هر یک از دو روش. هر دو جمله «Killer design, this bag is sick!» را نظری یک‌ستاره می‌خوانند.
• نادیده گرفتن حوزه. «غیرقابل‌پیش‌بینی» برای داستان یک فیلم خوب است و برای ترمز خودرو بد. نمونه‌ای از دسته محصول خودتان را بررسی کنید.
• برابر دانستن توافق با حقیقت. نظر 21 در صف اختلاف‌ها نیامد، چون هر دو روش به یک شکل اشتباه کردند. یک نمونه کوچک با برچسب دستی نگه دارید و با آن بسنجید.
• دور انداختن امتیاز اطمینان. برچسبی با امتیاز 0.23، مثل برچسب نظر 6، کمی بهتر از یک حدس است. امتیازهای پایین را به یک نفر بسپارید.
• فراموش کردن کوتاه‌سازی. بدون truncation=True، نظری که از حد مدل بلندتر باشد خطا می‌دهد و کل دسته را متوقف می‌کند.
• رسم نمودار برای گروه‌های بسیار کوچک. احساس خالصی که از پنج نظر به دست آید به‌شدت نوسان دارد. حداقل اندازه گروه را تعیین کنید.
• رمزگذاری خراب متن. نظرهایی که به جای é نویسه‌های é دارند هر دو روش را گیج می‌کنند؛ نوشته مشکل حروف فارسی در پایتون: رفع خطای UnicodeDecodeError را ببینید.

راهنمای انتخاب#

پرسش‌های متداول#

آیا VADER هنوز ارزش استفاده دارد؟#

بله، به‌عنوان خط پایه برای متن‌های کوتاه انگلیسی، وقتی به سرعت و نتایجی نیاز دارید که بتوان واژه‌به‌واژه توضیحشان داد. جایی که بافت جمله یا زبان‌های دیگر اهمیت دارند، مدل ترنسفورمر در آزمون ما به‌وضوح بهتر عمل کرد.

آستانه‌های امتیاز compound در VADER چه معنایی دارند؟#

امتیاز compound از -1 تا +1 است. نویسندگان VADER پیشنهاد می‌کنند 0.05 و بالاتر مثبت، -0.05 و پایین‌تر منفی و مقادیر میان این دو خنثی در نظر گرفته شود. می‌توانید آستانه‌ها را جابه‌جا کنید، اما آن‌ها را با نمونه‌های برچسب‌خورده تنظیم کنید، نه بر اساس حس.

آیا برای pipeline در Hugging Face به GPU نیاز دارم؟#

خیر. نسخه CPU از torch، 24 نظر ما را در چند ثانیه امتیاز داد. برای صدها هزار نظر، GPU ساعت‌ها صرفه‌جویی می‌کند؛ برای استفاده از آن device=0 را بدهید.

کدام مدل برای نظرهای ترکی مناسب است؟#

مدل nlptown که اینجا استفاده شد روی ترکی آموزش ندیده است. در هاب Hugging Face مدل‌هایی را جست‌وجو کنید که کارتشان ترکی و داده محصول یا نظر را فهرست کرده باشد، سپس بهترین گزینه‌ها را روی یک نمونه ترکی برچسب‌خورده بیازمایید.

چطور دقت را روی داده‌های خودم بسنجم؟#

یک نمونه تصادفی چندصدتایی از نظرها را خودتان برچسب بزنید و مقایسه کنید. امتیازهای ستاره‌ای، همان‌طور که در این راهنما دیدید، برچسب‌های تقریبی خوبی هستند، اما یک نظر سه‌ستاره اغلب منفی خوانده می‌شود.

آیا می‌توانم امتیاز احساس را روی نظرهای اسکرپ‌شده به کار ببرم؟#

پرسش حقوقی به امتیازدهی مربوط نیست، به جمع‌آوری مربوط است. API رسمی را ترجیح دهید، شرایط استفاده سایت و robots.txt را بررسی کنید و داده‌های شخصی را کنار بگذارید.

خلاصه#

تحلیل احساسات در پایتون به دو انتخاب خلاصه می‌شود. VADER از NLTK کوچک، سریع و قابل توضیح است، اما طعنه، زبان عامیانه، واژه‌های تخصصی هر حوزه و هر زبانی جز انگلیسی را اشتباه می‌خواند. یک مدل Hugging Face بافت جمله را می‌خواند و از چند زبان پشتیبانی می‌کند، به بهای دانلودی حجیم و پردازش بیشتر؛ روی 24 نظر ما در 19 مورد با امتیاز ستاره‌ای هم‌خوان بود، در برابر 14 مورد برای VADER. هر کدام را که انتخاب کنید، امتیازدهی را به یک شیوه ثابت (جمله‌به‌جمله یا نظربه‌نظر) انجام دهید، امتیاز اطمینان را نگه دارید، موارد اختلاف را به یک نفر بسپارید و با نمونه برچسب‌خورده خودتان بسنجید. اگر نظرهای شما از صفحه‌های عمومی در چند کشور می‌آیند، برای جمع‌آوری آن‌ها با نرخی محترمانه پروکسی‌های Proxynet را ببینید.