مقایسه ابزارهای تست اتوماتیک

معرفی ابزارها

در این مقاله ابزارهای محبوب تست اتوماتیک که توانایی خودکارسازی ارزیابی و آزمون در سطح Web UI و API را دارا می‌باشند با یکدیگر مقایسه می‌شوند، هر ابزار نقاط قوت و ضعف خود را داراست که استفاده از آن بسته به نیاز پروژه شما و زمینه‌های تخصصی شما و تیم آزمون می‌باشد. در ادامه هر یک از ابزارهای زیر با یک مثال ساده ورود (لاگین) به سیستم تحت وب بررسی می‌شوند. ابزارهای مورد مقایسه:

• ربات فریمورک Robot Framework
• سلنیوم Selenium
• سایپرس Cypress
• پلی‌رایت Playwright

سلنیوم

یک ابزار متداول و متن باز برای اتوماسیون تست صفحات وب است. از چندین زبان برنامه‌نویسی و مرورگر پشتیبانی می‌کند، و دارای جامعه بزرگی از کاربران و مشارکت‌کنندگان است. این ابزار قابلیت گسترش پذیری و انعطاف پذیری بالایی دارد و شما می‌توانید تحت زبان‌های جاوا، جاوااسکریپت و پایتون آن را پیاده‌سازی و از کتابخانه‌های آن استفاده کنید. اما توجه کنید که دانش پایه شما از این زبان‌های برنامه‌نویسی و توانایی درک و پیاده‌سازی مفاهیم شی‌گرایی از اهمیت ویژه‌ای برخوردار است و بدون آن نمی‌توان تست‌های بهینه‌ای را ایجاد کرد. در این مثال با زبان برنامه‌نویسی جاوا و با استفاده از API سلنیوم (WebDriver API) برای تعامل با صفحه وب و بررسی پیام خوش آمدگویی استفاده شده است.

@Test
public void loginTest() {
    WebDriver driver = new ChromeDriver();
    driver.get(‘gazmeh.ir/fa/auth/login’);
    driver.findElement(By.id("username")).sendKeys(username);
    driver.findElement(By.id("password")).sendKeys(password);
    driver.findElement(By.id("login")).click();
    String welcomeMessage = driver.findElement(By.id("welcome")).getText();
    assertEquals("Welcome, " + username + "!", welcomeMessage);
}

در مثال بالا، ابتدا در متغیر driver یک نسخه از وب‌درایور برای اتصال به مرورگر کروم ایجاد می‌شود. سپس در خط بعد مرورگر را به آدرس وب سایت گزمه-لاگین می‌بریم. در مرحله بعد با استفاده از جستجوگر المان‌های صفحه به نام findElement متن‌های یوزرنیم و پسورد را وارد textboxهای مربوطه میکنیم. سپس با دسترسی به کلید لاگین (با استفاده از id این کلید در محتوای HTML صفحه وب‌سایت)، عمل کلیک زدن بر روی آن را انجام می‌دهیم. در انتها به منظور صحت سنجی انجام کار، با استفاده از assertion ها عبارت خوش‌آمد گویی صفحه ابتدایی بررسی می‌گردد.

ربوت فریمورک

این یک فریمورک اتومیشن تست در سطح end-to-end است که از تکنولوژی‌ها و برنامه‌های مختلف پشتیبانی می‌کند. از رویکرد کلمات کلیدی یا keyword driven ها برای نوشتن تست کیس‌ها استفاده می‌کند، که به غیر از برنامه‌نویسان، به کاربران غیر برنامه‌نویس هم اجازه می‌دهد تست‌های خود را بسازند. ربوت فریمورک دارای اکوسیستم بزرگی از کتابخانه‌ها و ادغام‌ها است. این فریمورک تحت زبان Python پیاده‌سازی گردیده و مستندات و کتابخانه‌های وسیعی را در اختیار کاربران قرار‌ می‌دهد. از نکات مثبت دیگر ربوت فریمورک قابلیت شخصی‌سازی کلمات کلیدی برای کاربردهای خاص منظوره می‌باشد، به عنوان نمونه شما می‌توانید برای یک اکشن در صفحه وب یا یک API خاص دامین خودتان یک کلمه کلیدی تعریف کرده و پیاده‌سازی مربوطه را تحت آن انجام دهید، در ادامه در هر جای روند تست می‌توانید آن کلمه کلیدی را فراخوانی کرده و از آن استفاده کنید، این رویکرد همانند مفاهیم شی‌گرایی بوده و به تست کیس‌های شما قابلیت استفاده مجدد می‌دهید و هزینه نگهداشت و تغییرات آتی را کاهش ‌می‌دهد. در این مثال، یک مرورگر باز شده و فیلدهای نام کاربری و رمز عبور در صفحه مربوط به لاگین وارد و پس از ورود بررسی می‌شود تا به صفحه welcomepage وارد شده باشیم. لازم به ذکر است ربوت از کتابخانه selenium برای تست‌های سطح UI استفاده می‌کند.

*** Test Cases ***
Login to Web APP
    Open Browser    gazmeh.ir/fa/auth/login    chrome
    Input Text    username_field    ${username}
    Input Text    password_field    ${password}
    Click Button    login_button
    Wait Until Page Contains    Welcome, ${username}

در مثال بالا از کلمه‌کلیدی Open Browser که توسط کتابخانه سلنیوم پشتیبانی می‌شود به منظور باز کردم یک مرورگر و رفتن به آدرس گزمه-لاگین استفاده شده. همچنین با استفاده از Input Text فیلدهای نام کاربر و رمز عبور یافت و مقادیر آن وارد شده. در مرحله بعد بر روی دکمه Click Button ورود به سایت کلیک شده و در انتها تا زمان نمایش پیغام خوش‌آمد گویی، در حالت wait قرار گرفته. همانطور که مشاهده می‌شود، خوانایی سناریو در این تست کیس کاملا مشهود بوده، به صورتی که شما با المان‌های کدنویسی مواجه نیستید و می‌توان این سناریو را برای همه اعضای تیم همانند Product Owner به اشتراک گذاشت. در انتها این ابزار کتابخانه‌های خوب و کارآمدی را برای تست سطح API‌ در اختیار شما قرار ‌می‌دهد.

سایپرس

این ابزار به منظور تست سطح end-to-end و component کاربرد داشته و عمده تمرکز آن بر روی تست UI می‌باشد، اما قابلیت تست API را نیز دارا می‌باشد و با اجرای تست‌ها مستقیماً در مرورگر، تجربه تست سریع و قابل اعتمادی را فراهم می‌کند. این ابزار به صورت built-in یک دیباگ کننده کد را به همراه دارد و به راحتی می‌تواندی به روند و تنظیمات اجرای تست و نتایج آن دسترسی داشته باشید، اما برای تست در سطح API نیاز به نصب کتابخانه‌ و پلاگین‌های مجزایی هستید. این ابزار تحت زبان جاوااسکریپت یا تایپ‌ اسکریپت قابل توسعه بوده و همچنین به صورت پیشفرض توانایی خوبی در مدیریت استراتژی wait برای بارگذاری صفحات برخوردار است که مزیت بهتری نسبت به ابزارهای تحت سلنیوم به شمار می‌رود. در این مثال، از دستورات سایپرس داخلی برای تعامل با صفحه وب و بررسی پیام خوش آمدگویی استفاده شده است.

it('Login Test', () => {
  cy.visit(‘gazmeh.ir/fa/auth/login’)
  cy.get('#username').type(username)
  cy.get('#password').type(password)
  cy.get('#login').click()
  cy.contains('Welcome, ' + username + '!')
})

به منظور توضیح بیشتر مثال بالا،‌ با استفاده از cy.visit مرورگر باز شده و به آدرس گزمه-لاگین می‌رویم. در مرحله بعد المان‌های صفحه به استفاده از دستور cy.get یافت شده و عبارت‌های نام کاربری و رمز عبور در آن‌ها وارد می‌شود. در ادامه بر روی گزینه لاگین کلیک کرده و در انتها بررسی می‌شود صفحه مورد نظر عبارت خوش‌آمد گویی را داشته باشد.

پلی‌رایت

پلی‌رایت به تازگی توسط microsoft منتشر و مورد استقبال قرار گرفته است (برای بررسی این موضوع می‌توانید به پروژه گیت‌هاب هر یک از این ابزارها مراجعه و میزان مشارکت و محبوبیت آن را بررسی کنید) و قابلیت پشتیبانی از چندین مرورگر و زبان برنامه‌نویسی را دارد و همچنین دسترسی به قابلیت‌های مرورگر را تسهیل می‌کند. برخی از مزایای این ابزار عبارت است از:

• تست چند مرورگر: Playwright تست چند مرورگر را برای Chrome، Firefox، Safari، WebKit و Microsoft Edge پشتیبانی می کند.
• پشتیبانی به صورت پیشفرض از باز کردن و کنترل چند تب و پنجره، در حالی که Cypress برای این عملکرد نیاز به کتابخانه‌ یا پلاگین‌های مجزایی دارد.
• پشتیبانی از زبان‌های برنامه‌نویسی بیشتر شامل JavaScript، TypeScript، Python و C# پشتیبانی می کند.
• اتومیشن بهتر سناریوهای پیچیده مانند رهگیری درخواست‌های شبکه و شبیه‌سازی دستگاه‌های موبایل را دارا می‌باشد.

در بخش زیر یک مثال از API پلی‌وارایت برای تعامل با صفحه وب و بررسی پیام خوش آمدگویی تحت جاوااسکریپت استفاده شده است.

async function loginTest() {
  const browser = await playwright.chromium.launch();
  const page = await browser.newPage();
  await page.goto(‘gazmeh.ir/fa/auth/login’);
  await page.fill('#username', username);
  await page.fill('#password', password);
  await page.click('#login');
  await page.waitForSelector('text=Welcome, ' + username + '!');
}

در مثال بالا یک فانکشن async یا ناهمگام به دلیل ماهیت جاوااسکریپت تعریف شده است(در زبان‌های برنامه‌نویسی که خطوط به صورت async یا غیرهمروند همانند جاوااسکریپت، اجرا می‌شوند، به منظور تعیین تقدم هر اکشن می‌بایست گام بعدی منتظر نتیجه گام قبلی باشد تا دچار مشکل و خطا نگردیم، به عنوان نمونه تا زمانی که مرورگر باز نشده و به آدرس مورد نظر نرفته نمی‌توان به دنبال المان‌های صفحه گشت، به دلیل زمان‌بر بودن گام ابتدایی ممکن است یافتن المان‌ها با مشکل مواجه شود). در خط دوم یک مرورگر از نوع کرمیوم اجرا شده و در خط بعدی یک صفحه جدید باز می‌شود. در مرحله بعد آدرس مورد نظر که صفحه گزمه-لاگین می‌باشد در صفحه وارد شده و با عبارت await منتظر می‌مانیم تا به صفحه منتقل شویم. به همین ترتیب در ادامه المان‌های نام‌کاربری و رمز عبور یافت شده و عبارات مورد نظر درج و بر روی دکمه لاگین کلیک می‌شود. در انتها با استفاده از عبارت await page.waitForSelector منتظر مانده تا پیام خوش‌آمد گویی نمایش داده شود.

کدام ابزار را انتخاب کنیم

انتخاب ابزار مناسب اتومیشن یکی از پیچیده ترین مراحل خودکارسازی تست نرم‌افزار شما می‌باشد. پارامترهای مهمی مانند توانایی تیم شما برای توسعه و میزان تسلط به زبان‌های برنامه‌نویسی و شی‌گرایی عامل تعیین کننده بوده و هر چه این توانمندی بیشتر باشد میتوان ابزار بهتر و با قابلیت انعطاف بیشتری را انتخاب نمود. همچنین سطح آزمون شما از نظر UI , API و یا end-to-end , component بسیار مهم بوده زیرا برخی از ابزارها توانمندی خوبی در سطح API یا موبایل به شما ارائه نمی‌دهند. همچنین بلوغ سازمانی از نظر استفاده از ابزار بسیار مهم بوده و شاید بنا به نیاز سازمان و اولویت‌های آن، ابزار پیچیده و یا ساده‌تری را برای پیاده‌سازی انتخاب کنید. همچنین توجه داشته باشید که هرچه ابزار از سادگی و در اختیار داشتن رابط کاربری بیشتری بهره‌ برد،‌ طیف وسیعی از افراد توانمندی کار با آن را دارا بوده ولی نمی‌توان تست‌های منعطف و با قابلیت نگهداشت بالا را در آن‌ها توسعه داد.