feature-image-performance-testing-101
feature-image-performance-testing-101

การทํา Software Testing มันมีหลากหลายมากๆ ไม่ได้มีแค่การทํา Automation เท่านั้นน่ะ มันมีเรื่องของ Performance Testing, Security Testing หรืออื่นๆอีกมากมายเลยละ Wiki อ่านซะฉลาดเอง

แต่ที่วันนี้จะมาพูดถึงคือเรื่องของ Software Performance Testing กันนะ ที่จะพูดถึงเรื่องนี้เพราะในมุมมองของผม เราแบ่ง Testing เป็นแค่ 3 ส่วนก็พอแล้วคือ

  1. Automate Testing (มองเป็น functional)
  2. Performance Testing
  3. Security Testing

ที่แบ่งแค่นี้ในมุมมองแบบนี้เพราะพวก Installation Testing,Regression Testing,Functinoal vs non-functional testing มันสามารถจัดการได้หมดด้วย Automation ทั้งนั้น

แต่การเข้ามาทํา Performance กับ Security มองเป็นอีกกลุ่มนึงใหญ่ๆ ที่เป็นการวัดคุณภาพของอย่างๆนึงในหมวดอื่นที่ไม่ใช่แค่ Functional ของมัน เหมือนเล่นหุ้นแล้วคนล่ะหมวดอุตสาหกรรมนั้นแหละ เหมือนมีหมวด Functional, Performance, Security แบบนั้น

ว่าแล้วเข้าเรื่องวันนี้หลักๆที่จะเรียนรู้คือ

  1. Fundamental of web performance testing
  2. Core activities of performance testing
  3. Test Enviroment
  4. How to analyze report
  5. What is the point of report for each user group

ซึ่งข้อมูลส่วนใหญ่ที่เขียนออกมาจะเป็นหนังสือเล่มนี้! จงตามไปเสพย์โดยผลัน

best-book-performance-testing
best-book-performance-testing

ก่อนจะเริ่มเข้า Performance Testing จงจําไว้อย่างนึงว่าโลกเปลี่ยนแปลงตลอดว่า ถ้าสําหรับ Dev. การยึดติดกับเทคโนโลยีก็จะเป็นภัยตัวเอง Dev. ต้องลอง ต้องเรียนรู้ตลอดเวลา

ถ้าเป็น QA การที่จะนั่งเทสมือไปวันๆมันจบไปหลายๆปีมากแล้ว เราต้องทํา Automate เป็น Performance เป็น และ Security เป็นถึงจะถูก หรือเรียกรวมๆว่า Full Stack QA (จริงๆส่วนตัว คิดแล้วตําแหน่งนี้มันก็ตือ Software Engineer ที่สนใจเรื่องของการทํา test เป็นหลักนั้นแหละ)

และนั้นเป็นเหตุผลนึงที่เราต้อง evolution และมาเรียนรู้เรื่อง Performance Testing กัน

พื้นฐานของการทํา Web Performance Testing 

ก่อนจะเริ่มเราก็ต้องรู้คําจำกัดความของ Performance Testing ก่อนว่ามันคืออะไร? ซึ่ง Performance testing ก็คือ

Performance testing =Type of testign intended to determine the responsiveness, Throughtput, reliability and scalability of system

ง่ายๆแค่นี้แหละมันคือวิธีเทสเพื่อจะได้ทราบถึง การตอบสนองของแอพพิเคชั่น เพื่อดูการขยายตัวของระบบ และ ความน่าเชื่อถือที่ระบบจะได้ไม่ล่ม จริงๆก็มีไว้เพื่อเอา report มาวิเคราะห์ว่าเราควรจะปรับปรุงส่วนไหนบ้างนั้นแหละ

ซึ่งถ้าพูดถึง Performance Testing ก็มีอยู่ไม่กี่อย่างหรอก นั้นก็คือ

  1. Load Test
    • ทดสอบเพื่อจะได้รู้ว่า app. จะทํางานยังไรเมื่อมีการโหลดปกติทั่วไป และ จะทํายังไงเมื่อมันมีการโหลดมากกว่าปกติ
    • เพื่อดูจุด Breakpoint ของ app. เมื่อมีการโหลดมากๆ พูดง่ายๆก็คือ เมื่อกราฟ response time เริ่มหักหัวลงมานั้นแหละ คือจุดที่ breakpoint ของ app.
    • ประโยชน์ของมัน: ทราบว่าจุดไหนคือจุด Limit ของ app. เช่น user จํานวน user กี่คนมากสุดก่อน ระบบจะเริ่มร่วง, ดู hardware ว่ามันทํางานได้เหมาะสมกับปริมาณที่โหลดเข้ามาไม๊ เช่น พวก disk, load balancer
  2. Stress Test
    • เพื่อดู behavior ของ app. ว่ามันจะทํายังไง เมื่อถูกผลักดันให้เกิดจุด peak load condition มากๆ
    • การทํายังงี้จะช่วยให้เราทราบถึงจุดอ่อนของ app. เมื่อมีการโหลดมากๆ พูดง่ายๆๆ โหลดเข้ามาจนตายอะอยู่ตรงจุดไหน? และเป็นเพราะอะไร จะได้เข้าไปพัฒนาเพิ่มความสามารถมัน
    • ประโยชน์ของมัน: ดูว่าข้อมูลจะเป็นยังไงเมื่อมีการเล่นที่จุด Limit ของมันมาก ว่าข้อมูลจะพังไม๊, เพื่อทดสอบระบบเตือนภัยก็ได้ว่ามันสามารถป้องกันได้ไหมเมื่อมี stress มากๆ, หรือ side effects ของ hardware ต่างๆที่ช่วย support เวลาเกิด failure, หรือ ดูว่า load ได้ถึงเท่าไรก่อนที่ server จะเริ่มช้า และไม่ตอบสนอง (สนใจเรื่องของ application’s robustness,abailability กับ reliability)
  3. Spike Test
    • เป็น Subset ของ Stress Test อีกที โดยที่เราเรียก Spike เพราะว่ามันเป็นกราฟพุ่งขึ้นอย่างรวดเร็วแบบไม่มีปี่ไม่มีขลุย ลักษณะพวกนี้จะเห็นได้ในธุรกิจจองตั๋วคอนเสริ์ต หรือ โรงแรม สายการบิน (นึกภาพคนเข้ามาแย่งจองตั๋วถูกแบบนั้นแหละ อยู่ดีๆพุ่งเข้ามาเป็นหมื่น กราฟ active เลยพุ่งขึ้นมาเป็น spike)
    • ก็ดู Behavior เหมือนกับ Stress test นั้นแหละ
  4. Capacity Test
    • เพื่อดูจํานวนของ users และ transaction ที่ system สามารถรองรับได้ เช่น server A รองรับ User เข้ามาพร้อมกันไม่เกิน 80k เป็นต้น หลังจากนั้น response time จะเริ่มลดลงอย่างเป็นนัยยะ แบบนั้น
    • การที่เรารู้ว่า server A รับโหลดได้ไม่เกิน 80k จะส่งผลให้เราสามารถที่จะ scale up หรือ scale down กับ server ได้นั้นเอง เอาข้อมูลมาวางแผนทั้งนั้น
    • ประโยชน์ของมัน: ทําให้ทราบถึงปริมาณของ system ที่รองรับได้ และจะได้นับไปปรับให้ถูกต้อง

ซึ่งจากที่อ่านจะเห็นได้เลยว่า การทํา Performance testing พวกนี้ขึ้นอยู่กับธุรกิจด้วย ว่าธุรกิจเรามี behavior ยังไง ถ้ายกตั๋วอย่างการจองตั๋วถูกของสายการบิน Airasia เนี้ยน่าจะทํา Spike Test เพื่อดู Behavior เมื่อมีคนกรูเข้ามา แล้วหลังจากนั้นอาจจะทํา Capacity Test ด้วยเพื่อดูจํานวน Max สุดของ Server แล้วก็ scale up ขึ้นไปเรื่อยๆ ต่อจากนั้นส่งข้อมูล report ให้ ฝ่าย Mkt. จัดการสร้าง Campaign เพื่อให้คนเข้ามา ซึ่งถ้าเราววางแผนได้แบบนั้ก็จะทําให้ธุรกิจเติบโตได้อย่างสบายๆเลย

Core activities of performance testing

หัวใจหลักของการทํา Performance Testing ไม่มีอะไรมากกว่า 7 อย่างนี้เลย

core-activities-performance-testing
core-activities-performance-testing

ซึ่งวันนี้เราจะมาไล่ทีละอย่างๆไป

1.Identify Test Enviroment

เริ่มจากเราต้องรู้ก่อนว่า test enviroment ของเราเป็นแบบไหน? Tool กับ Resources ที่เราจะใช้ Test คืออะไร? คําที่ว่าต้องรู้นี่คือหมายถึง enviroment นั้น hardware,software, network configuration เป็นยังไง? เพราะเราจะได้ออกแบบ test ได้ถูกก เช่น enviroment มี server ตัวเดียวเพรียวๆไม่มี load balance ข้างหน้า ,database ลูกเดียวไม่มี Backup , env. test ไม่มีไรแบบนั้น

  • Hardware
    • Configurations
    • Machine hardware (processor,Ram,etc)
  • Network
    • Network architecture and end-user location
    • Load-balancing implications
  • External factors
    • Volume and type of additional traffic on the network
    • Interactions with other system

2.Identify Performance Acceptance Criteria

หลังจากนั้นเราก็ต้องมาดู performance ปัจจุบัน และ ตั้ง performance goal ว่าเท่าไรถึงจะเรียกว่ายอมรับได้ เท่าไรถึงจะเรียกว่ายอมรับไม่ได้ โดยการมาตั้ง response time และ throughput ซึ่งโดยปกติแล้วคนที่สนใจ response time คือ user (อารมณ์ชั้นใช้แล้วมันจะช้าไหม?) แต่ throughput คือ businse (ใน 1 วินาทีหรือใดๆ เราจะตอบสนองได้เท่าไร)

  • Reponse time เช่น product catalog ต้องแสดงผลใน 3 วินาที
  • Thrpughput เช่น ระบบต้องสามารถรองรับการสั่งซื้อ 25 ชิ้นใน 1 วินาที
  • Resource utilization เช่น processor ของเครื่องต้องทํางานหนักไม่เกิน 75% เป็นต้น

3.Plan and Design Tests

พอหลังจากรู้เรื่องของ env. และ criteria ก็มาออกแบบว่าต้องเตรียมไรบ้างเช่น test data,เก็บค่าอย่างไร, จะสร้าง scenario แบบต่างๆยังไง จําลอง user เข้ามาใช้ยังไงแบบนั้น หลักๆก็คือคิดถึง implemented,executed, และ analyzed ยังไง

  • ออกแบบ usage scenarios เช่น ลูกค้าเข้าหน้า product -> order -> shopping cart แบบนี้ดป็นต้น
  • จะเก็บรวมรวบ และ แสดงผลยังไง?

4.Configure the Test Enviroment

เตรียมและออกแบบทุกอย่างแล้วก็ลงมือจัดการทํา test env. ตามที่เราออกแบบไว้ เช่น เครื่อง server,load balancer, database, dashboard for display env. เป็นต้น

5.Implement the Test Design

ตรงตัวก็พัฒนา performance test ตามที่ออกแบบไว้

6.Execute the Test

หลังจากทําเสร็จก็รันและเก็บผลเทส อย่าลืมตรวจสอบ test,test data, ผลลัพธือีกครั้งเสมอๆ เพื่อยืนยันความถูกต้อง

7.Analyze Result,Report and Retest

จุดสําคัญอีกอย่างของการทํา Performance Test เลยคือการวิเคราะห์ผลลัพธ์ที่ออกมา เพราะมันจะช่วยให้พัฒนาขึ้นจากตรงนี้แหละ ถ้าเราวิเคราะห์ผลมาไม่ถูก ทุกขั้นตอนนี้จบเลยน่ะ ไม่มีประโยชน์เลยก็ว่าได้น่ะ

แล้วเราอาจจะต้องสร้าง report ให้ถูกกับคนหน่อย เหมือน User สนใจ response time, Business สนใจ throuthput เป็นต้น

แล้วก็ทําการ retest ไปเรื่อยๆเพื่อให้เอาผลออกมาเปรียบเทียบเป็นต้น

  • Report แบ่งออกเป็น 2 ประเภท ที่คน 2 กลุ่มมองต่างกันคือ
    • Technical Report
      • รายละเอียดของการเทส, env. เป็นอย่างไร
    • Stakeholder Report
      • criteria ต่างๆที่ออกแบบไว้ มัน meet รึเปล่า
      • บทสรุปรวมว่าควรจะสังเกตุอะไร ควรจะระวังอะไร และ แนะนําให้แก้ไขอะไร

ซึ่งใจความสําคัญเลย Report ให้บ่อย และใช้กราฟแสดงให้อ่านง่ายชัดเจน จะช่วยให้ performance testing ที่เราทํามีประโยชน์มากขึ้น

สิ่งที่น่าสนใจอีกอย่างของ 7 steps ที่ใช้ในการทํา Performance Testing นี้ก็คือเรื่องของ relation ของ step แต่ละอันว่ามันส่งผลกับอะไรบ้าง โดยสามารถสรุป

relationship-to-core-performance-testing-activities
relationship-to-core-performance-testing-activities

ซึ่งแต่ละ activity ก็จะมีความแตกต่างกันออกไป กับคําถามที่เราต้องคิดในใจ เช่น

1.Understand the Project Vision and Context

ตอนที่เราคิดถึงเรื่องของ Test Env. เราก็ต้องคิดถึงเรื่องของ Project Vision และ context business ว่าเป็นยังไง เช่นคิดถึงเรื่องของ

  • ผลกระทบของ performance กับ project vision ว่าวางแผลนในอนาคตยังไง
  • ผลกระทบของ performance ที่อาจเกิดขึ้นกับ customer

ความหมายง่ายๆคือจังหวะนี้เราต้องพยายามเข้าใจเรื่องของ Businessในมุมกว้างๆว่า Business ของ App. เป็นยังไง เพื่อที่เราจะได้ให้ concern ถูก เช่น

  • เราจะได้บอกได้ว่าจุดนี้น่าเป็นห่วงน่ะ เช่น ถ้าเว็ปจองตั๋วโรงแรมเราต้องชี้ว่าส่วนนี้จะเป็นปัญหาถ้าช่วงโปรโมชั่น เราก็จะต้องมีโหลดเยอะมากๆนะ
  • จังหวะนี้เราต้องชี้ได้ว่าทฤษฐีของเราเป็นอย่างไรในการแก้ปัญหาเหล่านี้ จะใช้ Tools อะไร จะ Monitor ยังไงงง

2.Identify Reasons for Testing Performance

ก็หลังจากที่เราเข้าใจเรื่องของ Business Scope แล้วเราก็ต้องมาวางแผนเรื่องของการวัดผลว่า Performance goals จะเป็นยังไง objective ของการทํา Performance Testing ง่ายๆก็คือพเื่อ sec criteria วัดผลนั้นแหละ และก็ช่วยกันวิเคราะห์ usage scenarios ที่มีแนวโน้มจะก่อให้เกิด performance issues

3.Identify the Value Performance Testing Adds to the Project

หลังจากผ่าน activities 1 กับ 2 มาแล้วเราสามารถบอกได้ละว่า

  • Business กับ Vision เป็นยังไง
  • Criteria และ Scenario ที่น่าสนใจมีอะไรบ้าง

สิ่งที่ทําจริงๆขั้นตอนนั้ก็แค่วางแผนแหละ ว่าเราจะจัดการ resource ที่จะใช้ใน performance testing อย่างไร ในมุมมองส่วนตัวคิดว่าเราน่าจะรวม activities 2 กับ 3 เข้าด้วยกันยังได้เลย แล้วไปจัดการกับ Activities อื่นๆเลยดีกว่า

4.Configure the Test Enviroment

จุดนี้แหลเข้าเรื่องสําคัญล่ะ เพราะสิ่งนี้เนี่ยแหละที่ต้องถาม กับ เตรียมไว้ เช่นหลักๆเลยคือ

  • Special Permission ในการทําโหลด test รึเปล่าเช่นแบบ volume เยอะๆแบบนี้จะผ่าน Proxy บริษัทได้ไหม ต้องเปิดช่องทางพิเศษรึเปล่า Network รองรับไหม ต้องเพิ่มไรรึเปล่า?
  • ใครจะเป็นคน Reset AUT ระหว่างการทํา test เช่น แบบถ้าเราทํา server พัง ใครจะ reset ให้เรา?
  • เรื่อง Security กับ Authentication เวลาทํา test เราจะต้องทําไรเพิ่มไหม? เช่น SSO ทําให้เราต้อง re-route ไปมารึเปล่า?
  • เตรียมเรื่อง Test Report Enviroment ว่าเราต้องใช้ Grafana, Graphite ไหม?

5.Identify and Coordinate Tasks

คือการทํางาน Performance testing เนี่ยทําคนเดียว เพราะฉะนั้นขั้นตอนนี้เราต้องรวบรวมคําถามพวก Test Enviroment ไป co กับคนอื่นๆ

6.Execute Task(s)

ตรงตัวแหละจัดการเลย execute เลย สิ่งที่เราต้องทําก็

  • Evaluate Algorithm Efficiency
  • Monitor resource usage trends
  • Measure response times
  • รวบรวม data ที่จะทําให้ scalability และ capacity
  • อาจจะต้องจูน test ระว่าง testing ด้วย

7.Analyze Results and Report

จุดแสบบที่สุดอีกอันนึงของการทํา Performance test ก็คือเรื่องของการวิเคราะห์ผลเนี่ยแหละ มันให้ความรู้สึกเหมือน หมอเฉพาะทาง มาตรวจผลของผู้ป่วยเลย ถ้าเราวิเคราะห์ผิดเนี่ยจะส่งผลให้ที่ทํามาทั้งหมดเพี้ยน และคนไข้ตายได้เลยละ

คิดเรื่อง Test Enviroment ก่อนทําเสมอ

ข้างบนนั้นคือหลักการณ์การทํา test คร่าวๆ ซึ่งของจริงมันต้องงลง detail อีกเยอะมากๆ แต่ถ้าในส่วนของ test enviroment เราก็ต้องมาทําความเข้าใจเรื่องของ architecture ของ AUT ที่เราจะทํา เช่นตามตัวอย่างนี้จะเป็นรูปของ Tier ต่างๆในการทํา test เริ่มตั้งแต่ browser จนจบ

ซึ่งเรื่องของ Test Enviroment ต้องคิดถึง 3 อย่างคือ

  1. Logical Architecture

    test-enviroment-logical-architecture
    test-enviroment-logical-architecture
  2. Physical Architecture

    test-enviroment-physical-architecture
    test-enviroment-physical-architecture
  3. และสุดท้ายคือ System Architecture ที่รวบรวมทั้ง Logical และ Physical Architecure เข้าด้วยกัน และรวบรวม highlight สําคัญๆไว้ เช่น เครื่องตั้งอยู่ที่ไหน? มี tier อะไรบ้างที่ต้องผ่าน ด้วยเจ้าตัวนี้จะทําให้เรารู้ถึงภาพรวมของระบบและทําการวางแผน performance testing ได้ถูก

    test-enviroment-system-architecure
    test-enviroment-system-architecure

Analyze Report ต้องคิดถึงเรื่องอะไรบ้าง

เวลาที่เราได้ผลเทสมาแล้วน่ะ เราต้องคิดถึงเรื่องอะไรบ้างในการที่จะวิเคราะห์ผล ซึ่งก็จะไม่พ้น 5 ตัวนี้นั้นก็คือ

  1. Averages
  2. Percentiles
  3. Medians
  4. Normal Values
  5. Standard Deviations

ฟังแล้วคุ้นๆไม๊ว่า มันเหมือน Prob stats. ที่เราเรียนกันตอนมหาลัยเลย … ใช่ครับ มันคือเรื่องของการวัดผลด้วย stats. นั้นเอง โดย

Averages

ค่าเฉลี่ย มันคือเรื่องของการคิดค่าเฉลี่ยของการยิง env. เพื่อที่จะได้รู้ว่าโดยประมาณแล้ว ผลของ Performance อยู๋ที่ประมาณเท่าไร

Percentiles

percentiles คือเรื่องของการแบ่งข้อมูลที่เรียกจากน้อยไปมากอกกเป็น 100 ส่วนเท่ากัน งงละสิ ดูตัวอย่างได้จากนี้

what-is-percentles
what-is-percentles (https://www.opendurian.com/learn/percentile/)

แล้วมันมีประโยชน์กับ Performance Testing อย่างไร … มันมีประโยชน์เรื่องของการดู response time ว่า user จะได้รับการตอบสนองที่เวลาเท่าไร เช่น สมมุติเราใช้ Percentile ที่ 95% กับ test result ชุดนึง มันจะหาผลลัพธ์ของ ตัวที่ 95 ออกมาและบอกได้ว่าผลลัพธ์นี้ลูกค้าจะได้การตอบสนองที่เวลาตําแหน่ง 95% นั้นเอง

Medians

ง่ายหน่อย มันคือค่าตรงกลางของกลุ่ม Data นั้นเอง (middle value in a data set)

Normal Values

ค่าที่เกิดขึ้นบ่อยๆในชุดข้อมูลเรียก Normal Values เช่นถ้าเจอ 3 บ่อยก็คือ Normal values เท่ากับ 3 เป็นต้น

Standard Deviations

ค่าเบี่ยงเบนมาตราฐาน การที่เรารู้ค่าเบี่ยงเบนมาตราฐานจะทําให้รู้ว่า Data ที่เราเทสมีการเปลี่ยนแปลงอยู่ประมาณเท่าไร

ตัวอย่างวิธีคิดค่า SD จาก pantip
ตัวอย่างวิธีคิดค่า SD จาก pantip (https://pantip.com/topic/30455419)

พวกนี้เป็นสิ่งที่ต้องรู้เมื่อเราวิเคราะห์ Performance Testing มันเป็นวิธีการคิดง่ายๆเมื่อเจอค่าพวกนี้ใน report นั้นเอง ส่วนวิธีวิเคราะห์จริงๆค่อยว่ากันตอนลงมือทําจริงๆ ตอนนี้เอาทฤษฎีไปก่อน

สรุปกันซักที

หลังจากผ่านการโพสมาอย่างยาวนานแสนนานนนนนนนนนนนนนน อ่านจนหลับ แล้วก็ตื่นมาอ่านใหม่อีกรอบก็ยัง งงๆ ไม่เป็นไรไม่ต้องซีเรียสเพราะนี้คือ Theory ล้วนๆ ฟังแล้วก็ปวดหัวงี้แหละ เอาไว้โพสหน้าๆจะเป็นเรื่องของ in action น่าจะพอเข้าใจอะไรมากขึ้นเยอะ

แต่…สิ่งที่ได้จากการอ่านทฤษฐีคือเรื่องเหล่านี้

  1. เราต้องเข้าใจ Business ของ Application ที่เรากําลังจะ Test ว่ารูปแบบการใช้งานของ User เป็นยังไง เพราะมันจะช่วยทําให้เราออกแบบ Test Cases ได้ดีที่สุด เช่น App จองตั๋วโรงแรม เวลาออกโปรโมชั่นจะมีคนเข้ามาใช้เยอะมากเป็นแสนคนทํษให้แอพล่ม เราต้องทําอย่างไรเพื่อจะไม่ล่ม ต้องออกแบบเทสเคสเพื่อจําลองมั้นตาม Business
  2. เราต้องมาตั้ง Criteria และ Performance Goal ของการทํา Test ก่อนเริ่ม Test โดยเราสามารถอิงจากผลเทสเก่าได้ เช่นตั้ง Response Time, Throughtput (ในหนึ่งหน่วยเวลาว่า server response ได้แค่ไหน) และ Resource Utilitize ของ Hardware (Processor,Memory,Disk I/O,Network I/O)
  3. Test Enviroment เป็นสิ่งสําคัญ เพราะมันจะส่งผลกับ Test Report เช่นถ้าลูกค้าของเราเป็นกลุ่มคนไทย แต่สร้าง System Architecture ไปโผล่ที่อเมริกา เรื่องของ Latency ใน Network ก็จะมีผลกับการทําเทส และทําให้ผลเทสไม่ตรง 100% นั้นเอง เพราะฉะนั้นเรื่องนี้ต้องคิดดีๆ, มี Duplicate env. ออกมาไม๊?เพื่อทําการเทส
  4. Analyze Test Data หลังจากได้ผลลัพธ์มา ยิ่งสําคัญเพราะถ้าผลมาดีหมดแต่เราวิเคราะห์ผิด จะทํษให้ทุกอย่างผิดพลาดไปหมดเลย นั้นเลยเป็นเหตุผลที่ราต้องเรียนรู้เรื่องของ Statistic อย่าง Avg.,Percentile,Standard Deviation และ Median
  5. การสร้าง Report เพื่อส่งให้ลูกค้า เราต้องเลือก Graph ที่จะโชว์ด้วยว่าสิ่งที่ส่งไปเค้าจะเข้าใจ ถ้า Customer ก็จะสนใจเรื่องของ Response Times แต่ถ้า Business จะสนใจเรื่อง THroughtput เป็นหลัก
  6. Jargon ที่สําคัญของ Performance Testing คือ Response time, Throughtput, Concurrent user
here-is-your-potato (https://zusiddiqui.wordpress.com/2012/08/17/the-potato/)
here-is-your-potato (https://zusiddiqui.wordpress.com/2012/08/17/the-potato/)

Leave a Reply

avatar

This site uses Akismet to reduce spam. Learn how your comment data is processed.