Introduction of Backtest

Backtest คือการนำกฎซื้อขายและบริหารความเสี่ยงมาจำลองกับข้อมูลในอดีต เพื่อศึกษาพฤติกรรมของกลยุทธ์ เราต้องกำหนดด้วยว่าจะซื้อขายเมื่อไร ใช้ราคาใด และเสียต้นทุนเท่าไร แต่สิ่งที่ผู้คนเข้าใจผิดคือผลยุทธ์ที่ได้ผล Backtest ที่ดีจะเป็นกลยุทธ์ที่ดี Backtest คือการทดสอบกลยุทธ์กับข้อมูลอดีต ไม่ใช่หลักฐานว่าผลลัพธ์ในอนาคตจะเหมือนเดิม ปัญหาหลักคือข้อมูลอดีต

"ผมสามารถหากลยุทธ์ที่ดีในอดีตได้เสนอ แต่ในอนาคตไม่แน่"

นอกจากกำไรหรือขาดทุน เราอยากรู้ว่าต้องใช้เงินเท่าไร ถือสถานะมากเพียงใด ซื้อขายถี่แค่ไหน เจอช่วงขาดทุนประมาณไหนและนานเท่าไร และต้นทุนมีโอกาสกินความได้เปรียบจนหมดหรือไม่

Backtesting is not a research tool. If a strategy does not perform well in a backtest, do not tweak it (overfit) until the backtest looks good. Instead, investigate how the research process misled you into backtesting a false strategy. Fix the research process, not the strat.

Backtesting มีความสำคัญมากในกระบวนการพัฒนาและประเมิน กลยุทธ์การลงทุนเพื่อให้เราเข้าใจถึงผลตอบแทนและความเสี่ยงสำหรับการเพิ่มประสิทธิภาพและสามารถปรับปรุงความแม่นยำของกลยุทธ์หรือแบบจำลองได้โดยการระบุจุดอ่อนหรืออคติที่อาจส่งผลให้ประสิทธิภาพไม่ดีในอดีต

อย่างไรก็ตาม Backtesting ไม่ใช่ Academic Research Tool เราทำการ Backtest เพื่อเข้าใจพฤติกรรมของกลยุทธ์เท่านั้น เราไม่ได้ใช้การ Backtes เพื่อทดสอบสมมุติฐานของกลยุทธ์ของเรา เรายังต้องพึงเครื่องอื่นๆ เช่นการทดสอบความเชื่อมั่น ทฤษฏีหรือแนวคิดที่ใช้ทดสอบกลยุทธ์ของเรา

เมื่อเราใช้ผลชุดทดสอบกลับไปเลือกกฎ ชุดนั้นก็เป็นส่วนหนึ่งของการพัฒนาแล้ว การทดสอบกฎที่แก้ใหม่กับข้อมูลเดิมจึงยังบอกไม่ได้ว่าจะได้ผลกับข้อมูลที่ไม่เคยเห็น

เราแบ่ง backtest ได้ทั้งตามข้อมูลที่นำมาทดสอบ และตามกลไกของการจำลอง

แกนที่หนึ่ง: เราทดสอบกับเส้นทางแบบใด

Historical / walk-forward: เลื่อนช่วงฝึกและทดสอบไปตามเวลา

วิธีนี้ใช้ข้อมูลในอดีตจริง ภาพด้านล่างแสดงตัวอย่าง sliding window: แต่ละรอบใช้ข้อมูล 3 ช่วงก่อนหน้าเพื่อฝึก แล้วทดสอบกับ 1 ช่วงถัดไป จากนั้นเลื่อนหน้าต่างไปข้างหน้า ทุกแถวยังอยู่บนประวัติศาสตร์ชุดเดียว

สีม่วงคือช่วงฝึก ส่วนสีเขียวคือช่วงทดสอบ การกำหนดกฎและขั้นตอนปรับโมเดลควรทำไว้ก่อน การย้อนกลับไปแก้กฎหลังดูผลช่วงทดสอบทำให้ช่วงนั้นมีส่วนในการพัฒนาแล้ว

Resampling: จัดชุดใหม่จากข้อมูลเดิม

ภาพนี้แบ่งผลตอบแทนสมมติ 12 ช่วงเป็นบล็อก A–D บล็อกละ 3 ช่วง แล้วหยิบบล็อกมาเรียงเป็นสามชุด โดยหยิบซ้ำได้ เช่น ชุดใหม่ 1 มี D สองครั้ง ส่วนชุดใหม่ 2 มี C สองครั้ง ลำดับข้อมูลภายในแต่ละบล็อกยังเหมือนเดิม

แถบใต้แต่ละชุดแสดงตัวอย่างการแบ่งช่วงฝึกและทดสอบบนลำดับที่จัดใหม่ เส้นเวลาตรงนี้จึงเป็นลำดับของชุด resample ไม่ใช่ประวัติศาสตร์จริงอีกเส้นทาง รอยต่อระหว่างบล็อกเปลี่ยนไป และการแบ่งช่วงเพียงอย่างเดียวไม่ได้รับประกันว่าไม่มีข้อมูลรั่ว โดยเฉพาะเมื่อข้อมูลต้นทางเดียวกันถูกหยิบซ้ำมาอยู่ทั้งช่วงฝึกและทดสอบ

นี่เป็นตัวอย่าง block bootstrap ส่วน cross-validation ใช้แผนแบ่งข้อมูลเพื่อพัฒนาและประเมิน ไม่จำเป็นต้องหยิบบล็อกซ้ำอย่างในภาพ ทั้งสองวิธีต้องออกแบบให้เหมาะกับความสัมพันธ์ตามเวลาและข้อมูลที่ทับซ้อน

Monte Carlo: สร้างแบบจำลองจากสมมติ

Monte Carlo Backtesting หรือ Monte Carlo Simulation ในการทดสอบกลยุทธ์ คือกระบวนการทางสถิติที่นำผลลัพธ์จากการทดสอบย้อนหลัง (Backtest) มาสุ่มสลับลำดับหรือจำลองซ้ำเป็นพัน ๆ ครั้ง เพื่อประเมินความเสี่ยงและหาความเป็นไปได้ของผลตอบแทนในอนาคตภายใต้ความไม่แน่นอน

ดูเหมือนว่าเครื่องมือนี้ถูกออกแบบมาเพื่อ 'คาดการณ์' ความผันผวนของมูลค่าพอร์ต (equity) ที่อาจเกิดขึ้นเปรียบเทียบกันระหว่างกลยุทธ์ต่างๆ (เช่น กลยุทธ์นั้นล้มเหลวบ่อยแค่ไหน มีโอกาสเกิดผลกำไรต่อเนื่องกันมากน้อยเพียงใด และมีค่าเฉลี่ยของช่วงที่พอร์ตติดลบหรือ Drawdown เป็นอย่างไร) นี่คือความเข้าใจของผมเกี่ยวกับวิธีการใช้งานเครื่องมือนี้ กล่าวคือ มีการตั้งสมมติฐานเกี่ยวกับกลยุทธ์ไว้มากมาย (โดยอาศัยข้อมูลจากการทดสอบย้อนหลังหรือ backtesting) จากนั้นจึงนำกลยุทธ์ทั้งหมดมาเปรียบเทียบกันเพื่อเก็บข้อมูลของแต่ละกลยุทธ์

โดยพื้นฐานแล้ว วิธีการแบบ Monte Carlo นั้นถูกออกแบบมาเพื่อเปรียบเทียบกระบวนการสุ่ม (stochastic processes) รวมถึงตัวแปรสุ่มและฟังก์ชันการแจกแจงความน่าจะเป็นเพื่อทดสอบกลยุทธ์ทั้งหมดเพื่อหาค่าคาดหวังของผลกำไร (gain expectancy หรือ expectancy ratio) หรือที่เรียกกันว่า "สมการของเทรดเดอร์" (trader's equation)

จากนั้น เมื่อทราบแล้วว่ากลยุทธ์ใดให้ผลลัพธ์ที่ดี (จากการทดสอบย้อนหลัง) ก็จะใช้วิธี Monte Carlo เพื่อจำลองผลลัพธ์การเทรดที่อาจเกิดขึ้น โดยตั้งสมมติฐานว่ากลยุทธ์เหล่านั้นจะทำงานได้เหมือนกับที่เห็นในการทดสอบย้อนหลัง และสมมติฐานรวมถึงการคำนวณทั้งหมดของคุณนั้นถูกต้องแม่นยำ ตลอดจนเชื่อมั่นว่ากลยุทธ์ดังกล่าวจะยังคงใช้ได้ผลดีในสถานการณ์ตลาดจริงในอนาคต

ตัวอย่างนี้เริ่มดัชนีราคาที่ 100 แล้วสมมติว่าแต่ละช่วงขึ้น 2% หรือลง 2% ด้วยโอกาสเท่ากัน และแต่ละช่วงเป็นอิสระต่อกัน เมื่อสุ่มซ้ำได้ 100 เส้นทาง เส้นละ 12 ช่วง เราจึงเห็นผลหลายแบบจากกฎเดียวกัน บางเส้นซ้อนกันเพราะแต่ละช่วงมีผลตอบแทนให้เลือกเพียงสองค่า

หากเพิ่มจำนวนเส้นทาง เราจะเห็นผลจากกฎนี้มากขึ้น ส่วนข้อสมมติว่าราคาขึ้นลง 2% และแต่ละช่วงเป็นอิสระ ยังต้องตรวจแยกว่าตรงกับตลาดที่ต้องการศึกษาหรือไม่ [2, หน้า PDF 3–5]

ภาพ Historical (PNG) · ภาพ Resampling (PNG) · ภาพ Monte Carlo (PNG)

แกนที่สอง: กลไกการเขียน code

Vectorized backtest คำนวณสัญญาณ สถานะ และผลตอบแทนเป็นชุดด้วยตารางหรือ array เหมาะกับกฎที่เขียนความสัมพันธ์ตามเวลาได้ชัดเจน ใส่ต้นทุนตามมูลค่าซื้อขายได้ เช่น ตัวอย่างในหนังสือ [1, หน้า PDF 75–76, 94–95]

Event-based หรือ event-driven backtest ประมวลผลเหตุการณ์ตามลำดับ เช่น ข้อมูลมาถึง เกิดสัญญาณ ส่งคำสั่ง จับคู่ และอัปเดตเงินสด/หุ้น เหมาะเมื่อการทำงานขึ้นกับสถานะสะสมหรือรายละเอียดคำสั่ง แต่ความสมจริงยังขึ้นกับแบบจำลองการจับคู่ สภาพคล่อง และข้อจำกัดที่ใส่ไว้ [1, หน้า PDF 148–152]

สองมิตินี้ใช้ร่วมกันได้ เช่น ทดสอบข้อมูล historical ด้วยเครื่องจำลอง event-based การเปลี่ยนสถาปัตยกรรมอย่างเดียวไม่ทำให้ bias หายไป

เริ่มจากคำอธิบายที่หักล้างได้ เช่น “กฎนี้คาดว่าจะได้ประโยชน์จากแนวโน้มที่ต่อเนื่อง หลังรวมต้นทุนที่กำหนด” แล้วเขียนล่วงหน้าว่าข้อมูล สัญญาณ การถือสถานะ และหลักฐานแบบใดจะทำให้ไม่เชื่อสมมติฐานนี้

Split window แบ่งข้อมูลตามเวลา: ชุด A ใช้พัฒนา ส่วนชุด B ที่ตามมาทีหลังใช้ประเมินกฎที่กำหนดไว้แล้ว Sliding window เลื่อนช่วงฝึกและทดสอบไปข้างหน้า แต่ละรอบต้องเรียนรู้จากข้อมูลก่อนช่วงที่ประเมินเท่านั้น การปรับโมเดลตามตารางที่กำหนดไว้ล่วงหน้าเป็นคนละเรื่องกับการย้อนแก้กฎหลังเห็นคำตอบ

ในงานที่มีการเลือกพารามิเตอร์ อาจแยก train สำหรับเรียนรู้, validation สำหรับเลือกแบบจำลอง และ final test สำหรับตรวจท้ายสุด รายการที่ต้อง fit เช่น scaler หรือการเลือกตัวแปร ต้องอยู่ในข้อมูลฝึกของรอบนั้นด้วย หากดู final test แล้วปรับกฎ ชุดนั้นถูกใช้พัฒนาไปแล้ว ก่อนรัน ให้บันทึกอย่างน้อย:

1. เหตุผลของกลยุทธ์ กฎเข้า/ออก และวิธีวัดว่าผ่านหรือไม่ผ่าน
2. สินทรัพย์ ช่วงข้อมูล ความถี่ เขตเวลา และวิธีจัดการข้อมูลหายหรือแก้ย้อนหลัง
3. เวลาที่รู้ข้อมูล เวลาส่งคำสั่ง ราคา fill และข้อจำกัดการถือสถานะ
4. ต้นทุน เกณฑ์เปรียบเทียบ จำนวนการทดลอง และวิธีเก็บผลที่ไม่ผ่านด้วย

การปรับพารามิเตอร์ระหว่างพัฒนา ส่วน protocol กำหนดให้แยกผลจากข้อมูลพัฒนาออกจากผลบนข้อมูลที่ยังไม่เคยเห็น

Signal คือสัญญาณซื้อขายจากกฎ เช่น อยากถือหุ้นหรืออยากถือเงินสด ส่วน position คือสถานะที่มีอยู่จริงและรับผลตอบแทนในช่วงนั้น ระหว่างสองสิ่งนี้ยังมีการส่งคำสั่งและการจับคู่ หรือ fill

แยกการตัดสินใจเป็นสองส่วนได้:

• Side บอกทิศทาง ในบทนี้ใช้ $s_t\in \{0,1\}$ คือเงินสดหรือ long
• Size บอกขนาดของเงิน $a_t\in [0,1]$ เป็นสัดส่วนพอร์ต

น้ำหนักเป้าหมายจึงเป็น $w_t=s_t{a}_t$ สัญญาณเหมือนกันไม่ได้แปลว่าความเสี่ยงเหมือนกัน หากกลยุทธ์หนึ่งลงเงิน 100% แต่อีกกลยุทธ์ลงเพียง 40%

ตัวอย่างสมมติ: ก่อนเริ่มช่วงราคา 100 → 110 เราถือเงินสด ผลจากหุ้นของพอร์ตจึงเป็นศูนย์ ต่อให้เมื่อสิ้นช่วง กฎเพิ่งให้สัญญาณซื้อ การนำสัญญาณใหม่นั้นไปคูณผลตอบแทน +10% ที่ผ่านไปแล้วก็คือการให้ระบบย้อนเวลา

ในทางกลับกัน หากถือ short น้ำหนัก −1 ก่อนช่วงเดียวกัน ผลตอบแทนจากหุ้นจะเป็น −10% ก่อนต้นทุน ไม่ใช่กำไรเพราะสัญญาณตอนท้ายเพิ่งเปลี่ยนเป็น long ตัวอย่าง short นี้ใช้สอนบัญชีผลตอบแทนเท่านั้น ห้องทดลองด้านล่างไม่เปิด short

Backtest ที่ใช้ราคาปิดไปซื้อที่ราคาเปิดของวันเดียวกัน ก็เหมือนใส่จดหมายตอนเย็นลงในช่องตัดสินใจตอนเช้า ในสมุดจึงต้องลงทั้งเวลาที่ข้อมูลมาถึงและเวลาที่ส่งคำสั่ง

Look-ahead bias เกิดเมื่อการตัดสินใจในอดีตใช้ข้อมูลที่ยังไม่พร้อม ณ เวลานั้น ไม่ว่าจะมาจากราคาปิดของวันเดียวกัน งบที่ยังไม่ประกาศ หรือสถิติที่คำนวณจากข้อมูลทั้งชุด [2, หน้า PDF 7; 4, หน้า PDF 16]

ในบทนี้กำหนดลำดับเวลาให้ชัดเจน:

ให้ $O_t$ คือราคาเปิดของ session $t$ ผลตอบแทนของสินทรัพย์ในช่วงถือครองคือ

น้ำหนักที่ใช้รับผลตอบแทนนี้ต้องอาศัยข้อมูลที่พร้อมก่อนเปิด $t$ ในกรณีปกติของเรา จึงใช้สัญญาณจากราคาปิด $t-1$ ส่วนกรณีผิดในห้องทดลองจะใช้ราคาปิด $t$ เพื่อซื้อที่ราคาเปิด $t$ ซึ่งยังรู้ไม่ได้

ใน pandas มักเห็น signal.shift(1) แต่ต้องอ่านความหมายของ index และผลตอบแทนก่อน ตัวอย่างโครงสร้างสำหรับ convention ข้างต้นคือ:

1# close and open are aligned by session index.2side_at_close = (close.rolling(20).mean() > close.rolling(50).mean()).astype(float)3weight_at_open = side_at_close.shift(1)4open_to_next_open = open.shift(-1) / open - 15# Gross return only: warm-up, sizing, costs and liquidation are handled separately.6gross = weight_at_open * open_to_next_open

แม้เลื่อนสัญญาณหนึ่งแถวแล้ว หากใช้ volatility ของอนาคตในการกำหนด size ก็ยังมีข้อมูลอนาคตรั่วเข้ามา และแม้ใช้ข้อมูลทันเวลา สมมติฐานว่า fill ได้ที่ราคาเปิดยังต้องตรวจในระบบซื้อขายจริง ทั้งเรื่องเวลาตัดรับคำสั่ง สภาพคล่อง และ slippage

ลองเปิดข้อมูลตามเวลาที่รู้ได้

แบบจำลองย่อนี้ใช้กฎ ราคาปิดล่าสุดมากกว่า 100 ให้ Long มิฉะนั้นถือเงินสด เพื่อให้เห็นเรื่องเวลาอย่างเดียว จึงแยกจากกฎ SMA 20/50 ในห้องทดลองใหญ่ ลองเดินจากตอนเปิด session 1 ไปจนถึงเปิด session 2 แล้วดูว่าข้อมูลใดเพิ่งปรากฏ และสถานะใดรับผลตอบแทนไปแล้ว

สำหรับพอร์ต long กับเงินสดที่ให้ดอกเบี้ยศูนย์ หากน้ำหนักหุ้นหลังปรับพอร์ตคือ $w_t$ และยังไม่คิดต้นทุน ผลตอบแทนพอร์ตในหนึ่งช่วงคือ $w_t{R}_{t\to t+1}$ สูตรนี้ใช้ simple return หรือผลตอบแทนเทียบกับราคาเริ่มต้นของช่วง

เมื่อต้องเสียค่าใช้จ่าย ให้คิดสองขั้นตอน:

$V_t^{-}$ คือมูลค่าก่อนซื้อขาย, $C_t$ คือต้นทุน, $V_t^{+}$ คือมูลค่าหลังจ่ายต้นทุน และ $w_t$ คือสัดส่วนหุ้นของมูลค่าหลังจ่ายต้นทุนนั้น

Turnover คือมูลค่าที่ซื้อขายเทียบกับมูลค่าพอร์ต ห้องทดลองคิดต้นทุนตาม notional ที่ซื้อขายจริงในแบบจำลอง รวมการซื้อครั้งแรก การปรับน้ำหนัก และการขายออกตอนจบ โดยคำนึงว่าน้ำหนักหุ้นเคลื่อนตามราคา แม้ target weight จะเท่าเดิม

หน่วยต้นทุนใช้ basis point (bp): 1 bp = 0.01% ดังนั้น 5 bps = 0.05% ต่อมูลค่าซื้อขาย ไม่ใช่ 5% และไม่ใช่ค่าธรรมเนียมคงที่ต่อวัน

หากซื้อขายมูลค่า 10,000 หน่วยด้วยอัตรา 5 bps ต้นทุนเท่ากับ 5 หน่วย การกลับจาก short เต็มพอร์ตเป็น long เต็มพอร์ตมี notional โดยประมาณสองเท่าของการเปลี่ยนจากเงินสดเป็น long จึงไม่ควรนับเป็นต้นทุนเพียง “หนึ่งสัญญาณ”

อัตราในห้องทดลองเป็นสมมติฐานรวมแบบย่อ ไม่ใช่อัตราค่าธรรมเนียมของโบรกเกอร์ใด แบบจำลองนี้ยังไม่จำลอง market impact, partial fill, fixed commission หรือข้อจำกัดสภาพคล่อง จึงใช้ตรวจกลไกเบื้องต้น ไม่ใช่ execution simulator เต็มรูปแบบ [1, หน้า PDF 94–95, 151–152; 2, หน้า PDF 7–8]

Volatility targeting คือการปรับขนาดสถานะตามความผันผวนที่ประเมินได้ เช่น เมื่อสินทรัพย์แกว่งแรงขึ้น ใช้เงินกับสถานะเดิมน้อยลง แนวคิดนี้แยกจากสัญญาณว่าจะซื้อหรือไม่ซื้อ

หาก ${\sigma }^{\ast }$ คือเป้าความผันผวนต่อปี และ ${\sigma }_{t-1}$ คือความผันผวนที่ประมาณจากข้อมูลถึงวันก่อนหน้า เรากำหนดขนาดอย่างง่ายเป็น

เพดาน 1 หมายถึงไม่ใช้ leverage ถ้าเป้าคือ 10% ต่อปี แต่สินทรัพย์มี estimated volatility 20% จะถือประมาณ 50% ของพอร์ตเมื่อ signal เป็น long หาก estimated volatility เป็น 5% สูตรดิบให้ 200% แต่เพดานในบทนี้จำกัดเหลือ 100%

ห้องทดลองใช้ sample standard deviation ของผลตอบแทนปิดถึงปิดย้อนหลัง 20 ช่วง แล้วคูณ $\sqrt{252}$ เพื่อแปลงเป็นรายปี การคำนวณทุกครั้งใช้หน้าต่างย้อนหลังของจุดเวลานั้น เริ่มประเมินหลังมีข้อมูลครบ และหาก volatility เป็นศูนย์จะไม่เปิดสถานะในโหมด targeting

เป้าความผันผวนไม่ใช่ drawdown limit และไม่รับประกันว่า volatility ที่เกิดจริงจะตรงเป้า โดยเฉพาะเมื่อพอร์ตสลับถือเงินสด มีเพดานน้ำหนัก หรือความผันผวนเปลี่ยนเร็ว การ targeting อาจลดทั้งกำไรและขาดทุน และเพิ่ม turnover จากการปรับ size แม้ side ไม่เปลี่ยน [5; 3, หน้า 10]

ลองคงสัญญาณ Long แล้วเพิ่มค่าความผันผวนด้านล่าง น้ำหนักหุ้นจะลดลงตามสูตร ส่วนที่เหลืออยู่ในเงินสด จากนั้นเปลี่ยนสัญญาณเป็น Cash แล้วดูว่าน้ำหนักหุ้นเหลือเท่าไร

ในตัวอย่างนี้ หากปรับเป้าความผันผวนเป็น 20% แต่สินทรัพย์แกว่งเพียง 5% เพดานไม่ใช้ leverage จะทำให้ลงเงินได้สูงสุด 100% และความเสี่ยงตามสัดส่วนยังต่ำกว่าเป้า

ห้องทดลองใช้ราคาสมมติ 320 sessions ซึ่งสร้างด้วย seed 20260925 และใช้ชุดเดิมทุกครั้ง ราคาเป็นหน่วยสมมติ ไม่ได้อ้างถึงสินทรัพย์หรือวันที่ตลาดจริง

กฎคือ long เมื่อ SMA 20 ของราคาปิดสูงกว่า SMA 50 มิฉะนั้นถือเงินสด ค่าทั้งสองถูกกำหนดเพื่อสาธิตกลไก ไม่ได้เลือกจากผลตอบแทนที่ดีที่สุด ทุกกรณีเริ่มที่ราคาเปิด session 60 และจบที่ราคาเปิด session 319 รวม 259 ช่วงผลตอบแทน ใช้ทุนเริ่มต้น 100 หน่วย

กรณี Look-ahead ทั้งสอง ซื้อขายตามเวลาจริงไม่ได้ ใส่มาเพื่อให้เห็นผลของความผิดพลาด ไม่ใช่ตัวเลือกกลยุทธ์ ส่วน buy-and-hold ในตารางใช้ช่วงเปิดถึงเปิดเดียวกัน รวมต้นทุนเข้าและออกเช่นเดียวกัน

เริ่มจากเปรียบเทียบ fixed size กับ vol target ภายในกลุ่ม Causal ก่อน จากนั้นเทียบ Causal กับ Look-ahead โดยคงรูปแบบ size เดียวกัน วิธีนี้ช่วยไม่ให้สรุปผลจากสองสิ่งที่เปลี่ยนพร้อมกัน

ลองเพิ่มต้นทุนแล้วดูทั้งผลตอบแทนและ turnover การ targeting ไม่จำเป็นต้องได้ Sharpe สูงขึ้นทุกครั้ง และ look-ahead ก็ไม่จำเป็นต้องทำให้ทุก metric ดีขึ้นในทุกชุดข้อมูล ทั้งผลที่สูงขึ้นและต่ำลงยังใช้ประเมินการซื้อขายจริงไม่ได้ หากคำสั่งอาศัยข้อมูลที่ยังไม่เกิดขึ้น

การทดลองนี้เป็นตัวอย่างเชิงกลไก ไม่ใช่ out-of-sample validation ของ SMA และการเปลี่ยน cost/target ในหน้านี้ไม่ใช่หลักฐานสำหรับเลือกกลยุทธ์ลงทุน

Tear sheet คือรายงานย่อที่รวมผลตอบแทน ความเสี่ยง และพฤติกรรมของกลยุทธ์ไว้ด้วยกัน ก่อนอ่านตัวเลข ให้ดูช่วงเวลา ความถี่ จำนวนข้อมูล benchmark และนิยามต้นทุนก่อนเสมอ [5]

หากมี $N$ ช่วงผลตอบแทน และใช้สมมติฐาน 252 ช่วงต่อปี:

ห้องทดลองกำหนด risk-free rate เป็นศูนย์และใช้ sample standard deviation ดังนั้น

Sharpe ในสูตรนี้ใช้ค่าเฉลี่ยผลตอบแทนรายช่วง ไม่ใช่นำ CAGR มาหาร volatility ถ้าความผันผวนเป็นศูนย์จะไม่รายงาน ratio การคูณรากของเวลาเป็น convention แบบย่อ ไม่ใช่ข้อยืนยันว่าผลตอบแทนไม่มี autocorrelation [1, หน้า PDF 85, 278]

นิยาม drawdown ที่ใช้ในกราฟคือ

ห้องทดลองวัดจากจุดมูลค่าที่ราคาเปิดแต่ละ session จึงไม่ครอบคลุมการขาดทุนระหว่างวัน เรารายงานเป็นค่าติดลบหรือศูนย์ เช่น เส้นพอร์ตสมมติ 100 → 110 → 88 → 100 → 120 จบด้วย total return +20% แต่เคยมี drawdown −20% จาก 110 ลง 88 และต้องรอจนกลับถึงยอดเดิมจึงฟื้นตัวเต็มที่ [1, หน้า PDF 279]

คำนวณผลตอบแทนที่ต้องได้เพื่อกลับทุน

จากยอด 100 ลงเหลือ 80 คือขาดทุน 20% แต่การบวกกลับ 20% ของ 80 ได้เพียง 16 จึงกลับมาแค่ 96 หากต้องการกลับถึงยอดเดิม ต้องเพิ่ม 20 จากฐาน 80 หรือ 25%

สำหรับสัดส่วนขาดทุน $d$ ที่อยู่ระหว่าง 0 กับ 1 อัตราฟื้นตัวที่ต้องการคือ

กราฟนี้เป็นตัวอย่างเลขคณิตของมูลค่าพอร์ต ไม่ใช่การพยากรณ์ว่าพอร์ตจะฟื้นจริงหรือใช้เวลากี่วัน

อีกตัวอย่างหนึ่ง เงิน 100 เป็น 121 ในสองปี มี CAGR 10% ไม่ใช่ 10.5% การหารผลตอบแทนรวมด้วยจำนวนปีไม่ใช่การคิดทบต้น

ดูด้วยว่าพอร์ตอยู่ต่ำกว่าจุดสูงสุดนานเท่าไร กำไรกระจุกตัวอยู่ช่วงไหน และผลแต่ละช่วงต่างกันอย่างไร หากผลสูงผิดสังเกต ให้ตรวจ timing, costs, ความยาวตัวอย่าง และจำนวนการลอง หลีกเลี่ยงเกณฑ์เหมารวมว่า “Sharpe เกินเลขหนึ่งต้องผิด” เพราะเลขเดียวไม่บอกที่มาของผลทั้งหมด [2, หน้า PDF 8–10; 3]

สร้างรายงานด้วย QuantStats

QuantStats มีส่วนคำนวณสถิติ วาดกราฟ และสร้าง HTML tear sheet โดยรับชุดผลตอบแทนเป็นข้อมูล จึงควรส่งผลตอบแทน สุทธิที่จัดเวลาไว้ถูกต้องแล้ว พร้อม benchmark ที่ตรงช่วงกัน

Win rate ของรายงานแบบ return series หมายถึงสัดส่วนช่วงเวลาที่ให้ผลบวก เช่น วันบวก ไม่จำเป็นต้องเท่ากับสัดส่วนรายการซื้อขายที่ชนะ หนึ่ง trade ที่ถือหลายวันอาจมีทั้งวันบวกและวันลบ [6]

Notebook หลักของบทนี้คำนวณด้วย Python standard library และรันได้โดยไม่ต้องใช้ QuantStats ตัวอย่างเสริมต่อไปนี้เป็นแนวทางเมื่อมี pandas และ quantstats ติดตั้งแล้ว ไม่ถูกเรียกใช้โดยหน้าเว็บ และไม่ได้ทดสอบการสร้างรายงาน QuantStats ในชุดตรวจบทนี้:

1import json2from pathlib import Path3import pandas as pd4import quantstats as qs5 6saved = json.loads(Path("backtest-intro-results.json").read_text())7net = saved["results"][0]["returns"]  # causal fixed, net of assumed costs8# Artificial dates for report formatting only; these are not market observations.9index = pd.bdate_range("2000-01-03", periods=len(net))10returns = pd.Series(net, index=index, name="Synthetic causal fixed")11benchmark = pd.Series(saved["benchmark"]["returns"], index=index,12                      name="Synthetic buy and hold")13qs.reports.html(returns, benchmark=benchmark, output="backtest-report.html")

วันที่ในตัวอย่างเสริมถูกสร้างขึ้นเพื่อให้รายงานจัดรูปแบบได้เท่านั้น ไม่ใช่วันที่เกิดราคาจริง และไม่ได้แทนปฏิทินวันหยุดของตลาด

นอกจาก look-ahead ยังมีจุดที่ควรตรวจร่วมกัน:

• Survivorship bias: เลือกเฉพาะสินทรัพย์ที่ยังอยู่ในปัจจุบัน แล้วลืมตัวที่ถูกถอดหรือหายไปในอดีต
• Overfitting / selection bias: ลองหลายกฎ หลายช่วงข้อมูล หรือหลายวิธี clean แล้วแสดงเฉพาะผู้ชนะ โดยไม่บอกจำนวนการลอง
• ข้อมูลไม่ตรงเวลาที่ใช้ได้จริง: ใช้ตัวเลขที่แก้ย้อนหลัง หรือถือว่างบการเงินพร้อมตั้งแต่วันที่สิ้นงวดแทนวันที่เปิดเผย
• Execution ที่มองโลกดีเกินไป: สมมติซื้อได้ครบทุกครั้ง ไม่คิด spread, slippage, impact หรือข้อจำกัดการยืมหุ้น
• Drawdown tolerance: ยอมรับความเสี่ยงบนกระดาษได้ แต่หยุดกลยุทธ์กลางทางเมื่อเจอการขาดทุนจริง ซึ่งทำให้เส้นทางใช้งานต่างจาก backtest

ดูรายละเอียดในเอกสาร [2, หน้า PDF 5–8; 3, หน้า 9–12; 4, หน้า PDF 15–17]

ดาวน์โหลด Notebook ที่รันแล้ว · Python example · ข้อมูลสมมติ JSON · ผลคำนวณ JSON · Markdown บทนี้

Python example ใช้ standard library จึงไม่ต้องติดตั้ง package หรือเชื่อมต่ออินเทอร์เน็ต ตัว Notebook บรรจุโค้ดและตัวอย่างครบในตัว ใช้ Python 3 รันเซลล์จากบนลงล่างได้ ส่วนไฟล์ข้อมูลและผล JSON ใช้ตรวจเทียบกับห้องทดลองเว็บ

1python3 lesson_13.py

ลองตอบก่อนดูคำอธิบายในแบบทบทวน:

1. ถ้า signal ถูกเลื่อนแล้ว แต่ volatility ใช้ข้อมูลทั้งชุด การตัดสินใจยังมีข้อมูลอนาคตหรือไม่
2. เมื่อเพิ่มต้นทุนจาก 5 เป็น 10 bps กรณีไหนได้รับผลกระทบมาก และ turnover ช่วยอธิบายได้แค่ไหน
3. หาก targeting ลด drawdown แต่ลดผลตอบแทนด้วย ควรอ่าน metric ใดเพิ่มก่อนสรุปว่าดีกว่า
4. ถ้าผลช่วงทดสอบไม่ผ่าน คุณจะตรวจขั้นตอนใดก่อน และจะบันทึกการเปลี่ยนแปลงอย่างไร

เก็บกฎ พารามิเตอร์ ช่วงข้อมูล และผลของรอบที่ไม่ผ่านไว้ด้วย หากจะแก้กฎ ให้เขียนเหตุผลและระบุว่าดูข้อมูลชุดใดไปแล้ว ก่อนเริ่มการประเมินครั้งถัดไป

บทนี้เรียบเรียงและสร้างตัวอย่างใหม่จาก Resource ที่ให้มาเท่านั้น ตัวเลขในห้องทดลองเป็นข้อมูลสมมติที่คำนวณใหม่ ไม่มีผลตลาดจริงหรือข้อมูลราคาจากอินเทอร์เน็ต

1. Yves Hilpisch, Python for Algorithmic Trading: From Idea to Cloud Deployment. ไฟล์ python for algorithmic trading book (js).pdf ที่แนบ: บท 4 หน้า PDF 75–101 โดยเฉพาะ lag หน้า 84 และต้นทุนหน้า 94; บท 6 หน้า 148–152; ตัววัดหน้า 278–279 เลขเหล่านี้เป็นหน้า 1-based ของไฟล์ PDF ที่สร้างผ่าน browser ไม่ใช่เลขหน้าฉบับพิมพ์
2. Jacques Joubert, Dragan Sestovic, Illya Barziy, Walter Distaso และ Marcos Lopez de Prado, The Three Types of Backtests, เวอร์ชัน 29 July 2024, ไฟล์ three+types+of+backtests.pdf ที่แนบ: หน้า PDF 3–5 เรื่องประเภท, 5–8 เรื่องข้อผิดพลาด, 8–10 เรื่องตัววัด และ 16 เรื่องหน้าที่ของ backtest
3. Rob Arnott, Campbell R. Harvey และ Harry Markowitz, A Backtesting Protocol in the Era of Machine Learning, 29 October 2018, ไฟล์ ssrn-3275654.pdf ที่แนบ: หน้า 8–12 เรื่องสมมติฐาน ข้อมูล และการทดสอบ; หน้า 14–16 เรื่องวัฒนธรรมวิจัยและข้อจำกัด
4. Introduction to Backtesting, สไลด์ 19 หน้าในลิงก์ที่ให้: หน้า PDF 4–8 เรื่องแบ่งข้อมูลและนิยาม, 15–17 เรื่องข้อจำกัดและ bias
5. Hudson Thames reading-group transcript ที่แนบและข้อความบรรยายที่ให้ในคำขอ, เรื่อง vectorized backtesting, signal lag, volatility targeting และ tear sheet ใช้เป็นเส้นเรื่องการเรียนรู้ โดยไม่ยกคำกล่าวเรื่องผลตอบแทนหรือเกณฑ์ Sharpe ตายตัวมาเป็นข้อเท็จจริงทั่วไป
6. QuantStats repository, README ที่ลิงก์ให้มา ตรวจวันที่ 25 September 2026: การวิเคราะห์ return series, สถิติ กราฟ และ HTML tear sheet

ข้อความภาษาอังกฤษใน “หลักคิด: แก้กระบวนการวิจัย” คงตามข้อความที่กำหนดมา ไม่ระบุชื่อผู้กล่าวเพราะยังไม่ได้ยืนยันต้นทางคำต่อคำ ภาพที่แนบเป็นปกและคำรับรองหนังสือ Advances in Financial Machine Learning จึงไม่ใช้แทนหลักฐานว่าได้อ่านเนื้อหาหนังสือเล่มนั้น ไม่แจกจ่าย PDF ต้นฉบับหรือภาพจากหนังสือในชุดดาวน์โหลด