فرط الملاءمة في الاختبار التاريخي: أفضل استراتيجية أم أوفرها حظاً؟

قد ينشأ منحنى رأس مال جميل عن استراتيجية جيدة، أو عن بحث طويل بما يكفي. حين يجرّب الباحث أسواقاً وفترات وفلاتر كثيرة ثم يعرض الفائز فقط، تكون النتيجة حصيلة عملية اختيار كاملة، لا تجربة منفردة كما يوحي الرسم.

قيّم مسار البحث قبل تقييم العائد. كم محاولة استُبعدت؟ ومتى حُددت القواعد؟ وهل كانت المعلومات متاحة عند التنفيذ؟ وما المتبقي بعد التكاليف؟ لا تجيب نسبة شارب المرتفعة وحدها عن هذه الأسئلة.

مئة محاولة ليست اختباراً واحداً

لنفترض نموذجاً مبسطاً: لا تمتلك أي استراتيجية أفضلية حقيقية، واحتمال الإيجابية الكاذبة في كل اختبار 5%، والاختبارات مستقلة. احتمال عدم ظهور أي نتيجة كاذبة في m اختبارات هو 0.95 مرفوعاً للقوة m. لذلك يكون احتمال ظهور واحدة على الأقل مساوياً لواحد ناقص هذا المقدار:

P = 1 − (1 − 0.05)^m

مع 100 محاولة يكاد ظهور نتيجة تبدو معنوية يكون مؤكداً وفق هذه الفرضيات. لكن ذلك لا يعني أن احتمال خطأ الاستراتيجية الفائزة هو 99.41%، ولا أن هذه النسبة من الاستراتيجيات تخسر. إنه احتمال يخص مجموعة الاختبارات عندما تكون جميع فرضيات العدم صحيحة، وليس احتمالاً لاحقاً يخص الفائز.

النسخ الفعلية تشترك غالباً في الإشارات والعوائد، فلا تكون مستقلة. لا يجوز إدخال العدد الخام للتركيبات في المعادلة واعتباره تقديراً دقيقاً للمخاطر. المثال يوضح أهمية اتساع البحث، ولا يقدّر العدد الفعلي للتجارب المستقلة.

المحاولات الفاشلة جزء من سجل البحث

تجربة عشر نوافذ على خمسة أسواق تتيح خيارات أكثر بكثير من التركيبة الوحيدة المنشورة. تغيير تاريخ البداية، واستبعاد أزمة، وعكس الإشارة، وإضافة مرشح بعد مشاهدة النتيجة، كلها تستخدم التاريخ نفسه مجدداً. احتفظ بنسخة البيانات والقواعد والمعلمات والتكاليف والفترات وتسلسل القرارات لكل تجربة.

لمجموعة محددة مسبقاً ومعلنة بالكامل من m اختبارات صحيحة، يضع تصحيح بونفيروني المحافظ عتبة فردية α/m. عند 20 اختباراً وميزانية خطأ إجمالية 5% تصبح العتبة 0.0025، فلا تكفي قيمة p غير المعدلة البالغة 0.01. لا يشترط الاستقلال، لكنه يشترط صحة الاختبارات وتعريف المجموعة بأمانة. لا يعالج التصحيح تسرب معلومات مستقبلية أو محاولات مخفية.

العينة المحجوزة تفقد استقلالها إذا وجّهت التعديلات

افصل تقدير المعلمات عن اختيار التصميم وعن التقييم النهائي. بيانات التحقق تساعد على الاختيار، والعينة التي لم تُمس تختبر العملية المجمدة. إذا دفعت نتيجتها إلى تعديل المرشح أو السوق، فقد أصبحت بيانات تطوير مهما استمر وصفها بأنها خارج العينة.

في جدول توضيحي، تُستخدم المشاهدات 1–500 للتقدير و501–600 للاختبار، ثم 101–600 و601–700، ثم 201–700 و701–800. تبقى 801–1000 محجوزة للتقييم النهائي. يجب تحديد الجدول وقاعدة الاختيار مسبقاً. يمكن إدخال اختبارات قديمة في تدريب لاحق عندما يتقدم الزمن فعلاً، لا اختيار أفضل بروتوكول بعد رؤية جميع النتائج.

اربط عوائد فترات الاختبار غير المتداخلة زمنياً، مع احتساب المراكز والتكاليف عند الحدود. إذا كانت المتغيرات المستهدفة تستخدم عوائد مستقبلية، فاستبعد مشاهدات التدريب التي تمتد معلوماتها إلى فترة الاختبار. يتحدد الفصل بالأفق المعلوماتي الحقيقي، لا بعدد اعتباطي من الأيام. وفي العقود الآجلة، راجع أيضاً السلسلة السعرية المستمرة وحساب ربح وخسارة تبديل العقود.

بضع نقاط أساس قد تقلب النتيجة

افترض 200 صفقة مكتملة بالقيمة الاسمية نفسها، ومتوسط ربح إجمالي 8 نقاط أساس للدخول والخروج معاً. تكلفة كاملة قدرها 6 نقاط تترك نقطتين صافيتين، وتكلفة 10 نقاط تجعل النتيجة −2. هذه متوسطات حسابية لكل صفقة، وليست عوائد سنوية أو مركبة للمحفظة. تحتاج المراكز المتزامنة ورأس المال المستخدم إلى حساب منفصل.

أدرج فرق الأسعار على الجانبين والعمولات والانزلاق، وتكاليف التمويل أو اقتراض الأسهم حيث تنطبق. لا تخصم تكلفة اتجاه واحد من عائد دورة كاملة. شدد الافتراضات في فترات التداول المكثف والسيولة الضعيفة. الربح الإجمالي اللافت إحصائياً قد لا يكون قابلاً للاستغلال اقتصادياً.

افحص المعلمات المجاورة، وتركز الأرباح في فترات قليلة، واعتماد الصفقات بعضها على بعض. الثبات يدعم الأدلة لكنه لا يستبدل البيانات الجديدة. لا يوجد عدد صفقات أو حد لنسبة شارب يصلح للجميع ويلغي تحيز الاختيار ومخاطر الذيل.

خمسة فحوص قبل الثقة بالمنحنى

1. أعد إنتاج المدخلات: المعلومات المتاحة حينها والأسعار القابلة للتنفيذ وإجراءات الشركات وتبديل العقود.
2. استرجع البحث: المحاولات الفاشلة والاستبعادات اليدوية؛ غياب السجل يترك أثر الاختيار غير محسوم.
3. جمّد البروتوكول: النوافذ والاختيار والمراكز والتكاليف قبل التقييم النهائي.
4. طابق النتيجة الصافية: الصفقات مع حساب المحفظة، ثم اختبر التكاليف الأسوأ والتركيز والاعتماد.
5. حدد ما ينقض الاستنتاج: إذا اختفت الأفضلية بعد إزالة التسرب أو احتساب تكاليف واقعية أو اختبار العينة المحجوزة، فلم تنجح الفرضية في الاختبار المعلن.

الاختبار المفيد يسمح لباحث آخر بتكرار العمل واكتشاف خطئه. أما المنحنى الجميل بلا هذا السجل فيظل فرضية لا أفضلية مثبتة.