Complete Production RAG Masterclass | LangGraph, Re-Ranking, Evaluation & Optimization

في الوقت الحالي، يقوم الجميع ببناء رفوف

الأنظمة. قم بتحميل بعض المستندات، ثم أنشئ

قم بتخزين التضمينات في متجه

قاعدة البيانات، واسترجاع أجزاء منها، وإرسالها

للحصول على درجة الماجستير في القانون. وفجأة، يعتقد الناس

لقد قاموا ببناء أنظمة ذكاء اصطناعي ذكية. لكن

هناك مشكلة كبيرة هنا. معظم الرفوف

خطوط الأنابيب في الواقع شديدة للغاية

قابل للكسر. إنهم يفشلون في الإجابة على الأسئلة المعقدة.

إنهم يسترجعون سياقاً غير ذي صلة. هم

تخيّل بثقة. والأسوأ

جزء، ليس لديهم أي فكرة على الإطلاق متى

إنهم مخطئون. أعمال الخرق التقليدية

مثل طالب يؤدي امتحانًا

يُسمح بالبحث في كتاب مدرسي

واحد فقط. استرجاع واحد، تخمين واحد، واحد

الإجابة النهائية. لا انعكاس، لا

التحقق وعدم وجود آلية لإعادة المحاولة

لا يوجد أي تبرير بشأن ما إذا كان الاسترجاع

هل المعلومات مفيدة أم لا؟ و

بدأت تلك الهندسة المعمارية في التحول

قديمة لأن الجيل القادم من

لا تقتصر أنظمة الذكاء الاصطناعي على الاسترجاع فقط

معلومة. يفكر قبل

جارٍ الاسترجاع.

تستطيع أنظمة الذكاء الاصطناعي الحديثة الآن إعادة كتابة...

استعلامات خاصة، تقييم الاسترجاع

المستندات، اكتشاف السياق غير المناسب، إعادة المحاولة

عمليات البحث الفاشلة، واتخاذ القرار بشكل ديناميكي

ماذا نفعل بعد ذلك؟ لذا بدلاً من ثابت

خط الأنابيب، لدينا الآن نظام تشغيل ذاتي

أنظمة الاسترجاع وهذا ما يسمى

جريدة دبلوماسية. وفي هذا الفيديو، نحن

سأقوم ببناء واحد من الصفر باستخدام

النظام البيئي لانغين وlangraph. أ

نظام استرجاع قادر على الاستدلال،

التفكير والتصحيح الذاتي والتحسين

عملية استرجاع خاصة بها بشكل مستقل. لا

النظرية، وليس الرسوم البيانية في برنامج باوربوينت.

تطبيق عملي فعلي. لأن

يسترجع برنامج بسيط المعلومات، لكن

يتعلم جهاز الخرق الوكيل كيفية الاستعادة

بذكاء وصدق، هذا ما يحدث.

كل شئ. فلنقم ببنائه.

قبل أن نبدأ في بناء النظام،

نحتاج إلى فهم ما الذي يتغير فعلياً

عندما ننتقل من موسيقى الراغتايم التقليدية إلى

جريدة دبلوماسية. لأن النظرة الأولى

كلاهما يبدوان متشابهين. لا يزال لديك

لا تزال لديك ملفات مضمنة في المستندات.

لا يزال بإمكانك استرجاع السياق، ولا تزال

قم بتمريرها إلى برنامج ماجستير في القانون. لكن الحقيقة

الفرق ليس في المكونات.

يكمن الأمر في سلوك النظام.

دعونا نحلل الأمر. في تقليد

خط أنابيب الرف، العملية ثابتة. أ

يطرح المستخدم سؤالاً، فنقوم باسترجاع أفضل K سؤالاً

المستندات، وسنقوم على الفور بإنشاء

إجابة. هذا كل شيء. لا قرارات، لا

التكرار، لا ذكاء فيه

خط الأنابيب نفسه. يفترض النظام واحداً

خطوة الاسترجاع كافية، وهذا

الافتراض هو بداية فشل الأمور

لأن الاستفسارات في العالم الحقيقي

المعلومات نادرا ما تكون مثالية.

يمكن استرجاعها بضربة واحدة. بعض الأسئلة

بعضها غامض، وبعضها يتطلب استعلامًا أفضل

التركيبة. يحتاج البعض إلى عدة

محاولات الاسترجاع وبعض الاحتياجات

وجهات نظر مختلفة تمامًا

بيانات. وهنا يأتي دور الوكالة

يغير قواعد اللعبة. بدلاً من العلاج

الاسترجاع كخطوة واحدة، نقوم بتحويله

في عملية صنع القرار. نحن

تقديم وكيل يمكنه التحكم في

مسار الاسترجاع. والآن قبل

يستطيع النظام استرجاع أي شيء

أولاً، أعد كتابة استعلام المستخدم. يمكنه أن يسأل

ما هي أفضل طريقة للحصول على المصادر؟

لهذا السبب. ثم يقوم باسترجاع المستندات،

لكنها لا تثق بهم ثقة عمياء. هو - هي

يقوم بتقييمها. يتحقق من ذلك

يتحقق من مدى صلة هذا الأمر بـ

السؤال، وإذا كانت الإجابة بالنفي،

لا يتوقف، بل يعود ويصقل.

يحاول الاستعلام مرة أخرى، وهو في الأساس

يحسّن استراتيجية الاسترجاع الخاصة به و

هذه هي الفكرة الأساسية التي لم نعد

نحن نبني خط أنابيب

حلقة

نظام قادر على التفكير في نفسه

عملية الاسترجاع، لذا بدلاً من التدفق

استعلم، استرجع، وأجب. لدينا الآن

استعلام، تخطيط، استرجاع، تقييم

فكّر، حاول مجدداً، ثم أجب. وكل واحد من

يتم التحكم في هذه الخطوات بواسطة وكيل.

ولهذا السبب توجد أطر عمل مثل لانغراف

إنها قوية لأنها تسمح لنا بـ

بناء الدورات، وليس مجرد السلاسل. لذا في

الكود الذي ستراه الآن، سننتقل

لتطبيق هذا المظهر بالضبط. سوف

قم ببناء أداة لإعادة كتابة الاستعلامات، وأداة استرجاع، و

مدقق الملاءمة وانعكاس

آلية تحدد ما إذا كان سيتم إعادة المحاولة

أو تابع. وبمجرد أن تفهم هذا

إذا ارتسمت هذه النقشة، فلن تنظر إلى قطعة القماش بنفس النظرة.

مرة أخرى، لأنك في هذه المرحلة

أنت لا تقوم ببناء روبوت محادثة، بل تقوم ببناء

وكيل استرجاع. والآن لنذهب إلى

قم بتقسيم التطبيق وابدأ البرمجة. لذلك لدي

تم إنشاء هذه البيئة الافتراضية في

والتي قمت بتثبيتها:

المكتبات. يمكنك إنشاء

قم بتثبيت ملف requirements.txt.

المكتبات. لذا لدي هذا أيضًا

ملف البيئة موجود هنا حيث احتفظت به

مفتاح API الخاص بنموذجي.

لذلك لن أريك هذا. أنت

هل يمكن استخدام أي نموذج هنا؟ في هذا

في حالتي، فأنا أستخدم مكتبة تشاترو و

أنا أستخدم لاما 3.370 مليار. فلنبدأ إذن

ابدأ البرمجة الآن.

ثم من الرسم البياني الخطي

استورد الرسم البياني حالة الرسم البياني وانتهى.

الآن من مجموعة لانغشن

لنقم باستيراد Chat Gro

من وثائق langchen core dot.

[يضحك ساخرًا] لنقم فقط بإعداد المستندات. أنا

لن يتم استيراد ملف PDF هنا. أنا

سأريك ذلك ببعض الأمثلة القليلة

المستندات التي سيتم استيعابها

إلى وكيلنا المتكامل هنا. لذلك

لقد استخدمتُ وثيقة من دورة لانجن.

لذا مرة أخرى من موجهات النقطة الأساسية لـ langen

استيراد نموذج رسالة الدردشة.

الآن من مجتمع لانجن

سنقوم باستيراد متجر متجهات نقطية

روما

من تضمينات الخط والنقطة المجتمعية.

سنستورد تضمينات وجوه متشابكة

من أدوات تقسيم النصوص من سلسلة اللغة. أوه نحن

سوف نستورد حرفًا متكررًا

أداة تقسيم النصوص، ثم لتحميلها

محتوى ملف البيئة سيقوم

من env استورد load.v. أولاً وقبل كل شيء

سأقوم بتحميل بيانات الاعتماد أو

مفتاح API الذي وضعته داخل ملفي.

والآن دعوني أعرّف نموذجي. إذن الأول

الشيء الذي سأفعله هو استخدام برنامج الدردشة

سأقوم بتحديد اسم النموذج الخاص بي. مثلي

قال: سأستخدم لاما 3.3

70 مليار

أوه، نموذج متعدد الاستخدامات. يمكنك الذهاب إلى

توثيق نمو الدردشة باللغة ثم

اطلع على جميع الطرازات المتاحة هناك.

الآن، كجزء من الوثائق، أنا

سأقوم بإنشاء بعض المستندات هنا. لذا

لأنني لا أريد أن أكتب كل شيء

لذا سأقوم بنسخها فقط

أوه، انسخ قائمة المستندات الخاصة بي من

مكان ما. لذا دعني ألصق هذا. لذا

لدي حوالي ستة مستندات.

لذا تذكر بدلاً من هذه المستندات

يمكنك ببساطة استخدام ملفاتك النصية أو ملفات PDF

الملفات أو أي نوع آخر من الملفات التي

يجب تناوله على شكل

قاعدة المعرفة الخاصة بأنظمتك.

تمام. والآن بعد أن أصبحت هذه الوثائق

حاضر،

أما خطوتي التالية فهي

تقسيم هذه المستندات من أجل...

جزء من استراتيجية تقسيم البيانات. لذا أولاً من

كل ما سأفعله هو أن يكون الفاصل يساوي I

يوجد بالفعل نص حرفي متكرر

تم استيراد مكتبة التقسيم. لذا سأذهب

لاستخدام هذا. أولاً وقبل كل شيء، أنا هنا

سأحدد حجم الجزء الخاص بي. لذا فإني

سيكون حجم القطعة 300 وهو

يعني 300 حرفًا ثم الجزء الخاص بي

تداخل

سيكون تداخل الأجزاء 50.

أعتقد الآن وثيقة جديدة

ما تراه هنا سيتجاوز الجزء

مقاس. لذا ستكون كل وثيقة من هذه الوثائق

تم وضعها كقطعة واحدة. لكنك مرة أخرى

يستطيع

استخدم ملف PDF الخاص بك في اختبار ملف PDF الخاص بك

قم بحفظ الملف كجزء من المستند، ثم

ربما فصل ملف PDF واحد إلى

أجزاء كثيرة مختلفة، والتي ستكون

أفضل للاسترجاع لاحقًا أيضًا. لذا

لقد فعلت هذا بالفعل في السابق

مقاطع فيديو. أتمنى أن تكونوا قد شاهدتم تلك الفيديوهات.

لذا في هذه الحالة، أنا أستخدم فقط

حالة مستند بسيطة هنا. تمام. الآن آه

دعني أستخدم كائن التقسيم هذا الذي

لقد أنشأت للتو ثم استخدمت

أداة تقسيم المستندات التي

لقد ذكرت ذلك هنا. إذن أيهما هو القضيب؟

المستندات. تمام.

بعد ذلك، دعني أحدد تضميني

نموذج. إذن، نموذج التضمين الخاص بي هنا هو

سوف نقوم بتضمين صور الوجوه المحتضنة.

إذن، سيكون اسم النموذج الخاص بي هو الكل /

ميني إل إم إل 6

P2.

وهذا أيضاً من وجه العناق

مكتبة. يمكنك استخدام أي شيء آخر

المكتبات التي تريدها أو أي مكتبات أخرى

النماذج التي تريدها. أوه، اذهب فقط إلى

وجه يعانق ثم يرى الفتح

نموذج المصدر موجود هناك أو يمكنك أيضًا استخدامه

نماذج تضمين الذكاء الاصطناعي المفتوح أو Gemini التي

موجودون. إذن، الخطوة التالية هي أ

متجر متجهات أو إنشاء متجه

محل. كما قلت، سنستخدم

روما، كما هو الحال في متجرنا للرسومات المتجهة. من

وثائق

سيكون المصدر هو الوثائق

وهو هذا الشيء تحديداً هنا.

ثم كجزء من عملية التضمين، سأقوم بـ

قم بتحديد كائن التضمين الخاص بي الذي قمت به للتو

تم إنشاؤه سابقًا. ثم بما أنني

أرغب في حفظ متجر المتجهات الخاص بي لاستخدامه لاحقًا

يستخدم أيضًا. لذا سأستخدم هذا

دليل الاحتفاظ

أوه، مفتاح. ثم دعني أحفظه

في موقع متجر المتجهات الخاص بي.

تمام.

بمجرد الانتهاء من ذلك، سنذهب

للكلاب المسترجعة. إذن، الكلب المسترجع يساوي

متجر المتجهات

نقطة ككلب صيد.

دعني أوضح لك

كم عدد النتائج التي نريد تحقيقها. لذا،

وسائط البحث الرئيسية

يساوي

دعني أوضح هذا في

بهذا الشكل. إذن نحن لا نسترجع

سنختار المراكز الأربعة الأولى، لكننا سنكتفي بالنتائج الثلاثة الأولى.

هنا. تمام. حتى هذه اللحظة، هذا هو

تنفيذ منظم للأساسيات

خرقة. لكن بما أننا لا نقوم بعمل راغ أساسي

سنتجه نحو دمج الوكلاء. والآن نحن

سنحدد حالة الوكيل هنا. لذلك

جزء من وكيلنا، أنا سأفعل

قم بتعريف فئة تسمى حالة الوكيل.

سيكون هذا النوع عبارة عن قاموس من النوع. والآن أنا

سأكتب كل شيء

مكونات الحالة التي سيقوم بها وكيلنا

يملك. إذن، السؤال الأول سيكون

والتي ستكون على شكل سلسلة نصية. لو

إذا كنت تريد كتابة الوصف، فأنت

بل يمكنني حتى كتابة ذلك هناك. إذن نحن

اختر السؤال المعاد صياغته لأننا

سنعيد صياغة سؤالنا أو سؤالنا

سيقوم الموظف بإعادة صياغة سؤالنا.

إذن، مسألة المنطقة هي...

جزء الاسترجاع الذي سيكون عبارة عن قائمة بـ

المستندات لأننا نبحث عن

أهم ثلاث وثائق، لذا سيأتي الأمر على شكل

قائمة

ثم لدينا

جزء التوليد بشكل أساسي والذي يعني

الجزء الخاص بعامل توليد الإجابات. ثم

بالنسبة لوكيل التحقق من الصلة، سنقوم

استخدم مدى الصلة

مكتبة ذات صلة. ولـ

عدد محاولات إعادة التشغيل لأننا لا نريد

يدخل العامل في حلقة لا نهائية، لذا

سيكون عدد المحاولات عددًا صحيحًا. لذا

هذا سيكون وكيلي

هنا. أولاً وقبل كل شيء سأقوم بـ

حدد وكيل إعادة كتابة الاستعلام الخاص بي.

لذا دعني أقوم بإنشاء دالة لهذا الغرض

إعادة كتابة الاستعلام

وكيل الدولة

وسأكتب داخل هذا

اِسْتَدْعَى. لذا سيأتي سؤالي

من قالب موجه الدردشة نقطة من

نموذج.

والآن، دعني أكتب ما يلي:

اِسْتَدْعَى. إذن أنت استفسار

تحسين

عامل.

أعد صياغة سؤال المستخدم لتحسينه

الاسترجاع من

قاعدة المعرفة

واجعلها أكثر تحديدًا

وغنية دلالياً.

والآن سؤالي سيكون سؤالي سيكون

سيأتي كمتغير سؤال. سوف

ضعها في مكان مخصص

وموجهي واضح المعالم. والآن

سأقوم بإنشاء سلسلة، وهذا يعني

أولاً وقبل كل شيء، سيتم الرد على طلبي

وبعد ذلك سيتم تسميته أو سيكون

تم إرسالها إلى برنامج الماجستير في القانون.

إذا قمت باستدعاء هذا، فإن القيمة المُعادة تساوي

سأقوم بتفعيل هذه السلسلة. سلسلة

استدعاء النقطة

أحتاج إلى طرح سؤالي هنا. لذا

السؤال سيكون الدولة

سؤال الولاية هذه الولاية بالذات

المكون هنا

وأنا لا أريد الكثير، أريد فقط

الإجابة الدقيقة التي يقدمها برنامج الماجستير في القانون

دعني أطبع

هذا الاستعلام للقراءة، لذا [يضحك ساخرًا]

دعني فقط أستخدم الشرطة المائلة وحرف النون

أقوم بإنشاء فاصل ثم أطبع

استعلام مُعاد صياغته.

دعني أشير إلى هذا أيضًا. لذا اقرأ

وما سأفعله هو أنني أيضاً

سأعيد هذه النسخة بعد إعادة كتابتها

تمت إعادة صياغة الاستعلام على النحو التالي:

تمت إعادة صياغة السؤال هنا. لذا قم بإرجاع القراءة

السؤال، ثم في القيمة التي سأذهب إليها

لتوفير

استفسار مكتوب.

عذراً، كان من المفترض أن يكون هذا هو

جزء معاد كتابته.

حسنًا، الآن وكيل إعادة كتابة الاستعلامات لدينا هو

مكتمل. والآن لننتقل إلى الاسترجاع

عامل. دعني أعرّف لك عامل الاسترجاع

إذا تم الاسترجاع. لذا سأمتنع مرة أخرى

في حالة الوكيل لهذا

الوظيفة هنا. سأفعل هنا

الاستعلام يساوي الحالة. دعني أستخرج

تمت إعادة كتابتها

السؤال الذي طرحته للتو من

هنا. ثم بعد ذلك دعني أستدعي خاصتي

كلب صيد. نقطة ريتريفر

استدعاء

استفسار.

دعني أقوم بإنشاء فاصل.

والآن لنطبع المستندات المسترجعة.

المستندات المسترجعة.

وبعد ذلك سننتقل إلى

يعود

هذا من أجل المستندات [يضحك ساخرًا]

إلى وكيل الدولة مرة أخرى.

تمام. أما الآن، فإن وكيل أعمالي الثالث هو

سيكون صانعًا للأهمية.

لذا سأقوم مرة أخرى بإنشاء

وظيفة تسمى إنشاء المستندات.

قم بتمرير حالة الوكيل هنا مرة أخرى.

إذن، سيأتي السؤال من

ولاية

سؤال.

ال

سيتم استلام طلب استرجاع المستندات

من

وثائق.

دعني أهيئ لك السياق. لذا لإنشاء

في هذا السياق، سأنضم إلى

وثائق.

لذلك دعني أستخدم الأمر dot join

a d in docs

دعني أستخرج النقطة د

صفحة

محتوى

وأخيرًا، دعوني أكتب لكم موضوعًا لـ

هذا الوكيل أيضًا، لذا سأستخدم الدردشة

نموذج المطالبات

نقطة من القالب تمامًا كما في السابق

سأحدد في هذا نطاقي

اِسْتَدْعَى

حسنًا، سيكون موضوعي هو

أنت صارم

مقيّم مدى الصلة

تحديد ما إذا كان السياق المسترجع هو

يكفي للإجابة على السؤال.

والآن سأمرر من هنا

سؤال على شكل عنصر نائب

سؤال. ثم سأمر.

السياق مرة أخرى في شكل

سياق العنصر النائب

ودعني أضيف المزيد. لذا أجب

يغادر مع

مناسب

أو ذات صلة.

تمام. والآن كما فعلنا سابقاً، سنفعل

اكتب سلسلة. أولاً وقبل كل شيء سأذهب

ل

اضغط على زر التنبيه، وبعد ذلك سأكون

سأقوم بتسليمها إلى طالب الماجستير في القانون. والآن أستطيع

استدعِ سلسلتي. لذا، استدعاء النقطة المتسلسلة

استدعاء

أحتاج إلى تمرير معلَمَين. أحدهما هو

السؤال.

إذن، سيأتي السؤال من

السؤال نفسه

ثم سيأتي السياق

من

السياق الذي قمت بإنشائه سابقاً.

هنا

لست بحاجة إلى كل شيء. أنا فقط أحتاج إلى

جزء الإجابة. لذا، محتوى النقطة

أعتقد أن هذا جيد في الوقت الحالي. لذا دعني

تحقق من النتيجة. دعني أطبعها.

أولاً، سأقوم بطباعة

فاصل. دعني أطبع

الأهمية

نتيجة.

سأقوم هنا بالطباعة

النتيجة وسأعيد هذا

النتيجة تعود إلى حالة الوكيل

في معيار الصلة.

حسنًا، الآن الجزء الخاص بتقييم مدى الصلة هو

تم إنجاز ذلك أيضاً.

الآن أحتاج أخيرًا إلى توليد الإجابات

جزء. إذن، توليد الإجابات. لذلك

سأقوم بإنشاء دالة مرة أخرى

يتم تمريرها في حالة الوكيل.

دعني أهيئ السياق

أه، باستخدام صفحات المستند هناك. لذلك

استخدمنا الأمر n dot join تمامًا كما فعلنا سابقًا.

لذا،

لذا بالنسبة لـ د في الولاية

وثائق،

كل شيء سيأتي من

الوثائق هناك.

أريد استخراج محتوى D dot P_C.

والآن ننتقل إلى الجزء المتعلق بالسؤال، دعوني أوضح...

قالب موجه الدردشة نقطة من القالب

واكتب ما أريد قوله. لذا فإن سؤالي هو

سيكون الأمر كذلك، فأنت خبير

مصمم أنظمة الذكاء الاصطناعي.

أجب عن السؤال باستخدام فقط

سياق

أقل.

لذا دعني أوضح السياق في

ضع العنصر النائب مرة أخرى، وبعد ذلك دعني

مرر السؤال

مرة أخرى كعنصر نائب.

تمام. والآن تم إنجاز هذا الجزء أيضاً. أضف

المسافة البادئة حتى لا تحصل على

مشوش.

كل هذه الأمور جزء من هذه الوظيفة هنا.

والآن، كما سبق، دعوني أنشئ...

سلسلة.

سأقوم الآن باستدعاء هذه السلسلة. لذا

استدعاء سلسلة النقاط

كما فعلنا سابقاً. علينا أن نمرر

معياران.

أحدها هو السياق. السياق سينتقل

يأتي من كائن السياق هنا.

و

السؤال

سيأتي ذلك من خلال سؤال على مستوى الولاية.

مرة أخرى، أنا أحتاج فقط إلى جزء الإجابة. لذا

دعني أكتب هذا ثم سأفعل

يمكن إرجاع المنتج

إجابة. لا، يجب أن يكون في

أعتقد أنه جيل. لنرى ماذا سيحدث

متغير بداخله. جيل جيد. لذا

دعني أضع هذا في الداخل

جزء من الجيل.

حسنًا، لقد تم الآن حضور جميع وكلائنا

تم التنفيذ بشكل صحيح. الآن نحتاج إلى

اكتب منطق لـ

إجابتنا النهائية. لذلك نقوم بإنشاء هذا

المنطق هنا حيث سيحدد الوكيل

سواء كانت الإجابة صحيحة أم لا، أو إذا

هل يجب إعادة توليدها أم لا؟

لذا

سأتحقق من هذا في الداخل

الأهمية.

إذا كانت الصلة تساوي

مناسب

ثم

يمكننا ببساطة اللجوء إلى إجابة الجيل

جيل. لذا إذا تم استخراج

المستندات، حسنًا، هذا يعني ما يلي:

إذا كانت الوثيقة المستخرجة ذات صلة

ثم ننتقل إلى توليد الإجابات. نحن

يوجد أيضًا عدد محاولات إعادة التشغيل هنا في

دولة وكيلة

أوه، من أجل تمكين أو من أجل

منع النموذج من الانتقال من أو

العملاء يدخلون في حلقة لا نهائية من

عدم الصلة ثم التجديد. لذا

دعني أتحقق من عدد محاولات إعادة الاتصال هنا أيضًا.

هذا ما تنص عليه

إعادة المحاولة

احسب إذا كان هذا أكبر من أو يساوي

أريد أن أعود مرة أخرى إلى توليد اثنين

وإلا

إذا لم يتحقق كلا الشرطين

راضٍ أو إذا كانت الإجابة غير ذات صلة

ولا يزال عدد محاولات إعادة التشغيل ضمن

إذاً، أريد إعادة كتابة الكود.

تمام. والآن ننتقل إلى متتبع إعادة المحاولة. لذلك بالنسبة لـ

متتبع إعادة المحاولة، ما الذي سأفعله؟

هو تعريف

متتبع إعادة المحاولة. سأمرر مرة أخرى

في حالة الوكيل هنا

وسيكون ذلك بسيطاً. لذا

يعود

إعادة المحاولة

عدد.

إذن، سيأتي هذا من الدولة

عدد محاولات إعادة الحالة

مهما كان عدد محاولات إعادة التشغيل. أنا فقط

سأذهب إلى هناك، وسأضيف شخصًا آخر هنا.

تمام. إذن، ما الخطأ الذي ارتكبته؟ أوه، آسف

كان ينبغي أن يكون هنا. ال

كانت المسافة البادئة غير صحيحة، ثم

كان ينبغي أن يكون هنا.

تمام. الآن تم بناء كل شيء. الآن نحن

نحتاج إلى سير عمل وكيلنا. لذا دعني

سأحدد سير عملي هنا، ولهذا السبب أنا

سأبدأ بإنشاء رسم بياني باستخدام حالة

كائن الرسم البياني الذي استخرجناه من اللغة

رسم بياني.

إذن، أعتقد أننا نمثل حالة الوكيل في الرسم البياني للحالة.

تم استيراده بشكل صحيح. لنرى.

كان من المفترض أن يكون هذا رسمًا بيانيًا للحالة.

تمام،

والآن دعوني أحدد العقد الخاصة بي. لذا، الرسم البياني النقطي

أضف العقدة، ستكون هذه عملية إعادة كتابة.

ستكون العقدة الأولى عبارة عن إعادة كتابة

الوظيفة هي إعادة كتابة الاستعلام. العقدة التالية

سيتم استرجاعها

وظيفتها هي

يسترد.

العقدة التالية ستكون الشبكة.

هذه الوظيفة هي

إنشاء المستندات.

سيتم إنشاء العقدة التالية

وظيفتها هي

يولد.

وأخيراً لدينا منطق إعادة المحاولة.

لذا ستتم إعادة محاولة العقدة

ثم الوظيفة المناسبة لـ

هذا هو متتبع إعادة المحاولة.

تمام.

والآن، بما أن كل شيء قد تم، فنحن بحاجة إلى

لتحديد نقطة دخول لهذا الرسم البياني.

سنقوم الآن ببناء سير العمل

هنا. لذا، حدد نقطة الدخول في الرسم البياني. لذا

من أين سنبدأ؟ نحن

سأبدأ بإعادة الكتابة.

باختصار، إعادة كتابة استعلام المستخدم.

ثم سأضيف الحافة من خلال إعادة الكتابة.

أضف لمسة مميزة.

لذا أضف العمر

سيكون هذا من إعادة الكتابة إلى

يسترد

من الاسترجاع في العمر.

سنقوم بالتقييم.

والآن بعد أن نلقي نظرة على وكيل التقييم الخاص بنا

لدينا الآن مسار مشروط هنا

لأننا نحتاج بعد ذلك إلى الدرجة أو درجتنا

يجب على الوكيل أن يوضح ما إذا كانت هذه الوثيقة

هل هذا الأمر ذو صلة أم لا؟ أما إذا كان الأكبر

إذا قال الوكيل إنه ذو صلة، فنحن بحاجة إلى

انتقل إلى "إنشاء" أو سنحتاج إلى الانتقال إلى

أعد كتابة النص. لذا نضيف الآن

سن مشروط هنا لأن لدينا اثنين

مسارات مختلفة. لذا نضيف

السن المشروط. لذا فإن الشرط هو

سنبدأ بالدرجة الدراسية. من

ثم نقوم بتنفيذ هذه الوظيفة.

هنا يتم تحديد ما إذا كان التقييم

جاء في الوثيقة أنه يجب المضي قدماً أو

تجديد أو إعادة. لذا

إما أن ننتقل إلى إعادة الكتابة

إذا كان الأمر يتعلق بإعادة الكتابة، فسنلجأ إلى إعادة المحاولة.

وإذا تم توليده

ثم ننتقل إلى عملية التوليد.

والآن سنضيف ميزة أخرى. لذا ارسم بيانيًا

نقطة

أضف لمسة عصرية.

إذا ذهبنا لإعادة المحاولة

حسنًا، سنختار

إعادة كتابة

وإذا كنا قد ذهبنا إلى توليد

ثم افهم بشكل أساسي أن

الإجابة المُولَّدة هي الإجابة النهائية و

ننهي الرسم البياني. الآن أخيراً يمكننا أن نفعل

التطبيق يساوي ملف الرسم البياني النقطي. إذا استطعنا

اطبع هذا. دعني أطبع هذا أيضًا

رسم بياني. لست متأكدًا مما إذا كان بإمكاننا فعل ذلك أو

ليس بعد، ولكن لنرى.

حسناً، لقد تم إنجاز كل شيء الآن. لقد قمنا فقط

يجب تقديم الاستفسار هنا. إذن، فلنبدأ

أنا أمر

استعلام نموذجي.

إذن، سيكون سؤالي هو

سأقوم فقط بتمرير الاستعلام

أه، مباشرة داخل دالة الاستدعاء الخاصة بي.

إذن سؤالي

سيكون

لماذا تفشل تطبيقات الذكاء الاصطناعي في الإنتاج؟

يفشل الذكاء الاصطناعي عندما

التعامل مع، آسف، لا يمكنني التسليم عندما

التعامل مع المستندات متعددة المجالات.

تمام. إذن هذا هو سؤالي

وسأقوم أيضاً بتحديد

عدد محاولات إعادة المحاولة إلى

عدد المحاولات صفر.

تمام. لذا مهما يكن

ستكون عملية توليد سير العمل عبارة عن

الإجابة النهائية. لذا دعني أبدأ في إنشاء

فاصل.

وأخيراً اطبع

نتيجة

جيل

نقطة.

حسناً، هذا هو الجزء الخاص بهذا الجيل.

حسناً، يبدو أن كل شيء قد تم إنجازه. نحن

بدأنا باستيراد مكتباتنا. نحن

نبدأ ثم ننتقل إلى تحديد

نموذج. ثم تناولنا بعض الطعام النيء

الوثائق هنا، والتي يمكن أن تكون أيضًا

تم استبدالها ببعض الملفات، ملفات PDF، ملفات نصية

الملفات وأي نوع آخر من الملفات التي

أردنا أن يتحمل نظام الرفوف الخاص بنا هذا الأمر.

ثم حددنا ثم ذهبنا إلى

سير عمل منظم للرفوف حيث نقوم

تم تعريف جهاز تقسيم

باستخدام نص حرفي متكرر

فاصل. ثم قمنا بتقسيم ما تم توفيره

المستندات هنا. ثم قمنا بتحويلها

في التضمينات باستخدام

باستخدام تضمينات الوجه المحتضن وهذا

نموذج محدد هنا. ثم قمنا بتخزينها

تتضمن مكتبة المتجهات الخاصة بنا أيضًا التضمينات.

بالإضافة إلى إنشاء مجلد بالداخل

هو - هي. ثم قمنا بتعريف جهاز استرجاع حيث نحن

طلبوا بشكل أساسي أفضل ثلاثة

استفسارات. ثم قطعة القماش العادية أو الأساسية

سأتوقف هنا. ما الذي انتقلنا إليه؟

تحديد حالة الوكيل لأننا أردنا

ثم أنشأنا وكيل راغ

بعض العملاء هنا. أولاً وقبل كل شيء لـ

أداة إعادة صياغة الاستعلام. لذا للاستفسار

إعادة الصياغة، لقد قمتُ أساسًا بتوفيرها

هذا التوجيه المحدد هنا لـ

أعد صياغة سؤال المستخدم، وأنا أيضًا

بدأ

إعادة محاولة المنطق إلى الصفر. باختصار عندما

تم تقديم هذا الاستفسار المحدد هنا.

تمام. إذن، كان الجزء الأول هو الاستفسار

إعادة كتابة. بمجرد ذلك السؤال المحدد

أعاد الوكيل كتابتها ثم ذهبنا

للاسترجاع حيث يعتمد على

استعلام معاد كتابته استعلام معاد كتابته

قام الوكيل بشكل أساسي باستعادة المعلومات ذات الصلة

وثائق. ثم ذهبنا للحصول على الوثائق

المُقيّم، أين هذا الوكيل تحديداً؟

تم تقييم ما إذا كانت الوثيقة المستخرجة بواسطة

الكلب المسترجع بناءً على إعادة القراءة

هل كان الاستفسار ذا صلة أم لا؟ وثم

وبناءً على ذلك قمنا بإنشاء هذا

جيل الإجابات

أه، الوكيل الذي أنشأ بشكل أساسي

الإجابة مبنية على البيانات المستخرجة

السياق أو المستندات المستخرجة ثم

السؤال الذي طرحه المستخدم هنا. الآن آه

لقد ابتكرنا هذا المنطق تحديدًا من أجل

تحقق مما إذا كان مُقيّم مدى الصلة لدينا قد

سمح لنا ذلك بتوليد الإجابة أو

طلبوا منا أن

أعد كتابة الاستعلام بشكل صحيح

سواء تم استرجاعها أم لا. ثم أنشأنا

وظيفة تتبع إعادة المحاولة هي أساسًا

احسب عدد المحاولات التي تم إجراؤها

حدث ذلك داخل سير العمل هذا. ثم نحن

أريد الانتظار حتى تكتمل عملية سير العمل. أضفنا

قم بتجميع كل هذه العوامل في عقدة واحدة. ثم نحن

حدد نقطة الدخول كاستعلامنا

وكيل إعادة الصياغة. من كاتب الاستفسارات نحن

ثم استرجع و من

ثم انتقلنا إلى عملية التقييم.

عامل. الآن من وكيل التقييم هناك

كان هناك مساران. أولاً وقبل كل شيء من

وكيل التقييم أو إذا كان وكيل التقييم

وقال إن الوثائق المستخرجة كانت

لم يكن ذلك ذا صلة، لذا ذهبنا أساسًا إلى

وكيل إعادة المحاولة أو إذا كان وكيل التقييم

وقال إن الوثائق المستخرجة

ثم تابعنا من أجل الموضوع ذي الصلة.

إنشاء وكيل. الآن إذا ذهبنا إلى

إذن، هذا يعني أن...

يجب أن يكون التدفق أو التدفق

سأعود إلى وكيل كتابة الاستفسارات مرة أخرى

وإذا اخترنا جزء التوليد

عندها سيعني ذلك أساساً نهاية

سير عملنا، وأخيراً نجحت في ذلك.

السؤال هنا ثم تمت طباعته بشكل أساسي

الجواب أخيراً. والآن يمكننا أن نركض

اتبع هذا المسار وتحقق من نوع

الإجابة التي نحصل عليها أو بشكل أساسي كيف...

سير العمل، أو كيف، أو كيف...

يتعاون الوكلاء معًا لتزويدي

إجابة مناسبة بناءً على المعلومات المقدمة

وثائق.

تمام. لذا قمت بفتح نافذة الأوامر هنا.

الآن يمكنني ببساطة كتابة python app.py

ثم قم بتشغيل هذا.

تذكر أنه يجب عليك تثبيت جميع

المكتبات كما هو موضح هنا و

باختصار، اكتب الكود بشكل صحيح

ويمكنك تشغيله على جهازك أيضًا.

فلنرى النتيجة وماذا سيحدث

هنا.

حسنًا، أولًا وقبل كل شيء، يتم عرض النماذج

تم التحميل. آه، تضمين وجه هوغينغ

نموذج

يتم تحميل الأوزان هنا. حسناً، أنا

أعتقد أنني ارتكبت خطأً ما هنا. وهكذا وجد

بدء العمر عند استرجاع العقدة غير المعروفة.

أين تم تجميع هذا الرسم البياني؟ دعني

تحقق مما إذا كنا قد ارتكبنا أي خطأ هنا

بشكل أساسي في جزء سير العمل.

إذن هناك... دعني أرى أيضاً...

الوظائف هنا. إذن هذا هو الاسترجاع

إعادة كتابة الاستعلام، استرجاع مستندات رائعة

توليد و

يقرر. تمام. لذا أعد كتابة الاستعلام واسترجاعه

عظيم

وثائق

قم بإنشاء المشروع ثم أعد المحاولة. لذلك عندما ذهبنا

ل

إعادة كتابة ذهبنا لإعادة الكتابة استرجاع

ومن الاسترجاع إلى التقييم كان هذا

صحيح.

تمام. إذن، ما الخطأ الذي ارتكبناه هنا؟

لنلقِ نظرة على السؤال مرة أخرى.

تم العثور على بدء التشغيل في وضع غير معروف لـ

يسترد.

هل حددنا نقطة البداية للاسترجاع؟

لا. لقد تحولت من إعادة كتابة إلى استرجاع،

أعد كتابة الأمر لاسترجاعه، ثم استرجعه إلى

درجة.

هيا بنا

سنراجع هذا إذا ارتكبنا أي أخطاء إملائية

هنا. إذن، عبارة "retrieve retrieve" صحيحة.

هذا استرجاع أو هذا استرجاع.

هذا استرجاع. زحف.

لست متأكدًا ما الخطأ هنا. دعني

يفحص.

حسنًا، أعتقد أن هذا كان أمرًا بسيطًا

يوجد خطأ إملائي هنا. لذا ينبغي أن يكون هذا

تم استرجاعها.

أجل، وأعتقد أنه تم تصحيحه. حسنًا

قم بتشغيل هذا وتحقق مما إذا كان لدينا أي B

أخطاء.

تمام.

أعتقد أننا ارتكبنا خطأً ما مرة أخرى

لأنه على الرغم من أنه مكتوب عليه "ذو صلة"

لكنه مع ذلك قام بإعادة كتابتها. تمام.

دعونا نتحقق مما فعلناه بشكل خاطئ. أولاً

على كل حال، دعني أذهب إلى هذا الجزء. لذلك إذا

الصلة ذات صلة،

حسنًا، لم نتحقق من العاصمة

الحرف أو الجزء الصغير منه. على أي حال،

تمام. لو كنا قد عدنا للتو

إذا كان هذا ذا صلة هنا، فسيكون الاستعلام قد

تم إيقافه وإلا لكان العميل قد فعل

توقف عند أول نقطة. على أي حال، سنفعل

انظر كيف سارت الأمور مع عميلنا.

إذن [يضحك بسخرية] كان سؤالي هو لماذا

تفشل أنظمة الذكاء الاصطناعي المستخدمة في الإنتاج عند التعامل مع

مستندات متعددة المجالات؟ فماذا فعل ذلك؟

يفعل؟ أعاد كتابة الاستعلام لتحسينه

الاسترجاع من قاعدة المعرفة. ال

يمكن إعادة صياغة السؤال ليكون أكثر

محدد ويصل دلاليًا إلى

يتبع. إذن ما هي الأساسيات؟

التحديات والقيود التي تواجه الوضع الحالي

نظام معلومات مقالات الإنتاج

وجوه عند محاولة المعالجة و

قريباً. إذن، أعاد كتابة الاستعلام. ثم

أوه، لقد ذهب الأمر لاسترجاع المستند.

لذا فقد استخرجت ثلاثة عناصر بشكل أساسي

وثائق مختلفة هنا.

وثيقة واحدة، وثيقتان، وثلاث وثائق.

المستند، لأننا حددناه.

لاستخراج أفضل ثلاث نتائج. ثم نحن

استخدمنا أداة التحقق من الصلة. كان لديه

سبق ذكره بشكل مناسب. لذلك كان ينبغي أن يكون

تم إيقافها. لكن منطقي هنا كان

خطأ. لقد قارنت بشكل أساسي بين

صغير

الشركات الصغيرة ذات الصلة هنا والتي لم تفعل

مباراة واضحة. لذا خضعت لإعادة كتابة

هنا مرة أخرى. تمام. فماذا فعل في

إعادة كتابة؟ لنرى. وهكذا في إعادة الصياغة

استعلام، أوه، لقد أعاد كتابة النص بالكامل مرة أخرى

استعلام و

وأضاف ذلك تفاصيل أكثر بكثير.

ثم عاد إلى المستند

استرجاع. وكرر المصحح ذلك.

كان الأمر ذا صلة، ولكن بسبب خطئي في

المنطق موجود، لقد أخذناه مرة أخرى إلى

إعادة كتابة جزء الاستعلام. أعاد كتابة نفسه مرة أخرى

تم استرجاع المستندات من الاستعلام.

ثم قال المصحح إنه

مناسب. الآن منذ أن أصبح لدينا عداد إعادة القلي

لقد تجاوز بالفعل الحد الأقصى لدينا

عتبة. لذا انتقلنا مباشرة إلى

قم بإنشاء جزء ثم قم بإنشاء جزء

وقد أعطاني هذا الجواب وهو

يفشل نظام الذكاء الاصطناعي للإنتاج عند التعامل مع

مع مستند متعدد النطاقات لأنهم

غالباً ما تحتوي على معلومات متداخلة حول

في مجالات متعددة مثل التمويل

والرعاية الصحية. إذن كانت هذه هي محاولتي الأخيرة

إجابة أعتقد أنها مستخرجة من

إحدى هذه الوثائق. لنرى أيهما

المستند الذي تم استخراجه منه.

أعتقد أنها كانت من هذا النوع تحديدًا

الوثيقة هنا.

هكذا تعمل وكالة مكافحة الفساد. لذلك إذا

كان نظامًا بسيطًا من الخرق حينها

كنا سنقدمها ببساطة

السؤال الذي كان سيطرحه

تم استخراج أفضل ثلاثة أو أفضل أربعة

الوثائق، ثم بناءً على ذلك

كان من الممكن أن يُولّد البرنامج إجابة.

لكننا هنا أدرجنا عدة وكلاء

للتنسيق مرة أخرى، التنسيق مع كل

تحقق من ذلك، ثم تحقق مما إذا كان المستخرج

هل الوثائق ذات صلة أم لا؟ ثم

بناءً على ذلك، قم بتزويدي بشكل أساسي بـ

الإجابة التي أنوي فعلها فعلاً. لذا

كان هذا هو تطبيق الوكيل

خرقة. أتمنى أن يكون المفهوم كذلك

التنفيذ واضح لك.

أعتذر عن الأخطاء. كان ينبغي عليّ

تم تصحيح هذا باعتباره ذا صلة أو

أساسًا

كان بإمكاني أيضًا تحويل هذا إلى

ثم قمتُ بفحصها بهذه الطريقة، حيث تم تحويلها إلى أحرف صغيرة.

بطريقة معينة. على أي حال، لقد رأينا كيف

تعمل هنا وكالة خردة. خلال الفترة الماضية

السنة، استرجاع الجيل المعزز أو

لقد غيّر برنامج Rag تمامًا كيفية عمل الذكاء الاصطناعي الحديث

تعمل الأنظمة. لكن معظم دروس الخرق على

لا يزال الإنترنت يتبع نفس النهج

مبدأ بسيط. قم بتحميل ملف PDF، وتخزينه

تضمين المستندات، واسترجاعها، وإرسالها.

كل شيء للحصول على درجة الماجستير في القانون، وإنشاء

إجابة. وبينما ينجح ذلك في العروض التوضيحية،

ليست هذه هي الطريقة التي تعمل بها أنظمة الذكاء الاصطناعي الإنتاجية

يتم بناؤها بالفعل لأنه بمجرد أن يتم بناء هذه

تدخل الأنظمة إلى العالم الحقيقي، كل شيء

يبدأ بالانكسار. عمليات الاسترجاع

سياق غير ذي صلة. تبدأ الهلوسة

الظهور. يزداد زمن الاستجابة. الوكلاء

افشل بصمت. وفجأة تجد نفسك تعمل

أصبح من المستحيل الآن على نظام الذكاء الاصطناعي

يثق.

أنظمة الذكاء الاصطناعي الحديثة للمؤسسات ليست

لم تعد مجرد خطوط استرجاع بسيطة.

إنها أصبحت ذكية، ووحداتية،

أنظمة قابلة للملاحظة وذاتية التحسين.

أنظمة قادرة على إعادة كتابة الاستعلامات،

تقييم جودة الاسترجاع، حقل إعادة المحاولة

عمليات البحث، وإعادة ترتيب المستندات، والصيانة

الذاكرة، وأداء الشاشة، و

تنسيق ديناميكي معقد

سير العمل.

وهنا يبدأ الرف الوكيل

يتطور إلى ذكاء اصطناعي جاهز للإنتاج

بنيان.

وفي هذا الفيديو، نتجاوز ذلك

دروس تعليمية أساسية. سنشرح بالتفصيل كيف

رف وكلاء حديث من الدرجة الإنتاجية

كيف يتم تصميم الأنظمة فعلياً؟

تعمل طبقات معمارية مختلفة

معًا، وما الذي يفصل بين اتجاهين

عرض توضيحي للذكاء الاصطناعي من شركة ذكاء اصطناعي قابلة للتوسع

نظام.

سنتناول خطوط أنابيب الحقن،

أنظمة الاسترجاع، تنسيق الوكلاء،

الذاكرة، والتقييم، وإمكانية الملاحظة،

بنية الوحدة، والأساس

المبدأ أو الهندسة الأساسية

المبدأ الذي تقوم عليه أنظمة الذكاء الاصطناعي الحديثة.

إذا كنت تفهم الأساسيات بالفعل

من الخرقة ويريد الارتقاء إلى مستوى الذكاء الاصطناعي الحقيقي

هندسة النظم، إذاً هذا الفيديو هو

لك.

لذا قبل أن نبدأ بتصميم الإنتاج

أنظمة التقييم، نحتاج أولاً إلى

أفهم لماذا معظم هندسة الخرق

فشل في الإنتاج

ببساطة لأن غالبية الدروس التعليمية

تحسين محركات البحث على الإنترنت لشيء واحد. الحصول على

عرض توضيحي للعمل بأسرع وقت ممكن

وهذا يخلق وضعاً خطيراً للغاية

وهم. الوهم الذي يمثله الخرقة

مجرد استرجاع بعض المستندات،

ربطها بموجه و

توليد إجابة.

لكن أنظمة الذكاء الاصطناعي في العالم الحقيقي أكثر بكثير

الأمر أكثر تعقيداً من ذلك. تخيل البناء

نظام ذكاء اصطناعي لدعم العملاء في أحد البنوك.

آلاف الوثائق الداخلية والسياسات

متغيرة باستمرار، متعددة

الأقسام، على نطاق واسع متزامن

المستخدمون، متطلبات الامتثال الصارمة،

قيود زمن الاستجابة، وضوابط الوصول،

تسجيل عمليات التدقيق. والآن فجأة أصبح الأمر بسيطًا

قاعدة بيانات متجهة بالإضافة إلى بنى LLM

يبدأ بالانهيار.

أحيانًا تكون نتائج الاسترجاع غير ذات صلة.

قطع. أحيانًا يكون الأهم

لا يتم استرجاع المستندات أبداً.

أحيانًا يكون الحاصل على درجة الماجستير في القانون واثقًا

يتوهم إجابة. وأحياناً

يفشل النظام بصمت دون أن يلاحظه أحد

حتى ملاحظة ذلك. والجزء المخيف هو

تبدو العديد من أنظمة الذكاء الاصطناعي وكأنها

العمل حتى يبدأ المستخدمون بالاعتماد على

في البيئات الحرجة.

ولهذا السبب يُستخدم الذكاء الاصطناعي في الإنتاج

الهندسة مختلفة جوهرياً

من خلال بناء عروض توضيحية للذكاء الاصطناعي. قيد الإنتاج

الأنظمة، نحن بحاجة إلى الموثوقية، نحن بحاجة

قابلية الملاحظة، نحتاج إلى التقييم، نحن

نحتاج إلى قابلية التوسع، ونحتاج إلى نمطية و

والأهم من ذلك كله، أننا نحتاج إلى أنظمة من

بإمكانهم التحسين المستمر لأنفسهم

لأن عملية الاسترجاع في الواقع هي

مشكلة بالغة الصعوبة. مستخدم

قد يكون الاستعلام غامضاً. الاسترجاع

قد تفتقر الأجزاء إلى السياق. التضمينات

قد يفشل الأمر دلاليًا أو قد يفشل المستخدم

لم يطرحوا حتى السؤال الصحيح في

المركز الأول. وهذا هو السبب بالتحديد

أصبحت أنظمة الرفوف الحديثة

تزداد فاعلية.

بدلاً من إجراء الاسترجاع مرة واحدة و

نأمل أن تسير الأمور على ما يرام، الأنظمة الحديثة

يمكن التفكير في عملية الاسترجاع

نفسها. بإمكانهم إعادة صياغة الاستعلامات،

تقييم واسترجاع المستندات، ثم إعادة المحاولة

في حالة فشل عمليات البحث، استخدم حلقات الانعكاس.

وتحديد كيفية الاسترجاع بشكل ديناميكي

ينبغي أن يحدث ذلك.

لذا لم يعد الهدف هو أننا نستطيع استعادة

سواء كانت هناك وثائق أم لا. السؤال الحقيقي الآن

كيف نبني أنظمة الذكاء الاصطناعي التي

يمكنه استعادة الحق بشكل موثوق

معلومات على نطاق واسع؟ وهذا هو المكان الذي

ورقة عمل جاهزة للإنتاج

يبدأ التصميم المعماري.

للإجابة على هذا السؤال، نحتاج إلى

لنغير تفكيرنا تماماً بعيداً عن

خطوط الأنابيب الخطية وابدأ بالتفكير في

من حيث بنية النظام.

لأن في حالة الإنتاج، فإن الخرقة هي

ولا يوجد سير عمل واحد. إنه

مجموعة من الأنظمة المترابطة

العمل معًا. على مستوى عالٍ، أ

نظام الخرق الجاهز للإنتاج عادة ما يكون

مقسمة إلى طبقات متعددة. الأول

هي طبقة الحقن. هذا هو المكان

يتم جمع البيانات الأولية وتنظيفها.

مُجزأة، مُثرية بالبيانات الوصفية و

تم تحويلها إلى تضمينات.

الطبقة الثانية هي طبقة الاسترجاع.

هنا نقوم بالبحث عبر المتجهات

قواعد البيانات، أو فهارس الكلمات الرئيسية، أو الأنظمة الهجينة

أنظمة لجلب السياق ذي الصلة.

لكن في الأنظمة الحقيقية، الاسترجاع وحده هو

غير كافٍ. لذا نقدم إعادة تصنيف

طبقة. تعمل هذه الطبقة على تحسين الطبقة الأولية

النتائج وتحسين الملاءمة باستخدام المزيد

نماذج تسجيل نقاط قوية.

وفوق ذلك لدينا الوكيل

طبقة التنسيق. هذا هو المكان

تبدأ الأمور في أن تصبح ديناميكية بدلاً من

ثابت.

بدلاً من خط أنابيب ثابت واحد، أصبحنا الآن

امتلاك أنظمة صنع القرار التي يمكنها

اختر ما ستفعله بعد ذلك. هل ينبغي لنا

هل يجب إعادة كتابة الاستعلام؟ هل يجب علينا الاستعادة؟

مرة أخرى؟ هل ينبغي لنا استخدام بحث مختلف؟

استراتيجية؟ أم ينبغي لنا المضي قدماً في

جيل؟

ثم تأتي طبقة التقييم وهذا

هذا ما يضمن أن النظام يعمل بالفعل

يعمل بشكل صحيح لأنه قيد الإنتاج

لا يكفي أن يقوم نظام الذكاء الاصطناعي بـ

يبدو صحيحاً. يجب أن يكون قابلاً للقياس،

قابلة للاختبار والتقييم المستمر.

وأخيرًا لدينا قابلية الملاحظة و

يراقب.

هنا نقوم بتتبع زمن الاستجابة،

إخفاقات، هلوسات، استرجاع

الجودة، وسلوك النظام بمرور الوقت.

وعندما تقوم بتوصيل كل هذه الطبقات

معًا، لم يعد لديكم أمر بسيط

خط أنابيب الرفوف. لديك الآن ذكاء اصطناعي معياري

نظام، نظام يمكن تحسينه

بشكل مستقل في كل مرحلة، نظام

والتي يمكن توسيع نطاقها لتشمل جميع حالات الاستخدام، و

نظام قابل للتطور حسب المتطلبات

يتغير.

وهذا هو الفرق الجوهري

بين مستوى البرنامج التعليمي و

قطعة قماش لاستقبال المواد المستخدمة في الإنتاج. في

في القسم التالي، سنقوم بتحليل

المكون الحاسم الأول لهذا

البنية، وخط أنابيب الحقن و

لماذا يلعب دورًا أكبر بكثير من

يدرك معظم الناس ذلك.

فلنبدأ بالحقنة

خط الأنابيب لأن هذا هو المكان الذي توجد فيه معظم الخرق

تنجح الأنظمة أو تفشل بهدوء قبل أن...

حتى أنه يتم طرح استفسار واحد. لذا في

إن حقن أنظمة الإنتاج ليس مجرد

حول تحميل المستندات في متجه

قواعد البيانات.

إنها هندسة بيانات منظمة

عملية.

نبدأ بمصادر البيانات الأولية. هؤلاء

يمكن أن تكون ملفات PDF أو مواقع ويب أو مواد داخلية

قواعد المعرفة، ورسائل البريد الإلكتروني، وتذاكر الدعم

أو حتى مسح المستندات ضوئياً.

لكن البيانات الخام نادراً ما تكون نظيفة أو

جاهز للاسترجاع. إذن، الخطوة الأولى

هي عملية المعالجة المسبقة.

نقوم بإزالة التشويش، وتطبيع التنسيقات،

استخراج المحتوى المنظم والتعامل معه

تناقضات بين الوثائق.

ثم تأتي مرحلة تقسيم البيانات إلى أجزاء. وهذا واحد من

أهم قرارات التصميم في

النظام بأكمله. إذا قمت بتقسيمها أيضًا

عندما تكون صغيراً، تفقد السياق. وإذا كنت

إذا كانت القطعة كبيرة جدًا، يصبح الاسترجاع غير دقيق.

وغير فعال.

لذلك غالباً ما تستخدم أنظمة الإنتاج أنظمة أكثر ذكاءً

استراتيجيات مثل التجميع الدلالي،

التقسيم الهرمي أو الأصل والفرع

تجزئة البيانات للحفاظ على المعنى أثناء

الحفاظ على كفاءة الاسترجاع.

وبعد تقسيم البيانات إلى أجزاء، نقوم بإثرائها.

وهنا يصبح تعريف البيانات الوصفية

مهم للغاية. نرفق

معلومات مثل مصدر المستند،

التسلسل الهرمي للأقسام، والطوابع الزمنية، وإمكانية الوصول

الأذونات وعلامات النطاق.

لأن السياق في الأنظمة الحقيقية ليس

أرسل رسالة نصية فقط. إنها معلومات منظمة.

ثم تأتي مرحلة التضمين.

هنا يتم تحويل كل جزء إلى

تمثيل متجهي كثيف

يلتقط المعنى الدلالي.

لكن حتى هذه الخطوة ليست بالأمر الهين في

حالة الإنتاج.

تتصرف نماذج التضمين المختلفة

يختلف ذلك باختلاف المجال،

اللغة ونوع المستند.

لذلك غالباً ما تقوم المؤسسات بتقييم خيارات متعددة

استراتيجيات التضمين بدلاً من الاعتماد

على نموذج واحد.

وأخيرًا، نقوم بتخزين كل شيء في

نظام الاسترجاع. قد يكون هذا متجهًا

قاعدة بيانات، أو محرك بحث هجين، أو

حتى طبقة بحث موزعة

حسب متطلبات المهارة.

في نهاية هذه السلسلة، لا

احتفظ فقط بالمستندات المخزنة. لدينا

نظام معرفي منظم وقابل للبحث

مصمم للاسترجاع الذكي.

وهذا أمر مهم أن نفهمه

لأنه إذا كان الحقن ضعيفًا، فلن يكون هناك أي تأثير.

من التحفيز أو إعادة الترتيب أو المنطق الفاعل

يمكن إصلاح النظام لاحقاً.

في القسم التالي، سننتقل إلى

طبقة الاسترجاع حيث نبدأ

في الواقع، استحضر هذا وفكر فيه.

معلومات وأماكن معظم أنظمة الرفوف

بدأوا في إظهار أول إنجازاتهم الرئيسية

القيود.

والآن بعد أن أصبحت بياناتنا جاهزة بشكل صحيح

بعد استيعابها وهيكلتها، ننتقل إلى

طبقة الاسترجاع حيث توجد معظم الرفوف

تبدأ الأنظمة في الشعور بأنها مثيرة للإعجاب

أو غير موثوق بها تمامًا.

للوهلة الأولى، تبدو عملية الاسترجاع بسيطة.

تأخذ استعلام المستخدم، وتحوله إلى

تضمين، ابحث عن المتجه

قاعدة البيانات، وإرجاع المفتاح الأعلى

نتائج.

لكن في أنظمة الإنتاج، هذه الخطوة هي

أحد أكثر الأجزاء عرضة للفشل

الهندسة المعمارية بأكملها

لأن التشابه الدلالي ليس

نفس معنى الصلة. قد يكون الاستفسار

استرجاع المستندات التي تم الحصول عليها في المناطق الاستوائية

متشابهة ولكنها خاطئة تماماً في السياق

أو الأسوأ من ذلك، قد يفوت ذلك الشيء الحاسم.

المستند الذي يحتوي بالفعل على

إجابة.

وهنا يأتي دور العازب التقليدي

يبدأ البحث عن متجه المرحلة في التعطل

تحت. لذا تتطور أنظمة الإنتاج

طبقة الاسترجاع في مرحلة متعددة

عملية.

المرحلة الأولى هي الاسترجاع الأولي.

هنا نقوم غالبًا بدمج عدة عناصر

استراتيجيات.

البحث عن متجه التوتر للدلالة

فهم البحث عن الكلمات الرئيسية المتناثرة

للحصول على نتائج مطابقة تمامًا.

يُعرف هذا أيضًا باسم الاسترجاع الهجين

وهو يحسن الذاكرة بشكل ملحوظ.

لكن حتى بعد البحث الهجين، ما زلنا

لم ينته الأمر بعد، لأن ما نستعيده

في هذه المرحلة، هو مجرد مرشح مبدئي

تعيين.

لذا نقدم مرحلة ثانية وهي

إعادة الترتيب.

بدلاً من الوثوق بقاعدة بيانات المتجهات

نقوم بترتيب النتائج مباشرةً، ثم نمرر عملية الاسترجاع.

الوثائق من خلال تسجيل أكثر دقة

نموذج.

يُقيّم هذا النموذج مدى الصلة بشكل أكبر

بعناية، وغالبًا باستخدام أجهزة التشفير المتقاطعة

أو نماذج تصنيف متخصصة. الهدف

الأمر بسيط هنا. خذ مرشحًا صاخبًا

قم بتحديدها وتحسينها لتصبح ذات صلة عالية

سياق.

هذا النهج ذو المرحلتين، الاسترجاع

ما يجعل إعادة الترتيب متبوعة بذلك

نظام الإنتاج أكثر بكثير

أكثر موثوقية من عروض الراغ الأساسية.

لكن حتى هذا لا يكفي في كثير من الأحيان

حالات لأن استفسارات المستخدم غالباً ما تكون

غامض، أو غير مكتمل، أو رديء الصياغة.

وهنا نبدأ في تقديم

السلوك الفاعل للاسترجاع نفسه.

لذا بدلاً من التعامل مع الاسترجاع على أنه

خطوة ثابتة، نسمح للنظام بـ

فكر في الأمر. هل ينبغي أن يكون الاستفسار

هل أعيدت كتابتها؟ هل يجب علينا استرجاعها مرة أخرى مع

تركيبة مختلفة؟ أم ينبغي لنا

توسيع نطاق البحث أم تضييقه؟ و

هنا يصبح الاسترجاع ديناميكيًا

بدلاً من أن تكون ثابتة. وبمجرد الاسترجاع

يصبح ديناميكيًا، لم نعد كذلك.

بناء خط أنابيب بسيط. نحن

بناء نظام ذكي

يشارك بنشاط في البحث

عملية.

سنتناول في القسم التالي موضوعًا آخر.

كيف تعمل سير العمل الوكيلة بالضبط في الأعلى

من طبقة الاسترجاع هذه وكيفية عملها

تحويل النظام الثابت إلى نظام ذاتي التحسين

حلقة. بمجرد أن يصبح الاسترجاع متعدد المراحل

وبعد إعادة الترتيب، التالي

يحدث تحول كبير على مستوى النظام.

نقدم هنا سير العمل الوكيل و

هنا يتوقف الرف عن التصرف كـ

خط الأنابيب ويبدأ في التصرف مثل

نظام اتخاذ القرار. في تقليد

الإعداد، التدفق ثابت. يسأل المستخدم

سؤال، يقوم النظام باسترجاع المستندات،

يُنتج برنامج LLM إجابة. لكن في

أنظمة رفوف وكلاء الإنتاج ذات الجودة العالية،

لم يعد شيء يسير بخط مستقيم تماماً.

بدلاً من ذلك، نقوم بإدخال حلقات التحكم. ال

أصبح النظام الآن قادراً على تقييم نفسه

نتيجة الاسترجاع قبل إنشاء

الرد النهائي. إذا كان السياق المسترجع

إذا كان ضعيفًا، فيمكنه تحديد المشكلة وإعادة المحاولة. لو

الاستعلام غير واضح، ويمكن إعادة صياغته.

وإذا كانت مساحة البحث ضيقة للغاية،

يمكنه توسيعه. وإذا كانت النتائج

قد يؤدي عدم الاتساق إلى حدوث

خطوة تأملية لتحسين التفكير المنطقي

قبل المضي قدماً.

هذه هي الفكرة الأساسية وراء الفاعلية

استرجاع. لم يعد النظام الآن

مجرد تنفيذ الخطوات. إنه اختيار

خطوات. أطر عمل مثل لانغراف تجعل

هذا ممكن من خلال تمثيل النظام

كرسم بياني للعقد والانتقالات

بدلاً من خط أنابيب مستقيم.

لكل عقدة مسؤولية محددة

إعادة كتابة الاستعلام، واسترجاعه، وتقييمه،

إعادة الترتيب أو التوليد.

والحواف بين هذه العقد هي

بمعنى مشروط، يقرر النظام

إلى أين نتجه بعد ذلك بناءً على المستوى المتوسط؟

نتائج. وهذا ما يُقدّم

حلقات في البنية. استرجاع

الحلقات، حلقات التقييم، حلقات إعادة المحاولة.

وهنا يبدأ الأداء

تحدث التحسينات في الأنظمة الحقيقية

لأنه بدلاً من قبول الأول

يقوم النظام باستعادة النتيجة بشكل فعال

يحسّن مدخلاته الخاصة قبل

جاري الرد.

وهذا يزيد الدقة بشكل كبير،

وخاصة في بيئات المؤسسات

حيث تكون الاستفسارات معقدة وغامضة.

لكن الأهم من ذلك، أنه يقدم

إمكانية التحكم.

لم تعد تأمل في النموذج

يتصرف بشكل صحيح في تمريرة واحدة. أنت

تصميم نظام يفرض

الصحة من خلال البنية. ومرة واحدة

نقدم هذه الحلقات الفاعلة، نحن

نحتاج أيضًا إلى تقديم شيء ما حقًا

إدارة الذاكرة والحالة أمر بالغ الأهمية.

لأنه بمجرد أن يبدأ النظام في التكرار و

عند اتخاذ القرارات، يجب أن يتذكر ما هو

لقد حاول بالفعل. لذا في التالي

سنتناول في هذا القسم كيفية عمل الذاكرة

يحوّل أنظمة الرفوف الخاصة بالوكلاء من

خطوط أنابيب عديمة الحالة إلى خطوط أنابيب مستمرة

أنظمة الاستخبارات. بمجرد أن

إدخال الحلقات، وإعادة المحاولات، واتخاذ القرار

إدخالها في النظام، مشكلة واحدة

يصبح الأمر لا مفر منه. إدارة الدولة

لأن الوكيل لا يستطيع التذكر

ما فعلته بالفعل هو في الأساس

أعمى.

في رف وكلاء من الدرجة الإنتاجية

في الأنظمة، لا تُعد الذاكرة مجرد ميزة.

إنه شرط هيكلي. بإمكاننا

فكّر في الذاكرة بثلاث طرق مختلفة

طبقات. أولها الذاكرة قصيرة المدى.

ويشمل ذلك السياق المباشر لـ

التفاعل الحالي، والاستعلام،

نتائج الاسترجاع الوسيطة،

إعادة صياغة الاستعلامات، والتقييم

تعليق.

يسمح ذلك للنظام بالحفاظ على

الاستمرارية ضمن منطق واحد

دورة.

أما الثاني فهو جلسة أو محادثة

ذاكرة.

هذا هو المكان الذي يتذكره النظام

تفاعلات المستخدم السابقة داخل

نفس الجلسة.

يساعد ذلك في الحفاظ على السياق عبر مختلف الأقسام

عدة دورات. لذا فإن النظام لا

تعامل مع كل استعلام على أنه معزول.

والثالث هو طويل الأمد أو دلالي

ذاكرة.

هنا تبدأ الأنظمة في التصرف

بل أشبه بالمساعدين الأذكياء

أفضل من خطوط الأنابيب عديمة الحالة.

بإمكانها تخزين معلومات مهمة،

تعرّف على تفضيلاتك أو قم بالوصول إليها بشكل متكرر

أنماط المعرفة للاستخدام المستقبلي. لكن

الذاكرة وحدها لا تكفي. نحتاج أيضًا

تتبع الحالة لأنه في الفاعلية

كل خطوة في الأنظمة مهمة. هل فعلنا

هل جربت بالفعل إعادة كتابة الاستعلام؟ فعل

هل نجحت عملية الاسترجاع أم فشلت؟ كان

تم تطبيق التقييم أو تم إجراؤه

ناجح أم راسب؟ بدون دولة منظمة،

تصبح هذه الأنظمة بسرعة

غير متوقع ويصعب تصحيح أخطائه. و

لهذا السبب توجد ميزات مثل أو أطر العمل

مثل تقنية لانغراف، فهي قوية للغاية. هم

اسمح لنا بتحديد الحالة بشكل صريح

الكائنات التي تنتقل عبر كل عقدة في

سير العمل.

بدلاً من فقدان المعلومات بين

نواصل هذه الخطوات في...

بطريقة منظمة ومضبوطة.

وهذا يحوّل النظام من

تحويل الصندوق الأسود إلى تنفيذ قابل للتتبع

رسم بياني. وتُعد إمكانية التتبع هذه أمرًا بالغ الأهمية.

في بيئات الإنتاج لأنه عندما

إذا حدث خطأ ما، فنحن بحاجة إلى معرفة ذلك.

أين ولماذا فشل بالضبط. لا

كانت الإجابة النهائية هي

غير صحيح. بمجرد أن تصبح الذاكرة والحالة

إذا تم تناولها أو دمجها بشكل صحيح،

يصبح النظام أكثر استقرارًا بشكل ملحوظ

وذكي.

لكن لا تزال هناك قطعة واحدة مفقودة. نحن

ما زلت لا أعرف ما إذا كان النظام

في الواقع، كان أداؤه جيداً. وفي

يبدو أن الإنتاج لا ينجح أبداً

كافٍ. نحن بحاجة إلى القياس، نحن بحاجة

التقييم، ونحن بحاجة إلى إمكانية الملاحظة،

وهذا بالضبط ما سنستكشفه في

القسم التالي.

وهكذا نكون قد أنشأنا نظامًا في هذه المرحلة

التي يمكنها استيعاب البيانات واسترجاعها

معلومات، وإعادة ترتيب النتائج، وحتى

اتخاذ القرارات من خلال حلقات فاعلة مع

الذاكرة والحالة. لكن لا يزال هناك

فجوة حرجة. ما زلنا لا نعرف ما إذا كان

النظام يعمل بالفعل

بشكل صحيح.

وفي بيئة الإنتاج، هذا هو

مشكلة خطيرة

لأن أنظمة الرفوف يمكن أن تبدو

تعمل بشكل مثالي في الاختبار ولكن بصمت

فشل في الواقع العملي.

قد يسترجع معلومات غير ذات صلة إلى حد ما

سياق. قد ينتج عنه جزئيا

إجابات خاطئة أو قد ينحرف إلى الداخل

الجودة تتغير مع مرور الوقت.

لهذا السبب التقييم والملاحظة

ليست مكونات اختيارية. هم

الطبقات المعمارية الأساسية. تقييم

يجيب على سؤال بسيط ولكنه قوي.

هل ينتج النظام بيانات صحيحة؟

مخرجات مؤرضة؟

في أنظمة رفوف الشبكة الإنتاجية، نحن

تقييم أبعاد متعددة.

نقيس مدى صلة المعلومات المسترجعة

السياق هو. نقيس مدى إخلاص

الإجابة النهائية تتعلق بهذا السياق. نحن

قياس ما إذا كانت الإجابة بالفعل

يجيب على استفسار المستخدم. وكثيرا ما

تتبع معدلات الهلوسة كعامل رئيسي

متري.

أطر عمل مثل Ragas أو BPAL أو Langsmith

يُمكّننا التقييم من أتمتة هذه العملية.

العملية بحيث يتم تطبيق كل تغيير فيها

يمكن اختبار النظام بشكل منهجي.

لكن التقييم وحده لا يكفي. نحن

كما يحتاج الأمر إلى إمكانية المراقبة

لأن التقييم يخبرنا بما هو

خطأ. تُخبرنا إمكانية الملاحظة لماذا هو كذلك

خطأ. وبفضل إمكانية المراقبة المناسبة، نحن

يمكن تتبع كل خطوة من خطوات النظام

تنفيذ. يمكننا رؤية الأصل

استفسار. يمكننا فحص الاستعلامات المعاد كتابتها.

يمكننا فحص واسترجاع المستندات. نحن

يمكن الاطلاع على نتائج إعادة الترتيب. بإمكاننا

انظر أي عقدة في مخطط الوكلاء قامت بـ

قرار. ويمكننا قياس زمن الاستجابة و

استخدام الرموز في كل مرحلة.

هذا المستوى من الوضوح هو ما يميز

أنظمة الذكاء الاصطناعي التجريبية، الذكاء الاصطناعي الإنتاجي

الأنظمة.

بدون ذلك، يصبح تصحيح الأخطاء مجرد تخمين.

بفضلها، يصبح كل فشل فرصة

إشارة هندسية. وهذا هو المكان الذي

أدوات مثل لانغميث، ولانغفيوز، و

أصبحت فينيكس ذات أهمية بالغة. هم

اسمح لنا بتحويل سير عمل ماجستير القانون إلى صندوق أسود

في أنظمة تنفيذ قابلة للتتبع بالكامل.

بمجرد أن يصبح التقييم والملاحظة في

المكان، لم نعد نبني

خطوط أنابيب تجريبية. نحن نبني

قابل للقياس، قابل للتصحيح، مناسب للإنتاج

أنظمة الذكاء الاصطناعي. والآن بعد أن أصبح لدينا كل شيء

بعد وضع هذه الطبقات في مكانها، تأتي الخطوة الأخيرة وهي

لجمع كل شيء معًا في

بنية معيارية قابلة للتوسع،

يتطور، ويتم الحفاظ عليه بواسطة حقيقي

فرق الهندسة، وهذا بالضبط ما

سنتناول الموضوع التالي.

والآن بعد أن تناولنا موضوع الحقن،

الاسترجاع، سير العمل الآلي، الذاكرة،

التقييم، وقابلية الملاحظة، التالي

السؤال هو كيف يحدث كل هذا في الواقع

يتحدون في نظام حقيقي يمكنه

حجم.

لأن في الإنتاج، الأكبر

لا يكمن التحدي في بناء واحد

ميزة. إنها تحافظ على نظام

يستمر في التطور دون أن يتعطل.

وهنا تكمن أهمية الهندسة المعمارية المعيارية

يصبح أمراً ضرورياً.

بدلاً من بناء واحد مترابط بإحكام

نظام الرفوف أو خط أنابيب الرفوف، الإنتاج

تُبنى الأنظمة كوحدات مستقلة

التي يمكن تطويرها واختبارها و

تمت الترقية بشكل منفصل.

في جوهر الأمر، عادةً ما يكون لديك أقسام منفصلة

مكونات للحقن والاستخراج،

إعادة الترتيب، والتقييم، والذاكرة، و

التنسيق الموسيقي.

ينبغي أن يكون كل مكون من هذه المكونات

معزولة بما يكفي بحيث يؤدي تحسينها إلى

لا تكسر الآخرين.

على سبيل المثال، يجب أن تكون قادراً على

قم بتغيير نموذج التضمين الخاص بك بدون

إعادة كتابة منطق الاسترجاع أو التبديل

نموذج إعادة الترتيب الخاص بك دون تغيير

خط أنابيب الحقن. وهذا

إن فصل الاهتمامات هو ما يجعل

أنظمة الذكاء الاصطناعي واسعة النطاق قابلة للصيانة. في

فرق هندسية حقيقية، كل وحدة هي

غالباً ما يتم التعامل معها كخدمة. له

تكوين خاص، واختبار خاص به

خط الأنابيب، وأحيانًا حتى خط الأنابيب الخاص به

دورة حياة النشر، وهكذا يتم تطبيق الذكاء الاصطناعي

تنتقل الأنظمة من مرحلة النموذج الأولي إلى

بنية شبكة الإنتاج. آخر

الجانب الرئيسي للتصميم المعياري هو

التنسيق الموسيقي.

بدلاً من تضمين المنطق بشكل ثابت في ملف واحد

تتيح لنا البرامج النصية والأنظمة مثل لانغراف

لتحديد سير العمل كرسوم بيانية صريحة.

تمثل كل عقدة وحدة نمطية و

تحدد الحواف كيفية تدفق المعلومات

بينهما. هذا يجعل النظام غير

ليس فقط معياريًا ولكن أيضًا بصريًا

مفهومة وقابلة للتصحيح.

وعندما يفشل شيء ما، لسنا بحاجة إلى

لتخمين مكان المشكلة. بإمكاننا

يمكن تتبع ذلك إلى نموذج محدد في

رسم بياني. وأخيرًا، الهندسة المعمارية المعيارية

كما يتيح قابلية التوسع

لأنه عندما يزداد الطلب، يمكنك

مصادر الاسترجاع ذات الحجم المستقل أو

خدمات التقييم دون توسيع نطاقها

النظام بأكمله. وهكذا

لا تُبنى أنظمة الذكاء الاصطناعي للمؤسسات على أساس

خط أنابيب متجانس ولكن كخط أنابيب معياري و

مكونات تتطور بشكل مستقل.

وبمجرد أن تفهم هذا الهيكل،

تتوقف عن التفكير في قطعة القماش كـ

تقنية، وتبدأ في رؤيتها على أنها

نظام برمجي متكامل. في النهائي

سنتناول في هذا الجزء من الفيديو كيفية التواصل.

كل شيء معًا وفهم ما هو

في الواقع، يقوم نظام إنتاج الخرق

جاهزون في العالم الحقيقي وكيف

يفكر فريق المؤسسة في نشر

هذه الأنظمة على نطاق واسع.

لذا فقد انهارنا عند هذه النقطة

كل مكون رئيسي من مكونات الإنتاج

نظام رفوف عامل الجودة من الحقن

إلى الاسترجاع من التنسيق الفاعل

إلى الذاكرة ومن التقييم إلى

إمكانية المراقبة والتصميم المعياري. الآن

السؤال الأخير بسيط، لكن

مهم. ما الذي يجعل الرفّ رفًا فعليًا؟

هل النظام جاهز للإنتاج؟ لأنه كذلك

ليس أي مكون منفرد. هذا هو السبيل

تعمل جميع هذه المكونات معًا تحت

قيود العالم الحقيقي.

في بيئات الإنتاج، تكون الأنظمة

لا يتم الحكم عليها بناءً على ما إذا كانت فعالة أم لا. هم

يتم الحكم عليهم بناءً على مدى موثوقيتهم،

قابل للتطوير، وقابل للصيانة بمرور الوقت.

يجب أن يكون نظام الرفوف الجاهز للإنتاج جاهزًا للإنتاج

التعامل مع حركة مرور حقيقية، وليس مجرد اختبار.

استفسارات. يجب أن يتدهور بشكل لائق عندما

فشل الاسترجاع، وليس تعطل النظام أو

تخيل نفسك في صمت.

يجب أن يكون قابلاً للملاحظة حتى يتمكن المهندسون من

فهم جميع الخيارات التي يقدمها النظام

صنع. يجب أن يكون قابلاً للتقييم.

يمكن قياس التحسينات بموضوعية

بدلاً من الافتراض.

ويجب أن يكون معياريًا بحيث

يمكن للمكونات الفردية أن تتطور دون

تدمير النظام بأكمله.

وهذا ما يميز التجريبي

عروض توضيحية للذكاء الاصطناعي من مسارات الذكاء الاصطناعي المؤسسية.

في العرض التوضيحي، يكفي أن يكون العرض صحيحاً. لكن في

الإنتاج، والاتساق هما كل شيء.

وفي نظام العالم الحقيقي، لا يُعتبر الفشل فشلاً.

نادر. هذا متوقع. لذا يجب على النظام

صُممت مع مراعاة احتمالية الفشل.

البداية. ولهذا السبب الذكاء الاصطناعي الحديث

تبدو الهندسة أقل شبهاً بالسرعة المطلوبة

الهندسة وغيرها من الأمور المشابهة للتوزيع

تصميم النظام. لأنك على نطاق واسع، فأنت

لم يعد الأمر يقتصر على العمل باللغة فقط

نماذج. أنت تعمل مع خطوط الأنابيب،

الخدمات، والرسوم البيانية، وأنظمة التقييم و

جميع طبقات المراقبة تعمل معًا

كنظام متماسك واحد. وعندما كل

هذا يتكامل بشكل صحيح، شيء ما

تحدث أمور مؤثرة. تتوقف قطعة القماش عن الوجود

مجرد أسلوب استرجاع. يصبح

بنية نظام ذكي متكامل. أ

نظام قادر على التعلم والتكيف والتحسين

ويمكن تطبيقها على نطاق واسع في حالات الاستخدام الواقعية.

وهذا هو التحول الحقيقي الذي يحدث في

الذكاء الاصطناعي الآن. ليس فقط تحسينات في التوجيهات

لكن أنظمة أفضل. في الفيديو التالي،

سنأخذ أحد أهم الأمور

أجزاء مفقودة من هذا التصميم المعماري

إعادة التقييم والتعمق في كيفية حدوث ذلك

يؤدي ذلك بالفعل إلى تحسين جودة الاسترجاع في

أنظمة إنتاج حقيقية.

وبهذا نصل إلى نهاية هذا الموضوع

فيديو. إذا وصلت إلى هنا، فأنت الآن

فهم شيء ما في معظم دروس الذكاء الاصطناعي

لا تشرح أبداً. جودة إنتاج حقيقية

أنظمة الخرق الوكيلية هي في الواقع

تم تصميمها وهيكلتها عملياً. نحن

بدأ الأمر من قيود الأساسيات

تم تركيب خطوط الأنابيب على الرفوف، ثم تم بناؤها تدريجياً.

بما في ذلك حقن البنية الكاملة،

الاسترجاع، إعادة الترتيب، سير العمل الآلي،

الذاكرة، والتقييم، وإمكانية الملاحظة، و

تصميم النظام المعياري. والمزيد

الأهم من ذلك، أن لديك الآن مستوى النظام

عقلية التفكير في الذكاء الاصطناعي

التطبيقات ليست كما هو مطلوب و

الاستجابات ولكن كأنظمة هندسية. نحن

تم استكشاف كيفية جاهزية الوكالة للإنتاج

يتم بناء أنظمة الرفوف. تحدثنا عن

خطوط أنابيب الحقن، وأنظمة الاسترجاع،

سير العمل الوكيل، والتقييم،

قابلية الملاحظة، والاختلاف

الطبقات المعمارية التي تجعل الحداثة

نظام الذكاء الاصطناعي موثوق به في الإنتاج. لكن

كان هناك عنصر واحد فقط

تم التطرق بإيجاز إلى أحد المكونات التي

غالباً ما يحدد ذلك ما إذا كان نظام الذكاء الاصطناعي الخاص بك

يقدم إجابة ممتازة أو

خيار خاطئ تماماً. وذلك المكون

يتم إعادة ترتيبها. لأن هذا هو

الواقع. معظم أنظمة الرفوف لا تتعطل

لأن برنامج الماجستير في القانون سيئ. إنهم يفشلون

لأن برنامج الماجستير في القانون يتلقى سياقاً سيئاً.

تخيل أن تسأل سؤالاً صحيحاً تماماً

سؤال. الجواب موجود في داخلك

قاعدة المعرفة. بل إن الكلب المسترجع يجد

الوثيقة الصحيحة، ولكن بدلاً من

بينما يصنفها في المرتبة الأولى، فإنها تحتل المرتبة السابعة.

لن يرى برنامج الماجستير في القانون ذلك أبدًا، والنتيجة النهائية

تصبح الإجابة غير مكتملة أو مضللة أو

خطأ تماماً. هذا واحد من

أكبر مشكلة خفية في عملية الاسترجاع

الجيل المعزز، والمثير للدهشة

كثير من المطورين لا يدركون حتى أنه

يحدث. يقضون أسابيع في التحسين

التوجيهات، وتغيير النماذج، والتعديلات

system instructions when the real issue

هل استرجاع البيانات أعاد القيمة الخاطئة؟

السياق في المقام الأول. هذا هو

لماذا بالضبط رفوف الإنتاج الحديثة

نادراً ما تعتمد الأنظمة على البحث المتجهي

وحيد. بدلاً من ذلك، يقدمون خياراً ثانياً

طبقة تسمى إعادة التقييم. طبقة

مصمم خصيصًا للفصل

الوثائق ذات الصلة من مصادر مماثلة فقط

وثائق. وهذا أكثر بكثير

الأمر أهم مما يبدو. في هذا الفيديو،

سنفهم لماذا البحث المتجهي وحده

هذا غير كافٍ. سنستكشف

قيود الاسترجاع الكثيف، الدلالي

التشابه، وأفضل عمليات البحث. سنفعل ذلك بعد ذلك

تعمق في كيفية عمل إعادة الترتيب

داخليًا، كيف تتحسن أجهزة التشفير المتقاطعة

جودة الاسترجاع، ومدى شعبيتها

حلول مثل coher rank و bg reanker

يُستخدم كل من Gina AI Ranker و Gina AI Ranker في الذكاء الاصطناعي الحديث

الأنظمة. سنقوم أيضًا ببناء نموذج عملي

انظر إلى مسار الاسترجاع وإعادة الترتيب

كيف تتناسب إعادة الترتيب مع الوكالة الأوسع

هندسة معمارية راغ. بنهاية هذا

ستفهم من خلال الفيديو أحد الأمور التالية

أهم التحسينات التي يمكنك إجراؤها على

أي نظام خرق لأن غالباً ما يكون

الفرق بين نظام ذكاء اصطناعي متوسط

والنموذج الرائع ليس هو النموذج بحد ذاته، بل هو

في الواقع السياق. قبل أن

فهم كيف تُسهم إعادة الترتيب في حل المشكلة

المشكلة، نحتاج أولاً إلى فهم السبب

غالباً ما تفشل عملية البحث عن المتجهات.

وقد يبدو هذا مفاجئاً في البداية

لأن البحث المتجهي مذهل للغاية

قوي. في الواقع، كان أحد

الاختراقات التي صنعت الرفوف الحديثة

الأنظمة الممكنة. يُتيح لنا ذلك البحث

يعتمد على المعنى وليس على المعنى الحرفي

الكلمات المفتاحية. بدلاً من البحث عن التطابق التام

مطابقة الكلمات، البحث في قواعد بيانات المتجهات

للسياق المتشابه دلاليًا. و

وهنا تكمن المشكلة الأولى بالضبط

يبدأ ذلك لأن التشابه الدلالي هو

ليس هو نفسه الملاءمة. دعني

يشرح. تخيل أن المستخدم يسأل ما هي

متطلبات الأهلية للحصول على القرض لـ

العملاء العاملون لحسابهم الخاص؟ متجه

يمكن لقاعدة البيانات استرجاع المستندات

فيما يتعلق بطلبات القروض والأعمال التجارية

التمويل، حساب فوائد القروض أو

التحقق من العمل الحر. جميع

هذه الوثائق مترابطة دلالياً

للاستفسار، ولكن واحد منهم فقط

تتضمن في الواقع معايير الأهلية

المتطلبات التي يبحث عنها المستخدم.

يقوم الكلب المسترد بما يفعله بالضبط

صُممت للقيام بذلك. إنها تجد

محتوى مشابه، لكن التشابه لا يعني بالضرورة وجود محتوى مشابه.

ضمان أن يكون المحتوى هو الأكثر

إجابة مفيدة. هذه الظاهرة غالباً ما تكون

يُطلق عليه اسم الانجراف الدلالي. الاسترجاع

يتجه تدريجياً نحو الوثائق التي

المواضيع ذات صلة ولكن ليس بشكل مباشر

مناسب.

ومع ازدياد حجم قواعد المعرفة، فإن هذا

أصبحت هذه المشكلة شائعة بشكل متزايد.

يتمثل التحدي الآخر في التضمين

القيود. عمليات التضمين رائعة،

لكنها لا تزال مضغوطة

تمثيلات اللغة. لا يستطيعون

التقاط كل الفروق الدقيقة بشكل مثالي، كل

العلاقة، وكل مجال خاص

التفاصيل. اختلاف بسيط في الصياغة

قد يؤدي ذلك أحياناً إلى نتائج مفاجئة

نتائج استرجاع مختلفة. هذا

يصبح ذلك ملحوظًا بشكل خاص في

مجالات متخصصة مثل الخدمات المصرفية،

الرعاية الصحية، أو الأنظمة القانونية، أو التقنية

الوثائق

بسبب المصطلحات الخاصة بالمجال

غالباً ما تحمل معنى عام

تواجه نماذج التضمين صعوبة في تحقيق أهدافها بالكامل

يفهم. ثم نواجه آخر

المشكلة التي تتمثل في تجزئة السياق.

لا يتم تخزين العديد من الإجابات بشكل منظم.

داخل كتلة واحدة. المعلومات

قد يتم توزيعها على عدة

أقسام من وثيقة. قطعة واحدة

يحتوي على المتطلبات، وآخر

يحتوي على استثناءات، وثالث

يحتوي على قيود مهمة. ال

قد لا يعثر كلب الصيد إلا على جزء من

الإجابة، مما يخلق سياقًا غير مكتمل لـ

ماجستير القانون. وأخيرًا، لدينا المشهور

المشكلة الرئيسية. عند إجراء عملية الاسترجاع،

نطلب عادةً أفضل خمسة، أفضل

10 أو أفضل 20 وثيقة. لكن كيف لنا ذلك؟

هل تعرف أي قيمة صحيحة؟ إذا كنا

إذا استرجعنا عددًا كبيرًا جدًا من المستندات، فإننا نزيد

الضوضاء وقد نشتت انتباه اللغة

نموذج. أما إذا استرجعنا عددًا قليلًا جدًا

قد نغفل عن وثائق مهمة.

معلومة. لا يوجد شيء عالمي

رقم مناسب لجميع حالات الاستخدام.

وهذا يخلق مفاضلة صعبة

بين الاستدعاء والدقة. لذلك عندما

يقول المطورون إن نظام الرفوف الخاص بي قد تم استرجاعه

في كثير من الأحيان، لا تكمن المشكلة في سوء السياق.

فشلت عملية الاسترجاع تماماً. المشكلة

إن عملية الاسترجاع أنتجت مجموعة من

وثائق المرشح التي تحتوي على كليهما

نتائج جيدة ونتائج سيئة. وهذا مفتاح

بصيرة. وظيفة كلب الصيد ليست

ليس بالضرورة إيجاد إجابة مثالية.

تتمثل مهمتها في إيجاد مجموعة من المحتملين

المرشحون المناسبون.

يكمن التحدي الحقيقي في تحديد أيهما

من بين تلك الوثائق أو المرشحين يستحقون

للوصول إلى درجة الماجستير في القانون. وهذا بالضبط

وهنا يأتي دور إعادة الترتيب.

الآن وقد فهمنا القيود

فيما يتعلق بالبحث المتجهي، دعونا نلقي نظرة على كيفية

أنظمة الإنتاج الحديثة تحل هذه المشكلة

المشكلة والحل مفاجئان

رائع. بدلاً من سؤال الكلب المسترجع

للعثور على المستندات المثالية، نسمح

لكي نركز على شيء أسهل بكثير،

إيجاد مجموعة واسعة من المحتمل

المرشحون المناسبون.

ثم نقدم مرحلة ثانية

المسؤولية الوحيدة هي تصنيف هؤلاء.

تحديد المرشحين بدقة أكبر. هذا يعطي

ما يُعرف بالاسترجاع على مرحلتين

خط الأنابيب. في نظام الرفوف التقليدي،

تبدو آلية العمل كالتالي.

يقوم المستخدم بإرسال استعلام. كلب الصيد

يبحث في قاعدة بيانات المتجهات. ال

يتم إرسال المستندات المسترجعة مباشرة إلى

ماجستير القانون وأي سياق آخر يحدث فيه

يصبح استرجاعها أساسًا لـ

الإجابة النهائية. لكن في الإنتاج

في النظام، يوجد عادةً نظام إضافي

خطوة في المنتصف. يصبح سير العمل

استعلام، استرجاع، مستندات مرشحة،

ريانكر، أفضل الوثائق، وبرنامج الماجستير في القانون. في

للوهلة الأولى، قد يبدو هذا صغيراً

تغيير معماري، لكنه يمتلك

تأثير هائل على جودة الاسترجاع.

لأن كل مكون الآن لديه

مسؤولية متخصصة. ال

يركز كلب الصيد على الاستجابة للأوامر. مهمتها هي

للعثور على أكبر عدد ممكن من العناصر ذات الصلة المحتملة

أكبر قدر ممكن من الوثائق. لا نتوقع

لترتيب كل شيء بشكل مثالي. نحن

أردت فقط تجنب تفويت الأمور المهمة

معلومة. ثم يركز المحلل على

دقة. وتتمثل مهمتها في فحص تلك

وثائق المرشح بعناية أكبر و

حدد أيها الأكثر أهمية

ذات صلة بسؤال المستخدم. ال

فصل المسؤوليات هو

مهم للغاية لأن الاسترجاع

والتصنيف مختلفان بشكل جوهري

مشاكل. يتعلق الأمر بالعثور على

مرشحين. أما الأمر الآخر فيتعلق بالاختيار.

الفائزون.

إحدى الطرق المفيدة للتفكير في الأمر هي كالتالي.

ألقى كلب الصيد شبكة واسعة. ال

يختار ريانكر أفضل الأسماك. بدون

إعادة التصنيف، غالباً ما يتلقى LM

مزيج من المعلومات ذات الصلة العالية

وكذلك الضوضاء. مع إعادة الترتيب،

يصبح السياق أوضح وأكثر تركيزاً.

وأكثر فائدة بشكل ملحوظ. وذلك

ويترجم ذلك مباشرة إلى إجابات أفضل.

جودة استرجاع أفضل، أقل

معدلات الهلوسة، ومؤشر أكثر موثوقية

نظام الرفوف بشكل عام. لكن هذا يثير تساؤلاً

سؤال بديهي. كيف يقوم عامل إعادة التدوير

تحديد المستندات التي

الأكثر صلة؟ ما الذي يجعله أكثر ذكاءً؟

أكثر من كلب الصيد؟ وللإجابة على ذلك،

نحتاج إلى النظر في آليات

كيف تتم عملية إعادة الترتيب.

إذن، كيف يعمل جهاز إعادة التصنيف فعلياً؟ لماذا

هل هو قادر في كثير من الأحيان على تحقيق نتائج أفضل؟

قرارات الملاءمة أكثر من كونها متجهًا

قاعدة بيانات؟ لفهم هذا، نحتاج إلى

قارن بين كيفية استرجاع البيانات وإعادة ترتيبها

معالجة المعلومات. عندما يكون كلب الصيد

عند تلقي الاستعلام، يقوم أولاً بتحويل

الاستعلام في متجه تضمين. كل

يحتوي جزء المستند في قاعدة البيانات على

تم تحويلها بالفعل إلى ملكيتها الخاصة

متجه التضمين. ثم الكلب المسترد

يقارن هذه المتجهات باستخدام التشابه

مصفوفة مثل تشابه جيب التمام. ال

المستندات التي تكون متجهاتها الأقرب إلى

يتم تصنيف متجه الاستعلام في مرتبة أعلى. هذا

العملية سريعة للغاية، ولهذا السبب

يمكن البحث في قواعد بيانات المتجهات

ملايين الوثائق في أجزاء من الثانية.

لكن هناك ثمن يجب دفعه. كلب الصيد

لا يقرأ الاستفسار والوثيقة بشكل كامل

معاً. إنها تقارن فقط بينهما

تمثيل متجه مضغوط. و

على الرغم من أن هذا يعمل بشكل جيد للغاية، إلا أنه قد

تفويت العلاقات الدقيقة التي

مهم من أجل الملاءمة. هذا هو المكان

إعادة التصنيف تأخذ منحى مختلفاً تماماً

يقترب. بدلاً من مقارنة المتجهات،

يقوم المُحلل بفحص الاستعلام مباشرةً

وكل وثيقة مرشح على حدة.

لنفترض أن المستخدم يسأل ما هي

شروط الأهلية للحصول على القرض لـ

المستقلون وبعد الاسترجاع نحن

الحصول على أربع وثائق ترشيح.

تتحدث الوثيقة (أ) عن القروض العامة

السياسات. يحتوي المستند ب على معلومات عن العاملين المستقلين

معايير الأهلية. الوثيقة ج

يشرح حسابات سعر الفائدة و

تحدد الوثيقة د التطبيق

إجراءات. قد يصنف كلب الصيد

هذه الوثائق تستند فقط إلى الدلالات

تشابه. لكن برنامج إعادة الترتيب يأخذ كل واحد

وثيقة ويطلب تركيزًا أكبر

سؤال. بالنظر إلى هذا الاستفسار المحدد، كيف

هل الوثيقة المحددة ذات صلة؟ هو - هي

يقوم بتقييم زوج الاستعلام والمستند

مباشرة. ونتيجة لذلك، قد يتم تعيين

درجات لكل من هذه الوثائق. لذا

لاحظ ما حدث هنا. المُعيد

لقد أعاد ترتيب النتائج بشكل فعال.

الوثيقة التي تجيب فعلياً على

يتصدر هذا السؤال قائمة الأسئلة الأكثر تقييماً.

أما الوثائق الأقل فائدة فتنتقل الآن

تحت. ولهذا السبب فإن إعادة الترتيب

غالباً ما يكون أحد أعلى التأثيرات

التحسينات التي يمكنك إجراؤها على الرف

نظام. لا يتطلب الأمر تغييرك

قاعدة بيانات المتجهات. لا يتطلب ذلك

إعادة تدريب تضميناتك و

لا يتطلب الأمر استبدال شهادة الماجستير في القانون. هو - هي

ببساطة، يُحسّن جودة

السياق قبل وصوله إلى النموذج. ل

بالطبع، تأتي الدقة المتزايدة

بتكلفة. على عكس الاسترجاع،

إعادة الترتيب مكلفة حسابيًا.

يجب على النموذج تقييم كل استعلام

كل زوج من المستندات على حدة، مما يعني

لا يمكنه في الواقع تسجيل ملايين النقاط

من الوثائق، وهذا هو السبب تحديداً الذي يجعلك

لماذا نستخدمه بعد الاسترجاع بدلاً من ذلك

بدلاً من الاسترجاع. كلب الصيد

يؤدي ذلك إلى تضييق نطاق البحث بسرعة. ال

ثم يقوم ريانكر بتحليل دقيق

مجموعة مرشحين أصغر. بعبارة أخرى،

الكلب المسترجع سريع بينما الكلب المعاد ترتيبه

هو ذكي، ويشكلان معًا أحد...

الاسترجاع الأكثر فعالية

البنى المستخدمة في الرفوف الحديثة

الأنظمة. لكن ما نوع النماذج التي

هل كان يُستخدم فعلاً لإجراء عملية إعادة الترتيب هذه؟

تقودنا الإجابة إلى أحد أهم

المفاهيم المهمة في عملية الاسترجاع

الأنظمة التي هي عبارة عن مشفرات متقاطعة.

لفهم المشفرات المتقاطعة، نحتاج إلى

لنستعرض بإيجاز كيف تعتمد معظم تقنيات التضمين على

نظام الاسترجاع يعمل. في نموذج نموذجي

نستخدم في إعداد البحث ما يسمى بـ

بنية التشفير الثنائي.

في بنية benccoder، الاستعلام

ويتم معالجة المستند

بشكل منفصل. يتم تحويل الاستعلام إلى

تضمين. كل جزء من المستند هو

كما تم تحويلها بشكل مستقل إلى

تضمين خاص. ثم نقارن هذه

تضمينات باستخدام دالة التشابه.

هذا الفصل هو ما يجعل عملية الاسترجاع

سريع للغاية وقابل للتوسع لأن كل

يمكن حساب تضمينات المستندات مسبقًا و

مخزنة مسبقاً. لكن هذا نفسه

الانفصال هو أيضاً مصدرها

هذا القيد ناتج عن عدم وجود النموذج مطلقًا

يرى الاستعلام والمستند بالفعل

معاً. إنها تقارن فقط بينهما

تمثيل تجريدي. مشفر متقاطع

يعمل بشكل مختلف تماماً. بدلاً من

معالجة الاستعلام والمستند

بشكل منفصل، يقوم بمعالجتها معًا

كمدخل واحد مدمج. على سبيل المثال،

يتلقى النموذج شيئًا كهذا.

استعلام بالإضافة إلى المستند أ، ثم استعلام بالإضافة إلى

المستند ب، ثم الاستعلام بالإضافة إلى المستند ج،

وهكذا دواليك. يتم تقييم كل زوج

بشكل مشترك من قبل النموذج. وهذا يسمح بـ

نموذج لأداء دلالات أعمق بكثير

التفكير المنطقي. يمكنها أن تفهم ليس فقط

ما إذا كانت الوثيقة مشابهة لـ

السؤال، ولكن هل يجيب عليه فعلاً؟

الاستعلام، ولهذا السبب تُستخدم المشفرات المتقاطعة

تُعد بشكل ملحوظ

أكثر دقة للحصول على نتائج ذات صلة. هم

إنهم يقومون أساسًا بأداء دقيق للحبوب

مقارنة بدلاً من دورة تدريبية

البحث عن التشابه.

لكن هذه الدقة لها ثمن.

التشفير Crossen حسابيا

مكلف لأنه لا يمكنك افتراض ذلك

تضمين المستندات مسبقًا. كل

يجب معالجة زوج مستند الاستعلام في

وقت التشغيل مما يجعلها غير مناسبة لـ

الاسترجاع الأولي على نطاق واسع وهذا

هي الفكرة المعمارية الأساسية. بواسطة

تُستخدم أجهزة التشفير للاسترجاع و

تُستخدم المشفرات المتقاطعة لإعادة الترتيب

ويشكلون معاً قوةً هائلة

نظام ثنائي المراحل يوازن بين السرعة و

دقة. والآن بعد أن فهمنا

النموذج الأساسي وراء إعادة التصنيف،

الخطوة التالية هي النظر في كيفية حدوث ذلك

تم تطبيقها في أنظمة العالم الحقيقي و

والأهم من ذلك، ما هي الأدوات و

تُستخدم الخدمات فعليًا في الإنتاج

لجعل هذا الأمر ناجحاً على نطاق واسع.

الآن وقد فهمنا النظرية الكامنة وراء

المشفرات المتقاطعة وسبب نجاح إعادة الترتيب،

السؤال التالي عملي للغاية. كيف

هل نستخدم هذا بالفعل في الواقع؟

نظام الإنتاج؟ لأن في الواقع

تطبيقات الإنتاج، فرق قليلة جداً

تدريب نماذج إعادة الترتيب الخاصة بهم من

يخدش. بدلاً من ذلك، يعتمدون على الأمثلية

خدمات ونماذج إعادة التصنيف الجاهزة

يمكن توصيله مباشرة بـ

مسار الاسترجاع. سنلقي نظرة على

الخيارات الأكثر استخدامًا في

الإنتاج اليوم. أحد أكثر

الحلول الشائعة هي ترتيب متماسك. إنه

واجهة برمجة تطبيقات مستضافة تأخذ استعلامًا وقائمة

من المستندات ويعيد نفس الشيء

الوثائق مرتبة حسب الصلة. إنها

يستخدم على نطاق واسع لأنه بسيط وسريع.

ودقيقة للغاية للأغراض العامة

حالات الاستخدام. خيار قوي آخر هو

عائلة بي جي إي ريانكر. هذه هي

نماذج مفتوحة المصدر يمكن تشغيلها

محليًا أو تم نشره في نظامك الخاص

بنية تحتية. غالباً ما يفضلونها

في البيئات التي تكون فيها خصوصية البيانات

أمر بالغ الأهمية أو حيث ترغب الشركات في الحصول على كامل

التحكم في مكدسهم. ثم لدينا

جينا الذكاء الاصطناعي يسحب.

هذه قوية بشكل خاص لـ

مهمة استرجاع متعددة اللغات و

أصبحت تحظى بشعبية متزايدة على الصعيد العالمي

التطبيقات. جميع هذه الأدوات تتبع

نفس المبدأ الأساسي. هم

خذ استعلامًا ومجموعة مرشحة من

المستندات، ثم يعيدون ترتيبها

قائمة مبنية على الصلة. وهذا يجعلهم

سهل الدمج للغاية

تطبيقات الخرق الحالية. والآن لنبدأ

انظر كيف يعمل خط الإنتاج

يتغير ذلك فعليًا عند إعادة الترتيب

قدَّم. بدلاً من التمرير المباشر

نقوم باستخراج المستندات إلى برنامج الماجستير في القانون، ثم نقوم بإدخالها.

مرحلة الفرز والتصنيف في

بين. ثم يصبح التدفق خاصًا بالمستخدم

أداة استرجاع الاستعلامات التي يمكن أن تكون إما

البحث المتجهي أو البحث الهجين. أعلى K

وثائق المرشحين، أداة إعادة الترتيب

نموذج التشفير المتقاطع أو نموذج واجهة برمجة التطبيقات، الطرف العلوي

وثيقة منقحة، ثم ماجستير القانون لـ

توليد الاستجابة النهائية. في معظم

نظام الإنتاج، K هو عن قصد

يتم الحفاظ على مستويات عالية غالبًا ما تتراوح بين 20 و 50

مرشحين. ثم ينخفض ​​مستوى إعادة التدوير

هذا يتقلص إلى حجم أصغر بكثير وأكثر

مجموعة دقيقة تتكون عادةً من 3 إلى 10 مستندات.

هذا يحسن الجودة بشكل كبير

من السياق الذي تم تمريره إلى نموذج اللغة

ونتيجة لذلك، تصبح المخرجات النهائية

أكثر دقة، وأكثر رسوخاً، وأكثر استقراراً. الآن

أننا نفهم أدوات الإنتاج

ومكان إعادة التصنيف في مسار العمل،

الخطوة التالية هي التنفيذ الفعلي

هو - هي. والآن سننتقل من النظرية إلى

التنفيذ وبناء بسيط ولكن

خط أنابيب إعادة التقييم بأسلوب الإنتاج. نحن

سيتم استخدام سلسلة اللغات للتنسيق.

قاعدة بيانات الألوان للاسترجاع

ودردشة مع لاما 3.3 70 مليار

نموذج لتوليد الاستجابة النهائية. ال

الفكرة هنا ليست بناء نموذج تجريبي للعبة، ولكن

لمحاكاة كيفية عمل خطوط أنابيب الخرق الحقيقية

مُهيكلة في نظام الإنتاج. و

نبدأ أولاً بطبقة الاسترجاع.

نقوم بتحميل قاعدة بيانات المتجهات الخاصة بنا وننفذ

بحث أولي عن التشابه للحصول على

مجموعة أكبر من وثائق المرشحين. هذا

الخطوة سخية عن قصد. نحن

لا أسعى للحصول على نتائج مثالية

هنا. نحن نحاول فقط الحصول على

تغطية. لذلك نقوم عادةً باسترجاع

شيء مثل أفضل 20 أو أفضل 30

وثائق. لكن في حالة عملية...

قد لا يكون ذلك مناسباً. إذن سنفعل

نحافظ على أعلى قيمة معينة وفقًا لسياساتنا

تطبيق. ثم نقدم لكم

طبقة إعادة الترتيب. لذا في الإنتاج

النظام، هذا هو المكان الذي كنا سنفعل فيه عادةً

استدعاء نموذج التشفير المتقاطع أو نموذج مُستضاف

إعادة ترتيب واجهات برمجة التطبيقات مثل coher bz أو gina.

لكن بالنسبة لتنفيذنا، فسوف

محاكاة نفس السلوك عن طريق تسجيل النقاط

استعلام عن أزواج المستندات باستخدام نموذج LLM

دالة الصلة. وهذا يسمح لنا بـ

شرح المفهوم بوضوح دون

إدخال تبعيات خارجية. و

بمجرد حصولنا على وثائق المرشح، سنقوم بـ

قم بتمرير كل مستند مع الاستعلام

إلى دالة تسجيل النقاط. كل زوج هو

تم تقييم مدى ملاءمتها. ثم نقوم بالفرز

الوثائق بناءً على درجاتها. و

وأخيرًا، نختار الأفضل والأكثر

الوثائق ذات الصلة وتسليمها إلى

ماجستير في القانون. وهنا يكمن نموذجنا في برنامج الماجستير في القانون

يدخل. يأخذ عملية الاحتيال المتقنة

السياق ويولد الأساس النهائي

إجابة. والآن لنقم بتنفيذ هذا

خطوة بخطوة باستخدام لانجين. والآن لنبدأ

انظر إلى جزء التنفيذ. ونحن سوف

أبدأ بإعداد أساسي للغاية حيث

يجب أن تتوفر هذه المتطلبات التالية في

ملف requirements.txt. لدي هذا أيضًا

ملف PDF للمعرفة والذي سيعمل

كقاعدة معرفية لي. هذا

ملف PDF معين عبارة عن ملاحظة بايثون قمتُ بها

أعددتها بنفسي. إذن هذا سيكون أنا

قاعدة معرفية خاصة بفنّاني في فنّ السحب. ثم أنا

لدي أيضًا ملف ENB هذا حيث لدي

قمت بتخزين مفتاح واجهة برمجة تطبيقات LLM الخاص بي بالإضافة إلى

أستحوذ على مفتاح واجهة برمجة تطبيقات Face API الذي سأقوم به

يُستخدم للتضمين. والآن لنبدأ

فيما يتعلق بجزء الاستيراد. دعوني أولاً

استيراد مُحمّلات المستندات من langen

مجتمع.

لذا سأقوم بتحميل برنامج تحميل ملفات PDF من باي.

أوه، على نحو مماثل من

فواصل نص لانجن

دعني أستورد نصًا حرفيًا متكررًا

فاصل. وبالمثل من لانجن

أعتقد أن هذا متجر كوميونيتي دوت فيكتور.

موجود بالفعل مكرر. أعتقد أننا نستطيع

بالفعل أو مباشرة قم بعمل لون طويل

الآن، ولكن في الوقت الحالي أعتقد أنه يمكننا استخدام هذا

استيراد روما.

تمام. ومن langchain_hugging

وجه. لا أعتقد أن هذا مثبت.

لذا دعني أقوم بتثبيت pip install بسرعة

سلسلة

وجه يعانق

وسأضيف نفس الشيء في

وثيقة المتطلبات.

دعني أنسخ هذا ثم ألصقه في

المتطلبات أيضاً.

ارجع إلى الكود.

الآن بمجرد أن يصبح وجه لانجن المعانق

تم التثبيت. لذا يمكنني استخدام langen_hogging

وجه. سأستخدم وجهًا متسلطًا

التضمينات.

ومن langen_gr

سأستخدم مجموعة الدردشة. هذا سوف

يُستخدم لتحميل نموذجنا. من لانجن

نقاط التوجيه الأساسية.

دعني أستورد نموذج رسالة الدردشة.

عذراً، استيراد

قالب برنامج الدردشة ومن لانجن

لانغ تشين

برامج تحليل مخرجات النقاط الضعيفة تسمح لي بالاستيراد

وأخيرًا دعني أستخدم محلل مخرجات السلسلة النصية.

استورد os أيضًا من env

استيراد تحميل البيئة.

والآن بعد اكتمال جميع عمليات الاستيراد،

لنقم بتحميل بيانات الاعتماد باستخدام هذا

الوظيفة هنا. ثم نُعرّف برنامج ماجستير القانون

وهذا ما سيكون عليه إجراء الدردشة لدينا

نموذج. إذن، هذا هو اسم الطراز.

إذن سيكون النموذج هو أو النموذج

سيكون الاسم لاما 3.370

مليار

نموذج متعدد الاستخدامات. لذلك لن أترشح

هذا على جهازي الخاص، لكنني سأفعل ذلك.

لاستخدام هذا كخدمة سحابية لـ

والذي أحتفظ فيه بمفتاح API الخاص بي

ملف البيئة. تمام. على أي حال، لنبدأ

قم أيضاً بتحديد نموذج التضمين. لذا

ستأتي التضمينات من

سأقوم أيضاً بالتضمينات، وبالمثل سأفعل

أدخل اسم النموذج. إذن اسمي النموذجي

سيصدر الحكم

محولات

الجميع

نحن بحاجة إلى LM

L6

الإصدار الثاني. تمام.

لقد قمنا الآن بتحميل وحدة التحكم الرئيسية لدينا أيضًا.

كنموذج تضمين. والآن ماذا؟

ما سنفعله هو أننا سنفعل

حدد مسار ملف PDF الخاص بنا. لذا، لا أحد من أجل

في هذا المشروع، يوجد مسار ملف PDF بالداخل

مجلد البيانات ولدي نقطة المعرفة

ملف PDF. وبالمثل، دعني أستخدم أداة تحميل.

كائن من برنامج تحميل ملفات PDF من نوع pi إلى أساسًا

قم بتحميل ملف PDF الخاص بي من مسار ملف PDF هذا.

وبعد ذلك سنستخدم أداة التحميل

الكائن لتحميل النص فعليًا من

ملف PDF.

حسنًا، يمكنني ببساطة طباعة عدد الصفحات

هنا، لكن أعتقد أن الأمر على ما يرام في الوقت الحالي. ثم

سنختار تقسيم النص. نص

الانقسام.

يمكننا استخدام أداة تقسيم النص المساوي لـ "سوف".

استخدم نص الأحرف المتكرر

فئة التقسيم. هنا يجب عليّ أن أقدم

معياران مختلفان. الأول هو

حجم القطعة.

لنفترض أن حجم الجزء هو 500

ثم سنحدد تداخل الأجزاء

أن يكون طوله حوالي 100 حرف. حسنًا، سنفعل

سنقوم ببساطة بكتابة نص حرفي هنا.

الآن، نحن مهتمون بالرقم

من القطع هنا. وهكذا خُلِقَ

أوه لين

أجزاء ستعطينا عدد

قطع.

أجل، سأضطر أيضاً إلى استخدام ذلك

كائن فاصل النص نقطة لأن هذا هو

ملف PDF الخاص بي. لذا سأحتاج إلى استخدام...

قم بتقسيم المستندات ثم قم بتوفيرها

كائن المستند الذي أحصل عليه من هنا.

لذا،

بعد أن قمت بتقسيمها إلى أجزاء،

ثم قمت بطباعة عدد الأجزاء

التي تم إنشاؤها.

الآن، ما نحتاج إلى فعله هو، حسنًا، لنبدأ

إنشاء مخزن متجهات. لذلك أنا

سأقدم مسارًا مرة أخرى. لنتصل

مسار الكروما.

مسار الكروما يساوي، أين أذهب؟

أعطيه؟ حسنًا، لنقم بعمل رجل متقاطع خلفي

قاعدة البيانات

حسنًا، نتحقق مما إذا كان هذا المسار موجودًا أم لا.

ليس كذلك، أو إذا كان هذا أو إذا كان المجلد

وجود مسار الكروما أو عدم وجوده، وإذا كان موجودًا

هذا غير موجود، سنفعل

إنشاء مخزن متجهات. لذا مخزن المتجهات

مخزن المتجهات يساوي سنستخدم

فئة Chroma dot من المستندات

وسنحتاج داخل هذا إلى توفير

المستندات أولاً، وهي الأجزاء التي

سيتم تخزينها ثم سأمررها إلى

التضمين

التضمينات التي قمت بإنشائها

أو نموذج التضمين الذي لدي

كما هو موضح هنا، وأخيراً سأفعل هذا.

دليل الشراء بحيث بمجرد أن يصبح

تم إنشاء الدليل، ويبقى هناك

أو يبقى مخزن المتجهات هناك، وهو

لا يتم تحميل أو إنشاء هذا

قم بتخزين المتجهات مرة أخرى للثانية أو الثالثة أو

الجولة الرابعة. حسناً، إذا كان هذا موجوداً بالفعل

المسار، ثم أحتاج ببساطة إلى تحميل ملفي

متجر المتجهات. لذا لتحميل المتجه

يمكنني تخزين البيانات في متجه يساوي

قم بتحميل هذا ببساطة باستخدام chroma

دليل. إذن، هذا سيكون أنا

مسار الكروما. والمعيار الثاني

ما سأحتاجه هنا هو التضمين

وظيفة.

ستكون دالة التضمين

التضمينات.

تمام. والآن بعد أن فعلنا هذا، فلنذهب

وصولاً إلى جزء كلب الاسترداد. لذا، كلب الصيد

يساوي تخزين المتجه كنقطة كمسترجع.

سأذكر عدد المعلمات

أو كم عدد المستندات التي نحتاجها هنا.

لذا سيتم تعريفها على أنها

ابحث عن حجج الكلمات الرئيسية وسأذهب

على سبيل المثال لا الحصر

كم عدد النتائج الرئيسية التي سأحتاجها؟ لذا

سأضع قيمة K مساوية لـ...

لنقم بعشرة الآن، ثم سنفعل

رتبها وفقًا لذلك

بناءً على عدد الأجزاء التي

مخلوق.

حسنًا، بمجرد الانتهاء من هذا أيضًا، دعنا

حدد جزء الاسترجاع الأولي لدينا. لذا

سنقوم بتعريف دالة لهذا الغرض. لذا

دالة استرجاع المستندات. لنمرر

الاستعلام، ثم سيكون الاستعلام

على شكل سلاسل نصية. لذا سنعود

كلب الصيد

لا تحصل على المستندات ذات الصلة.

يحصل

الوثائق ذات الصلة، وداخلها أنا

سأقوم بتمرير استفساري. بناءً على ذلك

الاستعلام، سيقوم برنامج الاسترجاع بـ

باختصار، أريد أفضل 10 نتائج

من الأجزاء التي تم إنشاؤها. الآن يأتي الآن

الجزء الرئيسي الذي نستهدفه

في هذا الفيديو الذي يظهر فيه ريانكر. لذا

بالنسبة لـ reanker، ما سنفعله هنا

سنستخدم شهادة الماجستير في القانون كـ

ثم يتم استخدام دالة تسجيل النقاط الخاصة بـ reanker بناءً على

سنقوم بتصفية مخرجاته

قد تؤدي هذه النتائج العشرة الأولى إلى أعلى النتائج

ثلاثة أو من بين أفضل خمسة نتائج. لذلك

نحتاج أولاً إلى كتابة موجه لإعادة الترتيب.

لذا لكتابة إعادة التقييم

سأستخدم موجه الدردشة

نقطة القالب من القالب.

الآن، أحتاج إلى تقديم معلوماتي داخل هذا القسم.

اِسْتَدْعَى.

لذا سيكون سؤالي هو: أنت...

حازم

مقيّم مدى الصلة

بافتراض وجود استعلام ومستند.

حدد مدى الصلة

النتيجة من 0 إلى 1.

أعد النتيجة فقط.

سأقوم هنا بتمرير الاستعلام

كما ناقشنا سابقاً في النظرية

جزء. سنمرر زوجًا من

الاستعلام بالإضافة إلى المستندات التي لدينا

لدينا، ثم سنتحقق من

مدى ملاءمة الاستعلام وكل وثيقة.

إذن، المستند هنا هو المستند الفعلي.

إذن، سيكون هذا هو موضوعي.

والآن دعوني أشرح لكم سلسلة إعادة الترتيب.

سلسلة إعادة التصنيف. إذن، سلسلة إعادة الترتيب تسير

سيتم أولاً عرض مطالبة بإعادة الترتيب.

إعادة كتابة الموجه. بعد ذلك سننتقل إلى

مررها إلى llm وبعد ذلك سنقوم

سأقوم بتمريرها إلى محلل مخرجات السلسلة النصية.

تمام. إذن، ستكون هذه سلسلتي.

الآن بما أنني مضطر لإعادة الترتيب أو...

يجب الحصول على درجة إعادة الترتيب لجميع

هذه الوثائق العشر واحدة تلو الأخرى. لذا سأفعل

حسنًا، لنُعرّف دالة حيث سنقوم

سنفعل ذلك بشكل متكرر. بالتأكيد

إعادة ترتيب المستندات، المعلمات هي

سيكون الاستعلام والتوثيق نفسه.

لذا دعني أنشئ قائمة لحفظ

تم إنشاء النتائج. لذا سأقوم بتشغيل

قم بالتكرار هنا. لذا بالنسبة للمستند في المستندات

وهذا يعني

كل وثيقة من تلك الوثائق من تلك الوثائق العليا

سيتم إدخال النتيجة رقم 10 في هذا

قم بالتكرار هنا. لذا سأذهب لتقييم النص

يساوي reank_chain

dot invoke.

بعد هذا، اسمحوا لي أن أتطرق إلى بعض الأمور.

حدود. الأول هو الاستعلام

التي أحتاج إلى المرور بها من الداخل

ملاحظة خاصة هنا. إذن سؤالي هو

سيكون السؤال نفسه، ثم...

المستندات، آسف، يجب أن تكون وثيقة

تمامًا كما هو موضح في هذا العنصر النائب هنا. لذا

سأقوم داخل هذا بتنفيذ الصفحة_ج

محتوى.

حسنًا، بمجرد الانتهاء من هذا أيضًا، سنقوم

حاول الحصول على أعلى الدرجات، ولأننا

استخدمنا محلل إخراج strr، لذلك سننتقل

للحصول على هذا كسلسلة نصية هنا. وماذا في ذلك؟

كل ما علينا فعله هو أن نحاول وسنفعل

حاول تحويل هذه النتيجة التي نحصل عليها في

تحويل السلسلة النصية إلى عدد عشري. لذا دعونا نفعل ذلك

شريط النقاط النصية للنتيجة. إن كان لدينا أي

المسافات، هذا الشريط المنقط سيزيلها جميعًا

من تلك المساحات المحيطة بها أو إذا كانت

لا يمكن إنشاء قيمة عددية عشرية لـ

أنني سأخصص الدرجة على النحو التالي

0.0 هذه حالة استثنائية و

أخيرًا، ما سأفعله هو أنني

سيتم الإلحاق

هذا لتقييم المستندات

ونحصل على أول نتيجة لنا. ثم مرة أخرى

نقوم بمراجعة الوثيقة. لذا من

10 وثائق، درجة الوثيقة الأولى هي

تلقى. ثم ننتقل مرة أخرى إلى الثانية

وثيقة. نقوم بتمرير الاستعلام. نمر

في محتوى صفحة المستند الثاني. نحن

نُنشئ النتيجة ثم نتصل مرة أخرى

حسنًا، سنضيف ذلك مرة أخرى إلى النتيجة.

المستندات، ثم تستمر هذه الحلقة حتى

إلى أن ننتهي من ذلك

جميع الوثائق العشرة الأولى التي لدينا

تلقى. تمام. تمام. الآن بمجرد أن يصبح هذا

انتهى الأمر، فلنخرج من حلقة التكرار و

ثم سنقوم بفرز وثائق درجاتنا

هنا. فلنحل هذه المشكلة.

حسناً، على أي أساس نرتب هذا الأمر؟ لذا

سنكتب هذا يساوي لامدا

x1

do reverse equals to true.

حسناً، هناك خطأ واحد هنا. لنستبدل

هذا يساوي α بحيث يكون هذا α

تم إنجاز جزء الفرز أيضاً. ثم سنفعل

وثائق رمز الإرجاع.

وثائق تسجيل النقاط. تمام. الآن وقد أصبحنا

تم الانتهاء من إعادة ترتيب المستندات، الآن

لنبدأ في توليد الإجابات.

لذا، لنكتب لتوليد الإجابات:

التوجيه النهائي.

السؤال الأخير مرة أخرى سيكون

تم إنشاؤه باستخدام قالب دردشة prom

نموذج.

دعني أكتب السؤال هنا. لذا

أنت مساعد ذكاء اصطناعي مفيد.

أجب فقط من خلال

مساعد الذكاء الاصطناعي.

تمام. أجب فقط من خلال

السياق المقدم.

إذا لم تكن الإجابة

في السياق، قل لا أفعل

يعرف.

لذا سأقدم السياق. سيكون هذا

سيتم ذلك على شكل

عنصر نائب كسياق. وبعد ذلك سأفعل

اطرح سؤالاً.

سيُطرح هذا على شكل سؤال.

والآن دعوني أستحضر سلسلة أخيرة

لإنشاء الإجابات. لذا هذا النهائي

ستحتوي السلسلة على موجه نهائي.

ثم سنحصل على ماجستير في القانون

وبعد ذلك سنحصل على ستر

محلل المخرجات.

تمام.

والآن أخيرًا يمكننا المضي قدمًا، ثم...

قم بإنشاء الإجابة باستخدام هذا الأمر

وظيفة. لذا سنبدأ أولاً بتعريف هذا

دالة توليد الإجابة. لذا لهذا السبب

ما سأفعله، ما الذي سنفعله

ما عليّ فعله هو أن يكون لديّ استفساري أيضًا.

تأكد من ترتيب أهم مستنداتي بشكل صحيح.

من هنا. إذن هنا داخل هذه الدالة

ما سأفعله هو أنني سأفعل

تجميع كل السياق في واحد

وتر واحد. لذا، للقيام بذلك أضف اثنين

الشرطات المائلة العكسية، النقطة، الانضمام

وثم

أضف أضف

أهم محتوى صفحة "افعلها" لـ "افعلها"

أفضل الأطباء

ثم العودة

السلسلة النهائية

dot invoke.

لذا في جزء الاستدعاء، أحتاج أساسًا إلى

قم بتوفير معيارين. أحدهما هو

سياق. لذا، سأقوم بتوضيح السياق.

قدّم السياق الذي ذكرته للتو

تم إنشاؤها هناك ثم الثانية

الجزء الذي يجب أن أتجاوزه في السؤال.

سأمرر السؤال في الاستعلام.

تمام. وبمجرد الانتهاء من هذا أيضاً، سنفعل ما يلي:

سنحدد هنا مسار معالجة البيانات بالكامل.

تذكر مرة أخرى أن هذه قطعة قماش أساسية مع

إعادة تدوير فقط، ويمكنك التحويل

هذا إلى خرقة فاعلة

كما تحدثنا سابقاً في

مقاطع الفيديو السابقة. لذا دعونا نحدد هذا

diff divore

اكتب سطرًا.

سأمرر الاستفسار.

الآن سيأتي الاستعلام بالشكل التالي

من الأعداد الصحيحة، ثم سأقدم لك الأعلى

قيمة المفتاح. القيمة الرئيسية الافتراضية

سيكون العدد خمسة.

تمام. إذن، الخطوة الأولى هي الحصول على كلب الاسترداد. لذا

للقيام بذلك، سأقوم باستعادة المستندات

يساوي سأسمي

كلب الصيد

دالة استرجاع المستندات ثم تمريرها

الاستفسار. بمجرد الانتهاء من ذلك، الخطوة الثانية

الخطوة هي جزء إعادة الترتيب. لذلك بالنسبة لـ

إعادة الترتيب: يمكنني ببساطة تقييم المستندات على قدم المساواة

يمكنني أن أسمي عملية إعادة الترتيب

ثم يتم تمرير المستندات إلى الوظيفة.

الاستعلام، وهو يقبل ببساطة

المستندات هنا. لذا سأمتنع عن المشاركة

يمكنك استرجاع المستندات من هنا. إذن ما هذا؟

ما سأفعله هو أن هذا سيولدني

قم بإنشاء زوج من المستندات لي أيضًا

كدرجات. والآن ما سأفعله

سأقوم بتحديد مفتاحي الرئيسي

نتائج. لذا أفضل قمة k أعلى

ستكون المستندات على رأس قائمة لـ

قمة

درجة الفاصلة

في

أقيّم المستندات، ثم أريد فقط الأفضل.

مفتاح

القيم هنا. لا أحتاج إلى أي شيء آخر.

ثم تتمثل الخطوة التالية في توليد

إجابات. لذا يمكنني ببساطة أن أفعل ذلك.

الإجابة تساوي توليد الإجابة

وظيفة. سأقوم بتمرير الاستعلام و

ثم القمة

المستندات هنا. وأخيراً، دعوني أعود

أجب بالإضافة إلى وثائق Scorecore.

إذن، ما سيساعدني هذا هو

إن كان لديّ سؤال متعدد الفنون أصلاً الآن

لن يعتمد الأمر على شيء واحد فقط

السياق الذي يتطابق فقط مع

يتوافق مع دلالات الاستعلام

لكنها تتحقق الآن أيضاً من مدى الصلة بالموضوع

باستخدام آلية التسجيل هذه هنا. لذا

حتى الأسئلة متعددة الفنون يمكن أن تكون

تمت الإجابة هنا. والآن لنختبر

هذا سؤال من جزء واحد.

لننتقل إلى قاعدة المعرفة. انتقل إلى

أي موضوع بين هنا وذاك سنفعل

اسأل، سنسأل، ما هذه؟

تمام. لذا، سأسأل خردتي

وحدة حول أنواع البيانات الأولية في

بايثون، ثم سنرى أي نوع من

الإجابة التي يقدمها. ارجع إلى رينشر.

إذن، الاستعلام هو

أدرجني في القائمة

أنواع البيانات الأولية في بايثون.

بمجرد الانتهاء من ذلك، يمكنني الاتصال برفّي

خطوط الأنابيب.

تُعادل إجابة ترتيب المحادثات الاتصال بـ

قم بتثبيت خط الأنابيب وقم بتمرير الاستعلام.

والآن لنطبع

الإجابة النهائية هنا، وكذلك دعونا أيضاً

اطبع الجزء العلوي

وثائق

أفضل الأطباء. أوه، آسف، دعنا أيضاً

اطبع المستندات المصنفة هنا

وببساطة، سأحتاج فقط إلى خمسة مصنفين

المستندات.

دعني أحول هذا إلى سلسلة نصية حتى...

يصبح كل شيء أسهل في الملاحظة.

إذن، هذا سيكون خيطي. لنضف

فاصل الأسطر n / n حتى لا نحصل على

أنا في حيرة من أمري بشأن ما يحدث. تمام. لذلك نحن

جاهزون لتشغيل هذا. فلنبدأ بالجري

برنامج إعادة ترتيب الملفات rag.py باستخدام لغة بايثون. إن كان لدينا أي

إذا حدث خطأ، فسنقوم بتصحيح هذا الخطأ.

إذا لم يكن ينبغي أن يكون هناك أي خطأ، ولكن

لنرى.

لقد واجهنا خطأً حيث يظهر رمز باي (π).

برنامج PDF غير مثبت. فلنفعل

قم بتثبيت pipdf

نقطة.

هذه المكتبة مطلوبة لـ pipdf

أداة التحميل التي استخدمناها هناك. فلندع

سأقوم بتثبيت هذا. قم بتنظيف هذا ثم

أعد تشغيله.

لا يتم ذلك عبر ملفات PDF على موقع reanker.

حسنًا، ما زال لدينا بعض التهجئة

هناك أخطاء هنا. لذا، أعتقد أنه ينبغي ذلك

كانت هناك تداخلات في الأجزاء، لكنني أعتقد أنني

ارتكبت خطأً. لذا، كان ينبغي أن يكون هذا

تداخل الأجزاء.

دعني أوضح هذا الأمر مرة أخرى، ثم

أعد تشغيل مرساة شبكة السحب الخاصة بي.

تمام. كما ترون، تم تقسيمها إلى 72 قطعة.

مخلوقين، وهذا يعني أننا في البداية مجرد

أحاول استعادة العشرة أجزاء. نحن

لا يزال هناك بعض الأخطاء. فلنرى

لا يمكن الوصول إلى استرجاع المتغير المحلي

المستندات. إذن أين يكمن هذا الخطأ تحديداً؟

في خط أنابيب الرف ثم استرجاع do

رقم السطر 110.

فلنلقِ نظرة على هذا.

رقم السطر 110.

إذن، استرجاع المستندات ليس دالة.

لنرى.

نعم، إنها دالة.

إذن، استرجاع المستندات هو دالة. حسنًا

احتفظ بهذا الاسم باسم آخر. لذا،

استرجاع المستند.

احتفظ بهذا كوثيقة للرحلة، ثم

احتفظ بهذا كمستندات استرجاع. دعني أتأكد

أعد تحديد المسافة البادئة إذا لزم الأمر.

هل يوجد أي خطأ هنا؟ لا، ليس هناك شيء

هذا خطأ. لذا يمكنني المضي قدماً و

ثم قم بتشغيل هذا

أوه، احصل على الجزء ذي الصلة.

أعتقد أن هناك خطأً آخر رأيته هنا

أضع شرطة سفلية قبل هذا مباشرة.

لذا كان ينبغي أن يصبح هذا الأمر ذا صلة

وثائق.

يحصل

الوثائق ذات الصلة. حسناً، أعتقد أن

كانت الإجابة السابقة صحيحة.

احفظ هذا الملف ثم أعد تشغيله.

إذن، تم إنشاء مخزن المتجهات بالفعل.

لذا فإن هذه العملية لن تسير

كرر ذلك لأننا أبقيناه في إذا

الجزء الآخر.

احصل على المستندات ذات الصلة التي ينقصها مستند واحد.

واحد مطلوب، واحد مفقود مطلوب

الوسيطة التي تعمل بالكلمات المفتاحية فقط

مدير. تمام. دعني أتحقق مما يلي

الخطأ هو. تمام.

تمام. أول خطأ أراه

أعتقد أن هذا لن ينجح. لذا

سنحتاج إلى استخدام invoke.

لذا تابع هذا

في الجزء المتعلق بإعادة التدوير حيث حاولنا

لإضافة المستندات فقط هنا. وماذا في ذلك؟

لا يقتصر ما نريده هنا على إلحاق المستند فحسب

لكن معذرةً، النتيجة هنا، لكنني أريد أيضاً...

ألحق جزء المستند مع

نتيجة

حتى يتمكن x1 أخيرًا من تسجيل النقاط

وبعد ذلك يمكن أن تتم عملية الفرز لأن

من هذا الكود مرة أخرى، دعونا نمسح

قم بإخراج هذا ثم حاول تشغيله مرة أخرى.

إذا واجهنا أي أخطاء أخرى، فـ

سأحاول تصحيح الأخطاء

حسناً، لقد حصلنا على إجابتنا. لذا أولاً من

جميعاً، سنقوم بمراجعة الإجابة. لذا

في البداية، ما يقوله نموذجنا هو أن

أنواع البيانات الأولية في بايثون هي

عدد صحيح، عدد عشري، رقم، سلسلة نصية،

و منطقي. لننتقل إلى المستند.

وأعتقد أننا نمتلك فقط عددًا صحيحًا،

عائم،

نوع البيانات float و string ثم boolean. الآن

لنذهب ونتحقق من قسم إعادة الترتيب. لذا

أما بالنسبة لجزء إعادة الترتيب، فأرى خمسة أساسيات

أنواع البيانات التي يدعمها بايثون

شيء ما. حسنًا، هذا أيضًا

تم إنشاؤه. وإلى جانب ذلك أرى

هناك صفحات أخرى هنا تقول

صفحة المتغيرات والتعيينات

المحتوى الرابع، محتوى الصفحة الخامس.

[يُشخر]

إذن لدينا بعض الوثائق الأخرى التي

يحتوي على الأمثلة أيضاً. لذا أعتقد...

إنه يعمل بشكل جيد للغاية. والآن سنحاول

لطرح سؤال متعدد الفنون. أحدهما هو

نوع البيانات الذي سنسأل عنه، ثم لنبدأ

انزل

إلى شيء آخر أو إلى موضوع آخر

ثم سنسأل

ما هي المجموعات المجمدة هنا؟ لذا دعني

قم بتحديث استفساري ثم اسأل

أدرج لي أنواع البيانات الأولية في

بايثون، وأخبرني عن

ماذا

مجمد

المجموعات مكتوبة بلغة بايثون. هذا نوع من

سؤال متعدد الفنون. لذا، سنحاول

تحقق مما إذا كان جهاز إعادة التقييم الخاص بي يعمل بالفعل

في إيجاد السياق المناسب لي لهذا الأمر

سؤال من جزأين، ثم أجب عليّ.

وفقاً لذلك.

تمام. إذن ما يفعله هذا هو أنه يفعل

زودني بمعلومات حول نوع البيانات، لكن

يقول إنه لا يعرف شيئاً عن المجمد

يتم تحديد المجموعات في السياق المحدد. لذا دعني

يفحص.

حسنًا، لدينا مجموعات مجمدة في

سياق

ثم لدينا ذلك داخل المجموعات.

لذا أعتقد أن إحدى المشاكل التي واجهتها هي

لم يستطع فصل المجمد

سياق المجموعة المجمدة بالإضافة إلى ذلك

لم أتمكن من إدراج ذلك في المستند

القائمة بالداخل

هنا.

أعتقد أن هذه هي المشكلة. حسنًا، سنفعل

جرب شيئًا آخر.

لنذهب إلى القمة ثم نسأل

شئ ما.

حسنًا، سنسأل عن المفتاح

فروع برمجة بايثون.

لذا سنحتفظ بالبيانات الأولية. تمام،

سنقوم بإزالة نوع البيانات الأولي

أيضاً. لذا سنبدأ أولاً بالسؤال عن

فرع رئيسي من برمجة بايثون

ثم سنسأل عن الهويات التي يمكن استخدامها

يُستخدم في برمجة بايثون. لذا دعني

غيّر هذا

سؤال. أخبرني عن الفروع الرئيسية

لغة بايثون

البرمجة وقائمة المعرفات التي يمكن أن تكون

يُستخدم في برمجة بايثون.

احفظ هذا.

أنشئ الطرفية. أعد تشغيله و

ثم تحقق.

تمام.

فلنرى ما هي الإجابة. لذا

يقول إن السياق لا يوفر معلومات حول

انتظر

إذن، فهو يعطيني الفروع الرئيسية

برمجة بايثون كشبكة ويب

التطوير، وعلوم البيانات، والعلوم

الحوسبة. لكن السياق لا

تقديم معلومات حول المعرفات التي

يمكن استخدامه في برمجة بايثون. أنا لا

تعرف على قائمة المعرفات الخاصة بلغة بايثون

الترميز، وهو غير موجود في

سياق. بما أننا لا نحصل على

إجابة الجزء الثاني. إذن ما يمكننا فعله هو

يمكننا محاولة توضيح عدد

المستندات المسترجعة.

لننتقل إلى 20 وثيقة.

أفضل 20 وثيقة لهذا الغرض و

ثم

ماذا يمكننا أن نفعل أكثر؟

لنرى

ثم بدلاً من أهم النتائج الرئيسية.

لنحصر هذا العدد في حوالي 10

المستندات ثم التحقق منها

وإذا لم يؤدِ هذا أيضاً إلى نتيجة.

ما يمكننا فعله هو أن يكون لدينا استفسار

وكيل إعادة الصياغة، أيهما يمكننا

أساسًا

أوه، قم بتكليف الشخص بمهمة كسر هذا

الأسئلة المكونة من جزأين إلى أسئلة متعددة

الأسئلة، وبعد ذلك يمكننا البحث في

استفسر وفقًا لذلك، ثم...

قم بإنشاء إجابة بصيغة مركبة.

لكننا سنتحقق مما سيحدث هنا و

إذن، يمكننا تجربة ذلك، أو يمكنك أنت المحاولة.

يمكنك فعل ذلك لاحقاً إذا أردت. باختصار

بما أننا نعمل مع وكالة راغ،

يمكنك الحصول على جزء لإعادة كتابة الاستعلام

أيّ

والتي يمكنك من خلالها تقديم الطلب بطريقة تجعل

إذا رأى سؤالاً من جزأين، فأنت

اطلب منه ببساطة أن ينقسم إلى قسمين

ثم اضغط عليه حتى يعمل.

فلنرى ما إذا كان السياق قد وجد

خارج.

حسناً، لقد اكتشف السياق بالفعل. لذا

تحسين عدد أعلى

لقد ساعدت النتائج الرئيسية. إذن إليك المفتاح

فروع لغة البرمجة بايثون.

حسناً، الآن أصبح الأمر أكثر تفصيلاً. و

أما بالنسبة لبرمجة بايثون، فإليك ما يلي

يمكن استخدام المعرفات في الاستوديو وكذلك في Visual

كود الاستوديو. إذن هذه هي المعرفات الوحيدة

المذكور في السياق المقدم. حسنًا،

وقد تم ذكرها في المرفق

السياق هنا.

لدينا دفتر Jupyter بالإضافة إلى

لكن برنامج VS Code لم يتمكن من التعرف عليه

PyCharm كمعرّف، ولكن لا بأس بذلك لأن

لقد وصل الأمر إلى هذه النقطة ثم

تم العثور على السياق. هذا ما

ريانكر هو، وهذه هي طريقة تنفيذنا

reanker in our rag in Python. لكن

تذكر أن هذا يتم تنفيذه في

رف أساسي، وبعد ذلك يمكنك أيضًا

قم بتنفيذه في رف الوكلاء الخاص بك باستخدام

نفس النهج الذي اتبعناه في

الفيديوهات القليلة الأخيرة بالإضافة إلى هذا الجزء الخاص بإعادة الترتيب.

لقد حققنا حتى الآن تصنيفًا نظيفًا

تم اتباع خط أنابيب يستخدم استرجاع المتجهات

عن طريق طبقة تسجيل النقاط التي تحسّن

الأهمية.

لكن في أنظمة الإنتاج الحقيقية،

غالباً ما يكون الاسترجاع أكثر تعقيداً.

أكثر من ذلك لأن البحث المتجهي وحده هو

ليست طريقة الاسترجاع الوحيدة المستخدمة في

أنظمة الذكاء الاصطناعي للمؤسسات. في الواقع، كثيرون

نظام عالي الأداء يجمع بين عدة وظائف

استراتيجيات الاسترجاع حتى قبل

تطبيق الترتيب. وهذا هو المكان الذي

البحث الهجين يدخل حيز التنفيذ.

يجمع بين نوعين مختلفين من الاسترجاع

الأساليب. الأول هو الاسترجاع الكثيف

وهو يعتمد على التضمين والدلالات

تشابه. ثم الثاني هو

استرجاع متفرق. عادةً باستخدام

أساليب البحث القائمة على الكلمات المفتاحية مثل BM25.

كان لكل من هذه الأساليب دوافعها

نقاط القوة والضعف الشخصية. كثيف

يُعدّ الاسترجاع ممتازًا في الفهم

المعنى والسياق، ولكن في بعض الأحيان

يواجه صعوبة في تحديد الكلمة المفتاحية الدقيقة

مباريات. يُعد الاسترجاع المتفرق أمرًا بالغ الأهمية

بارع في إيجاد المطابقات الدقيقة والمصطلحات النادرة،

لكنها تفشل في استيعاب المعنى الدلالي

معنى. لذا بدلاً من اختيار واحد على

أما أنظمة الإنتاج الأخرى فتتضافر

كلاهما. وهذا ينتج عنه نكهة أغنى وأكثر

مجموعة متنوعة من وثائق المرشحين. الآن

يصبح خط الأنابيب أكثر قوة. نحن

أولاً، قم بإجراء عملية استرجاع هجينة والتي

يمنحنا ذلك مجموعة قوية من المرشحين

من كل من الدلالات والكلمات المفتاحية

يبحث. ثم نمرر هذا الموسع

يتم إدخال مجموعة المرشحين في طبقة إعادة الترتيب.

ثم يقوم جهاز إعادة التعبئة بمهمته كـ

قبل. يقوم بتقييم كل وثيقة في

العلاقة بالاستعلام وتحديد فقط