يعد إكمال الرسم البياني المعرفي (KGC) مهمة حاسمة في مجال الذكاء الاصطناعي وتمثيل المعرفة، ويهدف إلى استنتاج المعلومات المفقودة في الرسم البياني المعرفي. لقد أظهر المحول، وهو عبارة عن بنية شبكة عصبية قوية، إمكانات كبيرة في العديد من مهام معالجة اللغة الطبيعية ويمكن أيضًا تطبيقه بشكل فعال على KGC. كمورد للمحولات، سأشارك كيفية استخدام المحولات لإكمال الرسم البياني للمعرفة في هذه المدونة.
فهم إكمال الرسم البياني المعرفي
الرسم البياني المعرفي هو تمثيل منظم للمعرفة في شكل كيانات وعلاقات بينها، وعادة ما يتم تصميمه على شكل مجموعة من الثلاثيات (الموضوع، المسند، الكائن). على سبيل المثال، (ألبرت أينشتاين، مطور، النسبية العامة) هو ثلاثي في الرسم البياني المعرفي. يتضمن إكمال الرسم البياني المعرفي التنبؤ بالكيانات أو العلاقات المفقودة في هذه الثلاثيات. هذه المهمة مهمة للعديد من التطبيقات، مثل أنظمة الإجابة على الأسئلة، وأنظمة التوصية، والبحث الدلالي.
لماذا استخدام محول لKGC
تتمتع بنية المحولات، التي تم تقديمها في المقالة "الانتباه هو كل ما تحتاجه"، بالعديد من المزايا التي تجعلها مناسبة لإكمال الرسم البياني المعرفي:
- آلية الاهتمام الذاتي: آلية الانتباه الذاتي في المحول تسمح له بالتقاط التبعيات بعيدة المدى في تسلسل الإدخال. في سياق إكمال الرسم البياني المعرفي، يمكنه نمذجة العلاقات بين الكيانات والمسندات المختلفة بشكل فعال في ثلاثية.
- المعالجة الموازية: على عكس الشبكات العصبية المتكررة (RNNs)، يستطيع المحول معالجة تسلسل الإدخال بالكامل بالتوازي، مما يؤدي إلى تسريع عملية التدريب والاستدلال بشكل كبير.
- نقل التعلم: أظهرت نماذج المحولات المدربة مسبقًا، مثل BERT، أداءً ممتازًا في مختلف مهام معالجة اللغة الطبيعية. يمكن ضبط هذه النماذج المدربة مسبقًا بشكل دقيق لإكمال الرسم البياني للمعرفة، والاستفادة من المعرفة المستفادة من مجموعات النصوص واسعة النطاق.
خطوات استخدام المحول لـ KGC
1. إعداد البيانات
الخطوة الأولى هي إعداد البيانات لإكمال الرسم البياني المعرفي. تتكون البيانات عادة من مجموعة ثلاثية، والتي يمكن تقسيمها إلى مجموعات التدريب والتحقق والاختبار. يجب ترميز الثلاثيات في تنسيق يمكن للمحول معالجته. أحد الأساليب الشائعة هو تحويل الكيانات والمسندات إلى تضمينات. على سبيل المثال، يمكننا استخدام عمليات تضمين الكلمات المدربة مسبقًا أو تعلم عمليات تضمين الكيانات والمسندات من الرسم البياني المعرفي نفسه.
2. تصميم النموذج
يمكننا تصميم نموذج قائم على المحولات لإكمال الرسم البياني المعرفي. إحدى الطرق هي استخدام برنامج تشفير المحولات لمعالجة الإدخال الثلاثي. يمكن أن يكون الإدخال إلى برنامج تشفير المحول عبارة عن سلسلة من عمليات تضمين الكيان والمسند. يمكن استخدام مخرجات برنامج التشفير للتنبؤ بالكيان المفقود أو المسند في الثلاثي.
فيما يلي مثال بسيط لنموذج قائم على المحولات لـ KGC في PyTorch:
استيراد الشعلة استيراد torch.nn كـ nn من torch.nn استيراد TransformerEncoder، فئة TransformerEncoderLayer TransformerKGC(nn.Module): def __init__(self, d_model, nhead, num_layers, dim_feedforward): super(TransformerKGC, self).__init__() encoder_layer = TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward) self.transformer_encoder = TransformerEncoder(encoder_layer, num_layers=num_layers) self.fc = nn.Linear(d_model, num_entities) def للأمام(self, src): الإخراج = self.transformer_encoder(src) الإخراج = self.fc(output[:, 0, :]) إرجاع الإخراجفي هذا المثال،d_modelهو البعد من التضمين،nheadهو عدد رؤوس الانتباه،num_layersهو عدد طبقات تشفير المحولات، وdim_feedforwardهو بُعد شبكة التغذية الأمامية في طبقة تشفير المحولات.
3. تدريب النموذج
بمجرد تصميم النموذج، يمكننا تدريبه على بيانات التدريب. عادة ما يكون هدف التدريب هو تقليل دالة الخسارة، مثل خسارة الإنتروبيا المتقاطعة. أثناء التدريب، يمكننا استخدام تقنيات مثل تطبيع الدفعة، والتسرب، وجدولة معدل التعلم لتحسين أداء النموذج.
استيراد torch.optim كنموذج مثالي = TransformerKGC(d_model=128, nhead=4, num_layers=2, dim_feedforward=512) المعيار = nn.CrossEntropyLoss() محسن = optim.Adam(model.parameters(), lr=0.001) للعصر في النطاق (num_epochs): Running_loss = 0.0 لـ i، البيانات في تعداد (train_loader، 0): المدخلات، التسميات = مخرجات مُحسِّن البيانات.zero_grad () = خسارة النموذج (المدخلات) = المعيار (المخرجات، التسميات) Loss.backward () Optir.step () Running_loss += Loss.item () print (f'Epoch {epoch + 1}، الخسارة: {running_loss / len(train_loader)}')4. التقييم
بعد التدريب، نحتاج إلى تقييم النموذج على مجموعات التحقق من الصحة والاختبار. تتضمن مقاييس التقييم الشائعة لإكمال الرسم البياني المعرفي متوسط الرتبة (MR)، ومتوسط الرتبة المتبادلة (MRR)، وHits@k. تقيس هذه المقاييس مدى قدرة النموذج على تصنيف الكيانات أو المسندات الصحيحة بين جميع المرشحين المحتملين.
من sklearn.metrics، قم باستيراد متوسط_رتبة_درجة، متوسط_reciprocal_rank_score model.eval() باستخدام torch.no_grad(): all_labels = [] all_preds = [] للبيانات الموجودة في test_loader: inputs, labels = data outputs = model(inputs) all_labels.extend(labels.tolist()) all_preds.extend(outputs.tolist()) mr = mean_rank_score(all_labels, all_preds) mrr = mean_reciprocal_rank_score(all_labels, all_preds) print(f'متوسط الرتبة: {mr}، متوسط الرتبة المتبادلة: {mrr}')منتجاتنا من المحولات لشركة KGC
كمورد للمحولات، فإننا نقدم مجموعة واسعة من منتجات المحولات عالية الجودة التي يمكن استخدامها لإكمال الرسم البياني المعرفي. على سبيل المثال، لدينامحول فئة SC(ZB)9 فئة 10 كيلو فولت جافيوفر مصدر طاقة ثابتًا للبنية التحتية للحوسبة المطلوبة للتدريب وتشغيل نماذج المحولات. الSZ 11 - محول توزيع مغمور بالزيت ثلاثي الطور من سلسلة Mيعد أيضًا خيارًا موثوقًا به لمراكز البيانات واسعة النطاق المشاركة في مهام إكمال الرسم البياني المعرفي. بالإضافة إلى ذلك، لدينا35kV تحميل متعرج مزدوج ينظم محول الطاقة المغمور بالزيتيمكن ضمان التشغيل الفعال لنظام الطاقة أثناء عملية الحوسبة عالية الكثافة.
خاتمة
يعد استخدام المحول لإكمال الرسم البياني المعرفي أسلوبًا واعدًا يمكنه الاستفادة من قوة بنية المحول لتحسين أداء KGC. من خلال اتباع خطوات إعداد البيانات، وتصميم النموذج، والتدريب، والتقييم، يمكننا بناء نموذج فعال قائم على المحولات لإكمال الرسم البياني المعرفي. باعتبارنا موردًا للمحولات، نحن ملتزمون بتوفير منتجات عالية الجودة ودعم فني لمساعدتك في تحقيق نتائج أفضل في إكمال الرسم البياني المعرفي. إذا كنت مهتمًا بمنتجاتنا أو لديك أي أسئلة حول استخدام المحول لـ KGC، فلا تتردد في الاتصال بنا للشراء وإجراء المزيد من المناقشات.
مراجع
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.
- ديفلين، جيه، تشانغ، إم دبليو، لي، كيه، وتوتانوفا، كيه (2018). بيرت: التدريب المسبق للمحولات العميقة ثنائية الاتجاه لفهم اللغة. arXiv الطباعة المسبقة arXiv:1810.04805.