När det gäller bearbetning av naturligt språk har transformatorbaserade maskinöversättningssystem revolutionerat sättet vi närmar oss kommunikation över flera språk. Som en ledande transformatorleverantör är vi djupt involverade i utveckling och optimering av dessa system. För att säkerställa högkvalitativ prestanda hos våra transformatorbaserade maskinöversättningslösningar är det avgörande att förstå och använda lämpliga utvärderingsmått.
1. BLÅT poäng
BLEU-poängen (Bilingual Evaluation Understudy) är en av de mest använda måtten för att utvärdera maskinöversättning. Den mäter likheten mellan maskinöversatt text och en eller flera referensöversättningar. Grundtanken bakom BLEU är att beräkna n - gram överlappningen mellan kandidatöversättningen och referensöversättningarna.
Till exempel, ett unigram (n = 1) BLEU-poäng mäter andelen enskilda ord i kandidatöversättningen som också förekommer i referensöversättningarna. Högre ordning n - gram, såsom bigram (n = 2) och trigram (n = 3), fångar mer komplex syntaktisk och semantisk information.
BLEU-poängen sträcker sig från 0 till 1, där 0 anger ingen överlappning med referensöversättningarna och 1 representerar en perfekt matchning. BLEU-poängen har dock vissa begränsningar. Den tar inte hänsyn till textens semantiska innebörd och kan ge höga poäng till översättningar som är syntaktiskt korrekta men semantiskt felaktiga.
2. METEOR
METEOR (Metric for Evaluation of Translation with Explicit ORdering) är ett annat viktigt utvärderingsmått. Den kombinerar unigram-matchning med stam- och synonymmatchning, vilket hjälper till att ta itu med några av begränsningarna i BLEU-poängen.
METEOR beräknar ett harmoniskt medelvärde av precisionen och återkallandet av unigram, med hänsyn till både de exakta ordmatchningarna och matchningarna efter stamavledning och synonymersättning. Detta mått beaktar också ordordningen i viss utsträckning, vilket är viktigt för att fånga meningens syntaktiska struktur.
Jämfört med BLEU ger METEOR generellt en mer omfattande utvärdering av översättningskvaliteten, särskilt när det gäller semantisk likhet. Det är dock beräkningsmässigt dyrare och kan vara långsammare att beräkna.
3. ROUGE
ROUGE (Recall - Oriented Understudy for Gisting Evaluation) är en uppsättning mått som ursprungligen utformades för att utvärdera automatisk textsammanfattning, men den har också tillämpats på maskinöversättning. ROUGE mäter överlappningen mellan kandidatöversättningen och referensöversättningarna i termer av n - gram, hoppa över - bigram och längsta vanliga undersekvenser.
ROUGE - N mäter n - gram återkallelse, där N kan vara 1, 2, etc. ROUGE - L mäter den längsta gemensamma undersekvensen mellan kandidaten och referensen. Dessa mätvärden är användbara för att utvärdera förmågan hos maskinöversättningssystemet att fånga nyckelinformationen i källtexten.
4. HAR
Translation Edit Rate (TER) mäter antalet redigeringar (infogningar, raderingar och ersättningar) som krävs för att omvandla kandidatöversättningen till referensöversättningen. Det ger ett mått på översättningens flyt och noggrannhet.
Ett lägre TER-värde indikerar en översättning av bättre kvalitet, eftersom det innebär att färre redigeringar behövs för att matcha referensen. TER är särskilt användbart för att utvärdera översättningens syntaktiska och lexikala noggrannhet.
5. Mänsklig utvärdering
Även om automatiserade mätvärden är bekväma och ofta används, är mänsklig utvärdering fortfarande en viktig del av att bedöma kvaliteten på maskinöversättning. Mänskliga utvärderare kan överväga faktorer som semantisk koherens, kulturell lämplighet och översättningens övergripande läsbarhet.
Mänsklig utvärdering kan utföras genom uppgifter som att betygsätta översättningen på en skala, jämföra olika översättningar eller ge detaljerad feedback. Men mänsklig utvärdering är tidskrävande och föremål för individuella fördomar.
Våra transformatorprodukter för maskinöversättning
Som transformatorleverantör erbjuder vi ett brett utbud av högkvalitativa transformatorprodukter lämpliga för maskinöversättningssystem. VårTransformator av epoxigjuten torrtypger stabil strömförsörjning och pålitlig prestanda, vilket är avgörande för att maskinöversättningsalgoritmer ska fungera smidigt.
Vår11kV oljesänkt transformatorär utformad för att möta de höga effektkraven för storskaliga maskinöversättningsmodeller. Den erbjuder utmärkta isolerings- och värmeavledningsegenskaper, vilket säkerställer långvarig och stabil drift.
Dessutom vår11kv torr typ transformatorär en kostnadseffektiv lösning för små till medelstora maskinöversättningstillämpningar. Den är enkel att installera och underhålla, vilket gör den till ett populärt val bland våra kunder.
Slutsats
Sammanfattningsvis, utvärdering av prestandan hos ett transformatorbaserat maskinöversättningssystem kräver en kombination av automatiserade mätvärden och mänsklig utvärdering. Varje mätvärde har sina egna styrkor och begränsningar, och en omfattande utvärdering bör ta hänsyn till flera aspekter av översättningskvaliteten.
Som transformatorleverantör har vi åtagit oss att tillhandahålla transformatorprodukter av hög kvalitet för att stödja utvecklingen och driften av maskinöversättningssystem. Om du är intresserad av våra produkter och vill diskutera upphandling är du välkommen att kontakta oss. Vi ser fram emot att arbeta med dig för att uppnå bättre prestanda för maskinöversättning.
Referenser
- Papineni, K., Roukos, S., Ward, T., & Zhu, WJ (2002). BLEU: en metod för automatisk utvärdering av maskinöversättning. Handlingar av det 40:e årsmötet om förening för datalingvistik.
- Banerjee, S., & Lavie, A. (2005). METEOR: Ett automatiskt mått för MT-utvärdering med förbättrad korrelation med mänskliga bedömningar. Handlingar från acl-workshopen om inre och yttre utvärderingsåtgärder för maskinöversättning och/eller sammanfattning.
- Lin, CY (2004). ROUGE: Ett paket för automatisk utvärdering av sammanfattningar. Handlingarna från workshopen om textsammanfattning grenar ut.
- Snover, M., Dorr, B., Schwartz, R., Micciulla, L., & Makhoul, J. (2006). En studie av översättningsredigeringshastighet med målinriktad mänsklig kommentar. Proceedings of Association for Machine Translation in the Americas.