Porównaj ciągi znaków JavaScript Zwrot% prawdopodobieństwa

87

Szukam funkcji JavaScript, która może porównać dwa ciągi i zwrócić prawdopodobieństwo, że są podobne. Patrzyłem na soundex, ale nie jest to zbyt dobre dla ciągów wielowyrazowych lub nienazwanych. Szukam funkcji takiej jak:

function compare(strA,strB){

}

compare("Apples","apple") = Some X Percentage.

Funkcja działałaby ze wszystkimi typami ciągów, w tym liczbami, wartościami składającymi się z wielu słów i nazwami. Może istnieje prosty algorytm, którego mógłbym użyć?

Ultimately none of these served my purpose so I used this:

 function compare(c, u) {
        var incept = false;
        var ca = c.split(",");
        u = clean(u);
        //ca = correct answer array (Collection of all correct answer)
        //caa = a single correct answer word array (collection of words of a single correct answer)
        //u = array of user answer words cleaned using custom clean function
        for (var z = 0; z < ca.length; z++) {
            caa = $.trim(ca[z]).split(" ");
            var pc = 0;
            for (var x = 0; x < caa.length; x++) {
                for (var y = 0; y < u.length; y++) {
                    if (soundex(u[y]) != null && soundex(caa[x]) != null) {
                        if (soundex(u[y]) == soundex(caa[x])) {
                            pc = pc + 1;
                        }
                    }
                    else {
                        if (u[y].indexOf(caa[x]) > -1) {
                            pc = pc + 1;
                        }
                    }
                }
            }
            if ((pc / caa.length) > 0.5) {
                return true;
            }
        }
        return false;
    }

    // create object listing the SOUNDEX values for each letter
    // -1 indicates that the letter is not coded, but is used for coding
    //  0 indicates that the letter is omitted for modern census archives
    //                              but acts like -1 for older census archives
    //  1 is for BFPV
    //  2 is for CGJKQSXZ
    //  3 is for DT
    //  4 is for L
    //  5 is for MN my home state
    //  6 is for R
    function makesoundex() {
        this.a = -1
        this.b = 1
        this.c = 2
        this.d = 3
        this.e = -1
        this.f = 1
        this.g = 2
        this.h = 0
        this.i = -1
        this.j = 2
        this.k = 2
        this.l = 4
        this.m = 5
        this.n = 5
        this.o = -1
        this.p = 1
        this.q = 2
        this.r = 6
        this.s = 2
        this.t = 3
        this.u = -1
        this.v = 1
        this.w = 0
        this.x = 2
        this.y = -1
        this.z = 2
    }

    var sndx = new makesoundex()

    // check to see that the input is valid
    function isSurname(name) {
        if (name == "" || name == null) {
            return false
        } else {
            for (var i = 0; i < name.length; i++) {
                var letter = name.charAt(i)
                if (!(letter >= 'a' && letter <= 'z' || letter >= 'A' && letter <= 'Z')) {
                    return false
                }
            }
        }
        return true
    }

    // Collapse out directly adjacent sounds
    // 1. Assume that surname.length>=1
    // 2. Assume that surname contains only lowercase letters
    function collapse(surname) {
        if (surname.length == 1) {
            return surname
        }
        var right = collapse(surname.substring(1, surname.length))
        if (sndx[surname.charAt(0)] == sndx[right.charAt(0)]) {
            return surname.charAt(0) + right.substring(1, right.length)
        }
        return surname.charAt(0) + right
    }

    // Collapse out directly adjacent sounds using the new National Archives method
    // 1. Assume that surname.length>=1
    // 2. Assume that surname contains only lowercase letters
    // 3. H and W are completely ignored
    function omit(surname) {
        if (surname.length == 1) {
            return surname
        }
        var right = omit(surname.substring(1, surname.length))
        if (!sndx[right.charAt(0)]) {
            return surname.charAt(0) + right.substring(1, right.length)
        }
        return surname.charAt(0) + right
    }

    // Output the coded sequence
    function output_sequence(seq) {
        var output = seq.charAt(0).toUpperCase() // Retain first letter
        output += "-" // Separate letter with a dash
        var stage2 = seq.substring(1, seq.length)
        var count = 0
        for (var i = 0; i < stage2.length && count < 3; i++) {
            if (sndx[stage2.charAt(i)] > 0) {
                output += sndx[stage2.charAt(i)]
                count++
            }
        }
        for (; count < 3; count++) {
            output += "0"
        }
        return output
    }

    // Compute the SOUNDEX code for the surname
    function soundex(value) {
        if (!isSurname(value)) {
            return null
        }
        var stage1 = collapse(value.toLowerCase())
        //form.result.value=output_sequence(stage1);

        var stage1 = omit(value.toLowerCase())
        var stage2 = collapse(stage1)
        return output_sequence(stage2);

    }

    function clean(u) {
        var u = u.replace(/\,/g, "");
        u = u.toLowerCase().split(" ");
        var cw = ["ARRAY OF WORDS TO BE EXCLUDED FROM COMPARISON"];
        var n = [];
        for (var y = 0; y < u.length; y++) {
            var test = false;
            for (var z = 0; z < cw.length; z++) {
                if (u[y] != "" && u[y] != cw[z]) {
                    test = true;
                    break;
                }
            }
            if (test) {
    //Don't use & or $ in comparison
                var val = u[y].replace("$", "").replace("&", "");
                n.push(val);
            }
        }
        return n;
    }
Brad Ruderman
źródło
Testuję to, nadal mam problem ze znalezieniem idealnego. Klasyczny przykład, który je łamie. Powiedzmy, że pytanie brzmi: „Jacy są pierwsi dwaj prezydenci?” a ktoś odpowiada „adams i waszyngton”. Sznurkowe porównanie do „george washington john adams” powinno wynosić mniej więcej 50%.
Brad Ruderman
oof, zależy od jQuery?
Shawn Whinnery

Odpowiedzi:

138

Oto odpowiedź oparta na odległości Levenshteina https://en.wikipedia.org/wiki/Levenshtein_distance

function similarity(s1, s2) {
  var longer = s1;
  var shorter = s2;
  if (s1.length < s2.length) {
    longer = s2;
    shorter = s1;
  }
  var longerLength = longer.length;
  if (longerLength == 0) {
    return 1.0;
  }
  return (longerLength - editDistance(longer, shorter)) / parseFloat(longerLength);
}

Do obliczania odległości edycji

function editDistance(s1, s2) {
  s1 = s1.toLowerCase();
  s2 = s2.toLowerCase();

  var costs = new Array();
  for (var i = 0; i <= s1.length; i++) {
    var lastValue = i;
    for (var j = 0; j <= s2.length; j++) {
      if (i == 0)
        costs[j] = j;
      else {
        if (j > 0) {
          var newValue = costs[j - 1];
          if (s1.charAt(i - 1) != s2.charAt(j - 1))
            newValue = Math.min(Math.min(newValue, lastValue),
              costs[j]) + 1;
          costs[j - 1] = lastValue;
          lastValue = newValue;
        }
      }
    }
    if (i > 0)
      costs[s2.length] = lastValue;
  }
  return costs[s2.length];
}

Stosowanie

similarity('Stack Overflow','Stack Ovrflw')

zwraca wartość 0,8571428571428571


Możesz się nim bawić poniżej:

overlord1234
źródło
Ulepszenie kilku słów: var podobieństwo2 = funkcja (s1, s2) {var split1 = s1.split (''); var split2 = s2.split (''); var sum = 0; var max = 0; var temp = 0; for (var i = 0; i <split1.length; i ++) {max = 0; for (var j = 0; j <split2.length; j ++) {temp = podobieństwo (split1 [i], split2 [j]); if (max <temp) max = temp; } console.log (max); sum + = max / split1.length; } suma zwrotu; };
infinito84
@ overlord1234 Czy powyższa metoda działa dla ciągu znaków takiego: 9e27dbb9ff6eea70821c02b4457cbc6b7eb8e12a64f46c192c3a05f1bc1519acd101193dac157c6233d9d773f9b364ca210d6287f965bea00?
hyperfkcb
Działa ze łańcuchami bez przypisanej do nich semantyki. Spróbuj uruchomić wbudowany fragment kodu (dzięki Davidowi). Otrzymuję podobieństwo 0,17857142857142858, gdy wprowadzam wyżej wymienione ciągi.
overlord1234
@hyperfkcb implementuje algorytm edycji odległości, który zlicza, ile znaków jest na niewłaściwej pozycji (mniej więcej), więc do obliczenia procentu bierze dłuższą możliwą wartość odległości edycji (longLength) i robi (longLength - editDistance) / dłuższa.
infinito84
Jednak jest zbyt wolny dla długich strun.
upupming
14

Oto bardzo prosta funkcja, która przeprowadza porównanie i zwraca wartość procentową na podstawie równoważności. Chociaż nie został przetestowany we wszystkich możliwych scenariuszach, może pomóc w rozpoczęciu.

function similar(a,b) {
    var equivalency = 0;
    var minLength = (a.length > b.length) ? b.length : a.length;    
    var maxLength = (a.length < b.length) ? b.length : a.length;    
    for(var i = 0; i < minLength; i++) {
        if(a[i] == b[i]) {
            equivalency++;
        }
    }
    

    var weight = equivalency / maxLength;
    return (weight * 100) + "%";
}
alert(similar("test","tes"));   // 75%
alert(similar("test","test"));  // 100%
alert(similar("test","testt")); // 80%
alert(similar("test","tess"));  // 75%
jmort253
źródło
9
Problem polega na tym, że „atest” i „test” zwracają 0%, co, jak wiemy, nie jest prawdą.
peresisUser
8

Używanie tej biblioteki do podobieństwa ciągów zadziałało dla mnie jak urok!

Oto przykład -

var similarity = stringSimilarity.compareTwoStrings("Apples","apple");    // => 0.88
Tushar Walzade
źródło
6
To świetnie, z wyjątkiem tego, że stringSimilarity ma zależność zwaną lodash, która zawiera ponad 1000 plików umieszczanych w twoim projekcie, abyś mógł uzyskać podobieństwo ciągów.
GrumpyCrouton
2
Tak, dzieje się to podczas lokalnego dodawania pakietu. Zamiast tego możemy użyć CDN, aby uzyskać mniejszy rozmiar pakietu. Oto linki CDN - jsdelivr.com/package/npm/lodash - jsdelivr.com/package/npm/string-similarity
Tushar Walzade
2
Usunęli większość zależności, w tym lodash
Lovenkrands
7

Tylko jeden, który szybko napisałem, który może być wystarczająco dobry do twoich celów:

function Compare(strA,strB){
    for(var result = 0, i = strA.length; i--;){
        if(typeof strB[i] == 'undefined' || strA[i] == strB[i]);
        else if(strA[i].toLowerCase() == strB[i].toLowerCase())
            result++;
        else
            result += 4;
    }
    return 1 - (result + 4*Math.abs(strA.length - strB.length))/(2*(strA.length+strB.length));
}

To waży znaki, które są takie same, ale w innym przypadku, o jedną czwartą tak samo, jak znaki, które są zupełnie inne lub których brakuje. Zwraca liczbę od 0 do 1, przy czym 1 oznacza, że ​​ciągi są identyczne. 0 co oznacza, że ​​nie mają podobieństw. Przykłady:

Compare("Apple", "Apple")    // 1
Compare("Apples", "Apple")   // 0.8181818181818181
Compare("Apples", "apple")   // 0.7727272727272727
Compare("a", "A")            // 0.75
Compare("Apples", "appppp")  // 0.45833333333333337
Compare("a", "b")            // 0
Paweł
źródło
6
Niezbyt dokładne: Porównaj („Apple”, „zApple”) = 0,07, a Porównaj („Apple”, „Applez”) = 0,84
Kousha
3
@Kousha, to jest pozycyjne. „Apple” i „zApple” mają tylko jedną wspólną literę (drugą p).
Paul
2
@Paulpro Apple i zApple mają logicznie pięć wspólnych liter. To twoja wina implementacji. Apple, zApple, Applez są podobne.
Kousha
2
@Kousha, zApple nie jest podobne zgodnie z tym algorytmem, ponieważ jest pozycyjne. To nie oznacza, że ​​algorytm jest nieprawidłowy.
Paul
8
@Paulpro: To nie oznacza, że ​​algorytm jest nieprawidłowy, ale kiepska odpowiedź na to pytanie ...
MarcoS
6

A co similar_textz funkcją z biblioteki PHP.js ?

Opiera się na funkcji PHP o tej samej nazwie .

function similar_text (first, second) {
    // Calculates the similarity between two strings  
    // discuss at: http://phpjs.org/functions/similar_text

    if (first === null || second === null || typeof first === 'undefined' || typeof second === 'undefined') {
        return 0;
    }

    first += '';
    second += '';

    var pos1 = 0,
        pos2 = 0,
        max = 0,
        firstLength = first.length,
        secondLength = second.length,
        p, q, l, sum;

    max = 0;

    for (p = 0; p < firstLength; p++) {
        for (q = 0; q < secondLength; q++) {
            for (l = 0;
            (p + l < firstLength) && (q + l < secondLength) && (first.charAt(p + l) === second.charAt(q + l)); l++);
            if (l > max) {
                max = l;
                pos1 = p;
                pos2 = q;
            }
        }
    }

    sum = max;

    if (sum) {
        if (pos1 && pos2) {
            sum += this.similar_text(first.substr(0, pos2), second.substr(0, pos2));
        }

        if ((pos1 + max < firstLength) && (pos2 + max < secondLength)) {
            sum += this.similar_text(first.substr(pos1 + max, firstLength - pos1 - max), second.substr(pos2 + max, secondLength - pos2 - max));
        }
    }

    return sum;
}
Wizja
źródło
1
Czy podobieństwo jest zwracane na podstawie pasującego znaku? Jak ocenia podobieństwo
hyperfkcb
3

Aby znaleźć stopień podobieństwa między dwoma ciągami; możemy użyć więcej niż jednej lub dwóch metod, ale ja jestem bardziej skłonny do używania współczynnika kostek . co jest lepsze! dobrze w mojej wiedzy niż używanie odległości Levenshteina

Używając tego pakietu podobieństwa ciągów z npm będziesz mógł pracować nad tym, co powiedziałem powyżej.

kilka prostych przykładów użycia

var stringSimilarity = require('string-similarity');

var similarity = stringSimilarity.compareTwoStrings('healed', 'sealed'); 

var matches = stringSimilarity.findBestMatch('healed', ['edward', 'sealed', 'theatre']);

po więcej, odwiedź link podany powyżej. Dziękuję Ci.

Leon Grin
źródło
1
Link do rozwiązania jest mile widziany, ale upewnij się, że Twoja odpowiedź jest przydatna bez niego: dodaj kontekst wokół linku, aby inni użytkownicy mieli pojęcie, co to jest i dlaczego się tam znajduje, a następnie zacytuj najbardziej odpowiednią część strony, którą podałeś. ponowne łącze w przypadku, gdy strona docelowa jest niedostępna. Odpowiedzi, które są niewiele więcej niż linkiem, mogą zostać usunięte .
David Buck
1

fuzzyset - rozmyty ciąg znaków ustawiony dla javascript. fuzzyset to struktura danych, która wykonuje coś podobnego do wyszukiwania pełnotekstowego na podstawie danych w celu określenia prawdopodobnych błędów w pisowni i przybliżonego dopasowania ciągów. Zauważ, że jest to port javascript biblioteki Pythona.

Octavio Díaz
źródło