Jak tokenizować ciąg w JavaScript

Aby rozwiązać problem tokenizacji ciągów, niektóre języki oferują specjalne zajęcia. W JavaScript brak dedykowanych klas lub funkcji nie obsługuje problemów z tokenizacją. Mamy jednak skuteczny mechanizm w postaci wyrażeń regularnych. Dlatego użyj wyrażeń regularnych z predefiniowaną metodą JavaScript, aby analizować struny w tokeny do tokenizacji.

Ten artykuł ilustruje procedurę tokenizacji ciągów JavaScript.

Jak tokenizować ciąg w JavaScript?

Aby tokenizować ciąg w JavaScript, użyj wbudowanej metody JavaScript o nazwie „podział()" metoda. Metoda JavaScript split () dzieli ciąg na tablicę podłoża. Oryginalny ciąg nie został zmieniony. Wymaga dwóch opcjonalnych parametrów, które wskazują, jak powinna działać metoda.

Jak tokenizować ciąg za pomocą metody split ()?

Postępuj zgodnie z poniższą składnią metody split () tokenizacji ciągu w JavaScript:

strunowy.split (separator, limit);

• • Tutaj "separator”Jest postać alfanumeryczna lub niealfanumeryczna, taka jak przestrzeń lub wzór regex, jest używany jako parametr separatora do określenia, gdzie podzielić ciąg.
  • "limit”Jest liczbą całkowitą wskazującą liczbę podziałów.
  • Metoda jest wywoływana na zmiennej, która ma wartość ciągu za pomocą zapisu kropki.
  • Zwraca szereg podkładów na podstawie argumentów, a jeśli nie zostanie przekazany żaden parametr w metodzie, zwróci cały ciąg.

Przykład 1

W poniższym przykładzie najpierw utwórz zmienną „str”I przechowuj w nim ciąg:

var str = "Linuxhint to najlepsza strona internetowa umiejętności uczenia się";

Teraz podziel ciąg na tokeny za pomocą „podział()„Metoda, przekazując („”) jako argument. Przestrzeń wskazuje, że ciąg zostanie podzielony w miarę wystąpienia przestrzeni:

var strtoken = str.podział(" ");

Na koniec wydrukuj tokeny na konsoli za pomocą „konsola.dziennik()" metoda:

konsola.log (strToken);

Wyjście wyświetla tablicę podłoża na podstawie separatora „przestrzeń”(„”):

Metoda split () również przyjmuje „Wzór regularnego”Jako separator zamiast konkretnego postaci jako argument:

var strtoken = str.split (/\ w+/);

Tutaj, we wzorze Regex, do przodu (/) wskazuje początek i koniec wzoru, podczas (\ W) to Metacharacter, który pasuje do wszystkich postaci alfanumerycznych A-Z, A-Z, 0-9 bez białych przestrzeni. Chwila (+) Wskazuje wiele dopasowań.

Wyjście

Jeśli chcesz uzyskać tokeny określonej długości z ciągu, postępuj zgodnie z daną sekcją.

Przykład 2

Teraz tokenizuj ciąg o długości trzeciej z ciągu. Aby to zrobić, użyj „filtr()„Metoda z„podział()" metoda:

var strtoken = str.podział(" ").filtr (funkcja (token)
Powrót token.długość == 3;
);

Wydrukuj powstałe tokeny na konsoli:

konsola.log (strToken);

Wyjście wskazuje, że tylko podjazdy o długości 3 są zwracane z ciągu:

Wniosek

Aby tokenizować ciąg w JavaScript, możesz użyć „podział()" metoda. Metoda split () dzieli ciąg w zależności od jego wejścia „separator". Może podzielić ciąg na wiele mniejszych ciągów w zależności od argumentów. Jeśli metoda nie otrzyma żadnych parametrów, cały ciąg zostanie wydrukowany. Jeśli chcesz uzyskać tokeny o określonej długości z ciągu, użyj „filtr()„Metoda z metodą split (). W tym artykule proces tokenizacji łańcucha w JavaScript jest zilustrowany przykładami.