“Il est fâcheux que cela traîne en longueur…” tokens characters lemmas motifs
unigrams [‘Il’, ‘est’, ‘fâcheux’, ‘que’, ‘cela’, ‘traîne’, ‘en’, ‘longueur’, ‘...’] [‘I’, ‘l’, ‘ ’, ‘e’, ‘s’, ‘t’, ‘ ’, ‘f’, ‘â’, ‘c’, ‘h’, ‘e’, ‘u’, ‘x’, ‘ ’, ‘q’, ‘u’, ‘e’, ‘ ’, ‘c’, ‘e’, ‘l’, ‘a’, ‘ ’, ‘t’, ‘r’, ‘a’, ‘î’, ‘n’, ‘e’, ‘ ’, ‘e’, ‘n’, ‘ ’, ‘l’, ‘o’, ‘n’, ‘g’, ‘u’, ‘e’, ‘u’, ‘r’, ‘...’] [‘il’, ‘être’, ‘fâcheux’, ‘que’, ‘cela’, ‘traîner’, ‘en’,
‘longueur’, ‘…’]
[‘il’, ‘être’, ‘ADJ’, ‘que’,
‘cela’, ‘PRES’, ‘en’, ‘NC’, ‘...’]
bigrams [(‘Il’,‘est’), (‘est’,‘fâcheux’), (‘fâcheux’,‘que’), (‘que’,‘cela’), (‘cela’,‘traîne’), (‘traîne’,‘en’), (‘en’,‘longueur’), (‘longueur’,‘...’)] [‘Il’, ‘l ’, ‘ e’, ‘es’, ‘st’, ‘t ’, ‘ f’, ‘fâ’, ‘âc’, ‘ch’, ‘he’, ‘eu’, ‘ux’, ‘x ’, ‘ q’, ‘qu’, ‘ue’, ‘e ’, ‘ c’, ‘ce’, ‘el’, ‘la’, ‘a ’, ‘ t’, ‘tr’, ‘ra’, ‘aî’, ‘în’, ‘ne’, ‘e ’, ‘ e’, ‘en’, ‘n ’, ‘ l’, ‘lo’, ‘on’, ‘ng’, ‘gu’, ‘ue’, ‘eu’, ‘ur’, ‘r...’] [(‘Il’,‘être’), (‘être’,‘fâcheux’),(‘fâcheux’,‘que’), (‘que’,‘cela’), (‘cela’,‘traîner’), (‘traîner’,‘en’), (‘en’,‘longueur’), (‘longueur’,‘...’)] [(‘Il’,‘être’), (‘être’,‘ADJ’),(‘ADJ’,‘que’), (‘que’,‘cela’), (‘cela’,‘PRES’), (‘PRES’,‘en’), (‘en’,‘NC’), (‘NC’,‘...’)]