Hogyan érti az MI a szöveget? (NLP)

🔤 Tokenek: az MI "abc"-je

Az MI nem betűket vagy szavakat olvas, hanem tokeneket. Egy token lehet egy szó, egy szótag vagy csak pár betű.