汉语分词

text='我是一名五年级的小学生，我喜欢写程序。'
print(text.split())
CHwords=[]
for word in text.split():
CHwords.extend(word)
print(CHwords)

英语分词

text='I am a chinese girl!!'
EGwords=[]
for word in text.split():
EGwords.append(word)
print(EGwords)

英语简写分词

text='I'm a chinese girl!!'
for char in '-.,;!\n"'': # 将标点符号用空格代替
text=text.replace(char,' ')
print(text)

''的长度是0，因此将words中长度为0的删除。

newwords=[]
for word in text.split(): # 依据空格来进行词语分割
if(len(word)!=0):
# 对于字符变量append()和extend()功能不一样
newwords.append(word)
print(newwords)

程序运行结果：
['我是一名五年级的小学生，我喜欢写程序。']
['我', '是', '一', '名', '五', '年', '级', '的', '小', '学', '生', '，', '我', '喜', '欢', '写', '程', '序', '。']
['I', 'am', 'a', 'chinese', 'girl!!']
I m a chinese girl
['I', 'm', 'a', 'chinese', 'girl']

注释：extend和append的区别不做解释啦