UnicodeEncodeError: 'ascii' кодек не может закодировать символ u'\xa0' на позиции 20: номер не в диапазоне (128)

Это классическая проблема с юникодом в Python! Рассмотрим следующий пример:

a = u'bats\u00E0'
print(a)
# => batsà

Пока всё в порядке, но если мы вызовем str(a), давайте посмотрим, что произойдет:

str(a)
# Traceback (most recent call last):
#   File "<stdin>", line 1, in <module>
# UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Ой, это не поможет никому! Чтобы исправить ошибку, явно закодируйте байты с помощью .encode и укажите Python, какой кодек использовать:

a.encode('utf-8')
# => 'bats\xc3\xa0'
print(a.encode('utf-8'))
# => batsà

Вот и всё!

Проблема в том, что когда вы вызываете str(), Python использует кодировку по умолчанию, чтобы попытаться закодировать байты, которые вы ему передали, а в вашем случае это иногда представления юникодных символов. Чтобы решить проблему, вы должны указать Python, как обрабатывать строку, которую вы ему передаете, используя .encode('ваш_кодек'). В большинстве случаев вам будет достаточно использовать utf-8.

Для превосходного объяснения этой темы посмотрите презентацию Нэда Бэтчелдера на PyCon здесь: http://nedbatchelder.com/text/unipain.html

Я нашел элегантное решение для удаления символов и сохранения строки в формате строки следующим образом:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Важно отметить, что использование опции ignore является опасным, так как оно тихо удаляет все символы Unicode (и поддержку интернационализации) в коде, который его использует. Например, если выполнить следующий код:

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

Мы видим, что строка "Malmö" преобразуется в "Malm", и символ "ö" просто отбрасывается. Будьте осторожны с использованием этого метода, если поддержка международных символов важна для вашего приложения.

Я пробовал всё, что только можно, но ничего не помогло. После того как погуглил, я нашёл следующее решение, и оно сработало. У меня используется Python 2.7.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Для того чтобы найти поддерживаемую локализацию UTF-8 в оболочке, выполните следующие шаги:

1. Используйте следующую команду, чтобы отобразить все доступные локали и отфильтровать только UTF-8:

   locale -a | grep "UTF-8"
   

2. Экспортируйте выбранную локализацию перед выполнением скрипта. Например:

   export LC_ALL=$(locale -a | grep UTF-8)
   

   Или вы можете установить локализацию вручную:

   export LC_ALL=C.UTF-8
   

3. Проверьте, работает ли это, попытавшись вывести специальный символ, например ™:

   python -c 'print(u"\u2122");'
   

Эти шаги были протестированы в Ubuntu.

На самом деле, я обнаружил, что в большинстве случаев проще всего удалить эти символы. Вот пример кода:

s = mystring.decode('ascii', 'ignore')

Таким образом, все некорректные символы просто игнорируются, и вы получаете строку, содержащую только допустимые символы ASCII.