Scrapy 한글 깨질 때 해결법

파일의 상단에 # -*- coding: utf-8 -*-를 써도 소용이 없고 encode('utf-8')을 입력해도 소용이 없을 때

settings.py에 가서 아래 한 줄을 추가해주면 된다.

외부에 피드(공급)할 때 인코딩을 어떤 형식으로 지정할 것인지에 대한 설정이다.

FEED_EXPORT_ENCODING = 'utf-8'

FEED_EXPORT_ENCODING

Default: None

The encoding to be used for the feed.

If unset or set to None (default) it uses UTF-8 for everything except JSON output, which uses safe numeric encoding (\uXXXX sequences) for historic reasons.

Use utf-8 if you want UTF-8 for JSON too.

출처

https://doc.scrapy.org/en/latest/topics/feed-exports.html