2018-05-27 20:06:41 [scrapy.core.scraper] ERROR: Spider error processing <GET http://www.jobkorea.co.kr/starter/?schLocal=&schPart=10016&schMajor=&schEduLevel=&schWork=&schCType=&isSaved=1&LinkGubun=0&LinkNo=0&Page=1&schType=0&schGid=0&schOrderBy=0&schTxt=> (referer: None)
parse라는 함수를 제대로 명시하지 않고 임의의 이름을 지어주거나 탐색하려는 태그가 존재하지 않을 경우 발생한다.
규칙을 찾았다고 생각했으나 잘 보면 태그가 조금 다른 부분이 있다. /span[0] 대신 //span을 써서 모든 문장을 가져오는 식으로 해결했다.
'Python' 카테고리의 다른 글
| ImportError: cannot import name 'MongoClient' (4) | 2018.05.29 |
|---|---|
| Scrapy 참고 사이트 (0) | 2018.05.28 |
| Scrapy 한글 깨질 때 해결법 (0) | 2018.05.27 |
| Scrapy response.xpath로 데이터 추출하기 (0) | 2018.05.27 |
| IOError: [Errno 22] invalid mode ('wb') or filename: (0) | 2018.05.27 |