분류 전체보기 썸네일형 리스트형 이클립스(eclipse)에서 웹 크롤링 윤리어떤 웹 사이트는 크롤링을 하면 안된다. 특정 시간 내에 너무 많은 크롤링을 하면 해당 사이트에서 접속을 차단할 수도 있다. 좋은 목적으로 써야함(해커 입장이 아닌...), 웹 크롤링을 활용해서 돈 벌기 : http://www.entropywebscraping.com/2017/01/01/big-list-web-scraping-uses/함정은 단순히 크롤링을 해서 돈을 자동으로 벌지는 못한다는 점이다. 명확한 목표가 있어야하고 이런 저런 데이터를 긁어 모은 뒤 돈이 되게 해주는 데이터 과학자 등의 고급 인력이 필요할 수도 있다... jsoupHTML 기반의 내용물에 쓰이는 자바 기반의 라이브러리다.데이터를 추출하고 다룰 수 있도록 매우 편리한 API를 제공한다.기능 : CSS selector, DOM .. 텐서플로우 설치, 신경망 모델, 다층 퍼셉트론, 컨볼루션 신경망 코드 텐서플로우를 윈도우 환경에서 사용하기 위해 아나콘다(Anaconda)를 설치한다.아나콘다는 파이썬과 R을 기반으로 개발된 각종 오픈 소스 패키지들을 버전에 맞춰 자동으로 설치하고 사용할 수 있도록 하는 환경을 만들고관리하는 플랫폼이다. www.continuum.io/downloads에서 파이썬 버전 3인 아나콘다를 다운로드한다. 설치가 완료되면Anaconda prompt를 실행시키고 다음과 같이 tensorflow라는 이름의 콘다 환경을 생성한다.>conda create -n tensorflow python=3.5위 명령에 의해 tensorflow라는 콘다 환경이 사용자 폴더 아래 생긴다. 파이썬 3.5버전과 pip, setuptools, wheel, vs2015_runtime 등의 패키지가 설치된다. .. 생산자 소비자 쓰레드 Producer and Consumer Thread 라즈베리 파이에서 터미널 창 켜고 xx.c 파일 하나 만든 뒤 아래 코드 입력.gcc -o xx xx.c -pthread로 컴파일./xx 로 실행 제대로 된 쓰레드를 구현한 건지 아직 모르겠다. 아래 코드는 생산자와 소비자의 관계를 구현한 것이다. 메인함수에서는 생산자, 소비자 쓰레드를 생성해준다. 생산자는 큐가 꽉 차지 않았다면 큐에 원소를 넣고 꽉 차면 빌 때까지 기다린다(?)소비자는 큐에 있는 값을 얻어서 출력하고 큐가 비었다면 기다린다(?). #include #include #define MAX 5 int buffer[MAX]; //생성한 값을 넣는 버퍼int fill_ptr=0;int use_ptr=0;int count=0;int loops=1000; //typedef struct __int p.. 가장 빨리 부자되는 법 - 책그림, 체인지 그라운드 https://www.youtube.com/watch?v=zYBYF6BZgDY https://www.youtube.com/watch?v=pDFYUNeGf5A 웹 크롤러 IT 기업 채용 정보 크롤링을 위한 기초 1. 파이썬을 설치해야함2. 파이썬 개발 환경인 pycharm을 설치해야함.3. 윈도우 OS... cmd 창을 켜고 cd AppData\Local\Programs\Python\Python36-32\Scripts 입력해서 파이썬이 설치된 폴더로 이동4. pip install beautifulsoup45. pip install lxml6. pip install html5lib7. pip 업그레이드하라고 나오면 pip install --upgrade pip8. pycharm 켜고 폴더 생성, 파일 생성. 파일명은 crawler.py 정도로..9. 아래 코드 입력후 ctrl + shift + F10 으로 실행해보기.10. 결과 창에 뭐가 나오는지 확인 아래는 간단 코드... 리눅스 마스터 2급 (고대유물) 예전에 수업 듣는데 자격증 따면 성적 잘 준다는 (가짜)교수가 있어서 당연히 땄다. 기억 속에 흐릿하게 남아있던 자격증... topcit 아마 정보통신기술진흥센터 주관 Opic IH 학교에서 지원해주는 어학원비로 겨울방학에 1달 간 학원을 다녔다. 수업 내용은 기출 문제 나눠주고 스크립트 달달 외우기, 스크립트 읽고 조금씩 가려서 읽기 정도였다.혼자 열심히 공부하다가 잘 못 볼 것 같아서 나중에 하기로 하고 미룬다. 미루다보니 3월을 지나 4월에 봤다. 학교도 다니고 아무튼 오픽에 전념할 시간은 없었다. 전에 짜둔 질문에 대한 나만의 답변을 조금 훑어보고 아는 것만 나오길 바라면서 시험장에 갔다. 시험장의 시험 인원은 총 5명... 시험 시작을 하고 말이 끝나면 바로 그냥 조용해진다. 다른 사람이 하는 말이 다 들리는데 집중을 잘 해야한다. 나름 집중한다고 했는데 말하면서 질문이 뭐였는지 기억도 잘 안난다. 다행히 15문제 모두 아는 질문이었다. 그러나 답변은 시원치 않았던 것 같다.. 이전 1 ··· 38 39 40 41 42 43 44 ··· 69 다음
