류동균의 R 공부방입니다.

Github란 무엇인가? GitHub는 온라인상에 git데이터를 저장해주는 저장소이며 파일을 관리해주는 사이트 라고 할 수 있다. 또한 단순히 파일을 저장하는 기능이 있는 것 뿐만 아니라 하나의 프로젝트에 여러 사람들이 코드를 공유하고 제작하는 목적으로 사용한다. Github는 단순히 save가 아닌 commit, push의 형태로 파일을 저장한다. 이를 통해 하나의 프로젝트에 여러인원이 투입 될 경우 총괄하는 매니저와 팀원으로 나누어 프로젝트를 동시에 여러인원이 생성 및 수정하여 commit하고 매니저의 승인을 통해 push하는 구조라고 생각된다. Github 환경 구축하기 1. Repository 생성 우선 Github 사이트( https://github.com/ ) 에 접속해서 회원가입을 해주도록한..

이번글에서는 Window10 환경에서 WSL로 Linux ubuntu 환경을 사용하는 글을 써보려한다. Linux환경에서 공부하거나 프로그래밍을 하고싶은데 AWS EC2인스턴스의 요금을 내기 부담스러울때, 회사에서 따로 Linux환경을 제공하지 않을 때 WSL을 사용하여 Linux환경을 구축하면 좋을 것 같다. WSL(Windows Subsystems for Linux)은 window10에서만 지원하며 ubuntu, centos, redhat 등 다양한 환경을 사용할 수 있으니 용도에 맞게 사용하면 될 것 같다. WSL 환경설정 Ubuntu를 다운받기 전에 WSL 환경설정이 필요하다. 1. 제어판으로 이동, 프로그램 및 기능 클릭 2. Windows 기능 켜기/끄기 클릭 3. Linux용 Windows ..

저번글에 이어 서울시 2018 치킨, 중식, 피자 통화량 데이터를 분석해보고자 한다. 분석하기에 앞서 우선 1년치 자료를 다 통합해야하는데 그 과정에 조금 문제가 생긴다. 우선 이러한 문제를 해결하고 2018년도 1년치 치킨, 중식, 피자 데이터를 통합해보자. 우선 데이터를 2018 1월 ~12월 데이터를 준비해보자 데이터는 다음의 링크에서 다운받아 주도록한다. sk data hub : https://www.bigdatahub.co.kr/index.do SKT Data Hub [2018년 데이터 총 결산] 배달업종 이용현황 분석 빅데이터 허브에서 제공해 드리는 데이터 [배달업종 이용현황 분석]을 이용하여, 2018년도 배달음식 통화량에 대해 분석했습니다. www.bigdatahub.co.kr 데이터를 받..

저번글에서 네이버 날씨를 크롤링하고 그것을 Rmd보고서로 작성후 html파일로 변환하는 블로그를 작성했었다. 이번에는 Linux의 crontab을 이용하여 이러한 보고서 특정시간에 반복적으로 생성되도록 자동화를 할 것이다. 링크 : 네이버 날씨 크롤링, Rmd보고서 작성 crontab 이란? 크론탭은 Linux환경에서 매일 혹은 매주 등 주기적으로 반복적인 작업을 요할 경우 작업을 예약하는 기능이다. # 크론탭 설정 * * * * * file 분 시 일 월 요일 실행할파일 분 : 0-59 시 : 0-23 일 : 0-31 월 : 1-12 요일 : 0-7 (0/7 = 일, 1 = 월 2 = 화 ...) crontab 명령어 crontab은 -e, -l, -r 3가지의 명령어가 있다. 사용법은 다음과 같다. ..

이번 블로그에서는 웹크롤링을 한번 해보려한다. 또한 이 글에 이어 다음글에서는 Linux crontab을 통한 업무 자동화 또한 간단히 해볼 예정인데 매일의 날씨를 알려주는 Rmd파일을 만들어보자. 그럼 바로 시작해보자. 크롤링 데이터 파악하기 날씨데이터는 다음의 URL에서 크롤링할 예정이다. URL에 접속하여 F12를 누르고 html을 확인해보자. 링크 : 네이버날씨 링크에 접속하면 서울경기 ... 제주 까지 전국의 날씨가 나오는 것을 확인 할 수 있다. html에서 이 데이터를 파악해보면 table태그에서 table의 class가 ".tbl_weather.tbl_today"로 나오는 것을 확인 할 수 있다. 결과적으로 우리가 크롤링해야 할 데이터는 필요없는 것들을 제외하고 ".tbl_weather.t..

AWS서버에 Jupyter notebook을 설치해보자. 우선 Jupyter notebook을 설치하기위해 선행되어야 할 부분이 있는데 바로 파이썬 업데이트다. Linux환경에서 파이썬이 기본적으로 깔려있을텐대 default버전이 python2.버전일 것이다. 이글에서는 anaconda를 3버전으로 설치할 예정이기 때문에 python홈페이지에 접속하여 카테고리에 download -> source code에서 파이썬 최신버전 source code를 복사해 Linux에서 실행하여 파이썬 최신버전을 깔아주도록 해야한다. 그렇다면 python3이 설치됬다는 가정하에 다음의 링크에 접속해서 Download를 눌러보자. 링크 : anconda ANACONDA 설치 1. 파일다운로드 다운로드 페이지에서 Linux를 ..