MyCloud

jekyll 블로그로 이전했습니다. 주소는 http://swalloow.github.io 입니다.

로컬 브랜치와 충돌로 인해 pull 오류 발생 시 대처법 error: Your local changes to the following files would be overwritten by merge: ----Please commit your changes or stash them before you merge. Aborting 로컬 브랜치와 충돌로 인해 pull이 이루어지지 않는 경우가 빈번합니다.이에 대한 해결 방법으로 2가지 정도가 있습니다. 해결 방법 1. HEAD 되돌리기첫번째는 가장 최근 commit 했던 이력으로 HEAD를 되돌리는 방법입니다.git reset --hard HEADgit pull 해결 방법 2. git stash 명령어를 이용하기두번째는 stash 명령어를 이용하여 스택에 쌓고..

코엑스에서 열린 SK Tech Planet 2016에 다녀왔습니다 ! 늦었지만 들었던 세션을 중심으로 몇 가지 내용을 정리하고자 합니다. 매 시간마다 세 개의 트랙 중 하나를 선택해서 들을 수 있었는데,저는 주로 머신러닝, 딥러닝, 자연어처리에 대한 세션을 들었습니다. ... 1. Apache Spark은 어떻게 가장 활발한 빅데이터 프로젝트가 되었나 최근 5년 사이의 오픈소스 프로젝트 흐름을 그물망 형태로 보여주신 것이 인상적이었습니다.지난 3~4년간 하둡 중심의 빅데이터 생태계가 이루어졌다면, 현재부터 앞으로는 Spark 중심이 될 것Spark의 가장 큰 장점은 빠르다는 것과 쉽게 사용할 수 있다는 점!한번 공부해볼까? 라는 생각이 들었습니다. 2. Google Tensor Flow & Machine..

Natural Language Processing 파이썬은 한국어 자연어처리를 위해 다양한 라이브러리가 존재합니다.그 중에서 자주 사용하며 필수적인 몇 가지 라이브러리에 대해 소개하겠습니다. 1. KoNLPyKoNLPy는 한국어 형태소 분석기로써 Twitter, Komoran, Mecab 등 다양한형태소 분석기를 모듈화하여 내장하고 있다는 장점이 있습니다.또한, 문서화가 잘되어 있어 사용하기 편리합니다! 링크 : http://konlpy.org/ko/v0.4.4/ 2. hanjahanja는 한자를 한글로 변환시켜주는 라이브러리입니다.한자가 껴있는 텍스트인 경우 전처리 과정에서 많이 사용합니다. 링크 : https://pypi.python.org/pypi/hanja 3. hangulizehangulize는..

얼마전 소프트웨어 마에스트로 서류, 면접을 보았는데,다른 분들의 블로그를 통해 정말 많은 도움이 되었습니다!그래서 저도 후기를 남기기로 결정. 소프트웨어 마에스트로 7기 지원 후기 먼저 서류전형은 진행했던 프로젝트를 쓰는 비중이 가장 높았습니다.어떤 프로젝트인지, 어려웠던 점, 해결방법을 중심으로 적어야 합니다.그리고 소스코드를 제출해야하기 때문에 GItHub을 통해 오픈소스로 관리하는 것을 추천합니다.이외에도 소마에서 진행하려는 프로젝트가 무엇인지, 관심분야에 대한 설명 등의 항목이 있었습니다. 서류를 합격하고 나면 간단한(?) 인적성 테스트를 봅니다.다른 분들은 어떻게 보셨을지 모르겠지만, 좀 어려웠습니다...시간이 부족할 수 있기 때문에 답이 안보이는 문제는 바로 넘어가는 센스가 필요합니다. 마지막..

Git command 1. 저장소 관련 명령어// 로컬 저장소 복제git clone 사용자명@호스트:/원격/저장소/경로 // 추가와 커밋git statusgit add *git commit -m "contents"git push origin master // 원격 서버로 발행git remote add origin 2. 브랜치 관련 명령어// 브랜치 만들기git checkout -b branch_name // 브랜치 이동git checkout master // 브랜치 삭제git branch -d branch_name // 원격 저장소로 전송git push origin branch_name 3. 저장소 갱신과 병합// 저장소 갱신git pull // 변경내용을 현재 브랜치에 병합git merge branch..

Numpy - Sparse Matrix TfidfVectorizer에 bigram을 사용하여 변환된 3068x23466 sparse matrix에 unigram을 이어붙이고 싶을 때,여러 개의 서로 다른 sparse matrix를 이어붙이는 방법에 대해 적어두려고 합니다. 1. np.c_import numpy as np # matrix a, bnp.c_[a, b]* sparse matrix의 경우 'CClass object is not callable' 오류 2. np.concatenateimport numpy as np # matrix a, bnp.concatenate((a, b))* sparse matrix의 경우 'Error While Concatenation - zero-dimensional ar..

Neural Networks: Motivations 이전에 Logistic Regression을 통해 Quadratic model을 분류할 수 있게 되었습니다.하지만 feature가 2~3개가 아니라 10만개가 넘는다면? Logistic Regression으로 성능을 내기 힘들게 됩니다. 대표적인 예시가 컴퓨터 비전 분야입니다. 예를 들어, 사진을 주고 이것이 자동차인지 아닌지 컴퓨터가 구분하는 것입니다.사람이 보기에 자동차의 손잡이는 그냥 손잡이 모양이지만,컴퓨터가 보는 손잡이는 아래와 같은 Binary code로 이루어져 있습니다. 만일 사진의 크기가 500 x 500 픽셀이라면, feature의 수는 25만이 됩니다. 여기에 흑백 사진이 아닌 컬러 사진이라면 RGB가 추가되어 75만개의 featur..

Regression Linear Regression, Logistic Regression, Softmax Regression에 관해 정리한 좋은 자료를 찾아서 공유합니다. 출처 : TensorFlow KR - Deep NLP Study

Logistic Regression Logistic Regression이란, 우리말로 로지스틱 회귀라고 하는데, 역시 전혀 감이 안옵니다.간단히 설명하자면, Logistic Regression은 분류(Classification)를 위한 예측모델입니다.특히 Negative 또는 Positive, 즉 0 또는 1로 정의되는 이항형 문제에서 사용됩니다.Anderw Ng이 들었던 예시는 다음과 같습니다.어떤 암 환자의 종양의 크기에 따라 이것이 악성인지 아닌지를 판단하는 문제입니다. 만일 Linear Regression 처럼 선형 모델을 만들게 되면,종양이 아주 큰 경우에 대해 예측 값이 틀리게 되며, 이러한 오버피팅이 자주 발생하게 됩니다.따라서 No를 0, Yes를 1로 가정했을 때, feature를 어떻게..