소년스튜디오

한 줄 요약: 빛도 시간도 없는 40일, 극한의 환경에서 발견한 함정에 빠진 독자. (프랑스는) 코시국 동안 사회가 단절되며 많은 사람들이 심리적 문제를 겪었다고 한다. 작가는 코시국 보다 더 심한, 빛도 시간도 없는 극한의 단절된 환경에서 인간이 어떻게 행동할지에 대한 고립 실험을 진행하였다. "시간이란 원래부터 존재하는 걸까"에 대한 의문에서 출발한 이 실험은 시간뿐만 아니라 집단, 노동, 유희에 대한 분야로 확장하며 좋든 실든 크든 작든 인간은 사회적 생물이고, 어떤 형태로든 사회를 복원할 수 있음을 보여준다. 작가도 누누이 강조하지만, 이 실험은 생존실험이 아니다! 코난과 김전일이 실험에 참가하지 않았으므로 끔찍하고 자극적인 사건은 벌어지지 않는다. 미증유의 사태로 사회의 존립이 위헙받는 상황이 ..

한 줄 요약: 오은영 교수의 임상 경험을 보통의 부모 눈높이에 맞춰 집대성한 책. 유치원에서 22년에 일어보라고 권하여 접한 책이다. 아이를 기르면서 시기에 맞춰 몇 권의 육아, 교육 지도서를 구매하였고 나름 열심히 공부도 했지만 유치원에 들어가고 나면서 약간의 공백기가 생긴 것 같았다. "교육"과 바른 습관 기르기는 유치원과 학습지를 통해 어느 정도 자리 잡아가는데 심리적으로 급변하는 딸을 쫓아가기에 적합한 가이드라인을 얻을 수 없었다. 굵직굵직한 문제는 자녀와 함께하는 심리상담을 적극 활용하면 되는데, 정말 사소한 부분 - 짜증이 많은 아이를 어떻게 달랠 것인가, 아이와 경쟁이 붙었을 때는 어떻게 할 것인가, 결과가 마음에 들지 않는다고 울고불고할 때는 어떻게 할 것인가 등등 - 은 어디 물어볼 곳도..

인공신경망 ANN 생물학적 신경망 BNN ANN 은 BNN 의 구조를 본따 만듬. 그렇다고 실제 신경망을 흉내낼 필요는 없음. 어짜피 인간은 진짜 뇌의 동작을 규명하지 못하고 있음. 비행기는 날개를 펄럭이지 않음. 현대 ANN 은 이미 BNN 으로 부터 많이 멀리 와있음. 과거와의 비교 학습을 위한 데이터가 늘어남. 컴퓨팅 파워의 급격한 증가. 훈련 알고리즘 향상. 일부 이론적 제약들이 실제에서는 큰 문제가 되지 않거나, 지역 최적점에 수렴할 확률이 매우 적음을 밝혀냄. 인공신경망의 구조 인공 뉴런 실제 뇌의 뉴런을 모사. 뉴런과 뉴런을 연결하고, 입력이 일정 수준(=개수) 이상일 경우(=활성화) 출력하는 구조. 간단한 논리 연산 가능 : AND, OR, NOT 한계 : XOR 을 해결할 수 없음. 퍼셉..

비지도 학습은 사람이 레이블을 붙일 필요 없이 알고리즘이 스스로 학습하는것을 말한다. 군집 정의 비슷한 샘플을 구별해 하나의 클러스터 또는 비슷한 샘플의 그룹으로 할당하는 작업. 사용 예 차원 축소 기법 : 각 클러스터에 대한 샘플의 친화성을 측정할 수 있다. k 개의 클러스터가 있어서 어느 클러스터와 가장 가까운지를 기준으로 분류를 할 수 있다면 이를 "k 차원으로 축소 했다"고 볼 수 있다. 이상치 탐지 : 모든 클러스터에 대하여 친화성이 낮은 경우, 이상치로 판단할 수 있다. 이미지 분할 : 이미지의 색상을 클러스터링 하여, 대표 색상으로 색상을 치환하는 기법. 이미지 탐지, 추적 시스템에 유용함. 이미지 전처리 : 이미지 데이터를 모두 쓰는 대신, 이미지를 클러스터링하여 활용할 수 있다. 이는 차..

차원의 저주 특성수가 많을수록 훈련은 느리고 모델의 성능은 나빠진다. 그런데 특성수가 많을 수록 데이터의 밀도가 낮아진다 --> 과대 적합. 중요한 데이터는 특정 영역에 집중된다. 차원의 저주를 해결하기 위해... 데이터를 늘려 밀도를 높인다. 차원을 낮춘다. 데이터를 늘려 밀도를 유지하는것은 고차원에서는 사실상 불가능하다. 따라서 차원을 낮추는 차원 축소가 유용하다. 차원 축소 원리 투영 D 차원의 데이터를 낮은 차원인 N 차원에 맵핑하는 것. 대부분의 데이터는 일부 공간(부분 공간)에 모여 있으므로 차원을 낮추더라도 식별이 가능하다. 하지만 반드시 차원을 낮춘다고 식별이 용이해 지는것은 아님. 예. 스위스롤을 절반으로 나누는 문제는 고차원에서 식별이 더 쉽다. 차원을 낮추면 말린 부분이 오버랩 되기 ..

통계적 의미 대중의 지혜 (어떠한 문제에 대해) 무작위로 선택한 대중의 대답을 모은것이 전문가의 답보다 낫다 (는 이론). 통계측면에서는 "하나의 정확한 모델"(=A) 보다 "여러개의 부정확한 모델"(=B)의 평균이 더 낫다. 개별 B 의 편향은 더 높지만, 평균을 내면 A 와 비슷해진다. 개별 B 의 분산은 A 와 비슷하지만, 평균을 내면 A 에 비해 월등히 감소한다. 따라서 A 와 B 의 편향은 비슷하지만, B 의 분산이 월등히 줄어든다. 대중의 지혜를 모사한 예측기를 앙상블이라 한다. 큰수의 법칙 하나의 문제에 대해 여러개의 약한 학습기 (= 랜덤 추측보다 조금 더 나은 성능을 가지는 부실한 분류기) 를 이용해 예측을 한다. 단일 강한 학습기 보다 상대적으로 좋은 결론이 나온다. 큰수의 법칙 : 양..

(이진)결정트리 개념 매 노드마다 참 / 거짓을 분류하는 2진 트리를 만든다. 부모 노드는 어떤 특성에 대한 조건을 만들고 이에 대한 참 / 거짓 자식 노드를 가진다. 만약 자식 노드에서 참 / 거짓을 분류할 적절한 조건을 찾지 못했다면 리프노트가 되며 class 를 예측한다. 이 과정을 모든 자식 노드가 리프노드가 될때 까지 또는 지정한 depth 에 도달할 때 까지 반복한다. 노드의 구성 sample : 노드에 해당하는 훈련 샘플 개수. value : 노드에 속한 샘플의 클래스별 개수. gini : 불순도. 특징 직관적이고, 시각적이며, 결정의 사유가 명확하다(= 화이트박스 모델). 데이터 전처리가 거의 필요하지 않다. 학습이 완료되기 전 까지 클래스의 개수를 예측할 수 없다. 불안정하다 샘플 데이터..

SVM 기본 성질과 특성 클래스 사이에 가장 넓은 마진을 가지는 분류기를 찾는 과정 (= large margin clasification). 결정경계는 경계에 위치한 샘플에 의해 전적으로 결정 : 이 샘플이 서포트 벡터 SV. 마진 밖에 위치한 훈련 샘플은 결정 경계에 영향을 주지 않음. 스케일에 민감 : 스케일링에 따라 SV 의 개수가 달라질 수 있고, 마진의 폭이 달라질 수 있으며, 결정경계의 기울기가 달라진다. 구분 하드 마진 분류 모든 샘플이 마진 영역 밖에 위치. 이상치에 민감 하드 마진 분류가 불가능 할 수 있다. 일반화가 어려운 결정경계가 성립할 수 있다. 소프트 마진 분류 마진의 크기와 마진오류의 트레이드 오프. 마진 오류가 있더라도 일반화가 쉬운 적절한 결정 경계를 구함. "최적 해"를 ..

선형 회귀 정의 선형 회귀 모델의 예측 정의 $\hat{y} = \theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + ... + \theta_{n}x_{n} = \sum_{i=0}^{n}\theta_{i}x_{i} = h_{\theta}(\textbf{x}) = \Theta\cdot\textbf{x}$ $\hat{y}$ = 예측값. $x_{i}$ =$i$ 번째 특성 값. 단 $x_{0} = 1$. $\theta_{i}$ =$i$ 번째 모델 파라미터. $\theta_{0}$ 은 편향 또는 bias 라 부른다. $h_{\theta}(\textbf{x})$ = 가설함수. 벡터 표현 머신러닝에서는 계산의 편의를 위해 변수를 열벡터로 나타낸다. 따라서 모든 훈련 세트 $X$ 에 ..

MNIST MNIST 는 손으로 쓴 숫자 70000개 데이터로 ML 계의 hello world 라고 할 법 하다. 70,000개 (훈련 60천개, 테스트 10천개)의 28 * 28 이미지와 레이블로 구성되어있다. https://openml.org 을 통해 제공받을 수 있다. sklearn 은 fetch_openml 함수를 제공한다. 이진 분류기 훈련 확률적 경사하강법 (SGD) 경사하강법의 한계 인식 학습률 작으면 : 시간 많이 걸리고, 지역 최적값에 수렴할 위험. 학습률이 크면 : 시간이 적게 걸리지만, 발산할 위험 있음. 매 배치마다 랜덤하게 선택한 점을 대상으로 경사 하강법을 수행. 경사하강법 대비 매우 빠르지만, 매우 불안정함. 불안정한 대신 지역 최적값을 회피할 가능성이 높음. 랜덤 데이터 --..