InceptionNet
Legend 13 (Image) Voice Transciption
Transcription
- 클로바노트 https://clovanote.naver.com/
받아쓰기
나중에 ResNet이랑 합칠 때 막 이럴 때는 그냥 그대로 가져다 쓰고 논문 쓰고 막 이런 식으로 되다 보니까 뒷부분은 조금 빠르게 가고 앞부분은 할 말들이 은근히 있으니까 그거에 대해서 조금 집중하는 걸로 해보겠습니다.
인셉션 넷은 뭘 고려한 거냐면요 얘는 VGGNet이랑 동시에 나왔습니다.
그렇기 때문에 VGGNet의 아이디어를 수용한 건 아니에요. 아직
이런 고민을 한 거예요.
1x1짜리 3x3짜리 5x5짜리
1x1은 feature map간의 weight sum,
3x3은 featuremap 간의 weighted sum도 하는 거죠. 하긴 하는데 영역도 보는 거예요. 3x3만큼
5x5는 또 5x5 만큼의 영역도 보고 feature map도 보고 채널 축으로 다 보니까 웨이트 shape이 채널이랑 들어오는 채널 개수랑 똑같다고 했습니다.
모르겠다는 거에요.
어떤 리세트 필드를 갖게 하는 게 좋을까
그래서 그냥 이렇게 생각한 거예요.
여러 사이즈를 가진 컨버리션 레이어를 다 통과시키자.
그리고 그렇게 얻은 피처 맵들을 뎁스로 콘케터네이션 하자 이겁니다.
왼쪽으로는 이 가운데는 3바이 3 세 번째 거 5 바이 5
오른쪽은 산바이산 플린
이렇게 해가지고 채널 맵을 여러 개 얻는 거예요.
이거는 이것도 하이퍼 파라미터죠 여기서 몇 개의 특징을 뽑을까? 몰라요. 마음대로. 얘는 몰라요. 16개 얘는 8개 4개 이렇게 마음대로 뽑을 수 있어요.
얘는 얘는 유지고 얘는 유지되고 유지되겠죠 무조건 이거랑 그렇게 해가지고 얘네들을 컨켓해서 다음 레이어로 보내자.
바로 그 아이디어입니다. 괜찮죠?
미스트 필드를 이렇게도 쓰고 저렇게도 써봄으로써 다양한 어떤 특징을 뽑고 싶은 거예요.
누구는 피처 맥 간의 관계만 봐라. 누구는 3바이 3 정도의 관계를 봐라.
누구는 5바이5 정도를 봐라. 누구는 그냥 맥스플링으로 해라.
이렇게 가는 겁니다.
근데 컨켓을 하려면 당연히 행렬 사이즈는 같아야겠죠 사이즈를 잘 맞춰줘야 됩니다.
맞춰주는 방법은 어렵지 않아요.
패딩
패딩이 바로 그런 녀석이죠. 패딩을 적절히 조절하면 3 바이 3 맥스플링도 3바이3 맥스플링인데 패딩 1 스플라이드 1로 주시면 사이즈 유지가 됩니다.
그런 식으로 마음껏 할 수 있어요. 그래서 여기에는 항상 사이즈를 고정시켰어요.
이 모듈에서는 사이즈를 바꾸지 않았습니다.
따로 놔요.
따로 풀링을 따로 넣고 이 모듈 통과시키고 이런 식이에요.
그리고 원바이원을 추가를 해서 좀 적극적으로 사용했는데
재미난 이유입니다. 파라미터의 수를 줄이려고 이렇게 한 거거든요. 앞에 그림이랑 비교해 보세요.
1바 1자리가 3355 그리고 맥스 폴링 뒤에 이렇게 추가가 돼 있어요.
노란색이 추가가 돼 있습니다. 왜 추가를 했냐 파라미터 개수가 적어진다라는 거예요.
예를 들어서 192에서 128로 간다고 합시다.
3 바이 3짜리 여기만 일단 보세요.
여기가 192개에요. 근데 여기서는 1000 28개를 뽑고 싶은 거예요.
그럼 비존 같은 경우에는 개체 행렬입니다.
어떻게 될까요? 개체 행렬이 웨이트 웨이트 쉐이크 몇 개를 뽑는다?
128개
오케이 쟤는 어떻게 될까요?
192
들어온 그대로 그리고 3바이 3이 될 겁니다.
이거랑 vs 얘를 중간에 걸쳐가지고 얘를 한 96 놓는 거예요.
이 96은 뒤에서 표에서 발췌를 한 겁니다.
96으로 갔다가 가면은 이렇게 계산이 되고요.
훨씬 적어요. 몇만 개가 더 적습니다. 모르겠다. 기억이. 안 8만 개? 하여튼 더 적어요.
단계는 많아서 이렇게 더하기가 돼서 좀 길어 보이지만 사실 개수로 치면 여기가 훨씬 적습니다.
근데 이런 의문 가질 수 있어요. 왜 원바이원을 먼저 했을까 여기 서로 자리 바꾸면 안 될까? 바꿔보니까 덜 줄더라고요.
물론 이거는 채널 수를 어떻게 구성하느냐에 따라서 조금 다르겠죠 당연히
여기서는 줄였다가 키우는 구조로 가기 때문에
아무튼 그래서 96 자리를 바꾸되 96 128을 유지한 다면 그러면은 파라미터가 덜 줄어들어요.
줄긴 줄는데 덜 줄어요.
여기는 껍데기 2개 여기는 꺾지 하나 이런 식이라고 생각하시면 돼요.
줄긴 줄어요. 근데 덜 줄어들어요.
플링은 여기는 순서 바꿔도 상관없고 별 성능의 차이도 없을 겁니다.
그리고 오바이오는
생각해 보시면 5바이 5가 제일 화근인 게 5 곱하기 5로 시작하잖아요.
모든 개체에서 그러면 파라미터 개수가 아무래도 얘가 제일 부담이 크겠죠 그래서 여기는 가장 적은 수의 채널 수를 갖게 해요.
32라던가 16으로 줄여서 32로 한다든가 이거는 표를 참고해 주시면 됩니다.
그렇습니다. 전체 구조를 한번 보도록 할게요.
전체 구조는 이 패드나 노트북을 통해서 줌 당겨가지고 보셔야 돼요.
이렇게 진짜 이거를 논문에 실었어요.
참 그것도 대단하다. 이 논문에 실었고 처음에 이거 읽는 방법 알려드리겠습니다.
이거는 7바이 7짜리를 썼다는 거고 스트라이드는 이 자리를 썼다는 거예요.
s는 세임이라는 뜻이고 v는 밸리드라는 뜻이에요.
이거 다 써놨습니다. 저 위에 있어요.
세임은 패딩을 적절히 하겠다는 뜻 적절히 해서 맞추겠다.
세임으로 맞추겠다. 여기는 패딩 안 하겠다는 뜻이에요.
그게 답입니다. 그래서 이거 통과시키고 그럼 반딩 되겠죠 패딩도 3으로 줘요.
스트라이드 2라 그러면 무조건 반딩이 되도록 패딩도 적절히 해줍니다.
세임이라고 그러니까 사실 스트라이드가 인데 어떻게 세임이 돼요 진짜 세임은 안 되지만
스트레이드 인데 세이라 했을 때는 반띵 해 주세요라는 뜻입니다.
정확히 반띵 그래 정확히 반띵 되려면 헤드가 3인가 그 정도 필요해요.
이거는 이제 저기 실습할 때 한번 보겠습니다.
컴프 통과 엑스플랜 통과 그다음에 요 녀석이 있는데 얘는 지금은 이제 bn으로 대체됐어요.
그리고 통과해서
원바이원 컴볼루전 그리고 스트라이드 1 밸리드 얘는 선바이 3 컴볼루전 스트라이드 1 그다음에 세임 패딩 일을 했다는 뜻이죠.
그리고 여기 배치 노멀라이제이션을 보시면 되겠고 넘어가요.
플링 해서 여기서 벌써 반띵 반띵이 되게 많이 되네요.
나누기 2 나누기 2 나누기 2 엄청 사이즈가 많이 줄어요.
2 2 4 2 2 4로 출발하거든요. 얘도 똑같이 퐁퐁퐁 세 번 줄인 다음에
그다음에 인셉션이 들어갑니다.
꽤나 리세트 필드가 진짜 전체를 담을 수 있도록 파바박 확 줄이고 거기서 엄청나게 컨블레션 많이 하는 그런 식으로 전략을 짰습니다.
근데 꽤 이 전략이 유효해서 지금까지도 이런 전략이 사랑받고 있어요.
파바박 줄이고 그다음에 한다.
왜냐하면 이미지 데이터의 대부분은 불필요한 정보가 많기 때문에
에센셜한 정보가 픽셀 하나에 담겨 있지 않다. 이미지라 하면. 맞잖아요. 근데 강아지 사진인데
단 하나의 픽셀에 이 강아지에 대한 정보만 담겨 있고 나머지는 그냥 풀떼기예요.
말이 안 되죠 말이 안 돼요. 그거는.
그래서 큼지막한 어떤 패턴을 찾기 위해서는 리세트 패드를 팍팍 늘려야 되고 그러기 위해서 얘는 플링을 합니다.
플링을 하면 리세트 패드 2배 되겠죠 스트레이드 2로 주면 그렇습니다.
좋아요. 그래서 여기 보이시는 게 인셉션 모듈이죠 아까랑 똑같습니다.
1 바이 1이 앞에 놓여 있고요.
335 여러 가지 리트티 필드를 써주겠습니다.
리트 여기서 한 번 두 번 그다음에 또 맥스플링 똑같고 한 번 두 번 오른쪽에 튀어나가는 건 좀 이따 설명해요.
쭉 가서 여기서 이제 또 폴링 깎고 똑같은 모듈 똑같은 모듈 그다음에 맨 마지막에 7x7에
에브리지 풀링인데 사이즈가 7 바이 7이에요.
여기서 끝날 때 얘도 신기하게도 512바이 77이거든요.
1024 바이 77인가 컨닝 한 번 1 20 24 77 여기서 봤습니다.
여기서 아무튼 77로 끝나요. 얘도 풀링은 다섯 번 한 거죠
그러면 어떻게 됩니까? 요플링을 거치면
무슨 ap가 되는 거예요
gap
나이스
해가지고 얘는 1년 이사 바이 11이 됐고 얘는 플렛은 이미 돼 있다고 보셔도 되고 일단 1년 기사가 됐고 그다음에 이 플리커넥티드는 fc 몇일까요? 이거를 보면 천종 분류
512 곱하기 512
여 여기 1024인데 1024 그렇죠
천24 바이 천짜리의 어떤 행렬이 되겠죠
근데 아까 vgg넷의 표현법을 빌리자면 이제 fc 0 그게 들어가서 마지막 소프트맥스 통과입니다.
근데 여기서 이제 곁다리에 대한 설명 들어갑니다.
이거를 하니까 문제점이 있어요. 너무 멀어요.
이 스템까지 가져가기가 줄기까지 이게 가져가기가 쉽지 않아요.
여기 여기를 앞으로 스템 이런 걸로 불러요.
스템 이런 식으로 부르는데 여기서는 스템이라는 말은 없었는데 현대에 와서는 저런 부분을 스템이라고 부릅니다.
아무튼 이렇게 쭉 여기 스템까지 그라디언트가 살아남기가 쉽지는 않겠다.
아무래도 이 뒤쪽이 업데이트가 많이 되고 앞쪽은 업데이트가 잘 안 되겠다라는 거예요.
오케이 그런 우려가 있다 보니까 로스를 로스를 3개를 더 합니다.
그래서 아웃로스 웍스 원 로스 이렇게 여기서 여기서 나오는 로스는 아웃로스 여기서 나오는 로스는 웍스 원 로스 웍스 로스 1이라고 써놨나
1 로스 스2 로스 이런 식으로 그리고 그 세 개를 더 하는 거예요.
그리고 백프로파게이션 하면 여기에서의 미분 생각해 보면 이 놈에 대한 거 이 놈에 대한 거 이 놈에 대한 거 3개가 다 더해지겠죠 그라디언트가 그래서 조금 더 살아난다 그 얘기입니다.
그림으로 이해하시면 되죠. 그림으로 이렇게 쭉쭉쭉 안쪽으로
안쪽으로 보내는 행위를 하는 거 그 이미지를 잘 기억해 두시면 되겠습니다.
됐습니까?
혹시 저 0.3은 정해진 건가요?
네 이건 하이퍼 파라미터고 논문에서 정했어요. 이거는 저자가 정했습니다.
물론 트레이닝 때만 이것을 쓰고 테스트 때는 그냥 인퍼런스 그냥 쭉 하는 거예요.
인퍼런스 맨 위까지 가는 겁니다. 오케이 됐어요? 그래서 이거 설명됐고 설명됐고 설명됐습니다.
요놈만 좀 설명을 드려볼게요.
nrl은 이거를 좀 보여드려야 돼요.
헤르만 격자라고 해서 눈갱을 일으키는 그런 사진인데 뭐 이런 걸 봅시다.
어어질해요. 좀 어어질해요. 어지러질합니까? 도망간다.
눈이 막 뻘뻘뿅하죠 막 정신 없죠
아무렇지도 않아요? 정신 없죠 막 미치겠죠 그게 바로 헤르만 격자입니다.
그러니까 어떤 피처 맵을 봤을 때 이게 피처 맵이라고 보세요.
어떤 피처 맵인데 특정 부위가 파업이 막 큰 거예요.
그리고 나머지는 좀 까매요. 그러면은 인식을 제대로 못한다는 거예요.
우리 눈은
어디에 집중을 해야 될지 몰라가지고 눈이 어딘가에 집중을 해야 되는데 막 이렇게 해서 하니까 여기를 볼 때 여기가 어둡고 여기를 볼 때 여기를 어둡고 이렇게 보이니까 그게 좀 정신없다.
정신 없게 만드는 원인이다라는 거예요.
에르마 격자. 그래서 얘는 뭘 경계하냐면 피처 맵의 특정한 값이 너무 크면 안 좋다.
어떤 거는 크고 어떤 것은 작고 어떤 것은 값이 크고 이렇게 되면 좀 좀 이렇게 평준화를 해주고 싶은 거예요.
이 픽셀 값을 좀 문질러가지고 근데 그 문지르는 행위를
채널 축으로 해보겠다라는 개념이에요.
한번 보겠습니다. 이거 저 수식에 대해서
이렇게 쭉 있어요. 피처 맵이 있어요.
그중에 여기 이 부분에 한 5개 정도를 볼 거예요.
이 위치에서의 픽셀 값을 a x 콤마 y i \(a_{x, y}^i\)라고 합시다.
바로 이 놈이에요. 아 번째 피처 맵 그리고 x콤마 y에 위치한 픽셀 값이라는 뜻입니다.
그래서 복닥복닥 처리를 해가지고 노멀라이즈를 한 거예요.
그래가지고 b nrna 출력 결과의 픽셀 값을 얻어냅니다.
그래서 n을 정해주셔야 되는데 n을 5개로 한다면 해당 레이어의 필터 개수다.
이거는 cnn의 필터랑은 좀 다른 얘기입니다. 이거는 좀 말이 좀 별로다. 고려할 위치가 있습. 이게 그냥 제가 지역을 해가지고 레이어 노 nrn에 대해서 써져 있는 어떤 설명이 있는데 그 설명에 영어를 고려할 피처 맵의 수 정도로 얘기를 할게요. 고려할 피처 맵의 수 그 정도로 생각하시면 되고 그래서 피처 이 주변에
이렇게 5개의 똑같은 위치에 놓인 걔네들을 이용하겠다라는 거죠. 이렇게 일직선상에 있는 겁니다. 얘네들은 제곱하면 돼요. 제곱하고 이 n은 라지앤이구나. 스몰 n이 이거구나.
그러면 이게 맞네. 해당 레이어의 필터의 개수 해당 레이어의
채널의 개수라고 하면 되겠다.
일단 채널의 수 이렇게 하면 깔끔해지네.
스몰n이랑 헷갈렸어요. 채널의 수 a는 한 64개라고 칩시다.
여기가 64개 있는 거 그중에 이웃한 5개만 보겠습니다.
그리고 이거는 하이퍼 파라미터라서 그냥 줏어 왔어요.
값 이것도 좀 불친절하게.
논문에서는 제시가 안 돼 있어가지고 여기저기 좀 찾아봤습니다.
아무튼 이건 다 하이퍼 파라미터고 크기의 제곱에 베타승 해가지고 나눠주겠다.
그래서 얘가 얘네들 값에 의해서 좀 작아지도록 하자.
그런 개념이에요. 어떤 픽셀 값이 너무 두드러지면 컨볼루션을 했을 때 이 모든 피처 맵을 다 고려를 하잖아요.
입력 채널 수에 맞추니까. 그런데 이놈이 하나가 엄청 커요.
그러면 얘만 바라보고 얘에 의해서 결정이 된다.
그게 문제다라는 거예요. 얘에 의해서 결정이 된다.
이 값이 너무 크니까 이 값에 의해서 다른 애들이 영향을 받게 된다.
컨버즈 하고 나서 다 너무 커지는 거죠.
이 값에 의해서. 그렇게 된 거예요.
이런 노말라이제이션이 한때 있었고 지금은 배치 노말라이제이션이 있어서 폐기됐다고 보면 돼요.
거의 폐기 됐지만 어쨌든 나왔으니까 설명 한번 드려봤습니다.
오케이 그 정도. 그래서 넘어가도록 하겠습니다.
이 표가 인셉션 레스 설명해 주는 녀석이고 이 표가 조금 마음에 안 드는 게 3 3 리듀스가 뭐냐면
1바 1을 얘기해요. 3 바이 3 들어가기 전에 1바 1 있잖아요.
걔를 33 리즈스라고 표현해요. 33 앞에서 줄인다.
o 리듀스는 o 앞에 있는 거겠고 풀 프로젝트는 플링 뒤에 있는 1바1 있잖아요.
그 녀석의 채널 수를 얘기를 하는 겁니다.
그래가지고 이렇게 4개가 컨켓이 되는 거예요.
리듀스는 그 중간에 있는 녀석이니까 줄였다가 96 128 이렇게 키운 거예요.
그다음에 55짜리에서는 16 32 그러니까 이 4개가 콘켓이 돼가지고 256이 되는 겁니다.
아웃풋 사이즈 아웃풋 사이즈 여기서 행렬체로 표현했어요.
여기까지는 아직 테스터 플로우가 대세였어 가지고 행렬체로 표기돼 있는 모습이에요.
지금은 체행렬로 많이 표현을 합니다.
됐습니다.
그리고 억지러리가 어디서 튀어나가는지 표시가 안 돼 있길래 한번 제가 표시를 해봤고 에브리지 플링을 함으로써 1 1이 되는 것 gap를 했다라는 그 사실도 알 수 있고 드랍 아웃의 40%는 살릴 확률은 아니고 죽일 확률입니다.
죽일 확률 40% 꽤나 많이 죽이고 강하게 저기를 했던 것 같아요.
파라미터 개수가 그렇게 많지는 않은데
조금 오버 피팅을 좀 피하고자 했던 건지 드라바우스 좀 했습니다.
일단 여기까지 괜찮습니까? 이게 내 설명은 끝이에요.
수민 님 민기 님 네 오케이 좋아요.
이렇게 됐습니다. 그래서 성능을 보자면 이렇게 돼 있어요.
7개의 모델 7개의 모델 그리고 넘버 클라스 있는데 설명을 드려보겠습니다.
7개의 모델은 뭐냐면 앙상불리를 했어요.
이분들이 저기 그냥 바로 제출하지 않고
하나의 모델로만 제출하지 않아요 이미지나 챌린지를 할 때 대부분 앙상블을 막 합니다.
그래서 위에 표에 나온 그 사이즈 에 해당되는 그런 모델 6개 그리고 좀 더 큰 모델 하나 또 썼대요.
그리고 7개 모델을 앙상을 했다고 하고 그리고 리사이즈 크랩 여러 가지 방식을 좀 써가지고 이미지 하나를 144개의 이미지로 변형을 거친 다음에 통과시켜서
144개의 출력이 나왔잖아요. 걔네들을 평균 내가지고 소프트맥스를 통과시켰다고 합니다.
아니다 아니야. 소프트맥스 통과 전이 막혔다.
소프트 양산도를 위해서 그러니까 7개의 모델이니까 총 1008개 1008개의 출력을 평균 내가지고 최종 분류를 수행했다고 보시면 되는 거예요.
굉장히 좀 저기 무겁긴 하죠
아무튼 1등은 찍었습니다.
근데 뭘 어떻게 이게 144이나 나올까 궁금해가지고 제가 논문을 아주 면밀히 살펴봤어요.
이렇게 했더라고요. 일단 네 가지 방법으로 리사이즈를 해요.
무슨 말이냐 이게 여러 가지 사이즈를 가진다고 했습니다.
이렇게 생긴 사이즈도 있고 얘가 224 224가 아니에요.
얘가 훨씬 커요. 500 1000 이렇게 엄청 커요.
그래서 리사이즈를 물론 작은 사진도 있기는 하겠습니다만 어쨌든 리사이즈를 해주면 되겠죠 리사이즈를 할 때 짧은 쪽을 잡고 그 짧은 쪽이 이렇게 되도록 4가지로 리사이즈 그러면 4개의 경우의 수 나오죠 그다음에 이렇게 생겼으면은 이렇게 이렇게 아니야 여기 288이라고 합시다.
그럼 2 8 8 288이 되도록
정사각형이 되도록. 하나. 좀 겹칠 수도 있겠죠. 셋 둘 셋 이렇게 그렇게 해서 3개 케이스
그다음에 이 이미지를 좌우로 뒤집어요.
그 두 개 케이스
그다음에 요 288 288짜리 갖고 와요.
이제 24 2사로 만들어야 되거든요.
224 2사로 만들 때 첫 번째 방법 이렇게 자른다.
이렇게 자른다. 이렇게 자른다. 이렇게 자른다. 네 가지 방법 그리고 가운데로 자른다. 다섯 번째 방법 그다음에 마지막 여섯 번째는 리사이즈 해가지고 2 24 24로 리사이즈 이렇게 또 케이스가 5개가 탐색을 합니다. 6개 6개 1 2 3 4 5 6 그래서 144가 나오더라고요.
그래서 그렇구나 그렇구나 했습니다.
오케이 정리하고 다음 시간에는 콜랩 틀어가지고 한번 보도록 하겠습니다.
여러 사이즈의 필터 결과를 커켓했습니다.
그리고 1 1로 디맨졸 리덕션 해가지고 1 1의 중요성이랄까 1바 1을 적극적으로 썼다는 점 그리고 억지리 클래스 파일을 써서 베니싱글한 인덕션 좀 완화했다는 점 그리고 vgn보다 훨씬 적어요.
얘네가 한 10배 이상으로 적습니다.
파라미터가 적고 그래서 1등을 달성했다라는 점이 적은 파라미터로 1등을 했으니까 대단하죠
조금 복잡은 하지만 그래서 단순한 모델이 좀 많이 사랑을 받아가지고 브이지넷을 사람들이 더 기억하기는 합니다만 얘도 꽤나 괜찮은 아이디어였고 또 애초에 앞돌이를 했으니까 파라미터도 좋아.
근데 성능도 좋다. 이거 보면서 좋은 게 어디 있어요? 그렇다.
이렇게 해줬습니다.
일단 10시까지 쉬도록 하겠습니다.
질문 있으시면 채팅으로 한번 남겨주십시오.
채팅으로 남겨주시고 vgg넷이랑 인세션 n 볼 거예요.
그래서 이거 틀어놔 주십시오. 지금 화면 공유드리고 있어요.
이렇게 코드를 로컬에 틀으셔도 되고 아무튼 이렇게 준비해 놓고 쉬시면 되겠습니다.
기왕이면 하나 더 열지 인셉션까지 열어가지고 2개를 연달아서 또 보도록 하겠습니다.
인셉션 버전 1 그리고 vd 넷 이렇게 두 가지
들어놓고 기다려 주시면 되겠습니다. 수고하셨습니다.
InceptionNet V2, V3
공개가 됐고요. 뭐가 버전 2고 뭐가 버전 3인지는 표에서 싹 나와요. 얘는 vgn이랑 동시에 나왔잖아요. 버전 1은 vgn이랑 동시에 나왔어요. 그래서 둘이 경쟁했죠. 그다음에는 이 버전 2 3에서 이 vd넷의 아이디어를 우리 걸로 가져오자. 삼바 이상 두 번으로 오바이오 리세티브 필드를 얻었잖아요. 여기는 더 나아가 더 나아가 한술 더 떠.
3바이 3도 1331로 쪼개자. 말이 되잖아요. 1 2 3 31 두 번 두 레이어로 3 바이 3의 리세트 필드를 얻을 수 있다는 거예요.
그
그 아이디어를 쓴 게 바로 버전 2 버전 3의 핵심적인 아이디어가 되겠습니다. 700만 개가 되죠 그러면 20배 정도 차이 나지 않습니까? 그죠? 곱하기 20배를 해야 1억 4천이 되니까 그런 느낌입니다. 10배 내지 20배까지라도 생각할 수 있는데 어쨌든 억지로 컨디션이 얘네들의 주요 아이디어니까
20배라기보다는 10배로 얘기하는 게 좀 더 저기 좀 공평하지 않나 오케이 이제 버전 2 버전 3는 컴퓨터 화면을 바꿔서 여기로 와서 그래서 이렇게 수용했다고 했고요.
그리고 이거는 뭐 그냥 전체인 실험인데 상바이선 두 번 할 때 한번 해봤대요. 렐로를 한번 써봤고 렐로를 한번 안 써도 보고 그랬을 때 확실히 쓴 게 좋더라. 이렇게 나왔다고 합니다. 결과가 이겁니다. 원래는 왼쪽이었는데요. 오른쪽과 같이 바꿨다. 이게 핵심 아이디어입니다. 팩터라이제이션에 아주 그냥 집착을 보인 거죠. 팩터라이제이션 그거 좋은 아이디어인데 그리고 나도
그러면 파라미터 수를 더 줄일 수 있으면서도 조금 더 효율적인 조금 더 성능도 좋은 그런 애를 만들 수 있지 않을까 그런 기대감이었던 거죠. 그리고 또 3바이 3도 1 3 3 바 1로 쪼갠다고 했습니다. 근데 이것도 생각해 봐야 되거든요. 3바이 3을 2 2 2 번으로 리세트 필드를 얻을 수가 있어요. 3바이 3짜리 리세트 필드를 2 2 2번을 통해서 얻을 수가 있습니다.
근데 왜 12 3 31로 했을까요?
서진 님 집 가는 중 이제 저기 가방 싸고 있을 것 같고 용정 님
그
왜 이 바이 두바이랑 비교하자면 파라미터 수가 더 적어서 저렇게 조금 아닐까요? 3바 3짜리는 9개인데 1331은 몇 개?
13 13 31이 1331은 몇 개? 13 그리고 3일 이렇게 통과시키면 수는
6 개요.
6개 3번 이상 6개 이 바위에 두 번은
8개 8개 좋습니다. 그래가지고 1 3 31를 쓴다 그겁니다. 근데 이렇게 쪼갤 때 n은 7로 났대요. 7로 그게 좀 더 좋다라고 했습니다. 여기서 근데 또 그리드 사이즈가 좀 작을 때 효과가 좋아서
왼쪽 모드도 쓰고 오른쪽 모드도 쓴다. 꼭 이렇게 왼쪽을 아예 안 쓰고 이건 아니고 왼쪽도 쓰고 오른쪽도 쓰고 이렇게 하겠다 라는 겁니다. 왼쪽을 버리지 않아요. 그리고 얘도 썼습니다. 산바이 3으로 통과한 녀석을 13 3일 각 이렇게 해서 그렇게 해서도 한번 누구는 가로만 보고 누구는 세로만 본 거예요. 그렇게 해놓고도 한번 합쳐보자. 이것도 한번 해봤대요. 그냥 어땠는지
총 3가지 모듈이 사용이 됩니다. 그리고 하나 더 이 플링이라는 것이 생각해 보면 너무 극단적으로 들리는 거 아니야 이런 생각을 했대요. 바틀렉이다. 이거 표현력에 있어서 바틀랙을 주는 셈이다라고 주장을 합니다.
플링 그리고 인셉션 이렇게 하면 그러면 인셉션 다음에 플링하면 어떨까? 그럼 괜찮죠 그러면 성능 괜찮습니다만 연산량이 너무 많이 들어요. 그래서 이분은 어떻게 생각하냐면 풀링하지 말자. 풀링하지 말고 스트라이드를 이러한 결과를 컨켓하는 식으로 인셉션 모듈로 하자. 그러니까 인셉션 모듈로
어
플링 플러스 인셉션 플링 플러스 인셉션을 한 거예요. 이렇게 스트라이드 2자리가 마지막에 놓여 있죠 그래서 사이즈는 줄고 그리고 인셉션 느낌도 냈고 그러니까 금상첨화죠. 요 녀석을 플링할 때 씁니다. 플링할 때 줄이고 싶을 때 사이즈를 줄이고 싶을 때는 저렇게 씁니다.
그리고 옥졸로리 클래식 파이어 역시 좋아서 이들이 이분들만 참 쓰고 있는데 또 썼습니다. 대신에 버전 원이랑 다르게 하나만 썼어요. 하나만 근데 나중에 버전 4에 대해서는 안 씁니다. 그래가지고 지금은 또 약간 역사 속으로 사라진 그런 역사 근데 이렇게 옛날에 어떤 그런 알고리즘들을 또 모르겠어요. 여러분들이 또 살렸을 때
갑자기 시너지가 날 수도 있는 거 아니겠습니까? 그러니까 옛날이니까 이거 옛날 모델이라서 좀 안 먹혔을 수도 있고 요새 모델에는 이런 걸 썼을 때 갑자기 좋아질 수도 있는 거예요. 그건 모르는 거예요. 해보기 전까지. 그래서 이거 옛날이니까 구려 이게 아니고 옛날이었기 때문에 빛을 못 봤는데 지금 빛을 보게 되는 대표적인 예시가 뭐가 있어요? 알렉스넷에서 사용했던 거 그룹 컨볼루션이라고 있거든요 그것도 설명이 나옵니다. 뒤에서
응
옛날 거를 한번 끄집어내서 썼는데 그게 굉장히 의미를 가지게 되는 그런 게 바로 그루트 컨볼루전이라고 있어요. 그래서 거기서 또 나아간 게 또 뎁스 와이즈 셀퍼로브 컨볼루전 여러분 한 번쯤 들어봤어요 건버루존까지도 발전을 하게 되는 그런 겁니다.
옛날 것이 버려지는 버려야 되는 그런 것도 아닙니다. rnn도 요새 살아나고 있는 추세라서 5월 22일날 rnn 논문 나왔어요. 놀랍습니다. rnn 플러스 트랜스포머로 rn 셀을 이제 트랜스포머 인코더 셀 같은 걸로 이제 사용하는 그런 느낌으로 억지로리 클래식 파이어를 바라볼 때
이분들은 레귤럴라이저 같다라고 언급을 했어요. 이거에 대해서 깊게는 생각 안 해봤고 어쨌든 로스를 로스에 뭔가 추가를 하는 거니까 얘도 고려를 해라. 웨이트를 업데이트할 때 맨 마지막 것 말고 이 중간 것도 봐라라고 했으니까 레귤러라이제이션 비슷한 느낌을 하는 것 같다. 이런 식으로 해석을 해봤습니다.
자
그리고 억지로리 클래스 파이
아이고
잠깐 소리가 안 들렸었죠 지금 들리나요? 이거 이거 스위치를 하면 안 되는 거라고 오케이 배치 노도 추가를 했습니다. 오케이 레이블 스무딩 잘 들어보세요. 이거는 트랜스포머에서도 쓰였으니까 그래서 ttt 듣고 오신 분은 이게 또 반가울 겁니다. 레이블 스무딩을 썼는데 원한 인코딩된 레이블은 너무 머신이 확신에 차게 만든 셈입니다.
레이블을 좀 부드럽게 만들 필요가 있어요. 예를 들면 원래 100,000 이렇게 돼 있었다면 좀 터뜨리자. 이렇게 0.033만큼 퍼트리는 거예요. 이걸 어떻게 퍼뜨리는 거냐면 이렇게 하는 거예요. 그냥 입실론을 정합니다. 일단 입실론의 값을 0.1로 정하시고요. 이 인셉션 넷도 0.1로 정했습니다. 그거를 천 개의 클래스로 나누는 거예요.
그러니까 0.1을 천 명이 나눠먹기 하는 거예요. 천 개의 레이블이 쫙 나눠먹기. 그리고 저 데이터가 같은 녀석에만 1이고 나머지는 0인 그런 녀석인데 아무튼 저 위에 거 보면 돼요0.1을 3으로 나눠가지고 지금 쪼개서 먹은 상황입니다. 위에 예시는 j는 1에 대해서 12번째 클래스죠 12번째 클래스에 대해서
변형된 원낙 팩터를 지금 보고 계시는 거예요. 어쨌든 이렇게 수익이 나오고요. 어쨌든 다 더해보면 여전히 1 나오는 거는 여전히 그렇고요. 0.1 기준 잡아서 걔를 쫙 흩뿌려가지고 바닥에 좀 이렇게 깔아놓고 그렇게 하는 거다. 그렇게 이해하시면 되겠습니다. 별거 없어요. 얘를 사용했더니 조금 더 이제 성능이 좋아졌다라는 그런 내용이 되겠습니다. 이게 전체 표고요. 저기도 에러가 있어요. 컴브 패디드가 맞고요.
구현도 그렇습니다. 근데 또 웃긴 게 구현도 이게 이게 좀 머리가 아픈데 사람마다 또 구현이 달라요. 왜냐하면 논문이랑 똑같이 해야만 성능이 잘 나오는 것도 아니고 그냥 지 나름대로 하면 되는데 저는 이제 이거를 가르쳐드리는 입장이니까 표랑 최대한 맞춰야 된다. 이런 생각으로 조금 제 나름대로 이렇쿵 저렇쿵 슬쩍슬쩍 다른 사람 코드랑 좀 다르게 좀 만졌습니다. 아무튼 이 표현을 똑같이 했어요.
피겨 피겨 6 피겨 7 이렇게 왼쪽에 표 보시면 있지 않습니까? 이게 뭐냐 하면 각각이 얘네들을 의미한다. 이렇게 그림을 가져왔습니다. 보기 쉽게. 그래서 이거 3 곱하기 이거는 이게 여러분 도는 거예요. 그러면 채널 수가 맞아야겠죠 그래서 이렇게 나오는 채널 수와 이렇게 들어오는 채널 수랑 일치하도록 이렇게
맞춰놔야 됩니다. 세 번을 하려면 아무튼 그렇고 그다음에 여기 이거 다섯 번 돌고 그다음에 이건 두 번 돌고 이렇게 돼 있고 여기서는 조금 아쉬운 게 중간중간에 줄이거든요. 그리드 사이즈를 줄여요. 그러니까 이것도 좀 재연 가능성이 좀 낮아요. 얘는 재연을 완벽하게 하기가 좀 힘든 게 표에서 감춰져 있는 것도 있어요. 이 안에서 여기서 한번 여기서 한번
패딩 풀링을 하거든요. 그때는 여기 보시면 알 수 있어요. 인풋이 35 35인데 여기 인풋은 177이 돼 있는 것을 통해서 이 안에서 언젠가 한 번쯤은 플링 같은 일이 일어났다. 스트라이드 2로 했구나. 그걸 알 수가 있고 이 구조를 사용합니다. 리프레젠테이션 파트를 피하기 위해 이것도 현대까지 쓰이는 방법이에요.
플링으로 사이즈 줄이지 말고 웨이트가 있는 채로 스트라이드를 조절해서 사이즈를 줄이자. 이것도 지금도 살아 있습니다. 인셉션이 망한 모델은 아니에요. 여기서 쓰인 레이블 스무딩이라든가 레이블 스무딩 얘네들이 최초로 말했거든요. 그리고 이런 플링 대신에 스트라이드 2로서 사이즈를 줄인다든가 그래갖고 명백을 좀 이어가고 있는 괜찮은 녀석입니다.
그래서 버전 2 버전 3가 한 논문에 소개됐다고 했어요. 그래서 여기 보시면 얘가 버전2고요. 뭔가를 추가해요. rms프로 추가 거기에 레이블도 추가 스무딩 그리고 여기에 팩트라이즈드 77도 추가 팩트라이드 77이 요놈 말하는 겁니다. 팩트라이즈드 77 추가 추가 추가해서 나중에 bn까지 추가한 것이 버전 3예요.
그냥 버전 2로 하지. 굳이 버전 2 3를 한 논문에 넣었는데 별것도 아니죠. rms 프로도 했고 이것도 아무튼 그랬습니다. 그게 버전 3가 되겠습니다. 정리하겠습니다. 팩터라이제이션 브이디즈넷의 아이디어를 열심히 썼습니다. 그리고 이것도 꽤나 좋은 아이디어였죠 레이블 스무딩도 딱 제안했고 이 두 가지가 꽤나 좋은 녀석이 아니었나 이거는 조금
이거는 아직은 지금은 안 쓰이지만 부활할지도 모르고 아무튼 그 정도 오케이 오케이. 여기까지 일단 질문 한번 해 주세요. 하지 님은 이제 저기 라디오로
질문 없으시면 저기 파란 불 한번 눌러주십시오. 눌러 눌러 눌러 눌러 아니면 한번 눌러볼까? 저도 안 눌러봤는데 여기 여기 아직 질문 없네. 오케이 사실 우리는 이미 익명이 되어 있는 사람들이 서로 모르잖아요. 그래갖고 질문이 그렇게 어렵지 않죠 굳이 이 창을 쓸 필요는 없을 것 같고
어
저기를 하시면 되니까. 근데 이거를 왜 만들었냐면 삼성전자에 출강을 갔는데 그분들은 굉장히 조용해요. 서로 아니까. 그리고 같은 조이고 하니까 이해됐어요. 그래도 점점점이고 이해가 안 됐어요. 그래도 점점점이고 질문 있어요 그래도 점점점이고 이해가 잘 질문이 없어요. 그래도 점점점이고
웃기려고 그래도 좀 저쪽이고 그래가지고 이걸 한번 개발을 한 거예요. 웹 페이지를 제제 pt를 이용해서 만들어졌는데 여기 꽤 괜찮았었습니다. 반응이 그래갖고 지금 개인 수업에도 한번 써보겠습니다. 꽤 괜찮은 것 같아요. 가봅시다.
이거 하기 전에 그렇죠 우리 실습을 하고 아마 오늘은 마치게 될 것 같아요. 실습을 해봅시다. 버전 2 들어오십시오.
버전 3만 구현했어요. 버전 3만 어차피 bn 추가하면 그만이니까 모델에 있어서는 레이블 스모딩은 그냥 여기 한번 알려드릴게요. 앤 크로스 엔트로피 쓰시잖아요. 어렵지 않더라고요. 이게 추가됐더라고요. 옛날에는 이게 없었나 봐요. 기능이 그래갖고 채집 피티는 좀 엉뚱하게 되게 어렵게 알려주는데 생겨놨어요. 레이블 스무디 0.1 주시면 돼요.
그래서 세상이 참 편리해졌습니다. 레이블 소무디 여기에 주시면 알아서 여기 리딩킹 인셉션 아키텍처 포 컴퓨터 비전 나오는 이게 그 논문이에요. 버전 2 논문 그래가지고 딱 이렇게 리스펙트 하면서 이제 잘 이렇게 해준 거죠. 좋습니다. 모바일 잘못 했다. 버전 3 중에서 인셉션 버전 3 여기 있다. 이거 켜주시고요.
잘못했다. 봅시다. 논문과 함께 보도록 하겠습니다. 요 표죠 얘도 베이직 홈으로 일단 시작을 하고요. 배달할 거 없고 이 인셉션 a부터 시작을 하겠습니다. 인셉션 a가 피겨 5를 얘기해 주는 거예요. 피겨 5
혹시 그거 이거 단축키 아시는 분 이게 창을 오른쪽으로 딱 붙이는 단축기 혹시 아시면 알려주세요. 그래서 이거부터 한번 해보겠습니다. 3 바이 3에 이거 찍어주시기 윈도우 방향 키 작아지는데요. 뭐야
이 감사합니다. 그래서 피겨 5부터 삼성 더블 dbl이 w이거든요. 3 3w은 332번이라는 뜻이에요. 3 3 2번 근데 1 1이 앞에 있죠 그래서 12 3 3 그리고 여기는 1 3 여기는 풀 1 끝입니다. 풀이 에버리지 풀이네.
그리고 여기 맨 마지막 도 이렇게 들어가서 통캣 그다음에 그다음에 요놈이에요. 이놈. 그래서 1 3 3 1 3 3 그다음에 1 3 1 3 그다음에 풀입니다. 근데 여기서 가장 중요한 건 뭐다? 스트라이드 2로 줬다. 스트라이드 2로 줌으로써 사이즈를 반딩을 해줬고
좀 독특하네요. 근데 정확히 반딩이 안 됐네요. 그렇죠 35에서 17로 되니까 정확히 반딩은 안 되고 아무튼 패딩을 안 줬습니다. 패딩을 1로 줘야 사실은 정확히 반인데 애초에 들어온 게 홀수라서 그럴 수가 없었네요. 좀 잘 좀 맞춰주지. 하여튼 좀 독특합니다. 얘는
지금 컴브 넥스트 컴브 넥스트에 와서는 그냥 사이즈를 안 바꿔요. 바꿀 때만 바꾸고 아예 안 바꿔요. 그러니까 밸리드를 안 써요. 컨볼루션 밸리드 말고 세인만 씁니다. 그래서 여기 보시면 뭐가 자꾸 바뀌잖아요. 전쟁이 같이 2개씩 깎아 2개씩 여기서는 그래서 팥 깎고 근데 팥 갈비는 또 반이 아니야. 이런 게 조금
조금 저기 하죠 이것도 반이 아니야. 또 그러면 어쩔 수 없이 아예 날아가는 한 줄이 생기는 거거든요. 여기 마지막 줄은 여기 줄은 아예 안 보게 돼요. 이거에 따르면 이렇게는 아예 날아가요. 아예 정보를 못 봐요. 그래서 뭐 이렇게 해야 되나 굳이
또
그렇습니다. 77로 끝내면 예쁘게 될 텐데 2 24 24로 출발한다 가정하고 그다음에 인셉션 b입니다. 인셉션 b는 요놈 피겨 스를 얘기하는 거였죠 피겨 스 보도록 하겠습니다. 별 거 없어요. 11 n1인데 n을 뭘로 잡겠다 n을 우리는 77로 한다고 말씀드렸었습니다.
그래서 여기 왼쪽이랑 같이 갑시다. 1 1771 1771 좋습니다. 그다음에 여기 1 1 77 1 그다음에 애플 1 그다음에 1 그리고 컨켓 좋습니다. 패딩은 왜 삼일까요?
7 7짜리는 패딩을 3을 줘야
아
사이즈가 유지가 돼요 뭐야? 17 03 03 해야 되는 거 아니에요? 0330
1 바이 7 1 바이 7이면은 가로로 돼 있는 거고 이게 가로 패딩을 얘기하는 거고
가로 세로가 1열이 아니고 패딩은 갑자기 갑자기 의문이 드네.
0이 h인데
0의 0이 맞아야 되는데 근데 어떻게 된 거지? 왜 이게 돌아갔지? 잘 레버리지 플링 때문이었나? 이거 고칠게요. 7,270,330이 맞지 않나? 0330 해놓고 한번 아무리 생각해도 이상하네.
삼성
근데 이거를 코드를 참고해서 잘 보고 있을 텐데 여기는 0330이네. 이거 뭔가 순서 바꾸느라 이상해졌나 보다. 이게 맞겠다. 0330 0336 다른 거 이상 없죠 어차피 3의 1이고 3의 1 이런 식이니까 이런 식으로 나뉘는 건 얘만 있으니까. 0330 03 30 얘는 0330
이게 또 있을 텐데 이게 영일 일령 그다음에 영일 일령 영일 일룡 0110 아무튼 제가 여쭤봤던 거의 핵심은 그거였습니다. 0330 이렇게 해줘야 패딩 이 적절히 돼서 세임으로 된다. 입력 사이즈랑 출력 사이즈가 똑같게 된다. 그걸 말씀드리고 싶었고
01 16 01 16 그러니까 얘도 당연히 0330 03 36 이게 맞겠네요.
지금
돌아가는 걸 보니까 잘 됐고 아마 어댑티브 에브리지 플링 덕분에 여기서 좀 삽지를 하더라도 괜찮게 돌아갔던 것 같습니다. 놀랍네요. 이거를 지금 발견하다니. 그다음 이게 인셉션 b입니다. 인셉션 b 다음에 리덕션 b입니다. 리덕션 b는 뭐예요? 또 얘예요. 또 요 녀석 리덕션 b
거기에 맞게 1 2 3 3 1 3 풀입니다. 오케이 인셉션 c 바로 이놈입니다. 얘는 좀 독특해요. 얘도 컨켓 얘도 하나 둘 셋 넷 다 6개 컨켓인데 두 개를 미리 묶고 브렌치를 1 2 3으로 봤습니다.
이렇게 1 이렇게 브렌치 2 브렌치 3 3 4 4 4 4 여기도 브렌치 3 여기 브렌치 4 이렇게 보고 구현을 해놨습니다. 그래서 이렇게 둘러 dbl은 뭐겠어요? dbl은 이렇게 1 3 그냥 1 3 더블인데 더블인데 그거 찢어서 더블이니까 dv a b입니다. a b
찢었다. 얘는 이렇게 해서 1 들어간 다음에 찢었다. 얘는 이렇게 해서 풀 1 들어가니까 풀 1로 들어갔다. 얘는 1 1이니까 11 됐습니다. 이렇게 4개의 브렌치가 생기게 돼요. 그래서 중간에 묶고 중간에 묶어서
나
둘 셋 4개가 컨택되는 그런 모습입니다. 오케이 이제 거의 끝나가네요. 곡절열이 봅시다. 요놈인데 요놈은 조금 여지가 있어요. 논란의 여지가 있어요. 조금 특이하고 어댑트 왜 그런지 플링도 없고
이게 플리 커넥티드로 이렇게 연결한다는 게 너무 말도 안 되게 파라미터 개수가 많아져서 gap를 하고 아무리 생각해도 gap를 하고 할 것 같단 말이죠. 왜냐하면 업주러리는 그냥 맨 마지막에 통과하는 녀석이랑 비슷하게 생기게 만들잖아요. 보시면 얘도 풀 하거든요. gap를 하거든요. 그래서 gap를 저기 원래 본체는 하고
본체능하고 어쩔놀이를 안 한다. 이건 좀 이상한 거예요. 그래서 gap가 있어야 될 것 같다라는 생각을 좀 했고 어디다 놓으면 좋을까 그냥 대충 놨습니다. 그래서 일단 여기는 똑같이 따라했어요. 5바이 5자리 스트라이드 3 그다음에 1바 일자리 1208로 바꾸고 여기까지 똑같죠 그다음에 인력 이사로 키운 다음에
gap를 때려서 일반 일반 1령이서 만들고 근데 여기도 좀 써주지 여기 플리 커넥티드도 써놓지 그걸 안 써놨어. 하여튼 그래서 천개로 마지막에 가겠죠 그런 모습입니다. 여기는 조금 제 나름대로의 생각을 담아서 그냥 대충 했습니다. 어쩌고저쩌고 어쩌고저쩌고 이미지 사이즈도 고려해야 되고
그
저기도 고려해야 되고 파라미터 개수도 좀 생각해봐야 되고 그래서 gap를 여기서 하고 그다음에 플리커넥티드를 1년 이사로 하자니 너무 바틀렉이 심해요. 너무 확 줄었다가 가니까 그것도 좀 아닌 것 같고 그래서 적절히 늘린 다음 gap 하는 것으로 좀 좀 이렇게 생각을 해봤습니다.
줄였다가 늘렸다가 이렇게 하는 과정이 들어가는 건데 그래도 이거 꽤나 모던한 겁니다. 컴브 넥스트도 이런 구조 이니까 무지하게 이상한 구조는 아니에요. 그래서 여기에서 마지막 마무리는 이 표와 함께 하면 되겠죠 이 표를 넣고 얘를 오케이 알려주신 윈도우 방향키 이용해서
32개로 된다. 이거는 요거 요거 요거를 봐야겠네요. 좀 불친절하다. 이거 인풋 사이즈를 보고 예측을 해야 되네. 얘가 들어가서 이게 만들어지는 겁니다. 이거 봤더니 32로 돼 있네. 채널의 개수가. 그래서 요 녀석은 32개 채널을 썼겠구나
라고 좀 유추를 해야 되는 그런 조금 클리어하지 않아요? 하여튼 3에서 30이 되는 30에서 30이 30에서 64 이거는 다 맞춰놨습니다. 쭈쭈쭉 통과하고 이 섹션이 관건이죠. 그래서 이것도 컴패디드가 맞을 것 같다고 말씀드린 이유는 보시면 알겠죠 여기서 넘어가는데 그냥 컴브라고 써놨으면 항상 줄어요.
두 개씩. 여기도 그냥 컴브라고 써놓은 녀석은 줄어요. 그 밸리드를 의미하는 거예요. 패디드가 없으면. 그래서 여기는 패디드가 안 써 있는데도 사이즈가 그대로니까 이거는 오타가 맞다. 이렇게 판단을 한 겁니다. 그래서 이런 시간들
오타인지 아닌지를 따지기 위해서 또 채치 피티 붙잡고 물어보고 구글링하고 이런 시간들을 벌어들이는 거예요. 이거 한번 재현해보겠다고 그랬다가 이런 거 은근히 스트레스 받는 분이 있단 말이죠. 저도 그렇고 그래가지고 다 해결해가지고 왔으니까 이거 믿고 따라주시면 됩니다. 그래서 288 288 이거는 출력 만드는 거를 얘기하는 거예요. 그래서
288로 들어와서 288로 만들고 2 88로 들어가서 세 번 반복 짠짠짠 그다음에 이거는 입력인 것 같아. 인채널 인채널 288로 들어와서 또 288로 들어와서 2 88로 들어와서 그래서 이게 컨켓 되는 게 디자인을 잘 해야겠죠 이 개수를 그 개수가 안 써 있잖아요. 지금
어쩌라는 거냐 그러니까 구현체를 또 보고 보고 열심히 따라서 만든 수밖에 없는 거예요. 테스터 플로우를 이 사람들이 짜놓은 거 있는데 그걸 가지고 파일 터치로 바꿔놓은 코드들이 있으니까 그거를 보고 열심히 참고해서 이제 개수를 정해줘야 되는 그런 조금 좀 아쉬운 점이 있었습니다. 어쨌든 이거랑 이거랑 이거랑 이거랑 더해서 288이 되도록 얘네들은 이렇게 이렇게 이렇게 더해서 7,000
768이 되도록 얘네들은 이렇게 싹싹싹싹 더해가지고 1 2 80이 되도록 여기에 있는 채널의 개수를 정해주셨겠죠 논문에서 저자들이 정해놨겠죠 그래서 그것들에 맞게 써놓은 겁니다. 구현을 해놓은 겁니다. 뭐 별다를 게 없습니다. 그리고 보시면 그리드 사이즈를 언제 줄이나 봤더니 세 번째 때 줄인다는 거예요. 3개 중에 3개 중에 세 번째는 요 아랫놈을 쓰겠다라는 뜻이에요.
그래서 여기 한번 말로 설명드려보겠습니다. 이렇게 있으면 여기 갑니다. 3개 돌죠 한 번 두 번 세 번 이렇게 가 있다는 거예요. 그다음에 열로 들어오죠 한 번 두 번 3번 4번 5번 이렇게 가 있다는 거예요. 여기서는 한 번 두 번 이렇게 간다. 한번 확인해 보겠습니다. 인셉션 a 두 번의 리덕션 한 번 인셉션 b
네 번에 리덕션 한 번 인셉션 c 한 번에 이게 두 번이야. 리덕션 c가 없었나? 여기에 리덕션이 없죠 다행이다. 얘는 리덕션이 없어요. 여기에서만 리덕션이 있습니다. 오케이 그래가지고 얘는 그대로 튀어나오고요. 그다음에 gap 드라아웃 그다음에 이렇게 해주는 거
이게 좀 재미난 해석이 돼요. gap를 하고 나서 드라아웃을 한다라는 건 무슨 의미일까요? 오늘의 마지막 질문 gap 하고 나서 드라아웃한다라는 것의 의미가 뭘까?
정규화 로 님 그 대학원 들어간다고 그 어려운 말 쓰시고 이러면 안 됩니다.
부모님께서 이제 조교도 하고 하실 텐데
의미적으로 의미적으로 정교화도 맞죠 맞는데 그거는 그냥 플리 커넥티드에다가 드랍하웃 하면 그거는 정교화잖아요. 그냥
과적합 방지인데 그러니까 우리는 이거를 직관적으로 이해를 해야 된다는 거예요. 딥러닝을 과적합 방지는 현상을 막기 위함이죠. 오버피팅이라는 현상을 막기 위함. 그래서 드라아웃을 쓴다라는 것은 어찌 보면 피상적이에요. 머신한테 이렇게 얘기를 하는 거예요. 야 맨 마지막에 피처 맵 있잖아. 그 피처맵을 좀
피처 맵이라는 것은 그러니까 맨 마지막에 gap를 땅 때리면 그거는 피처만 남은 거예요. 피처 맵이 아니고 피처만 남은 거예요. 50 그렇죠 자솔링 바로 그거예요. 피처 맵을 줄인다. 잠깐만 gap잖아. 그건 잠깐만 그래 gap를 했다라는 것이 줄인다 줄인다 압축한다. 그다음에 드라아웃이 바로 골라서 쓴다죠 골라서 쓴다 그거예요. 바로
드라아웃이 뭡니까? 일부 가리고 통과시켜 통과시킨 로스 또 일부 가리고 통과시킨 로스 또 일부 가리고 통과시킨 로스 걔네들을 써서 학습하는 거잖아요.
그러니까
예를 들면 이런 거예요. 모든 피처가 다 들어있겠죠 512개에는 이 사진에 대해서 눈이 두 개고요. 강아지 눈 같은 게 있고요. 강아지 귀 같은 게 있고 이렇게 있는 거예요. 피처가 512개가 그중에 코만 보고 맞춰봐 이렇게 하는 거예요. 야 코만 봐봐. 그래도 맞춰야 돼. 드라아웃시키는 거야. 그게 눈만 봐봐. 야 왼쪽 눈만 봐. 왼쪽 눈만 봐도 맞출 수 있을까? 맞힐 수 있도록
맞출 수 있도록 하는 거죠. 드라아웃을 통해서 바로 그거예요. 그러니까 우리는 그런 생각을 할 수 있는 사람이 돼서 이제 재밌게 즐겨야지.
응
예를 들어서 오버 피팅의 방지 방법 손가락 세 가면서 드라아웃이요. 데이터 어그멘테이션이 레블라이제이션 레이블 레블라이 그런 얘기를 하는 게 아니고 이거는 피처 맵을 골라가면서 그러니까 피처를 골라가면서죠. gap를 때렸으니까 피처만 남았고 피처를 골라가면서 일부 피처만 보고도 로스를 잘 누릴 수 있게끔 일부 피처만 보고도 분류를 잘할 수 있게끔
한다라는 의미를 이 한 줄만 보고도 사실은 그냥 의미 없는 블록과 블록과 블록과 블록인데 거기에 의미를 우리는 담을 수 있다는 거예요. 그래야 여러분들이 또 다른 뭔가를 만들 때 여기에 드라아웃을 놓을지 말지를 생각을 해볼 수 있다는 거죠. 놓으면 이런 거를 너신한테 귀띔을 해줄 수 있음을 아셨으면 하는 마음인 거예요.
그런 훈련이 잘 돼 있는 사람이 바로 타이밍 허고 타이밍 형가 만든 게 바로 레즈넷이고 이 전체 강의 통틀어 주인공이 바로 레즈넷입니다. 레즈넷의 스키 커넥션은 단순하잖아요. 그냥 더하기잖아요. 근데 여기에는 재미난 귀띔이 있다라는 겁니다.
ai한테 주는 기쁨 바로 그런 그런 거예요. 잠깐만 스키 커넥션의 깃딤이라고 해야 되나? 레즈넷의 기딤 머리 오케이 여기까지 일단 질문 한번 받겠습니다. 질문 한번 해 주세요. 이 다음에 그냥 두루룩 통과해요. 두루룩 통과하고
온 겁니다. 2400만 개네 그러면 어떻게 되는 거야? 좀 줄었나? 잠깐만 1400만 개에서 2430 좀 더 썼네요. 좀 더 쓰고 성능을 좀 키우려고 노력을 했던 것 같습니다. 팩터라이제이션 안 했으면 더 많은 파라미터가 확 불어났을 테니까 백토라이션 통해서 최대한 저기하고 좀 더 깊어졌겠죠 그냥 버전 원보다는 이게 개수가 엄청 많으니까
3번, 5번 두 번 엄청 많아요. 아까는 인셉션 모델 해봤자 6번인가 5번인가 이렇거든요. 얘는 10번이나 인셉션 모듈을 통과하니까 엄청나게 많이 통과했다고 볼 수 있어요. 인셉션 모듈 자체를 많이 깊어졌고 많이 이뻐졌죠 그렇죠 입시가 깊다. 이 스크롤만 해도 느껴지네. 확실히 그런
차이가 있네요. 오케이 질문 없으십니까? 오케이. 그러면 오늘은 여기까지 하도록 하고 내일 모레죠 금요일 날 수업이 있습니다. 금요일 날 8시에 로스 랜드스케이부터 이어가보도록 하겠습니다. 수고하셨습니다. 여러분 감사합니다. 고생하셨습니다. 감사합니다.
습니다.