본문 바로가기
반응형

전체 글229

Kafka의 이해와 설치 그리고 사용법 [ 카프카의 이해 ] 카프카(Kafka)는 스트리밍 데이터를 위한 미들웨어이다. 고가용성(Highly Available)과 고확장성(Highly Scalable)한대 데이터 영속성(Data Persistence)까지 갖추었다. 고가용성이란 오랜 기간 동안 지속적으로 정상 운영이 된다는 의미이고 고확장성은 병렬 시스템이 가능하다는 의미이다. 그리고 영속성은 프로그램이 종료돼도 사라지지 않는 데이터를 말한다. 카프카는 "Producer" > "Broker Cluster" > "Consumer" 라는 3가지 컴포넌트를 가지고 있다. Pub/Sub 구조로 움직이며 Topic 이라고 불리는 데이터 관리 유닛을 사용한다. 이러한 구조의 작업들이 Zookeeper에 의해 관리된다. Producer는 데이터를 입력하는.. 2021. 8. 3.
지금도 쓸만한 아이패드 미니 3세대 [ 아이패드 미니 3세대의 목적 ] 아이패드를 구매할 때는 딱 두 가지만 고려하면 된다. "바로 펜슬을 헤비하게 쓸 것인가 아닌가"이다. 펜슬을 그냥 써봐야겠다가 아니고 헤비하게 쓸 것이다를 고려해야 한다. 펜슬을 헤비하게 사용할 경우, 무조건 아이패드 프로로 가야 한다. 그리고 그렇지 않을 경우 나는 100% 아이패드 미니가 옳다고 생각한다. 현재 내가 아이패드 미니 3세대를 구매한 이유는 단 4가지 앱을 사용하기 위해서다. 첫번째 굿리더, 두 번째 유튜브, 세 번째 넷플리스, 네 번째 사파리이다. 굿리더를 제외하고 3개지 앱은 전부 와이파이나 LTE 같은 통신을 사용해야만 사용할 수 있다. 그래서 나는 아이패드 미니 3세대 LTE 버전을 당근 마켓에서 구매했다. 미니 3세대의 속도에 대해서 궁금할 것.. 2021. 8. 2.
numpy.core._exceptions.MemoryError [ MemoryError ] 메모리가 부족할 때 보이는 이녀석의 전문은 아래와 같았다. 이런 에러는 Pandas를 사용할 때 보인다. "numpy.core._exceptions.memoryerror: unable to allocate 151. mib for an array with shape (14, 2824553)" 해결 방법은 생각보다 간단하다. 32비트 파이썬을 64비트로 변경한다. 부팅해고 다시 앱을 실행한다. 가상 메모리를 올린다. 물리 메모리를 증가시킨다. 이렇게 3가지가 있는데, 가장 가성비가 잘 나오는 해결 방법은 1번 32비트를 64비트로 올리는 것이다. 32비트에서 64비트로 올릴 경우 메모리 주소의 값이 폭발적으로 증가하여 해당 오류없이 앱이 성공적으로 동작할 것이다. 32비트를 불가.. 2021. 8. 1.
반응형

티스토리툴바