728x90 반응형 분류 전체보기166 Fluentd를 이용해 로그 내용에 따라 동적으로 파일명 바꾸기 with.rewrite_tag_filter 플러그인 동적으로 파일명으로 바꾸라고요? 현재 우리 회사 서비스에선 시스템 로그와 사용자 로그 두개를 생성, 관리를 해야한다. 시스템 로그와 우리들이 필요하다고 하지만 사용자 로그의 경우 우리 회사 서비스를 사용하는 사용자들에게 제공할거라 고민이 많았다. 가장 큰 고민은 그 많은 로그를 사용자 id를 따라서 다르게 보여주는 거였다. 그때 나온 의견은 사용자 id가 파일명이 해결할 수 있다는 거였다. 흐음 일리가 있어서 바로 fluentd의 파일명으로 동적으로 바꾸기를 시작했다. 아래는 그에 따른 개발 일대기다. 첫번째 시도 - 태그로 해결해보자 우선 다른 플러그인을 사용하기 전에 기본적인 fluentd로 해결할 수 있나 고민해봤다 🤔 그때 든 생각은 javascript의 템플릿 리터럴이다. 대체로 백틱에 달러를 .. 2023. 8. 5. Unknown filter plugin 'rewrite_tag_filter'. Run 'gem search -rd fluent-plugin' to find plugins 해결하기 현재 원하는대로 로그를 뽑던 중 동적으로 이름을 로그 파일 제목을 바꾸면 좋겠다고 생각해 개발하고 있었다. 태그를 이용하면 된다는 것을 알고 fluentd의 rewrite_tag_filter 플러그인을 사용하고자 했다. 공식문서에 있어 fluentd 이미지에 내저되어져 있는 줄 알았는데 없었다. k8s에서는 Docker와 달리 이미지를 가져오는 것이 로컬이 아닌 Docker Hub와 같은 레지스트리이기 때문에 테스트용으로 하나 올려뒀다. FROM fluent/fluentd:v1.16.2-1.0 USER root RUN gem install fluent-plugin-rewrite-tag-filter USER fluent 아주 간단해서 공용으로 해두었는데 혹시 필요한 사람은 참고하길. 아무튼 k8s 매니페스.. 2023. 8. 3. [k8s] DaemonSet으로 fluentd 구축하기 (configMap, pattern not matched) 어서와 DaemonSet은 처음이지? 회사 서비스 로그 시스템을 구축하는데 벌써 한달이 지나가고 있다. (물론 로그 시스템만 한거 아님! 메트릭 수집도 해야했고 다른 서비스도 개발해야했으니 한달 허투로 쓴거 아님!) 개발은 Docker로만 운영은 k8s로 하기 때문에 로그를 위한 fluentd도 Docker에서 벗어나 k8s에 도입하게 되었다. 근데 k8s의 새로운 kind를 만나게 되었다. 그게 바로 DaemonSet! k8s 공식 문서에서 확인한 DaemonSet의 설명이다. 한마디로 정리하면 알아서 모든 노드에 실행하게 해주는 아이다. DaemonSet을 사용하지 않을 경우 fleuntd의 pod를 각 노드마다 수동으로 생성해줘야 할것이다. 하지만 DaemonSet를 사용하면 딱히 설정해주지 않아도.. 2023. 7. 25. [행사] 2023 AI 해커톤 - 유데미, 원티드, 조코딩님과 함께 준비하기 AI 해커톤이라니! 원티드가 연결되어져 있는 메일함에 들어갔다가 2023 AI 해커톤에 도전하세요라는 제목에 홀리듯이 클릭해버렸다. 해커톤 경험이 전무하지만 AI 기술을 활용한 웹/앱 서비스 만들기는 참가신청을 작성하기에 충분했다. AI를 연계전공으로 배웠고 현재는 웹 서비스로 월급 받고 있으니 상금 노려볼만 하지 않나 생각했다 🤭 참가신청 사이트 알려드림 https://www.wanted.co.kr/events/2023AIhackathon 2023 AI 해커톤 | 원티드 원티드와 유데미, 조코딩님이 함께 하는 2023 AI 해커톤! www.wanted.co.kr 원티드에서 신청할 수 있다. 따로 뭔갈 준비할 필요없고 기본적인 정보만 입력하면 신청이 매우 쉽게 된다. 현재는 모집기간으로 7월 21일 이번.. 2023. 7. 17. 모니터링 시스템 구축하기 (1) prometheus 모니터링 시스템의 필요성 서비스를 운영하는 사람이라면 모니터링 시스템을 구축해야 한다. 작은 서비스일 경우 '굳이'라는 말을 할 수 있고 그럴 수 있다. 하지만 성능을 모니터하고 장애 대응의 중요성을 알고 있는 사람이라면 '당연히'라고 말할 것이다. Prometheus 왜 모니터링 시스템을 구축해야하는지 알아봤다. 그렇다면 어떻게 구축해야 할까? prometheus를 이용하면 손쉽게 모니터링 할 수 있는 메트릭을 수집할 수 있다. 실습 1) docker-compose에 prometheus prometheus: image: prom/prometheus:v2.29.1 ports: - 9090:9090 volumes: - ./prometheus/prometheus.yml:/etc/prometheus/prome.. 2023. 7. 6. 눈물겨운도커 이미지 사이즈 줄이기 🥹 #1 Azure CLI 사용하기 자동으로 AKS 생성 어떻게 하는건데 자동으로 AKS가 생성되는 서비스를 만들어야 했다. 기존엔 터미널에서 Azure 명령어를 사용하면 인제는 자동으로 명령어가 수행하게 만들어야 했다. 어떻게 해야할까 🤔 간단하게 Azure 명령어를 코드에 넣고 실행하도록 하면 되겠다는 생각을 했다. 그렇기 위해서는 외부 명령어를 실행해주는 shelljs 라이브러리를 사용하면 된다. shelljs 이용하기 이 라이브러리를 사용하기 매우 간단하다. 터미널에 작성했던 Azure 명령어를 작성하고 shelle.exec에 command를 넣으면 된다. /** * az aks create next */ createAKSCommand(name: string) { console.log('create AKS Start!'); cons.. 2023. 5. 9. [AI] PPT 제작이 고민이라면 gamma 이용해보세요! PPT 제작 들어는 봤는데 🤔 요즘 AI의 가장 화제는 ChatGPT가 아닐까 생각해봅니다. 저도 검색 도구로 애용하고 있는데 이번에는 PPT를 기똥차게 만들어주는 곳이 있다는 글을 봤어요. 인간이 제목만 넣어주면 인공지능이 알아서 PPT를 만들어준다? PPT 업무 주이신 분들과 대학생 분들에게 희소식이 아닐까 생각합니다. Gamma App https://gamma.app/ Gamma App A new medium for presenting ideas, powered by AI. Create beautiful, engaging content with none of the formatting and design work. gamma.app 오늘 소개해드릴 앱은 바로 Gamma App입니다. PPT 뿐만 아.. 2023. 5. 9. [NodeJS] gts로 간편하게 TypeScript 프로젝트 생성하기 - 라이브러리 추천 가장 귀찮은 일은? 프로젝트 생성하기! 프로젝트를 하나 생성할 때마다 귀찮지 않은가? 개발자한테 귀찮음이란 해결해야하는 숙제와 같다. 역시 나처럼 생각하는 사람들이 많았는지 좋은 라이브러리가 있어 가지고 왔다. GTS란 구글에서 만든 TypeScript 가이드이다. npx gts init 단 한줄의 명령어로 TypeScript 프로젝트를 생성해준다. 사용법 // 폴더 생성 mkdir [name] // 생성한 폴더로 이동 cd [name] // gts 실행 npx gts init --yarn 사용할 때 아무 폴더에나 명령어를 입력하지 말고 먼저 폴더 생성한 후 gts 명령어를 입력해라. yarn을 사용할 경우 나처럼 명령어 뒤에 --yarn을 붙어주면 된다. package.json이 없다고 만들거냐고 물어.. 2023. 5. 2. [Azure] AKS를 생성한 당신..! 요금과 관련된 중요한 정보 드립니다 클라우드 구축하면 가장 걱정되는 것은? 요금! 개발자들 뿐만 아니라 실무진, 대표님이 가장 걱정하는 것이 바로 클라우드 요금이라고 생각한다. 드디어 우리 프로젝트도 클라우드를 구축하기 시작했는데.. 너무 두려웠다 😱 그래서 내가 한 일은 매일 Azure 로그인을 해서 수시로 요금 청구서를 조회했다. 잠시 눈물 좀 닦고 오겠습니다. 근데 이 Azure에서 AKS 요금를 조회할 때 신기한 것을 발견해서 공유하고자 한다. Azure에서 요금 보는 방법 우선 Azure에서 요금 보는 방법을 소개하겠다. 왼쪽 상단에 있는 가로선 3개를 누르면 맨~ 아래에 Cost Management + Billing이 있다. 그럼 여러분의 계정의 요금 볼 수 있는 곳으로 넘어간다. 회사 계정일 경우 여러 서비스가 혼합되어져 있기.. 2023. 4. 27. 이전 1 2 3 4 5 6 7 8 ··· 19 다음 728x90 반응형
