대용량 메시지 처리 시스템을 구성을 위한 고려사항

@see

http://www.slideshare.net/indeedeng/indeedeng-how-to-get-a-job-35-million-times-a-day-using-rabbitmq#

Durability - 내구성

  시스템 장애가 발생하더라도 메시지가 유실되지 않아야 한다.

  • persistent messages - using database 
  • persistent 와 clustering은 성능저하를 가져오는 요인임->요구수준의 성능을 보장토록 구성

High throughput - 대량 처리량

  대량 메시지의 순간처리량 뿐아니라, 월간, 연간 처리량이 목표수준에 도달해야 한다.

  • 병렬 처리
  • 비동기 처리

Low latency - 낮은 대기시간

  유입되는 요청메시지의 부하로 인한 처리대기시간이 짧아야 한다.  

  • High latency - mq가 없는 단일접점 서비스로 구성된 시스템
  • Message Queue 시스템 구성
  • 병렬처리 시스템으로 구성
  • 비동기 처리 시스템으로 구성

Partition-tolerance -분할내성

  메시지 전달이 실패하거나 시스템 일부가 망가져도 시스템이 계속 동작할 수 있도록 처리

  • mirrored queues in clustering
  • persistent and clustering

Efficient use of the database - 효과적인 데이타베이스 사용

  persistent message 를 위한  편리성이 제공되어야 한다.

  • 설정값에 의한 mode 전환


댓글

댓글 쓰기

이 블로그의 인기 게시물

Charset 변환 ( EUC-KR, UTF-8, MS949, CP933 )

1. 개요 국제화를 고려한 사이트이여야 하나 국내는 반드시 EUC-KR을 사용해야 함에 따라 아래 문제를 해결해야 함 1) EUC-KR을 UTF-8, MS949, CP933 으로 변환해야 한다.  2) 변환후 글자는 깨질수 있으나 byte length는 변하지 않아야 한다.  2. 변환 유틸 import java.io.ByteArrayOutputStream; import java.io.IOException; public class EncodingTest3 { static String convert(String str, String encoding) throws IOException { ByteArrayOutputStream requestOutputStream = new ByteArrayOutputStream(); requestOutputStream.write(str.getBytes(encoding)); return requestOutputStream.toString(encoding); } static String testEncoding(String str, String encoding) throws IOException { String result = convert(str, encoding); System.out.println(result + "=>encoding=" + encoding + ",length=(" + result.getBytes(encoding).length + ")"); return result; } public static void main(String args[]) throws Exception { System.out.println("==== file.encoding===" + System.getProperty("file.encoding")); String ...
자세한 내용 보기

GZipUtils- gzip을 통한 압축시 charset처리

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.io.Reader; import java.io.Writer; import net.sf.jazzlib.GZIPInputStream; import net.sf.jazzlib.GZIPOutputStream; public class GZipUtils { /** * 지정된 폴더를 Zip 파일로 압축한다. * * @param sourceFileName * - 압축 대상 파일 * @param outputFileName * - 확장자가 gz * @param encoding 파일의 encoding EUC-KR, UTF-8 등.. * @throws Exception */ public static void zip(String sourceFileName, String outputFileName,String encoding) throws Exception { Reader reader = null; Writer writer = null; try { InputStream inputStream = new FileInputStream(sourceFileName); reader = new BufferedReader(new InputStreamReader(inputStrea...
자세한 내용 보기

비동기 메시지 처리 시스템(1)-JMS, RabbitMQ

1.개요 ㅇ비동기/병렬처리( QUEUE ):대량 메시지 처리성능을 위해 반드시 적용 ㅇ동기처리시 문제.. -트랜잭션이 늘어나면 대기하는 요청들이 늘어나 정체 -> 서버다운 -병렬 처리 못함 -> 응답시간 지연. ㅇSpring Integration:비동기 병렬처리를 손쉽게 구현. - spring 기반의 bean들과 설정들을 그대로 사용할 수 있어 매력적임 - Task-executor를 이용한 단순한 구조였음에도 훌륭한 성능. ㅇ 개선점 ( In memory channel 기반 시스템의..) - decoupling : .producer와 consumer간 직접연결로 인한 확장성 문제. .주소가 바뀌거나 , 서버이전하거나..( Physical decoupling) .어느 한쪽의 logic이 변경되면......( Logical decoupling ) - 시스템 에러시 queue에 있는 데이타는 유실 - load balancing, clustring .. - 큐의 상태에 대한 모니터링 도구가 없음. ㅇ 보다 견고한 시스템 구성이 필요 -> jms, mq 등의 시스템 구성.. 2. JMS vs RabbitMQ ㅇJMS : 메시지 처리에 대한 J2EE API. OpenMQ, HornetQ, ActiveMQ가 이에 해당하는 제품들임 ㅇRabbitMQ : AMQP 프로토콜을 지원하는 오픈소스 메시징 시스템 (AMQP란 -> http://killins.egloos.com/m/3025514 ) ㅇ둘의 차이점 [원본] http://java.dzone.com/articles/jms-vs-rabbitmq 1) Messaging Model ...
자세한 내용 보기