대용량 메시지 처리 시스템을 구성을 위한 고려사항

@see

http://www.slideshare.net/indeedeng/indeedeng-how-to-get-a-job-35-million-times-a-day-using-rabbitmq#

Durability - 내구성

  시스템 장애가 발생하더라도 메시지가 유실되지 않아야 한다.

  • persistent messages - using database 
  • persistent 와 clustering은 성능저하를 가져오는 요인임->요구수준의 성능을 보장토록 구성

High throughput - 대량 처리량

  대량 메시지의 순간처리량 뿐아니라, 월간, 연간 처리량이 목표수준에 도달해야 한다.

  • 병렬 처리
  • 비동기 처리

Low latency - 낮은 대기시간

  유입되는 요청메시지의 부하로 인한 처리대기시간이 짧아야 한다.  

  • High latency - mq가 없는 단일접점 서비스로 구성된 시스템
  • Message Queue 시스템 구성
  • 병렬처리 시스템으로 구성
  • 비동기 처리 시스템으로 구성

Partition-tolerance -분할내성

  메시지 전달이 실패하거나 시스템 일부가 망가져도 시스템이 계속 동작할 수 있도록 처리

  • mirrored queues in clustering
  • persistent and clustering

Efficient use of the database - 효과적인 데이타베이스 사용

  persistent message 를 위한  편리성이 제공되어야 한다.

  • 설정값에 의한 mode 전환


댓글

댓글 쓰기

이 블로그의 인기 게시물

Charset 변환 ( EUC-KR, UTF-8, MS949, CP933 )

1. 개요 국제화를 고려한 사이트이여야 하나 국내는 반드시 EUC-KR을 사용해야 함에 따라 아래 문제를 해결해야 함 1) EUC-KR을 UTF-8, MS949, CP933 으로 변환해야 한다.  2) 변환후 글자는 깨질수 있으나 byte length는 변하지 않아야 한다.  2. 변환 유틸 import java.io.ByteArrayOutputStream; import java.io.IOException; public class EncodingTest3 { static String convert(String str, String encoding) throws IOException { ByteArrayOutputStream requestOutputStream = new ByteArrayOutputStream(); requestOutputStream.write(str.getBytes(encoding)); return requestOutputStream.toString(encoding); } static String testEncoding(String str, String encoding) throws IOException { String result = convert(str, encoding); System.out.println(result + "=>encoding=" + encoding + ",length=(" + result.getBytes(encoding).length + ")"); return result; } public static void main(String args[]) throws Exception { System.out.println("==== file.encoding===" + System.getProperty("file.encoding")); String
자세한 내용 보기

GZipUtils- gzip을 통한 압축시 charset처리

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.io.Reader; import java.io.Writer; import net.sf.jazzlib.GZIPInputStream; import net.sf.jazzlib.GZIPOutputStream; public class GZipUtils { /** * 지정된 폴더를 Zip 파일로 압축한다. * * @param sourceFileName * - 압축 대상 파일 * @param outputFileName * - 확장자가 gz * @param encoding 파일의 encoding EUC-KR, UTF-8 등.. * @throws Exception */ public static void zip(String sourceFileName, String outputFileName,String encoding) throws Exception { Reader reader = null; Writer writer = null; try { InputStream inputStream = new FileInputStream(sourceFileName); reader = new BufferedReader(new InputStreamReader(inputStrea
자세한 내용 보기

ESAPI ( XSS, Sql Injection )

OWASP 에 ESAPI는 XSS  및 Sql Injection 방어를 위한 API [link]    https://www.owasp.org/index.php/Main_Page [youtube] http://www.youtube.com/watch?v=suphwAsb-To http://www.youtube.com/watch?v=13O9RyjuB3o http://www.youtube.com/watch?v=_B2kv2mSJhE http://www.youtube.com/watch?v=mMW4fiUI5kQ dependency 추가  org.owasp.esapi esapi 2.0.1     2. ESAPI.properties 파일을 만들어 아래 내용을 추가한 후 classpath에 넣는다. Authenticator.UsernameParameterName=userName Authenticator.PasswordParameterName=password ESAPI.Authenticator=com.esapi.authenticator.CustomAuthenticator Authenticator.IdleTimeoutDuration=100000 Authenticator.AbsoluteTimeoutDuration=100000   Test code import org.owasp.esapi.ESAPI; import org.owasp.esapi.Encoder; import org.owasp.esapi.codecs.Codec; import org.owasp.esapi.codecs.OracleCodec; public class EsapiTest { public static void main(String[] args) { String a = "<script>alert('dddd')</script>"; String b = ESAPI.encoder().encod
자세한 내용 보기