Middleware (JBoss & Wildfly) standalone-ha.xml 를 사용한 session cluster 구성 및 keycloa…
페이지 정보
작성자 미들웨어 아이디로 검색 전체게시물 댓글 0건 조회 9,939회 좋아요 0회 작성일 20-11-20 16:08본문
안녕하세요 "미들웨어" 입니다.
이번에는 (JBoss & Wildfly) standalone-ha.xml 를 사용한 keycloak session cluster 구성 에 대해서 진행해보겠습니다.
(JBoss & Wildfly) wildfly 란? 설치방법 및 기본 구성
(JBoss & Wildfly) JBoss-eap 에서 wildfly 마이그레이션시 발생 에러
(JBoss & Wildfly) wildfly에서 remote ejb 설정 및 구성 방법
(JBoss & Wildfly) Wildfly 에서 Oracle JDBC 연동설정 하는 방법
(JBoss & Wildfly) standalone-ha.xml 를 사용한 session cluster 구성 및 keycloak session-cluster 방식
wildfly 를 서로 다른장비에서 cluster 하려고 하면 크게 두가지 방식이 있습니다.
standalone-ha 방식과 domain 방식이 존재합니다.
위 방식의 차이는 메뉴얼에 자세히 나와있으니 방식에 대한 설명은 건너띄고.. standalone-ha 를 사용해서 domain 모드보다 심플하게 관리하고 싶을때
UDP방식의 멀티캐스트 방식이 아닌 TCPPING 방식으로 cluster을 하는 방법에 대해 정리하겠습니다.
http://docs.wildfly.org/14/High_Availability_Guide.html#JGroups_Subsystem
standalone-ha 방식에 대해 정리 (TCPPING)
wildfly 14버전의 jgroup 메뉴얼에는 TCPPING 방식에 대해 정의되있지 않습니다..
하지만, 기존 버전에는 설정 지원이 됐었고 번거롭게 UDP방식의 멀티캐스트 방식이 아닌 심플하게 서버대 서버로 TCP통신을 해서 간단하게 cluster을 하고 싶을때 사용하면 좋은 방식입니다.
1. standalone-ha 로 구성합니다.
- 파일 : standalone-ha.xml
- 내용 : 붉은색 표시된 부분을 추가해주시고 기존 불필요한 UDP부분은 삭제하시면 됩니다.
추가로 port-offset은 0으로 구성했으며, 0값일때 사용되는 TCP 7600 port을 그대로 사용했습니다.
충돌날경우 사용환경에 맞게 변경해서 사용하세요.
1,2번 서버 공통 TCP로 변경한다.
<subsystem xmlns="urn:jboss:domain:jgroups:6.0"> <channels default="ee"> <channel name="ee" stack="tcp" cluster="ejb"/> </channels> <stacks> <stack name="tcp"> <transport type="TCP" socket-binding="jgroups-tcp"/> <socket-discovery-protocol type="TCPPING" socket-bindings="jgroups-test1 jgroups-test2" /> <protocol type="MERGE3"/> <protocol type="FD_SOCK"/> <protocol type="FD_ALL"/> <protocol type="VERIFY_SUSPECT"/> <protocol type="pbcast.NAKACK2"/> <protocol type="UNICAST3"/> <protocol type="pbcast.STABLE"/> <protocol type="pbcast.GMS"/> <protocol type="MFC"/> <protocol type="FRAG2"/> </stack> </stacks> </subsystem> |
1,2 번 서버 공통 any 추가해주고 ip만 변경한다.
<interfaces> <interface name="management"> <inet-address value="${jboss.bind.address.management:127.0.0.1}"/> </interface> <interface name="public"> <inet-address value="${jboss.bind.address:127.0.0.1}"/> </interface> <interface name="private"> <inet-address value="${jboss.bind.address.private:127.0.0.1}"/> </interface> <interface name="any"> // 임의로 any2 이름 생성 <inet-address value="10.10.10.1"/> . // 1번 서버의 경우 10.10.10.1 IP사용, // 2번 서버일 경우 10.10.10.2 고정 IP를 사용한다. </interface>
</interfaces> |
1,2번 서버 공통으로 아래 변경사항을 추가해준다.
<socket-binding-group name="standard-sockets" default-interface="any" > <socket-binding name="management-http" interface="management" port="${jboss.management.http.port:9990}"/> <socket-binding name="management-https" interface="management" port="${jboss.management.https.port:9993}"/> <socket-binding name="ajp" port="${jboss.ajp.port:8009}"/> <socket-binding name="http" port="${jboss.http.port:8080}"/> <socket-binding name="https" port="${jboss.https.port:8443}"/> <socket-binding name="jgroups-tcp" interface="any" port="7600"/> <socket-binding name="txn-recovery-environment" port="4712"/> <socket-binding name="txn-status-manager" port="4713"/> <outbound-socket-binding name="mail-smtp"> <remote-destination host="localhost" port="25"/> </outbound-socket-binding>
<!-- other configuration here --> <outbound-socket-binding name="jgroups-test1"> <remote-destination host="10.10.10.1" port="7600"/> </outbound-socket-binding> <outbound-socket-binding name="jgroups-test2"> <remote-destination host="10.10.10.2" port="7600"/> </outbound-socket-binding> </socket-binding-group> |
### keyclock 에서 session cluster 을 사용하고자 할 경우 wildfly 설정 방법
<cache-container name="keycloak"> 명시되있기에 해당 부분에서 owners 를 연결하는 서버 수 만큼 적어줘야 한다.
서로 다른 서버의 session 경우를 하고 자 할 경우 서버 수 만큼 서로의 세션을 복제해야 하므로 owners 를 정해준다.
<subsystem xmlns="urn:jboss:domain:infinispan:7.0"> <cache-container name="keycloak"> <transport lock-timeout="60000"/> <local-cache name="realms"> <object-memory size="10000"/> </local-cache> <local-cache name="users"> <object-memory size="10000"/> </local-cache> <distributed-cache name="sessions" owners="2"/> <distributed-cache name="authenticationSessions" owners="2"/> <distributed-cache name="offlineSessions" owners="2"/> <distributed-cache name="clientSessions" owners="2"/> <distributed-cache name="offlineClientSessions" owners="2"/> <distributed-cache name="loginFailures" owners="2"/> <local-cache name="authorization"> <object-memory size="10000"/> </local-cache> <replicated-cache name="work"/> <local-cache name="keys"> <object-memory size="1000"/> <expiration max-idle="3600000"/> </local-cache> <distributed-cache name="actionTokens" owners="2"> <object-memory size="-1"/> <expiration max-idle="-1" interval="300000"/> </distributed-cache> </cache-container> |
2. 기동스크립트 옵션 추가
|
10:53:25,396 INFO [org.infinispan.CLUSTER] (remote-thread--p9-t3) [Context=keycloak-server.war] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 11 10:53:25,407 INFO [org.infinispan.CLUSTER] (remote-thread--p7-t2) [Context=client-mappings] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 11 10:53:25,407 INFO [org.infinispan.CLUSTER] (remote-thread--p9-t3) [Context=default-server] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 11 10:53:25,424 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t11) [Context=sessions] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1 10:53:25,424 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t11) [Context=sessions] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,445 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t11) [Context=clientSessions] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1 10:53:25,445 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t1) [Context=loginFailures] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1 10:53:25,446 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t1) [Context=loginFailures] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,446 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t11) [Context=clientSessions] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,449 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t9) [Context=actionTokens] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,461 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t9) [Context=work] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,462 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t1) [Context=offlineSessions] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1 10:53:25,462 INFO [org.infinispan.CLUSTER] (remote-thread--p6-t1) [Context=offlineSessions] ISPN100008: Updating cache members list [pSso1_prd_sso_keycloak_1], topology id 12 10:53:25,464 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t9) [Context=offlineClientSessions] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1 10:53:25,464 WARN [org.infinispan.CLUSTER] (remote-thread--p6-t11) [Context=authenticationSessions] ISPN000312: Lost data because of graceful leaver pSso2_prd_sso_keycloak_1
|
3. <distributable/> 설정 추가
session 공유를 위해서 배포할 war에 WEB-INF/web.xml 설정에 <distributable/>을 추가합니다.
keycloak 경우는 별도 안해도 위에 설정한 jboss:domain:infinispan 부분에 추가되있어서 괜찮다.
<web-app> .... <distributable/> </web-app> |
4. Session Cluster Log 확인
cluster 성공 및 session cluster 잘 됐는지 로그를 확인한다.
session cluster 을 구성한뒤, 1번 서버를 내리고 2번서버에 세션연결이 잘되는지 테스트 해보고.. 또 반대로 2번 서버 내리고 1번서버 기동시 세션이 잘 유지되는지 확인해야 한다. 2개의 서버중 한대를 다운했을때 wildfly 서버 로그에는 아래와 같이 After merge 된 로그가 나와야지 정상 작동 된 겁니다. 아래 로그 내용은 2대의 keycloak 를 wildfly 14버전으로 구성한뒤 각 서버를 shutdown 했을때 정상적으로 세션클러스터링이 된 것을 설명한 로그입니다.
11:07:26,949 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t54) [Context=sessions] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12
11:07:26,949 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t19) [Context=authenticationSessions] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:26,949 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t29) [Context=offlineClientSessions] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:26,960 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t54) [Context=clientSessions] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12
11:07:26,965 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t19) [Context=work] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12
11:07:26,967 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t19) [Context=offlineSessions] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:26,968 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t19) [Context=loginFailures] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:26,969 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p25-t19) [Context=actionTokens] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:27,051 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN000094: Received new cluster view for channel ejb: [pSso1_prd_sso_keycloak_1|4] (1) [pSso1_prd_sso_keycloak_1] 11:07:27,051 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN100001: Node pSso2_prd_sso_keycloak_1 left the cluster 11:07:27,053 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN000094: Received new cluster view for channel ejb: [pSso1_prd_sso_keycloak_1|4] (1) [pSso1_prd_sso_keycloak_1] 11:07:27,054 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN100001: Node pSso2_prd_sso_keycloak_1 left the cluster 11:07:27,054 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p23-t29) [Context=keycloak-server.war] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:27,054 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p23-t2) [Context=default-server] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:27,054 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN000094: Received new cluster view for channel ejb: [pSso1_prd_sso_keycloak_1|4] (1) [pSso1_prd_sso_keycloak_1] 11:07:27,054 INFO [org.infinispan.CLUSTER] (thread-4,null,null) ISPN100001: Node pSso2_prd_sso_keycloak_1 left the cluster 11:07:27,057 INFO [org.infinispan.CLUSTER] (stateTransferExecutor-thread--p24-t1) [Context=client-mappings] ISPN100007: After merge (or coordinator change), recovered members [pSso1_prd_sso_keycloak_1] with topology id 12 11:07:49,987 INFO [stdout] (default task-1) 20190219 11:07:49 [NONE] LoadJarBytes scouter.http 13520 bytes |
끝으로.. 이번 테스트는 keycloak 에 삽입된 wildfly 14을 사용하여 cluster 구성해봤습니다.
UDP 방식이 아닌 TCPPING 방식으로 구현하다 보니 wildfly 14버전 메뉴얼에 없는 내용을 추가해야 했고, 기존버전을 참고해서 any 사용 이나 owner=2등
메뉴얼에는 없지만, 구성을 해야 하는 부분이 있어 난이도가 좀 있었습니다.
댓글목록
등록된 댓글이 없습니다.
Top