貴学にてIdPをインストールする場合の構築手順

貴学にて、貴学のサーバにOSを含めShibboleth IdPならびに必要なパッケージのインストール・設定を行う手順を説明します。

...

1. Shibboleth IdP (version

...

4以降) の動作要件

以下は本技術ガイドで構築する前提となる環境です。

• メモリ3GB以上
  Java実行環境への推奨割り当てメモリ量が1.5GBですので、その動作に支障がないようにしてください。
• Apache HTTP Server 2.4 以上　と mod_ssl

以下のパッケージはインストール方法も含めて以降の手順で説明します。

• Jetty 9.4
  
  • jetty-distribution-9.4.32.v20200930を使った手順となっています。
    ※いずれも以下のShibbolethのサイト「Jetty94」が情報源です。
  • 以前の技術ガイドではサーブレットコンテナとしてTomcatを用いたものをご案内しておりました。その関係で継続してTomcat利用を強くご希望の方向けに、暫定的にShibboleth IdP V4をTomcat 9で構築する方法を別途ご案内しております:
    ⇒旧: 貴学にてIdPv4（Tomcat）をインストールする場合の構築手順
    
    • いずれにしろTomcat 10およびそれ以降はサポートできかねますのでご了承ください。
    • あくまでも暫定版です。すでに運用中でTomcatをお使いの方は動作確認の上Jettyへの移行をご検討ください。
• Java 11
  

  • Java 11以降のバージョンのみ対応しています。

    注意
    文字列置換のためのJavaScriptメソッド "abc".replace("a", "b") について、Java 7では全置換されていたものがJava 8では先頭の一致した部分しか置換されなくなるという情報があります。 当該メソッドを使って全置換を行っている場合は正規表現 replace(/a/g, "b") を使うようにしてください。

• Apache Tomcat 7 or 8 or 8.5 or 9
  
  • 初期の8.5はセッションのバグにより不安定になるという情報があります。
  • JMXを初期化前に使うと動作がおかしくなります。
  • Tomcat 8以降idp.xmlに unpackWAR="false" を指定していると起動に4〜5倍時間がかかりますので、気になる方は指定を解除してください。
    ※いずれも以下のShibbolethのサイト「Apache Tomcat 8」が情報源です。
Java 8 or 11
Java 9および10は使用できません。Shibboleth開発元はJava 9/10はサポートしない、いわゆるLTSのみをサポートしています。
• • Oracle JDK / OpenJDK 11にてLDAPサーバへの接続にLDAPSを使う場合、以下のエラーになるという情報があります。

    書式設定済み
    java.lang.NullPointerException: Thread local SslConfig has not been set

    原因はJDKのバグであるとのことです。該当する場合、以下でUnboundIDを使う回避策が提示されています。
    https://wiki.shibboleth.net/confluence/display/IDP30/LDAPonJava>8
    詳細: https://issues.shibboleth.net/jira/browse/IDP-1357

Java 7(OpenJDK 7)は終了の方向ですので、Java 8 (Oracle JDK 8 / OpenJDK 8) を使用することを推奨します。
Java 7とJava 8でスクリプトの書き方に若干の違いがあります。（書き方の違いの例）
詳細(Shibboleth Wiki): ScriptedAttributeDefinitionの"Java 1.8 and Nashorn"の項およびその上の記述例, ScriptedDataConnector
v2版: IdPJava1.8, ResolverScriptAttributeDefinition, IdPFilterRequirementScript
（Shibboleth Wikiでは基本的にIdPv3のページでの説明はJava 8(Nashorn)がメインでJava 7(Rhino)も併記、v2版は特に断りがなければJava 7(Rhino)での表記となっています）

注意
文字列置換のためのJavaScriptメソッド "abc".replace("a", "b") について、Java 7では全置換されていたものがJava 8では先頭の一致した部分しか置換されなくなるという情報があります。当該メソッドを使って全置換を行っている場合はJava 8では正規表現 replace(/a/g, "b") を使うようにしてください。

• Java 8およびそれ以降を使う場合エントロピー不足で起動が遅くなる場合があるという情報があります。jre/lib/security/java.securityやシステムプロパティ等で対処してください。
  確認方法および手順例: IdPのサービス動作状況の確認の「よくあるエラー」の503エラーの項
  
  • この問題はCentOS 7を使っている場合に顕著です。
  • VMで稼働させていてこの問題がある場合、ホストマシンでHavegedを導入しVMからこれを参照する等で十分なエントロピーを生成できる場合があるようですので、合わせてご検討ください。
• Java 8およびそれ以降を使う場合は、/etc/sysconfig/tomcatのJAVA_OPTSに指定するオプションのうち "-XX:MaxPermSize=256m" は意味がありません（Java 7向けの指定です）ので削除してかまいません。
  
• GNU Javaは利用できません。 OracleのJavaもしくはOpenJDKを利用してください。

...

• • エントロピー不足で起動が遅くなる場合があるという情報があります。jre/conf/security/java.securityやシステムプロパティ等で対処してください。
    確認方法および手順例: IdPのサービス動作状況の確認の「よくあるエラー」の503エラーの項
    
    • この問題はCentOS 7を使っている場合に顕著です。
    • VMで稼働させていてこの問題がある場合、ホストマシンでHavegedを導入しVMからこれを参照する等で十分なエントロピーを生成できる場合があるようですので、合わせてご検討ください。
  • GNU Javaは利用できません。 OpenJDKもしくはOracleのJavaを利用してください。

最新の情報はShibbolethのサイトでご確認ください:
全体, Jetty 9.4

...

2. OSをインストールする

1. OSでの設定

・OS（CentOS 7）インストール

インストーラでインストールするもの。

Webサーバー (HTTPのみ)
OpenLDAP

その他のパッケージは必要に応じてインストールしてください。
ただし、Java開発とJettyは後の手順で別にインストールします。

運用フェデレーション参加後に、ホスト名を変更する場合はいくつか考慮・解決すべき点があります。
ホスト名は十分ご検討いただいた上で設定してください。詳しくは IdPのホスト名変更に関する注意点 をご参照ください。
※このテキストはSELinuxはPermissiveに設定されているものとして書かれております。下記コマンドでSELinux設定を確認してください。

$ /usr/sbin/getenforce

・ネットワーク設定

 環境に合わせ、ホスト名・ネットワーク・セキュリティを設定して下さい。

2. DNSへ登録する

　新しいホスト名とIPアドレスをDNSに登録してください。

3. 時刻同期を設定する

　ntpサービスを用い、貴学環境のntpサーバと時刻同期をしてください。

 　※Shibbolethでは、通信するサーバ間の時刻のずれが約3分を越えるとエラーになります。

...

3. jdk 11、jetty 9.4をインストールする 

1. tomcatの削除

tomcat が入っている場合は、削除してください。

2. jdk のインストール 

CentOS 7にはOpenJDKのパッケージが用意されていますので、これをyumにてインストールします。

# yum install java-11-openjdk-headless

3. jetty 9.4 のインストール 

https://www.eclipse.org/jetty/download.html より最新版のパッケージ(.tgz)をダウンロードしてインストールします。
さらに、Shibboleth Projectが配布しているJetty向け設定ファイル群(jetty-base)を配置します。

...

2. OSをインストールする

1. OSでの設定

・OS（CentOS 7）インストール

インストーラでインストールするもの。

Webサーバー (HTTPのみ)
OpenLDAP

その他のパッケージは必要に応じてインストールしてください。
ただし、Java開発とTomcat は後の手順で別にインストールします。

...

...

$ /usr/sbin/getenforce

サービス起動には、jetty起動用のユーザを使用することを推奨します。

ここでは、一般的な"jetty"ユーザを作成します。（以降、"jetty"ユーザを使用する事を前提として説明します。）なお、下記コマンドでユーザID・グループIDは /usr/share/doc/setup-2.8.71/uidgid の値を利用していますが他の値でも問題ありません。既存のユーザ・グループと重複しない値を指定してください。

# groupadd -g 110 jetty
# useradd -u 110 -g jetty -d /opt/jetty-base -s /sbin/nologin -c "Jetty daemon" jetty

以下のコマンドでその他Jetty関連の設定ファイルやディレクトリの所有者、パーミッションを設定します。

・ネットワーク設定

 環境に合わせ、ホスト名・ネットワーク・セキュリティを設定して下さい。

2. DNSへ登録する

　新しいホスト名とIPアドレスをDNSに登録してください。

3. 時刻同期を設定する

　ntpサービスを用い、貴学環境のntpサーバと時刻同期をしてください。

 ※Shibbolethでは、通信するサーバ間の時刻のずれが約５分を越えるとエラーになります。

...

3. jdk 8、tomcat 7をインストールする 

1. 古いtomcatの削除

tomcat 6以前のバージョンが入っている場合は、削除してください。

2. jdk のインストール 

CentOS 7にはOpenJDKのパッケージが用意されていますので、これをyumにてインストールします。

# yum install java-1.8.0-openjdk

# rpm -ivh jdk-8u???-linux-x64.rpm

crypto.policy=unlimited

3. tomcat 7のインストール 

CentOS 7の場合、標準パッケージにTomcat 7があるため、yumにてインストールします。 

# yum install tomcat

 自動起動の設定

# systemctl enable tocmat

/etc/sysconfig/tomcatを編集し、JAVA_OPTSを設定します。（以下、推奨値）

#JAVA_OPTS="-Xminf0.1 -Xmaxf0.3"
JAVA_OPTS="-server -Xmx1500m -XX:+UseG1GC "

...

...

chown -R root:root /opt/jetty-distribution-9.4.*.v???????? /opt/jetty-base

# chmod -R g-w /opt/jetty-base

# chown jetty:jetty /opt/jetty-base/{logs,tmp}

以下の内容で /etc/sysconfig/jetty を作成します。

...

jvm/jre/bin/java
JETTY_HOME=/opt/jetty
JETTY_BASE=/opt/jetty-base
JETTY_RUN=/opt/jetty-base/tmp
JETTY_STATE=/opt/jetty-base/tmp/jetty.state

起動スクリプトを以下のように配置します。

# 

sudo cp 

-ip /

opt/jetty/bin/jetty.sh /etc/init.d/

jetty
# sudo cp -ip /opt/jetty/bin/jetty.service /etc/systemd/system/


/etc/systemd/system/jetty.serviceを以下のように修正します。

# chkconfig --add tomcat7
# chkconfig --level 345 tomcat7 on

設定を反映させ、自動起動の登録を行います。

sudo systemctl daemon-reload
# sudo systemctl enable jetty

4. jetty-baseの設定

/opt/jetty-base/webapps/idp.xmlを以下のように修正します。（idp.warファイルのパス修正）

また、Tomcatのpidファイル及び保存されているディレクトリを ls -dl 等で所有者・パーミッションを確認の上、必要なら変更してください。

<Configure class="org.eclipse.jetty.webapp.WebAppContext">
<Set name="war"><SystemProperty name="idp.war.path" default="/opt/shibboleth-idp/war/idp.war" /></Set>
<Set name="contextPath"><SystemProperty name="idp.context.path" default="/idp" /></Set>
<Set name="extractWAR">false</Set>
<Set name="copyWebDir">false</Set>
<Set name="copyWebInf">true</Set>
</Configure>

idp-backchannel.iniを読み込まないようにします。

/opt/jetty-base/start.d/start.ini を以下の内容で作成します。

/opt/jetty-base/modules/idp.mod を修正します。（https と ssl をコメントアウト）

...

/etc/profile.d/java-tomcat.sh という新規ファイルを以下の内容で作成します。

# /etc/profile.d/java-tomcat.sh
JAVA_HOME=/usr/lib/jvm/jre
#export MANPATH=$MANPATH:/usr/java/default/man
CATALINA_HOME=/usr/share/tomcat
CATALINA_BASE=$CATALINA_HOME
PATH=$JAVA_HOME/bin:$CATALINA_BASE/bin:$CATALINA_HOME/bin:$PATH
export PATH JAVA_HOME CATALINA_HOME CATALINA_BASE

# /etc/profile.d/java-tomcat.sh - set Java and Tomcat stuff
JAVA_HOME=/usr/lib/jvm/jre
#export MANPATH=$MANPATH:/usr/java/default/man
CATALINA_HOME=/usr/java/tomcat
CATALINA_BASE=$CATALINA_HOME
PATH=$JAVA_HOME/bin:$CATALINA_BASE/bin:$CATALINA_HOME/bin:$PATH
export PATH JAVA_HOME CATALINA_HOME CATALINA_BASE

追加した環境変数を読み込みます。

5.  httpd の設定 

 /etc/httpd/conf/httpd.conf の修正

 /etc/httpd/conf.d/ssl.conf の修正

/etc/httpd/conf.d/virtualhost-localhost80.conf を以下の内容で作成してください。これはShibboleth IdPが提供するreload-metadata.sh等のコマンドを使った操作を可能にするためのものです。

<VirtualHost localhost:80>
ProxyPass /idp/ ajp://localhost:8009/idp/
</VirtualHost>

...

/opt/jetty-base/start.d/idp.ini を修正します。

/opt/jetty-base/start.d/idp-logging.ini を修正します。

/opt/jetty-base/etc/tweak-ssl.xmlを以下の内容で作成します。

上記ファイルを参照するように /opt/jetty-base/modules/idp-backchannel.mod に追記します。

5.  httpd の設定 

/etc/httpd/conf/httpd.conf の修正

/etc/httpd/conf.d/ssl.conf の修正

...

$CATALINA_BASE/conf/server.xmlを下記のように修正します。
他の用途で使用する予定がなければConnector port="8080"をコメントアウトしてください。

<!--
    <Connector port="8080" protocol="HTTP/1.1"
               connectionTimeout="20000"
               redirectPort="8443" />
-->

 Connector port="8009"に以下のように追加してください。

...

4. Shibbolethのインストール

各ファイル名等の指定は，Version 3.2.1に準拠しています。

1. Shibboleth IdP パッケージのダウンロード

/etc/httpd/conf.d/virtualhost-localhost80.conf を以下の内容で作成してください。
これはShibboleth IdPが提供するreload-metadata.sh等のコマンドを使った操作を可能にするためのものです。

...

4. Shibbolethのインストール

各ファイル名等の指定は，Version 4に準拠しています。

1. Shibboleth IdP パッケージのダウンロード

http://shibboleth.net/downloads/identity-provider/latest/から最新のIdP（ shibboleth-identity-provider-4http://shibboleth.net/downloads/identity-provider/latest/から最新版のIdP（ shibboleth-identity-provider-3.?.?.tar.gz ）をダウンロードします。

...

2.

...

 インストール

...

 shibboleth-identity-provider-34.?.?.tar.gz を適当なディレクトリに置いて、以下のコマンドを実行してください。

パネル
borderColor #cccccc bgColor #eeeeee borderStyle solid
# tar xzvf tar xzvf shibboleth-identity-provider- 3 4.?.?.tar.gz # cd shibboleth-identity-provider- 3 4.?.? # sudo ./bin/install.sh -Didp.conf.credentials. filemode filemode=640 -Didp.conf.credentials.group=jetty

 install.shシェルスクリプトを実行すると、以下のような問い合わせがあります。
手順に従って、進めてください。

注意
インストール時に入力するパスワードを本運用で使う場合は、推測されにくいものを使用してください。 ※ここで入力したパスワードは、※ここで入力した Cookie Encryption Key Password は、/opt/shibboleth-idp/confcredentials/idp.propertiesに記載されます。（平文）secrets.propertiesに記載されます。 　一方 Backchannel PKCS12 Password は記録されません。

パネル
borderColor #cccccc bgColor #eeeeee borderStyle solid
Source (Distribution) DirectoryBuildfile: [ /root/PKG/shibboleth-identity-provider-3.1.2]4.0.1/bin/build.xml install: Source (Distribution) Directory (press <enter> to accept default): [/root/shibboleth-identity-provider-4.0.1] ? [Enter]　←入力なし Installation Directory: [/opt/shibboleth-idp] ? [Enter]　←入力なし Hostname: [upkishib- INFO [net.shibboleth.idp.nii.ac.jp] [Enter]　←入力なし ※表示されたホスト名が違う場合、設定してください。 SAML EntityID: [https://installer.V4Install:151] - New Install. Version: 4.0.1 Host Name: [upkishib-idp.nii.ac.jp/idp/shibboleth] [Enter]　←入力なし Attribute Scope: [※表示されたホスト名が違う場合、設定してください。 INFO [net.shibboleth.idp.installer.V4Install:549] - Creating idp-signing, CN = upkishib-idp.nii.ac.jp] [Enter]　←入力なし ※表示されたスコープが違う場合、設定してください。   Backchannel PKCS12 Password: backpass[Enter]　←任意のパスワード Re-enter password: backpass[Enter] URI = https://upkishib-idp.nii.ac.jp/idp/shibboleth, keySize=3072 INFO [net.shibboleth.idp.installer.V4Install:549] - Creating idp-encryption, CN = upkishib-idp.nii.ac.jp URI = https://upkishib-idp.nii.ac.jp/idp/shibboleth, keySize=3072 Backchannel PKCS12 Password: backpassCookie Encryption Key Password: cookiepass[Enter]　←任意のパスワード[Enter]　←任意のパスワード Re-enter password: cookiepass backpass[Enter]   （省略） BUILD SUCCESSFUL Total time: 2 minutes 9 seconds

 上記のような質問に答えながら、インストールを行います。

3. パーミッションの調整 

Tomcatが”tomcat”ユーザで起動されるので、参照や書き込みが行えるようにディレクトリの所有者を変更します。
同様に、設定ファイルやメタデータの保存ディレクトリなどの所有者・パーミッションも変更します。

# chown -R tomcat:tomcat /opt/shibboleth-idp/logs
# chgrp -R tomcat /opt/shibboleth-idp/conf
# chmod -R g+r /opt/shibboleth-idp/conf
# find /opt/shibboleth-idp/conf -type d -exec chmod -R g+s {} \;
# chgrp tomcat /opt/shibboleth-idp/metadata
# chmod g+w /opt/shibboleth-idp/metadata
# chmod +t /opt/shibboleth-idp/metadata

4. jakarta-taglibs-core.jar と jakarta-taglibs-standard.jar の配置 

 IdPの動作に必要なjstl.jar（jakarta-taglibs-core.jar と jakarta-taglibs-standard.jar）を配置します。
CentOS6の場合、jakarta-taglibs-standardパッケージに入っているので、 yum でインストールします。

 上記のような質問に答えながら、インストールを行います。

3. パーミッションの調整 

”jetty”ユーザがログファイルを出力できるようディレクトリの所有者を変更します。

同様に、メタデータの保存ディレクトリの所有者・パーミッションも変更します。

/usr/share/java 配下にインストールされているので、edit-webapp/ 配下にシンボリックリンクを作成し、idp.warに含めます。

...

...

...

...

...

4. jstl-1.2.jar の配置 

※jstlの別途インストールは不要 

5. ディレクトリインデックスの禁止

edit-webapp内にweb.xml を作成します。

5. idp.war の登録

作成したweb.xml を以下の内容で修正します。
※既存の<servlet>の前に設定を追加します。${CATALINA_BASE}/conf/Catalina/localhost/idp.xml という新規ファイルを以下の内容で作成し、idp.warをTomcatが認識できるようにします。

WARNING:   No rules found matching 'Context/CookieProcessor'.

03-Sep-2018 11:13:49.146 WARNING [main] org.apache.tomcat.util.digester.SetPropertiesRule.begin [SetPropertiesRule]{Context/CookieProcessor} Setting property 'alwaysAddExpires' to 'true' did not find a matching property.

 httpdの再起動とTomcatの起動を行います。（すでにTomcatが起動している場合はstopしてから行ってください）

# systemctl restart httpd
# systemctl start tomcat

# service httpd restart
# service tomcat7 start

Tomcatの起動後、${CATALINA_BASE}/logs/catalina.{日付}.log にエラーが出力されていない事を確認してください。

※catalina.{日付}.logにTomcat終了時（再起動時）のタイミングで以下のようなエラーが表示されることがありますが問題ありませんので無視してください。

致命的: A web application appears to have started a TimerThread named [Timer-0] via the java.util.Timer API but has failed to stop it. To prevent a memory leak, the timer (and hence the associated thread) has been forcibly cancelled.

致命的: A web application created a ThreadLocal with key of type [null] (value [ch.qos.logback.core.UnsynchronizedAppenderBase$1@XXXXXXXX]) and a value of type [java.lang.Boolean] (value [false]) but failed to remove it when the web application was stopped. To prevent a memory leak, the ThreadLocal has been forcibly removed.

(関連するバグレポート)

...

5. サービスの起動・停止方法

...

以下を実行して反映させます。

 httpdの再起動とJettyの起動を行います。（すでにJettyが起動している場合はstopしてから行ってください）

# systemctl restart httpd
# systemctl start jetty

...

5. サービスの起動・停止方法

...

サービス	起動コマンド	停止コマンド	再起動コマンド
httpd

...

systemctl start httpd

...

...

systemctl stop httpd

...

...

systemctl restart httpd

...

...

service tomcat7 start 

sh /usr/java/tomcat/bin/startup.sh (起動スクリプトを利用しない場合)

...

service tomcat7 stop

sh /usr/java/tomcat/bin/shutdown.sh (起動スクリプトを利用しない場合)

jetty

systemctl start jetty

systemctl stop jetty

systemctl restart jetty

...

...

インストールが完了したら，サイト情報等の設定を行って下さい．

...