次の一手問題に挑戦

更新日時:

開発をしていて困るのが、いろいろいじくりまわしたあげく、「ホントに強く なったのか?」が、よくわからないことがあるということです。
「強さ」を測るためには、他の将棋プログラムや人間と何度も対戦させて 勝率を見る、というようなことをすればいいのですが、プログラムの小さな 変更のたびにそんなことをするわけにもいきません。
そこで、いわゆる「次の一手問題集」を解かせて、その正解率で強さを チェックするということを、開発の過程でしばしば行ってきました。 以下に、いくつかの問題集について、現時点(2001.3.18)での激指の 成績を示します。
(注)特に断りがない限り、実行環境は PentiumIII 800MHz メモリ 128MB です。

「コンピュータ将棋の進歩2」

「コンピュータ将棋の進歩2」という本に掲載されたコンピュータ将棋 の実力を測る目的で作成された問題集(全48問)。 当時(1995年)の将棋プログラムで最高成績をあげたのは、「森田将棋5」で、 正解数20問、総時間50242秒(一問平均1068秒!)でした。 激指の成績は以下の通りです、

プログラム正解数総時間(秒)
激指(レベル10)24133
激指(レベル11)23346
激指(レベル12)25802
激指(レベル13)312103
問題ごとの詳しい結果はこちら

個人的には、将棋プログラムは格段の進歩をとげたと思うのですが、いかがでしょう? 正解数が、20問から31問になったこともさることながら、それを 1/25の思考時間で達成しています。

「将棋タウン」棋力判定問題集

isodaさんという方が運営されてる非常に充実したホームページ 「将棋タウン」 の棋力判定問題集です。級位者向けから高段者向けまで幅広い難易度の 問題が含まれています。局面も序盤、中盤、終盤といろいろあります。 この問題集では、正解手の他に次善手も得点をもらえる場合もあるため、 正解数ではなく、得点を示します。満点は100点です。

プログラム得点総時間(秒)
激指(レベル10)8442
激指(レベル11)8693
激指(レベル12)89250
激指(レベル13)89562
問題ごとの詳しい結果はこちら

この問題集には、合計得点と棋力との関係も示されています。 89点だと、三段(!?)ということになりそうです。

「将棋世界」昇段コース(初段/二段/三段)

「将棋世界」には免状取得のための昇段コースがありますが、 その問題を解かせてみました。まずは、比較的簡単な、初段/二段/三段 コースから。 問題は、第179回(1999年11月号)から190回(2000年10月号)までの12回分。 詰め将棋はほとんど100%正解するので、詰め将棋を除いて、全48問。

プログラム正解数総時間(秒)
激指(レベル10)24117
激指(レベル11)25235
激指(レベル12)33570
激指(レベル13)341312
問題ごとの詳しい結果はこちら

レベル13(一問平均27秒)で、約70%の正解率です。これを高いと見るか 低いと見るかは難しいですが、、、

「将棋世界」昇段コース(四段/五段/六段)

次は、四段/五段と六段コースです。四段/五段は 第179回から184回、六段は第179回から185回で、全52問です。

プログラム正解数総時間(秒)
激指(レベル10)13191
激指(レベル11)17434
激指(レベル12)211120
激指(レベル13)232973
問題ごとの詳しい結果はこちら

さすがに難しいみたいですね。レベル13(一問平均57秒)でも、 23/52 = 44% しか正解できません。 実際に四段クラスの人が、一問一分で解いたとすると正解率はどれく らいになるんでしょう? 興味のあるところです。
激指のホームページへ
ご感想・ご質問等がありましたら まで、お気軽にどうぞ。