創立は1905年（明治38年）。英国人ウォルター・ウェストンの勧めで、日本初の山の会として誕生しました。
それ以来、登山文化を日本に広め、マナスル初登頂などをはじめ数々の偉業を成し遂げ、山仲間が集う場所として、いまに至っています。現在、東京の本部を中心に33の支部があり、全国に約4,800人の会員が在籍しています。
これまでの業績から、先鋭的な山登りをおこなう登山家の集団のようにみられることがありますが、会員のほとんどは日頃ハイキングなどを楽しむ山好きの集まりです。山への興味も幅広く、低山ハイクを始め、テント縦走、沢登り、植物観察、温泉巡り、岩稜登攀、山スキーなどなど、あらゆるジャンルで山との関わりがあり、それぞれの会員がさまざまなスタイルで山を楽しんでいます。
会は、会員の会費によって維持され、運営は役員をはじめとする会員の無償ボランティアでおこなわれています。
公的な予算や特定の企業、あるいは政治団体などからの援助はありません。東京の本部では、理事会や委員会など運営組織の会合がおよそ月1回平日に開催され、役員や委員は会社帰りに出席して会務を実行します。全国の支部でも同様に役員会や委員会などが開催されて支部の運営を司っています。
2012年から公益社団法人となり、山登り以外にも公益の活動も数多くおこなっています。
自然保護活動では、荒廃した森を修復する森づくりや森林整備をはじめ、稀少植物の巡視活動、動植物の調査、登山道整備、清掃作業などをおこなっています。また、社会貢献事業として、障害者支援事業、高齢者登山、子ども登山などをおこない、山岳事故防止のために、各種講習会の開催や登山教室、講演会などをおこなっています。さらには、秩父宮記念山岳賞授賞や海外登山助成、「山の日」事業、あるいはフェスタや写真展、映画祭などのイベントによる登山振興事業をおこなっています。
日本山岳会は山好きの会員によって構成されたクラブライフを楽しむ会です。伝統的な英国山岳会を手本にして作られました。クラブとは趣味を共有する人たちが集まって語り合う文化です。 職場や家庭から離れて同好の士が集まり、豊かな人間関係を楽しむライフスタイルです。会員は社会的地位には関係なく皆平等で、山の初心者もベテランも、登山者も研究者も山を生業とする人も、ともに山を楽しみ、豊かな人間関係を形成しています。